EP4548310A1 - Verfahren und system zur strassenzustandsüberwachung durch ein maschinelles lernsystem sowie verfahren zum trainieren des maschinellen lernsystems - Google Patents

Verfahren und system zur strassenzustandsüberwachung durch ein maschinelles lernsystem sowie verfahren zum trainieren des maschinellen lernsystems

Info

Publication number
EP4548310A1
EP4548310A1 EP23732373.8A EP23732373A EP4548310A1 EP 4548310 A1 EP4548310 A1 EP 4548310A1 EP 23732373 A EP23732373 A EP 23732373A EP 4548310 A1 EP4548310 A1 EP 4548310A1
Authority
EP
European Patent Office
Prior art keywords
data
training
road
machine learning
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23732373.8A
Other languages
English (en)
French (fr)
Inventor
Sighard SCHRÄBLER
Niels Christmann
Pia Dreiseitel
Erwin KRAFT
Bernd Hartmann
Florian GEIS
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aumovio Autonomous Mobility Germany GmbH
Original Assignee
Continental Autonomous Mobility Germany GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Autonomous Mobility Germany GmbH filed Critical Continental Autonomous Mobility Germany GmbH
Publication of EP4548310A1 publication Critical patent/EP4548310A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/10—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55—Specular reflectivity

Definitions

  • the present invention relates to road condition monitoring (Road Condition Observation) or
  • Machine learning will be used in an innovative setup to improve road condition detection.
  • the present invention relates to a method for training a machine learning system for road condition monitoring, a method for road condition monitoring using a trained machine learning system, a system for road condition monitoring and a vehicle with a system for road condition monitoring.
  • a well-known YouTube video shows road condition segmentation, based on video data from a camera and driving noises recorded by a microphone, for one and the same road.
  • a distinction can be made between dry and wet: Road condition estimator using cameras and microphones (2016) https://www. youtube. com/watch?v H13igv55o8w (accessed on May 25, 2022). Differentiation into more than two classes (wet/dry) is difficult or not possible reliably with this approach.
  • WO 2016/177372 A1 shows a method for detecting and evaluating environmental influences and road condition information in the area surrounding a vehicle.
  • a camera Using a camera, at least two digital images are generated in succession, in each of which an identical image section is selected.
  • digital image processing algorithms changes in image sharpness between the image sections of at least two consecutive images are detected, with the image sharpness changes being weighted from the center of the image sections towards the outside.
  • environmental status information is determined using machine learning methods and, depending on the determined environmental status information, roadway status information is determined.
  • WO 2019/174682 A1 shows a method for classifying a roadway condition based on image data from a vehicle camera system and a corresponding vehicle camera system. The procedure has the following steps:
  • a vehicle camera system which is configured to image at least a section of an environment outside the vehicle, the section at least partially containing the road on which the vehicle is traveling
  • DE 102013002333 A1 shows a method for predictive road condition determination in a vehicle in which a road surface is illuminated with sensor beams, the sensor beams being reflected and absorbed in accordance with a road condition of the road surface and the road condition determination being carried out on the basis of the reflected sensor beams.
  • the process is characterized by the fact that the road surface in front of the vehicle is illuminated in the direction of travel. Since the different road conditions of the road surface have different optical properties and have an absorbing effect for certain wavelengths and reflecting for others, conclusions can be drawn about the respective road condition of the illuminated road surface from the reflected sensor beams. An example of this is the wavelength of 1550 nm, which is absorbed comparatively strongly by ice.
  • DE 102014214243 A1 shows a method for determining road condition
  • Road condition determination can be used, whereby the Road condition data from the weather map and/or road map are subjected to re-digitization.
  • DE 102017223510 A1 shows an optical sensor for assessing surfaces, comprising:
  • At least one emission unit for emitting a modulated optical signal onto a surface to be assessed
  • At least one detection unit for detecting an optical signal of the modulated signal reflected on the surface and providing an electrical output signal dependent on the reflected optical signal
  • control device for evaluating the output signal of the at least one detection unit and determining a state of the surface to be assessed, wherein a frequency spectrum of the modulated optical signal that can be emitted by the at least one emission unit is essentially delimited from a frequency spectrum of an interference spectrum.
  • a starting point is to use environmental detection sensors that are already installed in a vehicle for other tasks and, in particular, to detect areas in front of the vehicle in the direction of travel.
  • the inadequacies of the existing environment detection sensors can be compensated for by specialized reference sensors, which are therefore usually too expensive for series use, in that they also contribute to the generation of training data for a machine learning system to determine road conditions.
  • test vehicle fleets with the environmental detection sensors are often used for later series use.
  • the collected data is then typically manually labeled to provide the actual road conditions for training the machine learning system.
  • Manual labeling is carried out by humans, although human perception of road conditions is subjective. For example, when does the road become “wet”? Is there an older layer of ice beneath a visible layer of fresh snow? Is there black ice on a black road or a dry black road? Manual labeling is also both time-consuming and costly.
  • a second starting point is to use an explicit road condition determination sensor with high reliability and precision as a reference sensor. It is advantageous here if the (“pure”) road condition determination sensor can determine in advance whether there is water on the road surface and what the temperature is on the road surface.
  • a transmitting and receiving device operating in the wavelength ranges of 1550 nm and approximately 2 to 10 micrometers can determine both.
  • One aspect of the invention relates to a method for training a machine learning system for road condition monitoring, comprising the steps:
  • - Providing or recording data by a sensor system of a vehicle, the sensor system detecting an environment of the vehicle, as training input data, - Providing or recording data that characterizes the road condition using a reference sensor mounted in or on the vehicle as training target values, and
  • training data which includes training input data and training target values corresponding to these training input data
  • parameters of the machine learning system are adjusted using the training data in such a way that the machine learning system produces output data when the training input data is entered , which are similar to the training target values.
  • the data of the sensor system can include, for example, image data, radar data and/or lidar data.
  • the machine learning system is trained using the training data, that is, parameters of the machine learning system are adjusted such that when the training input data is entered, the machine learning system generates output data that is similar to the training target values.
  • the parameters include the weights between individual input values and neurons.
  • the machine learning system is trained using a supervised learning method, with a variety of learning methods being known. For example, the backpropagation method can be used to train a neural network.
  • the parameters of the machine learning system are adjusted in such a way that an error between the output data and the training target values is as small as possible.
  • the error between the output data and the training target values is determined, for example, via the distance between the output data and the training target values and a corresponding metric for output data.
  • test target values are the test input data assigned and the test input data and test target values are not used to adjust the parameters of the machine learning system.
  • the parameters of the machine system can be output when the training has been successfully completed, for example because the output data is sufficiently similar to the training target values, which can be specified, for example, via a threshold value of a similarity metric.
  • the sensor system includes a camera system of the vehicle, so that the data provided or recorded is image data and the image data serves as training input data.
  • the reference sensor determines reference data as training target values for image data (labels).
  • the camera system can, for example, be a monocular camera arranged in a vehicle, preferably behind the windshield, so that the front of the vehicle can be captured in accordance with a visual perception of a driver of the vehicle.
  • the camera system can alternatively be a stereo camera that provides depth information about the vehicle's surroundings or a satellite camera system, e.g. a surround-view camera system, which includes several fisheye cameras looking in different directions of the vehicle.
  • the capabilities of the reference sensor for road condition monitoring can be transferred to the camera system using appropriate learning processes.
  • the reference sensor comprises a transmitting and receiving unit which emits electromagnetic radiation of at least one defined wavelength onto the road and receives and measures the intensity reflected from the road and wherein the reference sensor is set up to determine probabilities for the presence of different ones based on the measured values Specify classes of road conditions.
  • the presence of water on the road can be determined by measuring absorption at discrete wavelengths in the mid-infrared. A comparison of the Measurement results from two suitable wavelengths (ratiometric measurement) enable robust detection of water on the road.
  • a suitable reference sensor for displaying ground truth data can detect all target learning classes of the camera system regardless of the light distribution (brightness) that depends on the time of day.
  • the wavelength ranges of the observation between the reference sensor and the camera system do not match.
  • the camera observes in visible light and the reference sensor, for example, in the infrared range.
  • motion blur caused by different driving speeds and the set exposure time is also learned in the image. Both parameters can be incorporated into the learning outcome both in classes and using a linear approximation.
  • the speed over ground can advantageously be a useful additional input variable.
  • weather and driving dynamics data such as ABS, ASR and/or ESC control interventions of the ego vehicle can be advantageously included in the learning result.
  • the driving style based on vehicle accelerations in the longitudinal and transverse directions is also taken into account in addition to the already mentioned driving speed or alternatively the safety distance to vehicles in front.
  • the reference sensor assumes probabilities for the presence of (at least) the following classes of road conditions: “dry,” “wet,” “snow,” “ice,” and “unknown/error.”
  • An error in the case of a camera sensor as a sensor system is, for example, a predominantly black or white image or predominantly image noise due to underexposure.
  • the reference sensor comprises a pyrometer that measures the temperature of the road.
  • the reference sensor can measure in the thermal (far) infrared, e.g. in the range from 2 to 10 pm, in order to derive the surface temperature from the thermal radiation.
  • Thermal features in the far IR for example, are invisible in the visible spectrum, which is why people already have great difficulty recognizing black ice.
  • the reference sensor itself uses the following wavelengths: 1550 nm and 980 nm to detect the presence of water by comparing the reflected intensities and a wavelength in the range of 2 to 10 pm to measure the temperature of the road.
  • the machine learning system is a neural network.
  • Neural networks are particularly suitable for the method described because they can be easily adapted.
  • the neural network is in particular a convolutional neural network.
  • the nonlinearity of the convolutional neural network does not pose a problem for the usability of the described method.
  • the method described can also be used with other machine learning systems, for example with decision tree learning, support vector machines, regression analysis or Bayesian networks.
  • the multi-task classification system includes, for example, an encoder and a large number of decoders. It is also possible to divide the machine learning system into several subsystems. Each of the subsystems has the functionality of the machine learning system described here, but the subsystems differ from each other, for example in the type of machine learning system or in the selection of training data. Output data generated by the subsystems can then be combined to obtain an improved output.
  • the vehicle comprises a data transmission unit, and the data transmission unit is set up to transmit training data to a server unit (backbone).
  • a server unit backbone
  • DDE data driven ecosystem
  • the server unit is set up to update a training data set comprising a (predetermined) amount of training data, the size of the training data set being kept constant, and being ensured using one or more quality criteria (e.g. the quality can be evaluated based on several KPIs). that when the training data set is updated, the relevance of the training data with regard to determining the road condition is increased.
  • quality criteria e.g. the quality can be evaluated based on several KPIs.
  • training takes place in a DDE with continuous improvement of the data relevance.
  • DDE Automatic procedures based on key performance indicators (DAgger) and, with significantly reduced effort, human consideration (active learning) are used.
  • the DDE is designed to keep the size of the data set constant after a limit is reached. This means that the training times for the machine learning system do not increase any further.
  • the computing power in the backend is used to increase the relevance of the training data set.
  • the server unit is set up to achieve a balance of the training data set when updating, so that the training data set has a high diversity, with rarer road conditions being adequately represented by training data.
  • Rare situations such as black ice, i.e. a frozen black road, are particularly rare, but are also particularly dangerous because the coefficient of friction is greatly reduced.
  • the relevance of the training data is evaluated such that a high level of relevance is assigned to the training data that is orthogonal to the other training data already contained in the training data set.
  • the sensor data for the recorded area of the road is divided into segments and the data provided or recorded by the reference sensor characterizes the road condition for the segments.
  • Another aspect relates to a method for road condition monitoring using a machine learning system, wherein the machine learning system has been trained as described above, data acquired by a vehicle sensor system that detects an environment of the vehicle being provided to the machine learning system as input data and the machine Learning system generates output data from the input data that characterizes the road condition.
  • a third aspect relates to a road condition monitoring system comprising an input unit for receiving input data; a computer unit which is designed to carry out the previously described road condition monitoring method; and an output unit for outputting the output data generated by the computing unit.
  • a further aspect relates to a vehicle comprising a sensor system, wherein the sensor system is set up to detect an environment of the vehicle and to provide the detected sensor data to the input unit as input data, as well as a previously described road condition monitoring system.
  • the reference sensor observes discrete ones, for example Wavelengths in the mid-infrared to detect absorption of water and ice and in the thermal (far) infrared to derive surface temperature from thermal radiation.
  • the camera observes light in the visible wavelength range.
  • thermal features in the far IR are invisible in the visible spectrum, which is why people already have great difficulty detecting black ice. Instead, they derive the condition from observing the environment and other optical features. This means that in principle it is possible to differentiate the road condition into four to five classes using camera optics, but it is difficult, you would have to learn from an enormous number of examples and therefore purely camera-optical road condition detection is not necessarily sufficiently robust to date.
  • a data driven ecosystem offers the following solutions to address such problems:
  • Backpropagation Modern neural networks use backpropagation to learn from the difference between the desired output and the random output achieved after initial initialization. Using a chain rule, the differences (gradients) are translated back into the layers of the network and thereby determine how the weights and offsets in the network have to change in order to arrive at a better solution. In backpropagation is the repeated application redundant data is disruptive because it introduces irrelevance. Certain, possibly very similar cases are over-learned, even meticulously memorized, but slightly different test data are not recognized as well as the training data, so-called overfitting.
  • a split into training and test data helps against overfitting, whereby a KPI (Key Performance Indicator) to be measured, e.g. the precision or accuracy of the output for the test data, must be at least as good as for the test data Training data. It doesn't help if the training data is too close to the test data, for example because they are adjacent images of the same sequence. This must be avoided.
  • KPI Key Performance Indicator
  • Regularization means that adhering powder is filled into the crater landscape. This fills the smaller craters, at least after solidification, so that there are fewer chances of getting stuck in a local minimum. Regularization must be used very sparingly. Metaphorically speaking, the crater landscape should not be allowed to decay to the top and thus level out all the differences. However, when used in small doses in the per mille range, regularization has the effect of eliminating special identifying features and instead finding more general, basic rules. However, at the price of an “apparently” reduced accuracy. A simple KPI comes out worse, even though the classification is actually better.
  • Activations can be calculated using a type of visual backpropagation on the GPU in parallel to the actual neural network. For the convoluted layers (not for the fully connected layers), you specify which neurons are involved in the decision and project this back onto the input layer of the network. This means that as a human you can see which features were used to make the classification decision if you overlay the activations with the corresponding input image. This helps to understand what goes wrong when something is incorrectly detected and provides valuable information about possible missing training examples. It also provides a clear indication in addition to simply observing the KPIs.
  • KPIs Key performance indicators, KPIs for short: A simple two-class detector can either respond, not respond, report correctly or report incorrectly - in all combinations, so four cases here. If detected, recall is high. It It is conceivable to darken a scene further and further until the image is black. If the output were an image again, not just a class, you could count pixels that represent a known feature and that would be recognized. In addition, other pixels that are not part of the known feature could also respond. These would then be false positives. So it's about two things: recognition and the correctness of the result. This can either be plotted in a diagram or summarized in the F2 score. Simply, a KPI is a predefined measure that indicates, on average, how well a network is trained across the test data set.
  • Data Aggregation Has a lot of similarity to Policy Aggregation. Instead of, for example, calculating 500 neural networks and voting for the majority of their output, you shift the problem from the time of execution to the training time and thus to the selection of the relevant data. This means you only have to calculate one network, but you start with a subset of the training data, e.g. 5% of it, and look at the next 5% contingent to see which images are already classified correctly by training the first 5%. They are simply not needed. It's like preparing for an exam where you have to learn what you haven't yet understood. Data aggregation is when the machine decides which data is relevant, it is the ones that are orthogonal to all the others it has already learned.
  • Constant size of the data set No constant increase in learning time.
  • the DDE decides independently whether the data is relevant.
  • data aggregation can attempt to exchange new data for old data that is classified as relevant.
  • the quality is continuously measured using several KPIs. Is the new solution in Form of a newly learned neural network is below average, then it is rejected, then if it is above average, it is favored.
  • the Data Driven Ecosystem In its backend, i.e. the function that is later calculated in the cloud, it is a constant challenge to the best networks calculated so far, whether they are better than before by exchanging them for more relevant training data after training. This largely depends on the test data set, which needs to be adjusted just like the training data set. It should contain the relevant cases in all environmental situations as well as the rare cases and the corner cases.
  • Synthetic data (derived from real data): By definition, rare cases are rare. To ensure that they are not underrepresented, synthetic data can be derived from regular data using GAN style transfer, i.e. the synthetic data answers the question of what a landscape looks like in a different weather condition or what a weather condition looks like in a different location. Since you can take a lot of pictures of places, but only a few of rare states, you will transfer the state to another place.
  • Average values say more than individual values:
  • the data should preferably be transmitted Over The Air (OTA). It is assumed that vehicles will be equipped with a SIM card in the future and will be able to establish a tunneled Internet connection to the update server. Of course, a conventional update is also always possible, e.g. via USB stick and file system.
  • OTA Over The Air
  • Triggering of interesting data It is known from the Tesla patent in particular that rare cases and corner cases, in our case rare road weather situations, should be recorded. At Tesla, the trigger itself is a network that has been trained to respond to certain scenarios. This same technique would also be used here to improve the product in a data-driven manner in a second, continuous cycle. Triggering is also conceivable in only a few measuring vehicles that are equipped with reference sensors. However, the greater benefit due to the larger number of use cases is clearly a trigger in every vehicle in the fleet, because this is the only way the system scales itself. 20) Return channel: preferably Over The Air (OTA), but also conventionally in the workshop via USB or other bus systems.
  • OTA Over The Air
  • An OTA update channel for the vehicle offers the advantage that the vehicle manufacturer does not have to trigger a return action if software updates are necessary.
  • a feedback channel helps with continuous product improvement. Triggered and otherwise selected moments, for example by test drivers, and measurements assigned to them are reported back. Data volumes of up to several 100MB for various sensors per manufacturer are a realistic order of magnitude. This means that there is much more data available than has to be trained into the corresponding sensor networks. This makes it all the more important to have a good methodology for selecting the training data and evaluating the networks to be trained using KPIs.
  • Virtualization of the ecosystem, connections and sourcing All of this happens in the backend, preferably in the cloud.
  • the entire backend can be virtualized, i.e. moved to a Docker container and operated on a large cloud instance with sufficient performance.
  • This has the advantage that post-processing can be scaled with the size of the fleet. So there is a data connection between the fleet, provider and cloud provider. This, in turn, is independent of where the data is curated and new algorithms are integrated. Access to the cloud should be possible worldwide without any problems. Rolling out the data too.
  • Adaptation of driving behavior to the road condition is simply appropriate driving behavior.
  • the driver certainly doesn't want to be informed every second about the condition; he/she is certainly an expert enough for that. Warnings would be given in the event of slippery conditions, i.e. a greatly reduced coefficient of friction.
  • the actual coefficient of friction can only be estimated because it depends on the road and tires.
  • the main application of road condition measurement is highly automated driving, because travel planning must also be informed about the road condition. You may have to drive more slowly, you may have to expect understeer and longer braking distances. What we humans take for granted must be brought closer to the machine using a technical method. It is an advantage if the technical method is cost-effective.
  • the purpose of road condition monitoring lies in the area of warning drivers in the event of slippery conditions (especially black ice) but even more in the area of highly automated driving.
  • the assumptions about the braking distance must be constantly updated according to the road weather, so that the driving behavior adapts to the weather conditions.
  • Average values say more than individual values:
  • Speed-dependent, time-delayed evaluation What is visible on the front camera is further ahead on the road than the current measuring spot. To be on the safe side, a time shift must be made in which the path of the measurement spot on the road is brought into line with the image of the road. Conversely, segmentation can also be calculated instead of a categorical classification. If a network is also used that recognizes the location of the road in the image, the road can be learned in segments with the road condition and consequently displayed.
  • FIG. 1 shows a vehicle with a sensor system that detects the environment, a reference sensor and a processing unit;
  • FIG. 2 is an illustration of a machine learning system that is trained to generate output data that characterizes road conditions using data from the environmental sensing sensor and the reference sensor;
  • FIG. 3 shows a trained machine learning system that can generate output data that characterizes the road condition based on data from the environmental sensing sensor
  • Fig. 4 shows a road condition monitoring system
  • Fig. 5 shows a vehicle with a reference sensor with a transmitting and receiving unit.
  • the vehicle 2 has an environment-sensing sensor system 1, a reference sensor 5 and a processing unit 10.
  • the environment-sensing sensor system 1 can be or comprise, for example, an image recording device.
  • the image recording device can be a front camera of a vehicle.
  • the front camera can be arranged inside the vehicle 2 - for example in the area of the rear-view mirror - and capture the environment in front of the vehicle 2 through the windshield of the vehicle 2.
  • details of the surroundings of the vehicle 2 can be detected, for example objects.
  • ADAS or AD functions can be provided by an ADAS/AD control unit, e.g. lane recognition, lane keeping support, traffic sign recognition, speed limit assistance, road user recognition, collision warning, emergency braking assistance, distance following control, construction site assistance, a highway pilot, a cruising chauffeur function and/or an autopilot.
  • the image recording device typically includes optics or a lens and an image recording sensor, for example a CMOS sensor.
  • the proposed environment detection sensor system 1 considers a sensor setup for vehicles in the context of assisted and autonomous driving. This can optionally be expanded to a multi-sensor setup.
  • Multi-sensor systems have the advantage of increasing the safety of detection algorithms for road traffic by verifying the detections of multiple sensors.
  • Multi-sensor systems can be any combination of: one to several cameras, one to several radars, one to several ultrasound systems, one to several lidars, and / or one to several microphones.
  • a reference sensor 5 it is advisable to use an explicit road condition determination sensor with high reliability and precision. It is advantageous here if the road condition determination sensor can determine in advance whether there is water on the road surface and optionally also what temperature is present on the road surface.
  • a transmitter and receiver unit that emits electromagnetic radiation of at least a defined wavelength onto the road and receives and measures the intensity reflected from the road is ideal for this purpose.
  • the reference sensor is set up to indicate probabilities for the existence of different classes of road conditions based on the measured values.
  • the presence of water on the road can be determined by measuring absorption at discrete wavelengths in the mid-infrared.
  • a comparison of the measurement results of two suitable wavelengths enables robust detection of water on the road.
  • the reference sensor can use the following wavelengths:
  • a transmitting and receiving device that operates in the wavelength range of approximately 2 to 10 micrometers can determine the temperature on the road surface.
  • another pyrometer can be used to measure the temperature, which can measure a temperature of a surface at a defined distance.
  • the vehicle 2 with the reference sensor 5 and the environment-sensing sensor system 1 is a test vehicle for generating training data.
  • a corresponding vehicle with the environment-sensing sensor system 1 and a trained machine learning system 16 can be used as a series vehicle without the cost-intensive reference sensor 5.
  • Fig. 2 shows a representation of a machine learning system 16, which is based on
  • Data X of the environment detection sensor system 1 and corresponding Data Y of the reference sensor 5 is trained to generate output data Y 'that characterize the road condition.
  • An artificial neural network can serve as the machine learning system 16.
  • Neural networks are particularly suitable for the method described because they can be easily adapted.
  • the neural network is in particular a convolutional neural network.
  • a machine learning system 16 may be used, such as decision tree learning, support vector machines, regression analysis or Bayesian networks.
  • a multi-task classification system includes, for example, an encoder and a large number of decoders. It is also possible to divide the machine learning system into several subsystems. Each of the subsystems has the functionality of the machine learning system 16 described here, but the subsystems differ from one another, for example in the type of machine learning system or in the selection of training data. Output data generated by the subsystems can then be combined to obtain an improved output.
  • the machine learning system is trained using supervised learning.
  • the machine learning system 16 is trained using training data (input data X_1, By adjusting weights (or parameters) of the machine learning system 16, an error function is minimized, the deviations between outputs Y'_1, Y'_2, ..., Y'_n of the machine learning system for input data X_1, X_2, ..., X_n of corresponding target output data Y_1, Y_2, ..., Y_n indicates.
  • Machine learning system 16 which can generate output data Y' that characterizes the road condition based on (newly acquired) data X from the environmental detection sensor 1. That was training Machine learning system 16 is used, for example, in a series vehicle.
  • FIG. 4 shows schematically an exemplary embodiment of a road condition monitoring system 10, which determines road condition data and can transmit it to a server unit 20.
  • the road condition monitoring system 10 is electrically or wirelessly connected to at least one environmental detection sensor 1, e.g. an image recording device, in a vehicle 2.
  • the data or signals recorded by the environmental detection sensor 1 are transmitted to an input interface 12 of the road condition monitoring system 10.
  • the data is processed in the road condition monitoring system 10 by a processing unit (or a data processor) 14.
  • the processing unit 14 includes a machine learning system 16.
  • the machine learning system 16 may include an artificial neural network, for example a CNN, which has been trained to classify road conditions.
  • the classified road condition can be transmitted to other vehicle control units (e.g. an ADCU, automated driving control unit) via an output interface 18.
  • a data transmission unit 19 is used for the wireless transmission of data and/or the classified road condition to a server unit 20 (cloud, backbone, infrastructure, ). So that the artificial neural networks can process the data in the vehicle in real time, the road condition monitoring system 10 or the processing unit 14 can include one or more hardware accelerators for machine learning systems 16 or artificial neural networks.
  • the reference sensor 505 is arranged in the front of the vehicle, for example in front of the radiator, and has a beam direction 506 of the transmitting and receiving unit that the angle a between Beam 506 and Street level is about 70°.
  • the angle a can be set for specific vehicles 500, for example between 50° and 80°.
  • the height of the beam 506 emerging from the reference sensor 505 above the road can be in the range of 20 to 60 centimeters.
  • 2,500 test drives can be carried out with a vehicle equipped with cameras, GPS and reference sensors. GPS is needed, for example, to compare with weather forecasts on the internet.
  • the evaluation of the reference sensor is saved. If additional information is available - speed, acceleration, GPS, etc., then this will also be saved with the appropriate timestamp.
  • An additional human classification of humans can also be advantageous if an interesting situation arises. This means that associated camera images and reference measurements can later be found in the data sets.
  • An additional feature of a reference sensor enables labeling on a return channel via a CAN output. Situations in which people come to a different conclusion than the reference sensor are important.
  • the additional information (“meta information”) can be saved in a separate classification file (txt, xml or json) with the same name.
  • a time reference should also not be missing, as some of the methods described later require a time offset between images and reference measurement data, since the front camera, for example, sees the piece of road earlier than the measurement spot of the reference measurement technology.
  • F-TZ-333 License plate (optional)
  • txt is easy to read but difficult to parse
  • json is the easiest to machine read but difficult to edit
  • xml is a middle ground, still editable by hand but more machine readable.
  • the intention of the preliminary classification is to allow sorting by class by name and to provide a very easy way to change the label. This can occur in the active learning phase described later. If humans overrule, the data can be used preferentially and the label can be adapted accordingly. This is the only way to resolve contradictions in the data set.
  • the measurement data should preferably be stored in subdirectories of the day in question, as Linux systems run into problems with 65,535 files per directory or more without special modification of the typical variable sizes.
  • JSON database e.g. Mongo-DB
  • Mongo-DB for image and reference data instead of the easier-to-read image and text files.
  • the GPS position of the vehicle should also be able to be transmitted in the data. License plates and GPS will be omitted later in the fleet test.
  • the GPS position can help to select sufficiently different locations, especially in the seed phase, i.e. the initial phase of the network calculation if the same places, then just with different times of day and weather conditions.
  • % yrm ((r980m*192)/r1310m); // larger: higher proportion of ice *or* deeper water
  • r980..r1552 are the intensities of the reflected light at the respective wavelength in nm measured in ADU, i.e. units of the AD converter
  • xrm, yrm and vrm are ratiometric measurements (there is a denominator).
  • the sizes xrm and yrm refer to different wavelengths, vrm to different channels of the same wavelength 1550nm and Irm is an absolute measurement, a brightness of the surface that shows the difference between ice and snow.
  • the ice measurement with 1310nm absorption is unreliable and is advantageously replaced by pyrometer measurement, the 1550nm absorption occurs equally for water and ice, 1310nm effects can only be seen for ice, but are significantly weaker than water detection with 1550nm.
  • Probabilities for dry, wet, ice, snow are determined directly from xrm (absorption of water at 1550nm vs. 980nm comparison), Tc (corrected road temperature from the pyrometer) and Irm (brightness of the surface). One after the other in a decision tree and in this order.
  • a complete data driven ecosystem includes the following steps, which are carried out cyclically:
  • Test data is continuously collected using a fleet of test vehicles that have an OTA updateable telematics unit (e.g. according to the 5G mobile communications standard).
  • An ADCU uses a pre-trained machine learning system to continuously determine AD or ADAS-relevant data from the acquired sensor data (open loop testing) for automated or assisted control of the vehicle.
  • a trigger e.g. anomalies, for example, the driver behaves differently than the ADCII predicts
  • data is transmitted to the server unit/cloud.
  • the data is checked to see whether it is better training data than what is already available there. For this purpose, the predicted anomalies (or corner cases) can be verified or more relevant data can be selected for other reasons.
  • the optimized training data can be used to retrain the machine learning system or neural network using data aggregation (“you let the data decide”) or using active learning (although the human labeling effort is reduced. Actual improvements are achieved by increasing KPIs (such as Precison and/or Recall).
  • the neural network is then tested extensively in simulation worlds, test scenarios, corner cases or rare cases to increase security. If successful, the trained neural network is released and can be used with a cryptographic signature as an over- The Air Update is transmitted to the vehicles in the test fleet and imported as an update for the ADCU.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

Die Erfindung betrifft ein Verfahren und System (10) zur Straßenzustandsüberwachung durch ein maschinelles Lernsystem (16) sowie ein Verfahren zum Trainieren des maschinellen Lernsystems (16). Das Verfahren zum Trainieren eines maschinellen Lernsystems (16) zur Straßenzustandsüberwachung umfasst die Schritte: - Bereitstellen bzw. Aufnehmen von Daten durch ein Sensorsystem (1) eines Fahrzeugs (2), wobei das Sensorsystem (1) eine Umgebung des Fahrzeugs (2) erfasst, als Trainings-Eingabedaten X, - Bereitstellen bzw. Aufnehmen von Daten, die den Straßenzustand charakterisieren, durch einen im oder am Fahrzeug (2) angebrachten Referenzsensor (5) als Trainings-Zielwerte Y, und - Trainieren des maschinellen Lernsystems (16), wobei Trainingsdaten, die Trainings-Eingabedaten X und zu diesen Trainings-Eingabedaten X korrespondierende Trainings-Zielwerte Y umfassen, bereitgestellt werden und mittels der Trainingsdaten Parameter des maschinellen Lernsystems derart angepasst werden, dass das maschinelle Lernsystem bei Eingabe der Trainings-Eingabedaten Ausgabedaten Y', die den Trainings-Zielwerten Y ähnlich sind, erzeugt.

Description

Verfahren und System zur Straßenzustandsüberwachung durch ein maschinelles Lernsystem sowie Verfahren zum Trainieren des maschinellen Lernsystems
Gebiet der Erfindung
Die vorliegende Erfindung betrifft die Straßenzustandsüberwachung (Road Condition Monitoring, Road Condition Observation) bzw.
Fahrbahnzustandserkennung aus einem fahrenden Fahrzeug, welches Sensoren zur Erfassung seiner Umgebung aufweist. Dieses Thema ist zur Vermeidung von Unfällen von immenser Bedeutung, denn bestimmte Fahrbahnzustände oder -beläge vermindern die Haftreibung bzw. den Reibbeiwert zwischen Reifen und Fahrbahnoberfläche. Dadurch verlängern sich Bremswege oder Bremsungen führen zu Rutschen und Ausbrechen des Fahrzeugs, was zu schweren Unfällen führen kann. Bei automatisierten Lenk- und/oder Bremseingriffen beim assistierten oder autonomen Fahren (ADAS/AD-System) muss das System daher auch den Straßenzustand möglichst realistisch einschätzen können, bevor das Fahrzeug diesen überfährt. Da dies noch nicht hinreichend sicher gelingt, finden Fahrversuche für autonomen Fahrzeuge häufig in sonnigen Gegenden statt, wo mit Schnee und Eis nicht zu rechnen ist.
Zur besseren Straßenzustandserkennung soll maschinelles Lernen in einem innovativen Setup eingesetzt werden. Insbesondere betrifft die vorliegende Erfindung ein Verfahren zum Trainieren eines maschinellen Lernsystems zur Straßenzustandsüberwachung, ein Verfahren zur Straßenzustandsüberwachung mittels eines trainierten maschinellen Lernsystems, ein System zur Straßenzustandsüberwachung sowie ein Fahrzeug mit einem System zur Straßenzustandsüberwachung.
Hintergrund
Bekannt ist mitunter das Youtube-Video einer Straßenzustands-Segmentierung, basierend auf Videodaten einer Kamera und Fahrtgeräuschen, die währenddessen durch ein Mikrofon erfasst werden, für ein und dieselbe Straße. Dabei kann zwischen trocken und nass unterscheiden werden: Road condition estimator using cameras and microphones (2018) https://www. youtube. com/watch?v=H13igv55o8w (abgerufen am 25.5.2022). Die Unterscheidung in mehr als zwei Klassen (nass/trocken) ist mit diesem Ansatz schwierig bzw. nicht zuverlässig möglich.
WO 2016/177372 A1 zeigt ein Verfahren zur Erkennung und Bewertung von Umwelteinflüssen und Fahrbahnzustandsinformationen im Umfeld eines Fahrzeugs. Mittels einer Kamera werden aufeinanderfolgend mindestens zwei digitale Bilder erzeugt, auf welchen jeweils ein gleicher Bildausschnitt ausgewählt wird. Mittels Algorithmen digitaler Bildverarbeitung werden Veränderungen der Bildschärfe zwischen den Bildausschnitten der mindestens zwei aufeinander folgenden Bilder erkannt, wobei eine Gewichtung der Bildschärfeveränderungen vom Zentrum der Bildausschnitte nach außen hin abfallend durchgeführt wird. In Abhängigkeit der erkannten Bildschärfeveränderungen zwischen den Bildausschnitten der mindestens zwei aufeinander folgenden Bilder wird eine Umweltzustands-Information mit Hilfe von Methoden des maschinellen Lernens ermittelt und in Abhängigkeit der ermittelten Umwelt-Zustandsinformation wird eine Fahrbahnzustands-Information bestimmt.
WO 2019/174682 A1 zeigt ein Verfahren zur Klassifikation eines Fahrbahnzustands auf der Basis von Bilddaten eines Fahrzeugkamerasystems und ein entsprechendes Fahrzeugkamerasystem. Das Verfahren weist die folgenden Schritte auf:
- Bereitstellen von Bilddaten durch ein Fahrzeugkamerasystem, welches dazu konfiguriert ist mindestens einen Ausschnitt einer Umgebung außerhalb des Fahrzeugs abzubilden, wobei der Ausschnitt zumindest teilweise die Fahrbahn, auf der das Fahrzeug fährt, enthält
- Unterscheiden von diffuser Reflexion und spiegelnder Reflexion der Fahrbahn durch Bewerten von Unterschieden der Erscheinungsbilder wenigstens eines Punktes der Fahrbahn in mindestens zwei Bildern des Kamerasystems, wobei die Bilder aus unterschiedlichen Aufnahmeperspektiven aufgenommen wurden; ,
- Ermitteln, ob in mindestens einem Bild des Kamerasystems Störungen vorliegen, die dadurch hervorgerufen worden sind, dass mindestens ein Rad eines Fahrzeugs eine Fahrbahnauflage beim Überrollen aufgewirbelt hat,
- Klassifizieren des Fahrbahnzustands unter Berücksichtigung der Ergebnisse bezüglich des Reflexionstyps und der Störungsintensität in eine der folgenden fünf Fahrbahnzustandsklassen: a) Trockene Fahrbahn: Reflexionstyp diffus ohne Störung b) Normal nasse Fahrbahn: Reflexionstyp spiegelnd mit Störung c) Sehr nasse Fahrbahn mit Aquaplaning-Risiko: Reflexionstyp spiegelnd mit viel Störung d) Schneefahrbahn: Reflexionstyp diffus mit Störung oder e) Eisfahrbahn (Glatteis): Reflexionstyp spiegelnd ohne Störung.
Bekannte Probleme mit Kamera-Systemen sind beispielsweise, dass der Störabstand bei Dunkelheit gering ist, wenn man durch längerer Belichtung das Signal-zu-Rauschen Verhältnis verbessert, handelt man sich bei Bewegung des Kamera-Systems dagegen Bewegungsunschärfe ein.
DE 102013002333 A1 zeigt ein Verfahren zur vorausschauenden Straßenzustandsbestimmung in einem Fahrzeug bei welchem eine Straßenoberfläche mit Sensorstrahlen beleuchtet wird, wobei die Sensorstrahlen nach Maßgabe eines Straßenzustands der Straßenoberfläche reflektiert und absorbiert werden und wobei die Straßenzustandsbestimmung anhand der reflektierten Sensorstrahlen erfolgt. Das Verfahren zeichnet sich dadurch aus, dass die Straßenoberfläche in Fahrtrichtung vor dem Fahrzeug beleuchtet wird. Da die unterschiedlichen Straßenzustände der Straßenoberfläche unterschiedliche optische Eigenschaften aufweisen und entsprechend für bestimmte Wellenlängen absorbierend und für andere reflektierend wirken, kann aus den reflektierten Sensorstrahlen auf den jeweiligen Straßenzustand der beleuchteten Straßenoberfläche geschlossen werden. Ein Beispiel hierfür ist etwa die Wellenlänge 1550 nm, die von Eis vergleichsweise stark absorbiert wird.
DE 102014214243 A1 zeigt ein Verfahren zur Straßenzustandsbestimmung, wobei
Straßenzustandsdaten einer Wetterkarte und/oder Straßenkarte zur
Straßenzustandsbestimmung herangezogen werden, wobei die Straßenzustandsdaten aus der Wetterkarte und/oder Straßenkarte einer Redigitalisierung unterworfen werden.
DE 102017223510 A1 zeigt einen optischen Sensor zum Beurteilen von Oberflächen, aufweisend:
- wenigstens eine Emissionseinheit zum Aussenden eines modulierten optischen Signals auf eine zu beurteilenden Oberfläche;
- wenigstens eine Detektionseinheit zum Erfassen eines an der Oberfläche reflektierten optischen Signals des modulierten Signals und Bereitstellen eines von dem reflektierten optischen Signal abhängigen elektrischen Ausgangssignals; und
- eine Steuervorrichtung zum Auswerten des Ausgangssignals der wenigstens einen Detektionseinheit und Ermitteln eines Zustands der zu beurteilenden Oberfläche, wobei ein Frequenzspektrum des von der wenigstens einen Emissionseinheit aussendbaren modulierten optischen Signals gegenüber einem Frequenzspektrum eines Störspektrums im Wesentlichen abgegrenzt ist.
Alle bekannten Verfahren haben Nachteile und lösen die relevanten Schwierigkeiten nicht vollständig. Interessant ist insbesondere eine vorausschauende und zuverlässige Erkennung von „Black Ice“, d.h. einer überfrorenen (vereisten) schwarzen Straße, die selbst für Menschen schwer zu sehen ist.
Zusammenfassung
Es ist daher eine Aufgabe der Erfindung, ein Verfahren bereitzustellen, das die vorausschauende Erkennung des Fahrbahnzustands bezahlbar ermöglicht, ohne Abstriche bei der Robustheit der Erkennung von sicherheitsrelevanten Fahrbahnzustandstypen zu machen.
Diese Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Weiterbildungen der Erfindung ergeben sich aus den Unteransprüchen und der folgenden Beschreibung. Ein Ausgangspunkt liegt darin, Umgebungserfassungssensoren zu verwenden, die bereits für andere Aufgaben in einem Fahrzeug verbaut sind, und vor allem Bereiche erfassen, die in Fahrtrichtung vor dem Fahrzeug liegen.
Die Unzulänglichkeiten der existierenden Umgebungserfassungssensoren können durch spezialisierte und daher für den Serieneinsatz meistens zu teure Referenzsensoren kompensiert werden, indem diese beim Generieren von Trainingsdaten für ein maschinelles Lernsystem zur Straßenzustandsbestimmung ebenfalls beitragen. Zur Generierung von Trainingsdaten werden häufig Testfahrzeugflotten mit den Umgebungserfassungssensoren für den späteren Serieneinsatz eingesetzt. Die erfassten Daten werden dann in der Regel manuell gelabelt, um den tatsächlichen Straßenzustand für das Training des maschinellen Lernsystems bereitzustellen. Das manuelle Labeln erfolgt durch Menschen, wobei die menschliche Wahrnehmung von Straßenzuständen subjektiv ist. Ab wann liegt z.B. eine „nasse Fahrbahn“ vor? Liegt unter einer sichtbaren Neuschneedecke eine ältere Eisschicht vor? Liegt Glatteis auf einer schwarzen Straße vor oder eine trockene schwarze Straße? Manuelles Labeln ist darüber hinaus sowohl zeitaufwändig als auch kostspielig.
Ein zweiter Ausgangspunkt liegt darin, als Referenzsensor einen expliziten Straßenzustandsbestimmungssensor mit hoher Zuverlässigkeit und Präzision einzusetzen. Günstig ist es hierbei, wenn der („reine“) Straßenzustandsbestimmungssensor vorausschauend bestimmen kann, ob Wasser auf der Straßenoberfläche vorhanden ist und welche Temperatur an der Straßenoberfläche vorliegt. Eine Sende- und Empfangsvorrichtung, die in den Wellenlängenbereichen von 1550 nm und etwa 2 bis 10 Mikrometer arbeitet, kann beides bestimmen.
Ein Aspekt der Erfindung betrifft ein Verfahren zum Trainieren eines maschinellen Lernsystems zur Straßenzustandsüberwachung umfassend die Schritte:
- Bereitstellen bzw. Aufnehmen von Daten durch ein Sensorsystem eines Fahrzeugs, wobei das Sensorsystem eine Umgebung des Fahrzeugs erfasst, als Trainings-Eingabedaten, - Bereitstellen bzw. Aufnehmen von Daten, die den Straßenzustand charakterisieren, durch einen im oder am Fahrzeug angebrachten Referenzsensor als Trainings-Zielwerte, und
- Trainieren des maschinellen Lernsystems, wobei Trainingsdaten, die Trainings-Eingabedaten und zu diesen Trainings-Eingabedaten korrespondierende Trainings-Zielwerte umfassen, bereitgestellt werden und mittels der Trainingsdaten Parameter des maschinellen Lernsystems derart angepasst werden, dass das maschinelle Lernsystem bei Eingabe der Trainings-Eingabedaten Ausgabedaten, die den Trainings-Zielwerten ähnlich sind, erzeugt.
Die Daten des Sensorsystems (Sensordaten) können beispielsweise Bilddaten, Radardaten und/oder Lidardaten umfassen.
Mittels der Trainingsdaten wird das maschinelle Lernsystem trainiert, d.h., Parameter des maschinellen Lernsystems werden derart angepasst, dass das maschinelle Lernsystem bei Eingabe der Trainings-Eingabedaten Ausgabedaten, die den Trainings-Zielwerten ähnlich sind, erzeugt. Die Parameter umfassen beispielsweise bei neuronalen Netzen die Gewichtungen zwischen einzelnen Eingabewerten und Neuronen. Das Trainieren des maschinellen Lernsystems erfolgt dabei mittels eines überwachten Lernverfahrens, wobei eine Vielzahl an Lernverfahren bekannt ist. So kann beispielsweise für das Trainieren eines neuronalen Netzes das Backpropagation-Verfahren verwendet werden. Im Laufe des Trainierens werden dabei die Parameter des maschinellen Lernsystems derart angepasst, dass ein Fehler zwischen den Ausgabedaten und den Trainings-Zielwerten möglichst klein wird. Der Fehler zwischen den Ausgabedaten und den Trainings-Zielwerten wird dabei beispielsweise über den Abstand zwischen den Ausgabedaten und den Trainings-Zielwerten und eine entsprechende Metrik für Ausgabedaten bestimmt. Hierbei ist zu beachten, dass eine Überanpassung vermieden wird, was beispielsweise mittels einer Betrachtung des Fehlers zwischen aus Test-Eingabedaten erzeugten Ausgabedaten und den zugehörigen Test-Zielwerten erreicht wird. Die Test-Zielwerte sind dabei den Test-Eingabedaten zugeordnet und die Test-Eingabedaten und Test-Zielwerte werden nicht für die Anpassung der Parameter des maschinellen Lernsystems verwendet.
Optional können die Parameter des maschinellen Systems ausgegeben werden, wenn das Training erfolgreich beendet wurde, z.B. weil die Ausgabedaten den Trainings-Zielwerten hinreichend ähnlich sind, was z.B. über einen Schwellwert einer Ähnlichkeitsmetrik vorgegeben werden kann.
In einer Ausführungsform umfasst das Sensorsystem ein Kamerasystem des Fahrzeugs, so dass die bereitgestellten oder aufgenommenen Daten Bilddaten sind und die Bilddaten als Trainings-Eingabedaten dienen. Der Referenzsensor bestimmt Referenzdaten als Trainings-Zielwerte für Bilddaten (Labels).
Das Kamerasystem kann beispielsweise eine in einem Fahrzeug vorzugsweise hinter der Windschutzscheibe angeordnete monokulare Kamera sein, so dass einer visuellen Wahrnehmung eines Fahrers des Fahrzeugs entsprechend das Vorfeld des Fahrzeugs erfasst werden kann. Das Kamerasystem kann alternativ eine Stereokamera sein, die Tiefeninformationen zur Fahrzeugumgebung bereitstellt oder ein Satellitenkamerasystem, z.B. ein Surround-View-Kamerasystem, welches mit mehreren in unterschiedliche Richtungen des Fahrzeugs blickende Fischaugenkameras umfasst.
Durch die nachgeschaltete Verarbeitung der Bilddaten und der Referenzsensordaten durch das maschinelle Lernsystem („Al-Kamera“) können die Fähigkeiten des Referenzsensors zur Straßenzustandsüberwachung mit entsprechenden Lernverfahren auf das Kamerasystem übertragen werden.
Gemäß einem Ausführungsbeispiel umfasst der Referenzsensor eine Sende- und Empfangseinheit, die elektromagnetische Strahlung mindestens einer definierten Wellenlänge auf die Straße emittiert und die von der Straße reflektierte Intensität empfängt und misst und wobei der Referenzsensor dazu eingerichtet ist, auf Grundlage der Messwerte Wahrscheinlichkeiten für das Vorliegen verschiedener Klassen von Straßenzuständen anzugeben. Das Vorliegen von Wasser auf der Straße kann durch die Messung der Absorption bei diskreten Wellenlängen im mittleren Infrarot erfolgen. Ein Vergleich der Messergebnisse zweier geeigneter Wellenlängen (ratiometrische Messung) ermöglicht die robuste Erkennung von Wasser auf der Straße.
Ein geeigneter Referenzsensor zur Darstellung von Ground-Truth Daten kann alle Ziel-Lern-Klassen des Kamera-Systems unabhängig von der tageszeitlich abhängigen Lichtverteilung (Helligkeit) erkennen.
Dies ist die Voraussetzung dafür, dass das Lernergebnis eines Kamerasystems (als Sensorsystem) in optimaler Weise durch die Belichtungssteuerung der Kameras an die tageszeitlich sehr unterschiedliche Lichtverteilung (Helligkeit) angepasst werden kann.
Dadurch kann gewährleistet werden, dass die Erkennung des Fahrbahnzustands über das Kamerasystem nicht nur bei Tageslicht, sondern auch bei Dämmerung und Nacht weitestgehend möglich ist, eine hinreichend empfindliche Kamera vorausgesetzt.
Vorteilhaft stimmen die Wellenlängenbereiche der Beobachtung zwischen dem Referenzsensor und dem Kamerasystem nicht überein. Die Kamera beobachtet im sichtbaren Licht und der Referenzsensor beispielsweise im infraroten Bereich.
In einer Ausführungsform ist vorgesehen, dass durch unterschiedlichen Fahrgeschwindigkeiten und durch die eingestellte Belichtungszeit hervorgerufene Motion Blur (Bewegungsunschärfe) im Bild mitgelernt wird. Dabei können beide Parameter sowohl in Klassen als auch anhand einer linearen Approximation in das Lernergebnis einfließen.
Vorteilhaft kann die Geschwindigkeit über Grund dabei eine nützliche zusätzliche Eingangsgröße sein.
Gemäß einem Ausführungsbeispiel ist vorgesehen, dass Wetter- und Fahrdynamikdaten wie ABS-, ASR und/oder ESC-Regeleingriffe des Ego-Fahrzeugs in das Lernergebnis vorteilhaft einbezogen werden können. In dem Fall kann man von früher Fusion der Labeling-Größen sprechen. Darüber hinaus oder alternativ ist gemäß einer Ausführungsform vorgesehen, dass für manuell gefahrene Fahrzeugen auch der Fahrstil anhand von Fahrzeugbeschleunigungen in Längs- und Querrichtung neben der bereits erwähnten Fahrgeschwindigkeit oder alternativ der Sicherheitsabstand zu vorausfahrenden Fahrzeugen einbezogen wird.
In einer Ausführungsform geht der Referenzsensor Wahrscheinlichkeiten für das Vorliegen (zumindest) der folgenden Klassen von Straßenzuständen aus: „trocken“, „nass“, „Schnee“, „Eis“ und „unbekannt/Fehler“. Ein Fehler im Fall eines Kamerasensors als Sensorsystem ist z.B. ein überwiegend schwarzes oder weißes Bild oder überwiegendes Bildrauschen wegen Unterbelichtung.
Gemäß einem Ausführungsbeispiel umfasst der Referenzsensor ein Pyrometer, welches die Temperatur der Straße misst. Beispielsweise kann der Referenzsensor im thermischen (fernen) Infrarot, z.B. im Bereich von 2 bis 10 pm, messen, um die Oberflächentemperatur aus der thermischen Strahlung abzuleiten. Thermische Features im fernen IR sind hingegen z.B. unsichtbar im sichtbaren Spektrum, deswegen haben bereits Menschen sehr große Schwierigkeiten, Black Ice zu erkennen.
In einer Ausführungsform selbst der Referenzsensor folgende Wellenlängen ein: 1550 nm und 980 nm, um durch einen Vergleich der reflektierten Intensitäten das Vorliegen von Wasser zu detektieren und eine Wellenlänge im Bereich von 2 bis 10 pm, um die Temperatur der Straße zu messen.
In einem Ausführungsbeispiel ist das maschinelle Lernsystem ein neuronales Netz(-werk). Neuronale Netze eignen sich dabei besonders gut für das beschriebene Verfahren, da sie einfach angepasst werden können.
Das neuronale Netz ist dabei insbesondere ein Convolutional Neural Network. Die Nichtlinearität des Convolutional Neural Networks stellt dabei für die Verwendbarkeit des beschriebenen Verfahrens kein Problem dar. Das beschriebene Verfahren kann aber auch mit anderen maschinellen Lernsystemen verwendet werden, beispielsweise mit Entscheidungsbaum-Lernen, mit Support Vector Machines, Regressionsanalyse oder Bayesschen Netzen. Des Weiteren ist es möglich, das beschriebene Verfahren in einem Multi-Task-Klassifikationssystem zu verwenden. Das Multi-Task-Klassifikationssystem umfasst dabei beispielsweise einen Encoder und eine Vielzahl an Decodern. Ferner ist es möglich, das maschinelle Lernsystem in mehrere Untersysteme zu unterteilen. Dabei weist jedes der Untersysteme die Funktionalität des hier beschriebenen maschinellen Lernsystems auf, die Untersysteme unterscheiden sich allerdings voneinander, beispielsweise in der Art des maschinellen Lernsystems oder in der Auswahl der Trainingsdaten. Mittels der Untersysteme erzeugte Ausgabedaten können dann kombiniert werden, um eine verbesserte Ausgabe zu erhalten.
Gemäß einer Ausführungsform umfasst das Fahrzeug eine Datenübermittlungseinheit, und die Datenübermittlungseinheit ist dazu eingerichtet, Trainingsdaten an eine Servereinheit (Backbone) zu übertragen. Dies ermöglicht den Aufbau eines datengetriebenen Ökosystems (data driven ecosystem, DDE) für die Entwicklung von maschinellen Lernsystemen, z.B. zur Straßenzustandsbestimmung anhand von Sensordaten üblicher Umgebungsersfassungssensoren.
In einem Ausführungsbeispiel ist die Servereinheit dazu eingerichtet, einen Trainingsdatensatz umfassend eine (vorgegebene) Menge an Trainingsdaten zu aktualisieren, wobei Größe des Trainingsdatensatzes konstant gehalten wird, und wobei anhand eines oder mehrerer Qualitätskriterien (z.B. kann die Qualität anhand mehrerer KPIs bewertet werden) sichergestellt wird, dass bei einer Aktualisierung des Trainingsdatensatzes die Relevanz der Trainingsdaten hinsichtlich der Straßenzustandsbestimmung gesteigert wird.
Um dabei eine hohe Zuverlässigkeit auch bei unbekannten Szenerien zu erreichen, findet gemäß einem Ausführungsbeispiel das Training in einem DDE mit fortwährender Verbesserung der Datenrelevanz statt. Im Backend des DDE kommen dabei automatische Verfahren gemäß Key Performance Indikatoren (DAgger) und mit erheblich reduziertem Aufwand auch menschliche Abwägung (Active Learning) zum Einsatz.
Das DDE ist so ausgelegt, dass die Größe des Datensatzes nach Erreichen einer Grenze konstant gehalten wird. Dadurch steigen die Trainingszeiten für das maschinelle Lernsystem nicht weiter an. Die Rechenleistung im Backend wird dafür eingesetzt, die Relevanz des Trainingsdatensatzes zu steigern.
Gemäß einer Ausführungsform ist die Servereinheit dazu eingerichtet, bei der Aktualisierung eine Ausgewogenheit des Trainingsdatensatzes zu erzielen, so dass der Trainingsdatensatz eine hohe Diversität aufweist, wobei seltenere Straßenzustände hinreichend durch Trainingsdaten repräsentiert sind. Seltene Situationen, wie z.B. Black Ice, d.h. eine überfrorene schwarze Straße, sind besonders selten anzutreffen, aber auch besonders gefährlich, da der Reibwert stark herabgesetzt wird.
In einem Ausführungsbeispiel wird die Relevanz der Trainingsdaten derart bewertet, dass den Trainingsdaten eine hohe Relevanz beigemessen wird, die orthogonal sind zu den anderen bereits im Trainingsdatensatz enthaltenen Trainingsdaten.
Gemäß einer Ausführungsform werden die Sensordaten für den erfassten Bereich der Straße in Segmente aufgeteilt und die bereitgestellten bzw. aufgenommenen Daten des Referenzsensors charakterisieren den Straßenzustand für die Segmente.
Die hohe Ortsauflösung ermöglicht bevorzugt mit Hilfe der im Netz kondensierten Erkennungsregeln eine Segmentierung der Sensordaten auf der vorausliegenden Straße und dadurch eine sogar vorausschauende und ortsauflösende Messung. Dabei wird Reaktionszeit gewonnen und zugleich werden die Kosten für die Anwendung gegenüber der Referenzmesstechnik um bis zu zwei Größenordnungen gesenkt. Ein weiterer Aspekt betrifft ein Verfahren zur Straßenzustandsüberwachung unter Einsatz eines maschinellen Lernsystems, wobei das maschinelle Lernsystem wie zuvor beschrieben trainiert wurde, wobei von einem Fahrzeug-Sensorsystem, das eine Umgebung des Fahrzeugs erfasst, erfasste Daten dem maschinellen Lernsystem als Eingabedaten bereitgestellt werden und das maschinelle Lernsystem aus den Eingabedaten Ausgabedaten erzeugt, die den Straßenzustand charakterisieren.
Ein dritter Aspekt betrifft ein Straßenzustandsüberwachungssystem umfassend eine Eingabeeinheit zum Empfangen von Eingabedaten; eine Rechnereinheit, die zum Ausführen des zuvor beschriebenen Verfahrens zur Straßenzustandsüberwachung ausgebildet ist; und eine Ausgabeeinheit zum Ausgeben der von der Rechnereinheit erzeugten Ausgabedaten.
Ein weiterer Aspekt betrifft ein Fahrzeug, umfassend ein Sensorsystem, wobei das Sensorsystem eingerichtet ist, eine Umgebung des Fahrzeugs zu erfassen und die erfassten Sensordaten der Eingabeeinheit als Eingabedaten bereitzustellen, sowie ein zuvor beschriebenes Straßenzustandsüberwachungssystem.
Beim Aufbau eines Trainingsdatensatzes (z.B. in einer Servereinheit) können folgende Probleme auftreten: a) Es werden viele ähnliche Daten generiert b) Es gibt seltene Klassen c) Die Klassen sind sehr stark korreliert mit den Testorten, so wird in Schweden mehr Eis detektiert und in Deutschland mehr Nässe in Südspanien mehr Trockenheit. Durch die Korrelation mit dem Ort, könnte fälschlich der Ort gelernt werden, an Stelle des Straßenzustandes. d) Seltene Klassen sind dennoch relevant. Die seltenen Klassen werden praktisch vernachlässigt, es sind aber gerade dies die besonders gefährlichen Fälle. e) Die Wellenlängenbereiche der Beobachtung zwischen Referenzsensor und Kamera stimmen nicht überein, der Referenzsensor beobachtet z.B. bei diskreten Wellenlängen im mittleren Infrarot, um Absorption von Wasser und Eis zu detektieren und im thermischen (fernen) Infrarot, um die Oberflächentemperatur aus der thermischen Strahlung abzuleiten. Die Kamera beobachtet Licht im sichtbaren Wellenlängenbereich. Thermische Features im fernen IR sind z.B. unsichtbar im sichtbaren Spektrum, deswegen haben bereits Menschen sehr große Schwierigkeiten, Black Ice zu erkennen. Sie leiten den Zustand stattdessen aus der Beobachtung der Umgebung und anderen optischen Features ab. D.h. es ist prinzipiell möglich, den Straßenzustand kameraoptisch in vier bis fünf Klassen zu unterscheiden, aber es ist schwierig, man müsste aus enorm vielen Beispielen lernen und daher ist die rein kameraoptische Straßenzustandserkennung bislang nicht unbedingt hinreichend robust.
Ein Data Driven Ecosystem bietet folgende Lösungen, um derartigen Problemen zu begegnen:
1 ) Policy Aggregation: Lernt man einen Random Decision Forest ein, dann nimmt man nicht einen Entscheidungsbaum, sondern eine ganze „Tüte voll davon“, also eine „bag of classifiers method.“ Dadurch wird ein Mehrheitsentscheid möglich und mit zunehmendem Lernfortschritt werden zufällig Varianten bestehender, erfolgreicher Entscheidungsbäume gebildet und hinzugenommen, während nicht erfolgreiche verworfen werden. Am Ende kommt man per Mehrheitsentscheid vieler guter Klassifikatoren zu einem sehr guten Ergebnis. Die Methode ist gut anwendbar, wenn der einzelne Klassifikator sparsam berechnet wird. Im Falle von Entscheidungsbäumen mit wenigen ja-nein-Kriterien ist dies der Fall. Es handelt sich um ein evolutionäres Verfahren, es werden keine Gradienten berechnet, keine Backpropagation.
2) Backpropagation: Moderne Neuronale Netze lernen mit Backpropagation aus dem Unterschied zwischen gewünschter Ausgabe und nach anfänglicher Initialisierung erzielter zufälliger Ausgabe. Per Kettenregel werden die Unterschiede (Gradienten) zurück in die Lagen des Netzes übersetzt und dadurch bestimmt wie sich die Gewichte und Offsets im Netz ändern müssen, um zu einer besseren Lösung zu gelangen. In der Backpropagation ist die wiederholte Anwendung redundanter Daten störend, weil damit Irrelevanz eingefüttert wird. Bestimmte, evtl, sehr ähnliche Fälle werden überlernt, ja geradezu akribisch auswendig gelernt, aber leicht unterschiedliche Testdaten werden nicht so gut erkannt wie die Trainingsdaten, so genanntes Overfitting.
3) Split der Daten: Gegen das Overfitting hilft auf der Erkennungsseite ein Split in Trainings- und Testdaten, wobei ein zu messender KPI (Key Performance Indicator), z.B. die Precision oder Accuracy der Ausgabe für die Testdaten mindestens so gut sein muss wie für die Trainingsdaten. Es hilft nicht, wenn die Trainingsdaten zu dicht an den Testdaten liegen, weil es z.B. benachbarte Bilder derselben Sequenz sind. Dies gilt es zu vermeiden.
4) Batch Normalization: Neuronen in den Netzen funktionieren auf der vereinfachenden Annahme, dass eine lineare Koppelung mit dem nächsten Layer genügt, weil die Eingangsdaten, die Ausgangsdaten, aber auch die Daten in den Zwischenlagen offsetfrei und gleich verteilt sind. Dies kann durch eine lagenweise Renormalisierung erreicht werden (loffe und Szegedy, Google)
5) Dropout: Es können sich im Lernprozess im Netz Klumpen von Neuronen ohne Funktion bilden. Ziel ist es, dass jeder Teilbereich im Netz gleichermaßen zur Klassifizierung beiträgt. Eine besondere Schwierigkeit ist das Problem der Verschwindenden und der explodierenden Gradienten. D.h. beim Zurücktragen mit Hilfe der Kettenregel wird die Anforderung der Neuronen sich in ihren Gewichtungen zu verringern lagenweise exponentiell kleiner oder exponentiell größer. Um dies zu vermeiden, werden in jedem Fernschrift etwa 50% der Neuronen zufällig ausgewählt und deaktiviert. Für die verbleibenden 50% wird die Stärke des Signals angepasst und nur diese werden im aktuellen Schritt trainiert. Im nächsten iterativen Trainingsschritt werden andere 50% Neuronen gewählt, so dass erzwungen wird, dass jede Teilmenge des Netzes die gleiche Funktionalität trägt, das volle Netz ist dann einfach nur gemäß seiner Größe leistungsfähiger, aber es gibt kaum Neuronen, die unverbunden bleiben, weil die zugehörigen Gewichte nahe Null stehen bleiben. 6) Regularization: Dies ist ein Verfahren vielleicht am besten zu Vergleichen mit der Tiefenmessung in einem Krater. Die tiefste Stelle entspricht der besten Lösung, aber Krater hat nicht einfach die Form einer Schale, sondern darin auch wieder Berge und weitere Krater. Eigentlich ist es ein ganzes Kraterfeld sich überschneidender Krater. Bei einer einfachen Suche nach der tiefsten Stelle, im Beispiel eine Kugel, die man in das Feld wirft, besteht die Gefahr, dass die Kugel in einem lokalen Minimum hängen bleibt, d.h. es wird nicht die beste Lösung bestimmt, sondern nur die lokal nächstbeste. Regularization bedeutet, dass anhaftendes Pulver in die Kraterlandschaft gefüllt wird. Dieses füllt zumindest nach Verfestigung die kleineren Krater, so dass weniger Möglichkeiten bestehen bleiben, in einem lokalen Minimum hängen zu bleiben. Regularization muss sehr sparsam eingesetzt werden. Bildlich gesprochen, darf man die Kraterlandschaft nicht bis obenhin verfallen und damit sämtliche Unterschiede einebnen. In geringen Dosen im Promille-Bereich eingesetzt hat Regularization jedoch die Wirkung von speziellen Erkennungsmerkmalen abzulassen und dafür allgemeingültigere, grundlegende Regeln zu finden. Allerding um den Preis einer „scheinbar“ reduzierten Accuracy. Ein einfacher KPI kommt also schlechter heraus, obwohl eigentlich besser klassifiziert wird.
7) Activations: Activations lassen sich mit einer Art visueller Backpropagation auf der GPU parallel zum eigentlichen neuronalen Netz rechnen. Sie geben für die convoluted Layers (nicht für die fully connected layers) an, welche Neuronen an der Entscheidung beteiligt sind und projizieren dies zurück auf die Eingangslage des Netzes. D.h. man kann als Mensch begutachten, falls man die Activations mit dem zugehörigen Eingangsbild überlagert, welche Features zu der Klassifikations-Entscheidung herangezogen wurden. Das hilft dabei zu verstehen, was schief geht, wenn etwas falsch detektiert wurde und liefert wertvolle Hinweise auf eventuell fehlende Trainingsbeispiele. Es liefert auch einen anschaulichen Hinweis neben der schlichten Beobachtung der KPI’s.
8) Key Performance Indikatoren, kurz KPI’s: Ein einfacher zwei-Klassen-Detektor kann entweder ansprechen, nicht ansprechen, richtig melden oder falsch melden - in allen Kombinationen, hier also vier Fälle. Wird detektiert, dann ist Recall hoch. Es ist vorstellbar, eine Szenerie immer weiter abzudunkeln, bis das Bild schwarz ist. Wäre der Ausgang wieder ein Bild, nicht nur eine Klasse, könnte man Pixel zählen, die ein bekanntes Feature abbilden und die erkannt werden. Zusätzlich könnten auch andere, nicht zum bekannten Feature gehörenden Pixel ansprechen. Das wären dann false Positives. Es geht also um zweierlei, um Erkennen und um Korrektheit des Ergebnisses. Das lässt sich entweder in einem Diagramm auftragen oder im F2- Score zusammenfassen. Schlicht, ein KPI ist ein vorher definiertes Maß, dass im Mittel über das Testdatenset angibt wie gut ein Netz trainiert ist.
9) Data Aggregation: Hat große Ähnlichkeit mit Policy Aggregation. Nur an Stelle z.B. 500 Neuronale Netze zu rechnen und deren Ausgabe mehrheitlich abzustimmen verschiebt man das Problem vom Ausführungszeitpunkt auf die Trainingszeit und damit auf die Auswahl der relevanten Daten. Dadurch muss man nur ein Netz rechnen, jedoch beginnt man mit einer Teilmenge der Trainingsdaten, z.B. 5% davon und schaut sich das nächste 5% Kontingent an, welche Bilder bereits richtig klassifiziert werden mit dem Training der ersten 5%. Die werden schlicht nicht benötigt. Es ist wie bei einer Prüfungsvorbereitung, in der man das lernen muss, was man noch nicht verstanden hat. Data Aggregation ist, wenn die Maschine entscheidet, welche Daten relevant sind, es sind diejenigen, die orthogonal zu all den anderen bereits gelernten sind.
10) Active Learning: Manchmal kommt es vor, dass Daten falsch gelabelt sind. Dem Netz fällt das während der Data Aggregation auf, es kann nicht sein, dass ein Bild gleichzeitig trocken und nass ausgegeben werden soll. Das spricht dafür, dass ein Bild falsch ist. Aber welches? In diesen Fällen muss dann doch der Mensch entscheiden, aber dadurch, dass der Prozess soweit automatisiert ist, müssen nur die strittigen Fälle entschieden werden.
11 ) Konstante Größe des Datensets: Keine stetige Zunahme der Lerndauer. Das DDE entscheidet dann wieder eigenständig, ob die Daten relevant sind. Wenn der Datensatz schließlich bei seiner Zielgröße angelangt ist, kann Data Aggregation versuchen neue Daten gegen alte als relevant eingestufte zu tauschen. Dabei wird kontinuierlich die Qualität anhand mehrerer KPI’s gemessen. Ist die neue Lösung in Form eines neuegelernten Neuronalen Netzes unterdurchschnittlich, dann wird sie verworfen, dann ist sie überdurchschnittlich, wird sie favorisiert.
12) Das Data Driven Ecosystem: Es ist in seinem Backend, also der Funktion, die später in der Cloud gerechnet wird eine ständige Challenge der besten bisher berechneten Netze, ob sie durch Austausch gegen relevantere Trainingsdaten nach dem Training besser sind als zuvor. Das hängt maßgeblich von dem Testdatenset ab, das genau wie das Trainingsdatenset angepasst werden muss. Es sollte die relevanten Fälle in allen Umgebungssituationen wie auch die rare cases und die corner cases enthalten.
13) Synthetische Daten (abgeleitet aus realen Daten): Per Definition sind rare cases selten. Damit sie nicht unterrepräsentiert werden, können synthetische Daten mittels GAN Style Transfer aus regulären Daten abgeleitet werden, d.h. die synthetischen Daten beantworten die Frage wie eine Landschaft in einem anderen Wetterzustand aussieht oder wie ein Wetterzustand an einem anderen Ort aussieht. Da man sehr viele Bilder von Orten aufnehmen kann, aber nur wenige von seltenen Zuständen, wird man also den Zustand auf einen anderen Ort übertragen.
14) Geschwindigkeitsabhängige, zeitversetzte Auswertung: Was auf der Frontkamera sichtbar ist auf der Straße weiter voraus als der aktuelle Messfleck. Um sicher zu gehen, muss eine Zeitverschiebung vorgenommen werden, in der die Bahn des Messflecks auf der Straße mit dem Bild der Straße in Einklang gebracht wird. Im Umkehrschluss kann statt einer Categorical Classification auch eine Segmentation gerechnet werden. Wird zusätzlich ein Netz genutzt, dass die Lage der Straße auf dem Bild erkennt, kann die Straße mit Straßenzustand segmentiert gelernt und folglich dargestellt werden.
15) Mittelwerte sagen mehr als Einzelwerte: Auch auf der Inference-Seite, also in der Anwendung des Netzes ergeben sich Möglichkeiten zur Verbesserung und zum Abfangen von Ausreißern durch Mittelwertbildung. So ist z.B. nicht mit sekündlichen Änderungen der gesamten Wetterlage zu rechnen, Straßenzustand ist ein Phänomen das sich allerdings sehr wohl an räumlichen Grenzen ändern kann, sei es beim Herausfahren aus der Halle oder aus einem Tunnel oder beim Passieren einer Brücke. Hier sind besonders starke Änderungen zu erwarten. Gelingt es, das zu erkennen, lässt sich in allen anderen Fällen durch eine Mittelwertbildung das Ergebnis stabilisieren.
16) Test der Netze in synthetischen Szenen und im Fahrversuch: Um Standard Cases und bekannte Rare Cases & Corner Cases abzudecken, zusätzlicher Test zu den normalen Trainingsdaten zur Plausibilisierung des Verhaltens. Es gilt einen Test-Parcours zu überstehen.
17) Absicherung der Übertragung: Im einfachsten Fall erfolgt ein Update über einen USB-Stick. Zielführend ist jedoch auch eine Updatefunktion für die Fahrzeugflotte nach Auslieferung und über die Lebenszeit des Produktes. Um Übertragungsfehler und Manipulationen in einem vollständigen DDE zu vermeiden, werden den eigentlichen Daten Prüfsummen und eine kryptographische Signatur, sowie eine Chiffrierung hinzugefügt.
18) Update: Für die Flottenanwendung sollten die Daten bevorzugt Over The Air (OTA) übertragen werden. Dabei wird davon ausgegangen, dass Fahrzeuge künftig mit SIM-Karte ausgestattet sind und eine getunnelte Internet-Verbindung zum Update-Server aufbauen können. Natürlich ist auch immer ein konventionelles Update z.B. via USB-Stick und Filesystem möglich.
19) Triggerung interessanter Daten: Insbesondere aus dem Tesla Patent ist bekannt, dass rare cases und corner cases, in unserem Fall also seltene Straßenwetter_Situationen aufgenommen werden sollen. Bei Tesla ist der Trigger dabei selbst auch wieder ein Netz, dem eintrainiert wurde, auf bestimmte Szenerien anzusprechen. Ebendiese Technik würde man auch hier anwenden, um das Produkt datengetrieben in einem zweiten, kontinuierlichen Kreislauf zu verbessern. Denkbar ist auch eine Triggerung nur in wenigen Messfahrzugen, die mit Referenz Sensorik ausgestattet sind. Der größere Nutzen wegen der größeren Zahl der Anwendungsfälle ist jedoch klar ein Trigger in jedem Fahrzeug der Flotte, denn nur so skaliert das System von selbst mit. 20) Rückkanal: bevorzugt Over The Air (OTA), jedoch auch konventionell in der Werkstatt via USB oder andere Bussysteme. Ein OTA Update-Kanal zum Fahrzeug bietet den Vorteil, dass bei notwendigen Software-Updates keine Rückholaktion durch den Fahrzeughersteller ausgelöst werden muss. Darüberhinaus hilft ein Rückkanal zur kontinuierlichen Produktverbesserung. Zurückgemeldet werden dabei getriggerte und anderweitig z.B. durch Versuchs-Fahrerinnen oder Fahrerinnen selektierte Momente und ihnen zugeordnete Messungen. Datenvolumina von bis zu mehreren 100MB für diverse Sensoren pro Hersteller sind eine realistische Größenordnung. D.h. es sind viel mehr Daten verfügbar als nachher in die entsprechenden Sensornetze hinein trainiert werden müssen. Umso wichtiger ist eine gute Methodik zur Auswahl der T rainingsdaten und zur Bewertung der zu trainierenden Netze mittels KPI’s.
21 ) Virtualisierung des Ecosystems, Verbindungen und Sourcing: All dies geschieht im Backend, bevorzugt in der Cloud. Das gesamte Backend lässt sich virtualisieren, d.h. in einen Docker-Container verlagern und auf einer großen Cloud-Instanz mit hinreichender Leistungsfähigkeit betreiben. Das hat den Vorteil, dass man die Nachverarbeitung mit der Flottengröße mitskalieren lassen kann. Es gibt also eine Datenverbindung zwischen Flotte, Provider und Cloud-Provider. Das ist wiederum unabhängig von dem Ort, an dem die Daten kuratiert und neue Algorithmen integriert werden. Der Zugriff auf die Cloud sollte problemlos weltweit möglich sein. Das Ausrollen der Daten ebenfalls.
22) Anonymisierung und Datenschutz ohne Nebenwirkungen gestalten: Auf Grund von lokal gültigen Datenschutzbestimmungen ist über eine Quellen_Anonymisierung nachzudenken. Denn wenn keine personenspezifischen Daten gespeichert werden, dann können auch keine Gesetze verletzt werden in dem Konzept der weltweit verfügbaren Cloud-Verarbeitung und Daten-Kuratierung. Dabei ist sicher zu stellen, dass die Anonymisierung keine ungewollte Rückwirkung auf die Hauptfunktion nimmt. Im Falle der Straßenzustands-Beobachtung sollte jedoch ein anonymisiertes Gesicht und ein anonymisiertes Nummernschild kein Problem darstellen, außer vielleicht, das Nummernschild wäre sehr groß im Bild und würde z.B. von dunklem Hintergrund auf hellen Hintergrund umgelabelt. Extreme Weißtöne im Bild können ein Indikator für Schnee sein, der dann z.B. fälschlich für wahrscheinlicher eingestuft würde. Ebensolche Nebenwirkungen sind abzutesten und methodisch zu vermeiden (z.B. unkenntlich machen nur mit Hintergrundfarbe)
Anpassung des Fahrverhaltens an den Straßenzustand: Ziel all dieser Bemühungen ist im Falle der Straßenzustandsmessung schlicht ein angemessenes Fahrverhalten. Der Fahrer/die Fahrerin möchte bestimmt nicht sekündlich über den Zustand informiert werden, dazu ist er/sie mit Sicherheit selbst Experte/Expertin genug. Warnungen würden im Fall von Glätte, also stark vermindertem Reibwert abgegeben. Der eigentliche Reibwert kann nur geschätzt werden, denn er hängt von Straße und Reifen ab. Hauptanwendung der Straßenzustandsmessung ist das hoch automatisierte Fahren, denn auch die Fahrplanung muss über den Straßenzustand informiert sein. Eventuell muss langsamer gefahren werden, eventuell muss mit Untersteuern gerechnet werden und mit längeren Bremswegen. Das, was für uns Menschen selbstverständlich ist, muss der Maschine mit einer technischen Methode nahegebracht werden. Dabei ist es von Vorteil, wenn die technische Methode kostengünstig ist.
Der Sinn einer Straßenzustands-Überwachung liegt im Bereich der Fahrerwarnung im Falle von Glätte (insbesondere Black Ice) aber noch mehr im Bereich hoch automatisierenden Fahrens. Hier müssen die Annahmen zum Bremsweg entsprechend des Straßenwetters ständig aktualisiert werden, wodurch sich das Fahrverhalten an die Wetterumstände anpasst.
Mittelwerte sagen mehr als Einzelwerte: Auch auf der Inference-Seite, also in der Anwendung des Netzes ergeben sich Möglichkeiten zur Verbesserung und zum Abfangen von Ausreißern durch Mittelwertbildung. So ist z.B. nicht mit sekündlichen Änderungen der gesamten Wetterlage zu rechnen, Straßenzustand ist ein Phänomen, das sich allerdings sehr wohl an räumlichen Grenzen ändern kann, sei es beim Herausfahren aus der Halle oder aus einem Tunnel oder beim Passieren einer Brücke. Hier sind besonders starke Änderungen zu erwarten. Gelingt es, das zu erkennen, lässt sich in allen anderen Fällen durch eine Mittelwertbildung das Ergebnis stabilisieren.
Geschwindigkeitsabhängige, zeitversetzte Auswertung: Was auf der Frontkamera sichtbar ist auf der Straße weiter voraus als der aktuelle Messfleck. Um sicher zu gehen, muss eine Zeitverschiebung vorgenommen werden, in der die Bahn des Messflecks auf der Straße mit dem Bild der Straße in Einklang gebracht wird. Im Umkehrschluss kann statt einer Categorical Classification auch eine Segmentation gerechnet werden. Wird zusätzlich ein Netz genutzt, dass die Lage der Straße auf dem Bild erkennt, kann die Straße mit Straßenzustand segmentiert gelernt und folglich dargestellt werden.
Kurze Beschreibung der Figuren
Im Folgenden werden Ausführungsbeispiele der Erfindung anhand von Zeichnungen näher erläutert. Hierbei zeigen:
Fig. 1 ein Fahrzeug mit einem umgebungserfassenden Sensorsystem, einem Referenzsensor und einer verarbeitenden Einheit;
Fig. 2 eine Darstellung eines maschinellen Lernsystems, das anhand von Daten des Umgebungserfassungsensors und des Referenzsensors trainiert wird, Ausgabedaten zu generieren, die den Straßenzustand charakterisieren;
Fig. 3 ein trainiertes maschinelles Lernsystem, das anhand von Daten des Umgebungserfassungsensors Ausgabedaten generieren kann, die den Straßenzustand charakterisieren;
Fig. 4 ein Straßenzustandsüberwachungssystem; und
Fig. 5 ein Fahrzeug mit einem Referenzsensor mit einer Sende- und Empfangseinheit.
Detaillierte Beschreibung Fig. 1 zeigt schematisch eine Draufsicht eines Fahrzeugs 2. Das Fahrzeug 2 weist ein umgebungserfassendes Sensorsystem 1 , einen Referenzsensor 5 und eine verarbeitende Einheit 10 auf. Das umgebungserfassende Sensorsystem 1 kann z.B. eine Bildaufnahmevorrichtung sein bzw. umfassen. Die Bildaufnahmevorrichtung kann eine Frontkamera eines Fahrzeugs sein. Die Frontkamera kann im Inneren des Fahrzeugs 2 angeordnet sein - etwa im Bereich des Rückspiegels - und durch die Windschutzscheibe des Fahrzeugs 2 die Umgebung erfassen, die vor dem Fahrzeug 2 liegt. Basierend auf den Signalen bzw. Bilddaten der Frontkamera können Details der Umgebung des Fahrzeugs 2 detektiert werden, z.B. Objekte. Auf Grundlage der Umgebungsdetektion können ADAS- oder AD-Funktionen durch eine ADAS/AD-Steuereinheit bereitgestellt werden, z.B. eine Fahrspurerkennung, Spurhalteunterstützung, Verkehrszeichenerkennung, Tempolimit-Assistenz, Verkehrsteilnehmererkennung, Kollisionswarnung, Notbremsassistenz, Abstandsfolgeregelung, Baustellenassistenz, ein Autobahnpilot, eine Cruising-Chauffeurfunktion und/oder ein Autopilot.
Die Bildaufnahmevorrichtung umfasst typischerweise eine Optik bzw. ein Objektiv und einen Bildaufnahmesensor, z.B. einen CMOS-Sensor.
Das vorgeschlagene Umgebungserfassungssensorsystem 1 betrachtet hierbei ein Sensor-Setup für Fahrzeuge im Kontext des assistierten und autonomen Fahrens. Dies kann optional auf ein Multi-Sensor-Setup erweitert werden. Multi-Sensor Systeme haben den Vorteil durch Verifikation der Detektionen mehrerer Sensoren die Sicherheit von Detektionsalgorithmen für den Straßenverkehr zu erhöhen. Multi-Sensorsysteme können hierbei eine beliebige Kombination aus: einer bis mehreren Kameras, einem bis mehreren Radaren, einem bis mehreren Ultraschallsystemen, einem bis mehreren Lidaren, und / oder einem bis mehreren Mikrofonen sein. Als Referenzsensor 5 bietet es sich an einen expliziten Straßenzustandsbestimmungssensor mit hoher Zuverlässigkeit und Präzision einzusetzen. Günstig ist es hierbei, wenn der Straßenzustandsbestimmungssensor vorausschauend bestimmen kann, ob Wasser auf der Straßenoberfläche vorhanden ist und optional auch, welche Temperatur an der Straßenoberfläche vorliegt.
Eine Sende- und Empfangseinheit, die elektromagnetische Strahlung mindestens einer definierten Wellenlänge auf die Straße emittiert und die von der Straße reflektierte Intensität empfängt und misst bietet sich hierfür an. Der Referenzsensor ist dazu eingerichtet, auf Grundlage der Messwerte Wahrscheinlichkeiten für das Vorliegen verschiedener Klassen von Straßenzuständen anzugeben. Das Vorliegen von Wasser auf der Straße kann durch die Messung der Absorption bei diskreten Wellenlängen im mittleren Infrarot erfolgen. Ein Vergleich der Messergebnisse zweier geeigneter Wellenlängen (ratiometrische Messung) ermöglicht die robuste Erkennung von Wasser auf der Straße. Beispielsweise kann der Referenzsensor folgende Wellenlängen einsetzen:
1550 nm und 980 nm, um durch einen Vergleich der reflektierten Intensitäten das Vorliegen von Wasser zu detektieren.
Eine Sende- und Empfangsvorrichtung, die im Wellenlängenbereichen von etwa 2 bis 10 Mikrometer arbeitet, kann die Temperatur auf der Straßenoberfläche bestimmen. Alternativ kann zur Temperaturmessung ein sonstiges Pyrometer verwendet werden, dass eine Temperatur einer Oberfläche in einer definierten Entfernung messen kann.
Das Fahrzeug 2 mit dem Referenzsensor 5 und dem umgebungserfassenden Sensorsystem 1 ist ein Testfahrzeug zum Generieren von Trainingsdaten. Ein entsprechendes Fahrzeug mit dem umgebungserfassenden Sensorsystem 1 und einem trainierten maschinellen Lernsystem 16 kann ohne den kostenintensiven Referenzsensor 5 als Serienfahrzeug eingesetzt werden.
Fig. 2 zeigt eine Darstellung eines maschinellen Lernsystems 16, das anhand von
Daten X des Umgebungserfassungssensorsystems 1 und korrespondierenden Daten Y des Referenzsensors 5 trainiert wird, Ausgabedaten Y‘ zu generieren, die den Straßenzustand charakterisieren.
Als maschinelles Lernsystem 16 kann ein künstliches neuronales Netz(-werk) dienen. Neuronale Netze eignen sich dabei besonders gut für das beschriebene Verfahren, da sie einfach angepasst werden können.
Das neuronale Netz ist dabei insbesondere ein Convolutional Neural Network. Alternativ können andere Ausgestaltungen eines maschinellen Lernsystems 16 verwendet werden, beispielsweise Entscheidungsbaum-Lernen, Support Vector Machines, Regressionsanalyse oder Bayes'sche Netze. Des Weiteren ist es möglich, ein Multi-Task-Klassifikationssystem zu verwenden. Das Multi-Task-Klassifikationssystem umfasst dabei beispielsweise einen Encoder und eine Vielzahl an Decodern. Ferner ist es möglich, das maschinelle Lernsystem in mehrere Untersysteme zu unterteilen. Dabei weist jedes der Untersysteme die Funktionalität des hier beschriebenen maschinellen Lernsystems 16 auf, die Untersysteme unterscheiden sich allerdings voneinander, beispielsweise in der Art des maschinellen Lernsystems oder in der Auswahl der Trainingsdaten. Mittels der Untersysteme erzeugte Ausgabedaten können dann kombiniert werden, um eine verbesserte Ausgabe zu erhalten.
Das Trainieren des maschinellen Lernsystems erfolgt mittels überwachtem Lernen (supervised learning). Anhand von Trainingsdaten (Eingangsdaten X_1 , X_2, ... , X_n des umgebungserfassenden Sensors 1 und korrespondierende Soll-Ausgabedaten Y_1 , Y_2, ... , Y_n, die vom Referenzsensor 5 bestimmt werden) wird das maschinelle Lernsystem 16 trainiert. Durch Anpassen von Gewichten (bzw. Parametern) des maschinellen Lernsystems 16 wird eine Fehlerfunktion minimiert, die Abweichungen zwischen Ausgaben Y‘_1 , Y‘_2, ... , Y‘_n des maschinellen Lernsystems für Eingangsdaten X_1 , X_2, ... , X_n von korrespondierenden Soll-Ausgabedaten Y_1 , Y_2, ... , Y_n angibt.
Fig. 3 zeigt ein trainiertes maschinelles Lernsystem 16, das anhand von (neu erfassten) Daten X des Umgebungserfassungssensors 1 Ausgabedaten Y‘ generieren kann, die den Straßenzustand charakterisieren. Das trainierte maschinelle Lernsystem 16 kommt beispielsweise in einem Serienfahrzeug zum Einsatz.
Fig. 4 zeigt schematisch ein Ausführungsbeispiel eines Straßenzustandsüberwachungssystem 10, das Straßenzustandsdaten bestimmt und an eine Servereinheit 20 übermitteln kann. Das Straßenzustandsüberwachungssystem 10 ist mit mindestens einem Umgebungserfassungssensor 1 , z.B. einer Bildaufnahmevorrichtung, in einem Fahrzeug 2 elektrisch oder drahtlos verbunden.
Die vom Umgebungserfassungssensor 1 erfassten Daten bzw. -Signale werden an eine Eingangsschnittstelle 12 des Straßenzustandsüberwachungssystems 10 übertragen. Die Daten werden im Straßenzustandsüberwachungssystem 10 von einer verarbeitenden Einheit (bzw. einem Datenprozessor) 14 prozessiert. Die verarbeitende Einheit 14 umfasst ein maschinelles Lernsystem 16. Das maschinelle Lernsystem 16 kann ein künstliches neuronales Netzwerk umfassen, beispielsweise ein CNN, welches dazu trainiert wurde, den Straßenzustand zu klassifizieren. Der klassifizierte Straßenzustand kann über eine Ausgabeschnittstelle 18 an weitere Fahrzeugsteuereinheiten (z.B. eine ADCU, automated driving control unit) übermittelt werden. Eine Datenübermittlungseinheit 19 dient der drahtlosen Übertragung von Daten und/oder dem klassifizierten Straßenzustand an eine Servereinheit 20 (Cloud, Backbone, Infrastruktur, ... ). Damit die künstlichen neuronalen Netzwerke die Daten im Fahrzeug in Echtzeit prozessieren kann, kann das Straßenzustandsüberwachungssystem 10 oder die verarbeitende Einheit 14 einen oder mehrere Hardwarebeschleuniger für maschinelle Lernsysteme 16 bzw. künstliche neuronale Netzwerke umfassen.
Fig. 5 zeigt ein Fahrzeug 500 mit einem Referenzsensor 505 mit einer Sende- und Empfangseinheit. Das Fahrzeug weist ein Sensorsystem 504 auf, ein Straßenzustandsüberwachungssystem 501 mit einem maschinellen Lernsystem 502 und einer Datenübermittlungseinheit 503. Der Referenzsensor 505 ist in der Fahrzeugfront z.B. vor dem Kühler angeordnet und weist eine Strahlrichtung 506 der Sende- und Empfangseinheit auf, dass der Winkel a zwischen Strahl 506 und Straßenebene etwa 70 ° beträgt. Der Winkel a kann für konkrete Fahrzeuge 500 beispielsweise zwischen 50 ° und 80 ° eingestellt werden. Die Höhe des Austritts des Strahls 506 aus dem Referenzsensor 505 über der Straße kann im Bereich von 20 bis 60 Zentimetern liegen.
Um einen ersten Datensatz zu generieren (Seed-Phase) können mit einem mit Kameras, GPS und Referenzsensor ausgerüsteten Fahrzeug 2, 500 Testfahrten unternommen. GPS wird benötigt, um z.B. mit Wettervorhersagen im Netz zu vergleichen.
Es wird zusätzlich zu den Einzelbildern (z.B. jede Sekunde ein Bild) die Bewertung des Referenzsensors gespeichert. Wenn Zusatzinformationen verfügbar sind - Geschwindigkeit, Beschleunigung, GPS, etc., dann wird auch dies mit der passenden Zeitmarke gespeichert.
Vorteilhaft kann auch eine zusätzliche menschliche Klassifikation des Menschen sein, wenn sich eine interessante Situation ergibt. Dadurch lassen sich zugehörige Kamera-Bilder und Referenz-Messungen nachher in den Datenmengen wiederfinden. Ein Zusatzfeature eines Referenzsensors ermöglicht auf einem Rückkanal das Labeln über eine CAN-Ausgabe. Wichtig sind solche Situationen, in der der Mensch zu einem anderen Schluss kommt als der Referenzsensor.
Beispielsweise können die Zusatzinformationen („Metainformationen“) in einer separaten Klassifizierungs-Datei (txt, xml oderjson) ansonsten gleichen Namens zu speichern. Auch ein Zeitbezug sollte nicht fehlen, da einige der später beschriebenen Methoden einen Zeitversatz zwischen Bildern und Referenz-Messdaten benötigen, da die Front-Kamera z.B. das Stück Straße früher sieht als der Meßfleck der Referenzmesstechnik.
Es ist ferner bevorzugt, die Kamerabilder und Klassifizierungs-Dateien mit einer Kombination aus bester vorab-Klassifizierung, Prozentzahl, Datum, Uhrzeit, Kameraname, hör. Bildwinkel und Fahrzeug zu benennen: D_99_20210507_2023CET_front_90_F-TZ-333.jpg D_99_20210507_2023CET_front_90_F-TZ-333.xml (D_99_20210507_2023CET_front_90_F-TZ-333.txt) (D_99_20210507_2023CET_front_90_F-TZ-333.json) D = dry (W = wet, I = ice, S = snow, E = Error) 99 = 99% für “dry” 20210507 = YYYYMMDD 2023CET = HHMM+Zeitzone front = Frontkamera (left, right, back) 90 = 90° Weitwinkel
F-TZ-333 = Kennzeichen (optional)
Zu den Formaten: txt ist leicht zu lesen, aber schwierig zu parsen, json ist am leichtesten Maschinen-Iesbar, jedoch schwierig zu editieren und xml ist ein Mittelgrund, noch von Hand editierbar, aber besser maschinenlesbar.
Die Intention der vorangestellten Vorab-Klassifizierung ist eine Sortierbarkeit nach Klassen durch den Namen und eine sehr einfache Möglichkeit, das Label zu ändern. Dazu kann es in der später beschriebenen Active Learning Phase kommen. Falls der Mensch dort überstimmt, können die Daten bevorzugt weiterverwendet und das Label dazu angepasst werden. Erst dadurch wird das Auflösen von Widersprüchen im Datensatz möglich.
Bevorzugt sollten die Messdaten in Unterverzeichnisse des Betreffenden Tages abgelegt werden, da Linux-Systeme ab 65535 Dateien pro Verzeichnis ohne spezielle Modifikation der typischen Variabiengrößen in Probleme laufen.
Eine andere mögliche Lösung ist eine JSON-Datenbank z.B. Mongo-DB für Bild- und Referenzdaten an Stelle der einfacher lesbaren Bild- und Textdateien.
Optional sollte auch die GPS-Position des Fahrzeugs in den Daten übermittelt werden können. Kennzeichen und GPS werden später im Flottenversuch weggelassen.
Die GPS-Position kann insbesondere in der Seed-Phase, also der Anfangsphase der Netzberechnung helfen, hinreichend unterschiedliche Orte zu selektieren, oder wenn schon die gleichen Orte, dann nur mit unterschiedlichen Tageszeiten und Wetterlagen.
Ein konkretes Beispiel für die Auswertung von Daten des Referenzsensors in Form von Pseudocode:
% lrm=(r980m+r1310m+r1550m+r1552m+1 )»2; // Gesamthelligkeit
% xrm=(((r1550m+r1552m)*1600)/r980m); // kleiner: höherer Wasseranteil
% yrm=((r980m*192)/r1310m); // größer: höherer Anteil von Eis *oder* tieferem Wasser
% vrm=(r1550m*100/(r1550m+r1552m)); // Ungleichheit bei den beiden Wellenlängen 1550nm und 1552nm weist auf Verschmutzung des Lasers hin
Hierbei sind r980..r1552 sind die Intensitäten des reflektierten Lichtes bei der jeweiligen Wellenlänge in nm gemessen in ADU, also Einheiten des AD-Wandlers, xrm, yrm und vrm sind ratiometrische Messungen (da gibt es einen Nenner). Die Größen xrm und yrm beziehen sich auf verschiedene Wellenlängen, vrm auf verschiedene Kanäle der gleichen Wellenlänge 1550nm und Irm ist eine Absolutmessung, eine Helligkeit der Oberfläche, die den Unterschied zwischen Eis und Schnee erkennen lässt.
% Eiswahrscheinlichkeit vom Pyrometer für frühe Fusion pp_ice=-40*TC_can+100; % 0% für Tc>2.5°c, 100% für Tc<0°C if (pp_ice>99) pp_ice=99; end if (pp_ice<0) pp_ice=0; end
Die Eismessung mit 1310nm Absorption ist unzuverlässig und wird vorteilhaft durch Pyrometer-Messung ersetzt, die 1550nm Absorption tritt gleichermaßen für Wasser wie Eis auf, 1310nm Effekte sieht man nur für Eis, jedoch deutlich schwächer ausgeprägt als Wassererkennung mit 1550nm.
Das Pyrometer detektiert im Bereich 2..10 pm, thermisches Infrarot, dagegen spricht man für 1550nm von mittlerem IR. % if(yrm>yr2) % Liegt Eis vor? Nur Laser! if(pice>50) % Frühe Fusion: Eis anhand des Pyrometers psno=((lrm-lr1 )*100)/(lr2-lr1 ); % Betrachte Schnee vs. Eis pdry=O; % vereinfacht! pwet=0; % vereinfacht!
Wahrscheinlichkeiten für trocken, nass, Eis, Schnee werden direkt aus xrm (Absorption von Wasser bei 1550nm vs. 980nm Vergleich), Tc (korrigierter Straßentemperatur aus dem Pyrometer) und Irm (Helligkeit der Oberfläche) bestimmt. Und zwar nacheinander in einem Entscheidungsbaum und in dieser Reihenfolge.
Die Grundlagen sind die Schwingungsmoden des Wasser-Moleküls und die Strahlung schwarzer Körper, sowie die Physik direkter und indirekter Halbleiter. Eine Messung bei diesen Wellenlängen im IR bietet sich an, das geht jedoch nicht mit Silizium, weil Silizium ab 1000nm „durchsichtig“ wird, d.h. es taugt dann nicht mehr als Photodiode. Germanium detektiert 1550nm, rauscht jedoch sehr stark, wenn man nicht kühlt, InGaAs funktioniert für 1550nm genau so gut wie Germanium, allerdings benötigt man keine Kühlung. Durch Oberflächenbeschichtung wird der Quantenwirkungsgrad verbessert, die Beschichtung ist jedoch eine sehr kostenintensive Technik.
Ein vollständiges Data Driven Ecosystem umfasst beispielsweise die folgenden Schritte, die zyklisch durchlaufen werden:
Mittels einer Flotte an Test-Fahrzeugen, die eine OTA-updatefähige (z.B. gemäß Mobilfunkstandard 5G) Telematikeinheit aufweisen, werden kontinuierlich Testdaten eingefahren. Eine ADCU ermittelt mittels eines vortrainierten maschinellen Lernsystems aus den eingefahrenen Sensordaten kontinuierlich (Open Loop Testing) AD- bzw. ADAS-relevante Daten zur automatisierten oder assistierten Steuerung des Fahrzeugs. Im Falle eines Triggers (z.B. Anomalien, beispielsweise verhält sich der Fahrer anders, als die ADCII prädiziert) werden Daten an die Servereinheit/Cloud übermittelt. In der Cloud werden die Daten überprüft, ob es sich um bessere Trainingsdaten handelt als die, die dort bereits vorliegen. Hierzu können die prädizierten Anomalien (bzw. Corner Cases) verifiziert werden oder aus anderen Gründen relevantere Daten ausgewählt werden. Mit den optimierten Trainingsdaten können ein Retraining des maschinellen Lernsystems bzw. Neuronalen Netzwerks erfolgen mittels Data Aggregation („man lässt die Daten entscheiden“) oder mittels Active Learning (wobei aber der menschliche Labeling-Aufwand reduziert wird. Tatsächliche Verbesserungen werden durch eine Steigerung von KPIs (wie z.B. Precison und/oder Recall) verifiziert. Anschließend wird das Neuronale Netz zur Steigerung der Sicherheit ausgiebig in Simulationswelten, Testszenarien, Corner Cases oder seltenen Fällen gestest. Bei Erfolg wird das trainierte Neuronale Netz freigegeben und kann mit einer kryptographischen Signatur als Over-The-Air Update an die Fahrzeuge der Testflotte übertragen werden und als Update für die ADCU eingespielt werden.
Damit eine kontinuierliche Verbesserung gelingt, ist also ein Kreislauf-Training in einem Data Driven Ecoystem notwendig. Dabei wird nicht einfach der Datensatz, sondern die Relevanz der Trainingsdaten vergrößert. Stark unterrepräsentierte Klassen werden durch Style Transfer aus Bildern gleicher Situation auf andere Orte übertragen, damit nicht die Situation anhand des Ortes gelernt wird, sondern anhand des Aussehens der Straße. Durch eine Zeitverschiebung und Projektion der Bahn der Messstelle in das Bild kann die Messung genau einer bestimmten Stelle der Straße zugewiesen werden. Durch Bootstrapping, also Anwenden der gleichen Gesetzmäßigkeiten auf alle Bildpunkte, die Straße enthalten (weiteres Netz) kann somit die gesamte Verteilung auf der Straße vermessen werden, vorausschauend und damit mit Zeitgewinn, der notwendigen Anpassungen des Fahrverhaltens zugutekommt.

Claims

Patentansprüche
1. Verfahren zum Trainieren eines maschinellen Lernsystems (16) zur Straßenzustandsüberwachung umfassend die Schritte:
- Bereitstellen bzw. Aufnehmen von Daten durch ein Sensorsystem (1 ) eines Fahrzeugs, wobei das Sensorsystem eine Umgebung des Fahrzeugs erfasst, als Trainings-Eingabedaten (X),
- Bereitstellen bzw. Aufnehmen von Daten, die den Straßenzustand charakterisieren, durch einen im oder am Fahrzeug angebrachten Referenzsensor (5) als Trainings-Zielwerte (Y), und
- Trainieren des maschinellen Lernsystems (16), wobei Trainingsdaten (X, Y), die Trainings-Eingabedaten (X) und zu diesen Trainings-Eingabedaten (X) korrespondierende Trainings-Zielwerte (Y) umfassen, bereitgestellt werden und mittels der Trainingsdaten (X, Y) Parameter des maschinellen Lernsystems (16) derart angepasst werden, dass das maschinelle Lernsystem (16) bei Eingabe der Trainings-Eingabedaten (X) Ausgabedaten (Y‘), die den Trainings-Zielwerten (Y) ähnlich sind, erzeugt.
2. Verfahren nach Anspruch 1 , wobei das Sensorsystem (1 ) ein Kamerasystem des Fahrzeugs umfasst, so dass die bereitgestellten oder aufgenommenen Daten Bilddaten sind und die Bilddaten als Trainings-Eingabedaten (X) dienen.
3. Verfahren nach Anspruch 1 oder 2, wobei der Referenzsensor (5) umfasst eine Sende- und Empfangseinheit, die elektromagnetische Strahlung (506) mindestens einer definierten Wellenlänge auf die Straße (510) emittiert und die von der Straße (510) reflektierte Intensität empfängt und misst und wobei der Referenzsensor (5) dazu eingerichtet ist, auf Grundlage der Messwerte Wahrscheinlichkeiten für das Vorliegen verschiedener Klassen von Straßenzuständen anzugeben.
4. Verfahren nach Anspruch 3, wobei der Referenzsensor (5) Wahrscheinlichkeiten für das Vorliegen der folgenden Klassen von Straßenzuständen ausgibt: , trocken“, „nass“, „Schnee“, „Eis“ und „unbekannt/Fehler“.
5. Verfahren nach einem der vorhergehenden Ansprüche, wobei der Referenzsensor (5) ein Pyrometer umfasst, welches die Temperatur der Straße misst.
6. Verfahren nach einem der Ansprüche 3, 4 oder 5, wobei der Referenzsensor (5) folgende Wellenlängen einsetzt:
1550 nm und 980 nm, um durch einen Vergleich der reflektierten Intensitäten das Vorliegen von Wasser zu detektieren und eine Wellenlänge im Bereich von 2 bis 10 pm, um die Temperatur der Straße zu messen.
7. Verfahren nach einem der vorhergehenden Ansprüche, wobei das maschinelle Lernsystem (16) ein neuronales Netz, insbesondere ein Convolutional Neural Network, ist.
8. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Fahrzeug (2) eine Datenübermittlungseinheit (18) umfasst, und die Datenübermittlungseinheit (18) dazu eingerichtet ist, Trainingsdaten (X, Y) an eine Servereinheit (20) zu übertragen.
9. Verfahren nach Anspruch 8, wobei die Servereinheit (20) dazu eingerichtet ist, einen Trainingsdatensatz umfassend eine Menge an Trainingsdaten (X, Y) zu aktualisieren, wobei Größe des Trainingsdatensatzes konstant gehalten wird, und wobei anhand eines oder mehrerer Qualitätskriterien sichergestellt wird, dass bei einer Aktualisierung des Trainingsdatensatzes die Relevanz der Trainingsdaten (X, Y) hinsichtlich der Straßenzustandsbestimmung gesteigert wird.
10. Verfahren nach Anspruch 9, wobei die Servereinheit (20) dazu eingerichtet ist bei der Aktualisierung eine Ausgewogenheit des Trainingsdatensatzes zu erzielen, so dass der Trainingsdatensatz eine hohe Diversität aufweist, wobei seltenere Straßenzustände hinreichend durch Trainingsdaten (X, Y) repräsentiert sind.
11 . Verfahren nach Anspruch 9 oder 10, wobei die Relevanz der T rainingsdaten (X, Y) derart bewertet wird, dass den Trainingsdaten (X, Y) eine hohe Relevanz beigemessen wird, die orthogonal sind zu den anderen bereits im Trainingsdatensatz enthaltenen Trainingsdaten (X, Y).
12. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Sensordaten für den erfassten Bereich der Straße (510) in Segmente aufgeteilt werden und die bereitgestellten bzw. aufgenommenen Daten des Referenzsensors (5) den Straßenzustand für die Segmente charakterisieren
13. Verfahren zur Straßenzustandsüberwachung unter Einsatz eines maschinellen Lernsystems (16), wobei das maschinelle Lernsystem (16) nach einem Verfahren nach einem der Ansprüche 1 bis 12 trainiert wurde, wobei von einem Fahrzeug-Sensorsystem (1 ), das eine Umgebung des Fahrzeugs (2) erfasst, erfasste Daten dem maschinellen Lernsystem (16) als Eingabedaten (X) bereitgestellt werden und das maschinelle Lernsystem (5) aus den Eingabedaten (X) Ausgabedaten (Y‘) erzeugt, die den Straßenzustand charakterisieren.
14. Straßenzustandsüberwachungssystem (10) umfassend eine Eingabeeinheit (12) zum Empfangen von Eingabedaten (X); eine Rechnereinheit (14), die zum Ausführen eines Verfahrens gemäß Anspruch 13 ausgebildet ist; und eine Ausgabeeinheit (18) zum Ausgeben der von der Rechnereinheit (14) erzeugten Ausgabedaten (Y‘).
15. Fahrzeug (2), umfassend ein Sensorsystem (1 ), wobei das Sensorsystem eingerichtet ist, eine Umgebung des Fahrzeugs (2) zu erfassen und die erfassten Sensordaten der Eingabeeinheit (1 ) als Eingabedaten (X) bereitzustellen, und ein Straßenzustandsüberwachungssystem (10) nach Anspruch 14.
EP23732373.8A 2022-06-29 2023-06-06 Verfahren und system zur strassenzustandsüberwachung durch ein maschinelles lernsystem sowie verfahren zum trainieren des maschinellen lernsystems Pending EP4548310A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022206625.1A DE102022206625A1 (de) 2022-06-29 2022-06-29 Verfahren und System zur Straßenzustandsüberwachung durch ein maschinelles Lernsystem sowie Verfahren zum Trainieren des maschinellen Lernsystems
PCT/DE2023/200113 WO2024002437A1 (de) 2022-06-29 2023-06-06 Verfahren und system zur strassenzustandsüberwachung durch ein maschinelles lernsystem sowie verfahren zum trainieren des maschinellen lernsystems

Publications (1)

Publication Number Publication Date
EP4548310A1 true EP4548310A1 (de) 2025-05-07

Family

ID=86895860

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23732373.8A Pending EP4548310A1 (de) 2022-06-29 2023-06-06 Verfahren und system zur strassenzustandsüberwachung durch ein maschinelles lernsystem sowie verfahren zum trainieren des maschinellen lernsystems

Country Status (7)

Country Link
US (1) US20260004566A1 (de)
EP (1) EP4548310A1 (de)
JP (1) JP2025521183A (de)
KR (1) KR20250010080A (de)
CN (1) CN119365902A (de)
DE (1) DE102022206625A1 (de)
WO (1) WO2024002437A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4254350A1 (de) * 2022-04-01 2023-10-04 Siemens Healthcare GmbH Bestimmung von beleuchtungsparametern in der medizinischen bilddarstellung

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04110261A (ja) * 1990-08-29 1992-04-10 Toyota Motor Corp 路面状況推定装置
JP3613275B2 (ja) * 1994-12-28 2005-01-26 オムロン株式会社 交通情報システム
DE102013002333A1 (de) 2013-02-12 2014-08-14 Continental Teves Ag & Co. Ohg Verfahren und Strahlensensormodul zur vorausschauenden Straßenzustandsbestimmung in einem Fahrzeug
DE102014214243A1 (de) 2013-10-31 2015-04-30 Continental Teves Ag & Co. Ohg Straßenzustandsbestimmung
DE102013223367A1 (de) * 2013-11-15 2015-05-21 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands mittels eines Fahrzeugkamerasystems
DE102015208428A1 (de) 2015-05-06 2016-11-10 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Erkennung und Bewertung von Umwelteinflüssen und Fahrbahnzustandsinformationen im Fahrzeugumfeld
JP6775195B2 (ja) * 2016-04-06 2020-10-28 パナソニックＩｐマネジメント株式会社 検知装置、検知方法及び検知プログラム
EP3361412B1 (de) 2017-02-10 2023-09-06 Fujitsu Limited Schwarzeisdetektionssystem, -programm und -verfahren
DE102017223510A1 (de) 2017-12-21 2019-06-27 Continental Teves Ag & Co. Ohg Vorrichtung für Kraftfahrzeuge zur Beurteilung von Umgebungen
DE102018203807A1 (de) 2018-03-13 2019-09-19 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Erkennung und Bewertung von Fahrbahnzuständen und witterungsbedingten Umwelteinflüssen
JP2019206090A (ja) * 2018-05-28 2019-12-05 セイコーエプソン株式会社 画像処理装置、コックリング判定方法、機械学習装置
US20200202167A1 (en) 2018-12-20 2020-06-25 Here Global B.V. Dynamically loaded neural network models
US11231905B2 (en) * 2019-03-27 2022-01-25 Intel Corporation Vehicle with external audio speaker and microphone
WO2021049109A1 (ja) 2019-09-11 2021-03-18 パナソニックＩｐマネジメント株式会社 水分検知装置
US11472414B2 (en) * 2020-03-26 2022-10-18 Intel Corporation Safety system for a vehicle
JP2021174385A (ja) * 2020-04-28 2021-11-01 三菱重工業株式会社 モデル最適化装置、モデル最適化方法、及びプログラム
WO2022014357A1 (ja) * 2020-07-14 2022-01-20 本田技研工業株式会社 路面評価装置および路面評価方法
KR20220027327A (ko) * 2020-08-26 2022-03-08 현대모비스 주식회사 딥러닝 기반 노면판단 모델을 이용한 터레인모드 제어 방법 및 장치
JP7021798B1 (ja) * 2020-12-04 2022-02-17 国立研究開発法人土木研究所 学習済みモデル生成方法、路面滑り摩擦係数推定装置、路面滑り摩擦係数推定プログラムおよび路面滑り摩擦係数推定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CORDES KAI ET AL: "RoadSaW: A Large-Scale Dataset for Camera-Based Road Surface and Wetness Estimation", 2022 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS (CVPRW), IEEE, 19 June 2022 (2022-06-19), pages 4439 - 4448, XP034173865, [retrieved on 20220823], DOI: 10.1109/CVPRW56347.2022.00490 *

Also Published As

Publication number Publication date
US20260004566A1 (en) 2026-01-01
KR20250010080A (ko) 2025-01-20
JP2025521183A (ja) 2025-07-08
WO2024002437A1 (de) 2024-01-04
DE102022206625A1 (de) 2024-01-04
CN119365902A (zh) 2025-01-24

Similar Documents

Publication Publication Date Title
DE102023101354A1 (de) Sensorfusion
DE112019004554T5 (de) System und verfahren zur warnung vor vorhergesagten fahrzeugvorfällen und zum ausweichen
DE102017103123A1 (de) Fahrzeugfahrbahnplatzierung
DE102019216989B4 (de) Fahrzeugsensorvalidierungssystem und Verfahren zur Objektvalidierung
DE102022127556A1 (de) Verbesserte zieldetektion
DE102021128041A1 (de) Verbesserung eines neuronalen fahrzeugnetzwerks
DE102021124913A1 (de) Metrik-backpropagation für die beurteilung der leistung von untersystemen
DE102022108656A1 (de) Neuronales quantilnetz
DE102020107149A1 (de) Fahrzeugkapsel-netzwerke
DE102017200562A1 (de) Objekterkennung-integrationsvorrichtung und objekterkennung-integrationsverfahren
DE102014212216A1 (de) Verfahren und Fahrerassistenzsystem zur Erfassung eines Fahrzeugumfel-des
DE102023103921A1 (de) Trainieren eines neuronalen netzes
DE102021125136A1 (de) Vorrichtung und verfahren zum vorhersagen der trajektorie eines umliegenden fahrzeugs
DE102017217844A1 (de) Verfahren und ein maschinelles Lernsystem zur Klassierung von Objekten
WO2017102150A1 (de) Verfahren zum bewerten einer durch zumindest einen sensor eines fahrzeugs erfassten gefahrensituation, verfahren zum steuern einer wiedergabe einer gefahrenwarnung und verfahren zum wiedergeben einer gefahrenwarnung
DE102024113845A1 (de) Maschinelles lernen zum betreiben einer beweglichen vorrichtung
EP4548310A1 (de) Verfahren und system zur strassenzustandsüberwachung durch ein maschinelles lernsystem sowie verfahren zum trainieren des maschinellen lernsystems
DE102019118607A1 (de) Anomaliedetektor für fahrzeugsteuersignale
DE102024100073B4 (de) Fahrzeug-Steuerungssysteme zur kamerabasierten Fahrzeug-Navigation
WO2017174227A1 (de) Verfahren zur bestimmung einer pose eines wenigstens teilautomatisiert fahrenden fahrzeugs mittels speziell ausgewählter und von einem backend-server übertragener landmarken
DE102024108499A1 (de) Multi-task-lernen
JP2025521183A5 (de)
DE102023119911B4 (de) Verfahren und System zur automatisierten Validierung von Funktionen eines Fahrerassistenzsystems
EP4113392B1 (de) Verfahren zum prüfen der zuverlässigkeit einer ki-basierten objekt-detektion
DE112018005039T5 (de) Signalverarbeitungsvorrichtung, signalverarbeitungsverfahren, programm und mobiler körper

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250129

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: AUMOVIO AUTONOMOUS MOBILITY GERMANY GMBH

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20260312