EP4208815A1 - Verfahren und vorrichtung zur umfeldwahrnehmung eines umfeldes eines zumindest teilautomatisiert fahrenden fahrzeugs - Google Patents

Verfahren und vorrichtung zur umfeldwahrnehmung eines umfeldes eines zumindest teilautomatisiert fahrenden fahrzeugs

Info

Publication number
EP4208815A1
EP4208815A1 EP21745257.2A EP21745257A EP4208815A1 EP 4208815 A1 EP4208815 A1 EP 4208815A1 EP 21745257 A EP21745257 A EP 21745257A EP 4208815 A1 EP4208815 A1 EP 4208815A1
Authority
EP
European Patent Office
Prior art keywords
resolution
sensor data
evaluation
vehicle
focus region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21745257.2A
Other languages
English (en)
French (fr)
Inventor
Umair RASHEED
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Publication of EP4208815A1 publication Critical patent/EP4208815A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Definitions

  • the invention relates to a method and a device for perceiving the surroundings of a vehicle that is driving at least partially automatically.
  • the invention is based on the object of improving a method and a device for perceiving the surroundings of a vehicle that is driving at least partially automatically, in particular with regard to the required computing power and accuracy.
  • a method for perceiving the surroundings of an environment of an at least partially automated vehicle is made available, with the surroundings of the vehicle being recorded by means of at least one sensor, with sensor data recorded by the at least one sensor being evaluated by means of an evaluation device using at least one evaluation method in a first resolution, and wherein the detected sensor data is evaluated in at least one defined focus region by the evaluation device using the at least one evaluation method in a second resolution be, wherein the first resolution is smaller than the second resolution, and wherein the evaluation results are combined and output.
  • a device for perceiving the surroundings of an at least partially automated vehicle comprising an evaluation device, wherein the evaluation device is set up to evaluate sensor data recorded by at least one sensor by at least one evaluation method in a first resolution, and the recorded sensor data by the at least to evaluate an evaluation method in at least one defined focus region in a second resolution, the first resolution being smaller than the second resolution, and to combine and output the evaluation results.
  • the method and the device enable a compromise between the computing power required when evaluating the recorded sensor data and the accuracy of the evaluation. This is achieved by evaluating the sensor data in a first resolution that is lower than the original resolution.
  • at least one focus region is defined in the captured sensor data, ie the scope of the sensor data is reduced compared to the original sensor data. For example, a detail in a two-dimensional camera image can form such a focus region.
  • the sensor data are evaluated with a second resolution.
  • the first resolution is smaller than the second resolution.
  • the second resolution corresponds in particular to the original, that is to say the full, resolution of the recorded sensor data.
  • the recording sensor data is evaluated overall with a lower resolution than the original resolution and only the at least one focus region is evaluated with a higher, in particular full, resolution, the computing power required for the evaluation can be reduced overall and still have a high level in the at least one focus region Accuracy can be achieved when evaluating.
  • a sensor is in particular a camera that captures the surroundings of the vehicle.
  • a sensor can also be a lidar sensor, a radar sensor or an ultrasonic sensor.
  • the recorded sensor data can be one-dimensional or multi-dimensional.
  • the recorded sensor data is two-dimensional.
  • the captured sensor data are, in particular, captured camera images.
  • the recorded sensor data can also be point clouds from a lidar sensor or a radar sensor or ultrasonic data.
  • An evaluation method is in particular an evaluation method for the perception and/or interpretation of the environment, in which at least one perception function is carried out.
  • Such a perception function can, for example, be one of the following: object recognition, determination of bounding boxes, semantic segmentation, instance segmentation or panoptical segmentation, etc.
  • the evaluation method is provided and implemented in particular by means of a machine learning method.
  • (trained) neural networks are used.
  • a first trained neural network is provided by the evaluation device, which processes the recorded sensor data in the lower first resolution and executes one or more of the above evaluation methods.
  • a second trained neural network which is provided by the evaluation device, evaluates the recorded sensor data in the at least one focus region in the higher, in particular in the original, second resolution.
  • the evaluation method can also be provided and carried out in a different way and/or with other means, which means that classic methods of sensor data evaluation can also be used.
  • the recorded sensor data is calculated down to the first resolution. This is done using methods known per se. For example, in the case of camera images as captured sensor data, a number of picture elements (pixels) is reduced so that the image is scaled down to a lower total number of picture elements.
  • the detected sensor data is correspondingly cropped to a section so that only the sensor data within the section of the at least one focus region is supplied as input data to the evaluation method, for example the second neural network. Provision can be made here for the second neural network to be instantiated again or provided and executed separately for each defined focus region.
  • Parts of the device in particular the evaluation device and its components, can be designed individually or combined as a combination of hardware and software, for example as program code on a microcontroller or microprocessor is running. However, it can also be provided that parts are designed individually or combined as an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • a vehicle is in particular a motor vehicle.
  • a vehicle can also be any other land, rail, water, air or space vehicle.
  • At least one focal region is defined by means of a rule-based system depending on a position of the vehicle and/or a planned trajectory of the vehicle and/or a context of the surroundings.
  • the at least one focus region can be directed specifically to particularly relevant areas in the area surrounding the vehicle.
  • it can be provided that, depending on the position, particularly relevant areas in the environment are marked or stored in an environment map.
  • an environment map For example, it can be stored in the environment map that there is a school near the current position of the vehicle. Based on this information, a focus region can be determined, for example, in such a way that it covers a roadside and a sidewalk in front of the school.
  • a focus region can also be defined depending on the planned trajectory. For example, it can be provided that the planned trajectory provides for the vehicle turning left and crossing oncoming traffic. Based on the planned trajectory, a focus region can then be placed on the oncoming lane in order to improve the perception of approaching vehicles, i.e. with a higher resolution.
  • An environment context can be derived both from detected sensor data and from an environment map, for example in the case of a game street, in particular to better perceive the areas on the game street and the edge areas via defined focus regions.
  • links are stored in the rule-based system that link a position of the vehicle and/or a planned trajectory or a type or class of the planned trajectory (turning left, turning right, overtaking, etc.) and/or an environmental context with at least one focus region.
  • the at least one focus region can be defined or defined, for example, via position information relative to the vehicle and/or in relation to the recorded sensor data.
  • a region of focus can be specified by specifying pixel areas in captured camera images.
  • it can be provided as an output link that a focus region covers an area around the middle of a road ahead.
  • further focus regions can then be included Depending on set rules (e.g. school ahead, zebra crossing ahead, cycle path crossing etc.).
  • the rule-based system can be provided, for example, by means of a logic module of the device set up for this purpose.
  • changes over time in the captured sensor data are detected, with at least one focus region being defined as a function of at least one detected change over time in the captured sensor data.
  • a focus region can be defined or newly created if something in the environment changes over time.
  • a change over time should mean in particular that in the case of sensor data recorded consecutively in time, for example consecutive camera images (“frames”), these are different at least in partial areas. For example, in successive camera images, an imaged traffic light may change from a green signal to a red signal. Since changes represent a potential danger for the vehicle (or other road users who cause the change) and are therefore of greater interest in the perception of the environment, focus regions can be defined dynamically depending on the environment or a change in status in the environment.
  • movements in the surroundings of the vehicle are detected in the acquired sensor data, with at least one focus region being defined as a function of at least one movement detected in the acquired sensor data.
  • sensor data that depict moving objects in the environment can be evaluated with a higher resolution.
  • the underlying idea is that moving objects in the environment are potentially more dangerous than static objects in the environment and therefore require more attention and greater accuracy in the evaluation.
  • At least one focus region is defined by means of a machine learning method.
  • a neural network is trained so that it estimates areas in which focus regions are defined depending on the recorded sensor data and/or a position of the vehicle and/or an environmental context (e.g. play street, freeway, zebra crossing, underground car park, etc.). should be.
  • focus regions can also be estimated and defined for unknown environments.
  • an uncertainty of the evaluation results estimated by the evaluation method is taken into account. As a result, the evaluation results can each be weighted with the estimated uncertainty.
  • an uncertainty can be specified for each pixel, with which the assignment can be evaluated.
  • a pixel-by-pixel assignment and associated specification of the uncertainty can be done, for example, by means of a neural network.
  • An assignment with associated uncertainties for the entire camera image in a lower first resolution and an assignment with associated uncertainties for the (at least one) focus region in a second, higher resolution are then available as evaluation results.
  • the assignments can be combined, weighted according to the respective uncertainties, in particular summed up.
  • an assignment of the image elements to objects (or object classes) in the edge areas of the focus region is subject to greater uncertainty than in areas further inwards, since less information is available at the edges (since information beyond the cut-off edges is missing ).
  • a greater weight can then be placed on the evaluation results of the evaluation in the first, lower resolution, weighted by the respective associated uncertainties, so that an overall result in the edge areas of the focus region is improved overall.
  • the focus regions are assigned or have been assigned a priority, with the focus regions being processed in the order of the assigned priorities when evaluating the respectively associated sensor data.
  • the priority can be assigned, for example, as a function of an object class assigned to an object as part of the environment perception. For example, the vulnerability of other road users can be prioritized, with pedestrians and cyclists being given a higher priority than other vehicles. Provision can also be made, for example, for children to be given a higher priority than adults, since the behavior of children is generally less predictable than the behavior of adults. This makes it possible to concentrate limited computing power on the focus regions with the highest priority.
  • an evaluation result is retained in the second resolution at least for a predetermined period of time.
  • the evaluation results generated for the higher second resolution can continue to be used at least in the specified period of time and therefore increase accuracy despite the abandonment of this focus region in the perception of the surroundings.
  • Abandoning a focus region is intended to mean in particular that the sensor data in the abandoned focus region are no longer evaluated in the second, higher resolution, but only in the first, lower resolution.
  • the specified period of time can, in particular, be a few hundred milliseconds to seconds.
  • a vehicle comprising at least one device according to one of the described embodiments.
  • FIG. 1 shows a schematic representation of an embodiment of the device for perceiving the surroundings of an at least partially automated vehicle
  • 3a shows a schematic representation to clarify a procedure according to the method described in this disclosure
  • 3b shows a schematic representation of a section of sensor data belonging to a defined focus region
  • 3c shows a schematic representation of reduced-resolution sensor data
  • 4 shows a schematic representation to clarify an overall result combined from the evaluation results according to the method.
  • Device 1 shows a schematic illustration of an embodiment of the device 1 for perceiving the surroundings of an at least partially automated vehicle 50 .
  • Device 1 carries out the method described in this disclosure for perceiving the surroundings of a vehicle 50 that is driving at least partially automatically.
  • the device 1 comprises an evaluation device 2 .
  • the evaluation device 2 has a resolution reduction module 3 , a cutting module 4 , a first neural network 5 , a second neural network 6 and a merging module 7 .
  • Parts of the device 1, in particular the evaluation device 2 and its components, can be designed individually or combined as a combination of hardware and software, for example as program code that is executed on a microcontroller or microprocessor.
  • Detected sensor data 10 of at least one sensor 51 of vehicle 50 is fed to device 1 .
  • the sensor 51 is in particular a camera and the sensor data 10 are in particular camera images captured from the surroundings.
  • a resolution of the captured sensor data 10, in particular the captured camera images, is reduced to a first resolution by the resolution reduction module 3, and reduced-resolution sensor data 10- are provided.
  • the cutting module 4 cuts out a section 9 from the recorded sensor data 10, in particular from the camera images, as a function of a defined focus region 8.
  • a second resolution of section 9 corresponds to a resolution of original sensor data 10. The first resolution is therefore smaller than the second resolution.
  • the sensor data 10 in the first resolution are fed to the first neural network 5 .
  • the section 9 in the second resolution is fed to the second neural network 6 .
  • the first neural network 5 and the second neural network 6 carry out the same evaluation method, in particular a perception function, for example a semantic segmentation, in which an object class is assigned to individual image elements in the captured camera images, i.e. for each image element it is estimated which object the picture element depicts in each case.
  • Evaluation results 11 , 12 are output by the neural networks 5 , 6 and fed to the merging module 7 .
  • the procedure is described using neural networks 5, 6, other methods of machine learning or classic sensor data evaluation can also be used to convert the sensor data 10 in the first resolution and the section 9 associated with the focus region 8 from the sensor data 10 in the second resolution evaluate.
  • the evaluation method i.e. the perception function for the perception or interpretation of the environment (e.g. object recognition, semantic segmentation, semantic instance segmentation, bounding boxes, etc.) is the same for both ways.
  • the combination module 7 combines the evaluation results 11 , 12 into an overall result 13 .
  • the evaluation result 11 is upscaled to the original resolution (which corresponds to the second resolution), for example, and the evaluation result 12 for section 9 is inserted into the upscaled evaluation result 11 at the correct position, pixel by pixel.
  • it can be provided in particular that an average value of the evaluation results 11, 12 is formed.
  • the neural networks 11, 12 estimate the evaluation results 11, 12, for example in the form of object classes assigned to individual picture elements, and at the same time additionally supply a respective uncertainty for the estimates per picture element.
  • a weighting factor for merging can be defined or can be defined via the respectively estimated uncertainty.
  • the overall result 13 can be improved in this way, particularly at the edges of the section 9, where estimates of the second neural network 6 have greater uncertainty due to a lack of additional information from areas beyond the edge, since the evaluation result 11 of the first neuron is in these areas Network 5 can be considered more weighted.
  • the device 1 can have, for example, a logic module 19 in which the rule-based system 18 is made available and used.
  • a focus region 8 can be placed on oncoming traffic (eg when turning and crossing an oncoming lane).
  • An environmental context can, for example, relate to a play street, a settlement area with families with small children or a deer crossing, etc., with focus regions 8 then being set, for example, to areas near vehicles parked at the edge of the play street, to oncoming traffic or to the edge of the road adjacent to the forest will.
  • the position 53 and the planned trajectory 54 are supplied to the logic module 19 by a navigation system and/or a vehicle controller (not shown) of the vehicle 50, for example.
  • the device 1 can have, for example, a change detection module 14, which is used to detect areas in the recorded sensor data 10 in which a change (e.g. a change in a traffic light phase or a blinking indicator of another vehicle, etc.) is detected.
  • a change e.g. a change in a traffic light phase or a blinking indicator of another vehicle, etc.
  • the device 1 can have a motion detection module 15, for example, which detects movements in the captured sensor data 10, in particular captured camera images, and defines an associated area, in particular image element area in at least one camera image, as the focus region 8.
  • another neural network 16 can be trained to estimate and define focus regions 8 as a function of captured sensor data 10, in particular captured camera images, and/or other information (an environmental context and/or a position 53 of vehicle 50 etc.).
  • the priorities 17 can be selected, for example, depending on the vulnerability of another road user included in the focus region 8 .
  • a prioritization module (not shown) of the device 1 can be provided for this purpose, for example.
  • an evaluation result 12 is retained in the second resolution at least for a predetermined period of time. This takes place, for example, in the merging module 7.
  • the device 1 makes it possible to find a compromise when carrying out the evaluation method with regard to the required computing power and accuracy.
  • computing power can be reduced, since the sensor data 10 recorded are processed completely only in a reduced resolution, relevant areas can be evaluated with a higher resolution, in particular with the original resolution, by defining focus regions 8 .
  • the overall result 13 can, for example, be fed to a maneuver planner 52 of the vehicle 50 and taken into account there in the maneuver planning for automated driving.
  • FIG. 2a shows a schematic illustration to clarify the method.
  • Captured sensor data 10 is shown in the form of a camera image.
  • 2b shows a semantic segmentation as an evaluation result 11, in which an object class (indicated as different hatching) is assigned to each picture element of the camera image.
  • the sensor data 10 shown in FIG. 2a ie the camera image
  • a child 30 standing at the end of the row of vehicles visible on the right in the camera image is not detected by the semantic segmentation due to the reduced resolution and therefore does not appear in the evaluation result 11 .
  • FIG. 3a The procedure according to the method described in this disclosure is shown in FIG. 3a.
  • the captured sensor data 10 that is, in the camera image (At least) one focus region 8 is defined.
  • a simple case is shown, in which the focus region 8 encompasses the middle of the road ahead.
  • a section 9 (FIG. 3b) corresponding to the focus region 8 is evaluated in a second resolution, which corresponds to the original resolution of the sensor data 10 .
  • the complete sensor data 10 that is to say the complete camera image, is scaled down to a lower first resolution to reduced-resolution sensor data 10 (FIG. 3c).
  • the focus region 8 and the resolution-reduced sensor data 10 are each evaluated by the evaluation method, which again includes a semantic segmentation, for example, in which an object class is assigned to the individual picture elements.
  • Fig. 4 shows a schematic representation of the combined overall result 13.
  • the overall result 13 clearly shows that the image elements associated with the child 30 are correctly classified and the object type “person” or “child” was assigned to these image elements, since a resolution could be selected that was higher in this area by defining a focus region 8 than in the remaining areas.
  • the child 30 has detected or recognized the semantic segmentation in the detected sensor data 10 .

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Umfeldwahrnehmung eines Umfeldes eines zumindest teilautomatisiert fahrenden Fahrzeugs (50), wobei ein Umfeld des Fahrzeugs (50) mittels mindestens eines Sensors (51) erfasst wird, wobei von dem mindestens einen Sensor (51) erfasste Sensordaten (10) mittels einer Auswertungseinrichtung (2) durch mindestens ein Auswertungsverfahren in einer ersten Auflösung ausgewertet werden, und wobei die erfassten Sensordaten (10) in mindestens einer festgelegten Fokusregion (8) mittels der Auswertungseinrichtung (2) durch das mindestens eine Auswertungsverfahren in einer zweiten Auflösung ausgewertet werden, wobei die erste Auflösung kleiner ist als die zweite Auflösung, und wobei die Auswertungsergebnisse (11,12) zusammengeführt und ausgegeben werden. Ferner betrifft die Erfindung eine Vorrichtung (1) zur Umfeldwahrnehmung eines Umfeldes eines zumindest teilautomatisiert fahrenden Fahrzeugs (50).

Description

Beschreibung
Verfahren und Vorrichtung zur Umfeldwahrnehmung eines Umfeldes eines zumindest teilautomatisiert fahrenden Fahrzeugs
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Umfeldwahrnehmung eines Umfeldes eines zumindest teilautomatisiert fahrenden Fahrzeugs.
Zum automatisierten Fahren von Fahrzeugen ist eine robuste und genaue Umfeldwahrnehmung unverzichtbar. Künstliche Neuronale Netze bilden hierbei das Rückgrat bei der Umfeldwahrnehmung. Bei den Sensoren, mit denen ein Umfeld des Fahrzeugs erfasst wird, sind Kameras vorherrschend, da diese eine hohe Informationsdichte bereitstellen und gleichzeitig relativ kostengünstig erhältlich sind. Eine Rechenleistung in automatisiert fahrenden Fahrzeugen ist in der Regel stark begrenzt. Daher müssen Verfahren zur Umfeldwahrnehmung mit dieser begrenzten Rechenleistung auskommen. Gleichzeitig sollte das Verfahren jedoch echtzeitfähig und genau genug sein, damit auch Notfallsituationen gemeistert werden können.
Der Erfindung liegt die Aufgabe zu Grunde, ein Verfahren und eine Vorrichtung zur Umfeldwahrnehmung eines Umfeldes eines zumindest teilautomatisiert fahrenden Fahrzeugs, insbesondere im Hinblick auf eine benötigte Rechenleistung und eine Genauigkeit, zu verbessern.
Die Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 und eine Vorrichtung mit den Merkmalen des Patentanspruchs 9 gelöst. Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
Insbesondere wird Verfahren zur Umfeldwahrnehmung eines Umfeldes eines zumindest teilautomatisiert fahrenden Fahrzeugs zur Verfügung gestellt, wobei ein Umfeld des Fahrzeugs mittels mindestens eines Sensors erfasst wird, wobei von dem mindestens einen Sensor erfasste Sensordaten mittels einer Auswertungseinrichtung durch mindestens ein Auswertungsverfahren in einer ersten Auflösung ausgewertet werden, und wobei die erfassten Sensordaten in mindestens einer festgelegten Fokusregion mittels der Auswertungseinrichtung durch das mindestens eine Auswertungsverfahren in einer zweiten Auflösung ausgewertet werden, wobei die erste Auflösung kleiner ist als die zweite Auflösung, und wobei die Auswertungsergebnisse zusammengeführt und ausgegeben werden.
Ferner wird insbesondere eine Vorrichtung zur Umfeldwahrnehmung eines Umfeldes eines zumindest teilautomatisiert fahrenden Fahrzeugs geschaffen, umfassend eine Auswertungseinrichtung, wobei die Auswertungseinrichtung dazu eingerichtet ist, von mindestens einem Sensor erfasste Sensordaten durch mindestens ein Auswertungsverfahren in einer ersten Auflösung auszuwerten, und die erfassten Sensordaten durch das mindestens eine Auswertungsverfahren in mindestens einer festgelegten Fokusregion in einer zweiten Auflösung auszuwerten, wobei die erste Auflösung kleiner ist als die zweite Auflösung, und die Auswertungsergebnisse zusammenzuführen und auszugeben.
Das Verfahren und die Vorrichtung ermöglichen einen Kompromiss zwischen einer beim Auswerten der erfassten Sensordaten benötigten Rechenleistung und einer Genauigkeit der Auswertung. Dies wird erreicht, indem die Sensordaten in einer ersten Auflösung, die geringer ist als die ursprüngliche Auflösung, ausgewertet werden. Zusätzlich wird mindestens eine Fokusregion in den erfassten Sensordaten festgelegt, das heißt ein Umfang der Sensordaten wird gegenüber den ursprünglichen Sensordaten reduziert. Beispielsweise kann ein Ausschnitt in einem zweidimensionalen Kamerabild eine solche Fokusregion bilden. In der mindestens einen Fokusregion werden die Sensordaten mit einer zweiten Auflösung ausgewertet. Die erste Auflösung ist hierbei kleiner als die zweite Auflösung. Die zweite Auflösung entspricht insbesondere der ursprünglichen, das heißt der vollen, Auflösung der erfassten Sensordaten. Da die erfassten Sensordaten insgesamt mit einer geringeren Auflösung als die ursprüngliche Auflösung ausgewertet werden und lediglich die mindestens eine Fokusregion mit einer höheren, insbesondere vollen, Auflösung ausgewertet wird, kann eine zum Auswerten benötigte Rechenleistung insgesamt reduziert werden und dennoch in der mindestens einen Fokusregion eine hohe Genauigkeit beim Auswerten erreicht werden.
Ein Sensor ist insbesondere eine Kamera, die ein Umfeld des Fahrzeugs erfasst. Ein Sensor kann jedoch auch ein Lidarsensor, ein Radarsensor oder ein Ultraschallsensor sein.
Die erfassten Sensordaten können eindimensional oder mehrdimensional sein. Insbesondere sind die erfassten Sensordaten zweidimensional. Die erfassten Sensordaten sind insbesondere erfasste Kamerabilder. Jedoch können die erfassten Sensordaten auch Punktwolken eines Lidarsensors oder eines Radarsensors oder Ultraschalldaten sein. Ein Auswertungsverfahren ist insbesondere ein Auswertungsverfahren zur Umfeldwahrnehmung und/oder Umfeldinterpretation, bei der mindestens eine Wahrnehmungsfunktion ausgeführt wird. Eine solche Wahrnehmungsfunktion kann beispielsweise eine der folgenden sein: eine Objekterkennung, ein Bestimmen von Bounding boxes, eine semantische Segmentierung, eine Instanzsegmentierung oder eine panoptische Segmentierung etc.
Das Auswertungsverfahren wird insbesondere mittels eines Verfahrens des Maschinenlernens bereitgestellt und durchgeführt. Insbesondere kann vorgesehen sein, (trainierte) Neuronale Netze zu verwenden. Beispielsweise kann vorgesehen sein, dass ein erstes trainiertes Neuronales Netz von der Auswertungseinrichtung bereitgestellt wird, das die erfassten Sensordaten in der geringeren ersten Auflösung verarbeitet und eine oder mehrere der voranstehend Auswertungsverfahren ausführt. Ein zweites trainiertes Neuronales Netz, das von der Auswertungseinrichtung bereitgestellt wird, wertet die erfassten Sensordaten in der mindestens einen Fokusregion in der höheren, insbesondere in der ursprünglichen, zweiten Auflösung aus.
Grundsätzlich kann das Auswertungsverfahren jedoch auch auf andere Weise und/oder mit anderen Mitteln bereitgestellt und durchgeführt werden, das heißt es können auch klassische Verfahren der Sensordatenauswertung eingesetzt werden.
Es ist insbesondere vorgesehen, dass die erfassten Sensordaten auf die erste Auflösung heruntergerechnet werden. Dies erfolgt mit an sich bekannten Verfahren. Im Falle von Kamerabildern als erfassten Sensordaten wird beispielsweise eine Anzahl der Bildelemente (Pixel) verringert, sodass das Bild herunterskaliert wird auf eine geringere Gesamtbildelementanzahl. Für die mindestens eine Fokusregion werden die erfassten Sensordaten entsprechend auf einen Ausschnitt beschnitten, so dass dem Auswertungsverfahren, beispielsweise dem zweiten Neuronalen Netz, nur die Sensordaten innerhalb des Ausschnitts der mindestens einen Fokusregion als Eingangsdaten zugeführt werden. Es kann hierbei vorgesehen sein, dass für jede festgelegte Fokusregion das zweite Neuronale Netz erneut instanziiert wird bzw. separat bereitgestellt und ausgeführt wird.
Teile der Vorrichtung, insbesondere die Auswertungseinrichtung und deren Bestandteile, können einzeln oder zusammengefasst als eine Kombination von Hardware und Software ausgebildet sein, beispielsweise als Programmcode, der auf einem Mikrocontroller oder Mikroprozessor ausgeführt wird. Es kann jedoch auch vorgesehen sein, dass Teile einzeln oder zusammengefasst als anwendungsspezifische integrierte Schaltung (ASIC) ausgebildet sind.
Ein Fahrzeug ist insbesondere ein Kraftfahrzeug. Ein Fahrzeug kann jedoch auch ein anderes Land-, Schienen-, Wasser-, Luft- oder Raumfahrzeug sein.
In einer Ausführungsform ist vorgesehen, dass mindestens eine Fokusregion mittels eines regelbasierten Systems in Abhängigkeit einer Position des Fahrzeugs und/oder einer geplanten Trajektorie des Fahrzeugs und/oder eines Umfeldkontextes festgelegt wird. Hierdurch kann die mindestens eine Fokusregion gezielt auf besonders relevante Bereiche im Umfeld des Fahrzeugs gerichtet werden. Beispielsweise kann vorgesehen sein, dass positionsabhängig in einer Umfeldkarte besonders relevante Bereiche im Umfeld markiert bzw. hinterlegt sind. Zum Beispiel kann in der Umfeldkarte hinterlegt sein, dass in der Nähe der aktuellen Position des Fahrzeugs eine Schule zu finden ist. Ausgehend von dieser Information kann eine Fokusregion beispielsweise derart festgelegt werden, dass diese einen Straßenrand und einen Bürgersteig vor der Schule erfasst. Weitere Beispiele für Bereiche, die mittels einer Fokusregion beim Auswerten genauer betrachtet werden können, sind: Zebrastreifen, Mündungen von Nebenstraßen oder Einfahrten, ein Gegenverkehr etc. Ist eine geplante Trajektorie bekannt, so kann eine Fokusregion auch in Abhängigkeit der geplanten Trajektorie festgelegt werden. Beispielsweise kann vorgesehen sein, dass die geplante Trajektorie ein Linksabbiegen des Fahrzeuges mit Kreuzen des Gegenverkehrs vorsieht. Ausgehend von der geplanten Trajektorie kann eine Fokusregion dann auf die Gegenfahrbahn gelegt werden, um dort herannahende Fahrzeug verbessert, das heißt mit einer höheren Auflösung, wahrzunehmen. Ein Umfeldkontext kann sowohl aus erfassten Sensordaten als auch aus einer Umfeldkarte ableitet werden, um beispielsweise bei einer Spielstraße besonders die Bereiche auf der Spielstraße und die Randbereiche über festgelegte Fokusregionen besser wahrzunehmen. In dem regelbasierten System sind insbesondere Verknüpfungen hinterlegt, die eine Position des Fahrzeugs und/oder eine geplante Trajektorie bzw. eine Art oder Klasse der geplanten Trajektorie (Linksabbiegen, Rechtsabbiegen, Überholen etc.) und/oder einen Umfeldkontext mit mindestens einer Fokusregion verknüpfen. Die mindestens eine Fokusregion kann hierbei beispielsweise über Positionsangaben relativ zum Fahrzeug und/oder in Bezug auf die erfassten Sensordaten festgelegt sein bzw. festgelegt werden. Beispielsweise kann eine Fokusregion durch Angabe von Bildelementbereichen in erfassten Kamerabildern festgelegt werden. In dem regelbasierten System kann beispielsweise als Ausgangsverknüpfung vorgesehen sein, dass eine Fokusregion einen Bereich um die Mitte einer voranliegenden Straße herum abdeckt. Je nach konkretem Umfeld können dann weitere Fokusregionen in Abhängigkeit von festgelegten Regeln festgelegt werden (z.B. Schule voran, Zebrastreifen voran, Fahrradweg kreuzt etc.). Das regelbasierte System kann beispielsweise mittels eines hierfür eingerichteten Logikmoduls der Vorrichtung bereitgestellt werden.
In einer Ausführungsform ist vorgesehen, dass zeitliche Änderungen in den erfassten Sensordaten detektiert werden, wobei mindestens eine Fokusregion in Abhängigkeit von mindestens einer detektierten zeitlichen Änderung in den erfassten Sensordaten festgelegt wird. Hierdurch kann eine Fokusregion festgelegt bzw. neu geschaffen werden, wenn sich im Umfeld etwas zeitlich verändert. Eine zeitliche Änderung soll hierbei insbesondere bedeuten, dass bei zeitlich aufeinanderfolgend erfassten Sensordaten, beispielsweise aufeinanderfolgenden Kamerabildern („Frames“), diese zumindest in Teilbereichen unterschiedlich sind. Beispielsweise kann in aufeinanderfolgenden Kamerabildern eine abgebildete Verkehrsampel von einem grünen Signal auf ein rotes Signal wechseln. Da Veränderungen eine potentielle Gefahr für das Fahrzeug (oder andere Verkehrsteilnehmer, die die Änderung verursachen) darstellen und daher von größerem Interesse bei der Umfeldwahrnehmung sind, lassen sich hierdurch Fokusregionen dynamisch in Abhängigkeit des Umfeldes bzw. eines Zustandswechsels im Umfeld festlegen.
In einer Ausführungsform ist vorgesehen, dass Bewegungen im Umfeld des Fahrzeugs in den erfassten Sensordaten detektiert werden, wobei mindestens eine Fokusregion in Abhängigkeit von mindestens einer detektierten Bewegung in den erfassten Sensordaten festgelegt wird. Hierdurch können beispielsweise Sensordaten, die Objekte im Umfeld abbilden, die sich bewegen, mit höherer Auflösung ausgewertet werden. Auch hier ist der dahinterstehende Gedanke, dass bewegte Objekte im Umfeld im Gegensatz zu statischen Objekten im Umfeld potentiell gefährlicher sind und daher mehr Aufmerksamkeit bzw. einer höheren Genauigkeit bei der Auswertung bedürfen. Es kann vorgesehen sein, dass das mindestens eine Auswertungsverfahren die Informationen zu Bewegungen von Objekten im Umfeld liefert, beispielsweise mittels entsprechender Verfahren zur Bewegungserkennung von Objekten.
In einer Ausführungsform ist vorgesehen, dass mindestens eine Fokusregion mittels eines Maschinenlernverfahrens festgelegt wird. Beispielsweise kann vorgesehen sein, ein Neuronales Netz zu trainieren, sodass dieses in Abhängigkeit von den erfassten Sensordaten und/oder einer Position des Fahrzeugs und/oder eines Umfeldkontextes (z.B. Spielstraße, Autobahn, Zebrastreifen, Tiefgarage etc.) Bereiche schätzt, in denen Fokusregionen festgelegt werden sollten. Hierdurch können auch für unbekannte Umfelder Fokusregionen geschätzt und festgelegt werden. ln einer Ausführungsform ist vorgesehen, dass beim Zusammenführen der Auswertungsergebnisse eine durch das Auswertungsverfahren geschätzte Unsicherheit der Auswertungsergebnisse berücksichtigt wird. Hierdurch können die Auswertungsergebnisse jeweils gewichtet mit der geschätzten Unsicherheit berücksichtigt werden. Werden als Sensordaten beispielsweise Kamerabilder ausgewertet und wird beispielsweise eine bildelementweise Zuordnung zu Objekten vorgenommen (beispielsweise für mehrere Objektklassen), so kann für jedes Bildelement eine Unsicherheit angegeben werden, mit der die Zuordnung bewertet werden kann. Eine solche bildelementweise Zuordnung und zugehörige Angabe der Unsicherheit kann beispielsweise mittels eines Neuronalen Netzes erfolgen. Als Auswertungsergebnisse stehen dann eine Zuordnung mit zugehörigen Unsicherheiten für das gesamte Kamerabild in einer geringeren ersten Auflösung und eine Zuordnung mit zugehörigen Unsicherheiten für die (mindestens eine) Fokusregion in einer zweiten höheren Auflösung zur Verfügung. Beim Zusammenführen können die Zuordnungen gemäß den jeweiligen Unsicherheiten gewichtet zusammengefasst, insbesondere aufsummiert, werden. Bei Verwendung von Neuronalen Netzen ist eine Zuordnung der Bildelemente zu Objekten (bzw. Objektklassen) in Randbereichen der Fokusregion mit einer größeren Unsicherheit behaftet als in weiter innen liegenden Bereichen, da an den Rändern weniger Informationen zur Verfügung stehen (da Informationen jenseits der abgeschnittenen Ränder fehlen). Beim Zusammenführen kann dann gewichtet über die jeweils zugeordneten Unsicherheiten ein größeres Gewicht auf die Auswertungsergebnisse der Auswertung in der ersten geringeren Auflösung gelegt werden, sodass insgesamt ein Gesamtergebnis in den Randbereichen der Fokusregion verbessert ist.
In einer Ausführungsform ist vorgesehen, dass bei mehreren festgelegten Fokusregionen den Fokusregionen jeweils eine Priorität zugeordnet wird oder zugeordnet ist, wobei beim Auswerten der jeweils zugehörigen Sensordaten die Fokusregionen in der Reihenfolge der zugeordneten Prioritäten verarbeitet werden. Die Priorität kann beispielsweise in Abhängigkeit einer einem Objekt im Rahmen der Umfeldwahrnehmung zugeordneten Objektklasse zugeordnet werden. So kann beispielsweise eine Verwundbarkeit anderer Verkehrsteilnehmer priorisiert werden, wobei Fußgänger und Radfahrer im Vergleich zu anderen Fahrzeugen eine höhere Priorität erhalten. Es kann beispielsweise auch vorgesehen sein, dass Kinder eine höhere Priorität erhalten als erwachsene Personen, da ein Verhalten von Kindern in der Regel weniger berechenbar ist als ein Verhalten erwachsener Personen. Es ist hierdurch möglich, eine begrenzt zur Verfügung stehende Rechenleistung auf die am höchsten priorisierten Fokusregionen zu konzentrieren. ln einer Ausführungsform ist vorgesehen, dass bei Aufgeben einer Fokusregion ein Auswertungsergebnis zumindest für eine vorgegebene Zeitdauer in der zweiten Auflösung beibehalten wird. Hierdurch können die für die höhere zweite Auflösung erzeugten Auswertungsergebnisse zumindest in dem vorgegebenen Zeitraum weiterverwendet werden und daher eine Genauigkeit trotz Aufgabe dieser Fokusregion bei der Umfeldwahrnehmung steigern. Aufgeben einer Fokusregion soll hierbei insbesondere bedeuten, dass die Sensordaten in der aufgegebenen Fokusregion nicht weiter in der zweiten höheren Auflösung ausgewertet werden, sondern lediglich in der ersten geringeren Auflösung. Die vorgegebene Zeitdauer kann insbesondere einige Hundert Millisekunden bis Sekunden betragen.
Weitere Merkmale zur Ausgestaltung der Vorrichtung ergeben sich aus der Beschreibung von Ausgestaltungen des Verfahrens. Die Vorteile der Vorrichtung sind hierbei jeweils die gleichen wie bei den Ausgestaltungen des Verfahrens.
Weiter wird insbesondere auch ein Fahrzeug geschaffen, umfassend mindestens eine Vorrichtung gemäß einer der beschriebenen Ausführungsformen.
Nachfolgend wird die Erfindung anhand bevorzugter Ausführungsbeispiele unter Bezugnahme auf die Figuren näher erläutert. Hierbei zeigen:
Fig. 1 eine schematische Darstellung einer Ausführungsform der Vorrichtung zur Umfeldwahrnehmung eines Umfeldes eines zumindest teilautomatisiert fahrenden Fahrzeugs;
Fig. 2a eine schematische Darstellung zur Verdeutlichung des Verfahrens (erfasste Sensordaten);
Fig. 2b eine schematische Darstellung zur Verdeutlichung des Verfahrens (Auswertungsergebnis mit reduzierter erster Auflösung);
Fig. 3a eine schematische Darstellung zur Verdeutlichung einer Vorgehensweise gemäß dem in dieser Offenbarung beschriebenen Verfahren;
Fig. 3b eine schematische Darstellung eines zu einer festgelegten Fokusregion gehörenden Ausschnitts von Sensordaten;
Fig. 3c eine schematische Darstellung von auflösungsreduzierten Sensordaten; Fig. 4 eine schematische Darstellung zur Verdeutlichung eines gemäß dem Verfahren aus den Auswertungsergebnissen zusammengeführten Gesamtergebnisses.
In Fig. 1 ist eine schematische Darstellung einer Ausführungsform der Vorrichtung 1 zur Umfeldwahrnehmung eines Umfeldes eines zumindest teilautomatisiert fahrenden Fahrzeugs 50 gezeigt. Die Vorrichtung 1 führt das in dieser Offenbarung beschriebene Verfahren zur Umfeldwahrnehmung eines Umfeldes eines zumindest teilautomatisiert fahrenden Fahrzeugs 50 aus.
Die Vorrichtung 1 umfasst eine Auswertungseinrichtung 2. Die Auswertungseinrichtung 2 weist ein Auflösungsverringerungsmodul 3, ein Ausschneidemodul 4, ein erstes Neuronales Netz 5, ein zweites Neuronales Netz 6 und ein Zusammenführungsmodul 7 auf. Teile der Vorrichtung 1 , insbesondere die Auswertungseinrichtung 2 und deren Bestandteile, können einzeln oder zusammengefasst als eine Kombination von Hardware und Software ausgebildet sein, beispielsweise als Programmcode, der auf einem Mikrocontroller oder Mikroprozessor ausgeführt wird.
Der Vorrichtung 1 werden erfasste Sensordaten 10 mindestens eines Sensors 51 des Fahrzeugs 50 zugeführt. Der Sensor 51 ist insbesondere eine Kamera und die Sensordaten 10 sind insbesondere vom Umfeld erfasste Kamerabilder.
Eine Auflösung der erfassten Sensordaten 10, insbesondere der erfassten Kamerabilder, wird von dem Auflösungsverringerungsmodul 3 auf eine erste Auflösung verringert und auflösungsreduzierte Sensordaten 10- werden bereitgestellt. Parallel hierzu schneidet das Ausschneidemodul 4 in Abhängigkeit einer festgelegten Fokusregion 8 einen Ausschnitt 9 aus den erfassten Sensordaten 10, insbesondere aus den Kamerabildern, aus. Eine zweite Auflösung des Ausschnitts 9 entspricht hierbei einer Auflösung der ursprünglichen Sensordaten 10. Die erste Auflösung ist daher kleiner als die zweite Auflösung.
Die Sensordaten 10 in der ersten Auflösung werden dem ersten Neuronalen Netz 5 zugeführt. Der Ausschnitt 9 in der zweiten Auflösung wird dem zweiten Neuronalen Netz 6 zugeführt. Das erste Neuronale Netz 5 und das zweite Neuronale Netz 6 führen das gleiche Auswertungsverfahren durch, insbesondere eine Wahrnehmungsfunktion, beispielsweise eine semantische Segmentierung, bei der einzelnen Bildelementen in den erfassten Kamerabildern jeweils eine Objektklasse zugeordnet wird, das heißt für jedes Bildelement wird geschätzt, welches Objekt das Bildelement jeweils abbildet. Auswertungsergebnisse 11 , 12 werden von den Neuronalen Netzen 5, 6 ausgegeben und dem Zusammenführungsmodul 7 zugeführt.
Obwohl die Vorgehensweise anhand von Neuronalen Netzen 5, 6 beschrieben wird, können auch andere Verfahren des Maschinenlernens oder der klassischen Sensordatenauswertung verwendet werden, um die Sensordaten 10 in der ersten Auflösung und den zur Fokusregion 8 zugehörigen Ausschnitt 9 aus den Sensordaten 10 in der zweiten Auflösung auszuwerten. Es wird hierbei jedoch angemerkt, dass das Auswertungsverfahren, das heißt die Wahrnehmungsfunktion zur Umfeldwahrnehmung oder Umfeldinterpretation (z.B. Objekterkennung, semantische Segmentierung, semantische Instanzsegmentierung, Bounding Boxes etc.) für beide Wege gleich ist.
Das Zusammenführungsmodul 7 führt die Auswertungsergebnisse 11 , 12 zu einem Gesamtergebnis 13 zusammen. Im Falle von Kamerabildern wird das Auswertungsergebnis 11 hierzu beispielsweise wieder auf die ursprüngliche Auflösung (die der zweiten Auflösung entspricht) hochskaliert und das Auswertungsergebnis 12 zum Ausschnitt 9 wird in das hochskalierte Auswertungsergebnis 11 bildelementweise an der richtigen Position eingefügt. Hierbei kann insbesondere vorgesehen sein, dass ein Mittelwert der Auswertungsergebnisse 11, 12 gebildet wird.
Es kann beim Zusammenführen der Auswertungsergebnisse 11, 12 vorgesehen sein, dass eine durch das Auswertungsverfahren geschätzte Unsicherheit der Auswertungsergebnisse 11, 12 berücksichtigt wird. Die Neuronalen Netze 11 , 12 schätzen die Auswertungsergebnisse 11, 12, beispielsweise in Form von jeweils einzelnen Bildelementen zugeordneten Objektklassen, und liefern gleichzeitig zusätzlich eine jeweilige Unsicherheit für die bildelementweisen Schätzungen. Über die jeweils geschätzte Unsicherheit kann ein Gewichtungsfaktor bei Zusammenführen festgelegt werden oder festgelegt sein. Insbesondere bei Rändern des Ausschnitts 9, bei denen Schätzungen des zweiten Neuronale Netzes 6 aufgrund von fehlenden zusätzlichen Informationen von Bereichen jenseits des Randes eine größere Unsicherheit besitzen, kann auf diese Weise das Gesamtergebnis 13 verbessert werden, da in diesen Bereichen das Auswertungsergebnis 11 des ersten Neuronalen Netzes 5 stärker gewichtet berücksichtigt werden kann.
Es kann vorgesehen sein, dass mindestens eine Fokusregion 8 mittels eines regelbasierten Systems 18 in Abhängigkeit einer Position 53 des Fahrzeugs 50 und/oder einer geplanten Trajektorie 54 des Fahrzeugs 50 und/oder eines Umfeldkontextes festgelegt wird. Um das regelbasierte System 18 bereitzustellen, kann die Vorrichtung 1 beispielsweise ein Logikmodul 19 aufweisen, in dem das regelbasierte System 18 bereitgehalten und angewendet wird. Beispielsweise kann in Abhängigkeit der Position 53 des Fahrzeugs 50 in einer Straßen- und/oder Umfeldkarte nachgeschlagen werden, welche Fokusregionen 8 in dem Umfeld hinterlegt sind. In Abhängigkeit der geplanten Trajektorie 54 kann beispielsweise eine Fokusregion 8 auf den Gegenverkehr platziert werden (z.B. beim Abbiegen mit Kreuzen einer Gegenfahrbahn). Ein Umfeldkontext kann beispielsweise eine Spielstraße, ein Siedlungsgebiet mit Familien mit kleinen Kindern oder einen Wildwechsel etc. betreffen, wobei Fokusregionen 8 dann beispielsweise auf Bereiche in der Nähe von am Rand der Spielstraße parkenden Fahrzeugen, auf den Gegenverkehr oder auf den an Wald angrenzenden Straßenrand festgelegt werden. Die Position 53 und die geplante Trajektorie 54 werden dem Logikmodul 19 beispielsweise von einem Navigationssystem und/oder einer Fahrzeugsteuerung (nicht gezeigt) des Fahrzeugs 50 zugeführt.
Es kann vorgesehen sein, dass zeitliche Änderungen in den erfassten Sensordaten 10 detektiert werden, wobei mindestens eine Fokusregion 8 in Abhängigkeit von mindestens einer detektierten zeitlichen Änderung in den erfassten Sensordaten 10 festgelegt wird. Hierzu kann die Vorrichtung 1 beispielsweise ein Änderungsdetektionsmodul 14 aufweisen, mit der Bereiche in den erfassten Sensordaten 10 detektiert werden, in denen eine Änderung (z.B. eine Änderung einer Ampelphase oder ein Blinken eines Blinkers eines anderen Fahrzeugs etc.) detektiert wird.
Es kann vorgesehen sein, dass Bewegungen im Umfeld des Fahrzeugs 50 in den erfassten Sensordaten 10 detektiert werden, wobei mindestens eine Fokusregion 8 in Abhängigkeit von mindestens einer detektierten Bewegung in den erfassten Sensordaten 10 festgelegt wird. Die Vorrichtung 1 kann hierzu beispielsweise ein Bewegungsdetektionsmodul 15 aufweisen, das Bewegungen in den erfassten Sensordaten 10, insbesondere erfassten Kamerabildern, erkennt und einen zugehörigen Bereich, insbesondere Bildelementbereich in mindestens einem Kamerabild, als Fokusregion 8 festlegt.
Es kann vorgesehen sein, dass mindestens eine Fokusregion 8 mittels eines Maschinenlernverfahrens festgelegt wird. Beispielsweise kann hierzu ein weiteres Neuronales Netz 16 darauf trainiert werden, in Abhängigkeit von erfassten Sensordaten 10, insbesondere von erfassten Kamerabildern, und/oder sonstigen Informationen (ein Umfeldkontext und/oder eine Position 53 des Fahrzeugs 50 etc.) Fokusregionen 8 zu schätzen und festzulegen. Es kann vorgesehen sein, dass bei mehreren festgelegten Fokusregionen 8 den Fokusregionen 8 jeweils eine Priorität 17 zugeordnet wird oder zugeordnet ist, wobei beim Auswerten der jeweils zugehörigen Sensordaten 10 die Fokusregionen 8 in der Reihenfolge der zugeordneten Prioritäten 17 verarbeitet werden. Die Prioritäten 17 können beispielsweise in Abhängigkeit einer Verletzlichkeit eines von der Fokusregion 8 umfassten anderen Verkehrsteilnehmers gewählt werden. Hierzu kann beispielsweise ein Priorisierungsmodul (nicht gezeigt) der Vorrichtung 1 vorgesehen sein.
Es kann vorgesehen sein, dass bei Aufgeben einer Fokusregion 8 ein Auswertungsergebnis 12 zumindest für eine vorgegebene Zeitdauer in der zweiten Auflösung beibehalten wird. Dies erfolgt beispielsweise in dem Zusammenführungsmodul 7.
Die Vorrichtung 1 ermöglicht es, einen Kompromiss beim Ausführen der Auswertungsverfahren im Hinblick auf eine benötigte Rechenleistung und eine Genauigkeit zu finden. Obwohl eine Rechenleistung reduziert werden kann, da die erfassten Sensordaten 10 vollständig nur in einer reduzierten Auflösung verarbeitet werden, können relevante Bereiche durch Festlegen von Fokusregionen 8 mit einer höheren, insbesondere mit der ursprünglichen Auflösung ausgewertet werden.
Das Gesamtergebnis 13 kann beispielsweise einem Manöverplaner 52 des Fahrzeugs 50 zugeführt werden und dort bei der Manöverplanung zum automatisierten Fahren berücksichtigt werden.
In der Fig. 2a ist eine schematische Darstellung zur Verdeutlichung des Verfahrens gezeigt. Dargestellt sind erfasste Sensordaten 10 in Form eines Kamerabilds. In der Fig. 2b ist eine semantische Segmentierung als Auswertungsergebnis 11 dargestellt, in der jedem Bildelement des Kamerabildes eine Objektklasse (angedeutet als unterschiedliche Schraffuren) zugeordnet ist. Hierzu wurden die in der Fig. 2a gezeigten Sensordaten 10, das heißt das Kamerabild, in einer ersten gegenüber der ursprünglichen Auflösung geringeren Auflösung verwendet, das heißt das Kamerabild wurde in seiner Auflösung herunterskaliert. Ein am Ende der in dem Kamerabild rechts zu sehenden Fahrzeugreihe stehendes Kind 30 wird durch die reduzierte Auflösung von der semantischen Segmentierung nicht erfasst und taucht daher in dem Auswertungsergebnis 11 nicht auf.
In der Fig. 3a ist die Vorgehensweise gemäß dem in dieser Offenbarung beschriebenen Verfahren gezeigt. In den erfassten Sensordaten 10, das heißt in dem Kamerabild, wird (mindestens) eine Fokusregion 8 festgelegt. Gezeigt ist ein einfacher Fall, bei dem die Fokusregion 8 die Mitte der voranliegenden Straße umfasst. Ein der Fokusregion 8 entsprechender Ausschnitt 9 (Fig. 3b) wird in zweiter Auflösung, die der ursprünglichen Auflösung der Sensordaten 10 entspricht, ausgewertet. Die vollständigen Sensordaten 10, das heißt das vollständige Kamerabild, werden auf eine geringere erste Auflösung auf auflösungsreduzierte Sensordaten 10- herunterskaliert (Fig. 3c).
Nach dem Ausschneiden der Fokusregion 8 und dem Herunterskalieren der Sensordaten 10 werden die Fokusregion 8 und die auslösungsreduzierten Sensordaten 10- jeweils von dem Auswertungsverfahren ausgewertet, das beispielhaft wieder eine semantische Segmentierung umfasst, bei der einzelnen Bildelementen jeweils eine Objektklasse zugeordnet wird.
Die hieraus resultierenden Auswertungsergebnisse werden wieder zu einem Gesamtergebnis 13 zusammengeführt. Die Fig. 4 zeigt eine schematische Darstellung des zusammengeführten Gesamtergebnisses 13.
Im Gesamtergebnis 13 ist deutlich zu erkennen, dass zum Kind 30 zugehörige Bildelemente richtig klassifiziert werden und diesen Bildelementen die Objektart „Person“ oder „Kind“ zugeordnet wurde, da eine Auflösung über das Festlegen einer Fokusregion 8 in diesem Bereich höher gewählt werden konnte als in den restlichen Bereichen. Die semantische Segmentierung hat das Kind 30 hierdurch in den erfassten Sensordaten 10 erfasst bzw. erkannt.
Mittels des in dieser Offenbarung beschriebenen Verfahrens und der in dieser Offenbarung beschriebenen Vorrichtung 1 kann daher ein Kompromiss zwischen einer notwendigen Rechenleistung und einer Genauigkeit beim Auswerten von Sensordaten 10 gefunden werden.
Es wurde in den voranstehend beschriebene Beispielen der Übersichtlichkeit halber nur eine Fokusregion 8 festgelegt und gezeigt. Prinzipiell können weitere Fokusregionen festgelegt werden. Die Vorgehensweise ist hierbei jeweils analog. Bezugszeichenliste
Vorrichtung
Auswertungseinrichtung
Auslösungsverringerungsmodul Ausschneidemodul erstes Neuronales Netz zweites Neuronales Netz Zusammenführungsmodul Fokusregion
Ausschnitt erfasste Sensordaten - auflösungsreduzierte Sensordaten Auswertungsergebnis
Auswertungsergebnis Gesamtergebnis
Änderungsdetektionsmodul Bewegungsdetektionsmodul weiteres Neuronales Netz Priorität regelbasiertes System Logikmodul
Kind
Fahrzeug
Sensor
Manöverplaner
Position geplante Trajektorie

Claims

Patentansprüche Verfahren zur Umfeldwahrnehmung eines Umfeldes eines zumindest teilautomatisiert fahrenden Fahrzeugs (50), wobei ein Umfeld des Fahrzeugs (50) mittels mindestens eines Sensors (51) erfasst wird, wobei von dem mindestens einen Sensor (51) erfasste Sensordaten (10) mittels einer Auswertungseinrichtung (2) durch mindestens ein Auswertungsverfahren in einer ersten Auflösung ausgewertet werden, und wobei die erfassten Sensordaten (10) in mindestens einer festgelegten Fokusregion (8) mittels der Auswertungseinrichtung (2) durch das mindestens eine Auswertungsverfahren in einer zweiten Auflösung ausgewertet werden, wobei die erste Auflösung kleiner ist als die zweite Auflösung, und wobei die Auswertungsergebnisse (11 ,12) zusammengeführt und ausgegeben werden. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass mindestens eine Fokusregion (8) mittels eines regelbasierten Systems (18) in Abhängigkeit einer Position (53) des Fahrzeugs (50) und/oder einer geplanten Trajektorie (54) des Fahrzeugs (50) und/oder eines Umfeldkontextes festgelegt wird. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass zeitliche Änderungen in den erfassten Sensordaten (10) detektiert werden, wobei mindestens eine
Fokusregion (8) in Abhängigkeit von mindestens einer detektierten zeitlichen Änderung in den erfassten Sensordaten (10) festgelegt wird. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass Bewegungen im Umfeld des Fahrzeugs (50) in den erfassten Sensordaten (10) detektiert werden, wobei mindestens eine Fokusregion (8) in Abhängigkeit von mindestens einer detektierten Bewegung in den erfassten Sensordaten (10) festgelegt wird. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass mindestens eine Fokusregion (8) mittels eines Maschinenlernverfahrens festgelegt wird. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass beim Zusammenführen der Auswertungsergebnisse (11 ,12) eine durch das Auswertungsverfahren geschätzte Unsicherheit der Auswertungsergebnisse (11 ,12) berücksichtigt wird. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass bei mehreren festgelegten Fokusregionen (8) den Fokusregionen (8) jeweils eine Priorität (17) zugeordnet wird oder zugeordnet ist, wobei beim Auswerten der jeweils zugehörigen Sensordaten (10) die Fokusregionen (8) in der Reihenfolge der zugeordneten Prioritäten (17) verarbeitet werden. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass bei Aufgeben einer Fokusregion (8) ein Auswertungsergebnis (12) zumindest für eine vorgegebene Zeitdauer in der zweiten Auflösung beibehalten wird. Vorrichtung (1) zur Umfeldwahrnehmung eines Umfeldes eines zumindest teilautomatisiert fahrenden Fahrzeugs (50), umfassend: eine Auswertungseinrichtung (2), wobei die Auswertungseinrichtung (2) dazu eingerichtet ist, von mindestens einem Sensor (51) erfasste Sensordaten (10) durch mindestens ein Auswertungsverfahren in einer ersten Auflösung auszuwerten, und die erfassten Sensordaten (10) durch das mindestens eine Auswertungsverfahren in mindestens einer festgelegten Fokusregion (8) in einer zweiten Auflösung auszuwerten, wobei die erste Auflösung kleiner ist als die zweite Auflösung, und die Auswertungsergebnisse (11 ,12) zusammenzuführen und auszugeben. Fahrzeug (50), umfassend mindestens eine Vorrichtung (1) nach Anspruch 9.
EP21745257.2A 2020-09-01 2021-07-06 Verfahren und vorrichtung zur umfeldwahrnehmung eines umfeldes eines zumindest teilautomatisiert fahrenden fahrzeugs Pending EP4208815A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020211023.9A DE102020211023B4 (de) 2020-09-01 2020-09-01 Verfahren und Vorrichtung zur Umfeldwahrnehmung eines Umfeldes eines zumindest teilautomatisiert fahrenden Fahrzeugs
PCT/EP2021/068720 WO2022048811A1 (de) 2020-09-01 2021-07-06 Verfahren und vorrichtung zur umfeldwahrnehmung eines umfeldes eines zumindest teilautomatisiert fahrenden fahrzeugs

Publications (1)

Publication Number Publication Date
EP4208815A1 true EP4208815A1 (de) 2023-07-12

Family

ID=77021310

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21745257.2A Pending EP4208815A1 (de) 2020-09-01 2021-07-06 Verfahren und vorrichtung zur umfeldwahrnehmung eines umfeldes eines zumindest teilautomatisiert fahrenden fahrzeugs

Country Status (5)

Country Link
US (1) US12412363B2 (de)
EP (1) EP4208815A1 (de)
CN (1) CN116134492A (de)
DE (1) DE102020211023B4 (de)
WO (1) WO2022048811A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020106967A1 (de) * 2020-03-13 2021-09-16 Valeo Schalter Und Sensoren Gmbh Festlegen eines aktuellen Fokusbereichs eines Kamerabildes basierend auf der Position der Fahrzeugkamera an dem Fahrzeug und einem aktuellen Bewegungsparameter

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6324532B1 (en) 1997-02-07 2001-11-27 Sarnoff Corporation Method and apparatus for training a neural network to detect objects in an image
US9275308B2 (en) 2013-05-31 2016-03-01 Google Inc. Object detection using deep neural networks
US9511767B1 (en) 2015-07-01 2016-12-06 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle action planning using behavior prediction
DE102015216352A1 (de) * 2015-08-27 2017-03-02 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Erkennen einer möglichen Kollision eines Fahrzeuges mit einem Fußgänger auf Grundlage hochaufgelöster Aufnahmen
US9549125B1 (en) * 2015-09-01 2017-01-17 Amazon Technologies, Inc. Focus specification and focus stabilization
US10229329B2 (en) * 2016-11-08 2019-03-12 Dedrone Holdings, Inc. Systems, methods, apparatuses, and devices for identifying, tracking, and managing unmanned aerial vehicles
US9983591B2 (en) 2015-11-05 2018-05-29 Ford Global Technologies, Llc Autonomous driving at intersections based on perception data
DE102016213494A1 (de) 2016-07-22 2018-01-25 Conti Temic Microelectronic Gmbh Kameravorrichtung sowie Verfahren zur Erfassung eines Umgebungsbereichs eines eigenen Fahrzeugs
US10452068B2 (en) 2016-10-17 2019-10-22 Uber Technologies, Inc. Neural network system for autonomous vehicle control
US20180306905A1 (en) * 2017-04-20 2018-10-25 Analog Devices, Inc. Method of Providing a Dynamic Region of interest in a LIDAR System
DE102017127592A1 (de) 2017-11-22 2019-05-23 Connaught Electronics Ltd. Verfahren zum Klassifizieren von Bildszenen in einem Fahrunterstützungssystem
US11500099B2 (en) * 2018-03-14 2022-11-15 Uatc, Llc Three-dimensional object detection
US11592818B2 (en) * 2018-06-20 2023-02-28 Zoox, Inc. Restricted multi-scale inference for machine learning
US10467503B1 (en) 2018-09-05 2019-11-05 StradVision, Inc. Method and device for generating image data set to be used for learning CNN capable of detecting obstruction in autonomous driving circumstance

Also Published As

Publication number Publication date
US12412363B2 (en) 2025-09-09
WO2022048811A1 (de) 2022-03-10
US20240029389A1 (en) 2024-01-25
DE102020211023B4 (de) 2026-01-15
CN116134492A (zh) 2023-05-16
DE102020211023A1 (de) 2022-03-03

Similar Documents

Publication Publication Date Title
EP1634243B1 (de) Verfahren und vorrichtung zur objektortung für kraftfahrzeuge
EP3765927B1 (de) Verfahren zum erzeugen eines trainingsdatensatzes zum trainieren eines künstlichen-intelligenz-moduls für eine steuervorrichtung eines fahrzeugs
DE102006057552B4 (de) System und Verfahren zur Messung des Abstands eines vorausfahrenden Fahrzeugs
WO2020048669A1 (de) Verfahren zum bestimmen einer spurwechselangabe eines fahrzeugs, ein computerlesbares speichermedium und ein fahrzeug
DE102014207802B3 (de) Verfahren und System zum proaktiven Erkennen einer Aktion eines Verkehrsteilnehmers
DE10138641A1 (de) Verfahren zur Bestimmung einer Modellfahrbahn
DE102011055458A1 (de) Adaptierungstechnik zur Erkennung einer freien Fahrbahn mittels verlässlicher lokaler Modellkalibrierung
EP1298454A2 (de) Verfahren zur Erkennung und Verfolgung von Objekten
DE102009007342A1 (de) Verfahren und Vorrichtung zum Ermitteln einer geltenden Fahrspurmarkierung
DE102016210534A1 (de) Verfahren zum Klassifizieren einer Umgebung eines Fahrzeugs
DE102021119871B4 (de) Verfahren und Prozessorschaltung zum Betreiben einer automatisierten Fahrfunktion mit Objektklassifikator in einem Kraftfahrzeug, sowie Kraftfahrzeug
DE102011055459A1 (de) Adaptierungstechnik zur Erkennung einer freien Fahrbahn mit zusätzlichen Klassifikatoren
WO2019057252A1 (de) Verfahren und vorrichtung zum erkennen von fahrspuren, fahrerassistenzsystem und fahrzeug
DE102016202594A1 (de) Verfahren und Vorrichtung zum Interpretieren einer Fahrzeugumgebung eines Fahrzeugs sowie Fahrzeug
DE102017212175A1 (de) Verfahren und Vorrichtung zum Ermitteln eines optischen Flusses anhand einer von einer Kamera eines Fahrzeugs aufgenommenen Bildsequenz
DE102018211368A1 (de) Verfahren zur Beschreibung einer Umgebung eines Fahrzeugs durch die Topologie der befahrenen Straße
DE102024129386A1 (de) Verfahren und vorrichtung zur fahrerabsichtsprognose
WO2023237424A1 (de) Verfahren und assistenzsystem zum vorhersagen eines fahrschlauches und kraftfahrzeug
WO2021122338A1 (de) Verfahren und vorrichtung zum robustifizieren von sensordaten gegen adversariale störungen
EP4208815A1 (de) Verfahren und vorrichtung zur umfeldwahrnehmung eines umfeldes eines zumindest teilautomatisiert fahrenden fahrzeugs
DE102008050456B4 (de) Verfahren und Vorrichtung zur Fahrspurerkennung
DE102006037600B4 (de) Verfahren zur auflösungsabhängigen Darstellung der Umgebung eines Kraftfahrzeugs
DE112020002733T5 (de) Elektronische Steuereinheit
DE102021213756B3 (de) Verfahren zum Fusionieren von Sensordaten im Kontext eines künstlichen neuronalen Netzwerks
DE102019204187A1 (de) Klassifizierung und temporale Erkennung taktischer Fahrmanöver von Verkehrsteilnehmern

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230403

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20250721