EP3769041A1 - System zur erzeugung von konfidenzwerten im backend - Google Patents

System zur erzeugung von konfidenzwerten im backend

Info

Publication number
EP3769041A1
EP3769041A1 EP19714341.5A EP19714341A EP3769041A1 EP 3769041 A1 EP3769041 A1 EP 3769041A1 EP 19714341 A EP19714341 A EP 19714341A EP 3769041 A1 EP3769041 A1 EP 3769041A1
Authority
EP
European Patent Office
Prior art keywords
backend
objects
data
probability
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP19714341.5A
Other languages
English (en)
French (fr)
Inventor
Helmut Hamperl
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aumovio Germany GmbH
Original Assignee
Continental Automotive Technologies GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive Technologies GmbH filed Critical Continental Automotive Technologies GmbH
Publication of EP3769041A1 publication Critical patent/EP3769041A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3859—Differential updating map data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the invention relates to a Obj ektkonfidenzwerter Wegungssystem for generating confidence values for objects in a digital road map, a vehicle with a rejennungsvor direction, a backend with a digital road map, a method for generating confidence values for objects in a digital road map, program elements and a computer-readable medium ,
  • Vehicles are increasingly seen ver with driver assistance systems, which support the driver in the implementation of driving maneuvers. Furthermore, vehicles are increasingly equipped with highly or fully automatic driving functions. These highly or fully automated driving functions require highly accurate digital road maps to ensure safe and reliable vehicle navigation and to detect objects such as traffic signs or lane markings. Furthermore, these digital road maps must always have the current state of the roads and traffic signs to enable the highly or fully automatic driving functions. Furthermore, today's vehicles have a large number of sensors for detecting the vehicle environment.
  • a first aspect of the invention relates to an object confidence value generation system for generating confidence values for objects in a digital road map.
  • the object confidence value generation system has a backend and an object recognition device for a vehicle.
  • the object recognition device in turn has a detection unit, an evaluation unit, a positioning unit and a transmitting / receiving unit.
  • the detection unit is set up to capture environmental data from a vehicle and to divide the environmental data into a plurality of two- or three-dimensional segments.
  • the positioning unit is configured to determine the positions of the segments and the objects contained therein.
  • the evaluation unit is set up to recognize the objects and occlusions of the objects in the segments and to provide them with position information.
  • the evaluation unit is further configured to determine a probability for a correct recognition for each of the objects and for each occlusion, wherein the probability of the relative position of the segment in which the object or the occultation is located to the object recognition device or depends on the vehicle.
  • the transmitting / receiving unit is set up to transmit the data generated by the evaluation unit to the backend.
  • the backend is configured to receive the data of the transceiver unit and to generate, modify or update the digital road map. Furthermore, each of the digital road map objects of the backend has a confidence value.
  • the backend is adapted to increase the confidence value of the respective object depending on the determined probability, if the respective object is included in the received data, and to reduce the confidence value of the respective object depending on the determined probability, if the respective object is not in the received data is included, wherein the backend is adapted to perform in a masking of the object in the received data no reduction of the confidence value of the respective object by.
  • each of the objects of the digital road map may have an individual confidence value indicating how reliable the information, eg existence, position or content, is about that object. This confidence value may be changed by the backend based on data of the object recognition device or a plurality of object recognition devices.
  • the confidence value may be, for example, between 0 and 1, where 1 indicates a maximum reliability of the information about the respective object and 0 indicates a minimum reliability of this information. This may be based on the idea that a plurality of object recognition devices recognizes or does not recognize an object (because it no longer exists). Thus, individual errors in the detection by individual reerkennungsvor directions can be excluded on average, resolved or reduced. As a result, the confidence value of the object can be gradually adjusted and changes of the objects in the road traffic can be detected automatically and continuously by the backend, so that always a current Reconcesen tion of reality in the digital road map on the backend can be mapped.
  • the confidence value of a new object exceeds a predefined threshold value, it can be assumed that this object is also present in reality and it can be added to the digital road map on the backend. If, however, the confidence value of an object falls below a predefined threshold value, it can be assumed that this object no longer exists in reality and thus it can be removed from the digital road map of the backend.
  • the detection unit eg a camera, a stereo camera, a radar sensor, a lidar sensor, an ultrasound sound sensor, a laser scanner or a combination thereof, the collected environment data in a plurality of two- or three-dimensional segments.
  • the segmentation and the respective position of the segment can be used to determine a probability for the correct recognition of the object or the occlusion.
  • the relative position of the segment of the respective object or occlusion to the object recognition device or to the vehicle may influence the probability of the correct recognition. The greater the distance between the object and the object recognition device or the vehicle or the farther an object is in an edge region of the environment data of the detection unit, the lower the probability that the object or the occlusion has been recognized correctly.
  • the probability of correct recognition may be higher if the object or occultation is centrally located in front of the detection unit at a small distance.
  • a probability for a correct recognition of the object recognition device can be determined.
  • the probability of correct recognition can be determined for the respective segments, whereby the probability for the correct recognition can depend on the position of the segment in the field of view (detection area) of the detection unit.
  • the probability of correct recognition for the detected objects or occlusions may be determined by the segment in which the object or occlusion is located.
  • the segments are constant, cuboidal volumes which have a width, a height and a depth which are constant in time.
  • the division into segments can be based on Cartesian coordinates. It should be noted that the segments may be cuboids or cubes.
  • the segments are circular sectors, which are characterized by a plurality of radii are broken, and which have an angle, a height and a start and an end radius.
  • the segments can be divided based on cylindrical coordinates.
  • a camera image can be divided into two-dimensional segments and the depth information is transmitted via another sensor, e.g. a lidar sensor.
  • the backend may increase the confidence value of an object depending on the determined probability of correct recognition of that object if it has been detected by the object recognition device and included in the data transmitted to the backend. Further, the backend may reduce the confidence value of an object depending on the determined probability of correct recognition of that object if it has not been recognized by the object recognition device or is not included in the data transmitted to the backend. Further, the backend can not change the confidence value of the digital road map object if the area of the putative object is obscured, e.g. by another road user (truck) or a building (tree). Due to the occlusion, the object could not be recognized by the object recognition device because it was not visible.
  • trucks road user
  • tree building
  • the backend can also incorporate other parameters in the change of the confidence value of the objects, such as the time course.
  • the backend may be a new object that should be added to the digital roadmap.
  • it may behave with an object that should be removed from the digital road map; for example, if an object has not been detected in the last 10 transmitted data without any obfuscation, the object may be removed from the digital roadmap as it is likely is no longer present in reality, although the confidence level can still be high.
  • the most recent detection or non-recognition of the object can affect the confidence value more than older detections.
  • the confidence levels may decrease over time unless confirmed by new detections.
  • digital road maps are also road maps for advanced driver assistance systems (ADAS, Advanced Driver Assistance System) to understand without a navigation takes place.
  • ADAS Advanced Driver Assistance System
  • these digital road maps can be stored and created in a backend.
  • An object in this case may be, for example, a traffic sign, a guardrail, a road marking, a traffic light system, a gyro, a crosswalk or a speed hill.
  • the transceiver can transmit the data to the backend wirelessly, over the air.
  • the wireless transmission or the wireless reception of the data can be via Bluetooth, WLAN (eg WLAN 802.1 la / b / g / n / ac or WLAN 802.1 lp), ZigBee or WiMax or by means of cellular radio systems such as GPRS, UMTS, LTE or 5G. It is also possible to use other transmission protocols.
  • the mentioned protocols offer the advantage of already existing standardization.
  • a backend can be understood to mean a computing unit which is located outside the driver's own vehicle and which can be used for a large number of vehicles or object recognition devices is available.
  • the backend may be, for example, a server or a cloud which can be reached via the Internet or another network.
  • the object identification device for the vehicle may be performed by the object identification device for the vehicle and some steps in the backend.
  • the distribution between the evaluation by the evaluation unit of the object recognition apparatus and the backend can be adapted to the respective application case.
  • the complete evaluation in the backend can be performed.
  • the object recognition device of the vehicle in this case serves as a data acquisition unit for the backend.
  • the evaluation can also be carried out on the object recognition devices and the result is then transferred or transmitted to the backend, in which the data of the individual vehicles are combined, so that the digital road map with corresponding confidence values for each object in the digital road map , eg Road signs, arises.
  • the data transmitted by the transmitting / receiving unit is vector data.
  • the data can be transmitted as vector data, so the information about the existence of an object and its position and not the entire image data can be transmitted.
  • the Auswer teech is adapted to determine based on the distance and the angle of the detected objects to the object recognition device in the respective segment, the probability of correct detection of the objects or the obscurations of the objects, with a greater distance between the respective segment and the object recognition device leads to a lower probability for the correct recognition and a lesser distance between the respective segment and the object recognition device results in a higher probability of correct recognition.
  • the probability of correct recognition may depend on the relative position of the segment to the object recognition device. The greater the distance and the farther the object is located at an edge area of the detection unit, the lower the probability of a correct recognition of the object or the concealment. Analogous to this, the probability of a correct detection can be higher, the more center and / or closer an object or a concealment with respect to the object recognition device be.
  • the backend draws the object or the obscuration of the object only for the determination of the confidence value, if the likelihood for the correct detection is above achy certain threshold.
  • the threshold value for the probability as of when the detected objects or occlusions are taken into account in the confidence value can be 30, 40 or 50%; all detected objects with a probability below this threshold value are not used to determine the confidence value in the confidence value digital road map of the backend used.
  • the system may be located in a remote segment, such as B. in 80m distance to the object recognition device, recognize an object, which due to the geometry of a traffic sign could be.
  • the object recognition device can remember the distance and thus actually the position of the object.
  • accurate recognition of the object itself could not be done, so the likelihood of correctly recognizing this object may be low (it was a speed limit of 60 or 80, or none at all).
  • the object is obscured due to viewing angle or a road user.
  • the evaluation unit of the object recognition device would detect occlusion of the object, since the probability for the correct recognition lies below the predefined threshold value, and the adjustment of the confidence value of the object in the backend would not occur.
  • an adjustment of the confidence value can be omitted if the object, its position or its content was not detected with a probability for a correct detection above a threshold value.
  • the Auswer teech is adapted to evaluate the environment data of a covered by the vehicle portion of a route.
  • the send / receive unit is set up to send the data of the entire section to the backend.
  • the object recognition device in the vehicle can first collect and evaluate the data for a particular section, and then transmit the entire section or result for the entire section to the backend.
  • the section can also be referred to as a snippet
  • the recognition (visibility) or the occlusion (non-visibility) can be expanded by a second probability factor of the correct recognition. This increases if, in as many individual images (frames) of the respective section, the object was detected or it is obscured. In other words, the second probability value depends on the relative frequency of detection of the object or the concealment. Thus, not only discrete values such as 0 (occlusion) and 1 (recognition) may occur for the recognition or occlusion, but also arbitrary values in between.
  • the respective sections can also be defined with a certain overlap with each other, so that at the beginning of the respective section also several pictures (frames) are present and the beginning does not consist of just one picture.
  • the detections in the sections can be normalized so that the number of detections is divided by the number of total existing pictures which the respective object was able to recognize.
  • the evaluation of recognizable and hidden areas can also be carried out completely in the backend.
  • the vehicle or the object recognition device in the vehicle serves as a data acquisition unit and the data processing or the evaluation takes place in the backend.
  • a highly accurate position is not needed for each object, but only for the beginning of the section.
  • the remaining position determination can be realized on the basis of the image data in the backend, wherein the backend typically has a higher computing power than the evaluation unit.
  • highly accurate position information must be transmitted to the backend only for the beginning and end of each section, and the backend can then determine or determine the respective positions, objects, and occlusions from the obtained data.
  • the section is 100m long.
  • any other length may be chosen for the section, e.g. 200m, 500m or 1km.
  • the section can be adjusted depending on the road or the environment, so that the section is shorter in an urban environment than in a rural environment or on a highway. This can be advantageous, since in the urban environment typically more objects are present in the same section length.
  • the section may also be defined on the basis of a fixed file size, e.g. 5MB, 25MB or 1GB, but the section or length of the section can also be defined by a combination of the above criteria.
  • the evaluation unit is set up to classify all the detected segments in front of the vehicle as hidden areas in the respective section and if an object in a segment has been detected or no occlusion is detected in the segment, the corresponding segment as classify the visible area and determine the probability of correct recognition.
  • the backend is set up not to include the hidden segments in the determination of the confidence values of the individual objects of the digital road map.
  • the evaluation unit can evaluate the collected data in sections, ie for each section or snippet, and transmit them to the backend. In the evaluation of the section, it is also possible to proceed in such a way that first all areas are classified as hidden areas, ie areas in which a statement about any objects is not possible. These hidden areas are then classified by means of the evaluation by the evaluation unit gradually as recognized areas (recognized objects or ver Vercoverept including their probability for a correct recognition). In other words, successively, the recognized area becomes larger as more objects are detected therein. The unrecognized areas remain classified as hidden areas and a confidence value of an object that may be in this area is not adjusted because a reliable statement due to the occlusion or not recognition in this area is not possible.
  • the object recognition apparatus further comprises a memory unit.
  • a digital road map is stored with a plurality of objects on the storage unit.
  • the evaluation unit is set up to compare the detected objects with the objects stored on the memory unit.
  • the evaluation unit is further configured to notify detected objects that are not present in the digital road map of the storage unit or unrecognized objects that should be recognized according to the digital road map to the backend.
  • the object recognition device may further comprise a memory unit on which a digital road map is stored. Furthermore, the digital roadmap on the memory card can be updated by the backend at regular intervals, so that the current version of the digital roadmap for the evaluation unit of the object identification device is always present. Further, the evaluation unit may compare the detected objects with the objects on the digital road map of the storage unit. The evaluation unit can then report detected or unrecognized objects directly to the backend. For example, an object is present in the digital road map, but has not been recognized by the evaluation unit, thus the confidence value of the Object in the backend, depending on the particular likelihood of correct recognition reduced.
  • the confidence value of the object in the backend can be increased depending on the specific probability of correct recognition. If an object was detected by the evaluation unit, which is not contained in the digital road map, the detected object can be added to the digital road map in the backend.
  • the data in the memory unit can be temporarily stored in the memory unit during the segmental evaluation of the acquired data until they are transmitted to the backend.
  • the positioning is n istssussi a GPS module.
  • GPS stands for all Global Navigation Satellite Systems (GNSS), such as e.g. GPS, Galileo, GLONASS (Russia), Compass (China) or IRNSS (India).
  • GNSS Global Navigation Satellite Systems
  • the position determination of the vehicle can also be done via a cell positioning. This is particularly useful when using GSM, UMTS, LTE or 5G networks.
  • the environmental data are camera images, camera images of a stereo camera, laser images, lidar images or ultrasound images.
  • the digital road map is intended for a vehicle or for the navigation of a vehicle.
  • the digital roadmap created in the backend may be for a vehicle to provide navigation for it. Especially with highly or fully automated Vehicles require a precise and up-to-date digital road map.
  • the backend is set up to transmit the digital road map to the memory unit of the object recognition device at periodic intervals.
  • These periodic intervals may be, for example, once a month, every day or once a year.
  • the backend can also transfer the digital road map to the vehicle as needed, for example when navigation on the vehicle has been started.
  • the backend is set up to transmit only objects with a confidence value above a predefined threshold value to the memory unit of the object recognition apparatus.
  • objects may be included in the digital road map and transmitted to the object recognition device if the confidence value of the digital road map objects on the backend exceeds a predefined threshold, e.g. have a confidence level of over 90%. This can serve to only transfer objects to the vehicle which are very likely to be present.
  • the backend is configured to evaluate the received data and to remove or integrate unrecognized objects or new objects into the digital road map of the backend based on the received data.
  • the backend can change the digital road map based on the received data from the transmitting / receiving unit of the object recognition device, update and possibly add new objects or remove old objects, so that there is always a current digital street map on the backend, which represents the current road conditions.
  • the backend can update the exact position of the individual objects in the digital road map based on the received data, for example, because an increasing number of detections of the respective object can more accurately determine the position on average by the individual object recognition devices.
  • the object recognition device has a detection unit, an evaluation unit, a positioning unit and a transmitting / receiving unit.
  • the detection unit is set up to capture environmental data from a vehicle and to divide the environmental data into a plurality of two- or three-dimensional segments.
  • the Positionie tion unit is set up to determine the positions of the segments and the objects contained therein.
  • the evaluation unit is set up to recognize the objects and occlusions of the objects in the segments and to provide them with position information.
  • the evaluation unit is further configured to determine for each of the objects and for each occlusion a probability of a correct recognition, whereby the probability of the relative position of the segment in which the object or the occultation is located depends on the vehicle.
  • the transmitting / receiving unit is set up to transmit the data generated by the evaluation unit to a backend.
  • the vehicle is, for example, a
  • a motor vehicle such as a car, bus or truck, or even a rail vehicle, a ship, an aircraft, such as a helicopter or airplane, or, for example, a bicycle.
  • Another aspect of the invention relates to a backend with a digital road map and confidence values for their objects.
  • the backend is configured to receive the data of a transceiver unit and to generate, modify or update the digital roadmap. Furthermore, each of the digital road map objects of the backend has a confidence value.
  • the backend is configured to increase the confidence value of the respective object depending on the determined probability, if the respective object is included in the received data, to reduce the confidence value of the respective object depending on the determined probability, if the respective object is not in the received data is included, wherein the backend is adapted to perform in a masking of the object in the received data no reduction of the confidence value of the respective object by.
  • the backend may receive data from a vehicle object detection device.
  • the objects or occlusions contained in the data may use the backend to change the confidence values of the objects in the digital road map, depending on the determined probabilities of correct recognition.
  • the object recognition device can perform an evaluation before the data is sent to the backend or else the object recognition device sends all data acquired by the acquisition unit to the backend and the evaluation of the data takes place (mostly) in the backend.
  • the detection unit can capture environmental data of a vehicle, these can then be evaluated by the evaluation of the object recognition device or by the backend. In this case, the data from the object recognition device can be transmitted continuously or in sections to the backend.
  • the data of the object recognition device may include a plurality of different objects or occlusions of objects each having a probability of correct recognition, depending on the relative position of its respective segment to the object recognition device.
  • the backend can change the confidence values of the objects contained in the digital roadmap on the backend.
  • a confidence value of an object in the digital road may be increased depending on the determined probability of correct recognition when the object is included in the data of the object recognition device.
  • a new object may be added to the digital road map when an object is included in the data of the object recognition device, but in the digital road map until now, there was no object at that position.
  • the backend may reduce or reduce the confidence value of an object depending on the determined probability of correct recognition when an object contained in the digital road map has not been recognized by the object recognition device. This reduction of the confidence value can not be performed if the object recognition device detects occlusion in the area of the object. In other words, the detection unit of the object recognition device did not have the possibility to recognize an object, because it was hidden, there is no adjustment of the confidence value for this object, since no definitive statement can be made.
  • the backend may further remove an object from the digital road map if the confidence value of that object falls below a predefined threshold, eg, 60% or 70%, or if the object has not been detected by a predefined number of vehicles, eg, 10, in recent times has been.
  • a predefined threshold eg, 60% or 70%
  • the backend directly an unrecognized object with the corresponding probability of correct recognition, ie an object which should have been recognized but was not recognized report. However, this will be a digital
  • Road map needed as a comparison in the object recognition device this may for example be stored on a memory unit. Even newly recognized objects, that is, which until now were not present in the digital road map of the object recognition device, can be reported to the backend.
  • the backend can receive and process data from a plurality of object recognition devices of different vehicles simultaneously.
  • the respective object recognition devices of the vehicles can be used as sensors to keep the digital road map on the backend up to date, to update or to change and to add new objects or to delete old objects.
  • the current digital road map can be returned to the object recognition devices by the backend
  • Vehicles are transmitted so that they always have the current digital road map available.
  • Another aspect of the invention relates to a method for generating confidence values for objects in a digital road map. The method comprises the following steps:
  • a further aspect of the invention relates to program elements which, when executed on an evaluation unit and a back end of an object confidence value generation system, instructs the evaluation unit and the backend to perform the method described above and below.
  • a further aspect of the invention relates to a computer-readable medium having stored thereon a program element which, when executed on an evaluation unit and a backend of an object confidence value generation system, instructs the evaluation unit and the backend to perform the method described above and below.
  • FIG. 1 shows a block diagram of an object confidence value generation system according to an embodiment of the invention.
  • Fig. 2 shows a schematic representation of environmental data with a recognized object according to an embodiment of the invention.
  • FIG. 3 shows a schematic representation of environmental data with a concealment according to an embodiment of the invention.
  • Fig. 4 shows a division of the field of view of the detection unit in cuboid according to an embodiment of the invention.
  • Fig. 5 shows a division of the field of view of the detection unit by means of cylinder coordinates according to an embodiment of the invention.
  • 6 shows a schematic illustration of a vehicle trajectory with a sectional evaluation of the environmental data according to an embodiment of the invention.
  • Fig. 7 shows a vehicle having an object recognition device according to an embodiment of the invention.
  • FIG. 8 shows a flowchart for a method for generating confidence values for objects in a digital map in the backend according to an embodiment of the invention.
  • FIG. 1 shows a block diagram of an object confidence value generation system.
  • the object confidence value generation system comprises an object recognition device 1 and a backend 2.
  • the object recognition device 1 in turn has a Auswer teech 10, a positioning unit 11, a transmitting / receiving unit 12, a detection unit 13 and a memory unit 14 on.
  • the object recognition device 1 and the backend 2 can exchange data with each other, this can for example be done wirelessly via mobile networks.
  • On the backend 2 there may be a digital road map 3 which is updated, changed or generated with data of the object recognition device. Further, the backend 2 data, such as the current digital road map 3, to the object recognition device 1 transmitted.
  • the transmitting / receiving unit 12 of the object recognition device 1 can be used for the data exchange.
  • the detection unit 13 can be set up to capture environmental data, in particular, the detection unit can capture environment data of a vehicle by means of various sensors.
  • the detection unit 13 can be, for example, a camera, a stereo camera, a lidar, a radar, an ultrasound sensor or a combination thereof.
  • the detection unit 13 can capture time-sequential environment data, for example a video or a plurality of individual consecutive images (frames).
  • the detection unit 13 can divide the environment data into several segments. The division can be based, for example, on Cartesian coordinates (cuboid or cube), cylindrical dinates (cylindrical or circular sectors) or spherical coordinates (spherical sectors).
  • the positioning unit 11 may be configured to determine the position of the object recognition device 1 and objects and occlusions detected by the detection unit 13.
  • the positioning unit 11 may be a GPS sensor.
  • the memory unit 14 may include a digital road map and further, the memory unit may be used as a buffer when a transmission to the backend is done in sections.
  • the evaluation unit 10 of the object recognition device 1 can be configured to recognize objects or occlusions in the acquired environment data and to provide them with a position.
  • An object in this case may be, for example, a traffic sign, a guardrail, a road marking, a traffic light system, a gyro, a crosswalk or a speed hill.
  • the expanding unit 10 can detect a concealment, ie a device, for example a truck or a tree, which covers the object to be detected, ie is located between the object to be detected and the detection unit 13. Thus, no object can be detected because the object was not even detected by the detection unit 13. Furthermore, the detected object or occlusion control unit 10 may determine a probability of correct recognition. This probability may in particular depend on the relative position of the respective segment to the object recognition device 1 or the vehicle.
  • the evaluation unit 10 can be set up to compare the detected and recognized objects with the objects stored in the memory unit 14, so that the evaluation unit 10 can determine whether an object has been detected which is not present in the digital road map of the memory unit 14 or that an object should have been present according to the digital street card stored on the memory unit 14 but should not be recognized by the evaluating unit 10.
  • These detected or unrecognized objects can report the object recognition device 1 directly to the backend 2.
  • the evaluation can be carried out by the evaluation unit 10 and the result is sent to the backend 2 to there the digital road map. 3 adjust or update accordingly.
  • the evaluation can also be done in the backend 2, to do this, the object recognition device 1 sends all captured field data, including the probability of correct detection, the detection unit 13 to the backend 2 and the backend 2 evaluates the data.
  • computing power can be saved on the object recognition device 1.
  • the evaluation of the environmental data can be carried out in sections, ie in fixed sections, of e.g. 100m, where the individual sections can be referred to as snippets.
  • the evaluation unit 10 may be configured to first classify everything as hidden areas and to classify it successively when objects or occlusions have been detected, so that all areas that are not reliably recognized are considered to be occlusions and there no statement about the objects located there In this case, the confidence value of these objects will not be updated or adjusted. This procedure may be useful, in particular, in the case of the segmental evaluation, since an object can be detected over a certain period of time or over a certain distance by several different viewing angles and distances.
  • multiple identifications of an object can also determine a second probability factor.
  • a factor for each object in a respective section which reflects the number of correct detections of the object in a particular section.
  • this factor may for example be between 0 and 1, where 1 means that the object in all temporally successive environment data by the evaluation unit 10 was detected and detected.
  • the factor may be the number of detections of an object in the environment data of a section by the total number of available environment data. For example, a section consists of 1000 individual frames or frames, and a particular object has been detected in 850 of these pictures, so the factor can be determined to be 0.85.
  • the factor may also be the number of detections of the respective object with respect to the number of possible detections.
  • the position of the object may be in the middle of a section, so that the object could only be detected by half of the available environment data, e.g. the section consists of 1000 individual images, but due to its position, the object could only exist in 500 images or frames and the object was recognized on 460 of these 500 images, so the factor can be determined to be 0.92.
  • the respective object is present on 92% of the environment data.
  • This evaluated data with the respective factors and the probability for the correct detection can be transmitted to the backend 2, the backend 2 in turn can ba sierend on this data, the confidence value of the respective object in the digital road map 3 adapt, change or aktua.
  • the transmission of the data by the transmitting / receiving unit 12 to the backup 2 can be done both continuously and from cut, in snippets.
  • Fig. 2 shows an exemplary image of the environment data.
  • a road shown.
  • a traffic sign which is recognized by the evaluation unit or by the backend as object 31.
  • This image or the position of the detected object 31 can be transmitted to the backend, which in turn the confidence value of this object in the digital road map in the backend depending on the Probability of correct recognition increased.
  • the distribution of the environment data shown in different segments are represented by the dashed lines Darge.
  • the segments were generated here using Cartesian coordinates.
  • the probability of correct recognition may depend on the particular position of the segment in which the object or occlusion is present.
  • the edge regions or distant segments may have a lower probability of correct recognition than central and proximal segments. This may in particular be due to optical effects in the detection unit and in the representation on the sensor (eg the camera), distant objects, for example, are represented by only a few pixels.
  • FIG. 3 likewise shows an exemplary image of the environment data, but in this case the object is concealed by a concealment 21.
  • the occlusion prevents detection of the object.
  • the occlusion can arise, for example, by another road user, such as a truck, or by a tree. If an object to be detected is behind an occlusion, the confidence value of this object is not adjusted since no statement about the object can be made. Also in Fig. 3, the division of the environment data into several segments by the ge dashed lines can be seen.
  • FIG. 4 shows the division or division of the environmental data acquired by the detection unit 13 into three-dimensional segments.
  • the division or the definition of the segments takes place on the basis of Cartesian coordinates.
  • the segments are cuboid.
  • a side view of a vehicle 4 and a road is shown.
  • various dashed lines are provided at different heights represents, which represent the division of the segments in height.
  • the individual lines have a distance of about 50cm to each other in this example.
  • a plan view of the vehicle 4 is shown.
  • a detection unit 13 for example a camera
  • the field of view of the detection unit 13 is symbolized by the two oblique dashed lines.
  • the opening angle or the field of view may vary depending on the detection unit 13 used. Furthermore, a plurality of rectangles in the field of view of the detection unit 13 is shown. These define the majority of three-dimensional segments. In this case, the segments are cuboids having a width and a length of 2.5m and a height of 0.5m. It should be noted that other breakdowns are possible, for example, Im or 3m. Furthermore, the height and the length may differ from each other.
  • FIG. 5 shows, like FIG. 4, the division or division of the environmental data into different segments, but in FIG. 5 the division is made on the basis of cylindrical coordinates.
  • the opening angle or the field of view of the detection unit 13 is under-segmented by means of angles, for example 0.5 °, and the definition of the length is based on con centric circles which intersect the lines of sight at different locations.
  • the definition of the height is equal to the method shown in FIG.
  • Fig. 6 shows a course of a vehicle 4 over a certain time a) to e) along a certain path.
  • This path is represented in FIG. 6 by the thick dashed black line.
  • each of the parts a) to e) symbolizes an advanced period of time.
  • the path can here be divided into several sections 5 (snippets).
  • the different sections 5 are shown in FIG. 6 by the thick vertical bars transversely to the direction of the path.
  • the sections 5 may have a fixed distance, for example 100m.
  • the detection unit of the object recognition device of the vehicle 4 has a certain angle of view. This is represented by the two solid thin lines starting from the vehicle 4. In FIG.
  • the detection unit can only detect the objects in front of the vehicle and the lateral only partially, the farther the vehicle moves along the way, the more often has the object recognition device the chance to detect an object 31 in the vehicle environment or the more often a Object 31 or a cover 21 detected.
  • the area may also have been partially recognized by the object recognition device or may have been recognized only in a few image data or frames.
  • Fig. 6 there are a vehicle 4 which moves along a path, an object 31 to be recognized and a cover 21.
  • the vehicle 4 can recognize the object 31 since the view is clear, however because of the distance, the probability of a correct detection is still low.
  • the visibility of the object 31 may be 100%, and the probability of correct detection may be 10%.
  • the vehicle has already moved further on the way in the direction of the object 31. Furthermore, the object 31 is detected and the
  • the probability of a correct recognition increases as the distance between the vehicle 4 and the object 31 becomes smaller.
  • the visibility of the object 31 may still be at 100% and the probability for a correct one is 30%.
  • the vehicle 4 has advanced even further on the way, so that the object 31 is covered by the cover 21.
  • the occlusion 21 is between the object 31 and the vehicle 4.
  • the visibility of the object 31 is now 0%, and the probability of correct recognition of the object 31 would be 75%.
  • the vehicle 4 has advanced further and the object 31 is still obscured, so that, for example, the visibility is still at 0%, but the probability for the correct recognition based on the distance or the segment relative to the vehicle to 95% increases.
  • the cover 21 continues to cover the object 31 so that no object 31 can be recognized.
  • the visibility here can be 0% and the probability of a correct detection 100%.
  • all areas can first be classified as unrecognized areas, and as soon as recognition takes place, this area can be classified as a recognized area.
  • the confidence value of the recognized region may be increased with increasing recognition in a plurality of images or frames.
  • FIG. 7 shows a vehicle 4 having an object recognition device 1.
  • This object recognition device 1 can detect surrounding data about the vehicle 4 and recognize objects and occlusions therein. Furthermore, the object recognition device 1 can transmit the evaluated data to the backend. Furthermore, a multiplicity of vehicles 4 with an object recognition device 1 can record and evaluate environment data and transmit them to the backend.
  • step S1 environment data can be acquired by a detection unit, and these are grouped into a plurality divided into two- or three-dimensional segments. These field data can be individual images or frames or an entire section of successive images or frames.
  • step S2 the position determination of the detected environment data and the objects contained therein he can follow.
  • An evaluation of the detected environment data can be performed segment by segment in step S3 and in step S4 objects and occlusions in the respective segments of the environment data can be detected.
  • step S5 the probabilities for a correct recognition may be determined for each of the detected objects or occlusions, the probabilities depending on the relative position of the segment in which the object or occlusion is located, to the object recognition device or the vehicle.
  • step S6 the objects and occlusions detected in step S5 may be provided with positional information.
  • step S7 the transmission of the evaluated data to a backend can be carried out by means of a transmitting / receiving unit. Subsequently, in step S8, the digital road map on the backend may be generated, changed or updated based on the received data.
  • step S9 a confidence value of a respective object may be increased depending on the determined probability of correct recognition when the respective object is included in the received data.
  • step S10 a confidence value of an object may be reduced depending on the probability of a correct recognition if the object is not included in the received data unless the object has been obscured so that it could not be recognized in the acquired environment data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

Die Erfindung betrifft ein System zur Erzeugung von Konfidenzwerten für Objekte (31) in einer digitalen Straßenkarte (3) auf einem Backend. Das System weist hierzu ein Backend (2) und eine Objekterkennungsvorrichtung (1) für ein Fahrzeug (4) auf. Die Objekterkennungsvorrichtung (1) weist ferner eine Erfassungseinheit (13), welche die erfassten Daten in eine Mehrzahl an Segmente aufteilt, eine Auswerteeinheit (10), eine Positionierungseinheit (11) und eine Sende-/ Empfangseinheit (12) auf. Die Auswerteeinheit (10) ist dazu eingerichtet, die Objekte (31) und Verdeckungen (21) der Objekte (31) in Umfelddaten zu erkennen, diese mit Positionsinformationen zu versehen und eine individuelle Wahrscheinlichkeit für die korrekte Erkennung zu bestimmen, anschließend werden diese Daten an das Backend (2) gesendet. Die bestimmte Wahrscheinlichkeit hängt von der relativen Position des Segments zu der Objekterkennungsvorrichtung ab. Das Backend (2) ist dazu eingerichtet, die Daten zu empfangen und die digitale Straßenkarte (3) zu erzeugen oder zu aktualisieren. Ferner ist das Backend (2) dazu eingerichtet einen Konfidenzwert des Objekts gemäß den empfangenen Daten zu ändern.

Description

Beschreibung
System zur Erzeugung von Konfidenzwerten im Backend
Die Erfindung betrifft ein Obj ektkonfidenzwerterzeugungssystem zur Erzeugung von Konfidenzwerten für Objekte in einer digitalen Straßenkarte, ein Fahrzeug mit einer Objekterkennungsvor richtung, ein Backend mit einer digitalen Straßenkarte, ein Verfahren zur Erzeugung von Konfidenzwerten für Objekte in einer digitalen Straßenkarte, Programmelemente und ein computer lesbares Medium.
Fahrzeuge werden zunehmend mit Fahrerassistenzsystemen ver sehen, welche den Fahrer bei der Durchführung von Fahrmanövern unterstützen. Ferner werden zunehmend Fahrzeuge mit hoch- oder vollautomatischen Fahrfunktionen ausgerüstet. Für diese hoch- oder vollautomatischen Fahrfunktionen sind hoch präzise digitale Straßenkarten erforderlich, um eine sichere und verlässliche Navigation der Fahrzeuge sicherzustellen und Objekte, wie Verkehrszeichen oder Fahrbahnmarkierungen, zu erkennen. Ferner müssen diese digitalen Straßenkarten stets den aktuellen Stand der Straßen und Verkehrszeichen aufweisen, um die hoch- oder vollautomatischen Fahrfunktionen zu ermöglichen. Des Weiteren weisen heutige Fahrzeuge eine hohe Anzahl an Sensoren zur Erfassung der Fahrzeugumgebung auf.
Es ist eine Aufgabe der Erfindung, eine digitale Straßenkarte zu aktualisieren, zu ändern oder zu erstellen.
Diese Aufgabe wird durch den Gegenstand der unabhängigen An sprüche gelöst. Ausführungsformen und Weiterbildungen sind den abhängigen Ansprüchen, der Beschreibung und den Figuren zu entnehmen .
Ein erster Aspekt der Erfindung betrifft ein Objektkon- fidenzwerterzeugungssystem zur Erzeugung von Konfidenzwerten für Objekte in einer digitalen Straßenkarte. Das Objektkon- fidenzwerterzeugungssystem weist ein Backend und eine Objekterkennungsvorrichtung für ein Fahrzeug auf. Die Objekterkennungsvorrichtung wiederum weist eine Erfassungs einheit, eine Auswerteeinheit, eine Positionierungseinheit und eine Sende-/ Empfangseinheit auf. Die Erfassungseinheit ist dazu eingerichtet, Umfelddaten von einem Fahrzeug zu erfassen und die Umfelddaten in eine Mehrzahl an zwei- oder dreidimensionalen Segmente aufzuteilen. Die Positionierungseinheit ist dazu eingerichtet, die Positionen der Segmente und der darin ent haltenen Objekte zu bestimmen. Die Auswerteeinheit ist dazu eingerichtet, die Objekte und Verdeckungen der Objekte in den Segmenten zu erkennen sowie diese mit Positionsinformationen zu versehen. Die Auswerteeinheit ist ferner dazu eingerichtet, für jedes der Objekte und für jede Verdeckung eine Wahrscheinlichkeit für eine korrekte Erkennung zu bestimmen, wobei die Wahr scheinlichkeit von der relativen Position des Segments, in welchem sich das Objekt oder die Verdeckung befindet, zu der Objekterkennungsvorrichtung bzw. zu dem Fahrzeug abhängt. Die Sende-/ Empfangseinheit ist dazu eingerichtet, die von der Auswerteeinheit erzeugten Daten an das Backend zu übertragen. Das Backend ist dazu eingerichtet, die Daten der Sende-/ Emp fangseinheit zu empfangen und die digitale Straßenkarte zu erzeugen, zu ändern oder zu aktualisierten. Ferner weist jedes der Objekte der digitalen Straßenkarte des Backends einen Konfidenzwert auf. Das Backend ist dazu eingerichtet, den Konfidenzwert des jeweiligen Objekts abhängig von der bestimmten Wahrscheinlichkeit zu erhöhen, wenn das jeweilige Objekt in den empfangenen Daten enthalten ist, und den Konfidenzwert des jeweiligen Objekts abhängig der bestimmten Wahrscheinlichkeit zu reduzieren, wenn das jeweilig Objekt nicht in den empfangenen Daten enthalten ist, wobei das Backend dazu eingerichtet ist, bei einer Verdeckung des Objekts in den empfangenen Daten keine Reduktion des Konfidenzwertes des jeweiligen Objektes durch zuführen .
Zur Verbesserung der Qualität von digitalen Straßenkarten können diese auf Basis von durch die Fahrzeuge selbst gesammelter bzw. erzeugter Daten kontinuierlich aktualisiert, geändert oder erzeugt werden. Hierzu kann auf einem Backend eine digitale Straßenkarte vorhanden sein und eine Mehrzahl an Objekter kennungsvorrichtungen, z.B. in Fahrzeugen, können als Sensoren auf der Straße genutzt werden. Insbesondere können so die Straßenführung (Weg) und Objekte, wie Verkehrszeichen, in der digitalen Straßenkarte aktualisiert, geändert oder erzeugt werden. Zu diesem Zweck kann jedes der Objekte der digitalen Straßenkarte einen individuellen Konfidenzwert aufweisen, welcher angibt wie zuverlässig die Information, z.B. die Existenz, die Position oder der Inhalt, über dieses Objekt ist. Dieser Konfidenzwert kann durch das Backend basierend auf Daten der Objekterkennungsvorrichtung bzw. einer Vielzahl an Ob jekterkennungsvorrichtungen geändert werden. Der Konfidenzwert kann beispielsweise zwischen 0 und 1 liegen, wobei 1 eine maximale Zuverlässigkeit der Information über das jeweilige Objekt angibt und 0 eine minimale Zuverlässigkeit dieser Information angibt. Hierbei kann die Idee zugrunde liegen, dass eine Vielzahl an Objekterkennungsvorrichtungen ein Objekt erkennt oder nicht erkennt (weil es nicht mehr vorhanden ist) . Somit können einzelne Fehler in der Erkennung durch einzelne Objekterkennungsvor richtungen im Mittel ausgeschlossen, behoben bzw. reduziert werden. Hierdurch kann schrittweise der Konfidenzwert des Objekts angepasst werden und Änderungen der Objekte im Stra ßenverkehr können so automatisch und kontinuierlich durch das Backend erfasst werden, sodass stets eine aktuelle Repräsen tation der Realität in der digitalen Straßenkarte auf dem Backend abgebildet werden kann. Überschreitet der Konfidenzwert eines neuen Objekts (bisher nicht in der digitalen Straßenkarte vorhanden) einen vordefinierten Schwellwert, kann davon aus gegangen werden, dass dieses Objekt auch in der Realität vorhanden ist und es kann zu der digitalen Straßenkarte auf dem Backend hinzugefügt werden. Unterschreitet der Konfidenzwert eines Objekts hingegen einen vordefinierten Schwellwert, kann davon ausgegangen werden, dass dieses Objekt in der Realität nicht mehr vorhanden ist und somit kann es aus der digitalen Straßenkarte des Backends entfernt werden.
Ferner kann die Erfassungseinheit, z.B. eine Kamera, eine Stereokamera, ein Radarsensor, ein Lidarsensor, ein Ultra- schallsensor, ein Laserscanner oder eine Kombination hieraus, die erfassten Umfelddaten in eine Mehrzahl an zwei- oder Dreidimensionale Segmente aufteilen. Die Segmentierung und die jeweilige Position des Segments kann dazu genutzt werden, eine Wahrscheinlichkeit für die korrekte Erkennung des Objekts oder der Verdeckung zu bestimmen. Insbesondere kann die relative Position des Segments des jeweiligen Objektes oder der Verdeckung zu der Objekterkennungsvorrichtung bzw. zu dem Fahrzeug die Wahrscheinlich der korrekten Erkennung beeinflussen. Je größer die Distanz zwischen Objekt und der Objekterkennungsvorrichtung bzw. dem Fahrzeug ist oder je weiter ein Objekt in einem Randbereich der Umfelddaten der Erfassungseinheit ist, desto geringer kann die Wahrscheinlichkeit sein, dass das Objekt oder die Verdeckung korrekt erkannt wurde. Auch kann die Wahr scheinlichkeit einer korrekten Erkennung höher sein, wenn sich das Objekt oder die Verdeckung zentral vor der Erfassungseinheit in einer geringen Distanz befindet. Mit anderen Worten kann mit Hilfe der mehreren zwei- oder dreidimensionaler Segmente und der relativen Position dieser Segmente zur Objekterkennungsvor richtung eine Wahrscheinlichkeit für eine korrekte Erkennung der Objekterkennungsvorrichtung bestimmt werden. Die Wahrschein lichkeit der korrekten Erkennung kann für die jeweiligen Segmente bestimmt werden, wobei die Wahrscheinlichkeit für die korrekte Erkennung von der Position des Segments in dem Sichtfeld (Erfassungsbereich) der Erfassungseinheit abhängen kann. Die Wahrscheinlichkeit für die korrekte Erkennung für die erkannten Objekte oder Verdeckungen kann durch das Segment bestimmt werden, in welchen sich das Objekt oder die Verdeckung befindet.
Gemäß einer Ausführungsform der Erfindung sind die Segmente gleichbleibende, quaderförmige Volumen, welche eine Breite, eine Höhe und eine Tiefe aufweisen, die zeitlich konstant sind. Mit andere Worten kann die Aufteilung in Segmente anhand von Kartesischen Koordinaten erfolgen. Es sei angemerkt, dass die Segmente Quader oder Würfel sein können.
Gemäß einer weiteren Ausführungsform der Erfindung sind die Segmente Kreissektoren, welche durch eine Mehrzahl Radien durchbrochen sind, und welche einen Winkel, eine Höhe und einen Anfangs- und einen Endradius aufweisen. Mit anderen Worten können die Segmente anhand von Zylinderkoordinaten aufgeteilt werden.
Alternativ oder zusätzlich ist auch eine Aufteilung der Segmente anhand von Kugelkoordinaten möglich.
Ferner kann ein Kamerabild in zweidimensionale Segmente auf geteilt werden und die Tiefeninformation erfolgt über einen weiteren Sensor, z.B. einen Lidarsensor.
Das Backend kann den Konfidenzwert eines Objekts abhängig von der bestimmten Wahrscheinlichkeit für eine korrekte Erkennung dieses Objekts erhöhen, wenn es durch die Objekterkennungsvorrichtung erkannt wurde und in den an das Backend übertragenen Daten enthalten ist. Ferner kann das Backend den Konfidenzwert eines Objekts abhängig von der bestimmten Wahrscheinlichkeit für eine korrekte Erkennung dieses Objekts reduzieren, wenn dieses durch die Objekterkennungsvorrichtung nicht erkannt wurde oder nicht in den an das Backend übertragenen Daten enthalten ist. Ferner kann das Backend den Konfidenzwert des Objekts der digitalen Straßenkarte nicht ändern bzw. anpassen, wenn der Bereich des vermeintlichen Objekts verdeckt ist, z.B. durch einen anderen Verkehrsteilnehmer (LKW) oder eine Bebauung (Baum) . Durch die Verdeckung konnte das Objekt von der Objekterkennungsvorrichtung nicht erkannt werden, da es nicht sichtbar war. Ferner kann so einer Verfälschung des Konfidenzwertes vorgebeugt werden, da bei einer stark befahrenen Straße manche Objekte oft verdeckt sein können, und diese somit einen zu geringen Konfidenzwert aufweisen würden. Mit anderen Worten, erfolgt keine Anpassung bzw . Änderung des Konfidenzwerts , wenn eine Verdeckung von dem vermeintlichen Objekt erkannt wurde.
Es sei angemerkt, dass das Backend auch weitere Parameter in die Änderung des Konfidenzwertes der Objekte einfließen lassen kann, wie beispielsweise den zeitlichen Verlauf. Mit anderen Worten, wenn beispielsweise in den letzten 10 übertragenen Daten ein Objekt vorhanden war, welches nicht in der digitalen Straßenkarte des Backends vorhanden ist, kann es sich um ein neues Objekt handeln, welches zu der digitalen Straßenkarte hinzugefügt werden sollte. Gleich kann es sich mit einem Objekt verhalten, welches aus der digitalen Straßenkarte entfernt werden sollte, wurde beispielsweise ein Objekt in den letzten 10 übertragenen Daten nicht erkannt, ohne das eine Verdeckung bestand, kann das Objekt aus der digitalen Straßenkarte entfernt werden, da es wahrscheinlich nicht mehr in der Realität vorhanden ist, obwohl der Konfidenzwert noch hoch sein kann. Mit anderen Worten kann die neueste Erkennung bzw. nicht Erkennung des Objekts den Konfidenzwert stärker beeinflussen als ältere Erkennungen. Alternativ oder zusätzlich können die Konfidenzwerte mit der Zeit abnehmen, wenn diese nicht durch neue Erkennungen bestätigt werden .
Unter dem Begriff „digitale Straßenkarten" oder „digitale Karten" sind auch Straßenkarten für fortschrittliche Fahrer assistenzsysteme (ADAS, Advanced Driver Assistance System) zu verstehen, ohne dass eine Navigation stattfindet. Insbesondere können diese digitalen Straßenkarten in einem Backend ge speichert und erstellt werden.
Ein Objekt kann hierbei beispielsweise ein Verkehrszeichen, eine Leitplanke, eine Straßenmarkierung, eine Lichtsignalanlage, ein Kreisel, ein Zebrastreifen oder ein Geschwindigkeitshügel sein.
Die Sende-/ Empfangseinheit kann die Daten an das Backend kabellos, über die Luft (over the air) , übertragen. Die kabellose Übertragung bzw. der kabellose Empfang der Daten kann per Bluetooth, WLAN (z. B. WLAN 802.1 la/b/g/n/ac oder WLAN 802.1 lp) , ZigBee oder WiMax oder mittels zellulärer Funksysteme wie GPRS, UMTS, LTE oder 5G erfolgen. Es ist auch die Verwendung anderer Übertragungsprotokolle möglich. Die genannten Protokolle bieten den Vorteil der bereits erfolgten Standardisierung.
Unter Backend kann eine Recheneinheit verstanden werden, welche sich außerhalb des eigenen Fahrzeugs befindet, und welche für eine Vielzahl an Fahrzeugen oder Objekterkennungsvorrichtungen zur Verfügung steht. Das Backend kann beispielsweise ein Server oder eine Cloud sein, welche über das Internet oder ein anderes Netzwerk erreichbar ist.
Es sei angemerkt, dass einige Schritte durch die Objekter kennungsvorrichtung für das Fahrzeug und einige Schritte im Backend ausgeführt werden können. Ferner kann die Verteilung zwischen der Auswertung durch die Auswerteeinheit der Ob jekterkennungsvorrichtung und dem Backend dem jeweiligen An wendungsfall angepasst werden. Auch kann gemäß einer Ausfüh rungsform der Erfindung die komplette Auswertung im Backend durchgeführt werden. Die Objekterkennungsvorrichtung des Fahrzeugs dient in diesem Fall als Datenerfassungseinheit für das Backend. Jedoch kann die Auswertung auch auf den Objekter kennungsvorrichtungen ausgeführt werden und das Ergebnis wird anschließend an das Backend übertragen bzw. übermittelt und in diesem werden die Daten der einzelnen Fahrzeuge zusammengeführt, sodass die digitale Straßenkarte mit entsprechenden Kon- fidenzwerten für jedes Objekt in der digitalen Straßenkarte, z.B. Verkehrsschilder, entsteht.
Gemäß einer Ausführungsform der Erfindung sind die von der Sende-/ Empfangseinheit übertragenen Daten Vektordaten.
Um die übertragenen Datenmenge zwischen Objekterkennungsvor richtung und Backend klein bzw. gering zu halten, können die Daten als Vektordaten übertragen werden, also kann die Information über die Existenz eines Objekts und dessen Position und nicht die gesamten Bilddaten übertragen werden.
Gemäß einer Ausführungsform der Erfindung ist die Auswer teeinheit dazu eingerichtet, basierend auf dem Abstand und dem Winkel der erkannten Objekte zur Objekterkennungsvorrichtung in dem jeweiligen Segment die Wahrscheinlichkeit für die korrekte Erkennung der Objekte bzw. der Verdeckungen der Objekte zu bestimmen, wobei ein größerer Abstand zwischen dem jeweiligen Segment und der Objekterkennungsvorrichtung zu einer geringeren Wahrscheinlichkeit für die korrekte Erkennung führt und ein geringerer Abstand zwischen zu dem jeweiligen Segment und der Objekterkennungsvorrichtung zu einer höheren Wahrscheinlichkeit für die korrekte Erkennung führt.
Somit kann die Wahrscheinlichkeit für eine korrekte Erkennung von der relativen Position des Segments zu der Objekterkennungs vorrichtung abhängen. Je größer die Distanz und je weiter sich das Objekt an einem Randbereich der Erfassungseinheit befindet, desto geringer kann die Wahrscheinlichkeit für eine korrekte Erkennung des Objekts bzw. der Verdeckung sein. Analog hierzu kann die Wahrscheinlichkeit für eine korrekte Erkennung höher sein, je mittiger und/oder näher sich ein Objekt oder eine Verdeckung in Bezug auf die Objekterkennungsvorrichtung be findet .
Gemäß einer weiteren Ausführungsform der Erfindung zieht das Backend das Objekt oder die Verdeckung des Objekts nur dann für die Bestimmung des Konfidenzwerts mit ein, wenn die Wahr scheinlichkeit für die korrekte Erkennung über einem vorbe stimmten Schwellwert liegt.
Mit anderen Worten kann eine geringe Wahrscheinlichkeit für die korrekte Erkennung dazu führen, dass keine präzise Aussage über das Objekt oder die Verdeckung in diesem Segment möglich ist, somit können durch die Auswerteeinheit erkannte Objekte oder Verdeckungen mit einer geringen Wahrscheinlichkeit der korrekten Erkennung in dem Konfidenzwert des jeweiligen Objekts unbe rücksichtigt bleiben. Der Schwellwert für die Wahrschein lichkeit, ab wann die erkannten Objekte oder Verdeckungen in dem Konfidenzwert berücksichtigt werden, kann beispielswiese bei 30, 40 oder 50% liegen, alle erkannten Objekte mit einer Wahr scheinlichkeit unter diesem Schwellwert werden nicht zur Be stimmung des Konfidenzwerts in der digitalen Straßenkarte des Backends herangezogen.
Zum Beispiel kann das System in einem entfernten Segment, wie z . B . in 80m Entfernung zur Objekterkennungsvorrichtung, ein Objekt erkennen, welches aufgrund der Geometrie ein Verkehrszeichen sein könnte. Die Objekterkennungsvorrichtung kann sich den Abstand und somit eigentlich die Position des Objekts merken. Jedoch konnte eine genaue Erkennung des Objekts an sich aufgrund des Abstand nicht erfolgen, deshalb kann die Wahrscheinlichkeit für die korrekte Erkennung dieses Objekts niedrig sein (war es eine Geschwindigkeitseinschränkung auf 60 oder 80, oder gar keine) . Bei der weiteren Annäherung und somit einer möglichen präziseren Objekterkennung mit einer höheren Wahrscheinlichkeit für die korrekte Erkennung, wird aber das Objekt aufgrund von Sichtwinkel oder eines Verkehrsteilnehmers verdeckt. Somit würde die Auswerteeinheit der Objekterkennungsvorrichtung eine Verdeckung des Objekts erkennen, da die Wahrscheinlichkeit für die korrekte Erkennung unterhalb dem vordefinierten Schwellwert liegt, und die Anpassung des Konfidenzwertes des Objekts im Backend würde nicht erfolgen. Mit anderen Worten kann eine Anpassung des Konfidenzwertes unterbleiben, wenn das Objekt, dessen Position bzw. dessen Inhalt nicht mit einer Wahr scheinlichkeit für eine korrekte Erkennung oberhalb eines Schwellwertes erkannt wurde. Ferner sei angemerkt, dass in einer großen Entfernung oder in einem Segment mit einer niedrigeren Wahrscheinlichkeit für eine korrekte Erkennung eine grobe Erkennung mit einem niedrigen Wert für die Wahrscheinlichkeit für die korrekte Erkennung erfolgen kann und sobald eine weitere oder präzisere Erkennung des Objekts in geringerem Abstand oder einem Segment mit einer höheren Wahrscheinlichkeit für eine korrekte Erkennung erfolgen kann, kann das Objekt, die Position oder der Inhalt des Objekts mit einer höheren Wahrscheinlichkeit für eine korrekte Erkennung bestimmt werden. Diese Erkennung mit einer höheren Wahrscheinlichkeit für eine korrekte Erkennung kann anschließend im Backend dementsprechend zur Anpassung des Konfidenzwertes des erkannten Objekts bzw. der Verdeckung herangezogen werden.
Gemäß einer Ausführungsform der Erfindung ist die Auswer teeinheit dazu eingerichtet, die Umfelddaten eines vom Fahrzeug zurückgelegten Abschnitts einer Wegstrecke auszuwerten. Die Sende-/Empfangseinheit ist dazu eingerichtet, die Daten des gesamten Abschnitts an das Backend zu senden. Mit anderen Worten, kann die Objekterkennungsvorrichtung im Fahrzeug erst die Daten für einen bestimmten Abschnitt sammeln und auswerten und anschließend den gesamten Abschnitt bzw. das Ergebnis für den gesamten Abschnitt an das Backend übertragen.
Alternativ oder zusätzlich kann bei der abschnittsweisen Auswertung, der Abschnitt kann auch als Snippet bezeichnet werden, die Erkennung (Sichtbarkeit) bzw. die Verdeckung (Nichtsichtbarkeit) um einen zweiten Wahrscheinlichkeitsfaktor der korrekten Erkennung erweitert werden. Dieser steigt an, wenn in möglichst vielen einzelnen Bildern (Frames) des jeweiligen Abschnitts das Objekt erkannt wurde oder es verdeckt ist. Mit anderen Worten hängt der zweite Wahrscheinlichkeitswert von der relativen Häufigkeit der Erkennung des Objekts oder der Ver deckung ab. Somit können für die Erkennung bzw. Verdeckung nicht nur diskrete Werte wie 0 (Verdeckung) und 1 (Erkennung) Vor kommen, sondern auch beliebige Werte dazwischen. Ferner können die jeweiligen Abschnitte auch mit einer gewissen Überdeckung zueinander definiert werden, damit für den Anfang des jeweiligen Abschnitts auch mehrere Bilder (Frames) vorhanden sind und der Anfang nicht nur aus einem Bild bestehen. Alternativ oder zusätzlich können die Erkennungen in den Abschnitten normiert werden, sodass die Anzahl der Erkennungen durch die Anzahl der gesamten vorhandenen Bilder, welches das jeweilige Objekt erkennen konnten, geteilt wird.
Durch die abschnittsweise Übertragung der Daten an das Backend, kann die Auswertung von erkennbaren und verdeckten Bereichen auch komplett im Backend ausgeführt werden. Mit anderen Worten dient das Fahrzeug bzw. die Objekterkennungsvorrichtung in dem Fahrzeug als Datenerfassungseinheit und die Datenverarbeitung bzw. die Auswertung erfolgt im Backend. Somit wird nicht für jedes Objekt eine hochgenaue Position benötigt, sondern lediglich für den Beginn des Abschnitts. Die restliche Positionsbestimmung kann anhand der Bilddaten im Backend realisiert werden, wobei das Backend typischerweise eine höhere Rechenleistung aufweist als die Auswerteeinheit. Durch die abschnittsweise Übertragung müssen lediglich für den Beginn und das Ende des jeweiligen Abschnitts hochgenaue Positionsinformationen an das Backend übertragen werden und das Backend kann anschließend aus den erhaltenen Daten die jeweiligen Positionen, die Objekte und die Verdeckungen berechnen, bestimmen oder ermitteln.
Gemäß einer weiteren Ausführungsform der Erfindung ist der Abschnitt 100m lang.
Es sei angemerkt, dass auch jede beliebige andere Länge für den Abschnitt gewählt werden kann, wie z.B. 200m, 500m oder 1km. Ferner kann der Abschnitt abhängig von der Straße bzw. dem Umfeld angepasst werden, sodass der Abschnitt in einem urbanen Umfeld kürzer ist als in einem ruralen Umfeld oder auf einer Autobahn. Dies kann vorteilhaft sein, da in dem urbanen Umfeld typi scherweise mehr Objekte in einer gleichen Abschnittslänge vorhanden sind. Ferner kann der Abschnitt auch anhand einer festen Dateigröße definierte werden, z.B. 5MB, 25MB oder 1GB, aber der Abschnitt bzw. die Länge des Abschnitts kann auch anhand einer Kombination der vorgenannten Kriterien definiert werden.
Gemäß einer Ausführungsform der Erfindung ist die Auswer teeinheit dazu eingerichtet, in dem jeweiligen Abschnitt zu nächst sämtliche erfassten Segmente vor dem Fahrzeug als verdeckte Bereiche zu klassifizieren und wenn ein Objekt in einem Segment erkannt wurde oder in dem Segment keine Verdeckung erkannt wird das entsprechende Segment als sichtbaren Bereich zu klassifizieren und die Wahrscheinlichkeit für die korrekte Erkennung zu bestimmen. Das Backend ist dazu eingerichtet, die verdeckten Segmente nicht in die Bestimmung der Konfidenzwerte der einzelnen Objekte der digitalen Straßenkarte miteinzube- ziehen .
Die Auswerteeinheit kann die erfassten Daten abschnittsweise, also für jeden Abschnitt bzw. Snippet, auswerten und an das Backend übertragen. Bei der Auswertung des Abschnitts kann auch derart vorgegangen werden, dass zunächst alle Bereiche als verdeckte Bereiche klassifiziert werden, also Bereiche in welchen eine Aussage über etwaige Objekte nicht möglich ist. Diese verdeckten Bereiche werden anschließend mittels der Auswertung durch die Auswerteeinheit nach und nach als erkannte Bereiche klassifiziert (erkannte Objekte oder erkannte Ver deckungen inkl . deren Wahrscheinlichkeit für eine korrekte Erkennung) . Mit anderen Worten wird sukzessive der erkannte Bereich größer, je mehr Objekte darin erkannt wurden. Die nicht erkannten Bereiche bleiben als verdeckte Bereiche klassifiziert und ein Konfidenzwert von einem Objekt, welches sich eventuell in diesem Bereich befinden, wird nicht angepasst, da eine verlässliche Aussage aufgrund der Verdeckung oder dem nicht erkennen in diesem Bereich nicht möglich ist.
Gemäß einer Ausführungsform der Erfindung weist die Ob jekterkennungsvorrichtung ferner eine Speichereinheit auf. Eine digitale Straßenkarte ist mit einer Vielzahl an Objekten auf der Speichereinheit gespeichert. Die Auswerteeinheit ist dazu eingerichtet, die erkannten Objekte mit den auf der Spei chereinheit gespeicherten Objekten zu vergleichen. Die Aus werteeinheit ist ferner dazu eingerichtet, erkannte Objekte, welche nicht in der digitalen Straßenkarte der Speichereinheit vorhanden sind, oder nicht erkannte Objekte, welche gemäß der digitalen Straßenkarte erkannt werden sollten, dem Backend zu melden .
Die Objekterkennungsvorrichtung kann ferner eine Speicher einheit aufweisen, auf welcher eine digitale Straßenkarte gespeichert ist. Des Weiteren kann die digitale Straßenkarte auf der Speicherkarte durch das Backend in regelmäßigen Abständen aktualisiert werden, sodass stets die aktuelle Version der digitalen Straßenkarte für die Auswerteeinheit der Objekter kennungsvorrichtung vorhanden ist. Ferner kann die Auswer teeinheit die erkannten Objekte mit den Objekten auf der di gitalen Straßenkarte der Speichereinheit vergleichen. Die Auswerteeinheit kann anschließend erkannte oder nicht erkannte Objekte direkt dem Backend melden. Beispielsweise ist ein Objekt in der digitalen Straßenkarte vorhanden, wurde jedoch nicht von der Auswerteeinheit erkannt, somit kann der Konfidenzwert des Objekts im Backend abhängig von der bestimmten Wahrschein lichkeit der korrekten Erkennung reduziert werden. Wurde ein Objekt durch die Auswerteeinheit erkannt, welches in der di gitalen Straßenkarte vorhanden ist, kann der Konfidenzwert des Objekts im Backend abhängig von der bestimmten Wahrschein lichkeit der korrekten Erkennung erhöht werden. Wurde ein Objekt durch die Auswerteeinheit erkannt, welches nicht in der digitalen Straßenkarte enthalten ist, kann das erkannte Objekt zu der digitalen Straßenkarte im Backend hinzugefügt werden.
Des Weiteren können bei der abschnittsweisen Auswertung der erfassten Daten die Daten in der Speichereinheit zwischenge speichert werden bis diese an das Backend übertragen werden.
Gemäß einer Ausführungsform der Erfindung ist die Positio nierungseinheit ein GPS-Modul.
Weiterhin sei darauf hingewiesen, dass im Kontext der vor liegenden Erfindung GPS stellvertretend für sämtliche Globale Navigationssatellitensysteme (GNSS) steht, wie z.B. GPS, Ga lileo, GLONASS (Russland), Compass (China) oder IRNSS (Indien).
An dieser Stelle sei darauf hingewiesen, dass die Positions bestimmung des Fahrzeugs auch über eine Zellpositionierung erfolgen kann. Dies bietet sich insbesondere bei der Verwendung von GSM-, UMTS-, LTE- oder 5G Netzen an.
Gemäß einer Ausführungsform der Erfindung sind die Umfelddaten Kamerabilder, Kamerabilder einer Stereokamera, Laserbilder, Lidarbilder oder Ultraschallaufnahmen.
Gemäß einer Ausführungsform der Erfindung ist die digitale Straßenkarte für ein Fahrzeug bzw. für die Navigation eines Fahrzeugs bestimmt.
Die im Backend erstellte digitale Straßenkarte kann für ein Fahrzeug bestimmt sein, um eine Navigation für dieses zu er möglichen. Insbesondere bei hoch- oder vollautomatisierten Fahrzeugen ist eine präzise und aktuelle digitale Straßenkarte unerlässlich .
Gemäß einer weiteren Ausführungsform der Erfindung ist das Backend dazu eingerichtet, die digitale Straßenkarte in pe riodischen, zeitlichen Abständen an die Speichereinheit der Objekterkennungsvorrichtung zu übertragen.
Mit anderen Worten kann das Backend die dort erzeugte, aktu alisierte, geänderte und/oder verbesserte digitale Straßenkarte in bestimmten Abständen wieder an die Objekterkennungsvor richtung des Fahrzeugs bzw. der Fahrzeuge übertragen, sodass die Auswerteeinheit der Objekterkennungsvorrichtung ihrerseits wieder den aktuellen Stand der digitalen Straßenkarte zur Verfügung hat. Diese periodischen Abstände können beispielsweise einmal im Monat, jeden Tag oder einmal im Jahr sein. Ferner kann das Backend die digitale Straßenkarte auch bedarfsgerecht an das Fahrzeug übertragen, beispielsweise, wenn eine Navigation auf dem Fahrzeug gestartet wurde.
Gemäß einer Ausführungsform der Erfindung ist Backend dazu eingerichtet, nur Objekte mit einem Konfidenzwert oberhalb einem vordefinierten Schwellwert an die Speichereinheit der Ob jekterkennungsvorrichtung zu übertragen.
Mit anderen Worten können Objekte in die digitale Straßenkarte aufgenommen und an die Objekterkennungsvorrichtung übertragen werden, wenn der Konfidenzwert der Objekte der digitalen Straßenkarte auf dem Backend einen vordefinierten Schwellwert überschreiten, z.B. einen Konfidenzwert von über 90% aufweisen. Dies kann dazu dienen, dass nur Objekte an das Fahrzeug übertragen werden, welche mit sehr hoher Wahrscheinlichkeit vorhanden sind.
Gemäß einer Ausführungsform der Erfindung ist das Backend dazu eingerichtet, die empfangenen Daten auszuwerten und nicht erkannte Objekte oder neue Objekte in die digitale Straßenkarte des Backends basierend auf den empfangenen Daten zu entfernen bzw. zu integrieren. Mit anderen Worten kann das Backend die digitale Straßenkarte basierend auf den empfangenen Daten von der Sende-/ Emp fangseinheit der Objekterkennungsvorrichtung ändern, aktua lisieren und gegebenenfalls neue Objekte hinzufügen oder alte Objekte entfernen, sodass stets eine aktuelle digitale Stra ßenkarte auf dem Backend vorhanden ist, welche die aktuellen Straßenverhältnisse repräsentiert. Ferner kann das Backend die genaue Position der einzelnen Objekte in der digitalen Stra ßenkarte basierend auf den empfangenen Daten aktualisieren, beispielsweise da durch eine steigende Anzahl an Erkennungen des jeweiligen Objekts die Position im Mittel durch die einzelnen Objekterkennungsvorrichtungen genauer bestimmt werden kann.
Ein weiterer Aspekt der Erfindung betrifft ein Fahrzeug mit einer Objekterkennungsvorrichtung. Die Objekterkennungsvorrichtung weist eine Erfassungseinheit, eine Auswerteeinheit, eine Po sitionierungseinheit und eine Sende-/ Empfangseinheit auf. Die Erfassungseinheit ist dazu eingerichtet, Umfelddaten von einem Fahrzeug zu erfassen und die Umfelddaten in eine Mehrzahl an zwei- oder dreidimensionalen Segmente aufzuteilen. Die Positionie rungseinheit ist dazu eingerichtet, die Positionen der Segmente und der darin enthaltenen Objekte zu bestimmen. Die Auswer teeinheit ist dazu eingerichtet, die Objekte und Verdeckungen der Objekte in den Segmenten zu erkennen sowie diese mit Positi onsinformationen zu versehen. Die Auswerteeinheit ist ferner dazu eingerichtet, für jedes der Objekte und für jede Verdeckung eine Wahrscheinlichkeit für eine korrekte Erkennung zu be stimmen, wobei die Wahrscheinlichkeit von der relativen Position des Segments, in welchem sich das Objekt oder die Verdeckung befindet, zum Fahrzeug abhängt. Die Sende-/ Empfangseinheit ist dazu eingerichtet, die von der Auswerteeinheit erzeugten Daten an ein Backend zu übertragen.
Bei dem Fahrzeug handelt es sich beispielsweise um ein
Kraftfahrzeug, wie Auto, Bus oder Lastkraftwagen, oder aber auch um ein Schienenfahrzeug, ein Schiff, ein Luftfahrzeug, wie Helikopter oder Flugzeug, oder beispielsweise um ein Fahrrad. Ein weiterer Aspekt der Erfindung betrifft ein Backend mit einer digitalen Straßenkarte und Konfidenzwerten für deren Objekte. Das Backend ist dazu eingerichtet, die Daten einer Sende-/ Empfangseinheit zu empfangen und die digitale Straßenkarte zu erzeugen, zu ändern oder zu aktualisierten. Ferner weist jedes der Objekte der digitalen Straßenkarte des Backends einen Konfidenzwert auf. Das Backend ist dazu eingerichtet, den Konfidenzwert des jeweiligen Objekts abhängig von der bestimmten Wahrscheinlichkeit zu erhöhen, wenn das jeweilige Objekt in den empfangenen Daten enthalten ist, den Konfidenzwert des je weiligen Objekts abhängig der bestimmten Wahrscheinlichkeit zu reduzieren, wenn das jeweilig Objekt nicht in den empfangenen Daten enthalten ist, wobei das Backend dazu eingerichtet ist, bei einer Verdeckung des Objekts in den empfangenen Daten keine Reduktion des Konfidenzwertes des jeweiligen Objektes durch zuführen .
Mit anderen Worten kann das Backend Daten von einer Ob jekterkennungsvorrichtung eines Fahrzeugs empfangen. Die in den Daten enthaltenen Objekte oder Verdeckungen kann das Backend dazu nutzen die Konfidenzwerte der Objekte in der digitalen Stra ßenkarte abhängig von den bestimmten Wahrscheinlichkeiten der korrekten Erkennung zu ändern. Es sei angemerkt, dass die Objekterkennungsvorrichtung hierbei eine Auswertung durchführen kann bevor die Daten an das Backend gesendet werden oder aber die Objekterkennungsvorrichtung sendet alle durch die Erfas sungseinheit erfassten Daten an das Backend und die Auswertung der Daten erfolgt (größtenteils) im Backend. Mit anderen Worten kann die Erfassungseinheit Umfelddaten eines Fahrzeugs erfassen, diese können anschließend durch die Auswerteeinheit der Ob jekterkennungsvorrichtung oder durch das Backend ausgewertet werden. Hierbei können die Daten von der Objekterkennungs vorrichtung kontinuierlich oder abschnittsweise an das Backend übertragen werden.
Die Daten der Objekterkennungsvorrichtung können eine Mehrzahl an verschiedenen Objekten oder Verdeckungen von Objekten enthalten, wobei die Objekte jeweils eine Wahrscheinlichkeit der korrekten Erkennung aufweisen können, abhängig von der relativen Position ihres jeweiligen Segments zu der Objekterkennungs vorrichtung. Basierend auf diesen Objekten oder Verdeckungen von Objekten und ihren Wahrscheinlichkeiten der korrekten Erkennung kann das Backend die Konfidenzwerte der in der digitalen Straßenkarte enthaltenen Objekte auf dem Backend ändern. Hierbei kann beispielsweise ein Konfidenzwert eines Objekts in der digitalen Straße abhängig von der bestimmen Wahrscheinlichkeit der korrekten Erkennung erhöht werden, wenn das Objekt in den Daten der Objekterkennungsvorrichtung enthalten ist. Des Weiteren kann ein neues Objekt zu der digitalen Straßenkarte hinzugeführt werden, wenn ein Objekt in den Daten der Ob jekterkennungsvorrichtung enthalten ist, jedoch in der digitalen Straßenkarte bis jetzt kein Objekt an dieser Position vorhanden war. Somit können neue Objekte zu der digitalen Straßenkarte auf dem Backend hinzugefügt werden und die digitale Straßenkarte kann stets auf dem aktuellen Stand gehalten werden. Ferner kann das Backend den Konfidenzwert eines Objektes abhängig von der bestimmen Wahrscheinlichkeit der korrekten Erkennung verringern bzw. reduzieren, wenn ein in der digitalen Straßenkarte ent haltenes Objekt nicht durch die Objekterkennungsvorrichtung erkannt wurde. Diese Reduzierung des Konfidenzwertes kann nicht durchgeführt werden, wenn die Objekterkennungsvorrichtung eine Verdeckung in dem Bereich des Objekts erkennt. Mit anderen Worten hatte die Erfassungseinheit der Objekterkennungsvorrichtung nicht die Möglichkeit ein Objekt zu erkennen, da dieses Verdeckt war, erfolgt keine Anpassung des Konfidenzwertes für dieses Objekt, da keine definitive Aussage getroffen werden kann.
Das Backend kann ferner ein Objekt aus der digitalen Straßenkarte entfernen, wenn der Konfidenzwert dieses Objekts unter einen vordefinierte Schwellwert fällt, z.B. 60% oder 70%, oder wenn durch eine vordefinierte Anzahl an Fahrzeugen, z.B. 10, in der letzten Zeit das Objekt nicht erkannt wurde. Somit können „alte" Objekte, welche in der Realität nicht mehr vorhanden sind, aus der digitalen Straßenkarte entfernt werden. Bei der Auswertung der Daten durch die Auswerteeinheit der Objekterkennungsvorrichtung kann die Objekterkennungsvor richtung dem Backend direkt ein nicht erkanntes Objekt mit der korrespondierenden Wahrscheinlichkeit der korrekten Erkennung, also ein Objekt welches hätte erkannt werden sollen aber nicht erkannt wurde, melden. Hierzu wird jedoch eine digitale
Straßenkarte als Vergleich in der Objekterkennungsvorrichtung benötigt, diese kann beispielsweise auf einer Speichereinheit gespeichert sein. Auch neu erkannte Objekte, also welche bis jetzt nicht in der digitalen Straßenkarte der Objekterken nungsvorrichtung vorhanden waren, können dem Backend gemeldet werden .
Ferner können nicht nur die Konfidenzwerte der Objekte, also ob ein Objekt vorhanden ist oder nicht, angepasst bzw. geändert werden, sondern auch dessen genaue Position, also wo sich das Objekt befindet sowie dessen Inhalt, insbesondere bei wech selnden und dynamischen Anzeigetafeln. Je mehr Objekterken nungsvorrichtung ein Objekt erkennen und dessen Position be stimmen, desto genauer kann die „richtige" Position des realen Objekts bestimmt werden. Ferner kann auch um das jeweilige Objekt eine Wahrscheinlichkeitsdichtefunktion für die richtige Po sition bestimmt werden.
Es sei angemerkt, dass das Backend von einer Vielzahl an Ob jekterkennungsvorrichtungen von verschiedenen Fahrzeugen gleichzeitig Daten empfangen und verarbeiten kann. Somit können die jeweiligen Objekterkennungsvorrichtungen der Fahrzeuge als Sensoren genutzt werden, um die digitale Straßenkarte auf dem Backend auf dem aktuellen Stand zu halten, zu aktualisieren oder zu ändern und neue Objekte hinzuzufügen oder alte Objekte zu löschen. Ferner kann die aktuelle digitale Straßenkarte durch das Backend wieder an die Objekterkennungsvorrichtungen der
Fahrzeuge übertragen werden, sodass diese immer die aktuelle digitale Straßenkarte zur Verfügung haben. Ein weiterer Aspekt der Erfindung betrifft ein Verfahren zur Erzeugung von Konfidenzwerten für Objekte in einer digitalen Straßenkarte. Das Verfahren weist folgende Schritte auf:
- Erfassen von Umfelddaten und Einteilung in eine Mehrzahl an zwei- oder dreidimensionale Segmente durch eine Erfas sungseinheit;
- Bestimmen der Position der Segmente und der darin enthaltenen Objekte;
- Auswerten der erfassten Umfelddaten in jedem der Segmente;
- Erkennen von Objekten und Verdeckungen von Objekten in jedem der Segmente;
- Bestimmen einer Wahrscheinlichkeit für eine korrekte Erkennung für jedes Objekt oder jede Verdeckung, wobei die Wahrscheinlichkeit von der relativen Position des Segments, in welchem sich das Objekt oder die Verdeckung befindet, zum Fahrzeug abhängt;
- Versehen der Objekte und der Verdeckungen der Objekte mit PositronsInformationen;
- Übertragen der erzeugten Daten von einer Sende-/ Emp fangseinheit an ein Backend;
- Erzeugen oder Aktualisieren der digitalen Straßenkarte des Backends basierend auf den empfangenen Daten;
- Erhöhen des Konfidenzwertes des jeweiligen Objekts abhängig von der bestimmten Wahrscheinlichkeit der korrekten Erkennung, wenn das jeweilige Objekt in den empfangenen Daten enthalten ist;
- Reduzieren des Konfidenzwertes des jeweiligen Objekts abhängig von der bestimmten Wahrscheinlichkeit der korrekten Erkennung, wenn das jeweilige Objekt nicht in den empfangenen Daten enthalten ist, wobei bei einer Verdeckung des Objekts in den empfangenen Daten keine Reduktion des jeweiligen Objektes stattfindet .
Es sei angemerkt, dass die Schritte des Verfahrens auch in einer anderen Reihenfolge oder gleichzeitig ausgeführt werden können. Ferner kann zwischen einzelnen Schritten auch eine längere Zeitspanne liegen. Ein weiterer Aspekt der Erfindung betrifft Programmelemente, die, wenn sie auf eine Auswerteeinheit und einem Backend eines Obj ektkonfidenzwerterzeugungssystems ausgeführt werden, die Auswerteeinheit und das Backend anleitet, das vorhergehend und nachfolgend beschriebene Verfahren durchzuführen.
Ein weiterer Aspekt der Erfindung betrifft ein computerlesbares Medium, auf dem ein Programmelement gespeichert ist, das, wenn es auf eine Auswerteeinheit und einem Backend eines Objekt- konfidenzwerterzeugungssystems ausgeführt wird, die Auswer teeinheit und das Backend anleitet, das vorhergehend und nachfolgend beschriebene Verfahren durchzuführen.
Weitere Merkmale, Vorteile und Anwendungsmöglichkeiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung der Ausführungsbeispiele und der Figuren.
Die Figuren sind schematisch und nicht maßstabsgetreu. Sind in der nachfolgenden Beschreibung der Figuren gleiche Bezugszeichen angegeben, so bezeichnen diese gleiche oder ähnliche Elemente.
Fig. 1 zeigt ein Blockdiagramm eines Obj ektkonfidenzwerter zeugungssystems gemäß einer Ausführungsform der Erfindung.
Fig. 2 zeigt eine schematische Darstellung von Umfelddaten mit einem erkannten Objekt gemäß einer Ausführungsform der Er findung .
Fig. 3 zeigt eine schematische Darstellung von Umfelddaten mit einer Verdeckung gemäß einer Ausführungsform der Erfindung.
Fig. 4 zeigt eine Aufteilung des Sichtfeldes der Erfassungs einheit in Quader gemäß einer Ausführungsform der Erfindung.
Fig. 5 zeigt eine Aufteilung des Sichtfeldes der Erfassungs einheit mittels Zylinderkoordinaten gemäß einer Ausführungsform der Erfindung. Fig. 6 eine schematische Darstellung einer Fahrzeugtraj ektorie mit einer abschnittsweisen Auswertung der Umfelddaten gemäß einer Ausführungsform der Erfindung.
Fig. 7 zeigt ein Fahrzeug mit einer Objekterkennungsvorrichtung gemäß einer Ausführungsform der Erfindung.
Fig. 8 zeigt ein Flussdiagramm für ein Verfahren zur Erzeugung von Konfidenzwerten für Objekte in einer digitalen Karte im Backend gemäß einer Ausführungsform der Erfindung.
Fig. 1 zeigt ein Blockdiagramm eines Obj ektkonfidenzwerter- zeugungssystem. Das Obj ektkonfidenzwerterzeugungssystem weist eine Objekterkennungsvorrichtung 1 und ein Backend 2 auf. Die Objekterkennungsvorrichtung 1 weist ihrerseits eine Auswer teeinheit 10, eine Positionierungseinheit 11, eine Sende-/ Empfangseinheit 12, eine Erfassungseinheit 13 und eine Spei chereinheit 14 auf. Die Objekterkennungsvorrichtung 1 und das Backend 2 können miteinander Daten austauschen, dies kann beispielsweise drahtlos über Mobilfunknetze geschehen. Auf dem Backend 2 kann eine digitale Straßenkarte 3 vorhanden sein, welche mit Daten der Objekterkennungsvorrichtung aktualisiert, geändert oder erzeugt wird. Ferner kann das Backend 2 Daten, wie die aktuelle digitale Straßenkarte 3, an die Objekterken nungsvorrichtung 1 übertragen. Für den Datenaustausch kann insbesondere die Sende-/ Empfangseinheit 12 der Objekterken nungsvorrichtung 1 genutzt werden. Die Erfassungseinheit 13 kann dazu eingerichtet sein, Umfelddaten zu erfassen, insbesondere kann die Erfassungseinheit Umfelddaten eines Fahrzeugs mittels verschiedener Sensoren erfassen. Die Erfassungseinheit 13 kann beispielsweise eine Kamera, eine Stereokamera, ein Lidar-, ein Radar-, ein Ultraschallsensor oder eine Kombination aus diesen sein. Die Erfassungseinheit 13 kann zeitlich aufeinanderfolgende Umfelddaten erfassen, z.B. ein Video oder mehrere einzelne aufeinanderfolgende Bilder (Frames) . Ferner kann die Erfas sungseinheit 13 die Umfelddaten in mehrere Segmente einteilen bzw. aufteilen. Die Aufteilung kann beispielsweise anhand von Kartesischen Koordinaten (Quader oder Würfel) , Zylinderkoor- dinaten (Zylinder- oder Kreissektoren) oder Kugelkoordinaten (Kugelsektoren) erfolgen. Die Positionierungseinheit 11 kann dazu eingerichtet sein, die Position der Objekterkennungs vorrichtung 1 und von durch die Erfassungseinheit 13 erfassten Objekten und Verdeckungen zu bestimmen. Beispielsweise kann die Positionierungseinheit 11 ein GPS-Sensor sein. Die Speicher einheit 14 kann eine digitale Straßenkarte aufweisen und ferner kann die Speichereinheit als Zwischenspeicher genutzt werden, wenn eine Übertragung an das Backend abschnittsweise erfolgt. Die Auswerteeinheit 10 der Objekterkennungsvorrichtung 1 kann dazu eingerichtet sein, Objekte oder Verdeckungen in den erfassten Umfelddaten zu erkennen und mit einer Position zu versehen. Ein Objekt kann hierbei beispielsweise ein Verkehrszeichen, eine Leitplanke, eine Straßenmarkierung, eine Lichtsignalanlage, ein Kreisel, ein Zebrastreifen oder ein Geschwindigkeitshügel sein. Ferner kann die Ausweiteeinheit 10 eine Verdeckung erkennen, also eine Einrichtung, z.B. ein LKW oder ein Baum, welche das zu erfassende Objekt verdeckt, sich also zwischen dem zu erkennenden Objekt und der Erfassungseinheit 13 befindet. Somit kann kein Objekt erkannt werden, da das Objekt erst gar nicht durch die Erfassungseinheit 13 erfasst wurde. Des Weiteren kann die Steuereinheit 10 für die erkannten Objekte oder Verdeckungen eine Wahrscheinlichkeit der korrekten Erkennung bestimmen. Diese Wahrscheinlichkeit kann insbesondere von der relativen Position des jeweiligen Segments zu der Objekterkennungsvorrichtung 1 bzw. dem Fahrzeug abhängen. Ferner kann die Auswerteeinheit 10 dazu eingerichtet sein, die erfassten und erkannten Objekte mit den in der Speichereinheit 14 gespeicherten Objekten zu ver gleichen, sodass die Auswerteeinheit 10 feststellen kann, ob ein Objekt erkannt wurde, welches nicht in der digitalen Straßenkarte der Speichereinheit 14 vorhanden ist, oder dass ein Objekt gemäß der auf der Speichereinheit 14 gespeicherten digitalen Stra ßenkarte hätte vorhanden sein sollen aber durch die Auswer teeinheit 10 nicht erkannt wurde. Diese erkannten bzw. nicht erkannten Objekte kann die Objekterkennungsvorrichtung 1 dem Backend 2 direkt melden. Mit anderen Worten kann die Auswertung durch die Auswerteeinheit 10 erfolgen und das Ergebnis wird an das Backend 2 gesendet, um dort die digitale Straßenkarte 3 dementsprechend anzupassen oder zu aktualisieren. Es sei an gemerkt, dass die Auswertung auch im Backend 2 erfolgen kann, dazu sendet die Objekterkennungsvorrichtung 1 alle erfassten Um felddaten, inklusive der Wahrscheinlichkeit der korrekten Erkennung, der Erfassungseinheit 13 an das Backend 2 und das Backend 2 wertet die Daten aus. Somit kann Rechenleistung auf der Objekterkennungsvorrichtung 1 gespart werden.
Gemäß einer Ausführungsform der Erfindung kann die Auswertung der Umfelddaten abschnittsweise, also in festen Abschnitten, von z.B. 100m, erfolgen, wobei die einzelnen Abschnitte als Snippets bezeichnet werden können. Ferner kann die Auswerteeinheit 10 dazu eingerichtet sein, zunächst alles als verdeckte Bereiche zu klassifizieren und sukzessive, wenn Objekte oder Verdeckungen erkannt wurden, in erfasste Bereiche zu klassifizieren, sodass alle nicht sicher erkannten Bereiche als Verdeckungen gelten und dort keine Aussage über die dort befindlichen Objekte getroffen werden kann, somit wird der Konfidenzwert dieser Objekte in diesem Fall nicht aktualisiert bzw. angepasst. Dieses Vorgehen kann insbesondere bei dem abschnittsweisen Auswerten sinnvoll sein, da durch mehrere verschiedene Blickwinkel und Entfernungen ein Objekt über einen gewissen Zeitraum bzw. über eine gewisse Distanz erfasst werden kann.
Es sei angemerkt, dass die einzelnen Abschnitte bzw. Snippets direkt aneinander anschließen können, jedoch können diese auch jeweils einen überlappenden Bereich aufweisen, sodass auch zu Beginn eines jeweiligen Abschnitts schon Informationen von mehreren Blickwinkeln und Entfernungen vorliegt.
Ferner können in einem Abschnitt auch Mehrfacherkennungen eines Objekts einen zweiten Wahrscheinlichkeitsfaktor bestimmen. Beispielsweise kann es möglich sein einen Faktor für jedes Objekt in einem jeweiligen Abschnitt zu bestimmen, welcher die Anzahl der korrekten Erkennungen des Objekts in einem bestimmten Abschnitt wiederspiegelt. Hierzu kann dieser Faktor bei spielsweise zwischen 0 und 1 liegt, wobei 1 bedeutet, dass das Objekt in allen zeitlich aufeinanderfolgenden Umfelddaten durch die Auswerteeinheit 10 erfasst und erkannt wurde. Mit anderen Worten kann der Faktor die Anzahl an Erkennungen eines Objekts in den Umfelddaten eines Abschnitts durch die gesamte Anzahl an zur Verfügung stehender Umfelddaten sein. Beispielsweise besteht ein Abschnitt aus 1000 einzelnen Bildern oder Frames und ein bestimmtes Objekt wurde in 850 dieser Bilder erkannt, somit kann der Faktor zu 0,85 bestimmt werden.
Alternativ oder zusätzlich kann der Faktor auch als Anzahl an Erkennungen des jeweiligen Objekts bezogen auf die Anzahl der möglichen Erkennungen sein. Beispielsweise kann die Position des Objekts in der Mitte eines Abschnitts liegen, sodass das Objekt nur durch die Hälfte der zur Verfügung stehenden Umfelddaten erfasst werden konnte, z.B. der Abschnitt besteht aus 1000 einzelnen Bildern, aber das Objekt konnte aufgrund seiner Position nur in 500 Bildern bzw. Frames vorhanden sein und das Objekt wurde auf 460 dieser 500 Bilder erkannt, somit kann der Faktor zu 0,92 bestimmt werden. Mit anderen Worten ist das jeweilig Objekt auf 92% der Umfelddaten vorhanden.
Diese ausgewerteten Daten mit den jeweiligen Faktoren und die Wahrscheinlichkeit für die korrekte Erkennung können an das Backend 2 übertragen werden, das Backend 2 wiederum kann ba sierend auf diesen Daten den Konfidenzwert des jeweiligen Objekts in der digitalen Straßenkarte 3 anpassen, ändern oder aktua lisieren .
Die Übertragung der Daten durch die Sende-/ Empfangseinheit 12 an das Backup 2 kann sowohl kontinuierlich als auch ab schnittweise, in Snippets, erfolgen.
Fig. 2 zeigt ein beispielhaftes Bild der Umfelddaten. Hierbei ist eine Straße dargestellt. Am Rand dieser Straße befindet sich ein Verkehrszeichen, welches durch die Auswerteeinheit oder durch das Backend als Objekt 31 erkannt wird. Dieses Bild bzw. die Position des erkannten Objektes 31 kann an das Backend übertragen werden, welches wiederum den Konfidenzwert von diesem Objekt in der digitalen Straßenkarte in dem Backend abhängig von der Wahrscheinlichkeit der korrekten Erkennung erhöht. Ferner wird in Fig. 2 die Aufteilung der Umfelddaten in verschiedene Segmente gezeigt, diese werden durch die gestrichelten Linien darge stellt. Die Segmente wurden hier mit Hilfe Kartesischer Ko ordinaten erzeugt. Die Wahrscheinlichkeit einer korrekten Erkennung kann von der jeweiligen Position des Segments, in welchem das Objekt oder die Verdeckung vorhanden ist, abhängen. Beispielsweise können die Randbereiche oder weit entfernte Segmente eine geringere Wahrscheinlichkeit einer korrekten Erkennung aufweisen als zentrale und nahe Segmente. Dies kann insbesondere an optischen Effekten in der Erfassungseinheit und in der Repräsentation auf dem Sensor (z.B. der Kamera) liegen, weit entfernte Objekte werden beispielsweise nur durch wenige Pixel repräsentiert.
Fig. 3 zeigt ebenfalls ein beispielhaftes Bild der Umfelddaten, jedoch wird hierbei das Objekt durch eine Verdeckung 21 verdeckt. Somit kann durch die Auswerteeinheit oder das Backend an dieser Position kein Objekt erkannt werden. Mit anderen Worten ver hindert die Verdeckung eine Erkennung des Objekts. Die Verdeckung kann beispielsweise durch ein anderen Verkehrsteilnehmen, wie einen LKW, oder durch einen Baum entstehen. Befindet sich ein zu erkennendes Objekt hinter einer Verdeckung, wird der Kon- fidenzwert dieses Objekts nicht angepasst, da keine Aussage über das Objekt getroffen werden kann. Auch in Fig. 3 ist die Aufteilung der Umfelddaten in mehrere Segmente durch die ge strichelten Linien ersichtlich.
Fig. 4 zeigt die Aufteilung bzw. die Einteilung der durch die Erfassungseinheit 13 erfassten Umfelddaten in dreidimensionale Segmente. In Fig. 4 erfolgt die Aufteilung bzw. die Definition der Segmente anhand von Kartesischen Koordinaten. Somit sind die Segmente Quader. Im oberen Bereich der Figur ist eine seitliche Ansicht von einem Fahrzeug 4 und einer Straße gezeigt. Ferner sind verschiedene gestrichelte Linien in verschiedenen Höhen dar gestellt, welche die Einteilung der Segmente in der Höhe darstellen. Die einzelnen Linien haben in diesem Beispiel einen Abstand von circa 50cm zueinander. In dem unteren Bildbereich ist eine Draufsicht auf das Fahrzeug 4 dargestellt. Ferner befindet sich in dem Fahrzeug 4 mittig eine Erfassungseinheit 13 (z.B. eine Kamera) . Das Sichtfeld der Erfassungseinheit 13 wird durch die beiden schräg verlaufenden gestrichelten Linien symbolisiert. Der Öffnungswinkel bzw. das Sichtfeld kann abhängig von der verwendeten Erfassungseinheit 13 variieren. Des Weiteren ist eine Mehrzahl an Rechtecken in dem Sichtfeld der Erfassungs einheit 13 dargestellt. Diese definieren die Mehrzahl an dreidimensionalen Segmenten. In diesem Fall sind die Segmente Quader, welche eine Breite und eine Länge von 2,5m und eine Höhe von 0, 5m aufweisen. Es sei angemerkt, dass auch andere Aufteilung möglich sind z.B. Im oder 3m. Ferner können sich die Höhe und die Länge voneinander unterscheiden.
Fig. 5 zeigt, wie Fig. 4, die Aufteilung bzw. die Einteilung der Umfelddaten in verschiedene Segmente, jedoch wird in Fig. 5 die Aufteilung anhand von Zylinderkoordinaten vorgenommen. Im unteren Bereich wird der Öffnungswinkel bzw. das Sichtfeld der Erfassungseinheit 13 anhand von Winkeln untersegmentiert, bspw. 0,5°, und die Definition der Länge erfolgt anhand von kon zentrischen Kreisen, welche an unterschiedlichen Orten die Sichtlinien schneiden. Die Definition der Höhe ist gleich zu der in Fig. 4 gezeigten Methode.
Fig. 6 einen Verlauf eines Fahrzeugs 4 über eine gewisse Zeit a) bis e) entlang eines bestimmen Weges. Dieser Weg wird in Fig. 6 durch die dick gestrichelte schwarze Linie dargestellt. Ferner symbolisiert jedes der Teile a) bis e) einen fortgeschrittenen zeitlichen Abschnitt. Der Weg kann hierbei in mehrere Abschnitte 5 (Snippets) aufgeteilt sein. Die unterschiedlichen Abschnitte 5 werden in der Fig. 6 durch die dicken senkrechten Balken quer zur Richtung des Weges dargestellt. Die Abschnitte 5 können einen festen Abstand aufweisen, z.B. 100m. Die Erfassungseinheit der Objekterkennungsvorrichtung des Fahrzeugs 4 weist jeweils einen bestimmen Blickwinkel auf. Dieser ist durch die beiden durchgezogenen dünnen Linien ausgehend von dem Fahrzeug 4 dargestellt. In der Fig. 6 sind links, rechts und vor dem Fahrzeug 4 Bereiche in unterschiedlichen Schattierungen dargestellt, diese symbolisieren die Bereiche in den jeweiligen Segmenten der Umfelddaten des Fahrzeugs 4, welche durch die Objekterken nungsvorrichtung erkannt wurden und welche nicht bzw. die Wahrscheinlichkeit der korrekten Erkennung abhängig von der jeweiligen relativen Position des Segments zu der Objekter kennungsvorrichtung. Ein gepunkteter Bereich symbolisiert einen nicht erkannten Bereich und ein weißer Bereich einen durch die Objekterkennungsvorrichtung erkannten Bereich, der Über gangsbereich wird als grau dargestellt. Es sei angemerkt, dass je weiter fortgeschritten das Fahrzeug 4 auf dem Weg ist (a) bis e) ) , desto höher ist die Wahrscheinlichkeit, dass der Bereich erkannt wurde, da die Objekterkennungsvorrichtung viele einzelne Bilder bzw. Frames aufgenommen hat, in welcher der Bereich erkennbar war.
Zu Beginn des Weges kann die Erfassungseinheit nur die Objekte vor dem Fahrzeug erkennen und die seitlichen nur teilweise, je weiter sich das Fahrzeug entlang des Weges bewegt, desto öfter hat die Objekterkennungsvorrichtung die Chance ein Objekt 31 im Fahrzeugumfeld zu erkennen bzw. desto öfter wurde ein Objekt 31 oder eine Verdeckung 21 erkannt. Zwischen einem nicht erkannten Bereich und einem erkannten Bereich kann der Bereich auch teilweise durch die Objekterkennungsvorrichtung erkannt worden sein bzw. nur in wenigen Bilddaten bzw. Frames erkannt worden sein .
In Fig. 6 befinden sich ein Fahrzeug 4, welches sich entlang eines Weges bewegt, ein zu erkennendes Objekt 31 und eine Verdeckung 21. In dem ersten Abschnitt a) kann das Fahrzeug 4 das Objekt 31 erkennen, da die Sicht frei ist, jedoch ist aufgrund der Entfernung die Wahrscheinlichkeit für eine korrekte Erkennung noch gering. Beispielsweise kann die Sichtbarkeit des Objekts 31 bei 100% liegen und die Wahrscheinlichkeit für eine korrekte Erkennung bei 10%. In dem zweiten Abschnitt b) hat sich das Fahrzeug bereits weiter auf dem Weg in Richtung des Objekts 31 zu bewegt. Weiterhin wird das Objekt 31 erkannt und die
Wahrscheinlichkeit für eine korrekte Erkennung erhöht sich, da der Abstand zwischen Fahrzeug 4 und Objekt 31 kleiner wird. Z.B. kann die Sichtbarkeit des Objekts 31 weiterhin bei 100% sein und die Wahrscheinlichkeit für eine korrekte liegt bei 30%. In Abschnitt c) ist das Fahrzeug 4 noch weiter auf dem Weg fortgeschritten, sodass das Objekt 31 durch die Verdeckung 21 verdeckt wird. Die Verdeckung 21 befindet sich zwischen der dem Objekt 31 und dem Fahrzeug 4. Beispielsweise ist die Sichtbarkeit des Objekts 31 jetzt 0% und die Wahrscheinlichkeit für eine korrekte Erkennung des Objekts 31 wäre bei 75%. In Abschnitt d) ist das Fahrzeug 4 noch weiter fortgeschritten und das Objekt 31 ist weiterhin verdeckt, sodass z.B. die Sichtbarkeit weiterhin bei 0% liegt, jedoch die Wahrscheinlichkeit für die korrekte Erkennung basierend auf dem Abstand bzw. dem Segment relativ zum Fahrzeug auf 95% ansteigt. In dem Abschnitt e) verdeckt die Verdeckung 21 weiterhin das Objekt 31, sodass kein Objekt 31 erkannt werden kann. Beispielsweise kann hier die Sichtbarkeit 0% betragen und die Wahrscheinlichkeit für eine korrekte Er kennung 100%.
Vorteilhafterweise können alle Bereiche zunächst als nicht erkannte Bereiche klassifiziert werden und sobald eine Erkennung stattfindet kann dieser Bereich als erkannter Bereich klas sifiziert werden. Des Weiteren kann der Konfidenzwert des erkannten Bereichs mit zunehmenden Erkennungen in einer Mehrzahl an Bildern oder Frames erhöht werden.
Fig. 7 zeigt ein Fahrzeug 4 mit einer Objekterkennungsvorrichtung 1. Diese Objekterkennungsvorrichtung 1 kann Umfelddaten um das Fahrzeug 4 erfassen und Objekte und Verdeckungen darin erkennen. Ferner kann die Objekterkennungsvorrichtung 1 die ausgewerteten Daten an das Backend übertragen. Des Weiteren können eine Vielzahl von Fahrzeugen 4 mit einer Objekterkennungsvorrichtung 1 Umfelddaten erfassen und auswerten und an das Backend übertragen .
Fig. 8 zeigt ein Flussdiagramm für ein Verfahren zur Erzeugung von Konfidenzwerten für Objekte in einer digitalen Straßenkarte. In einem ersten Schritt S1 können Umfelddaten durch eine Er fassungseinheit erfasst werden, diese werden in eine Mehrzahl an zwei- oder dreidimensionale Segmente eingeteilt. Diese Um felddaten können einzelne Bilder bzw. Frames oder ein ganzer Abschnitt von aufeinanderfolgenden Bildern bzw. Frames sein. In einem zweiten Schritt S2 kann die Positionsbestimmung der erfassten Umfelddaten und der darin enthaltenen Objekte er folgen. Eine Auswertung der erfassten Umfelddaten kann in Schritt S3 Segmentweise erfolgen und in Schritt S4 können Objekte und Verdeckungen in den jeweiligen Segmenten der Umfelddaten erkannt werden. In Schritt S5 können die Wahrscheinlichkeiten für eine korrekte Erkennung für jedes der erkannten Objekte oder der Verdeckungen bestimmt werden, wobei die Wahrscheinlichkeiten von der relativen Position des Segments, in welchem sich das Objekt oder die Verdeckung befindet, zu der Objekterkennungsvorrichtung oder dem Fahrzeug abhängt. In Schritt S6 können die in Schritt S5 erkannten Objekte und Verdeckungen mit Positionsinformationen versehen werden. In Schritt S7 kann die Übertragung der aus gewerteten Daten an ein Backend mittels einer Sende-/ Emp fangseinheit erfolgen. Anschließend kann in Schritt S8 die digitale Straßenkarte auf dem Backend basierend auf den emp fangenen Daten erzeugt, geändert oder aktualisiert werden. In Schritt S9 kann ein Konfidenzwert eines jeweiligen Objekts abhängig von der bestimmten Wahrscheinlichkeit der korrekten Erkennung erhöht werden, wenn das jeweilige Objekt in den empfangenen Daten enthalten ist. In Schritt S10 kann ein Konfidenzwert eines Objekts abhängig von der Wahrscheinlichkeit für eine korrekte Erkennung reduziert werden, wenn das Objekt nicht in den empfangenen Daten enthalten ist, außer das Objekt wurde von einer Verdeckung verdeckt, sodass es in den erfassten Umfelddaten nicht zu erkennen war.

Claims

Patentansprüche
1. Obj ektkonfidenzwerterzeugungssystem zur Erzeugung von
Konfidenzwerten für Objekte (31) in einer digitalen Straßenkarte
(3) , aufweisend:
- ein Backend (2); und
- eine Objekterkennungsvorrichtung (1) für ein Fahrzeug
(4) ,
die Objekterkennungsvorrichtung (1) aufweisend:
- eine Erfassungseinheit (13);
- eine Auswerteeinheit (10);
- eine Positionierungseinheit (11); und
- eine Sende-/ Empfangseinheit (12),
wobei die Erfassungseinheit (13) dazu eingerichtet ist, Umfelddaten von einem Fahrzeug (4) zu erfassen und die Um felddaten in eine Mehrzahl an zwei- oder dreidimensionalen Segmente aufzuteilen,
wobei die Positionierungseinheit (11) dazu eingerichtet ist, die Positionen der Segmente und der darin enthaltenen Objekte (31) zu bestimmen,
wobei die Auswerteeinheit (10) dazu eingerichtet ist, die Objekte (31) und Verdeckungen (21) der Objekte (31) in den Segmenten zu erkennen sowie diese mit Positionsinformationen zu versehen,
wobei die Auswerteeinheit (10) ferner dazu eingerichtet ist, für jedes der Objekte (31) und für jede Verdeckung (21) eine Wahrscheinlichkeit für eine korrekte Erkennung zu bestimmen, wobei die Wahrscheinlichkeit von der relativen Position des Segments, in welchem sich das Obj ekt (31) oder die Verdeckung (21) befindet, zu der Objekterkennungsvorrichtung (1) abhängt,
wobei die Sende-/ Empfangseinheit (12) dazu eingerichtet ist, die von der Auswerteeinheit (10) erzeugten Daten an das Backend (2) zu übertragen,
wobei das Backend (2) dazu eingerichtet ist, die Daten der Sende-/ Empfangseinheit (12) zu empfangen und die digitale Straßenkarte (3) zu erzeugen oder zu aktualisierten,
wobei jedes der Objekte (31) der digitalen Straßenkarte (3) des Backends (2) einen Konfidenzwert aufweist; wobei das Backend (2) dazu eingerichtet ist, den Kon- fidenzwert des jeweiligen Objekts (31) abhängig von der be stimmten Wahrscheinlichkeit zu erhöhen, wenn das jeweilige Objekt (31) in den empfangenen Daten enthalten ist, und
wobei das Backend (2) dazu eingerichtet ist, den Kon- fidenzwert des jeweiligen Objekts (31) abhängig der bestimmten Wahrscheinlichkeit zu reduzieren, wenn das jeweilig Objekt (31) nicht in den empfangenen Daten enthalten ist,
wobei das Backend (2) dazu eingerichtet ist, bei einer Verdeckung (21) des Objekts (31) in den empfangenen Daten keine Reduktion des Konfidenzwertes des jeweiligen Objektes (31) durchzuführen .
2. System gemäß Anspruch 1,
wobei die Auswerteeinheit (10) dazu eingerichtet ist, basierend auf den Abstand und den Winkel der erkannten Objekte (31) zur Objekterkennungsvorrichtung (1) in dem jeweiligen Segment die Wahrscheinlichkeit für die korrekte Erkennung der Objekte (31) bzw. der Verdeckungen (21) der Objekte (31) zu bestimmen,
wobei ein größerer Abstand zwischen dem jeweiligen Segment und der Objekterkennungsvorrichtung (1) zu einer geringeren Wahrscheinlichkeit für die korrekte Erkennung führt und ein geringerer Abstand zwischen zu dem jeweiligen Segment und der Objekterkennungsvorrichtung (1) zu einer höheren Wahrschein lichkeit für die korrekte Erkennung führt.
3. System gemäß Anspruch 1 und 2,
wobei das Backend (2) ein Objekt (31) oder eine Verdeckung (21) eines Objekts (31) nur dann für die Bestimmung des Kon- fidenzwerts miteinbezieht , wenn die Wahrscheinlichkeit für die korrekte Erkennung über einem vorbestimmten Schwellwert liegt.
4. System gemäß einem der vorhergehenden Ansprüche,
wobei die Auswerteeinheit (10) dazu eingerichtet ist, die Umfelddaten eines vom Fahrzeug (4) zurückgelegten Abschnitts (5) einer Wegstrecke auszuwerten, und wobei die Sende-/Empfangseinheit (12) dazu eingerichtet ist, die Daten des gesamten Abschnitts (5) an das Backend (2) zu senden .
5. System gemäß Anspruch 4,
wobei der Abschnitt (5) 100m lang ist.
6. System gemäß einem der vorhergehenden Ansprüche,
wobei die Auswerteeinheit (10) dazu eingerichtet ist, indem jeweiligen Abschnitt zunächst sämtliche erfassten Segmente vor dem Fahrzeug (4) als verdeckte Bereiche zu klassifizieren und wenn ein Objekt (31) in einem Segment erkannt wurde oder in dem Segment keine Verdeckung (21) erkannt wird das entsprechende Segment als sichtbaren Bereich zu klassifizieren und die Wahrscheinlichkeit für die korrekte Erkennung zu bestimmen, wobei das Backend (2) dazu eingerichtet ist, die verdeckten Segmente nicht in die Bestimmung der Konfidenzwerte der einzelnen Objekte (31) der digitalen Straßenkarte (3) miteinzubeziehen .
7. System gemäß einem der vorhergehenden Ansprüche, die Objekterkennungsvorrichtung (1) ferner aufweisend:
- eine Speichereinheit (14),
wobei eine digitale Straßenkarte (3) mit einer Vielzahl an Objekten (31) auf der Speichereinheit (14) gespeichert ist, wobei die Auswerteeinheit (10) dazu eingerichtet ist, die erkannten Objekte (31) mit den auf der Speichereinheit (14) gespeicherten Objekten (31) zu vergleichen,
wobei die Auswerteeinheit (10) ferner dazu eingerichtet ist, erkannte Objekte (31), welche nicht in der digitalen Straßenkarte (3) der Speichereinheit (14) vorhanden sind, oder nicht erkannte Objekte, welche gemäß der digitalen Straßenkarte (3) erkannt werden sollten, dem Backend (2) zu melden.
8. System gemäß einem der vorhergehenden Ansprüche,
wobei das Backend (2) dazu eingerichtet ist, die digitale Straßenkarte (3) in periodischen, zeitlichen Abständen an die Speichereinheit (14) der Objekterkennungsvorrichtung (1) zu übertragen .
9. System gemäß Anspruch 8,
wobei das Backend (2) dazu eingerichtet ist, nur Objekte (31) mit einem Konfidenzwert oberhalb einem vordefinierten Schwellwert an die Speichereinheit (14) der Objekterken nungsvorrichtung (1) zu übertragen.
10. System gemäß einem der vorhergehenden Ansprüche,
wobei das Backend (2) dazu eingerichtet ist, die empfangenen Daten auszuwerten und nicht erkannte Objekte oder neue Objekte in die digitale Straßenkarte (3) des Backends (2) basierend auf den empfangenen Daten zu entfernen bzw. zu integrieren.
11. Fahrzeug (4) mit einer Obj ekterkennungsvorrichtung (1), die Objekterkennungsvorrichtung (1) aufweisend:
- eine Erfassungseinheit (13);
- eine Auswerteeinheit (10);
- eine Positionierungseinheit (11); und
- eine Sende-/ Empfangseinheit (12),
wobei die Erfassungseinheit (13) dazu eingerichtet ist, Umfelddaten von einem Fahrzeug (4) zu erfassen und die Um felddaten in eine Mehrzahl an zwei- oder dreidimensionalen Segmente aufzuteilen;
wobei die Positionierungseinheit (11) dazu eingerichtet ist, die Positionen der Segmente und der darin enthaltenen Objekte (31) zu bestimmen,
wobei die Auswerteeinheit (10) dazu eingerichtet ist, die Objekte (31) und Verdeckungen (21) der Objekte (31) in den Segmenten zu erkennen sowie diese mit Positionsinformationen zu versehen,
wobei die Auswerteeinheit (10) ferner dazu eingerichtet ist, für jedes der Objekte (31) und für jede Verdeckung (21) eine Wahrscheinlichkeit für eine korrekte Erkennung zu bestimmen, wobei die Wahrscheinlichkeit von der relativen Position des Segments, in welchem sich das Obj ekt (31) oder die Verdeckung (21) befindet, zum Fahrzeug abhängt, wobei die Sende-/ Empfangseinheit (12) dazu eingerichtet ist, die von der Auswerteeinheit (10) erzeugten Daten an ein Backend (2) zu übertragen.
12. Backend (2) mit einer digitalen Straßenkarte (3) und Konfidenzwerten für deren Objekte (31),
wobei das Backend (2) dazu eingerichtet ist, die Daten einer Sende-/ Empfangseinheit (12) zu empfangen und die digitale Straßenkarte (3) zu erzeugen oder zu aktualisierten,
wobei jedes der Objekte (31) der digitalen Straßenkarte (3) des Backends (2) einen Konfidenzwert aufweist;
wobei das Backend (2) dazu eingerichtet ist, den Kon- fidenzwert des jeweiligen Objekts (31) abhängig von der be stimmten Wahrscheinlichkeit zu erhöhen, wenn das jeweilige Objekt (31) in den empfangenen Daten enthalten ist, und
wobei das Backend (2) dazu eingerichtet ist, den Kon- fidenzwert des jeweiligen Objekts (31) abhängig der bestimmten Wahrscheinlichkeit zu reduzieren, wenn das jeweilig Objekt (31) nicht in den empfangenen Daten enthalten ist,
wobei das Backend (2) dazu eingerichtet ist, bei einer Verdeckung (21) des Objekts (31) in den empfangenen Daten keine Reduktion des Konfidenzwertes des jeweiligen Objektes (31) durchzuführen .
13. Verfahren zur Erzeugung von Konfidenzwerten für Objekte in einer digitalen Straßenkarte, folgende Schritte aufweisend:
- Erfassen (Sl) von Umfelddaten und Einteilung in eine Mehrzahl an zwei- oder dreidimensionale Segmente durch eine Erfassungseinheit ;
- Bestimmen (S2) der Position der Segmente und der darin enthaltenen Objekte;
- Auswerten (S3) der erfassten Umfelddaten in jedem der Segmente ;
- Erkennen (S4) von Objekten und Verdeckungen von Objekten in jedem der Segmente;
- Bestimmen (S5) einer Wahrscheinlichkeit für eine korrekte Erkennung für jedes Objekt oder jede Verdeckung, wobei die Wahrscheinlichkeit von der relativen Position des Segments, in welchem sich das Objekt oder die Verdeckung befindet, zum Fahrzeug abhängt;
- Versehen (S6) der Objekte und der Verdeckungen der Objekte mit Positionsinformationen;
- Übertragen (S7) der erzeugten Daten von einer Sende-/ Empfangseinheit an ein Backend;
- Erzeugen (S8) oder Aktualisieren der digitalen Stra ßenkarte des Backends basierend auf den empfangenen Daten;
- Erhöhen (S9) des Konfidenzwertes des jeweiligen Objekts abhängig von der bestimmten Wahrscheinlichkeit der korrekten Erkennung, wenn das jeweilige Objekt in den empfangenen Daten enthalten ist;
- Reduzieren (S10) des Konfidenzwertes des jeweiligen Objekts abhängig von der bestimmten Wahrscheinlichkeit der korrekten Erkennung, wenn das jeweilige Objekt nicht in den empfangenen Daten enthalten ist, wobei bei einer Verdeckung des Objekts in den empfangenen Daten keine Reduktion des jeweiligen Objektes stattfindet.
14. Programmelemente, die, wenn sie auf einer Auswerteeinheit und einem Backend eines Obj ektkonfidenzwerterzeugungssystems werden, die Auswerteeinheit und das Backend anleiten, das Verfahren gemäß Anspruch 13 durchzuführen
15. Computerlesbare Medien, auf welchen ein oder mehrere der Programmelemente gemäß Anspruch 14 gespeichert sind.
EP19714341.5A 2018-03-23 2019-03-21 System zur erzeugung von konfidenzwerten im backend Withdrawn EP3769041A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018204501.1A DE102018204501B3 (de) 2018-03-23 2018-03-23 System zur Erzeugung von Konfidenzwerten im Backend
PCT/EP2019/057090 WO2019180143A1 (de) 2018-03-23 2019-03-21 System zur erzeugung von konfidenzwerten im backend

Publications (1)

Publication Number Publication Date
EP3769041A1 true EP3769041A1 (de) 2021-01-27

Family

ID=65991768

Family Applications (1)

Application Number Title Priority Date Filing Date
EP19714341.5A Withdrawn EP3769041A1 (de) 2018-03-23 2019-03-21 System zur erzeugung von konfidenzwerten im backend

Country Status (4)

Country Link
US (1) US20210003420A1 (de)
EP (1) EP3769041A1 (de)
DE (1) DE102018204501B3 (de)
WO (1) WO2019180143A1 (de)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018118215B4 (de) * 2018-07-27 2020-04-16 Man Truck & Bus Se Verfahren zur Aktualisierung einer Umgebungskarte, Vorrichtung für die fahrzeugseitige Durchführung von Verfahrensschritten des Verfahrens, Fahrzeug, Vorrichtung für die zentralrechnerseitige Durchführung von Verfahrensschritten des Verfahrens sowie computerlesbares Speichermedium
EP4107485A1 (de) * 2020-02-20 2022-12-28 TomTom Global Content B.V. Verwendung von kartenänderungsdaten
DE102020125448A1 (de) * 2020-09-29 2022-03-31 Daimler Ag Kartenplausibilitätsprüfungsverfahren
JP7511504B2 (ja) * 2021-02-16 2024-07-05 三菱重工業株式会社 移動体、移動制御システム、移動体の制御方法及びプログラム
JP7301897B2 (ja) * 2021-03-09 2023-07-03 本田技研工業株式会社 地図生成装置
US12299984B2 (en) * 2022-06-17 2025-05-13 Comcast Cable Communications, Llc Systems, methods, and apparatuses for selecting/generating visual representations of media content
DE102022003088A1 (de) * 2022-08-23 2024-02-29 Mercedes-Benz Group AG Verfahren zur Speicherung und zur Qualitätsbewertung von Kartendaten eines Fahrzeugs
WO2025085510A1 (en) * 2023-10-17 2025-04-24 BrightAI Corporation Relevance based weighting
US20260079026A1 (en) * 2024-09-17 2026-03-19 Tomtom Global Content B.V. Automated Digital Map Update Based on Media Messages

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19916967C1 (de) 1999-04-15 2000-11-30 Daimler Chrysler Ag Verfahren zur Aktualisierung einer Verkehrswegenetzkarte und kartengestütztes Verfahren zur Fahrzeugführungsinformationserzeugung
US8818024B2 (en) * 2009-03-12 2014-08-26 Nokia Corporation Method, apparatus, and computer program product for object tracking
US20100256981A1 (en) * 2009-04-03 2010-10-07 Certusview Technologies, Llc Methods, apparatus, and systems for documenting and reporting events via time-elapsed geo-referenced electronic drawings
US9565403B1 (en) * 2011-05-05 2017-02-07 The Boeing Company Video processing system
US8849567B2 (en) * 2012-05-31 2014-09-30 Google Inc. Geographic data update based on user input
DE102012220158A1 (de) 2012-11-06 2014-05-22 Robert Bosch Gmbh Verfahren zur Aktualisierung von Kartendaten
DE102014220687A1 (de) 2014-10-13 2016-04-14 Continental Automotive Gmbh Kommunikationsvorrichtung für ein Fahrzeug und Verfahren zum Kommunizieren
KR101678095B1 (ko) * 2015-07-10 2016-12-06 현대자동차주식회사 차량, 및 그 제어방법
EP3131020B1 (de) 2015-08-11 2017-12-13 Continental Automotive GmbH System und verfahren zur zweistufigen objektdatenverarbeitung durch ein fahrzeug und server-datenbank zur erzeugung, aktualisierung und abgabe einer präzisen strasseneigenschaftsdatenbank
DE102016216154A1 (de) * 2016-08-29 2018-03-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Auswerteeinheit zur Ermittlung der Position von Verkehrszeichen
US11067995B2 (en) * 2017-03-20 2021-07-20 Mobileye Vision Technologies Ltd. Navigation by augmented path prediction

Also Published As

Publication number Publication date
US20210003420A1 (en) 2021-01-07
DE102018204501B3 (de) 2019-07-04
WO2019180143A1 (de) 2019-09-26

Similar Documents

Publication Publication Date Title
DE102018204501B3 (de) System zur Erzeugung von Konfidenzwerten im Backend
EP3769042B1 (de) System zur erzeugung von konfidenzwerten im backend
DE69635569T2 (de) Vorrichtung zum Bestimmen der lokalen Position eines Autos auf einer Strasse
DE102020102725B4 (de) Verfahren und vorrichtung für eine kontextabhängige, aus der crowd-source stammende, spärliche, hochauflösende karte
DE102010006828B4 (de) Verfahren zur automatischen Erstellung eines Modells der Umgebung eines Fahrzeugs sowie Fahrerassistenzsystem und Fahrzeug
EP2149132B1 (de) Verfahren und vorrichtung zur erkennung von verkehrsrelevanten informationen
DE112018006665T5 (de) Verfahren zum zugreifen auf ergänzende wahrnehmungsdaten von anderen fahrzeugen
DE102018005869A1 (de) System zur Erstellung eines Umgebungsmodells eines Fahrzeugs
DE102012208974A1 (de) System und Verfahren zum sensorbasierten Aufbauen eines Umgebungsmodells
EP3207538A1 (de) Kommunikationsvorrichtung für ein fahrzeug und verfahren zum kommunizieren
EP3465652A1 (de) Verfahren vorrichtung und system zur falschfahrererkennung
DE102015225900B3 (de) Verfahren und Vorrichtung zur kamerabasierten Verkehrszeichenerkennung in einem Kraftfahrzeug
EP3380810B1 (de) Verfahren, vorrichtung, kartenverwaltungseinrichtung und system zum punktgenauen lokalisieren eines kraftfahrzeugs in einem umfeld
EP3999806B1 (de) Verfahren und kommunikationssystem zur unterstützung einer wenigstens teilweise automatischen fahrzeugsteuerung
EP3292423A1 (de) Diagnoseverfahren für einen sichtsensor eines fahrzeugs und fahrzeug mit einem sichtsensor
DE102018112888A1 (de) Systeme und Verfahren zur Überprüfung von Strassenkrümmungskartendaten
WO2020043246A1 (de) Lokalisierungsvorrichtung zur visuellen lokalisierung eines fahrzeugs
DE102016220581A1 (de) Verfahren und vorrichtung zur bestimmung eines umfeldmodells
DE102018117830A1 (de) Digitale Umfeldkarte mit Sensorreichweiten
EP3465655A1 (de) Verfahren vorrichtung und system zur falschfahrererkennung
EP3465653A1 (de) Verfahren, vorrichtung und system zur falschfahrererkennung
WO2017148851A1 (de) Verfahren zur präzisen ortsbestimmung eines kraftfahrzeuges
EP3690399B1 (de) Entfernen von objekten aus einer digitalen strassenkarte
DE102022106248A1 (de) System zum Steuern einer Kamera zur Unterstützung der menschlichen Überprüfung von Sensorinformationen
DE102024004195B3 (de) Verfahren zur Verortung eines Fahrzeugs auf einer Fahrspur und Fahrzeug

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20201023

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: CONTINENTAL AUTOMOTIVE TECHNOLOGIES GMBH

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20220914

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20230125