EP4268126A1 - Verfahren und vorrichtung zur sensordatenverarbeitung - Google Patents

Verfahren und vorrichtung zur sensordatenverarbeitung

Info

Publication number
EP4268126A1
EP4268126A1 EP21847937.6A EP21847937A EP4268126A1 EP 4268126 A1 EP4268126 A1 EP 4268126A1 EP 21847937 A EP21847937 A EP 21847937A EP 4268126 A1 EP4268126 A1 EP 4268126A1
Authority
EP
European Patent Office
Prior art keywords
data
scene
vehicle
objects
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21847937.6A
Other languages
English (en)
French (fr)
Inventor
Thomas Waschulzik
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Mobility GmbH
Original Assignee
Siemens Mobility GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Mobility GmbH filed Critical Siemens Mobility GmbH
Publication of EP4268126A1 publication Critical patent/EP4268126A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3837—Data obtained from a single source
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L15/00—Indicators provided on the vehicle or train for signalling purposes
    • B61L15/0058—On-board optimisation of vehicle or vehicle train operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B61L23/041—Obstacle detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L25/00—Recording or indicating positions or identities of vehicles or trains or setting of track apparatus
    • B61L25/02—Indicating or recording positions or identities of vehicles or trains
    • B61L25/025—Absolute localisation, e.g. providing geodetic coordinates
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Definitions

  • the invention relates to a method and a device for sensor data processing in a vehicle and a vehicle.
  • Sensor data processing is known, for example, in connection with driver assistance systems or even autonomously driving vehicles.
  • the surroundings of an at least partially autonomously driving vehicle can be recorded, the corresponding sensor data can be analyzed and objects can thus be recognized.
  • the vehicle can thus be controlled at least partially using the detected objects.
  • the functionality of systems for autonomous or at least semi-autonomous control of vehicles can be increased if a map containing information about the route traveled by the vehicle is also accessed.
  • Digitized maps which can be present in the form of databases, are used, for example, for route planning and/or monitoring the progress of the journey in navigation devices. It is also known to store additional information about the surroundings of the roads in these databases, for example about so-called "points of interest" such as gas stations, train stations, sights and/or the like, in addition to the information about the course of roads or paths.
  • points of interest such as gas stations, train stations, sights and/or the like
  • the corresponding databases contain a particularly large amount of such additional information.
  • This additional information can in particular characterize so-called landmarks.
  • the landmarks describe, for example, traffic signs, traffic lights, street lamps, buildings and/or other prominent objects in the vicinity of streets or paths with an extremely high spatial resolution. Due to their high level of detail, these maps can therefore even be used for so-called landmark-based navigation.
  • the sensor data generated when capturing the vehicle environment is compared with the data from the corresponding database. The position of the vehicle can be determined extremely precisely by found matches. This can be used to keep an at least semi-autonomous vehicle “on track”.
  • such a map can also be used to obtain information relevant to driving, such as the maximum permitted speed, priority regulations, road conditions and/or the like.
  • information relevant to driving such as the maximum permitted speed, priority regulations, road conditions and/or the like.
  • the vehicle can then navigate at least partially autonomously.
  • a scene from the surroundings of the vehicle is detected by sensors and corresponding sensor data is generated.
  • objects are recognized in the scene and corresponding object data, which characterize the recognized objects, are generated.
  • the generated object data are compared with scene data stored in a database and quality-assured, which characterize objects in the scene. Depending on a result of the comparison, a reliability of the sensory Scene capture and / or data processing of the sensor data and / or the object recognition and / or the database assessed.
  • a scene in the sense of the invention can be understood as a driving situation of the vehicle.
  • a scene can represent a “snapshot” of the area surrounding the vehicle at a point in time.
  • a scene is therefore expediently defined by objects from the area surrounding the vehicle and their arrangement relative to one another and/or to the vehicle at a point in time.
  • Data processing of sensor data within the meaning of the invention can be understood as meaning an analysis, in particular algorithmic, of the sensor data.
  • mathematical operations and/or pattern recognition can be carried out with the sensor data.
  • Data processing of sensor data is preferably carried out by artificial intelligence, for example by a trained neural network and/or the like.
  • Data processing of sensor data can in particular include processing of the data with the aid of at least one algorithm for digital image processing.
  • Quality-assured scene data within the meaning of the invention can be understood in particular as data to which a particularly high degree of reliability is attributed.
  • the information contained in such data can be trusted to a particular degree.
  • Quality-assured scene data can, for example, meet a specified safety standard, in particular one of several safety levels such as a SIL (Safety Integrity Level).
  • SIL Safety Integrity Level
  • the scene data can, for example, characterize properties, also referred to below as features, of the objects.
  • the quality assurance of the scene data expediently includes, among other things, that at least one combination of the properties or Features specific to each through the scene data characterized object is .
  • it can be provided for quality-assured scene data that the unambiguous description of an object is secured by at least one feature, in particular a combination of features, with regard to specificity compared to other objects.
  • One aspect of the invention is based on the approach of controlling the movement of a vehicle, in particular a rail vehicle such as a train or at least one railcar or a locomotive, for example along a specified route using a database.
  • the database contains scene data which characterize objects preferably in different scenes along the route.
  • objects in a scene from the area surrounding the vehicle are preferably identified on the basis of sensor data generated when the area surrounding the vehicle is detected by sensors.
  • object data which are generated when the objects are recognized with the aid of, in particular, algorithmic data processing and which characterize the recognized objects are compared with at least part of the scene data.
  • the reliability of the sensory scene detection and/or the data processing of the sensor data i.e. the recognition algorithm itself, and/or the object recognition or . -Identification to be assessed. Alternatively or additionally, it is also conceivable to assess the reliability of the database.
  • the reliability of the sensors is preferably assessed, d. H . for example whether a sensor device is working correctly.
  • the reliability of the method according to which the sensor data is processed is preferably assessed. For example, the reliability of a corresponding algorithm or be judged by an artificial intelligence.
  • the reliability of the result of the data processing is preferably assessed, d. H . for example, whether the correct properties have been assigned to an object.
  • the reliability of the scene data is preferably assessed, i. H . for example whether the scene data correctly reflects reality.
  • a reliability measure is preferably assigned to the sensory scene detection and/or the data processing and/or the object recognition and/or the database. For example, depending on a result of the comparison of the scene data with the object data of the sensory scene detection and/or the data processing and/or the object recognition, a measure for the reliability of the scene data can be assigned. In other words, trust in the database can be transferred to the vehicle's sensors, the algorithms used for data processing in the vehicle and/or the "virtual" scene based on the sensory detection.
  • a measure of reliability within the meaning of the invention can be understood in particular as a safety standard.
  • a measure of reliability can, for example, correspond to one of several safety levels, such as an SIL (Safety Integrity Level).
  • the measure of the reliability of the scene data is expediently dependent on quality assurance of the scene data, in particular defined by quality assurance.
  • the measure of the reliability of the scene data that can be associated with quality assurance can be identified on the scene tion, data processing and/or object recognition.
  • the object data essentially match the scene data, a robust object recognition or Obj ektidenti fikation be assumed.
  • the object data do not match or do not match sufficiently with the scene data, it can be assumed that the object recognition is faulty or defective. Since this has a direct effect on the reliability, for example, of the control of an at least partially automated, in particular driverless, operated vehicle, the comparison thus also allows an assessment of the driving safety of such a vehicle.
  • a measure of the reliability of the scene data in particular the scene data contained in it, can be associated with the object recognition, for example with the detection of the environment and/or the recognition of the objects in the scene .
  • the safety of the correct scene detection, data processing and/or object recognition is provided by the Consistency of a multitude of specific characteristics of the objects recorded by sensors and recorded in the database is determined. If the specific features match at least to a degree that is preferably predetermined, it is possible to conclude that the overall system is functioning correctly.
  • the correct detection of an object at a position stored in the database can also be used to determine the location of the vehicle, the calibration of sensors set up for detection, the function of the sensors and the sensor fusion, the flawless function of the hardware and software for information processing and communication .
  • the information about the reliability of the individual components, in particular in the form of the result of the comparison, can be reported to a health management system of object recognition, for example, which reduces performance parameters when errors or limitations are detected.
  • a database is therefore preferably used whose authorship is classified as reliable and/or which is correspondingly certified.
  • the method is expediently based on a database that has been at least partially created or at least checked by a human operator.
  • the database or the data contained therein conforms to a specified security standard, such as the DIN standard EN 61508.
  • the object data By comparing the object data with the scene data, it is also possible, when automating vehicle functions, to determine an "uncertain", i.e. possibly non-certified Algorithm for object recognition or whose reliability has been tested under all operating conditions. -Use identification of obj ects. As long as at least part of the object data at least essentially matches the scene data, i.e. for example positions, structures and/or shapes of objects determined during sensory detection of the environment correspond to a description of the environment according to the scene data, the measure for the reliability of the scene data associated with the object recognition and the object data are used accordingly, for example, to control the vehicle.
  • an "uncertain" i.e. possibly non-certified Algorithm for object recognition or whose reliability has been tested under all operating conditions.
  • -Use identification of obj ects As long as at least part of the object data at least essentially matches the scene data, i.e. for example positions, structures and/or shapes of objects determined during sensory
  • object data that have no correspondence in the database can then also be used to control the vehicle. It can be assumed that such "additional" object data characterize objects in the scene that are not recorded in the database.
  • the trust that was built up when recognizing objects recorded in the database can be transferred at least partially to the recognition of these "additional", unknown obj ects. With such obj ects it can be for example non-stationary objects such as people on a platform, animals in the track bed and/or the like, the occurrence of which along the route cannot be foreseen.
  • the database forms the map of a route along which the vehicle is traveling and the scene data includes map data from a portion of the map.
  • a measure of the reliability is determined which is determined by the scope of the scene data.
  • the degree of reliability preferably depends on the amount of information contained in the scene data.
  • the scene data can have, for example, so-called feature vectors for each object from the scene, with the feature vectors preferably having specific features of the detected objects as entries.
  • the length of the vectors, i. H. the number of features they describe then corresponds appropriately to the degree of reliability.
  • a large amount of scene data allows the validation of objects from the scene detected using the sensor data with a high level of reliability.
  • an object recognized on the basis of the sensor data can be identified in the database with a high degree of certainty by a combination of features, ie it can be associated with an object recorded in the database.
  • the feature vectors corresponding to the scene data are expediently overdetermined. D. H . that already a subset of specific features contained in the feature vectors is sufficient to clearly recognize the object. As a result, the robustness when comparing with the object data or the feature vectors corresponding to the object data are increased.
  • a degree of correspondence for the correspondence of the object data with the scene data is determined.
  • the degree of agreement can also be interpreted as a degree of confidence which characterizes the reliability of the detection of the objects in the area surrounding the vehicle, in particular the strength of deviations between the object data and the scene data.
  • the degree of agreement can be used to specify a specificity with which an object is recognized on the basis of the sensor data.
  • the reliability of the object recognition can be assessed in a particularly simple manner on the basis of the degree of agreement.
  • the information about the reliability of the object recognition can be further processed in a particularly efficient manner on the basis of the degree of agreement or used for the control of the vehicle.
  • the degree of agreement can, for example, assume a high value if the object data not only characterizes objects that are also characterized by the scene data, but also if the characterization by the respective data essentially matches.
  • the scene data can not only contain information about the position of an object, but also about other quality-assured features, the traceability and specificity of which can be proven to an expert.
  • the scene data can, for example, also contain information about the shape, structure, extent, texture, color and/or the like of an object. The greater the proportion of this information that corresponds to the corresponding information from the object data is correct, the greater the ascertained degree of agreement can be.
  • the determined degree of correspondence can assume a small value if the information and shape contained in the object data about a position of a detected object essentially corresponds to the corresponding information from the scene data, but the information about the extent and texture does not.
  • a check is made as to whether the degree of correspondence reaches or exceeds a predetermined correspondence threshold value.
  • the match threshold can be used as an indicator of whether a match is considered sufficient or reliably specified number of properties of a recognized object matches the information contained in the scene data. If this is the case, it can be assumed that the objects have been reliably identified. From this, conclusions can be drawn, for example, about the reliability of the position determination of the vehicle, the reliable and precise functioning of the sensors for detecting and determining the object positions and, if necessary, the correct calibration of several sensors with one another. If this is not the case, it can be assumed that the object was not recognized correctly.
  • the agreement threshold value preferably depends on the security requirements or can be selected as a function of them. If the match threshold value is chosen to be large and the match level reaches or exceeds it, a high security level can in principle be associated with the object recognition. On the other hand, if the matching threshold value is selected to be smaller and the degree of matching is reached or exceeded, only a low security level can be associated with the object recognition.
  • the control is carried out depending on a result of the test as to whether the degree of conformity meets the specified meets or exceeds a match threshold. If this is the case, error-free object recognition can be assumed and the object data determined in the process can be used as a basis for the control of the vehicle. On the other hand, if the degree of agreement falls below the agreement threshold value, an incorrect or incorrect object recognition can be assumed. In this case, the object data should not be used as a basis for controlling the vehicle. Rather, it may be necessary to transfer the vehicle to a safe state, at least if no redundant system for controlling the vehicle is available or if this is also faulty.
  • the vehicle can be stopped, for example, because the object data are classified as no longer reliable.
  • the sensor data together with at least part of the scene data for example the information as to which objects should actually have been recognized with which properties, can be stored in a training database for retraining the object recognition.
  • the degree of conformity in particular that which is output, is logged.
  • the degree of conformity in particular a time profile of the degree of conformity, can be stored. This allows verification of the reliability of the scene detection and/or data processing of the sensor data and/or the object recognition and/or the database.
  • the logged degree of conformity can, for example, be presented to an authority or an expert in order to obtain approval for a control system for the vehicle, which is at least partially based on the object data.
  • the degree of agreement can be demonstrated much more efficiently using the degree of agreement than using a conventional, direct analysis, for example of the algorithm on which the object recognition is based or whose source codes .
  • a source code analysis usually requires considerable effort.
  • the determination of the degree of conformity also has the advantage that it is a proof of reliability essentially in real time and thus even during regular operation of the vehicle or. of the corresponding control system.
  • the degree of agreement can also serve as a basis for increasing or at least maintaining trust in the database and the scene data contained therein. If there is a high degree of agreement, it can not only be assumed that the object recognition works reliably, but also that the database is correct. If the degree of conformity is logged, the logged degree of conformity can be used to prove the reliability of the database when the database is used again later for monitoring the journey of the same vehicle or another vehicle. In particular, the logged degree of agreement can be interpreted as a certificate from the database.
  • the generated object data or the scene data are compared, in particular additionally, with dynamic data provided by at least one object from the environment of the vehicle.
  • a reliability of the sensory scene detection and/or the data processing of the sensor data and/or the object recognition and/or the database is assessed.
  • a measure of the reliability of the dynamic data can be associated with the scene detection and/or the data processing and/or the object recognition and/or the database.
  • the dynamic data can be transmitted wirelessly from the at least one object to the vehicle.
  • a train approaching the vehicle staff working in the track bed for maintenance tion, a maintenance tool such as drag shoes and/or the like transmits dynamic data to the vehicle, with which the generated object data can then be compared.
  • the dynamic data in particular in real time, to be transmitted to the database and included in the database.
  • the reliability of the dynamic data can be assessed as a function of a result of the comparison of the generated object data or the scene data with the dynamic data provided.
  • a reliability measure associated with the reliability of the scene recognition and/or the data processing of the sensor data and/or the object recognition and/or the database can be associated with the dynamic data.
  • the measure of the reliability of the scene data which in one possible embodiment is associated with the scene recognition and/or the data processing of the sensor data and/or the object recognition on the basis of the comparison of the object data with the scene data. was also associated with the dynamics data . For example, if an object is attached to a correct -d. H . If the position validated by the scene data is recognized, the quality of the dynamic data can also be assured if they match the object data and/or the scene data.
  • the vehicle and the object can thus form a so-called reliability community (community of dependability).
  • Such quality assurance of the dynamic data can also be provided for the object itself and/or for other vehicles or other road users.
  • the vehicles or Road users for example, use their sensors independently of other vehicles or have road users validated. This allows an increase in the reliability of the overall system, i. H . of the system Vehicles and obj ects that provide such dynamic data or. belong to the reliability community.
  • errors for example in the sensors for capturing the scene or the object recognition, can be detected or corrected faster and more reliably. diagnose .
  • a position of the vehicle on a route is determined and the scene from the surroundings of the vehicle is recorded at the determined position. Based on the determined position, the relevant scene data from the database can be identified particularly effi ciently and made available for comparison. Accordingly, the generated object data are compared with scene data stored in the database, which characterize objects in the vicinity of the determined position of the vehicle.
  • the position of the vehicle is not only determined with the help of the database and/or information read from the database is used directly to control the vehicle. Rather, the position of the vehicle can be used as a basis for a comparison of the object data with the route data.
  • the position can be determined using conventional or methods known from the prior art, such as using GPS signals.
  • the scene data is expediently filtered on the basis of the determined position. Filtered scene data is preferably provided for comparison with the object data. This makes it possible to ensure that the object data are only compared with those scene data that characterize objects in the area surrounding the vehicle at the determined position. In other words, it can be ruled out that the object data are compared with scene data that characterize objects that are located in a different section of the route.
  • the comparison identifies a detected object with an object recorded in the database, but the detected position of the object differs slightly from the position stored in the database, depending on the reliability of the information from the other sources, either (i) the determined current position of the vehicle can be corrected, (ii) if the deviation is only determined for a recognized object, the stored position information in the database is adjusted or (iii) a calibration or alignment of a sensor device, for example a camera, in relation to the vehicle to be adjusted. Which correction or adjustment (i), (ii) or (iii) is made is preferably determined on the basis of error models.
  • hazardous objects in the area surrounding the vehicle are determined on the basis of a result of the comparison.
  • a dangerous object is to be understood here in particular as an object that can (negatively) impair the travel of the vehicle.
  • a dangerous object can therefore be particularly dangerous for the vehicle and/or endangered by the vehicle.
  • a risk assessment is to be understood here in particular as an analysis and assessment of the scene with regard to a risk to the vehicle and/or an object.
  • the endangered objects are expediently selected from objects that are characterized by the object data.
  • objects are preferably selected which are recognized on the basis of the sensor data but are not characterized by scene data.
  • a classification with regard to the risk to the vehicle and/or the objects is preferably limited to objects that are not recorded in the database. This allows the number of objects on which the risk assessment is based can be significantly reduced . In particular, it can be ensured in this way that when analyzing the scene, only objects are taken into account that could actually be associated with a hazard potential. Accordingly, a more ef fi cient risk assessment is possible.
  • landmarks and thus stationary objects such as the roadway, signaling systems, buildings and/or the like are recorded in the database.
  • Such objects are also referred to as previously known objects and generally do not pose a threat to the vehicle's travel. They therefore do not have to be taken into account for a risk assessment.
  • Moving objects such as people on a platform or animals on the track bed, on the other hand, are usually not included in the database. The number of objects to be checked for a possible hazard is reduced significantly by precisely these mobile and a priori unknown objects being identified and selected when comparing the object data with the scene data.
  • the risk objects on which the risk assessment is based can also be selected on the basis of the object data, in particular on the basis of a distance from the vehicle. As a result, the number of objects to be taken into account for the risk assessment can be further reduced.
  • the risk assessment is preferably only based on objects that are located at a specified distance, in particular in a specified distance range, from the vehicle. For example, based on the comparison of the object data with the scene data, all moving objects in the vicinity of the vehicle can first be selected and this selection can then be reduced to those moving objects that are located at the specified distance from the vehicle. In this way, objects that are not recorded in the database but are too far away from the vehicle can be represent a hazard be excluded from the hazard assessment . This means that the risk assessment can be carried out even more efficiently.
  • an excess list of all objects characterized by the object data that are not characterized by scene data is determined during the comparison.
  • the comparison can be used to create a list of objects in the area surrounding the vehicle that are not recorded in the database.
  • These objects can be, for example, moving objects such as people on a railway track, animals on the track bed and/or the like.
  • the surplus list is then preferably output at least as part of the result.
  • the surplus list allows an analysis of the driving situation at the determined position of the vehicle to be reduced to relevant objects. For example, the objects on which the risk assessment is based can be selected using the surplus list.
  • a control system of the vehicle can be designed, for example, to only take into account the objects contained in the surplus list when controlling the vehicle. This is based on the idea that there is no need to react surprisingly to objects that are recorded in the database and are therefore already known. As a result, a particularly efficient control of the vehicle can be achieved.
  • object data of a recognized object are determined on the basis of the scene data.
  • further object data are preferably determined, in particular for objects not characterized by the scene data.
  • the object data can also be supplemented on the basis of the scene data. This allows the reliability in the detection of obj ects based on the Sensor data, especially when generating the corresponding object data, are further increased.
  • the position of objects recognized on the basis of the sensor data that are not recorded in the database can be determined more precisely on the basis of a position relative to a recognized object that is recorded in the database. If a person is detected in the vicinity of a signal system based on the sensor data and the signal system is recorded in the database, the distance of the vehicle to the person can be derived from the distance between the signal system and the vehicle characterized by the corresponding scene data.
  • the object data of newly recognized objects that are not recorded in the database are preferably stored as provisional scene data in the database—at least if they are stationary. Alternatively or additionally, these objects can be entered in a candidate list. If these objects are found in the same position on several journeys, they can be included in a checklist and/or the provisional scene data can then be subjected to a quality control and, if necessary, permanently added to the database.
  • the database at least meets the DIN standard EN 61508, in particular in the 2010 version.
  • the database preferably has at least one safety requirement level (S IL for "Safety Integrity Level” for short) of 1.
  • S IL Safety Integrity Level
  • This safety requirement level then applies, for example, to the function of error disclosure for sensor systems for obstacle detection and to simplify scenes for obstacle detection systems and the position verification of Vehicles Due to the safety requirement level 1, it can be assumed that with constant use of the database and corresponding quality assurance, a maximum of 1 error will occur in around 11 years A particularly large amount of trust is placed in object data with the scene data. In particular, it can then be assumed that if at least part of the object data matches the scene data, the object recognition is error-free with an equally high probability.
  • a check is made as to whether object properties match.
  • at least one feature vector corresponding to the object data is expediently compared with a feature vector corresponding to the scene data. For example, it can be checked whether a position of the detected objects relative to the vehicle, a structure, in particular a topology, of the detected objects and/or a shape of the detected objects matches corresponding properties of objects recorded in the database. It is preferably checked whether and, if so, how large the deviations between the object properties are. In particular, based on the object properties or whose deviations are used to determine the degree of conformity.
  • properties that can be checked are, for example, expansion, change in shape (in the case of vegetation, for example due to growth, change of season, pruning, harvesting and/or the like), color, temperature, relative temperature to the environment, reflectivity and/or the like.
  • These properties can also be present in the database as part of the scene data in the form of a feature vector.
  • the feature vector preferably has a minimum size, i . H . a minimum number of entries, so that a coincidental coincidence of the characteristics of objects recorded in the database with the properties characterized by the object data is so unlikely that this case can be ruled out with sufficient certainty.
  • a point in time of the sensory detection of the surroundings of the vehicle is determined and the comparison of the object data with the scene data is used as a basis. This makes it possible to dynamic events or Include operations when comparing . Confidence in object recognition can thus be increased even further.
  • the day-night change and/or change of season can be included in this way. In the dark, certain objects or at least parts of them may no longer be recognizable. It is conceivable that specific light sources, such as position lights, signal lights and/or the like, are used for detection.
  • specific light sources such as position lights, signal lights and/or the like.
  • the changes in vegetation caused by the change of season for example in the form of harvested fields or leafless trees, can also be taken into account.
  • an object is located in the vicinity of the vehicle at the determined position only at a specified point in time or at least within a specified period of time.
  • Such an object can be a train, for example, which is approaching the vehicle at the determined position according to the timetable. If the vehicle passes the same position at a different point in time, it will not meet the (scheduled) train (at this position).
  • the scene data is expediently filtered on the basis of the time determined. In this way, scene data can be excluded from the comparison for which no correspondence can be found in the object data a priori due to the time determined.
  • At least part of the scene data is converted into, in particular a renewed, detection of further objects from the scene on the basis of the sensor data included . If certain objects are not found on the basis of the sensor data, but which are characterized by scene data, it does not necessarily have to be assumed that there is a lack of reliability in the object recognition. If, for example, the degree of agreement for objects that are characterized by both the scene data and the object data assumes a high value, the position of objects in the sensor data that are characterized by the scene data but not by the object data precisely these objects are searched for in order to complete the scene and thus further simplify the interpretation of the driving situation. Such a renewed “search” for further objects in the sensor data can be useful, for example, if an object is at least partially covered by another, moving object.
  • the device according to the invention for sensor data processing in a vehicle has a sensor device that is set up to detect a scene from the area surrounding the vehicle and to generate corresponding sensor data.
  • the device has a data processing device which is set up to recognize objects in the scene on the basis of data processing of the sensor data and to generate corresponding object data which characterize the recognized objects.
  • the data processing device is also set up to compare the generated object data with quality-assured scene data stored in a database and characterizing the objects in the scene, and depending on a result of the comparison, to determine the reliability of the scene detection and/or the Assess data processing of the sensor data and/or the object recognition and/or the database.
  • scene recording, data processing, object j ect detection or . -Identification and/or the database can be efficiently checked and assessed for reliability.
  • the data processing device can be designed in terms of hardware and/or software. For example, it can have one or more programs or program modules. Alternatively or additionally, it can be a, preferably with a memory and / or bus system data or. have a signal-connected, in particular digital, processing unit, such as a microprocessor unit (CPU). In particular, the CPU can be designed to process commands that are implemented as a program stored in a memory system.
  • the data processing device can in particular be set up to carry out at least part of the method according to the invention.
  • the device has a memory device in which the database is stored.
  • the storage device can have one or more, in particular different, storage media.
  • the storage device can in particular have optical, magnetic, solid-state and/or other non-volatile media.
  • the vehicle according to the invention in particular a rail vehicle, has a device according to the invention.
  • the movement of the vehicle can be monitored particularly reliably and efficiently with the aid of the device.
  • scene detection, data processing and/or object recognition or identification are monitored and assessed for reliability.
  • FIG. 1 shows an example of a driving situation from the perspective of a vehicle on a route
  • FIG. 2 shows an example of a device for sensor data processing in a vehicle
  • FIG. 3 shows an example of a method for sensor data processing in a vehicle on a route.
  • the vehicle (20) is a rail vehicle (also: "Rail-bound vehicle”), such as a train, so that route 1 is specified by the course of rails la.
  • rail vehicle also: "Rail-bound vehicle”
  • the driving situation is preferably characterized by objects 3a, 3b, 3c, 3d in the surroundings 2 of the vehicle 20.
  • the driving situation can be characterized by the arrangement of objects 3a, 3b, 3c, 3d relative to vehicle 20.
  • the driving situation is therefore sometimes also referred to as a scene.
  • FIG. 1 The objects shown in FIG. 1, purely by way of example, are an embankment 3a on the track bed, a signal system 3b for controlling rail traffic on route 1, a structure 3c—here a bridge over the track bed—and people 3d.
  • vehicles in particular vehicles that drive autonomously or at least partially autonomously with the help of a corresponding control system, are preferably equipped with a sensor device 11 that is set up to detect the environment 2 and can have, for example, one or more camera sensors, radar sensors, lidar sensors and/or the like .
  • Sensor data generated in the process can be evaluated, for example by means of algorithms for recognizing the objects 3a, 3b, 3c, 3d, and the driving situation or scene can be analyzed in this way.
  • the objects 3a-3d can be divided into two groups: previously known objects 3a-3c and unknown objects 3d.
  • Known objects 3a-3c can, for example, be stationary objects that occur each time vehicle 20 travels along predetermined route 1, in particular always at the same position.
  • Unknown objects 3d can be dynamic objects that happen to be in the area 2 when driving on route 1 .
  • the appearance of the previously known objects 3a-3c in the area 2 along route 1 can easily be predicted.
  • a database in which, for example, all stationary objects 3a-3c are recorded.
  • Such a database can contain scene data which characterizes the stationary objects 3a-3c.
  • the scene data contain, for example, the information as to which route section on route 1 contains which of the previously known objects 3a-3c and in what arrangement relative to vehicle 20.
  • dynamic 3d objects often cannot be recorded in the database or since their occurrence in area 2 along route 1 or . their location relative to vehicle 20 is unpredictable. Exceptions to this are possible, in particular with regard to dynamic objects that are related to a regularly occurring event and/or are set up to characterize them. provide rising dynamic data.
  • a train that is running according to the timetable and that meets the vehicle 20 on route 1 in a predetermined route section could be recorded in the database.
  • this train to transmit dynamic data, which contain information on the current position, the direction of movement and/or the type of train, for example, to the vehicle 20 via a radio link or another communication link. On the basis of this information, further data can then be read from the database, for example on specific characteristics of the train. Alternatively, this information can also be transmitted directly from the train to the vehicle 20 .
  • Another example is a scheduled aircraft that is visible in the sky from vehicle 20 on certain days at a certain time from a predetermined route segment.
  • the transmission of the dynamic data is preferably secured via a security protocol.
  • the dynamic data itself can be quality-assured.
  • the further route ie, for example, the course of the track bed 3a
  • the route is preferably determined from the sensor data.
  • the route can be characterized particularly well and is therefore proportionate in terms of sensors easy or can be reliably detected. If the route is validated by comparing it with the scene data, for example the position of objects 3b, 3c, 3d detected in the area 2 of the vehicle 20 can be determined relative to the route and thus particularly reliably. It can also be reliably assessed for objects 3c, 3d at greater distances as to whether they are on or next to the track, ie about the track bed 3a.
  • the comparison of the object data with the scene data can provide information about the reliability of the scene detection, the data processing of the sensor data, the object recognition and/or even supply the database itself . If objects are recorded in the database that are not recognized during the processing of the sensor data, this can be an indication of faulty or at least inadequate object recognition. Accordingly, the control of vehicle 20 should no longer be based on the object data generated during object recognition, since these are to be regarded as unreliable. Rather, the vehicle 20 should be brought into a safe state, ie stopped, for example. If necessary, this can also be an indication of an outdated database. The database can then be updated accordingly, for example after the absence of the objects has been checked by other vehicles.
  • FIG. 2 shows an example of a device 10 for sensor data processing in a vehicle, in particular in a rail vehicle.
  • a device 10 for sensor data processing in a vehicle, in particular in a rail vehicle.
  • the device 10 has a sensor device 11 , which is set up to capture a scene from the surroundings of the vehicle and to generate corresponding sensor data, as well as a data processing device 12 .
  • the data processing device 12 is set up to process the sensor data so that obj ects recognized in the scene on the basis of the sensor data and corresponding object data which characterize the recognized objects are generated.
  • the sensor device 11 expediently has one or more sensors, in particular of an optical type.
  • the sensor device 11 can have a camera, for example, which is set up to generate sensor data in the form of an image of the surroundings when the surroundings of the vehicle are detected.
  • the sensor device 11 can have one or more lidar sensors, radar sensors and/or imaging devices for the infrared and/or ultraviolet spectral range.
  • the data processing device 12 preferably has an algorithm for object recognition or can apply such an algorithm to the sensor data.
  • the detected objects can be classified and properties of the objects, such as their position relative to the vehicle, size, structure or Identify topology and/or the like.
  • the object data expediently contain this information.
  • the data processing device 12 has access to a database 13 in which scene data are stored.
  • the scene data characterize previously known, for example stationary, objects in the scene.
  • the database 13 can, but does not have to be part of the device 10 .
  • the database 13 can, for example, also be held by a server with which the data processing device 12 installed in the vehicle can communicate.
  • the device 10 also has a position determination device 14 which is set up to determine the (current) position of the vehicle on the route.
  • the position determination device 14 can be embodied, for example, as a GPS receiver or the like, in order to use received signals to determine the position of the to secure the vehicle. Alternatively or additionally, odometry data of the vehicle can also be used.
  • the data processing device 12 is preferably set up to link the position determined by the position determination device 14 with the object data generated when the objects were recognized.
  • the object data can thus be clearly assigned to a position of the vehicle on the route.
  • the object data can therefore also be referred to as position-specific or location-resolved object data.
  • the data processing device 12 is set up to base the comparison of the object data with the scene data on the determined position of the vehicle on the route.
  • the data processing device 12 is preferably set up to compare the object data with the scene data with regard to the determined position of the vehicle.
  • the data processing device 12 can in particular be set up to compare the object data with the scene data that characterize objects in the vicinity of the determined position of the vehicle. For this purpose, an assignment of the scene data to possible positions of the vehicle along the route is expediently provided in the database 13 .
  • the data processing device 12 can be set up, for example, to filter the scene data with regard to the determined position.
  • the data processing device 12 is expediently set up to extract precisely those scene data from the database 13 which are assigned to the determined position.
  • the data processing device 12 can be set up to access the scene data taken from the database 13 which are assigned to the determined position.
  • the data processing device 12 is set up to use a result of the comparison to assess the reliability of the sensory scene detection and/or the data processing of the sensor data and/or the object recognition and/or the database.
  • the data processing device 12 can be set up to associate a measure of the reliability of the scene data 13 with the sensory scene detection and/or the data processing of the sensor data and/or the object recognition.
  • the device 10 expediently has an interface 15 with the aid of which the result of the comparison can be made available.
  • the result can contain an excess list of all recognized objects that were recognized on the basis of the sensor data but are not recorded in the database 13 or at least are not assigned to the determined position.
  • the result can contain filtered object data. The result then expediently contains only that part of the object data for which the data processing device 12 was unable to determine a match with the scene data.
  • the data processing device 12 can use this surplus list or provide the filtered object data to a control system, for example, via the interface 15 .
  • the control system can analyze the driving situation, in particular a risk assessment, using the surplus list or of the filtered object data. Based on the analysis, the vehicle can be controlled by the control system. However, it is also conceivable that the data processing device 12 is already set up to analyze the driving situation, possibly also to control the vehicle, on the basis of a result of the comparison.
  • FIG. 3 shows an example of a method 100 for sensor data processing in a vehicle, in particular in a rail vehicle.
  • a position of the vehicle on the route is determined in a method step S 1 .
  • a position determination device can be provided which, for example, receives a GPS signal and/or the like and uses this to determine the (current) position of the vehicle.
  • the determined position can in particular be or will be assigned to a route section.
  • a scene from the surroundings of the vehicle is detected by sensors, for example with the aid of a sensor device.
  • Corresponding sensor data are generated in the process.
  • the position determined in method step S 1 is or is preferably assigned to the generated sensor data, for example by the position being determined at the same time as the generation of the sensor data.
  • a further method step S3 objects in the scene are recognized on the basis of data processing of the sensor data, and corresponding object data, which characterize the recognized objects, are generated.
  • the sensor data is, for example, image data that was generated by a camera of the sensor device
  • the sensor data can be evaluated using an algorithm for object recognition.
  • the resulting information on the class of the recognized object and its physical properties such as position relative to the vehicle, size, structure or Topology and/or the like is expediently provided at least as part of the object data, for example in the form of a feature vector.
  • the object data are compared with scene data stored in a database, which characterize objects in the scene.
  • scene data are expediently filtered in relation to the determined position of the vehicle.
  • a degree of correspondence can be determined which indicates the degree of correspondence between the object data and the—possibly filtered—scene data.
  • the degree of correspondence can, for example, assume a high value if at least part of the object data at least essentially corresponds to the scene data.
  • the degree of correspondence can assume a high value in particular if all objects characterized by the scene data and known in the vicinity of the determined position of the vehicle were also recognized in method step S3.
  • the degree of correspondence preferably assumes a high value if the properties of the recognized objects mapped by the object data match at least to a high degree with the properties of the previously known objects mapped by the scene data.
  • the selected features are preferably selected in such a way that there is a high probability that they only occur in combination with one type or one instance of an object.
  • the degree of agreement can indicate a specificity of the object recognition.
  • an assessment of the reliability of the scene detection from method step S2, the data processing of the sensor data and/or the object recognition from method step S3 can subsequently be undertaken. For example, it can be checked whether the degree of agreement reaches or exceeds a predetermined agreement threshold value. Depending on a result of this check, in a further method step S5, the reliability of the sensory scene detection from method step S2, the data processing of the sensor data and/or the object recognition from method step S3 can be assessed. Alternatively or additionally, the reliability of the database can also be assessed.
  • a measure of the reliability of the scene data can be associated with the scene detection in method step S2 and/or with the data processing and/or with the object identification in method step S3.
  • the sensor data processing can be assigned a specific security standard without a detailed analysis of the sensor data processing having to be carried out for this purpose.
  • the object data can be output to a control system, which uses them to control the vehicle.
  • a part of the object data which is not characterized by scene data, i. H . unknown, such as non-stationary or . can be assigned to dynamic objects in the form of a surplus list as the result of the comparison from step S4.
  • the driving situation can The basis of the surplus list can then be analyzed more ef fi ciently than on the basis of the original object data, which characterize all objects detected in the area surrounding the vehicle—that is, also previously known objects that are not relevant to the control of the vehicle.
  • step S6 - due to the associated lack of trust in the object recognition from method step S3 - it can be checked whether a redundant system for controlling the vehicle, at least for object recognition, is operational or . works flawlessly. If so, control of the vehicle can be transferred to the redundant system. Otherwise the vehicle should be transferred to a safe condition.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mechanical Engineering (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren (100) und eine Vorrichtung (10) zur Sensordatenverarbeitung in einem Fahrzeug (20) sowie ein Fahrzeug (20). Dabei wird eine Szene aus der Umgebung (2) des Fahrzeugs (20) sensorisch erfasst (S2) und entsprechende Sensordaten erzeugt. Objekte (3a, 3b, 3c, 3d) in der Szene werden auf Grundlage einer Datenverarbeitung der Sensordaten erkannt (S3) und entsprechende Objektdaten, welche die erkannten Objekte (3a, 3b, 3c, 3d) charakterisieren, erzeugt. Um die Verlässlichkeit der sensorischen Szenenerkennung, der Datenverarbeitung der Sensordaten, der Objekterkennung und/oder der Datenbank (13) zuverlässig beurteilen zu können, wird vorgeschlagen, die erzeugten Objektdaten mit in einer Datenbank (13) gespeicherten und qualitätsgesicherten Szenendaten, welche Objekte (3a, 3b, 3c, 3d) in der Szene charakterisieren, zu vergleichen (S4).

Description

Beschreibung
Verfahren und Vorrichtung zur Sensordatenverarbeitung
Die Erfindung betri f ft ein Verfahren und eine Vorrichtung zur Sensordatenverarbeitung in einem Fahrzeug sowie ein Fahrzeug .
Die Sensordatenverarbeitung ist zum Beispiel im Zusammenhang mit Fahrerassistenzsystemen oder sogar autonom fahrenden Fahrzeugen bekannt . Mithil fe einer Sensoreinrichtung kann die Umgebung eines zumindest teilautonom fahrenden Fahrzeugs erfasst , die entsprechenden Sensordaten analysiert und so Obj ekte erkannt werden . Die Steuerung des Fahrzeugs lässt sich so zumindest teilweise anhand der erkannten Obj ekte durchführen .
Die Funktionalität von Systemen zur autonomen oder zumindest teilautonomen Steuerung von Fahrzeugen kann dabei erhöht werden, wenn zusätzlich auf eine Karte zurückgegri f fen wird, die Informationen zur vom Fahrzeug befahrenen Route enthält .
Digitalisierte Karten, die in Form von Datenbanken vorliegen können, werden zum Beispiel zur Routenplanung und/oder Überwachung des Reisefortschritts in Navigationsgeräten eingesetzt . Dabei ist es auch bekannt , neben der Information zum Verlauf von Straßen oder Wegen zusätzliche Information zur Umgebung der Straßen in diesen Datenbanken zu speichern, beispielsweise zu sogenannten „Points of Interest" wie Tankstellen, Bahnhöfen, Sehenswürdigkeiten und/oder dergleichen .
Bei sogenannten HD-Karten enthalten die entsprechenden Datenbanken ein besonders hohes Maß an solcher Zusatzinformation . Diese Zusatzinformation kann dabei insbesondere sogenannte Landmarken charakterisieren . Die Landmarken beschreiben mit extrem hoher räumlicher Auflösung zum Beispiel Verkehrs zeichen, Ampeln, Straßenlampen, Bauwerke und/oder andere markante Obj ekte in der Umgebung von Straßen oder Wegen . Diese Karten können aufgrund ihres hohen Detailgrads daher sogar zur sogenannten landmarkenbasierten Navigation eingesetzt werden . Dabei werden die beim Erfassen der Fahrzeugumgebung erzeugten Sensordaten mit den Daten aus der entsprechenden Datenbank abgeglichen . Durch gefundene Übereinstimmungen kann die Position des Fahrzeugs äußerst präzise bestimmt werden . Dies lässt sich ausnutzen, um ein zumindest teilautonom fahrendes Fahrzeug „auf Spur" zu halten .
Alternativ oder zusätzlich lassen sich einer solchen Karte aber auch fahrtechnisch relevante Informationen wie erlaubte Höchstgeschwindigkeit , Vorfahrtsregelungen, Straßenzustand und/oder dergleichen entnehmen . Im Zusammenspiel mit der in den Sensordaten enthaltenen Informationen über die Umgebung des Fahrzeugs , zum Beispiel im Hinblick auf weitere Verkehrsteilnehmer, kann das Fahrzeug dann zumindest teilautonom navigieren .
Es ist eine Aufgabe der vorliegenden Erfindung, eine Beurteilung der Verlässlichkeit der Obj ekterkennung zu ermöglichen .
Diese Aufgabe wird gelöst durch ein Verfahren und eine Vorrichtung zur Sensordatenverarbeitung in einem Fahrzeug sowie einem Fahrzeug gemäß den unabhängigen Ansprüchen .
Bevorzugte Aus führungs formen sind Gegenstand der abhängigen Ansprüche und der folgenden Beschreibung .
Beim erfindungsgemäßen Verfahren zur Sensordatenverarbeitung in einem Fahrzeug, insbesondere in einem Schienenfahrzeug, wird eine S zene aus der Umgebung des Fahrzeugs sensorisch erfasst und entsprechende Sensordaten erzeugt . Auf Grundlage einer Datenverarbeitung der Sensordaten werden Obj ekte in der Szene erkannt und entsprechende Obj ektdaten, welche die erkannten Obj ekte charakterisieren, erzeugt . Die erzeugten Obj ektdaten werden mit in einer Datenbank gespeicherten und qualitätsgesicherten S zenendaten, welche Obj ekte in der S zene charakterisieren, verglichen . In Abhängigkeit eines Ergebnisses des Vergleichs wird eine Zuverlässigkeit der sensorischen Szenenerfassung und/oder der Datenverarbeitung der Sensordaten und/oder der Obj ekterkennung und/oder der Datenbank beurteilt .
Unter einer S zene im Sinne der Erfindung lässt sich eine Fahrsituation des Fahrzeugs verstehen . Anders gesagt kann eine S zene eine „Momentaufnahme" der Umgebung des Fahrzeugs zu einem Zeitpunkt darstellen . Somit ist eine S zene zweckmäßigerweise durch Obj ekte aus der Umgebung des Fahrzeugs und deren Anordnung relativ zueinander und/oder zum Fahrzeug an einem Zeitpunkt definiert .
Unter einer Datenverarbeitung von Sensordaten im Sinne der Erfindung lässt sich eine , insbesondere algorithmische , Analyse der Sensordaten verstehen . Insbesondere können mit den Sensordaten mathematische Operationen und/oder eine Mustererkennung ausgeführt werden . Eine Datenverarbeitung von Sensordaten wird vorzugsweise von einer künstlichen Intelligenz , beispielsweise von einem trainierten neuronalen Netz und/oder dergleichen, ausgeführt . Eine Datenverarbeitung von Sensordaten kann insbesondere eine Verarbeitung der Daten mithil fe wenigstens eines Algorithmus zur digitalen Bildverarbeitung umfassen .
Unter qualitätsgesicherten S zenendaten im Sinne der Erfindung lassen sich insbesondere Daten verstehen, denen ein besonders hohes Maß an Zuverlässigkeit beigemessen wird . Beispielsweise kann der in solchen Daten enthaltenen Information in besonderem Maße vertraut werden . Qualitätsgesicherte S zenendaten können beispielsweise einen vorgegebenen Sicherheitsstandard, insbesondere eine von mehreren Sicherheitsstufen wie etwa ein SIL ( Safety Integrity Level ) , erfüllen .
Die S zenendaten können zum Beispiel Eigenschaften, im Folgenden auch Merkmale genannt , der Obj ekte charakterisieren . Die Qualitätssicherung der S zenendaten umfasst zweckmäßigerweise unter anderem, dass zumindest eine Kombination der Eigenschaften bzw . Merkmale spezi fisch für j edes durch die S zenen- daten charakterisierte Obj ekt ist . Insbesondere kann für qua- litätsgesicherte S zenendaten vorgesehen sein, dass die eindeutige Beschreibung eines Obj ekts durch zumindest ein Merkmal , insbesondere eine Kombination von Merkmalen, hinsichtlich der Spezi fität gegenüber anderen Obj ekten gesichert ist .
Ein Aspekt der Erfindung basiert auf dem Ansatz , die Fahrt eines Fahrzeugs , insbesondere eines Schienenfahrzeugs wie etwa eines Zugs oder zumindest eines Triebwagens bzw . einer Lok, zum Beispiel entlang einer vorgegebenen Route anhand einer Datenbank zu überwachen . Die Datenbank enthält dabei S zenendaten, welche Obj ekte vorzugsweise in verschiedenen S zenen entlang der Route charakterisieren . Beim Überwachen der Fahrt werden in bevorzugter Weise Obj ekte in einer S zene aus der Umgebung des Fahrzeugs auf der Grundlage von beim sensorischen Erfassen der Umgebung des Fahrzeugs erzeugten Sensordaten identi fi ziert . Zweckmäßigerweise werden Obj ektdaten, die beim Erkennen der Obj ekte mithil fe einer insbesondere algorithmischen Datenverarbeitung erzeugt werden und welche die erkannten Obj ekte charakterisieren, mit zumindest einem Teil der S zenendaten verglichen . Dadurch, dass über den Vergleich die auf den Sensordaten basierenden Obj ektdaten mit den S zenendaten in Beziehung gesetzt werden, kann die Zuverlässigkeit der sensorischen S zenenerfassung und/oder der Datenverarbeitung der Sensordaten, also des Erkennungsalgorithmus an sich, und/oder der Obj ekterkennung bzw . -Identi fikation beurteilt werden . Alternativ oder zusätzlich ist es so auch denkbar, die Zuverlässigkeit der Datenbank zu beurteilen .
Bei der Beurteilung der sensorischen S zenenerfassung wird vorzugsweise die Zuverlässigkeit der Sensorik beurteilt , d . h . zum Beispiel ob eine Sensoreinrichtung korrekt arbeitet .
Bei der Beurteilung der Datenverarbeitung der Sensordaten wird vorzugsweise die Zuverlässigkeit des Verfahrens beurteilt , nach dem die Sensordaten verarbeitet werden . Zum Beispiel kann die Zuverlässigkeit eines entsprechenden Algorithmus bzw . einer künstlichen Intelligenz beurteilt werden . Bei der Beurteilung der Obj ekterkennung wird vorzugsweise die Zuverlässigkeit des Ergebnisses der Datenverarbeitung beurteilt , d . h . zum Beispiel ob einem Obj ekt die richtigen Eigenschaften zugewiesen wurden .
Bei der Beurteilung der Datenbank wird vorzugsweise die Zuverlässigkeit der S zenendaten beurteilt , d . h . zum Beispiel ob die S zenendaten die Wirklichkeit korrekt abbilden .
Bei der Beurteilung der Zuverlässigkeit wird der sensorischen Szenenerfassung und/oder der Datenverarbeitung und/oder der Obj ekterkennung und/oder der Datenbank vorzugsweise ein Zu- verlässigkeitsmaß zugeordnet . Beispielsweise kann in Abhängigkeit eines Ergebnisses des Vergleichs der S zenendaten mit den Obj ektdaten der sensorischen S zenenerfassung und/oder der Datenverarbeitung und/oder der Obj ekterkennung ein Maß für die Zuverlässigkeit der S zenendaten zugeordnet werden . Anders gesagt lässt sich das Vertrauen in die Datenbank so auf die Sensorik des Fahrzeugs , die zur Datenverarbeitung im Fahrzeug eingesetzten Algorithmen und/oder die auf der sensorischen Erfassung basierende „virtuelle" S zene übertragen .
Unter einem Maß für die Zuverlässigkeit im Sinne der Erfindung lässt sich insbesondere ein Sicherheitsstandard verstehen . Ein solches Zuverlässigkeitsmaß kann beispielsweise mit einer von mehreren Sicherheitsstufen, etwa eines S IL ( Safety Integrity Level ) , korrespondieren . Das Maß für die Zuverlässigkeit der S zenendaten ist zweckmäßigerweise von einer Qualitätssicherung der S zenendaten abhängig, insbesondere durch die Qualitätssicherung definiert .
So kann es ausreichen, eine Qualitätssicherung der S zenendaten, insbesondere der Spezi fität , mit der die S zenendaten Obj ekte und/oder deren Eigenschaften charakterisieren, vorzunehmen, um den Betrieb der Obj ekterkennung abzusichern . Das mit der Qualitätssicherung assoziierbare Maß für die Zuverlässigkeit der S zenendaten lässt sich auf die S zenenerken- nung, die Datenverarbeitung und/oder die Obj ekterkennung übertragen . Auf eine dedi zierte Qualitätssicherung der S zenenerkennung, der Datenverarbeitung und/oder der Obj ekterkennung, die im Falle von dabei eingesetzten Algorithmen äußerst aufwändig sein kann, kann dagegen verzichtet werden .
Stimmen die Obj ektdaten mit den S zenendaten im Wesentlichen überein, kann beispielsweise von einer robusten Obj ekterkennung bzw . Obj ektidenti fikation ausgegangen werden . Stimmen die Obj ektdaten dagegen nicht oder nicht ausreichend mit den Szenendaten überein, kann dagegen von einer fehler- oder mangelhaften Obj ekterkennung ausgegangen werden . Da sich dies direkt auf die Zuverlässigkeit zum Beispiel der Steuerung eines zumindest teilweise automatisiert , insbesondere fahrerlos , betriebenen Fahrzeugs auswirkt , erlaubt der Vergleich somit auch eine Beurteilung der Fahrsicherheit eines solchen Fahrzeugs . Insbesondere kann in Abhängigkeit eines Ergebnisses des Vergleichs ein Maß für die Zuverlässigkeit der S zenendaten, insbesondere der in ihr enthaltenen S zenendaten, mit der Obj ekterkennung assoziiert werden, also zum Beispiel mit dem Erfassen der Umgebung und/oder dem Erkennen der Obj ekte in der S zene .
Beim ( teil- ) automatischen bzw . fahrerlosen Fahren ist es üblich, dass hohe , gegebenenfalls gesetzlich vorgegebene , Si- cherheitsanf orderungen erfüllt werden müssen . Insbesondere muss eine auf den Sensordaten basierende Obj ekterkennung mit besonders hoher Zuverlässigkeit erfolgen . Für die Zulassung automatischer Steuerungssysteme kann es auch notwendig sein, einen Nachweis dieser Zuverlässigkeit zu erbringen . Dies wird durch den Vergleich der Obj ektdaten mit den S zenendaten möglich . Insbesondere kann dadurch auch im Regelbetrieb, insbesondere in Echtzeit , geprüft werden, ob die S zenenerfassung, die Datenverarbeitung und/oder die Obj ekterkennung zuverlässig arbeitet .
Vorzugsweise wird die Sicherheit der korrekten S zenenerfassung, Datenverarbeitung und/oder Obj ekterkennung durch die Übereinstimmung von einer Viel zahl von spezi fischen Merkmalen der sensorisch erfassten und in der Datenbank erfassten Obj ekte bestimmt . Stimmen die spezi fischen Merkmale zumindest zu einem, vorzugsweise vorgegebenen, Grad überein, kann auf die korrekte Funktion des Gesamtsystems geschlossen werden .
Durch die korrekte Erkennung eines Obj ektes an einer in der Datenbank hinterlegten Position kann auch die Ortsbestimmung des Fahrzeuges , die Kalibrierung von zur Erfassung eingerichteten Sensoren, die Funktion der Sensoren und der Sensorfusion, die einwandfreie Funktion der Hardware und Software zur Informationsverarbeitung und Kommunikation nachgewiesen werden . Die Information über die Zuverlässigkeit der einzelnen Komponenten, insbesondere in Form des Ergebnisses des Vergleichs , kann beispielsweise an ein Health-Managementsystem der Obj ekterkennung gemeldet werden, welches bei erkannten Fehlern oder Einschränkungen Leistungsparameter reduziert .
Bei sich verschlechterten Sichtbedingungen durch Regen, Nebel , Rauch oder Schnee , bei einer Verschmutzung oder nicht mehr gegebener Kalibrierung einer Teilmenge der Sensoren kann beispielsweise eine Reduktion der zulässigen Geschwindigkeit des Fahrzeuges angeordnet werden .
Dabei ist es vorteilhaft , wenn der zugrunde gelegten Datenbank bzw . den darin enthaltenen S zenendaten ein besonders großes Vertrauen entgegengebracht werden kann . Vorzugsweise wird daher eine Datenbank herangezogen, deren Autorenschaft als zuverlässig eingestuft ist und/oder die entsprechend zerti fi ziert ist . Zweckmäßigerweise wird dem Verfahren eine Datenbank zugrunde gelegt , die zumindest teilweise von einem menschlichen Bediener erstellt oder wenigstens geprüft worden ist . Zweckmäßigerweise entspricht die Datenbank bzw . die darin enthaltenen Daten einem vorgegebenen Sicherheitsstandard, etwa der DIN Norm EN 61508 .
Durch das Vergleichen der Obj ektdaten mit den S zenendaten ist es auch möglich, bei der Automatisierung von Fahrzeugfunktionen einen „unsicheren" , d . h . gegebenenfalls nicht zerti fi- zierten oder auf seine Zuverlässigkeit unter allen Betriebsbedingungen geprüften, Algorithmus zur Obj ekterkennung bzw . -Identi fikation von Obj ekten einzusetzen . So lange zumindest ein Teil der Obj ektdaten mit den S zenendaten zumindest im Wesentlichen übereinstimmt , also zum Beispiel beim sensorischen Erfassen der Umgebung ermittelte Positionen, Strukturen und/oder Formen von Obj ekten mit einer Beschreibung der Umgebung gemäß den S zenendaten korrespondieren, kann das Maß für die Zuverlässigkeit der S zenendaten mit der Obj ekterkennung assoziiert und die Obj ektdaten entsprechend zum Beispiel zur Steuerung des Fahrzeugs eingesetzt werden . Denn bei der korrekten Erkennung eines Obj ektes an der erwarteten Position, insbesondere bei der Erkennung mit einer hohen Spezi fität , kann davon ausgegangen werden, dass die Wahrscheinlichkeit groß ist , auch andere Obj ekte in der S zene korrekt erkannt zu haben . Dies begründet sich damit , dass die Wahrscheinlichkeit eines Auftretens von Fehlern, die nur einen Teil des von einer Sensoreinrichtung erfassten Ausschnitts aus der Umgebung des Fahrzeugs betref fen, gegenüber einem Auftreten eines Fehlers , der die gesamte Erfassung der Umwelt betri f ft , höchst gering ist . Wenn in kurzer Abfolge viele Obj ekte korrekt in unterschiedlichen Abschnitten eines Erfassungsbereichs der Sensoreinrichtung erfasst werden, sinkt die Wahrscheinlichkeit für Fehler weiter, da sporadische Aus fälle beispielsweise bei Kamerasensoren sehr selten sind und auch Verschmutzungen der Optik oder Einschränkungen der Scan-Funktion eines Scanners mit hoher Wahrscheinlichkeit ausgeschlossen werden können .
Es können dann insbesondere auch Obj ektdaten, die keine Entsprechung in der Datenbank haben, zur Steuerung des Fahrzeugs eingesetzt werden . Es lässt sich nämlich davon ausgehen, dass solche „zusätzlichen" Obj ektdaten Obj ekte in der S zene charakterisieren, die nicht in der Datenbank erfasst sind . Dabei kann das Vertrauen, das bei der Erkennung von in der Datenbank erfassten Obj ekten auf gebaut wurde , zumindest teilweise auf die Erkennung dieser „zusätzlichen" , unbekannten Obj ekte übertragen werden . Bei solchen Obj ekten kann es sich bei- spielsweise um nicht-stationäre Objekte wie beispielsweise Personen auf einem Bahnsteig, Tiere im Gleisbett und/oder dergleichen handeln, deren Auftreten entlang der Route nicht vorhersehbar ist.
In einer bevorzugten Aus führungs form bildet die Datenbank die Karte einer Route, auf der das Fahrzeug fährt, und die Szenendaten enthalten Kartendaten aus einem Abschnitt der Karte. Mithilfe einer solchen Karte können die bei der Fahrt des Fahrzeugs zu erwartenden Szenen besonders zuverlässig und präzise ermittelt und die entsprechenden Szenendaten dem Vergleich zugrunde gelegt werden.
In einer weiteren bevorzugten Aus führungs form wird beim Beurteilen der Zuverlässigkeit der sensorischen Szenenerfassung und/oder der Datenverarbeitung der Sensordaten und/oder der Ob ekterkennung und/oder der Datenbank ein Maß für die Zuverlässigkeit ermittelt, welches durch den Umfang der Szenendaten bestimmt ist. Anders gesagt hängt das Zuverlässigkeitsmaß bevorzugt von der Informationsmenge, die in den Szenendaten enthalten ist, ab. Die Szenendaten können beispielsweise sogenannte Merkmalsvektoren für jedes Objekt aus der Szene aufweisen, wobei die Merkmalsvektoren als Einträge vorzugsweise spezifische Merkmale der erfassten Objekte aufweisen. Die Länge der Vektoren, d. h. die Anzahl der durch sie beschriebenen Merkmale, korrespondiert dann zweckmäßigerweise mit dem Zuverlässigkeitsmaß. Ein großer Umfang der Szenendaten erlaubt das Validieren von anhand der Sensordaten erkannten Objekten aus der Szene mit hoher Zuverlässigkeit.
Insbesondere kann durch eine Kombination von Merkmalen ein auf Grundlage der Sensordaten erkanntes Objekt mit hoher Sicherheit in der Datenbank identifiziert, d. h. mit einem in der Datenbank erfassten Objekt assoziiert werden. Dadurch kann der Nachweis des Vorliegens des Objekts in den Sensordaten geführt werden. Zweckmäßigerweise sind die mit den S zenendaten korrespondierenden Merkmalsvektoren überbestimmt . D . h . , dass bereits eine Untermenge von in den Merkmalsvektoren enthaltenen spezifischen Merkmalen ausreicht , um das Obj ekt eindeutig zu erkennen . Dadurch kann die Robustheit beim Vergleichen mit den Obj ektdaten bzw . den mit den Obj ektdaten korrespondierenden Merkmalsvektoren erhöht werden .
In einer weiteren bevorzugten Aus führungs form wird beim Vergleichen der Obj ektdaten mit den S zenendaten ein Übereinstimmungsmaß für die Übereinstimmung der Obj ektdaten mit den S zenendaten ermittelt . Das Übereinstimmungsmaß kann auch als ein Konfidenzmaß aufgefasst werden, welches die Zuverlässigkeit des Erkennens der Obj ekte in der Umgebung des Fahrzeugs , insbesondere die Stärke von Abweichungen zwischen den Obj ektdaten und den S zenendaten, charakterisiert . Anders gesagt lässt sich mit dem Ubereinstimmungsmaß eine Spezi fität angeben, mit der ein Obj ekt auf Grundlage der Sensordaten erkannt wird . Anhand des Ubereinstimmungsmaßes lässt sich die Zuverlässigkeit der Obj ekterkennung besonders einfach beurteilen . Insbesondere kann anhand des Ubereinstimmungsmaßes die Information über die Zuverlässigkeit der Obj ekterkennung besonders ef fizient weiterverarbeitet oder für die Steuerung des Fahrzeugs genutzt werden .
Das Ubereinstimmungsmaß kann beispielsweise einen großen Wert annehmen, wenn durch die Obj ektdaten nicht nur Obj ekte charakterisiert sind, die auch durch die S zenendaten charakterisiert sind, sondern auch, wenn die Charakterisierung durch die j eweiligen Daten im Wesentlichen übereinstimmt . Die S zenendaten können etwa nicht nur Information über die Position eines Obj ekts enthalten, sondern auch über weitere qualitätsgesicherte Merkmale , deren Nachvoll ziehbarkeit und Spezi fität einem Gutachter nachgewiesen wird . Die S zenendaten können beispielsweise auch Information über die Form, Struktur, Ausdehnung, Textur, Farbe und/oder dergleichen eines Obj ekts enthalten . Je größer der Anteil dieser Information ist , der mit entsprechender Information aus den Obj ektdaten überein- stimmt , desto größer kann das ermittelte Übereinstimmungsmaß sein . Entsprechend kann das ermittelte Übereinstimmungsmaß einen kleinen Wert annehmen, wenn zwar die in den Obj ektdaten enthaltene Information und Form über eine Position eines erfassten Obj ekts mit der entsprechenden Information aus den Szenendaten im Wesentlichen übereinstimmt , die Information über die Ausdehnung und Textur j edoch nicht .
Zweckmäßigerweise wird geprüft , ob das Übereinstimmungsmaß einen vorgegebenen Übereinstimmungsschwellenwert erreicht o- der überschreitet . Der Übereinstimmungsschwellenwert kann als Indikator dienen, ob eine als ausreichend bzw . sicher vorgegebene Anzahl an Eigenschaften eines erkannten Obj ekts mit der in den S zenendaten enthaltenen Information übereinstimmt . Ist dies der Fall , kann von einer sicheren Erkennung der Obj ekte ausgegangen werden . Daraus lässt sich zum Beispiel auf die Sicherheit der Positionsbestimmung des Fahrzeugs , die zuverlässige und exakte Funktion der Sensorik zur Erfassung und Ermittlung der Obj ektpositionen und gegebenenfalls der korrekten Kalibrierung mehrerer Sensoren zueinander schließen . Ist dies nicht der Fall , kann davon ausgegangen werden, dass das Obj ekt nicht korrekt erkannt wurde .
Der Übereinstimmungsschwellenwert hängt dabei in bevorzugter Weise von den Sicherheitsanforderungen ab oder kann abhängig davon gewählt werden . Wird der Übereinstimmungsschwellenwert groß gewählt und von dem Übereinstimmungsmaß erreicht oder überschritten, kann grundsätzlich eine hohe Sicherheitsstufe mit der Obj ekterkennung assoziiert werden . Wird der Übereinstimmungsschwellenwert kleiner gewählt und von dem Übereinstimmungsmaß erreicht oder überschritten, kann dagegen lediglich eine geringe Sicherheitsstufe mit der Obj ekterkennung assoziiert werden .
Es kann insbesondere vorgesehen sein, dass das Fahrzeug auf Grundlage des Übereinstimmungsmaßes gesteuert wird . Zweckmäßigerweise erfolgt die Steuerung in Abhängigkeit eines Ergebnisses der Prüfung, ob das Übereinstimmungsmaß den vorgegebe- nen Übereinstimmungsschwellenwert erreicht oder überschreitet . I st dies der Fall , kann von einer fehlerfreien Obj ekterkennung ausgegangen und die dabei ermittelten Obj ektdaten der Steuerung des Fahrzeugs zugrunde gelegt werden . Unterschreitet das Übereinstimmungsmaß den Übereinstimmungsschwellenwert dagegen, kann von einer fehlerhaften bzw . unkorrekten Obj ekterkennung ausgegangen werden . In diesem Fall sollten die Obj ektdaten der Steuerung des Fahrzeugs nicht zugrunde gelegt werden . Vielmehr kann es notwendig sein, das Fahrzeug in einen sicheren Zustand zu überführen, zumindest wenn kein redundantes System zur Steuerung des Fahrzeugs zur Verfügung steht oder dieses ebenfalls gestört ist . In Abhängigkeit des Übereinstimmungsmaßes kann das Fahrzeug so beispielsweise gestoppt werden, weil die Obj ektdaten als nicht mehr zuverlässig eingestuft werden . Alternativ oder zusätzlich können ebenso die Sensordaten zusammen mit zumindest einem Teil der Szenendaten, zum Beispiel der Information, welche Obj ekte mit welchen Eigenschaften eigentlich hätten erkannt werden sollen, in eine Trainingsdatenbank zum Nachtraining der Obj ekterkennung gespeichert werden .
Alternativ oder zusätzlich kann vorgesehen sein, dass das , insbesondere ausgegebene , Übereinstimmungsmaß protokolliert wird . Beispielsweise kann das Übereinstimmungsmaß , insbesondere ein zeitlicher Verlauf des Übereinstimmungsmaßes , gespeichert werden . Dadurch lässt sich ein Nachweis für die Zuverlässigkeit der S zenenerfassung und/oder Datenverarbeitung der Sensordaten und/oder der Obj ekterkennung und/oder der Datenbank führen . Das protokollierte Übereinstimmungsmaß kann beispielsweise einer Behörde oder einem Gutachter vorgelegt werden, um eine Zulassung eines Steuerungssystems für das Fahrzeug, welches zumindest teilweise auf die Obj ektdaten gestützt ist , zu erlangen .
Der Nachweis der Zuverlässigkeit kann über das Übereinstimmungsmaß wesentlich ef fi zienter geführt werden als durch eine konventionelle , direkte Analyse zum Beispiel des der Obj ekterkennung zugrunde liegenden Algorithmus bzw . dessen Quellcodes . Eine solche Quellcodeanalyse erfordert üblicherweise einen erheblichen Aufwand . Daneben hat die Ermittlung des Übereinstimmungsmaßes auch den Vorteil , dass es einen Zu- verlässigkeitsnachweis im Wesentlichen in Echtzeit und damit sogar während des Regelbetriebs des Fahrzeugs bzw . des entsprechenden Steuerungssystems erbringen kann .
Alternativ oder zusätzlich kann das Übereinstimmungsmaß auch als Grundlage dienen, das Vertrauen in die Datenbank und die darin enthaltenen S zenendaten zu erhöhen oder zumindest zu erhalten . Bei einem hohen Übereinstimmungsmaß kann nämlich nicht nur davon ausgegangen werden, dass die Obj ekterkennung zuverlässig funktioniert , sondern auch, dass die Datenbank korrekt ist . Wird das Übereinstimmungsmaß protokolliert , kann bei einer späteren, erneuten Verwendung der Datenbank zum Überwachen der Fahrt desselben oder eines anderen Fahrzeugs das protokollierte Übereinstimmungsmaß herangezogen werden, um die Zuverlässigkeit der Datenbank zu belegen . Insbesondere kann das protokollierte Übereinstimmungsmaß als Zerti fikat der Datenbank aufgefasst werden .
In einer weiteren bevorzugten Aus führungs form werden die erzeugten Obj ektdaten oder die S zenendaten, insbesondere zusätzlich, mit von zumindest einem Obj ekt aus der Umgebung des Fahrzeugs bereitgestellten Dynamikdaten verglichen . Vorzugsweise wird, in Abhängigkeit eines Ergebnisses des Vergleichs der bereitgestellten Dynamikdaten mit den Obj ektdaten bzw . den S zenendaten, eine Zuverlässigkeit der sensorischen S zenenerfassung und/oder der Datenverarbeitung der Sensordaten und/oder der Obj ekterkennung und/oder der Datenbank beurteilt . Beispielsweise kann in Abhängigkeit des Ergebnisses des Vergleichs ein Maß für die Zuverlässigkeit der Dynamikdaten mit der S zenenerfassung und/oder der Datenverarbeitung und/oder der Obj ekterkennung und/oder der Datenbank assoziiert werden . Die Dynamikdaten können von dem wenigstens einen Obj ekt drahtlos an das Fahrzeug übertragen werden . Es ist beispielsweise denkbar, dass ein dem Fahrzeug entgegenkommender Zug, im Gleisbett arbeitendes Personal zur Instandhai- tung, ein Werkzeug zur Instandhaltung wie Hemmschuhe und/oder dergleichen Dynamikdaten an das Fahrzeug überträgt , mit denen die erzeugten Obj ektdaten dann verglichen werden können . Alternativ oder zusätzlich ist es aber auch denkbar, dass die Dynamikdaten, insbesondere in Echtzeit , an die Datenbank übermittelt und in die Datenbank auf genommen werden . Durch die Berücksichtigung der Dynamikdaten lassen sich auch S zenen mit dynamischen Obj ekten zur Qualitätssicherung der Obj ekterkennung heranziehen .
In einer weiteren bevorzugten Aus führungs form kann in Abhängigkeit eines Ergebnisses des Vergleichs der erzeugten Obj ektdaten oder der S zenendaten mit den bereitgestellten Dynamikdaten eine Zuverlässigkeit der Dynamikdaten beurteilt werden . Insbesondere kann ein mit der Zuverlässigkeit der S zenenerkennung und/oder der Datenverarbeitung der Sensordaten und/oder der Obj ekterkennung und/oder der Datenbank assoziiertes Zuverlässigkeitsmaß mit den Dynamikdaten assoziiert werden . Vorzugsweise wird das Maß für die Zuverlässigkeit der Szenendaten, welches in einer möglichen Aus führungs form auf Grundlage des Vergleichs der Obj ektdaten mit den S zenendaten mit der S zenenerkennung und/oder der Datenverarbeitung der Sensordaten und/oder der Obj ekterkennung assoziiert wird bzw . wurde , auch mit den Dynamikdaten assoziiert . Wird beispielsweise ein Obj ekt an einer korrekten - d . h . durch die S zenendaten validierten - Position erkannt , können dadurch auch die Dynamikdaten qualitätsgesichert werden, wenn sie mit den Obj ektdaten und/oder den S zenendaten übereinstimmen . Das Fahrzeug und das Obj ekt können dadurch eine sogenannte Zuverläs- sigkeitsgemeinschaf t ( community of dependability) bilden .
Eine derartige Qualitätssicherung der Dynamikdaten kann auch für das Obj ekt selbst und/oder an weitere Fahrzeuge oder sonstige Verkehrsteilnehmer bereitgestellt werden . Dadurch können die Fahrzeuge bzw . Verkehrsteilnehmer zum Beispiel ihre Sensoren unabhängig von anderen Fahrzeugen bzw . Verkehrsteilnehmern validieren lassen . Dies erlaubt eine Erhöhung der Zuverlässigkeit des Gesamtsystems , d . h . des Systems aus Fahrzeugen und Obj ekten, die solche Dynamikdaten bereitstellen bzw . der Zuverlässigkeitsgemeinschaft angehören . Darüber hinaus lassen sich Fehler, zum Beispiel in der Sensorik zum Erfassen der S zene oder der Ob ekterkennung, schneller und zuverlässiger erkennen bzw . diagnosti zieren .
In einer weiteren bevorzugten Aus führungs form wird eine Position des Fahrzeugs auf einer Route ermittelt und die S zene aus der Umgebung des Fahrzeugs an der ermittelten Position erfasst . Anhand der ermittelten Position können die relevanten S zenendaten aus der Datenbank besonders ef fi zient identifi ziert und für den Vergleich bereitgestellt werden . Entsprechend werden die erzeugten Obj ektdaten mit in der Datenbank gespeicherten S zenendaten, welche Obj ekte in der Umgebung der ermittelten Position des Fahrzeugs charakterisieren, verglichen .
Im Unterschied zu konventionellen Navigationsverfahren, etwa der landmarkenbasierten Navigation, wird hierbei mithil fe der Datenbank nicht lediglich die Position des Fahrzeugs ermittelt und/oder aus der Datenbank gelesene Information direkt zur Steuerung des Fahrzeugs genutzt . Vielmehr kann die Position des Fahrzeugs einem Vergleich der Obj ektdaten mit den Routendaten zugrunde gelegt werden . Dabei kann die Position anhand konventioneller bzw . aus dem Stand der Technik bekannter Verfahren wie etwa anhand von GPS-Signalen ermittelt werden .
Zweckmäßigerweise werden die S zenendaten auf Grundlage der ermittelten Position gefiltert . Vorzugsweise werden gefilterte S zenendaten für den Vergleich mit den Obj ektdaten bereitgestellt . Dadurch lässt sich sicherstellen, dass die Obj ektdaten nur mit denj enigen S zenendaten verglichen werden, die Obj ekte in der Umgebung des Fahrzeugs an der ermittelten Position charakterisieren . Anders gesagt kann so ausgeschlossen werden, dass die Obj ektdaten mit S zenendaten verglichen werden, die Obj ekte charakterisieren, die sich in einem anderen Abschnitt der Route befinden . Wenn anhand des Vergleichs ein erkanntes Objekt mit einem in der Datenbank erfassten Objekt identifiziert werden kann, die erkannte Position des Objekts jedoch leicht von der in der Datenbank gespeicherten Position abweicht, kann je nach der Vertrauenswürdigkeit der aus den anderen Quellen stammenden Information entweder (i) die ermittelte aktuelle Position des Fahrzeuges korrigiert werden, (ii) falls die Abweichung nur für ein erkanntes Objekt festgestellt wird, die gespeicherte Positionsinformation in der Datenbank angepasst werden oder (iii) eine Kalibrierung oder Ausrichtung einer Sensoreinrichtung, zum Beispiel einer Kamera, in Relation zum Fahrzeug angepasst werden. Welche Korrektur bzw. Anpassung (i) , (ii) o- der (iii) vorgenommen wird, wird vorzugsweise auf der Basis von Fehlermodellen ermittelt.
In einer weiteren bevorzugten Aus führungs form werden auf Grundlage eines Ergebnisses des Vergleichs Gefährdungsobjekte in der Umgebung des Fahrzeugs ermittelt. Unter einem Gefährdungsobjekt ist hierbei insbesondere ein Objekt zu verstehen, das die Fahrt des Fahrzeugs (negativ) beeinträchtigen kann. Ein Gefährdungsobjekt kann also insbesondere gefährlich für das Fahrzeug und/oder durch das Fahrzeug gefährdet sein.
Die derart ausgewählten Gefährdungsobjekte werden vorzugsweise einer Gefährdungsbewertung zugrunde gelegt. Unter einer Gefährdungsbewertung ist hierbei insbesondere eine Analyse und Beurteilung der Szene im Hinblick auf eine Gefährdung des Fahrzeugs und/oder eines Objekts zu verstehen.
Zweckmäßigerweise werden die Gefährdungsobjekte aus Objekten, die durch die Objektdaten charakterisiert sind, ausgewählt. Vorzugsweise werden dabei Objekte ausgewählt, welche auf Grundlage der Sensordaten erkannt, aber nicht durch Szenendaten charakterisiert sind. Mit anderen Worten wird eine Klassifikation bezüglich der Gefährdung des Fahrzeugs und/oder der Objekte vorzugsweise auf nicht in der Datenbank erfasste Objekte beschränkt. Dadurch lässt sich die Zahl der Objekte, die der Gefährdungsbewertung zugrunde gelegt werden, signi fikant verringern . Insbesondere kann so sichergestellt werden, dass bei einer Analyse der S zene nur Obj ekte berücksichtigt werden, denen tatsächlich ein Gefahrenpotential zugeordnet sein könnte . Entsprechend wird eine ef fi zientere Gefährdungsbewertung möglich .
Typischerweise sind in der Datenbank Landmarken und damit stationäre Obj ekte wie etwa der Fahrweg, Signalanlagen, Bauwerke , und/oder dergleichen erfasst . Solche Obj ekte werden auch als vorbekannte Obj ekte bezeichnet und stellen in der Regel keine Gefährdung für die Fahrt des Fahrzeugs dar . Für eine Gefährdungsbewertung müssen Sie daher auch nicht berücksichtigt werden . Bewegliche Obj ekte wie zum Beispiel Personen auf einem Bahnsteig oder Tiere im Gleisbett sind dagegen üblicherweise nicht in der Datenbank auf genommen . Indem beim Vergleichen der Obj ektdaten mit den S zenendaten gerade diese beweglichen und a priori unbekannten Obj ekte identi fi ziert und ausgewählt werden, reduziert sich die Anzahl der auf eine mögliche Gefährdung hin zu überprüfenden Obj ekte signi fikant .
Alternativ oder zusätzlich können die der Gefährdungsbewertung zugrunde zu legenden Gefährdungsobj ekte auch auf Grundlage der Obj ektdaten, insbesondere auf Grundlage einer Entfernung zum Fahrzeug, ausgewählt werden . Dadurch kann die Anzahl der für die Gefährdungsbewertung zu berücksichtigenden Obj ekte weiter reduziert werden .
Vorzugsweise werden nur solche Obj ekte der Gefährdungsbewertung zugrunde gelegt , die sich in einer vorgegebenen Entfernung, insbesondere in einem vorgegebenen Entfernungsbereich, zum Fahrzeug befinden . Beispielsweise können anhand des Vergleichs der Obj ektdaten mit den S zenendaten zunächst alle beweglichen Obj ekte in der Umgebung des Fahrzeugs ausgewählt und diese Auswahl dann auf diej enigen der beweglichen Obj ekte reduziert werden, die sich in der vorgegebenen Entfernung zum Fahrzeug befinden . So können nicht in der Datenbank erfasste Obj ekte , die j edoch zu weit vom Fahrzeug entfernt sind, um eine Gefährdung darzustellen, von der Gefährdungsbewertung ausgeschlossen werden . Dadurch kann die Gefährdungsbewertung noch ef fi zienter erfolgen .
In einer weiteren bevorzugten Aus führungs form wird beim Vergleichen eine Überschussliste aller durch die Obj ektdaten charakterisierten Obj ekte , die nicht durch S zenendaten charakterisiert sind, ermittelt . Mit anderen Worten lässt sich anhand des Vergleichs eine Liste von Obj ekten in der Umgebung des Fahrzeugs erstellen, die nicht in der Datenbank erfasst sind . Bei diesen Obj ekten kann es sich beispielsweise um bewegliche Obj ekte wie Personen auf einem Bahngleis , Tiere im Gleisbett und/oder dergleichen handeln . Die Überschussliste wird dann vorzugsweise zumindest als Teil des Ergebnisses ausgegeben . Die Überschussliste erlaubt es , eine Analyse der Fahrsituation an der ermittelten Position des Fahrzeugs auf relevante Obj ekte zu reduzieren . Beispielsweise können anhand der Überschussliste die der Gefährdungsbewertung zugrunde zu legenden Obj ekte ausgewählt werden .
Es kann insbesondere vorgesehen sein, dass das Fahrzeug auf Grundlage der Überschussliste gesteuert wird . Ein Steuerungssystem des Fahrzeugs kann beispielsweise darauf ausgelegt sein, bei der Steuerung des Fahrzeugs lediglich die in der Überschussliste enthaltenen Obj ekte zu berücksichtigen . Dem liegt der Gedanke zugrunde , dass auf in der Datenbank erfasste und damit vorbekannte Obj ekte nicht überraschend reagiert werden muss . Dadurch kann eine besonders ef fi ziente Steuerung des Fahrzeugs erreicht werden .
In einer weiteren bevorzugten Aus führungs form werden auf Grundlage der S zenendaten weitere , insbesondere zusätzliche , Obj ektdaten eines erkannten Obj ekts ermittelt . Vorzugsweise werden dabei insbesondere für nicht durch die S zenendaten charakterisierten Obj ekte weitere Obj ektdaten ermittelt . Alternativ oder zusätzlich können die Obj ektdaten auf Grundlage der S zenendaten auch ergänzt werden . Dadurch kann die Zuverlässigkeit bei der Erkennung von Obj ekten auf Grundlage der Sensordaten, insbesondere bei der Erzeugung der entsprechenden Obj ektdaten, weiter erhöht werden .
Beispielsweise kann die Position von auf Grundlage der Sensordaten erkannten Obj ekten, die nicht in der Datenbank erfasst sind, auf Grundlage einer Relativposition zu einem erkannten Obj ekt , das in der Datenbank erfasst ist , präziser ermittelt werden . Wird etwa auf Grundlage der Sensordaten eine Person in der Nähe einer Signalanlage erkannt , und ist die Signalanlage in der Datenbank erfasst , kann die Entfernung des Fahrzeugs zur Person aus der durch die entsprechenden Szenendaten charakterisierten Entfernung zwischen der Signalanlage und dem Fahrzeug abgeleitet werden .
Die Obj ektdaten neu erkannter Obj ekte , die nicht in der Datenbank erfasst sind, werden in bevorzugter Weise - j edenfalls wenn sie stationär sind - als vorläufige S zenendaten in der Datenbank gespeichert . Diese Obj ekte können alternativ oder zusätzlich in eine Kandidatenliste eingetragen werden . Wenn diese Obj ekte bei mehreren Fahrten an der gleichen Position vorgefunden werden, können sie in eine Kontrollliste übernommen und/oder die vorläufigen S zenendaten dann einer Qualitätskontrolle unterzogen und gegebenenfalls dauerhaft zur Datenbank hinzugefügt werden .
In einer weiteren bevorzugten Aus führungs form erfüllt die Datenbank wenigstens die DIN Norm EN 61508 , insbesondere in der Fassung aus dem Jahre 2010 . Vorzugsweise weist die Datenbank wenigstens eine Sicherheitsanforderungsstufe ( kurz S IL für „Safety Integrity Level" ) von 1 auf . Diese Sicherheitsanforderungsstufe gilt dann zum Beispiel für die Funktion der Fehlerof fenbarung für Sensorsysteme zur Hinderniserkennung und zur Vereinfachung von S zenen für Hinderniserkennungssysteme und der Positionsüberprüfung von Fahrzeugen . Durch die Sicherheitsanforderungsstufe 1 kann davon ausgegangen werden, dass bei ständiger Verwendung der Datenbank und entsprechender Qualitätssicherung höchstens 1 Fehler in rund 11 Jahren auf tritt . Entsprechend kann dem Ergebnis des Vergleichs der Obj ektdaten mit den S zenendaten ein besonders großes Vertrauen entgegengebracht werden . Insbesondere kann dann davon ausgegangen werden, dass bei festgestellter Übereinstimmung zumindest eines Teils der Obj ektdaten mit den S zenendaten die Obj ekterkennung mit einer ebensolch hohen Wahrscheinlichkeit fehlerfrei ist .
In einer weiteren bevorzugten Aus führungs form wird beim Vergleichen der Obj ektdaten mit den S zenendaten geprüft , ob eine Übereinstimmung von Obj ekteigenschaften vorliegt . Zweckmäßigerweise wird hierzu wenigstens ein mit den Obj ektdaten korrespondierender Merkmalsvektor mit einem mit den S zenendaten korrespondierenden Merkmalsvektor verglichen . So kann beispielsweise geprüft werden, ob eine Position der erkannten Obj ekte relativ zum Fahrzeug, eine Struktur, insbesondere eine Topologie , der erkannten Obj ekte und/oder eine Form der erkannten Obj ekte mit entsprechenden Eigenschaften von in der Datenbank erfassten Obj ekten übereinstimmt . Vorzugsweise wird geprüft , ob und gegebenenfalls wie groß die Abweichungen zwischen den Obj ekteigenschaften sind . Insbesondere kann anhand der Obj ekteigenschaften bzw . deren Abweichungen das Übereinstimmungsmaß ermittelt werden .
Weitere Eigenschaften, die überprüft werden können, sind beispielsweise eine Ausdehnung, Formenänderung (bei der Vegetation etwa durch Wachstum, Jahres zeitenwechsel , Rückschnitt , Ernte und/oder dergleichen) , Farbe , Temperatur, Relativtemperatur zur Umgebung, Reflexivität und/oder dergleichen . Auch diese Eigenschaften können in der Datenbank als Teil der S zenendaten in Form eines Merkmalsvektors vorliegen . Der Merkmalsvektor weist vorzugsweise einen Mindestumfang, d . h . eine Mindestanzahl an Einträgen, auf , sodass eine zufällige Übereinstimmung der Merkmale von in der Datenbank erfassten Obj ekten mit den von durch die Obj ektdaten charakterisierten Eigenschaften so unwahrscheinlich ist , dass dieser Fall mit ausreichender Sicherheit ausgeschlossen werden kann . In einer weiteren bevorzugten Aus führungs form wird ein Zeitpunkt des sensorischen Erfassens der Umgebung des Fahrzeugs ermittelt und dem Vergleichen der Obj ektdaten mit den S zenendaten zugrunde gelegt . Dadurch ist es möglich, dynamische Ereignisse bzw . Vorgänge beim Vergleichen mit einzubeziehen . Das Vertrauen in die Ob ekterkennung kann so noch einmal erhöht werden .
Beispielsweise kann dadurch der Tag-Nacht-Wechsel und/oder Jahres zeitenwechsel mit einbezogen werden . Bei Dunkelheit lassen sich unter Umständen bestimmte Obj ekte oder zumindest Teile davon nicht mehr erkennen . Dafür ist es denkbar, dass spezi fische Lichtquellen, etwa Positionslichter, Signallichter und/oder dergleichen, zur Erkennung herangezogen werden . Ebenso können die durch den Jahres zeitenwechsel bedingten Änderungen der Vegetation, etwa in Form abgeernteter Felder o- der blattloser Bäume , berücksichtigt werden .
Beispielsweise lässt sich so berücksichtigen, dass sich ein Obj ekt nur zu einem vorgegebenen Zeitpunkt oder zumindest innerhalb eines vorgegebenen Zeitraums in der Umgebung des Fahrzeugs an der ermittelten Position befindet . Ein solches Obj ekt kann etwa ein Zug sein, der dem Fahrzeug fahrplanmäßig an der ermittelten Position entgegenkommt . Passiert das Fahrzeug dieselbe Position zu einem anderen Zeitpunkt , wird es dem ( fahrplanmäßig verkehrenden) Zug dagegen nicht ( an dieser Position) begegnen .
Zweckmäßigerweise werden die S zenendaten auf Grundlage des ermittelten Zeitpunkts gefiltert . So können S zenendaten vom Vergleich ausgeschlossen werden, für die aufgrund des ermittelten Zeitpunkts a priori keine Entsprechung in den Obj ektdaten gefunden werden kann .
In einer weiteren bevorzugten Aus führungs form wird in Abhängigkeit des Ergebnisses des Vergleichs zumindest ein Teil der Szenendaten in eine , insbesondere erneute , Erkennung von weiteren Obj ekten aus der S zene auf Grundlage der Sensordaten mit einbezogen . Werden auf Grundlage der Sensordaten bestimmte Obj ekte nicht gefunden, welche aber durch S zenendaten charakterisiert sind, muss nicht zwangsweise von einer mangelnden Zuverlässigkeit der Ob ekterkennung ausgegangen werden . Wenn beispielsweise das Übereinstimmungsmaß für Obj ekte , die sowohl von den S zenendaten als auch den Obj ektdaten charakterisiert sind, einen hohen Wert annimmt , kann an der Position von durch die S zenendaten, aber nicht durch die Obj ektdaten charakterisierten Obj ekten in den Sensordaten nach genau diesen Obj ekten gesucht werden, um die S zene zu vervollständigen und die Interpretation der Fahrsituation so weiter zu vereinfachen . Eine solche erneute „Suche" nach weiteren Obj ekten in den Sensordaten kann zum Beispiel sinnvoll sein, wenn ein Obj ekt durch ein anderes , bewegliches Obj ekt zumindest teilweise verdeckt wird .
Die erfindungsgemäße Vorrichtung zur Sensordatenverarbeitung in einem Fahrzeug, insbesondere in einem Schienenfahrzeug, weist eine Sensoreinrichtung auf , die zum Erfassen einer S zene aus der Umgebung des Fahrzeugs und zum Erzeugen entsprechender Sensordaten eingerichtet ist . Zudem weist die Vorrichtung eine Datenverarbeitungseinrichtung auf , die dazu eingerichtet ist , Obj ekte in der S zene auf Grundlage einer Datenverarbeitung der Sensordaten zu erkennen und entsprechende Obj ektdaten, welche die erkannten Obj ekte charakterisieren, zu erzeugen .
Erfindungsgemäß ist die Datenverarbeitungseinrichtung zudem dazu eingerichtet , die erzeugten Obj ektdaten mit in einer Datenbank gespeicherten und qualitätsgesicherten S zenendaten, welche die Obj ekte in der S zene charakterisieren, zu vergleichen und in Abhängigkeit eines Ergebnisses des Vergleichs eine Zuverlässigkeit der S zenenerfassung und/oder der Datenverarbeitung der Sensordaten und/oder der Obj ekterkennung und/oder der Datenbank zu beurteilen .
Mithil fe der derart ausgebildeten Datenverarbeitungseinrichtung kann die S zenenerfassung, die Datenverarbeitung, die Ob- j ekterkennung bzw . -Identi fikation und/oder die Datenbank effi zient überprüft und bezüglich der Zuverlässigkeit beurteilt werden .
Die Datenverarbeitungseinrichtung kann hard- und/oder softwaretechnisch ausgebildet sein . Sie kann zum Beispiel ein o- der mehrere Programme oder Programmmodule aufweisen . Alternativ oder zusätzlich kann sie eine , vorzugsweise mit einem Speicher- und/oder Bussystem daten- bzw . signalverbundene , insbesondere digitale , Verarbeitungseinheit aufweisen, etwa eine Mikroprozessoreinheit ( CPU) . Die CPU kann insbesondere dazu ausgebildet sein, Befehle , die als ein in einem Speichersystem abgelegtes Programm implementiert sind, abzuarbeiten . Die Datenverarbeitungseinrichtung kann insbesondere dazu eingerichtet sein, zumindest einen Teil des erfindungsgemäßen Verfahrens aus zuführen .
In einer bevorzugten Aus führungs form weist die Vorrichtung eine Speichereinrichtung auf , in der die Datenbank abgelegt ist . Die Speichereinrichtung kann ein oder mehrere , insbesondere verschiedene , Speichermedien aufweisen . Die Speichereinrichtung kann insbesondere optische , magnetische , Festkörper- und/oder andere nicht- flüchtige Medien aufweisen .
Das erfindungsgemäße Fahrzeug, insbesondere ein Schienenfahrzeug, weist eine erfindungsgemäße Vorrichtung auf .
Mithil fe der Vorrichtung kann die Fahrt des Fahrzeugs besonders zuverlässig und ef fi zient überwacht werden . Insbesondere kann eine , bevorzugt der Steuerung des Fahrzeugs zugrunde liegende , S zenenerfassung, Datenverarbeitung und/oder Obj ekterkennung bzw . -Identi fikation überwacht und im Hinblick auf ihre Zuverlässigkeit beurteilt werden .
Die bisher gegebene Beschreibung vorteilhafter Ausgestaltungen der Erfindung enthält zahlreiche Merkmale , die in den einzelnen Unteransprüchen teilweise zu mehreren zusammengefasst wiedergegeben sind . Diese Merkmale können j edoch zweck- mäßigerweise auch einzeln betrachtet und zu sinnvollen weiteren Kombinationen zusammengefasst werden . Insbesondere sind diese Merkmale j eweils einzeln und in beliebiger geeigneter Kombination mit dem erfindungsgemäßen Verfahren und der erfindungsgemäßen Vorrichtung sowie dem Fahrzeug kombinierbar . So sind Verfahrensmerkmale auch als Eigenschaft der entsprechenden Vorrichtungseinheit gegenständlich formuliert zu sehen und umgekehrt .
Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise , wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden Beschreibung der Aus führungsbeispiele , die im Zusammenhang mit den Zeichnungen näher erläutert werden . Die Aus führungsbeispiele dienen der Erläuterung der Erfindung und beschränken die Erfindung nicht auf die darin angegebene Kombination von Merkmalen, auch nicht in Bezug auf funktionale Merkmale . Außerdem können dazu geeignete Merkmale eines j eden Aus führungsbeispiels auch expli zit isoliert betrachtet , aus einem Aus führungsbeispiel entfernt , in ein anderes Aus führungsbeispiel zu dessen Ergänzung eingebracht und mit einem beliebigen der Ansprüche kombiniert werden .
Es zeigen :
FIG 1 ein Beispiel einer Fahrsituation aus Sicht eines Fahrzeugs auf einer Route ;
FIG 2 ein Beispiel einer Vorrichtung zur Sensordatenverarbeitung in einem Fahrzeug; und
FIG 3 ein Beispiel eines Verfahrens zur Sensordatenverarbeitung in einem Fahrzeug auf einer Route .
FIG 1 zeigt ein Beispiel einer Fahrsituation aus Sicht eines Fahrzeugs 20 auf einer Route 1 . Im vorliegenden Fall handelt es sich bei dem Fahrzeug ( 20 ) um ein Schienenfahrzeug ( auch : „spurgebundenes Fahrzeug" ) , etwa einen Zug, sodass die Route 1 durch den Verlauf von Schienen la vorgegeben ist .
Die Fahrsituation ist vorzugsweise durch Obj ekte 3a, 3b, 3c, 3d in der Umgebung 2 des Fahrzeugs 20 charakterisiert . Insbesondere kann die Fahrsituation durch die Anordnung der Obj ekte 3a, 3b, 3c, 3d relativ zum Fahrzeug 20 charakterisiert sein . Daher wird die Fahrsituation gelegentlich auch als S zene bezeichnet .
Als Obj ekte sind in FIG 1 rein beispielhaft eine Böschung 3a am Gleisbett , eine Signalanlage 3b zur Regelung des Schienenverkehrs auf der Route 1 , ein Bauwerk 3c - hier eine Brücke über das Gleisbett - und Personen 3d gezeigt .
Im Verlauf der Fahrt des Fahrzeugs 20 entlang der Route 1 werden sich eine Viel zahl solcher Fahrsituationen ergeben, die sich j eweils durch die Anordnung der Obj ekte 3a-3d, die Zahl der Obj ekte 3a-3d, den Typ der Obj ekte 3a-3d etc . voneinander unterscheiden . Zur Steuerung des Fahrzeugs 20 ist es daher in der Regel notwendig, die Umgebung 2 des Fahrzeugs 20 zu j edem Zeitpunkt während der Fahrt zu überwachen, um gegebenenfalls auf drohende Gefährdungen des Fahrzeugs 20 durch Obj ekte 3a-3d und/oder auf Gefährdungen von Obj ekten 3a-3d, insbesondere Personen 3d, durch das Fahrzeug 20 reagieren und diese abwenden zu können .
Zu diesem Zweck sind Fahrzeuge , insbesondere mithil fe eines entsprechenden Steuerungssystems autonom oder zumindest teilautonom fahrende Fahrzeuge , vorzugsweise mit einer Sensoreinrichtung 11 ausgestattet , die zum Erfassen der Umgebung 2 eingerichtet ist und beispielsweise einen oder mehrere Kamerasensoren, Radarsensoren, Lidarsensoren und/oder dergleichen aufweisen kann . Dabei erzeugte Sensordaten können ausgewertet , zum Beispiel mithil fe von Algorithmen zur Erkennung der Obj ekte 3a, 3b, 3c, 3d, und die Fahrsituation bzw . S zene auf diese Weise analysiert werden . Grundsätzlich lassen sich die Obj ekte 3a-3d in zwei Gruppen unterteilen : vorbekannte Obj ekte 3a-3c und unbekannte Obj ekte 3d . Bei vorbekannten Obj ekten 3a-3c kann es sich beispielsweise um stationäre Obj ekte handeln, die bei j eder Fahrt des Fahrzeugs 20 entlang der vorgegebenen Route 1 , insbesondere an immer derselben Position, auftreten . Bei unbekannten Obj ekten 3d kann es sich um dynamische Obj ekte handeln, die sich zufällig beim Befahren der Route 1 in der Umgebung 2 befinden .
Auf der Route 1 kann das Auf tauchen der vorbekannten Obj ekte 3a-3c in der Umgebung 2 entlang der Route 1 leicht vorhergesagt werden . Es ist insbesondere möglich, eine Datenbank bereitzustellen, in der zum Beispiel alle stationären Obj ekte 3a-3c erfasst sind . Eine solche Datenbank kann S zenendaten enthalten, welche die stationären Obj ekte 3a-3c charakterisiert . Die S zenendaten enthalten beispielsweise die Information, in welchem Routenabschnitt auf der Route 1 sich welches der vorbekannten Obj ekte 3a-3c in welcher Anordnung relativ zum Fahrzeug 20 befindet .
Vorbekannte Obj ekte 3a-3c spielen bei einer Analyse der Fahrsituation, zum Beispiel bei einer Gefährdungsbewertung, j edoch a priori eine geringere Rolle als unbekannte Obj ekte 3d . Stationäre Obj ekte 3a-3c können beispielsweise nicht unmittelbar auf die Fahrt des Fahrzeugs 20 entlang der Route 1 Einfluss nehmen . Der Analyse unbekannter Obj ekte 3d muss dagegen oftmals mehr Aufmerksamkeit gewidmet werden, da diese im Extremfall auch in der Fahrbahn des Fahrzeugs 20 , also zum Beispiel im Gleisbett , auftreten können .
Dynamische Obj ekte 3d können allerdings oftmals nicht in der Datenbank erfasst sein bzw . werden, da ihr Auftreten in der Umgebung 2 entlang der Route 1 bzw . ihre Anordnung relativ zum Fahrzeug 20 nicht vorhersagbar ist . Ausnahmen hiervon sind möglich, insbesondere im Hinblick auf dynamische Obj ekte , die im Zusammenhang mit einem regelmäßig auftretenden Ereignis stehen und/oder dazu eingerichtet sind, sie charakte- risierende Dynamikdaten bereitzustellen . Beispielsweise könnte in der Datenbank ein fahrplanmäßig verkehrender Zug erfasst sein, der dem Fahrzeug 20 auf der Route 1 in einem vorgegebenen Routenabschnitt entgegenkommt . Es ist insbesondere denkbar, dass dieser Zug Dynamikdaten, welche zum Beispiel Information zur aktuellen Position, zur Bewegungsrichtung und/oder zum Typ des Zugs enthalten, über eine Funk- oder eine andere Kommunikationsverbindung an das Fahrzeug 20 übermittelt . Gegebenenfalls können auf Grundlage dieser Information dann weitere Daten etwa zu spezi fischen Merkmalen des Zugs aus der Datenbank ausgelesen werden . Alternativ kann diese Information ebenfalls direkt vom Zug an das Fahrzeug 20 übermittelt werden .
Ein anderes Beispiel ist ein fahrplanmäßig verkehrendes Flugzeug, das an bestimmten Tagen zu einer bestimmten Uhrzeit von einem vorgegebenen Routenabschnitt aus vom Fahrzeug 20 aus am Himmel sichtbar ist .
Die Übermittlung der Dynamikdaten ist vorzugsweise über ein Sicherheitsprotokoll gesichert . Alternativ oder zusätzlich können die Dynamikdaten selbst qualitätsgesichert sein .
Um die Analyse der Fahrsituation zu erleichtern, insbesondere die Anzahl der einer Gefährdungsbewertung zugrunde zu legenden Obj ekte 3a-3d in der Umgebung 2 des Fahrzeugs 20 zu reduzieren, ist es vorteilhaft , auf die in der Datenbank enthaltene Information zurückzugrei fen und beim Erkennen von Obj ekten 3a-3d auf Grundlage der Sensordaten erzeugte Obj ektdaten mit in der Datenbank gespeicherten S zenendaten zu vergleichen . Dadurch können vorbekannte Obj ekte 3a-3c aus der S zene entfernt werden, was die Analyse der S zene deutlich vereinfacht und/oder beschleunigt .
Vorzugsweise wird aus den Sensordaten insbesondere der weitere Fahrweg, also zum Beispiel der Verlauf des Gleisbetts 3a, ermittelt . Dies ist vorteilhaft , weil der Fahrweg besonders gut charakterisierbar und somit sensorisch verhältnismäßig leicht bzw . zuverlässig zu erfassen ist . I st der Fahrweg durch den Vergleich mit den S zenendaten validiert , kann beispielsweise die Position von in der Umgebung 2 des Fahrzeugs 20 erkannten Obj ekten 3b, 3c, 3d relativ zum Fahrweg und dadurch besonders zuverlässig ermittelt werden . Auch für Obj ekte 3c, 3d in größeren Entfernungen kann dadurch etwa zuverlässig beurteilt werden, ob sie sich auf oder neben dem Fahrweg, also etwa dem Gleisbett 3a, befinden .
Das Zurückgrei fen auf die in der Datenbank gespeicherten S zenendaten bei der S zenenanalyse hat noch einen weiteren Vorteil : der Vergleich der Obj ektdaten mit den S zenendaten kann Hinweise über die Zuverlässigkeit der S zenenerfassung, der Datenverarbeitung der Sensordaten, der Obj ekterkennung und/oder sogar der Datenbank selbst liefern . Sind in der Datenbank Obj ekte erfasst , die bei der Verarbeitung der Sensordaten nicht erkannt werden, kann dies ein Hinweis auf eine fehlerhafte oder zumindest mangelhafte Obj ekterkennung sein . Entsprechend sollte die Steuerung des Fahrzeugs 20 nicht mehr auf die bei der Obj ekterkennung erzeugten Obj ektdaten gestützt werden, da diese als unzuverlässig anzusehen sind . Vielmehr sollte das Fahrzeug 20 in einen sicheren Zustand überführt , also zum Beispiel gestoppt , werden . Gegebenenfalls kann dies aber auch ein Hinweis auf eine veraltete Datenbank sein . Die Datenbank kann, zum Beispiel nachdem das Fehlen der Obj ekte von anderen Fahrzeugen überprüft wurde , dann entsprechend aktualisiert werden .
FIG 2 zeigt ein Beispiel einer Vorrichtung 10 zur Sensordatenverarbeitung in einem Fahrzeug, insbesondere in einem Schienenfahrzeug . Mithil fe einer solchen Vorrichtung 10 kann beispielsweise die Fahrt auf der Route aus FIG 1 überwacht werden . Die Vorrichtung 10 weist zu diesem Zweck eine Sensoreinrichtung 11 auf , die zum Erfassen einer S zene aus der Umgebung des Fahrzeugs und zum Erzeugen entsprechender Sensordaten eingerichtet ist , sowie eine Datenverarbeitungseinrichtung 12 . Die Datenverarbeitungseinrichtung 12 ist dazu eingerichtet , die Sensordaten zu verarbeiten, sodass Obj ekte in der S zene auf Grundlage der Sensordaten erkannt und entsprechende Obj ektdaten, welche die erkannten Obj ekte charakterisieren, erzeugt werden .
Die Sensoreinrichtung 11 weist zweckmäßigerweise einen oder mehrere Sensoren, insbesondere optischer Bauart , auf . Die Sensoreinrichtung 11 kann beispielsweise eine Kamera aufweisen, die dazu eingerichtet ist , beim Erfassen der Umgebung des Fahrzeugs Sensordaten in Form eines Bilds der Umgebung zu erzeugen . Ebenso kann die Sensoreinrichtung 11 ein oder mehrere Lidarsensoren, Radarsensoren und/oder bildgebende Vorrichtungen für den infrarot- und/oder ultravioletten Spektralbereich aufweisen .
Zum Erkennen von Obj ekten in einem solchen Bild weist die Datenverarbeitungseinrichtung 12 vorzugsweise einen Algorithmus zur Obj ekterkennung auf oder kann einen solchen auf die Sensordaten anwenden . Mit einem solchen Algorithmus lassen sich die erkannten Obj ekte klassi fi zieren und Eigenschaften der Obj ekte wie etwa deren Position relativ zum Fahrzeug, Größe , Struktur bzw . Topologie und/oder dergleichen ermitteln . Die Obj ektdaten enthalten zweckmäßigerweise diese Information .
Die Datenverarbeitungseinrichtung 12 hat Zugri f f auf eine Datenbank 13 , in welcher S zenendaten gespeichert sind . Die S zenendaten charakterisieren insbesondere vorbekannte , zum Beispiel stationäre , Obj ekte in der S zene . Die Datenbank 13 kann, muss aber nicht , Teil der Vorrichtung 10 sein . Die Datenbank 13 kann beispielsweise auch von einem Server vorgehalten werden, mit dem die im Fahrzeug verbaute Datenverarbeitungseinrichtung 12 kommuni zieren kann .
Die Vorrichtung 10 weist im vorliegenden Beispiel zudem eine Positionsermittlungseinrichtung 14 auf , die dazu eingerichtet ist , die ( gegenwärtige ) Position des Fahrzeugs auf der Route zu ermitteln . Die Positionsermittlungseinrichtung 14 kann beispielsweise als GPS-Empfänger oder dergleichen ausgebildet sein, um anhand von empfangenen Signalen die Position des Fahrzeugs fest zustellen . Alternativ oder zusätzlich können auch Odometriedaten des Fahrzeugs verwendet werden .
Die Datenverarbeitungseinrichtung 12 ist vorzugsweise dazu eingerichtet , die von der Positionsermittlungseinrichtung 14 ermittelte Position mit den beim Erkennen der Obj ekte erzeugten Obj ektdaten zu verknüpfen . Die Obj ektdaten können dadurch einer Position des Fahrzeugs auf der Route eindeutig zugeordnet werden . In diesem Fall können die Obj ektdaten daher auch als positionsspezi fische oder ortsaufgelöste Obj ektdaten bezeichnet werden .
Es ist weiter bevorzugt , wenn die Datenverarbeitungseinrichtung 12 dazu eingerichtet ist , die ermittelte Position des Fahrzeugs auf der Route dem Vergleich der Obj ektdaten mit den Szenendaten zugrunde zu legen . Anders gesagt ist die Datenverarbeitungseinrichtung 12 in bevorzugter Weise dazu eingerichtet , die Obj ektdaten mit den S zenendaten im Hinblick auf die ermittelte Position des Fahrzeugs zu vergleichen . Die Datenverarbeitungseinrichtung 12 kann insbesondere dazu eingerichtet sein, die Obj ektdaten mit denj enigen S zenendaten zu vergleichen, welche Obj ekte in der Umgebung der ermittelten Position des Fahrzeugs charakterisieren . Zweckmäßigerweise ist hierzu in der Datenbank 13 eine Zuordnung der S zenendaten zu möglichen Positionen des Fahrzeugs entlang der Route vorgesehen .
Die Datenverarbeitungseinrichtung 12 kann beispielsweise dazu eingerichtet sein, die S zenendaten bezüglich der ermittelten Position zu filtern . Die Datenverarbeitungseinrichtung 12 ist zweckmäßigerweise dazu eingerichtet , der Datenbank 13 gerade diej enigen S zenendaten zu entnehmen, die der ermittelten Position zugeordnet sind . Alternativ kann die Datenverarbeitungseinrichtung 12 dazu eingerichtet sein, aus den der Datenbank 13 entnommenen S zenendaten diej enigen heraus zugreifen, die der ermittelten Position zugeordnet sind . Durch den Vergleich der beim Erkennen der Obj ekte erzeugten Obj ektdaten mit den S zenendaten kann entsprechend die tatsächliche Fahrsituation, wie sie durch die Sensordaten abgebildet ist , mit einer hypothetischen Fahrsituation, wie sie erwartet wird, verglichen werden .
Die Datenverarbeitungseinrichtung 12 ist dazu eingerichtet , anhand eines Ergebnisses des Vergleichs eine Zuverlässigkeit der sensorischen S zenenerfassung und/oder der Datenverarbeitung der Sensordaten und/oder der Obj ekterkennung und/oder der Datenbank zu beurteilen . Insbesondere kann die Datenverarbeitungseinrichtung 12 dazu eingerichtet sein, ein Maß für die Zuverlässigkeit der S zenendaten 13 mit der sensorischen Szenenerfassung und/oder der Datenverarbeitung der Sensordaten und/oder der Obj ekterkennung zu assoziieren . Zweckmäßigerweise weist die Vorrichtung 10 eine Schnittstelle 15 auf , mit deren Hil fe das Ergebnis des Vergleichs bereitgestellt werden kann .
Das Ergebnis kann insbesondere eine Überschussliste aller erkannten Obj ekte enthalten, die auf Grundlage der Sensordaten erkannt wurden, in der Datenbank 13 j edoch nicht erfasst oder zumindest der ermittelten Position nicht zugeordnet sind . Das Ergebnis kann insbesondere gefilterte Obj ektdaten enthalten . Das Ergebnis enthält dann zweckmäßigerweise nur denj enigen Teil der Obj ektdaten, für den die Datenverarbeitungseinrichtung 12 keine Übereinstimmung mit den S zenendaten ermitteln konnte .
Die Datenverarbeitungseinrichtung 12 kann diese Überschussliste bzw . die gefilterten Obj ektdaten über die Schnittstelle 15 beispielsweise einem Steuerungssystem bereitstellen . Das Steuerungssystem kann eine Analyse der Fahrsituation, insbesondere eine Gefährdungsbewertung, anhand der Überschussliste bzw . der gefilterten Obj ektdaten aus führen . Auf Grundlage der Analyse lässt sich das Fahrzeug vom Steuerungssystem steuern . Es ist j edoch auch denkbar, dass bereits die Datenverarbeitungseinrichtung 12 zur Analyse der Fahrsituation, gegebenenfalls auch zur Steuerung des Fahrzeugs , auf Grundlage eines Ergebnisses des Vergleichs eingerichtet ist .
FIG 3 zeigt ein Beispiel eines Verfahrens 100 zur Sensordatenverarbeitung in einem Fahrzeug, insbesondere in einem Schienen fahr zeug .
In einem Verfahrensschritt S 1 wird eine Position des Fahrzeugs auf der Route ermittelt . Zu diesem Zweck kann eine Positionsermittlungseinrichtung vorgesehen sein, die beispielsweise ein GPS-Signal und/oder dergleichen empfängt und daraus die ( gegenwärtige ) Position des Fahrzeugs ermittelt . Die ermittelte Position kann dabei insbesondere einem Routenabschnitt zugeordnet sein oder werden .
In einem weiteren Verfahrensschritt S2 wird eine S zene aus der Umgebung des Fahrzeugs sensorisch, zum Beispiel mithil fe einer Sensoreinrichtung, erfasst . Dabei werden entsprechende Sensordaten erzeugt . Die in Verfahrensschritt S 1 ermittelte Position ist oder wird den erzeugten Sensordaten vorzugsweise zugeordnet , beispielsweise indem die Position zeitgleich mit der Erzeugung der Sensordaten ermittelt wird .
In einem weiteren Verfahrensschritt S3 werden Obj ekte in der Szene auf Grundlage einer Datenverarbeitung der Sensordaten erkannt und entsprechende Obj ektdaten, welche die erkannten Obj ekte charakterisieren, erzeugt . Handelt es sich bei den Sensordaten beispielsweise um Bilddaten, die von einer Kamera der Sensoreinrichtung erzeugt wurden, können die Sensordaten mithil fe eines Algorithmus zur Obj ekterkennung ausgewertet werden . Die dabei anfallende Information zur Klasse des erkannten Obj ekts und seinen physikalischen Eigenschaften wie Position relativ zum Fahrzeug, Größe , Struktur bzw . Topologie und/oder dergleichen wird zweckmäßigerweise zumindest als Teil der Obj ektdaten, zum Beispiel in Form eines Merkmalsvektors , bereitgestellt . In einem weiteren Verfahrensschritt S4 werden die Obj ektdaten mit in einer Datenbank gespeicherten S zenendaten, welche Obj ekte in der S zene charakterisieren, verglichen . Zweckmäßigerweise werden dazu S zenendaten in Bezug auf die ermittelte Position des Fahrzeugs gefiltert . Insbesondere kann vorgesehen sein, dass aus der Datenbank lediglich S zenendaten ausgelesen bzw . geladen - und dem Vergleich zugrunde gelegt - werden, die der ermittelten Position zuordenbar sind .
Im Rahmen des Verfahrensschritts S4 kann auf Grundlage des Vergleichs insbesondere ein Übereinstimmungsmaß ermittelt werden, welches den Grad der Übereinstimmung der Obj ektdaten mit den - gegebenenfalls gefilterten - S zenendaten angibt . Das Übereinstimmungsmaß kann beispielsweise einen hohen Wert annehmen, wenn zumindest ein Teil der Obj ektdaten zumindest im Wesentlichen mit den S zenendaten übereinstimmt . Das Übereinstimmungsmaß kann insbesondere einen hohen Wert annehmen, wenn alle durch die S zenendaten charakterisierten, in der Umgebung der ermittelten Position des Fahrzeugs vorbekannten Obj ekte auch in Verfahrensschritt S3 erkannt wurden . Bevorzugt nimmt das Übereinstimmungsmaß einen hohen Wert an, wenn auch die durch die Obj ektdaten abgebildeten Eigenschaften der erkannten Obj ekte mit den durch die S zenendaten abgebildeten Eigenschaften der vorbekannten Obj ekte zumindest in hohem Maße übereinstimmen . Es kann zum Beispiel vorgesehen sein, dass das Übereinstimmungsmaß einen hohen Wert annimmt , wenn bestimmte , ausgesuchte Merkmale in Obj ektdaten und S zenendaten übereinstimmen . Die ausgesuchten Merkmale werden vorzugsweise derart gewählt , dass sie mit einer hohen Wahrscheinlichkeit j edenfalls in Kombination nur bei j eweils einem Typ oder einer Instanz eines Obj ekts auftreten . In diesem Fall kann das Übereinstimmungsmaß eine Spezi fität der Obj ekterkennung angeben .
Andersherum kann das Übereinstimmungsmaß einen geringeren
Wert annehmen, wenn ein großer Teil der Obj ektdaten zumindest nicht im Wesentlichen mit den S zenendaten übereinstimmt . Dies kann zum Beispiel der Fall sein, wenn durch die S zenendaten in der Umgebung der ermittelten Position des Fahrzeugs Obj ekte charakterisiert sind, die in Verfahrensschritt S3 nicht erkannt wurden und/oder deren Eigenschaften nicht übereinstimmen .
Auf Grundlage des Übereinstimmungsmaßes kann in Folge eine Beurteilung der Zuverlässigkeit der S zenenerfassung aus Verfahrensschritt S2 , der Datenverarbeitung der Sensordaten und/oder der Ob ekterkennung aus Verfahrensschritt S3 vorgenommen werden . Beispielsweise kann geprüft werden, ob das Übereinstimmungsmaß einen vorgegebenen Übereinstimmungsschwellenwert erreicht oder überschreitet . In Abhängigkeit eines Ergebnisses dieser Prüfung kann in einem weiteren Verfahrensschritt S5 eine Zuverlässigkeit der sensorischen S zenenerfassung aus Verfahrensschritt S2 , der Datenverarbeitung der Sensordaten und/oder der Obj ekterkennung aus Verfahrensschritt S3 beurteilt werden . Alternativ oder zusätzlich kann auch eine Zuverlässigkeit der Datenbank beurteilt werden .
Beispielsweise kann, wenn das Übereinstimmungsmaß den vorgegebenen Übereinstimmungsschwellenwert überschreitet , ein Maß für die Zuverlässigkeit der S zenendaten mit der S zenenerfassung in Verfahrensschritt S2 und/oder mit der Datenverarbeitung und/oder mit der Obj ekterkennung in Verfahrensschritt S3 assoziiert werden . Anders gesagt kann der Sensordatenverarbeitung ein bestimmter Sicherheitsstandard zugewiesen werden, ohne dass dafür eine detaillierte Analyse der Sensordatenverarbeitung erfolgen muss .
Zusätzlich können die Obj ektdaten im Verfahrensschritt S5 an ein Steuerungssystem ausgegeben werden, von dem sie einer Steuerung des Fahrzeugs zugrunde gelegt werden . Insbesondere kann ein Teil der Obj ektdaten, welcher nicht durch S zenendaten charakterisierten, d . h . unbekannten, etwa nichtstationären bzw . dynamischen Obj ekten zuordenbar ist , in Form einer Überschussliste als Ergebnis des Vergleichs aus Verfahrensschritt S4 ausgegeben werden . Die Fahrsituation kann auf Grundlage der Überschussliste dann ef fi zienter analysiert werden als auf Grundlage der ursprünglichen Obj ektdaten, die alle in der Umgebung des Fahrzeugs erkannten Obj ekte charakterisieren - also auch vorbekannte und für die Steuerung des Fahrzeugs nicht maßgebliche Obj ekte .
Unterschreitet das Übereinstimmungsmaß dagegen den vorgegebenen Ubereinstimmungsschwellenwert , kann in einem weiteren Verfahrensschritt S 6 - aufgrund des damit verbundenen mangelnden Vertrauens in die Obj ekterkennung aus Verfahrensschritt S3 - geprüft werden, ob ein redundantes System zur Steuerung des Fahrzeugs , zumindest zur Obj ekterkennung, betriebs fähig ist bzw . fehlerfrei arbeitet . I st dies der Fall , kann die Steuerung des Fahrzeugs an das redundante System übertragen werden . Andernfalls sollte das Fahrzeug in einen sicheren Zustand überführt werden .
Obwohl die Erfindung im Detail durch das bevorzugte Aus führungsbeispiel näher illustriert und beschrieben wurde , so ist die Erfindung nicht durch die of fenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen .

Claims

36 Patentansprüche
1. Verfahren (100) zur Sensordatenverarbeitung in einem Fahrzeug (20) , wobei
- eine Szene aus der Umgebung (2) des Fahrzeugs (20) sensorisch erfasst (S2) und entsprechende Sensordaten erzeugt werden,
- Objekte (3a, 3b, 3c, 3d) in der Szene auf Grundlage einer Datenverarbeitung der Sensordaten erkannt (S3) und entsprechende Objektdaten, welche die erkannten Objekte (3a, 3b, 3c, 3d) charakterisieren, erzeugt werden,
- die erzeugten Objektdaten mit in einer Datenbank (13) gespeicherten und qualitätsgesicherten Szenendaten, welche Objekte (3a-3d) in der Szene charakterisieren, verglichen (S4) werden und
- in Abhängigkeit eines Ergebnisses des Vergleichs eine Zuverlässigkeit der sensorischen Szenenerfassung und/oder der Datenverarbeitung der Sensordaten und/oder der Objekterkennung und/oder der Datenbank (13) beurteilt (S5) wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Datenbank (13) die Karte einer Route (1) bildet, auf der das Fahrzeug (20) fährt, und die Szenendaten Kartendaten aus einem Abschnitt der Karte enthalten.
3. Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass beim Beurteilen der Zuverlässigkeit der sensorischen Szenenerfassung und/oder der Datenverarbeitung der Sensordaten und/oder der Objekterkennung und/oder der Datenbank (13) ein Maß für die Zuverlässigkeit ermittelt wird, welches durch den Umfang der Szenendaten bestimmt ist.
4. Verfahren (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass beim Vergleichen ein Ubereinstimmungsmaß für die Übereinstimmung der Objektdaten mit den Szenendaten ermittelt wird. 37
5. Verfahren (100) nach Anspruch 4, dadurch gekennzeichnet, dass geprüft wird, ob das Übereinstimmungsmaß einen vorgegebenen Übereinstimmungsschwellenwert erreicht oder überschreitet, und das Fahrzeug (20) auf Grundlage eines Ergebnisses der Prüfung gesteuert wird.
6. Verfahren (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die erzeugten Objektdaten oder die Szenendaten zusätzlich mit von zumindest einem Objekt (3d) aus der Umgebung (2) des Fahrzeugs (20) bereitgestellten Dynamikdaten verglichen und
- die Zuverlässigkeit der sensorischen Szenenerfassung und/oder der Datenverarbeitung der Sensordaten und/oder der Objekterkennung und/oder der Datenbank (13) in Abhängigkeit eines Ergebnisses des Vergleichs der bereitgestellten Dynamikdaten mit den Objektdaten bzw. den Szenendaten beurteilt wird oder
- in Abhängigkeit eines Ergebnisses des Vergleichs der be- reitgestellten Dynamikdaten mit den Objektdaten oder den Szenendaten eine Zuverlässigkeit der Dynamikdaten beurteilt wird .
7. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass
- eine Position des Fahrzeugs (20) auf einer Route (1) ermittelt (Sl) wird;
- die Szene aus der Umgebung (2) des Fahrzeugs (20) an der ermittelten Position erfasst wird;
- die erzeugten Objektdaten mit in der Datenbank (13) gespeicherten Szenendaten, welche Objekte (3a, 3b, 3c, 3d) in der Umgebung (2) der ermittelten Position des Fahrzeugs (20) charakterisieren, verglichen werden.
8. Verfahren (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass auf Grundlage eines Ergebnisses des Vergleichs Gefährdungsobjekte in der Umgebung (2) des Fahrzeugs (20) ermittelt und einer Gefährdungsbewertung zugrunde gelegt werden.
9. Verfahren (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass beim Vergleichen eine Überschussliste aller durch die Objektdaten charakterisierten Objekte (3a, 3b, 3c, 3d) , die nicht durch Szenendaten charakterisiert sind, ermittelt wird.
10. Verfahren (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass auf Grundlage von Szenendaten weitere Objektdaten eines erkannten Objekts (3a, 3b, 3c, 3d) ermittelt oder Objektdaten ergänzt werden.
11. Verfahren (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass beim Vergleichen der Objektdaten mit den Szenendaten geprüft wird, ob eine Übereinstimmung von Objekteigenschaften vorliegt .
12. Verfahren (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass ein Zeitpunkt des sensorischen Erfassens der Umgebung (2) des Fahrzeugs ermittelt und dem Vergleichen der Objektdaten mit den Szenendaten zugrunde gelegt wird.
13. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass in Abhängigkeit des Ergebnisses des Vergleichs zumindest ein Teil der Szenendaten in eine Erkennung von weiteren Objekten (3a, 3b, 3c, 3d) aus der Szene auf Grundlage der Sensordaten mit einbezogen wird.
14. Vorrichtung (10) zur Sensordatenverarbeitung in einem Fahrzeug (20) , mit - einer Sensoreinrichtung (11) , die zum Erfassen einer Szene aus der Umgebung (2) des Fahrzeugs (20) und zum Erzeugen entsprechender Sensordaten eingerichtet ist und
- einer Datenverarbeitungseinrichtung (12) , die dazu einge- richtet ist, Objekte (3a, 3b, 3c, 3d) in der Szene auf Grundlage einer Datenverarbeitung der Sensordaten zu erkennen und entsprechende Objektdaten, welche die erkannten Objekte (3a, 3b, 3c, 3d) charakterisieren, zu erzeugen, die erzeugten Objektdaten mit in einer Datenbank (13) gespei- cherten und qualitätsgesicherten Szenendaten, welche Objekte (3a, 3b, 3c, 3d) in der Szene charakterisieren, zu vergleichen und in Abhängigkeit eines Ergebnisses des Vergleichs eine Zuverlässigkeit der Szenenerfassung und/oder der Datenverarbeitung der Sensordaten und/oder der Ob- j ekterkennung und/oder der Datenbank (13) zu beurteilen.
15. Fahrzeug (20) mit einer Vorrichtung (10) nach Anspruch
EP21847937.6A 2021-01-29 2021-12-15 Verfahren und vorrichtung zur sensordatenverarbeitung Pending EP4268126A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021200822.4A DE102021200822A1 (de) 2021-01-29 2021-01-29 Verfahren und Vorrichtung zur Sensordatenverarbeitung
PCT/EP2021/085888 WO2022161694A1 (de) 2021-01-29 2021-12-15 Verfahren und vorrichtung zur sensordatenverarbeitung

Publications (1)

Publication Number Publication Date
EP4268126A1 true EP4268126A1 (de) 2023-11-01

Family

ID=80001345

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21847937.6A Pending EP4268126A1 (de) 2021-01-29 2021-12-15 Verfahren und vorrichtung zur sensordatenverarbeitung

Country Status (4)

Country Link
US (1) US20240118104A1 (de)
EP (1) EP4268126A1 (de)
DE (1) DE102021200822A1 (de)
WO (1) WO2022161694A1 (de)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4141838A1 (de) * 2021-08-23 2023-03-01 Zenseact AB Validierung von umgebenden objekten, die von einem ads-ausgerüsteten fahrzeug wahrgenommen werden
US12266188B2 (en) * 2022-05-09 2025-04-01 GM Global Technology Operations LLC Method and apparatus for leveraging infrastructure camera for vehicle positioning
DE102022134369A1 (de) * 2022-12-21 2024-06-27 Valeo Schalter Und Sensoren Gmbh Selbsttätiges Manövrieren eines Fahrzeugs basierend auf Freigaben
US12415527B2 (en) 2023-07-14 2025-09-16 GM Global Technology Operations LLC Range sensor based calibration of roadside cameras in ADAS applications
WO2025062184A2 (en) * 2023-09-21 2025-03-27 Hitachi Rail Gts Canada Inc. Method for high-integrity localization of vehicle on tracks using on-board sensors and scene-based position algorithms
EP4671083A1 (de) * 2024-06-28 2025-12-31 Siemens Mobility GmbH Verfahren zum orten eines spurgeführten fahrzeugs
DE102024208187A1 (de) * 2024-08-28 2026-03-05 Siemens Mobility GmbH Verfahren und Einrichtungen zum Betreiben eines Schienenfahrzeugs

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8718861B1 (en) 2012-04-11 2014-05-06 Google Inc. Determining when to drive autonomously
DE102013213106A1 (de) 2013-09-18 2015-03-19 Continental Teves Ag & Co. Ohg Verfahren und System zur Bewertung einer Zuverlässigkeit eines sensorikbasierten Fahrzeugsystems
DE102014220687A1 (de) 2014-10-13 2016-04-14 Continental Automotive Gmbh Kommunikationsvorrichtung für ein Fahrzeug und Verfahren zum Kommunizieren
GB2542115B (en) * 2015-09-03 2017-11-15 Rail Vision Europe Ltd Rail track asset survey system
TR201702439A2 (tr) * 2017-02-17 2018-09-21 Ekin Teknoloji Sanayi Ve Ticaret Anonim Sirketi Çevre takibi ve güvenliği için bir sistem.
EP3477616A1 (de) 2017-10-27 2019-05-01 Sigra Technologies GmbH Verfahren zur steuerung eines fahrzeugs mithilfe eines maschinenlernsystems
DE102017223632A1 (de) * 2017-12-21 2019-06-27 Continental Automotive Gmbh System zur Berechnung einer Fehlerwahrscheinlichkeit von Fahrzeugsensordaten
PL3722182T3 (pl) * 2019-04-12 2025-08-04 Hitachi Rail Gts Deutschland Gmbh Sposób bezpiecznego i autonomicznego określania informacji o położeniu pociągu na torach
DE102019209357B3 (de) 2019-06-27 2020-10-29 Audi Ag Verfahren zum Ermitteln zumindest eines aktuellen Vertrauenswerts eines Datensatzes eines Kraftfahrzeugs sowie ein Rechensystem hierzu
DE102020202163B4 (de) 2020-02-20 2025-03-13 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Detektierung von Objekten und/oder Strukturen im Umfeld eines Fahrzeugs

Also Published As

Publication number Publication date
US20240118104A1 (en) 2024-04-11
DE102021200822A1 (de) 2022-08-04
WO2022161694A1 (de) 2022-08-04

Similar Documents

Publication Publication Date Title
EP4268126A1 (de) Verfahren und vorrichtung zur sensordatenverarbeitung
DE102016120505B4 (de) Koordiniertes Testen in Fahrzeugpulks
DE102014008578B4 (de) Verfahren zur Ermittlung von Positionsdaten zur Nutzung beim Betrieb eines Fahrzeugsystems eines Kraftfahrzeugs und Positionsdatenermittlungs- und-verteilssystem
DE102016219455B4 (de) Verfahren und aktive Infrastruktur zur Überprüfung einer Umfelderfassung eines Kraftfahrzeugs
EP3438901A1 (de) Testfahrtszenario-datenbanksystem für realitätsnahe virtuelle testfahrtszenarien
DE102011081614A1 (de) Verfahren und Vorrichtung zur Analysierung eines von einem Fahrzeug zu befahrenden Streckenabschnitts
WO2020002261A1 (de) Lokalisierungssystem und verfahren zum betreiben desselben
EP3945338B1 (de) Vorrichtung zur umfelderkennung eines automatisiert betreibbaren fahrsystems
DE102020118629B4 (de) Computerimplementiertes Verfahren zum Bestimmen der Validität einer geschätzten Position eines Fahrzeugs
DE102021123270B3 (de) Verfahren und Steuerschaltung zum Überprüfen, ob ein aktuell aktiver Fahrmodus innerhalb seiner ODD betrieben wird, sowie System und Backend-Server
WO2021190840A1 (de) Verfahren zur bewertung von streckenabschnitten
DE102016220581A1 (de) Verfahren und vorrichtung zur bestimmung eines umfeldmodells
DE102021200408A1 (de) Sicherheitskritische bordseitige Überwachung der Umgebung eines Schienenfahrzeugs
DE102016212774B4 (de) Verfahren und Vorrichtung zur Erzeugung einer Umfeldkarte sowie zur Lokalisierung eines Fahrzeugs
DE102010033372A1 (de) Verfahren und System zum Ermitteln der Position eines Schienenfahrzeugs
DE102020118628A1 (de) Verfahren und Vorrichtung zum Bestimmen einer Position eines Fahrzeugs
DE102022204298A1 (de) Verfahren zum automatisierten Bewegen eines Kraftfahrzeugs
EP4119417B1 (de) Überwachungsverfahren und -system
DE102021201512A1 (de) Verfahren zur Modellierung der Umgebung eines automatisierten Fahrzeugs
DE102021124736A1 (de) Verfahren und Vorrichtung zur Ermittlung einer Positions-Hypothese
DE102021207415A1 (de) Verfahren zur Informationsbeschaffung und Assistenzsystem
WO2022122250A1 (de) Infrastrukturgestützte trajektorienermittlung für autonome fahrzeuge
EP3625106B1 (de) Sensoriell gesteuertes anpassen von fusionsgewichten an wetterbedingungen in einer odometrieeinheit eines schienenfahrzeugs
EP4113392B1 (de) Verfahren zum prüfen der zuverlässigkeit einer ki-basierten objekt-detektion
DE102024207864A1 (de) Landkarte eines Schienenstreckensystems mit Sensorparameterdaten

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230725

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20250818

RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: SIEMENS MOBILITY GMBH