EP3736789A1 - Method and system for providing environment information - Google Patents
Method and system for providing environment information Download PDFInfo
- Publication number
- EP3736789A1 EP3736789A1 EP20171947.3A EP20171947A EP3736789A1 EP 3736789 A1 EP3736789 A1 EP 3736789A1 EP 20171947 A EP20171947 A EP 20171947A EP 3736789 A1 EP3736789 A1 EP 3736789A1
- Authority
- EP
- European Patent Office
- Prior art keywords
- information
- central server
- dependent
- surroundings
- environment information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000001419 dependent effect Effects 0.000 claims abstract description 52
- 230000007613 environmental effect Effects 0.000 claims abstract description 47
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 239000010426 asphalt Substances 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
- G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
- G08G1/096741—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where the source of the transmitted information selects which information to transmit to each vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
- G08G1/096775—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
- G08G1/096791—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is another vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
Definitions
- the invention relates to a method and a system for providing information on the surroundings.
- Modern motor vehicles have a large number of assistance systems which support a driver in driving the motor vehicle or which can partially or even completely take over driving the motor vehicle.
- Environment information is also increasingly being used, which is transmitted wirelessly to an assistance system by means of a central server.
- information on the surroundings recorded by the motor vehicles by means of a sensor system can be transmitted to the central server. In this way it is possible to collect and use (swarm) data from many road users.
- a method for transmitting captured data to a traffic information server in which a redundancy of the captured data is checked in a motor vehicle, the captured data only being transmitted to the traffic information server if the captured data is not redundant, i.e. not already from other motor vehicles were transmitted to the traffic information server.
- the invention is based on the object of improving a method and a system for providing information on the surroundings.
- a method for providing information on the surroundings is provided, with at least one assistance system of at least one road user being provided with position-dependent information on the surroundings by means of a central server on the basis of a map, and with the position-dependent information on the surroundings each being provided with at least one time stamp indicating a last update and / or checking the provided position-dependent environment information is marked.
- a system for providing environment information comprising at least one assistance system of at least one road user and a central server, the central server being designed to provide the at least one assistance system of the at least one road user based on a map with position-dependent environment information, the provided position-dependent information Environment information is each provided with at least one time stamp, which marks a last update and / or review of the respective provided position-dependent environment information.
- a typical application scenario here is as follows:
- a road user for example a motor vehicle, has a lane departure warning system as an assistance system, which recognizes lanes of a motorway on the basis of captured camera images and regulates transverse guidance of the motor vehicle on the basis of the recognized lanes.
- the motor vehicle drives into a traffic jam on the motorway, so that the camera can no longer record the lanes, since they are covered by a motor vehicle driving ahead.
- the lane departure warning system can therefore no longer recognize the lanes on the basis of the camera images and would therefore have to be deactivated.
- the lane-keeping assistance system can continue to be operated on the basis of the transmitted information on the surroundings.
- the age of the transmitted environment information must be known. Since the environmental information provided is provided with a time stamp according to the invention, the age can be determined. If the environmental information provided is up-to-date, the lane departure warning system can continue to be operated on the basis of the environmental information provided by the central server.
- the time stamp is checked by means of an assistance system and a decision is made on the basis of a check result as to whether or not the provided information about the surroundings is used when performing an assistance function provided by the assistance system.
- a certain age of the Environment information provided may be, for example, a few seconds, minutes, hours or even days, weeks or months, depending on the application scenario.
- the at least one road user and the central server communicate with one another in particular wirelessly, for example via a wireless communication interface.
- the wireless communication interface can, for example, be a cellular radio interface (4G, LTE, 5G, ...) which enables communication, for example, via the Internet.
- the road user transmits in particular a current position to the central server.
- the current position can for example be determined by means of a position determination device (e.g. GPS, GLONASS, Galileo, Beidou etc.) of the road user.
- the central server calls up the associated information about the surroundings for a specific area around the transmitted current position of the road user from a map and makes this available to the road user.
- a position can additionally be determined via a feature comparison between features in the information on the surroundings recorded by the road user and the information on the surroundings provided. For example, several matching features can be searched for and their positions compared with one another. This enables the road user to e.g. based on a triangulation in the map.
- Environment information is in particular features in the environment of a specific position.
- the features here have, in particular, certain properties, such as a type, a class, an extent, a color, a surface quality and / or a reflectivity, etc., as well as an associated position.
- Surrounding information can describe, for example, lane markings, traffic signs and / or other objects and / or obstacles.
- a map includes, in particular, an assignment of information about the surroundings to two-dimensional or three-dimensional positions in the form of geographic coordinates.
- the two-dimensional or three-dimensional positions can in particular be stored in the form of global coordinates of a position determining device (GPS, Galileo, etc.).
- GPS position determining device
- the map or the stored position-dependent environmental information have been generated, for example, on the basis of merged environmental information from several road users.
- Features and their positions on the map for example, are transmitted to the at least one road user as part of the environment information provided.
- To the Surrounding information is stored in the map with associated time stamps which mark a last update and / or review of the respectively stored surrounding information.
- the central server and the at least one road user or the associated assistance system each have clocks that provide a current time, in particular for generating time stamps.
- a road user is in particular a motor vehicle, in particular a partially or automatically driving motor vehicle.
- a road user can also be another land, water or air vehicle.
- the central server is designed in particular as a cloud service, with the cloud service providing position-dependent environmental information as a backend.
- a map with position-dependent environmental information stored therein is stored in a memory of the central server.
- Parts of the system and / or the assistance system can be designed individually or collectively as a combination of hardware and software, for example as program code that is executed on a microcontroller or microprocessor. However, it can also be provided that parts are designed individually or combined as an application-specific integrated circuit (ASIC).
- ASIC application-specific integrated circuit
- the position-dependent environment information includes position-dependent features, the features being provided with time stamps.
- Each feature comprised by the environment information can be assigned its own time stamp, which marks a last update and / or review of the respective feature. In this way, an age can be determined for individual features in the position-dependent environmental information. If the provided position-dependent environmental information includes, for example, lane markings and a traffic sign, an age of the lane markings derived from the respective time stamp can be 5 minutes and an age of the traffic sign derived from the respective time stamp can be 1 day.
- the assistance system can then decide, for example, that the lane markings provided by the central server by means of the environment information may be used when providing an assistance function, but not the traffic sign because the associated information is not up-to-date enough or a check of the information is too far in the Past lies. It can however, it can also be provided that time stamps for several features or feature classes are combined so that individual features and / or feature classes (for example traffic signs) are not provided with separate time stamps.
- position-dependent environment information is recorded by the at least one road user by means of a sensor system, the recorded environment information being compared with the position-dependent environment information provided by the central server by means of a comparison device of the at least one traffic participant and, based on a comparison result, status information for the provided position-dependent environmental information is generated and transmitted to the central server, the at least one time stamp of the provided environmental information being updated in the central server on the basis of the transmitted status information.
- Status information can include, for example, information on whether the environment information provided by the central server is still current or valid, for example in the form of an update bit or a validity bit. This means that information on the surroundings stored on the map in the central server can be updated in an efficient manner.
- the recorded and provided environmental information is compared on the side of the road user, it can be determined when the environmental information stored in the central server is out of date and can be replaced by more current environmental information. If the environmental information provided is up-to-date, it is possible to dispense with the transmission of environmental information recorded by the road user to the central server. If, on the other hand, the environment information transmitted by the central server is no longer up-to-date, for example because the age of the environment information exceeds a certain threshold value, the traffic participant transmits information on the environment for the corresponding position to the central server.
- the comparison takes place, for example, by comparing features in the environmental information provided with features in the recorded environmental information. If, for example, the features under consideration are lanes, then lines that form the lanes can be compared with one another in the information on the surroundings provided and in the information on the surroundings that is recorded. In order to quantify the comparison, a position-wise deviation between the lines can be determined and, based on this, a sum of the smallest error squares can be determined. Alternatively, a correlation of the positions of the lines can also be determined. It is then checked whether the sum of the smallest error squares or the correlation exceeds specified threshold values. or fall below. If a check result shows that the sum of the smallest error squares is below a threshold value, the environmental information provided is assessed as (still) current or valid.
- the check result for the correlation shows that the correlation is above a specific correlation target value, the provided information about the surroundings is assessed as (still) current or valid. Otherwise, the environmental information provided will be judged to be no longer valid.
- the status information is generated on the basis of this check result.
- a quality is determined for a match between the provided information about the surroundings and the captured information about the surroundings, the status information being generated on the basis of the determined quality.
- the quality can be determined, for example, on the basis of a sum of the smallest error squares determined in the context of the comparison or a correlation between positions and / or properties of features in the information on the surroundings.
- the determined quality is compared, for example, with a threshold value determined on the basis of the multidimensional characteristic diagram. If the specific quality is above the limit value, the provided information about the surroundings is judged to be no longer up-to-date and corresponding status information is provided. Otherwise, status information is generated which confirms that the environmental information provided is up to date.
- the multidimensional characteristics map can be expanded to include additional dimensions.
- the characteristics map is further refined on the basis of collected environmental information and the dependencies derived therefrom or is supplemented by additional dimensions or existing dimensions are removed.
- the expansion can take place, for example, on the basis of machine learning methods.
- the at least one time stamp of provided position-dependent environmental information is updated in the central server on the basis of transmitted status information from several road users.
- the at least one time stamp for the corresponding information on the surroundings is only updated when a minimum number of road users have transmitted matching status information to the central server.
- at least three road users must have determined a correspondence between the respectively recorded and provided position-dependent environmental information in order to link the environmental information correspondingly stored in the map with a current time stamp.
- an averaged time stamp is generated (for example, an average time for the arrival of the status information of the three road users).
- the oldest time stamp ie that of the first road user
- the most recent timestamp ie that of the third road user
- the information on the surroundings recorded by the at least one road user is transmitted to the central server as a function of the status information generated.
- the at least one road user transmits the captured information on the surroundings to the central server.
- the map stored in the central server is updated on the basis of the information on the surroundings transmitted by the at least one road user. This can already take place if only a single road user transmits captured information about the surroundings. However, it can only take place when several road users (e.g. three or five road users) have transmitted more up-to-date information about the surroundings to the central server.
- Fig. 1 a schematic representation of an embodiment of the system 1 for providing information about the surroundings 7 is shown.
- the system 1 comprises at least one assistance system 2 of a road user 3, for example a motor vehicle 50, and a central server 4.
- the assistance system 2 and the central server 4 can communicate and exchange data with one another via a communication interface 5, for example a cellular connection.
- the central server 4 comprises a memory 5 in which a map 6 with position-dependent information about the surroundings 7 is stored.
- the environment information 7 is in this case each linked with time stamps 8 which mark a point in time of the last check and / or update of the environment information 7.
- the central server 4 is designed to provide the assistance system 2 of the road user 3 with position-dependent environmental information 7 on the basis of the map 6.
- the traffic participant 3 records a current position 9 of the traffic participant 3, for example via a position determination device (not shown) and transmits this to the central server 4 via the communication link 5.
- the central server 4 calls up an excerpt from the transmitted current position 9 on the basis of the transmitted current position 9 Map 6 and transmits the information about the surroundings 7 comprised by this excerpt, that is to say linked to positions in this excerpt, to the assistance system 3 of the road user 3.
- the time stamps 8 linked with the provided position-dependent environmental information 7 are also transmitted to the assistance system 2.
- the transmitted time stamps 8 enable the assistance system 2, taking into account a current time, to determine an age of the respective environmental information 7 and to take it into account, for example, when providing assistance functions.
- an assistance function can be performed exclusively on the basis of the position-dependent environmental information 7 provided, despite the failure of a sensor system 11 continue to be operated if an age of the provided position-dependent environmental information 7 does not exceed a threshold value.
- system 1 comprises assistance systems 2 further road users 16.
- the position-dependent information about the surroundings 7 include position-dependent features, the features being provided with time stamps 8.
- Each feature comprised by the environment information 7 can be assigned its own time stamp 8, which marks a last update and / or review of the respective feature.
- time stamps 8 are combined for several features or feature classes so that individual features and / or feature classes (e.g. traffic signs) are not provided with separate time stamps 8.
- position-dependent environment information 10 is recorded by the at least one road user 3 by means of a sensor system 11, the recorded environment information 10 being compared with the position-dependent environment information 7 provided by the central server 4 by means of a comparison device 12 of the at least one traffic participant 3 and based on Based on a comparison result, status information 13 is generated for the provided position-dependent environmental information 7 and transmitted to the central server 4, the at least one time stamp 8 of the provided environmental information 7 being updated in the central server 4 on the basis of the transmitted status information 13.
- a quality 14 is determined for a match between the provided environment information 7 and the captured environment information 10, with the status information 13 being generated on the basis of the determined quality 14.
- the quality 14 for deriving the status information 13 is assessed taking into account a multi-dimensional characteristics map 15.
- the multidimensional characteristics map 15 can be expanded by additional dimensions. This can be done, for example, with the aid of machine learning methods, the quality 14 being dependent on various Properties is learned and this is taken into account, for example, when setting a threshold value.
- the at least one time stamp 8 of provided position-dependent environmental information 7 is updated in the central server 4 on the basis of transmitted status information 13 from several road users 3, 16.
- the information on the surroundings 10 recorded by the road users 3, 16 is transmitted to the central server 13 as a function of the status information 13 generated.
- the captured environment information 10 is only transmitted to the central server 4 if the comparison shows that the provided environment information 7 and the captured environment information 10 do not match each other or a predetermined threshold value for a quality 14 of the provided environment information 7 is not reached.
- map 6 stored in the central server 4 is updated on the basis of the environment information 10 transmitted by the at least one road user 3, 16.
- FIG. 2 a schematic flow diagram of an embodiment of a method for providing information on the surroundings is shown.
- an assistance system transmits a current position of a road user to a central server via a communication interface.
- the current position is determined, for example, by means of a position determination device (GPS etc.).
- the central server searches for the transmitted current position in a map and determines a section of the map in which the current position is located, for example an area of a few tens of meters around the current position. Surrounding information, i.e. features with properties and associated positions, is extracted from this section. In addition, time stamps stored for the characteristics are extracted from the map.
- a method step 102 the position-dependent environmental information that was extracted from the map and the associated time stamp are transmitted to the assistance system via the communication connection.
- the assistance system can determine an age of the features in the environmental information provided and take this into account, for example, when providing an assistance function.
- the assistance system uses a comparison device to compare information on the surroundings recorded at the current position of the road user with the information on the surroundings provided by the central server.
- a method step 104 it is checked whether the captured information on the surroundings matches the information on the surroundings provided. This can take place, for example, on the basis of a quality determined in method step 103 for comparison. If the check shows that the information on the surroundings matches, status information is generated in a method step 105 and transmitted to the central server. In a subsequent method step 106, the central server updates a time stamp linked to the environmental information in the map.
- the check in method step 104 reveals that the information on the surroundings does not match
- the recorded information on the surroundings is transmitted from the assistance system to the central server in a method step 107.
- the central server updates the information on the surroundings stored in the map and the time stamps associated therewith.
- the procedure is then repeated for subsequent positions of the road user.
- FIG. 11 shows a schematic representation of center lines 20, 21 of lanes to illustrate a comparison between captured information on the surroundings 10 and 10 provided environment information 7.
- the with the Fig. 3a corresponding Figure 3b shows a schematic representation of a discrepancy 22 between those in FIG Fig. 3a center lines 20, 21 shown in the captured environment information 10 and the provided environment information 7.
- the center lines 20, 21 of the lanes are compared in a simple example. For this purpose, several positions ahead or future times from a time period t 0 to t 3 are considered.
- the Figure 3b shows on a Y-axis 30 y-coordinates of the center lines 20, 21 within one in the Fig. 3a Coordinate system 31 shown.
- a correspondence or a discrepancy between the lanes 20, 21 can be quantified, for example, by determining a sum of the smallest error squares of position-dependent errors between the center lines 20, 21. Alternatively, a correlation can also be determined.
- a quality can then be determined from the sum of the smallest error squares or the correlation or another suitable quality criterion (eg a distance, ).
Abstract
Die Erfindung betrifft ein Verfahren zum Bereitstellen von Umfeldinformationen (7), wobei mindestens einem Assistenzsystem (2) mindestens eines Verkehrsteilnehmers (3,16) mittels eines zentralen Servers (4) auf Grundlage einer Karte(6) positionsabhängige Umfeldinformationen (7) bereitgestellt werden, und wobei die bereitgestellten positionsabhängigen Umfeldinformationen (7) jeweils mit mindestens einem Zeitstempel (8) versehen sind, der eine letzte Aktualisierung und/oder Überprüfung der bereitgestellten positionsabhängigen Umfeldinformationen (7) markiert. Ferner betrifft die Erfindung ein System (1) zum Bereitstellen von Umfeldinformationen (7).The invention relates to a method for providing information on the surroundings (7), with at least one assistance system (2) of at least one road user (3, 16) being provided with position-dependent information on the surroundings (7) on the basis of a map (6) by means of a central server (4), and the provided position-dependent environmental information (7) each being provided with at least one time stamp (8) which marks a last update and / or review of the provided position-dependent environmental information (7). The invention also relates to a system (1) for providing information on the surroundings (7).
Description
Die Erfindung betrifft ein Verfahren und ein System zum Bereitstellen von Umfeldinformationen.The invention relates to a method and a system for providing information on the surroundings.
Moderne Kraftfahrzeuge weisen eine Vielzahl von Assistenzsystemen auf, welche einen Fahrer beim Führen des Kraftfahrzeugs unterstützen oder das Führen des Kraftfahrzeugs teilweise oder sogar vollständig übernehmen können. Vermehrt werden hierbei auch Umfeldinformationen verwendet, welche mittels eines zentralen Servers drahtlos an ein Assistenzsystem übermittelt werden. Umgekehrt können von den Kraftfahrzeugen mittels einer Sensorik erfasste Umfeldinformationen an den zentralen Server übermittelt werden. Auf diese Weise wird ein Sammeln und eine Nutzung von (Schwarm-)Daten vieler Verkehrsteilnehmer möglich.Modern motor vehicles have a large number of assistance systems which support a driver in driving the motor vehicle or which can partially or even completely take over driving the motor vehicle. Environment information is also increasingly being used, which is transmitted wirelessly to an assistance system by means of a central server. Conversely, information on the surroundings recorded by the motor vehicles by means of a sensor system can be transmitted to the central server. In this way it is possible to collect and use (swarm) data from many road users.
Aus der
Der Erfindung liegt die Aufgabe zu Grunde, ein Verfahren und ein System zum Bereitstellen von Umfeldinformationen zu verbessern.The invention is based on the object of improving a method and a system for providing information on the surroundings.
Die Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 und ein System mit den Merkmalen des Patentanspruchs 10 gelöst. Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.According to the invention, the object is achieved by a method with the features of
Insbesondere wird ein Verfahren zum Bereitstellen von Umfeldinformationen zur Verfügung gestellt, wobei mindestens einem Assistenzsystem mindestens eines Verkehrsteilnehmers mittels eines zentralen Servers auf Grundlage einer Karte positionsabhängige Umfeldinformationen bereitgestellt werden, und wobei die bereitgestellten positionsabhängigen Umfeldinformationen jeweils mit mindestens einem Zeitstempel versehen sind, der eine letzte Aktualisierung und/oder Überprüfung der bereitgestellten positionsabhängigen Umfeldinformationen markiert.In particular, a method for providing information on the surroundings is provided, with at least one assistance system of at least one road user being provided with position-dependent information on the surroundings by means of a central server on the basis of a map, and with the position-dependent information on the surroundings each being provided with at least one time stamp indicating a last update and / or checking the provided position-dependent environment information is marked.
Ferner wird ein System zum Bereitstellen von Umfeldinformationen geschaffen, umfassend mindestens ein Assistenzsystem mindestens eines Verkehrsteilnehmers und einen zentralen Server, wobei der zentrale Server derart ausgebildet ist, dem mindestens einen Assistenzsystem des mindestens einen Verkehrsteilnehmers auf Grundlage einer Karte positionsabhängige Umfeldinformationen bereitzustellen, wobei die bereitgestellten positionsabhängigen Umfeldinformationen jeweils mit mindestens einem Zeitstempel versehen sind, der eine letzte Aktualisierung und/oder Überprüfung der jeweiligen bereitgestellten positionsabhängigen Umfeldinformationen markiert.Furthermore, a system for providing environment information is created, comprising at least one assistance system of at least one road user and a central server, the central server being designed to provide the at least one assistance system of the at least one road user based on a map with position-dependent environment information, the provided position-dependent information Environment information is each provided with at least one time stamp, which marks a last update and / or review of the respective provided position-dependent environment information.
Das Verfahren und das System ermöglichen es, ein Alter der von dem Server dem Assistenzsystem eines Verkehrsteilnehmers bereitgestellten Umfeldinformationen zu bestimmen. Dies kann beispielsweise durch einen Vergleich des mindestens einen Zeitstempels mit einer aktuellen Zeit erfolgen. Ein typisches Anwendungsszenario ist hierbei das folgende: Ein Verkehrsteilnehmer, beispielsweise ein Kraftfahrzeug, weist als Assistenzsystem ein Spurhalteassistenzsystem auf, welches auf Grundlage von erfassten Kamerabildern Fahrspuren einer Autobahn erkennt und eine Querführung des Kraftfahrzeug auf Grundlage der erkannten Fahrspuren regelt. Das Kraftfahrzeug fährt auf der Autobahn jedoch in einen Stau hinein, sodass die Kamera die Fahrspuren nicht mehr erfassen kann, da diese von einem vorausfahrenden Kraftfahrzeug verdeckt werden. Das Spurhalteassistenzsystem kann daher auf Grundlage der Kamerabilder die Fahrspuren nicht mehr erkennen und müsste daher deaktiviert werden. Da jedoch positionsabhängige Umfeldinformationen von dem zentralen Server bereitgestellt werden, kann das Spurhalteassistenzsystem auf Grundlage der übermittelten Umfeldinformationen weiterbetrieben werden. Da sich ein Umfeld jedoch mit der Zeit verändern kann, beispielsweise weil ursprüngliche Fahrspurmarkierungen in einer kürzlich errichteten Baustelle entfernt oder verändert wurden, muss ein Alter der übermittelten Umfeldinformationen bekannt sein. Da die bereitgestellten Umfeldinformationen erfindungsgemäß mit einem Zeitstempel versehen sind, kann das Alter festgestellt werden. Sind die bereitgestellten Umfeldinformationen aktuell, so kann das Spurhalteassistenzsystem auf Grundlage der vom zentralen Server bereitgestellten Umfeldinformationen weiterbetrieben werden.The method and the system make it possible to determine an age of the information on the surroundings provided by the server to the assistance system of a road user. This can be done, for example, by comparing the at least one time stamp with a current time. A typical application scenario here is as follows: A road user, for example a motor vehicle, has a lane departure warning system as an assistance system, which recognizes lanes of a motorway on the basis of captured camera images and regulates transverse guidance of the motor vehicle on the basis of the recognized lanes. However, the motor vehicle drives into a traffic jam on the motorway, so that the camera can no longer record the lanes, since they are covered by a motor vehicle driving ahead. The lane departure warning system can therefore no longer recognize the lanes on the basis of the camera images and would therefore have to be deactivated. However, since position-dependent information on the surroundings is provided by the central server, the lane-keeping assistance system can continue to be operated on the basis of the transmitted information on the surroundings. However, since an environment can change over time, for example because original lane markings have been removed or changed in a recently built construction site, the age of the transmitted environment information must be known. Since the environmental information provided is provided with a time stamp according to the invention, the age can be determined. If the environmental information provided is up-to-date, the lane departure warning system can continue to be operated on the basis of the environmental information provided by the central server.
Insbesondere kann vorgesehen sein, dass der Zeitstempel mittels eines Assistenzsystems überprüft wird und auf Grundlage eines Überprüfungsergebnisses entschieden wird, ob die bereitgestellten Umfeldinformationen beim Ausführen einer vom Assistenzsystem bereitgestellten Assistenzfunktion verwendet werden oder nicht. Ein bestimmtes Alter der bereitgestellten Umfeldinformation darf hierbei je nach Anwendungsszenario beispielsweise einige Sekunden, Minuten, Stunden oder sogar Tage, Wochen oder Monate betragen.In particular, it can be provided that the time stamp is checked by means of an assistance system and a decision is made on the basis of a check result as to whether or not the provided information about the surroundings is used when performing an assistance function provided by the assistance system. A certain age of the Environment information provided may be, for example, a few seconds, minutes, hours or even days, weeks or months, depending on the application scenario.
Der mindestens eine Verkehrsteilnehmer und der zentrale Server kommunizieren insbesondere drahtlos miteinander, beispielsweise über eine drahtlose Kommunikationsschnittstelle. Die drahtlose Kommunikationsschnittstelle kann beispielsweise eine Mobilfunkschnittstelle (4G, LTE, 5G,...) sein, welche eine Kommunikation beispielsweise über das Internet ermöglicht.The at least one road user and the central server communicate with one another in particular wirelessly, for example via a wireless communication interface. The wireless communication interface can, for example, be a cellular radio interface (4G, LTE, 5G, ...) which enables communication, for example, via the Internet.
Um die positionsabhängigen Umfeldinformationen bereitstellen zu können, übermittelt der Verkehrsteilnehmer insbesondere eine aktuelle Position an den zentralen Server. Die aktuelle Position kann beispielsweise mittels einer Positionsbestimmungseinrichtung (z.B. GPS, GLONASS, Galileo, Beidou etc.) des Verkehrsteilnehmers bestimmt werden. Der zentrale Server ruft dann für einen bestimmten Umkreis um die übermittelte aktuelle Position des Verkehrsteilnehmers aus einer Karte die zugehörigen Umfeldinformationen ab und stellt diese dem Verkehrsteilnehmer bereit. Darüber hinaus kann zusätzlich eine Position über einen Merkmalsabgleich zwischen Merkmalen in vom Verkehrsteilnehmer erfassten Umfeldinformationen und den bereitgestellten Umfeldinformationen bestimmt werden. Beispielsweise können mehrere übereinstimmende Merkmale gesucht und deren Positionen miteinander verglichen werden. Dies ermöglicht es, den Verkehrsteilnehmer z.B. auf Grundlage einer Triangulation in der Karte zu lokalisieren.In order to be able to provide the position-dependent environmental information, the road user transmits in particular a current position to the central server. The current position can for example be determined by means of a position determination device (e.g. GPS, GLONASS, Galileo, Beidou etc.) of the road user. The central server then calls up the associated information about the surroundings for a specific area around the transmitted current position of the road user from a map and makes this available to the road user. In addition, a position can additionally be determined via a feature comparison between features in the information on the surroundings recorded by the road user and the information on the surroundings provided. For example, several matching features can be searched for and their positions compared with one another. This enables the road user to e.g. based on a triangulation in the map.
Umfeldinformationen sind insbesondere Merkmale im Umfeld einer bestimmten Position. Die Merkmale weisen hierbei insbesondere bestimmte Eigenschaften, wie beispielsweise eine Art, eine Klasse, eine Ausdehnung, eine Farbe, eine Oberflächenbeschaffenheit und/oder ein Reflexionsvermögen etc. sowie eine zugehörige Position auf. Umfeldinformationen können beispielsweise Fahrbahnmarkierungen, Verkehrsschilder und/oder sonstige Objekte und/oder Hindernisse beschreiben.Environment information is in particular features in the environment of a specific position. The features here have, in particular, certain properties, such as a type, a class, an extent, a color, a surface quality and / or a reflectivity, etc., as well as an associated position. Surrounding information can describe, for example, lane markings, traffic signs and / or other objects and / or obstacles.
Eine Karte umfasst insbesondere eine Zuordnung von Umfeldinformationen zu zweidimensionalen oder dreidimensionalen Positionen in Form von geographischen Koordinaten. Die zweidimensionalen oder dreidimensionalen Positionen können insbesondere in Form von globalen Koordinaten einer Positionsbestimmungseinrichtung (GPS, Galileo etc.) hinterlegt sein. Die Karte bzw. die hinterlegten positionsabhängigen Umfeldinformationen sind beispielsweise auf Grundlage fusionierter Umfeldinformationen mehrerer Verkehrsteilnehmer erzeugt worden. Als Teil der bereitgestellten Umfeldinformationen werden z.B. Merkmale und deren Positionen in der Karte an den mindestens einen Verkehrsteilnehmer übermittelt. Zu den Umfeldinformationen sind zugehörige Zeitstempel in der Karte hinterlegt, die eine letzte Aktualisierung und/oder Überprüfung der jeweils hinterlegten Umfeldinformationen markieren.A map includes, in particular, an assignment of information about the surroundings to two-dimensional or three-dimensional positions in the form of geographic coordinates. The two-dimensional or three-dimensional positions can in particular be stored in the form of global coordinates of a position determining device (GPS, Galileo, etc.). The map or the stored position-dependent environmental information have been generated, for example, on the basis of merged environmental information from several road users. Features and their positions on the map, for example, are transmitted to the at least one road user as part of the environment information provided. To the Surrounding information is stored in the map with associated time stamps which mark a last update and / or review of the respectively stored surrounding information.
Der zentrale Server und der mindestens eine Verkehrsteilnehmer bzw. das zugehörige Assistenzsystem weisen jeweils Uhren auf, die eine aktuelle Zeit bereitstellen, insbesondere zum Erzeugen von Zeitstempeln.The central server and the at least one road user or the associated assistance system each have clocks that provide a current time, in particular for generating time stamps.
Ein Verkehrsteilnehmer ist insbesondere ein Kraftfahrzeug, insbesondere ein teilautomatisiert oder automatisiert fahrendes Kraftfahrzeug. Prinzipiell kann ein Verkehrsteilnehmer aber auch ein anderes Land-, Wasser- oder Luftfahrzeug sein.A road user is in particular a motor vehicle, in particular a partially or automatically driving motor vehicle. In principle, however, a road user can also be another land, water or air vehicle.
Der zentrale Server ist insbesondere als Cloud-Dienst ausgebildet, wobei der Cloud-Dienst als Backend positionsabhängige Umfeldinformationen bereitstellt. Hierzu ist in einem Speicher des zentralen Servers eine Karte mit darin hinterlegten positionsabhängigen Umfeldinformationen hinterlegt.The central server is designed in particular as a cloud service, with the cloud service providing position-dependent environmental information as a backend. For this purpose, a map with position-dependent environmental information stored therein is stored in a memory of the central server.
Teile des Systems und/oder des Assistenzsystems können einzeln oder zusammengefasst als eine Kombination von Hardware und Software ausgebildet sein, beispielsweise als Programmcode, der auf einem Mikrocontroller oder Mikroprozessor ausgeführt wird. Es kann jedoch auch vorgesehen sein, dass Teile einzeln oder zusammengefasst als anwendungsspezifische integrierte Schaltung (ASIC) ausgebildet sind.Parts of the system and / or the assistance system can be designed individually or collectively as a combination of hardware and software, for example as program code that is executed on a microcontroller or microprocessor. However, it can also be provided that parts are designed individually or combined as an application-specific integrated circuit (ASIC).
In einer Ausführungsform ist vorgesehen, dass die positionsabhängigen Umfeldinformationen positionsabhängige Merkmale umfassen, wobei die Merkmale mit Zeitstempeln versehen sind. Jedem von den Umfeldinformationen umfassten Merkmalen kann hierbei ein eigener Zeitstempel zugeordnet sein, der jeweils eine letzte Aktualisierung und/oder Überprüfung des jeweiligen Merkmals markiert. So kann ein Alter für einzelne Merkmale in den positionsabhängigen Umfeldinformationen bestimmt werden. Umfassen die bereitgestellten positionsabhängigen Umfeldinformationen beispielsweise Fahrspurmarkierungen und ein Verkehrsschild, so kann ein aus dem jeweiligen Zeitstempel abgeleitetes Alter der Fahrspurmarkierungen 5 Minuten und ein aus dem jeweiligen Zeitstempel abgeleitetes Alter des Verkehrsschilds 1 Tag betragen. Darauf aufbauend kann das Assistenzsystem dann beispielsweise entscheiden, dass die vom zentralen Server mittels der Umfeldinformationen bereitgestellten Fahrspurmarkierungen beim Bereitstellen einer Assistenzfunktion verwendet werden dürfen, das Verkehrsschild hingegen nicht, da die zugehörige Information nicht aktuell genug ist bzw. eine Überprüfung der Information zu weit in der Vergangenheit liegt. Es kann jedoch auch vorgesehen sein, dass Zeitstempel für mehrere Merkmale oder Merkmalsklassen zusammengefasst werden, sodass einzelne Merkmale und/oder Merkmalsklassen (z.B. Verkehrsschilder) nicht mit jeweils separaten Zeitstempeln versehen sind.In one embodiment it is provided that the position-dependent environment information includes position-dependent features, the features being provided with time stamps. Each feature comprised by the environment information can be assigned its own time stamp, which marks a last update and / or review of the respective feature. In this way, an age can be determined for individual features in the position-dependent environmental information. If the provided position-dependent environmental information includes, for example, lane markings and a traffic sign, an age of the lane markings derived from the respective time stamp can be 5 minutes and an age of the traffic sign derived from the respective time stamp can be 1 day. Building on this, the assistance system can then decide, for example, that the lane markings provided by the central server by means of the environment information may be used when providing an assistance function, but not the traffic sign because the associated information is not up-to-date enough or a check of the information is too far in the Past lies. It can however, it can also be provided that time stamps for several features or feature classes are combined so that individual features and / or feature classes (for example traffic signs) are not provided with separate time stamps.
In einer weiteren Ausführungsform ist vorgesehen, dass positionsabhängige Umfeldinformationen mittels einer Sensorik von dem mindestens einen Verkehrsteilnehmer erfasst werden, wobei die erfassten Umfeldinformationen mit den vom zentralen Server bereitgestellten positionsabhängigen Umfeldinformationen mittels einer Vergleichseinrichtung des mindestens einen Verkehrsteilnehmers verglichen werden und auf Grundlage eines Vergleichsergebnisses eine Statusinformation für die bereitgestellten positionsabhängigen Umfeldinformationen erzeugt und an den zentralen Server übermittelt wird, wobei der mindestens eine Zeitstempel der bereitgestellten Umfeldinformationen im zentralen Server auf Grundlage der übermittelten Statusinformation aktualisiert wird. Eine Statusinformation kann beispielsweise eine Information darüber umfassen, ob die vom zentralen Server bereitgestellten Umfeldinformationen noch aktuell bzw. gültig sind, beispielsweise in Form eines Aktualitäts-Bits oder Gültigkeits-Bits. Hierdurch können im zentralen Server in der Karte hinterlegte Umfeldinformationen auf effiziente Weise aktualisiert werden. Da ein Vergleich der erfassten und bereitgestellten Umfeldinformationen auf der Seite des Verkehrsteilnehmers erfolgt, kann ermittelt werden, wann im zentralen Server hinterlegte Umfeldinformationen veraltet sind und durch aktuellere Umfeldinformationen ersetzt werden können. Sind bereitgestellte Umfeldinformationen aktuell, so kann auf eine Übermittelung von mittels des Verkehrsteilnehmers erfassten Umfeldinformationen an den zentralen Server verzichtet werden. Sind die vom zentralen Server übermittelten Umfeldinformationen hingegen nicht mehr aktuell, beispielsweise weil das Alter der Umfeldinformationen einen bestimmten Schwellenwert überschreiten, so werden mittels des Verkehrsteilnehmers für die entsprechende Position erfasste Umfeldinformationen an den zentralen Server übermittelt.In a further embodiment it is provided that position-dependent environment information is recorded by the at least one road user by means of a sensor system, the recorded environment information being compared with the position-dependent environment information provided by the central server by means of a comparison device of the at least one traffic participant and, based on a comparison result, status information for the provided position-dependent environmental information is generated and transmitted to the central server, the at least one time stamp of the provided environmental information being updated in the central server on the basis of the transmitted status information. Status information can include, for example, information on whether the environment information provided by the central server is still current or valid, for example in the form of an update bit or a validity bit. This means that information on the surroundings stored on the map in the central server can be updated in an efficient manner. Since the recorded and provided environmental information is compared on the side of the road user, it can be determined when the environmental information stored in the central server is out of date and can be replaced by more current environmental information. If the environmental information provided is up-to-date, it is possible to dispense with the transmission of environmental information recorded by the road user to the central server. If, on the other hand, the environment information transmitted by the central server is no longer up-to-date, for example because the age of the environment information exceeds a certain threshold value, the traffic participant transmits information on the environment for the corresponding position to the central server.
Das Vergleichen erfolgt beispielsweise durch einen Vergleich von Merkmalen in den bereitgestellten Umfeldinformationen mit Merkmalen in den erfassten Umfeldinformationen. Handelt es sich beispielsweise bei den betrachteten Merkmalen um Fahrspuren, so können Linien, die die Fahrspuren ausbilden, in den bereitgestellten Umfeldinformationen und in den erfassten Umfeldinformationen miteinander verglichen werden. Um den Vergleich zu quantifizieren, kann eine positionsweise Abweichung zwischen den Linien bestimmt werden und darauf aufbauend eine Summe kleinster Fehlerquadrate bestimmt werden. Alternativ kann auch eine Korrelation der Positionen der Linien bestimmt werden. Anschließend wird überprüft, ob die Summe kleinster Fehlerquadrate oder die Korrelation vorgegebene Schwellenwerte über- oder unterschreiten. Ergibt ein Überprüfungsergebnis, dass die Summe kleinster Fehlerquadrate unterhalb eines Schwellwertes liegt, werden die bereitgestellten Umfeldinformationen als (noch) aktuell bzw. gültig beurteilt. Ergibt das Überprüfungsergebnis für die Korrelation entsprechend, dass die Korrelation oberhalb eines bestimmten Korrelationszielwertes liegt, werden die bereitgestellten Umfeldinformationen als (noch) aktuell bzw. gültig beurteilt. Anderenfalls werden die bereitgestellten Umfeldinformationen als nicht (mehr) gültig beurteilt. Auf Grundlage dieses Überprüfungsergebnisses wird die Statusinformation erzeugt.The comparison takes place, for example, by comparing features in the environmental information provided with features in the recorded environmental information. If, for example, the features under consideration are lanes, then lines that form the lanes can be compared with one another in the information on the surroundings provided and in the information on the surroundings that is recorded. In order to quantify the comparison, a position-wise deviation between the lines can be determined and, based on this, a sum of the smallest error squares can be determined. Alternatively, a correlation of the positions of the lines can also be determined. It is then checked whether the sum of the smallest error squares or the correlation exceeds specified threshold values. or fall below. If a check result shows that the sum of the smallest error squares is below a threshold value, the environmental information provided is assessed as (still) current or valid. If the check result for the correlation shows that the correlation is above a specific correlation target value, the provided information about the surroundings is assessed as (still) current or valid. Otherwise, the environmental information provided will be judged to be no longer valid. The status information is generated on the basis of this check result.
In einer weiterbildenden Ausführungsform ist vorgesehen, dass beim Vergleichen eine Güte für eine Übereinstimmung der bereitgestellten Umfeldinformationen mit den erfassten Umfeldinformationen bestimmt wird, wobei die Statusinformation auf Grundlage der bestimmten Güte erzeugt wird. Dies ermöglicht es, beim Vergleichen mehrere Beurteilungskriterien zu berücksichtigen. Die Güte kann beispielswiese auf Grundlage einer im Rahmen des Vergleichs bestimmten Summe kleinster Fehlerquadrate oder einer Korrelation zwischen Positionen und/oder Eigenschaften von Merkmalen in den Umfeldinformationen bestimmt werden.In a further developing embodiment, it is provided that, during the comparison, a quality is determined for a match between the provided information about the surroundings and the captured information about the surroundings, the status information being generated on the basis of the determined quality. This makes it possible to consider several assessment criteria when comparing. The quality can be determined, for example, on the basis of a sum of the smallest error squares determined in the context of the comparison or a correlation between positions and / or properties of features in the information on the surroundings.
In einer weiterbildenden Ausführungsform ist vorgesehen, dass die Güte zum Ableiten der Statusinformation unter Berücksichtigung eines mehrdimensionalen Kennfeldes beurteilt wird. Hierdurch können kontextbedingte Einflussfaktoren berücksichtigt werden. Dieses mehrdimensionale Kennfeld umfasst mehrere Abhängigkeiten, die gewichtet beim Beurteilen der Güte berücksichtigt werden. Die Abhängigkeiten können beispielsweise die folgenden sein:
- ein Abstand eines beim Vergleichen berücksichtigten Merkmals, ein Erfassungshorizont bzw. eine Auflösung einer Kamera kann z.B. in Abhängigkeit eines Erfassungsbereichs unterschiedlich gewichtet werden (0-10 m, 0-20 m, 0-80 m, 20-80 m), zum Beispiel indem eine Übereinstimmung zwischen Positionen von Merkmalen innerhalb eines weiter entfernt liegenden Erfassungshorizonts weniger stark gewichtet wird als bei einem kürzeren Erfassungshorizont;
- eine Art eines Merkmals: eine beim Vergleich festgestellte Übereinstimmung zwischen einer Mittellinie bzw. einer Fahrbahnmarkierung kann stärker gewichtet werden als eine Übereinstimmung bei einer seitlichen Fahrbahnbegrenzung (Übergang zwischen Asphalt und Grasnarbe);
- Umfeldbedingungen: eine Übereinstimmung bei schlechtem Wetter (zum Beispiel Regen, Schnee, Dunkelheit etc.) kann weniger stark gewichtet werden als eine Übereinstimmung bei gutem Wetter (Sonnenschein, beste Sicht etc.);
- eine Art des jeweiligen Gütekriteriums: eine Gewichtung kann in Abhängigkeit der Art und Weise, wie die Übereinstimmung festgestellt wird, vorgenommen werden (zum Beispiel für unterschiedliche Verfahren beim Vergleich: für eine Summe kleinster Fehlerquadrate oder eine Korrelation);
- eine historische Güte: beim Bestimmen einer aktuellen Güte kann eine historische Güte mit einer bestimmten Gewichtung berücksichtigt werden;
- ein Alter der in der Karte hinterlegten Umfeldinformationen;
- eine Güte der übermittelten Umfeldinformationen;
- etc.
- a distance of a feature taken into account in the comparison, a detection horizon or a resolution of a camera can be weighted differently depending on a detection area (0-10 m, 0-20 m, 0-80 m, 20-80 m), for example by a correspondence between positions of features within a more distant detection horizon is weighted less strongly than in the case of a shorter detection horizon;
- a type of feature: a correspondence between a center line or a lane marking determined during the comparison can be weighted more heavily than an agreement in the case of a lateral lane boundary (transition between asphalt and turf);
- Environmental conditions: a match in bad weather (for example rain, snow, darkness, etc.) can be weighted less strongly than a match in good weather (sunshine, best visibility, etc.);
- a type of the respective quality criterion: a weighting can be carried out as a function of the way in which the correspondence is determined (for example for different methods in the comparison: for a sum of the least squares of errors or a correlation);
- a historical quality: when determining a current quality, a historical quality can be taken into account with a specific weighting;
- an age of the environmental information stored in the card;
- a quality of the transmitted environment information;
- Etc.
Die bestimmte Güte wird beispielsweise mit einem auf Grundlage des mehrdimensionalen Kennfelds bestimmten Schwellenwert verglichen. Liegt die bestimmte Güte oberhalb des Grenzwertes, so werden die bereitgestellten Umfeldinformationen als nicht (mehr) aktuell beurteilt und eine entsprechende Statusinformation wird bereitgestellt. Anderenfalls wird eine Statusinformation erzeugt, die die Aktualität der bereitgestellten Umfeldinformationen bestätigt.The determined quality is compared, for example, with a threshold value determined on the basis of the multidimensional characteristic diagram. If the specific quality is above the limit value, the provided information about the surroundings is judged to be no longer up-to-date and corresponding status information is provided. Otherwise, status information is generated which confirms that the environmental information provided is up to date.
In einer weiterbildenden Ausführungsform ist vorgesehen, dass das mehrdimensionale Kennfeld um zusätzliche Dimensionen erweitert werden kann. Insbesondere kann vorgesehen sein, dass das Kennfeld auf Grundlage von gesammelten Umfeldinformationen und daraus abgeleiteten Abhängigkeiten weiter verfeinert wird bzw. um zusätzliche Dimensionen ergänzt wird oder vorhandene Dimensionen entfernt werden. Das Erweitern kann beispielsweise auf Grundlage von Verfahren des Maschinenlernens erfolgen.In a further-developing embodiment, it is provided that the multidimensional characteristics map can be expanded to include additional dimensions. In particular, it can be provided that the characteristics map is further refined on the basis of collected environmental information and the dependencies derived therefrom or is supplemented by additional dimensions or existing dimensions are removed. The expansion can take place, for example, on the basis of machine learning methods.
In einer Ausführungsform ist vorgesehen, dass der mindestens eine Zeitstempel von bereitgestellten positionsabhängigen Umfeldinformationen im zentralen Server auf Grundlage von übermittelten Statusinformationen mehrerer Verkehrsteilnehmer aktualisiert wird. Insbesondere kann vorgesehen sein, dass der mindestens eine Zeitstempel für die entsprechenden Umfeldinformation erst aktualisiert wird, wenn eine Mindestanzahl von Verkehrsteilnehmern eine übereinstimmende Statusinformation an den zentralen Server übermittelt haben. Beispielsweise kann vorgesehen sein, dass mindestens drei Verkehrsteilnehmer eine Übereinstimmung zwischen jeweils erfassten und bereitgestellten positionsabhängigen Umfeldinformationen festgestellt haben müssen, um die entsprechend in der Karte hinterlegten Umfeldinformationen mit einem aktuellen Zeitstempel zu verknüpfen. Es kann hierbei vorgesehen sein, dass ein gemittelter Zeitstempel erzeugt wird (z.B. eine mittlere Zeit für das Eintreffen der Statusinformationen der drei Verkehrsteilnehmer). Es kann jedoch auch vorgesehen sein, den ältesten Zeitstempel (d.h. den vom ersten Verkehrsteilnehmer) oder den jüngsten Zeitstempel (d.h. den vom dritten Verkehrsteilnehmer) zu verwenden. Nach dem Aktualisieren des Zeitstempels für die positionsabhängigen Umfeldinformationen wird der neue Zeitstempel an anfragende Verkehrsteilnehmer übermittelt.In one embodiment it is provided that the at least one time stamp of provided position-dependent environmental information is updated in the central server on the basis of transmitted status information from several road users. In particular, it can be provided that the at least one time stamp for the corresponding information on the surroundings is only updated when a minimum number of road users have transmitted matching status information to the central server. For example, it can be provided that at least three road users must have determined a correspondence between the respectively recorded and provided position-dependent environmental information in order to link the environmental information correspondingly stored in the map with a current time stamp. It can be provided here that an averaged time stamp is generated (for example, an average time for the arrival of the status information of the three road users). However, it can also be provided that the oldest time stamp (ie that of the first road user) or to use the most recent timestamp (ie that of the third road user). After the time stamp for the position-dependent environmental information has been updated, the new time stamp is transmitted to the inquiring road user.
In einer weiteren Ausführungsform ist vorgesehen, dass die vom mindestens einen Verkehrsteilnehmer erfassten Umfeldinformationen in Abhängigkeit der erzeugten Statusinformation an den zentralen Server übermittelt werden. Insbesondere ist vorgesehen, dass in dem Fall, in dem das Vergleichen ergibt, dass die erfassten Umfeldinformationen und die bereitgestellten Umfeldinformationen nicht miteinander übereinstimmen, der mindestens eine Verkehrsteilnehmer die erfassten Umfeldinformationen an den zentralen Server übermittelt. Hierdurch kann ein Datenvolumen, das von Verkehrsteilnehmern an den zentralen Server übermittelt werden muss, deutlich reduziert werden, da nur bei nicht mehr aktuellen Umfeldinformationen eine Übermittlung von aktuelleren Umfeldinformationen an den zentralen Server erfolgt.In a further embodiment it is provided that the information on the surroundings recorded by the at least one road user is transmitted to the central server as a function of the status information generated. In particular, it is provided that in the case in which the comparison shows that the captured information on the surroundings and the provided information on the surroundings do not match one another, the at least one road user transmits the captured information on the surroundings to the central server. As a result, a data volume that has to be transmitted by road users to the central server can be significantly reduced, since more up-to-date information about the surroundings is only transmitted to the central server when information about the surroundings is no longer up-to-date.
In einer weiterbildenden Ausführungsform ist vorgesehen, dass die im zentralen Server hinterlegte Karte auf Grundlage der vom mindestens einen Verkehrsteilnehmer übermittelten Umfeldinformationen aktualisiert wird. Dies kann bereits erfolgen, wenn lediglich ein einziger Verkehrsteilnehmer erfasste Umfeldinformationen übermittelt. Es kann jedoch auch erst erfolgen, wenn mehrere Verkehrsteilnehmer (z.B. drei oder fünf Verkehrsteilnehmer) aktuellere Umfeldinformationen an den zentralen Server übermittelt haben.In a further developing embodiment it is provided that the map stored in the central server is updated on the basis of the information on the surroundings transmitted by the at least one road user. This can already take place if only a single road user transmits captured information about the surroundings. However, it can only take place when several road users (e.g. three or five road users) have transmitted more up-to-date information about the surroundings to the central server.
Merkmale zur Ausgestaltung des Systems ergeben sich aus der Beschreibung von Ausgestaltungen des Verfahrens. Die Vorteile des Systems sind hierbei jeweils die gleichen wie bei den Ausgestaltungen des Verfahrens.Features for the configuration of the system result from the description of configurations of the method. The advantages of the system are the same as in the case of the refinements of the method.
Nachfolgend wird die Erfindung anhand bevorzugter Ausführungsbeispiele unter Bezugnahme auf die Figuren näher erläutert. Hierbei zeigen:
- Fig. 1
- eine schematische Darstellung einer Ausführungsform des Systems zum Bereitstellen von Umfeldinformationen;
- Fig. 2
- ein schematisches Ablaufdiagramm einer Ausführungsform eines Verfahrens zum Bereitstellen von Umfeldinformationen;
- Fig. 3a
- eine schematische Darstellung von Fahrspuren zur Verdeutlichung eines Vergleichs zwischen erfassten und bereitgestellten Umfeldinformationen;
- Fig. 3b
- eine schematische Darstellung einer beispielhaft bestimmten Abweichung zwischen den in der
Fig. 3a gezeigten Fahrspuren.
- Fig. 1
- a schematic representation of an embodiment of the system for providing environmental information;
- Fig. 2
- a schematic flow diagram of an embodiment of a method for providing information on the surroundings;
- Fig. 3a
- a schematic representation of lanes to illustrate a comparison between captured and provided information about the surroundings;
- Figure 3b
- a schematic representation of an exemplary determined deviation between the in the
Fig. 3a shown lanes.
In
Der zentrale Server 4 umfasst einen Speicher 5, in dem eine Karte 6 mit positionsabhängigen Umfeldinformationen 7 hinterlegt ist. Die Umfeldinformationen 7 sind hierbei jeweils mit Zeitstempeln 8 verknüpft, welche einen Zeitpunkt der letzten Überprüfung und/oder Aktualisierung der Umfeldinformationen 7 markieren.The
Der zentrale Server 4 ist derart ausgebildet, dem Assistenzsystem 2 des Verkehrsteilnehmers 3 auf Grundlage der Karte 6 positionsabhängige Umfeldinformationen 7 bereitzustellen. Hierzu erfasst der Verkehrsteilnehmer 3, beispielsweise über eine Positionsbestimmungseinrichtung (nicht gezeigt) eine aktuelle Position 9 des Verkehrsteilnehmers 3 und übermittelt diese über die Kommunikationsverbindung 5 an den zentralen Server 4. Der zentrale Server 4 ruft auf Grundlage der übermittelten aktuellen Position 9 einen Ausschnitt aus der Karte 6 ab und übermittelt die von diesem Ausschnitt umfassten, das heißt die mit Positionen in diesem Ausschnitt verknüpften, Umfeldinformationen 7 an das Assistenzsystem 3 des Verkehrsteilnehmers 3.The
Hierbei ist vorgesehen, dass die mit den bereitgestellten positionsabhängigen Umfeldinformationen 7 verknüpften Zeitstempel 8 ebenfalls an das Assistenzsystem 2 übermittelt werden. Die übermittelten Zeitstempel 8 ermöglichen es dem Assistenzsystem 2, unter Berücksichtigung einer aktuellen Zeit ein Alter der jeweiligen Umfeldinformationen 7 festzustellen und beispielsweise beim Bereitstellen von Assistenzfunktionen zu berücksichtigen. So kann beispielsweise eine Assistenzfunktion ausschließlich auf Grundlage der bereitgestellten positionsabhängigen Umfeldinformationen 7 trotz Ausfall einer Sensorik 11 weiterbetrieben werden, wenn ein Alter der bereitgestellten positionsabhängigen Umfeldinformationen 7 einen Schwellenwert nicht überschreitet.It is provided here that the
Es kann vorgesehen sein, dass das System 1 Assistenzsysteme 2 weiterer Verkehrsteilnehmer 16 umfasst.It can be provided that the
Es kann vorgesehen sein, dass die positionsabhängigen Umfeldinformationen 7 positionsabhängige Merkmale umfassen, wobei die Merkmale mit Zeitstempeln 8 versehen sind. Jedem von den Umfeldinformationen 7 umfassten Merkmalen kann hierbei ein eigener Zeitstempel 8 zugeordnet sein, der jeweils eine letzte Aktualisierung und/oder Überprüfung des jeweiligen Merkmals markiert. Es kann jedoch auch vorgesehen sein, dass Zeitstempel 8 für mehrere Merkmale oder Merkmalsklassen zusammengefasst werden, sodass einzelne Merkmale und/oder Merkmalsklassen (z.B. Verkehrsschilder) nicht mit jeweils separaten Zeitstempeln 8 versehen sind.It can be provided that the position-dependent information about the
Ferner kann vorgesehen sein, dass positionsabhängige Umfeldinformationen 10 mittels einer Sensorik 11 von dem mindestens einen Verkehrsteilnehmer 3 erfasst werden, wobei die erfassten Umfeldinformationen 10 mit den vom zentralen Server 4 bereitgestellten positionsabhängigen Umfeldinformationen 7 mittels einer Vergleichseinrichtung 12 des mindestens einen Verkehrsteilnehmers 3 verglichen werden und auf Grundlage eines Vergleichsergebnisses eine Statusinformation 13 für die bereitgestellten positionsabhängigen Umfeldinformationen 7 erzeugt und an den zentralen Server 4 übermittelt wird, wobei der mindestens eine Zeitstempel 8 der bereitgestellten Umfeldinformationen 7 im zentralen Server 4 auf Grundlage der übermittelten Statusinformation 13 aktualisiert wird.Furthermore, it can be provided that position-
Es kann weiterbildend vorgesehen sein, dass beim Vergleichen eine Güte 14 für eine Übereinstimmung der bereitgestellten Umfeldinformationen 7 mit den erfassten Umfeldinformationen 10 bestimmt wird, wobei die Statusinformation 13 auf Grundlage der bestimmten Güte 14 erzeugt wird.In a further development, it can be provided that, during the comparison, a
Weiter kann vorgesehen sein, dass die Güte 14 zum Ableiten der Statusinformation 13 unter Berücksichtigung eines mehrdimensionalen Kennfeldes 15 beurteilt wird.It can further be provided that the
Es kann hierbei vorgesehen sein, dass das mehrdimensionale Kennfeld 15 um zusätzliche Dimensionen erweitert werden kann. Dies kann beispielsweise mit Hilfe von Verfahren des Maschinenlernens erfolgen, wobei eine Abhängigkeit der Güte 14 von verschiedenen Eigenschaften angelernt wird und dies beispielsweise beim Festlegen eines Schwellenwertes berücksichtigt wird.It can be provided here that the multidimensional characteristics map 15 can be expanded by additional dimensions. This can be done, for example, with the aid of machine learning methods, the
Es kann ferner vorgesehen sein, dass der mindestens eine Zeitstempel 8 von bereitgestellten positionsabhängigen Umfeldinformationen 7 im zentralen Server 4 auf Grundlage von übermittelten Statusinformationen 13 mehrerer Verkehrsteilnehmer 3, 16 aktualisiert wird.It can further be provided that the at least one
Es kann vorgesehen sein, dass die vom den Verkehrsteilnehmern 3, 16 erfassten Umfeldinformationen 10 in Abhängigkeit der erzeugten Statusinformation 13 an den zentralen Server 13 übermittelt werden. Insbesondere werden die erfassten Umfeldinformationen 10 nur an den zentralen Server 4 übermittelt, wenn das Vergleichen ergibt, dass die bereitgestellten Umfeldinformationen 7 und die erfassten Umfeldinformationen 10 nicht miteinander übereinstimmen bzw. ein vorgegebener Schwellenwert für eine Güte 14 der bereitgestellten Umfeldinformationen 7 nicht erreicht wird.It can be provided that the information on the
Es kann weiterbildend vorgesehen sein, dass die im zentralen Server 4 hinterlegte Karte 6 auf Grundlage der vom mindestens einen Verkehrsteilnehmer 3, 16 übermittelten Umfeldinformationen 10 aktualisiert wird.It can further be provided that the
In
In einem Verfahrensschritt 100 übermittelt ein Assistenzsystem eine aktuelle Position eines Verkehrsteilnehmers über eine Kommunikationsschnittstelle an einen zentralen Server. Die aktuelle Position wird beispielsweise mittels einer Positionsbestimmungseinrichtung (GPS etc.) bestimmt.In a
In einem Verfahrensschritt 101 sucht der zentrale Server die übermittelte aktuelle Position in einer Karte und bestimmt einen Ausschnitt aus der Karte, in dem die aktuelle Position liegt, beispielsweise einen Bereich von einigen 10 Metern um die aktuelle Position herum. Aus diesem Ausschnitt werden Umfeldinformationen, das heißt Merkmale mit Eigenschaften und zugehörige Positionen, extrahiert. Zusätzlich werden zu den Merkmalen hinterlegte Zeitstempel aus der Karte extrahiert.In a
In einem Verfahrensschritt 102 werden die positionsabhängigen Umfeldinformationen, die aus der Karte extrahiert wurden, und die zugehörigen Zeitstempel über die Kommunikationsverbindung an das Assistenzsystem übermittelt.In a
Auf Grundlage der übermittelten Zeitstempel kann das Assistenzsystem ein Alter der Merkmale in den bereitgestellten Umfeldinformationen bestimmen und dies beispielsweise beim Bereitstellen einer Assistenzfunktion berücksichtigen.On the basis of the transmitted time stamp, the assistance system can determine an age of the features in the environmental information provided and take this into account, for example, when providing an assistance function.
In einem Verfahrensschritt 103 vergleicht das Assistenzsystem mittels einer Vergleichseinrichtung an der aktuellen Position des Verkehrsteilnehmers erfasste Umfeldinformationen mit den vom zentralen Server bereitgestellten Umfeldinformationen.In a
In einem Verfahrensschritt 104 wird überprüft, ob die erfassten Umfeldinformationen mit den bereitgestellten Umfeldinformationen übereinstimmen. Dies kann beispielsweise auf Grundlage einer im Verfahrensschritt 103 zum Vergleichen bestimmten Güte erfolgen. Ergibt die Überprüfung, dass die Umfeldinformationen übereinstimmen, so wird in einem Verfahrensschritt 105 eine Statusinformation erzeugt und an den zentralen Server übermittelt. In einem nachfolgenden Verfahrensschritt 106 aktualisiert der zentrale Server einen mit den Umfeldinformationen in der Karte verknüpften Zeitstempel.In a
Ergibt die Überprüfung in Verfahrensschritt 104 hingegen, dass die Umfeldinformationen nicht übereinstimmen, so werden die erfassten Umfeldinformationen in einem Verfahrensschritt 107 von dem Assistenzsystem an den zentralen Server übermittelt. In einem nachfolgenden Verfahrensschritt 108 aktualisiert der zentrale Server die in der Karte hinterlegten Umfeldinformationen und die hiermit verknüpften Zeitstempel.If, on the other hand, the check in
Es kann alternativ in den Verfahrensschritten 106 und 108 vorgesehen sein, dass eine Aktualisierung der Zeitstempel bzw. der Umfeldinformationen in der Karte erst durchgeführt wird, wenn mehrere Verkehrsteilnehmer eine übereinstimmende Statusinformation bzw. übereinstimmende Umfeldinformationen an den zentralen Server übermittelt haben.Alternatively, it can be provided in method steps 106 and 108 that an update of the time stamp or the environment information in the map is only carried out when several road users have transmitted matching status information or matching environment information to the central server.
Anschließend wird das Verfahren für nachfolgende Positionen des Verkehrsteilnehmers wiederholt.The procedure is then repeated for subsequent positions of the road user.
Die
Zum Vergleichen der erfassten und der bereitgestellten Umfeldinformationen 7, 10 (
Aus der Summe der kleinsten Fehlerquadrate oder der Korrelation oder eines anderen geeigneten Gütekriteriums (z.B. einem Abstand,...) kann anschließend eine Güte bestimmt werden.A quality can then be determined from the sum of the smallest error squares or the correlation or another suitable quality criterion (eg a distance, ...).
- 11
- Systemsystem
- 22
- AssistenzsystemAssistance system
- 33
- VerkehrsteilnehmerRoad users
- 44th
- zentraler Servercentral server
- 55
- KommunikationsschnittstelleCommunication interface
- 66th
- Kartemap
- 77th
- bereitgestellte positionsabhängige Umfeldinformationprovided position-dependent environment information
- 88th
- Zeitstempeltime stamp
- 99
- aktuelle Positionactual position
- 1010
- erfasste positionsabhängige Umfeldinformationenrecorded position-dependent environmental information
- 1111
- SensorikSensors
- 1212
- VergleichseinrichtungComparison facility
- 1313
- StatusinformationStatus information
- 1414th
- Gütequality
- 1515th
- KennfeldMap
- 1616
- weiterer Verkehrsteilnehmerother road users
- 2020th
- MittellinieCenter line
- 2121st
- MittellinieCenter line
- 2222nd
- Abweichungdeviation
- 3030th
- Y-AchseY axis
- 3131
- KoordinatensystemCoordinate system
- 5050
- KraftfahrzeugMotor vehicle
- 100-108100-108
- VerfahrensschritteProcedural steps
Claims (10)
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102019206748.4A DE102019206748A1 (en) | 2019-05-09 | 2019-05-09 | Method and system for providing information on the surroundings |
Publications (1)
Publication Number | Publication Date |
---|---|
EP3736789A1 true EP3736789A1 (en) | 2020-11-11 |
Family
ID=70480086
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP20171947.3A Pending EP3736789A1 (en) | 2019-05-09 | 2020-04-28 | Method and system for providing environment information |
Country Status (2)
Country | Link |
---|---|
EP (1) | EP3736789A1 (en) |
DE (1) | DE102019206748A1 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102020126685A1 (en) | 2020-10-12 | 2022-04-14 | Bayerische Motoren Werke Aktiengesellschaft | Vehicle guidance system and method for operating a driving function depending on the distance to a signaling unit |
DE102021211358A1 (en) | 2021-10-08 | 2023-04-13 | Volkswagen Aktiengesellschaft | Method and device for at least assisted lateral guidance of a motor vehicle |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100036595A1 (en) | 2008-08-07 | 2010-02-11 | General Motors Corporation | Method and system for transmitting data to a traffic information server |
US20160343249A1 (en) * | 2015-05-22 | 2016-11-24 | Xiaomi Inc. | Methods and devices for processing traffic data |
US20170072851A1 (en) * | 2015-09-16 | 2017-03-16 | Sony Corporation | System and method for generation of a preventive alert |
WO2017180382A1 (en) * | 2016-04-12 | 2017-10-19 | Pcms Holdings, Inc. | System and method for data validation in a decentralized sensor network |
US20180225970A1 (en) * | 2017-02-03 | 2018-08-09 | Ford Global Technologies, Llc | Advanced v2x event dissemination |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102011116245B4 (en) * | 2011-10-18 | 2018-10-25 | Audi Ag | Method for determining current route information of a digital map |
DE102017202255A1 (en) * | 2017-02-13 | 2018-08-16 | Audi Ag | A method of updating a digital map of an off-board server device |
DE102017203662B4 (en) * | 2017-03-07 | 2018-12-06 | Audi Ag | Method for determining environmental data describing a predetermined measurand in an environment of a motor vehicle, and control device for a motor vehicle and motor vehicle |
-
2019
- 2019-05-09 DE DE102019206748.4A patent/DE102019206748A1/en active Pending
-
2020
- 2020-04-28 EP EP20171947.3A patent/EP3736789A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100036595A1 (en) | 2008-08-07 | 2010-02-11 | General Motors Corporation | Method and system for transmitting data to a traffic information server |
US20160343249A1 (en) * | 2015-05-22 | 2016-11-24 | Xiaomi Inc. | Methods and devices for processing traffic data |
US20170072851A1 (en) * | 2015-09-16 | 2017-03-16 | Sony Corporation | System and method for generation of a preventive alert |
WO2017180382A1 (en) * | 2016-04-12 | 2017-10-19 | Pcms Holdings, Inc. | System and method for data validation in a decentralized sensor network |
US20180225970A1 (en) * | 2017-02-03 | 2018-08-09 | Ford Global Technologies, Llc | Advanced v2x event dissemination |
Also Published As
Publication number | Publication date |
---|---|
DE102019206748A1 (en) | 2020-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3380811B1 (en) | Method and system for creating a digital map | |
DE102019131118A1 (en) | SYSTEM AND METHOD FOR EVALUATING THE OPERATION OF ENVIRONMENTAL DETECTION SYSTEMS OF VEHICLES | |
DE102016214470B4 (en) | Method and system for capturing a traffic environment of a mobile unit | |
EP3380810B1 (en) | Method, device, map processing device and system for precise localization of a vehicle in its surroundings | |
WO2014154614A1 (en) | Backend for driver assistance systems | |
EP3814720B1 (en) | Localization system and method for operating same | |
EP3491339A1 (en) | Method, device and computer-readable storage medium with instructions for determining the lateral position of a vehicle relative to the lanes of a road | |
EP2746725A2 (en) | Method and control device for providing a street layout ahead | |
DE102013009856B4 (en) | Determining the position of a stationary traffic object using a central server arrangement | |
EP2953111A1 (en) | Method and device for determining free parking spots in hgv parking lots and notification of hgv drivers | |
DE102016003969A1 (en) | Method for acquiring environmental data by means of several motor vehicles | |
DE102018218436A1 (en) | FLEET ASSISTANCE | |
DE102018214971A1 (en) | Method for creating a map of the surroundings of a vehicle | |
EP3736789A1 (en) | Method and system for providing environment information | |
DE102020210515A1 (en) | Method for checking detected changes for an environment model of a digital environment map | |
DE102017218397A1 (en) | Method for mapping a route section | |
DE112019004199T5 (en) | Server, vehicle, decentralized transaction verification system and decentralized transaction verification process | |
EP3827277B1 (en) | Method, system and electronic computing device for checking sensor devices of vehicles, in particular of motor vehicles | |
EP3649521B1 (en) | Method for operating a more highly automated vehicle (haf), in particular a highly automated vehicle | |
DE102018007659A1 (en) | Method for updating an environment map for a motor vehicle | |
EP3410158A1 (en) | Method, devices and computer-readable storage media comprising instructions for determining the position of data captured by a motor vehicle | |
DE102019216747A1 (en) | Method of providing an overlay map section | |
EP3649520B1 (en) | Method for locating a more highly automated vehicle, and corresponding driver assistance system and computer program | |
DE102021202778A1 (en) | Method and system for processing a digital road safety card | |
DE102017218097B3 (en) | Method and device for providing traffic information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE APPLICATION HAS BEEN PUBLISHED |
|
AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
AX | Request for extension of the european patent |
Extension state: BA ME |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE |
|
17P | Request for examination filed |
Effective date: 20210511 |
|
RBV | Designated contracting states (corrected) |
Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: EXAMINATION IS IN PROGRESS |
|
17Q | First examination report despatched |
Effective date: 20230607 |
|
GRAP | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOSNIGR1 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: GRANT OF PATENT IS INTENDED |
|
INTG | Intention to grant announced |
Effective date: 20231222 |