EP2862123A1 - Method for displaying a vehicle environment - Google Patents

Method for displaying a vehicle environment

Info

Publication number
EP2862123A1
EP2862123A1 EP13727037.7A EP13727037A EP2862123A1 EP 2862123 A1 EP2862123 A1 EP 2862123A1 EP 13727037 A EP13727037 A EP 13727037A EP 2862123 A1 EP2862123 A1 EP 2862123A1
Authority
EP
European Patent Office
Prior art keywords
probability
resolution level
grid
grid cells
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP13727037.7A
Other languages
German (de)
French (fr)
Inventor
Ralf GREWE
Andree Hohm
Hermann Winner
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Conti Temic Microelectronic GmbH
Continental Teves AG and Co OHG
Original Assignee
Conti Temic Microelectronic GmbH
Continental Teves AG and Co OHG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH, Continental Teves AG and Co OHG filed Critical Conti Temic Microelectronic GmbH
Publication of EP2862123A1 publication Critical patent/EP2862123A1/en
Ceased legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • Quadtrees in two-dimensional space and octtrees in three-dimensional space which are based on a recursive subdivision of an area into quarters, are known here. This is illustrated by way of example in FIG. 1a.
  • a tree-like data structure For storing the data (probability values) a tree-like data structure can be used, this is illustrated by way of example in FIG. 1b.
  • the environment model can process and provide environment data in various resolution levels. This object is achieved by the features of independent claim 1.
  • An ⁇ An advantageous use of the method according ⁇ invention is given in the further independent claims.
  • the inventive method comprises imaging a vehicle surrounding environment in a model with at least two resolu ⁇ sungsebenen.
  • the environment model is configured as a Probability ⁇ grid having a plurality of grid cells.
  • a different spatial resolution In a high resolution level a predetermined region is displayed in the field by a higher At ⁇ number of lattice cells than in a low resolution level.
  • the method is provided for a vehicle that includes at least one sensor system for environment detection and at least one driver assistance system.
  • the sensor system, the environment information for the environment model for Availability checked ⁇ supply and function of the driver assistance system is based on the so-created environment model.
  • Data from at least two Git ⁇ terzellen at a high resolution level are summarized and stored in a grid cell at a lower resolu ⁇ sungsrase.
  • a processing of the data in various levels of resolution can be performed.
  • three resolution levels (a, b, c) are shown as a tree structure by way of example.
  • (coarser resolution) for applications that do not require high resolution calculation time can be saved by processing Informa ⁇ functions on lower level.
  • a plurality of higher resolution cells eg resolution level c in FIG. 1b
  • a simple average for the proces ⁇ processing of probabilities would lead, when used in an environment model for a driver assistance system to an incorrect result, as the following example illustrates: If the detected occupancy of a cell of 100% and three unoccupied cells (0%) sublattice is a be ⁇ interpretation of 25% as the average value would give it, incorrect because an occupancy is given on the combined surface still 100%.
  • the inventive method provides that, taken together for a ⁇ men charged of at least two grid cells at a high resolution level, the value one of the at least two grid cells and is stored in a grid cell on a lower resolution level.
  • the at least two lattice cells contained on a high resolution level a probability value that indicates an occupancy plausibility ⁇ friendliness.
  • the document probability indicates whether the corresponding area in the real world is occupied by obstacles, for example, and thus can not be traversed by a vehicle.
  • the maximum value of the grid cells at a high resolution level is entered into a grid cell at a lower resolution level. In Figure 2, this process is exemplified for summarizing four cells.
  • the area in the lower left of the trokeitsgit ⁇ ters includes four cells, one of which is marked as occupied by a black color and has the maximum document International ⁇ probability of the four cells.
  • the four ⁇ tel is summarized in a lower resolution level is set ⁇ , the entire area is now colored black and is therefore marked busy or carries the maximum evidence probability ⁇ of the four individual cells from Fig. 2a.
  • a re ⁇ italic division into quarters (level, Quadtree) or eighths (Spatial, Octtree) and any other divisions are possible.
  • m is a name
  • the grid cells contain the at least two grid cells on a high resolution level only a single probability value, which indicates an occupancy probability.
  • At least two grid cells contain at a high resolution level a probability value indicating a probability space ⁇ .
  • the free space probability indicates whether the corresponding area in the real world is free and thus passable for a vehicle.
  • the grid cells contain the at least two grid cells on a high Resolution level only a single probability value indicating a free space probability.
  • At least two probability values are stored in the at least two grid cells at a high level of resolution, namely a probability value that indicates an occupancy probability, and a probability value indicating a free ⁇ space probability.
  • the maximum occupancy probability value and the free space value associated with the maximum value grid cell are entered at a high resolution level into a grid cell at a lower resolution level.
  • a summary in the case that a plurality of grid ⁇ cells of the probability lattice contains a value for a reflected power of a radar or lidar or ultrasonic ⁇ sensors provided so that the minimum value of the grid cells at a high level of resolution in a grid cell is entered at a lower resolution level.
  • a plurality of lattice cells of the probability lattice contain a value provided by a camera sensor system, which indicates a height or a height gradient for this space segment.
  • the minimum value of the grid cells or the maximum value of the grid cells at a high resolution level is entered into a grid cell at a lower resolution level.
  • the value is stored in a grid cell at a lower resolution level in the form of a reference to that grid cell of a high resolution level whose value is to be adopted. By way of example, this is shown in FIG. There, the bolded paths indicate a reference to a cell at a higher resolution level.
  • a low-resolution sensor A (FIG. 2 b) is fused to a high-resolution sensor B (FIG. 2 a).
  • the low-resolution information from sensor A is fused with the relevant information of the high-resolution sensor B.
  • the tree structure for storing the data with reference to the relevant cells can be used in particular in a network with several subscribers for efficient data transmission.
  • a source sends the tree up to the highest resolution level to all receiving subscribers.
  • the receiving participants reconstruct the tree up to the required resolution level, higher-level planes are ignored, for example. This can be saved in the participants who are not the maximum resolution level Need Beer ⁇ term, memory and processing time.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

The invention specifies a method for displaying a vehicle environment with at least two levels of resolution for a vehicle. The vehicle comprises a sensor system for detecting the environment and at least one driver assistance system. The environment model is designed as a probability grid having a plurality of grid cells. Data from at least two grid cells are combined at a high resolution level and are stored in a grid cell at a lower resolution level.

Description

Verfahren zur Darstellung einer Fahrzeugumgebung Method for displaying a vehicle environment
Nahezu alle bekannten serienverfügbaren Fahrerassistenzsyste¬ me, die auf Daten von Umgebungserfassungssensorik basieren, nutzen ein objektabstraktes Umfeldmodell, typischerweise wird eine Objektliste mit Umgebungsobjekten zur Verfügung gestellt. Von Objekten unbesetzte Flächen, die einen potentiellen Manöverraum definieren, werden über einen solchen Ansatz nicht abgedeckt. Im Bereich der Forschung sind Ansätze bekannt, Senso¬ ren zu verwenden, die eine Belegungsinformation über einen definierten Bereich im Umfeld des Fahrzeuges liefern und diese in eine Belegungskarte eintragen. Die Belegungskarte ist vor¬ zugsweise als ein Wahrscheinlichkeitsgitter ausgestaltet, das pro Gitterzelle zumindest einen Wahrscheinlichkeitswert ent¬ hält, z.B. ob sich in diesem Raumsegment in der Fahrzeugumge¬ bung ein Objekt befindet, d.h. die Zelle belegt ist. Für ein Wahrscheinlichkeitsgitter ist eine räumliche Diskretisierung des Fahrzeugumfeldes notwendig. Almost all known series available Fahrerassistenzsyste ¬ me, based on data from environmental detection sensors, use an object model abstract environment, typically an object list with environmental objects is provided. Unoccupied areas that define a potential maneuver space are not covered by such an approach. In the area of research approaches are known to use Senso ¬ reindeer, which provide programming information over a defined area in the vicinity of the vehicle and enter them in an occupancy map. The allocation map is configured before ¬ preferably as a probability lattice which holds at least ent ¬ each grid cell a probability value, for example, whether an object is located in the space segment in the vehicle Conversely ¬ environment, ie, the cell is occupied. For a probability grid, a spatial discretization of the vehicle environment is necessary.
Neben einer Diskretisierung mit konstanter Schrittweite können Diskretisierungsverfahren, die verschiedene Auflösungsstufen unterstützen, zum Einsatz kommen. Bekannt sind hier im vor allem sog. Quadtrees im zweidimensionalen Raum und Octtrees im dreidimensionalen Raum, die auf einer rekursiven Unterteilung einer Fläche in Viertel basieren. Dies ist beispielhaft in der Figur la dargestellt. Zur Speicherung der Daten (Wahrscheinlichkeitswerte) kann eine baumartige Datenstruktur verwendet werden, diese ist beispielhaft in Abbildung lb dargestellt.  In addition to constant-step discretization, discretization techniques that support different levels of resolution can be used. Quadtrees in two-dimensional space and octtrees in three-dimensional space, which are based on a recursive subdivision of an area into quarters, are known here. This is illustrated by way of example in FIG. 1a. For storing the data (probability values) a tree-like data structure can be used, this is illustrated by way of example in FIG. 1b.
Es ist die Aufgabe der hier vorliegenden Erfindung ein Verfahren und eine Vorrichtung zur Abbildung einer Umgebung in ein Umfeldmodell insbesondere für ein Fahrzeug anzugeben. Das Umfeldmodell kann Umfelddaten in verschiedenen Auflösungsstu- fen verarbeiten und zur Verfügung stellen. Diese Aufgabe wird durch die Merkmale des unabhängigen An¬ spruchs 1 gelöst. Eine vorteilhafte Verwendung des erfindungs¬ gemäßen Verfahrens wird in den weiteren unabhängigen Ansprüchen angegeben. It is the object of the present invention to provide a method and a device for mapping an environment into an environment model, in particular for a vehicle. The environment model can process and provide environment data in various resolution levels. This object is achieved by the features of independent claim 1. An ¬ . An advantageous use of the method according ¬ invention is given in the further independent claims.
Das erfindungsgemäße Verfahren umfasst die Abbildung einer Fahrzeugumgebung in ein Umfeldmodell mit zumindest zwei Auflö¬ sungsebenen. Das Umfeldmodell ist als ein Wahrscheinlichkeits¬ gitter mit einer Vielzahl von Gitterzellen ausgestaltet. The inventive method comprises imaging a vehicle surrounding environment in a model with at least two resolu ¬ sungsebenen. The environment model is configured as a Probability ¬ grid having a plurality of grid cells.
Mit unterschiedlichen Auflösungsebenen ist eine unterschiedliche örtliche Auflösung gemeint. In einer hohen Auflösungsebene wird eine vorgegebene Region im Umfeld durch eine höhere An¬ zahl von Gitterzellen dargestellt, als in einer niedrigen Auflösungsebene. Das Verfahren ist für ein Fahrzeug vorgesehen, das zumindest ein Sensorsystem zur Umfelderfassung und zumindest ein Fahrerassistenzsystem umfasst. Das Sensorsystem stellt die Umfeldinformationen für das Umfeldmodell zur Verfü¬ gung und die Funktion des Fahrerassistenzsystems basiert auf dem so erstellten Umfeldmodell. Daten aus zumindest zwei Git¬ terzellen auf einer hohen Auflösungsebene werden zusammenge- fasst und in einer Gitterzelle in einer niedrigeren Auflö¬ sungsstufe hinterlegt. With different levels of resolution is meant a different spatial resolution. In a high resolution level a predetermined region is displayed in the field by a higher At ¬ number of lattice cells than in a low resolution level. The method is provided for a vehicle that includes at least one sensor system for environment detection and at least one driver assistance system. The sensor system, the environment information for the environment model for Availability checked ¬ supply and function of the driver assistance system is based on the so-created environment model. Data from at least two Git ¬ terzellen at a high resolution level are summarized and stored in a grid cell at a lower resolu ¬ sungsstufe.
Prinzipiell kann eine Verarbeitung der Daten in verschiedenen Auflösungsebenen durchgeführt werden. In Figur lb sind beispielhaft drei Auflösungsebenen (a,b,c) als Baumstruktur dargestellt. Insbesondere kann durch ein Verarbeiten von Informa¬ tionen auf niedriger Ebene (gröberer Auflösung) für Anwendungen, die keine hohe Auflösung benötigen, Rechenzeit eingespart werden . In principle, a processing of the data in various levels of resolution can be performed. In Figure lb three resolution levels (a, b, c) are shown as a tree structure by way of example. In particular, (coarser resolution) for applications that do not require high resolution, calculation time can be saved by processing Informa ¬ functions on lower level.
Da Informationen nicht auf allen Ebenen des Baums vorliegen, ist ein Verfahren zum Erzeugen von Informationen auf einer höheren oder tieferen Ebene notwendig. Da insbesondere auf einer höheren Ebene (Auflösungsstufe) keine feiner aufgelösten In- formationen vorliegen, werden die Informationen der nächsten niedrigeren, belegten Ebene verwendet. Since information is not available at all levels of the tree, a method of generating information at a higher or lower level is necessary. Since, especially at a higher level (resolution level), no finely resolved information, the information from the next lower, occupied level will be used.
Für den Zugriff auf Informationen einer niedrigeren Ebene, z.B. Auflösungsstufe b in Figur lb, müssen mehrere Zellen mit höherer Auflösung, z.B. Auflösungsstufe c in Figur lb, zusam- mengefasst werden. Eine einfache Mittelung für die Verarbei¬ tung von Wahrscheinlichkeiten würde bei einer Verwendung in einem Umfeldmodell für ein Fahrerassistenzsystem zu einem falschen Resultat führen, wie das folgende Beispiel erläutert: Bei einer festgestellter Belegung einer Zelle von 100% und drei nicht belegten Zellen (0%) des Untergitters ist eine Be¬ legung von 25%, wie der Mittelwert es ergeben würden, nicht korrekt, da auf der zusammengefassten Fläche immer noch zu 100% eine Belegung gegeben ist. For accessing information of a lower level, eg resolution level b in FIG. 1b, a plurality of higher resolution cells, eg resolution level c in FIG. 1b, must be combined. A simple average for the proces ¬ processing of probabilities would lead, when used in an environment model for a driver assistance system to an incorrect result, as the following example illustrates: If the detected occupancy of a cell of 100% and three unoccupied cells (0%) sublattice is a be ¬ interpretation of 25% as the average value would give it, incorrect because an occupancy is given on the combined surface still 100%.
Das erfindungsgemäße Verfahren sieht vor, dass für eine Zusam¬ menfassung von zumindest zwei Gitterzellen auf einer hohen Auflösungsebene der Wert einer der zumindest zwei Gitterzellen übernommen und in eine Gitterzelle auf einer niedrigeren Auflösungsstufe hinterlegt wird. The inventive method provides that, taken together for a ¬ menfassung of at least two grid cells at a high resolution level, the value one of the at least two grid cells and is stored in a grid cell on a lower resolution level.
In einer bevorzugten Ausgestaltung der Erfindung enthalten die zumindest zwei Gitterzellen auf einer hohen Auflösungsebene einen Wahrscheinlichkeitswert, der eine Belegungswahrschein¬ lichkeit angibt. Die Belegwahrscheinlichkeit gibt an, ob der entsprechende Bereich in der Realwelt z.B. durch Hindernisse belegt und somit für ein Fahrzeug nicht passierbar ist. Durch die Verringerung der Auflösung wird die Information über die Position des belegten Bereiches ungenauer, es darf aber keine Information darüber verloren gehen, dass ein belegter Bereich vorliegt. Für die Zusammenfassung wird also der maximale Wert der Gitterzellen auf einer hohen Auflösungsebene in eine Gitterzelle auf einer niedrigeren Auflösungsstufe eingetragen. In Figur 2 ist dieser Prozess beispielhaft für das Zusammenfassen von vier Zellen dargestellt. In Figur 2a umfasst das Viertel im unteren linken Bereich des Wahrscheinlichkeitsgit¬ ters vier Zellen, davon ist eine durch eine schwarze Färbung als belegt gekennzeichnet bzw. weist die maximale Belegwahr¬ scheinlichkeit der vier Zellen auf. In Figur 2b ist das Vier¬ tel zusammengefasst in einer niedrigeren Auflösungsstufe dar¬ gestellt, der gesamte Bereich ist nun schwarz gefärbt und ist somit als belegt gekennzeichnet bzw. trägt die maximale Beleg¬ wahrscheinlichkeit der vier Einzelzellen aus Fig. 2a. Für alle Ausführungsbeispiele der Erfindung gilt, dass neben einer re¬ kursiven Aufteilung in Viertel (Ebene, Quadtree) bzw. Achtel (Räumlich, Octtree) auch beliebige andere Aufteilungen möglich sind. Allgemein formuliert ist für jede Dimension m eine na- m In a preferred embodiment of the invention the at least two lattice cells contained on a high resolution level a probability value that indicates an occupancy plausibility ¬ friendliness. The document probability indicates whether the corresponding area in the real world is occupied by obstacles, for example, and thus can not be traversed by a vehicle. By reducing the resolution, the information about the position of the occupied area becomes more inaccurate, but no information should be lost about the presence of an occupied area. For the summary, therefore, the maximum value of the grid cells at a high resolution level is entered into a grid cell at a lower resolution level. In Figure 2, this process is exemplified for summarizing four cells. In Figure 2a, the area in the lower left of the Wahrscheinlichkeitsgit ¬ ters includes four cells, one of which is marked as occupied by a black color and has the maximum document International ¬ probability of the four cells. In Figure 2b, the four ¬ tel is summarized in a lower resolution level is set ¬, the entire area is now colored black and is therefore marked busy or carries the maximum evidence probability ¬ of the four individual cells from Fig. 2a. For all embodiments of the invention applies that in addition to a re ¬ italic division into quarters (level, Quadtree) or eighths (Spatial, Octtree) and any other divisions are possible. Generally speaking, for each dimension m is a name
türlich zahlige Unterteilung ^^ ni m, ni e□ ;ni > 2 möglich. of course numerous subdivision ^^ n i m, n i e □; n i > 2 possible.
i=l  i = l
In einer bevorzugten Ausgestaltung der Erfindung enthalten die Gitterzellen die zumindest zwei Gitterzellen auf einer hohen Auflösungsebene nur einen einzigen Wahrscheinlichkeitswert, der eine Belegungswahrscheinlichkeit angibt.  In a preferred embodiment of the invention, the grid cells contain the at least two grid cells on a high resolution level only a single probability value, which indicates an occupancy probability.
In einer weiteren positiven Ausgestaltung der Erfindung enthalten die zumindest zwei Gitterzellen auf einer hohen Auflösungsebene einen Wahrscheinlichkeitswert, der eine Freiraum¬ wahrscheinlichkeit angibt. Die Freiraumwahrscheinlichkeit gibt an, ob der entsprechende Bereich in der Realwelt frei und da¬ mit für ein Fahrzeug passierbar ist. Für die Zusammenfassung wird der minimale Wert der Gitterzellen auf einer hohen Auflösungsebene in eine Gitterzelle auf einer niedrigeren Auflö¬ sungsstufe eingetragen. In a further positive development of the invention at least two grid cells contain at a high resolution level a probability value indicating a probability space ¬. The free space probability indicates whether the corresponding area in the real world is free and thus passable for a vehicle. For the summary of the minimum value of the grid cells at a high level of resolution in a grid cell at a lower resolu ¬ sungsstufe is entered.
In einer besonderen Ausgestaltung der Erfindung enthalten die Gitterzellen die zumindest zwei Gitterzellen auf einer hohen Auflösungsebene nur einen einzigen Wahrscheinlichkeitswert, der eine Freiraumwahrscheinlichkeit angibt. In a particular embodiment of the invention, the grid cells contain the at least two grid cells on a high Resolution level only a single probability value indicating a free space probability.
In einer bevorzugten Ausgestaltung der Erfindung sind in den zumindest zwei Gitterzellen auf einer hohen Auflösungsebene zumindest zwei Wahrscheinlichkeitswerte hinterlegt, nämlich ein Wahrscheinlichkeitswert, der eine Belegungswahrscheinlichkeit angibt, und ein Wahrscheinlichkeitswert, der eine Frei¬ raumwahrscheinlichkeit angibt. Für die Zusammenfassung der Gitterzellen werden der maximale Wert für die Belegungswahrscheinlichkeit und der zur Gitterzelle mit dem maximalen Wert gehörige Freiraumwert auf einer hohen Auflösungsebene in eine Gitterzelle auf einer niedrigeren Auflösungsstufe eingetragen. In a preferred embodiment of the invention at least two probability values are stored in the at least two grid cells at a high level of resolution, namely a probability value that indicates an occupancy probability, and a probability value indicating a free ¬ space probability. For the summary of the grid cells, the maximum occupancy probability value and the free space value associated with the maximum value grid cell are entered at a high resolution level into a grid cell at a lower resolution level.
Insbesondere ist in dem Fall, dass eine Mehrzahl von Gitter¬ zellen des Wahrscheinlichkeitsgitter einen Wert für eine reflektierte Energie eines Radar- oder Lidar- oder Ultraschall¬ sensors enthalten eine Zusammenfassung derart vorgesehen, dass der minimale Wert der Gitterzellen auf einer hohen Auflösungsebene in eine Gitterzelle auf einer niedrigeren Auflösungsstu- fe eingetragen wird. In particular, a summary, in the case that a plurality of grid ¬ cells of the probability lattice contains a value for a reflected power of a radar or lidar or ultrasonic ¬ sensors provided so that the minimum value of the grid cells at a high level of resolution in a grid cell is entered at a lower resolution level.
In einer weiteren Ausgestaltung der Erfindung enthalten eine Mehrzahl von Gitterzellen des Wahrscheinlichkeitsgitters einen von einem Kamerasensorsystem zur Verfügung gestellten Wert, der eine Höhe oder einen Höhengradienten angibt für dieses Raumsegment angibt. Für eine Zusammenfassung wird der minimale Wert der Gitterzellen oder der maximale Wert der Gitterzellen auf einer hohen Auflösungsebene in eine Gitterzelle auf einer niedrigeren Auflösungsstufe eingetragen. In einer positiven Ausgestaltung der Erfindung ist der Wert in einer Gitterzelle auf einer niedrigeren Auflösungsstufe in Form eines Verweises auf diejenige Gitterzelle einer hohen Auflösungsebene hinterlegt, deren Wert übernommen werden soll. Beispielhaft ist dies in Figur 3 dargestellt. Dort geben die fett markierten Pfade einen Verweis auf eine Zelle in einer höheren Auflösungsebene an. In a further embodiment of the invention, a plurality of lattice cells of the probability lattice contain a value provided by a camera sensor system, which indicates a height or a height gradient for this space segment. For a summary, the minimum value of the grid cells or the maximum value of the grid cells at a high resolution level is entered into a grid cell at a lower resolution level. In a positive embodiment of the invention, the value is stored in a grid cell at a lower resolution level in the form of a reference to that grid cell of a high resolution level whose value is to be adopted. By way of example, this is shown in FIG. There, the bolded paths indicate a reference to a cell at a higher resolution level.
Damit kann ein neues Berechnen der relevanten Werte auf einer niedrigen Ebene für jeden neuen Zugriff vermieden werden und es lassen sich die relevanten Werte auf eine effiziente Weise speichern. Dazu wird in jedem Knoten auf hoher Ebene auf den relevanten Knoten auf niedrigerer Ebene verwiesen, z.B. durch Angabe des jeweiligen Quadranten.  Thus, a new calculation of the relevant values at a low level for each new access can be avoided and the relevant values can be stored in an efficient manner. For this purpose, in each high level node, reference is made to the relevant lower level node, e.g. by specifying the respective quadrant.
Vorteilhaft ist die Verwendung des oben vorgestellten Verfahrens in einem Fahrzeug mit zumindest zwei Umfeldsensoren mit einer unterschiedlichen Auflösung zur Zusammenführung von Daten der Sensoren. Für die Fusion mehrerer Sensoren kann das beschriebene Verfahren in umgekehrter Reifenfolge eingesetzt werden. Ein Sensor A mit niedriger Auflösung (Figur 2 b) wird mit einem Sensor B mit hoher Auflösung (Abb. 2a) fusioniert. Dazu wird die niedrig aufgelöste Information von Sensor A mit der relevanten Information des hoch auflösenden Sensors B fusioniert . The use of the method presented above in a vehicle having at least two environmental sensors with a different resolution for combining data from the sensors is advantageous. For the fusion of multiple sensors, the described method can be used in reverse tire sequence. A low-resolution sensor A (FIG. 2 b) is fused to a high-resolution sensor B (FIG. 2 a). For this purpose, the low-resolution information from sensor A is fused with the relevant information of the high-resolution sensor B.
Weiterhin vorteilhaft ist eine Verwendung des oben vorgestell¬ ten Verfahrens in einem Fahrzeug mit zumindest zwei Fahreras¬ sistenzfunktionen, wobei ein erstes Fahrerassistenzsystem Umfelddaten mit einer höheren Auflösungsstufe benötigt als ei¬ ne zweites Fahrerassistenzsystem. Die Baumstruktur zum Speichern der Daten mit Verweis auf die relevanten Zellen kann insbesondere in einem Netzwerk mit mehreren Teilnehmern für die effiziente Datenübertragung verwendet werden. Eine Quelle sendet den Baum bis hin zur höchsten Auflösungsebene an alle empfangenden Teilnehmer. Die empfangenden Teilnehmen rekonstruieren sich den Baum bis zur benötigten Auflösungsebene, Ebenen höherer Ordnung werden z.B. ignoriert. Dadurch kann bei den Teilnehmern, die nicht die maximale Auflösungsebene benö¬ tigen, Speicherplatz und Rechenzeit gespart werden. Also advantageous is a use of the above pre alternate ¬ th process in a vehicle having at least two Fahreras sistenzfunktionen ¬, a first driver assistance system environment data at a higher resolution level required as egg ¬ ne second driver assistance system. The tree structure for storing the data with reference to the relevant cells can be used in particular in a network with several subscribers for efficient data transmission. A source sends the tree up to the highest resolution level to all receiving subscribers. The receiving participants reconstruct the tree up to the required resolution level, higher-level planes are ignored, for example. This can be saved in the participants who are not the maximum resolution level Need Beer ¬ term, memory and processing time.

Claims

Patentansprüche claims
1. Verfahren zur Abbildung einer Fahrzeugumgebung in ein 1. A method for mapping a vehicle environment into
Umfeldmodell für ein Fahrzeug, wobei  Environment model for a vehicle, where
- das Fahrzeug ein Sensorsystem zur Umfelderfassung und zumindest einem Fahrerassistenzsystem umfasst, und  - The vehicle includes a sensor system for environment detection and at least one driver assistance system, and
- das Umfeldmodell zumindest zwei Auflösungsebenen umfasst und das Umfeldmodell als ein Wahrscheinlichkeitsgitter mit einer Vielzahl von Gitterzellen ausgestaltet ist  - The environment model comprises at least two levels of resolution and the environment model is designed as a probability grid with a plurality of grid cells
dadurch gekennzeichnet, dass  characterized in that
Daten aus zumindest zwei Gitterzellen auf einer hohen Auflösungsebene zusammengefasst und in eine Gitterzelle auf einer niedrigeren Auflösungsstufe hinterlegt werden.  Data from at least two grid cells are combined at a high resolution level and stored in a grid cell at a lower resolution level.
2. Verfahren nach Anspruch 1, 2. The method according to claim 1,
dadurch gekennzeichnet, dass  characterized in that
für eine Zusammenfassung von zumindest zwei Gitterzellen auf einer hohen Auflösungsebene der Wert einer der zumindest zwei Gitterzellen übernommen wird und in eine Gitterzelle auf einer niedrigeren Auflösungsstufe hinterlegt wird .  for a summary of at least two grid cells on a high resolution level, the value of one of the at least two grid cells is taken over and stored in a grid cell at a lower resolution level.
3. Verfahren nach Anspruch 1 oder 2, 3. The method according to claim 1 or 2,
dadurch gekennzeichnet, dass  characterized in that
- die zumindest zwei Gitterzellen auf einer hohen Auflö¬ sungsebene einen Wahrscheinlichkeitswert enthalten, der eine Belegungswahrscheinlichkeit angibt, und - which contain at least two grid cells at a high resolu ¬ sungsebene a probability value indicating a probability assignment, and
- für die Zusammenfassung der maximale Wert der Gitterzellen auf einer hohen Auflösungsebene in eine Gitterzelle auf einer niedrigeren Auflösungsstufe eingetragen wird . - For the summary, the maximum value of the grid cells at a high resolution level is entered into a grid cell at a lower resolution level.
4. Verfahren nach Anspruch 3, 4. The method according to claim 3,
dadurch gekennzeichnet, dass  characterized in that
die Gitterzellen die zumindest zwei Gitterzellen auf ei¬ ner hohen Auflösungsebene nur einen einzigen Wahrscheinlichkeitswert enthalten, der eine Belegungswahrscheinlichkeit angibt. the grid cells contain at least two grid cells on ei ¬ ner high resolution level only a single probability value indicating an occupancy probability.
5. Verfahren nach Anspruch 1 oder 2, 5. The method according to claim 1 or 2,
dadurch gekennzeichnet, dass  characterized in that
- die zumindest zwei Gitterzellen auf einer hohen Auflö¬ sungsebene je einen Wahrscheinlichkeitswert enthalten, der eine Freiramwahrscheinlichkeit angibt, und - which contain at least two grid cells at a high resolu ¬ sungsebene a respective probability value indicating a Freiramwahrscheinlichkeit, and
- für die Zusammenfassung der minimale Wert der Gitterzellen auf einer hohen Auflösungsebene in eine Gitterzel¬ le auf einer niedrigeren Auflösungsstufe eingetragen wird . - For the summary of the minimum value of the grid cells is entered at a high resolution level in a Gitterzel ¬ le at a lower resolution level.
6. Verfahren nach Anspruch 5, 6. The method according to claim 5,
dadurch gekennzeichnet, dass  characterized in that
die Gitterzellen die zumindest zwei Gitterzellen auf ei¬ ner hohen Auflösungsebene nur einen einzigen Wahrscheinlichkeitswert enthalten, der eine Freiraumwahrscheinlichkeit angibt. the grid cells contain at least two grid cells on ei ¬ ner high resolution level only a single probability value indicating a free space probability.
7. Verfahren nach Anspruch 1 oder 2, 7. The method according to claim 1 or 2,
dadurch gekennzeichnet, dass  characterized in that
die zumindest zwei Gitterzellen auf einer hohen Auflö¬ sungsebene je the at least two grid cells at a high resolu ¬ depending sungsebene
- einen Wahrscheinlichkeitswert, der eine Belegungswahr¬ scheinlichkeit angibt, und - a probability value indicating a probability assignment International ¬, and
- einen Wahrscheinlichkeitswert, der eine Freiraumwahr¬ scheinlichkeit angibt, enthalten und für die Zusammenfassung der maximale Wert der Gitterzellen für die Belegungswahrscheinlichkeit und der zur Gitterzelle mit dem maximalen Wert gehörige Frei¬ raumwert auf einer hohen Auflösungsebene in eine Gitter¬ zelle auf einer niedrigeren Auflösungsstufe eingetragen wird . - a probability value indicating a probability space International ¬, and contain the summary for the maximum value of the grid cells for the occupancy probability and belonging to the grid cell with the maximum value is free ¬ space value on a high level of resolution in a lattice ¬ cell registered at a lower resolution level.
8. Verfahren nach Anspruch 1 oder 2, 8. The method according to claim 1 or 2,
dadurch gekennzeichnet, dass  characterized in that
eine Mehrzahl von Gitterzellen des Wahrscheinlichkeits¬ gitters einen Wert für eine reflektierte Energie eines Radar- oder Lidar- oder Ultraschallsensors enthalten und für eine Zusammenfassung der minimale Wert der Gitterzel¬ len auf einer hohen Auflösungsebene in eine Gitterzelle auf einer niedrigeren Auflösungsstufe eingetragen wird. a plurality of grid cells of the probability grating ¬ a value for a reflected energy of a radar or Lidar- or ultrasonic sensor included and for a summary of the minimum value of Gitterzel ¬ len is entered at a high resolution level in a grid cell at a lower resolution level.
9. Verfahren nach Anspruch 1 oder 2, 9. The method according to claim 1 or 2,
dadurch gekennzeichnet, dass  characterized in that
eine Mehrzahl von Gitterzellen des Wahrscheinlichkeits¬ gitters einen von einem Kamerasensorsystem zur Verfügung gestellten Wert enthalten, der eine Höhe oder einen Höhengradienten angibt und für eine Zusammenfassung der minimale Wert der Gitterzellen oder der maximale Wert der Gitterzellen auf einer hohen Auflösungsebene in eine Gitterzelle auf einer niedrigeren Auflösungsstufe einge¬ tragen wird. a plurality of lattice cells of the probability ¬ grating contain a value provided by a camera sensor system, indicating a height or a height gradient and for a summary of the minimum value of the grid cells, or the maximum value of the grid cells at a high level of resolution in a grid cell at a lower Resolution level ¬ is wearing.
10. Verfahren nach Anspruch 2, 10. The method according to claim 2,
dadurch gekennzeichnet, dass  characterized in that
der Wert in eine Gitterzelle auf einer niedrigeren Auflö¬ sungsstufe in Form eines Verweises auf diejenige Gitter- zelle einer hohen Auflösungsebene hinterlegt wird, deren Wert übernommen werden soll. the value in a grid cell at a lower resolu ¬ sungsstufe in the form of a reference to that grid cell of a high resolution level whose value is to be adopted.
11. Verwendung eines Verfahrens nach einem der Ansprüche 1-10 in einem Fahrzeug mit zumindest zwei Umfeldsensoren mit einer unterschiedlichen Auflösung zur Zusammenführung von Daten der Sensoren. 11. Use of a method according to any one of claims 1-10 in a vehicle with at least two environmental sensors with a different resolution for merging data from the sensors.
12. Verwendung eines Verfahrens nach einem der Ansprüche 1-10 in einem Fahrzeug mit zumindest zwei Fahrerassis¬ tenzfunktionen, wobei ein erstes Fahrerassistenzsystem Umfelddaten mit einer höheren Auflösungsstufe benötigt als eine zweites Fahrerassistenzsystem. 12. Use of a method according to any one of claims 1-10 in a vehicle with at least two driver assistance ¬ tenzfunktionen, wherein a first driver assistance system requires environment data with a higher resolution level than a second driver assistance system.
EP13727037.7A 2012-06-19 2013-04-30 Method for displaying a vehicle environment Ceased EP2862123A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102012105332A DE102012105332A1 (en) 2012-06-19 2012-06-19 Method for displaying a vehicle environment
PCT/DE2013/100156 WO2013189482A1 (en) 2012-06-19 2013-04-30 Method for displaying a vehicle environment

Publications (1)

Publication Number Publication Date
EP2862123A1 true EP2862123A1 (en) 2015-04-22

Family

ID=48576674

Family Applications (1)

Application Number Title Priority Date Filing Date
EP13727037.7A Ceased EP2862123A1 (en) 2012-06-19 2013-04-30 Method for displaying a vehicle environment

Country Status (5)

Country Link
US (1) US9607229B2 (en)
EP (1) EP2862123A1 (en)
JP (1) JP2015521767A (en)
DE (2) DE102012105332A1 (en)
WO (1) WO2013189482A1 (en)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013207904A1 (en) * 2013-04-30 2014-10-30 Bayerische Motoren Werke Aktiengesellschaft Provide an efficient environment map for a vehicle
EP3048023B1 (en) * 2015-01-23 2018-11-28 Honda Research Institute Europe GmbH Method for assisting a driver in driving an ego vehicle and corresponding driver assistance system
DE102015212771A1 (en) * 2015-07-08 2017-01-12 Bayerische Motoren Werke Aktiengesellschaft Device for detecting partially concealed moving objects for an environment detection system of a motor vehicle
US9796390B2 (en) * 2016-02-29 2017-10-24 Faraday&Future Inc. Vehicle sensing grid having dynamic sensing cell size
EP3229172A1 (en) 2016-04-04 2017-10-11 Conti Temic microelectronic GmbH Driver assistance system with variable image resolution
FR3052275A1 (en) 2016-06-03 2017-12-08 Commissariat Energie Atomique METHOD AND SYSTEM FOR DETERMINING CELLS CROSSED BY A MEASURING OR VISUALIZATION AXIS
DE102016215249B4 (en) * 2016-08-16 2022-03-31 Volkswagen Aktiengesellschaft Method and device for supporting a driver assistance system in a motor vehicle
CN109903367B (en) * 2017-12-07 2023-09-22 北京京东乾石科技有限公司 Method, apparatus and computer readable storage medium for constructing map
CN108319655B (en) * 2017-12-29 2021-05-07 百度在线网络技术（北京）有限公司 Method and device for generating grid map
JP7195073B2 (en) * 2018-07-10 2022-12-23 古野電気株式会社 graph generator
EP3654064B1 (en) * 2018-11-16 2021-01-13 Bayerische Motoren Werke Aktiengesellschaft Apparatus and method for characterizing an object based on measurement samples from one or more location sensors
US11625009B2 (en) * 2020-03-26 2023-04-11 Intel Corporation Non-uniform occupancy grid manager
US11931900B2 (en) * 2020-07-24 2024-03-19 Samsung Electronics Co., Ltd. Method of predicting occupancy of unseen areas for path planning, associated device, and network training method

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5006988A (en) * 1989-04-28 1991-04-09 University Of Michigan Obstacle-avoiding navigation system
JP3147541B2 (en) * 1992-11-06 2001-03-19 株式会社豊田中央研究所 Obstacle recognition device for vehicles
KR960706267A (en) * 1993-11-15 1996-11-08 존 엠. 클락 3세 QUADTREE-STRUCTURED WALSH TRANSFORM CONDING
US6915015B1 (en) * 2000-03-21 2005-07-05 Hewlett-Packard Development Company, L.P. Apparatus for and method for SNR scalable quad-tree bit-plane coding
US6868420B2 (en) * 2002-07-31 2005-03-15 Mitsubishi Electric Research Laboratories, Inc. Method for traversing quadtrees, octrees, and N-dimensional bi-trees
FR2890774B1 (en) * 2005-09-09 2007-11-16 Inst Nat Rech Inf Automat VEHICLE DRIVING ASSISANCE METHOD AND IMPROVED ASSOCIATED DEVICE
DE102006056835A1 (en) * 2006-12-01 2008-06-05 Robert Bosch Gmbh Method for the grid-based processing of sensor signals
DE102007012458A1 (en) * 2007-03-15 2008-09-18 Robert Bosch Gmbh Method for object formation
DE102009007395B4 (en) * 2008-03-25 2015-11-26 Volkswagen Ag Method for map-based environment representation of a vehicle
JP4615038B2 (en) * 2008-06-23 2011-01-19 日立オートモティブシステムズ株式会社 Image processing device
DE112010000146A5 (en) * 2009-05-06 2012-06-06 Conti Temic Microelectronic Gmbh Method for evaluating sensor data for a motor vehicle
DE102010006828B4 (en) * 2010-02-03 2021-07-08 Volkswagen Ag Method for the automatic creation of a model of the surroundings of a vehicle as well as driver assistance system and vehicle
DE102010011629A1 (en) * 2010-03-16 2011-01-05 Daimler Ag Method for environmental representation of vehicle, involves recording and storing environment data in hierarchical data structures, which are identified in environmental objects
JP5206752B2 (en) * 2010-08-30 2013-06-12 株式会社デンソー Driving environment recognition device
DE102011113016A1 (en) * 2011-09-09 2012-03-29 Daimler Ag Method for representing environment of vehicle, involves increasing detail information level of hierarchical data structure corresponding to object with high uncertainty than that of other objects identified in environment of vehicle

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None *
See also references of WO2013189482A1 *

Also Published As

Publication number Publication date
JP2015521767A (en) 2015-07-30
US20150003683A1 (en) 2015-01-01
DE102012105332A1 (en) 2013-12-19
US9607229B2 (en) 2017-03-28
DE112013003083A5 (en) 2015-04-09
WO2013189482A1 (en) 2013-12-27

Similar Documents

Publication Publication Date Title
WO2013189482A1 (en) Method for displaying a vehicle environment
DE102009007395B4 (en) Method for map-based environment representation of a vehicle
DE102013200387A1 (en) Creation of a obstacle map
DE102011111440A1 (en) Method for representation of environment of vehicle, involves forming segments of same width from image points of equal distance in one of image planes, and modeling objects present outside free space in environment
DE102011113016A1 (en) Method for representing environment of vehicle, involves increasing detail information level of hierarchical data structure corresponding to object with high uncertainty than that of other objects identified in environment of vehicle
DE102013004493A1 (en) Procedure for displaying parking spaces
DE10325738B3 (en) Process for generating a three-dimensional terrain model
EP3142913B1 (en) Surroundings map for driving surface with any height profil
WO2014019574A1 (en) Method for representing a vehicle environment with position points
DE102013203239A1 (en) Grid-based prediction of the position of an object
DE102010011629A1 (en) Method for environmental representation of vehicle, involves recording and storing environment data in hierarchical data structures, which are identified in environmental objects
DE102012107886A1 (en) Method for the electronic detection of traffic signs
DE102019209535A1 (en) Method for providing a digital road map
DE102012214307A1 (en) Method and device for modeling an environment
EP2577614B1 (en) Apparatus for displaying terrain on a display apparatus of an airborne vehicle
WO2022078799A1 (en) Detection method for detecting static objects
DE102020214595B4 (en) Method and device for operating a vehicle
WO2015051988A1 (en) Determination of a kinematic state variable of an object
DE102019201930A1 (en) Method for generating an environment model
DE102017209977A1 (en) Method and apparatus for determining a free object space and generating a defined boundary
EP3685352B1 (en) Method and device for evaluating images, operating assistance method, and operating device
EP2087316A1 (en) Storage medium on which geographical data for a geographical area are stored in combined form as map units, method for generating a map from the geographical data, and navigation apparatus
DE102020003008A1 (en) Automatic visual perception by means of an environment sensor arrangement
DE102019216607A1 (en) Method and device for providing radar data
DE102006004361B4 (en) Method and system for determining the probability of a vehicle being at home

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20150119

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20160412

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

APBK Appeal reference recorded

Free format text: ORIGINAL CODE: EPIDOSNREFNE

APBN Date of receipt of notice of appeal recorded

Free format text: ORIGINAL CODE: EPIDOSNNOA2E

APBR Date of receipt of statement of grounds of appeal recorded

Free format text: ORIGINAL CODE: EPIDOSNNOA3E

APAF Appeal reference modified

Free format text: ORIGINAL CODE: EPIDOSCREFNE

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: CONTINENTAL TEVES AG & CO. OHG

Owner name: CONTI TEMIC MICROELECTRONIC GMBH

APAV Appeal reference deleted

Free format text: ORIGINAL CODE: EPIDOSDREFNE

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: CONTINENTAL TEVES AG & CO. OHG

Owner name: CONTI TEMIC MICROELECTRONIC GMBH

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

APBT Appeal procedure closed

Free format text: ORIGINAL CODE: EPIDOSNNOA9E

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20211006