DE102016221688A1 - Verfahren zum Verorten eines Fahrzeugs - Google Patents
Verfahren zum Verorten eines Fahrzeugs Download PDFInfo
- Publication number
- DE102016221688A1 DE102016221688A1 DE102016221688.0A DE102016221688A DE102016221688A1 DE 102016221688 A1 DE102016221688 A1 DE 102016221688A1 DE 102016221688 A DE102016221688 A DE 102016221688A DE 102016221688 A1 DE102016221688 A1 DE 102016221688A1
- Authority
- DE
- Germany
- Prior art keywords
- vehicle
- data
- environment objects
- digital map
- environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000001953 sensory effect Effects 0.000 claims abstract description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 22
- 238000001514 detection method Methods 0.000 claims description 18
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims 1
- 230000004807 localization Effects 0.000 description 23
- 238000013459 approach Methods 0.000 description 10
- 230000008901 benefit Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- BUHVIAUBTBOHAG-FOYDDCNASA-N (2r,3r,4s,5r)-2-[6-[[2-(3,5-dimethoxyphenyl)-2-(2-methylphenyl)ethyl]amino]purin-9-yl]-5-(hydroxymethyl)oxolane-3,4-diol Chemical compound COC1=CC(OC)=CC(C(CNC=2C=3N=CN(C=3N=CN=2)[C@H]2[C@@H]([C@H](O)[C@@H](CO)O2)O)C=2C(=CC=CC=2)C)=C1 BUHVIAUBTBOHAG-FOYDDCNASA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3837—Data obtained from a single source
-
- G01N15/1433—
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/51—Relative positioning
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0227—Control of position or course in two dimensions specially adapted to land vehicles using mechanical sensing means, e.g. for sensing treated area
- G05D1/0229—Control of position or course in two dimensions specially adapted to land vehicles using mechanical sensing means, e.g. for sensing treated area in combination with fixed guiding means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9323—Alternative operation using light waves
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
Abstract
Verfahren zum Verorten eines Fahrzeugs (10), aufweisend die Schritte:Sensorisches Erfassen von ersten Umfeldobjekten (11) durch das Fahrzeug (10);Verorten des Fahrzeugs (10) durch ein Abgleichen von Daten der sensorisch erfassten ersten Umfeldobjekten (11) mit Kartendaten einer ersten digitalen Karte (40); wobeiFalle, dass das Abgleichen der Daten der ersten Umfeldobjekte (11) mit den Kartendaten der ersten digitalen Karte (40) nicht in einem definierten Ausmaß möglich ist, eine zweite digitale Karte (50) für ein lokales Umfeld des Fahrzeugs (10) erstellt und ein Verorten des Fahrzeugs (10) mittels der zweiten digitalen Karte (50) durchgeführt wird; wobeifür das Erstellen der zweiten digitalen Karte (50) Daten von zweiten Umfeldobjekten (12, 13) einer Ermittlungseinrichtung (100) verwendet werden, die von der Ermittlungseinrichtung (100) an das Fahrzeug (10) übermittelt werden.
Description
- Die Erfindung betrifft ein Verfahren zum Verorten eines Fahrzeugs. Die Erfindung betrifft ferner eine Ermittlungseinrichtung zum Bereitstellen von Verortungsdaten für ein Fahrzeug. Die Erfindung betrifft ferner ein Fahrzeug.
- Stand der Technik
- Zahlreiche moderne Fahrerassistenzsysteme (engl. Advanced Driver Assistance Systems, ADAS) und insbesondere hochautomatisierte Fahrzeugsysteme für UAD (engl. urban automated driving) setzen eine hinreichend genaue Fahrzeuglokalisierung bzw. -verortung voraus. Häufig kommen dabei Lokalisierungssysteme zum Einsatz, die eine globale Lokalisierungskarte (z.B. von einem Backend-Server abrufbar) und eine lokale Lokalisierungskarte aus einem Umfeldmodell des Fahrzeugsystems verwenden.
- Lokalisierungsansätze wie zum Beispiel aus C. Heigele, H. Mielenz, J. Heckel, D. Schramm, „Accurate and fast localization in unstructured environment based on shape context keypoints", in Information Fusion (FUSION), 2014 17th International Conference, 7 - 10 July 2014 1-7 verwenden zur Bestimmung einer kartenrelativen Fahrzeugpose (Position und Ausrichtung des Fahrzeugs) aus diesen beiden Lokalisierungskarten mit Map-Matching Algorithmen, die auf den Anwendungszweck hin optimiert sind.
- In den meisten Fällen werden möglichst recheneffiziente Algorithmen mit deterministischem Laufzeitverhalten bevorzugt. Bei der landmarkenbasierten Lokalisierung relativ zu einer globalen Lokalisierungskarte kann beispielsweise die geschlossene Lösung des sogenannten „Procrustes-Problems“ verwendet werden, um die Transformation zwischen einer lokalen und globalen Lokalisierungskarte zu berechnen, wie z.B. aus J. Rohde, J.E. Stellet, H. Mielenz, J.M. Zollner, „Model-Based Derivation of Perception Accuracy Requirements for Vehicle Localization in Urban Environments", in Intelligent Transportation Systems (ITSC), 2015 IEEE 18th International Conference, 18 Sept 2015, Seiten 712-718.
- Diese Verfahren lassen sich jedoch nicht unter allen möglichen Gegebenheiten anwenden und es muss daher beispielsweise auf weniger effiziente Algorithmen zurückgegriffen werden. Dynamische Effekte, wie beispielsweise wechselnde Belegung von Parkplätzen neben der Fahrbahn, wie sie insbesondere in urbanem Umfeld auftreten können (z.B. wenn sich die globale Lokalisierungskarte stark von der lokalen Lokalisierungskarte unterscheidet), oder Fälle, in denen eine kartenrelative Lokalisierung gänzlich unmöglich ist (z.B. in Stausituationen) erfordern besondere Map-Matching-Ansätze.
- In letzterem Fall muss das vollständige SLAM-Problem (engl. simultaneous localization and mapping) gelöst werden, um eine Lokalisierung überhaupt zu ermöglichen. Dabei werden ein im Wesentlichen gleichzeitiges Erstellen einer Karte und ein Lokalisieren anhand der erstellten Karte durchgeführt. Die zu fahrende Strecke beim letztgenannten Ansatz ist durch eine Drift in der Posenschätzung begrenzt, weshalb die kartenrelative Lokalisierung vorteilhafte Eigenschaften aufweist.
- Im Jahre 2016 wurde von der Continental AG auf dem IST-Kongress ein intelligentes System zur Straßenbeleuchtung vorgestellt. Das dort vorgestellte System verfügt über verschiedene Umfeldsensoren und sendet Informationen, zum Beispiel über defekte Leuchten, an einen zentralen Datenserver. In einer weiteren Ausbaustufe ist zudem eine Einheit zur Kommunikation mit Fahrzeugsystemen vorgesehen.
- Aus D. Meyer-Delius, J. Hess, G. Grisetti, W. Burgard, „Temporary maps for robust localization in semi-static environments", in Intelligent Robots and Systems (IROS), 2010 IEEE/RSJ International Conference, 18-22 Oct. 2010, Seiten 5750-5722 ist ein System bekannt, welches eine Umschaltung zwischen einem herkömmlichen kartenrelativen Lokalisierungsansatz und einem SLAM-Ansatz vornimmt. Ein semi-statisches Umfeld wird erkannt und eine Umschaltung zwischen den beiden zuvor genannten Ansätzen wird durchgeführt.
- Weiterhin bekannt sind eine Vielzahl von Ansätzen zur Planung von Sensorverteilung (z.B. für Überwachungsaufgaben), zum Beispiel aus Y. Zou, Krishnendu Chakrabarty, „Sensor deployment and target localization based on virtual forces", in INFOCOM 2003, Twenty-Second Annual Joint Conference of the IEEE Computer and Communications-IEEE Societies, Vol. 2, pp. 1293-1303, Vol. 2, 2003.
-
JP 2003254775 A -
WO 2015/156821 A1 - Offenbarung der Erfindung
- Eine Aufgabe der vorliegenden Erfindung ist es, ein verbessertes System zum Verorten eines Fahrzeugs bereit zu stellen.
- Die Aufgabe wird gemäß einem ersten Aspekt gelöst mit einem Verfahren zum Verorten eines Fahrzeugs, aufweisend die Schritte:
- - Sensorisches Erfassen von ersten Umfeldobjekten durch das Fahrzeug;
- - Verorten des Fahrzeugs durch ein Abgleichen von Daten der sensorisch erfassten ersten Umfeldobjekte mit Kartendaten einer ersten digitalen Karte; wobei
- - im Falle, dass das Abgleichen der Daten der ersten Umfeldobjekte mit den Kartendaten der ersten digitalen Karte nicht in einem definierten Ausmaß möglich ist, eine zweite digitale Karte für ein lokales Umfeld des Fahrzeugs erstellt und ein Verorten des Fahrzeugs mittels der zweiten digitalen Karte durchgeführt wird; wobei
- - für das Erstellen der zweiten digitalen Karte Daten von zweiten Umfeldobjekten einer Ermittlungseinrichtung verwendet werden, die von der Ermittlungseinrichtung an das Fahrzeug übermittelt werden.
- Auf diese Weise ist, basierend auf Informationen der lokalen Ermittlungseinrichtung, vorteilhaft eine vorausschauende Umschaltung von Ortungsmoden unterstützt. Im Ergebnis kann dadurch eine erhöhte Robustheit bzw. Zuverlässigkeit eines Verortungs- bzw. Lokalisierungssystems des Fahrzeugs erreicht werden. Dadurch können Berechnungsalgorithmen gezielt an konkrete Erfordernisse und Gegebenheiten angepasst werden, wodurch im Ergebnis eine Rechenleistung optimiert eingesetzt werden kann. Vorteilhaft ist dadurch eine erhöhte Verfügbarkeit eines Verortungssystems unterstützt. Im Ergebnis hat das Verfahren daher unter anderem gegenüber bekannten Systemen den beträchtlichen Vorteil, dass benötigte Rechenkapazität und optimale Umschaltzeitpunkte zum Ausführen von spezifischen Verortungsalgorithmen bereits vor einem Abfahren des entsprechenden Trajektorienabschnitts bekannt sind.
- Im Rahmen der Erfindung lassen sich diese Ansätze verwenden, um eine Anzahl, eine Verteilung sowie eine Nutzung von verwendeten Umfeldsensoren des Fahrzeugs zu optimieren.
- Gemäß einem zweiten Aspekt wird die Aufgabe gelöst mit einer Ermittlungseinrichtung zum Bereitstellen von Verortungsdaten für ein Fahrzeug, aufweisend:
- - eine Sensoreinrichtung zum Erfassen definierter Umfeldobjekte;
- - eine Auswerteeinrichtung zum Auswerten von Daten der erfassten Umfeldobjekte, und
- - eine Übermittlungseinrichtung zum drahtlosen Übermitteln der ausgewerteten Daten betreffend die Umfeldobjekte.
- Gemäß einem dritten Aspekt wird die Aufgabe gelöst mit einem Fahrzeug, aufweisend:
- - eine Verortungseinrichtung; und
- - eine Umschalteinrichtung zum Umschalten einer Betriebsart der Verortungseinrichtung in Abhängigkeit von während eines Betriebs des Fahrzeugs empfangenen Daten betreffend definierte Umfeldobjekte von einer Ermittlungseinrichtung.
- Vorteilhafte Weiterbildungen des Verfahrens sind Gegenstand von abhängigen Ansprüchen.
- Eine vorteilhafte Weiterbildung des Verfahrens sieht vor, dass für das Erstellen der zweiten digitalen Karte ein definiertes Bezugssystem verwendet wird. Auf diese Weise können an sich bekannte Koordinatensysteme mit bekannten Koordinaten, z.B. UTM-Koordinaten (engl. Universal Transverse Mercator) zur Erstellung der zweiten digitalen Karte verwendet werden.
- Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass für das Verorten des Fahrzeugs mittels der zweiten digitalen Karte im Wesentlichen Algorithmen zum sensorischen Erfassen der zweiten Umfeldobjekte verwendet werden. Auf diese Weise kann das Fahrzeug in einem definierten Umfeld tatsächlich vorhandene Objekte sensorisch erfassen und kann auf diese Weise Rechenkapazität effizient einsetzen. Auf diese Weise können die Berechnungsalgorithmen gezielt an konkrete Gegebenheiten angepasst werden.
- Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass ein Initialisieren der Algorithmen zum sensorischen Erfassen der zweiten Umfeldobjekte beim Empfang der Daten der zweiten Umfeldobjekte durch die Ermittlunseinrichtung durchgeführt wird. Auf diese Weise ist vorteilhaft unterstützt, dass das System schon frühzeitig, d.h. beim Annähern an eine geänderte Umgebungsbedingung an die neuen Gegebenheiten adaptiert ist und eine volle Rechenleistung für einen geänderten Verortungsmodus im neuen Umfeld von Anfang an zur Verfügung steht. Im Ergebnis ist dadurch ein unterbrechungsfreies Fahren des Fahrzeugs unterstützt.
- Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass die Daten betreffend die zweiten Umfeldobjekte wenigstens eine Anzahl von geparkten Fahrzeugen umfasst. Dadurch kann das Fahrzeug z.B. beim Manövrieren in einem Wohngebiet eine effiziente Verortung anhand von tatsächlich vorhandenen Umfeldobjekten in Form von geparkten Fahrzeugen durchführen.
- Die Erfindung wird im Folgenden mit weiteren Merkmalen und Vorteilen anhand von mehreren Figuren detailliert beschrieben. Die Figuren sind vor allem dazu gedacht, die erfindungswesentlichen Prinzipien zu verdeutlichen und sind nicht unbedingt maßstabgetreu ausgeführt.
- Offenbarte Verfahrensmerkmale ergeben sich analog aus entsprechenden offenbarten Vorrichtungsmerkmalen und umgekehrt. Dies bedeutet insbesondere, dass sich Merkmale, technische Vorteile und Ausführungen betreffend das Verfahren in analoger Weise aus entsprechenden Ausführungen, Merkmalen und Vorteilen betreffend die Ermittlungseinrichtung und/oder betreffend das Fahrzeug ergeben und umgekehrt.
- In den Figuren zeigt:
-
1 eine prinzipielle Darstellung einer Wirkungsweise des erfindungsgemäßen Verfahrens; -
2 eine vereinfachte Darstellung eines vorgeschlagenen Fahrzeugs; -
3 eine vereinfachte Darstellung einer vorgeschlagenen Ermittlungseinrichtung; und -
4 einen schematischen Ablauf einer Ausführungsform des erfindungsgemäßen Verfahrens. - Beschreibung von Ausführungsformen
- Im Folgenden wird der Begriff automatisiertes Kraftfahrzeug synonym in den Bedeutungen teilautomatisiertes Kraftfahrzeug, autonomes Kraftfahrzeug und teilautonomes Kraftfahrzeug verwendet.
- Die Erfindung umfasst insbesondere den Gedanken, vorausschauend bzw. frühzeitig eine Umschaltung von Map-Matching-Algorithmen (Algorithmen zum Abgleichen von sensorisch erfassten Umfelddaten mit Kartendaten aus einer digitalen Karte) und entsprechende Lokalisierungsansätzen zu planen und durchzuführen. Dadurch kann eine Genauigkeit, Robustheit und benötigte Rechenkapazität des Lokalisierungsmoduls vorteilhaft beeinflusst werden. Als Eingangsgröße für das erfindungsgemäße System dienen Informationen von lokalen Ermittlungseinrichtungen in Form von sogenannten Local-Cloud-Systemen, die spezifische Daten von Umfeldobjekten, wie z.B. eine Anzahl von geparkten Fahrzeuge entlang der Fahrbahn, Verkehrsaufkommen, Hauswände, Hecken, usw. zu ermitteln.
- In Abhängigkeit von den genannten Eingangsgrößen entscheidet das vorgeschlagene Verfahren über den zu verwendenden Map-Matching- und Verortungsansatz. Die Entscheidung wird in einer vorteilhaften Ausprägung auf Basis eines stochastischen Modells, das einen Zusammenhang zwischen detektierbaren Landmarken, verwendetem Matching-Algorithmus und Lokalisierungsgenauigkeit beschreibt, getroffen. In einer weiteren möglichen Ausprägung wird die Entscheidung anhand empirisch erhobener Erfahrungswerte getroffen, die beispielsweise in Form eines Expertensystems im vorgeschlagenen System repräsentiert werden.
-
1 zeigt ein Verkehrsszenario, für das das vorgeschlagene Verfahren in prinzipieller Weise erläutert wird. Man erkennt ein sich auf einer Straße1 entlang einer Trajektorie2 bewegendes automatisiertes Fahrzeug10 . An einer ersten Position A erfolgt eine Verortung des Fahrzeugs10 anhand von Daten einer ersten („globalen“) digitalen Karte40 , wobei mittels einer Sensoreinrichtung (nicht dargestellt) des Fahrzeugs10 erste Umfeldobjekte11 (z.B. Pfosten, Verkehrsschilder, usw.) sensorisch erfasst werden. - In einer nachfolgend durchfahrenen Position B empfängt das Fahrzeug
10 von einer Ermittlungseinrichtung100 in Form eines Local-Cloud-Systems spezifische Daten betreffend zweite Umfeldobjekte12 ,13 ,14 in einem Straßenzug3 , in den das Fahrzeug10 entlang der Trajektorie2 nachfolgend einbiegt. Der Straßenzug3 befindet sich z.B. in einem dicht verbauten Wohngebiet mit einer großen Anzahl an geparkten Fahrzeugen12 entlang des Straßenzugs3 . Dabei werden dem Fahrzeug10 von der Ermittlungseinrichtung100 Daten von Umfeldobjekten in Form von Hauswänden13 und/oder Hecken14 übermittelt. Vorzugsweise werden von der Ermittlungseinrichtung100 zumindest Daten betreffend eine Anzahl geparkter Fahrzeuge12 übermittelt. Denkbar sind auch noch weitere, nicht dargestellte zweite Umfeldobjekte. Ab dem Empfang der Daten der Ermittlungseinrichtung100 betreffend die zweiten Umfeldobjekte12 ,13 ,14 kann sich das Fahrzeug10 nicht mehr ausreichend mit den Daten der ersten Umfeldobjekte11 verorten, beispielsweise weil eine Anzahl der ersten Umfeldobjekte11 entlang des Straßenzugs3 wesentlich geringer ist. Vorzugweise kann betragsmäßig definiert sein, ab welchem Ausmaß der Verortungsfähigkeit mittels der ersten Umfeldobjekte11 bzw. der zweiten Umfeldobjekte12 ,13 ,14 ein Umschalten des Verortungsmodus durchgeführt wird. - Als Resultat der von der Ermittlungseinrichtung
100 übermittelten Informationen kann das Fahrzeug10 in der Position B somit frühzeitig einen gerade laufenden Verortungsmodus umschalten und aktiviert nunmehr zur Verortung Algorithmen, die nicht mehr vorwiegend erste Umfeldobjekte11 sensorisch erfassen und verarbeiten sondern vorwiegend zweite Umfeldobjekte12 ,13 ,14 in Form von geparkten Fahrzeugen, Hauswänden, Hecken, usw. Zugleich wird ab dem Moment des Umschaltens des Verortungsmodus eine zweite („lokale“) digitale Karte50 erstellt, mittels der sich das Fahrzeug10 entlang des Straßenzugs3 verortet. Im Ergebnis bedeutet dies eine frühzeitige Erkennung von Umfeldsituationen im Straßenzug3 , wodurch eine Verortungscharakteristik frühzeitig umgeschaltet werden kann, wodurch Rechenkapazität innerhalb des Fahrzeugs10 vorteilhaft effizient eingesetzt wird. - Nach Verlassen des Straßenzugs
3 kann im Fahrzeug10 wieder der Verortungsmodus zum Erfassen und Verarbeiten der ersten Umfeldobjekte11 aktiviert werden. In einer weiteren Alternative wäre auch denkbar, dass mittels weiterer Ermittlungseinrichtungen100 weitere (nicht dargestellte) Umfeldobjekte erfasst werden, deren Daten ein Aktivieren von Algorithmen eines weiteren Verortungsmodus bewirken (nicht dargestellt). Das Verfahren ist somit nicht auf lediglich zwei unterschiedliche Verortungsmoden begrenzt. -
2 zeigt eine stark vereinfachte prinzipielle Darstellung einer Ausführungsform eines vorgeschlagenen Fahrzeugs10 . Man erkennt im Fahrzeug10 eine Verortungseinrichtung20 , mit der eine Verortung des Fahrzeugs10 durchgeführt wird. Die Verortungseinrichtung20 umfasst dabei an sich bekannte Sensorelemente, wie zum Beispiel Lidar, Radar, Kamera, usw. Die Verortungseinrichtung20 ist funktional mit einer Umschalteinrichtung30 verbunden. Im Falle, dass die Verortungseinrichtung20 von der Ermittlungseinrichtung100 Daten betreffend zweite Umfeldobjekte12 ,13 ,14 drahtlos empfängt, erkennt die Verortungseinrichtung20 , dass nunmehr ein Verortungsmodus geändert werden kann. - Zu diesem Zweck schaltet die Umschalteinrichtung
30 Verortungsalgorithmen innerhalb der Verortungseinrichtung20 um, sodass nunmehr die Verortung mit entsprechend adaptierten Algorithmen der Verortungseinrichtung20 durchgeführt wird. Zur Umschaltung zwischen den Algorithmen können an sich bekannte Verfahren verwendet werden. Auf diese Weise ist im Betrieb des Fahrzeugs10 bereits frühzeitig eine Umschaltung von Verortungsalgorithmen realisiert und damit eine optimale Ausnutzung von Rechenkapazität innerhalb des Fahrzeugs10 . - Ein vorgeschlagenes System umfasst somit wenigstens eine Ermittlungseinrichtung
100 in Form eines Local-Cloud-Systems, Empfangs- und Sendeeinheiten auf Fahrzeugseite und eine Einrichtung zur Umschaltung von Algorithmen zur Fahrzeugverortung wobei als Konsequenz der von der Ermittlungseinrichtung100 übermittelten Daten entweder Map-Matching-Algorithmen oder Algorithmen zur Lösung des SLAM-Problems ausgeführt werden. Jedes Fahrzeug10 erhält von den Local-Cloud-Systemen entlang der gefahrenen Trajektorie2 Informationen über das zu erwartende Umfeld. -
3 zeigt vereinfachtes Blockschaltbild einer lokalen Ermittlungseinrichtung100 . Man erkennt eine Sensoreinrichtung110 zur Erfassung von zweiten Umfeldobjekten12 ,13 ,14 im Umfeld der Ermittlungseinrichtung100 . Mittels einer Auswerteeinrichtung120 werden die Daten grundlegend aufbereitet und mittels einer Übermittlungseinrichtung130 drahtlos übermittelt, vorzugsweise an ein Fahrzeug10 zur Nutzung in einem Verortungsverfahren. Denkbar sind aber auch noch andere Empfänger der von der Ermittlungseinrichtung100 übermittelten Daten betreffend die Umfeldobjekte12 ,13 ,14 , z.B. zum Zwecke einer Auswertung von Verkehrsinformationen. -
4 zeigt einen prinzipiellen Ablauf einer Ausführungsform des vorgeschlagenen Verfahrens. - In einem Schritt
200 wird ein sensorisches Erfassen von ersten Umfeldobjekten11 durch das Fahrzeug10 durchgeführt. - In einem Schritt
210 wird ein Verorten des Fahrzeugs10 durch ein Abgleichen von Daten der sensorisch erfassten ersten Umfeldobjekten11 mit Kartendaten einer ersten digitalen Karte40 durchgeführt, wobei im Falle, dass das Abgleichen der Daten der ersten Umfeldobjekte11 mit den Kartendaten der ersten digitalen Karte40 nicht in einem definierten Ausmaß möglich ist, eine zweite digitale Karte50 für ein lokales Umfeld des Fahrzeugs10 erstellt und ein Verorten des Fahrzeugs10 mittels der zweiten digitalen Karte50 durchgeführt wird, wobei für das Erstellen der zweiten digitalen Karte50 Daten von zweiten Umfeldobjekten12 ,13 einer Ermittlungseinrichtung100 verwendet werden, die von der Ermittlungseinrichtung100 an das Fahrzeug10 übermittelt werden. - Der Fachmann wird die Merkmale der Erfindung in geeigneter Weise abändern und/oder miteinander kombinieren, ohne vom Kern der Erfindung abzuweichen.
- ZITATE ENTHALTEN IN DER BESCHREIBUNG
- Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
- Zitierte Patentliteratur
-
- JP 2003254775 A [0010]
- WO 2015/156821 A1 [0011]
- Zitierte Nicht-Patentliteratur
-
- C. Heigele, H. Mielenz, J. Heckel, D. Schramm, „Accurate and fast localization in unstructured environment based on shape context keypoints“, in Information Fusion (FUSION), 2014 17th International Conference, 7 - 10 July 2014 1-7 [0003]
- J. Rohde, J.E. Stellet, H. Mielenz, J.M. Zollner, „Model-Based Derivation of Perception Accuracy Requirements for Vehicle Localization in Urban Environments“, in Intelligent Transportation Systems (ITSC), 2015 IEEE 18th International Conference, 18 Sept 2015, Seiten 712-718 [0004]
- D. Meyer-Delius, J. Hess, G. Grisetti, W. Burgard, „Temporary maps for robust localization in semi-static environments“, in Intelligent Robots and Systems (IROS), 2010 IEEE/RSJ International Conference, 18-22 Oct. 2010, Seiten 5750-5722 [0008]
- Y. Zou, Krishnendu Chakrabarty, „Sensor deployment and target localization based on virtual forces“, in INFOCOM 2003, Twenty-Second Annual Joint Conference of the IEEE Computer and Communications-IEEE Societies, Vol. 2, pp. 1293-1303, Vol. 2, 2003 [0009]
Claims (8)
- Verfahren zum Verorten eines Fahrzeugs (10), aufweisend die Schritte: - Sensorisches Erfassen von ersten Umfeldobjekten (11) durch das Fahrzeug (10); - Verorten des Fahrzeugs (10) durch ein Abgleichen von Daten der sensorisch erfassten ersten Umfeldobjekten (11) mit Kartendaten einer ersten digitalen Karte (40); wobei - im Falle, dass das Abgleichen der Daten der ersten Umfeldobjekte (11) mit den Kartendaten der ersten digitalen Karte (40) nicht in einem definierten Ausmaß möglich ist, eine zweite digitale Karte (50) für ein lokales Umfeld des Fahrzeugs (10) erstellt und ein Verorten des Fahrzeugs (10) mittels der zweiten digitalen Karte (50) durchgeführt wird; wobei - für das Erstellen der zweiten digitalen Karte (50) Daten von zweiten Umfeldobjekten (12, 13) einer Ermittlungseinrichtung (100) verwendet werden, die von der Ermittlungseinrichtung (100) an das Fahrzeug (10) übermittelt werden.
- Verfahren nach
Anspruch 1 , wobei für das Erstellen der zweiten digitalen Karte (50) ein definiertes Bezugssystem verwendet wird. - Verfahren nach
Anspruch 1 oder2 , wobei für das Verorten des Fahrzeugs (10) mittels der zweiten digitalen Karte (50) im Wesentlichen Algorithmen zum sensorischen Erfassen der zweiten Umfeldobjekte (12, 13) verwendet werden. - Verfahren nach
Anspruch 3 , wobei ein Initialisieren der Algorithmen zum sensorischen Erfassen der zweiten Umfeldobjekte (12, 13) beim Empfang der Daten der zweiten Umfeldobjekte (12, 13) durch die Ermittlungseinrichtung (100) durchgeführt wird. - Verfahren nach einem der vorhergehenden Ansprüche, wobei die Daten betreffend die zweiten Umfeldobjekte (12, 13) wenigstens eine Anzahl von geparkten Fahrzeugen umfasst.
- Ermittlungseinrichtung (100) zum Bereitstellen von Verortungsdaten für ein Fahrzeug (10); aufweisend: - eine Sensoreinrichtung (110) zum Erfassen definierter Umfeldobjekte (12, 13); - eine Auswerteeinrichtung (120) zum Auswerten von Daten der erfassten Umfeldobjekte (12, 13), und - eine Übermittlungseinrichtung (130) zum drahtlosen Übermitteln der ausgewerteten Daten betreffend die Umfeldobjekte (12, 13).
- Fahrzeug (10) aufweisend: - eine Verortungseinrichtung (20); und - eine Umschalteinrichtung (30) zum Umschalten einer Betriebsart der Verortungseinrichtung (20) in Abhängigkeit von während eines Betriebs des Fahrzeugs (10) empfangenen Daten betreffend definierte Umfeldobjekte (12, 13) von einer Ermittlungseinrichtung (100).
- Computerprogrammprodukt mit Programmcodemitteln zur Durchführung des Verfahrens nach einem der
Ansprüche 1 bis5 , wenn es auf einer Rechnereinrichtung (20, 30) abläuft oder auf einem computerlesbaren Datenträger gespeichert ist.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102016221688.0A DE102016221688A1 (de) | 2016-11-04 | 2016-11-04 | Verfahren zum Verorten eines Fahrzeugs |
US15/803,123 US10691963B2 (en) | 2016-11-04 | 2017-11-03 | Method for locating a vehicle |
CN201711077592.7A CN108020229B (zh) | 2016-11-04 | 2017-11-06 | 用于定位车辆的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102016221688.0A DE102016221688A1 (de) | 2016-11-04 | 2016-11-04 | Verfahren zum Verorten eines Fahrzeugs |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102016221688A1 true DE102016221688A1 (de) | 2018-05-09 |
Family
ID=62002920
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102016221688.0A Pending DE102016221688A1 (de) | 2016-11-04 | 2016-11-04 | Verfahren zum Verorten eines Fahrzeugs |
Country Status (3)
Country | Link |
---|---|
US (1) | US10691963B2 (de) |
CN (1) | CN108020229B (de) |
DE (1) | DE102016221688A1 (de) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102017222810A1 (de) * | 2017-12-14 | 2019-06-19 | Robert Bosch Gmbh | Verfahren zum Erstellen einer merkmalbasierten Lokalisierungskarte für ein Fahrzeug unter Berücksichtigung charakteristischer Strukturen von Objekten |
DE102018221178A1 (de) * | 2018-12-06 | 2020-06-10 | Robert Bosch Gmbh | Lokalisierungssystem |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3376249A1 (de) * | 2017-03-17 | 2018-09-19 | Veoneer Sweden AB | Verbesserte objektpositionsdetektion |
JP6843712B2 (ja) * | 2017-07-27 | 2021-03-17 | フォルシアクラリオン・エレクトロニクス株式会社 | 車載処理装置 |
DE102018219602A1 (de) * | 2018-11-15 | 2020-05-20 | Robert Bosch Gmbh | Verfahren zum Erkennen von Kartenfehlern |
DE102019207212A1 (de) * | 2019-05-17 | 2020-11-19 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Verarbeiten von Sensordaten |
DE102019207215A1 (de) * | 2019-05-17 | 2020-11-19 | Robert Bosch Gmbh | Verfahren zum Verwenden einer merkmalbasierten Lokalisierungskarte für ein Fahrzeug |
CN112200765A (zh) * | 2020-09-04 | 2021-01-08 | 浙江大华技术股份有限公司 | 车辆中被误检的关键点的确定方法及装置 |
DE102021212244A1 (de) | 2021-10-29 | 2023-05-04 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zur sicheren Übertragung von Daten in ein hochautomatisiertes Fahrzeug durch verschlüsselte QR-Codes |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003254775A (ja) | 2002-03-05 | 2003-09-10 | Denso Corp | ナビゲーション装置 |
WO2015156821A1 (en) | 2014-04-11 | 2015-10-15 | Nissan North America, Inc. | Vehicle localization system |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001036939A2 (de) | 1999-11-04 | 2001-05-25 | Meltec Multi-Epitope-Ligand-Technologies Gmbh | Verfahren zur automatischen analyse von mikroskopaufnahmen |
CN104943684B (zh) * | 2014-03-31 | 2017-09-29 | 比亚迪股份有限公司 | 无人驾驶汽车控制系统和具有其的汽车 |
CN104062973B (zh) * | 2014-06-23 | 2016-08-24 | 西北工业大学 | 一种基于图像标志物识别的移动机器人slam方法 |
CN105953798B (zh) * | 2016-04-19 | 2018-09-18 | 深圳市神州云海智能科技有限公司 | 移动机器人的位姿确定方法和设备 |
US10816654B2 (en) * | 2016-04-22 | 2020-10-27 | Huawei Technologies Co., Ltd. | Systems and methods for radar-based localization |
CN106323288A (zh) * | 2016-08-01 | 2017-01-11 | 杰发科技(合肥)有限公司 | 一种交通工具的定位和搜寻方法、装置以及移动终端 |
-
2016
- 2016-11-04 DE DE102016221688.0A patent/DE102016221688A1/de active Pending
-
2017
- 2017-11-03 US US15/803,123 patent/US10691963B2/en active Active
- 2017-11-06 CN CN201711077592.7A patent/CN108020229B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003254775A (ja) | 2002-03-05 | 2003-09-10 | Denso Corp | ナビゲーション装置 |
WO2015156821A1 (en) | 2014-04-11 | 2015-10-15 | Nissan North America, Inc. | Vehicle localization system |
Non-Patent Citations (4)
Title |
---|
C. Heigele, H. Mielenz, J. Heckel, D. Schramm, „Accurate and fast localization in unstructured environment based on shape context keypoints", in Information Fusion (FUSION), 2014 17th International Conference, 7 - 10 July 2014 1-7 |
D. Meyer-Delius, J. Hess, G. Grisetti, W. Burgard, „Temporary maps for robust localization in semi-static environments", in Intelligent Robots and Systems (IROS), 2010 IEEE/RSJ International Conference, 18-22 Oct. 2010, Seiten 5750-5722 |
J. Rohde, J.E. Stellet, H. Mielenz, J.M. Zollner, „Model-Based Derivation of Perception Accuracy Requirements for Vehicle Localization in Urban Environments", in Intelligent Transportation Systems (ITSC), 2015 IEEE 18th International Conference, 18 Sept 2015, Seiten 712-718 |
Y. Zou, Krishnendu Chakrabarty, „Sensor deployment and target localization based on virtual forces", in INFOCOM 2003, Twenty-Second Annual Joint Conference of the IEEE Computer and Communications-IEEE Societies, Vol. 2, pp. 1293-1303, Vol. 2, 2003 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102017222810A1 (de) * | 2017-12-14 | 2019-06-19 | Robert Bosch Gmbh | Verfahren zum Erstellen einer merkmalbasierten Lokalisierungskarte für ein Fahrzeug unter Berücksichtigung charakteristischer Strukturen von Objekten |
US11442462B2 (en) | 2017-12-14 | 2022-09-13 | Robert Bosch Gmbh | Method for creating a feature-based localization map for a vehicle taking into account characteristic structures of objects |
DE102018221178A1 (de) * | 2018-12-06 | 2020-06-10 | Robert Bosch Gmbh | Lokalisierungssystem |
US11333522B2 (en) | 2018-12-06 | 2022-05-17 | Robert Bosch Gmbh | Localization system |
Also Published As
Publication number | Publication date |
---|---|
US10691963B2 (en) | 2020-06-23 |
US20180129890A1 (en) | 2018-05-10 |
CN108020229A (zh) | 2018-05-11 |
CN108020229B (zh) | 2023-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102016221688A1 (de) | Verfahren zum Verorten eines Fahrzeugs | |
DE102010006828B4 (de) | Verfahren zur automatischen Erstellung eines Modells der Umgebung eines Fahrzeugs sowie Fahrerassistenzsystem und Fahrzeug | |
DE102018120845A1 (de) | Verfahren und Vorrichtung zum Überwachen eines autonomen Fahrzeugs | |
EP3380810B1 (de) | Verfahren, vorrichtung, kartenverwaltungseinrichtung und system zum punktgenauen lokalisieren eines kraftfahrzeugs in einem umfeld | |
EP3616181A1 (de) | Verfahren zum automatischen erstellen und aktualisieren eines datensatzes für ein autonomes fahrzeug | |
DE102015220360A1 (de) | Verfahren zur Auswahl einer optimierten Trajektorie | |
DE102015202859A1 (de) | Abtastsystem und -verfahren für autonomes Fahren | |
DE102014009627A1 (de) | Verfahren zur Meldung einer freien Parklücke für ein Fahrzeug | |
DE102016205436A1 (de) | Verfahren und System zum Erstellen einer digitalen Karte | |
DE112012005261B4 (de) | Freirauminformationen in einem Belegungsgitter als Grundlage für die Bestimmung eines Manöverraums für ein Fahrzeug | |
WO2016150590A1 (de) | Verfahren und vorrichtung zum überwachen einer von einem fahrzeug abzufahrenden soll-trajektorie auf kollisionsfreiheit | |
DE102016213782A1 (de) | Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zur Bestimmung der lateralen Position eines Fahrzeuges relativ zu den Fahrstreifen einer Fahrbahn | |
DE102014111125A1 (de) | Verfahren zum Erkennen eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs mittels eines Ultraschallsensors, Fahrerassistenzsystem sowie Kraftfahrzeug | |
DE102015010542A1 (de) | Verfahren zur Erzeugung einer digitalen Umgebungskarte | |
DE102016122759A1 (de) | Verfahren zum Betreiben eines Fahrerassistenzsystems zum zumindest semi-autonomen Manövrieren eines Kraftfahrzeugs unter Berücksichtigung eines geographischen Bereichs, Fahrerassistenzsystem sowie Kraftfahrzeug | |
DE102016225213A1 (de) | Verfahren und System zur Lokalisierung eines Kraftfahrzeuges | |
DE102017222183A1 (de) | Verfahren und System zum Überwachen mehrerer Umgebungssensoren eines Kraftfahrzeugs | |
DE102018214971A1 (de) | Verfahren zur Erstellung einer Karte eines Umfelds eines Fahrzeugs | |
DE102017118741A1 (de) | Verfahren zum Betreiben eines Kraftfahrzeugs in einer Umgebung mit beschränkten Zugriff auf ein Navigationssatellitensystem, Fahrerassistenzsystem sowie Kraftfahrzeug | |
EP3371792A1 (de) | Verfahren zum betreiben einer detektionsvorrichtung eines kraftfahrzeugs | |
DE102016220581A1 (de) | Verfahren und vorrichtung zur bestimmung eines umfeldmodells | |
DE102020108508B3 (de) | Verfahren zur Bewertung von Streckenabschnitten | |
DE102018212219A1 (de) | Überprüfen einer geographischen Karte | |
DE112020004203T5 (de) | Fahrzeugpositionsbestimmungsvorrichtung und Fahrzeugpositionsbestimmungsverfahren | |
DE102014214327A1 (de) | Steuervorrichtung, Fahrzeug, Datenbereitstellungsvorrichtung und Verfahren |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed |