DE112020006961B4

DE112020006961B4 - Prädiktive verfolgungsvorrichtung, prädiktives verfolgungsverfahren und prädiktives verfolgungsprogramm

Info

Publication number: DE112020006961B4
Application number: DE112020006961.3T
Authority: DE
Inventors: Toshihito Ikenishi
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2020-05-26
Filing date: 2020-05-26
Publication date: 2024-02-29
Anticipated expiration: 2040-05-27
Also published as: US20230036137A1; CN115667993A; JP7126633B2; DE112020006961T5; WO2021240623A1; JPWO2021240623A1

Abstract

Prädiktive Verfolgungsvorrichtung (100), umfassend:eine Einheit zur Erfassung mobiler Objekte (113), um eine Punktwolke zu extrahieren, die ein mobiles Objekt, das um eine mobilen Entität herum vorhanden ist, darstellt, aus Punktwolkendaten, die von einem LiDAR erhalten wurden, das Messungen in einer Umgebung der mobilen Entität durchführt;eine Einheit zur Verfolgung mobiler Objekte (116), um aus den Punktwolkendaten eine Punktwolke in einem Bereich einer A-posteriori-Verteilung für ein verfolgtes Objekt zu extrahieren, wobei das verfolgte Objekt ein mobiles Objekt ist, das verfolgt wird, und einen Abgleich der extrahierten Punktwolke mit der Punktwolke des mobilen Objekts durchzuführen;eine Einheit zur Erkennung mobiler Objekte (114), um Attribute des mobilen Objekts auf der Grundlage der Punktwolke des mobilen Objekts zu bestimmen; undeine Bewegungsvorhersageeinheit (115), um eine A-priori-Verteilung und eine Wahrscheinlichkeitsfunktion für das mobile Objekt auf der Grundlage der Attribute des mobilen Objekts festzulegen und eine A-posteriori-Verteilung für das mobile Objekt unter Verwendung der A-priori-Verteilung und der Wahrscheinlichkeitsfunktion für das mobile Objekt zu berechnen; wobei die Einheit zur Erkennung mobiler Objekte (114) einen Typ des mobilen Objekts bestimmt; unddie Bewegungsvorhersageeinheit (115) die A-priori-Verteilung und die Wahrscheinlichkeitsfunktion für das mobile Objekt auf der Grundlage des Typs des mobilen Objekts festlegt.

Description

Gebiet der Technik
Die vorliegende Offenbarung bezieht sich auf die prädiktive Verfolgung mobiler Objekte.
Stand der Technik
Bekannt ist eine Technik, die mobile Objekte anhand von mit LiDAR gemessenen Punktwolken verfolgt.
LiDAR ist eine Abkürzung für Light Detection And Ranging.
Bei einer in der Patentliteratur 1 beschriebenen Technik wird die eigene Position durch Abgleich von Punktwolken der umgebenden Objekte mit dem ICP-Algorithmus geschätzt. Die bewegten Positionen der umliegenden Fahrzeuge werden ebenfalls mit einem Vorhersagefilter wie dem Kalman-Filter oder der Bayes-Schätzung geschätzt.
ICP ist eine Abkürzung für Iterative Closest Point.
Liste der Entgegenhaltungen
Patentliteratur
Patentliteratur 1: JP 2018-141716
DE 103 24 897 A1 offenbart ein Verfahren, bei dem eine Videobildsequenz durch Maximum-a-posteriori-Schätzung (MAP) von Bayes'schen Wahrscheinlichkeitsfunktionen ausgewertet wird, um einen Ereigniswert bereitzustellen, der den Zustand eines Objekts beschreibt (20). Das Verfahren umfasst folgende Schritte: Bildauswertung zur Gewinnung von mindestens zwei unabhängigen Messwerten für das Ereignis, Zuordnung eines Qualitätsfaktors zu jedem Messwert; Modellierung der Wahrscheinlichkeitsverteilung jedes Messwerts anhand einer Gauß-Verteilung mit dem Gütefaktor und Bildung des Produkts der Gauß-Verteilung als Bayes'sche Wahrscheinlichkeitsfunktion. Ein unabhängiger Anspruch wird auf eine Vorrichtung zur Objektbestimmung in einem Fahrerassistenzsystem mit einer Videokamera und einem Objektbestimmungsmodul erhoben.
DE 10 2013 113 570 A1 offenbart ein System und eine Methode zum Zusammenführen der Ausgänge mehrerer LiDAR-Sensoren an einem Fahrzeug. Das Verfahren umfasst die Bereitstellung von Objektdateien für Objekte, die von den Sensoren zu einem früheren Abtastzeitpunkt erkannt wurden, wobei die Objektdateien die Position, Ausrichtung und Geschwindigkeit der erkannten Objekte identifizieren. Das Verfahren umfasst auch das Empfangen einer Vielzahl von Scan-Rückgaben von Objekten, die zu einem aktuellen Abtastzeitpunkt im Sichtfeld der Sensoren erkannt wurden, und das Konstruieren einer Punktwolke aus den Scan-Rückgaben. Anschließend segmentiert die Methode die Scanpunkte in der Punktwolke in vorhergesagte Cluster, wobei jeder Cluster zunächst ein von den Sensoren erkanntes Objekt identifiziert. Die Methode gleicht die vorhergesagten Cluster mit vorhergesagten Objektmodellen ab, die aus Objekten generiert wurden, die während der vorherigen Abtastzeit verfolgt wurden. Die Methode erstellt neue Objektmodelle, löscht sterbende Objektmodelle und aktualisiert die Objektdateien basierend auf den Objektmodellen für die aktuelle Abtastzeit.
DE 10 2019 121 544 A1 offenbart eine Zielerkennungsvorrichtung umfassend eine Erfassungseinheit und eine Bestimmungseinheit. Die Erfassungseinheit erfasst Positionsdaten eines Ziels in einer Vielzahl von Sensoren und Sensorcharakteristikdaten, die eine Positionseigenschaft der Erkennungsgenauigkeit in der Vielzahl von Sensoren angeben. Die Bestimmungseinheit bestimmt die Identität eines Zielobjekts, das in jedem Sensor ein Erkennungsobjekt ist, basierend auf Positionsdaten und Sensorcharakteristikdaten, die von der Erfassungseinheit erfasst werden.
Abriss der Erfindung
Technische Aufgabe
Bei herkömmlichen Verfahren wird die A-posteriori-Wahrscheinlichkeit maximiert, indem die Bewegung eines Zielobjekts mit einem Vorhersagefilter vorhergesagt wird. Dies verbessert die Genauigkeit der Schätzung.
Die Schätzung kann jedoch nicht durchgeführt werden, wenn keine A-priori-Verteilung vorliegt und die Zielobjekte, für die eine A-priori-Verteilung gegeben ist, auf Fahrzeuge beschränkt sind.
Außerdem kann bei der Maximierung der A-posteriori-Wahrscheinlichkeit die A-posteriori-Wahrscheinlichkeit zu einer lokalen Lösung führen. Wenn ein anderes Objekt als ein Fahrzeug anvisiert wird, konvergiert ein Wert möglicherweise nicht, je nachdem, wie die A-priori-Verteilung gegeben ist, was die Vorhersage erschwert.
Da der ICP-Algorithmus auf einen großen Bereich oder auf viele Ziele angewendet wird, steigen die Berechnungskosten.
Ein Ziel der vorliegenden Offenbarung ist es, die Genauigkeit der prädiktiven Verfolgung eines mobilen Objekts zu verbessern und gleichzeitig die Berechnungskosten niedrig zu halten.
Lösung der Aufgabe
Die Erfindung wird durch die unabhängigen Ansprüche definiert. Bevorzugte Ausführungsformen sind in den abhängigen Ansprüchen definiert.
Eine prädiktive Verfolgungsvorrichtung im Sinne der vorliegenden Offenbarung umfasst:

eine Einheit zur Erfassung mobiler Objekte, um eine Punktwolke zu extrahieren, die ein mobiles Objekt, das um eine mobilen Entität herum vorhanden ist, darstellt, aus von einem LiDAR, das Messungen in einer Umgebung der mobilen Entität durchführt, erhaltenen Punktwolkendaten; und
eine Einheit zur Verfolgung mobiler Objekte, um aus den Punktwolkendaten eine Punktwolke in einem Bereich einer A-posteriori-Verteilung für ein verfolgtes Objekt zu extrahieren, wobei das verfolgte Objekt ein mobiles Objekt ist, das verfolgt wird, und einen Abgleich der extrahierten Punktwolke mit der Punktwolke des mobilen Objekts durchzuführen;
wobei die Einheit zur Erkennung mobiler Objekte einen Typ des mobilen Objekts bestimmt; und
die Bewegungsvorhersageeinheit die A-priori-Verteilung und die Wahrscheinlichkeitsfunktion für das mobile Objekt auf der Grundlage des Typs des mobilen Objekts festlegt.

Vorteilhafte Wirkungen der Erfindung
Die vorliegende Offenbarung ermöglicht eine Verbesserung der Genauigkeit der prädiktiven Verfolgung eines mobilen Objekts bei gleichzeitig niedrigen Berechnungskosten.
Kurzbeschreibung der Zeichnungen

1 ist ein Konfigurationsdiagramm eines prädiktiven Verfolgungssystems 200 in Ausführungsform 1.
2 ist ein Konfigurationsdiagramm einer prädiktiven Verfolgungsvorrichtung 100 in Ausführungsform 1.
3 ist ein Konfigurationsdiagramm einer Sensorgruppe 180 in Ausführungsform 1.
4 ist ein Flussdiagramm eines prädiktiven Verfolgungsverfahrens in Ausführungsform 1.
5 ist ein Flussdiagramm des prädiktiven Verfolgungsverfahrens in Ausführungsform 1.
6 ist ein Flussdiagramm des prädiktiven Verfolgungsverfahrens in Ausführungsform 1.
7 ist ein Flussdiagramm des prädiktiven Verfolgungsverfahrens in Ausführungsform 1.
8 ist eine Illustration eines Vorhersagefilters in Ausführungsform 1 bezieht.
9 ist eine Illustration der prädiktiven Verfolgung in Ausführungsform 1.
10 ist eine Illustration, die sich auf die prädiktive Verfolgung in Ausführungsform 1 bezieht.
11 ist eine Darstellung der A-priori-Verteilung und der Wahrscheinlichkeitsfunktion in Bezug auf die Typen des mobilen Objekts in Ausführungsform 1.
12 ist eine Darstellung der A-priori-Verteilung und der Wahrscheinlichkeitsfunktion in Bezug auf die Bewegungsrichtungen mobiler Objekte in Ausführungsform 1.
13 zeigt ein Beispiel für die Sensorgruppe 180 in Ausführungsform 1.
14 ist ein Konfigurationsdiagramm der prädiktiven Verfolgungsvorrichtung 100 in Ausführungsform 2.
15 ist ein Hardware-Konfigurationsdiagramm der prädiktiven Verfolgungsvorrichtung 100 in den Ausführungsbeispielen.

Beschreibung von Ausführungsformen
In den Ausführungsformen und Zeichnungen werden die gleichen Elemente oder entsprechende Elemente mit den gleichen Bezugszeichen versehen. Die Beschreibung von Elementen mit denselben Bezugszeichen wie die der zuvor beschriebenen Elemente wird weggelassen oder gegebenenfalls vereinfacht. Die Pfeile in den Zeichnungen zeigen vor allem Daten- oder Verarbeitungsströme an.
Ausführungsform 1.
Ein prädiktives Verfolgungssystem 200 wird anhand der 1 bis 13 beschrieben.
*** Konfigurationsbeschreibung ***
Anhand von 1 wird die Konfiguration des prädiktiven Tracking-Systems 200 beschrieben.
Das vorausschauende Ortungssystem 200 ist auf einem eigenen Fahrzeug 210 montiert.
Das eigene Fahrzeug 210 ist ein Auto, auf dem das prädiktive Ortungssystem 200 montiert ist. Ein Beispiel für eine mobile Entität ist ein Auto.
Das prädiktive Verfolgungssystem 200 umfasst eine prädiktive Verfolgungsvorrichtung 100 und eine Sensorgruppe 180.
Anhand von 2 wird der Aufbau der prädiktiven Verfolgungsvorrichtung 100 beschrieben.
Bei der prädiktiven Verfolgungsvorrichtung 100 handelt es sich um einen Computer, der mit Hardwarekomponenten wie einem Prozessor 101, einem Speicher 102, einer Hilfsspeichervorrichtung 103, einer Kommunikationsvorrichtung 104 und einer Eingabe-/Ausgabeschnittstelle 105 ausgestattet ist. Diese Hardware-Bauteile sind über Signalleitungen miteinander verbunden.
Der Prozessor 101 ist ein IC, der arithmetische Berechnungen durchführt und andere Teile der Hardware steuert. Der Prozessor 101 ist zum Beispiel eine CPU, ein DSP oder eine GPU.
IC ist eine Abkürzung für Integrated Circuit (dt. integrierter Schaltkreis).
CPU ist eine Abkürzung für Central Processing Unit (dt. Zentraleinheit).
DSP ist eine Abkürzung für Digital Signal Processor (dt. Digitaler Signalprozessor).
GPU ist eine Abkürzung für Graphics Processing Unit.
Der Speicher 102 ist eine flüchtige oder nicht flüchtige Speichereinrichtung. Der Speicher 102 wird auch als Hauptspeichervorrichtung oder Hauptspeicher bezeichnet. Bei dem Speicher 102 handelt es sich zum Beispiel um RAM. Die im Speicher 102 gespeicherten Daten werden bei Bedarf in der Hilfsspeichervorrichtung 103 abgelegt.
RAM ist eine Abkürzung für Random Access Memory (dt. Direktzugriffsspeicher).
Die Hilfsspeichervorrichtung 103 ist eine nicht flüchtige Speichereinrichtung. Die Hilfsspeichervorrichtung 103 ist zum Beispiel ein ROM, eine Festplatte oder ein Flash-Speicher. Die in der Hilfsspeichervorrichtung 103 gespeicherten Daten werden bei Bedarf in den Speicher 102 geladen.
ROM ist eine Abkürzung für Read Only Memory (dt. Nur-Lese-Speicher).
HDD ist die Abkürzung für Hard Disk Drive (dt. Festplattenlaufwerk).
Die Kommunikationsvorrichtung 104 ist ein Empfänger und ein Sender. Die Kommunikationsvorrichtung 104 ist zum Beispiel ein Kommunikations-Chip oder eine NIC.
NIC ist eine Abkürzung für Network Interface Card (dt. Netzwerkkarte).
Die Eingabe-/Ausgabeschnittstelle 105 ist ein Anschluss, an den eine Eingabevorrichtung, eine Ausgabevorrichtung und die Sensorgruppe 180 angeschlossen werden. Zum Beispiel ist die Eingabe/Ausgabe-Schnittstelle 105 ein USB-Anschluss, ist die Eingabevorrichtung eine Tastatur und eine Maus und ist die Ausgabevorrichtung eine Anzeige.
USB ist eine Abkürzung für Universal Serial Bus (dt. Universeller Serieller Bus).
Die prädiktive Verfolgungsvorrichtung 100 umfasst Komponenten wie eine Sensordatenerfassungseinheit 111, eine Einheit zur Schätzung der eigenen Position 112, eine Einheit zur Erfassung mobiler Objekte 113, eine Einheit zur Erkennung mobiler Objekte 114, eine Bewegungsvorhersageeinheit 115 und eine Einheit zur Verfolgung mobiler Objekte 116. Diese Komponenten sind in Software implementiert.
In der Hilfsspeichervorrichtung 103 ist ein prädiktives Verfolgungsprogramm gespeichert, um einen Computer zu veranlassen, als die Sensordatenerfassungseinheit 111, die Einheit zur Schätzung der eigenen Position 112, die Einheit zur Erfassung mobiler Objekte 113, die Einheit zur Erkennung mobiler Objekte 114, die Bewegungsvorhersageeinheit 115 und die Einheit zur Verfolgung mobiler Objekte 116 zu arbeiten. Das prädiktive Verfolgungsprogramm wird in den Speicher 102 geladen und von dem Prozessor 101 ausgeführt.
Auf der Hilfsspeichervorrichtung 103 ist außerdem ein Betriebssystem gespeichert. Zumindest ein Teil des Betriebssystems wird in den Speicher 102 geladen und von dem Prozessor 101 ausgeführt.
Der Prozessor 101 führt das prädiktive Verfolgungsprogramm während der Ausführung des Betriebssystems aus.
OS ist eine Abkürzung für Operating System (dt. Betriebssystem).
Eingabe- und Ausgabedaten für das prädiktive Verfolgungsprogramm werden in einer Speichereinheit 190 gespeichert.
Der Speicher 102 fungiert als die Speichereinheit 190. Anstelle des Speichers 102 oder in Verbindung mit dem Speicher 102 kann jedoch auch eine Speichereinrichtung wie die Hilfsspeichervorrichtung 103, ein Register im Prozessor 101 oder ein Cache-Speicher im Prozessor 101 als Speichereinheit 190 fungieren.
Die prädiktive Verfolgungsvorrichtung 100 kann mehrere Prozessoren enthalten, die den Prozessor 101 ersetzen. Die mehreren Prozessoren teilen sich die Funktionen des Prozessors 101.
Das prädiktive Verfolgungsprogramm kann auf einem nichtflüchtigen Aufzeichnungsmedium wie einer optischen Platte oder einem Flash-Speicher in computerlesbarer Form aufgezeichnet (gespeichert) werden.
Anhand von 3 wird der Aufbau der Sensorgruppe 180 beschrieben.
Zur Sensorgruppe 180 gehören Sensoren wie ein LiDAR 181, ein GPS 182 und ein Geschwindigkeitsmesser 183.
Ein Beispiel für LiDAR 181 ist ein Laserscanner. Das LiDAR 181 sendet Laserlicht in verschiedene Richtungen aus, empfängt einfallendes Laserlicht, das an verschiedenen Punkten reflektiert wird, und gibt Punktwolkendaten aus. Die Daten der Punktwolke geben für jeden Punkt, an dem Laserlicht reflektiert wurde, einen Abstandsvektor und eine Reflexionsstärke an. LiDAR ist eine Abkürzung für Light Detection and Ranging.
Das GPS 182 ist ein Beispiel für ein Ortungssystem. Das GPS 182 empfängt Positionssignale, ermittelt die eigene Position und gibt Positionsdaten aus. Die Positionsdaten geben Informationen zur Position an. Die Positionsangaben geben dreidimensionale Koordinatenwerte an. GPS ist eine Abkürzung für Global Positioning System.
Der Geschwindigkeitsmesser 183 misst die Geschwindigkeit des eigenen Fahrzeugs 210 und gibt Geschwindigkeitsdaten aus. Die Geschwindigkeitsdaten geben die Geschwindigkeit des eigenen Fahrzeugs 210 an.
***Beschreibung der Funktionsweise***
Ein Ablauf des Betriebs der prädiktiven Verfolgungsvorrichtung 100 entspricht dem prädiktiven Verfolgungsverfahren. Der Ablauf des Betriebs der prädiktiven Verfolgungsvorrichtung 100 entspricht dem Ablauf der Verarbeitung durch das prädiktive Verfolgungsprogramm.
Anhand der 4 bis 7 wird das prädiktive Verfolgungsverfahren beschrieben.
In Schritt S101 erfasst die Sensordatenerfassungseinheit 111 eine Sensordatengruppe von der Sensorgruppe 180.
Die Sensorgruppe 180 ist ein Satz von Sensoren. Die Sensordatengruppe ist ein Satz von Sensordaten. Sensordaten sind Daten, die von den Sensoren erfasst werden.
Die Sensordatengruppe umfasst Sensordaten wie Punktwolken, Positionsdaten und Geschwindigkeitsdaten.
In Schritt S102 verwendet die Einheit 112 zur Schätzung der eigenen Position die Sensordatengruppe, um die Position des eigenen Fahrzeugs 210 zu schätzen. Die Position des eigenen Fahrzeugs 210 wird als „eigene Position“ bezeichnet.
Beispielsweise berechnet die Einheit zur Schätzung der eigenen Position 112 anhand der in den Geschwindigkeitsdaten angegebenen Geschwindigkeit und der ab dem Zeitpunkt der Messung verstrichenen Zeit einen Bewegungsbetrag. Dann schätzt die Einheit zur Schätzung der eigenen Position 112 die eigene Position auf der Grundlage der in den Positionsdaten angegebenen Positionsinformationen und des berechneten Bewegungsbetrags.
Die Einheit zur Schätzung der eigenen Position 112 verwendet beispielsweise Punktwolkendaten, um einen Abgleich von Punktwolken von Bodenobjekten mit einer SLAM-Technik durchzuführen, und schätzt die eigene Position.
In Schritt S103 extrahiert die Einheit zur Erfassung mobiler Objekte 113 aus den Punktwolken, die in den Punktwolkendaten angegeben sind, Punktwolken, die die rund um das eigene Fahrzeug 210 vorhandenen mobilen Objekte darstellen.
Ein mobiles Objekt ist ein Gegenstand, der sich bewegen kann, z. B. ein Auto. Das heißt, sowohl ein fahrendes als auch ein stehendes Auto stellen mobile Objekte dar. Mobile Objekte sind jedoch nicht auf Fahrzeuge beschränkt.
Insbesondere extrahiert die Einheit zur Erfassung mobiler Objekte 113 eine Punktwolke eines mobilen Objekts mit Hilfe von maschinellem Lernen, einem regelbasierten Verfahren oder Deep Learning.
Bei einem regelbasierten Verfahren wird zunächst eine Punktwolke einer Straßenoberfläche erfasst, und aus den Punktwolken werden Punktwolken mobiler Objekte extrahiert, mit Ausnahme der Punktwolke der Straßenoberfläche.
Ein mobiles Objekt, das einer extrahierten Punktwolke entspricht, wird als „erfasstes Objekt“ bezeichnet.
In Schritt S104 berechnet die Einheit zur Erfassung mobiler Objekte 113 eine relative Position des erfassten Objekts auf der Grundlage der Punktwolke des mobilen Objekts.
Die relative Position eines erfassten Objekts ist die Position des erfassten Objekts in Bezug auf das eigene Fahrzeug 210.
Konkret wählt die Einheit zur Erfassung mobiler Objekte 113 einen repräsentativen Punkt aus der Punktwolke des mobilen Objekts aus und wandelt den Abstandsvektor des repräsentativen Punkts in dreidimensionale Koordinatenwerte um. Die aus der Umrechnung resultierenden dreidimensionalen Koordinatenwerte geben die relative Position des erfassten Objekts an.
In Schritt S105 bestimmt die Einheit zur Erkennung mobiler Objekte 114 Attribute des erfassten Objekts auf der Grundlage der Punktwolke des mobilen Objekts.
Zu den Attributen eines erfassten Objekts gehören Typ, Ausrichtung, Größe und dergleichen. Der Typ des mobilen Objekts bezeichnet die Art des mobilen Objekts, z. B. Lkw, normaler Pkw, Motorrad, Fahrrad oder Fußgänger. Die Ausrichtung bedeutet die Richtung des mobilen Objekts und entspricht der Bewegungsrichtung. Die Größe gibt die Breite, Tiefe, Höhe und Ähnliches an.
Konkret bestimmt die Einheit zur Erkennung mobiler Objekte 114 die Attribute des mobilen Objekts mit Hilfe von maschinellem Lernen, einem regelbasierten Verfahren oder Deep Learning.
In Schritt S106 extrahiert die Einheit zur Verfolgung mobiler Objekte 116 Punktwolken im Bereich der A-posteriori-Verteilung für ein verfolgtes Objekt aus den Punktwolkendaten.
Das verfolgte Objekt ist ein mobiles Objekt, das verfolgt wird, d. h. das mobile Objekt, das die prädiktive Verfolgungsvorrichtung 100 verfolgt.
Auf die A-posteriori-Verteilung wird später eingegangen.
Die Einheit zur Verfolgung mobiler Objekte 116 führt einen Abgleich der extrahierten Punktwolke mit der Punktwolke des erfassten Objekts durch.
Die Einheit zur Verfolgung mobiler Objekte 116 führt beispielsweise einen Abgleich gemäß dem ICP-Algorithmus durch. ICP ist eine Abkürzung für Iterative Closest Point.
Wenn mehrere Punktwolken im Bereich der A-posteriori-Verteilung liegen, führt die Einheit zur Verfolgung mobiler Objekte 116 Abgleich in absteigender Reihenfolge der Wahrscheinlichkeit durch, die auf der A-posteriori-Verteilung basiert.
In Schritt S107 bestimmt die Einheit zur Verfolgung mobiler Objekte 116 auf der Grundlage des Ergebnisses des Abgleichs, ob es unter den Punktwolken im Bereich der A-posteriori-Verteilung für das verfolgte Objekt eine Punktwolke gibt, die mit der Punktwolke des erfassten Objekts übereinstimmt.
Wenn eine Punktwolke vorliegt, die mit der Punktwolke des erfassten Objekts abgleicht, wird die Verarbeitung mit Schritt S111 fortgesetzt.
Wenn es keine Punktwolke gibt, die mit der Punktwolke des erfassten Objekts abgleicht, wird die Verarbeitung mit Schritt S121 fortgesetzt.
In Schritt S111 korrigiert die Einheit zur Verfolgung mobiler Objekte 116 die in Schritt S104 berechnete relative Position des erfassten Objekts unter Verwendung des Ergebnisses des Abgleichs. Das heißt, die Einheit zur Verfolgung mobiler Objekte 116 berechnet eine genaue relative Position des erfassten Objekts.
Eine genaue relative Position wird durch eine Reihe von relativen Abständen (x, y, z) und Drehwinkeln (θx, θy, θz) dargestellt.
In Schritt S112 aktualisiert die Bewegungsvorhersageeinheit 115 die Parameter eines Vorhersagefilters für das verfolgte Objekt auf der Grundlage der relativen Position des erfassten Objekts.
Ein spezielles Beispiel für einen Vorhersagefilter ist der Kalman-Filter. Die Parameter des Kalman-Filters sind die vorhergesagten Werte, die Kovarianz einer Zustandsübergangsmatrix, das Beobachtungsrauschen und die Kalman-Verstärkung.
Die vorhergesagten Werte und die Kovarianz der Zustandsübergangsmatrix werden in einem Vorhersageschritt des Kalman-Filters auf der Grundlage der Kovarianz des Systemrauschens und einer Jacobimatrix des Zustandsübergangs aktualisiert.
Die Kalman-Verstärkung wird in einem Messungsaktualisierungsschritt des Kalman-Filters unter Verwendung der Kovarianz der Zustandsübergangsmatrix und des Beobachtungsrauschens aktualisiert.
Bei einem allgemeinen Kalman-Filter wird die Kalman-Verstärkung auf folgende Weise aktualisiert. Die in Schritt S111 erhaltene relative Position wird als genaue relative Position bezeichnet.
Im vorhergehenden Schritt S112 sagt die Bewegungsvorhersageeinheit 115 die aktuelle relative Position des erfassten Objekts durch Berechnung des Kalman-Filters voraus. Die vorhergesagte relative Position (Vorhersagewert) wird als prädiktive relative Position bezeichnet.
Im aktuellen Schritt S112 berechnet die Bewegungsvorhersageeinheit 115 die Differenz zwischen der genauen relativen Position und der vorhergesagten relativen Position. Anschließend aktualisiert die Bewegungsvorhersageeinheit 115 die Kalman-Verstärkung anhand der berechneten Differenz.
Wenn die Bayes-Schätzung als Vorhersagefilter verwendet wird, umfassen die Parameter des Vorhersagefilters die vorhergesagten Werte, Hyperparameter und dergleichen. Die Hyperparameter werden zur Bestimmung des Verteilungsprofils der Wahrscheinlichkeit (Wahrscheinlichkeitsverteilung) des Beobachtungsrauschens verwendet. Die Wahrscheinlichkeit (Wahrscheinlichkeitsverteilung) des Beobachtungsrauschens wird mit Hilfe des EM-Algorithmus oder eines Näherungsverfahrens aktualisiert.
In Schritt S113 berechnet die Bewegungsvorhersageeinheit 115 die A-posteriori-Verteilung für das verfolgte Objekt unter Verwendung des Vorhersagefilters, der A-priori-Verteilung und der Wahrscheinlichkeitsfunktion für das verfolgte Objekt.
Dann sagt die Bewegungsvorhersageeinheit 115 eine Zustandsgröße des verfolgten Objekts unter Verwendung der A-posteriori-Verteilung für das verfolgte Objekt voraus.
Die vorhergesagte Zustandsgröße ist die Zustandsgröße, bei der die A-posteriori-Wahrscheinlichkeit maximal wird. Die Zustandsgröße, bei der die A-posteriori-Wahrscheinlichkeit maximal wird, wird durch die Schätzung der maximalen A-posteriori-Wahrscheinlichkeit berechnet.
Die Zustandsgröße kann zum Beispiel eine Position, eine Geschwindigkeit, eine Beschleunigung, ein Gierwinkel, eine Gierrate, eine Größe oder ähnliches sein. Die A-priori-Verteilung, die Wahrscheinlichkeitsfunktion und die A-posteriori-Verteilung werden für jede Zustandsgröße festgelegt.
In Schritt S114 stellt die Einheit zur Verfolgung mobiler Objekte 116 fest, ob es eine Tracking-ID für das erfasste Objekt gibt oder nicht.
Wenn es eine Tracking-ID für das verfolgte Objekt gibt, wird diese Tracking-ID für das erfasste Objekt weiterhin verwendet. Die Verarbeitung wird mit Schritt S116 fortgesetzt.
Wenn es keine Tracking-ID für das erfasste Objekt gibt, geht die Verarbeitung weiter zu Schritt S115.
In Schritt S115 erzeugt die Einheit zur Verfolgung mobiler Objekte 116 eine neue Tracking-ID für das erfasste Objekt und gibt die neue Tracking-ID an die Punktwolke des verfolgten Objekts weiter.
In Schritt S116 addiert die Einheit zur Verfolgung mobiler Objekte 116 eine Abtastzeit zu einer Verfolgungsfortsetzungsdauer für das erfasste Objekt.
Die Dauer der Verfolgungsfortsetzung ist die Zeitspanne, in der das verfolgte Objekt verfolgt wird. Der Anfangswert für die Dauer der Verfolgungsfortsetzung beträgt null Sekunden.
Die Abtastzeit ist ein Zeitintervall, in dem z. B. in Schritt S101 eine Sensordatengruppe erfasst wird.
In Schritt S117 legt die Einheit zur Verfolgung mobiler Objekte 116 die A-posteriori-Verteilung für das verfolgte Objekt als neue A-priori-Verteilung für das verfolgte Objekt fest. Dies führt dazu, dass die A-posteriori-Verteilung für das verfolgte Objekt als A-priori-Verteilung für das verfolgte Objekt bei der Verarbeitung im nächsten Schritt S101 und den nachfolgenden Schritten verwendet wird.
Nach Schritt S117 wird die Verarbeitung mit Schritt S101 fortgesetzt.
In Schritt S121 bestimmt die Einheit zur Verfolgung mobiler Objekte 116, ob mindestens eine Tracking-ID vorhanden ist oder nicht.
Wenn es eine Tracking-ID gibt, wird diese weiterhin verwendet. Die Verarbeitung wird mit Schritt S131 fortgesetzt.
Wenn es keine Tracking-ID gibt, wird die Verarbeitung mit Schritt S122 fortgesetzt.
In Schritt S122 erzeugt die Einheit zur Verfolgung mobiler Objekte 116 eine neue Tracking-ID für das erfasste Objekt und gibt die neue Tracking-ID an die Punktwolke des verfolgten Objekts weiter. Dadurch wird das erfasste Objekt als neues verfolgtes Objekt behandelt.
In Schritt S123 initialisiert die Einheit zur Verfolgung mobiler Objekte 116 die A-priori-Verteilung, die Wahrscheinlichkeitsfunktion und den Vorhersagefilter für das erfasste Objekt auf der Grundlage der Attribute des erfassten Objekts.
In Schritt S124 sagt die Einheit zur Verfolgung mobiler Objekte 116 die Zustandsgröße des erfassten Objekts unter Verwendung der A-priori-Verteilung, der Wahrscheinlichkeitsfunktion und des Vorhersagefilters für das erfasste Objekt voraus.
Der Verfahren der Vorhersage ist das gleiche wie in Schritt S113.
In Schritt S125 legt die Einheit zur Verfolgung mobiler Objekte 116 eine Abtastzeit für die Dauer der Verfolgung des erfassten Objekts fest.
In Schritt S126 setzt die Einheit zur Verfolgung mobiler Objekte 116 die A-posteriori-Verteilung für das erfasste Objekt als neue A-priori-Verteilung für das erfasste Objekt. Dies führt dazu, dass das erfasste Objekt als das verfolgte Objekt behandelt wird und die A-posteriori-Verteilung für das erfasste Objekt als A-priori-Verteilung für das erfasste Objekt (das verfolgte Objekt) bei der Verarbeitung im nächsten Schritt S101 und nachfolgenden Schritten verwendet wird.
Nach Schritt S126 wird die Verarbeitung mit Schritt S101 fortgesetzt.
Es werden Schritt S131 und die nachfolgenden Schritte beschrieben. In der Beschreibung von Schritt S131 und den nachfolgenden Schritten bedeutet das „verfolgte Objekt“ das verfolgte Objekt, das durch die in Schritt S121 gefundene Tracking-ID identifiziert wurde.
In Schritt S131 aktualisiert die Bewegungsvorhersageeinheit 115 die Parameter des Vorhersagefilters für das verfolgte Objekt auf der Grundlage der zuletzt vorhergesagten Zustandsgröße des verfolgten Objekts.
In Schritt S132 sagt die Bewegungsvorhersageeinheit 115 die Zustandsgröße des verfolgten Objekts unter Verwendung der A-priori-Verteilung, der Wahrscheinlichkeitsfunktion und einem Vorhersagefilter für das verfolgte Objekt voraus.
Der Verfahren der Vorhersage ist das gleiche wie in Schritt S113.
In Schritt S133 bestimmt die Einheit zur Verfolgung mobiler Objekte 116, ob die Dauer der Unterbrechung der Verfolgung für das verfolgte Objekt kürzer ist als die Dauer des Verfolgungsstopps.
Die Dauer der Unterbrechung der Verfolgung ist die Zeitspanne, in der die Verfolgung des verfolgten Objekts unterbrochen wird, was der Zeitspanne entspricht, in der keine Punktwolke des verfolgten Objekts erfasst wird.
Die Dauer des Tracking-Stopps ist eine Obergrenze für die Dauer der Tracking-Unterbrechung und wird im Voraus festgelegt.
Wenn die Dauer der Unterbrechung der Verfolgung für das verfolgte Objekt kürzer ist als die Dauer des Verfolgungsstopps, wird die Verarbeitung mit Schritt S134 fortgesetzt.
Wenn die Dauer der Unterbrechung der Verfolgung für das verfolgte Objekt gleich oder größer ist als die Dauer des Verfolgungsstopps, wird die Verarbeitung mit Schritt S135 fortgesetzt.
In Schritt S134 addiert die Einheit zur Verfolgung mobiler Objekte 116 eine Abtastzeit zur Unterbrechungsdauer der Verfolgung des verfolgten Objekts.
Nach Schritt S134 wird die Verarbeitung mit Schritt S136 fortgesetzt.
In Schritt S135 verwirft die Einheit zur Verfolgung mobiler Objekte 116 die Tracking-ID für das verfolgte Objekt. Dies führt dazu, dass die Verfolgung des verfolgten Objekts gestoppt wird.
Nach Schritt S135 wird die Verarbeitung mit Schritt S136 fortgesetzt.
In Schritt S136 legt die Einheit zur Verfolgung mobiler Objekte 116 die A-posteriori-Verteilung für das verfolgte Objekt als neue A-priori-Verteilung für das verfolgte Objekt fest. Dies führt dazu, dass die A-posteriori-Verteilung für das verfolgte Objekt als A-priori-Verteilung für das verfolgte Objekt bei der Verarbeitung im nächsten Schritt S101 und den nachfolgenden Schritten verwendet wird.
Nach Schritt S136 wird die Verarbeitung mit Schritt S101 fortgesetzt.
Anhand von 8 wird die Bayes-Schätzung als Beispiel für einen Vorhersagefilter beschrieben.
Die Bewegungsvorhersageeinheit 115 verwendet z. B. die Bayes-Schätzung, um die zukünftige Position eines mobilen Objekts vorherzusagen.
8 zeigt ein einfaches Beispiel für eine Bayes-Schätzung. Die horizontale Achse zeigt die Position eines Fahrzeugs als Beispiel für ein mobiles Objekt. Die vertikale Achse zeigt die Wahrscheinlichkeitsdichte der Anwesenheit des Fahrzeugs an jeder Position.
Die A-priori-Verteilung P(A) steht für die Wahrscheinlichkeit, dass das Ereignis A eintritt. Das Ereignis A entspricht einer Zustandsgröße des mobilen Objekts. Die A-priori-Verteilung wird auch A-priori-Wahrscheinlichkeitsverteilung genannt.
Die A-posteriori-Verteilung P(A|X) stellt die Möglichkeit (bedingte Wahrscheinlichkeit) dar, dass das Ereignis A unter der Bedingung eintritt, dass das Ereignis X eingetreten ist, wenn die Wahrscheinlichkeitsfunktion P(X|A) war. Das Ereignis X entspricht einer Zustandsgröße des mobilen Objekts. Die A-posteriori-Verteilung wird auch als A-posteriori-Wahrscheinlichkeitsverteilung bezeichnet.
Wie in 8 gezeigt, bildet die A-posteriori-Verteilung P(A) im Verhältnis zur A-priori-Verteilung und zur Wahrscheinlichkeitsfunktion P(X|A) ein kompliziertes Profil.
Um eine Fahrzeugposition zu bestimmen, bei der die A-posteriori-Wahrscheinlichkeit maximal wird (eine optimale Lösung), ist es notwendig, die optimale Lösung analytisch zu lösen oder eine numerische Berechnung durchzuführen.
Der folgende Ausdruck zeigt die Bayes-Schätzung. Sigma mit dem Suffix „A“ bedeutet die Summe aller Werte für das Ereignis A.
Die Bewegungsvorhersageeinheit 115 berechnet den nachstehenden Ausdruck, um einen vorhergesagten Wert A^ zu ermitteln, der die A-posteriori-Verteilung P(A|X) und die A-posteriori-Verteilung P(A|X) maximiert. Die Anfangswerte der A-priori-Verteilung P(A) und der Wahrscheinlichkeitsfunktion P(X|A) hängen von den Attributen des mobilen Objekts ab.
Formel 1 $P (A | X) = \frac{P (X | A) P (A)}{\sum_{A} P (X | A) P (A)}$
Eine optimale Lösung, bei der die A-posteriori-Wahrscheinlichkeit maximal wird, muss analytisch oder numerisch bestimmt werden. Die Bestimmung einer optimalen Lösung, bei der die A-posteriori-Wahrscheinlichkeit maximal wird, wird als A-posteriori-Wahrscheinlichkeitsmaximierung bezeichnet.
Wenn die optimale Lösung analytisch bestimmt wird, ist die A-priori-Verteilung eine konjugierte A-priori-Verteilung, und es kann eine A-posteriori-Verteilung mit der gleichen Verteilung wie die A-priori-Verteilung abgeleitet werden. Wenn die A-priori-Verteilung eine konjugierte A-priori-Verteilung ist, ist es möglich, die optimale Lösung analytisch zu lösen. In diesem Fall kann eine Näherung der A-posteriori-Wahrscheinlichkeit mit Hilfe eines Näherungsschätzungsschemas wie der Variationsrechnung oder der Laplace-Approximation bestimmt werden.
Wenn die optimale Lösung numerisch bestimmt wird, muss ein Optimierungsproblem gelöst werden. Für die Lösung eines Optimierungsproblems stehen der EM-Algorithmus, die MCMC-Methode und ähnliche Verfahren zur Verfügung.
Beim EM-Algorithmus ist eine Ableitung für die A-posteriori-Verteilung nicht erforderlich. EM ist eine Abkürzung für Expectation-Maximization.
Das MCMC-Verfahren ist eine Art Stichprobenverfahren und dient der Näherung an eine Verteilung. MCMC ist eine Abkürzung für Markov Chain Monte Carlo.
Anhand der 9 und 10 werden die Funktionen der Bewegungsvorhersageeinheit 115 und der Einheit zur Verfolgung mobiler Objekte 116 beschrieben. Die durchgezogenen Kreise stehen für A-priori-Verteilungen, die gestrichelten Kreise für Wahrscheinlichkeitsfunktionen und die punktgestrichelten Kreise für A-posteriori-Verteilungen.
Eine Position eines eigenen Fahrzeugs Vt zum Zeitpunkt t (siehe 9) wird als Ursprung (0, 0) betrachtet. Wenn der Bewegungsumfang des eigenen Fahrzeugs beobachtbar ist, ist der Bewegungsumfang des eigenen Fahrzeugs ΔV von Zeitpunkt t bis Zeitpunkt t+1 (siehe 10) trivial. Dabei legt die Bewegungsvorhersageeinheit 115 eine A-priori-Verteilung und eine Wahrscheinlichkeitsfunktion für das mobile Objekt fest, das für die Vorhersage von Interesse ist, und bestimmt die A-posteriori-Verteilung. Bei der A-posteriori-Wahrscheinlichkeitsmaximierung kann das komplizierte Profil der A-posteriori-Verteilung berücksichtigt werden. Anhand der A-posteriori-Verteilung wird der Bereich des Vorhandenseins des verfolgten Ziels definiert. Die Einheit zur Verfolgung mobiler Objekte 116 führt einen Abgleich von Punktwolken innerhalb des Bereichs der A-posteriori-Verteilung durch. Wenn es übereinstimmende Punktwolken gibt, führt die Einheit zur Verfolgung mobiler Objekte 116 die Verfolgung durch, indem sie die übereinstimmenden Punktwolken als die Punktwolke desselben Objekts betrachtet. Die Einheit zur Verfolgung mobiler Objekte 116 berechnet auch einen genauen Bewegungsbetrag (relative Entfernung) und eine genaue Lage (Drehwinkel) des mobilen Objekts in Bezug auf das eigene Fahrzeug. Das berechnete Ausmaß der Bewegung und die Haltung sind Beobachtungen.
In 9 legt die Bewegungsvorhersageeinheit 115 eine A-priori-Verteilung_Pt(A) für ein Fahrzeug vor dem eigenen Fahrzeug (mobiles Objekt A) und eine A-priori-Verteilung_Pt(B) für ein Fahrzeug auf der Gegenfahrbahn (mobile Entität B) fest.
Zu Beginn der Vorhersage (t = 0) setzt die Bewegungsvorhersageeinheit 115 die A-priori-Verteilung Pt(A) und eine Wahrscheinlichkeitsfunktion P_t(X|A) auf der Grundlage der Attribute des mobilen Objekts A.
Zu Beginn der Vorhersage (t = 0) setzt die Bewegungsvorhersageeinheit 115 die A-priori-Verteilung Pt(B) und eine Wahrscheinlichkeitsfunktion P_t(X|B) auf der Grundlage der Attribute des mobilen Objekts B.
Auf die A-priori-Verteilung und die Wahrscheinlichkeitsfunktion auf der Grundlage der Attribute eines mobilen Objekts wird später eingegangen.
In 10 berechnet die Bewegungsvorhersageeinheit 115 die Position des mobilen Objekts A zum Zeitpunkt t+1 (vorhergesagter Wert A^t+1) und eine A-posteriori-Verteilung_Pt(A|X) unter Verwendung der A-priori-Verteilung Pt(A) und der Wahrscheinlichkeitsfunktion P_t(X|A).
Die Bewegungsvorhersageeinheit 115 berechnet auch die Position des mobilen Objekts B zum Zeitpunkt t+1 (vorhergesagter Wert B^t+1) und eine A-posteriori-Verteilung P_t(B|X) unter Verwendung der A-priori-Verteilung P_t(B) und der Wahrscheinlichkeitsfunktion P_t(X|B).
Anhand der 11 und 12 werden die A-priori-Verteilung und die Wahrscheinlichkeitsfunktion auf der Grundlage der Attribute eines mobilen Objekts beschrieben. Die schraffierten Teile stellen A-priori-Verteilungen dar.
11 zeigt visuell die A-priori-Verteilungen, die je nach Typ des mobilen Objekts variieren.
In 12 sind A-priori-Verteilungen dargestellt, die je nach Bewegungsrichtung des mobilen Objekts variieren.
Die Wahrscheinlichkeitsfunktion variiert ebenfalls je nach Art, Bewegungsrichtung und ähnlichem.
***Beschreibung der Beispiele***
Die prädiktive Verfolgungsvorrichtung 100 kann außerhalb des eigenen Fahrzeugs 210 installiert werden, wenn sie eine Sensordatengruppe von der Sensorgruppe 180 am eigenen Fahrzeug 210 erfassen kann.
Die Sensorgruppe 180 kann außerhalb des eigenen Fahrzeugs 210 installiert werden, wenn sie Messungen am eigenen Fahrzeug 210 und in der Umgebung des eigenen Fahrzeugs 210 durchführen kann.
Wie in 13 gezeigt, kann die Sensorgruppe 180 Sensoren wie eine Kamera 184, ein Millimeterwellenradar 185 und ein Sonar 186 umfassen.
Die Kamera 184 nimmt die Umgebung des eigenen Fahrzeugs 210 auf und gibt Bilddaten aus. Die Bilddaten stellen Bilder dar, die die Umgebung des eigenen Fahrzeugs 210 zeigen. Die Kamera 184 kann z. B. eine Stereokamera sein.
Das Millimeterwellenradar 185 gibt Daten über die Reflexionsentfernung aus, indem es Millimeterwellen anstelle von Laserlicht verwendet. Die Reflexionsentfernungsdaten für das Millimeterwellenradar 185 geben die Entfernung für jeden Punkt an, an dem eine Millimeterwelle reflektiert wurde.
Das Sonar 186 gibt Daten über die Reflexionsentfernung aus, indem es anstelle von Laserlicht eine Schallwelle verwendet. Die Reflexionsdistanzdaten für das Sonar 186 geben für jeden Punkt, an dem eine Schallwelle reflektiert wurde, eine Entfernung an.
Durch die Verwendung von Bilddaten und Reflexionsabstandsdaten kann die eigene Position mit hoher Genauigkeit geschätzt werden.
Es ist auch möglich, die eigene Position allein anhand von Bilddaten zu schätzen. Die Einheit zur Schätzung der eigenen Position 112 schätzt beispielsweise die eigene Position anhand der von einer Stereokamera erfassten Bilddaten. Alternativ dazu schätzt die Einheit zur Schätzung der eigenen Position 112 die eigene Position durch Messung der Abstände von Merkmalspunkten in einem Bild mittels Visual SLAM.
Durch die Verwendung von Bilddaten und Reflexionsabstandsdaten kann die Genauigkeit der Extraktion von Punktwolken mobiler Objekte und die Genauigkeit der Bestimmung der Attribute der mobilen Objekte verbessert werden.
Es können andere Vorhersagefilter als der Kalman-Filter und die Bayes-Schätzung verwendet werden. Zum Beispiel kann ein bekannter Filter wie ein Partikelfilter verwendet werden. Alternativ können auch mehrere Filter verwendet werden, die nach dem IMM-Verfahren geschaltet werden. IMM ist eine Abkürzung für Interacting Multiple Model.
Der Abgleich der Punktwolken kann mit einem anderen Algorithmus als dem ICP-Algorithmus durchgeführt werden. Zum Beispiel kann der NDT-Algorithmus verwendet werden. NDT ist eine Abkürzung für Normal Distributions Transform.
Die Einheit zur Verfolgung mobiler Objekte 116 kann die Korrektheit der Verfolgung anhand der Dauer der Verfolgungsfortsetzung bewerten. Zur Bewertung der Korrektheit der Verfolgung kann neben der Dauer der Fortsetzung der Verfolgung auch die Dauer der Unterbrechung der Verfolgung herangezogen werden. Die Dauer der Verfolgungsfortsetzung kann als Indikator dienen, um zu überprüfen, wie lange das verfolgte Objekt korrekt verfolgt wurde. Die Dauer der Verfolgungsunterbrechung ist die Zeit der Verfolgungsverarbeitung, die wiederholt wurde, von dem Zeitpunkt, an dem das verfolgte Objekt durch etwas verdeckt wurde, bis zu dem Zeitpunkt, an dem es z. B. wieder beobachtet wurde.
Die Einheit zur Verfolgung mobiler Objekte 116 kann anhand der Dauer der Verfolgungsfortsetzung die Möglichkeit bestimmen, dass sich das verfolgte Objekt an einer vorhergesagten Position des verfolgten Objekts befindet.
***Wirkungen von Ausführungsform 1***
Die prädiktive Verfolgungsvorrichtung 100 kann die A-priori-Verteilung für das mobile Objekt unter Berücksichtigung des Typs des mobilen Objekts (Lkw, Bus, Pkw, Fahrrad, Fußgänger usw.) und der Bewegungsrichtung, die aus dem Ergebnis der Erkennung des mobilen Objekts gewonnen wird, festlegen. Dadurch wird die Vorhersagegenauigkeit bei der Verfolgung des mobilen Objekts verbessert.
Die prädiktive Verfolgungsvorrichtung 100 führt den Abgleich von Punktwolken mit dem ICP-Algorithmus nur innerhalb des Bereichs der vorhergesagten A-posteriori-Verteilung durch. Dies führt zu einem geringeren Berechnungsaufwand und präzisen Messungen der Bewegungsmengen anderer Fahrzeuge.
Die prädiktive Verfolgungsvorrichtung 100 verwendet zur Bestimmung einer A-posteriori-Verteilung für die A-posteriori-Wahrscheinlichkeitsmaximierung eine Näherungstechnik wie die Laplace-Näherung und die Bayes'sche Variationsmethode. Dadurch wird die Vorhersagegenauigkeit bei der Verfolgung eines mobilen Objekts verbessert.
Die prädiktive Verfolgungsvorrichtung 100 kann auch ein mobiles Objekt erfassen (Extrahieren von Punktwolken), erkennen (Bestimmen seiner Attribute) und verfolgen, wobei sie nur Punktwolkendaten aus einer Sensordatengruppe verwendet. Das heißt, es ist auch möglich, die Erfassung, Erkennung und Verfolgung eines mobilen Objekts nur mit dem LiDAR 181 aus der Sensorgruppe 180 durchzuführen.
Ausführungsform 2.
Eine Ausführungsform, die die Sensorfusion nutzt, wird anhand von 14 beschrieben, wobei der Schwerpunkt auf den Unterschieden zu Ausführungsform 1 liegt.
*** Konfigurationsbeschreibung ***
Anhand von 14 wird die Konfiguration der prädiktiven Verfolgungsvorrichtung 100 beschrieben.
Die prädiktive Verfolgungsvorrichtung 100 umfasst außerdem eine Sensorfusionseinheit 117.
Das prädiktive Verfolgungsprogramm veranlasst ferner einen Computer, als Sensorfusionseinheit 117 zu fungieren.
***Beschreibung der Funktionsweise***
Die Sensorfusionseinheit 117 führt eine Sensorfusion unter Verwendung von zwei oder mehr Arten von Sensordaten durch, die in der Sensordatengruppe enthalten sind.
Zu den wichtigsten Verfahren für die Sensorfusion gehören die Fusion von RAW-Daten, die Fusion von Zwischendaten und die Fusion von Daten nach der Erfassung. Alle diese Verfahren verwenden einen Ansatz wie Deep Learning und können Punktwolken von mobilen Objekten extrahieren und die Attribute der mobilen Objekte mit hoher Genauigkeit bestimmen, verglichen mit dem Fall, dass nur eine Art von Sensordaten verwendet wird.
Zu den Arten der Sensorfusion gehören die Frühfusion, die Kreuzfusion und die Spätfusion.
Für die Kombination von Sensoren bei der Sensorfusion sind verschiedene Kombinationen denkbar, wie z. B. die Kamera 184 und das LiDAR 181, das LiDAR 181 und das Millimeterwellenradar 185 oder die Kamera 184 und das Millimeterwellenradar 185.
Die Einheit zur Schätzung der eigenen Position 112 schätzt die eigene Position anhand von Daten, die durch Sensorfusion aus zwei oder mehr Sensordaten gewonnen wurden.
Die Einheit zur Erfassung mobiler Objekte 113 berechnet die relative Position des erfassten Objekts auf der Grundlage von Daten, die durch Sensorfusion aus zwei oder mehr Arten von Sensordaten einschließlich Punktwolkendaten gewonnen wurden.
***Wirkungen von Ausführungsform 2***
Durch den Einsatz von Sensorfusion kann die Erfassung, Erkennung und Verfolgung eines mobilen Objekts mit höherer Genauigkeit durchgeführt werden.
***Zusätzliche Beschreibung der Ausführungsformen***
Anhand von 15 wird die Hardwarekonfiguration der prädiktiven Verfolgungsvorrichtung 100 beschrieben.
Die prädiktive Verfolgungsvorrichtung 100 umfasst eine Verarbeitungsschaltung 109.
Die Verarbeitungsschaltung 109 ist eine Hardwareeinheit, die die Sensordatenerfassungseinheit 111, die Einheit zur Schätzung der eigenen Position 112, die Einheit zur Erfassung mobiler Objekte 113, die Einheit zur Erkennung mobiler Objekte 114, die Einheit zur Bewegungsvorhersageeinheit 115, die Einheit zur Verfolgung mobiler Objekte 116 und die Sensorfusionseinheit 117 implementiert.
Die Verarbeitungsschaltung 109 kann eine zweckgebundene Hardware sein oder kann der Prozessor 101 sein, der das im Arbeitsspeicher 102 gespeicherte Programm ausführt.
Wenn die Verarbeitungsschaltung 109 zweckgebundene Hardware ist, kann die Verarbeitungsschaltung 109 beispielsweise ein Einzelschaltkreis, eine Verbundschaltkreis, ein programmierter Prozessor, ein parallel programmierter Prozessor, ein ASIC, ein FPGA, oder eine Kombination daraus sein.
ASIC ist eine Abkürzung für Application Specific Integrated Circuit (dt. anwendungsspezifische integrierte Schaltung).
FPGA die Abkürzung für Field Programmable Gate Array (dt. im Feld programmierbare Gatteranordnung).
Die prädiktive Verfolgungsvorrichtung 100 kann mehrere Verarbeitungsschaltungen enthalten, die die Verarbeitungsschaltung 109 ersetzen. Die mehreren Verarbeitungsschaltungen teilen sich die Funktionen der Verarbeitungsschaltung 109.
In der Verarbeitungsschaltung 109 können einige ihrer Funktionen in spezieller Hardware und die übrigen Funktionen in Software oder Firmware implementiert sein.
So können die Funktionen der prädiktiven Verfolgungsvorrichtung 100 in Hardware, Software, Firmware oder einer Kombination davon implementiert werden.
Jede Ausführungsform veranschaulicht eine bevorzugte Ausführungsform und soll den technischen Umfang der vorliegenden Offenbarung nicht einschränken. Jede Ausführungsform kann teilweise oder in Kombination mit anderen Ausführungsformen praktiziert werden. Die mit Flussdiagrammen und dergleichen beschriebenen Verfahren können nach Bedarf geändert werden.
Die „Einheit“ als Komponenten der prädiktiven Verfolgungsvorrichtung 100 kann auch als „Prozess“ oder „Schritt“ gelesen werden.
Bezugszeichenliste
100: prädiktive Verfolgungsvorrichtung; 101: Prozessor; 102: Speicher; 103: Hilfsspeichervorrichtung; 104: Kommunikationsvorrichtung; 105: Eingabe-/Ausgabeschnittstelle; 109: Verarbeitungsschaltung; 111: Sensordatenerfassungseinheit; 112: Einheit zur Schätzung der eigenen Position; 113: Einheit zur Erfassung mobiler Objekte; 114: Einheit zur Erkennung mobiler Objekte; 115: Bewegungsvorhersageeinheit; 116: Einheit zur Verfolgung mobiler Objekte; 117: Sensorfusionseinheit; 180: Sensorgruppe; 181: LiDAR; 182: GPS; 183: Geschwindigkeitsmesser; 184: Kamera; 185: Millimeterwellenradar; 186: Sonar; 190: Speichereinheit; 200: prädiktives Verfolgungssystem; 210: eigenes Fahrzeug

Claims

Prädiktive Verfolgungsvorrichtung (100), umfassend: eine Einheit zur Erfassung mobiler Objekte (113), um eine Punktwolke zu extrahieren, die ein mobiles Objekt, das um eine mobilen Entität herum vorhanden ist, darstellt, aus Punktwolkendaten, die von einem LiDAR erhalten wurden, das Messungen in einer Umgebung der mobilen Entität durchführt; eine Einheit zur Verfolgung mobiler Objekte (116), um aus den Punktwolkendaten eine Punktwolke in einem Bereich einer A-posteriori-Verteilung für ein verfolgtes Objekt zu extrahieren, wobei das verfolgte Objekt ein mobiles Objekt ist, das verfolgt wird, und einen Abgleich der extrahierten Punktwolke mit der Punktwolke des mobilen Objekts durchzuführen; eine Einheit zur Erkennung mobiler Objekte (114), um Attribute des mobilen Objekts auf der Grundlage der Punktwolke des mobilen Objekts zu bestimmen; und eine Bewegungsvorhersageeinheit (115), um eine A-priori-Verteilung und eine Wahrscheinlichkeitsfunktion für das mobile Objekt auf der Grundlage der Attribute des mobilen Objekts festzulegen und eine A-posteriori-Verteilung für das mobile Objekt unter Verwendung der A-priori-Verteilung und der Wahrscheinlichkeitsfunktion für das mobile Objekt zu berechnen; wobei die Einheit zur Erkennung mobiler Objekte (114) einen Typ des mobilen Objekts bestimmt; und die Bewegungsvorhersageeinheit (115) die A-priori-Verteilung und die Wahrscheinlichkeitsfunktion für das mobile Objekt auf der Grundlage des Typs des mobilen Objekts festlegt.
Prädiktive Verfolgungsvorrichtung (100) nach Anspruch 1, wobei die Einheit zur Erkennung mobiler Objekte (114) eine Bewegungsrichtung des mobilen Objekts bestimmt; und die Bewegungsvorhersageeinheit (115) die A-priori-Verteilung und die Wahrscheinlichkeitsfunktion für das mobile Objekt auf der Grundlage der Bewegungsrichtung des mobilen Objekts festlegt.
Prädiktive Verfolgungsvorrichtung (100) nach einem der Ansprüche 1 oder 2, wobei die Bewegungsvorhersageeinheit (115) ein Näherungsschätzungsschema bei Bestimmung einer Näherung einer A-posteriori-Wahrscheinlichkeit bei A-posteriori-Wahrscheinlichkeitsmaximierung verwendet.
Prädiktives Verfolgungsverfahren, umfassend: Extrahieren, durch eine Einheit zur Erfassung mobiler Objekte (113), einer Punktwolke, die ein mobiles Objekt, das um eine mobilen Entität herum vorhanden ist, darstellt, aus Punktwolkendaten, die von einem LiDAR erhalten wurden, das Messungen in einer Umgebung der mobilen Entität durchführt; Extrahieren, durch eine Einheit zur Verfolgung mobiler Objekte (116), einer Punktwolke aus den Punktwolkendaten in einem Bereich einer A-posteriori-Verteilung für ein verfolgtes Objekt, wobei das verfolgte Objekt ein mobiles Objekt ist, das verfolgt wird, und des Durchführens eines Abgleichs der extrahierten Punktwolke mit der Punktwolke des mobilen Objekts; Bestimmen, durch eine Einheit zur Erkennung mobiler Objekte (114), von Attributen des erfassten Objekts auf der Grundlage der Punktwolke des mobilen Objekts; und Festlegen, durch eine Bewegungsvorhersageeinheit (115), einer A-priori-Verteilung und einer Wahrscheinlichkeitsfunktion für das mobile Objekt und Berechnen einer A-posteriori-Verteilung für das mobile Objekt unter Verwendung der A-priori-Verteilung und der Wahrscheinlichkeitsfunktion für das mobile Objekt; wobei die Einheit zur Erkennung mobiler Objekte (114) einen Typ des mobilen Objekts bestimmt; und die Bewegungsvorhersageeinheit (115) die A-priori-Verteilung und die Wahrscheinlichkeitsfunktion für das mobile Objekt auf der Grundlage des Typs des mobilen Objekts festlegt.
Prädiktives Verfolgungsprogramm, das einen Computer veranlasst, auszuführen: einen Prozess zur Erkennung mobiler Objekte des Extrahierens einer Punktwolke, die ein mobiles Objekt, das um eine mobilen Entität herum vorhanden ist, darstellt, aus Punktwolkendaten, die von einem LiDAR erhalten wurden, das Messungen in einer Umgebung der mobilen Entität durchführt; einen Prozess zur Verfolgung mobiler Objekte des Extrahierens, aus den Punktwolkendaten, einer Punktwolke in einem Bereich einer A-posteriori-Verteilung für ein verfolgtes Objekt, wobei das verfolgte Objekt ein mobiles Objekt ist, das verfolgt wird, und des Durchführens eines Abgleichs der extrahierten Punktwolke mit der Punktwolke des mobilen Objekts; einen Prozess zur Erkennung mobiler Objekte des Bestimmens von Attributes des mobilen Objekts auf der Grundlage der Punktwolke des mobilen Objekts; und einen Bewegungsvorhersageprozess des Festlegens einer A-priori-Verteilung und einer Wahrscheinlichkeitsfunktion für das mobile Objekt auf der Grundlager der Attribute des mobilen Objekts und des Berechnens einer A-posteriori-Verteilung für das mobile Objekt unter Verwendung der A-priori-Verteilung und der Wahrscheinlichkeitsfunktion für das mobile Objekt; wobei der Prozess zur Erkennung mobiler Objekte einen Typ des mobilen Objekts bestimmt; und der Bewegungsvorhersageprozess die A-priori-Verteilung und die Wahrscheinlichkeitsfunktion für das mobile Objekt auf der Grundlage des Typs des mobilen Objekts festlegt.