DE102011117809B4

DE102011117809B4 - Verfahren zum Ergänzen der GPS- oder GPS/Sensor-Fahrzeugpositionsbestimmung unter Verwendung zusätzlicher fahrzeuginterner Bilderfassungssensoren

Info

Publication number: DE102011117809B4
Application number: DE102011117809.4A
Authority: DE
Inventors: Chaminda Basnayake; Wende Zhang
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2010-11-10
Filing date: 2011-11-07
Publication date: 2022-01-13
Anticipated expiration: 2031-11-08
Also published as: US8447519B2; DE102011117809A1; CN102565832A; US20120116676A1; CN102565832B

Abstract

Verfahren zum Ergänzen von GPS-Daten unter Verwendung eines Moduls (18) auf der Grundlage der fahrzeuginternen Bilderkennung, wobei das Verfahren umfasst:Bestimmen einer Fahrzeugposition unter Nutzung positionsbezogener Daten, die von einem Positionsmodul erhalten werden;Schätzen eines Positionsfehlers auf einer periodischen GrundlageBestimmen, ob der Positionsfehlerschätzwert (54) einen ersten vorgegebenen Fehlerschwellenwert (56) übersteigt;Erzeugen von Nachführungsdaten für das Fahrzeug (20) über einen Fahrtverlauf unter Nutzung erfasster Bilder von dem Modul (18) auf der Grundlage der fahrzeuginternen Bilderkennung;Integrieren der Nachführungsdaten mit den positionsbezogenen Daten zum Schätzen der Fahrzeugposition in Ansprechen darauf, dass der Positionsfehlerschätzwert (54) den ersten vorgegebenen Fehlerschwellenwert (56) übersteigt;Bestimmen, ob der Positionsfehlerschätzwert (54) unter einen zweiten vorgegebenen Fehlerschwellenwert (60) abnimmt; undNeubestimmen der Fahrzeugposition nur unter Verwendung der positionsbezogenen Daten, wenn der Positionsfehlerschätzwert (54) unter den zweiten vorgegebenen Fehlerschwellenwert (60) abnimmt.

Description

HINTERGRUND DER ERFINDUNG
Eine Ausführungsform bezieht sich allgemein auf die GPS-unterstützte Positionsbestimmung.
Empfänger des globalen Positionsbestimmungssystems (GPS) oder eines anderen globalen Navigationssatellitensystems (GNSS) arbeiten dadurch, dass sie Sichtliniensignale nachführen. Üblicherweise erfordern diese Empfänger, dass wenigstens vier oder mehr Satelliten in einer unverdeckten Sichtlinie eines Satellitenempfängers in einem Fahrzeug ununterbrochen verfügbar sind. Wegen natürlicher und künstlicher Hindernisse (z. B. Gebäude) oder natürlicher Hindernisse (d. h. einem dichten Baumkronenschluss) kann die theoretisch minimale Anzahl von Satelliten, die erforderlich sind, um eine Position des Satellitenempfängers genau zu bestimmen, unter bestimmten Bedingungen nicht verfügbar sein. Wenn ein Fahrzeug-GPS-Empfänger wegen natürlicher oder künstlicher Hindernisse die Kommunikation mit den jeweiligen Satelliten verliert, können andere Daten verwendet werden, wie etwa jene, die für die Koppelnavigationspositionsbestimmung verwendet werden, um eine Zunahme des Ortsfehlers im Ergebnis schlechter GPS-Genauigkeit zu kompensieren. Allgemein geben GPS-Kombinationssysteme einen Positionsfehlerschätzwert aus, wobei die geschätzte GPS-Position umso weniger zuverlässig ist, je höher der Fehler ist.
Trägheits- oder andere Fahrzeugsensoren wie etwa Gierratensensoren können verwendet werden, um GPS-Unterstützungsdaten zu erzeugen. Techniken, die zur Unterstützung des GPS verwendet werden, sind allgemein zur relativen Navigation (Erfassung einer Positions- und Orientierungsänderung in Bezug auf einen gegebenen lokalen Anfangspunkt) fähig, während das GPS zur Bereitstellung absoluter Positionsinformationen in Bezug auf ein globales System fähig ist. Die Koppelnavigation (DR) ist ein Beispiel solcher relativer Navigationstechniken. Ein Nachteil der Nutzung von Gierratenmesswerten oder Daten von anderen solchen Sensoren ist, dass die reine Integration über die Zeit ohne Korrekturen oder Kalibrierung Sensorfehler wie etwa Rauschen und eine systematische Abweichung in den Sensoren ansammelt, wobei die Verunreinigung von Rauschen und systematischer Abweichung zum größten Teil von der Qualität eines Sensors abhängt. Als ein Beispiel ist das Ergebnis, dass die Integration der Gierratensensor-Messwerte nur für wenige zehn Sekunden gültig ist, während die systematische Abweichung und der Rauschpegel typischer Gierratensensoren für eine kurzzeitige Anwendung nicht hoch sein können. Integrationsfehler wegen Rauschen und systematischer Abweichung wachsen schnell, während die Zeit fortschreitet. Somit muss der Integrationsprozess entweder zurückgesetzt und initialisiert werden oder ununterbrochen aktualisiert werden. Somit kann die Unterstützung der Verwendung von Giersensoren bei der Ortsschätzung und bei der Ortsfehlerschätzung des GPS-Systems nur für kurze Zeitdauer als eine Funktion der Sensorqualität genutzt werden.
Aus der Druckschrift US 7 610 123 B2 ist beispielsweise ein visionsgestütztes System und Verfahren zur Führung eines Fahrzeugs bekannt.
ZUSAMMENFASSUNG DER ERFINDUNG
Ein Vorteil einer Ausführungsform ist die Ergänzung von Nachführungsdaten, die zum Korrigieren von Fehlern in Fahrzeugpositionsdaten verwendet werden, wenn GPS-bezogene Daten für die Aktualisierung der Fahrzeugposition nicht verfügbar sind. Die Nachführungsdaten werden aus einem Modul auf der Grundlage der fahrzeuginternen Bilderkennung bestimmt, das Gier-, Nick- und Entfernungskorrekturen über eine von dem Fahrzeug gefahrene Strecke bestimmt. Wenn der Positionsfehlerschätzwert von GPS- oder GPS-DR-Daten erheblich wird, können die durch das Modul auf der Grundlage der fahrzeuginternen Bilderkennung erfassten Nachführungsdaten die GPS-bezogenen Daten ergänzen, um Fehler in der geschätzten Position des Fahrzeugs zu minimieren.
Eine Ausführungsform betrachtet ein Verfahren zum Ergänzen von GPS-Daten unter Verwendung eines Moduls auf der Grundlage der fahrzeuginternen Bilderkennung. Eine Fahrzeugposition wird unter Nutzung positionsbezogener Daten bestimmt, die von einem Positionsmodul erhalten werden. Ein Positionsfehler wird auf periodischer Grundlage geschätzt. Es wird eine Bestimmung vorgenommen, ob der Positionsfehlerschätzwert einen ersten vorgegebenen Fehlerschwellenwert übersteigt. Über einen Fahrtverlauf werden unter Nutzung erfasster Bilder von dem Modul auf der Grundlage der fahrzeuginternen Bilderkennung Nachführungsdaten für das Fahrzeug erzeugt. In Ansprechen darauf, dass der Positionsfehlerschätzwert den ersten vorgegebenen Fehlerschwellenwert übersteigt, werden die Nachführungsdaten mit den positionsbezogenen Daten integriert, um die Fahrzeugposition zu schätzen. Es wird eine Bestimmung vorgenommen, ob der Positionsfehlerschätzwert unter einen zweiten vorgegebenen Fehlerschwellenwert abnimmt. Wenn der Positionsfehlerschätzwert unter den zweiten vorgegebenen Fehlerschwellenwert abnimmt, wird die Fahrzeugposition nur unter Verwendung der positionsbezogenen Daten ohne das Modul auf der Grundlage der fahrzeuginternen Bilderkennung neu bestimmt.
Eine Ausführungsform betrachtet ein ergänztes Fahrzeugpositionsbestimmungssystem. Ein Fahrzeugpositionsmodul bestimmt eine Fahrzeugposition eines Fahrzeugs unter Nutzung positionsbezogener Daten. Ferner bestimmt das Fahrzeugpositionsmodul einen Positionsfehlerschätzwert, der einen Vertrauensgrad einer Genauigkeit der Fahrzeugposition liefert. Ein Modul auf der Grundlage der fahrzeuginternen Bilderkennung erfasst über eine Fahrstrecke des Fahrzeugs Bilder, um Nachführungsdaten zu erzeugen. Es wird eine Bestimmung vorgenommen, ob der Positionsfehlerschätzwert einen ersten vorgegebenen Fehlerschwellenwert übersteigt. Wenn der Positionsfehler den ersten vorgegebenen Fehler übersteigt, werden die Nachführungsdaten mit den positionsbezogenen Daten integriert, um eine gegenwärtige Fahrzeugposition zu schätzen. Wenn der Positionsfehlerschätzwert kleiner als ein zweiter vorgegebener Fehlerschwellenwert ist, wird die gegenwärtige Fahrzeugposition nur unter Verwendung der positionsbezogenen Daten ohne das Modul auf der Grundlage der fahrzeuginternen Bilderkennung neu bestimmt.
Figurenliste

1 ist ein Blockschaltplan eines Fahrzeugpositionsbestimmungssystems.
2 ist eine beispielhafte Darstellung von Gebieten, die durch das Modul auf der Grundlage der fahrzeuginternen Bilderkennung erfasst werden
3 ist eine graphische Darstellung eines erfassten Bilds einer Straßenschlucht bei einem Anfangspunkt der Analyse.
4 ist eine graphische Darstellung eines erfassten Bilds einer Straßenschlucht, nachdem eine Strecke gefahren worden ist.
5a ist eine Darstellung identifizierter Objekte in einer weiten Entfernung.
5b ist eine Darstellung identifizierter Objekte in einer nahen Entfernung.
6 ist ein beispielhafter Graph, der die Positionsfehlernachführung zum Ermöglichen einer bilderkennungsgestützten Operation darstellt.

AUSFÜHRLICHE BESCHREIBUNG
In 1 ist ein Blockschaltplan des Fahrzeugpositionsbestimmungssystems 10 für ein Trägerfahrzeug gezeigt. Das Fahrzeugpositionsbestimmungssystem 10 enthält einen Bordempfänger 12 eines globalen Navigationssatellitensystems (GNSS) oder einen Empfänger eines anderen globalen Positionsbestimmungssystems (GPS). Es ist festzustellen, dass die Begriffe GNSS und GPS hier austauschbar verwendet sind. Ein GNSS-System enthält eine Konstellation globaler Positionsbestimmungssatelliten, die wenigstens 24 oder mehr Satelliten enthält, die die Erde auf einem vorgegebenen Laufweg umlaufen, die ununterbrochen zeitmarkierte Datensignale senden. Ein GNSS-Empfänger 12 arbeitet durch Nachführen von Sichtliniensignalen. Üblicherweise erfordern diese Empfänger, dass wenigstens vier oder mehr Satelliten in einer ungestörten Sichtlinie eines Satellitenempfängers in einem Fahrzeug ununterbrochen verfügbar sind. Der GNSS-Empfänger 12 empfängt die gesendeten Daten und verwendet diese Informationen, um seine absolute Position zu bestimmen. Bei Betrachtung der Erde in einer zweidimensionalen Ebene ist jeder Punkt auf der Erde durch zwei Koordinaten identifiziert. Die erste Koordinate repräsentiert die Breite und die zweite Koordinate repräsentiert eine Länge. Da es drei Unbekannte, zwei Positionsunbekannte und den Empfängertaktzeitgebungsfehler, der ebenfalls als eine Unbekannte behandelt wird, gibt, sind zur Bestimmung einer Position in der zweidimensionalen Ebene wenigstens drei Satelliten erforderlich. Einige Empfänger können annehmen, dass die Höhe für kurze Dauer dieselbe bleibt, sodass die Position mit nur drei Satelliten bestimmt werden kann; wenn allerdings die Höhe in Betracht gezogen wird, was für die meisten Anwendungen der Fall ist, sind wenigstens minimal vier Satelliten erforderlich, um eine absolute Position mit einem bestimmten Fehlerbetrag zu schätzen. Unter Verwendung von vier oder mehr Satelliten kann eine absolute Position in einem dreidimensionalen Raum bestimmt werden, die die Höhe über und unter der Erdoberfläche (z. B. dem Meeresspiegel) enthält.
Satellitenempfänger arbeiten durch Nachführen von Sichtliniensignalen, was erfordert, dass jeder der Satelliten in Sicht des Empfängers ist. Konstruktionsgemäß stellen GNSS- oder andere GPS-Systeme sicher, dass durchschnittlich vier oder mehr Satelliten ununterbrochen in der Sichtlinie eines jeweiligen Empfängers auf der Erde sind; allerdings können wegen Straßenschluchten (d. h. Hindernissen wie etwa Gebäuden) oder durch Fahren neben einem Lastkraftwagen eine niedrigere Anzahl von Satelliten in der Sichtlinie sein und können darüber hinaus Hindernisse zu einer niedrigeren Anzahl von Satelliten führen als der, die erforderlich ist, um die Position des Satellitenempfängers genau zu bestimmen.
Ferner enthält das Fahrzeugpositionsbestimmungssystem 10 fahrzeuginterne Bewegungssensoren 14 zum Erfassen einer Bewegung des Fahrzeugs. Die Sensoren 14 erfassen eine Bewegung, die Fahrzeuggierdaten, die vom Fahrzeug gefahrene Strecke und Fahrzeugnickdaten enthält, darauf aber nicht beschränkt ist. Die Fahrzeuggierbewegung bezieht sich auf die Fahrtrichtung des Fahrzeugs, während es sich von rechts nach links oder von links nach rechts bewegt. Die Fahrzeugnickbewegung bezieht sich auf eine gedachte Achse, die entlang einer Längssymmetrieebene des Fahrzeugs verläuft, und kann als Bug-auf- oder Bug-ab-Position bezeichnet werden. Diese Informationen können verwendet werden, um die Position eines Fahrzeugs auf der Grundlage seines Fahrtverlaufs in Bezug auf eine Position des Fahrzeugs in der Vergangenheit zu bestimmen. Dies wird üblicherweise als eine Koppelnavigationstechnik bezeichnet. Die Koppelnavigation umfasst eine Schätzung der gegenwärtigen Position einer Entität auf der Grundlage einer zuvor bestimmten Position. Die gegenwärtige Position wird auf der Grundlage von Bewegungsdaten wie etwa erfassten Geschwindigkeiten über die verstrichene Zeit und Änderungen der Gierbewegung aktualisiert oder vorgerückt. GPS-Navigationsvorrichtungen können die Koppelnavigationstechnik als eine Sicherung zur Ergänzung der Geschwindigkeit und der Fahrtrichtung nutzen, wenn der GPS-Empfänger zum Empfangen von GPS-Signalen von den GPS-Satelliten intermittierend nicht verfügbar ist. Dies ist im Folgenden als GPS-DR bezeichnet. Allerdings wird der Fehler in Bezug auf die berechnete Position, die durch die Koppelnavigationstechnik bestimmt wird, umso mehr wachsen, je länger die Dauer ist, in der der GPS-Empfänger kein GPS-Signal empfängt. Dies liegt an den fahrzeuginternen Sensoren, insbesondere jenen, die Gierdaten liefern. Falls zum Abtasten der Gierbewegung keine Hochpräzisionssensoren verwendet werden, sammeln sich Ungenauigkeiten in den erfassten Daten zeitlich schneller an, wodurch die Bestimmung der Fahrzeugposition unter Verwendung der Koppelnavigationstechnik beeinträchtigt wird.
Ferner enthält das Fahrzeugpositionsbestimmungssystem 10 einen Prozessor 16 zum Empfangen von GPS-Daten und von Daten fahrzeuginterner Sensoren zum Bestimmen einer Fahrzeugposition. Der Prozessor 16 empfängt die GPS-Daten und die Daten fahrzeuginterner Sensoren und schätzt unter Verwendung der Daten fahrzeuginterner Sensoren eine gegenwärtige Fahrzeugposition, wenn das GPS-Signal zum Aktualisieren der GPS-Einheit nicht verfügbar ist. Es ist festzustellen, dass der Prozessor 16 als Teil eines Fahrzeugpositionsbestimmungsmoduls, das die verschiedenen Positionsbestimmungsvorrichtungen (z. B. GNSS/GPS-Vorrichtungen) enthalten kann, integriert sein kann.
Ferner enthält das Fahrzeugpositionsbestimmungssystem 10 ein Modul 18 auf der Grundlage der fahrzeuginternen Bilderkennung. Das Modul 18 auf der Grundlage der fahrzeuginternen Bilderkennung verwendet Bilderfassungsvorrichtungen, die vor das Fahrzeug gerichtet sind, um Bilder auf einer Fahrstraße des Fahrzeugs zu erfassen. Objekte innerhalb eines erfassten Bilds kommen üblicherweise näher, während das Fahrzeug die Straße entlang fährt. Ferner kann das Modul 18 auf der Grundlage der fahrzeuginternen Bilderkennung Bilderfassungsvorrichtungen verwenden, die hinter das Fahrzeug gerichtet sind, um Bilder hinter dem Fahrzeug zu erfassen. Der Begriff hinter, wie er hier verwendet ist, kann die Seiten des Fahrzeugs wie etwa tote Winkel und irgendeine andere nicht nach vorn gerichtete Richtung enthalten. Objekte, die durch eine nach hinten weisende Bilderfassungsvorrichtung erfasst werden, entfernen sich, während das Fahrzeug entlang seines Fahrtwegs fährt.
2 zeigt eine beispielhafte Darstellung von Gebieten, die durch das Modul auf der Grundlage der fahrzeuginternen Bilderkennung erfasst werden. Es ist ein Trägerfahrzeug 20 gezeigt, das eine Straße 22 entlang fährt. Die Straße 22 enthält Fahrspurmarkierungen 24 und eine Bordsteinkante 26. Auf einer oder auf mehreren der Fahrspuren der Straße 22 können andere Fahrzeuge 28 fahren. Ein Gehweg 30 befindet sich benachbart zu der Straße und kann Objekte wie etwa ein Verkehrszeichen 32 enthalten. Außerdem befinden sich benachbart zu dem Gehweg 30 Gebäude 34 und andere feste Anlagen.
Das Modul auf der Grundlage der fahrzeuginternen Bilderkennung enthält eine erste Bilderfassungsvorrichtung, die Bilder in einem interessierenden Gebiet 36 vor dem Trägerfahrzeug erfasst, und eine zweite Bilderfassungsvorrichtung, die Bilder in einem interessierenden Gebiet 38 hinter dem Trägerfahrzeug erfasst. Durch Erfassen und Erkennen von Objekten auf der Straße 22 vor und hinter dem Trägerfahrzeug 20 kann das Fahrzeugpositionsbestimmungssystem 10 die Positionsgenauigkeit des Trägerfahrzeugs, insbesondere dann, wenn es einen erheblichen Fehler in den GPS-Daten oder in den GPS-DR-Daten gibt, auf die Genauigkeit der Ebene einer Fahrspur verbessern.
Wie in 2 gezeigt ist, können die erfassten Bilder in dem interessierenden Gebiet 36 vor dem Fahrzeug zu identifizieren helfen, wo sich die Straße 22 oder eine jeweilige Fahrspur befindet. Objekte und Merkmale, wie sie in dem interessierenden Gebiet 36 detektiert werden, können eine Fahrspurmarkierungsdetektierung und eine Straßenbordsteinkantendetektierung ermöglichen. Objekte und Merkmale, wie sie außerhalb der Straße detektiert werden, die aber immer noch innerhalb des interessierenden Gebiets 36 erfasst werden, ermöglichen eine Straßenrandobjektdetektierung [engl: „road-side objection detection“], eine Gebäudedetektierung und eine Gehwegdetektierung. Wie oben beschrieben wurde, ermöglicht die Detektierung dieser Objekte und Merkmale eine höhere Genauigkeit beim Bestimmen der Position des Trägerfahrzeugs 20 innerhalb der Straße. Ähnlich können Objekte in dem interessierenden Gebiet 38 hinter dem Trägerfahrzeug 20 ebenfalls verwendet werden, um die Position des Trägerfahrzeugs 20 innerhalb der Straße 22 auf der Grundlage der Identifizierung und Klassifizierung ähnlicher Objekte und Merkmale zu bestimmen.
Die 3 und 4 veranschaulichen die Bilder, die in dem interessierenden Gebiet vor dem Fahrzeug zu verschiedenen Zeitperioden erfasst werden. 3 veranschaulicht ein Erfassungsbild bei einem Anfangspunkt der Analyse. Gebäude und andere Strukturen werden üblicherweise als Straßenschluchten bezeichnet, die unterbinden, dass GPS-Signale den GPS-Empfänger des Trägerfahrzeugs erreichen. 4 veranschaulicht ein erfasstes Bild nach dem Fahren über eine jeweilige Strecke. Weit entfernte feststehende Punkte werden unter Nutzung der Ecken der Gebäude nachgeführt. Die Pfeilmarkierungen 40 und 42 identifizieren die Ecken der Gebäude. Nah entfernte feststehende Punkte 44 werden unter Nutzung der Straßenrandmerkmale nachgeführt. Es werden Paare weit entfernter feststehender Punkte und nah entfernter feststehender Punkte über eine Fahrtdauer (d. h. zwischen den Bildern aus 3 und 4) ausgewählt und nachgeführt. Durch Identifizieren und Nachführen weit entfernter feststehender Punkte in den erfassten Bildern im Zeitverlauf können Gier- und Nickschätzwerte korrigiert werden. Darüber hinaus können durch Identifizieren und Nachführen nah entfernter feststehender Punkte in den erfassten Bildern im Zeitverlauf unter Verwendung der stereoskopischen Bilderkennung oder von Shape-from-Motion-Techniken sowohl der Gier- als auch der Entfernungsschätzwert korrigiert werden.
Anhand von 5a und 5b repräsentiert das Objekt 46 einen weit entfernten feststehenden Punkt. Merkmalspunkte werden durch Punktauswahl und -klassifizierung bestimmt. Weit entfernte feststehende Punkte werden unter Verwendung der Identifizierung verschwindender Punkte wie etwa eines Schnittpunkts von Parallelen identifiziert. Alternativ können weit entfernte feststehende Punkte identifiziert werden, wo sich das Objekt nicht bewegt, während das Fahrzeug geradlinig fährt, wo es eine reichhaltige Textur oder einen hohen Eckenwert aufweist und sich nicht an einem fernen Fahrzeug befindet. Ein hoher Eckenwert ist ein solcher, in dem sowohl eine vertikale Kante als auch eine horizontale Kante eine glatte Kantenoberfläche aufweist und jede Kante bei einer Schnittlinie der zwei Kantenoberflächen endet.
Das Objekt 48 repräsentiert einen nah entfernten feststehenden Punkt. Merkmalspunkte für nah entfernte feststehende Punkte werden ebenfalls unter Verwendung der Auswahl und Klassifizierung identifiziert. Nah entfernte feststehende Punkte werden außerdem als Merkmalspunkte identifiziert, die eine reichhaltige Textur oder einen hohen Eckenwert aufweisen. Außerdem finden nah entfernte feststehende Punkte ihre Entsprechung in einem Einzelbild des nächsten Bilds unter Verwendung eines entsprechenden Anpassungsverfahrens wie etwa einer Anpassung des optischen Flusses oder einer SIFT-Anpassung. Der optische Fluss ist das Muster der scheinbaren Bewegung von Objekten, Oberflächen und Kanten in einer visuellen Szene, der durch die Relativbewegung zwischen einem Beobachter (einem Auge oder einer Kamera) und der Szene verursacht wird. Sequenzen geordneter Bilder ermöglichen die Schätzung der Bewegung entweder als momentane Bildgeschwindigkeiten oder als diskrete Bildverlagerungen. In der Siebanpassung werden zunächst Schlüsselpunkte von Objekten aus einem Satz von Referenzbildern extrahiert und in einer Datenbank gespeichert. Ein jeweiliges Objekt wird in einem neuen Bild dadurch erkannt, dass jedes Merkmal von dem neuen Bild mit jenen in der Datenbank gespeicherter Objekte einzeln verglichen wird und auf der Grundlage der euklidischen Entfernung jeweiliger Merkmalsvektoren Kandidaten ermittelt werden, die passende Merkmale aufweisen. Bei der weiteren Bestimmung, welche Objekte nah entfernte feststehende Punktpaare sind, werden jeweilige Punkte, die sich in dem Bild oder auf dem bewegten Objekt nicht stark bewegen, ausgeschlossen. Dies enthält jeweilige Punkte, die bei der Annahme eines feststehenden Punkts eine anomale Bewegung demonstrieren, oder jeweilige Punkte an dem detektierten Fahrzeug oder an den detektierten Fußgängern. Darüber hinaus können Punkte auf dem Boden wie etwa eine untere Ecke des Gebäudes oder eine Fahrspurmarkierungsecke durch Kamerakalibrierung identifiziert werden, die eine Technik der Annahme eines feststehenden Bodens nutzt. Bei der Nutzung einer Technik der Annahme eines flachen Bodens wird ein dreidimensionales Koordinatensystem (x, y, z) genutzt. Dadurch, dass eine der Ebenen (z. B. in z-Richtung) als die Bodenebene gesetzt wird, wird durch jedes erfasste Einzelbild des Bilds eine flache Bodenebene bestimmt. Die Bodenebene kann durch Fahrspurmarkierungen oder andere Merkmale der Straße identifiziert werden. Durch Nachführen naher feststehender Punkte, die relevant für eine gemeinsame Bodenebene (z. B. ebene Bodenebene) sind, zwischen Bildern kann die Abweichung der Fahrzeugnachführung nur in Bezug auf die x-Richtung und auf die y-Richtung geschätzt werden. Die Abweichung in der x-Richtung bezieht sich auf die Gierbewegung des Fahrzeugs. Die Abweichung in der y-Richtung bezieht sich auf die Entfernung. Im Ergebnis der Nachführung der nahen feststehenden Punkte können Korrekturen zu Gierschätzwerten und Entfernungsschätzwerten bestimmt werden. Alternativ können der Gierschätzwert und der Entfernungsschätzwert unter Verwendung einer Shape-from-Motion-Technik bestimmt werden.
Außerdem können bei der Nachführung weit entfernter feststehender Punkte in einem erfassten Bild über eine Fahrtdauer sowohl ein Gierschätzwert als auch ein Nickschätzwert bestimmt werden. Die Nickbewegung bezieht sich auf eine Bewegung des Fahrzeugs entlang der z-Richtung. Das in 5a und 5b gezeigte Objekt 46 würde über eine Fahrtdauer nachgeführt, um zu bestimmen, ob Korrekturen entweder in Bezug auf den Gierschätzwert oder in Bezug auf den Nickschätzwert vorgenommen werden sollen. Darüber hinaus kann unter Nutzung des Horizonts 49, d. h. der Linie, wo sich die Straße/das Land mit dem Himmel trifft, eine Korrektur eines Rollschätzwerts bestimmt werden. Das Modul auf der Grundlage der fahrzeuginternen Bilderkennung kann Fehler schätzen, die seinen Nachführungsdaten zugeordnet sind, und einen Fehlerschätzwert an das Fahrzeugpositionsmodul liefern, um die Zuverlässigkeit der Nachführungsdaten zu bestimmen.
6 veranschaulicht einen Graphen zur Bestimmung, wann die von dem Modul auf der Grundlage der fahrzeuginternen Bilderkennung erhaltenen Nachführungsdaten zum Ergänzen der GPS-Daten und der Daten der fahrzeuginternen Sensoren zum erneuten Korrigieren der gegenwärtigen Fahrzeugposition verwendet werden. Wie früher beschrieben wurde, werden die Daten der fahrzeuginternen Sensoren dazu verwendet, GPS-Daten zu ergänzen, wenn die GPS-Signale von den GPS-Satelliten nach einer Zeitdauer nicht verfügbar werden. GPS- oder GPS-DR-Daten können ebenfalls instabil werden, wenn die Daten der fahrzeuginternen Sensoren nach einer Zeitdauer nicht neu kalibriert werden oder neu initialisiert werden. Um zu bestimmen, wann die GPS-Daten oder die GPS-DR-Daten eine Ergänzung erfordern, wird ein geschätzter Positionsfehler mit Schwellenwerten verglichen, um zu bestimmen, wann eine Ergänzung erforderlich ist. In 6 ist ein Graph gezeigt, in dem die y-Achse hinsichtlich des Positionsfehlerschätzwerts 50 dargestellt ist und die x-Achse hinsichtlich der Zeit 52 dargestellt ist. Der Liniengraph 54 repräsentiert den Positionsfehlerschätzwert für das Trägerfahrzeug, während es über eine Zeitdauer fährt.
Bei 56 ist ein erster vorgegebener Fehlerschwellenwert gezeigt. Das Segment 57 repräsentiert den Abschnitt des Positionsfehlerschätzwerts von der Initiierung der Positionsfehlernachführung bis zu einem Zeitpunkt, zu dem der erste vorgegebene Fehlerschwellenwert erreicht ist. Während des Segments 57 nutzt das Fahrzeugpositionssystem nur die GPS- oder GPS-DR-Daten, um die gegenwärtige Fahrzeugposition zu schätzen. Zu dem Zeitpunkt, zu dem die Positionsfehlernachführung beim Punkt 58 den ersten vorgegebenen Fehlerschwellenwert übersteigt, wird die Ergänzung der GPS- oder GPS-DR-Daten unter Nutzung der Nachführung auf der Grundlage der fahrzeuginternen Bilderkennung initiiert. Zu diesem Zeitpunkt wird bestimmt, dass die GPS- oder GPS-DR-Daten zu viel Fehler haben oder einen Punkt erreichen, bei dem die geschätzte Fahrzeugposition des Trägerfahrzeugs zu ungenau wird. Somit werden die durch das Nachführungsmodul auf der Grundlage der fahrzeuginternen Bilderkennung bestimmten Nachführungsdaten mit GPS- oder GPS-DR-Daten integriert, um die Gier-, die Nick- und die Entfernungsinformationen zu korrigieren. Es wird das Segment 59 des Segments des Positionsfehlerschätzwerts, wo die bilderkennungsgestützte Operation durchgeführt wird, genutzt. Die bilderkennungsgestützte Operation wird fortgesetzt, bis der Positionsnachführungs-Schätzwert unter einen zweiten vorgegebenen Fehlerschwellenwert 60 abnimmt. Während der Positionsfehlerschätzwert 54 unter den Punkt 62 abnimmt, kann die bilderkennungsgestützte Operation des Ergänzens der GPS- oder GPS-DR-Daten unterbrochen werden. Die Fahrzeugpositionsschätzung nutzt die GPS- oder GPS-DR-Daten nur, bis der Positionsfehlernachführungs-Schätzwert 54 den ersten vorgegebenen Fehlerschwellenwert 56 übersteigt, wobei zu diesem Zeitpunkt die GPS- oder GPS-DR-Daten mit den Nachführungs- und Korrekturdaten, die durch das Modul auf der Grundlage der fahrzeuginternen Bilderkennung geliefert werden, ergänzt werden. Vorzugsweise initiiert das Modul auf der Grundlage der fahrzeuginternen Bilderkennung das Erfassen von Bildern und die Bilderkennungsnachführung nur, wenn der erste vorgegebene Fehlerschwellenwert überschritten wird. Dies spart Speicherzuordnung und Verarbeitungsleistung. Alternativ kann der Fahrweg durch das Fahrzeug durch das Modul auf der Grundlage der fahrzeuginternen Bilderkennung ununterbrochen nachgeführt werden; allerdings werden die Nachführungsdaten nur genutzt, wenn der erste vorgegebene Fehlerschwellenwert überschritten ist.
Außerdem wird angemerkt, dass der erste vorgegebene Fehlerschwellenwert größer als der zweite vorgegebene Fehlerschwellenwert ist. Dies stellt sicher, dass die Nutzung der bilderkennungsgestützten Operation aufrechterhalten wird, bis sicher ist, dass die GPS- oder GPS-DR-Daten beim Schätzen der Fahrzeugpositionsbestimmung mit akzeptablen Fehlern stabil sind. Alternativ kann der erste vorgegebene Fehlerschwellenwert kleiner als der zweite vorgegebene Fehlerschwellenwert sein oder kann der erste vorgegebene Fehlerschwellenwert gleich dem zweiten vorgegebenen Fehlerschwellenwert sein, ohne von dem Umfang der Erfindung abzuweichen.

Claims

Verfahren zum Ergänzen von GPS-Daten unter Verwendung eines Moduls (18) auf der Grundlage der fahrzeuginternen Bilderkennung, wobei das Verfahren umfasst: Bestimmen einer Fahrzeugposition unter Nutzung positionsbezogener Daten, die von einem Positionsmodul erhalten werden; Schätzen eines Positionsfehlers auf einer periodischen Grundlage Bestimmen, ob der Positionsfehlerschätzwert (54) einen ersten vorgegebenen Fehlerschwellenwert (56) übersteigt; Erzeugen von Nachführungsdaten für das Fahrzeug (20) über einen Fahrtverlauf unter Nutzung erfasster Bilder von dem Modul (18) auf der Grundlage der fahrzeuginternen Bilderkennung; Integrieren der Nachführungsdaten mit den positionsbezogenen Daten zum Schätzen der Fahrzeugposition in Ansprechen darauf, dass der Positionsfehlerschätzwert (54) den ersten vorgegebenen Fehlerschwellenwert (56) übersteigt; Bestimmen, ob der Positionsfehlerschätzwert (54) unter einen zweiten vorgegebenen Fehlerschwellenwert (60) abnimmt; und Neubestimmen der Fahrzeugposition nur unter Verwendung der positionsbezogenen Daten, wenn der Positionsfehlerschätzwert (54) unter den zweiten vorgegebenen Fehlerschwellenwert (60) abnimmt.
Verfahren nach Anspruch 1, wobei das Fahrzeugpositionsmodul positionsbezogene Daten nutzt, die von einer GPS-gestützten Vorrichtung erhalten werden.
Verfahren nach Anspruch 1, wobei das Fahrzeugpositionsmodul positionsbezogene Daten nutzt, die von einer Vorrichtung auf der Grundlage der GPS-Koppelnavigation erhalten werden.
Verfahren nach Anspruch 1, wobei das Modul (18) auf der Grundlage der fahrzeuginternen Bilderkennung eine Merkmalidentifizierungs- und Merkmalklassifizierungsfunktion zum Identifizieren eines Objekts (46, 48) und zum Klassifizieren des Objekts (46, 48) als ein feststehendes Objekt (46, 48) von den Nachführungsdaten verwendet.
Verfahren nach Anspruch 4, wobei die feststehenden Objekte (46, 48) als weit entfernte feststehende Objekte (46) und als nah entfernte feststehende Objekte (48) klassifiziert werden.
System (10) für die ergänzte Fahrzeugpositionsbestimmung, wobei das System (10) umfasst: ein Fahrzeugpositionsmodul zum Bestimmen einer Fahrzeugposition eines Fahrzeugs (20) unter Nutzung positionsbezogener Daten, wobei das Fahrzeugpositionsmodul ferner einen Positionsfehlerschätzwert (54) bestimmt, der einen Vertrauensgrad einer Genauigkeit der Fahrzeugposition liefert; und ein Modul (18) auf der Grundlage der fahrzeuginternen Bilderkennung zum Erfassen von Bildern über einen Fahrtweg des Fahrzeugs (20) zum Erzeugen von Nachführungsdaten; wobei eine Bestimmung erfolgt, ob der Positionsfehlerschätzwert (54) einen ersten vorgegebenen Fehlerschwellenwert (56) übersteigt, wobei die Nachführungsdaten mit den positionsbezogenen Daten integriert werden, um eine gegenwärtige Fahrzeugposition zu schätzen, wenn der Positionsfehler den ersten vorgegebenen Fehler übersteigt, und wobei die gegenwärtige Fahrzeugposition nur unter Verwendung der positionsbezogenen Daten neu bestimmt wird, wenn der Positionsfehlerschätzwert (54) kleiner als ein zweiter vorgegebener Fehlerschwellenwert (60) ist.
System (10) für die ergänzte Fahrzeugpositionsbestimmung nach Anspruch 6, wobei das Fahrzeugpositionsmodul eine GPS-bezogene Position eines Fahrzeugs (20) unter Nutzung von GPS-Daten, die von GPS-Satelliten erhalten werden, bestimmt.
System (10) für die ergänzte Fahrzeugpositionsbestimmung nach Anspruch 7, das ferner wenigstens einen Fahrzeugbewegungssensor (14) zum Erhalten von Fahrzeugbewegungsdaten umfasst, wobei das Fahrzeugpositionsmodul eine Koppelnavigationsfunktionalität zum Schätzen der GPS-bezogenen Position unter Verwendung der Fahrzeugbewegungsdaten im Zusammenwirken mit den GPS-Daten liefert, wobei das Fahrzeugpositionsmodul die GPS-bezogene Position unter Verwendung der Koppelnavigationsfunktionalität während Zeitdauern, wenn der GPS-Satellitenempfang beschränkt ist, aktualisiert.
System (10) für die ergänzte Fahrzeugpositionsbestimmung nach Anspruch 8, wobei das Modul (18) auf der Grundlage der fahrzeuginternen Bilderkennung Objekte (46, 48) von den erfassten Bildern identifiziert und wobei das Modul (18) auf der Grundlage der fahrzeuginternen Bilderkennung das Objekt (46, 48) als ein feststehendes Objekt (46, 48) für die Nachführung klassifiziert.
System (10) für die ergänzte Fahrzeugpositionsbestimmung nach Anspruch 9, wobei das Modul (18) auf der Grundlage der fahrzeuginternen Bilderkennung die feststehenden Objekte (46, 48) als weit entfernte feststehende Objekte (46) und als nah entfernte feststehende Objekte (48) klassifiziert.