DE112021003141T5

DE112021003141T5 - Bildverarbeitungsvorrichtung

Info

Publication number: DE112021003141T5
Application number: DE112021003141.4T
Authority: DE
Inventors: Masayuki TAKEMURA; Takeshi Endo; Takeshi Shima
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2020-09-01
Filing date: 2021-08-10
Publication date: 2023-04-20
Also published as: JP7458940B2; JP2022041437A; CN115769286A; WO2022050006A1

Abstract

Eine Aufgabe der vorliegenden Erfindung ist, eine Bildverarbeitungsvorrichtung zu erhalten, die eine Umgebung eines Trägerfahrzeugs unter Verwendung eines Sensors erfasst und Informationen, die zur Steuerung nötig sind, und eine Warnung des Trägerfahrzeugs ausgibt, um das Fahrzeug sicherer und komfortabler zu steuern. Eine Bildverarbeitungsvorrichtung der vorliegenden Erfindung detektiert ein Fahrbahnende einer Fahrstraße auf der Grundlage eines aufgenommenen Bilds einer fahrzeuginternen Kamera, erkennt Klassifizierungen von Objekten, die das Fahrbahnende bilden, aus dem aufgenommenen Bild und ändert einen Parameter zum Detektieren des Fahrbahnendes in Übereinstimmung mit der Klassifizierung des Objekts.

Description

Technisches Gebiet
Die vorliegende Erfindung bezieht sich auf eine Bildverarbeitungsvorrichtung, die eine Umgebung eines Fahrzeugs unter Verwendung eines Sensors, der am Fahrzeug montiert ist, erkennt.
Technischer Hintergrund
PTL 1 beschreibt eine Technik zum Detektieren eines Seitenstreifens unter Verwendung eines Sensors und eine Verwendung des Seitenstreifens für Präventivsicherheit und automatisches Fahren.
Entgegenhaltungsliste
Patentliteratur
PTL 1: JP 2009-053818 A
Zusammenfassung der Erfindung
Technisches Problem
In den letzten Jahren haben Warnungen und Steuerungsfunktionen, die mit Präventivsicherheit in Beziehung stehen, einen weitverbreiteten Zustand erreicht. Die Entwicklung einer Erfassungsfunktion zum Vorhersagen eines Unfalls im Voraus wird auch vorangetrieben, um die Präventivsicherheit zu realisieren. Gegenwärtig beziehen sich viele der häufig verwendeten Funktionen auf Präventivsicherheitsfunktionen auf einer Schnellstraße, eine Fahrunterstützung oder ein Notfallbremsen zum Verhindern einer Kollision im Voraus auf einer allgemeinen Fahrbahn. Unter diesen Funktionen hat eine Fahrstraßenabweichungs-Verhinderungsfunktion durch eine Fahrbahnendedetektion, die eine der Präventivsicherheitsfunktionen ist, den weitverbreiteten Zustand noch nicht erreicht, da ein Schwierigkeitsgrad des Erfassens des Fahrbahnendes hoch ist.
Im Gegensatz zu einer Fahrspur, die künstlich gemalt ist, um einen Abschnitt einer Fahrstraße anzugeben, weist ein Fahrbahnende nicht notwendigerweise eine Wand eines Gegenstands oder eine Stufe eines Bürgersteigs auf. Zum Beispiel ist im Falle der Schnellstraße zumeist eine künstlich unterhaltene Wand am Fahrbahnende vorgesehen und ist das Fahrbahnende eine kontinuierliche und saubere Kurve, obwohl die Wand in vielen Fällen nicht so gut ist wie die Fahrspur, und eine Erkennung des Fahrbahnendes ist relativ einfach. Andererseits kann sich im Falle der allgemeinen Fahrbahn ein Hindernis wie z. B. ein Strommast, ein Stein oder Gras auf die Fahrstraße erstrecken, so dass es schwierig ist, eine Krümmungsform, die ein Fahren eines Fahrzeugs ermöglicht, im Voraus zu modellieren, wobei ein Schwierigkeitsgrad einer Erfassung, um das Fahrbahnende zu detektieren, hoch ist. Auf der allgemeinen Fahrbahn sind nicht nur eine Form des Fahrbahnendes, sondern auch eine Diskontinuität des Fahrbahnendes und eine Klassifizierung des Fahrbahnendes in vielen Fällen gemischt und es existieren viele Szenen, in denen es schwierig ist, das Fahrbahnende zu erkennen.
Auf der allgemeinen Fahrbahn sind Strukturen (Objekte) wie z. B. Zäune, Leitplanken und Bürgersteige kontinuierlich verbunden, obwohl eine Form in einer Richtung entlang der Fahrstraße in vielen Fällen im Wesentlichen keine einigermaßen glatte Kurve ist. Allerdings tritt selbst in diesen Strukturen eine Diskontinuität bei einer Einfahrt zu einem Geschäft oder einem Haus auf oder blockieren weitere Hindernisse die Fahrstraße und kann die Klassifizierung des Fahrbahnendes unmittelbar geändert werden.
Auf einer Seite der Fahrstraße befinden sich ein Bereich von Rasen, Schotter oder Erde ohne Belag, der sehr kurz ist und keine Höhendifferenz von der Fahrbahnoberfläche aufweist, ein Bereich, der eine Höhe aufweist, die niedriger als die Fahrbahnoberfläche ist, wie z. B. eine Seitenrille, ein Reisfeld oder ein Hochlandfeld und Begrenzungen zwischen diesen Bereichen und der Fahrstraße sind auch die Fahrbahnenden. Wie oben beschrieben ist, variiert nicht nur eine Klassifizierung des Bereichs, sondern sind auch verschiedene Objekte wie z. B. ein Strommast, ein Hindernis, Gras oder ein Deckel einer Seitenrille und ein Baum beim Fahrbahnende der Fahrstraße diskontinuierlich vorhanden und es ist ein wichtiges Problem, diese Objekte zutreffender zu erkennen.
Die vorliegende Erfindung wurde im Hinblick auf die oben genannten Probleme gemacht und eine Aufgabe der vorliegenden Erfindung ist, eine Bildverarbeitungsvorrichtung zu schaffen, die eine Umgebung eines Trägerfahrzeugs unter Verwendung eines Sensors erfasst und Informationen, die zur Steuerung nötig sind, und eine Warnung des Trägerfahrzeugs ausgibt, um das Fahrzeug sicherer und komfortabler zu steuern.
Lösung des Problems
Eine Bildverarbeitungsvorrichtung gemäß der vorliegenden Erfindung ist eine Bildverarbeitungsvorrichtung, die ein Fahrbahnende einer Fahrstraße auf der Grundlage eines aufgenommenen Bilds einer fahrzeuginternen Kamera detektiert. Die Bildverarbeitungsvorrichtung erkennt Klassifizierungen von Objekten, die das Fahrbahnende bilden, aus dem aufgenommenen Bild und ändert einen Parameter zum Detektieren des Fahrbahnendes in Übereinstimmung mit der Klassifizierung des Objekts.
Vorteilhafte Wirkungen der Erfindung
Gemäß der vorliegenden Erfindung werden selbst in einer Umgebung, in der mehrere Typen von Fahrbahnenden an einer allgemeinen Fahrbahn oder dergleichen diskontinuierlich vorhanden sind, Merkmale der Fahrbahnenden derselben Klassifizierung geeignet bevorzugt verbunden und erkannt und ist es somit möglich, die Fahrbahnenden stabil und genau zu detektieren und eine Genauigkeit einer Fahrstraßenabweichungs-Verhinderungsfunktion zu verbessern.
Weitere Merkmale, die mit der vorliegenden Erfindung in Beziehung stehen, werden aus der Beschreibung der vorliegenden Spezifikation und den begleitenden Zeichnungen deutlich. Weitere Aufgaben, Konfigurationen und Wirkungen werden in den Beschreibungen der folgenden Ausführungsform deutlich gemacht.
Figurenliste

[1] 1 ist ein Diagramm zum Beschreiben einer Gesamtkonfiguration einer Bildverarbeitungsvorrichtung gemäß einer Ausführungsform.
[2] 2 ist ein Diagramm zum Beschreiben einer internen Konfiguration einer Sensoreinheit.
[3] 3 ist ein Diagramm zum Beschreiben einer internen Konfiguration einer Fahrbahnendeklassifizierungsmerkmal-Einheit.
[4] 4 ist ein Diagramm zum Beschreiben einer internen Konfiguration einer Fahrbahnendemerkmal-Extraktionseinheit.
[5] 5 ist ein Diagramm, das ein konkretes Beispiel einer Fahrbahnendeklassifizierung schematisch veranschaulicht.
[6] 6 ist ein Diagramm, das ein aufgenommenes Bild schematisch veranschaulicht, und ein Diagramm, das ein Bild veranschaulicht, das durch Extrahieren eines Fahrbahnendekumulationsmerkmals erhalten wird.
[7] 7 ist ein Diagramm zum Beschreiben eines Verfahrens zum Extrahieren von Merkmalen eines Fahrbahnendes mit niedriger Stufe und eines verringernden Fahrbahnendes.
[8] 8 ist ein Diagramm zum Beschreiben eines Verfahrens zum Extrahieren von Merkmalen eines Nichtstufenfahrbahnendes und eines Fahrstraßenteilungsfahrbahnendes.
[9] 9 ist ein Diagramm zum Beschreiben einer internen Konfiguration einer Trägerfahrzeugverhalten-Schätzungseinheit.
[10] 10 ist ein Diagramm zum Beschreiben eines Trägerfa h rzeugverha lten-Schätzu ngsbeispiels.
[11] 11 ist ein Diagramm zum Beschreiben eines Eigenpositions-Schätzungsbeispiels.
[12] 12 ist ein Diagramm zum Beschreiben einer internen Konfiguration einer Fahrbahnendemerkmalkarten-Erzeugungseinheit.
[13] 13 ist ein Diagramm, das ein Beispiel einer Fahrbahnendemerkmalkarte veranschaulicht.
[14] 14 ist ein Diagramm, das eine Karte veranschaulicht, die durch Anwenden einer Innenmerkmalprioritätsverarbeitung auf die Fahrbahnendemerkmalkarte von 13 erhalten wird.
[15] 15 ist ein Diagramm zum Beschreiben einer internen Konfiguration einer Fahrstraßen-Bestimmungseinheit, die einer Klassifizierung entspricht.
[16] 16 ist ein Diagramm, das eine Verbindungsstraßenendekandidaten-Erzeugungsbedingung veranschaulicht.
[17] 17 ist ein Diagramm, das eine Karte veranschaulicht, in der Verbindungsstraßenendekandidaten aus der Karte erzeugt werden, die durch Anwenden der Innenmerkmalprioritätsverarbeitung, die in 14 veranschaulicht ist, erhalten wird.
[18] 18 ist ein Diagramm, das eine Fahrbahnendekandidaten-Verbindungsbedingung veranschaulicht.
[19] 19 ist ein Diagramm, das ein Verbindungsbeispiel (1) von mehreren Klassifizierungen von Fahrbahnenden veranschaulicht.
[20] 20 ist ein Diagramm, das ein Verbindungsbeispiel (2) von Fahrbahnenden veranschaulicht, das ein Fahrzeug enthält.
[21] 21 ist ein Diagramm, das ein Verbindungsbeispiel (3) von Fahrbahnenden veranschaulicht, das eine Fahrstraßenteilung enthält.
[22] 22 ist ein Diagramm zum Beschreiben einer internen Konfiguration einer Warnungssteuereinheit.
[23] 23 ist ein Diagramm, das Informationen über eine Warnung und eine Steuerungsmarge für die Fahrbahnendeklassifizierung veranschaulicht.
[24] 24 ist ein Ablaufplan zum Beschreiben der Verarbeitung, die durch die Bildverarbeitungsvorrichtung ausgeführt wird.

Beschreibung der Ausführungsformen
Im Folgenden wird eine Ausführungsform der vorliegenden Erfindung unter Bezugnahme auf die Zeichnungen beschrieben.
<Bildverarbeitungsvorrichtung>
1 ist ein Diagramm, das eine Gesamtkonfiguration einer Bildverarbeitungsvorrichtung gemäß der vorliegenden Ausführungsform veranschaulicht.
Eine Bildverarbeitungsvorrichtung 1 enthält eine Sensoreinheit 100, eine Fahrbahnendeklassifizierungsmerkmal-Einheit 200, eine Fahrstraßen-Bestimmungseinheit 300 und eine Warnungssteuereinheit 400.
Die Sensoreinheit 100 enthält Sensoren, die eine Umgebung in der Nähe eines Fahrzeugs wie z. B. ein Hindernis und eine Form in der Nähe einer Fahrstraße detektieren. Die Sensoreinheit 100 enthält fahrzeuginterne Frontsensoren. In der vorliegenden Ausführungsform werden, wie in einem oberen Teil (1) von 2 veranschaulicht ist, eine linke und eine rechte Kameraeinheit (eine Stereokamera) 110 als ein Beispiel des fahrzeuginternen Frontsensors beschrieben. Allerdings kann der Sensor selbst eine Einzelkameraeinheit 150 sein, wie in einem Mittelteil (2) von 2 veranschaulicht ist, oder kann ein Fusionssensor einer Kameraeinheit 170 und einer Lidareinheit 180 sein, wie in einem unteren Teil (3) von 2 veranschaulicht ist. Die Sensoreinheit 100 muss nicht notwendigerweise Sensoren enthalten und kann konfiguriert sein, Detektionssignale von verschiedenen Sensoren, die im Fahrzeug vorgesehen sind, zu erfassen.
Die Fahrbahnendeklassifizierungsmerkmal-Einheit 200 implementiert eine Extraktion eines Merkmals (eines Fahrbahnendemerkmals), das einer Klassifizierung eines Fahrbahnendes entspricht. Das Fahrbahnende ist zwischen einer Fahrstraße und einem Objekt gebildet und die Klassifizierung des Fahrbahnendes variiert abhängig vom Objekt. Die Fahrbahnendeklassifizierungsmerkmal-Einheit 200 extrahiert ein Fahrbahnendemerkmal für jede Klassifizierung des Objekts und bestimmt die Klassifizierung des Fahrbahnendes unter Verwendung des extrahierten Fahrbahnendemerkmals. Da bei einer Begrenzung, die einen befahrbaren Bereich unterteilt und angibt, ob eine Befahrbarkeit durch ein Trägerfahrzeug vorliegt oder nicht, d. h. bei dem Fahrbahnende der Fahrstraße verschiedene Klassifizierungen vorliegen, ist es schwierig, Merkmale von verschiedenen Typen von Fahrbahnenden durch dasselbe Suchverfahren zu extrahieren. Zum Beispiel ist es schwierig, als das Fahrbahnende eine Begrenzung zwischen einer Fahrstraße und einem Objekt wie z. B. einem Hindernis, das eine Höhe besitzt, die höher als eine Fahrbahnoberfläche der Fahrstraße ist, einem Bereich, der niedriger als die Fahrbahnoberfläche der Fahrstraße ist, oder eine Fahrbahnoberfläche (z. B. ist die Fahrstraßenoberfläche aus Asphalt hergestellt, wohingegen die Fahrbahnoberfläche aus Gras, Schotter, Erde oder dergleichen gebildet ist), die eine Eigenschaft aufweist, die von der Fahrbahnoberfläche der Fahrstraße verschieden ist, obwohl keine dreidimensionale Höhendifferenz vorliegt, durch denselben Bildverarbeitungsalgorithmus zu extrahieren.
Dagegen wendet in der vorliegenden Ausführungsform, wie in 4 veranschaulicht ist, die Fahrbahnendeklassifizierungsmerkmal-Einheit 200 ein Verfahren zum Verwenden von mehreren Typen eines Extraktionsmittels in Kombination und Verwenden von mehreren Fahrbahnendemerkmalsextraktions-Algorithmen in Kombination an. Die Fahrbahnendeklassifizierungsmerkmal-Einheit 200 implementiert eine Verarbeitung des Integrierens der extrahierten Merkmale der mehreren Klassifizierungen von Fahrbahnenden im selben Raum (auf der Karte) und führt auch eine Rauschunterdrückung durch. Die Fahrbahnendeklassifizierungsmerkmal-Einheit 200 erstellt eine Fahrbahnendemerkmalkarte auf der Grundlage des extrahierten Fahrbahnendemerkmals.
Die Fahrstraßen-Bestimmungseinheit 300 implementiert eine Fahrstraßenbestimmung, die dem Typ des Fahrbahnendes entspricht, unter Verwendung der Fahrbahnendemerkmalkarte, die durch die Fahrbahnendeklassifizierungsmerkmal-Einheit 200 erstellt wird. Da das Fahrbahnendemerkmal für jede Klassifizierung des Fahrbahnendes durch die Fahrbahnendeklassifizierungsmerkmal-Einheit 200 in der Fahrstraßen-Bestimmungseinheit 300 extrahiert wird, wird die Fahrbahnendemerkmalkarte unter Verwendung des Fahrbahnendemerkmals erstellt. Fahrbahnendekandidaten werden aus der Fahrbahnendemerkmalkarte extrahiert, die Verbindung der Fahrbahnendekandidat wird für jede Klassifizierung implementiert und es wird bestimmt, ob ferner Fahrbahnendekandidaten von verschiedenen Klassifizierungen unter Verwendung der verbundenen Fahrbahnendekandidaten verbunden werden sollen oder nicht.
Im Wesentlichen besteht eine hohe Wahrscheinlichkeit, dass die Fahrbahnendemerkmale derselben Klassifizierung angeordnet werden, jedoch variiert eine Auftrittshäufigkeit einer Kontinuität in Übereinstimmung mit der Klassifizierung des Fahrbahnendemerkmals. Zum Beispiel sind im Falle eines Straßenrandpfostens, der das Fahrbahnende angibt, eines Dreieckpfostens, der die Fahrstraße angibt, oder dergleichen der Straßenrandpfosten und der Dreieckpfosten nicht miteinander verbunden und sind von vornherein nicht kontinuierlich angeordnet. Somit sind Markierungen, die selbst Fahrstraßenteilungen angeben, kaum kontinuierlich angeordnet und ist es in diesen Fällen nötig, da die Markierungen an der Fahrstraße mit einem großen Intervall voneinander angeordnet sind, die Fahrstraßenteilungen durch Verbinden der Merkmale dieser Klassifizierungen bis zu einer beträchtlich großen Entfernung zu bestimmen.
Die Warnungssteuereinheit 400 gibt in einer vorgegebenen Situation eine Warnung zu einem Fahrer aus und führt eine Fahrzeugsteuerung aus, falls die Situation nicht verbessert wird. In Übereinstimmung mit dem Bestimmungsergebnis der Fahrstraßen-Bestimmungseinheit 300 gibt dann, wenn das Fahrzeug sich dem Fahrbahnende nähert, das die Begrenzung der Fahrstraße ist und wahrscheinlich aus der Fahrstraße abkommt, die Warnungssteuereinheit 400 zuerst durch Erzeugen eines Warngeräuschs oder Anzeigen einer Warnung eine Warnung zum Fahrer aus. Ferner wird, falls bestimmt wird, dass das Fahrzeug aus der Fahrstraße abkommt, nach einem bestimmten Zeitraum dann, wenn eine Situation, in der das Fahrzeug aus der Fahrstraße abgekommen ist, fortgesetzt wird, eine Entfernung von der Fahrstraßenbegrenzung bemerkenswert kurz ist oder das Fahrzeug ohne Änderung gelenkt wird, durch Implementieren einer Fahrzeugsteuerung des Lenkens und des Bremsen verhindert, dass das Fahrzeug aus der Fahrstraße abkommt.
<Sensoreinheit 100>
2 ist ein Diagramm zum Beschreiben einer Konfiguration der Sensoreinheit.
In der vorliegenden Ausführungsform wird eine Ausführungsform unter der Annahme beschrieben, dass eine Stereokamera verwendet wird, wie oben beschrieben ist. Allerdings kann, wie auch oben beschrieben ist und in dem Mittelteil (2) von 2 und dem unteren Teil (3) von 2 veranschaulicht ist, die Sensoreinheit 100 eine monokulare Kamera, die die Kameraeinheit 150 aufweist, ein Fusionssensor, in dem die Kameraeinheit 170 und die Lidareinheit 180 kombiniert sind, oder ein weiterer TOF-Sensor, ein Fusionssensor einer Millimeterwelle und einer Kamera oder dergleichen sein.
In der vorliegenden Ausführungsform werden unter der Annahme, dass die Sensoreinheit 100 im oberen Teil (1) von 2 eine Stereokamera ist, aufgenommene Bilder der linken und der rechten Kamera in der linken und der rechten Kameraeinheit 110 erfasst, wird eine Parallelisierung, die eine geometrische Korrektur ist, die zum stereoskopischen Abgleichen der aufgenommenen Bilder der linken und der rechten Kameraeinheit 110 nötig ist, durch Korrigieren der Geometrie und der Empfindlichkeit der aufgenommenen Bilder implementiert, und wird eine Empfindlichkeitskalibrierung implementiert, um den Farbton, die Leuchtdichte und dergleichen der linken und der rechten Kamera derart einzustellen, dass sie gleich sind. Nachdem die Kalibrierung der Empfindlichkeit und der Geometrie implementiert worden ist, erzeugt eine Stereoabgleicheinheit 120 ein Parallaxenbild durch Implementieren eines Stereoabgleichs des linken und des rechten aufgenommenen Bilds. Eine 3D-Punktgruppenerzeugungseinheit 130 erzeugt aus dem Parallaxenbild unter Verwendung von Kamerainnenparametern eine 3D-Punktgruppe.
<Fahrbahnendeklassifizierungsmerkmal-Einheit 200>
3 ist ein Diagramm zum Beschreiben einer Konfiguration der Fahrbahnendeklassifizierungsmerkmal-Einheit.
Die Fahrbahnendeklassifizierungsmerkmal-Einheit 200 enthält eine Fahrbahnendemerkmal-Extraktionseinheit 210, eine Trägerfahrzeugverhalten-Schätzungseinheit 220, eine Fahrbahnendemerkmalkarten-Erzeugungseinheit 230, eine Innenmerkmalpriorisierungseinheit 240 und eine Innenmerkmalklassifizierungs-Bestimmungseinheit 250.
Die Fahrbahnendeklassifizierungsmerkmal-Einheit 200 erfasst ein Merkmal eines Fahrbahnendes, das verwendet wird, um einen Bereich zu bestimmen, in dem eine Befahrbarkeit durch das Trägerfahrzeug vorliegt. Insbesondere extrahiert die Fahrbahnendemerkmal-Extraktionseinheit 210 das Fahrbahnendemerkmal von einer Position, bei der ein Objekt wie z. B. ein Hindernis, eine Seitenrille oder ein Seitenstreifenblock, das eine Begrenzung zu einer Fahrbahn ist, die ein befahrbarer Bereich ist, vorhanden ist, unter Verwendung von dreidimensionalen Informationen der Stereokamera und Informationen über ein aufgenommenes Bild von der Kamera. Das extrahierte Fahrbahnendemerkmal enthält Klassifizierungsinformationen und Positionsinformationen über das Fahrbahnende.
Die Fahrbahnendemerkmal-Extraktionseinheit 210 extrahiert diese Fahrbahnendemerkmale für jedes Ergebnis eines einzelnen Rahmens, der durch die Sensoreinheit 100 aufgenommen wird, d. h. für jeden Rahmen. Allerdings ist es möglich, durch Bestimmen einer Trennlinie der Fahrstraße zusammen mit einem Fahrbahnendemerkmal, das in der Vergangenheit extrahiert wurde, statt durch Bestimmen lediglich durch einen einzelnen Rahmen eine stabile und glatte Begrenzung zu extrahieren. Das heißt, vom Standpunkt eines Fahrzeugs, das sich vorwärtsbewegt, ist es besser, eine Begrenzung der Fahrstraßenteilung zu bestimmen, die das Fahrbahnende hinter dem Trägerfahrzeug enthält.
Somit schätzt, um die extrahierten Fahrbahnendemerkmale in einer Zeitreihe anzuordnen, um das Fahrbahnendemerkmal auf der Karte zu erhalten, die Trägerfahrzeugverhalten-Schätzungseinheit 220 ein Verhalten des Fahrzeugs und führt die Fahrbahnendemerkmalkarten-Erzeugungseinheit 230 eine Verarbeitung des Anordnens und des Wählens der Fahrbahnendemerkmale, die für jeden Rahmen auf der Karte erhalten werden, auf der Grundlage des Schätzungsergebnisses durch. Als Ergebnis werden die Fahrbahnendemerkmale, die in jedem Rahmen erhalten werden, in einer Überkopfansicht gesehen von über dem Trägerfahrzeug angeordnet und werden die Fahrbahnendemerkmale ähnlich einer Karte angeordnet, die eine Begrenzung zur Fahrstraße angibt. Zum jetzigen Zeitpunkt werden die Fahrbahnendemerkmale auf der Karte gewählt, die Informationen über die Klassifizierung des Merkmals enthält. Das heißt, die Verarbeitung des Speicherns der Informationen über die Klassifizierung des Fahrbahnendemerkmals in Verbindung mit einem Punkt, bei dem das Fahrbahnende auf der Karte positioniert ist, wird durchgeführt.
Allerdings sind zu diesem Zeitpunkt die Fahrbahnendemerkmale, die als Rauschen erhalten werden, auch auf der Karte angeordnet. Somit wird durch die Innenmerkmalpriorisierungseinheit 240 an der Karte zunächst die Verarbeitung des bevorzugten Behaltens eines Merkmals eines Objekts, das von einer Position, bei der das Trägerfahrzeug fährt, am nächsten an einer horizontalen Richtung (einer Fahrbahnbreitenrichtung der Fahrstraße) liegt, d. h. eines Merkmals eines innersten Objekts, und des Verringerns eines Merkmals eines weiteren Objekts, das auf einer Außenseite (einer Außenseite in der Fahrbahnbreitenrichtung) überlappt, aus der Karte implementiert. Es ist möglich, das Fahrbahnende, das das Objekt auf der innersten Seite in der Fahrbahnbreitenrichtung, d. h. das Objekt, das am nächsten am Fahrzeug liegt, enthält, korrekter zu bestimmen, ohne durch Rauschen beeinflusst zu werden, indem in einem Fahrbahnendbereich ein Fahrbahnendemerkmal eines Objekts, das eine Wand, einen Baum, ein Gebäude oder dergleichen enthält, auf der Außenseite in der Fahrbahnbreitenrichtung vorhanden ist und das eine Höhe aufweist, die größer als die eines Objekts wie z. B. eines Seitenstreifenblocks, einer Seitenrille oder einer Wand, die auf der Innenseite in der Fahrbahnbreitenrichtung vorhanden ist, ausgeschlossen wird.
Anschließend werden ein rechtes Fahrbahnende und ein linkes Fahrbahnende des Trägerfahrzeugs für die Klassifizierungsinformationen der Fahrbahnendemerkmale, die auf der Karte gleich oder größer als ein Schwellenwert gewählt wurden, getrennt verarbeitet und werden die Klassifizierungen der Fahrbahnendemerkmale, die auf der linken und der rechten Seite des Trägerfahrzeugs angeordnet sind, durch die Innenmerkmalklassifizierungs-Bestimmungseinheit 250 festgelegt. Zum jetzigen Zeitpunkt können mehrere Typen von Merkmalen für jede Tiefe gemischt werden. Im Wesentlichen wird eine Hauptmerkmalsklassifizierung festgelegt oder werden mehrere Merkmalsklassifizierungen, die gemischt werden sollen, festgelegt, und wird eine Klassifizierung, die ein extrem kleines Merkmal aufweist, als Rauschen definiert.
<Fahrbahnendemerkmal-Extraktionseinheit 210>
4 ist ein Diagramm zum Beschreiben einer Konfiguration der Fahrbahnendemerkmal-Extraktionseinheit. Die Fahrbahnendemerkmal-Extraktionseinheit 210 enthält eine Kumulationseinheit 211 für dreidimensionale Objekte, eine Einheit 212 bewegter Körper, eine Einheit 213 für niedrige Stufen, eine Einheit 214 für verringernde Stufen, eine Nichtstufenfahrbahnendeeinheit 215 und eine Einheit 216 für dreidimensionale Fahrstraßenteilungsobjekte.
Die Fahrbahnendemerkmal-Extraktionseinheit 210 ändert einen Parameter zum Detektieren des Fahrbahnendes in Übereinstimmung mit dem Typ des Objekts. Hier werden verschiedene Typen von Fahrbahnendemerkmalen in Übereinstimmung mit der Klassifizierung des Objekts extrahiert. 5 ist eine Querschnittsansicht, die ein Beispiel des Typs des Fahrbahnendes schematisch veranschaulicht. 5(1) veranschaulicht ein Beispiel, in dem eine Seitenrille 502 auf einer rechten Seite in der Fahrbahnbreitenrichtung einer Fahrstraße (einer Fahrbahn) 501 vorhanden ist, ein dreidimensionaler Objektkumulationsbereich 503, in dem ein Zaun, der eine hohe Höhe aufweist, bei einem Fahrbahnende auf einer linken Seite in der Fahrbahnbreitenrichtung in Bezug auf ein Zentrum der Fahrstraße 501 vorgesehen ist und ferner ein Bürgersteig 504 auf der linken Seite in der Fahrbahnbreitenrichtung des dreidimensionalen Objektkumulationsbereichs 503 vorhanden ist.
In dem Beispiel, das in 5(1) veranschaulicht ist, sind eine Begrenzung zwischen der Fahrstraße 501 und der Seitenrille 502 und eine Begrenzung zwischen der Fahrstraße 501 und dem dreidimensionalen Objektkumulationsbereich 503 Fahrbahnenden. 5(2) veranschaulicht ein Beispiel, in dem ein Bürgersteig 514 auf einer linken Seite in der Fahrbahnbreitenrichtung einer Fahrstraße 511 mit einer dazwischen angeordneten relativ niedrigen Stufe vorgesehen ist, ein vorstehender Seitenstreifenblock 512 auf einer rechten Seite in der Fahrbahnbreitenrichtung der Fahrstraße 511 angeordnet ist und ferner ein Bürgersteig 513 auf der rechten Seite angeordnet ist. In dem Beispiel, das in 5(2) veranschaulicht ist, sind eine Begrenzung zwischen der Fahrstraße 511 und dem Bürgersteig 514 und eine Begrenzung.zwischen der Fahrstraße 511 und dem Seitenstreifenblock 512 Fahrbahnenden.
5(3) veranschaulicht ein Beispiel, in dem ein Nichtstufenbereich 522, in dem Gras, Schotter, Erde oder dergleichen auf derselben Höhe wie eine Fahrbahnoberfläche einer Fahrstraße 521 kontinuierlich ist, auf einer linken Seite in der Fahrbahnbreitenrichtung der Fahrstraße 521 angeordnet ist und ein Bereich 523 verringernder Stufen, der niedriger als die Fahrbahnoberfläche der Fahrstraße 521 ist, auf einer rechten Seite in der Fahrbahnbreitenrichtung der Fahrstraße 521 mit einer in Bezug auf die Fahrstraße 521 dazwischen angeordneten Stufe wie z. B. ein Reisfeld, ein Hochlandfeld oder ein tiefliegendes Gelände vorhanden ist. In dem Beispiel, das in 5(3) veranschaulicht ist, sind eine Begrenzung zwischen der Fahrstraße 521 und dem Nichtstufenbereich 522 und eine Begrenzung zwischen der Fahrstraße 521 und dem Bereich 523 verringernder Stufen Fahrbahnenden.
Zum Beispiel extrahiert, wie in 5(1) veranschaulicht ist, die Kumulationseinheit 211 für dreidimensionale Objekte Merkmale für ein dreidimensionales Objekt, das eine Höhe aufweist, die größer als die der Fahrbahnoberfläche der Fahrstraße 501 ist. Die Kumulationseinheit 211 für dreidimensionale Objekte kann ein Merkmal kumulieren, während eine Höhe des dreidimensionalen Objekts zunimmt, d. h. während die Fahrbahnoberflächenhöhe zunimmt, und kann ein stabiles Merkmal extrahieren. 6(1) ist ein ursprüngliches Bild, das durch eine Stereokamera aufgenommen wurde, und 6(2) ist ein Kumulationsmerkmalsextraktionsbild, das unter Verwendung eines Parallaxenbilds erstellt wurde. Die Kumulationseinheit 211 für dreidimensionale Objekte erzeugt ein Parallaxenbild unter Verwendung eines Paars eines linken und eines rechten ursprünglichen Bilds und implementiert eine Kumulationsfahrbahnendmerkmals-Extraktionsverarbeitung am Parallaxenbild der Fahrstraße. In einem ursprünglichen Bild 601, das in 6(1) veranschaulicht ist, wird ein vorausfahrendes Fahrzeug 602 aufgenommen und sind Seitenstreifenblöcke 604 und 605 und Wände 606 und 607 links und rechts einer Fahrstraße 603 angeordnet.
Wie in 6(2) veranschaulicht ist, erzeugt die Fahrbahnendemerkmal-Extraktionseinheit 210 ein Bild, das einen Parallaxenwert aufweist, der eine horizontale Bildkoordinate in einer horizontalen Richtung und eine Tiefe in einer vertikalen Richtung angibt und eine kurze Entfernung mit einem größeren Parallaxenwert zu einer Unterseite und eine große Entfernung mit einem kleineren Parallaxenwert zu einer Oberseite aufweist. Eine Wahlverarbeitung ist für jede horizontale Koordinatenspalte jedes Parallaxenbilds implementiert. Zum Beispiel wird dann, wenn ein Bildzentrum, bei dem das Trägerfahrzeug vorhanden ist, betrachtet wird, da die Unterseite des Parallaxenbilds der Parallaxenwert an der Fahrbahnoberfläche ist, falls das Parallaxenbild mit einem Parallaxenwert nach dem anderen von der Unterseite des Parallaxenbilds gelesen wird, der Parallaxenwert allmählich ein Parallaxenwert einer großen Entfernung, und wird ein Kumulationsfahrbahnendmerkmals-Extraktionsergebnis erhalten, in dem sich ein Wahlort allmählich nach oben bewegt.
Allerdings besitzt dann, wenn das Parallaxenbild eine Unterfußposition des vorausfahrenden Fahrzeugs erreicht, der Parallaxenwert der Unterfußposition des vorausfahrenden Fahrzeugs zu einer Dachposition eine konstante Tiefenentfernung. Deshalb sammeln sich in einem Kumulationsfahrbahnendmerkmal-Extraktionsbild Wahlen des Kumulationsfahrbahnendmerkmals bei demselben Parallaxenwert und derselben horizontalen Bildkoordinate und ist somit ein Wahlwert hoch. Dies gilt entsprechend für Seitenstreifenblöcke und Wände.
Da die Tiefe der Fahrbahnoberfläche im Parallaxenbild zur Oberseite des Parallaxenbilds zunimmt, wird die Fahrbahnoberfläche zu einer verteilten Stelle gewählt, ohne das Merkmal zu kumulieren. Allerdings wird, wenn ein Objekt, das eine Höhe aufweist, wie z. B. ein Seitenstreifenblock oder eine Wand positioniert ist, da derselbe Parallaxenwert in einer Aufwärtsrichtung im Parallaxenbild kontinuierlich erhalten wird, der Parallaxenwert in einem Wahlraum kumuliert, der den Parallaxenwert und die horizontale Bildkoordinate enthält. Somit wird in der vorliegenden Ausführungsform angenommen, dass ein Hindernis vorhanden ist, das höher als die Fahrbahnoberfläche ist, wie z. B. eine Wand oder ein Seitenstreifenblock, wenn der Parallaxenwert im Wahlraum kumuliert wird. In dem Beispiel, das in 6(2) veranschaulicht ist, werden mehrere Parallaxenwerte bei Positionen einer linken und einer rechten Wand 616 und 617 kumuliert und sind in weiß klar gezeigt. Die Parallaxenwerte werden auch bei Positionen der Seitenstreifenblöcke 614 und 615 und der Unterfußposition des vorausfahrenden Fahrzeugs kumuliert und sind in weiß gezeigt.
Unter den Merkmalen, die durch die Kumulationseinheit 211 für dreidimensionale Objekte erhalten werden, sind Merkmale, die mit der Seitenfläche des bewegten Objekts in Beziehung stehen. Zum Beispiel kann, falls ein Fahrzeug vorhanden ist, das in einer zum bewegten Objekt benachbarten Fahrspur fährt, wenn die Verarbeitung eines einzelnen Rahmens betrachtet wird, da das Merkmal ähnlich zur Wand kumuliert wird, das Merkmal auch für dieses bewegte Objekt extrahiert werden. Die Einheit 212 bewegter Körper legt das Merkmal für den bewegten Körper unter Verwendung des extrahierten Merkmals und des Ergebnisses der Fahrzeugdetektion gemeinsam fest und verarbeitet das Merkmal als ein Merkmal einer Klassifizierung, die von der Kumulationseinheit 211 für dreidimensionalen Objekte verschieden ist. Das heißt, die Einheit 212 bewegter Körper führt eine Verarbeitung des Extrahierens eines Merkmals eines bewegten Körpers wie z. B. eines vorausfahrenden Fahrzeugs oder eines entgegenkommenden Fahrzeugs durch.
In der Einheit 213 für niedrige Stufen wird eine Verarbeitung hauptsächlich des Extrahierens eines Merkmals einer niedrigen Stufe von etwa 5 cm, das in der Kumulationseinheit 211 für dreidimensionalen Objekte schwierig zu extrahieren ist, durchgeführt. Wie auf einer linken Seite von 5(2) veranschaulicht ist, ist, da eine Differenz der Höhe des Bürgersteigs 514, der die niedrige Stufe aufweist, kleiner als die Fahrbahnoberfläche der Fahrstraße 511 ist, ein Kumulationsbetrag in dem Merkmal, das durch die Kumulationseinheit 211 für dreidimensionale Objekte extrahiert wird, klein. Deshalb wird in der Einheit 213 für niedrige Stufen eine Verarbeitung des ausschließlichen Extrahierens des Merkmals der niedrigen Stufe durchgeführt.
7 ist ein Diagramm zum Beschreiben eines Verfahrens zum Extrahieren von Merkmalen eines Fahrbahnendes mit niedriger Stufe und eines verringernden Fahrbahnendes. Zum Beispiel wird, wie durch einen Pfeil 711 auf einer linken Seite von 7 angegeben ist, eine Suche in einer Linksrichtung von einer Mittenposition 702 einer Fahrstraße 703 in einem Parallaxenbild 701 vorgenommen. Es wird eine dreidimensionale Position aus einem Parallaxenwert und einer Bildposition berechnet, es wird verglichen, ob eine Stufe größer als eine Höhe einer Fahrbahnoberfläche der Fahrstraße 703 erzeugt wird oder nicht, und ein Abschnitt, in dem ein hohes Merkmal, das gleich oder größer als ein Schwellenwert ist, aus der Fahrstraße 703 kontinuierlich extrahiert wird, wird als das Fahrbahnendemerkmal aus der Fahrstraße 703 extrahiert.
Entsprechend wird in der Einheit 214 für verringernde Stufen eine Stufe, die niedriger als die Fahrbahnoberfläche der Fahrstraße 703 ist, woraus das Merkmal durch das herkömmliche Verfahren nicht extrahiert werden kann, extrahiert. Die Stereokamera der Sensoreinheit 100 kann z. B. eine Stufe, die niedriger als die Fahrbahnoberfläche der Fahrstraße 703 ist, wie z. B. eine Seitenrille 705 detektieren. Die Einheit 214 für verringernde Stufen extrahiert ein Merkmal des Bereichs 523 verringernder Stufen, der niedriger als die Fahrstraße ist, wie z. B. die Seitenrille 502, die in 5(1) rechts veranschaulicht ist, oder ein Reisfeld oder ein Hochlandfeld das in 5(3) rechts veranschaulicht ist. Zum Beispiel wird, wie durch einen Pfeil 712 auf einer rechten Seite von 7 angegeben ist, eine Suche in einer Rechtsrichtung von der Mittenposition 702 der Fahrstraße 703 im Parallaxenbild durchgeführt. Die dreidimensionale Position wird aus dem Parallaxenwert und der Bildposition berechnet, es wird bestimmt, ob oder nicht eine Stufe, die kleiner als die Höhe der Fahrbahnoberfläche ist, erzeugt wird, und ein Abschnitt, in dem ein Merkmal, das um einen Schwellenwert oder mehr niedriger als die Fahrbahnoberfläche der Fahrstraße 703 ist, kontinuierlich extrahiert wird, wird als das Fahrbahnendemerkmal aus der Fahrstraße 703 extrahiert. In dem Beispiel, das in 7 veranschaulicht ist, kann ein Merkmal eines Bürgersteigs 704, der höher als die Fahrbahnoberfläche jedoch niedriger als die Fahrbahnoberfläche ist, durch die Einheit 213 für niedrige Stufen extrahiert werden und kann ein Merkmal der Seitenrille 705, die niedriger als die Fahrbahnoberfläche ist, durch die Einheit 214 für verringernde Stufen extrahiert werden.
8 ist ein Konzeptdiagramm, das ein Verfahren zum Extrahieren von Merkmalen eines Nichtstufenfahrbahnendes und eines Fahrstraßenteilungsfahrbahnendes veranschaulicht. Im Hinblick auf das Nichtstufenfahrbahnende wird, wie auf einer linken Seite von 8 veranschaulicht ist, obwohl das Fahrbahnende auf einer linken Seite einer befestigten Fahrbahn die gleiche Höhe wie eine Fahrstraße 803A aufweist, eine Begrenzung zu einem Nichtstufenbereich 805, der aus einem Material, das von einer Fahrstraße 803 verschieden ist, wie z. B. Gras, Schotter oder Erde hergestellt ist und nicht zum Fahren geeignet ist, als das Fahrbahnendemerkmal des Nichtstufenfahrbahnendes extrahiert. Um den Nichtstufenbereich 805 zu identifizieren, werden im Wesentlichen ein befahrbarer Fahrbahnoberflächenbereich (eine Fahrstraße 803A) und ein unbefahrbarer Nichtstufenbereich 805 unter Verwendung von maschinellem Lernens wie z. B. tiefgehendes Lernen extrahiert und wird diese Begrenzung bei der Nichtstufenfahrbahnendeeinheit 215 als das Fahrbahnendemerkmal extrahiert.
Schließlich liegt im Hinblick auf ein dreidimensionales Fahrstraßenteilungsobjekt, wie auf einer rechten Seite von 8 veranschaulicht ist, ein Fall vor, in dem Dreieckpfosten zum Zweck des Beschränkens des Fahrens des Fahrzeugs aus Gründen wie z.B. Baustellen vorübergehend angeordnet sind. Zum Zweck des Beschränkens einer Fahrzeugbewegungsrichtung kann ein Pfosten bei einer Kreuzung vor einem Einfahren in einen Parkplatz oder ein Geschäft dauerhaft installiert sein. Insbesondere ist es, da Dreieckpfosten einer Baustelle oder dergleichen nicht vorläufig sein können, schwierig, einen befahrbaren Bereich und einen Bereich, der aufgrund einer Baustelle unbefahrbar sein soll, abzuteilen, da etwa eine Entfernung zwischen den Dreieckpfosten lang ist oder die Anzahl von installierten Dreieckpfosten von vornherein klein ist.
Allerdings können in der Stereokamera Dreieckpfosten, die auf einer Fahrstraße 803B angeordnet sind, als dreidimensionale Objekte extrahiert werden. Somit implementiert, nachdem das dreidimensionale Objekt detektiert worden ist, wenn eine Größe des dreidimensionalen Objekts in einem Bereich eines allgemeinen Dreieckpfostens liegt, eine Identifizierungsvorrichtung eine Identifizierung davon, ob das dreidimensionale Objekt der Dreieckpfosten ist, der verwendet wird, um die Bewegung des Fahrzeugs zu beschränken, oder nicht. Falls das dreidimensionale Objekt als das dreidimensionale Fahrstraßenteilungsobjekt zum Zweck des Steuerns der Bewegung des Fahrzeugs identifiziert wird, wird das dreidimensionale Fahrstraßenteilungsobjekt durch die Einheit 216 für dreidimensionale Fahrstraßenteilungsobjekte als das Fahrbahnendemerkmal extrahiert.
Die Fahrbahnendemerkmal-Extraktionseinheit 210 fügt Klassifizierungsinformationen zu den verschiedenen Merkmalen, die durch die Extraktionseinheiten 211 bis 216 extrahiert werden, für jede extrahierte Verarbeitung hinzu. Als Ergebnis wird das Fahrbahnendemerkmal verwendet, um zu bestimmen, welche Klassifizierung des Merkmals angeordnet ist.
<Trägerfahrzeugverhalten-Schätzungseinheit 220>
9 ist ein Diagramm zum Beschreiben einer Konfiguration der Trägerfahrzeugverhalten-Schätzungseinheit.
In der Trägerfahrzeugverhalten-Schätzungseinheit 220 implementiert eine Verhaltensschätzungs-Berechnungseinheit 221 eine Verhaltensvorhersage des Trägerfahrzeugs durch ein Vierradmodell, wie in 10 (1) veranschaulicht ist, unter Verwendung eines Ergebnisses eines Fahrzeuggeschwindigkeitssensors, was CAN-Informationen sind, und Fahrzeuginformationen wie z. B. einer Gierrate oder eines Lenkwinkels.
Wie in 13 und 14 veranschaulicht ist, werden die Fahrbahnendemerkmale in einem zweidimensionalen Koordinatensystem, in dem von oben auf das Trägerfahrzeug herabgeschaut wird, auf der Grundlage des Trägerfahrzeugverhalten-Schätzungsergebnisses angeordnet und wird somit eine Karte in Bezug auf das Trägerfahrzeug für einen kurzen Zeitraum in der Fläche, in der das Trägerfahrzeug fährt, erzeugt. Allerdings können in einem Verfahren zum Schätzen eines Trägerfahrzeugverhaltens aus den CAN-Informationen, wie in 10(1) veranschaulicht ist, viele Fehler wie z. B. ein Luftdruck und ein Schlupf des Reifens vorhanden. Somit ist, um nicht nur eine Vorhersage aus den CAN-Informationen, sondern auch Vorhersage mit höherer Genauigkeit durchzuführen, wie in 10(2) veranschaulicht ist, eine Verhaltensschätzung zwischen zwei Rahmen des Trägerfahrzeugs durch eine Relativpositions- und Lage-Schätzungseinheit 222 unter Verwendung entsprechender Zeitreihenpunkte implementiert. Das heißt, in der vorliegenden Ausführungsform wird ein Verhalten des Trägerfahrzeugs unter Verwendung der Fahrzeuginformationen über das Trägerfahrzeug und des aufgenommenen Bilds der Stereokamera erkannt. 10(2) veranschaulicht Bilder, die durch eine rechte Kamera des Trägerfahrzeugs zu den Zeitpunkten T [Rahmen] und T+1 [Rahmen] aufgenommen wurden, und entsprechende Punkte in den Bildern.
Im Falle dieses Verfahren kann die Verhaltensschätzung des Trägerfahrzeugs implementiert werden, ohne durch den Schlupf des Reifens des Fahrzeugs, den Luftdruck des Reifens, die Größe und dergleichen beeinflusst zu werden. Falls gewünscht ist, das Trägerfahrzeugverhalten mit höherer Genauigkeit zu verwenden, wird das Ergebnis der Verhaltensschätzungs-Berechnungseinheit 221 verwendet. Allerdings kann die Relativpositions- und Lage-Schätzungseinheit 222 die entsprechenden Punkte in mehreren aufgenommenen Bildern nicht notwendigerweise stabil extrahieren. Somit wird in der Praxis im Wesentlichen ein kombiniertes Verfahren des Verwendens des Ergebnisses der Relativpositions- und Lage-Schätzungseinheit 222, falls die entsprechenden Punkte zwischen den Rahmen erhalten werden und relative Positionen geschätzt werden können, und des Verwendens des Ergebnisses der Verhaltensschätzungs-Berechnungseinheit 221, falls kein stabiles Fahrzeugverhalten erhalten wird, da viele sich bewegende Körper vorhanden sind, obwohl die entsprechenden Punkte nicht erhalten oder erhalten werden, angewendet.
Obwohl eine Berechnungslast zunimmt, kann ein Ergebnis einer Karteneigenpositions-Schätzungseinheit 223 unter Verwendung von SLAM werden verwendet. Das Ergebnis der Verhaltensschätzungs-Berechnungseinheit 221 kann lediglich verwendet werden, falls das Ergebnis der SLAM nicht verwendet werden kann. 11(1) ist ein Diagramm, das einen Zustand, in dem ein Fahrzeug V₀ eine Ecke einer Fahrbahn 1101 durchläuft, die durch Wände 1102 und 1103 umgeben ist, ein vorhergehendes Erfassungsergebnis (T [frm]) und ein aktuelles Ergebnis (T+1 [frm]), das verankert ist, wenn das Fahrzeug V₀ die Ecke durchläuft, veranschaulicht. Wie in 11(1) veranschaulicht ist, kann ein Verfahren zum Schätzen der Eigenposition und -lage auf der Karte und Erhalten eines Zeitreihenbewegungsbetrags durch Abgleichen der Informationen über den entsprechenden Punkt, der in der selbsterzeugten Karte gespeichert ist, mit dem entsprechenden Punkt, der aus dem aktuellen Rahmen extrahiert wird, wenn Informationen über den entsprechenden Punkt in die Karte, die im Trägerfahrzeug erzeugt wird, eingebettet sind und das Fahrzeug dieselbe Route erneut durchfährt, verwendet werden.
11(2) ist ein Bilddiagramm einer hochgenauen Karte.
In der vorliegenden Ausführungsform kann ein Ergebnis einer hochgenauen Kartenpositions-Schätzungseinheit 224 verwendet werden. Eine hochgenaue Karte 1110 enthält z. B. Informationen über eine Fahrspur 1111, eine Abzweigespur 1112, die von der Fahrspur 1111 abzweigt, ein Fahrbahnende 1113 der Abzweigespur 1112, eine Verzweigung 1114, einen Mittelstreifen 1115, eine Gegenfahrbahn 1116, eine zusammenführende Fahrspur 1117, die in die Gegenfahrbahn 1116 zusammengeführt wird, und ein Fahrbahnende 1118 der zusammenführenden Fahrspur 1117. Falls eine hochgenaue Karte ursprünglich für automatisches Fahren angefertigt wird, wie in 11(2) veranschaulicht ist, kann eine Verfahrensform verwendet werden, die die Schätzung der hochgenauen Karte und der Trägerfahrzeugposition und -lage implementiert. Alternativ kann ein Verfahren zum Erfassen einer derartigen Position auf der hochgenauen Karte unter Verwendung von hochgenauem GNSS verwendet werden. Die Trägerfahrzeugverhalten-Schätzungseinheit 220 schätzt das Trägerfahrzeugverhalten parallel durch die mehreren Verfahren und wendet ein Trägerfahrzeugverhalten mit höherer Genauigkeit unter diesen Trägerfahrzeugverhalten an.
<Fahrbahnendemerkmalkarten-Erzeugungseinheit>
12 ist ein Diagramm zum Beschreiben einer Konfiguration der Fahrbahnendemerkmalkarten-Erzeugungseinheit.
Die Fahrbahnendemerkmalkarten-Erzeugungseinheit 230 ordnet die Merkmale des Fahrbahnendes, die durch die Fahrbahnendemerkmal-Extraktionseinheit 210 erhalten werden und für jeden Rahmen extrahiert werden, unter Verwendung des Ergebnisses, das durch die Trägerfahrzeugverhalten-Schätzungseinheit 220 erhalten wird, in einer Zeitreihe auf der Fahrbahnendemerkmalkarte, die eine Überkopfansicht von direkt über dem Trägerfahrzeug gesehen ist, wie in 13 veranschaulicht ist, an.
Eine Eigenpositionsschätzungskarten-Erzeugungseinheit 232 speichert nicht nur die Karte des Fahrbahnendes, sondern auch die Position des entsprechenden Punkts, der verwendet wird, um den Bewegungsbetrag zwischen den Rahmen zu extrahieren, das Merkmal des entsprechenden Punkts zum jetzigen Zeitpunkt und dergleichen bei einer dreidimensionalen Position auf der Karte. Falls eine Eigenpositionsschätzungskarte fertiggestellt ist, ist es, wenn das Fahrzeug das nächste Mal auf derselben Fahrbahn fährt, möglich, um eine genaue Position wiederherzustellen, die Position auf der Karte durch Extrahieren einer Entsprechungsbeziehung zwischen der Position des entsprechenden Punkts, der in der Karte gespeichert ist, und des entsprechenden Punkts der im aktuellen Rahmen detektiert wird, festzulegen, um nicht nur die Entsprechungsbeziehung zwischen den Rahmen, sondern auch den entsprechenden Punkt auf der Karte zu erhalten.
<Fahrbahnendemerkmalkarte>
13 ist ein Diagramm, das ein Beispiel der Fahrbahnendemerkmalkarte veranschaulicht.
In einer Szene, die in 13 veranschaulicht ist, fährt auf einer Fahrstraße 1311, die auf einer Oberseite von 13, veranschaulicht ist, das Fahrzeug V₀ auf einer Fahrstraße 1311A auf der Mittelstreifenseite und wird die Detektion eines Detektionsbereichs 1320 durch die Stereokamera durchgeführt. Ein Fahrbahnendemerkmal auf einer linken Seite in einer Fahrtrichtung des Fahrzeugs V₀ wird durch die Fahrbahnendemerkmal-Extraktionseinheit 210 extrahiert und ein Zeitreihenergebnis wird auf einer Mehraufwandkarte durch die Fahrbahnendemerkmalkarten-Erzeugungseinheit 230 auf der Grundlage von Schätzungsinformationen der Trägerfahrzeugverhalten-Schätzungseinheit 220 gezeigt. In dieser Szene befindet sich eine Seitenrille 1313 auf einer Außenseite (einer Seite) in der Fahrbahnbreitenrichtung in Bezug auf eine weiße Linie einer Fahrstraße 1311B und sind mehrere Gebäude 1315 auf der Außenseite angeordnet. In einem derartigen Fall können zwei Typen eines Merkmals der Seitenrille 1313 und eine dreidimensionale Objektkumulation (ein Fahrbahnendemerkmal) 1331 für das Gebäude 1315 auf der Rückseite der Seitenrille extrahiert werden. Obwohl die Seitenrille 1313 entlang der Fahrstraße 1311B kontinuierlich vorgesehen ist, ist ein Abschnitt vorhanden, der teilweise unterbrochen ist, indem er mit einem Deckel 1314 teilweise abgedeckt ist, und ist eine Lücke zwischen den Merkmalen in der Fahrtrichtung vorhanden.
Entsprechend fährt für eine Fahrstraße 1312, die auf einer Unterseite von 13 veranschaulicht ist, ein Fahrzeug V₁ auf einer Fahrstraße 1312B auf einer Seitenstreifenblockseite, wird ein Fahrbahnendemerkmal auf einer linken Seite in einer Fahrtrichtung des Fahrzeugs V₁ extrahiert und ist ein Zeitreihenergebnis auf einer Mehraufwandkarte veranschaulicht. Ein Seitenstreifenblock 1316, der eine kleine Höhe von etwa 15 cm aufweist, ist auf einer Außenseite in der Fahrbahnbreitenrichtung in Bezug auf eine weiße Linie der Fahrstraße 1312B angeordnet und ferner ist eine Wand 1318 auf der Außenseite mit einem dazwischen angeordneten Bürgersteig 1317 angeordnet und entsprechend kann die Merkmalsextraktion der dreidimensionalen Objektkumulation durchgeführt werden. Obwohl der Seitenstreifenblock 1316 entlang der Fahrstraße 1312B kontinuierlich vorgesehen ist, ist ein teilweise unterbrochener Abschnitt vorhanden und ist eine Lücke zwischen den Merkmalen in der Fahrtrichtung vorhanden.
Wie oben beschrieben ist, wird es, falls mehrere Merkmale jeweils auf einer Seite und der weiteren Seite in der Fahrbahnbreitenrichtung der Fahrstraße doppelt vorhanden sind und eine Lücke zwischen den Merkmalen in der Fahrtrichtung vorhanden ist, dann, wenn die Lücke länger wird, schwieriger, zu bestimmen, wie die Merkmale, die das Fahrbahnende sein sollen, verbunden werden sollen.
Eine hochgenaue Karteninformations-Ergänzungs- und Aktualisierungs-Einheit 233, die ein Speichern entsprechender Punkte, die eine Beziehung zwischen der hochgenauen Karte und der Eigenposition in Bezug auf die hochgenaue Karte speichern, wie in 11(2) veranschaulicht ist, implementiert, führt eine Verarbeitung des geeigneten Aktualisierens der entsprechenden Punkte durch.
<Innenmerkmalpriorisierungseinheit>
14 ist ein Diagramm, das ein Beispiel der Fahrbahnendemerkmalkarte, nachdem die Innenmerkmalpriorisierungsverarbeitung durch die Innenmerkmalpriorisierungseinheit ausgeführt worden ist, veranschaulicht.
Falls mehrere überlappende Merkmale auf einer Seite der Fahrstraße vorhanden sind, führt die Innenmerkmalpriorisierungseinheit 240 der Fahrbahnendeklassifizierungsmerkmal-Einheit 200 eine Verarbeitung des Löschens überlappender Außenmerkmale durch. In der vorliegenden Ausführungsform ist eine Verarbeitung des Priorisierens als das Fahrbahnendemerkmal eines Innenmerkmals aus Sicht der Trägerfahrzeugfahrtrichtung und des Löschens eines Merkmals, das auf einer Außenseite vorliegt, als eine Verarbeitung des Priorisierens eines Merkmals in der Nähe der Innenseite eines Fahrbereichs, d. h. ein Fahrbahnendemerkmal in der Nähe des Trägerfahrzeugs in der Fahrbahnbreitenrichtung, implementiert. Wie in 14 veranschaulicht ist, verbleiben lediglich Fahrbahnendemerkmale 1331, 1333 und 1334 auf einer innersten Seite gesehen vom Trägerfahrzeug und werden überlappende Merkmale 1401 bis 1406 auf der Außenseite aus der Mehraufwandkarte gelöscht. Als Ergebnis ist es zuerst möglich, das Merkmal des Fahrbahnendes, das auf der Innenseite vorhanden ist, bevorzugt auszuwählen.
Allerdings ist, falls das Fahrbahnendemerkmal auf der Innenseite im Wesentlichen kontinuierlich vorhanden ist, kein großes Problem vorhanden. Allerdings ist in einer tatsächlichen Fahrszene auch ein Abschnitt, in dem das Fahrbahnende, das auf der Innenseite vorhanden ist, unter Berücksichtigung eines Einfahrens und Ausfahrens eines Fahrzeugs zu und von einem Bürgersteig 1317 unterbrochen ist, oder ein Abschnitt, in dem das Fahrbahnende in der Nähe einer Kreuzung verschwindet, vorhanden. Hinsichtlich der Seitenrille 1313 sind, da das Merkmal wie z. B. ein Abschnitt, der befestigt ist, derart, dass Fahrzeuge und Fußgänger passieren können, oder ein Abschnitt, der durch den Deckel 1314 geschlossen ist, in vielen Fällen unterbrochen ist, viele Szenen vorhanden, in denen ein Problem auftritt, wenn die Fahrbahnendemerkmale in der Fahrtrichtung einfach verbunden werden. Somit ist es nötig, ein geeignetes Verbinden der Fahrbahnendekandidat in Übereinstimmung mit der Klassifizierung zu berücksichtigen.
<Innenmerkmalklassifizierungs-Bestimmungseinheit>
In der vorliegenden Ausführungsform bestimmt die Innenmerkmalklassifizierungs-Bestimmungseinheit 250 zuerst, welche Fahrbahnendeklassifizierung des Merkmals gegenwärtig vorliegt, und berechnet ferner einen Modus einer horizontalen Position des Merkmals für jede Klassifizierung. Zum Beispiel ist im Falle eines Beispiels, das auf einer Oberseite in 14 veranschaulicht ist, das Merkmal der verringernden Stufe (das Merkmal der Seitenrille 1313) bei einer Position (einer horizontalen Position) von 5 m auf der Außenseite in der Fahrbahnbreitenrichtung gesehen vom Fahrzeug V₀ vorhanden, und ist ferner die dreidimensionale Objektkumulation (das Fahrbahnendemerkmal) 1331, die durch Extrahieren des Gebäudes 1315 erhalten wird, bei einer Position (einer horizontalen Position) von 8 m auf der Außenseite in der Fahrbahnbreitenrichtung vorhanden, obwohl das Merkmal etwa die Hälfte (der Länge in der Fahrtrichtung) des Merkmals beträgt. Die Merkmale, die in 14 verbleiben, werden derart kumuliert, dass sie auf diese Weise in der Fahrtrichtung des Fahrzeugs prognostiziert werden. Das heißt, es wird für jede horizontale Position untersucht, welche Klassifizierung des Merkmals zu welchem Umfang in der Fahrtrichtung angeordnet ist. Eine Klassifizierung des Innenfahrbahnendekandidaten wird durch Kumulieren eines Ergebnisses einer bestimmten Klassifizierung festgelegt. Eine Klassifizierung und eine grobe horizontale Position werden auf diese Weise extrahiert und somit werden danach Informationen als ein Bestimmungsmaterial zum geeigneten Verbinden des Fahrbahnendekandidaten verwendet.
<Fahrstraßen-Bestimmungseinheit>
15 ist ein Diagramm zum Beschreiben einer Konfiguration der Fahrstraßen-Bestimmungseinheit und 16 ist ein Diagramm, das eine Verbindungsstraßenendekandidaten-Erzeugungsbedingung veranschaulicht.
Die Fahrstraßen-Bestimmungseinheit 300 führt eine Bestimmung der Fahrstraße durch, die der Klassifizierung des Fahrbahnendemerkmals entspricht. In der Fahrstraßen-Bestimmungseinheit 300, die dieser Klassifizierung entspricht, werden die mehreren Typen von Fahrbahnendemerkmalen, die durch die Fahrbahnendeklassifizierungsmerkmal-Einheit 200 extrahiert werden, auf der Karte gewählt, und wird eine endgültige Fahrstraßenbestimmung unter Verwendung des Fahrbahnendemerkmals auf der Karte, aus dem das Rauschen entfernt wurde, mit Priorität auf der Innenseite und der Klassifizierungsinformationen implementiert. Die Fahrstraßen-Bestimmungseinheit 300 enthält eine Verbindungsstraßenendekandidaten-Erzeugungseinheit 310, eine Fahrbahnendekandidaten-Verbindungseinheit 320 und eine Fahrstraßenteilungs-Bestimmungseinheit 330.
Wie in 16(1) veranschaulicht ist, führt die Verbindungsstraßenendekandidaten-Erzeugungseinheit 310 eine Bestimmungsverarbeitung durch, ob die Fahrbahnenden derselben Merkmalsklassifizierung wie die Fahrbahnendekandidaten unter Verwendung der Fahrbahnendemerkmale auf der Karte ausgewählt und verbunden werden sollen oder nicht. Allerdings wird, wie in 16(2) veranschaulicht ist, ein Schwellenwert, der als eine Verbindungsstraßenendekandidaten-Erzeugungsbedingung dafür dient, ob die Fahrbahnenden verbunden werden sollen oder ob die Fahrbahnenden die Fahrbahnendekandidaten sein sollen oder nicht, in Übereinstimmung mit der Klassifizierung des Fahrbahnendes geändert. Dies ist darauf zurückzuführen, dass die Fahrstraßenteilungs-Bestimmungseinheit 330 eine Fahrstraßenteilung unter Berücksichtigung der Zuverlässigkeit des Merkmals und der Bedingung, ob das Objekt an der Fahrbahnstruktur wahrscheinlich kontinuierlich vorhanden ist, in Übereinstimmung mit der Klassifizierung des Fahrbahnendes, die durch das Objekt gebildet wird, geeigneter bestimmen kann.
Die Fahrbahnendekandidaten, die die Merkmale derselben Klassifizierung aufweisen, werden bevorzugt unter Berücksichtigung der Klassifizierung des Fahrbahnendes verbunden und somit kann die Fahrbahnendekandidaten-Verbindungseinheit 320 ein genaues Fahrbahnende, das auf der Innenseite in der Fahrbahnbreitenrichtung in Bezug auf das Trägerfahrzeug vorhanden ist, korrekt verfolgen. Zum Beispiel wird, wenn das Merkmal, das auf der Innenseite in der Fahrbahnbreitenrichtung vorhanden ist, einfach bevorzugt verbunden wird, ohne die Klassifizierung zu bestimmen, eine Fahrbahnendebegrenzungslinie auch an einer verschiedenen Wand auf der Außenseite in der Fahrbahnbreitenrichtung für jede Diskontinuität des Merkmals gezogen und ist es schwierig, eine stabile Fahrbahnendebegrenzungslinie zu ziehen. Die Fahrbahnendebegrenzungslinie wird durch bevorzugtes Verbinden der Fahrbahnendemerkmale derselben Klassifizierung gezogen und somit ist es möglich, die Fahrbahnendekandidaten auf der Innenseite in der Fahrbahnbreitenrichtung stabiler zu verbinden.
<Verbindungsstraßenendekandidaten-Erzeugung>
Als eine Form des Betrachtens einer Tabelle, die in 16(2) veranschaulicht ist, bedeutet die Fahrbahnoberflächenhöhe einen Wahlanteil des Merkmals bei einem Punkt auf der Karte und können, wenn die Höhe des Objekts größer wird, mehr Tiefeninformationen im Parallaxenbild der Stereokamera erhalten werden. Somit ist der Wahlanteil größer und ist die Zuverlässigkeit höher. Die Fahrbahnoberflächenhöhe ist ein großer Wahlanteil auf der Karte und falls ein Wahlanteil gleich oder größer als dieser Schwellenwert vorhanden ist, ist die Fahrbahnoberflächenhöhe als die Fahrbahnendekandidaten verbunden.
Wie in 16(3) veranschaulicht ist, extrahiert die Kumulationseinheit 211 für dreidimensionale Objekte der Fahrbahnendeklassifizierungsmerkmal-Einheit 200 das Fahrbahnendemerkmal des Objekts 1316, das auf einer Außenseite 1612 in der Fahrbahnbreitenrichtung der Fahrstraße vorhanden ist, und fährt die Verbindungsstraßenendekandidaten-Erzeugungseinheit 310 der Fahrstraßen-Bestimmungseinheit 300 fort, um die kontinuierliche dreidimensionale Objektkumulation 1333 als das Fahrbahnendemerkmal zu verbinden. Als Ergebnis wird, wenn,eine Mindestlänge L0 in der Fahrtrichtung kleiner als der Schwellenwert ist, der als die Mindestlänge in der Tabelle von 16(2) beschrieben ist, da das Objekt zu kurz für den Fahrbahnendekandidaten ist, das Objekt nicht als der Fahrbahnendekandidat erkannt. Selbst dann, wenn eine Lücke im Merkmal in der Fahrtrichtung gebildet ist, wird, wenn ein maximales Intervall L1 kleiner als der Schwellenwert ist, der in der Tabelle von 16(2) gezeigt ist, bestimmt, dass die Fahrbahnendekandidaten gleich sind, und werden die Fahrbahnendekandidaten verbunden und verarbeitet.
Zum Beispiel ist im Falle der Wand oder des Hindernisses, da die Wand oder das Hindernis im Wesentlichen ein dreidimensionales Objekt ist, das eine hohe Höhe aufweist, der Wahlanteil groß und ist die Kontinuität der Wand unter Berücksichtigung der Kontinuität hoch. Allerdings ist eine ausreichende Möglichkeit vorhanden, dass die Länge in der Fahrtrichtung unter Berücksichtigung des Hindernisses wie z. B. eines Baums oder eines Strommasten kurz ist. Somit wird, wenn der Wahlanteil in einer Höhenrichtung groß ist, berücksichtigt, dass das Objekt selbst in einer Tiefenrichtung von 50 cm oder mehr, was etwas kurz ist, als der Fahrbahnendekandidat erkannt wird. Das maximale Intervall ist ein Schwellenwert einer maximalen Tiefenbreite, der derart bestimmt wird, dass er behandelt wird, als ob er unter Berücksichtigung eines Falls, in dem eine Lücke in der Fahrstraße gebildet ist, gleich ist, und ein Maximum von 500 cm wird als eine Verbindungsbedingung desselben Fahrbahnendekandidaten unter Berücksichtigung der Tatsache gesetzt, dass eine Lücke in der Wand oder dem Hindernis gut ausgebildet ist, und wird verbunden und verarbeitet.
Anschließend wird im Falle des bewegten Körpers (des Fahrzeugs), da festgelegt ist, dass das Objekt eine bestimmte Fahrzeughöhe aufweist, die Höhe zu 100 cm oder mehr gesetzt und wird die Länge zu 50 cm oder mehr gesetzt. Ein zweirädriges Fahrzeug oder dergleichen ist auch als Ziel gesetzt. Selbst in einem zweirädrigen Fahrzeug oder einem vierrädrigen Fahrzeug liegt keine Diskontinuität in der Mitte vor. Allerdings ist unter Berücksichtigung der Tatsache, dass ein Bereich vorhanden ist, in dem es aufgrund einer kleinen Anzahl von Bildmerkmalen in der Mitte einer Fahrzeugkarosserie schwierig ist, dass eine Stereoparallaxe auftritt, das maximale Intervall der Lücke bis zu 100 cm zulässig und wird dasselbe Merkmal des bewegten Körpers verbunden. Das heißt, falls das maximale Intervall kleiner als 100 cm ist, wird bestimmt, dass die sich bewegenden Körper gleich sind, und werden die Fahrbahnendekandidaten verbunden.
Anschließend besitzt im Merkmal des Seitenstreifenblocks 1316 ein Block, der einen Bürgersteig und eine Fahrbahn trennt, eine Höhe von 10 cm oder mehr. Da die Höhe des Bürgersteigs niedriger als die Wand und der bewegte Körper ist, ist der Wahlanteil jedes Punkts des Merkmals als das Fahrbahnende klein. Deshalb wird die Mindestlänge zu 100 cm oder mehr gesetzt, um lediglich als ein Kandidaten für den Seitenstreifenblock 1316 erkannt zu werden, wenn eine bestimmte Länge in der Fahrtrichtung vorhanden ist. Im Falle des Seitenstreifenblocks 1316 ist der Seitenstreifenblock unterbrochen, was Stellen, an denen Fahrzeuge einfahren und ausfahren, und Stellen, an denen in vielen Fällen Bäume gepflanzt sind, enthält. Somit werden die Fahrbahnendekandidaten bis zu einem maximalen Intervall von 500 cm verbunden.
Ferner kann im Hinblick auf den Seitenstreifenblock 1316 eine Lücke gebildet sein. Allerdings besteht dann, wenn der Seitenstreifenblock weiter ausgedehnt ist, da der Seitenstreifenblock 1316, der bei einer Kreuzung oder dergleichen unterbrochen ist, auch verbunden wird, ein Problem, dass bestimmt wird, dass an einer rechtwinkligen Kreuzung keine Rechts- oder Linkskurve ausgeführt werden kann. Deshalb wird im Wesentlichen der Seitenstreifenblock 1316, der eine maximales Intervall von bis zu 500 cm aufweist, verbunden. Falls die Lücke des Seitenstreifenblocks 1316 breiter ist, wird der Seitenstreifenblock als ein weiterer Seitenstreifenblock verarbeitet.
Im Hinblick auf das verringernde Fahrbahnende wird in der Einheit 214 für verringernde Stufen ein Merkmal für eine Stufe extrahiert, die niedriger als die Fahrstraßenoberfläche ist. Ein Merkmal wird bei einer Begrenzung eines Hochlandfelds, eines Reisfelds, einer Seitenrille oder dergleichen bei einer Stelle extrahiert, die niedriger als die Fahrstraßenoberfläche ist. Allerdings ist es in vielen Fällen weniger wahrscheinlich, dass das Merkmal der Stelle, die niedriger als die Fahrstraßenoberfläche ist, durch einen Schatten oder dergleichen beeinflusst wird, und ist die Zuverlässigkeit gering. Da Merkmale derselben Tiefe nicht in der Höhenrichtung kumuliert werden, ist die Zuverlässigkeit gering. Somit verwendet, falls eine Bedingung einer bestimmten Länge von 200 cm oder mehr nicht erfüllt ist, da die Zuverlässigkeit gering ist, die Fahrbahnendekandidaten-Verbindungseinheit 320 eine derartige verringernde Stufe nicht als den Fahrbahnendekandidaten. Die verringernde Stufe ist in vielen Fällen unterbrochen. Allerdings werden, wenn die verringernde Stufe zu lang verbunden ist, da der Einfluss einer fehlerhaften Detektion eine Sorge ist, hier Lücken von bis zu 300 cm als derselbe Fahrbahnendekandidat verbunden.
Entsprechend wird für das Nichtstufenfahrbahnende eine Unterscheidung zwischen der Fahrstraße und dem Seitenbereich unter Verwendung von Texturinformationen über die Fahrbahnoberfläche, die im aufgenommenen Bild enthalten sind, bei der Nichtstufenfahrbahnendeeinheit 215 der Fahrbahnendemerkmai-Extraktionseinheit 210 implementiert und wird das Merkmal in einem Begrenzungsbereich gewählt, in dem bestimmt wird, dass die Textur zwischen der Fahrstraße und dem Seitenbereich verschieden ist. Die Fahrbahnendekandidaten als die Nichtstufenfahrbahnenden sind unter Verwendung der Wahlstimmen auf der Karte verbunden. Da auch ein Fall vorhanden ist, in dem die Texturbestimmung instabil ist, wird das Fahrbahnende lediglich als der Fahrbahnendekandidat gesetzt, falls 200 cm oder mehr kontinuierlich sind, und wird die Lücke zu 300 cm oder weniger gesetzt.
Schließlich wird im Hinblick auf das dreidimensionale Fahrstraßenteilungsobjekt wie z. B. den Dreieckpfosten eine Höhe zu 30 cm oder mehr gesetzt und wird eine minimale Breite in der Fahrtrichtung zu 10 cm oder mehr gesetzt. Im Hinblick auf das dreidimensionale Objekt der Fahrstraßenteilung wird eine Identifizierungsvorrichtung für dieses Merkmal verwendet, um eine erheblich große Lücke oder ein erheblich kurzes Objekt, das als das Fahrbahnende verbunden ist, zu erkennen. Somit ist nicht nur der Fahrbahnendekandidat als der Fahrbahnendekandidat mit einer Breite von 10 cm oder mehr festgelegt, sondern wird auch das dreidimensionale Fahrstraßenteilungsobjekt, das durch bis zu 800 cm getrennt ist, verbunden und als der Fahrbahnendekandidat gesetzt.
Die Fahrstraßenteilungs-Bestimmungseinheit 330 führt eine Verarbeitung des Bestimmens der Fahrstraßenteilung des Trägerfahrzeugs unter Verwendung von Informationen über den Fahrbahnendekandidaten, der durch die Fahrbahnendekandidaten-Verbindungseinheit 320 verbunden ist, durch.
<Erzeugung eines Verbindungsstraßenendekandidaten>
17 veranschaulicht ein Beispiel, in dem die Fahrbahnendekandidaten derselben Merkmalsklassifizierung durch die Verbindungsstraßenendekandidaten-Erzeugungseinheit 310 auf der Grundlage der Bedingung von 16 verbunden sind.
Die Verbindung eines linken Fahrbahnendes des Fahrzeugs V₀, das auf der Fahrstraße 1311A fährt, die auf einer Oberseite von 17 veranschaulicht ist, in einer Situation, in der das Außenfahrbahnendemerkmal mit Priorität auf der Innenseite gelöscht wird, wird beschrieben.
Zunächst werden im Hinblick auf das Merkmal der dreidimensionalen Objektkumulation 1331 eine Fahrbahnoberflächenhöhe und eine Mindestlänge von 50 cm oder mehr als die Fahrbahnendekandidaten gesetzt. Deshalb werden in dem Beispiel, das in 17 veranschaulicht ist, zwei Fahrbahnendekandidaten 1702 und 1703 für das Gebäude 1315 erzeugt. Da diese zwei Fahrbahnendekandidaten 1702 und 1703 durch ein maximales Intervall von 500 cm oder mehr voneinander getrennt sind, werden diese Kandidaten nicht miteinander verbunden und werden als getrennte Fahrbahnendekandidaten erzeugt. In 17 wird die Verbindung durch Verbinden von schwarzen Kreisen, die die Merkmale der dreidimensionalen Objektkumulation 1331 angeben, mit Geraden ausgedrückt.
Anschließend werden die mehreren Merkmale für verringernde Stufen 1334, die zueinander benachbart sind, verbunden. In dem Beispiel, das in 17 veranschaulicht ist, ist die verringernde Stufe der Seitenrille 1313 durch den Deckel 1314, der die Seitenrille 1313 schließt, teilweise unterbrochen. Allerdings wird, wenn die verringernde Stufe, deren Mindestlänge im verbundenen Zustand 200 cm oder mehr ist, als ein Fahrbahnendekandidat verwendet wird und das maximale Intervall der verringernden Stufe kleiner als 300 cm ist, die Verbindung der Merkmale für verringernde Stufen 1334 fortgesetzt, und wenn das maximale Intervall der verringernden Stufe 300 cm oder mehr ist, wird die verringernde Stufe als ein weiterer Fahrbahnendekandidat verarbeitet. Somit werden als das linke Fahrbahnende des Fahrzeugs V₀, das auf der Oberseite von 17 veranschaulicht ist, zwei Fahrbahnendekandidaten 1701 und 1704 gebildet, die eine verringernde Stufe auf der Innenseite in der Fahrbahnbreitenrichtung aufweisen.
Da eine Länge eines Abschnitts, der durch den Deckel 1314 unterbrochen ist, 300 cm oder mehr ist, ist die verringernde Stufe zweigeteilt. Eine dieser verringernde Stufen wird der Fahrbahnendekandidat 1701 der verringernde Stufe und die weitere, die durch den Deckel 1314 unterbrochen ist, ist ein verbundener Fahrbahnendekandidat 1704, da die Länge des unterbrochenen Abschnitts kleiner als 300 cm ist.
Anschließend werden, wenn der Fahrbahnendekandidat auf der linken Seite in der Fahrtrichtung für das Fahrzeug V₁, das auf der Fahrstraße 1312B fährt, die auf einer Unterseite von 17 veranschaulicht ist, betrachtet wird, da Rauschen von der Wand 1318 auf der Außenseite in der Fahrbahnbreitenrichtung durch Verarbeiten mit Priorität auf der Innenseite entfernt wird, zwei Fahrbahnendekandidaten 1712 und 1713 erhalten, die relativ kurz sind. Der Seitenstreifenblock 1316, der eine niedrige Stufe aufweist, ist als der Fahrbahnendekandidat in seinem inneren verbunden, jedoch liegen zwei diskontinuierliche Abschnitte des Seitenstreifenblocks 1316 vor. Da ein diskontinuierlicher Abschnitt eine Länge von weniger als 500 cm besitzt, was der Schwellenwert ist, und der weitere diskontinuierliche Abschnitt eine Länge von 500 cm besitzt, was der Schwellenwert oder mehr ist, werden ein Fahrbahnendekandidat 1714, wobei eine niedrige Stufe 1333 mit der weiteren verbunden ist, und der Fahrbahnendekandidat 1711, wobei die niedrige Stufe 1333 zur weiteren unterteilt ist, erzeugt.
<Fahrbahnendekandidaten-Verbindungsbedingung>
Als nächstes ist eine Bedingung zum Verbinden der erzeugten Fahrbahnendekandidaten in 18 veranschaulicht. Insbesondere ist eine Verbindung mit mehreren Klassifizierungen von Fahrbahnendekandidaten implementiert, jedoch sind Bedingungen zwischen einem Fall, in dem ein bewegter Körper in mehreren Klassifizierungen enthalten ist, und einem Fall in dem ein dreidimensionales Fahrstraßenteilungsobjekt enthalten ist, verschieden.
Insbesondere wird, falls der bewegte Körper in den mehreren Klassifizierungen von Fahrbahnendekandidaten enthalten ist, die Verbindung implementiert, selbst falls die Abweichung der horizontalen Position des Fahrbahnendes groß ist. Dies ist darauf zurückzuführen, dass erwartet wird, dass sich die horizontalen Position im Falle des bewegten Körpers im Vergleich zum Seitenstreifenblock oder der Wand wesentlich ändert, und in der vorliegenden Ausführungsform wird, obwohl die horizontale Position (die Entfernung in der Fahrbahnbreitenrichtung von einem weiteren Fahrbahnendekandidaten) durch ± 600 cm getrennt ist, die Position als ein Verbindungsziel des Fahrbahnendekandidaten erkannt. Hingegen werden in weiteren Fahrbahnendekandidaten, da die horizontale Position sich kaum so viel ändert, etwa ± 200 cm als das Verbindungsziel des Fahrbahnendekandidaten erkannt. Selbstverständlich wird im Falle einer Fahrstraße, die sich sanft ausbreitet, die Verbindung durchgeführt, wie die Dinge liegen. Im Falle des dreidimensionalen Fahrstraßenteilungsobjekts wird, da das dreidimensionale Objekt als eine Trennlinie verwendet wird, in die das Fahrzeug nicht einfahren kann, durch Anordnen des dreidimensionalen Objekts mit der horizontalen Position, die vom Seitenstreifenblock, der Wand, der Seitenrille oder dergleichen in vielen Fällen getrennt ist, die Verteilung der horizontalen Positionen bis zu ± 300 cm als das Verbindungsziel des Fahrbahnendekandidaten erkannt.
<Fahrbahnendekandidaten-Verbindungsbeispiele (1) bis (3)>
19 bis 21 veranschaulichen Verbindungsbeispiele der Fahrbahnendekandidaten in der Fahrbahnendekandidaten-Verbindungseinheit 320, die ferner die Verbindungsstraßenendekandidaten verbindet. Die Fahrstraßenteilungs-Bestimmungseinheit 330 bestätigt eine endgültige Fahrbahnendeposition und eine Klassifizierung unter Verwendung des Fahrbahnendeverbindungsergebnisses. In 19 bis 21 gibt eine dicke schwarze gestrichelte Linie das endgültige Ergebnis nach der Verbindung der Fahrbahnendekandidaten an.
19 ist ein Diagramm zum Beschreiben eines Beispiels (1), wobei mehrere Klassifizierungen von Fahrbahnenden verbunden sind.
Wenn ein linkes Fahrbahnende für das Fahrzeug V₀, das auf einer Oberseite von 19 veranschaulicht ist, betrachtet wird, tritt in diesem Fahrbahnende die Seitenrille 1313 bei einer Position 500 cm oder mehr von der Fahrtrichtung bei einer Stelle, bei der das Fahrbahnende der Seitenrille 1313 wie zwischen den Fahrbahnendekandidaten 1701 und 1704 unterbrochen ist, wieder aus und setzt sich der Deckel 1314, der die Seitenrille 1313 schließt, 500 cm oder mehr fort. Somit wird untersucht, ob die Verbindung in einer Richtung, in der die horizontale Position verschieden ist, durchgeführt werden kann oder nicht, jedoch ist der Fahrbahnendekandidat 1702 des Gebäudes 1315 bei einer Position vorhanden, die auf der Oberseite im Diagramm veranschaulicht ist, wobei die horizontale Position in Bezug auf die Fahrtrichtung um mehr als 200 cm getrennt ist.
Da allerdings die Entfernung größer als die Verbindungsbedingung ist, ist das Fahrbahnende kein aktuelles Verbindungsziel und wird ein endgültiges Ergebnis erhalten, in dem zwei Fahrbahnenden der Einzelseitennut 1313 vorhanden sind. Deshalb sind die Verbindungsergebnisse der Fahrbahnendekandidaten zwei schwarze gestrichelte Linien 1901 und 1902.
Hingegen ist das linke Fahrbahnende für das Fahrzeug V₁, das auf einer Unterseite von 19 gezeigt ist, zunächst die Wand 1318, und dann ist der Seitenstreifenblock 1316 vorhanden. Zunächst wird das Fahrbahnende der dreidimensionalen Objektkumulation 1331 auf der Wandseite verwendet, jedoch ist die niedrige Stufe 1333 vorhanden, die der Seitenstreifenblock vor dem Fahrbahnende ist. Da ein Trennabstand zwischen der Wand 1318 und dem Seitenstreifenblock 1316 kleiner als 200 cm ist, sind hier die Wand und der Seitenstreifenblock verbunden. Deshalb ist das Verbindungsergebnis der Fahrbahnendekandidaten eine schwarze gestrichelte Linie 1903.
<Fahrbahnendeverbindungsbeispiel, das ein Fahrzeug enthält>
20 ist ein Diagramm zum Beschreiben eines Fahrbahnendeverbindungsbeispiels, das ein Fahrzeug enthält.
20 veranschaulicht ein Verbindungsergebnis von Fahrbahnendekandidaten, die ein Fahrzeug enthalten, das ein bewegtes Objekt ist. Da das Fahrbahnende der Fahrstraße 1311, die auf einer Oberseite von 20 veranschaulicht ist, ähnlich 19 ist, wird lediglich das Fahrbahnende der Fahrstraße 1312, die auf einer Unterseite von 20 veranschaulicht ist, beschrieben. ein Fahrbahnendeverbindungsergebnis für ein rückwärtiges Fahrzeug, das auf der Fahrstraße 1312A fährt, ist auf einer Unterseite von 20 veranschaulicht.
In dem Beispiel, das in 20 veranschaulicht ist, ist ein Großteil der niedrigen Stufe (des Fahrbahnendemerkmals) 1333 des Seitenstreifenblocks 1316 auf der Außenseite in der Fahrbahnbreitenrichtung der Fahrstraße 1312 angeordnet, ist das Fahrzeug V₁ auf der Fahrstraße 1312A, die eine Innenspur ist, vorhanden und ist ein Fahrzeug V₂, das ein vorausfahrendes bewegtes Objekt ist, auf der Fahrstraße 1312B, die eine benachbarte Außenspur ist, vorhanden. Es ist bekannt, dass das Merkmal des bewegten Körpers V₂ ein bewegter Körper aufgrund einer Geschwindigkeit und einer Fahrzeugform des bewegten Körpers ist. In diesem Zustand sind im Fahrzeug V₁ zwei Typen von Merkmalen des Merkmals 1333 des Seitenstreifenblocks 1316 und des Merkmals 1332 des bewegten Körpers V₂ vorhanden und werden Verbindungskandidatenleitungen 1714 und 2001 für jede Merkmalsklassifizierung gezogen.
Ob die Verbindungskandidatenleitungen 1714 und 2001 des bewegten Körpers V₂ und des Seitenstreifenblocks 1316 miteinander verbunden werden sollen oder nicht wird im Vergleich mit der Verbindungsbedingung bestimmt, der in 18 veranschaulicht ist. Im Falle des Beispiels, das in 20 veranschaulicht ist, wird, da die horizontalen Positionen (der Trennabstand in der Fahrbahnbreitenrichtung) der Verbindungskandidatenleitungen 1714 und 2001 kleiner als 600 cm sind, eine schwarze gestrichelte Linie, die die Verbindungskandidatenleitung 1714 des bewegten Körpers V₂ und die Verbindungskandidatenleitung 2001 des Seitenstreifenblocks 1316 verbindet, als das Fahrbahnende 2002 des endgültigen Ergebnisses detektiert.
<Fahrbahnendeverbindungsbeispiel, das eine Fahrstraßenteilung enthält>
21 ist ein Diagramm zum Beschreiben eines Fahrbahnendeverbindungsbeispiels, das eine Fahrstraßenteilung enthält.
Ein Fahrbahnendeverbindungsbeispiel zum Verbinden des linken Fahrbahnendes des Fahrzeugs V₀, das auf einer Oberseite von 21 veranschaulicht ist, wird beschrieben. Im Gegensatz zum bisherigen Fall sind mehrere Dreieckpfosten 2101 auf der Fahrstraße 1311B derart angeordnet, dass allgemeine Fahrzeuge nicht in eine Baustelle einfahren. Deshalb werden, da zwei der Fahrbahnendekandidaten 1701 eines Teils der Seitenrille 1313 und der Fahrbahnendekandidat 2102, mit dem der Dreieckpfosten 2101, der die Fahrstraßenteilung ist, verbunden ist, auf der Innenseite in der Fahrbahnbreitenrichtung vorhanden sind, zwei Fahrbahnendekandidaten 1701 und 2102 verbunden und als ein Fahrbahnende 2111 des endgültigen Ergebnisses detektiert. Ein Fahrbahnendekandidat, der in einer Verbindungskomponente der Fahrstraßenteilung gebildet ist, wird von vornherein nicht als ein Verbindungsziel verarbeitet.
Anschließend sind im Hinblick auf das Fahrzeug V₁, das auf der Fahrstraße 1312 fährt, die auf einer Unterseite von 21 veranschaulicht ist, zwei Verbindungskandidaten 1711 und 1712 im Seitenstreifenblock 1316 und der Wand 1318 vorhanden. In diesem Fall werden, da die horizontalen Positionen (der Trennabstand in der Fahrbahnbreitenrichtung) von zwei Verbindungskandidaten 1711 und 1712 voneinander durch 200 cm oder mehr getrennt sind, zwei verschiedene Fahrbahnenden als nicht zu verbinden detektiert, obwohl zwei Verbindungskandidaten in der Tiefenrichtung (der Fahrzeugbewegungsrichtung) im Wesentlichen nicht getrennt sind.
<Fahrstraßenteilungs-Bestimmung>
Wenn mehrere Fahrbahnendeverbindungsergebnisse auf einer Seite vorhanden sind, wendet die Fahrstraßen-Bestimmungseinheit 300 bevorzugt ein Fahrbahnende auf einer Innenseite an und bestimmt die Klassifizierung des Fahrbahnendes für jede Tiefe. Die horizontale Position für jede Tiefe wird durch Implementieren dieser Bestimmung links und rechts bestimmt. Eine Kurvenanpassung wird unter Verwendung dieses Ergebnisses implementiert, um eine räumlich glatte Fahrstraßenteilung zu erhalten. Die Kurvenanpassung wird unter Verwendung von Zeitreiheninformationen implementiert und somit wird eine räumlich glätte und zeitlich stabile Position eines Fahrbahnendes berechnet.
<Warnungssteuereinheit>
22 ist ein Diagramm zum Beschreiben einer Konfiguration der Warnungssteuereinheit und 23 ist ein Diagramm, das Informationen über eine Warnung und eine Steuerungsmarge für die Fahrbahnendeklassifizierung veranschaulicht.
Die Warnungssteuereinheit 400 bestimmt, ob eine Warnsteuerung unter Verwendung des Ergebnisses der Fahrstraßenbestimmung, die der Klassifizierung entspricht, implementiert werden soll oder nicht, und implementiert eine endgültige Warnung und Fahrzeugsteuerung für den Fahrer. Die Warnungssteuereinheit 400 enthält eine Trägerfahrzeugverhalten-Vorhersageeinheit 410, eine Fahrbahnendeklassifizierungs-Kontakt- und Abweichungs-Bestimmungseinheit 420, eine Warneinheit 430 und eine Steuereinheit 440.
Die Trägerfahrzeugverhalten-Vorhersageeinheit 410 sagt eine Richtung und eine Position, in bzw. an der das Trägerfahrzeug fährt, in Übereinstimmung mit einem Lenkwinkel und einer Fahrzeuggeschwindigkeit des Fahrzeugs vorher. Die Fahrbahnendeklassifizierungs-Kontakt- und Abweichungs-Bestimmungseinheit 420 bestimmt am Fahrzeugverhalten, das durch die Trägerfahrzeugverhalten-Vorhersageeinheit 410 vorhergesagt wird, ob eine Möglichkeit des in Kontakt Gelangens mit dem Fahrbahnende vorhanden ist oder nicht. Die Warneinheit 430 und die Steuereinheit 440 implementieren eine geeignetere Steuerung durch Ändern einer Form des Verarbeitens der Warnung und der Steuerung in Übereinstimmung mit der Fahrbahnendeklassifizierung. Zum Beispiel ist, falls die Fahrbahnendeklassifizierung die Wand oder das Hindernis ist, dann, wenn das Fahrzeug mit der Wand oder dem Hindernis in Kontakt gelangt oder zusammenstößt, der Einfluss auf das Fahrzeug und einen Insassen sehr groß. Deshalb sind für eine derartige Fahrbahnendeklassifizierung, die wahrscheinlich einen großen Einfluss aufweist, eine frühe Warnung und Steuerung implementiert.
Zum Beispiel wird, wie in 23 veranschaulicht ist, für ein Objekt, dessen eine Fahrbahnendeklassifizierung eine Wand, ein Hindernis, eine verringernde Stufe (eine Seitenrille) oder dergleichen ist, die wahrscheinlich einen großen Einfluss aufweist, dann, wenn das Fahrzeug mit der Fahrbahn in Kontakt gelangt oder von ihr abkommt, eine Warnung zum Fahrer in einem Zustand ausgegeben, in dem die Position zwischen dem Fahrbahnende und dem Fahrzeug, das durch die Fahrstraßen-Bestimmungseinheit 300 erkannt wird, kleiner als 100 cm ist. Falls sich das Fahrzeug weiter einem Ziel nähert, wird, wenn der Trennabstand kleiner als 50 cm ist, die Fahrzeugsteuerung derart implementiert, dass das Fahrzeug nicht mit dem Fahrbahnende in Kontakt gelangt oder von der Fahrstraße abkommt.
Im Hinblick auf ein bewegtes Objekt (ein Fahrzeug oder dergleichen), das während des in Kontakt Gelangens einen größeren Einfluss aufweist als ein Hindernis, wird eine Warnung zum Fahrer ausgegeben, wenn die Entfernung kleiner als 150 cm ist, und wird ferner die Fahrzeugsteuerung implementiert, wenn die Entfernung kleiner als 75 cm ist. Allerdings können diese Variablen ein dynamisches Verfahren zum Verringern einer Breite in Übereinstimmung mit der Fahrzeuggeschwindigkeit sein und kann z. B. eine Einstellung durchgeführt werden, um ein Fahren zu ermöglichen, um sich absichtlich einer niedrigen Geschwindigkeit zu nähern. Insbesondere kann eine Entfernung eines Zahlenwerts mit einer niedrigen Geschwindigkeit von weniger als 20 km/h allmählich verringert werden. Im Falle von annähernd 0 km kann eine Steuerung derart implementiert werden, dass sie etwa die Hälfte des Werts ist, der in der Tabelle von 23 gezeigt ist, und kann somit eine Einstellung durchgeführt werden, um die Intention des Fahrers zu priorisieren.
Falls das Hindernis der Seitenstreifenblock 1316 ist, ist in vielen Fällen der Einfluss auf das Fahrzeug und den Insassen im Vergleich zu einem Fall, in dem das Fahrzeug mit der Wand, der verringernden Stufe oder dem bewegten Körper in Kontakt gelangt, relativ klein, z. B. gelangt es lediglich mit dem Reifen in Kontakt, wenn das Fahrzeug leicht in Kontakt gelangt. Die Warnung wird unter Berücksichtigung der Tatsache, dass ein Spiegel oder dergleichen, der sich von der Fahrzeugkarosserie erstreckt, bei einer Höhe ist, auf der er nicht in Kontakt gelangt, zu weniger als 80 cm gesetzt und die Fahrzeugsteuerung wird zu weniger als 40 cm gesetzt.
Im Hinblick auf das Nichtstufenfahrbahnende besteht aufgrund einer Differenz des Materials der Fahrbahnoberfläche eine Wahrscheinlichkeit, dass die Steuerung des Fahrzeugs verloren wird, wenn ein Abkommen vom Fahrbahnende in einem Hochgeschwindigkeitszustand auftritt. Allerdings besteht mit einer niedrigen Geschwindigkeit eine hohe Wahrscheinlichkeit, dass kein großes Problem auftritt. Somit wird die Warnung zu weniger als 50 cm gesetzt und wird die Fahrzeugsteuerung zu weniger als 20 cm gesetzt. Der Dreieckpfosten oder dergleichen, was das dreidimensionale Fahrstraßenteilungsobjekt ist, wird durch eine Berührung auch relativ weniger beschädigt. Somit wird die Warnung zu weniger als 80 cm gesetzt und wird die Fahrzeugsteuerung zu weniger als 20 cm gesetzt.
Wie oben beschrieben ist, werden die Warnung und ein Margenbetrag der Fahrzeugsteuerung in Übereinstimmung mit der Fahrbahnendeklassifizierung geändert und werden somit die Warnung und die Fahrzeugsteuerung derart implementiert, dass der Fahrer sich natürlicher und sicherer verhält, ohne die Fahrabsicht des Fahrers zu stören. Die Warnung und die Steuerung werden in Übereinstimmung mit der Entfernung der horizontalen Position, die für jede Fahrbahnendeklassifizierung gesetzt ist, implementiert. Falls das Fahrbahnende auf einer Seite durch die mehreren Typen von Fahrbahnenden gebildet ist, werden eine sicherere Warnung und Fahrzeugsteuerung durch Implementieren der Warnung und der Steuerung unter Verwendung eines Werts einer Klassifizierung realisiert, die eine größere Marge aufweist.
<Verarbeitungsablaufplan>
24 ist ein Ablaufplan zum Beschreiben von Inhalten einer Erkennungsverarbeitung, die durch die Bildverarbeitungsvorrichtung ausgeführt wird. In diesem Ablauf werden eine Verarbeitung des Detektierens eines Fahrbahnendes unter Verwendung einer Stereokamera und ferner ein Implementieren einer Warnsteuerung ausgeführt.
Zunächst werden durch die Stereokamera linke und rechte Bilder aufgenommen (SO1). Nachdem eine Parallelisierung des linken und des rechten Bilds und eine Empfindlichkeitskorrektur implementiert worden sind, wird durch Implementieren eines Stereoabgleichs ein Parallaxenbild erzeugt (SO2). Eine 3D-Punktgruppe, die ein Aggregat von Punkten bei dreidimensionalen Koordinaten einer Struktur in der Nähe des Fahrzeugs ist, wird unter Verwendung eines Ergebnisses des Stereoabgleichs und einer Kamerageometrie und einer Grundlinienlänge erfasst. Mehrere Klassifizierungen von Fahrbahnendemerkmalen werden erfasst, während das Parallaxenbild und die 3D-Punktgruppe in Kombination verwendet werden (S03). Ein Lenkwinkel, eine Gierrate und eine Fahrzeuggeschwindigkeit werden eingegeben, eine Schätzung eines Trägerfahrzeugverhaltens unter Verwendung eines Vierradmodells wird implementiert und das Trägerfahrzeugverhalten wird geschätzt (S04). Zum jetzigen Zeitpunkt kann das Trägerfahrzeugverhalten durch Erfassen einer relativen Position der Kamera unter Verwendung eines Merkmalspunkts, der von der Kamera erhalten wird, mit höherer Genauigkeit geschätzt werden. Unter Verwendung des geschätzten Trägerfahrzeugverhaltens und des erfassten Fahrbahnendemerkmals wird eine Karte der Fahrbahnendemerkmale erzeugt (S05).
Anschließend werden die Merkmale auf der Fahrbahnendemerkmalkarte verbunden. Die Verbindung der Merkmale wird in einer Fahrtrichtung eines Trägerfahrzeugs durchgeführt. Eine Verbindungsbedingung wird für jede Klassifizierung des Fahrbahnendes geändert und die Erzeugung eines Fahrbahnendekandidaten wird implementiert (S06). Anschließend wird bestimmt, ob die Fahrbahnendekandidaten, die verbunden sind und geradlinig werden, ferner verbunden werden sollen oder nicht, und wird das Fahrbahnende, das eine endgültige Fahrstraße wird, erkannt (S07). Auf der Grundlage des Erkennungsergebnisses des Fahrbahnendes wird bestimmt, ob das Trägerfahrzeug wahrscheinlich von der Fahrstraße abkommen wird oder nicht (S08). Auf der Grundlage des Bestimmungsergebnisses werden eine Warnung und eine Steuerung implementiert (S09).
Gemäß der Bildverarbeitungsvorrichtung der vorliegenden Ausführungsform wird die Karte der Fahrbahnendemerkmale aus den Fahrbahnendemerkmalen und dem Trägerfahrzeugverhalten erstellt, werden die Fahrbahnendekandidaten durch Ändern der Verbindungsbedingung für jede Klassifizierung des Fahrbahnendes erzeugt und werden die Fahrbahnendekandidaten auf der Grundlage der Verbindungsbedingung verbunden und als die Fahrbahnenden der Fahrstraße detektiert.
Eine Erkennungslogik, die die Fahrstraße im verwandten Gebiet analysiert, erkennt im Wesentlichen die Form der Fahrstraße, ohne die Klassifizierung des Fahrbahnendes festzulegen. Somit ist es schwierig, die Fahrbahnendeform in einer Umgebung geeignet zu detektieren, in der mehrere Klassifizierungen von Fahrbahnenden gemischt sind. Es besteht das Problem, dass es nicht möglich ist, geeignet zu bestimmen, ob die Fahrbahnenden verbunden werden sollen oder nicht, falls die Fahrbahnenden in einer vermischten Weise vorliegen und das Fahrbahnende nicht detektiert wird.
Gemäß der vorliegenden Erfindung ist es in einer komplizierten Fahrbahnendeumgebung, in der mehrere Typen von Objekten wie z. B. ein Seitenstreifenblock, eine Wand und eine Seitenrille gemischt sind, was im verwandten Gebiet schwierig ist, möglich, ein geeignetes Fahrbahnende durch bevorzugtes Verbinden derselben Klassifizierung von Fahrbahnendemerkmalen und geeignetes Bestimmen davon, ob das Fahrbahnende das zu verbindende Fahrbahnende ist oder nicht, in Übereinstimmung mit der Klassifizierung, stabil zu detektieren.
Während die Ausführungsform der vorliegenden Erfindung genau beschrieben wurde, ist die vorliegende Erfindung nicht auf die oben erwähnte Ausführungsform beschränkt und können verschiedene Änderungen des Entwurfs vorgenommen werden, ohne vom Gedanken der vorliegenden Erfindung, der in den Ansprüchen beschrieben ist, abzuweichen. Zum Beispiel wird die oben erwähnte Ausführungsform genau beschrieben, um ein einfaches Verständnis der vorliegenden Erfindung zu erleichtern, und ist nicht darauf beschränkt, notwendigerweise alle beschriebene Komponenten zu enthalten. Ein Teil der Komponenten einer bestimmten Ausführungsform kann in die Komponenten einer weiteren Ausführungsform eingesetzt werden und die Komponenten einer weiteren Ausführungsform können den Komponenten einer bestimmten Ausführungsform hinzugefügt werden. Zusätzlich können die Komponenten einer weiteren Ausführungsform zu den Komponenten der oben erwähnten Ausführungsform hinzugefügt, aus ihnen entfernt und für einen Teil davon substituiert werden.
Bezugszeichenliste

100: Sensoreinheit
110: Linke und rechte Kameraeinheit
120: Stereoabgleicheinheit
130: 3D-Punktgruppenerzeugungseinheit
150: Kameraeinheit
170: Kameraeinheit
180: Lidareinheit
200: Fahrbahnendeklassifizierungsmerkmal-Einheit
210: Fahrbahnendemerkmal-Extraktionseinheit
211: Kumulationseinheit für dreidimensionale Objekte (Wand, Hindernis)
212: Einheit bewegter Körper (Fahrzeug oder dergleichen)
213: Einheit für niedrige Stufen (Seitenstreifenblock)
214: Einheit für verringernde Stufen
215: Nichtstufenfahrbahnendeeinheit
216: Einheit für dreidimensionale Fahrstraßenteilungsobjekte
220: Trägerfahrzeugverhalten-Schätzungseinheit
221: Verhaltensschätzungs-Berechnungseinheit
222: Relativpositions- und Lage-Schätzungseinheit
223: Karteneigenpositions-Schätzungseinheit
224: Hochgenaue Kartenpositions-Schätzungseinheit
230: Fahrbahnendemerkmalkarten-Erzeugungseinheit
231: Fahrbahnendeerkennungszeitreihenkarten-Erzeugungseinheit
232: Eigenpositionsschätzungskarten-Erzeugungseinheit
233: Hochgenaue Karteninformations-Ergänzungs- und Aktualisierungs-Einheit
240: Innenmerkmalpriorisierungseinheit
250: Innenmerkmalklassifizierungs-Bestimmungseinheit
300: Fahrstraßen-Bestimmungseinheit
310: Verbindungsstraßenendekandidaten-Erzeugungseinheit
320: Fahrbahnendekandidaten-Verbindungseinheit
330: Fahrstraßenteilungs-Bestimmungseinheit
400: Warnungssteuereinheit
410: Trägerfahrzeugverhalten-Vorhersageeinheit
420: Fahrbahnendeklassifizierungs-Kontakt- und Abweichungs-Bestimmungseinheit
430: Warneinheit
440: Steuereinheit

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2009053818 A [0003]

Claims

Bildverarbeitungsvorrichtung, die ein Fahrbahnende einer Fahrstraße auf der Grundlage eines aufgenommenen Bilds einer fahrzeuginternen Kamera detektiert, wobei die Bildverarbeitungsvorrichtung Klassifizierungen von Objekten, die das Fahrbahnende bilden, aus dem aufgenommenen Bild erkennt und einen Parameter zum Detektieren des Fahrbahnendes in Übereinstimmung mit der Klassifizierung des Objekts ändert.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die fahrzeuginterne Kamera eine Stereokamera ist und die Bildverarbeitungsvorrichtung Merkmale der Objekte, die von der Stereokamera erhalten werden, auf einer Karte in Übereinstimmung mit einem Verhalten eines Trägerfahrzeugs wählt und eine Detektion des Fahrbahnendes unter Verwendung eines Wahlergebnisses auf der Karte durchführt.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Bildverarbeitungsvorrichtung mehrere Klassifizierungen der Objekte erkennt und eine Detektion des Fahrbahnendes durch gleichzeitiges Verwenden der Objekte der mehreren Klassifizierungen durchführt.
Bildverarbeitungsvorrichtung nach Anspruch 3, wobei die Bildverarbeitungsvorrichtung die Objekte derselben Klassifizierung aus mehreren Objekten, die aus dem aufgenommenen Bild erkannt werden, extrahiert und die Detektion des Fahrbahnendes durch Verbinden von Merkmalen der Objekte derselben Klassifizierung durchführt.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Bildverarbeitungsvorrichtung als eine Klassifizierung des Objekts eine Stufe zwischen einem Bereich, der bei einer Position, die niedriger als eine Fahrbahnoberfläche der Fahrstraße ist, vorhanden ist, und der Fahrstraße aus dem aufgenommenen Bild erkennt.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Bildverarbeitungsvorrichtung als eine Klassifizierung des Objekts eine Begrenzung zwischen der Fahrstraße und einem Bereich, der bei einer Position vorhanden ist, die dieselbe Höhenposition wie eine Fahrbahnoberfläche der Fahrstraße aufweist, unter Verwendung von Texturinformationen des aufgenommenen Bilds erkennt.
Bildverarbeitungsvorrichtung nach Anspruch 4, wobei die Bildverarbeitungsvorrichtung als eine Klassifizierung des Objekts ein dreidimensionales Objekt, das eine Fahrstraßenteilung anzeigt, aus dem aufgenommenen Bild erkennt und ein Intervall in einer Fahrtrichtung, in dem Merkmale der Objekte verbunden werden können, länger als ein Objekt einer verschiedenen Klassifizierung ist.
Bildverarbeitungsvorrichtung nach Anspruch 4, wobei die Bildverarbeitungsvorrichtung als eine Klassifizierung des Objekts ein dreidimensionales Objekt, das ein bewegter Körper ist, aus dem aufgenommenen Bild erkennt und ein Intervall in einer Fahrbahnbreitenrichtung, in dem Merkmale der Objekte verbunden werden können, größer als ein Objekt einer verschiedenen Klassifizierung ist.
Bildverarbeitungsvorrichtung nach Anspruch 2, wobei ein Verhalten des Trägerfahrzeugs unter Verwendung von Fahrzeuginformationen über das Trägerfahrzeug und des aufgenommenen Bilds der Stereokamera erkannt wird.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Bildverarbeitungsvorrichtung einen Schwellenwert einer Fahrbahnoberflächenhöhe beim Bestimmen der Konnektivität von Merkmalen der Objekte in Übereinstimmung mit der Klassifizierung des Objekts ändert.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Bildverarbeitungsvorrichtung einen Schwellenwert einer Mindestlänge zum Auswählen eines Merkmals des Objekts als einen Fahrbahnendekandidaten in Übereinstimmung mit der Klassifizierung des Objekts ändert.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Bildverarbeitungsvorrichtung einen Schwellenwert eines maximalen Intervalls zwischen den Objekten beim Bestimmen der Konnektivität von Merkmalen der Objekte in Übereinstimmung mit der Klassifizierung des Objekts ändert.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Bildverarbeitungsvorrichtung eine Steuerungsmarge für eine Warnung und eine Fahrzeugsteuerung in Übereinstimmung mit der Klassifizierung des Objekts ändert.
Bildverarbeitungsvorrichtung nach Anspruch 13, wobei, falls mehrere Klassifizierungen der Objekte, die das Fahrbahnende bilden, erkannt werden, eine größte Steuerungsmarge unter den mehreren Klassifizierungen der Objekte als die Steuerungsmarge für die Warnung und die Fahrzeugsteuerung verwendet wird.