DE112022001225T5 - Aussenumgebungs-erkennungsvorrichtung und aussenumgebungs-erkennungssystem - Google Patents

Abstract

Es wird eine Außenumgebungs-Erkennungsvorrichtung geschaffen, die selbst dann, wenn ein Bild verwendet wird, das durch eine Kamera mit einer Verschiebung bei der Entzerrung aufgenommen wird, einen dreidimensionalen Gegenstand, der um ein Trägerfahrzeug vorhanden ist, richtig detektieren kann. Eine Außenumgebungs-Erkennungsvorrichtung enthält Folgendes: einen Sensor, der eine Umgebung eines Fahrzeugs detektiert; eine Einheit zur Detektion eines dreidimensionalen Gegenstands, die auf der Grundlage von Außenumgebungsinformationen, die vom Sensor erfasst werden, einen Kandidaten für einen dreidimensionalen Gegenstand detektiert; eine Zuverlässigkeitsstufen-Berechnungseinheit, die unter Verwendung eines Zuverlässigkeitsstufen-Berechnungsmodells eine Wahrscheinlichkeit, dass ein Kandidat für einen dreidimensionalen Gegenstand, der auf der Grundlage der Außenumgebungsinformationen detektiert wird, die vom Sensor neu erfasst werden, ein fehlerhaft detektierter dreidimensionaler Gegenstand ist, bestimmt; eine Einheit zur Nachverfolgung eines dreidimensionalen Gegenstands, die fortfährt, den Kandidaten für einen dreidimensionalen Gegenstand nachzuverfolgen und zu detektieren, während ein Trägerfahrzeug fährt; eine Einheit zur Bestimmung eines fehlerhaft detektierten dreidimensionalen Gegenstands, die auf der Grundlage eines Detektionsergebnisses der Nachverfolgung bestimmt, ob der nachverfolgte Kandidat für einen dreidimensionalen Gegenstand ein fehlerhaft detektierter dreidimensionaler Gegenstand ist; eine Speichereinheit für einen fehlerhaft detektierten dreidimensionalen Gegenstand, die dann, wenn die Einheit zur Bestimmung eines fehlerhaft detektierten dreidimensionalen Gegenstands bestimmt, dass der Kandidat für einen dreidimensionalen Gegenstand ein fehlerhaft detektierter dreidimensionaler Gegenstand ist, zumindest einen Anteil der Außenumgebungsinformationen über den Kandidaten für einen dreidimensionalen Gegenstand speichert, wobei die Außenumgebungsinformationen in einem Zeitraum erhalten werden, in dem der Kandidat für einen dreidimensionalen Gegenstand nachverfolgt worden ist, bis bestimmt worden ist, dass er ein fehlerhaft detektierter dreidimensionaler Gegenstand ist; und eine Einheit zum Trainieren eines Zuverlässigkeitsstufen-Berechnungsmodells, die ein Zuverlässigkeitsstufen-Berechnungsmodell mit Informationen trainiert, die in

Description

• Technisches Gebiet
• Die vorliegende Erfindung bezieht sich auf eine Außenumgebungs-Erkennungsvorrichtung und ein Außenumgebungs-Erkennungssystem, die auf der Grundlage eines Bildes, das durch eine Fahrzeugbord-Stereokamera aufgenommen wird, einen dreidimensionalen Gegenstand detektieren, der um ein Trägerfahrzeug vorhanden ist.
• Hintergrundgebiet
• Eine Fahrzeugbord-Stereokamera ist eine Bildgebungsvorrichtung, die dreidimensionale Informationen über die Umgebung eines Trägerfahrzeugs erhält, indem eine Parallaxe zwischen einer linken und einer rechten Kamera bestimmt wird. Durch das genaue Detektieren eines dreidimensionalen Gegenstands, der um das Trägerfahrzeug vorhanden ist, auf der Grundlage der dreidimensionalen Informationen kann eine Fahrzeugsteuereinheit gemäß der Umgebung um das Trägerfahrzeug einen korrekten Alarm an den Fahrer ausgeben oder eine korrekte Steuerung für einen Ausweichvorgang ausführen.
• Aus der Patentliteratur 1 ist als Gegenstandsdetektionsvorrichtung bereits eine Technik zum Detektieren eines dreidimensionalen Gegenstands, der um das Trägerfahrzeug vorhanden ist, bekannt. Zum Beispiel führt die Zusammenfassung dieser Patentliteratur 1 beschreibende Inhalte auf, die „eine Gegenstandsdetektionsvorrichtung, die eine frühe Bestätigung von Detektionsergebnissen eines Zielobjekts und eine Verbesserung der Genauigkeit der Detektionsergebnisse erzielt“ betreffen. Die beschreibenden Inhalte sind wie folgt: „Eine Zielgegenstands-Erkennungseinheit (21) leitet Erkennungsinformationen ab, die einen Zustand angeben, der mindestens entweder die Position eines Zielgegenstands oder die Geschwindigkeit desselben enthält, wobei die Position und die Geschwindigkeit aus Sensorinformationen erkannt werden. Auf der Grundlage der Erkennungsinformationen, die zu einer ersten Beobachtungszeitvorgabe abgeleitet werden, sagt eine Vorhersageinheit (22) einen Zustand voraus, der mindestens entweder die Position des Zielgegenstands oder die Geschwindigkeit derselben zu einer zweiten Beobachtungszeitvorgabe, d. h. zur nächsten Beobachtungszeitvorgabe, enthält.
• Eine Bewertungsableitungseinheit leitet eine Bewertung gemäß einem Grad des Unterschieds zwischen einem Zustand des Zielgegenstands, der zur zweiten Beobachtungszeitvorgabe beobachtet wird, und einem nächsten Zustand des Zielgegenstands, der aus den Erkennungsinformationen vorhergesagt wird, die zur ersten Beobachtungszeitvorgabe abgeleitet werden, ab. Eine Zuverlässigkeitsstufen-Ableitungseinheit (23) verarbeitet Bewertungen über den Zielgegenstand statistisch, wobei die Bewertungen durch die Bewertungsableitungseinheit zu jeweiligen Beobachtungszeitvorgaben bis zur Gegenwart abgeleitet worden sind, wodurch eine Zuverlässigkeitsstufe abgeleitet wird. Wenn die Zuverlässigkeitsstufe gegebene Kriterien erfüllt, bestätigt eine Bestätigungseinheit (24), dass der Zielgegenstand, der der Zuverlässigkeitsstufe zugeordnet ist, tatsächlich vorhanden ist."
• Mit anderen Worten, gemäß der Gegenstandsdetektionsvorrichtung aus Patentliteratur 1 wird der Zustand zur aktuellen Zeit (zur zweiten Beobachtungszeitvorgabe) aus der Position und der Geschwindigkeit des Zielgegenstands (eines dreidimensionalen Gegenstands) zur vorhergehenden Zeit (zur ersten Beobachtungszeitvorgabe) geschätzt und gemäß einem Unterschied zwischen dem geschätzten Zustand und dem tatsächlich beobachteten Zustand wird die Bewertung des Zielgegenstands berechnet und daraufhin wird auf der Grundlage dieser Bewertung die Zuverlässigkeit des Zielgegenstands abgeleitet.
• Entgegenhaltungsliste
• Patentliteratur
• PTL 1: JP 2019-78554 A
• Zusammenfassung der Erfindung
• Technisches Problem
• Wegen ihrer Eigenschaften kann eine Stereokamera eine Ebene, die aus Farbe auf der Straßenoberfläche, einem Schatten, Schmutz auf der Straßenoberfläche und dergleichen gebildet ist, fehlerhaft als einen dreidimensionalen Gegenstand detektieren. Ursachen für eine derartige fehlerhafte Detektion enthalten einen Kalibrierungsfehler und eine Verschiebung bei der Entzerrung, die aus einer zeitabhängigen Verschlechterung entsteht. Wenn die Verschiebung bei der Entzerrung auftritt, wird ein fehlerhaft detektierter dreidimensionaler Gegenstand über mehrere Rahmen an derselben Position detektiert.
• Die Gegenstandsdetektionsvorrichtung aus Patentliteratur 1 berechnet die Bewertung des dreidimensionalen Gegenstands (des Zielgegenstands) durch einen Vergleich zwischen der Vorhersage, die zur vorhergehenden Zeit (zur ersten Beobachtungszeitvorgabe) gemacht worden ist, und der Beobachtung, die zur aktuellen Zeit (zur zweiten Beobachtungsvorgabe) gemacht wird. Wenn jedoch eine Stereokamera mit einer Verschiebung bei der Entzerrung verwendet wird, wenn die Bewertung durch das Verfahren aus Patentliteratur 1 berechnet wird, zeigt der Vergleich zwischen der Vorhersage des dreidimensionalen Gegenstands und der Beobachtung desselben keine Abweichung, wobei in diesem Fall das Ausschließen eines fehlerhaft detektierten dreidimensionalen Gegenstands unmöglich wird.
• Die vorliegenden Erfindung hat die Aufgabe, eine Außenumgebungs-Erkennungsvorrichtung und ein Außenumgebungs-Erkennungssystem zu schaffen, die selbst dann, wenn eine Stereokamera mit einer Verschiebung bei der Entzerrung verwendet wird, einen fehlerhaft detektierten dreidimensionalen Gegenstand als Rauschen von den detektierten dreidimensionalen Gegenständen ausschließen, wodurch sie einen dreidimensionalen Gegenstand, der um ein Trägerfahrzeug vorhanden ist, richtig detektieren können.
• Lösung des Problems
• Eine Außenumgebungs-Erkennungsvorrichtung, die Folgendes enthält: einen Sensor, der eine Umgebung eines Fahrzeugs detektiert, eine Einheit zur Detektion eines dreidimensionalen Gegenstands, die auf der Grundlage von Außenumgebungsinformationen, die vom Sensor erfasst werden, einen Kandidaten für einen dreidimensionalen Gegenstand detektiert; eine Zuverlässigkeitsstufen-Berechnungseinheit, die unter Verwendung eines Zuverlässigkeitsstufen-Berechnungsmodells eine Wahrscheinlichkeit, dass ein Kandidat für einen dreidimensionalen Gegenstand, der auf der Grundlage der Außenumgebungsinformationen detektiert worden ist, die vom Sensor neu erfasst worden sind, ein fehlerhaft detektierter dreidimensionaler Gegenstand ist, bestimmt; eine Einheit zur Nachverfolgung eines dreidimensionalen Gegenstands, die fortfährt, den Kandidaten für einen dreidimensionalen Gegenstand nachzuverfolgen und zu detektieren, während das Trägerfahrzeug fährt; eine Einheit zur Bestimmung eines fehlerhaft detektierten dreidimensionalen Gegenstands, die auf der Grundlage eines Detektionsergebnisses der Nachverfolgung bestimmt, ob der nachverfolgte Kandidat für einen dreidimensionalen Gegenstand ein fehlerhaft detektierter dreidimensionaler Gegenstand ist; eine Speichereinheit für einen fehlerhaft detektierten dreidimensionalen Gegenstand, die dann, wenn die Einheit zur Bestimmung eines fehlerhaft detektierten dreidimensionalen Gegenstands bestimmt, dass der Kandidat für einen dreidimensionalen Gegenstand ein fehlerhaft detektierter dreidimensionaler Gegenstand ist, zumindest einen Anteil der Außenumgebungsinformationen über den Kandidaten für einen dreidimensionalen Gegenstand speichert, wobei die Außenumgebungsinformationen in einem Zeitraum erhalten werden, in dem der Kandidat für einen dreidimensionalen Gegenstand nachverfolgt worden ist, bis bestimmt worden ist, dass er ein fehlerhaft detektierter dreidimensionaler Gegenstand ist; und eine Einheit zum Trainieren eines Zuverlässigkeitsstufen-Berechnungsmodells, die ein Zuverlässigkeitsstufen-Berechnungsmodell mit Informationen trainiert, die in der Speichereinheit für einen fehlerhaft detektierten dreidimensionalen Gegenstand gespeichert sind.
• Vorteilhafte Wirkungen der Erfindung
• Gemäß der Außenumgebungs-Erkennungsvorrichtung und dem Außenumgebungs-Erkennungssystem der vorliegenden Erfindung wird ein fehlerhaft detektierter dreidimensionaler Gegenstand selbst dann, wenn eine Stereokamera mit einer Verschiebung bei der Entzerrung verwendet wird, als Rauschen von den detektierten dreidimensionalen Gegenständen ausgeschlossen und daher kann ein dreidimensionaler Gegenstand, der um ein Trägerfahrzeug vorhanden ist, richtig detektiert werden.
• Kurzbeschreibung der Zeichnungen
• 1 ist ein Hardwarekonfigurationsdiagramm einer Außenumgebungs-Erkennungsvorrichtung gemäß einer ersten Ausführungsform.
• 2 ist ein Funktionsblockdiagramm der Außenumgebungs-Erkennungsvorrichtung der ersten Ausführungsform.
• 3 ist ein Ablaufplan, der Prozesse von der Außenumgebungs-Erkennungsvorrichtung der ersten Ausführungsform zeigt.
• 4 bildet ein Beispiel für ein Verfahren zum Detektieren eines dreidimensionalen Gegenstands ab.
• 5 bildet ein Beispiel für einen fehlerhaft detektierten dreidimensionalen Gegenstand ab.
• 6 ist ein Diagramm zum Erklären einer Verschiebung bei der Entzerrung.
• 7 bildet eine Relation zwischen einem Parallaxenwert und der Höhe eines dreidimensionalen Gegenstands ab.
• 8 ist ein Funktionsblockdiagramm eines Außenumgebungs-Erkennungssystems einer zweiten Ausführungsform.
• 9 bildet Umgebungen ab, in denen das Außenumgebungs-Erkennungssystem der zweiten Ausführungsform verwendet wird.
• 10 ist ein Funktionsblockdiagramm einer Datensammeleinheit der zweiten Ausführungsform.
• Beschreibung der Ausführungsformen
• Im Folgenden werden Ausführungsformen einer Außenumgebungs-Erkennungsvorrichtung und eines Außenumgebungs-Erkennungssystems der vorliegenden Erfindung unter Bezugnahme auf die Zeichnungen beschrieben.
• Erste Ausführungsform
• Zuerst wird eine Außenumgebungs-Erkennungsvorrichtung 100 gemäß einer ersten Ausführungsform der vorliegenden Erfindung als erstes unter Bezugnahme auf 1 bis 7 beschrieben.
• <Hardwarekonfiguration der Außenumgebungs-Erkennungsvorrichtung>
• 1 ist ein Hardwarekonfigurationsdiagramm der Außenumgebungs-Erkennungsvorrichtung 100 der ersten Ausführungsform. Die Außenumgebungs-Erkennungsvorrichtung 100 ist eine Fahrzeugbordvorrichtung, die Informationen über eine Außenumgebung, die aus einem Bild erkannt werden, das durch eine Fahrzeugbord-Stereokamera aufgenommen wird, über ein Steuereinheits-Bereichsnetz (CAN) an eine Fahrzeugsteuereinheit (elektronische Steuereinheit oder ECU) überträgt, die ein Lenksystem, ein Antriebssystem und ein Bremssystem des Fahrzeugs steuert. Die Außenumgebung, die durch die Außenumgebungs-Erkennungsvorrichtung 100 erkannt wird, enthält z. B. die Position einer weißen Linie auf der Straße, die Position und die Geschwindigkeit eines Fußgängers, die Position und die Geschwindigkeit eines anderen Fahrzeugs, andere dreidimensionale Gegenstände, Signale, Zeichen und Beleuchtungslampen.
• Wie in 1 gezeigt ist, enthält die Außenumgebungs-Erkennungsvorrichtung 100 eine linke Kamera 11 und eine rechte Kamera 12, die ein Bild einer Ansicht vor dem Fahrzeug aufnehmen, eine Kameraschnittstelle 101, die beide Kameras steuert und die das aufgenommene Bild erfasst, eine Arithmetikverarbeitungseinheit 102, die eine CPU oder dergleichen ist, eine Speichereinheit 103, die ein Halbleiterdatenspeicher oder dergleichen ist, und eine CAN-Schnittstelle 104, die Eingangs/Ausgangs-Daten zum/vom CAN handhabt. Es sei erwähnt, dass die Kameraschnittstelle 101, die Arithmetikverarbeitungseinheit 102, die Speichereinheit 103 und die CAN-Schnittstelle 104 Computereinheiten sind, die über einen internen Bus gekoppelt sind, und dass die Arithmetikverarbeitungseinheit 102 ein gegebenes Programm ausführt, um diverse Prozesse auszuführen, die später beschrieben werden. Eine Beschreibung dieser bekannten Techniken wird jedoch in der folgenden Beschreibung der vorliegenden Erfindung weggelassen.
• <Funktionsblockdiagramm der Außenumgebungs-Erkennungsvorrichtung 100>
• 2 ist ein Funktionsblockdiagramm der Außenumgebungs-Erkennungsvorrichtung 100 dieser Ausführungsform. Wie in 2 gezeigt ist, enthält die Außenumgebungs-Erkennungsvorrichtung 100 eine Sensoreinheit 1, eine Einheit 2 zur Detektion eines dreidimensionalen Gegenstands, eine Zuverlässigkeitsstufen-Berechnungseinheit 3, eine Einheit 4 zur Nachverfolgung eines dreidimensionalen Gegenstands, eine Einheit 5 zur Bestimmung eines fehlerhaft detektierten dreidimensionalen Gegenstands, eine Speichereinheit 6 für einen fehlerhaft detektierten dreidimensionalen Gegenstand und eine Einheit 7 zum Trainieren eines Zuverlässigkeitsstufen-Berechnungsmodells. Es sei erwähnt, dass insbesondere die bildenden Elemente, die in 2 gezeigt sind, mit Ausnahme der linken Kamera 11 und der rechten Kamera 12 Funktionen sind, wobei die Arithmetikverarbeitungseinheit 102 und die Speichereinheit 103 in 1 zusammenarbeiten, um sie zu implementieren.
• Im Folgenden wird jede Einheit unter Bezugnahme auf einen Ablaufplan aus 3 kurz beschrieben. Einzelheiten jeder Einheit werden später beschrieben.
• Zuerst verwendet in Schritt S1 die Sensoreinheit 1 eine Stereokamera, die aus der linken Kamera 11 und der rechten Kamera 12 besteht, um ein Abstandsbild zu erfassen, das durch eine Parallaxe eines linken Bildes PL und eines rechten Bildes PR erzeugt wird, die gleichzeitig aufgenommen werden.
• Anschließend detektiert in Schritt S2 die Einheit 2 zur Detektion eines dreidimensionalen Gegenstands auf der Grundlage des Abstandsbildes, das von der Sensoreinheit 1 erfasst wird, einen Kandidaten für einen dreidimensionalen Gegenstand und gibt Informationen über den detektierten Kandidaten für einen dreidimensionalen Gegenstand an die Zuverlässigkeitsstufen-Berechnungseinheit 3 und an die Einheit 4 zur Nachverfolgung eines dreidimensionalen Gegenstands aus.
• Um den Kandidaten für einen dreidimensionalen Gegenstand zu detektieren, schätzt die Einheit 2 zur Detektion eines dreidimensionalen Gegenstands zuerst einen Straßenoberflächenbereich durch Beobachten der Kontinuität in einer Tiefenrichtung auf dem Abstandsbild, das durch die Sensoreinheit 1 ausgegeben wird. Durch Ausschließen des geschätzten Straßenoberflächenbereichs aus dem Abstandsbild und Gruppieren von nahe beieinander liegenden Bereichen dreidimensionaler Gegenstände im restlichen Bereich kann die Einheit 2 zur Detektion eines dreidimensionalen Gegenstands die Position, die Höhe und die Breite des Kandidaten für einen dreidimensionalen Gegenstand berechnen. Ein Verfahren zur Berechnung eines dreidimensionalen Gegenstands ist nicht auf dieses Verfahren eingeschränkt und jedes gegebene Verfahren zur Berechnung eines dreidimensionalen Gegenstands kann eingesetzt werden. Die Einheit 2 zur Detektion eines dreidimensionalen Gegenstands gibt die berechnete Position, Höhe und Breite des Kandidaten für einen dreidimensionalen Gegenstand und ein Musterbild, d. h. das ausgeschnittene Bild des Kandidaten für einen dreidimensionalen Gegenstand, an die Zuverlässigkeitsstufen-Berechnungseinheit 3 und an die Einheit 4 zur Nachverfolgung eines dreidimensionalen Gegenstands aus.
• Es sei erwähnt, dass der Kandidat für einen dreidimensionalen Gegenstand, der in diesem Schritt durch die Einheit 2 zur Detektion eines dreidimensionalen Gegenstands detektiert wird, einen fehlerhaft detektierten dreidimensionalen Gegenstand enthält, der ein Ergebnis des fehlerhaften Detektierens einer Ebene, die kein dreidimensionaler Gegenstand ist, derart, dass sie ein dreidimensionaler Gegenstand ist, ist. Wenn z. B. aufgrund eines Kalibrierungsfehlers oder einer zeitabhängigen Verschlechterung der Stereokamera eine Verschiebung bei der Entzerrung zwischen der linken und der rechten Kamera auftritt, kann der Abstand zu einer Farbe auf der Straßenoberfläche wie etwa einem Fußgängerüberweg oder einer weißen Linie fehlerhaft detektiert werden und folglich wird ein derartiger Gegenstand in einigen Fällen fehlerhaft als ein dreidimensionaler Gegenstand detektiert, der aus der Straßenoberfläche hervorsteht. Es ist möglich, dass ein Schatten, ein Riss, Schmutz und dergleichen auf der Straßenoberfläche auf dieselbe Weise ebenfalls fehlerhaft detektiert werden können, und derartige fehlerhaft detektierte dreidimensionale Gegenstände müssen in nachfolgenden Prozessen korrekt ausgeschlossen werden.
• Aufgrund des Abschließens von Schritt 2 führt die Außenumgebungs-Erkennungsvorrichtung 100 gleichzeitig einen Prozess von Schritt S3, der zu einer herkömmlichen Technik äquivalent ist, und die Prozesse der Schritte S4 bis S8, die für die vorliegende Erfindung einzigartig sind, aus.
• In Schritt S3 berechnet die Zuverlässigkeitsstufen-Berechnungseinheit 3 eine Zuverlässigkeitsstufe eines Kandidaten für einen dreidimensionalen Gegenstand, der durch die Einheit 2 zur Detektion eines dreidimensionalen Gegenstands detektiert wird, wobei die Zuverlässigkeitsstufe eine Wahrscheinlichkeit, dass er ein dreidimensionaler Gegenstand ist, angibt. Wenn der Kandidat für einen dreidimensionalen Gegenstand tatsächlich ein dreidimensionaler Gegenstand ist, ist der Wert der Zuverlässigkeitsstufe hoch. Wenn der Kandidat für einen dreidimensionalen Gegenstand kein dreidimensionaler Gegenstand ist, das heißt, im Fall einer fehlerhaften Detektion, ist der Wert der Zuverlässigkeitsstufe niedrig. Diese Zuverlässigkeitsstufe wird berechnet, indem ein Musterbild des Kandidaten für einen dreidimensionalen Gegenstand in ein Zuverlässigkeitsstufen-Berechnungsmodell eingegeben wird. Als das Zuverlässigkeitsstufen-Berechnungsmodell wird ein Entscheidungsbaum verwendet, der bestimmt, ob ein eingegebenes Bild ein dreidimensionaler Gegenstand ist. Um das Musterbild zu bewerten, kann außerdem ein Modell des tiefgehenden Lernens verwendet werden, das einen Faltungsvorgang ausführt und schließlich ein Klassifizierungsproblem des Bestimmens, ob das Musterbild ein tatsächlicher dreidimensionaler Gegenstand oder ein fehlerhaft detektierter Gegenstand ist, löst. Ferner können außerdem zwei Arten von Modellen verwendet werden, wobei ein Bereich bezüglich des Abstands zum Trägerfahrzeug in zwei Teilbereiche, einen Fernbereich und einen Nahbereich, aufgeteilt wird und ein Modell für den Fernbereich und ein Modell für den Nahbereich für den Fernbereich bzw. den Nahbereich verwendet werden. Ferner können außerdem mehrere Arten von Modellen verwendet werden, wobei ein Bereich gemäß vorgegebener Indizes aufgeteilt wird und speziell dafür vorgesehene Modelle jeweils für die aufgeteilten Bereiche verwendet werden.
• In Übereinstimmung mit einer Zuverlässigkeitsstufe, die durch die Zuverlässigkeitsstufen-Berechnungseinheit 3 berechnet wird, wird bestimmt, ob der Kandidat für einen dreidimensionalen Gegenstand ein dreidimensionaler Gegenstand oder ein fehlerhaft detektierter Gegenstand ist, und lediglich für den Kandidaten für einen dreidimensionalen Gegenstand, für den bestimmt wird, dass er der dreidimensionale Gegenstand ist, werden Informationen über den dreidimensionalen Gegenstand an das CAN ausgegeben. Als ein Ergebnis kann die ECU eine Steuerung für den echten dreidimensionalen Gegenstand wie etwa Bremsen und Lenken für einen Ausweichvorgang ausführen.
• Indes verfolgt in Schritt S4 die Einheit 4 zur Nachverfolgung eines dreidimensionalen Gegenstands den Kandidaten für einen dreidimensionalen Gegenstand, der durch die Einheit 2 zur Detektion eines dreidimensionalen Gegenstands detektiert worden ist, nach. Die Einheit 4 zur Nachverfolgung eines dreidimensionalen Gegenstands, die Informationen über Kandidaten für einen dreidimensionalen Gegenstand, die in der Vergangenheit detektiert wurden, speichert, führt die Nachverfolgung durch Vergleichen von Informationen über den Kandidaten für einen dreidimensionalen Gegenstand, der im aktuellen Rahmen detektiert worden ist, mit Informationen über Kandidaten für einen dreidimensionalen Gegenstand, die in der Vergangenheit detektiert worden sind, durch.
• In Schritt S5 führt die Einheit 5 zur Bestimmung eines fehlerhaft detektierten dreidimensionalen Gegenstands unter Bezugnahme auf Nachverfolgungsinformationen über den dreidimensionalen Gegenstand, die von der Einheit 4 zur Nachverfolgung eines dreidimensionalen Gegenstands ausgegeben werden, auf der Grundlage einer Änderung der Form des nachverfolgten dreidimensionalen Gegenstands eine Bestimmung einer fehlerhaften Detektion durch. Eine fehlerhafte Detektion tritt wegen eines Parallaxenfehlers auf, der aus einer Verschiebung bei der Entzerrung der linken und der rechten Kamera entsteht, und der Einfluss des Parallaxenfehlers verändert sich abhängig vom Abstand zwischen dem Trägerfahrzeug und dem Kandidaten für einen dreidimensionalen Gegenstand. Wenn daher ein Kandidat für einen dreidimensionalen Gegenstand, der wegen einer Verschiebung bei der Entzerrung fehlerhaft detektiert wird, in einer Zeitreihe beobachtet wird, stellt die Beobachtung fest, dass sich die Form des Kandidaten für einen dreidimensionalen Gegenstand ändert. Wenn z. B. die Höhe des fehlerhaft detektierten Kandidaten für einen dreidimensionalen Gegenstand in der Zeitreihe beobachtet wird, ist der Einfluss des Parallaxenfehlers in einem Fernbereich, in dem ein Punkt auf der Straßenoberfläche an einer deutlich erhöhten Position beobachtet wird, groß, jedoch wird der Einfluss des Parallaxenfehlers kleiner, wenn sich das Trägerfahrzeug dem Kandidaten für einen dreidimensionalen Gegenstand nähert, und daher nimmt der Punkt eine tiefere Position ein. Im Gegensatz dazu ändert sich die Höhe eines dreidimensionalen Gegenstands, der nicht fehlerhaft detektiert wird, selbst dann, wenn sie in der Zeitreihe beobachtet wird, nicht. Durch das Beobachten einer Änderung der Höhe eines dreidimensionalen Gegenstands in der Zeitreihe kann daher bestimmt werden, ob der dreidimensionale Gegenstand ein fehlerhaft detektierter ist.
• In Schritt S6 speichert die Speichereinheit 6 für einen fehlerhaft detektierten dreidimensionalen Gegenstand Informationen über einen Kandidaten für einen dreidimensionalen Gegenstand, für den durch die Einheit 5 zur Bestimmung eines fehlerhaft detektierten dreidimensionalen Gegenstands bestimmt wird, dass er ein fehlerhaft detektierter dreidimensionaler Gegenstand ist. Die gespeicherten Informationen über einen dreidimensionalen Gegenstand werden an die Einheit 7 zum Trainieren eines Zuverlässigkeitsstufen-Berechnungsmodells ausgegeben und werden verwendet, um Parameter des Zuverlässigkeitsstufen-Berechnungsmodells zu aktualisieren, derart, dass das Zuverlässigkeitsstufen-Berechnungsmodell einen fehlerhaft detektierten dreidimensionalen Gegenstand bestimmen kann. Die Informationen über einen dreidimensionalen Gegenstand werden stückweise an die Einheit 7 zum Trainieren eines Zuverlässigkeitsstufen-Berechnungsmodells ausgegeben, wenn eine bestimmte Menge von Informationen über den fehlerhaft detektierten dreidimensionalen Gegenstand durch die Speichereinheit 6 für einen fehlerhaft detektierten dreidimensionalen Gegenstand gesammelt worden ist. Alternativ können die Informationen mit einer beliebigen vorgegebenen Zeitvorgabe ausgegeben werden.
• In Schritt S7 aktualisiert die Einheit 7 zum Trainieren eines Zuverlässigkeitsstufen-Berechnungsmodells Parameter des Zuverlässigkeitsstufen Berechnungsmodells. Unter Verwendung eines Musterbildes eines fehlerhaft detektierten dreidimensionalen Gegenstands, wobei das Musterbild von der Speichereinheit 6 für einen fehlerhaft detektierten dreidimensionalen Gegenstand ausgegeben wird, aktualisiert die Einheit 7 zum Trainieren eines Zuverlässigkeitsstufen-Berechnungsmodells Parameter des Modells, derart, dass das Modell den fehlerhaft detektierten dreidimensionalen Gegenstand richtig als einen fehlerhaft detektierten dreidimensionalen Gegenstand klassifiziert. Anschließend wird das aktualisierte Modell an die Zuverlässigkeitsstufen-Berechnungseinheit 3 ausgegeben, die ein Zuverlässigkeitsstufen-Berechnungsmodell zur Verwendung mit den neuesten Informationen aktualisiert. Als ein Ergebnis kann für einen fehlerhaft detektierten dreidimensionalen Gegenstand, bei dem ein herkömmliches Zuverlässigkeitsstufen-Berechnungsmodell versagt hat zu bestimmen, dass er ein fehlerhaft detektierter dreidimensionaler Gegenstand ist, in der nächsten und in den folgenden Runden der Bestimmung einer fehlerhaften Detektion, bei denen bei der Berechnung der Zuverlässigkeitsstufe die Zuverlässigkeitsstufe korrekt heruntergesetzt wird, um eine richtige Bestimmung einer fehlerhaften Detektion durchzuführen, richtig bestimmt werden, dass er ein fehlerhaft detektierter dreidimensionaler Gegenstand ist.
• Auf diese Weise kann durch das gleichzeitige Ausführen des Prozesses von Schritt S3 und der Prozesse der Schritte S4 bis S8 die Genauigkeit des Zuverlässigkeitsstufen-Berechnungsmodells verbessert werden, während eine Detektion eines dreidimensionalen Gegenstands zur Fahrzeugsteuerung ausgeführt wird. Im Folgenden werden die Prozesse der einzelnen Einheiten, die oben beschrieben sind, unter Bezugnahme auf 2 im Einzelnen beschrieben.
• <Sensoreinheit 1>
• Die Sensoreinheit 1 ist eine Stereokamera, die ein Abstandsbild erfasst, das durch eine Parallaxe erzeugt wird, und das Abstandsbild an die Einheit 2 zur Detektion eines dreidimensionalen Gegenstands ausgibt. Die Sensoreinheit 1 enthält die linke Kamera 11, die rechte Kamera 12, eine Abgleicheinheit 13 und eine Parallaxenberechnungseinheit 14.
• Die linke Kamera 11 und die rechte Kamera 12 sind Bildgebungsvorrichtungen, die mit gegebenen Abständen auf einem oberen Abschnitt der Innenfläche einer Windschutzscheibe oder dergleichen nebeneinander eingestellt sind, derart, dass sie ein Bild eines Bereichs vor dem Fahrzeug aufnehmen können. Die linke Kamera 11 nimmt ein linkes Bild PL auf, während die rechte Kamera 12 ein rechtes Bild PR aufnimmt.
• Wenn die linke und die rechte Kamera Bilder desselben Gegenstands aufnehmen, identifiziert die Abgleicheinheit 13 durch Abgleichen jeweilige Bildpositionen desselben Gegenstands auf dem linken und dem rechten Bild.
• Die Parallaxenberechnungseinheit 14 identifiziert eine Differenz zwischen den jeweiligen Positionen desselben Gegenstands auf dem linken und dem rechten Bild, wodurch ein Abstand gemessen und ein Parallaxenbild erzeugt wird. Insbesondere wird ein Dreieck spezifiziert, dessen Grundlinie als der Abstand zwischen der linken und der rechten Kamera definiert ist und dessen Spitzen als die jeweiligen Positionen desselben Gegenstands auf dem linken und dem rechten Bild definiert sind, und auf der Grundlage dieses Dreiecks wird durch Triangulation ein Parallaxenbild erzeugt.
• <Einheit 2 zur Detektion eines dreidimensionalen Gegenstands>
• Die Einheit 2 zur Detektion eines dreidimensionalen Gegenstands empfängt die Eingabe des Parallaxenbildes, das durch die Sensoreinheit 1 erzeugt wird, detektiert aus dem Parallaxenbild einen Kandidaten für einen dreidimensionalen Gegenstand und gibt Informationen über den detektierten Kandidaten für einen dreidimensionalen Gegenstand an die Zuverlässigkeitsstufen-Berechnungseinheit 3 und die Einheit 4 zur Nachverfolgung eines dreidimensionalen Gegenstands aus. Die Einheit 2 zur Detektion eines dreidimensionalen Gegenstands enthält eine Einheit 21 zur Extraktion eines dreidimensionalen Gegenstands und eine Einheit 22 zur Extraktion von Informationen über einen dreidimensionalen Gegenstand.
• Die Einheit 21 zur Extraktion eines dreidimensionalen Gegenstands extrahiert einen dreidimensionalen Gegenstand aus dem Parallaxenbild. Ein Verfahren zum Detektieren eines Kandidaten für einen dreidimensionalen Gegenstand aus dem Parallaxenbild ist in 4 gezeigt. Um einen Kandidaten für einen dreidimensionalen Gegenstand zu detektieren, schätzt die Einheit 2 zur Detektion eines dreidimensionalen Gegenstands zuerst einen Straßenoberflächenbereich aus dem Parallaxenbild. Wenn das Parallaxenbild aus einem Bild erzeugt wird, das durch die Kamera aufgenommen wird, das in 4(a) gezeigt ist, werden die Abstände zu einzelnen Pixeln durch eine Abstufung von Licht und Schatten angeben, die in 4(b) gezeigt ist. In einem Straßenoberflächenbereich von 4(b) ergeben Änderungen der vertikalen Positionen auf dem Bild allmähliche Änderungen der Parallaxenwerte, die in den einzelnen Pixeln gespeichert sind. Als ein Ergebnis ist der Straßenoberflächenbereich gleichmäßig hell gefärbt. Aus 4(b) ist außerdem zu sehen, dass sich andererseits ein dreidimensionaler Gegenstand wie etwa ein Fahrzeug in einem konstanten Abstand zum Trägerfahrzeug befindet und eine Ansammlung von Parallaxenwerten mit demselben Wert aufweist. Wenn eine v-Disparitätsabbildung mit einer horizontalen Achse d (Parallaxenwert) und einer vertikalen Achse v (vertikale Position auf dem Bild), die in 4(c) gezeigt ist, aus diesem Parallaxenbild erzeugt wird, ist zu sehen, dass ein dreidimensionaler Gegenstand wie etwa ein Fahrzeug als eine vertikale gerade Linie aufgezeichnet wird, währen der Straßenoberflächenbereich als eine nach rechts abfallende gerade Linie aufgezeichnet wird. Durch das Bestimmen des Parameters dieser nach rechts abfallenden geraden Linie können die Parallaxenwerte der Straßenoberfläche an den jeweiligen vertikalen Positionen auf dem Bild berechnet werden, und daher kann eine Position, an der Werte nahe an den Parallaxenwerten der Straßenoberfläche gespeichert sind, als der Straßenoberflächenbereich identifiziert werden, während die anderen Positionen als ein Bereich eines dreidimensionalen Gegenstands identifiziert werden können, das heißt, die beiden Bereiche können voneinander getrennt werden. Nachdem der Straßenoberflächenbereich und der Bereich eines dreidimensionalen Gegenstands voneinander getrennt worden sind, werden Bereiche eines dreidimensionalen Gegenstands, die nahe beieinander liegen, zusammen gruppiert, wodurch die Position, die Höhe und die Breite des Kandidaten für einen dreidimensionalen Gegenstand berechnet werden können. Ein Verfahren zur Berechnung eines dreidimensionalen Gegenstands ist nicht auf das obige Verfahren eingeschränkt und ein beliebiges gegebenes Verfahren zur Berechnung eines dreidimensionalen Gegenstands kann eingesetzt werden.
• Anschließend schneidet die Einheit 22 zur Extraktion von Informationen über einen dreidimensionalen Gegenstand auf der Grundlage der Position, der Höhe und der Breite des Kandidaten für einen dreidimensionalen Gegenstand, die durch die Einheit 21 zur Extraktion eines dreidimensionalen Gegenstands berechnet werden, ein Bild, das durch die Kamera aufgenommen wurde, wobei das Bild bezüglich der Position dem Kandidaten für einen dreidimensionalen Gegenstand entspricht, als ein Muster aus. Dieses Muster des Kandidaten für einen dreidimensionalen Gegenstand und Informationen über seine Position, Höhe und Breite werden an die Zuverlässigkeitsstufen-Berechnungseinheit 3 und an die Einheit 4 zur Nachverfolgung eines dreidimensionalen Gegenstands ausgegeben.
• <Einheit 4 zur Nachverfolgung eines dreidimensionalen Gegenstands>
• Die Einheit 4 zur Nachverfolgung eines dreidimensionalen Gegenstands verfolgt einen Kandidaten für einen dreidimensionalen Gegenstand, der durch die Einheit 2 zur Detektion eines dreidimensionalen Gegenstands detektiert wird, in der Zeitreihe nach, speichert Nachverfolgungsinformationen und gibt die Nachverfolgungsinformationen an die Einheit 5 zur Bestimmung eines fehlerhaft detektierten dreidimensionalen Gegenstands aus. Die Einheit 4 zur Nachverfolgung eines dreidimensionalen Gegenstands enthält eine Einheit 41 zum Speichern von Informationen über einen nachverfolgten dreidimensionalen Gegenstand, eine Einheit 42 zur Vorhersage der Position eines dreidimensionalen Gegenstands und eine Einheit 43 zum Abgleichen eines dreidimensionalen Gegenstands.
• Die Einheit 41 zum Speichern von Informationen über einen nachverfolgten dreidimensionalen Gegenstand speichert Beobachtungsinformationen über Kandidaten für einen dreidimensionalen Gegenstand, die in der Vergangenheit beobachtet wurden. Die gespeicherten Beobachtungsinformationen enthalten die Positionen, Höhen, Breiten und Musterbilder von Kandidaten für einen dreidimensionalen Gegenstand, die durch die Einheit 2 zur Detektion eines dreidimensionalen Gegenstands ausgegeben wurden. Demselben Kandidaten für einen dreidimensionalen Gegenstand wird dieselbe ID gegeben und Informationen über die Beobachtungszeit werden gleichzeitig gespeichert.
• Wenn die Einheit 43 zum Abgleichen eines dreidimensionalen Gegenstands bestimmt, dass ein Kandidat für einen dreidimensionalen Gegenstand, der im aktuellen Rahmen beobachtet wird, und ein Kandidat für einen dreidimensionalen Gegenstand, der in der Vergangenheit beobachtet und durch die Einheit 41 zum Speichern von Informationen über einen nachverfolgten dreidimensionalen Gegenstand gespeichert wurde, derselbe dreidimensionale Gegenstand sind, werden die Informationen über den dreidimensionalen Gegenstand im aktuellen Rahmen mit derselben ID wie derjenigen des Kandidaten für einen dreidimensionalen Gegenstand, der in der Vergangenheit beobachtet wurde, registriert.
• Die Einheit 42 zur Vorhersage der Position eines dreidimensionalen Gegenstands sagt eine Position voraus, an der ein Kandidat für einen dreidimensionalen Gegenstand, der durch die Einheit 41 zum Speichern von Informationen über einen nachverfolgten dreidimensionalen Gegenstand gespeichert wurde, im aktuellen Rahmen beobachtet wird. Die vorhergesagte Position wird auf der Grundlage des Verhaltens des Trägerfahrzeugs, das von dem Sensor erhalten wird, der am Trägerfahrzeug befestigt ist, berechnet. Wenn ein Kandidat für einen dreidimensionalen Gegenstand ein sich bewegender Gegenstand ist, ergibt das Berechnen der vorhergesagten Position lediglich aus dem Verhalten des Trägerfahrzeugs einen Berechnungsfehler. Um dies zu verhindern, kann die Bewegungsgeschwindigkeit des Kandidaten für einen dreidimensionalen Gegenstand aus dem Verhalten des Trägerfahrzeugs und der Position des Kandidaten für einen dreidimensionalen Gegenstand in der Vergangenheit berechnet werden und die berechnete Bewegungsgeschwindigkeit kann bei der Berechnung der vorhergesagten Position berücksichtigt werden.
• Die Einheit 43 zum Abgleichen eines dreidimensionalen Gegenstands gleicht identische Kandidaten für einen dreidimensionalen Gegenstand auf der Grundlage einer Position des Kandidaten für einen dreidimensionalen Gegenstand im aktuellen Rahmen, die durch die Einheit 42 zur Vorhersage der Position eines dreidimensionalen Gegenstands vorhergesagt wird, und einer Position eines Kandidaten für einen dreidimensionalen Gegenstand, die durch die Einheit 2 zur Detektion eines dreidimensionalen Gegenstands im aktuellen Rahmen detektiert wird, ab und registriert die abgeglichenen Kandidaten für einen dreidimensionalen Gegenstand mit der Einheit 41 zum Speichern von Informationen über einen nachverfolgten dreidimensionalen Gegenstand als Kandidaten für einen dreidimensionalen Gegenstand mit derselben ID. Wenn die Einheit 2 zur Detektion eines dreidimensionalen Gegenstands einen Kandidaten für einen dreidimensionalen Gegenstand nahe an der Position eines Kandidaten für einen dreidimensionalen Gegenstand, die durch die Einheit 42 zur Vorhersage der Position eines dreidimensionalen Gegenstands vorhergesagt wird, detektiert, werden beide Kandidaten für einen dreidimensionalen Gegenstand mit der Einheit 41 zum Speichern von Informationen über einen nachverfolgten dreidimensionalen Gegenstand als identische Kandidaten für einen dreidimensionalen Gegenstand registriert. Indem ferner die Höhe und die Breite eines Kandidaten für einen dreidimensionalen Gegenstand zusätzlich zu seiner Position berücksichtigt werden, kann lediglich der dreidimensionale Gegenstand mit derselben Größe wie derjenigen eines Kandidaten für einen dreidimensionalen Gegenstand, der in der Vergangenheit beobachtet wurde, mit der Einheit 41 zum Speichern von Informationen über einen nachverfolgten dreidimensionalen Gegenstand registriert werden. Außerdem kann eine Musterähnlichkeit unter Verwendung eines Musterbildes ebenfalls berücksichtigt werden.
• <Einheit 5 zur Bestimmung eines fehlerhaft detektierten dreidimensionalen Gegenstands>
• Die Einheit 5 zur Bestimmung eines fehlerhaft detektierten dreidimensionalen Gegenstands bestimmt, ob ein dreidimensionaler Gegenstand, der nachverfolgt wird, ein fehlerhaft detektierter dreidimensionaler Gegenstand ist, auf der Grundlage von Informationen über einen nachverfolgten dreidimensionalen Gegenstand, die durch die Einheit 4 zur Nachverfolgung eines dreidimensionalen Gegenstands gespeichert worden sind. Wenn bestimmt wird, dass der nachverfolgte dreidimensionale Gegenstand ein fehlerhaft detektierter dreidimensionaler Gegenstand ist, gibt die Einheit 5 zur Bestimmung eines fehlerhaft detektierten dreidimensionalen Gegenstands Informationen über einen dreidimensionalen Gegenstand an die Speichereinheit 6 für einen fehlerhaft detektierten dreidimensionalen Gegenstand aus. Die Einheit 5 zum Bestimmen eines fehlerhaft detektierten dreidimensionalen Gegenstands enthält eine Einheit 51 zur Analyse der Höhe eines dreidimensionalen Gegenstands und eine Einheit 52 zur Übertragung von Informationen über einen fehlerhaft detektierten dreidimensionalen Gegenstand.
• Die Einheit 51 zur Analyse der Höhe eines dreidimensionalen Gegenstands führt unter Verwendung von Höheninformationen über den Kandidaten für einen dreidimensionalen Gegenstand, der durch die Einheit 4 zur Nachverfolgung eines dreidimensionalen Gegenstands nachverfolgt wird, eine Bestimmung einer fehlerhaften Detektion durch.
• 5 zeigt ein Beispiel für einen fehlerhaft detektierten dreidimensionalen Gegenstand. Einer der Orte, an denen es wahrscheinlich ist, dass eine fehlerhafte Detektion auftritt, ist die Umgebung von Farbe auf der Straßenoberfläche wie etwa ein Fußgängerüberweg oder eine weiße Linie. Eine fehlerhafte Detektion tritt außerdem an einer Stelle auf, wo ein Schatten, ein Riss, Schmutz oder dergleichen auf der Straßenoberfläche gebildet sind. Ursachen für eine fehlerhafte Detektion enthalten einen Kalibrierungsfehler und eine Verschiebung bei der Entzerrung der Stereokamera, die aus einer zeitabhängigen Verschlechterung entsteht. 6(a) zeigt das linke Bild PL und das rechte Bild PR in einer regulären Situation, in der keine Verschiebung bei der Entzerrung auftritt, und 6(b) zeigt das linke Bild PL und das rechte Bild PR in einer anomalen Situation, in der eine Verschiebung bei der Entzerrung auftritt. In einem bestimmten Bereich, in dem eine sich diagonal erstreckende gerade Linie in einem Bild aufgenommen wird, tritt eine Verschiebung dD [Pixel] der Parallaxe auf. Wenn eine Neigung der geraden Linie θ [rad] ist und eine Verschiebung der Entzerrung dj [Pixel] ist, wird die Verschiebung der Parallaxe durch die Gleichung 1 berechnet. Eine Verschiebung der Höhe dY eines Zielgegenstands, die entsteht, wenn die Verschiebung dD der Parallaxe auftritt, wird durch die Gleichung 2 in Bezug auf die Höhe Y der Kamera berechnet. Wenn dieser Fehler, d. h. eine Verschiebung der Höhe, groß ist, wird das Vorhandensein eines Hindernisses gegen eine Parallaxe, die aus der Beobachtung der Straßenoberfläche erhalten wird, fehlerhaft detektiert.
  [Gleichung 1] $$dD=\frac{dj}{\text{tan}\theta }$$

  

  
  [Gleichung 2] $$dY=Y\frac{dD}{D+dD}$$

  
• Aus Gleichung 2 ist zu verstehen, dass sich die Verschiebung der Höhe dY des Zielgegenstands abhängig vom Wert einer Parallaxe D [Pixel] ändert. 7 zeigt ein Beispiel für eine Relation zwischen einem Parallaxenwert und der Höhe eines dreidimensionalen Gegenstands. Insbesondere dann, wenn der Parallaxenwert klein ist (wenn der Abstand zwischen dem Trägerfahrzeug und einem Kandidaten für einen dreidimensionalen Gegenstand groß ist), ist der Wert der Verschiebung dY der Höhe groß, wobei in diesem Fall eine Farbe auf der Straßenoberfläche wie etwa eine weiße Linie fehlerhaft als ein hoher dreidimensionaler Gegenstand detektiert wird. Wenn der Parallaxenwert zunimmt (wenn der Abstand zwischen dem Trägerfahrzeug und dem Kandidaten für einen dreidimensionalen Gegenstand abnimmt), nimmt der Wert der Verschiebung dY der Höhe ab, wobei in diesem Fall derselbe dreidimensionale Gegenstand, der im obigen Fall als ein hoher erkannt wird, als ein kurzer dreidimensionaler Gegenstand erkannt wird. Wenn die Höhe eines Kandidaten für einen dreidimensionalen Gegenstand, der sich dem Trägerfahrzeug nähert, in der Zeitreihe beobachtet wird, zeigt daher ein fehlerhaft detektierter dreidimensionaler Gegenstand wie etwa Farbe auf der Straßenoberfläche eine Veränderung, derart, dass seine Höhe abnimmt. Offenbar verändert der echte dreidimensionale Gegenstand seine Höhe selbst dann, wenn er sich dem Trägerfahrzeug nähert, überhaupt nicht. Wegen dieser Tatsache können der echte dreidimensionale Gegenstand und ein fehlerhaft detektierter dreidimensionaler Gegenstand durch das Beobachten eines Unterschieds der Höhenveränderung voneinander unterschieden werden.
• Die Einheit 52 zur Übertragung von Informationen über einen fehlerhaft detektierten dreidimensionalen Gegenstand überträgt Informationen über einen Kandidaten für einen dreidimensionalen Gegenstand, für den durch die Einheit 51 zur Analyse der Höhe eines dreidimensionalen Gegenstands bestimmt worden ist, dass er ein fehlerhaft detektierter dreidimensionaler Gegenstand ist, an die Speichereinheit 6 für einen fehlerhaft detektierten dreidimensionalen Gegenstand. Wenn die Position des Trägerfahrzeugs (GNSS-Informationen oder dergleichen) zu dem Zeitpunkt, in dem bestimmt wird, dass der Kandidat für einen dreidimensionalen Gegenstand der fehlerhaft detektierte dreidimensionale Gegenstand ist, erfasst werden kann, können Informationen über die Position des Trägerfahrzeugs ebenfalls ausgegeben werden. Wenn ferner Umgebungsinformationen zu dem Zeitpunkt, zu dem bestimmt wird, dass der Kandidat für einen dreidimensionalen Gegenstand der fehlerhaft detektierte dreidimensionale Gegenstand ist, erfasst werden können, wobei die Umgebungsinformationen die Zeit und einen Wetterzustand enthalten, können die Umgebungsinformationen ebenfalls ausgegeben werden.
• <Speichereinheit 6 für einen fehlerhaft detektierten dreidimensionalen Gegenstand>
• Die Speichereinheit 6 für einen fehlerhaft detektierten dreidimensionalen Gegenstand empfängt den Eingang von Informationen über einen Kandidaten für einen dreidimensionalen Gegenstand, für den durch die Einheit 5 zur Bestimmung eines fehlerhaft detektierten dreidimensionalen Gegenstands bestimmt worden ist, dass er ein fehlerhaft detektierter dreidimensionaler Gegenstand ist, und gibt die gespeicherten Informationen zu einer Zeitvorgabe zum Aktualisieren eines Zuverlässigkeitsstufen-Berechnungsmodells an die Einheit zum Trainieren eines Zuverlässigkeitsstufen-Berechnungsmodells aus. Die Speichereinheit 6 für einen fehlerhaft detektieren dreidimensionalen Gegenstand enthält eine Einheit 61 zum Speichern von Informationen über einen fehlerhaft detektierten dreidimensionalen Gegenstand und eine Einheit 62 zur Bestimmung einer Zeitvorgabe für ein erneutes Training.
• Die Einheit 61 zum Speichern von Informationen über einen fehlerhaft detektierten dreidimensionalen Gegenstand speichert Informationen über einen Kandidaten für einen dreidimensionalen Gegenstand, für den durch die Einheit 5 zur Bestimmung eines fehlerhaft detektierten dreidimensionalen Gegenstands bestimmt worden ist, dass er ein fehlerhaft detektierter dreidimensionaler Gegenstand ist. Die gespeicherten Informationen sind alle Einheiten von Strukturinformationen, die in der Zeitreihe in einem Zeitraum zwischen dem Zeitpunkt des erstmaligen Detektierens des Kandidaten für einen dreidimensionalen Gegenstand und dem Zeitpunkt der Bestimmung der fehlerhaften Detektion erhalten werden. Zeitreiheninformationen, die durch das Durchführen einer Abtastung in gegebenen Intervallen gemäß dem Abstand vom dreidimensionalen Gegenstand zum Trägerfahrzeug wie etwa 2 m vor dem Fahrzeug, 15 m vor dem Fahrzeug oder 1 m vor dem Fahrzeug erhalten werden, können ebenfalls gespeichert werden. Bis zum Zeitpunkt des Zusammenstoßes mit dem Trägerfahrzeug kann nicht lediglich die auf dem Abstand beruhende Abtastung, sondern außerdem eine auf der Zeit beruhende Abtastung durchgeführt werden, um die erhaltenen Zeitreiheninformationen zu speichern. Ferner können lediglich die Strukturinformationen bei der ersten Detektion des Kandidaten für einen dreidimensionalen Gegenstand gespeichert werden oder können lediglich die Informationen über einen gegebenen Abstand zum Trägerfahrzeug gespeichert werden.
• Wenn mehrere Zuverlässigkeitsstufen-Berechnungsmodelle vorhanden sind, können die notwendigen Informationseinheiten für jedes Modell klassifiziert und gespeichert werden. Wenn z. B. die zu verwendenden Modelle in Modelle für den Fernbereich und Modelle für den Nahbereich klassifiziert sind, kann ein Schwellenwert für einen Abstand zum Trägerfahrzeug eingestellt sein und Ferninformationen, die angeben, weiter als der Schwellenwert vom Trägerfahrzeug entfernt zu sein, und Nahinformationen, die angeben, sich näher als der Schwellenwert am Trägerfahrzeug zu befinden, können als getrennte Informationseinheiten gespeichert werden. Wenn die Informationen, die von der Einheit 52 zur Übertragung von Informationen über einen fehlerhaft detektierten Gegenstand ausgegeben werden, Informationen über die Position des Trägerfahrzeugs, die Zeit, einen Wetterzustand und dergleichen enthalten, können die Modelle auf der Grundlage derartiger Informationen klassifiziert und gespeichert werden.
• Die Einheit 62 zur Bestimmung einer Zeitvorgabe für ein erneutes Training gibt die gespeicherten Informationen zu einer Zeitvorgabe zum Aktualisieren eines Zuverlässigkeitsstufen-Berechnungsmodells an die Einheit zum Trainieren eines Zuverlässigkeitsstufen-Berechnungsmodells aus. Das Modell wird zu einem Zeitpunkt aktualisiert, zu dem eine gegebene Anzahl von Dateneinheiten in der Einheit 61 zum Speichern von Informationen über einen fehlerhaft detektierten dreidimensionalen Gegenstand gesammelt ist. Anstatt die Aktualisierungszeitvorgabe abhängig von der Sammlung einer gegebenen Anzahl von Dateneinheiten zu bestimmen, kann ein Schwellenwert für eine verstrichene Zeit ausgehend von der vorhergehenden Modellaktualisierung eingestellt sein und die Aktualisierungszeitvorgabe kann auf der Grundlage des eingestellten Schwellenwertes bestimmt werden. Alternativ kann die Aktualisierungszeitvorgabe auf der Grundlage des Verhaltens des Trägerfahrzeugs wie etwa seines Anhalte- oder Einparkvorgangs bestimmt werden.
• Wenn die Informationen, die durch die Einheit 52 zur Übertragung von Informationen über einen fehlerhaft detektierten dreidimensionalen Gegenstand ausgegeben werden, Informationen über die Position des Trägerfahrzeugs, die Zeit, einen Wetterzustand und dergleichen enthalten, kann die Aktualisierungszeitvorgabe auf der Grundlage derartiger Informationen bestimmt werden. Wenn z. B. viele Daten ausgegeben werden, die Regenwetter angeben, und anschließend Daten ausgegeben werden, die sonniges Wetter angeben, kann angenommen werden, dass sich die Umgebung um das Trägerfahrzeug von einem Regenwetterzustand in einen Zustand mit sonnigem Wetter geändert hat. Dies führt zu einer Beurteilung, dass eine Wahrscheinlichkeit, in der Zukunft Regenwetterdaten zu sehen, niedrig ist, wobei ein erneutes Trainieren eines Modells, das für eine regnerische Umgebung verwendet wird, unter Verwendung der Regenwetterdaten, die bis zur Gegenwart gesammelt worden sind, gestartet werden kann.
• <Einheit 7 zum Trainieren eines Zuverlässigkeitsstufen-Berechnungsmodells>
• Die Einheit 7 zum Trainieren eines Zuverlässigkeitsstufen-Berechnungsmodells aktualisiert Parameter eines Zuverlässigkeitsstufen-Berechnungsmodells und enthält eine Modellspeichereinheit 71, eine Modelltrainingseinheit 72 und eine Modellverifizierungseinheit 73. Die Einheit 7 zum Trainieren eines Zuverlässigkeitsstufen-Berechnungsmodells bewirkt, dass ein Modell, das durch die Zuverlässigkeitsstufen-Berechnungseinheit 3 verwendet wird, Informationen über einen fehlerhaft detektierten dreidimensionalen Gegenstand neu lernt, wodurch die Genauigkeit der Zuverlässigkeitsstufenberechnung verbessert wird.
• Die Modellspeichereinheit 71 speichert dasselbe Modell als das Modell, das durch die Zuverlässigkeitsstufen-Berechnungseinheit 3 verwendet wird.
• Wenn mehrere Modelle durch die Zuverlässigkeitsstufen-Berechnungseinheit 3 verwendet werden, werden alle Einheiten von Modellinformationen gespeichert. Ein Modell, dessen Parameter aktualisiert werden, und ein Modell, dessen Parameter nicht aktualisiert werden, können in Übereinstimmung mit der Häufigkeit einer fehlerhaften Detektion eingestellt werden und lediglich die Informationen über das Modell, dessen Parameter aktualisiert werden, können gespeichert werden.
• Die Modelltrainingseinheit 72 aktualisiert Parameter eines Modells, das durch die Modellspeichereinheit 71 gespeichert worden ist, zu einem Zeitpunkt, zu dem die Speichereinheit 6 für einen fehlerhaft detektierten dreidimensionalen Gegenstand Daten für ein zusätzliches Training an die Modelltrainingseinheit 72 überträgt. Wenn mehrere Modelle vorhanden sind, wird eines davon ausgewählt und wird dem zusätzlichen Training unterzogen. Außerdem können mehrere Modelle gleichzeitig einem parallel ausgeführten, zusätzlichen Training unterzogen werden.
• Die Modellverifizierungseinheit 73 empfängt Informationen über Modelle, die durch die Modelltrainingseinheit 72 einem zusätzlichen Training unterzogen worden sind, und verifiziert, ob im Prozess des zusätzlichen Trainings ein fehlerhaftes Training ausgeführt worden ist. Zu diesem Zweck empfängt die Modellverifizierungseinheit 73 ein Musterbild eines Kandidaten für einen dreidimensionalen Gegenstand zur Verifizierung von der Zuverlässigkeitsstufen-Berechnungseinheit 3, berechnet eine Zuverlässigkeitsstufe für den Kandidaten für einen dreidimensionalen Gegenstand und prüft, ob die berechnete Zuverlässigkeitsstufe und das Verhalten des Trägerfahrzeugs miteinander konsistent sind. Wenn z. B. das Trägerfahrzeug nicht abbremst oder anhält (der Fahrer oder das aktuell ablaufende Modell, dessen Parameter noch nicht aktualisiert worden sind, bestimmt, dass der dreidimensionale Gegenstand kein echter dreidimensionaler Gegenstand ist), obwohl eine hohe Zuverlässigkeitsstufe für einen dreidimensionalen Gegenstand vor dem Trägerfahrzeug berechnet wird (mit Konfidenz angenommen wird, dass ein dreidimensionaler Gegenstand vor dem Trägerfahrzeug ein echter dreidimensionaler Gegenstand ist), wird bestimmt, dass eine hohe Wahrscheinlichkeit besteht, dass das zusätzliche Training wiedergegeben hat, dass eine genaue Berechnung der Zuverlässigkeitsstufe unmöglich ist. In einem derartigen Fall wird die Verifizierung für einen gegebenen Zeitraum oder eine gegebene Anzahl von Wiederholungen durchgeführt und lediglich dann, wenn bestimmt wird, dass kein fehlerhaftes zusätzliches Training ausgeführt wird, wird ein verifiziertes Modell an die Zuverlässigkeitsstufen-Berechnungseinheit 3 ausgegeben. Wenn bestimmt wird, dass ein fehlerhaftes zusätzliches Training ausgeführt wird, werden Abstellmaßnahmen ergriffen, die das erneute Starten des Trainings von Beginn an und das Löschen der Informationen über einen fehlerhaft detektierten dreidimensionalen Gegenstand, wobei die Informationen aktuell von der Speichereinheit 6 für einen fehlerhaft detektieren dreidimensionalen Gegenstand empfangen werden, und das Nicht-Verwenden der Informationen für ein zukünftiges zusätzliches Training enthalten.
• Wenn mehrere Modell verwendet werden, kann die Konsistenz zwischen den mehreren Modellen verifiziert werden. Wenn z. B. dann, wenn zwei Arten von Modellen, ein Modell für den Fernbereich und ein Modell für den Nahbereich, an einer Position verwendet werden, an der ein Kandidat für einen dreidimensionalen Gegenstand vorhanden ist, unter Verwendung des Modells für den Fernbereich bestimmt wird, dass ein Kandidat für einen dreidimensionalen Gegenstand ein fehlerhaft detektierter dreidimensionaler Gegenstand ist, jedoch unter Verwendung des Modells für den Nahbereich bestimmt wird, dass er kein fehlerhaft detektierter dreidimensionaler Gegenstand ist, gibt dies eine Wahrscheinlichkeit an, dass die Modelle nicht richtig trainiert sind. Aus diesem Grund kann die Konsistenz der Bestimmungsergebnisse zwischen mehreren Modellen geprüft werden.
• Wie oben beschrieben ist, wird gemäß der Außenumgebungs-Erkennungsvorrichtung dieser Ausführungsform selbst dann, wenn eine Stereokamera mit einer Verschiebung bei der Entzerrung verwendet wird, ein fehlerhaft detektierter dreidimensionaler Gegenstand als Rauschen von den detektierten dreidimensionalen Gegenständen ausgeschlossen und daher kann ein dreidimensionaler Gegenstand, der um das Trägerfahrzeug vorhanden ist, richtig detektiert werden.
• Zweite Ausführungsform
• Ein Außenumgebungs-Erkennungssystem gemäß einer zweiten Ausführungsform, wobei das Außenumgebungs-Erkennungssystem mehrere Fahrzeugbord-Außenumgebungs-Erkennungsvorrichtungen und einen externen Server enthält, die durch Drahtloskommunikation verbunden sind, wird anschließend unter Bezugnahme auf 8 bis 10 beschrieben. In der folgenden Beschreibung wird eine redundante Erklärung gemeinsamer Punkte mit der ersten Ausführungsform weggelassen.
• <Funktionsblockdiagramm des Außenumgebungs-Erkennungssystems>
• 8 ist ein Funktionsblockdiagramm des Außenumgebungs-Erkennungssystems der zweiten Ausführungsform, das eine Außenumgebungs-Erkennungsvorrichtung 100A und einen externen Server 200 enthält, die durch Drahtloskommunikation verbunden sind. Es sei erwähnt, dass, obwohl eine Konfiguration in 8 gezeigt ist, in der eine Außenumgebungs-Erkennungsvorrichtung 100A mit dem externen Server 200 drahtlos verbunden ist, mehrere Außenumgebungs-Erkennungsvorrichtungen 100A mit dem externen Server 200 drahtlos verbunden sein können.
• Wie in 8 gezeigt ist, enthält die Außenumgebungs-Erkennungsvorrichtung 100A dieser Ausführungsform die Speichereinheit 6 für einen fehlerhaft detektierten dreidimensionalen Gegenstand und die Einheit 7 zum Trainieren eines Zuverlässigkeitsstufen-Berechnungsmodells, die in der Außenumgebungs-Erkennungsvorrichtung 100 der ersten Ausführungsform enthalten sind, nicht und weist eine Konfiguration auf, in der die Funktionen, die der Speichereinheit 6 für einen fehlerhaft detektierten dreidimensionalen Gegenstand und der Einheit 7 zum Trainieren eines Zuverlässigkeitsstufen-Berechnungsmodells entsprechen, an eine Datensammeleinheit 8 des externen Servers 200 übertragen werden. Informationen über einen Kandidaten für einen dreidimensionalen Gegenstand, für den durch die Einheit 51 zur Analyse der Höhe eines dreidimensionalen Gegenstands bestimmt wird, dass er ein fehlerhaft detektierter dreidimensionaler Gegenstand ist, wobei diese Informationen in der Außenumgebungs-Erkennungsvorrichtung 100 in der ersten Ausführungsform an die Speichereinheit 6 für einen fehlerhaft detektierten dreidimensionalen Gegenstand übertragen werden, werden daher in dieser Ausführungsform an die Datensammeleinheit 8 des externen Servers 200 übertragen.
• Wenn sie die Informationen über den fehlerhaft detektierten dreidimensionalen Gegenstand empfangen hat, trainiert die Datensammeleinheit 8 ein Zuverlässigkeitsstufen-Berechnungsmodell auf der Grundlage der Informationen neu, verifiziert die Vorgänge des erneut trainierten Modells und verteilt anschließend das neueste Modell (das Modell, das erneut trainiert und bezüglich seiner Vorgänge verifiziert worden ist) an die Außenumgebungs-Erkennungsvorrichtung 100A von jedem Fahrzeug. Wenn eine Modellaktualisierungsanforderung von der Außenumgebungs-Erkennungsvorrichtung 100A von jedem Fahrzeug empfangen wird, gibt die Datensammeleinheit 8 das Modell an die Zuverlässigkeitsstufen-Berechnungseinheit 3 aus.
• Vorteile des Außenumgebungs-Erkennungssystems dieser Ausführungsform, das eine Verbindung mit dem externen Server 200 anbietet, werden unter Bezugnahme auf 9 beschrieben. Wie in 9 gezeigt ist, werden im Außenumgebungs-Erkennungssystem dieser Ausführungsform Informationen von der Außenumgebungs-Erkennungsvorrichtung 100A von jedem Fahrzeug, das in diversen Umgebungen wie etwa einem städtischen Gebiet, einer Schnellstraße, bei Regenwetter, bei sonnigem Wetter, mit Gegenlicht und bei Nacht fährt, durch die Datensammeleinheit 8 des externen Servers 200 gesammelt. Dies ermöglicht, dass der externe Server 200 ein Zuverlässigkeitsstufen-Berechnungsmodell in ein Modell mit hoher Genauigkeit trainiert, das unter Verwendung einer breiten Auswahl von Daten mit vielen Arten von Umgebungen umgehen kann.
• Weil eine fehlerhafte Detektion, die aufgrund der Umgebung um das Fahrzeug wie etwa des Wetters, der Zeit und der Art einer Straße, auf der ein Fahrzeug fährt (Straßen in städtischen Gebieten, Autobahnen, Nebenstraßen, usw.) leicht auftritt, eine Tendenz aufweist, die sich abhängig von der Umgebung ändert, kann ein Fall des Haltens mehrerer Zuverlässigkeitsberechnungsmodelle, die für jede Umgebungsbedingung spezialisiert sind, in Betracht gezogen werden. Zum Beispiel können ein Regenwettermodell, das für eine regnerische Umgebung verwendet wird, ein Nachtmodell für die ausschließliche Verwendung zur Nachtzeit und dergleichen in Betracht gezogen werden. Diverse Daten, die von mehreren Fahrzeugen gesammelt werden, werden für einzelne Umgebungen klassifiziert (tagsüber/nachts, sonniges Wetter/Regenwetter, städtisches Gebiet/Schnellstraße, usw.) und ein speziell dafür vorgesehenes Modell wird für jede klassifizierte Datengruppe trainiert. Dies ermöglicht das Trainieren eines Zuverlässigkeitsstufen-Berechnungsmodells, das für eine Zielumgebung spezialisiert ist. Jedes Fahrzeug lädt in Übereinstimmung mit der Position des Fahrzeugs, der Zeit, dem Wetter und dergleichen ein optimales Zuverlässigkeitsstufen-Berechnungsmodell herunter und verwendet es und kann daher ein Zuverlässigkeitsstufen-Berechnungsmodell mit einer höheren Genauigkeit verwenden und eine fehlerhafte Detektion korrekt ausschließen, womit es Fälle von Fehlalarm/fehlerhafter Steuerung verringern kann. Außerdem kann ein Zuverlässigkeitsstufen-Berechnungsmodell, das für einen Ort spezialisiert ist, an dem das Trägerfahrzeug nie zuvor gefahren ist, ebenfalls verwendet werden. Für eine Umgebung, in der das Fahrzeug zum ersten Mal fährt, kann daher eine korrekte Zuverlässigkeitsstufenberechnung ausgeführt werden.
• <Datensammeleinheit 8>
• Wenn sie Informationen über einen Kandidaten für einen dreidimensionalen Gegenstand empfängt, für den durch die Einheit 5 zur Bestimmung eines fehlerhaft detektierten dreidimensionalen Gegenstands der Außenumgebungs-Erkennungsvorrichtung 100A von einem beliebigen der Fahrzeug bestimmt wird, dass er ein fehlerhaft detektierter dreidimensionaler Gegenstand ist, trainiert die Datensammeleinheit 8, die im externen Server 200 enthalten ist, ein Zuverlässigkeitsstufen-Berechnungsmodell auf der Grundlage der empfangenen Informationen neu und verteilt ein trainiertes Zuverlässigkeitsstufen-Berechnungsmodell an die Außenumgebungs-Erkennungsvorrichtung 100A von jedem Fahrzeug. Wie in 10 gezeigt ist, enthält die Datensammeleinheit 8 eine Einheit 81 zum Empfang von Informationen über einen fehlerhaft detektierten dreidimensionalen Gegenstand, eine Einheit 82 zum Speichern von Informationen über einen fehlerhaft detektierten dreidimensionalen Gegenstand, eine Einheit 83 zur Bestimmung einer Zeitvorgabe für ein erneutes Training, eine Modellspeichereinheit 84, eine Modelltrainingseinheit 85, eine Modellverifizierungseinheit 86 und eine Modellausgabeeinheit 87.
• Die Einheit 82 zum Speichern von Informationen über einen fehlerhaft detektierten dreidimensionalen Gegenstand und die Einheit 83 zur Bestimmung einer Zeitvorgabe für ein erneutes Training entsprechen bezüglich ihrer Funktion der Speichereinheit 6 für einen fehlerhaft detektierten dreidimensionalen Gegenstand und die Modellspeichereinheit 84, die Modelltrainingseinheit 85 und die Modellverifizierungseinheit 86 entsprechen bezüglich ihrer Funktion der Einheit 7 zum Trainieren eines Zuverlässigkeitsstufen-Berechnungsmodells der ersten Ausführungsform. Jede Einheit wird im Folgenden der Reihe nach beschrieben.
• Die Einheit 81 zum Empfang von Informationen über einen fehlerhaft detektierten dreidimensionalen Gegenstand empfängt Informationen, die von der Einheit 5 zur Bestimmung eines fehlerhaft detektierten dreidimensionalen Gegenstands übertragen werden, und speichert die empfangenen Informationen in der Einheit 82 zum Speichern von Informationen über einen fehlerhaft detektierten dreidimensionalen Gegenstand. Die empfangenen Informationen sind alle Einheiten von Strukturinformationen, die in der Zeitreihe in einem Zeitraum zwischen dem Punkt des erstmaligen Detektierens eines dreidimensionalen Gegenstands und dem Punkt des Durchführens der Bestimmung einer fehlerhaften Detektion erhalten werden.
• Die Informationen können Zeitreiheninformationen enthalten, die durch das Durchführen einer Abtastung in gegebenen Intervallen gemäß dem Abstand vom dreidimensionalen Gegenstand zum Trägerfahrzeug wie etwa 2 m vor dem Fahrzeug, 15 m vor dem Fahrzeug oder 1 m vor dem Fahrzeug erhalten werden. Bis zum Zeitpunkt des Zusammenstoßes mit dem Trägerfahrzeug kann nicht lediglich die auf dem Abstand beruhende Abtastung, sondern außerdem eine auf der Zeit beruhende Abtastung durchgeführt werden, derart, dass klassifizierte Zeitreiheninformationen empfangen werden. Ferner können lediglich die Strukturinformationen bei der ersten Detektion des Kandidaten für einen dreidimensionalen Gegenstand empfangen werden oder können lediglich die Informationen über einen gegebenen Abstand zum Trägerfahrzeug empfangen werden.
• Wenn die Position des Trägerfahrzeugs (GNSS-Informationen oder dergleichen) zu dem Zeitpunkt, in dem durch die Einheit 5 zur Bestimmung eines fehlerhaft detektierten dreidimensionalen Gegenstands bestimmt wird, dass der Kandidat für einen dreidimensionalen Gegenstand der fehlerhaft detektierte dreidimensionale Gegenstand ist, übertragen wird, können Informationen über die Position des Trägerfahrzeugs ebenfalls empfangen werden. Wenn ferner Umgebungsinformationen zu dem Zeitpunkt, zu dem bestimmt wird, dass der Kandidat für einen dreidimensionalen Gegenstand der fehlerhaft detektierte dreidimensionale Gegenstand ist, erfasst werden können, wobei die Umgebungsinformationen die Zeit und einen Wetterzustand enthalten, können die Umgebungsinformationen ebenfalls empfangen werden.
• Die Einheit 82 zum Speichern von Informationen über einen fehlerhaft detektierten dreidimensionalen Gegenstand speichert Daten, die durch die Einheit 81 zum Empfang von Informationen über einen fehlerhaft detektierten dreidimensionalen Gegenstand empfangen werden.
• Die Einheit 83 zur Bestimmung einer Zeitvorgabe für ein erneutes Training bestimmt eine Zeitvorgabe für das Ausführen des erneuten Trainierens eines Zuverlässigkeitsstufen-Berechnungsmodells. Die zu bestimmende Zeitvorgabe ist als er Zeitpunkt des Verstreichens einer gegebenen Zeit ausgehend von der Ausführung des vorhergehenden erneuten Trainings definiert. Wenn die Daten, die durch die Einheit 82 zum Speichern von Informationen über einen fehlerhaft detektierten dreidimensionalen Gegenstand gespeichert werden, beobachtet werden, kann ein Zeitpunkt, zu dem eine gegebene Anzahl von Fällen oder ein gegebenes Volumen von Daten für ein erneutes Training gesammelt sind, als Zeitvorgabe für ein erneutes Training bestimmt werden. Wo mehrere Detektionsmodelle vorhanden sind, kann eine Zeitvorgabe für ein erneutes Training für jedes Modell bestimmt werden. Zum Beispiel kann zu einem Zeitpunkt, zu dem sich Regenwetter in sonniges Wetter geändert hat, ein Zuverlässigkeitsstufen-Berechnungsmodell für eine regnerische Umgebung unter Verwendung von Daten einer fehlerhaften Detektion in der regnerischen Umgebung erneut trainiert werden. In anderen Fällen kann eine Zeitvorgabe für ein erneutes Training auf der Grundlage beliebiger gegebener Umgebungsinformationen, die erfasst werden können, bestimmt werden.
• Die Modellspeichereinheit 84 speichert ein Zuverlässigkeitsstufen-Berechnungsmodell, das an jedes Fahrzeug verteilt werden soll, und speichert das neueste Modell, das durch erneutes Training erzeugt worden ist, ebenfalls. Wenn mehrere Modelle vorhanden sind, werden die mehreren Modelle gespeichert. Modelle, die in der Vergangenheit verteilt wurden, können für jede Version gemanagt und gespeichert werden.
• Wenn die Einheit 83 zur Bestimmung einer Zeitvorgabe für ein erneutes Training bestimmt, dass es Zeit ist, ein erneutes Training auszuführen, führt die Modelltrainingseinheit 85 ein erneutes Training eines Zielmodells durch. Die Modelltrainingseinheit 85 kopiert das Zielmodell, das durch die Modellspeichereinheit 84 gespeichert worden ist, und führt das erneute Training auf der Grundlage der Daten aus, die durch die Einheit 82 zum Speichern von Informationen über einen fehlerhaft detektierten dreidimensionalen Gegenstand gespeichert worden sind. Ein trainiertes Modell wird an die Modellverifizierungseinheit 86 ausgegeben, um die Wirkungen des Trainings zu verifizieren.
• Die Modellverifizierungseinheit 86 empfängt den Eingang eines trainierten Modells, das durch die Modelltrainingseinheit 85 erneut trainiert worden ist, und verifiziert die Wirkungen des erneuten Trainings. Die Modellverifizierungseinheit 86 verifiziert unter Verwendung von Fahrdaten zur Verifizierung, ob das trainierte Modell, das dem erneuten Training unterzogen worden ist, einen anomalen Wert ausgibt. Wenn die Verifizierungsergebnisse kein Problem zeigen, wird das Modell durch die Modellspeichereinheit 84 als die neueste Version des Modells gespeichert.
• Die Modellausgabeeinheit 87 gibt ein Zuverlässigkeitsstufen-Berechnungsmodell, das durch die Modellspeichereinheit 84 gespeichert worden ist, an die Außenumgebungs-Erkennungsvorrichtung 100A von jedem Fahrzeug aus. Die Modellausgabe an jedes Fahrzeug wird zu einem Zeitpunkt ausgeführt, zu dem die neueste Version eines trainierten Modells durch die Modellspeichereinheit gespeichert wird. Alternativ kann das Modell zu einem Zeitpunkt ausgegeben werden, zu dem eine Modellaktualisierungsanforderung von jedem Fahrzeug empfangen wird. Wenn ein Problem mit dem neuesten Modell entdeckt wird, kann eine Modellversion ausgegeben werden, die in der Vergangenheit verteilt wurde. Wenn Umgebungsinformationen über die Umgebung des Fahrzeugs von jedem Fahrzeug empfangen werden können, kann ein Zuverlässigkeitsstufen-Berechnungsmodell ausgegeben werden, das für die Umgebungsinformationen am besten passt. Wenn das Fahrzeug z. B. bei Regenwetter fährt, wird ein Modell für Regenwetter ausgegeben, das mit Regenwetterdaten trainiert worden ist.
• Gemäß dem oben beschriebenen Außenumgebungs-Erkennungssystem dieser Ausführungsform kann ein Modell unter Verwendung von Daten, die durch mehrere Außenumgebungs-Erkennungsvorrichtungen 100A erfasst worden sind, erneut trainiert werden und daher kann ein Modell mit einer Genauigkeit, die höher ist als diejenige eines Modells, das durch ein Verfahren der ersten Ausführungsform erneut trainiert worden ist, verwendet werden.
• Liste der Bezugszeichen

100, 100A

Außenumgebungs-Erkennungsvorrichtung

101

Kameraschnittstelle

102

Arithmetikverarbeitungseinheit

103

Speichereinheit

104

CAN-Schnittstelle

1

Sensoreinheit

11

linke Kamera

12

rechte Kamera

13

Abgleicheinheit

14

Parallaxenberechnungseinheit

2

Einheit zur Detektion eines dreidimensionalen Gegenstands

21

Einheit zur Extraktion eines dreidimensionalen Gegenstands

22

Einheit zur Extraktion von Informationen über einen dreidimensionalen Gegenstand

3

Zuverlässigkeitsstufen-Berechnungseinheit

4

Einheit zur Nachverfolgung eines dreidimensionalen Gegenstands

41

Einheit zum Speichern von Informationen über einen dreidimensionalen Gegenstand

42

Einheit zur Vorhersage der Position eines dreidimensionalen Gegenstands

43

Einheit zum Abgleichen eines dreidimensionalen Gegenstands

5

Einheit zur Bestimmung eines fehlerhaft detektierten dreidimensionalen Gegenstands

51

Einheit zur Analyse der Höhe eines dreidimensionalen Gegenstands

52

Einheit zur Übertragung von Informationen über einen fehlerhaft detektierten dreidimensionalen Gegenstand

6

Speichereinheit für einen fehlerhaft detektierten dreidimensionalen Gegenstand

61

Einheit zum Speichern von Informationen über einen fehlerhaft detektierten dreidimensionalen Gegenstand

62

Einheit zur Bestimmung einer Zeitvorgabe für ein erneutes Training

7

Einheit zum Trainieren eines Zuverlässigkeitsstufen-Berechnungsmodells

71

Modellspeichereinheit

72

Modelltrainingseinheit

73

Modellverifizierungseinheit

200

externer Server

8

Datensammeleinheit

81

Einheit zum Empfang von Informationen über einen fehlerhaft detektierten dreidimensionalen Gegenstand

82

Einheit zum Speichern von Informationen über einen fehlerhaft detektierten dreidimensionalen Gegenstand

83

Einheit zur Bestimmung einer Zeitvorgabe für ein erneutes Training

84

Modellspeichereinheit

85

Modelltrainingseinheit

86

Modellverifizierungseinheit

87

Modellausgabeeinheit

• ZITATE ENTHALTEN IN DER BESCHREIBUNG
• Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
• Zitierte Patentliteratur
• JP 201978554 A [0006]

Claims (13)

1. Außenumgebungs-Erkennungsvorrichtung, die Folgendes umfasst: einen Sensor, der eine Umgebung eines Fahrzeugs detektiert; eine Einheit zur Detektion eines dreidimensionalen Gegenstands, die auf der Grundlage von Außenumgebungsinformationen, die vom Sensor erfasst werden, einen Kandidaten für einen dreidimensionalen Gegenstand detektiert; eine Zuverlässigkeitsstufen-Berechnungseinheit, die unter Verwendung eines Zuverlässigkeitsstufen-Berechnungsmodells eine Wahrscheinlichkeit, dass ein Kandidat für einen dreidimensionalen Gegenstand, der auf der Grundlage der Außenumgebungsinformationen detektiert wird, die vom Sensor neu erfasst werden, ein fehlerhaft detektierter dreidimensionaler Gegenstand ist, bestimmt; eine Einheit zum Nachverfolgen eines dreidimensionalen Gegenstands, die fortfährt, den Kandidaten für einen dreidimensionalen Gegenstand nachzuverfolgen und zu detektieren, während ein Trägerfahrzeug fährt; eine Einheit zur Bestimmung eines fehlerhaft detektierten dreidimensionalen Gegenstands, die auf der Grundlage eines Detektionsergebnisses der Nachverfolgung bestimmt, ob der nachverfolgte Kandidat für einen dreidimensionalen Gegenstand ein fehlerhaft detektierter dreidimensionaler Gegenstand ist; eine Speichereinheit für einen fehlerhaft detektierten dreidimensionalen Gegenstand, die dann, wenn die Einheit zur Bestimmung eines fehlerhaft detektierten dreidimensionalen Gegenstands bestimmt, dass der Kandidat für einen dreidimensionalen Gegenstand ein fehlerhaft detektierter dreidimensionaler Gegenstand ist, zumindest einen Anteil der Außenumgebungsinformationen über den Kandidaten für einen dreidimensionalen Gegenstand speichert, wobei die Außenumgebungsinformationen in einem Zeitraum erhalten werden, in dem der Kandidat für einen dreidimensionalen Gegenstand nachverfolgt worden ist, bis bestimmt worden ist, dass er ein fehlerhaft detektierter dreidimensionaler Gegenstand ist; und eine Einheit zum Trainieren eines Zuverlässigkeitsstufen-Berechnungsmodells, die ein Zuverlässigkeitsstufen-Berechnungsmodell mit Informationen trainiert, die in der Speichereinheit für einen fehlerhaft detektierten dreidimensionalen Gegenstand gespeichert sind.
2. Außenumgebungs-Erkennungsvorrichtung nach Anspruch 1, wobei die Einheit zur Bestimmung eines fehlerhaft detektierten dreidimensionalen Gegenstands auf der Grundlage einer Änderung einer Form des Kandidaten für einen dreidimensionalen Gegenstand in einem Zeitraum, in dem der Kandidat für einen dreidimensionalen Gegenstand durch die Einheit zur Nachverfolgung eines dreidimensionalen Gegenstands nachverfolgt wird, bestimmt, ob der Kandidat für einen dreidimensionalen Gegenstand ein fehlerhaft detektierter dreidimensionaler Gegenstand ist.
3. Außenumgebungs-Erkennungsvorrichtung nach Anspruch 1, wobei die Einheit zur Bestimmung eines fehlerhaft detektierten dreidimensionalen Gegenstands auf der Grundlage einer Änderung einer Höhe des Kandidaten für einen dreidimensionalen Gegenstand in einem Zeitraum, in dem der Kandidat für einen dreidimensionalen Gegenstand durch die Einheit zur Nachverfolgung eines dreidimensionalen Gegenstands nachverfolgt wird, bestimmt, ob der Kandidat für einen dreidimensionalen Gegenstand ein fehlerhaft detektierter dreidimensionaler Gegenstand ist.
4. Außenumgebungs-Erkennungsvorrichtung nach Anspruch 1, wobei die Außenumgebungsinformationen über den Kandidaten für einen dreidimensionalen Gegenstand, wobei die Außenumgebungsinformationen in der Speichereinheit für einen fehlerhaft detektierten dreidimensionalen Gegenstand gespeichert sind, Außenumgebungsinformationen sind, die in einer Zeitreihe in einem Zeitraum erhalten werden, in dem der Kandidat für einen dreidimensionalen Gegenstand nachverfolgt worden ist, bis bestimmt worden ist, dass er ein fehlerhaft detektierter dreidimensionaler Gegenstand ist.
5. Außenumgebungs-Erkennungsvorrichtung nach Anspruch 1, wobei dann, wenn die Einheit zur Bestimmung eines fehlerhaft detektierten dreidimensionalen Gegenstands bestimmt, dass der Kandidat für einen dreidimensionalen Gegenstand kein fehlerhaft detektierter dreidimensionaler Gegenstand ist, die Außenumgebungsinformationen über den Kandidaten für einen dreidimensionalen Gegenstand nicht in der Speichereinheit für einen fehlerhaft detektierten dreidimensionalen Gegenstand gespeichert werden.
6. Außenumgebungs-Erkennungssystem, das eine Fahrzeugbord-Außenumgebungs-Erkennungsvorrichtung und einen externen Server enthält, die drahtlos verbunden sind, wobei die Außenumgebungs-Erkennungsvorrichtung Folgendes enthält: einen Sensoreinheit, die auf der Grundlage eines Bildes, das durch eine Kamera aufgenommen wird, eine Umgebung eines Fahrzeugs detektiert; eine Einheit zur Detektion eines dreidimensionalen Gegenstands, die auf der Grundlage von Außenumgebungsinformationen, die von der Sensoreinheit erfasst werden, einen Kandidaten für einen dreidimensionalen Gegenstand detektiert; eine Zuverlässigkeitsstufen-Berechnungseinheit, die unter Verwendung eines Zuverlässigkeitsstufen-Berechnungsmodells eine Wahrscheinlichkeit, dass ein Kandidat für einen dreidimensionalen Gegenstand, der auf der Grundlage der Außenumgebungsinformationen detektiert wird, die von der Sensoreinheit neu erfasst werden, ein fehlerhaft detektierter dreidimensionaler Gegenstand ist, bestimmt; eine Einheit zur Nachverfolgung eines dreidimensionalen Gegenstands, die fortfährt, den Kandidaten für einen dreidimensionalen Gegenstand nachzuverfolgen und zu detektieren, während ein Trägerfahrzeug fährt; und eine Einheit zur Bestimmung eines fehlerhaft detektierten dreidimensionalen Gegenstands, die auf der Grundlage eines Nachverfolgungsergebnisses bestimmt, ob der nachverfolgte Kandidat für einen dreidimensionalen Gegenstand ein fehlerhaft detektierter dreidimensionaler Gegenstand ist, wobei der externe Server eine Datensammeleinheit enthält, die dann, wenn die Einheit zur Bestimmung eines fehlerhaft detektierten dreidimensionalen Gegenstands bestimmt, dass der Kandidat für einen dreidimensionalen Gegenstand ein fehlerhaft detektierter dreidimensionaler Gegenstand ist, zumindest einen Anteil der Außenumgebungsinformationen über den Kandidaten für einen dreidimensionalen Gegenstand speichert, wobei die Außenumgebungsinformationen in einem Zeitraum erhalten werden, in dem der Kandidat für einen dreidimensionalen Gegenstand nachverfolgt worden ist, bis bestimmt worden ist, dass er ein fehlerhaft detektierter dreidimensionaler Gegenstand ist; und wobei die Einheit zur Bestimmung eines fehlerhaft detektierten dreidimensionalen Gegenstands auf der Grundlage einer Änderung einer Form des Kandidaten für einen dreidimensionalen Gegenstand in einem Zeitraum, in dem der Kandidat für einen dreidimensionalen Gegenstand durch die Einheit zur Nachverfolgung eines dreidimensionalen Gegenstands nachverfolgt wird, bestimmt, ob der Kandidat für einen dreidimensionalen Gegenstand ein fehlerhaft detektierter dreidimensionaler Gegenstand ist.
7. Außenumgebungs-Erkennungssystem nach Anspruch 6, wobei ein Zuverlässigkeitsstufen-Berechnungsmodell der Außenumgebungs-Erkennungsvorrichtung erhalten wird, indem ein korrektes Zuverlässigkeitsstufen-Berechnungsmodell gemäß einer Umgebung um ein Trägerfahrzeug von der Datensammeleinheit des externen Servers heruntergeladen wird.
8. Außenumgebungs-Erkennungssystem nach Anspruch 6, wobei die Einheit zur Bestimmung eines fehlerhaft detektierten dreidimensionalen Gegenstands auf der Grundlage einer Änderung einer Höhe des Kandidaten für einen dreidimensionalen Gegenstand in einem Zeitraum, in dem der Kandidat für einen dreidimensionalen Gegenstand durch die Einheit zur Nachverfolgung eines dreidimensionalen Gegenstands nachverfolgt wird, bestimmt, ob der Kandidat für einen dreidimensionalen Gegenstand ein fehlerhaft detektierter dreidimensionaler Gegenstand ist.
9. Außenumgebungs-Erkennungssystem nach Anspruch 6, wobei die Außenumgebungsinformationen über den Kandidaten für einen dreidimensionalen Gegenstand, wobei die Außenumgebungsinformationen in der Datensammeleinheit des externen Servers gespeichert sind, Außenumgebungsinformationen sind, die in einer Zeitreihe in einem Zeitraum erhalten werden, in dem der Kandidat für einen dreidimensionalen Gegenstand nachverfolgt worden ist, bis bestimmt worden ist, dass er ein fehlerhaft detektierter dreidimensionaler Gegenstand ist.
10. Außenumgebungs-Erkennungssystem nach Anspruch 6, wobei dann, wenn die Einheit zur Bestimmung eines fehlerhaft detektierten dreidimensionalen Gegenstands der Außenumgebungs-Erkennungsvorrichtung bestimmt, dass der Kandidat für einen dreidimensionalen Gegenstand kein fehlerhaft detektierter dreidimensionaler Gegenstand ist, die Außenumgebungsinformationen über den Kandidaten für einen dreidimensionalen Gegenstand nicht in der Datensammeleinheit des externen Servers gespeichert werden.
11. Außenumgebungs-Erkennungssystem nach Anspruch 6, wobei die Datensammeleinheit des externen Servers Außenumgebungsinformationen von mindestens einem oder mehreren Fahrzeugen empfängt und ein Zuverlässigkeitsstufen-Berechnungsmodell auf der Grundlage der empfangenen Informationen erneut trainiert.
12. Außenumgebungs-Erkennungssystem nach Anspruch 11, wobei die Datensammeleinheit des externen Servers Daten in Übereinstimmung mit einer Umgebung um ein Fahrzeug zu einem Zeitpunkt der Erfassung von Außenumgebungsinformationen klassifiziert und bewirkt, dass ein Zuverlässigkeitsstufen-Berechnungsmodell jede Einheit der klassifizierten Daten lernt, womit sie mehrere Modelle aufweist, die für bestimmte Umgebungen spezialisiert sind.
13. Außenumgebungs-Erkennungssystem nach Anspruch 12, wobei die Datensammeleinheit des externen Servers Umgebungsinformationen über die Umgebung eines Fahrzeugs von jedem Fahrzeug empfängt und ein Zuverlässigkeitsstufen-Berechnungsmodell, das für die empfangenen Umgebungsinformationen am besten passt, an eine Außenumgebungs-Erkennungsvorrichtung von jedem Fahrzeug überträgt.

Images