DE112022001741T5

DE112022001741T5 - Erfassungsvorrichtung und fahrzeugsteuervorrichtung

Info

Publication number: DE112022001741T5
Application number: DE112022001741.4T
Authority: DE
Inventors: Morihiko SAKANO; Hideyuki KUME; Takehito Ogata; Hidehiro Toyoda
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2021-06-17
Filing date: 2022-02-08
Publication date: 2024-01-25
Also published as: CN117177891A; WO2022264491A1; JP2023000076A

Abstract

Eine Erfassungsvorrichtung umfasst eine Beobachtungseinheit für einen ersten gemeinsamen Bildaufnahmebereich, die einen ersten Bereich in einem Umfeld eines Trägerfahrzeugs anhand von Informationen über einen gemeinsamen Bildaufnahmebereich beobachtet, die von mindestens einem ersten Sensor und einem zweiten Sensor mit dem gemeinsamen Bildaufnahmebereich erfasst werden, eine Beobachtungseinheit für einen zweiten gemeinsamen Bildaufnahmebereich, die einen zweiten Bereich, der sich von dem ersten Bereich unterscheidet, anhand von Informationen über einen gemeinsamen Bildaufnahmebereich beobachtet, die von mindestens einem dritten Sensor und einem vierten Sensor mit dem gemeinsamen Bildaufnahmebereich erfasst werden, eine Koordinatenintegrationseinheit, die eine geometrische Beziehung zwischen den Sensoren mit Koordinaten von in dem ersten Bereich und dem zweiten Bereich beobachteten Informationselementen integriert, und eine Straßenoberflächen-Schätzeinheit, die eine relative Lage zwischen jedem Sensor und einer Straßenoberfläche einschließlich eines Nickwinkels und eines Rollwinkels des Trägerfahrzeugs basierend auf Punktgruppeninformationen, die aus den integrierten Koordinaten berechnet werden, schätzt.

Description

Einbeziehung durch Verweis
Diese Anmeldung basiert auf der Japanischen Patentanmeldung Nr. 2021-100680 , die am 17. Juni 2021 eingereicht wurde, und beansprucht' deren Prioritätsrecht; der gesamte Inhalt ist hier durch Bezugnahme vollständig mit aufgenommen.
Technisches Gebiet
Die vorliegende Erfindung bezieht sich auf eine Erfassungsvorrichtung und eine Fahrzeugsteuervorrichtung.
Stand der Technik
Zur Fahrerunterstützung und zum automatisierten Fahren haben Kameras in Fahrzeugen weite Verbreitung gefunden und zur Umgebungsüberwachung und dergleichen können mehrere monokulare Kameras montiert werden. Bei der Fahrerunterstützung und dem automatisierten Fahren ist eine der Anforderungen an die Fahrzeugkamera die Abstandsmessung eines Objekts. Bei der Abstandsmessung des Objekts unter Verwendung der monokularen Kamera wird davon ausgegangen, dass eine Straßenoberfläche eine Ebene ist, und ein Abstand, der jedem Pixel der Fahrzeugkamera entspricht, kann aus einer Beziehung zwischen einem Befestigungszustand der Fahrzeugkamera und der Straßenoberfläche berechnet werden. Wenn die Straßenoberfläche jedoch einen Gradienten aufweist, besteht das Problem, dass ein Fehler in dem gemessenen Abstand auftritt, wenn die Berechnung unter der Annahme durchgeführt wird, dass die Straßenoberfläche eben ist. Insbesondere nimmt der Fehler mit zunehmendem Abstand zu. Dementsprechend ist es notwendig, den Einfluss eines Gradientenfehlers zu reduzieren.
PTL 1 offenbart eine Gradientenschätzvorrichtung, die auf einem von einer Kamera aufgenommenen Bild basiert. Die Gradientenschätzvorrichtung umfasst eine Kamera, eine Straßenoberflächen-Grundberührungspositions-Berechnungseinheit, einen Abstandsmesssensor und eine Gradientenschätzeinheit. Die Straßenoberflächen-Grundberührungspositions-Berechnungseinheit berechnet einen Abstand L2 zu einer Grundberührungsposition auf der Straßenoberfläche eines in dem abgebildeten Bild reflektierten Objekts auf der Basis des von der Kamera abgebildeten Bilds. Die Gradientenschätzeinheit berechnet mittels des Abstandsmesssensors einen Abstand L1 zu dem Objekt. Die Gradientenschätzeinheit schätzt einen Gradienten β einer Gerade, die durch einen Schnittpunkt einer senkrechten Linie, die von einer Position der Kamera gezogen wird, und einer horizontalen Ebene und einen vorgegebenen Punkt A1, der das Objekt angibt, verläuft, basierend auf einem Neigungswinkel α der Kamera, dem Abstand L2 und dem Abstand L1.
Zusammenfassung der Erfindung
Technisches Problem
In PTL 1 wird davon ausgegangen, dass ein Abstandsmesssensor eines aktiven Lasersystems verwendet wird und es schwierig ist, eine Abstandskorrektur durchzuführen, wenn kein Sensor vorhanden ist, der den Abstand ungeachtet des Gradienten messen kann.
Daher ist es eine Aufgabe der vorliegenden Erfindung, eine Erfassungsvorrichtung zu schaffen, die eine relative Lage zwischen einer Straßenoberfläche und einem Fahrzeug mit hoher Genauigkeit schätzt
Lösung des Problems
Ein typisches Beispiel der in der vorliegenden Anmeldung offenbarten Erfindung ist wie folgt. Das heißt, eine Erfassungsvorrichtung umfasst eine Beobachtungseinheit für einen ersten gemeinsamen Bildaufnahmebereich, die einen ersten Bereich in einem Umfeld eines Trägerfahrzeugs anhand von Informationen über einen gemeinsamen Bildaufnahmebereich beobachtet, die von mindestens einem ersten Sensor und einem zweiten Sensor mit dem gemeinsamen Bildaufnahmebereich erfasst werden, eine Beobachtungseinheit für einen zweiten gemeinsamen Bildaufnahmebereich, die einen zweiten Bereich, der sich von dem ersten Bereich unterscheidet, anhand von Informationen über einen gemeinsamen Bildaufnahmebereich beobachtet, die von mindestens einem dritten Sensor und einem vierten Sensor mit dem gemeinsamen Bildaufnahmebereich erfasst werden, eine Koordinatenintegrationseinheit, die eine geometrische Beziehung zwischen den Sensoren mit Koordinaten von in dem ersten Bereich und dem zweiten Bereich beobachteten Informationselementen integriert, und eine Straßenoberflächen-Schätzeinheit, die eine relative Lage zwischen jedem Sensor und einer Straßenoberfläche einschließlich eines Nickwinkels und eines Rollwinkels des Trägerfahrzeugs basierend auf Punktgruppeninformationen, die aus den integrierten Koordinaten berechnet werden, schätzt.
Vorteilhafte Wirkungen der Erfindung
Gemäß einem Aspekt der vorliegenden Erfindung ist es möglich, den Einfluss des Straßengradienten und der Fahrzeuglage zu reduzieren und die Genauigkeit der Abstandmessung zu verbessern. Weitere Aufgaben, Konfigurationen und Wirkungen werden in den folgenden Beschreibungen der Ausführungsformen ersichtlich.
Kurzbeschreibung der Zeichnungen

[1] 1 ist ein Blockdiagramm, das eine Konfiguration eines Fahrzeugs zeigt, an dem eine Erfassungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung montiert ist.
[2] 2 ist eine Darstellung, die ein Beispiel einer Beziehung zwischen einer Kamera und einem gemeinsamen Bildaufnahmebereich veranschaulicht.
[3] 3 ist eine Darstellung, die ein Beispiel eines Gradienten und einer Anderung der Fahrzeuglage zeigt.
[4] 4 ist ein Funktionsblockdiagramm eines von einer CPU ausgeführten Abstandsschätzungsprogramms.
[5] 5 ist eine schematische Darstellung, die die Verarbeitungsarten der Koordinatenintegration und Straßenoberflächenmodell-Zusammenführung zeigt.
[6] 6 ist ein Ablaufdiagramm von Verarbeitungsarten, die von einer Beobachtungseinheit für einen ersten gemeinsamen Bildaufnahmebereich ausgeführt werden.
[7] 7 ist eine schematische Darstellung, die ein Abwandlungsbeispiel für Verarbeitungsarten der Koordinatenintegration und der Straßenoberflächenmodell-Zusammenführung von Abwandlungsbeispiel 1 zeigt.
[8] 8 ist ein Ablaufdiagramm der Verarbeitungsarten, die von einer Beobachtungseinheit für einen ersten gemeinsamen Bildaufnahmebereich des Abwandlungsbeispiels 1 ausgeführt werden.
[9] 9 ist eine schematische Darstellung, die ein weiteres Abwandlungsbeispiel von Verarbeitungsarten der Koordinatenintegration und der Straßenoberflächenmodell-Zusammenführung von Abwandlungsbeispiel 2 zeigt.
[10] 10 ist ein Funktionsblockdiagramm eines Abstandsschätzungsprogramms, das von einer CPU des Abwandlungsbeispiels 2 ausgeführt wird.
[11] 11 ist ein Blockdiagramm, das eine Konfiguration eines Fahrzeugs darstellt, an dem eine Erfassungsvorrichtung des Abwandlungsbeispiels 3 montiert ist.
[12] 12 ist eine Darstellung, die ein Beispiel einer Beziehung zwischen einer Kamera und einem gemeinsamen Bildaufnahmebereich von Abwandlungsbeispiel 3 zeigt.
[13] 13 ist ein Funktionsblockdiagramm eines Abstandsschätzungsprogramms, das von einer CPU des Abwandlungsbeispiels 3 ausgeführt wird.

Beschreibung von Ausführungsformen
Im Folgenden wird eine Ausführungsform einer Sensorvorrichtung 101 gemäß der vorliegenden Erfindung unter Bezugnahme auf 1 bis 13 beschrieben.
1 ist ein Blockdiagramm, das eine Konfiguration eines Fahrzeugs 100 darstellt, an dem die Erfassungsvorrichtung 101 gemäß der Ausführungsform der vorliegenden Erfindung montiert ist.
Die Erfassungsvorrichtung 101 umfasst Kameras 121 bis 124, einen Fahrzeuggeschwindigkeitssensor 131, einen Lenkwinkelsensor 132, eine Anzeigevorrichtung 161 und eine fahrzeuginterne Verarbeitungsvorrichtung 102. Die Kameras 121 bis 124, der Fahrzeuggeschwindigkeitssensor 131, der Lenkwinkelsensor 132 und die Anzeigevorrichtung 161 sind über eine Signalleitung mit der fahrzeuginternen Verarbeitungsvorrichtung 102 verbunden und tauschen verschiedene Arten von Daten mit der fahrzeuginternen Verarbeitungsvorrichtung 102 aus.
Obwohl dies später ausführlich beschrieben wird, sind die Kameras 121 bis 124 an einem Umfang des Fahrzeugs 100 angebracht und erfassen das Umfeld des Fahrzeugs 100. Ein Erfassungsbereich der Kameras 121 bis 124 umfasst eine Straßenoberfläche, auf der das Fahrzeug 100 fährt. Eine Positions- und Lagebeziehung zwischen den Kameras 121 bis 124 und dem Fahrzeug 100 wird als Kameraparameter-Anfangswert 141 in einem ROM 111 gespeichert.
Jede der Kameras 121 bis 124 umfasst eine Linse und ein Bildaufnahmeelement und diese Eigenschaften, beispielsweise interne Parameter wie einen Linsenverzerrungskoeffizienten, der ein Parameter ist, der die Verzerrung der Linse angibt, eine Mitte der optischen Achse, eine Brennweite und die Anzahl der Pixel und Abmessungen des Bildaufnahmeelements, werden ebenfalls als Kameraparameter-Anfangswert 141 in dem ROM 111 gespeichert.
Der Fahrzeuggeschwindigkeitssensor 131 und der Lenkwinkelsensor 132 jeweils eine Fahrzeuggeschwindigkeit bzw. einen Lenkwinkel des Fahrzeugs 100, an dem die fahrzeugeigene Verarbeitungsvorrichtung 102 montiert ist, und geben die Fahrzeuggeschwindigkeit und den Lenkwinkel an eine CPU 110 aus. Die fahrzeugeigene Verarbeitungsvorrichtung 102 berechnet einen Bewegungsbetrag und eine Bewegungsrichtung des Fahrzeugs 100, an dem die fahrzeugeigene Verarbeitungsvorrichtung 102 montiert ist, durch eine bekannte Koppelnavigationstechnik unter Verwendung von Ausgaben des Fahrzeüggeschwindigkeitssensors 131 und des Lenkwinkelsensors 132.
Die fahrzeugeigene Verarbeitungsvorrichtung 102 umfasst die CPU 110, die eine Zentralverarbeitungseinheit ist, den ROM 111 und einen RAM 112. Die Gesamtheit oder ein Teil der Rechenverarbeitung kann von einer anderen Rechenverarbeitungsvorrichtung wie etwa einem FPGA ausgeführt werden.
Die CPU 110 fungiert als Ausführungseinheit der fahrzeuginternen Verarbeitungsvorrichtung 102, indem sie verschiedene Programme und Parameter aus dem ROM 111 liest und ausführt.
Der ROM 111 ist ein Nur-Lese-Speicherbereich und speichert den Kameraparameter-Anfangswert 141, ein Straßenoberflächenmodell 142 und ein Abstandsschätzungsprogramm 150.
Der Kameraparameter-Anfangswert 141 ist ein Zahlenwert, der eine Beziehung zwischen Positionen und Lagen der Kameras 121 bis 124 und des Fahrzeugs 100 angibt. Die Kameras 121 bis 124 sind in Positionen und Lagen an dem Fahrzeug 100 angebracht, die auf einem Entwurf basieren, aber es ist unvermeidlich, dass beim Anbringen ein Fehler auftritt. Wenn das Fahrzeug 100 beispielsweise aus einer Fabrik verschickt wird, wird die Kalibrierung unter Verwendung eines vorgegebenen Testmusters oder dergleichen in der Fabrik durchgeführt und ein korrekt korrigierter Wert berechnet. Der Kameraparameter-Anfangswert 141 speichert eine Beziehung zwischen einer Position und einer korrekt korrigierten Lage nach der Durchführung der Kalibrierung. Darüber hinaus werden nach der Kalibrierung Korrekturwerte für die Eigenschaften der Linse und des Bildaufnahmeelements, beispielsweise für interne Parameter wie den Linsenverzerrungskoeffizienten, der die Verzerrung der Linse angibt, die Mitte der optischen Achse, die Brennweite, die Anzahl der Pixel und die Abmessungen des Bildaufnahmeelements, gespeichert.
Das Straßenoberflächenmodell 142 modelliert einen Straßenoberflächengradienten und quantifiziert und speichert einen Modelltyp davon und einen Parameter davon. Das Straßenoberflächenmodell 142 wird verwendet, wenn eine relative Straßenoberflächenlage 153 in einem Programm zum Schätzen der relativen Straßenoberflächenlage 143 in dem Abstandsschätzungsprogramm 150 berechnet wird. Einzelheiten des Straßenoberflächenmodells 142 werden später beschrieben.
Das Abstandsschätzungsprogramm 150 umfasst ein Programm zum Schätzen der relativen Straßenoberflächenlage 143, ein Abstandsmessprogramm für ein gemeinsames Sichtfeld 144 und ein Programm zur monokularen Abstandsschätzung 145, die später beschrieben werden. Diese Programme werden aus dem ROM 111 gelesen, in den RAM 112 geladen und von der CPU 110 ausgeführt.
Der RAM 112 ist ein lesbarer und beschreibbarer Speicherbereich und fungiert als Hauptspeichervorrichtung der fahrzeuginternen Verarbeitungsvorrichtung 102. Der RAM 112 speichert einen Beobachtungswert für den ersten Bereich 151, einen Beobachtungswert für den zweiten Bereich 152, eine relative Straßenoberflächenlage 153 und einen externen Parameter 154, die später beschrieben werden.
Bei dem Beobachtungswert für den ersten Bereich 151 handelt es sich um Beobachtungsdaten, die eine Straßenoberfläche und ein dreidimensionales Objekt in einem Bereich umfassen, der durch das Abstandsmessprogramm für das gemeinsame Sichtfeld 144 beobachtet wird und in einem gemeinsamen Sichtfeld der Kamera 121 und der Kamera 122 beobachtet wird. Der Beobachtungswert für den ersten Bereich 151 wird durch Berechnen eines Merkmalspunkts eines gemeinsamen Objekts einschließlich der Straßenoberfläche und des dreidimensionalen Objekts in dem gemeinsamen Sichtfeld und eines Abstands des Merkmalspunkts aus einer bekannten relativen Beziehung zwischen der Kamera 121 und der Kamera 122 und den internen Parametern, die in dem Kameraparameter-Anfangswert 141 aufgezeichnet sind, und Speichern dreidimensionaler Koordinaten, die aus dem Abstand berechnet werden, erhalten. Der Beobachtungswert für den ersten Bereich 151 wird in dem Programm zum Schätzen der relativen Straßenoberflächenlage 143 verwendet.
Bei dem Beobachtungswert für den zweiten Bereich 152 handelt es sich um Beobachtungsdaten, die eine Straßenoberfläche und ein dreidimensionales Objekt in einem Bereich umfassen, der durch das Abstandsmessprogramm für das gemeinsame Sichtfeld 144 beobachtet wird, Verarbeitungsinhalte aufweisen, die dem Beobachtungswert für den ersten Bereich 151 gemeinsam sind, und die in einem gemeinsamen Sichtfeld der Kamera 123 und der Kamera 124 beobachtet werden. Der Beobachtungswert für den zweiten Bereich 152 wird durch Berechnen eines Merkmalspunkts eines gemeinsamen Objekts, das die Straßenoberfläche und das dreidimensionale Objekt umfasst, in dem gemeinsamen Sichtfeld und eines Abstands des Merkmalspunkts aus einer bekannten relativen Beziehung zwischen der Kamera 123 und der Kamera 124 und den in dem Kameraparameter-Anfangswert 141 aufgezeichneten internen Parametern und Speichern von aus dem Abstand berechneten dreidimensionalen Koordinaten erhalten. Der Beobachtungswert für den zweiten Bereich 152 wird in dem Programm zum Schätzen der relativen Straßenoberflächenlage 143 zu verwendet.
Die relative Straßenoberflächenlage 153 ist ein Parameter, der eine relative Lage zwischen dem Fahrzeug 100 und der Straßenoberfläche darstellt und aus dem Programm zum Schätzen der relativen Straßenoberflächenlage 143 erhalten wird. Die relative Straßenoberflächenlage 153 wird zur Berechnung des externen Parameters 154 verwendet.
Der externe Parameter 154 ist eine Beziehung zwischen den Positionen und Lagen der Kameras 121 bis 124 und des Fahrzeugs 100 einschließlich eines Straßenoberflächengradienten und einer Lageänderung des Fahrzeugs 100. Basierend auf dem externen Parameter des Kameraparameter-Anfangswerts 141 werden die externen Parameter in dem Programm zum Schätzen der relativen Straßenoberflächenlage 143 berechnet und in dem Programm zur monokularen Abstandsschätzung 145 verwendet.
2 ist eine Darstellung, die ein Beispiel einer Beziehung zwischen dem Fahrzeug 100, den Kameras 121 bis 124, einer optischen Achse 201 der Kamera 121, einer optischen Achse 202 der Kamera 122, einer optischen Achse 203 der Kamera 123, einer optischen Achse 204 der Kamera 124, einem ersten gemeinsamen Bildaufnahmebereich 211 und einem zweiten gemeinsamen Bildaufnahmebereich 212 zeigt.
Die Kamera 121 ist beispielsweise unter einem Seitenspiegel auf einer linken Seite in Fahrtrichtung des Fahrzeugs 100 angebracht, um eine schräge Rückseite des Fahrzeugs 100, also eine Richtung der optischen Achse 201, zu erfassen. Die Kamera 123 ist beispielsweise unter einem Seitenspiegel auf einer rechten Seite in Fahrtrichtung des Fahrzeugs 100 angebracht, um eine schräge Rückseite des Fahrzeugs 100, also eine Richtung der optischen Achse 203, zu erfassen. Die Kamera 122 ist beispielsweise in der Nähe einer C-Säule auf der linken Seite in Fahrtrichtung des Fahrzeugs 100 angebracht, um eine schräge Vorderseite des Fahrzeugs 100, also eine Richtung der optischen Achse 202, zu erfassen. Auf ähnliche Weise ist die Kamera 124 beispielsweise in der Nähe einer C-Säule auf der rechten Seite in Fahrtrichtung des Fahrzeugs 100 angebracht, um die schräge Vorderseite des Fahrzeugs 100, also eine Richtung der optischen Achse 204, zu erfassen. Ein Bereich auf der linken Seite in Fahrtrichtung des Fahrzeugs 100, der sowohl von der Kamera 121 als auch von der Kamera 122 abgebildet wird, ist der erste gemeinsame Bildaufnahmebereich 211. In dem ersten gemeinsamen Bildaufnahmebereich 211 sind die Straßenoberfläche und das dreidimensionale Objekt abgebildet. Die Kameras sind auf diese Weise angeordnet, und somit ergeben sich Vorteile insofern, als die Auflösungen der Kamera 121 und der Kamera 122 hoch sind, ein gemeinsamer Bildaufnahmebereich in der Nähe einer Mitte der optischen Achse mit geringerer Bildverzerrung erzeugt werden kann und eine schräge Vorderseite und eine schräge Rückseite abgebildet werden können, die für die Erfassung durch die Fahrzeugkamera wichtig sind. Ferner kann eine Kamera mit einem passenden Sichtwinkel, Winkel oder dergleichen ausgewählt werden, um als Umfeldsichtkamera zu fungieren, die eine Draufsicht auf das Umfeld des Fahrzeugs 100 anzeigt. Ebenso ist ein Bereich auf der linken Seite in Fahrtrichtung des Fahrzeugs 100, der sowohl von der Kamera 123 als auch der Kamera 124 erfasst wird, der zweite gemeinsame Bildaufnahmebereich 212. In dem zweiten gemeinsamen Bildaufnahmebereich 212 werden die Straßenoberfläche und das dreidimensionale Objekt abgebildet. Die Abbildungsergebnisse in dem ersten gemeinsamen Bildaufnahmebereich 211 und in dem zweiten gemeinsamen Bildaufnahmebereich 212 werden zum Schätzen der relativen Lage zwischen der Straßenoberfläche und dem Fahrzeug 100 verwendet.
3(a) ist eine Darstellung, die ein Beispiel eines Gradienten zeigt, 3(b) ist eine Darstellung, die ein Beispiel einer Beladungssituation veranschaulicht, und 3(c) und 3(d) sind Darstellungen, die ein Beispiel einer Fahrzeuglagevariation zeigen.
Der Straße mit einer Straßenmitte als Scheitelpunkt ist ein Entwässerungsgradient von ca. 2 % in Querrichtung gegeben, damit sich kein Regenwasser auf der Straße ansammelt. Auf einer Schnellstraße, auf der die Geschwindigkeit des Fahrzeugs 100 hoch ist, wird ein Entwässerungsgradient von etwa 2,5 % vorgegeben, da es erforderlich ist, den Wasserfilm der Straßenoberfläche dünner einzustellen. 3(a) zeigt ein Beispiel des Entwässerungsgradienten. Das Fahrzeug 100 fährt auf einer Straßenoberfläche 301 und der Entwässerungsgradient wird der Straßenoberfläche 301 mit der Straßenmitte als Scheitelpunkt verliehen. Da ein Beobachtungsziel auf der gleichen Ebene wie das Fahrzeug 100 in Richtung der optischen Achse 202 von dem Fahrzeug 100 aus angeordnet ist, gibt es bei der Abstandsmessung in Richtung der optischen Achse 202 keinen Einfluss eines Fehlers aufgrund des Entwässerungsgradienten. Da sich das Beobachtungsziel andererseits in Richtung der optischen Achse 201 von dem Fahrzeug 100 nicht auf der gleichen Ebene wie das Fahrzeug 100 befindet, wird ein Abstand fälschlicherweise unter der Annahme berechnet, dass sich das Beobachtungsziel auf der gleichen Ebene wie das Fahrzeug 100 befindet. Daher ist es notwendig, eine relative Beziehung zwischen dem Fahrzeug 100 und der Straßenoberfläche 301 zu schätzen und den geschätzten Abstand basierend auf dem Schätzergebnis zu korrigieren.
3(b) ist eine Darstellung, die ein Beispiel der Beladungssituation veranschaulicht. Die Lage des Fahrzeugs 100 in Bezug auf die Straßenoberfläche ändert sich je nach Beladungssituation des Fahrzeugs 100. Beispielsweise befindet sich in einem Fall, in dem eine schwere Last auf einen hinteren Teil des Fahrzeugs 100 geladen ist, eine Vorderseite des Fahrzeugs 100 in einer schwebenden Lage, wie es in 3(c) gezeigt ist. In einem Fall, in dem sich nur der Fahrer auf dem linken Vordersitz des Fahrzeugs 100 befindet, befindet sich die linke Seite des Fahrzeugs 100 in einer schwebenden Lage, wie es in 3(d) gezeigt ist. In einem Fall, in dem sich ein Insasse auf einem Fahrersitz und einem Rücksitz des Fahrersitzes des Fahrzeugs 100 befindet, nimmt der Insasse eine weitere andere Lage ein. Auf diese Weise ändert sich die Lage des Fahrzeugs 100 je nach Beladungssituation auf verscheiden Weise. Wenn sich die Lage des Fahrzeugs 100 auf diese Weise ändert, ist es, da die relative Lage zwischen dem Fahrzeug 100 und der Straßenoberfläche 301 ändert, wie es in 3(a) gezeigt ist, notwendig, die relative Lagebeziehung zwischen dem Fahrzeug 100 und der Straßenoberfläche 301 einschließlich der Lageänderung aufgrund der Beladungssituation zu schätzen und den geschätzten Abstand basierend auf dem Schätzergebnis zu korrigieren.
4 ist ein Funktionsblockdiagramm des Abstandsschätzungsprogramms 150, das von der CPU 110 ausgeführt wird. 4 zeigt eine Verarbeitungsreihenfolge von Funktionsblöcken des Abstandsschätzungsprogramms 150 und Datenflüsse zwischen den Funktionsblöcken und zwischen den Funktionsblöcken, dem ROM 111 und dem RAM 112.
Das Abstandsschätzungsprogramm 150 umfasst eine Sensorwert-Erfassungseinheit 401, eine erste Beobachtungseinheit für den ersten gemeinsamen Bildaufnahmebereich 402, eine Beobachtungseinheit für den zweiten gemeinsamen Bildaufnahmebereich 403, eine Koordinatenintegrationseinheit 404, eine Straßenoberflächenmodell-Zusammenführungseinheit 405 und ein Einheit zur monokularen Abstandsschätzung 406. Die Funktionsblöcke, die dem Abstandsmessprogramm für das gemeinsame Sichtfeld 144 entsprechen, sind die Beobachtungseinheit für den ersten gemeinsamen Bildaufnahmebereich 402 und die Beobachtungseinheit für den zweiten gemeinsamen Bildaufnahmebereich 403, die Funktionsblöcke, die dem Programm zum Schätzen der relativen Straßenoberflächenlage 143 entsprechen, sind die Koordinatenintegrationseinheit 404 und die Straßenoberflächenmodell-Zusammenführungseinheit 405, und der Funktionsblock, der dem Programm zur monokularen Abstandsschätzung 145 entspricht, ist die Einheit zur monokularen Abstandsschätzung 406.
Die Sensorwert-Erfassungseinheit 401 erfasst Bilder, die von den mehreren Kameras 121 bis 124 ausgegeben werden. Die Kameras 121 bis 124 führen die Erfassung fortlaufend mit einer vorgegebenen Frequenz (z. B. 30 Mal pro Sekunde) durch. Das von der Kamera erhaltene Bild wird bei jeder Bildaufnahme an die fahrzeugeigene Verarbeitungsvorrichtung 102 gesendet. In dem Fall dieses Beispiels ist es wünschenswert, dass die Kameras 121 und 122 sowie die Kamera 123 und die Kamera 124 bei einigen Verfahren synchronisiert sind und die Aufnahme synchron durchführen. Die Sensorwert-Erfassungseinheit 401 gibt die von den Kameras 121 bis 124 erfassten Bilder an die Beobachtungseinheit für den ersten gemeinsamen Bildaufnahmebereich 402 und den Beobachtungseinheit für den zweiten gemeinsamen Bildaufnahmebereich 403 aus. Danach werden die Verarbeitungsarten von der Beobachtungseinheit für den ersten gemeinsamen Bildaufnahmebereich 402 bis zu der Einheit zur monokularen Abstandsschätzung 406 jedes Mal ausgeführt, wenn das Bild empfangen wird.
Die Beobachtungseinheit für den ersten gemeinsamen Bildaufnahmebereich 402 misst Werte dreidimensionaler Koordinaten der Straßenoberfläche 301, die in dem ersten gemeinsamen Bildaufnahmebereich 211 erfasst werden, indem sie die von den mehreren Kameras 121 und 122 erfassten Bilder verwendet, die aus der Sensorwert-Erfassungseinheit 401 ausgegeben werden. Beispielsweise wird ein gemeinsames Objekt (z. B. ein Abschnitt, der leicht als Merkmalspunkt gefunden werden kann, wie z. B. ein Eckabschnitt der Straßenoberflächenfarbe), das durch das Bild der Kamera 121 erfasst wird, und die der Straßenoberfläche 301 entsprechenden Pixel der Kamera 122 durch Bilderkennung extrahiert, und die Werte dreidimensionaler Koordinaten der Straßenoberfläche 301 können durch Triangulation unter Verwendung einer bekannten geometrischen Beziehung (z. B. des kalibrierten Kameraparameter-Anfangswerts 141, der in dem ROM 111 gespeichert ist) zwischen der Kamera 121 und der Kamera 122 gemessen werden. Die Berechnung wird durch mehrere Merkmalspunkte auf der Straßenoberfläche durchgeführt, die in der Kamera 121 und der Kamera 122 zugeordnet werden können. Ob sich ein bestimmter Pixel auf der Straßenoberfläche befindet oder nicht, kann in einem Bereich bestimmt werden, der berechnet wird, indem der bekannten Beziehung zwischen dem Lagewinkel des Kameraparameter-Anfangswerts 141 und dem Straßenoberflächengradienten ein bestimmter Fehlerbereich zugewiesen wird, oder die Straßenoberfläche kann durch Unterscheiden des dreidimensionalen Objekts auf dem aufgenommenen Bild bestimmt werden. Die Werte dreidimensionaler Koordinaten können mit anderen bekannten Verfahren gemessen werden. Der berechnete Abstand wird beispielsweise in einem Kamerakoordinatensystem berechnet, dessen eine Achse die optische Achse 201 der Kamera 121 ist. Die Beobachtungseinheit für den ersten gemeinsamen Bildaufnahmebereich 402 gibt alle berechneten Werte dreidimensionaler Koordinaten der Straßenoberfläche 301 an die Koordinatenintegrationseinheit 404 aus. Ein Verarbeitungsablauf der Beobachtungseinheit für den ersten gemeinsamen Bildaufnahmebereich402 wird unter Bezugnahme auf 6 beschrieben.
Die Beobachtungseinheit für den zweiten gemeinsamen Bildaufnahmebereich 403 misst die Werte dreidimensionaler Koordinaten der Straßenoberfläche 301, die in dem zweiten gemeinsamen Bildaufnahmebereich 212 erfasst werden, indem sie die von den mehreren Kameras 123 und 124 aufgenommenen Bilder verwendet, die von der Sensorwert-Erfassungseinheit 401 ausgegeben werden. Die Verarbeitung der Beobachtungseinheit für den zweiten gemeinsamen Bildaufnahmebereich 403 ist die gleiche wie die Verarbeitung der Beobachtungseinheit für den ersten gemeinsamen Bildaufnahmebereich 402, mit der Ausnahme, dass die Kamera, die das Bild aufnimmt, eine andere ist und dass der zweite gemeinsame Bildaufnahmebereich 212 erfasst wird, weshalb auf eine detaillierte Beschreibung verzichtet wird.
Die Koordinatenintegrationseinheit 404 ist ein Funktionsblock, der dreidimensionale Koordinaten der Straßenoberfläche 301, die von der Beobachtungseinheit für den ersten gemeinsamen Bildaufnahmebereich 402 ausgegeben werden, und dreidimensionale Koordinaten der Straßenoberfläche 301, die von der Beobachtungseinheit für den zweiten gemeinsamen Bildaufnahmebereich 403 ausgegeben werden, in das gleiche Koordinatensystem integriert.
Die Beobachtungseinheit für den ersten gemeinsamen Bildaufnahmebereich 402 berechnet beispielsweise Werte dreidimensionaler Koordinaten in dem Kamerakoordinatensystem der Kamera 121. Andererseits berechnet die Beobachtungseinheit für den zweiten gemeinsamen Bildaufnahmebereich 403 beispielsweise Werte dreidimensionaler Koordinaten in dem Kamerakoordinatensystem der Kamera 123. Die Koordinatenintegrationseinheit 404 setzt die Koordinatenwerte in diesen verschiedenen Koordinatensystemen beispielsweise in ein Fahrzeugkoordinatensystem um, indem sie den kalibrierten Kameraparameter-Anfangswert 141 verwendet, der in dem ROM 111 gespeichert ist, und integriert die Koordinatenwerte. Die Konvertierung und Integration in das Fahrzeugkoordinatensystem kann durch eine bekannte Koordinatenkonvertierungsberechnung unter Verwendung eines externen Parameters durchgeführt werden, der eine Positions- und Lagebeziehung im Kameraparameter-Anfangswert 141 darstellt. Das Koordinatensystem, in das die Koordinaten integriert werden, kann ein anderes Koordinatensystem sein. Die Werte dreidimensionaler Koordinaten, die durch Integration des ersten gemeinsamen Bildaufnahmebereichs 211 und des zweiten gemeinsamen Bildaufnahmebereichs 212 erhalten werden und von der Beobachtungseinheit für den ersten gemeinsamen Bildaufnahmebereich 402 und der Beobachtungseinheit für den zweiten gemeinsamen Bildaufnahmebereich 403 ausgegeben werden, werden an die Straßenoberflächenmodell-Zusammenführungseinheit 405 ausgegeben.
Die Straßenoberflächenmodell-Zusammenführungseinheit 405 berechnet die relative Lagebeziehung zwischen dem Fahrzeug 100 und der Straßenoberfläche 301 durch Anpassen des Straßenoberflächenmodells 142 unter Verwendung der Werte dreidimensionaler Koordinaten, die durch Integration des ersten gemeinsamen Bildaufnahmebereichs 211 und des zweiten gemeinsamen Bildaufnahmebereichs 212 erhalten werden, die von der Koordinatenintegrationseinheit 404 ausgegeben wird. Die relative Lagebeziehung wird unter Einbeziehung der in 3(c) und 3(d) dargestellten Variation der Fahrzeuglage berechnet.
Das Straßenoberflächenmodell 142 umfasst beispielsweise zwei Ebenen mit einem Entwässerungsgradienten von etwa 2 % unter Berücksichtigung eines Straßenaufbaus,dem in Querrichtung mit der Straßenmitte als Scheitelpunkt ein Gradient von etwa 2 % bis 2,5 % gegeben ist. Weitere Straßenoberflächenmodelle werden später beschrieben.
Die Straßenoberflächenmodell-Zusammenführungseinheit 405 ermittelt die relative Lage des Straßenoberflächenmodells 142 in Bezug auf das Fahrzeug 100, so dass das Straßenoberflächenmodell 142 und die Werte dreidimensionaler Koordinaten durch Integration des ersten gemeinsamen Bildaufnahmebereichs 211 und des zweiten gemeinsamen Bildaufnahmebereichs 212, die aus der Koordinatenintegrationseinheit 404 ausgegeben werden, müssen miteinander übereinstimmen. Zum Beispiel wird die Summe der Abstände zwischen den Werten dreidimensionaler Koordinaten, die durch Integration des ersten gemeinsamen Bildaufnahmebereichs 211 und des zweiten gemeinsamen Bildaufnahmebereichs 212 erhalten werden und von der Koordinatenintegrationseinheit 404 ausgegeben werden, und der Straßenoberflächenebene des Straßenoberflächenmodells 142 als Zielfunktion festgelegt und die relativen Positions- und Lageparameter des Straßenoberflächenmodells 142 in Bezug auf das Fahrzeug 100 werden berechnet, um die Zielfunktion zu minimieren. Die relativen Positions- und Lageparameter des Fahrzeugs 100 und des Straßenoberflächenmodells 142 sind einer oder mehrere der drei Lagewinkel Rollwinkel, Nickwinkel und Gierwinkel sowie Positionsparameter Länge, Breite und Höhe. Zur Stabilisierung der Schätzung können ein oder mehrere Parameter bekannt sein und andere Parameter können geschätzt werden. Für die Minimierung der Zielfunktion kann ein bekanntes Zielfunktionsminimierungsverfahren wie etwa ein Steilster-Abstieg-Verfahren oder ein Levenberg Marquardt-Verfahren verwendet werden. Die relativen Positions- und Lageparameter des Fahrzeugs 100 und der Straßenoberfläche 301, die von der Straßenoberflächenmodell-Kollationseinheit 405 erhalten werden, werden als die relative Straßenoberflächenlage 153 an die Einheit zur monokularen Abstandsschätzung 406 ausgegeben. Zudem werden die Parameter der relativen Position und Lage als relative Straßenoberflächenlage 153 in dem RAM 112 gespeichert, um beim nächsten Mal als Anfangswert der Optimierung verwendet zu werden. Beim nächsten Mal wird die relative Straßenoberflächenlage 153 aus dem RAM 112 gelesen und die Zielfunktion wird als Anfangswert minimiert. Dann wird eine neue relative Straßenoberflächenlage, die aus neuen Werten dreidimensionaler Koordinaten erhalten wird, als relative Straßenoberflächenlage 153 in dem RAM 112 gespeichert. Es ist zu beachten, dass die Straßenoberflächenmodell-Zusammenführungseinheit 405 die relative Position und Lage des Fahrzeugs 100 durch ein anderes Verfahren ohne Verwendung des Straßenoberflächenmodells erhalten kann.
Die Einheit zur monokularen Abstandsschätzung 406 berechnet einen genauen Abstand zu dem Objekt unter Verwendung der relativen Straßenoberflächenlage 153 und des Straßenoberflächenmodells 142, das von der Straßenoberflächenmodell-Zusammenführungseinheit 405 ausgegeben wird. Aus dem Straßenoberflächenmodell 142, der relativen Straßenoberflächenlage 153 und dem Kameraparameter-Anfangswert 141 kann die relative Beziehung zwischen den Kameras 121 bis 124 und der Straßenoberfläche 301 durch eine bekannte geometrische Lösung berechnet werden. Der Abstand zu dem Objekt wird anhand eines Pixels, das einem Aufstellpunkt des Objekts auf der Straßenoberfläche entspricht, unter Verwendung der berechneten relativen Beziehung berechnet und wird als geschätzter Abstand ausgegeben, Dieses Objekt kann beispielsweise durch eine Bilderkennungsfunktion unter Verwendung von KI oder dergleichen erkannt werden, die in den Kameras 121 bis 124 bereitgestellt ist. Der Abstand zu dem Objekt kann auch in einem anderen Abschnitt als den gemeinsamen Bildaufnahmebereichen 211 und 212 der Kameras 121 bis 124 berechnet werden und kann selbst in einem Fall, in dem die Straßenoberfläche über einen weiten Bereich nicht eben ist, durch mehrere Kameras korrekt berechnet werden.
5(a) und 5(b) sind schematische Darstellungen, die Verarbeitungsarten der Koordinatenintegration und der Straßenoberflächenmodell-Zusammenführung zeigen. 5(a) und 5(b) zeigen eine Beziehung zwischen der Beobachtungseinheit für den ersten gemeinsamen Bildaufnahmebereich 402, der Beobachtungseinheit für den zweiten gemeinsamen Bildaufnahmebereich 403, der Koordinatenintegrationseinheit 404 und der Straßenoberflächenmodell-Zusammenführungseinheit 405, einen Umriss von deren Verarbeitung und deren Vorteile.
Werte dreidimensionaler Koordinaten 501 der Straßenoberfläche 301 in dem ersten gemeinsamen Bildaufnahmebereich 211, die von der Beobachtungseinheit für den ersten gemeinsamen Bildaufnahmebereich 402 beobachtet werden, werden durch das Kamerakoordinatensystem der Kamera 121 dargestellt und Werte dreidimensionaler Koordinaten 502 der Straßenoberfläche 301 in dem zweiten gemeinsamen Bildaufnahmebereich 212, die von der Beobachtungseinheit für den zweiten gemeinsamen Bildaufnahmebereich 403 beobachtet werden, werden durch das Kamerakoordinatensystem der Kamera 123 dargestellt. Eine relative Beziehung zwischen dem Wert dreidimensionaler Koordinaten 501 und dem Wert dreidimensionaler Koordinaten 502 ist unbekannt. Dabei konvertiert die Koordinatenintegrationseinheit 404 unter Verwendung der externen Parameter des Kameraparameter-Anfangswerts 141 die Werte dreidimensionaler Koordinaten 501 des Kamerakoordinatensystems in Werte dreidimensionaler Koordinaten 503 des Koordinatensystems des Fahrzeugs 100 und konvertiert die Werte dreidimensionaler Koordinaten 502 des Kamerakoordinatensystems in Werte dreidimensionaler Koordinaten 504 des Koordinatensystems des Fahrzeugs 100. Die Werte dreidimensionaler Koordinaten 503 und die Werte dreidimensionaler Koordinaten 504 werden durch dasselbe Koordinatensystem dargestellt und die relative Beziehung ist klar. Die Straßenoberflächenmodell-Zusammenführungseinheit 405 kann die relative Beziehung zwischen dem Fahrzeug 100 und der Straßenoberfläche 301 bestimmen, indem sie die Werte dreidimensionaler Koordinaten 503 und die Werte dreidimensionaler Koordinaten 504 mit dem Straßenoberflächenmodell 142 zusammenfasst. Die Straßenoberfläche kann stabil geschätzt werden, indem Beobachtungswerte in einem weiten Bereich und Einschränkungen durch ein Modell, das verglichen wird, in jedem gemeinsamen Bildaufnahmebereich individuell geschätzt werden, indem nicht nur eine Seite des Fahrzeugs 100, sondern auch Bereiche auf beiden Seiten des Fahrzeugs 100 verwendet werden und diese Bereiche ferner an das Straßenoberflächenmodell 142 angepasst werden, und die relative Beziehung zwischen dem Fahrzeug 100 und der Straßenoberfläche kann mit hoher Genauigkeit erhalten werden. Dadurch kann selbst in einem Fall, in dem die Straße nicht eben ist, die Genauigkeit der Abstandsmessung unter Verwendung der von den mehreren Kameras erfassten Bilder verbessert werden.
5(c), 5(d) und 5(e) sind Darstellungen, die ein Beispiel des Straßenoberflächenmodells 142 zeigen. 5(c) ist ein Modell, bei dem zwei Ebenen mit einer Steigung von 2 % verbunden sind. 5(d) zeigt ein Modell, bei dem die Scheitelpunkte zweier Ebenen mit einer Steigung von 2 % gekrümmte Flächen sind. 5(e) ist ein Modell, bei dem eine Straßenoberflächen-Oberseite und eine Breite der Straßenoberfläche ausgeschlossen sind, so dass verschiedenen Formen der Straßenoberflächenoberseite und der Breite der Straßenoberflächenebene entsprochen wird. Ein entsprechender Punkt in der Nähe des ausgeschlossenen Abschnitts kann flexibel zusammengeführt werden, indem der entsprechende Punkt zu dem Zeitpunkt der Zusammenführung der Straßenoberfläche mit den Werten dreidimensionaler Koordinaten nicht in die Fehlersumme der Zielfunktion einbezogen wird. Darüber hinaus gibt es auf einer Schnellstraße mit drei Fahrspuren auf jeder Seite und einem Mittelstreifen den Fall, dass eine Ebene über die gesamte Breite von drei Fahrspuren auf jeder Seite ausgebildet ist. Das Straßenoberflächenmodell 142 von 5(c) bis 5(e) kann einem Fall entsprechen, in dem die gesamte Breite eine Ebene ist. Das heißt, wenn das Straßenoberflächenmodell 142 stark nach links oder rechts verschoben wird, wird der gesamte Beobachtungsbereich zu einer flachen Straßenoberfläche. In dem hier dargestellten Beispiel ist ein Beispiel eines Modells dargestellt, in dem zwei Ebenen gemäß der Form eines Straßenquergradienten verbunden sind, es kann jedoch auch ein Modell verwendet werden, in dem zwei oder mehr Ebenen verbunden sind.
6 ist ein Ablaufdiagramm der Verarbeitungsarten, die von der Beobachtungseinheit für den ersten gemeinsamen Bildaufnahmebereich 402 ausgeführt werden. In der Beobachtungseinheit für den ersten gemeinsamen Bildaufnahmebereich 402 führt die CPU 110 immer dann verschiedene Verarbeitungsarten der folgenden Schritte aus, wenn das Bild von der Sensorwert-Erfassungseinheit 401 empfangen wird.
In dem Merkmalspunkt-Erkennungsschritt 601 wird ein Merkmalspunkt (z. B. ein Eckpunkt der Straßenoberflächenfarbe), der ein charakteristischer Punkt in dem Bild ist, aus jedem von zwei Bildern erkannt, die aus der Sensorwert-Erfassungseinheit 401 erhalten werden. Der Erfassungsbereich ist eine Straßenoberfläche in dem gemeinsamen Bildaufnahmebereich der beiden Bilder. Ob sich ein bestimmtes Pixel auf der Straßenoberfläche in dem gemeinsamen Bildaufnahmebereich befindet oder nicht, kann durch einen Abschnitt bestimmt werden, der berechnet wird, indem der bekannten Beziehung zwischen dem Lagewinkel des Kameraparameter-Anfangswerts 141 und dem Straßenoberflächengradienten ein bestimmter Fehlerbereich zugewiesen wird, oder kann durch Unterscheidung des dreidimensionalen Objekts und der Straßenoberfläche auf dem erfassten Bild bestimmt werden. Der Merkmalspunkt wird mithilfe einer bekannten Technik zur Merkmalspunktextraktion wie dem Harris-Operator erkannt. Darüber hinaus können Informationen, die den Merkmalspunkt ausdrücken, durch eine bekannte Technik wie ORB angehängt und in einem nächsten Merkmalspunkt-Entsprechungsschritt verwendet werden. Anschließend geht die Verarbeitung zu Schritt 602 über.
In dem Merkmalspunkt-Entsprechungsschritt 602 werden Punkte, die dasselbe Ziel repräsentieren, aus den Merkmalspunkten der beiden Bilder, die im Merkmalspunkt-Erkennungsschritt 601 erhalten wurden, einander zugeordnet. Beispielsweise werden die Merkmalspunkte unter Verwendung der Merkmalspunktinformationen zugeordnet, die für jeden Merkmalspunkt in Schritt 601 erhalten werden. Insbesondere wird ein Merkmalspunkt, dessen Merkmalspunktinformationen dem Merkmalspunkt eines Bilds am nächsten liegen, aus dem anderen Bild ausgewählt, und zwei Merkmalspunkte werden einander zugeordnet. Um die Merkmalspunktkoordinaten und die Zuordnungsgenauigkeit der Merkmalspunkte zu verbessern, kann eine beliebige bekannte Technik verwendet werden. Anschließend geht die Verarbeitung zu Schritt 603 über.
In dem Abstandsmessschritt 603 wird ein dreidimensionaler Abstand jedes Punktes berechnet, indem eine Entsprechung zwischen den beiden in dem Schritt 602 erhaltenen Bildern verwendet wird. Der dreidimensionale Abstand kann berechnet werden, indem das Prinzip der Triangulation auf zwei entsprechende Koordinatenpunkte angewendet wird, indem die geometrische Beziehung zwischen zwei Kameras 121 und 122, die aus dem in dem ROM 111 gespeicherten Kameraparameter-Anfangswert 141 bestimmt wird, verwendet wird. Hier wird der Beschreibung halber die Berechnung als Abstand bei Betrachtung von der Kamera 121 mit der Kamera 121 als Referenz durchgeführt, aber die Berechnung kann mit der Kamera 122 als Referenz durchgeführt werden. In diesem Fall ist es kein Problem, wenn in einem späteren Schritt die geometrische Berechnung anhand der Referenzkamera durchgeführt wird. Um die Genauigkeit sicherzustellen, kann die Berechnung mit einer beliebigen bekannten Technik durchgeführt werden. Anschließend geht die Verarbeitung zu Schritt 604 über.
In dem Schritt zur Berechnung dreidimensionalen Koordinaten 604 werden Werte dreidimensionaler Koordinaten aus den Koordinaten und dem Abstand auf dem in dem Schritt 603 erhaltenen Bild der Kamera 121 berechnet. Die dreidimensionalen Koordinaten können aus den Koordinaten und dem Abstand auf dem Bild durch die bekannte geometrische Berechnung unter Verwendung des Kameraparameter-Anfangswerts 141 berechnet werden. Die hier berechneten dreidimensionalen Koordinaten sind die Kamerakoordinaten der Kamera 121. Die dreidimensionalen Koordinaten jedes Punktes werden ausgegeben und das Ablaufdiagramm wird beendet.
Obwohl die Verarbeitungsarten, die von der Beobachtungseinheit für den ersten gemeinsamen Bildaufnahmebereich 402 ausgeführt werden, oben unter Bezugnahme auf 6 gezeigt sind, sind die von der Beobachtungseinheit für den zweiten gemeinsamen Bildaufnahmebereich 403 ausgeführten Verarbeitungsarten die gleichen wie die von der Beobachtungseinheit für den ersten gemeinsamen Bildaufnahmebereich ausgeführten Verarbeitungsarten, weil nur das Kamerabild und die damit verbundenen Kameraparameter und dergleichen unterschiedlich sind.
<Abwandlungsbeispiel 1>
7(a) und 7(b) sind schematische Darstellungen, die ein Abwandlungsbeispiel für Verarbeitungsarten der Koordinatenintegration und der Straßenoberflächenmodell-Zusammenführung zeigen. 7(a) und 7(b) zeigen eine Beziehung zwischen der Beobachtungseinheit für den ersten gemeinsamen Bildaufnahmebereich 402, der Beobachtungseinheit für den zweiten gemeinsamen Bildaufnahmebereich 403, der Koordinatenintegrationseinheit 404 und der Straßenoberflächenmodell-Zusammenführungseinheit 405, einen Umriss von deren Verarbeitung und deren Vorteile. 7(a) und 7(b) sind ein Abwandlungsbeispiel von 5(a) und 5(b), und die Beschreibung der gemeinsamen Teile wird weggelassen und die Unterschiede werden beschrieben.
Werte dreidimensionaler Koordinaten 701 sind Werte dreidimensionaler Koordinaten des dreidimensionalen Objekts, das in dem ersten gemeinsamen Bildaufnahmebereich 211 beobachtet und durch das Kamerakoordinatensystem der Kamera 121 dargestellt wird. Die Koordinatenintegrationseinheit 404 konvertiert unter Verwendung der externen Parameter des Kameraparameter-Anfangswerts 141 die Werte dreidimensionaler Koordinaten 701 des dreidimensionalen Objekts in Werte dreidimensionaler Koordinaten 702 des Koordinatensystems des Fahrzeugs 100. Das Straßenoberflächenmodell 142 kann nicht nur unter Verwendung der Werte dreidimensionaler Koordinaten 503 und 504, aber auch der Werte dreidimensionaler Koordinaten 702 zusammengeführt werden. In diesem Fall wird davon ausgegangen, dass die Werte dreidimensionaler Koordinaten 702 vertikal angeordnet sind, und die Zielfunktion des Straßenoberflächenmodells 142 ist so ausgelegt, dass ein Bewertungswert dann groß wird, wenn die Werte dreidimensionaler Koordinaten vertikal sind.
8 ist ein Ablaufdiagramm der Verarbeitungsarten, die von der Beobachtungseinheit für den ersten gemeinsamen Bildaufnahmebereich 402 ausgeführt werden, und entspricht dem in 7 dargestellten Abwandlungsbeispiel. Da das Ablaufdiagramm von 8 im Wesentlichen das gleiche wie das Ablaufdiagramm von 6 ist, wird die Beschreibung der gemeinsamen Teile weggelassen und die Unterschiede werden beschrieben.
In dem Schritt 801 zur Trennung von Straßenoberfläche/dreidimensionalem Objekt werden ein Beobachtungspunkt auf der Straßenoberfläche und ein Beobachtungspunkt des dreidimensionalen Objekts von Beobachtungspunkten der gemeinsamen Bildaufnahmebereiche getrennt. Aufgrund der Verwendung von Bilderkennung durch KI oder dergleichen können beispielsweise Beobachtungspunkte getrennt werden, indem ein als Leitplanke, Strommast, Mast oder dergleichen erkannter Punkt auf das dreidimensionale Objekt ausgerichtet wird und ein durch die Straßenoberflächenfarbe erkannter als Punkt auf der Straßenoberfläche ausgerichtet wird. Auf ähnliche Weise wird das dreidimensionale Objekt gruppiert, indem jedem dreidimensionalen Objekt ein weiteres Etikett hinzugefügt wird. Rechtecke werden an den gruppierten Punkt angepasst, um Rechteckinformationen bereitzustellen. Bezüglich der bereitgestellten Rechteckinformationen entwirft und verwendet die Straßenoberflächenmodell-Zusammenführungseinheit 405 in der nachfolgenden Phase eine Zielfunktion, die in einem Fall minimiert wird, in dem das Rechteck und das Straßenoberflächenmodell 142 orthogonal zueinander sind. Hier wird der etikettierte dreidimensionale Koördinatenpunkt ausgegeben und das Ablaufdiagramm beendet.
Obwohl die Verarbeitungsarten, die von der Beobachtungseinheit für den ersten gemeinsamen Bildaufnahmebereich 402 ausgeführt werden, oben unter Bezugnahme auf 8 gezeigt sind, sind die von der Beobachtungseinheit für den zweiten gemeinsamen Bildaufnahmebereich 403 ausgeführten Verarbeitungsarten die gleichen wie die von der Beobachtungseinheit für den ersten gemeinsamen Bildaufnahmebereich ausgeführten Verarbeitungsarten, weil nur das Kamerabild und die damit verbundenen Kameraparameter und dergleichen verschieden sind.
<Abwandlungsbeispiel 2>
9(a) und 9(b) sind schematische Darstellungen, die ein weiteres Abwandlungsbeispiel der Verarbeitung der Koordinatenintegration und der Straßenoberflächenmodell-Zusammenführung zeigen. 9(a) und 9(b) zeigen eine Beziehung zwischen der Beobachtungseinheit für den ersten gemeinsamen Bildaufnahmebereich 402, der Beobachtungseinheit für den zweiten gemeinsamen Bildaufnahmebereich 403, der Koordinatenintegrationseinheit 404 und der Straßenoberflächenmodell-Zusammenfassungseinheit 405, einen Umriss deren Verarbeitung und deren Vorteile. 9(a) und 9(b) sind ein Abwandlungsbeispiel von 7(a) und 7(b) und die Beschreibung der gemeinsamen Teile wird weggelassen und die Unterschiede werden beschrieben.
Werte dreidimensionaler Koordinaten 901 sind Werte dreidimensionaler Koordinaten des dreidimensionalen Objekts, die zu einem nächsten Zeitpunkt beobachtet werden, der Werte dreidimensionaler Koordinaten 501 und 701 in dem ersten gemeinsamen Bildaufnahmebereich 211. Das heißt, die Beobachtungspunkte in dem ersten gemeinsamen Bildaufnahmebereich 211 werden unter der Voraussetzung in Zeitreihen integriert, dass sich die Lage des Fahrzeugs 100 in kurzer Zeit nicht stark ändert. In ähnlicher Weise sind Werte dreidimensionaler Koordinaten 902 Werte dreidimensionaler Koordinaten des dreidimensionalen Objekts, die zu einem nächsten Zeitpunkt beobachtet werden, der Werte dreidimensionaler Koordinaten 502 in dem zweiten gemeinsamen Bildaufnahmebereich 212 und werden durch Integrieren von Koordinatenpunkten des zweiten gemeinsamen Bildaufnahmebereichs 212 in Zeitreihen erhalten. Dabei konvertiert die Koordinatenintegrationseinheit 404 die Werte dreidimensionaler Koordinaten 901 und 902 in das Koordinatensystem des Fahrzeugs 100, indem sie die externen Parameter des Kameraparameter-Anfangswerts 141 verwendet. Das Straßenoberflächenmodell 142 wird nicht nur unter Verwendung der Werte dreidimensionaler Koordinaten 503 und 504, sondern auch der Werte dreidimensionaler Koordinaten 702, 901 und 902 zusammengeführt. In diesem Fall wird davon ausgegangen, dass die dreidimensionalen Koordinatenwerte 901 und 902 ebenfalls vertikal angeordnet sind, und die Zielfunktion des Straßenoberflächenmodells 142 ist so ausgelegt, dass der Bewertungswert in einem Fall groß wird, in dem die dreidimensionalen Koordinatenwerte vertikal sind.
Gemäß diesem Abwandlungsbeispiel kann die Straßenoberfläche stabil geschätzt werden, indem Beobachtungswerte in einem weiten Bereich und Einschränkungen durch ein Modell, das verglichen wird, mit einem Beobachtungswert zu einem Zeitpunkt in jedem gemeinsamen Bildaufnahmebereich individuell geschätzt werden, indem nicht nur die Straßenoberflächenpunkte und Punkte des dreidimensionalen Objekts verwendet werden, die zu einem bestimmten Zeitpunkt auf beiden Seiten des Fahrzeugs 100 beobachtet werden, sondern auch Straßenoberflächenpunkte und Punkte des dreidimensionalen Objekts in Zeitreihen und diese Punkte ferner an das Straßenoberflächenmodell 142 angepasst werden, und die relative Beziehung zwischen dem Fahrzeug 100 und der Straßenoberfläche kann mit hoher Genauigkeit bestimmt werden. Dadurch kann selbst in einem Fall, in dem die Straße nicht eben ist, die Abstandsmessgenauigkeit unter Verwendung der von den mehreren Kameras erfassten Bilder weiter verbessert werden.
10 ist ein Funktionsblockdiagramm des von der CPU 110 ausgeführten Abstandsschätzungsprogramms 150 und entspricht einem in 9 dargestellten Abwandlungsbeispiel. 10 zeigt eine Verarbeitungsreihenfolge von Funktionsblöcken des Abstandsschätzungsprogramms 150 und Datenflüsse zwischen den Funktionsblöcken und zwischen den Funktionsblöcken, dem ROM 111 und dem RAM 112. Da das Funktionsblockdiagramm von 10 im Wesentlichen dem Funktionsblockdiagramm von 4 entspricht, wird die Beschreibung der gemeinsamen Teile weggelassen und die Unterschiede werden beschrieben.
Das Abstandsschätzungsprogramm 150 umfasst eine Sensorwert-Erfassungseinheit 401, eine Beobachtungseinheit für den ersten gemeinsamen Bildaufnahmebereich 402, eine Beobachtungseinheit für den zweiten gemeinsamen Bildaufnahmebereich 403, eine Koordinatenintegrationseinheit 404, eine Zeitreihen-Integrationseinheit 1001, eine Straßenoberflächenmodell-Zusammenführungseinheit 405, eine Einheit zur monokularen Abstandsschätzung 406 und eine Hodometrieschätzungseinheit 1002. Die Zeitreihen-Integrationseinheit 1001 ist einer der Funktionsblöcke, die dem Programm zum Schätzen der relativen Straßenoberflächenlage 143 entsprechen, und integriert in Zeitreihen die Werte dreidimensionaler Koordinaten, die durch Integration des ersten gemeinsamen Bildaufnahmebereichs 211 und des zweiten gemeinsamen Bildaufnahmebereichs 212 erhalten werden und von der Koordinatenintegrationseinheit 404 ausgegeben werden. Die Werte dreidimensionaler Koordinaten werden unter der Voraussetzung integriert, dass die Lage des Fahrzeugs 100 sich in kurzer Zeit nicht wesentlich ändert. Zu dem Zeitpunkt der Integration können die Werte dreidimensionaler Koordinaten integriert werden, indem ein Bewegungsbetrag des Fahrzeugs 100 von einem früheren Zeitpunkt zu einem aktuellen Zeitpunkt erfasst wird und anhand bekannter geometrischer Verfahren ein Bewegungsbetrag der Kamera aus dem Bewegungsbetrag des Fahrzeugs berechnet wird. Der Betrag der Fahrzeugbewegung wird von der Hodometrieschätzungseinheit 1002 erfasst, die später beschrieben wird. Beim ersten Mal wird die Ausgabe der Koordinatenintegrationseinheit 404 in dem RAM 112 geschrieben und aufgezeichnet und beim nächsten Mal wird eine beim vorherigen Mal aufgezeichnete Punktgruppe aus dem RAM 112 gelesen und zusätzlich zu einer Punktgruppe in dem Koordinatensystem des Fahrzeugs 100, die von der Koordinatenintegrationseinheit 404 neu erhalten wird, behalten. Ein zu integrierender Zeitbereich kann als Parameter angepasst werden. Die integrierten Werte dreidimensionaler Koordinaten werden an die Straßenoberflächenmodell-Zusammenführungseinheit 405 und den RAM 112 ausgegeben.
Die Hodometrieschätzungseinheit 1002 schätzt die Bewegung des Fahrzeugs 100 unter Verwendung der Geschwindigkeit und des Lenkwinkels des Fahrzeugs 100, die aus dem Fahrzeuggeschwindigkeitssensor 131 und dem Lenkwinkelsensor 132 gesendet werden. Beispielsweise kann eine bekannte Koppelnavigation verwendet werden, eine Schätzung kann unter Verwendung einer bekannten visuellen Hodometrietechnik unter Verwendung einer Kamera durchgeführt werden oder es kann ein bekanntes Kalman-Filter oder dergleichen in Kombination verwendet werden. Das Ergebnis der Fahrzeugbewegungsschätzung wird an die Zeitreihen-Integrationseinheit 1001 ausgegeben.
<Abwandlungsbeispiel 3>
11 ist ein Blockdiagramm, das eine Konfiguration eines Fahrzeugs 100 zeigt, an dem eine Erfassungsvorrichtung 101 gemäß einem Abwandlungsbeispiel der vorliegenden Erfindung montiert ist. Da die in 11 dargestellte Erfassungsvorrichtung 101 im Wesentlichen die gleiche ist wie die in 1 dargestellte Erfassungsvorrichtung 101, wird die Beschreibung der gemeinsamen Teile weggelassen und die Unterschiede werden beschrieben.
Bei der in 11 dargestellten Erfassungsvorrichtung 101 sind zusätzlich eine Kamera 1101, eine Kamera 1102 und eine Fahrzeugsteuervorrichtung 1180 an der in 1 dargestellten Erfassungsvorrichtung 101 angebracht. Die Kamera 1101 und die Kamera 1102 sind ähnlich wie die Kameras 121 bis 124 an dem Umfang des Fahrzeugs 100 angebracht und erfassen das Umfeld des Fahrzeugs 100. Ein Verfahren zum Anbringen der Kameras 1101 und 1102 wird später beschrieben. Ein Erfassungsbereich der Kameras 1101 und 1102 umfasst eine Straßenoberfläche, auf der das Fahrzeug 100 fährt. Eine Beziehung zwischen den Positionen und Lagen der Kameras 1101 und 1102 und des. Fahrzeugs 100 wird als Kameraparameter-Anfangswert 141 in dem ROM 111 gespeichert. Jede der Kameras 1101 und 1102 umfasst eine Linse und ein Bildaufnahmeelement. Eigenschaften der Kameras 1101 und 1102, beispielsweise ein Linsenverzerrungskoeffizient, der die Verzerrung einer Linse angibt, eine Mitte der optischen Achse, eine Brennweite, die Anzahl der Pixel des Bildaufnahmeelements, Abmessungen und dergleichen werden ebenfalls als der Kameraparameter-Anfangswert 141 in dem ROM 111 gespeichert.
Die Fahrzeugsteuervorrichtung 1180 steuert eine Lenkvorrichtung, eine Antriebsvorrichtung, eine Bremsvorrichtung, eine aktive Aufhängung und dergleichen unter Verwendung der von der CPU 110 ausgegebenen Informationen, beispielsweise einer vom Abstandsschätzungsprogramm ausgegebenen relativen Lage 153 der Straßenoberfläche 1150. Die Lenkvorrichtung betätigt die Lenkung des Fahrzeugs 100. Die Antriebsvorrichtung übt eine Antriebskraft auf das Fahrzeug 100 aus. Die Antriebsvorrichtung erhöht die Antriebskraft des Fahrzeugs 100 beispielsweise durch Erhöhen einer Zieldrehzahl einer Kraftmaschine des Fahrzeugs 100. Die Bremsvorrichtung übt eine Bremskraft auf das Fahrzeug 100 aus. Die aktive Aufhängung kann den Betrieb verschiedener Vorrichtungen während der Fahrt ändern, wie z. B. das Ausdehnen und Zusammenziehen eines Aktors, der durch Hydraulikdruck, Luftdruck oder dergleichen betätigt wird, oder eine Anpassung der Intensität der Dämpfungskraft einer Feder.
12 ist eine Darstellung, die ein Beispiel einer Beziehung zwischen dem Fahrzeug 100, den Kameras 121 bis 124, 1101 und 1102, einer optischen Achse 201 der Kamera 121, einer optischen Achse 202 der Kamera 122, einer optischen Achse 203 der Kamera 123, einer optischen Achse 204 der Kamera 124, einer optischen Achse 1201 der Kamera 1101, einer optischen Achse 1202 der Kamera 1102, einem ersten gemeinsamen Bildaufnahmebereich 211, einem zweiten gemeinsamen Bildaufnahmebereich 212, einem dritten gemeinsamen Bildaufnahmebereich 1213, einem vierten gemeinsamen Bildaufnahmebereich 1214, einem fünften gemeinsamen Bildaufnahmebereich 1215 und einem sechsten gemeinsamen Bildaufnahmebereich 1216 in der Erfassungsvorrichtung 101 des in 11 dargestellten Abwandlungsbeispiels. zeigt.
Die Kamera 1101 wird durch Auswahl eines Sichtwinkels und dergleichen der Kamera vor dem Fahrzeug 100 so angebracht, dass sie eine Richtung der optischen Achse 1201 erfasst und einen gemeinsamen Bildaufnahmebereich mit den Kameras 122 und 124 aufweist. Der gemeinsame Bildaufnahmebereich der Kamera 1101 und der Kamera 122 ist der dritte gemeinsame Bildaufnahmebereich 1213 und der gemeinsame Bildaufnahmebereich der Kamera 1101 und der Kamera 124 ist der vierte gemeinsame Bildaufnahmebereich 1214. Die Kamera 1102 wird durch Auswahl eines Blickwinkels der Kamera hinter dem Fahrzeug 100 derart angebracht, dass sie eine Richtung der optischen Achse 1202 erfasst und einen gemeinsamen Bildaufnahmebereich mit den Kameras 121 und 123 aufweist. Der gemeinsame Bildaufnahmebereich der Kamera 1102 und der Kamera 121 ist der fünfte gemeinsame Bildaufnahmebereich 1215 und der gemeinsame Bildaufnahmebereich der Kamera 1102 und der Kamera 123 ist der sechste gemeinsame Bildaufnahmebereich 1216. In jedem gemeinsamen Bildaufnahmebereich werden die Straßenoberfläche und das dreidimensionale Objekt erfasst. Darüber hinaus kann eine Kamera mit einem passenden Sichtwinkel, Winkel oder dergleichen ausgewählt werden, um als Umfeldsichtkamera zu fungieren, die eine Draufsicht auf das Umfeld des Fahrzeugs 100 anzeigt. Die Abbildung führt zu den gemeinsamen Bildaufnahmebereichen 211, 212 und 1213 bis 1216, die zum Schätzen der relativen Lage zwischen der Straßenoberfläche und dem Fahrzeug 100 verwendet werden. In dem in 12 gezeigten Abwandlungsbeispiel kann die relative Beziehung zwischen dem Fahrzeug 100 und der Straßenoberfläche durch den Beobachtungswert in einem größeren Bereich stabil geschätzt und mit hoher Genauigkeit erhalten werden. Dadurch kann selbst in einem Fall, in dem die Straße nicht eben ist, die Genauigkeit der Abstandsmessung unter Verwendung der von den mehreren Kameras erfassten Bilder verbessert werden.
13 ist ein Funktionsblockdiagramm des von der CPU 110 ausgeführten Abstandsschätzungsprogramms 150 und entspricht dem in 11 dargestellten Abwandlungsbeispiel: 13 zeigt eine Verarbeitungsreihenfolge von Funktionsblöcken des Abstandsschätzungsprogramms 150 und den Datenfluss zwischen den Funktionsblöcken und zwischen den Funktionsblöcken, dem ROM 111 und dem RAM 112. Da das Funktionsblockdiagramm von 13 im Wesentlichen dem Funktionsblockdiagramm von 10 entspricht, wird die Beschreibung der gemeinsamen Abschnitte weggelassen und die Unterschiede werden beschrieben.
Ein Abstandsmessprogramm für das gemeinsame Sichtfeld 144, das in 13 dargestellt ist, umfasst eine Beobachtungseinheit für den ersten gemeinsamen Bildaufnahmebereich 402, eine Beobachtungseinheit für den zweiten gemeinsamen Bildaufnahmebereich 403, eine Beobachtungseinheit für den dritten gemeinsamen Bildaufnahmebereich 1313, eine Beobachtungseinheit für den vierten gemeinsamen Bildaufnahmebereich 1314, eine Beobachtungseinheit für den fünften gemeinsamen Bildaufnahmebereich 1315 und eine Beobachtungseinheit für den sechsten gemeinsamen Bildaufnahmebereich 1316. Darüber hinaus werden Bilder aus den Kameras 121 bis 124 und den Kameras 1101 und 1102 in das Abstandsmessprogramm für das gemeinsame Sichtfeld 144 eingegeben.
Die Beobachtungseinheit für den dritten gemeinsamen Bildaufnahmebereich 1313 misst die Werte dreidimensionaler Koordinaten der Straßenoberfläche 301, die in dem dritten gemeinsamen Bildaufnahmebereich 1213 erfasst werden, indem sie die von den mehreren Kameras 122 und 1101 erfassten Bilder verwendet, die von der Sensorwert-Erfassungseinheit 401 ausgegeben werden. Die Beobachtungseinheit für den vierten gemeinsamen Bildaufnahmebereich 1314 misst die Werte dreidimensionaler Koordinaten der Straßenoberfläche 301, die in dem vierten gemeinsamen Bildaufnahmebereich 1214 erfasst werden, indem sie die von den mehreren Kameras 124 und 1101 erfassten Bilder verwendet, die von der Sensorwert-Erfassungseinheit 401 ausgegeben werden. Die Beobachtungseinheit für den fünften gemeinsamen Bildaufnahmebereich 1315 misst die Werte dreidimensionaler Koordinaten der Straßenoberfläche 301, die in dem fünften gemeinsamen Bildaufnahmebereich 1215 erfasst werden, indem sie die von den mehreren Kameras 121 und 1102 erfassten Bilder verwendet, die von der Sensorwert-Erfassungseinheit 401 ausgegeben werden. Die Beobachtungseinheit für den sechsten gemeinsamen Bildaufnahmebereich 1316 misst die Werte dreidimensionaler Koordinaten der Straßenoberfläche 301, die in dem sechsten gemeinsamen Bildaufnahmebereich 1216 erfasst werden, indem sie die von den mehreren Kameras 123 und 1102 erfassten Bilder verwendet, die von der Sensorwert-Erfassungseinheit 401 ausgegeben werden. Die von den Beobachtungseinheiten für den gemeinsamen Bildaufnahmebereich ausgegebenen Werte dreidimensionaler Koordinaten werden in dem Kamerakoordinatensystem jeder Kamera dargestellt und die Werte dreidimensionaler Koordinaten des Kamerakoordinatensystems werden unter Verwendung der externen Parameter des Kameraparameter-Anfangswerts 141 in Werte dreidimensionaler Koordinaten des Koordinatensystems des Fahrzeugs 100 konvertiert.
Eine Fahrzeugsteuereinheit 1320 empfängt eine relative Straßenoberflächenlage 153, die eine Ausgabe einer Straßenoberflächenmodell-Zusammenführungseinheit 405 ist, und steuert das Fahrzeug 100. Als Beispiel für die Fahrzeugsteuerung wird eine aktive Aufhängung gesteuert, um den Einfluss von eines Rollwinkels und eines Nickwinkels des Fahrzeugs 100, der aus der relativen Straßenoberflächenlage 153 erhalten wird, zu verringern, und der Fahrkomfort wird verbessert. Das Fahrzeug 100 kann durch andere Lagewinkel des Fahrzeugs 100 gesteuert werden.
Wie es oben beschrieben ist, umfasst die Erfassungsvorrichtung 101 der Ausführungsform der vorliegenden Erfindung eine Beobachtungseinheit für einen ersten gemeinsamen Bildaufnahmebereich 402, die einen ersten gemeinsamen Bildaufnahmebereich 211 in einem Umfeld eines Trägerfahrzeugs anhand von Informationen eines gemeinsamen Bildaufnahmebereichs beobachtet, die durch mindestens einen ersten Sensor (Kamera 121) und einen zweiten Sensor (Kamera 122) erfasst werden, die den gemeinsamen Bildaufnahmebereich aufweisen, eine Beobachtungseinheit für den zweiten gemeinsamen Bildaufnahmebereich 403, die einen zweiten gemeinsamen Bildaufnahmebereich 212, der sich von dem ersten gemeinsamen Bildaufnahmebereich 211 unterscheidet, anhand von Informationen eines gemeinsamen Bildaufnahmebereichs beobachtet, der von mindestens einem dritten Sensor (Kamera 123) und einem vierten Sensor (Kamera 124), die den gemeinsamen Bildaufnahmebereich aufweisen, erfasst werden, eine Koordinatenintegrationseinheit 404, die eine geometrische Beziehung zwischen den Sensoren mit Koordinaten von Informationselementen, die in dem ersten gemeinsamen Bildaufnahmebereich 211 und dem zweiten gemeinsamen Bildaufnahmebereich 212 beobachtet werden, integriert, und eine Straßenoberflächen-Schätzeinheit (Straßenoberflächenmodell-Zusammenführungseinheit 405), die eine relative Lage zwischen jedem Sensor und einer Straßenoberfläche einschließlich eines Nickwinkels und eines Rollwinkels des Trägerfahrzeugs basierend auf Punktgruppeninformationen, die aus den integrierten Koordinaten berechnet werden, schätzt. Somit ist es möglich, den Einfluss des Straßengradienten und der Fahrzeuglage zu reduzieren und die Genauigkeit der Abstandsmessung zu verbessern. Darüber hinaus kann die Genauigkeit bei der binokularen Abstandsmessung durch die mehreren Kameras verbessert werden.
Da der gemeinsame Bildaufnahmebereich an einer Position angeordnet ist, an der die optischen Achsen der Sensoren einander schneiden, ist es außerdem möglich, den Einfluss des Straßengradienten und der Fahrzeuglage genau zu korrigieren, indem ein Bild mit geringerer Verzerrung in der Nähe der optischen Achsen verwendet wird.
Darüber hinaus umfasst die Straßenoberflächen-Schätzeinheit (Straßenoberflächenmodell-Zusammenführungseinheit 405) die Straßenoberflächenmodell-Zusammenführungseinheit 405, die die Punktgruppeninformationen der Straßenoberfläche mit dem Straßenoberflächenmodell zusammenführt, und die Straßenoberflächenmodell-Zusammenführungseinheit 405 passt Punktgruppeninformationen der Straßenoberfläche an das Straßenoberflächenmodell 142 an, so dass der Fehler zwischen den Punktgruppeninformationen der Straßenoberfläche und dem Straßenoberflächenmodell 142 abnimmt. Somit ist es möglich, den Einfluss des Straßengradienten und der Fahrzeuglage genau zu korrigieren.
Darüber hinaus trennen die Beobachtungseinheit für den ersten gemeinsamen Bildaufnahmebereich 402 und die Beobachtungseinheit für den zweiten gemeinsamen Bildaufnahmebereich 403 Straßenoberflächen-Punktgruppeninformationen und Objekt-Punktgruppeninformationen, die ein auf der Straßenoberfläche vorhandenes Objekt darstellen (801), und die Straßenoberflächen-Schätzeinheit (Straßenoberflächenmodell-Zusammenführungseinheit 405) führt eine Zusammenführung mit einem Straßenoberflächenmodell durch, so dass ein Fehler zwischen den Straßenoberflächen-Punktgruppeninformationen und der Straßenoberfläche abnimmt und die Objekt-Punktgruppeninformationen vertikal angeordnet werden. Somit ist es möglich, den Einfluss des Straßengradienten und der Fahrzeuglage genau zu korrigieren, ohne einen großen Fehler zu verursachen.
Darüber hinaus umfasst die Straßenoberflächen-Schätzeinheit (Straßenoberflächenmodell-Zusammenführungseinheit 405) eine Zeitreihen-Integrationseinheit 1001, die Ausgaben der Beobachtungseinheit für den ersten gemeinsamen Bildaufnahmebereich in Zeitreihen integriert und Ausgaben der Beobachtungseinheit für den zweiten gemeinsamen Bildaufnahmebereich in Zeitreihen integriert. Somit ist es möglich, den Einfluss des Straßengradienten und der Fahrzeuglage genau zu korrigieren und die Robustheit der Straßenoberflächenschätzung zu verbessern.
Darüber hinaus werden von sechs Sensoren erfasste Informationselemente empfangen und die Straßenoberflächen-Schätzeinheit (Straßenoberflächenmodell-Zusammenführungseinheit 405) schätzt die relative Lage zwischen jedem Sensor und der Straßenoberfläche einschließlich des Nickwinkels des Trägerfahrzeugs und des Rollwinkels des Fahrzeugs basierend auf Punktgruppeninformationen, die durch Integration von Koordinaten von Informationen berechnet werden, die in einem gemeinsamen Bildaufnahmebereich einer Kombination von zwei der sechs Sensoren beobachtet werden. Somit können Informationen in einem weiten Bereich durch den Einsatz vieler Sensoren genutzt werden und es ist möglich, den Einfluss des Straßengradienten und der Fahrzeuglage genau zu korrigieren. Darüber hinaus kann die Genauigkeit bei der binokularen Abstandsmessung durch die mehreren Kameras verbessert werden und die Robustheit der Straßenoberflächenschätzung wird verbessert.
Es ist zu beachten, dass die vorliegende Erfindung nicht auf die oben genannten Ausführungsformen beschränkt ist und verschiedene Abwandlungsbeispiele und äquivalente Konfigurationen innerhalb des Wesentlichen der beigefügten Ansprüche umfasst. Beispielsweise sind die oben genannten Ausführungsformen im Einzelnen beschrieben, um das Verständnis der vorliegenden Erfindung zu erleichtern, und die vorliegende Erfindung ist nicht darauf beschränkt, zwingend alle beschriebenen Komponenten zu umfassen. Darüber hinaus kann ein Teil der Konfiguration einer Ausführungsform durch die Konfiguration einer anderen Ausführungsform ersetzt werden. Darüber hinaus kann die Konfiguration einer anderen Ausführungsform zu der Konfiguration einer Ausführungsform hinzugefügt werden. Darüber hinaus kann eine andere Konfiguration zu einigen der Konfigurationen der oben genannten Ausführungsformen hinzugefügt, daraus entfernt oder dadurch ersetzt werden.
Darüber hinaus kann die Erfassungsvorrichtung 101 eine Eingabe- und Ausgabeschnittstelle (nicht dargestellt) umfassen und ein Programm kann aus einem anderer Vorrichtung über ein Medium gelesen werden, wobei die Eingabe- und Ausgabeschnittstelle und die Erfassungsvorrichtung 101 nach Bedarf verwendet werden können. Hier bezieht sich das Medium beispielsweise auf ein an die Eingabe- und Ausgabeschnittstelle anschließbares und aus dieser entfernbares Speichermedium oder ein Kommunikationsmedium, also ein drahtgebundenes, drahtloses oder optisches Netz, oder eine Trägerwelle oder ein digitales Signal, das sich durch dieses Netz ausbreitet.
Darüber hinaus können ein Teil oder alle der oben genannten Konfigurationen, Funktionen, Verarbeitungseinheiten und Verarbeitungsmittel durch Hardware realisiert werden, indem sie beispielsweise mit einer integrierten Schaltung ausgebildet werden. Alternativ interpretiert und führt der Prozessor ein Programm zur Realisierung der Funktionen aus und somit können ein Teil oder alle der oben genannten Konfigurationen, Funktionen, Verarbeitungseinheiten und Verarbeitungsmittel durch Software realisiert werden. Darüber hinaus können einige oder alle der vom Programm implementierten Funktionen durch eine Hardwareschaltung oder eine FPGA implementiert werden.
Informationen zu Programmen, Tabellen und Dateien zur Realisierung der Funktionen können in einer Speichervorrichtung wie einem Speicher, einer Festplatte oder einem Festkörperlaufwerk (SSD) oder einem Aufzeichnungsmedium wie einer IC-Karte, einer SD-Karte oder einer DVD gespeichert werden.
Darüber hinaus veranschaulichen Steuerleitungen und Informationsleitungen Leitungen, die für die Beschreibung als notwendig erachtet werden, und es sind nicht unbedingt alle in der Implementierung erforderlichen Steuerleitungen und Informationsleitungen dargestellt. Fast alle Konfigurationen können als tatsächlich miteinander verbunden angesehen werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2021100680 [0001]

Claims

Erfassungsvorrichtung, die umfasst: eine Beobachtungseinheit für einen ersten gemeinsamen Bildaufnahmebereich, die einen ersten Bereich in einem Umfeld eines Trägerfahrzeugs anhand von Informationen über einen gemeinsamen Bildaufnahmebereich beobachtet, die von mindestens einem ersten Sensor und einem zweiten Sensor mit dem gemeinsamen Bildaufnahmebereich erfasst werden; eine Beobachtungseinheit für einen zweiten gemeinsamen Bildaufnahmebereich, die einen zweiten Bereich, der sich von dem ersten Bereich unterscheidet, anhand von Informationen über einen gemeinsamen Bildaufnahmebereich beobachtet, die von mindestens einem dritten Sensor und einem vierten Sensor mit dem gemeinsamen Bildaufnahmebereich erfasst werden; eine Koordinatenintegrationseinheit, die eine geometrische Beziehung zwischen den Sensoren mit Koordinaten von in dem ersten Bereich und dem zweiten Bereich beobachteten Informationselementen integriert, und eine Straßenoberflächen-Schätzeinheit, die eine relative Lage zwischen jedem Sensor und einer Straßenoberfläche einschließlich eines Nickwinkels und eines Rollwinkels des Trägerfahrzeugs basierend auf Punktgruppeninformationen, die aus den integrierten Koordinaten berechnet werden, schätzt.
Erfassungsvorrichtung nach Anspruch 1, wobei der gemeinsame Bildaufnahmebereich an einer Position angeordnet ist, an der die optischen Achsen der Sensoren einander schneiden.
Erfassungsvorrichtung nach Anspruch 1, wobei die Straßenoberflächen-Schätzeinheit die Punktgruppeninformationen der Straßenoberfläche mit einem Straßenoberflächenmodell zusammenführt.
Erfassungsvorrichtung nach Anspruch 3, wobei die Straßenoberflächen-Schätzeinheit die Punktgruppeninformationen der Straßenoberfläche an ein Straßenoberflächenmodell so anpasst, dass ein Fehler zwischen den Punktgruppeninformationen der Straßenoberfläche und einem Straßenoberflächenmodell abnimmt.
Erfassungsvorrichtung nach Anspruch 1, die ferner eine Abstandsmesseinheit umfasst, die einen Abstand unter Bezugnahme auf einen korrigierten Wert misst, der aus der geschätzten relativen Lage berechnet wird.
Erfassungsvorrichtung nach Anspruch 1, wobei die Beobachtungseinheit für den ersten gemeinsamen Bildaufnahmebereich und die Beobachtungseinheit für den zweiten gemeinsamen Bildaufnahmebereich Straßenoberflächen-Punktgruppeninformationen und Objekt-Punktgruppeninformationen, die ein auf einer Straßenoberfläche vorhandenes Objekt darstellen, trennen.
Erfassungsvorrichtung nach Anspruch 6, wobei die Straßenoberflächen-Schätzeinheit eine Zusammenführung mit einem Straßenoberflächenmodell so durchführt, dass ein Fehler zwischen den Straßenoberflächen-Punktgruppeninformationen und einer Straßenoberfläche abnimmt und die Objekt-Punktgruppeninformationen vertikal angeordnet sind.
Erfassungsvorrichtung nach Anspruch 1, die ferner eine Zeitreihen-Integrationseinheit umfasst, die Ausgaben der Beobachtungseinheit für den ersten gemeinsamen Bildaufnahmebereich in Zeitreihen integriert und Ausgaben der Beobachtungseinheit für den zweiten gemeinsamen Bildaufnahmebereich in Zeitreihen integriert.
Erfassungsvorrichtung nach Anspruch 1, wobei die Beobachtungseinheit für den ersten gemeinsamen Bildaufnahmebereich Informationen auf einer linken Seite in einer Fahrtrichtung des Trägerfahrzeugs erfasst und die Beobachtungseinheit für den zweiten gemeinsamen Bildaufnahmebereich Informationen auf der rechten Seite in Fahrtrichtung des Trägerfahrzeugs erfasst.
Erfassungsvorrichtung nach Anspruch 1, wobei von sechs Sensoren erfasste Informationen empfangen werden, und die Straßenoberflächen-Schätzeinheit eine relative Lage zwischen jedem Sensor und einer Straßenoberfläche einschließlich eines Nickwinkels eines Trägerfahrzeugs und eines Rollwinkels eines Fahrzeugs basierend auf Punktgruppeninformationen schätzt, die durch Integration von Koordinaten von Informationen berechnet werden, die in einem gemeinsamen Bildaufnahmebereich einer Kombination aus zwei der sechs Sensoren beobachtet werden.
Fahrzeugsteuervorrichtung, die umfasst: eine Beobachtungseinheit für einen ersten gemeinsamen Bildaufnahmebereich, die einen ersten Bereich in einem Umfeld eines Trägerfahrzeugs anhand von Informationen über einen gemeinsamen Bildaufnahmebereich beobachtet, die von mindestens einem ersten Sensor und einem zweiten Sensor mit dem gemeinsamen Bildaufnahmebereich erfasst werden; eine Beobachtungseinheit für einen zweiten gemeinsamen Bildaufnahmebereich, die einen zweiten Bereich, der sich von dem ersten Bereich unterscheidet, anhand von Informationen über einen gemeinsamen Bildaufnahmebereich beobachtet, die von mindestens einem dritten Sensor und einem vierten Sensor mit dem gemeinsamen Bildaufnahmebereich erfasst werden; eine Koordinatenintegrationseinheit, die eine geometrische Beziehung zwischen den Sensoren mit Koordinaten von in dem ersten Bereich und dem zweiten Bereich beobachteten Informationselementen integriert, und eine Straßenoberflächen-Schätzeinheit, die eine relative Lage zwischen jedem Sensor und einer Straßenoberfläche einschließlich eines Nickwinkels und eines Rollwinkels des Trägerfahrzeugs basierend auf Punktgruppeninformationen, die aus den integrierten Koordinaten berechnet werden, schätzt, wobei ein Fahrzeug unter Verwendung der geschätzten relativen Lage gesteuert wird.