DE112021007746T5

DE112021007746T5 - Objekterkennungsvorrichtung und Objekterkennungsverfahren

Info

Publication number: DE112021007746T5
Application number: DE112021007746.5T
Authority: DE
Inventors: Tatsuya Kamimura
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2021-06-02
Filing date: 2021-06-02
Publication date: 2024-04-18
Also published as: WO2022254610A1; JPWO2022254610A1

Abstract

Eine Objekterkennungsvorrichtung (100A) umfasst einen Signalprozessor (3), der Radarpositionsdaten, die eine Position eines Objekts anzeigen, und Radargeschwindigkeitsdaten, die eine Geschwindigkeit des Objekts anzeigen, auf Grundlage eines von einem Radar (1) empfangenen Reflexionssignals berechnet; einen Bildprozessor (4A), der Kamerageschwindigkeitsdaten berechnet, die eine Geschwindigkeit des Objekts auf der Grundlage von durch eine Kamera (2) erhaltenen Bildinformationen anzeigen; und einen Fusionsprozessor (5A), der die Radarpositionsdaten und die Radargeschwindigkeitsdaten eines ersten Rahmens als erste Erkennungspositionsdaten und erste Erkennungsgeschwindigkeitsdaten an eine Regelungsvorrichtung (12) für das Fahrzeug ausgibt. Wenn die Radarpositionsdaten und die Radargeschwindigkeitsdaten eines zweiten Rahmens, der auf den ersten Rahmen folgt, verloren gehen, erzeugt der Fusionsprozessor auf Grundlage der ersten Erkennungspositionsdaten und der Kamerageschwindigkeitsdaten des zweiten Rahmens zweite Erkennungspositionsdaten und zweite Erkennungsgeschwindigkeitsdaten für den zweiten Rahmen und gibt sie an die externe Vorrichtung aus.

Description

Gebiet
Die vorliegende Offenbarung betrifft eine Objekterkennungsvorrichtung und ein Objekterkennungsverfahren zum Erkennen von Objekten.
Hintergrund
Eine fahrzeugseitige Objekterkennungsvorrichtung erkennt schnell Objekte wie Personen und Hindernisse, die in einer Umwelt vorhanden sind, in der ein Fahrzeug benutzt wird. Daten über ein Objekt, das von dieser Vorrichtung zur Objekterkennung erkannt wird, werden für die Fahrzeugregelung, die Alarmbenachrichtigung usw. benutzt, wodurch ein sicherer Fahrzeugbetrieb ermöglicht wird.
Objekterkennungsvorrichtungen benutzen Sensoren wie ein Radar, eine Kamera, einen Lichterkennungs- und Abstandssensor (LIDAR-Sensor) und einen Ultraschallsensor. In den letzten Jahren, mit der Verbreitung verschiedener Sensoren, sind Fusionstyp-Objekterkennungsvorrichtungen, die Kombinationen von mehreren Sensortypen benutzen, um eine verbesserte Leistung bereitzustellen, weit verbreitet.
Eine in der Patentliteratur 1 beschriebene Objekterkennungsvorrichtung ist eine Fusionstyp-Objekterkennungsvorrichtung, die ein Radar und eine Kamera benutzt. Diese in Patentliteratur 1 beschriebene Objekterkennungsvorrichtung gibt Objekterkennungsdaten auf Grundlage von Objektpositionsdaten, die unter Verwendung des Radars erkannt wurden, und Objektpositionsdaten, die unter Verwendung der Kamera erkannt wurden, aus.
Zitatliste
Patentliteratur
Patentliteratur 1: PCT internationale Veröffentlichung Nr. 2010/119860
Zusammenfassung der Erfindung
Von der Erfindung zu lösendes Problem
Ein Problem bei der in der Patentliteratur 1 beschriebenen Technik sind jedoch die höheren Herstellungskosten der Objekterkennungsvorrichtung, da die zur Erkennung der Objektpositionsdaten zu benutzende Kamera eine hohe Leistung zur genauen Objekterkennung aufweist.
Die vorliegende Offenbarung wurde in Anbetracht dessen gemacht, und ein Ziel der vorliegenden Offenbarung ist es, eine Objekterkennungsvorrichtung zu erhalten, die in der Lage ist, ein Objekt zu niedrigen Herstellungskosten genau zu erkennen.
Mittel zum Lösen des Problems
Um das obige Problem zu lösen und das Ziel zu erreichen, umfasst eine Objekterkennungsvorrichtung der vorliegenden Offenbarung: ein Radar, um eine elektromagnetische Welle in Richtung eines Objekts auszustrahlen und ein reflektiertes Signal von dem Objekt zu empfangen; einen Signalprozessor, um Radarpositionsdaten und Radargeschwindigkeitsdaten auf Grundlage des reflektierten Signals zu berechnen, wobei die Radarpositionsdaten eine Position des Objekts anzeigen und die Radargeschwindigkeitsdaten eine Geschwindigkeit des Objekts anzeigen; eine Kamera, um Objektbildinformationen durch Erfassen einer Bildaufnahme des Objekts zu erhalten; und einen Bildprozessor, um Kamerageschwindigkeitsdaten auf Grundlage der Objektbildinformationen zu berechnen, wobei die Kamerageschwindigkeitsdaten eine Geschwindigkeit des Objekts anzeigen. Die Objekterkennungsvorrichtung der vorliegenden Offenbarung umfasst einen Fusionsprozessor, um die Radarpositionsdaten und die Radargeschwindigkeitsdaten eines ersten Rahmens als erste Erkennungspositionsdaten und erste Erkennungsgeschwindigkeitsdaten an eine externe Vorrichtung auszugeben, wobei die ersten Erkennungspositionsdaten die Position des Objekts für den ersten Rahmen angeben und die ersten Erkennungsgeschwindigkeitsdaten die Geschwindigkeit des Objekts für den ersten Rahmen angeben. Der Fusionsprozessor umfasst einen Datenspeicher zum Speichern der ersten Erkennungspositionsdaten. Wenn die Radarpositionsdaten und die Radargeschwindigkeitsdaten eines zweiten Rahmens, der dem ersten Rahmen folgt, verloren gehen, erzeugt der Fusionsprozessor auf Grundlage der ersten Erkennungspositionsdaten und der Kamerageschwindigkeitsdaten, die für den zweiten Rahmen erhalten wurden, zweite Erkennungspositionsdaten, die die Position des Objekts für den zweiten Rahmen anzeigen, und zweite Erkennungsgeschwindigkeitsdaten, die die Geschwindigkeit des Objekts für den zweiten Rahmen anzeigen, und gibt die erzeugten zweiten Erkennungspositionsdaten und die erzeugten zweiten Erkennungsgeschwindigkeitsdaten an die externe Vorrichtung aus.
Wirkungen der Erfindung
Die Objekterkennungsvorrichtung gemäß der vorliegenden Offenbarung hat die vorteilhafte Wirkung, dass sie das Objekt bei niedrigeren Herstellungskosten genau erkennt.
Kurze Beschreibung der Zeichnungen

1 ist ein Diagramm, das eine Konfiguration einer Objekterkennungsvorrichtung gemäß einer ersten Ausführungsform darstellt.
2 ist ein Flussdiagramm, das eine Objekterkennungsprozedur darstellt, die von der Objekterkennungsvorrichtung gemäß der ersten Ausführungsform durchzuführen ist.
3 ist ein Diagramm, das eine Konfiguration einer Objekterkennungsvorrichtung gemäß einer zweiten Ausführungsform darstellt.
4 ist ein Flussdiagramm, das eine Objekterkennungsprozedur darstellt, die von der Objekterkennungsvorrichtung gemäß der zweiten Ausführungsform durchzuführen ist.
5 ist ein Diagramm, das eine Beispielkonfiguration der Verarbeitungsschaltungen jeder der Objekterkennungsvorrichtungen gemäß der ersten und zweiten Ausführungsform darstellt, wenn die Verarbeitungsschaltungen durch einen Prozessor und einen Speicher realisiert sind.
6 ist ein Diagramm, das eine Beispielkonfiguration der Verarbeitungsschaltungen jeder der Objekterkennungsvorrichtungen gemäß der ersten und zweiten Ausführungsform darstellt, wenn die Verarbeitungsschaltungen als dedizierte Hardware konfiguriert sind.

Beschreibung der Ausführungsformen
Unter Bezugnahme auf die Zeichnungen wird im Folgenden eine detaillierte Beschreibung von Objekterkennungsvorrichtungen und Objekterkennungsverfahren gemäß den vorliegenden Ausführungsformen der Offenbarung bereitgestellt.
Erste Ausführungsform.
1 ist ein Diagramm, das eine Konfiguration einer Objekterkennungsvorrichtung gemäß einer ersten Ausführungsform darstellt. Die Objekterkennungsvorrichtung 100A ist eine Fusionstyp-Objekterkennungsvorrichtung, die eine Kombination aus einer Vielzahl von Sensortypen umfasst und Objekterkennungsdaten auf Grundlage von Daten berechnet, die sie von der Vielzahl von Sensortypen erhält. Wenn die Objekterkennungsdaten aufgrund einer Betriebsumgebung verloren gehen, benutzt die Objekterkennungsvorrichtung 100A die für den vorhergehenden Rahmen erhaltenen Positionsdaten, um u.a. eine Position und eine Geschwindigkeit eines Objekts abzuleiten. Die von der Objekterkennungsvorrichtung 100A ausgegebenen Erkennungsdaten werden unter anderem bei der Fahrzeugregelung benutzt.
Die Objekterkennungsvorrichtung 100A umfasst ein Radar 1, eine Kamera 2, einen Signalprozessor 3, einen Bildprozessor 4A und einen Fusionsprozessor 5A. Der Fusionsprozessor 5A umfasst eine Gleichheitsbestimmungseinheit 6A, eine Erkennungsdatenübertragungseinheit 10 und einen Datenspeicher 11A. Die Gleichheitsbestimmungseinheit 6A umfasst eine Gleichheitsfeststellungseinheit 7A, eine Verlustbestimmungseinheit 8 und einen Verlustextrapolator 9A.
Das Radar 1 strahlt elektromagnetische Wellen in Richtung eines Objekts wie einer Person oder eines Hindernisses aus, das in der Umwelt vorhanden ist, in der die Objekterkennungsvorrichtung 100A angeordnet ist, und empfängt ein reflektiertes Signal von dem Objekt. Bei der Verwendung in einem Fahrzeug benutzt das Radar 1 typischerweise ein frequenzmoduliertes Dauerstrichverfahren (FMCW) oder ein Fast-Chirp-Modulationsverfahren (FCM). Das Radar 1 umfasst beispielsweise ein Hochfrequenz-Halbleiterbauelement, ein Leistungshalbleiterbauelement, eine Platine, eine Quarzkristallvorrichtung, ein Chip-Bauelement und eine Antenne, unter anderem.
Der Signalprozessor 3 führt eine Signalverarbeitung des vom Radar 1 reflektierten (empfangenen) Signals durch, um eine Position und eine Relativgeschwindigkeit des Objekts zu erkennen. Der Signalprozessor 3 sendet die Radarpositionsdaten an den Fusionsprozessor 5A. Bei den Radarpositionsdaten handelt es sich um die Positionsdaten, die die Position des Objekts angeben und auf Grundlage des vom Radar 1 empfangenen Signals berechnet werden. Der Signalprozessor 3 sendet Radargeschwindigkeitsdaten an den Fusionsprozessor 5A. Die Radargeschwindigkeitsdaten sind die Geschwindigkeitsdaten, die die Geschwindigkeit des Objekts angeben und auf Grundlage des vom Radar 1 empfangenen Signals berechnet werden. Der Signalprozessor 3 besteht zum Beispiel aus einer Mikroregelungseinheit (MCU), einer zentralen Verarbeitungseinheit (CPU) oder ähnlichem.
Die Kamera 2 erfasst ein Bild des Objekts und erhält so Objektbildinformationen. Die Kamera 2 umfasst unter anderem ein Objektiv, einen Halter, einen CMOS-Sensor (Complementary Metal-Oxide Semiconductor), ein Leistungshalbleiter-Bauelement und eine Vorrichtung aus Quarzkristallen. Die Kamera 2 braucht nur eine Kamera mit niedriger Leistung zu sein, die die Position des Objekts nicht erkennt.
Auf Grundlage der von der Kamera 2 erhaltenen Bildinformationen führt der Bildprozessor 4A eine Objekterkennung durch und berechnet auch eine Geschwindigkeit des Objekts relativ zur Objekterkennungsvorrichtung 100A und eine Richtung, in der sich das Objekt befindet. Der Bildprozessor 4A besteht zum Beispiel aus einer MCU, einer CPU oder ähnlichem. Der Bildprozessor 4A erkennt das Objekt, wie z. B. die Person oder das Hindernis, unter Nutzung von Merkmalsdaten, die durch maschinelles Lernen oder Deep Learning als Datenbank erhalten wurden, und erkennt auch die Relativgeschwindigkeit des Objekts und die Richtung. Die Merkmalsdaten beziehen sich auf Daten, die Eigenschaften von Objekten wie Personen oder Hindernissen angeben.
Der Bildprozessor 4A sendet an den Fusionsprozessor 5A Objekterkennungsdaten, die die Erkennung des Objekts angeben. Bei den Objekterkennungsdaten handelt es sich um Daten, die Aufschluss darüber geben, ob es sich bei dem Objekt um die Person oder das Hindernis handelt. Bei der Unterscheidung zwischen Person und Hindernis mit einem Bit erzeugt der Bildprozessor 4A z. B. Objekterkennungsdaten „0“ für die Person und „1“ für das Hindernis. Der Bildprozessor 4A sendet Kamerageschwindigkeitsdaten an den Fusionsprozessor 5A. Die Kamerageschwindigkeitsdaten sind die Geschwindigkeitsdaten, die die Geschwindigkeit des Objekts relativ zur Objekterkennungsvorrichtung 100A angeben. Der Bildprozessor 4A sendet Richtungsdaten an den Fusionsprozessor 5A. Die Richtungsdaten geben die Richtung an, in der sich das Objekt befindet. Der Bildprozessor 4A braucht nur ein Prozessor mit niedriger Leistung zu sein, der die Position des Objekts nicht berechnet.
Der Signalprozessor 3 der Objekterkennungsvorrichtung 100A berechnet die Objektpositionsdaten und die Radargeschwindigkeitsdaten rahmenweise und sendet sie an den Fusionsprozessor 5A. Der Bildprozessor 4A der Objekterkennungsvorrichtung 100A berechnet und sendet die Objekterkennungsdaten, die Kamerageschwindigkeitsdaten und die Richtungsdaten auf einer Rahmen-für-Rahmen-Basis an den Fusionsprozessor 5A.
Der Signalprozessor 3 errechnet die Radarpositionsdaten und die Radargeschwindigkeitsdaten zu jedem spezifischen Zeitpunkt. Der Bildprozessor 4A berechnet die Objekterkennungsdaten, die Kamerageschwindigkeitsdaten und die Richtungsdaten zu jedem spezifischen Zeitpunkt. In Fällen, in denen der Signalprozessor 3 und der Bildprozessor 4A die gleiche Signalverarbeitungszeit benötigen, führen der Signalprozessor 3 und der Bildprozessor 4A ihre Datenberechnungen zum gleichen Zeitpunkt durch. Mit anderen Worten, der Signalprozessor 3 und der Bildprozessor 4A berechnen ihre zugehörigen Teile der Daten des Objekts zum gleichen Zeitpunkt.
Der Zeitpunkt, zu dem sowohl der Signalprozessor 3 als auch der Bildprozessor 4A die Daten berechnen, entspricht dem Rahmen. Wenn beispielsweise der Signalprozessor 3 die Datenberechnung zum n-ten Zeitpunkt durchführt (wobei n eine natürliche Zahl ist), umfasst der n-te Rahmen die n-ten Radarpositionsdaten und die n-ten Radargeschwindigkeitsdaten. Wenn der Bildprozessor 4A die Datenberechnung zum n-ten Zeitpunkt durchführt, umfasst der n-te Rahmen die n-ten Objekterkennungsdaten, die n-ten Kamerageschwindigkeitsdaten und die n-ten Richtungsdaten. Der (n-1)-te Rahmen wird als ein erster Rahmen definiert, und der n-te Rahmen wird als ein zweiter Rahmen definiert.
Der Fusionsprozessor 5A führt eine Signalverarbeitung an den vom Signalprozessor 3 gesendeten Radarpositionsdaten und Radargeschwindigkeitsdaten sowie an den vom Bildprozessor 4A gesendeten Objekterkennungsdaten, Kamerageschwindigkeitsdaten und Richtungsdaten durch. Der Fusionsprozessor 5A gibt die Ergebnisse der Signalverarbeitung aus, die Erkennungsergebnisse der Objekterkennungsvorrichtung 100A sind. Die Erkennungsergebnisse der Objekterkennungsvorrichtung 100A umfassen Objekterkennungsdaten, Geschwindigkeitsdaten und Positionsdaten.
Die Gleichheitsfeststellungseinheit 7A der Gleichheitsbestimmungseinheit 6A des Fusionsprozessors 5A führt eine Objektgleichheitsbestimmung auf Grundlage der Radarpositionsdaten, der Radargeschwindigkeitsdaten, der Kamerageschwindigkeitsdaten, der Richtungsdaten und der Objekterkennungsdaten durch. Die Objektgleichheitsbestimmung ist die Bestimmung, ob das vom Radar 1 erkannte Objekt und das von der Kamera 2 erkannte Objekt gleich sind.
Nach der Beurteilung, dass die Objekte als Ergebnis der Durchführung der Objektgleichheitsbestimmung gleich sind, verknüpft die Gleichheitsfeststellungseinheit 7A die Radarpositionsdaten und die Radargeschwindigkeitsdaten, die unter Nutzung des Radars 1 erhalten wurden, mit den Objekterkennungsdaten und den Kamerageschwindigkeitsdaten, die unter Nutzung der Kamera 2 erhalten wurden. Die Gleichheitsfeststellungseinheit 7A sendet an die nachgeschaltete Verlustbestimmungseinheit 8 Daten (im Folgenden als erste Korrespondenzdaten bezeichnet), die die Radarpositionsdaten, die Radargeschwindigkeitsdaten, die Objekterkennungsdaten und die Kamerageschwindigkeitsdaten miteinander verbinden.
Die Verlustbestimmungseinheit 8 bestimmt, ob ein Signalverlust für die Radarpositionsdaten und die Radargeschwindigkeitsdaten vorliegt, die unter Benutzung des Radars 1 erhalten wurden. Der Zustand des Signalverlustes bezieht sich auf einen vorübergehenden Zustand, in dem die Objekterkennungsvorrichtung 100A die Radarpositionsdaten und die Radargeschwindigkeitsdaten für den aktuellen Erfassungsrahmen nicht erhalten kann, während die Objekterkennungsvorrichtung 100A die Radarpositionsdaten und die Radargeschwindigkeitsdaten für den vorhergehenden Erfassungsrahmen erfolgreich erhalten hat. Mit anderen Worten, der Zustand des Signalverlustes bezieht sich auf eine Situation, in der die Objekterkennung unter Benutzung des Radars 1 erfolglos ist, während die Objekterkennung unter Benutzung der Kamera 2 erfolgreich ist.
Wenn es keinen Signalverlust gibt, sendet die Verlustbestimmungseinheit 8 die Radarpositionsdaten, die Radargeschwindigkeitsdaten und die Objekterkennungsdaten an den Verlustextrapolator 9A. Liegt der Signalverlust vor, sendet die Verlustbestimmungseinheit 8 die Objekterkennungsdaten und die Kamerageschwindigkeitsdaten an den Verlustextrapolator 9A.
Bei der Erkennung eines Objekts unter Nutzung des Radars 1 kann die Objekterkennungsvorrichtung 100A das Objekt häufig nicht erkennen, da das gewünschte Objekt im Rauschen oder im Mehrwegeffekt verborgen ist.
Der Verlustextrapolator 9A führt nur dann eine Datenextrapolation durch, wenn die Verlustbestimmungseinheit 8 einen Datenverlust erkannt hat. Liegt kein Signalverlust vor, sendet der Verlustextrapolator 9A die Radarpositionsdaten, die Radargeschwindigkeitsdaten und die Objekterkennungsdaten, die von der Verlustbestimmungseinheit 8 gesendet wurden, an die Erkennungsdatenübertragungseinheit 10. Die Radarpositionsdaten, die Radargeschwindigkeitsdaten und die Objekterkennungsdaten sind definiert als die Positionsdaten (die Erkennungspositionsdaten), die Geschwindigkeitsdaten (die Erkennungsgeschwindigkeitsdaten) bzw. die Objekterkennungsdaten, die alle von der Objekterkennungsvorrichtung 100A erkannt werden.
Bei Vorhandensein eines Signalverlustes extrapoliert der Verlustextrapolator 9A Positionsdaten und Geschwindigkeitsdaten, die für den aktuellen Rahmen zu erzeugen sind, in den aktuellen Rahmen und überträgt die Positions- und Geschwindigkeitsdaten an die Erkennungsdatenübertragungseinheit 10. Konkret extrapoliert der Verlustextrapolator 9A bei einem Signalverlust die Positionsdaten und die Geschwindigkeitsdaten für den aktuellen Rahmen auf Grundlage der im Datenspeicher 11A gespeicherten Positionsdaten und der Kamerageschwindigkeitsdaten und sendet die extrapolierten Positions- und Geschwindigkeitsdaten an die Erkennungsdatenübertragungseinheit 10. Mit anderen Worten, der Verlustextrapolator 9A überträgt die erzeugten Positionsdaten, die erzeugten Geschwindigkeitsdaten und die Erkennungsdaten des Objekts an die Erkennungsdatenübertragungseinheit 10, wenn ein Signalverlust vorliegt.
Die Erkennungsdatenübertragungseinheit 10 überträgt die Positionsdaten, die Geschwindigkeitsdaten und die Objekterkennungsdaten in Form des aktuellen Rahmens an eine externe Vorrichtung. Bei der externen Vorrichtung handelt es sich beispielsweise um eine Fahrzeugregelungsvorrichtung 12, die das Fahrzeug regelt. Die Erkennungsdatenübertragungseinheit 10 speichert in dem Datenspeicher 11A auch die gleichen Positionsdaten, die an die Fahrzeugregelungsvorrichtung 12 übertragen werden. Die im Datenspeicher 11A gespeicherten Positionsdaten werden vom Verlustextrapolator 9A ausgelesen, wenn im nächsten Rahmen ein Signalverlust auftritt.
Die Erkennungsdatenübertragungseinheit 10 speichert immer die Positionsdaten für den aktuellen Rahmen (d.h. die neuesten Positionsdaten) in dem Datenspeicher 11A und überträgt die Positionsdaten, die Geschwindigkeitsdaten und die Objekterkennungsdaten an die Fahrzeugregelungsvorrichtung 12. Die Positionsdaten, die die Erkennungsdatenübertragungseinheit 10 an die Fahrzeugregelungsvorrichtung 12 ausgibt, beziehen sich auf die erkannten Positionsdaten, und die Geschwindigkeitsdaten, die die Erkennungsdatenübertragungseinheit 10 an die Fahrzeugregelungsvorrichtung 12 ausgibt, beziehen sich auf die erkannten Geschwindigkeitsdaten.
Bei Vorhandensein eines Signalverlusts im aktuellen Rahmen leitet der Verlustextrapolator 9A eine Bewegungsrichtung des Objekts ab und leitet auch Positionsdaten und die Geschwindigkeitsdaten auf Grundlage der für den vorangegangenen Rahmen erkannten und im Datenspeicher 11A gespeicherten Positionsdaten und der für den aktuellen Rahmen erkannten Kamerageschwindigkeitsdaten ab. Diese Positionsdaten und Geschwindigkeitsdaten entsprechen der aktuellen Position des Objekts bzw. der aktuellen Geschwindigkeit des Objekts. Bei der Extrapolation fügt der Verlustextrapolator 9A die abgeleiteten Positionsdaten und die abgeleiteten Geschwindigkeitsdaten in den aktuellen Rahmen ein.
Als nächstes wird eine Beschreibung einer Objekterkennungsprozedur bereitgestellt, die von der Objekterkennungsvorrichtung 100A durchzuführen ist. 2 ist ein Flussdiagramm, das die Objekterkennungsprozedur darstellt, die von der Objekterkennungsvorrichtung gemäß der ersten Ausführungsform durchzuführen ist.
Die Objekterkennungsvorrichtung 100A beginnt mit der Erzeugung eines Rahmens zur Objekterkennung (Schritt S1). Unter Nutzung des Radars 1 erkennt die Objekterkennungsvorrichtung 100A eine Position und eine Geschwindigkeit eines Objekts (Schritt S2). Konkret strahlt das Radar 1 elektromagnetische Wellen in Richtung des Objekts aus, empfängt ein reflektiertes Signal von dem Objekt und gibt das empfangene Signal an den Signalprozessor 3 aus. Auf Grundlage des vom Radar 1 empfangenen Signals erzeugt der Signalprozessor 3 Radarpositionsdaten, die die Position des Objekts angeben, und Radargeschwindigkeitsdaten, die die Geschwindigkeit des Objekts angeben.
Unter Nutzung der Kamera 2 erkennt die Objekterkennungsvorrichtung 100A das Objekt und erkennt eine Geschwindigkeit des Objekts sowie eine Richtung, in der sich das Objekt befindet (Schritt S3A). Konkret erhält die Kamera 2 Bildinformationen über das Objekt, indem sie eine Bildaufnahme des Objekts erfasst und die Bildinformationen an den Bildprozessor 4A ausgibt. Auf Grundlage der von der Kamera 2 erhaltenen Bildinformationen führt der Bildprozessor 4A eine Objekterkennung durch und erzeugt außerdem Kamerageschwindigkeitsdaten, die die Geschwindigkeit des Objekts relativ zur Objekterkennungsvorrichtung 100A angeben, sowie Richtungsdaten, die die Richtung angeben, in der sich das Objekt befindet. Es ist zu beachten, dass die Objekterkennungsvorrichtung 100A den Betrieb von Schritt S2 und den Betrieb von Schritt S3A gleichzeitig betreibt.
Der Signalprozessor 3 der Objekterkennungsvorrichtung 100A sendet die Radarpositionsdaten und die Radargeschwindigkeitsdaten an den Fusionsprozessor 5A, und der Bildprozessor 4A sendet Objekterkennungsdaten, die die Erkennung des Objekts anzeigen, die Kamerageschwindigkeitsdaten und die Richtungsdaten an den Fusionsprozessor 5A.
Die Gleichheitsfeststellungseinheit 7A des Fusionsprozessors 5A führt die Objektgleichheitsbestimmung auf Grundlage der Radarpositionsdaten, der Radargeschwindigkeitsdaten, der Kamerageschwindigkeitsdaten, der Richtungsdaten und der Objekterkennungsdaten durch (Schritt S4). Mit anderen Worten, die Gleichheitsfeststellungseinheit 7A bestimmt, ob das von dem Radar 1 erkannte Objekt und das von der Kamera 2 erkannte Objekt dasselbe sind.
Nach der Beurteilung, dass die Objekte gleich sind, erzeugt die Gleichheitsfeststellungseinheit 7A erste Korrespondenzdaten, die die Objektpositionsdaten und die Radargeschwindigkeitsdaten, die unter Nutzung des Radars 1 erhalten wurden, mit den Objekterkennungsdaten und den Kamerageschwindigkeitsdaten, die unter Nutzung der Kamera 2 erhalten wurden, verbinden, und sendet sie an die Verlustbestimmungseinheit 8.
Die Verlustbestimmungseinheit 8 bestimmt, ob Radarpositionsdaten, die die Erkennungspositionsdaten und Radargeschwindigkeitsdaten umfassen, die unter Benutzung des Radars 1 erhalten wurden, aus dem aktuellen Rahmen verloren gegangen sind (Schritt S5). Mit anderen Worten, die Verlustbestimmungseinheit 8 bestimmt, ob es einen Signalverlust gibt.
Wenn die Radar-Erkennungsdaten verloren sind, d.h. bei Vorliegen des Signalverlustes (Schritt S5, Ja), sendet die Verlustbestimmungseinheit 8 die Objekterkennungsdaten und die Kamerageschwindigkeitsdaten an den Verlustextrapolator 9A.
In diesem Fall erzeugt der Verlustextrapolator 9A auf Grundlage der im Datenspeicher 11A gespeicherten Positionsdaten und der von der Verlustbestimmungseinheit 8 gesendeten Kamerageschwindigkeitsdaten durch Ableitung Positionsdaten und Geschwindigkeitsdaten für den aktuellen Rahmen. Mit anderen Worten: Der Verlustextrapolator 9A leitet auf Grundlage der für den vorangegangenen Rahmen erkannten Positionsdaten und der für den aktuellen Rahmen erkannten Kamerageschwindigkeitsdaten die aktuelle Position und Geschwindigkeit des Objekts ab. Ein Verfahren zum Ableiten lautet wie folgt.
Seien die Positionsdaten, die die Objekterkennungsvorrichtung 100A für den Rahmen (d.h. den (n-1)-ten Rahmen) vor dem aktuellen Rahmen erkannt hat, (Xn-1, Yn-1). Die Kamerageschwindigkeitsdaten, die unter Nutzung der Kamera 2 für den aktuellen Rahmen (d.h. den n-ten Rahmen) erkannt wurden, seien (VXCn, VYCn). Es ist zu beachten, dass X eine horizontale Koordinate relativ zu der Objekterkennungsvorrichtung 100A repräsentiert, während Y eine vertikale Koordinate relativ zu der Objekterkennungsvorrichtung 100A repräsentiert. Daher repräsentiert Xn-1 eine Position in einer X-Richtung, während Yn-1 eine Position in einer Y-Richtung repräsentiert. Außerdem repräsentiert VXCn eine Geschwindigkeit in X-Richtung, während VYCn eine Geschwindigkeit in Y-Richtung repräsentiert.
Unter Nutzung dieser Teile der Daten werden die Positionsdaten (Xn, Yn), die für das Objekt für den aktuellen Rahmen abgeleitet werden sollen, durch die Formeln (1) und (2) unten ausgedrückt. In den Formeln (1) und (2) bezieht sich Tf auf eine Rahmen-Aktualisierungszykluszeit der Objekterkennungsvorrichtung 100A.
$Xn = (Xn - 1) + VXCn \times Tf$
$Yn = (Yn - 1) + VYCn \times Tf$
Die Geschwindigkeitsdaten (VXn, VYn), die für das Objekt für den aktuellen Rahmen abgeleitet werden sollen, werden wie folgt ausgedrückt.
$VXn = VXCn$
$VYn = VYCn$
Bei der Extrapolation fügt der Verlustextrapolator 9A die erzeugten Positionsdaten und die erzeugten Geschwindigkeitsdaten in den aktuellen Rahmen ein. Mit anderen Worten, der Verlustextrapolator 9A extrapoliert die Daten zur Erkennung von verlorenen Radaren in den aktuellen Rahmen (Schritt S6). Der Verlustextrapolator 9A verknüpft die extrapolierten Positionsdaten, die extrapolierten Geschwindigkeitsdaten und die Objekterkennungsdaten miteinander und sendet diese Teile der Daten an die Erkennungsdatenübertragungseinheit 10 (Schritt S7). Mit anderen Worten, der Verlustextrapolator 9A sendet die abgeleiteten Positionsdaten (Xn, Yn), die abgeleiteten Geschwindigkeitsdaten (VXn, VYn) und die Objekterkennungsdaten an die Erkennungsdatenübertragungseinheit 10.
Wenn hingegen die Radarerkennungsdaten nicht verloren gehen, d.h. wenn kein Signalverlust vorliegt (Schritt S5, No), sendet die Verlustbestimmungseinheit 8 die vom Radar 1 erkannten Radarpositionsdaten (XRn, YRn) und die Radargeschwindigkeitsdaten (VXRn, VYRn) an den Verlustextrapolator 9A.
In diesem Fall verwendet der Verlustextrapolator 9A die Radarpositionsdaten (XRn, YRn) und die Radargeschwindigkeitsdaten (VXRn, VYRn), die vom Radar 1 direkt erkannt wurden, als Positionsdaten und Geschwindigkeitsdaten. Die Positionsdaten (Xn, Yn) und die Geschwindigkeitsdaten (VXn, VYn), die von der Verlustbestimmungseinheit 8 verwendet wurden, sind wie folgt.
$Xn = XRn$
$Yn = YRn$
$VXn = VXRn$
$VYn = VYRn$
Der Verlustextrapolator 9A verknüpft die verwendeten Positionsdaten, die verwendeten Geschwindigkeitsdaten und die Objekterkennungsdaten miteinander und sendet diese Teile an die Erkennungsdatenübertragungseinheit 10 (Schritt S7).
Die Erkennungsdatenübertragungseinheit 10 sendet die von der Verlustbestimmungseinheit 8 gesendeten Erkennungspositionsdaten, die Erkennungsgeschwindigkeitsdaten und die Objekterkennungsdaten an die Fahrzeugregelungsvorrichtung 12. Die Positionsdaten im (n-1)-ten Rahmen, die von der Erkennungsdatenübertragungseinheit 10 an die Fahrzeugregelungsvorrichtung 12 gesendet werden, sind als erste Erkennungspositionsdaten definiert. Die Geschwindigkeitsdaten im (n-1)-ten Rahmen, die von der Erkennungsdatenübertragungseinheit 10 an die Fahrzeugregelungsvorrichtung 12 gesendet werden, werden als erste erkannte Geschwindigkeitsdaten definiert. Die Positionsdaten im n-ten Rahmen, die von der Erkennungsdatenübertragungseinheit 10 an die Fahrzeugregelungsvorrichtung 12 gesendet werden, werden als zweite erkannte Positionsdaten definiert. Die von der Erkennungsdatenübertragungseinheit 10 an die Fahrzeugregelungsvorrichtung 12 gesendeten Erkennungsgeschwindigkeitsdaten im n-ten Rahmen werden als zweite erkannte Geschwindigkeitsdaten definiert. Die Fahrzeugregelungsvorrichtung 12 regelt das Fahrzeug auf Grundlage der Positionsdaten, der Geschwindigkeitsdaten und der Objekterkennungsdaten, die von der Erkennungsdatenübertragungseinheit 10 gesendet wurden (Schritt S8).
Die Objekterkennungsvorrichtung 100A fährt mit der Erzeugung des nächsten Rahmens zur Objekterkennung fort (Schritt S9). Als Ergebnis führt die Objekterkennungsvorrichtung 100A wiederholt die Betriebe der Schritte S1 bis S9 durch.
Wie oben beschrieben, erzeugt die Objekterkennungsvorrichtung 100A selbst in Fällen, in denen die erhaltenen Radarpositionsdaten über das Objekt unter Verwendung des Radars 1 vorübergehend verloren gehen, die Positionsdaten und die Radargeschwindigkeitsdaten für den aktuellen Rahmen unter Nutzung der Radarpositionsdaten aus dem vorhergehenden Rahmen und der für den aktuellen Rahmen unter Verwendung der Kamera 2 erkannten Daten. Mit anderen Worten, die Objekterkennungsvorrichtung 100A erzeugt die Positionsdaten und die Geschwindigkeitsdaten für den aktuellen Rahmen auf Grundlage der Positionsdaten des vorhergehenden Rahmens und der Erkennungsgeschwindigkeitsdaten des aktuellen Rahmens.
Bei der Extrapolation fügt die Objekterkennungsvorrichtung 100A die erzeugten Positions- und Geschwindigkeitsdaten als Erkennungsdaten in den aktuellen Rahmen ein und kann als Ergebnis den Verlust der Radarerkennungsdaten beheben. Die Objekterkennungsvorrichtung 100A kann daher ihre Leistung bei der Objekterkennung verbessern. Die Objekterkennungsvorrichtung 100A kann ein Objekt genau erkennen, unter Nutzung der Kamera 2 und des Bildprozessors 4A, die eine geringere Größe, niedrigere Herstellungskosten und eine niedrigere Belastung aufweisen.
In Fällen, in denen die Radarerkennungsdaten verloren gehen, kann die Objekterkennungsvorrichtung 100A auf Grundlage der Positionsdaten eines beliebigen vorherigen Rahmens vor dem vorhergehenden Rahmen und der Erkennungsgeschwindigkeitsdaten des aktuellen Rahmens Positionsdaten und Geschwindigkeitsdaten für den aktuellen Rahmen erzeugen. Wenn die Radarerkennungsdaten verloren gehen, erzeugt die Objekterkennungsvorrichtung 100A die Positions- und Geschwindigkeitsdaten für den aktuellen Rahmen auf Grundlage der Positionsdaten des letztmöglichen Rahmens und der Kamerageschwindigkeitsdaten des aktuellen Rahmens. Wie oben beschrieben, erzeugt die Objekterkennungsvorrichtung 100A bei Verlust der Radarpositionsdaten die Positions- und Geschwindigkeitsdaten für den aktuellen Rahmen auf Grundlage der gespeicherten letzten Positionsdaten und der Kamerageschwindigkeitsdaten des aktuellen Rahmens, der auf den Rahmen mit diesen letzten Positionsdaten folgt.
Im Folgenden wird eine Beschreibung spezifischer Vorteile der Benutzung der Objekterkennungsvorrichtung 100A zur Objekterkennung bereitgestellt. Bei der Objekterkennungsvorrichtung 100A wird die Position eines Objekts nur durch das Radar 1 und den Signalprozessor 3 erkannt, während die Kamera 2 und der Bildprozessor 4A die Position des Objekts nicht erkennen. Eine solche Konfiguration der Objekterkennungsvorrichtung 100A erlaubt eine reduzierte Hardware- und Softwarebelastung der Kamera 2 und des Bildprozessors 4A.
Während die Abstandsmessung unter Nutzung einer Stereokamera bei der Erkennung und Ausgabe der Objektposition üblich ist, ist die Kamera 2 der Objekterkennungsvorrichtung 100A als monokulare Kamera konfigurierbar. Der Bildprozessor 4A ist so konfiguriert, dass er die Position nicht erkennt und seine Verarbeitungskapazität entsprechend reduzieren kann. Aus diesen Gründen müssen die Kamera 2 und der Bildprozessor 4A der Objekterkennungsvorrichtung 100A nur in einer kürzeren Verarbeitungszeit betrieben werden, was zu einer Verringerung der Größe und auch zu niedrigeren Herstellungskosten führt.
Eine Beschreibung einer Objekterkennungsvorrichtung wird hier als Vergleichsbeispiel bereitgestellt. Bei der Objekterkennungsvorrichtung als Vergleichsbeispiel erkennt eine Kamera keine Positionsdaten, wie bei der Objekterkennungsvorrichtung 100A. Die Objekterkennungsvorrichtung des Vergleichsbeispiels umfasst nicht die Verlustbestimmungseinheit 8 und den Verlustextrapolator 9A. Bei der Objekterkennungsvorrichtung des Vergleichsbeispiels werden die unter Verwendung eines Radars erhaltenen Positionsdaten nach der Verarbeitung der Fusion positiv, wie bei der Objekterkennungsvorrichtung 100A. Aufgrund des Fehlens der Verlustbestimmungseinheit 8 und des Verlustextrapolators 9A kann die Objekterkennungsvorrichtung des Vergleichsbeispiels jedoch keine Positionsdaten erkennen, wenn Radarpositionsdaten aufgrund einer vorübergehenden Betriebsumgebung verloren gehen.
Für die Objekterkennungsvorrichtung 100A hingegen bestimmt die Verlustbestimmungseinheit 8, ob die Radarpositionsdaten und die Radargeschwindigkeitsdaten, die für den aktuellen Rahmen mit dem Radar 1 erhalten wurden, verloren gegangen sind. Ferner extrapoliert der Verlustextrapolator 9A der Objekterkennungsvorrichtung 100A die Positionsdaten und die Geschwindigkeitsdaten für den aktuellen Rahmen in den aktuellen Rahmen auf Grundlage der gespeicherten Positionsdaten des vorhergehenden Rahmens und der Erkennungsgeschwindigkeitsdaten, die für den aktuellen Rahmen unter Nutzung der Kamera 2 erkannt wurden.
Auf diese Weise kann die Objekterkennungsvorrichtung 100A die durchschnittliche Genauigkeit der Objekterkennung verbessern, selbst wenn die Kamera 2 eine kleine monokulare Kamera mit niedrigen Herstellungskosten ist. Mit anderen Worten, die Objekterkennungsvorrichtung 100A kann klein sein und eine hohe Leistung bei der Objekterkennung auch bei niedrigen Herstellungskosten erreichen.
Wie oben beschrieben, ist die Objekterkennungsvorrichtung 100A gemäß der ersten Ausführungsform in der Lage, eine genaue Objekterkennung durchzuführen, kann klein sein und genaue Objekte zu niedrigeren Herstellungskosten erkennen, da die Objekterkennungsvorrichtung 100A die gespeicherten Positionsdaten des vorhergehenden Rahmens und die aktuellen Kamerageschwindigkeitsdaten bei der Erzeugung der aktuellen Positions- und Geschwindigkeitsdaten benutzt.
Zweite Ausführungsform.
Unter Bezugnahme auf die 3 und 4 wird im Folgenden eine Beschreibung einer zweiten Ausführungsform bereitgestellt. In der zweiten Ausführungsform werden die unter Verwendung der Kamera 2 erkannten Positionsdaten (d.h. die später zu beschreibenden Kamerapositionsdaten) nur dann in den aktuellen Rahmen extrapoliert, wenn die Radarerkennungsdaten verloren gegangen sind.
3 ist ein Diagramm, das eine Konfiguration einer Objekterkennungsvorrichtung gemäß der zweiten Ausführungsform darstellt. In 3 haben die Bestandteile, die die gleichen Funktionen erfüllen wie die in 1 dargestellte Objekterkennungsvorrichtung 100A der ersten Ausführungsform, die gleichen Bezugszeichen und werden nicht redundant beschrieben.
Wie bei der Objekterkennungsvorrichtung 100A handelt es sich bei der Objekterkennungsvorrichtung 100B um eine Objekterkennungsvorrichtung vom Fusionstyp, die eine Kombination aus einer Vielzahl von Sensortypen umfasst und Objekterkennungsdaten auf Grundlage von Daten berechnet, die von der Vielzahl von Sensortypen erhalten werden. Wenn die Objekterkennungsdaten aufgrund einer Betriebsumgebung verloren gehen, benutzt die Objekterkennungsvorrichtung 100B die für den vorhergehenden Rahmen erhaltenen Positionsdaten, um u.a. eine Position und eine Geschwindigkeit eines Objekts abzuleiten.
Die Objekterkennungsvorrichtung 100B umfasst einen Bildprozessor 4B anstelle des Bildprozessors 4A. Die Objekterkennungsvorrichtung 100B umfasst einen Fusionsprozessor 5B anstelle des Fusionsprozessors 5A. Mit anderen Worten, die Objekterkennungsvorrichtung 100B umfasst das Radar 1, die Kamera 2, den Signalprozessor 3, den Bildprozessor 4B und den Fusionsprozessor 5B.
Der Fusionsprozessor 5B umfasst eine Gleichheitsbestimmungseinheit 6B anstelle der Gleichheitsbestimmungseinheit 6A. Der Fusionsprozessor 5B umfasst nicht den Datenspeicher 11A. Die Gleichheitsbestimmungseinheit 6B umfasst eine Gleichheitsfeststellungseinheit 7B anstelle der Gleichheitsfeststellungseinheit 7A und einen Verlustextrapolator 9B anstelle des Verlustextrapolators 9A.
Im Folgenden wird eine Beschreibung bereitgestellt, wie sich der Bildprozessor 4B von dem Bildprozessor 4A unterscheidet und wie sich der Fusionsprozessor 5B von dem Fusionsprozessor 5A unterscheidet.
Auf Grundlage der von der Kamera 2 erhaltenen Bildinformationen führt der Bildprozessor 4B eine Objekterkennung durch und berechnet auch eine Geschwindigkeit des Objekts relativ zur Objekterkennungsvorrichtung 100B und eine Position des Objekts. Der Bildprozessor 4B ist zum Beispiel mit einer MCU, einer CPU oder ähnlichem konfiguriert wie der Bildprozessor 4A. Wie der Bildprozessor 4A erkennt der Bildprozessor 4B das Objekt, wie z.B. eine Person oder ein Hindernis, unter Nutzung von Merkmalsdaten, die durch maschinelles Lernen oder Deep Learning als Datenbank erhalten wurden, und berechnet auch die relative Geschwindigkeit und die Position des Objekts.
Der Bildprozessor 4B sendet Objekterkennungsdaten, die die Erkennung des Objekts angeben, Kamerageschwindigkeitsdaten und Positionsdaten der Kamera, die die Position des Objekts angeben, an den Fusionsprozessor 5B. Wie oben beschrieben, unterscheidet sich der Bildprozessor 4B von dem Bildprozessor 4A dadurch, dass der Bildprozessor 4B die Position des Objekts berechnet.
Die Gleichheitsfeststellungseinheit 7B führt die Objektgleichheitsbestimmung auf Grundlage der Radarpositionsdaten, der Radargeschwindigkeitsdaten, der Kamerageschwindigkeitsdaten, der Kamerapositionsdaten und der Objekterkennungsdaten durch. Nachdem die Gleichheitsfeststellungseinheit 7B beurteilt hat, dass die Objekte gleich sind, ordnet sie die Radarpositionsdaten, die Radargeschwindigkeitsdaten, die Objekterkennungsdaten, die Kamerageschwindigkeitsdaten und die Kamerapositionsdaten einander zu. Die Gleichheitsfeststellungseinheit 7B sendet diese zugeordneten Daten (im Folgenden als zweite Korrespondenzdaten bezeichnet) an die nachgeschaltete Verlustbestimmungseinheit 8.
Wie die Verlustbestimmungseinheit 8 nach der ersten Ausführungsform bestimmt auch die Verlustbestimmungseinheit 8 nach der zweiten Ausführungsform, ob ein Signalverlust für die Radarpositionsdaten und die Radargeschwindigkeitsdaten vorliegt.
Liegt kein Signalverlust vor, sendet die Verlustbestimmungseinheit 8 die Radarpositionsdaten, die Radargeschwindigkeitsdaten und die Objekterkennungsdaten an den Verlustextrapolator 9B. Liegt der Signalverlust vor, sendet die Verlustbestimmungseinheit 8 die Objekterkennungsdaten, die Kamerageschwindigkeitsdaten und die Objektpositionsdaten an den Verlustextrapolator 9B.
Der Verlustextrapolator 9B führt die Datenextrapolation nur durch, wenn die Verlustbestimmungseinheit 8 den Datenverlust erkannt hat. Liegt kein Signalverlust vor, sendet der Verlustextrapolator 9B die Radarpositionsdaten, die Radargeschwindigkeitsdaten und die Objekterkennungsdaten, die von der Verlustbestimmungseinheit 8 gesendet wurden, an die Erkennungsdatenübertragungseinheit 10. Die Radarpositionsdaten, die Radargeschwindigkeitsdaten und die Objekterkennungsdaten sind als Positionsdaten, Geschwindigkeitsdaten bzw. Objekterkennungsdaten definiert, die alle von der Objekterkennungsvorrichtung 100B erkannt werden.
Bei Vorhandensein eines Signalverlustes extrapoliert der Verlustextrapolator 9B Positionsdaten und Geschwindigkeitsdaten, die für den aktuellen Rahmen erzeugt werden sollen, in den aktuellen Rahmen und überträgt die Positions- und Geschwindigkeitsdaten an die Erkennungsdatenübertragungseinheit 10. Insbesondere bei einem Signalverlust überträgt der Verlustextrapolator 9B die Positionsdaten der Kamera, die Kamerageschwindigkeitsdaten und die Daten zur Objekterkennung an die Erkennungsdatenübertragungseinheit 10. Die Kamerapositionsdaten, die Kamerageschwindigkeitsdaten und die Objekterkennungsdaten sind definiert als die Positionsdaten, die Geschwindigkeitsdaten bzw. die Objekterkennungsdaten, die alle von der Objekterkennungsvorrichtung 100B erkannt werden.
Als nächstes wird eine Beschreibung einer Objekterkennungsprozedur bereitgestellt, die von der Objekterkennungsvorrichtung 100B durchzuführen ist. 4 ist ein Flussdiagramm, das die Objekterkennungsprozedur darstellt, die von der Objekterkennungsvorrichtung gemäß der zweiten Ausführungsform durchzuführen ist. Beschreibungen von Betrieben in 4, die mit den in 2 beschriebenen identisch sind, werden ausgelassen.
Die Objekterkennungsvorrichtung 100B betreibt die Betriebe der Schritte S1 und S2. Die Objekterkennungsvorrichtung 100B gemäß der zweiten Ausführungsform führt den Schritt S3B anstelle des Schrittes S3A durch. Mit anderen Worten, unter Nutzung der Kamera 2 erkennt die Objekterkennungsvorrichtung 100B das Objekt und erkennt eine Geschwindigkeit und eine Position des Objekts (Schritt S3B). Insbesondere erhält die Kamera 2 Objektbildinformationen durch Erfassen einer Bildaufnahme des Objekts und gibt die Bildinformationen an den Bildprozessor 4B aus.
Auf Grundlage der von der Kamera 2 erhaltenen Bildinformationen führt der Bildprozessor 4B eine Objekterkennung durch und erzeugt außerdem Kamerageschwindigkeitsdaten, die die Geschwindigkeit des Objekts relativ zu der Objekterkennungsvorrichtung 100B angeben, sowie Kamerapositionsdaten, die die Position des Objekts relativ zu der Objekterkennungsvorrichtung 100B angeben. Der Bildprozessor 4B sendet Objekterkennungsdaten, die die Erkennung des Objekts angeben, die Kamerageschwindigkeitsdaten und die Objektpositionsdaten an den Fusionsprozessor 5B. Es ist zu beachten, dass die Objekterkennungsvorrichtung 100B den Betrieb von Schritt S2 und den Betrieb von Schritt S3B gleichzeitig betreibt.
Die Gleichheitsfeststellungseinheit 7B des Fusionsprozessors 5B führt die Objektgleichheitsbestimmungf auf der Grundlage der Radarpositionsdaten, der Radargeschwindigkeitsdaten, der Kamerageschwindigkeitsdaten, der Kamerapositionsdaten und der Objekterkennungsdaten (Schritt S4).
Nach dem Beurteilen, dass die Objekte gleich sind, erzeugt die Gleichheitsfeststellungseinheit 7B zweite Korrespondenzdaten, die die Radarpositionsdaten und die Radargeschwindigkeitsdaten mit den Objekterkennungsdaten, den Kamerageschwindigkeitsdaten und den Kamerapositionsdaten, die unter Nutzung der Kamera 2 erhalten wurden, verbinden, und sendet sie an die Verlustbestimmungseinheit 8.
Die Verlustbestimmungseinheit 8 der Objekterkennungsvorrichtung 100B bestimmt, ob Radarerkennungsdaten einschließlich der Radarpositionsdaten und der Radargeschwindigkeitsdaten verloren gegangen sind (Schritt S5). Wenn die Radar-Erkennungsdaten verloren gegangen sind, d.h. bei Vorliegen eines Signalverlustes (Schritt S5, Ja), sendet die Verlustbestimmungseinheit 8 dann die Objekterkennungsdaten, die Kamerapositionsdaten und die Radargeschwindigkeitsdaten an den Verlustextrapolator 9B.
Wenn die Radarerkennungsdaten verloren sind, extrapoliert der Verlustextrapolator 9B die Kamerapositionsdaten und die Erkennungsgeschwindigkeitsdaten in den aktuellen Rahmen. Mit anderen Worten, wenn die Radarerkennungsdaten verloren gehen, verwendet der Verlustextrapolator 9B die Kamerapositionsdaten als Positionsdaten für den aktuellen Rahmen und verwendet die Kamerageschwindigkeitsdaten als Geschwindigkeitsdaten für den aktuellen Rahmen. Auf diese Weise extrapoliert der Verlustextrapolator 9B verlorene Radar-Erkennungsdaten in den aktuellen Rahmen (Schritt S6).
Danach betreibt die Objekterkennungsvorrichtung 100B den Betrieb von Schritt S7 und nachfolgende Betriebe, die identisch mit denen der Objekterkennungsvorrichtung 100A sind. Es ist zu beachten, dass der Verlustextrapolator 9B denselben Betrieb betreibt, den der Verlustextrapolator 9A durchführt, wenn die Radar-Erkennungsdaten nicht verloren sind.
Im Folgenden wird eine Beschreibung spezifischer Vorteile bereitgestellt, die sich aus der Benutzung der Objekterkennungsvorrichtung 100B zur Objekterkennung ergeben. Die Objekterkennungsvorrichtung 100B berechnet die Radarpositionsdaten durch die Erkennung mit dem Radar 1 und die Kamerapositionsdaten durch die Erkennung mit der Kamera 2.
Kamerapositionsdaten und Kamerageschwindigkeitsdaten, die unter Nutzung einer kleinen monokularen Kamera 2 mit niedrigen Herstellungskosten erkannt werden, sind im Allgemeinen weniger genau als die Erkennungspositionsdaten und die Erkennungsgeschwindigkeitsdaten, die unter Verwendung des Radars 1 erkannt werden. Aus diesem Grund benutzt die Objekterkennungsvorrichtung 100B die von der Kamera 2 erkannten Daten nur, wenn die vom Radar 1 erkannten Daten verloren gegangen sind. Mit anderen Worten, die Vorrichtung 100B zur Objekterkennung extrapoliert die Positionsdaten der Kamera und die Kamerageschwindigkeitsdaten nur dann in den aktuellen Rahmen, wenn die Radarpositionsdaten und die Radargeschwindigkeitsdaten verloren gegangen sind. Auf diese Weise kann die Objekterkennungsvorrichtung 100B die durchschnittliche Genauigkeit der Objekterkennung verbessern, selbst wenn es sich bei der Kamera 2 um eine kleine monokulare Kamera mit niedrigen Herstellungskosten handelt.
Wie oben beschrieben, leitet die Objekterkennungsvorrichtung 100B gemäß der zweiten Ausführungsform selbst in Fällen, in denen die Radarerkennungsdaten vorübergehend verloren gehen, die Radarerkennungsdaten auf Grundlage der Erkennungsdaten ab, die die Objekterkennungsvorrichtung 100B für den vorhergehenden Rahmen erkannt hat, und der Daten, die für den aktuellen Rahmen unter Benutzung der Kamera 2 erkannt wurden. Als Ergebnis kann die Objekterkennungsvorrichtung 100B den Verlust der Radarerfassungsdaten beheben und die durchschnittliche Genauigkeit der Objekterkennung verbessern. Die Objekterkennungsvorrichtung 100B kann daher ein Objekt genau erkennen, unter Nutzung der Kamera 2 und des Bildprozessors 4B, die eine geringere Größe, niedrigere Herstellungskosten und eine geringere Belastung aufweisen.
Eine Beschreibung der Hardwarekonfiguration der beiden Objekterkennungsvorrichtungen 100A und 100B ist hier bereitgestellt. Die Objekterkennungsvorrichtungen 100A und 100B sind beide mit Verarbeitungsschaltungen ausgestattet. Die Verarbeitungsschaltung kann einen Speicher und einen Prozessor umfassen, der im Speicher gespeicherte Programme ausführt, oder es kann sich um dedizierte Hardware handeln, z. B. eine dedizierte Schaltung. Die Verarbeitungsschaltung wird auch als Regelungsschaltung bezeichnet.
5 ist ein Diagramm, das eine Beispielkonfiguration der Verarbeitungsschaltung jeder der Vorrichtungen zur Objekterkennung gemäß der ersten und zweiten Ausführungsform darstellt, wenn die Verarbeitungsschaltung durch einen Prozessor und einen Speicher realisiert ist. Da die Objekterkennungsvorrichtungen 100A und 100B die gleiche Hardwarekonfiguration aufweisen, wird im Folgenden eine Beschreibung der Hardwarekonfiguration der Objekterkennungsvorrichtung 100A bereitgestellt.
Die in 5 dargestellte Verarbeitungsschaltung 90 ist eine Regelungsschaltung und umfasst den Prozessor 91 und den Speicher 92. Wenn die Verarbeitungsschaltung 90 den Prozessor 91 und den Speicher 92 umfasst, werden die Funktionen der Verarbeitungsschaltung 90 mit Software, Firmware oder einer Kombination aus Software und Firmware implementiert. Die Software oder Firmware wird als Programm beschrieben und ist im Speicher 92 gespeichert. In der Verarbeitungsschaltung 90 liest der Prozessor 91 die im Speicher 92 gespeicherten Programme und führt sie aus, um die Funktionen zu implementieren. Dies bedeutet, dass der Speicher 92 die Verarbeitungsschaltung 90 umfasst, um die Programme zu speichern, mit denen die Prozesse der Objekterkennungsvorrichtung 100A letztendlich betrieben werden. Diese Programme können als Programme bezeichnet werden, die veranlassen, dass die von der Verarbeitungsschaltung 90 implementierten Funktionen von der Objekterkennungsvorrichtung 100A durchgeführt werden. Diese Programme können in einem Datenträger gespeichert und bereitgestellt werden, oder sie können auf anderem Wege, z. B. über ein Kommunikationsmedium, bereitgestellt werden. Man kann auch sagen, dass die obigen Programme die Objekterkennungsvorrichtung 100A veranlassen, den Prozess der Objekterkennung durchzuführen.
Beispiele für den Prozessor 91 umfassen eine zentrale Verarbeitungseinheit (CPU), die auch als Verarbeitungseinheit, arithmetische Einheit, Mikroprozessor, Mikrocomputer oder digitaler Signalprozessor (DSP) bezeichnet wird, und eine System Large Scale Integration (LSI).
Beispiele, die jeweils dem Speicher 92 entsprechen, umfassen nichtflüchtige oder flüchtige Halbleiterspeicher, wie einen Direktzugriffsspeicher (RAM), einen Festwertspeicher (ROM), einen Flash-Speicher, ein löschbares programmierbares ROM (EPROM) und ein elektrisches EPROM (EEPROM) (eingetragenes Warenzeichen), eine Magnetplatte, eine flexible Platte, eine optische Platte, eine Compact Disk, eine Mini-Disk und eine Digital Versatile Disc (DVD), unter anderem.
6 ist ein Diagramm, das ein Beispiel für die Verarbeitungsschaltung jeder der Vorrichtungen zur Objekterkennung gemäß der ersten und zweiten Ausführungsform darstellt, wenn die Verarbeitungsschaltung als dedizierte Hardware konfiguriert ist. Beispiele, die jeweils der in 6 dargestellten Verarbeitungsschaltungen 93 entsprechen, umfassen eine einzelne Schaltung, eine zusammengesetzte Schaltung, einen programmierten Prozessor, einen parallel programmierten Prozessor, eine anwendungsspezifische integrierte Schaltung (ASIC), ein feldprogrammierbares Gate-Array (FPGA) und Kombinationen davon. Die Verarbeitungsschaltungen 93 kann teilweise durch dedizierte Hardware und teilweise durch Software oder Firmware realisiert werden. Indem die Verarbeitungsschaltungen 93 die dedizierte Hardware, die Software, die Firmware oder eine Kombination davon umfasst, ist sie in der Lage, die oben genannten Funktionen zu implementieren. Wie bereits erwähnt, können der Signalprozessor 3 und der Bildprozessor 4A mit separaten CPUs konfiguriert werden.
Die in den Ausführungsformen dargestellten Konfigurationen sind illustrativ, können mit anderen Techniken kombiniert werden, die allgemein bekannt sind, und können teilweise ausgelassen oder geändert werden, ohne vom Kern der Sache abzuweichen. Die Ausführungsformen können miteinander kombiniert werden.
Bezugszeichenliste
1 Radar; 2 Kamera; 3 Signalprozessor; 4A, 4B Bildprozessor; 5A, 5B Fusionsprozessor; 6A, 6B Gleichheitsbestimmungseinheit; 7A, 7B Gleichheitsfeststellungseinheit; 8 Verlustbestimmungseinheit; 9A, 9B Verlustextrapolator; 10 Erkennungsdatenübertragungseinheit; 11A Datenspeicher; 12 Fahrzeugregelungsvorrichtung; 90, 93 Verarbeitungsschaltungen; 91 Prozessor; 92 Speicher; 100A, 100B Objekterkennungsvorrichtung.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 2010/119860 [0005]

Claims

Objekterkennungsvorrichtung, umfassend: ein Radar zum Ausstrahlen einer elektromagnetischen Welle in Richtung eines Objekts und zum Empfangen eines reflektierten Signals von dem Objekt; einen Signalprozessor zum Berechnen von Radarpositionsdaten und Radargeschwindigkeitsdaten auf Grundlage des reflektierten Signals, wobei die Radarpositionsdaten eine Position des Objekts angeben und die Radargeschwindigkeitsdaten eine Geschwindigkeit des Objekts angeben; eine Kamera zum Erhalten von Objektbildinformationen durch Erfassen einer Bildaufnahme des Objekts; einen Bildprozessor zum Berechnen von Kamerageschwindigkeitsdaten auf Grundlage der Objektbildinformationen, wobei die Kamerageschwindigkeitsdaten eine Geschwindigkeit des Objekts angeben; und einen Fusionsprozessor zum Ausgeben an eine externe Vorrichtung der Radarpositionsdaten und der Radargeschwindigkeitsdaten eines ersten Rahmens als erste Erkennungspositionsdaten und erste Erkennungsgeschwindigkeitsdaten, wobei die ersten Erkennungspositionsdaten die Position des Objekts für den ersten Rahmen angeben, die ersten Erkennungsgeschwindigkeitsdaten die Geschwindigkeit des Objekts für den ersten Rahmen angeben, wobei der Fusionsprozessor einen Datenspeicher umfasst, zum Speichern der ersten erkannten Positionsdaten, und wenn die Radarpositionsdaten und die Radargeschwindigkeitsdaten eines zweiten Rahmens, der auf den ersten Rahmen folgt, verloren gehen, der Fusionsprozessor auf Grundlage der ersten Erkennungspositionsdaten und der Kamerageschwindigkeitsdaten, die für den zweiten Rahmen erhalten wurden, zweite Erkennungspositionsdaten, die die Position des Objekts für den zweiten Rahmen anzeigen, und zweite Erkennungsgeschwindigkeitsdaten, die die Geschwindigkeit des Objekts für den zweiten Rahmen anzeigen, erzeugt und die zweiten Erkennungspositionsdaten und die zweiten Erkennungsgeschwindigkeitsdaten an die externe Vorrichtung ausgibt.
Objekterkennungsvorrichtung nach Anspruch 1, wobei der Bildprozessor auf Grundlage der Objektbildinformationen Richtungsdaten berechnet, wobei die Richtungsdaten eine Richtung angeben, in der sich das Objekt befindet, der Fusionsprozessor eine Gleichheitsbestimmungseinheit umfasst zum Durchführen einer Objektgleichheitsbestimmung, ob das Radar und die Kamera das gleiche Objekt erkannt haben, und die Gleichheitsbestimmungseinheit die Objektgleichheitsbestimmung auf Grundlage der Radarpositionsdaten, der Radargeschwindigkeitsdaten, der Kamerageschwindigkeitsdaten und der Richtungsdaten durchführt.
Objekterkennungsvorrichtung, umfassend: ein Radar zum Ausstrahlen einer elektromagnetischen Welle in Richtung eines Objekts und zum Empfangen eines reflektierten Signals von dem Objekt; einen Signalprozessor zum Berechnen von Radarpositionsdaten und Radargeschwindigkeitsdaten auf Grundlage des reflektierten Signals, wobei die Radarpositionsdaten eine Position des Objekts angeben und die Radargeschwindigkeitsdaten eine Geschwindigkeit des Objekts angeben; eine Kamera zum Erhalten von Objektbildinformationen durch Erfassen einer Bildaufnahme des Objekts; einen Bildprozessor zum Berechnen von Kamerageschwindigkeitsdaten und Kamerapositionsdaten auf Grundlage der Objektbildinformationen, wobei die Kamerageschwindigkeitsdaten eine Geschwindigkeit des Objekts angeben und die Kamerapositionsdaten eine Position des Objekts angeben; und einen Fusionsprozessor zum Ausgeben an eine externe Vorrichtung der Radarpositionsdaten und der Radargeschwindigkeitsdaten eines ersten Rahmens als erste Erkennungspositionsdaten und erste Erkennungsgeschwindigkeitsdaten, wobei die ersten Erkennungspositionsdaten die Position des Objekts für den ersten Rahmen angeben, die ersten Erkennungsgeschwindigkeitsdaten die Geschwindigkeit des Objekts für den ersten Rahmen angeben, wobei wenn die Radarpositionsdaten und die Radargeschwindigkeitsdaten eines zweiten Rahmens, der dem ersten Rahmen folgt, verloren gehen, der Fusionsprozessor die Kamerageschwindigkeitsdaten und die Kamerapositionsdaten des zweiten Rahmens als zweite Erkennungspositionsdaten und zweite Erkennungsgeschwindigkeitsdaten an die externe Vorrichtung ausgibt, wobei die zweiten Erkennungspositionsdaten die Position des Objekts für den zweiten Rahmen angeben und die zweiten Erkennungsgeschwindigkeitsdaten die Geschwindigkeit des Objekts für den zweiten Rahmen angeben.
Objekterkennungsvorrichtung nach Anspruch 3, wobei der Fusionsprozessor eine Gleichheitsbestimmungseinheit umfasst zum Durchführen einer Objektgleichheitsbestimmung, ob das Radar und die Kamera das gleiche Objekt erkannt haben, und die Gleichheitsbestimmungseinheit die Objektgleichheitsbestimmung auf Grundlage der Radarpositionsdaten, der Radargeschwindigkeitsdaten, der Kamerageschwindigkeitsdaten und der Kamerapositionsdaten durchführt.
Objekterkennungsverfahren, umfassend: einen Signalverarbeitungsschritt des Berechnens, durch eine Objekterkennungsvorrichtung, von Radarpositionsdaten und Radargeschwindigkeitsdaten auf Grundlage eines von einem Objekt reflektierten Signals, wobei die Radarpositionsdaten eine Position des Objekts erkennen lassen, die Radargeschwindigkeitsdaten eine Geschwindigkeit des Objekts erkennen lassen, wobei die Objekterkennungsvorrichtung umfasst ein Radar zum Aussenden einer elektromagnetischen Welle in Richtung des Objekts und zum Empfangen des reflektierten Signals von dem Objekt und eine Kamera zum Erhalten von Objektbildinformationen durch Erfassen eines Bildes des Objekts; einen Bildverarbeitungsschritt des Berechnens, durch die Objekterkennungsvorrichtung, von Kamerageschwindigkeitsdaten auf Grundlage der Objektbildinformationen, wobei die Kamerageschwindigkeitsdaten eine Geschwindigkeit des Objekts angeben; und einen Fusionsverarbeitungsschritt des Ausgebens, durch die Objekterkennungsvorrichtung, an eine externe Vorrichtung, der Radarpositionsdaten und der Radargeschwindigkeitsdaten eines ersten Rahmens als erste Erkennungspositionsdaten und erste Erkennungsgeschwindigkeitsdaten, wobei die ersten Erkennungspositionsdaten die Position des Objekts für den ersten Rahmen anzeigen, die ersten Erkennungsgeschwindigkeitsdaten die Geschwindigkeit des Objekts für den ersten Rahmen anzeigen, wobei die Objekterkennungsvorrichtung die ersten detektierten Positionsdaten in dem Fusionsverarbeitungsschritt speichert, und wenn die Radarpositionsdaten und die Radargeschwindigkeitsdaten eines zweiten Rahmens, der dem ersten Rahmen folgt, verloren gehen, in dem Fusionsverarbeitungsschritt die Objekterkennungsvorrichtung auf der Grundlage der ersten detektierten Positionsdaten und der Kamerageschwindigkeitsdaten, die für den zweiten Rahmen erhalten wurden, zweite detektierte Positionsdaten, die die Position des Objekts für den zweiten Rahmen anzeigen, und zweite Erkennungsgeschwindigkeitsdaten, die die Geschwindigkeit des Objekts für den zweiten Rahmen anzeigen, erzeugt und die zweiten detektierten Positionsdaten und die zweiten Erkennungsgeschwindigkeitsdaten an die externe Vorrichtung ausgibt.