DE112021007782T5

DE112021007782T5 - Objekterkennungsapparat und objekterkennungsverfahren

Info

Publication number: DE112021007782T5
Application number: DE112021007782.1T
Authority: DE
Inventors: Tatsuya Kamimura
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2021-06-07
Filing date: 2021-06-07
Publication date: 2024-04-04
Also published as: JPWO2022259306A1; WO2022259306A1

Abstract

Ein Objekterkennungsapparat (100) umfasst ein Radar (1), das eine elektromagnetische Welle von einem Fahrzeug ausstrahlt und ein Empfangssignal ausgibt, indem es eine reflektierte Welle empfängt, die sich durch Reflexion der elektromagnetischen Welle ausbreitet, einen Objekterkenner (3), der basierend auf dem Empfangssignal eine Position und eine Geschwindigkeit eines Objekts erkennt, das in einer Umgebung vorhanden ist, in der sich das Fahrzeug bewegt, einen Hinderniserkenner (4), der Positionen jeweiliger Hindernisse auf gegenüberliegenden Seiten einer Route, entlang der das Fahrzeug fährt, und einen Trennungsabstand, der ein Abstand zwischen den Hindernissen ist, erkennt, und eine Horizontalabdeckungsregelung (5), die eine Abdeckung des Radars (1) in einer horizontalen Richtung basierend auf den Positionen der jeweiligen Hindernisse auf den gegenüberliegenden Seiten der Route und dem Trennungsabstand regelt.

Description

Gebiet
Die vorliegende Offenbarung betrifft einen Objekterkennungsapparat und ein Objekterkennungsverfahren zum Erkennen eines Objekts, das sich in einer Umgebung befindet, in der ein Fahrzeug fährt.
Stand der Technik
Es ist ein System bekannt, das eine Objektkennungsapparat, der eine Person oder ein Hindernis erkennt, das in einer Fahrtrichtung eines Fahrzeugs vorhanden ist, und eine Fahrzeugregelungsfunktion oder eine Alarmerzeugungsfunktion zur Vermeidung einer Kollision zwischen der Person oder dem Hindernis und dem Fahrzeug umfasst. Der Objektkennungsapparat umfasst einen Sensor, wie z.B. ein Radar, eine Kamera, Light Detection And Ranging (LiDAR) oder einen Ultraschallsensor, und erkennt eine Person oder ein Hindernis unter Nutzung des Sensors.
Die Patentliteratur 1 offenbart einen Objektkennungsapparat, der ein Ergebnis der Erkennung eines Objekts unter Nutzung eines Radars und ein Ergebnis der Erkennung eines Objekts unter Nutzung einer Kamera integriert und der bestimmt, ob es sich bei einem erkannten Objekt um einen Fußgänger handelt.
Zitierliste
Patentliteratur
Patentliteratur 1: Internationale Veröffentlichung Nr. WO 2010/119860
Zusammenfassung der Erfindung
Problem, das durch die Erfindung gelöst werden soll
In einem Fall, in dem ein Fahrzeug entlang einer Route fährt, die von Hindernissen wie Mauern, Zäunen oder Säulen umgeben ist, wird das Radar durch ein Phänomen wie Mehrwegeffekt oder Clutter aufgrund der Reflexion elektromagnetischer Wellen an den Hindernissen beeinträchtigt, wodurch sich in einigen Fällen die Genauigkeit beim Erkennen einer Person verschlechtert. So besteht gemäß einer in der Patentliteratur 1 präsentierten Technik das Problem, dass sich die Genauigkeit beim Erkennen eines Objekts in einer Umgebung verschlechtern kann, in der Hindernisse, die das Fahren des Fahrzeugs behindern, vorhanden sind.
Die vorliegende Offenbarung wurde im Hinblick auf die oben genannten Umstände gemacht, und ein Ziel der vorliegenden Offenbarung ist es, einen Objektkennungsapparat bereitzustellen, der in der Lage ist, ein Objekt mit hoher Genauigkeit in einer Umgebung zu erkennen, in der Hindernisse, die die Fahrt eines Fahrzeugs behindern, vorhanden sind.
Mittel zur Lösung des Problems
Um die obigen Probleme zu lösen und das Ziel zu erreichen, umfasst ein Objektkennungsapparat gemäß der vorliegenden Offenbarung: ein Radar, das ausgebildet ist, eine elektromagnetische Welle von einem Fahrzeug auszustrahlen und ein Empfangssignal auszugeben, indem es eine reflektierte Welle empfängt, die sich durch Reflexion der elektromagnetischen Welle ausbreitet; einen Objekterkenner, der ausgebildet ist, basierend auf dem Empfangssignal eine Position und eine Geschwindigkeit eines Objekts zu erkennen, das in einer Umgebung vorhanden ist, in der sich das Fahrzeug bewegt; einen Hinderniserkenner, der ausgebildet ist, Positionen jeweiliger Hindernisse auf gegenüberliegenden Seiten einer Route, auf der das Fahrzeug fährt, und einen Trennungsabstand zwischen den Hindernissen zu erkennen; und eine Horizontalabdeckungsregelung, die ausgebildet ist, eine Abdeckung des Radars in einer horizontalen Richtung basierend auf den Positionen der jeweiligen Hindernisse auf den gegenüberliegenden Seiten der Route und dem Trennungsabstand zu regeln.
Wirkungen der Erfindung
Der Objektkennungsapparat gemäß der vorliegenden Offenbarung hat die Wirkung, dass er in der Lage ist, das Objekt mit hoher Genauigkeit in der Umgebung zu erkennen, in der die Hindernisse, die das Fahren des Fahrzeugs behindern, vorhanden sind.
Kurzbeschreibung der Zeichnungen

1 ist ein Diagramm, das eine Konfiguration eines Objektkennungsapparates gemäß einer ersten Ausführungsform darstellt.
2 ist ein Flussdiagramm, das eine Betriebsprozedur des Objektkennungsapparats gemäß der ersten Ausführungsform darstellt.
3 ist ein erläuterndes Diagramm, das eine erste Abdeckung in einem Fall darstellt, in dem ein Hinderniserkenner des Objektkennungsapparats gemäß der ersten Ausführungsform Positionen von Hindernissen und einen Trennungsabstand zwischen den Hindernissen erkennt.
4 ist ein erläuterndes Diagramm, das die Erkennung der Positionen der Hindernisse und des Trennungsabstands zwischen den Hindernissen darstellt, die durch den Hinderniserkenner des Objektkennungsapparats gemäß der ersten Ausführungsform durchgeführt wird.
5 ist ein erläuterndes Diagramm, das eine zweite Abdeckung in einem Fall darstellt, in dem ein Objekterkenner des Objektkennungsapparats gemäß der ersten Ausführungsform eine Position und eine Geschwindigkeit eines Objekts erkennt.
6 ist ein Diagramm, das eine Konfiguration eines Objektkennungsapparates gemäß einer zweiten Ausführungsform darstellt.
7 ist ein Flussdiagramm, das eine Betriebsprozedur des Objektkennungsapparates gemäß der zweiten Ausführungsform darstellt.
8 ist ein Diagramm, das ein erstes Beispiel für eine Hardwarekonfiguration des Objektkennungsapparates gemäß der ersten oder zweiten Ausführungsform darstellt.
9 ist ein Diagramm, das ein zweites Beispiel für die Hardwarekonfiguration des Objektkennungsapparates gemäß der ersten oder zweiten Ausführungsform darstellt.

Beschreibung der Ausführungsformen
Nachfolgend werden ein Objektkennungsapparat und ein Objekterkennungsverfahren gemäß den Ausführungsformen unter Bezugnahme auf die Zeichnungen im Detail beschrieben.
Erste Ausführungsform.
1 ist ein Diagramm, das eine Ausführungsform eines Objektkennungsapparates 100 gemäß einer ersten Ausführungsform darstellt. Der Objektkennungsapparat 100 ist in ein Fahrzeug eingebaut. Das Fahrzeug umfasst eine Fahrzeugregelung zur Vermeidung einer Kollision zwischen einem Objekt oder einem Hindernis und dem Fahrzeug basierend auf einem Ergebnis des Erkennens des Objekts oder des Hindernisses durch den Objektkennungsapparat 100. In der ersten Ausführungsform ist das vom Objektkennungsapparat 100 erkannte Objekt ein Objekt, das erkannt werden soll, um eine Kollision zwischen dem Fahrzeug und dem Objekt zu verhindern, und ist beispielsweise eine Person. Bei dem Hindernis handelt es sich um ein bodenfestes Objekt, wie z. B. eine Mauer, einen Zaun, einen Pfeiler, eine Leitplanke, ein Regal oder eine Klappe in einer Umgebung, in der das Fahrzeug fährt.
Der Objekterkennungsapparat 100 umfasst: ein Radar 1; einen Signalprozessor 2, der ausgebildet ist, um ein vom Radar 1 empfangenes Signal zu verarbeiten; und eine Horizontalabdeckungsregelung 5, der ausgebildet ist, um eine Abdeckung des Radars 1 zu regeln. Der Signalprozessor 2 umfasst: einen Objekterkenner 3, der ausgebildet ist, ein Objekt zu erkennen, das in einer Umgebung vorhanden ist, in der das Fahrzeug fährt, und einen Hinderniserkenner 4, der ausgebildet ist, das Hindernis zu erkennen.
Das Radar 1 strahlt eine elektromagnetische Welle vom Fahrzeug aus. Das Radar 1 gibt ein Empfangssignal aus, indem es eine reflektierte Welle empfängt, die sich durch Reflexion der elektromagnetischen Welle an dem Objekt oder dem Hindernis ausbreitet. Das Radar 1 ist ein Radar eines frequenzmodulierten Dauerwellensystems (FMCW) oder eines schnellen Chirp-Modulationssystems (FCM). Das Radar 1 umfasst Komponenten wie ein Hochfrequenz-Halbleiterbauteil, ein Halbleiterbauteil zur Leistungsversorgung, ein Substrat, eine Kristallvorrichtung, ein Chipbauteil und eine Antenne. Das Empfangssignal des Radars 1 wird jeweils in den Objekterkenner 3 und den Hinderniserkenner 4 eingegeben.
Der Objekterkenner 3 erkennt basierend auf dem Empfangssignal eine Position und eine Geschwindigkeit des Objekts, das in einer Umgebung präsentiert wird, in der das Fahrzeug fährt. Der Objekterkenner 3 erzeugt Positionsdaten, die die Position des Objekts angeben, und Geschwindigkeitsdaten, die die Geschwindigkeit angeben, mit der sich das Objekt bewegt. Der Objekterkenner 3 gibt die erzeugten Positionsdaten und Geschwindigkeitsdaten aus. Die Positionsdaten und die Geschwindigkeitsdaten werden in einen Fahrzeugregler 6 eingegeben. Der Fahrzeugregler 6 regelt das Fahrzeug unter Nutzung der Positionsdaten und der Geschwindigkeitsdaten.
Der Hinderniserkenner 4 erkennt basierend auf dem Empfangssignal die Positionen von Hindernissen auf gegenüberliegenden Seiten einer Route, auf der das Fahrzeug fährt, und einen Trennungsabstand zwischen den Hindernissen. Der Trennungsabstand ist ein Abstand zwischen den Hindernissen auf den gegenüberliegenden Seiten der Route, auf der das Fahrzeug fährt. In dem Fall, dass auf den gegenüberliegenden Seiten der Route parallel zur Route verlaufende Zäune installiert sind, ist beispielsweise der Abstand zwischen den Zäunen in einer Richtung, die senkrecht zu einer Erstreckungsrichtung der Route und in einer horizontalen Ebene liegt, ein Trennungsabstand zwischen den Zäunen. Der Hinderniserkenner 4 erzeugt Positionsdaten, die die Positionen der Hindernisse angeben, und Trennungsabstandsdaten, die den Trennungsabstand angeben. Der Hinderniserkenner 4 gibt die erzeugten Positionsdaten und Trennungsabstandsdaten aus.
Die Positionsdaten und die Trennungsabstandsdaten werden in die Horizontalabdeckungsregelung 5 eingegeben. Die Horizontalabdeckungsregelung 5 bestimmt basierend auf den Positionsdaten und den Trennungsabstandsdaten, die die Erkennungsergebnisse des Hinderniserkenners 4 sind, eine Abdeckung in einer horizontalen Richtung. Die Horizontalabdeckungsregelung 5 regelt die Abdeckung des Radars 1 in der horizontalen Richtung, indem sie eine Anweisung für die Abdeckung an das Radar 1 sendet.
Im Folgenden wird der Betrieb des Objektkennungsapparates 100 beschrieben. 2 ist ein Flussdiagramm, das eine Prozedur des Betriebs des Objektkennungsapparats 100 gemäß der ersten Ausführungsform darstellt. Es wird nun der Betrieb des Objektkennungsapparats 100 in einem Fall beschrieben, in dem sich auf den gegenüberliegenden Seiten der Route, auf der das Fahrzeug fährt, Hindernisse befinden. In der folgenden Beschreibung ist ein Frame ein Zyklus zum Erkennen eines Objekts und eines Hindernisses. 2 stellt eine Prozedur des Betriebs des Objektkennungsapparats 100 in einem Frame dar.
In Schritt S1 beginnt der Objektkennungsapparat 100 mit dem Erkennen eines Objekts und eines Hindernisses. Das Radar 1 strahlt eine elektromagnetische Welle aus und gibt ein Empfangssignal aus, indem es eine reflektierte Welle empfängt, die sich durch Reflexion der elektromagnetischen Welle von einem Objekt oder einem Hindernis ausbreitet. Für den Erfassungsbereich des Radars 1 in Schritt S1 wird ein erster Satz eingestellt, der einen großen Winkelbereich abdeckt, um ein in Fahrtrichtung des Fahrzeugs vorhandenes Hindernis erkennen zu können.
Für den Fall, dass sich auf den gegenüberliegenden Seiten der Route, auf der das Fahrzeug fährt, Hindernisse befinden, erkennt der Hinderniserkenner 4 des Objekterkennungsapparats 100 in Schritt S2 basierend auf dem Empfangssignal die Positionen der jeweiligen Hindernisse auf den gegenüberliegenden Seiten der Route und den Trennungsabstand zwischen den Hindernissen auf den gegenüberliegenden Seiten der Route. Der Hinderniserkenner 4 gibt die Positionsdaten und die Trennungsabstandsdaten aus.
In Schritt S3 regelt die Horizontalabdeckungsregelung 5 des Objektkennungsapparats 100 die Abdeckung in der horizontalen Richtung basierend auf den Positionsdaten und den Trennungsabstandsdaten über die Hindernisse. Die Horizontalabdeckungsregelung 5 regelt, um die Abdeckung von der ersten Abdeckung, bei der die jeweiligen Hindernisse auf den gegenüberliegenden Seiten der Route erkannt werden, auf die zweite Abdeckung zwischen den Hindernissen zu reduzieren.
In Schritt S4 erkennt der Objekterkenner 3 des Objektkennungsapparats 100 die Position und die Geschwindigkeit des Objekts basierend auf dem Empfangssignal, das empfangen wird, nachdem die Abdeckung auf die zweite Abdeckung reduziert wurde. Das heißt, der Objekterkenner 3 erkennt die Position und die Geschwindigkeit des Objekts basierend auf der Ausgabe des Empfangssignals, das die reflektierte Welle in dem in Schritt S3 geregelten Erfassungsbereich empfängt. Der Objekterkenner 3 gibt die Positionsdaten und die Geschwindigkeitsdaten aus.
In Schritt S5 gibt der Objekterkenner 3 die Positionsdaten und die Geschwindigkeitsdaten an die Fahrzeugregelung 6 aus. Damit beendet der Objektkennungsapparat 100 den Betrieb gemäß der in 2 dargestellten Prozedur. Danach wird der Betrieb des Objektkennungsapparates 100 mit dem Betrieb eines nächsten Frames fortgesetzt. Der Regler 6 des Fahrzeugs regelt das Fahrzeug unter Nutzung der von dem Objektkennungsapparate 100 empfangenen Positionsdaten und Geschwindigkeitsdaten.
3 ist ein erklärendes Diagramm, das die erste Abdeckung in dem Fall darstellt, in dem der Hinderniserkenner 4 der Objektkennungsapparatur 100 gemäß der ersten Ausführungsform die Positionen der Hindernisse und den Trennungsabstand zwischen den Hindernissen erkennt. 3 stellt einen Zustand dar, in dem ein Fahrzeug 7, eine Route 8, entlang der das Fahrzeug 7 fährt, und Hindernisse auf gegenüberliegenden Seiten der Route 8 von oberhalb des Fahrzeugs 7 betrachtet werden.
Der Objektkennungsapparat 100 ist in einem vorderen Abschnitt des Fahrzeugs 7 installiert. In 3 ist eine Vielzahl von Säulen 9 als Hindernisse jeweils auf einer rechten und einer linken Seite der Route 8, vom Fahrzeug 7 aus gesehen, installiert. Die Vielzahl der Säulen 9, die auf der rechten Seite der Route 8 installiert sind, sind parallel zur Route 8 angeordnet. Die Vielzahl der Säulen 9, die auf der linken Seite der Route 8 installiert sind, sind parallel zur Route 8 angeordnet. 3 stellt auch einen Fall dar, in dem anstelle der Säule 9 Wände 10 als Hindernisse aufgestellt sind. In 3 repräsentieren die gestrichelten Linien einen Zustand, in dem die jeweiligen Wände 10, die sich parallel zur Route 8 erstrecken, auf der rechten und der linken Seite der Route 8 installiert sind. Eine erste Abdeckung 11 deckt die Vielzahl der Säulen 9 bzw. die Wände 10 ab, die die jeweiligen Hindernisse auf den gegenüberliegenden Seiten der Route 8 darstellen.
4 ist ein erklärendes Diagramm, das die Erkennung der Positionen der Hindernisse und des Trennungsabstands zwischen den Hindernissen darstellt, die durch den Hinderniserkenner 4 des Objektkennungsapparats 100 gemäß der ersten Ausführungsform durchgeführt wird. Der Hinderniserkenner 4 erkennt die Hindernisse als Ergebnis des Empfangs einer reflektierten Welle, die stärker ist als die vom Radar 1 aus der Umgebung empfangene. 4 stellt in einem Diagramm ein Beispiel für Erkennungsergebnisse dar, die die Positionen angeben, in denen die Hindernisse vom Hinderniserkenner 4 erkannt wurden. Dabei wird eine Richtung, die senkrecht zu einer Erstreckungsrichtung der Route 8 und in einer horizontalen Ebene liegt, als X-Richtung und die Erstreckungsrichtung der Route 8 als Y-Richtung definiert. Eine horizontale Achse des Diagramms repräsentiert eine Position in der X-Richtung. Eine horizontale Achse des Diagramms repräsentiert eine Position in der Y-Richtung.
Der Hinderniserkenner 4 bestimmt die Positionen der Kanten der Hindernisse, indem er auf die in 4 dargestellten Erkennungsergebnisse beispielsweise die Verarbeitung der Hough-Transformation anwendet. Eine in 4 dargestellte gestrichelte Linie 13 repräsentiert die Kanten der Hindernisse, die sich auf der linken Seite der Route 8 befinden. Eine gestrichelte Linie 14, die in 4 dargestellt ist, repräsentiert die Kanten der Hindernisse auf der rechten Seite der Route 8. In dem Fall, dass es sich bei den Hindernissen um eine Vielzahl von Säulen 9 handelt, repräsentieren die gestrichelten Linien 13 und 14 Linien, die die Kanten der jeweiligen Säule 9 in X-Richtung verbinden. In dem Fall, dass die Hindernisse die Wände 10 sind, repräsentieren die gestrichelten Linien 13 und 14 die Kanten der Wände 10 in X-Richtung. Der Hinderniserkenner 4 schätzt als Positionen der Hindernisse eine Position X1 der Kanten, die durch die gestrichelte Linie 13 repräsentiert werden, und eine Position X2 der Kanten, die durch die gestrichelte Linie 14 repräsentiert werden. Der Hinderniserkenner 4 schätzt als Trennungsabstand einen Abstand D zwischen den durch die gestrichelte Linie 13 repräsentierten Kanten und den durch die gestrichelte Linie 14 repräsentierten Kanten. Auf diese Weise erkennt der Hinderniserkenner 4 die Positionen der Hindernisse auf den gegenüberliegenden Seiten der Route 8 und den Trennungsabstand zwischen den Hindernissen.
5 ist ein erläuterndes Diagramm, das eine zweite Abdeckung in dem Fall darstellt, in dem der Objekterkenner 3 des Objektkennungsapparats 100 gemäß der ersten Ausführungsform die Position und die Geschwindigkeit des Objekts erkennt. Die Horizontalabdeckungsregelung 5 führt eine Anpassung durch, um die Abdeckung von der ersten Abdeckung 11 auf eine zweite Abdeckung 12 zu reduzieren, basierend auf den Positionen der jeweiligen Hindernisse auf den gegenüberliegenden Seiten der Route 8 und dem Trennungsabstand zwischen den Hindernissen. Die zweite Abdeckung 12 ist eine zwischen den Hindernissen begrenzte Abdeckung.
Durch die Regelung zur Verringerung der Abdeckung kann der Objektkennungsapparate 100 den Einfall der elektromagnetischen Welle auf die Hindernisse bei der Erkennung der Position und der Geschwindigkeit des Objekts in der Route 8 verringern. Als Ergebnis kann der Objektkennungsapparate 100 in dem Fall, in dem das Fahrzeug 7 auf der von den Hindernissen umgebenen Route fährt, ein Phänomen wie Mehrwegeffekte oder Störungen aufgrund der Reflexion der elektromagnetischen Welle an den Hindernissen reduzieren. Der Objektkennungsapparat 100 kann die Position und die Geschwindigkeit einer Person mit hoher Genauigkeit erkennen, zum Beispiel auch in dem Fall, in dem sich die Person direkt neben dem Hindernis befindet.
Wie oben beschrieben, hat der Objektkennungsapparat 100 gemäß der vorliegenden Ausführungsform die Wirkung, dass er das Objekt mit hoher Genauigkeit in der Umgebung erkennen kann, in der die Hindernisse, die das Fahren des Fahrzeugs behindern, vorhanden sind.
Zweite Ausführungsform.
6 ist ein Diagramm, das eine Ausführungsform eines Objektkennungsapparates 101 gemäß einer zweiten Ausführungsform darstellt. Der Objektkennungsapparat 101 führt einen identischen Erkennungsprozess durch, um zu bestimmen, ob ein Objekt, das unter Benutzung des Radars 1 erkannt wurde, mit einem Objekt identisch ist, das unter Benutzung einer Kamera 20 erkannt wurde. In der zweiten Ausführungsform werden dieselben Komponenten wie in der ersten Ausführungsform durch dieselben Referenzzahlen und - zeichen bezeichnet, und es werden hauptsächlich verschiedene Konfigurationen im Vergleich zu denen der ersten Ausführungsform beschrieben.
Der Objektkennungsapparate 101 ist ähnlich wie der in den 3 und 5 dargestellte Objektkennungsapparate 100 im Fahrzeug 7 installiert. In der zweiten Ausführungsform handelt es sich bei dem von dem Objektkennungsapparate 101 erkannten Objekt um ein Objekt, das erkannt werden soll, um eine Kollision zwischen dem Fahrzeug 7 und dem Objekt zu verhindern.
Der Objektkennungsapparate 101 umfasst: das Radar 1; den Signalprozessor 2, der ein vom Radar 1 empfangenes Signal verarbeitet; und die Horizontalabdeckungsregelung 5, die eine Abdeckung des Radars 1 steuert. Der Signalprozessor 2 umfasst den Objekterkenner 3, der ausgebildet ist, um eine Position und eine Geschwindigkeit eines Objekts zu erkennen, das in einer Umgebung vorhanden ist, in der das Fahrzeug 7 fährt. Der Objekterkenner 3, der ein erster Objekterkenner ist, erkennt die Position und die Geschwindigkeit des Objekts basierend auf dem Empfangssignal des Radars 1. Der Objekterkenner 3 erzeugt Positionsdaten, die die Position des Objekts angeben, und Geschwindigkeitsdaten, die die Geschwindigkeit angeben, mit der sich das Objekt bewegt. Der Objekterkenner 3 gibt die erzeugten Positionsdaten und Geschwindigkeitsdaten aus.
Darüber hinaus umfasst der Objektkennungsapparat 101: die Kamera 20; einen Bildprozessor 21, der eine Verarbeitung der Bilderkennung durchführt; und einen Fusionsprozessor 22. Der Bildprozessor 21 umfasst: einen Hinderniserkenner 23, der die Positionen der Hindernisse und einen Trennungsabstand zwischen den Hindernissen erkennt; und einen Objekterkenner 24, der eine Position und eine Geschwindigkeit eines Objekts präsentiert, das in einer Umgebung vorhanden ist, in der das Fahrzeug 7 fährt.
Die Kamera 20 erfasst durch Bildaufnahme vom Fahrzeug 7 aus ein Bild einer Umgebung, die sich in der Fahrtrichtung des Fahrzeugs 7 befindet, und gibt ein Bildsignal aus. Der Hinderniserkenner 23 erkennt Hindernisse, die in dem von der Bildaufnahme aus dem Fahrzeug 7 erfassten Bild enthalten sind. Der Objekterkenner 24 erkennt ein Objekt, das in dem von der Bildaufnahme des Fahrzeugs 7 erfassten Bild enthalten ist. Der Hinderniserkenner 23 erkennt die in der Bildaufnahme enthaltenen Hindernisse basierend auf einem aus der Bildaufnahme erhaltenen Merkmal und einer Datenbank mit Merkmalsdaten über verschiedene Hindernisse. Der Objekterkenner 24 erkennt das in der Bildaufnahme enthaltene Objekt basierend auf einem aus der Bildaufnahme erhaltenen Merkmal und einer Datenbank mit Merkmalsdaten über ein Objekt, z. B. eine Person. Die Merkmalsdaten werden durch maschinelles Lernen oder Deep Learning erfasst. Die Datenbank der Merkmalsdaten ist im Vorankommen in dem Objektkennungsapparate 101 gespeichert.
Der Hinderniserkenner 23 erkennt basierend auf dem Bild, in dem die Hindernisse auf den gegenüberliegenden Seiten der Route 8 umfasst sind, die Positionen der jeweiligen Hindernisse auf den gegenüberliegenden Seiten der Route 8 und den Trennungsabstand, der der Abstand zwischen den Hindernissen ist. Der Hinderniserkenner 23 erzeugt Positionsdaten, die die Positionen der Hindernisse angeben, und Trennungsabstandsdaten, die den Trennungsabstand angeben. Der Hinderniserkenner 23 gibt die erzeugten Positionsdaten und Trennungsabstandsdaten aus.
Der Objekterkenner 24, bei dem es sich um einen zweiten Objekterkenner handelt, erkennt die Position und die Geschwindigkeit des Objekts basierend auf dem Bild, in dem das Objekt präsentiert wird, das sich in einer Umgebung befindet, in der das Fahrzeug 7 fährt. Der Objekterkenner 24 erzeugt Positionsdaten, die die Position des Objekts angeben, und Geschwindigkeitsdaten, die eine Geschwindigkeit angeben, mit der sich das Objekt bewegt. Außerdem erzeugt der Objekterkenner 24 Objekterkennungsdaten, die ein Ergebnis der Erkennung des in der Bildaufnahme umfassenden Objekts angeben. Die Objekterkennungsdaten repräsentieren eine Kategorie des Objekts, dessen Position und Geschwindigkeit erkannt worden sind.
Der Fusionsprozessor 22 umfasst einen Identifikationsbestimmer 25. Die Positionsdaten und die Geschwindigkeitsdaten, die vom Objekterkenner 3 erzeugt wurden, werden in den Identifikationsbestimmer 25 eingegeben. Die Positionsdaten, die Geschwindigkeitsdaten und die vom Objekterkenner 24 erzeugten Daten zur Objekterkennung werden in den Identifikationsbestimmer 25 eingegeben.
Der Identifizierungsbestimmer 25 bestimmt, ob das Objekt, dessen Position und Geschwindigkeit vom Objekterkenner 3 erkannt wurde, identisch mit dem vom Objekterkenner 24 erkannten Objekt ist. Das heißt, der Identifikationsbestimmer 25 führt einen identischen Erkennungsprozess durch, indem er bestimmt, ob das unter Benutzung des Radars 1 erkannte Objekt identisch ist mit dem unter Benutzung der Kamera 20 erkannten Objekt. Der Identifikationsbestimmer 25 vergleicht die vom Objekterkenner 3 empfangenen Positionsdaten und Geschwindigkeitsdaten mit den vom Objekterkenner 24 empfangenen Positionsdaten und Geschwindigkeitsdaten und bestimmt so, ob das mit dem Radar 1 erkannte Objekt identisch ist mit dem mit der Kamera 20 erkannten Objekt.
In einem Fall, in dem der Identifikationsbestimmer 25 bestimmt hat, dass das Objekt, dessen Position und Geschwindigkeit vom Objekterkenner 3 erkannt wurde, identisch mit dem vom Objekterkenner 24 erkannten Objekt ist, verknüpft der Identifikationsbestimmer 25 die vom Objekterkenner 24 empfangenen Objekterkennungsdaten mit den vom Objekterkenner 3 empfangenen Positionsdaten und Geschwindigkeitsdaten. Auf diese Weise erzeugt der Identifikationsbestimmer 25 Erkennungsdaten 26, d. h. Daten, in denen die Objekterkennungsdaten mit den Positionsdaten und den Geschwindigkeitsdaten verknüpft sind. Der Fusionsprozessor 22 gibt die erzeugten Erkennungsdaten 26 an die Außenseite des Objektkennungsapparats 101 aus. Die Erkennungsdaten 26 werden in den Fahrzeugregler 6 eingegeben. Der Fahrzeugregler 6 regelt das Fahrzeug 7 unter Nutzung der Erkennungsdaten 26.
Die vom Hinderniserkenner 23 erzeugten Positionsdaten und Trennungsabstandsdaten werden in die Horizontalabdeckungsregelung 5 eingegeben. Die Horizontalabdeckungsregelung 5 bestimmt die Abdeckung in der horizontalen Richtung basierend auf den Positionsdaten und den Trennungsabstandsdaten, die die vom Hinderniserkenner 23 erhaltenen Erkennungsergebnisse sind. Die Horizontalabdeckungsregelung 5 regelt die Abdeckung des Radars 1 in der horizontalen Richtung, indem sie eine Anweisung für die Abdeckung an das Radar 1 sendet.
Als nächstes wird der Betrieb des Objektkennungsapparats 101 beschrieben. 7 ist ein Flussdiagramm, das eine Prozedur des Betriebs des Objektkennungsapparats 101 gemäß der zweiten Ausführungsform darstellt. Es wird nun der Betrieb des Objektkennungsapparats 101 in dem Fall beschrieben, in dem sich auf den gegenüberliegenden Seiten der Route, auf der das Fahrzeug 7 fährt, Hindernisse befinden. 7 stellt eine Prozedur des Betriebs des Objektkennungsapparats 101 in einem Frame dar.
In Schritt S11 beginnt der Objektkennungsapparat 101 mit dem Erkennen eines Objekts und eines Hindernisses. Das Radar 1 strahlt eine elektromagnetische Welle aus und gibt ein Empfangssignal aus, indem es eine reflektierte Welle empfängt, die sich durch Reflexion der elektromagnetischen Welle von einem Objekt oder einem Hindernis ausbreitet. Für den Erfassungsbereich des Radars 1 in Schritt S11 wird eine erste Abdeckung 11 eingestellt, der einen großen Winkelbereich abdeckt, um ein in Fahrtrichtung des Fahrzeugs 7 vorhandenes Hindernis erkennen zu können.
In dem Fall, in dem sich auf den gegenüberliegenden Seiten der Strecke, auf der das Fahrzeug 7 fährt, Hindernisse befinden, erkennt der Hinderniserkenner 23 des Objektkennungsapparates 101 in Schritt S12 basierend auf der von der Kamera 20 aufgenommenen Bildaufnahme die Positionen der jeweiligen Hindernisse auf den gegenüberliegenden Seiten der Route 8 und den Trennungsabstand zwischen den Hindernissen auf den gegenüberliegenden Seiten der Route 8. Der Hinderniserkenner 23 gibt die Positionsdaten und die Trennungsabstandsdaten aus.
In Schritt S13 regelt die Horizontalabdeckungsregelung 5 des Objektkennungsapparats 101 die Abdeckung in der horizontalen Richtung basierend auf den Positionsdaten und den Trennungsabstandsdaten über die Hindernisse. Die Horizontalabdeckungsregelung 5 führt eine Regelung durch, um die Abdeckung von der ersten Abdeckung 11, in der die jeweiligen Hindernisse auf den gegenüberliegenden Seiten der Route 8 erkannt werden, auf die zweite Abdeckung 12 zwischen den Hindernissen zu reduzieren.
In Schritt S14 erkennt der Objekterkenner 3 des Objektkennungsapparats 101 die Position und die Geschwindigkeit des Objekts basierend auf dem vom Radar 1 empfangenen Empfangssignal, nachdem die Abdeckung auf die zweite Abdeckung 12 reduziert wurde. Das heißt, der Objekterkenner 3 erkennt die Position und die Geschwindigkeit des Objekts basierend auf der Ausgabe des Empfangssignals durch Empfangen der reflektierten Welle in dem in Schritt S13 geregelten Erfassungsbereich. Der Objekterkenner 3 gibt die Positionsdaten und die Geschwindigkeitsdaten aus.
In Schritt S15 erkennt der Objekterkenner 24 des Objektkennungsapparates 101 das im Bild umfassende Objekt. Ferner erkennt der Objekterkenner 24 in Schritt S15 die Position und die Geschwindigkeit des Objekts. Der Objekterkenner 24 gibt die Objekterkennungsdaten, die Positionsdaten und die Geschwindigkeitsdaten aus. Es ist zu beachten, dass Schritt S14 und Schritt S15 in beliebiger Reihenfolge durchgeführt werden können. Außerdem können die Verarbeitung von Schritt S14 und die Verarbeitung von Schritt S15 gleichzeitig durchgeführt werden.
In Schritt S16 führt der Identifikationsbestimmer 25 des Objektkennungsapparats 101 den identischen Bestimmungsprozess durch. In dem Fall, in dem der Identifikationsbestimmer 25 bestimmt hat, dass das Objekt, dessen Position und Geschwindigkeit von dem Objekterkenner 3 erkannt wurde, identisch mit dem von dem Objekterkenner 24 erkannten Objekt ist, verknüpft der Identifikationsbestimmer 25 die von dem Objekterkenner 24 empfangenen Objekterkennungsdaten mit den von dem Objekterkenner 3 empfangenen Positionsdaten und Geschwindigkeitsdaten. Auf diese Weise erzeugt der Identifikationsbestimmer 25 die Erkennungsdaten 26, d.h. die Daten, in denen die Objekterkennungsdaten mit den Positionsdaten und den Geschwindigkeitsdaten verknüpft sind.
In Schritt S17 gibt der Identifikationsbestimmer 25 die Erkennungsdaten 26 an die Fahrzeugregelung 6 aus. Damit beendet der Objektkennungsapparat 101 den Betrieb gemäß der in 7 dargestellten Prozedur. Danach wird der Betrieb des Objektkennungsapparats 101 mit dem Betrieb eines nächsten Frames fortgesetzt. Der Fahrzeugregler 6 regelt das Fahrzeug 7 unter Nutzung der von dem Objektkennungsapparat 101 empfangenen Erkennungsdaten 26.
Durch die Regelung zur Verringerung des Erfassungsbereichs kann der Objektkennungsapparate 101 das Auftreffen der elektromagnetischen Welle auf die Hindernisse bei der Erkennung der Position und der Geschwindigkeit des Objekts auf der Route 8 verringern. Als Ergebnis kann der Objektkennungsapparate 101 in dem Fall, in dem das Fahrzeug 7 auf der von den Hindernissen umgebenen Route fährt, ein Phänomen wie Mehrwegeffekte oder Störungen aufgrund der Reflexion der elektromagnetischen Welle an den Hindernissen reduzieren. Der Objektkennungsapparat 101 kann die Position und die Geschwindigkeit einer Person mit hoher Genauigkeit erkennen, zum Beispiel, selbst in dem Fall, in dem sich die Person direkt neben dem Hindernis befindet.
Wie oben beschrieben, hat der Objekterkennungsapparat 101 gemäß der vorliegenden Ausführungsform die Wirkung, das Objekt mit hoher Genauigkeit in der Umgebung zu erkennen, in der die Hindernisse, die das Fahren des Fahrzeugs behindern, vorhanden sind.
Im Folgenden wird eine Hardwarekonfiguration des Objektkennungsapparates 100 bzw. 101 beschrieben. Die jeweiligen Funktionen des Signalprozessors 2, der Horizontalabdeckungsregelung 5, des Bildprozessors 21 und des Fusionsprozessors 22 werden unter Nutzung einer Verarbeitungsschaltung implementiert. Die Verarbeitungsschaltung umfasst einen Prozessor, der ein in einem Speicher gespeichertes Programm ausführt. Alternativ ist die Verarbeitungsschaltung eine dedizierte Hardware, die in den Objektkennungsapparat 100 oder 101 eingebaut ist.
8 ist ein Diagramm, das ein erstes Beispiel für die Hardwarekonfiguration des Objektkennungsapparats 100 gemäß der ersten Ausführungsform oder des Objektkennungsapparats 101 gemäß der zweiten Ausführungsform darstellt. Das erste Beispiel ist ein Beispiel für einen Fall, in dem der Signalprozessor 2 und die Horizontalabdeckungsregelung 5, die Hauptbestandteile des Objektkennungsapparats 100 sind, und der Signalprozessor 2, die Horizontalabdeckungsregelung 5, der Bildprozessor 21 und der Fusionsprozessor 22, die Hauptbestandteile des Objektkennungsapparats 101 sind, durch eine Verarbeitungsschaltung 30 mit einem Prozessor 32 und einem Speicher 33 implementiert sind.
Der Prozessor 32 ist eine zentrale Verarbeitungseinheit (CPU). Der Prozessor 32 kann eine arithmetische Einheit, ein Mikroprozessor, ein Mikrocomputer oder ein digitaler Signalprozessor (DSP) sein. Der Speicher 33 ist beispielsweise ein Random Access Memory (RAM), ein Read Only Memory (ROM), ein Flash-Speicher, ein Erasable Programmable Read Only Memory (EPROM), ein Electrically Erasable Programmable Read Only Memory (EEPROM; eingetragenes Warenzeichen) oder ähnliches.
Der Speicher 33 speichert ein Programm zum Betrieb als Verarbeitungseinheiten, die die Hauptteile des Objektkennungsapparats 100 oder 101 sind. Die Hauptteile des Objektkennungsapparates 100 oder 101 können durch den Prozessor 32 implementiert werden, der das Programm liest und durchführt.
Eine Eingabeeinheit 31 ist eine Schaltung, die von außen Eingangssignale in Richtung der Verarbeitungseinheiten empfängt, die die Hauptteile des Objektkennungsapparats 100 oder 101 sind. Das Empfangssignal vom Radar 1 wird in die Eingabeeinheit 31 des Objektkennungsapparats 100 eingegeben. Das Empfangssignal vom Radar 1 und das Bildsignal von der Kamera 20 werden in die Eingabeeinheit 31 des Objektkennungsapparats 101 eingegeben.
Eine Ausgabeeinheit 34 ist eine Schaltung, die von den Verarbeitungseinheiten, die Hauptbestandteile des Objektkennungsapparats 100 oder 101 sind, erzeugte Signale nach außen ausgibt. Die Ausgabeeinheit 34 des Objektkennungsapparats 100 gibt die Positionsdaten und die Geschwindigkeitsdaten an den Regler 6 des Fahrzeugs aus. Die Ausgabeeinheit 34 des Objektkennungsapparats 101 gibt die Erkennungsdaten 26 an die Fahrzeugregelung 6 aus. Zusätzlich gibt die Ausgabeeinheit 34 des Objektkennungsapparats 100 bzw. 101 ein Signal zur Regelung des Erfassungsbereichs an das Radar 1 aus.
9 ist ein Diagramm, das ein zweites Beispiel für die Hardwarekonfiguration des Objektkennungsapparats 100 gemäß der ersten Ausführungsform oder des Objektkennungsapparats 101 gemäß der zweiten Ausführungsform darstellt. Das zweite Beispiel ist ein Beispiel für einen Fall, in dem die Hauptteile des Objektkennungsapparats 100 oder 101 durch eine spezielle Verarbeitungsschaltung 35 implementiert sind.
Die Verarbeitungsschaltung 35 ist eine einzelne Schaltung, eine zusammengesetzte Schaltung, eine anwendungsspezifische integrierte Schaltung (ASIC), ein Field Programmable Gate Array (FPGA) oder eine Schaltung, die durch Kombination dieser Schaltungen erhalten wird. Einige der Funktionen der Verarbeitungseinheiten, die die Hauptbestandteile des Objektkennungsapparates 100 oder 101 zum Erkennen von Objekten sind, können durch den Prozessor 32 und den Speicher 33 implementiert werden, und die übrigen Funktionen können durch die spezielle Verarbeitungsschaltung 35 implementiert werden.
Die in den obigen Ausführungsformen beschriebenen Konfigurationen sind ein Beispiel für den Inhalt der vorliegenden Offenbarung. Die konfigurierten Ausführungsformen können mit einer anderen bekannten Technik kombiniert werden. Die Konfigurationen der obigen Ausführungsformen können in geeigneter Weise miteinander kombiniert werden. Einige der konfigurierten Ausführungsformen der vorliegenden Offenbarung können ausgelassen oder geändert werden, ohne dass dadurch der Sinn der vorliegenden Offenbarung beeinträchtigt wird.
Bezugszeichenliste
1 Radar; 2 Signalprozessor; 3, 24 Objekterkenner; 4, 23 Hinderniserkenner; 5 Horizontalabdeckungsregelung; 6 Fahrzeugregler; 7 Fahrzeug; 8 Strecke; 9 Säule; 10 Wand; 11 erste Abdeckung; 12 zweite Abdeckung; 13, 14 gestrichelte Linie; 20 Kamera; 21 Bildprozessor; 22 Fusionsprozessor; 25 Identifikationsbestimmer; 26 Erkennungsdaten; 30, 35 Verarbeitungsschaltung; 31 Eingabeeinheit; 32 Prozessor; 33 Speicher; 34 Ausgabeeinheit; 100, 101 Objektkennungsapparat.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 2010119860 [0004]

Claims

Objektkennungsapparat, umfassend: ein Radar, das ausgebildet ist, eine elektromagnetische Welle von einem Fahrzeug auszustrahlen und ein Empfangssignal auszugeben, indem es eine reflektierte Welle empfängt, die sich durch Reflexion der elektromagnetischen Welle ausbreitet; einen Objekterkenner, der ausgebildet ist, basierend auf dem Empfangssignal eine Position und eine Geschwindigkeit eines Objekts zu erkennen, das in einer Umgebung vorhanden ist, in der das Fahrzeug fährt; einen Hinderniserkenner, der ausgebildet ist, Positionen jeweiliger Hindernisse auf gegenüberliegenden Seiten einer Route, entlang der das Fahrzeug fährt, und einen Trennungsabstand, der ein Abstand zwischen den Hindernissen ist, zu erkennen; und eine Horizontalabdeckungsregelung, die ausgebildet ist, eine Abdeckung des Radars in einer horizontalen Richtung basierend auf den Positionen der jeweiligen Hindernisse auf den gegenüberliegenden Seiten der Route und des Trennungsabstands zu regeln.
Objektkennungsapparat nach Anspruch 1, wobei die Horizontalabdeckungsregelung ausgebildet ist, eine Regelung durchzuführen, die Abdeckung von einer ersten Abdeckung, bei der die jeweiligen Hindernisse auf den gegenüberliegenden Seiten der Route erkannt werden, zu einer zweiten Abdeckung zwischen den Hindernissen zu reduzieren.
Objektkennungsapparat nach Anspruch 1 oder 2, ferner umfassend: einen ersten Objekterkenner, der der Objekterkenner ist; einen zweiten Objekterkenner, der ausgebildet ist, ein Objekt zu erkennen, das in einem durch Bildaufnahme vom Fahrzeug erfassten Bild enthalten ist; und einen Identifikationsbestimmer: der ausgebildet ist, zu bestimmen, ob das Objekt, dessen Position und Geschwindigkeit durch den ersten Objekterkenner erkannt wurde, identisch ist mit dem Objekt, das durch den zweiten Objekterkenner erkannt wurde; und der ausgebildet ist, ein Ergebnis des Erkennens des Objekts durch den zweiten Objekterkenner mit einem Ergebnis des Erkennens der Position und der Geschwindigkeit durch den ersten Objekterkenner zu verknüpfen.
Objekterkennungsverfahren zum Erkennen eines Objekts, das in einer Umgebung vorhanden ist, in der ein Fahrzeug fährt, durch einen Objekterkennungsapparat, der ein Radar umfasst, wobei das Objekterkennungsverfahren umfasst: einen Schritt des Veranlassens des Radars, das dazu ausgebildet ist, eine elektromagnetische Welle vom Fahrzeug auszustrahlen, und ein Empfangssignal auszugeben, indem eine reflektierte Welle empfangen wird, die sich durch Reflexion der elektromagnetischen Welle ausbreitet; einen Schritt des Erkennens von Positionen jeweiliger Hindernisse auf gegenüberliegenden Seiten einer Route, auf der das Fahrzeug fährt, und eines Trennungsabstandes, der ein Abstand zwischen den Hindernissen ist; einen Schritt des Regelns einer Abdeckung des Radars in einer horizontalen Richtung basierend auf den Positionen der jeweiligen Hindernisse auf den gegenüberliegenden Seiten der Route und des Trennungsabstands; und einen Schritt des Erkennens einer Position und einer Geschwindigkeit des Objekts basierend auf der Ausgabe des Empfangssignals durch Empfangen der reflektierten Welle in der geregelten Abdeckung.