DE112020002576T5

DE112020002576T5 - Fahrassistenzsystem, Fahrassistenzverfahren und Programm

Info

Publication number: DE112020002576T5
Application number: DE112020002576.4T
Authority: DE
Inventors: Atsushi Hayami; Masao Makita; Takayoshi Mochizuki
Original assignee: Murakami Corp
Current assignee: Murakami Corp
Priority date: 2019-05-31
Filing date: 2020-05-22
Publication date: 2022-05-12
Also published as: JPWO2020241485A1; WO2020241485A1; CN113826154A; US11975731B2; US20220161814A1

Abstract

Bereitgestellt werden Warninformationen, welche eine Erfassung eines sich auf einer Hinterseite eines Fahrzeugs befindenden Hindernisses erleichtern. Ein Fahrassistenzsystem, welches aufweist: einen ersten Detektionsabschnitt, welcher ein Hindernis aus einer Vielzahl von aufgenommenen Bildern einer Hinterseite eines Fahrers eines Fahrzeugs detektiert; einen zweiten Detektionsabschnitt, welcher das Hindernis durch Analysieren einer reflektierten Welle einer zu der Hinterseite übertragenen Messwelle detektiert; und einen Informationsausgabeabschnitt, welcher auf Grundlage von Detektionsergebnissen des ersten Detektionsabschnitts und des zweiten Detektionsabschnitts eine Richtung bestimmt, in welcher sich das Hindernis in Bezug auf das Fahrzeug befindet, und welcher Warninformationen ausgibt, welche die Richtung angeben.

Description

Technisches Gebiet
Die vorliegende Erfindung betrifft ein Fahrassistenzsystem, ein Fahrassistenzverfahren und ein Programm.
Technischer Hintergrund
Herkömmlicherweise ist eine Technik zur Detektion eines Bilds eines Fußgängers aus einem aufgenommenen Bild einer Vorderseite eines Fahrzeugs, Einblendung des detektierten Bilds auf dem aufgenommenen Bild und Anzeige eines resultierenden Bilds, sodass ein Fahrer, welcher das Fahrzeug fährt, das Vorhandensein des Fußgängers einfach erfassen kann, bekannt (siehe zum Beispiel Patentliteratur 1). Hinsichtlich einer Hinterseite des Fahrzeugs zusätzlich zu der Vorderseite des Fahrzeugs ist analog dazu eine Technik zur Detektion eines sich bewegenden Objekts aus einem aufgenommenen Bild der Hinterseite des Fahrzeugs und Anzeige des aufgenommenen Bilds der Hinterseite des Fahrzeugs, in welchem das sich bewegende Objekt durch eine Umrandung abgegrenzt ist, bekannt (siehe zum Beispiel Patentliteratur 2).
Liste der Entgegenhaltungen
Patentliteratur

Patentliteratur 1: JP 2010 -93610 A
Patentliteratur 2: JP 2009 -23565 A

Kurzdarstellung der Erfindung
Technisches Problem
Das aufgenommene Bild der Hinterseite des Fahrzeugs wird angezeigt, wenn der Fahrer in einen Rückspiegel schaut, das aufgenommene Bild wird zu einem aufgenommenen Bild einer rechten Hinterseite des Fahrzeugs umgeschaltet, wenn der Fahrer in einen rechten Seitenspiegel schaut, und das aufgenommene Bild wird zu einem aufgenommenen Bild einer linken Hinterseite des Fahrzeugs umgeschaltet, wenn der Fahrer in einen linken Seitenspiegel schaut. Das heißt, ohne eine Sichtlinie zu bewegen, ist der Fahrer außerstande, ein Sichtfeld von jedem Spiegel zu erlangen und das sich bewegende Objekt in dem aufgenommenen Bild jedwedes der Spiegel zu bemerken, welchen der Fahrer nicht anschaut. Des Weiteren ist es in einem Fall, in dem dem Fahrer nicht bewusst ist, welchen Spiegel der Fahrer angeschaut hat, schwierig, aus dem aufgenommenen Bild zu erfassen, in welcher Richtung sich das sich bewegende Objekt in dem aufgenommenen Bild auf einer Hinterseite des Fahrzeugs befindet.
Eine Aufgabe der vorliegenden Erfindung besteht in der Bereitstellung von Warninformationen, welche eine Erfassung eines sich auf einer Hinterseite eines Fahrzeugs befindenden Hindernisses erleichtern.
Lösung des Problems
Die in Anspruch 1 dargelegte Erfindung ist ein Fahrassistenzsystem, aufweisend:

einen ersten Detektionsabschnitt, welcher ein Hindernis aus einer Vielzahl von aufgenommenen Bildern einer Hinterseite eines Fahrers eines Fahrzeugs detektiert;
einen zweiten Detektionsabschnitt, welcher ein Hindernis durch Analysieren einer reflektierten Welle einer zu der Hinterseite übertragenen Messwelle detektiert; und
einen Informationsausgabeabschnitt, welcher auf Grundlage von Detektionsergebnissen des ersten Detektionsabschnitts und des zweiten Detektionsabschnitts eine Richtung bestimmt, in welcher sich das Hindernis in Bezug auf das Fahrzeug befindet, und welcher Warninformationen ausgibt, welche die Richtung angeben.

Gemäß der in Anspruch 1 dargelegten Erfindung wird das sich auf der Hinterseite befindende Hindernis nicht nur aus der Vielzahl von aufgenommenen Bildern der Hinterseite des Fahrzeugs, sondern auch ausgehend von einem Messergebnis unter Verwendung der Messwelle detektiert. Daher ist es möglich, nicht nur ein Hindernis in einer kurzen Detektionsdistanz, sondern auch ein Hindernis in einer langen Detektionsdistanz zu detektieren und den Fahrer vor den Hindernissen zu warnen. Des Weiteren werden die Warninformationen, welche die Richtung angeben, in welcher sich das Hindernis befindet, auf Grundlage der Detektionsergebnisse ausgegeben. Daher ist es möglich, die Warninformationen bereitzustellen, welche eine Erfassung der Richtung, in welcher sich das Hindernis befindet, auf der Hinterseite des Fahrzeugs erleichtern, welche für den Fahrer beim Fahren schwierig visuell zu erkennen ist. Daher ist es möglich, eine Kollision mit einem Hindernis zu vermeiden und ein sicheres Fahren zu unterstützen.
Die in Anspruch 2 dargelegte Erfindung ist das Fahrassistenzsystem nach Anspruch 1, wobei der Informationsausgabeabschnitt auf Grundlage jedes der Detektionsergebnisse einen Gefährdungsgrad des Hindernisses bestimmt und die Warninformationen erzeugt, wenn der Gefährdungsgrad einen Schwellenwert übersteigt.
Gemäß der in Anspruch 2 dargelegten Erfindung ist es möglich, die Warninformationen in einem Fall bereitzustellen, in dem der Gefährdungsgrad so hoch ist, dass er den Schwellenwert übersteigt, und eine Bereitstellung von unnötigen Warninformationen zu reduzieren.
Die in Anspruch 3 dargelegte Erfindung ist das Fahrassistenzsystem nach Anspruch 2, aufweisend
einen dritten Detektionsabschnitt, welcher Fahrstreifen um das Fahrzeug aus dem aufgenommenen Bild detektiert, wobei
der Informationsausgabeabschnitt auf Grundlage jedes Detektionsergebnisses des Hindernisses und eines Detektionsergebnisses der Fahrstreifen den Gefährdungsgrad bestimmt.
Gemäß der in Anspruch 3 dargelegten Erfindung ist es möglich, den Gefährdungsgrad durch ein Positionsverhältnis zwischen dem Hindernis und jedem Fahrstreifen zu bestimmen und vor einer Wahrscheinlichkeit einer Abweichung von einer Fahrspur, einer Kollision zu einem Zeitpunkt eines Fahrstreifenwechsels und dergleichen zu warnen.
Die in Anspruch 4 dargelegte Erfindung ist das Fahrassistenzsystem nach Anspruch 2 oder 3, wobei
der Informationsausgabeabschnitt Fahrinformationen bezüglich des Fahrzeugs erfasst und auf Grundlage jedes der Detektionsergebnisse und der Fahrinformationen den Gefährdungsgrad bestimmt.
Gemäß der in Anspruch 4 dargelegten Erfindung ist es möglich, den Gefährdungsgrad in Abhängigkeit von dem Hindernis und einer Fahrsituation des Fahrzeugs zu bestimmen und vor Wahrscheinlichkeiten einer Kollision, wenn das Fahrzeug links abbiegt, einer Heckkollision von hinten und dergleichen zu warnen.
Die in Anspruch 5 dargelegte Erfindung ist das Fahrassistenzsystem nach einem der Ansprüche 2 bis 4, wobei
der Informationsausgabeabschnitt einen Ausgabemodus der Warninformationen in Abhängigkeit von dem Gefährdungsgrad bestimmt.
Gemäß der in Anspruch 5 dargelegten Erfindung kann der Fahrer den Gefährdungsgrad ausgehend von einem Unterschied des Ausgabemodus einfach erfassen.
Die in Anspruch 6 dargelegte Erfindung ist das Fahrassistenzsystem nach einem der Ansprüche 1 bis 5, wobei
die Vielzahl von aufgenommenen Bildern aufgenommene Bilder in einer Vielzahl von Richtungen der Hinterseite enthalten, und
der Informationsausgabeabschnitt durch Anordnen der aufgenommenen Bilder in jeder der Richtungen ein Anzeigebild erzeugt, die Warninformationen, welche die Richtung angeben, in welcher sich das Hindernis befindet, auf den aufgenommenen Bildern in jeder der Richtungen einblendet und das eine Anzeigebild an einen Anzeigeabschnitt des Fahrzeugs ausgibt.
Gemäß der in Anspruch 6 dargelegten Erfindung kann der Fahrer eine Situation der Hinterseite auf einen Blick erfassen. Des Weiteren kann der Fahrer die Richtung, in welcher sich das Hindernis befindet, auf der Hinterseite einfach erfassen.
Die in Anspruch 7 dargelegte Erfindung ist ein Fahrassistenzverfahren, welches durch ein Fahrassistenzsystem ausgeführt wird, wobei das Fahrassistenzverfahren umfasst:

Detektieren eines Hindernisses aus einer Vielzahl von aufgenommenen Bildern einer Hinterseite eines Fahrers eines Fahrzeugs;
Detektieren eines Hindernisses durch Analysieren einer reflektierten Welle einer zu der Hinterseite übertragenen Messwelle; und
Bestimmen einer Richtung, in welcher sich das Hindernis in Bezug auf das Fahrzeug befindet, auf Grundlage von Detektionsergebnissen bezüglich des Hindernisses und Ausgeben von Warninformationen, welche die Richtung angeben.

Gemäß der in Anspruch 7 dargelegten Erfindung wird das sich auf der Hinterseite befindende Hindernis nicht nur aus der Vielzahl von aufgenommenen Bildern der Hinterseite des Fahrzeugs, sondern auch ausgehend von einem Messergebnis unter Verwendung der Messwelle detektiert.
Daher ist es möglich, nicht nur ein Hindernis in einer kurzen Detektionsdistanz, sondern auch ein Hindernis in einer langen Detektionsdistanz zu detektieren und den Fahrer vor den Hindernissen zu warnen. Des Weiteren werden die Warninformationen, welche die Richtung angeben, in welcher sich das Hindernis befindet, auf Grundlage der Detektionsergebnisse ausgegeben. Daher ist es möglich, die Warninformationen bereitzustellen, welche eine Erfassung der Richtung, in welcher sich das Hindernis befindet, auf der Hinterseite des Fahrzeugs erleichtern, welche für den Fahrer beim Fahren schwierig visuell zu erkennen ist. Daher ist es möglich, eine Kollision mit einem Hindernis zu vermeiden und ein sicheres Fahren zu unterstützen.
Die in Anspruch 8 dargelegte Erfindung ist ein Programm zum Veranlassen eines Computers, auszuführen:

Gemäß der in Anspruch 8 dargelegten Erfindung wird das sich auf der Hinterseite befindende Hindernis nicht nur aus der Vielzahl von aufgenommenen Bildern der Hinterseite des Fahrzeugs, sondern auch ausgehend von einem Messergebnis unter Verwendung der Messwelle detektiert. Daher ist es möglich, nicht nur ein Hindernis in einer kurzen Detektionsdistanz, sondern auch ein Hindernis in einer langen Detektionsdistanz zu detektieren und den Fahrer vor den Hindernissen zu warnen. Des Weiteren werden die Warninformationen, welche die Richtung angeben, in welcher sich das Hindernis befindet, auf Grundlage der Detektionsergebnisse ausgegeben. Daher ist es möglich, die Warninformationen bereitzustellen, welche eine Erfassung der Richtung, in welcher sich das Hindernis befindet, auf der Hinterseite des Fahrzeugs erleichtern, welche für den Fahrer beim Fahren schwierig visuell zu erkennen ist. Daher ist es möglich, eine Kollision mit einem Hindernis zu vermeiden und ein sicheres Fahren zu unterstützen.
Vorteilhafte Wirkungen der Erfindung
Gemäß der vorliegenden Erfindung ist es möglich, Warninformationen bereitzustellen, welche eine Erfassung eines sich auf einer Hinterseite eines Fahrzeugs befindenden Hindernisses erleichtern.
Figurenliste

1 ist ein Blockdiagramm zur Veranschaulichung eines Beispiels von Ausgestaltungen eines Fahrassistenzsystems in der vorliegenden Ausführungsform.
2 ist ein Schaubild zur Veranschaulichung eines Beispiels von Detektionsbereichen von Kameras, eines Ultraschallsonars und eines Millimeterwellenradars.
3 ist ein Flussdiagramm einer Fahrassistenzverarbeitung.
4 ist ein Schaubild zur Veranschaulichung eines Beispiels eines zusammengesetzten Bilds.
5 ist ein Flussdiagramm einer Verarbeitung zur Bestimmung eines Gefährdungsgrads.
6A ist eine Ansicht zur Veranschaulichung eines Beispiels eines Anzeigebildschirms in einem Fall, in dem Warninformationen nicht ausgegeben werden.
6B ist eine Ansicht zur Veranschaulichung eines Beispiels eines Anzeigebildschirms in einem Fall, in dem Warninformationen ausgegeben werden.
7 ist eine Bildschirmansicht zur Veranschaulichung eines anderen Beispiels des Anzeigebildschirms in dem Fall, in dem Warninformationen ausgegeben werden.

Beschreibung von Ausführungsformen
Ausführungsformen eines Fahrassistenzsystems, eines Fahrassistenzverfahrens und eines Programms gemäß der vorliegenden Erfindung werden im Folgenden unter Bezugnahme auf die Zeichnungen beschrieben.
1 veranschaulicht ein Beispiel von Ausgestaltungen eines Fahrassistenzsystems 100 gemäß einer Ausführungsform der vorliegenden Erfindung.
Das Fahrassistenzsystem 100 gemäß der vorliegenden Ausführungsform ist in einem Fahrzeug montiert und unterstützt einen Fahrer des Fahrzeugs beim Fahren durch Bereitstellen von Informationen für den Fahrer.
Wie in 1 veranschaulicht weist das Fahrassistenzsystem 100 drei Kameras 1a bis 1c, einen Signalverarbeitungsabschnitt 2, eine elektronische Steuereinheit (ECU) 3, einen Anzeigeabschnitt 4 und einen Audioausgabeabschnitt 5 auf. Das Fahrassistenzsystem 100 weist zudem einen Messabschnitt 6 und einen Fahrinformationsausgabeabschnitt 7 auf. Der Messabschnitt 6 und der Fahrinformationsausgabeabschnitt 7 sind mittels eines Netzwerks N wie etwa eines Controller Area Networks (CAN) mit der ECU 3 verbunden.
Die Kameras 1a bis 1c nehmen kontinuierlich Bilder einer Hinterseite des Fahrers auf und erzeugen sequenziell aufgenommene Zeitreihen-Bilder. Die Kameras 1a bis 1c sind an Positionen, einschließlich zum Beispiel einer Position nahe einem Kennzeichenschild und Positionen eines linken und eines rechten Seitenspiegels, bereitgestellt. Die aufgenommenen Bilder werden einer Signalverarbeitung durch den Signalverarbeitungsabschnitt 2 unterzogen und dann an die ECU 3 ausgegeben.
(ECU)
Die ECU 3 detektiert ein Hindernis wie etwa ein anderes Fahrzeug oder einen Fußgänger, welches/welcher sich auf einer Hinterseite des Fahrers befindet, erzeugt Warninformationen im Hinblick auf das detektierte Hindernis und gibt die Warninformationen an den Anzeigeabschnitt 4 oder den Audioausgabeabschnitt 5 aus.
Die ECU 3 weist einen ersten Detektionsabschnitt 31, einen zweiten Detektionsabschnitt 32, einen dritten Detektionsabschnitt 33, einen Informationsausgabeabschnitt 34 und einen Speicherabschnitt 35 auf.
Der erste Detektionsabschnitt 31 detektiert ein Hindernis aus jedem der durch die Kameras 1a bis 1c erzeugten aufgenommenen Bilder.
Der zweite Detektionsabschnitt 32 analysiert eine reflektierte Welle einer Messwelle, welche durch den Messabschnitt 6 zu der Hinterseite des Fahrzeugs übertragen wird. Der zweite Detektionsabschnitt 32 detektiert ein sich auf der Hinterseite befindendes Hindernis auf Grundlage eines Analyseergebnisses.
Der dritte Detektionsabschnitt 33 detektiert Fahrstreifen (Streifen) um das Fahrzeug aus jedem der durch die Kameras 1a bis 1c erzeugten aufgenommenen Bilder.
Der Informationsausgabeabschnitt 34 bestimmt auf Grundlage von Detektionsergebnissen des ersten Detektionsabschnitts 31 und des zweiten Detektionsabschnitts 32 eine Richtung, in welcher sich das Hindernis in Bezug auf das Fahrzeug befindet. Der Informationsausgabeabschnitt 34 gibt Warninformationen aus, welche die bestimmte Richtung angeben.
Der Speicherabschnitt 35 kann die durch die Kameras 1a bis 1c erzeugten aufgenommenen Bilder, ein Messergebnis des Messabschnitts 6, von dem Fahrinformationsausgabeabschnitt 7 ausgegebene Fahrinformationen und dergleichen speichern. Als der Speicherabschnitt 35 kann ein Speichermedium wie etwa ein Flash-Speicher oder ein EEPROM verwendet werden.
Es sei angemerkt, dass Funktionen des ersten Detektionsabschnitts 31, des zweiten Detektionsabschnitts 32, des dritten Detektionsabschnitts 33 und des Informationsausgabeabschnitts 34 durch eine Verarbeitung verwirklicht werden können, welche durch Hardware wie etwa IC-Chips erfolgt, oder durch eine Software-Verarbeitung verwirklicht werden können, bei welcher ein Prozessor wie etwa eine CPU ein Programm ausführt. In einem Fall des Verwirklichens der Funktionen durch die Software-Verarbeitung kann das Programm in dem Speicherabschnitt 35 gespeichert werden.
Der Anzeigeabschnitt 4 kann entweder ein fahrzeuginterner Monitor mit einem allgemeinen Seitenverhältnis oder ein Monitor vom Rückspiegel-Typ mit einem Verhältnis sein, bei welchem eine Breite größer als eine Höhe ist. Der Anzeigeabschnitt 4 kann die durch die Kameras 1a bis 1c erzeugten aufgenommenen Bilder gemäß einem Befehl von der ECU 3 anzeigen. Des Weiteren kann der Anzeigeabschnitt 4 auf Grundlage der von der ECU 3 ausgegebenen Warninformationen eine Warnmeldung, ein Warnsymbol und dergleichen anzeigen.
Der Audioausgabeabschnitt 5 ist ein Lautsprecher oder dergleichen, welcher einen Ton gemäß einem Befehl von der ECU 3 ausgibt. Der Audioausgabeabschnitt 5 kann auf Grundlage der von der ECU 3 ausgegebenen Warninformationen einen Warnton ausgeben.
Der Messabschnitt 6 überträgt eine Messwelle wie etwa eine Schallwelle oder eine Funkwelle in Richtung der Hinterseite des Fahrzeugs, empfängt eine reflektierte Welle der Messwelle und gibt die reflektierte Welle als Messergebnis des Messens der Hinterseite an die ECU 3 aus. Das Fahrassistenzsystem 100 gemäß der vorliegenden Ausführungsform weist ein Ultraschallsonar 6a und einen Millimeterwellenradar 6b als den Messabschnitt 6 auf. Das Ultraschallsonar 6a überträgt eine Ultraschallwelle und empfängt eine reflektierte Welle der Ultraschallwelle. Der Millimeterwellenradar 6b überträgt eine Funkwelle, Millimeterwelle genannt, mit einer Funkwellen-Wellenlänge von ungefähr 1 bis 10 mm (einem Frequenzband von 30 bis 300 GHz) und empfängt eine reflektierte Welle der Funkwelle. Es sei angemerkt, dass ein Sensor, welcher eine Messwelle außer der Ultraschallwelle und der Millimeterwelle verwendet, als der Messabschnitt 6 bereitgestellt sein kann.
Der Fahrinformationsausgabeabschnitt 7 detektiert einen Fahrzustand des Fahrzeugs und gibt ein Detektionsergebnis als Fahrinformationen an die ECU 3 aus. Das Fahrassistenzsystem 100 gemäß der vorliegenden Ausführungsform weist einen Fahrzeuggeschwindigkeitssensor 7a und einen Blinkersensor 7b als den Fahrinformationsausgabeabschnitt 7 auf. Der Fahrzeuggeschwindigkeitssensor 7a detektiert eine Drehzahl einer Achse des Fahrzeugs. Die ECU 3 kann eine Fahrtgeschwindigkeit des Fahrzeugs ausgehend von der detektierten Drehzahl der Achse erlangen. Der Blinkersensor 7b detektiert einen Bedienvorgang des Fahrers an einem rechten oder linken Blinker. Die ECU 3 kann einen Beginn eines Fahrstreifenwechsels des Fahrzeugs ausgehend von einem Detektionsergebnis des Blinkersensors 7b detektieren. Es sei angemerkt, dass andere Sensoren wie etwa ein Lenkwinkelsensor oder dergleichen als der Fahrinformationsausgabeabschnitt 7 bereitgestellt sein können, sofern der andere Sensor imstande ist, den Fahrzustand zu detektieren.
2 veranschaulicht ein Beispiel von Hindernisdetektionsbereichen der Kameras 1a bis 1c, des Ultraschallsonars 6a und des Millimeterwellenradars 6b.
Wie in 2 veranschaulicht ist die Kamera 1a nahe einem hinteren Kennzeichenschild eines Fahrzeugs D1 bereitgestellt. Ein Detektionsbereich 51a der Kamera 1a befindet sich analog zu einem Detektionsbereich eines Rückspiegels auf einer Hinterseite des Fahrzeugs D1 und weist einen Sichtwinkel gleich oder größer als ein Sichtwinkel des Rückspiegels auf. Andererseits sind die Kameras 1b und 1c jeweils nahe dem linken und dem rechten Seitenspiegel bereitgestellt. Detektionsbereiche 51b und 51c der Kameras 1b und 1c befinden sich jeweils auf einer hinteren linken Seite und einer hinteren rechten Seite eines Fahrers M1 und weisen jeweils einen Sichtwinkel gleich oder größer als ein Sichtwinkel des linken oder rechten Seitenspiegels auf.
Das Ultraschallsonar 6a ist nahe dem linken Seitenspiegel bereitgestellt. Ein Detektionsbereich 56a des Ultraschallsonars 6a befindet sich in einem Bereich von einer linken Seite zu der hinteren linken Seite des Fahrzeugs D1, welcher ein toter Winkel der Kamera 1b ist. Der Detektionsbereich 56a ermöglicht eine Detektion eines Fußgängers M2, welcher sich in dem toten Winkel auf der hinteren linken Seite befindet.
Der Millimeterwellenradar 6b ist analog zu der Kamera 1a auf einer Hinterseite des Fahrzeugs D1 bereitgestellt. Ein Detektionsbereich 56b des Millimeterwellenradars 6b befindet sich analog zu dem Detektionsbereich 51a der Kamera 1a auf einer Hinterseite des Fahrzeugs D1. Eine detektierbare Distanz d2 des Detektionsbereichs 56b auf einer Hinterseite des Fahrzeugs D1 ist jedoch größer als eine Distanz d1 des Detektionsbereichs 51a. Es ist daher möglich, ein Hindernis D2 zu detektieren, welches weiter entfernt als der Detektionsbereich 51a der Kamera 1a liegt. Zum Beispiel beträgt die Distanz d1 ungefähr 50 m, wohingegen die Distanz d2 ungefähr 110 m beträgt.
Es sei angemerkt, dass die oben beschriebenen Hindernisdetektionsbereiche als Beispiel angegeben sind und die vorliegende Erfindung nicht auf die Detektionsbereiche beschränkt ist. Positionen, Richtungen, Sichtwinkel, Detektionsdistanzen und dergleichen der Detektionsbereiche können in Abhängigkeit von Gesetzen und Vorschriften und einem gewohnheitsmäßigen Zustand, in dem das Fahrzeug fährt, Fällen von Unfällen, welche in dem Zustand tendenziell auftreten, und dergleichen beliebig bestimmt werden.
3 ist ein Flussdiagramm zur Veranschaulichung einer Fahrassistenzverarbeitung, welche durch die ECU 3 ausgeführt wird. Diese Verarbeitung erfolgt beim Fahren wiederholt.
Wie in 3 veranschaulicht detektiert in der ECU 3 der erste Detektionsabschnitt 31 ein Hindernis aus einer Vielzahl von durch die Kameras 1a bis 1c erzeugten aufgenommenen Bildern (Schritt S1). Beispiele des Hindernisses als zu detektierenden Objekts umfassen eine Person, ein Tier, ein anderes Fahrzeug, eine Schutzplanke und ein Gebäude. Der erste Detektionsabschnitt 31 kann durch Analysieren der aufgenommenen Bilder auf das Hindernis bezogene Informationen wie etwa eine Einstufung zum Beispiel dessen, ob das Hindernis ein Fahrzeug oder eine Person ist, eine Distanz von dem Fahrzeug zu dem Hindernis und eine Relativgeschwindigkeit des Hindernisses in Bezug auf das Fahrzeug erlangen.
Obschon ein Detektionsverfahren durch den ersten Detektionsabschnitt 31 nicht auf ein konkretes beschränkt ist, kann ein Detektionsverfahren unter Verwendung zum Beispiel maschinellen Lernens oder künstlicher Intelligenz verwendet werden. Eine Detektion kann unter Verwendung von Histograms of oriented gradients (HOGs) als des maschinellen Lernens oder unter Verwendung von Deep Learning als der künstlichen Intelligenz erfolgen. In einem Fall des Verwendens des maschinellen Lernens oder des Deep Learning lernt der erste Detektionsabschnitt 31 Merkmale eines Bilds eines zu detektierenden Objekts unter Verwendung aufgenommener Bilder, welche durch Aufnehmen des zu detektierenden Objekts wie etwa eines Fahrzeugs oder einer Person aus verschiedenen Richtungen erlangt werden und welche sich bezüglich Fahrzeugtyp oder Perspektive unterscheiden, als Bilder zum Lernen. Der erste Detektionsabschnitt 31 detektiert dann Bildbereiche, welche mit den Merkmalen des Bilds des zu detektierenden Objekts übereinstimmen, welche jeweils aus den aufgenommenen Bildern gelernt werden.
Als nächstes detektiert der dritte Detektionsabschnitt 33 Fahrstreifen (Streifen) um das Fahrzeug aus jedem der aufgenommenen Bilder (Schritt S2). Zum Beispiel detektiert der dritte Detektionsabschnitt 33 gerade Linien durch Hough-Transformation nach Binarisieren der aufgenommenen Bilder, detektiert gerade Linien, welche zum Beispiel jeweils in Richtung eines Fluchtpunkts verlaufen, von den geraden Linien als die Fahrstreifen oder detektiert gerade Linien, welche über eine Vielzahl von Rahmen jeweils an im Wesentlichen derselben Position detektiert werden, als die Fahrstreifen. Es sei angemerkt, dass ein Fahrstreifendetektionsverfahren nicht auf dieses Verfahren beschränkt ist und ein allgemein bekanntes Detektionsverfahren verwendet werden kann. Zum Beispiel kann der dritte Detektionsabschnitt 33 Fahrstreifen durch Detektieren einer Schutzplanke, eines Mittelstreifens oder dergleichen detektieren, ohne sich auf eine Detektion von Verkehrszeichen wie etwa weißen Linien oder gelben Linien zu beschränken, welche die Fahrstreifen abgrenzen.
Die Detektionsverarbeitung in den Schritten S1 und S2 erfolgt vorzugsweise mit einem zusammengesetzten Bild, welches durch Kombinieren von drei aufgenommenen Bildern erlangt wird.
4 veranschaulicht ein Beispiel eines zusammengesetzten Bilds 11 aus drei aufgenommenen Bildern IIa, 11b und 11c.
Da ein Modul eine Detektionsverarbeitung mit einem zusammengesetzten Bild 11 durchführen kann, können in einem Fall eines zusammengesetzten Bilds im Vergleich zu einem Fall, in dem drei Module eine Verarbeitung mit den drei aufgenommenen Bildern 11a bis 11c jeweils parallel durchführen, Ausgestaltungen schlicht gehalten werden und Kosten können reduziert werden. Des Weiteren kann in dem Fall einer Verarbeitung mit dem einen zusammengesetzten Bild 11 im Vergleich zu einem Fall, in dem ein Modul eine Verarbeitung mit den drei aufgenommenen Bildern 11a bis 11c der Reihe nach durchführt, eine Verarbeitungszeit kurz gehalten werden.
Andererseits detektiert der zweite Detektionsabschnitt 32 ein Hindernis durch Analysieren des Messergebnisses des Messabschnitts 6 (Schritt S3). Zu diesem Zeitpunkt kann der zweite Detektionsabschnitt 32 ausgehend von dem Messergebnis auf das Hindernis bezogene Informationen wie etwa die Distanz von dem Fahrzeug zu dem Hindernis, einen Azimut und die Relativgeschwindigkeit des Hindernisses in Bezug auf das Fahrzeug erlangen.
Wenn kein Hindernis durch den ersten Detektionsabschnitt 31 und den zweiten Detektionsabschnitt 32 detektiert wird (Schritt S4: NEIN), wird diese Verarbeitung beendet. Wenn ein Hindernis detektiert wird (Schritt S4: JA), bestimmt der Informationsausgabeabschnitt 34 auf Grundlage der Detektionsergebnisse eine Richtung, in welcher sich das Hindernis in Bezug auf das Fahrzeug befindet (Schritt S5).
Der Informationsausgabeabschnitt 34 kann die Richtung, in welcher sich das Hindernis befindet, in Abhängigkeit davon bestimmen, in welchem Detektionsbereich das Hindernis detektiert wird. Wenn das Hindernis zum Beispiel durch das aufgenommene Bild der Kamera 1a oder das Messergebnis des Millimeterwellenradars 6b detektiert wird, kann der Informationsausgabeabschnitt 34 bestimmen, dass die Richtung, in welcher sich das Hindernis befindet, eine Richtung des Detektionsbereichs der Kamera 1a oder des Millimeterwellenradars 6b, das heißt eine Richtung der Hinterseite des Fahrzeugs ist. Des Weiteren kann, wenn das Hindernis durch das aufgenommene Bild der Kamera 1b oder der Kamera 1c detektiert wird, der Informationsausgabeabschnitt 34 bestimmen, dass die Richtung, in welcher sich das Hindernis befindet, eine Richtung der hinteren linken Seite des Fahrzeugs, welche in dem Detektionsbereich der Kamera 1b liegt, oder der hinteren rechten Seite des Fahrzeugs ist, welche in dem Detektionsbereich der Kamera 1c liegt. Wenn das Hindernis durch das Ultraschallsonar 6a detektiert wird, kann der Informationsausgabeabschnitt 34 bestimmen, dass die Richtung, in welcher sich das Hindernis befindet, eine Richtung des toten Winkels von der linken Seite zu der hinteren linken Seite des Fahrzeugs ist, welcher der Detektionsbereich des Ultraschallsonars 6a ist.
Da der Detektionsbereich 51a der Kamera 1a die Detektionsbereiche 51b und 51c der Kameras 1b und 1c teilweise überschneidet, wird des Öfteren dasselbe Hindernis aus den aufgenommenen Bildern der Kameras 1a bis 1c detektiert. Ob die Hindernisse dasselbe sind, kann zum Beispiel dadurch bestimmt werden, ob die Distanzen von dem Fahrzeug dieselben sind. In diesem Fall kann die Richtung unter der Annahme bestimmt werden, dass das Hindernis aus dem aufgenommenen Bild detektiert wird, in welchem das Hindernis größer ist. Es ist dadurch möglich, Warninformationen bereitzustellen, welche eine Erfassung der Richtung erleichtern, in welcher sich das Hindernis befindet.
Als nächstes bestimmt der Informationsausgabeabschnitt 34 auf Grundlage der Detektionsergebnisse bezüglich des Hindernisses einen Gefährdungsgrad (Schritt S6). Der Informationsausgabeabschnitt 34 kann den Gefährdungsgrad auf Grundlage des Detektionsergebnisses bezüglich der Fahrstreifen und/oder der Fahrinformationen bezüglich des Fahrzeugs, welche von dem Fahrinformationsausgabeabschnitt 7 erfasst werden, zusammen mit den Detektionsergebnissen bezüglich des Hindernisses bestimmen. Eine Bestimmungsgenauigkeit für den Gefährdungsgrad verbessert sich durch eine Kombination der Detektionsergebnisse bezüglich des Hindernisses mit dem Detektionsergebnis bezüglich der Fahrstreifen oder den Fahrinformationen. Der Gefährdungsgrad kann entweder ein binärer Indexwert, welcher darstellt, ob eine Gefährdung hoch oder niedrig ist, oder ein Multiindexwert sein, welcher eine Gefährdungsstufe in einer Vielzahl von Stufen darstellt.
5 ist ein Flussdiagramm zur Veranschaulichung von Vorgehensweisen zur Verarbeitung zur Bestimmung des Gefährdungsgrads. Diese Verarbeitung zur Bestimmung des Gefährdungsgrads wird für jedes detektierte Hindernis ausgeführt.
Wie in 5 veranschaulicht berechnet, wenn die Richtung, in welcher sich das detektierte Hindernis befindet, eine rückwärtige Richtung ist (Schritt S11: JA), der Informationsausgabeabschnitt 34 eine Zeit, bis das Fahrzeug mit dem Hindernis kollidiert (Time-To-Collision, Zeit bis zur Kollision (TTC)) (Schritt S12). Der Informationsausgabeabschnitt 34 kann die TTC ausgehend von den auf das Hindernis bezogenen Informationen berechnen, welche durch Analysieren der aufgenommenen Bilder oder des Messergebnisses des Millimeterwellenradars 6b erlangt werden. Beispiele der Informationen umfassen eine Position des Hindernisses, die Distanz zwischen dem Fahrzeug und dem Hindernis und die Relativgeschwindigkeit des Hindernisses in Bezug auf das Fahrzeug. Der Informationsausgabeabschnitt 34 kann die TTC durch ferner Kombinieren der Fahrtgeschwindigkeit des Fahrzeugs berechnen, welche von dem Fahrzeuggeschwindigkeitssensor 7a erlangt wird.
Wenn die berechnete TTC kürzer als ein Schwellenwert ist (Schritt S13: JA), bestimmt der Informationsausgabeabschnitt 34, dass eine Wahrscheinlichkeit einer Kollision mit dem sich auf einer Hinterseite des Fahrzeugs befindenden Hindernis, das heißt einer Heckkollision besteht und dass der Gefährdungsgrad hoch ist (Schritt S14). Der Informationsausgabeabschnitt 34 kann zudem durch Vergleichen der TTC mit einer Vielzahl von Schwellenwerten den Gefährdungsgrad auf einer Vielzahl von Stufen in einer solchen Weise bestimmen, dass der Gefährdungsgrad bei einer umso höheren Stufe liegt, je kürzer die TTC ist.
Wenn die TTC nicht kürzer als der Schwellenwert ist (Schritt S13: NEIN), bestimmt der Informationsausgabeabschnitt 34, dass der Gefährdungsgrad der Heckkollision niedrig ist (Schritt S21).
Andererseits bestimmt, wenn die Richtung, in welcher sich das Hindernis befindet, eine hintere linke Seitenrichtung oder eine hintere rechte Seitenrichtung ist (Schritte S11: NEIN und S15: JA), der Informationsausgabeabschnitt 34, ob der Blinkersensor 7b den Bedienvorgang an dem linken oder rechten Blinker in der Richtung detektiert, in welcher sich das Hindernis befindet (Schritt S16). Wenn der Blinkersensor 7b den Bedienvorgang an dem entsprechenden Blinker detektiert (Schritt S16: JA), bestimmt der Informationsausgabeabschnitt 34, dass eine Wahrscheinlichkeit einer Kollision mit dem Hindernis besteht, welches in einem Fahrstreifen in einer Richtung fährt, in welcher das Fahrzeug im Begriff ist, einen Fahrstreifenwechsel zu vollziehen, und sich auf der Hinterseite des Fahrzeugs befindet, und dass der Gefährdungsgrad hoch ist (Schritt S14). Zu diesem Zeitpunkt kann der Informationsausgabeabschnitt 34 durch Vergleichen der Distanz mit einer Vielzahl von Schwellenwerten den Gefährdungsgrad auf einer Vielzahl von Stufen in einer solchen Weise bestimmen, dass der Gefährdungsgrad bei einer umso höheren Stufe liegt, je kleiner die Distanz zwischen dem Fahrzeug und dem Hindernis ist.
Wenn der Blinkersensor 7b den Bedienvorgang an dem linken oder rechten Blinker nicht detektiert (Schritt S16: NEIN), bestimmt der Informationsausgabeabschnitt 34, ob eine Distanz zwischen dem Fahrzeug und dem zu dem Fahrzeug benachbarten Fahrstreifen von den durch den dritten Detektionsabschnitt 33 detektierten Fahrstreifen kleiner als ein Schwellenwert ist (Schritt S17). Wenn die Distanz kleiner als der Schwellenwert ist (Schritt S17: JA), bestimmt der Informationsausgabeabschnitt 34, dass eine Wahrscheinlichkeit besteht, dass das Fahrzeug von dem Fahrstreifen abweicht, in welchem das Fahrzeug fährt, und in den benachbarten Fahrstreifen eintritt, in welchem sich das Hindernis auf der Hinterseite befindet, und dass der Gefährdungsgrad hoch ist (Schritt S14). Der Informationsausgabeabschnitt 34 kann durch Vergleichen der Distanz mit einer Vielzahl von Schwellenwerten den Gefährdungsgrad auf einer Vielzahl von Stufen in einer solchen Weise bestimmen, dass der Gefährdungsgrad bei einer umso höheren Stufe liegt, je kleiner die Distanz zwischen dem Fahrzeug und dem Fahrstreifen ist.
Wenn der Blinkersensor 7b den Bedienvorgang an dem linken oder rechten Blinker nicht detektiert und die Distanz zwischen dem Fahrzeug und dem benachbarten Fahrstreifen nicht kleiner als der Schwellenwert ist (Schritte S16: NEIN und S17: NEIN), bestimmt der Informationsausgabeabschnitt 34, dass der Gefährdungsgrad des Fahrstreifenwechsels oder einer Fahrstreifenabweichung niedrig ist (Schritt S21).
Wenn die Richtung, in welcher sich das Hindernis befindet, eine Richtung des toten Winkels von der linken Seite zu der hinteren linken Seite ist (Schritte S11: NEIN, S15: NEIN und S18: JA), bestimmt der Informationsausgabeabschnitt 34, ob der Blinkersensor 7b den Bedienvorgang an dem linken Blinker detektiert (Schritt S19). Wenn der Blinkersensor 7b den Bedienvorgang an dem linken Blinker detektiert (Schritt S19: JA), bestimmt der Informationsausgabeabschnitt 34, dass eine Wahrscheinlichkeit einer Kollision mit dem Hindernis besteht, wenn das Fahrzeug links abbiegt, und dass der Gefährdungsgrad hoch ist (Schritt S14). Zu diesem Zeitpunkt kann der Informationsausgabeabschnitt 34 durch Vergleichen der Distanz mit einer Vielzahl von Schwellenwerten den Gefährdungsgrad auf einer Vielzahl von Stufen in einer solchen Weise bestimmen, dass der Gefährdungsgrad bei einer umso höheren Stufe liegt, je kleiner die Distanz zwischen dem Fahrzeug und dem Hindernis ist. Des Weiteren kann der Informationsausgabeabschnitt 34 nicht nur dann bestimmen, dass der Gefährdungsgrad hoch ist, wenn die Distanz kleiner ist, sondern auch dann, wenn die durch den Fahrzeuggeschwindigkeitssensor 7a detektierte Fahrtgeschwindigkeit höher als ein Schwellenwert ist.
Wenn der Blinkersensor 7b den Bedienvorgang an dem linken oder rechten Blinker nicht detektiert (Schritt S19: NEIN), bestimmt der Informationsausgabeabschnitt 34, ob die Distanz zwischen dem Fahrzeug und dem Hindernis, welche durch Analysieren des aufgenommenen Bilds oder des Messergebnisses des Ultraschallsonars 6a erlangt wird, kleiner als ein Schwellenwert ist (Schritt S20). Wenn die Distanz zu dem Hindernis nicht kleiner als der Schwellenwert ist (Schritt S20: NEIN), bestimmt der Informationsausgabeabschnitt 34, dass der Gefährdungsgrad einer Kollision des Fahrzeugs beim Linksabbiegen niedrig ist (Schritt S21).
Wenn die Distanz zu dem Hindernis kleiner als der Schwellenwert ist (Schritt S20: JA), bestimmt der Informationsausgabeabschnitt 34, dass eine Wahrscheinlichkeit einer Kollision mit dem Hindernis besteht, welches sich in dem toten Winkel befindet, und dass der Gefährdungsgrad hoch ist (Schritt S14). Zu diesem Zeitpunkt kann der Informationsausgabeabschnitt 34 durch Vergleichen der Distanz mit einer Vielzahl von Schwellenwerten den Gefährdungsgrad auf einer Vielzahl von Stufen in einer solchen Weise bestimmen, dass der Gefährdungsgrad bei einer umso höheren Stufe liegt, je kleiner die Distanz zwischen dem Fahrzeug und dem Hindernis ist. Des Weiteren kann der Informationsausgabeabschnitt 34 nicht nur dann bestimmen, dass der Gefährdungsgrad hoch ist, wenn die Distanz kleiner ist, sondern auch dann, wenn die durch den Fahrzeuggeschwindigkeitssensor 7a detektierte Fahrtgeschwindigkeit höher als ein Schwellenwert ist.
Nach Bestimmen des Gefährdungsgrads bestimmt wie in 3 veranschaulicht der Informationsausgabeabschnitt 34, ob der bestimmte Gefährdungsgrad einen Schwellenwert übersteigt (Schritt S7). Wenn der Gefährdungsgrad hoch ist und den Schwellenwert übersteigt (Schritt S7: JA), erzeugt der Informationsausgabeabschnitt 34 Warninformationen, welche die Richtung angeben, in welcher sich das Hindernis befindet, und gibt die Warninformationen an den Anzeigeabschnitt 4 oder den Audioausgabeabschnitt 5 aus (Schritt S8). Wenn der Gefährdungsgrad den Schwellenwert nicht übersteigt (Schritt S7: NEIN), beendet der Informationsausgabeabschnitt 34 die gegenwärtige Verarbeitung, ohne die Warninformationen zu erzeugen.
Beispiele der Warninformationen umfassen einen Pfeil, welcher in die Richtung zeigt, in welcher sich das Hindernis befindet, eine Markierung, welche in der Richtung blinkt, und einen Hinweissatz, welcher den Fahrer über die Richtung benachrichtigt, wenn die Warninformationen durch den Anzeigeabschnitt 4 ausgegeben werden. Beispiele der Warninformationen umfassen eine Sprachmeldung, welche den Fahrer über die Richtung benachrichtigt, einen eigenen Benachrichtigungston für jede Richtung und einen Melodieton, wenn die Warninformationen durch den Audioausgabeabschnitt 5 ausgegeben werden. Die Warninformationen können nicht nur die Richtung, in welcher sich das Hindernis befindet, sondern auch auf das Hindernis bezogene Informationen wie etwa die Einstufung (Fahrzeug, Person oder dergleichen) des Hindernisses, die Relativgeschwindigkeit des Hindernisses in Bezug auf das Fahrzeug, die TTC und eine Trennungsdistanz enthalten.
Der Informationsausgabeabschnitt 34 kann einen Ausgabemodus der Warninformationen in Abhängigkeit von dem Gefährdungsgrad bestimmen. Eine Einstellung des Ausgabemodus in einer solchen Weise, dass ein Hervorhebungsgrad des Hindernisses umso höher ist, je höher der Gefährdungsgrad ist, kann eine Erfassung des Fahrers des Vorhandenseins und der Richtung des Hindernisses erleichtern. In einem Fall, in dem die Warninformationen durch den Anzeigeabschnitt 4 ausgegeben werden, können zum Beispiel eine Größe, eine Farbe, eine Helligkeit, ein Vorhandensein oder Nichtvorhandensein eines Blinkens und dergleichen von Zeichen oder Bildern, welche als die Warninformationen anzuzeigen sind, in Abhängigkeit von dem Gefährdungsgrad variiert werden. Des Weiteren können in einem Fall, in dem die Warninformationen durch den Audioausgabeabschnitt 5 ausgegeben werden, zum Beispiel eine Höhe des Tons, ein Klang, ein Typ des Melodietons, ein Inhalt der Sprachmeldung und dergleichen in Abhängigkeit von dem Gefährdungsgrad variiert werden.
Darüber hinaus kann der Informationsausgabeabschnitt 34 ein Anzeigebild erzeugen, in welchem die aufgenommenen Bilder in den Richtungen angeordnet sind, und das Anzeigebild an den Anzeigeabschnitt 4 ausgeben, und kann die Warninformationen, welche die Richtung angeben, in welcher sich das Hindernis laut Bestimmung befindet, an den Anzeigeabschnitt 4 ausgeben, um auf dem aufgenommenen Bild in jeder Richtung des Anzeigebilds eingeblendet zu werden. Das eine Anzeigebild kann eine Erfassung des Fahrers von Situationen in den Richtungen auf der Hinterseite und insbesondere der Richtung, in welcher sich das Hindernis befindet, von den Richtungen erleichtern. Da der Anzeigeabschnitt 4 die Situationen auf der Hinterseite bestätigen kann, kann der Fahrer eine Sichtlinie des Fahrers auf eine Vorderseite konzentrieren und eine Sicherheit auf der Vorderseite kann gesteigert werden.
6A veranschaulicht ein Beispiel eines Anzeigebildschirms in einem Fall, in dem die Warninformationen nicht ausgegeben werden, und 6B veranschaulicht ein Beispiel eines Anzeigebildschirms in einem Fall, in dem Warninformationen ausgegeben werden. In den Beispielen des Anzeigebildschirms aus den 6A und 6B sind ein aufgenommenes Bild 41b der hinteren linken Seite, ein aufgenommenes Bild 41a der Hinterseite und ein aufgenommenes Bild 41c der hinteren rechten Seite in dieser Reihenfolge angeordnet und werden als ein Anzeigebild angezeigt.
In dem in 6A veranschaulichten Beispiel des Anzeigebildschirms werden die Warninformationen nicht angezeigt, da kein Hindernis detektiert wird oder ein Hindernis detektiert wird, der Gefährdungsgrad jedoch niedrig ist. Andererseits wird in dem in 6B veranschaulichten Beispiel des Anzeigebildschirms ein Hindernis D2, welches in dem Fahrstreifen fährt, welcher zu einer rechten Seite des Fahrstreifens benachbart ist, in welchem das Fahrzeug fährt, in dem aufgenommenen Bild 41c der rechten Hinterseite detektiert und die TTC ist kleiner als der Schwellenwert. Ein Bild 401 eines Rahmens wird daher als die Warninformationen angezeigt. Das Bild 401 des Rahmens wird an einem Außenrand des aufgenommenen Bilds 41c der hinteren rechten Seite eingeblendet, auf der sich das Hindernis D2 befindet, und eine Farbe des Bilds 401 des Rahmens wird in dem Maße der Reihe nach zu blau, gelb und rot umgeschaltet, in dem eine Distanz zu dem Hindernis D2 kleiner ist und der Gefährdungsgrad bei einer höheren Stufe liegt.
Des Weiteren wird in dem in 6B veranschaulichten Beispiel des Anzeigebildschirms der Bedienvorgang an dem Blinker nicht detektiert. Ein Bild 402 einer blinkenden Linie wird jedoch angezeigt, um als die Warninformationen auf einer weißen Linie des rechten Fahrstreifens eingeblendet zu werden, da bestimmt wird, dass die Distanz zwischen dem rechten Fahrstreifen, in welchem sich das Hindernis D2 befindet, und dem Fahrzeug klein ist und der Gefährdungsgrad hoch ist. Das Bild 402 der Linie kann eine Aufmerksamkeit des Fahrers auf den rechten Fahrstreifen lenken. Die weiße Linie des rechten Fahrstreifens wird aus den beiden aufgenommenen Bildern 41a und 41c detektiert. Das Bild 402 der Linie wird jedoch in dem aufgenommenen Bild 41a größer als die weiße Linie angezeigt, sodass das Bild 402 die Aufmerksamkeit des Fahrers leichter erregen kann. Es sei angemerkt, dass als Alternative zu der weißen Linie ein Bild einer den Fahrstreifen selbst bedeckenden Linie als die Warninformationen auf dem Fahrstreifen eingeblendet werden kann. Um eine Erregung von Aufmerksamkeit zu erleichtern, ist es bevorzugt, das Bild der Linie auf dem aufgenommenen Bild 41c größer als den Fahrstreifen einzublenden.
7 veranschaulicht ein anderes Beispiel des Anzeigebildschirms in dem Fall, in dem die Warninformationen ausgegeben werden. In dem in 7 veranschaulichten Beispiel des Anzeigebildschirms sind ein aufgenommenes Bild 42b der hinteren linken Seite, ein aufgenommenes Bild 42a der Hinterseite und ein aufgenommenes Bild 42c der hinteren rechten Seite in dieser Reihenfolge angeordnet und werden als ein Anzeigebild angezeigt.
In dem in 7 veranschaulichten Beispiel des Bildschirms wird das Hindernis D2 mit der TTC kleiner als der Schwellenwert in dem aufgenommenen Bild 42a der Hinterseite detektiert. Ein Bild 403 eines Rahmens wird daher an einem Außenrand des aufgenommenen Bilds 42a als eine der Warninformationen eingeblendet. Des Weiteren wird als eine der Warninformationen ein Hinweissatz 404 angezeigt, welcher den Fahrer davor warnt, dass das Hindernis D2 ein Fahrzeug ist, sich das Fahrzeug auf einer Hinterseite des betreffenden Fahrzeugs befindet und die Relativgeschwindigkeit des Fahrzeugs 5 km/h oder mehr beträgt. Parallel zu der Anzeige gibt der Audioausgabeabschnitt 5 zudem ein Audio 405 aus, welches den Fahrer davor warnt, dass sich das Fahrzeug als das Hindernis D2 mit der Relativgeschwindigkeit von 5 km/h oder mehr nähert.
Wie bisher beschrieben detektiert das Fahrassistenzsystem 100 gemäß der vorliegenden Ausführungsform das sich auf einer Hinterseite des Fahrzeugs befindende Hindernis auf Grundlage nicht nur der Vielzahl von aufgenommenen Bildern der Hinterseite des Fahrzeugs, sondern auch des Messergebnisses unter Verwendung der Messwelle. Es ist möglich, nicht nur ein Hindernis in einer kurzen Detektionsdistanz, sondern auch ein Hindernis in einer langen Detektionsdistanz zu detektieren und davor zu warnen. Des Weiteren wird gemäß der vorliegenden Ausführungsform die Richtung, in welcher sich das Hindernis befindet, auf Grundlage der Detektionsergebnisse bestimmt und die Warninformationen, welche die Richtung angeben, in welcher sich das Hindernis befindet, werden ausgegeben. Es ist dadurch möglich, die Warninformationen bereitzustellen, welche eine Erfassung des Fahrers der Richtung, in welcher sich das Hindernis befindet, auf der Hinterseite des Fahrzeugs erleichtern, welche für den Fahrer beim Fahren schwierig visuell zu erkennen ist, und eine Kollision mit dem Hindernis zu vermeiden und ein sicheres Fahren zu unterstützen.
Die oben beschriebene Ausführungsform ist ein zweckmäßiges Beispiel der vorliegenden Erfindung und die vorliegende Erfindung ist nicht auf die Ausführungsform beschränkt. Modifikationen können zweckmäßig vorgenommen werden, ohne von dem Kerninhalt der vorliegenden Erfindung abzuweichen.
Zum Beispiel ist der Anzeigeabschnitt 4 nicht notwendigerweise ein Monitor und kann drei Monitore entsprechend jeweils den Kameras 1a bis 1c sein. Es ist möglich, eine Anzeige wie in den 6A, 6B und 7 veranschaulicht durch benachbartes Anordnen der Monitore durchzuführen, um es den Monitoren zu ermöglichen, jeweils die aufgenommenen Bilder der Kameras 1a bis 1c anzuzeigen. In diesem Fall können die Warninformationen an den Monitor ausgegeben werden, welcher das aufgenommene Bild anzeigt, in welchem das Hindernis detektiert wird, da die drei Monitore jeweils der hinteren linken Seite, der Hinterseite und der hinteren rechten Seite des Fahrzeugs entsprechen. Der Fahrer kann einen Zustand der Hinterseite durch die angeordneten Monitore auf einen Blick erfassen und kann durch den Monitor, an welchen die Warninformationen ausgegeben werden, einfach erfassen, in welcher Richtung sich das Hindernis befindet.
Die vorliegende Anmeldung nimmt Priorität in Anspruch für die japanische Patentanmeldung Nr. 2019 -102550 , eingereicht am 31. Mai 2019, deren gesamte Inhalte hiermit aufgenommen werden.
Bezugszeichenliste

100: Fahrassistenzsystem
1a bis 1c: Kamera
3: ECU
31: Erster Detektionsabschnitt
32: Zweiter Detektionsabschnitt
33: Dritter Detektionsabschnitt
34: Informationsausgabeabschnitt
35: Speicherabschnitt
4: Anzeigeabschnitt
5: Audioausgabeabschnitt
6a: Ultraschallsonar
6b: Millimeterwellenradar
7a: Fahrzeuggeschwindigkeitssensor
7b: Blinkersensor

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2010093610 A [0002]
JP 2009023565 A [0002]
JP 2019102550 [0079]

Claims

Fahrassistenzsystem, aufweisend: einen ersten Detektionsabschnitt, welcher ein Hindernis aus einer Vielzahl von aufgenommenen Bildern einer Hinterseite eines Fahrers eines Fahrzeugs detektiert; einen zweiten Detektionsabschnitt, welcher ein Hindernis durch Analysieren einer reflektierten Welle einer zu der Hinterseite übertragenen Messwelle detektiert; und einen Informationsausgabeabschnitt, welcher auf Grundlage von Detektionsergebnissen des ersten Detektionsabschnitts und des zweiten Detektionsabschnitts eine Richtung bestimmt, in welcher sich das Hindernis in Bezug auf das Fahrzeug befindet, und welcher Warninformationen ausgibt, welche die Richtung angeben.
Fahrassistenzsystem nach Anspruch 1, wobei der Informationsausgabeabschnitt auf Grundlage jedes der Detektionsergebnisse einen Gefährdungsgrad des Hindernisses bestimmt und die Warninformationen erzeugt, wenn der Gefährdungsgrad einen Schwellenwert übersteigt.
Fahrassistenzsystem nach Anspruch 2, aufweisend einen dritten Detektionsabschnitt, welcher Fahrstreifen um das Fahrzeug aus den aufgenommenen Bildern detektiert, wobei der Informationsausgabeabschnitt auf Grundlage jedes Detektionsergebnisses des Hindernisses und eines Detektionsergebnisses der Fahrstreifen den Gefährdungsgrad bestimmt.
Fahrassistenzsystem nach Anspruch 2 oder 3, wobei der Informationsausgabeabschnitt Fahrinformationen bezüglich des Fahrzeugs erfasst und auf Grundlage jedes der Detektionsergebnisse und der Fahrinformationen den Gefährdungsgrad bestimmt.
Fahrassistenzsystem nach einem der Ansprüche 2 bis 4, wobei der Informationsausgabeabschnitt einen Ausgabemodus der Warninformationen in Abhängigkeit von dem Gefährdungsgrad bestimmt.
Fahrassistenzsystem nach einem der Ansprüche 1 bis 5, wobei die Vielzahl von aufgenommenen Bildern aufgenommene Bilder in einer Vielzahl von Richtungen der Hinterseite enthalten, und der Informationsausgabeabschnitt durch Anordnen der aufgenommenen Bilder in jeder der Richtungen ein Anzeigebild erzeugt, die Warninformationen, welche die Richtung angeben, in welcher sich das Hindernis befindet, auf den aufgenommenen Bildern in jeder der Richtungen einblendet und das eine Anzeigebild an einen Anzeigeabschnitt des Fahrzeugs ausgibt.
Fahrassistenzverfahren, welches durch ein Fahrassistenzsystem ausgeführt wird, wobei das Fahrassistenzverfahren umfasst: Detektieren eines Hindernisses aus einer Vielzahl von aufgenommenen Bildern einer Hinterseite eines Fahrers eines Fahrzeugs; Detektieren eines Hindernisses durch Analysieren einer reflektierten Welle einer zu der Hinterseite übertragenen Messwelle; und Bestimmen einer Richtung, in welcher sich das Hindernis in Bezug auf das Fahrzeug befindet, auf Grundlage von Detektionsergebnissen bezüglich des Hindernisses und Ausgeben von Warninformationen, welche die Richtung angeben.
Programm zum Veranlassen eines Computers, auszuführen: Detektieren eines Hindernisses aus einer Vielzahl von aufgenommenen Bildern einer Hinterseite eines Fahrers eines Fahrzeugs; Detektieren eines Hindernisses durch Analysieren einer reflektierten Welle einer zu der Hinterseite übertragenen Messwelle; und Bestimmen einer Richtung, in welcher sich das Hindernis in Bezug auf das Fahrzeug befindet, auf Grundlage von Detektionsergebnissen bezüglich des Hindernisses und Ausgeben von Warninformationen, welche die Richtung angeben.