DE112016003438T5

DE112016003438T5 - Fahrassistenzeinrichtung

Info

Publication number: DE112016003438T5
Application number: DE112016003438.5T
Authority: DE
Inventors: Yuta Mizuno; Shunsuke Kogure; Wataru Nogimori
Original assignee: Aisin Seiki Co Ltd
Current assignee: Aisin Corp
Priority date: 2015-07-30
Filing date: 2016-06-10
Publication date: 2018-05-03
Also published as: JP6520531B2; US20180211535A1; US10347126B2; JP2017033194A; WO2017018073A1

Abstract

Eine Fahrassistenzeinrichtung eines Ausführungsbeispiels umfasst einen Beschaffer, der erste Umgebungsinformationen beschafft, die eine Umgebung eines Fahrpunktes eines Fahrzeugs nach einem Ablauf einer gegebenen Zeitlänge von einem momentanen Fahrpunkt des Fahrzeugs angeben, einen Überprüfungsinformationsspeicher, der zweite Umgebungsinformationen speichert, die eine Umgebung eines Punktes, an dem das Fahrzeug gefahren ist, angeben, und Überprüfungsaktionsinformationen, die eine notwendige Aktion des Fahrers in der Umgebung, die durch die zweiten Umgebungsinformationen angegeben ist, darstellen, in Verknüpfung miteinander speichert, einen Aktionsinformationsspeicher, der zweite Umgebungsinformationen und tatsächliche Aktionsinformationen, die eine tatsächliche Aktion des Fahrers in der Umgebung, die durch die zweiten Umgebungsinformationen dargestellt ist, in Verknüpfung miteinander speichert, ein Vergleicher, der die Überprüfungsaktionsinformationen, die mit den zweiten Umgebungsinformationen der Umgebung, die durch die ersten Umgebungsinformationen angegeben ist, in dem Überprüfungsinformationsspeicher verknüpft sind, mit den tatsächlichen Aktionsinformationsinformationen, die mit den zweiten Umgebungsinformationen der Umgebung, die durch die ersten Umgebungsinformationen angegeben ist, in dem Aktionsinformationsspeicher verknüpft sind, vergleicht, und einen Mitteiler, der eine Mitteilung basierend auf einem Ergebnis des Vergleichs durch den Vergleicher ausgibt, bevor das Fahrzeug in die Umgebung, die durch die ersten Umgebungsinformationen angegeben ist, einfährt.

Description

TECHNISCHES GEBIET
Ausführungsbeispiele der vorliegenden Erfindung betreffen allgemein eine Fahrassistenzeinrichtung.
HINTERGRUND
Herkömmlicherweise wurden Techniken zum Erfassen der Ausrichtung eines Gesichts eines Fahrers eines Fahrzeugs vorgeschlagen, um einen Alarm an den Fahrer auszugeben, wenn der Fahrer abgelenkt ist.
LISTE DES STANDES DER TECHNIK
Patent Literatur

Patent Dokument 1: Japanische Patentanmeldungsoffenlegungsschrift Nr. 2004-347464
Patent Dokument 2: Japanische Patentanmeldungsoffenlegungsschrift Nr. 2002-083400
Patent Dokument 3: Japanische Patentanmeldungsoffenlegungsschrift Nr. 04-332100

KURZFASSUNG DER ERFINDUNG
PROBLEM, DAS DURCH DIE ERFINDUNG ZU LÖSEN IST
Unter einer bestimmten Verkehrsumgebung jedoch, alarmiert solch eine herkömmliche Technik den Fahrer, nachdem ein unaufmerksames Fahren des Fahrers, das für die bestimmte Verkehrsumgebung ungeeignet ist, erfasst wird, was den Fahrer zur Zeit der Alarmierung fast in eine unmittelbare Gefahr versetzen könnte. Somit gilt hinsichtlich des Warnens eines Fahrers vorzugsweise, je früher desto besser.
MITTEL ZUM LÖSEN DES PROBLEMS
Eine Fahrassistenzeinrichtung gemäß dem Ausführungsbeispiel umfasst einen Beschaffer, der erste Umgebungsinformationen beschafft, die eine Umgebung eines Fahrpunkts eines Fahrzeugs nach einem Ablauf einer gegebenen Zeitlänge von einem momentanen Fahrpunkt des Fahrzeugs darstellen; einen Überprüfungsinformationsspeicher, der zweite Umgebungsinformationen und Überprüfungsaktionsinformationen in Verknüpfung miteinander speichert, wobei die zweiten Umgebungsinformationen eine Umgebung eines Punktes darstellen, an dem das Fahrzeug gefahren ist, und die Überprüfungsaktionsinformationen eine notwendige Aktion eines Fahrers in der Umgebung, die durch die zweiten Umgebungsinformationen angegeben ist, darstellen; einen Aktionsinformationsspeicher, der dritte Umgebungsinformationen und tatsächliche Aktionsinformationen in Verknüpfung miteinander speichert, wobei die tatsächlichen Aktionsinformationen eine tatsächliche Aktion des Fahrers darstellen, die in der Umgebung, die durch die dritten Umgebungsinformationen angegeben ist, durchgeführt wird; einen Vergleicher, der die Überprüfungsaktionsinformationen, die mit den zweiten Umgebungsinformationen der Umgebung, die durch die ersten Umgebungsinformationen angegeben sind, in dem Überprüfungsinformationsspeicher verknüpft sind, mit den tatsächlichen Aktionsinformationen, die mit den dritten Umgebungsinformationen der Umgebung, die durch die ersten Umgebungsinformationen angegeben sind, in dem Aktionsinformationsspeicher verknüpft sind, vergleicht; und einen Mitteiler, der eine Mitteilung basierend auf einem Ergebnis des Vergleichs durch den Vergleicher ausgibt, bevor das Fahrzeug in die Umgebung, die durch die ersten Umgebungsinformationen angegeben ist, fährt. Durch die vorstehende Konfiguration kann der Fahrer im Voraus eine Sicherheitsüberprüfung durchführen, wodurch eine Sicherheitsverbesserung erreicht werden kann.
Die Fahrassistenzeinrichtung gemäß dem Ausführungsbeispiel umfasst weiterhin einen Aktionsbeschaffer, der Aktionsinformationen beschafft, die eine Aktion des Fahrers des Fahrzeugs darstellen, und einen Aktualisierer, der den Aktionsinformationsspeicher mit den dritten Umgebungsinformationen und den Aktionsinformationen in Verknüpfung miteinander aktualisiert, wobei die Aktionsinformationen durch den Beschaffer als eine Aktion des Fahrers beschafft werden, wenn das Fahrzeug in der Umgebung, die durch die dritten Umgebungsinformationen angegebenen ist, fährt. Durch die vorstehende Konfiguration enthält der Aktionsspeicher die tatsächlichen Aktionen des Fahrers, die eine Ausgabe einer geeigneteren Mitteilung ermöglichen, was eine Sicherheitsverbesserung ergibt.
In der Fahrassistenzeinrichtung des Ausführungsbeispiels beschafft der Beschaffer die ersten Umgebungsinformationen von einer Fahrzeugführungseinrichtung, die eine Route des Fahrzeugs zu einem Ziel basierend auf Karteninformationen herleitet. Die vorstehende Konfiguration ermöglicht eine Sicherheitsüberprüfung für das Ziel des Fahrzeugs im Voraus, wodurch eine Sicherheitsverbesserung erreicht wird.
Die Fahrassistenzeinrichtung des Ausführungsbeispiels umfasst weiterhin einen Fahrstatusspeicher, der die dritten Umgebungsinformationen und Fahrstatusinformationen in Verknüpfung miteinander speichert, wobei die Fahrstatusinformationen einen Fahrstatus des Fahrers angeben, beim Fahren in einer Umgebung eines Punktes, der durch die dritten Umgebungsinformationen angegeben ist, wobei der Beschaffer die ersten Umgebungsinformationen als eine geschätzte Fahrtrichtung des Fahrzeugs basierend auf den dritten Umgebungsinformationen, die mit den Fahrstatusinformationen, die einen momentanen Fahrzustand des Fahrers angeben, in dem Fahrstatusspeicher verknüpft sind, beschafft. Die vorstehende Konfiguration ermöglicht eine Sicherheitsüberprüfung für das Ziel des Fahrzeugs im Voraus, wodurch eine Sicherheitsverbesserung erreicht wird.
In der Fahrassistenzeinrichtung des Ausführungsbeispiels bestimmt der Vergleicher, ob eine Größe eines Sichtfeldes des Fahrers, die durch die tatsächlichen Aktionsinformationen als eine tatsächliche Aktion des Fahrers eine gegebene Zeit vor einem momentanen Zeitpunkt angegeben ist, größer ist als eine Größe eines Sichtfeldes, die durch die Überprüfungsaktionsinformationen angegeben ist, in dem der Fahrer eine Überprüfung durchführen muss. Der Mitteiler gibt eine Mitteilung aus, wenn bestimmt wird, dass die Größe des Sichtfeldes des Fahrers, die durch die tatsächlichen Aktionsinformationen angegeben ist, nicht größer ist als die Größe des Sichtfeldes, die durch die Überprüfungsaktionsinformationen angegeben ist, in dem der Fahrer eine Überprüfung durchführen muss. Durch die vorstehende Konfiguration kann die Mitteilung basierend auf der tatsächlichen Aktion eines Fahrers ausgegeben werden, was eine Sicherheitsverbesserung ermöglicht.
Figurenliste

1 ist eine teilweise transparente, perspektivische Ansicht des Innenraums eines Fahrzeugs gemäß dem ersten Ausführungsbeispiel;
2 stellt eine beispielhafte Platzierung einer Abbildungseinrichtung des ersten Ausführungsbeispiels dar;
3 ist ein Blockdiagramm einer beispielhaften Konfiguration eines Fahrassistenzsystems des ersten Ausführungsbeispiels;
4 ist ein Blockdiagramm einer funktionalen Konfiguration einer ECU des ersten Ausführungsbeispiels;
5 stellt eine Tabellenstruktur einer Aktionsverlaufsdatenbank des ersten Ausführungsbeispiels als Beispiel dar;
6 ist ein Ablaufdiagramm, das Schritte eines Meldungsmitteilungsprozesses des Fahrassistenzsystems des ersten Ausführungsbeispiels zeigt;
7 stellt ein Konzept einer auszugebenden Mitteilung zur Zeit eines Rechtsabbiegens des Fahrzeugs des ersten Ausführungsbeispiels an einer Kreuzung als Beispiel dar;
8 stellt ein Konzept einer auszugebenden Mitteilung als Beispiel dar, wenn es eine Seitenstraße bzw. Nebenstraße in der Nähe vor dem Fahrzeug des ersten Ausführungsbeispiels, das auf der Straße fährt, gibt;
9 stellt ein Konzept einer Mitteilung zum Warnen eines Fahrers vor Fußgängern als Beispiel dar, wenn das Fahrzeug des ersten Ausführungsbeispiels an einer Kreuzung mit einem entgegenkommenden Fahrzeug rechts abbiegt;
10 stellt ein Konzept einer Mitteilung zum Warnen als Beispiel dar, wenn Entfernungsmesser des Fahrzeugs des ersten Ausführungsbeispiels ein geparktes Auto erfassen;
11 stellt eine Situation als Beispiel dar, dass sich das Fahrzeug des ersten Ausführungsbeispiels zum Einparken in einem Parkraum rückwärts bewegt;
12 stellt eine Situation als Beispiel dar, dass das Fahrzeug des ersten Ausführungsbeispiels an einer Kreuzung mit einer guten Übersicht fährt;
13 ist ein Ablaufdiagramm, das Schritte eines Aktionsverlaufsdatenbankaktualisierungsprozesses des Fahrassistenzsystems gemäß dem ersten Ausführungsbeispiel zeigt; und
14 ist ein Blockdiagramm einer funktionalen Konfiguration einer ECU gemäß einem zweiten Ausführungsbeispiel.

BESCHREIBUNG VON AUSFÜHRUNGSBEISPIELEN
Erstes Ausführungsbeispiel
Nachstehend wird ein Beispiel einer Fahrassistenzeinrichtung, die an einen Fahrzeug 1 angebracht ist, gemäß dem ersten Ausführungsbeispiel beschrieben.
In dem vorliegenden Ausführungsbeispiel kann das Fahrzeug 1 zum Beispiel ein Automobil (Brennkraftmaschinenautomobil), das eine Brennkraftmaschine (nicht dargestellt) als eine Antriebsquelle umfasst, ein Automobil (elektrisches Automobil oder Brennstoffzellenautomobil), das einen elektrischen Motor (nicht dargestellt) als eine Antriebsquelle umfasst, oder ein Automobil (Hybridautomobil), das beide von dieser Antriebsquelle umfasst, sein. Das Fahrzeug 1 kann eine Vielzahl von Getrieben und eine Vielzahl von Einrichtungen (Systeme, Teile oder Komponenten), die zum Antreiben der Brennkraftmaschine oder des elektrischen Motors notwendig sind, umfassen. Arten, die Anzahl und ein Layout von Einrichtungen, die beim Antreiben von Rädern 3 des Fahrzeugs 1 involviert sind, können verschiedenartig eingestellt werden.
Wie in 1 dargestellt ist, umfasst das Fahrzeug 1 eine Karosserie 2, die einen Innenraum 2a definiert, in dem ein Fahrer (nicht dargestellt) sitzt. Ein Lenkrad 4 ist im Fahrzeuginnenraum 2a bereitgestellt, so dass es einem Fahrer oder einem Insassen auf einem Sitz 2b gegenüber liegt. In dem vorliegenden Ausführungsbeispiel ist die Lenkung 4 zum Beispiel ein Lenkrad, das von einem Armaturenbrett (Instrumentenfeld) 12 hervorsteht.
Wie in 1 dargestellt ist, ist das Fahrzeug 1 in dem vorliegenden Ausführungsbeispiel ein Vierradfahrzeug (Vierradautomobil), mit zwei rechten und linken Vorderrädern 3F und zwei rechten und linken Hinterrädern 3R als ein Beispiel. In dem vorliegenden Ausführungsbeispiel können die vier Räder 3 alle gelenkt werden (lenkbar sein).
Der Fahrzeuginnenraum 2a ist mit einem Fahrzeugnavigationssystem 11 in der Mitte des Armaturenbretts 12 in eine Fahrzeugbreitenrichtung oder in eine horizontale Richtung ausgestattet. Das Fahrzeugnavigationssystem 11 umfasst eine Anzeigeeinrichtung und eine Audioausgabeeinrichtung. Die Anzeigeeinrichtung ist zum Beispiel durch eine Flüssigkristallanzeige (LCD) oder eine organische elektrolumineszente Anzeige (OELD) veranschaulicht. Die Audioausgabeeinrichtung ist zum Beispiel ein Lautsprecher. Die Anzeigeeinrichtung ist durch eine transparente Operationseingabe, wie in etwa ein berührungsempfindliches Feld, bedeckt. Der Insasse kann Bilder, die auf dem Bildschirm der Anzeigeeinrichtung angezeigt werden, durch die Operationseingabe betrachten. Der Insasse kann ebenso die Operationseingabe mit seinem oder ihrem Finger oder Fingern, an Positionen entsprechend Bildern, die auf dem Bildschirm der Anzeigeeinrichtung angezeigt werden, zum Ausführen von Operationseingaben berühren, drücken und bewegen.
Wie in 1 dargestellt ist, umfasst die Fahrzeugkarosserie 2 mehrere Entfernungsmesser 16 und mehrere Entfernungsmesser 17. Die Entfernungsmesser 17 des vorliegenden Ausführungsbeispiels sind auf der Rückseite und der Vorderseite der Fahrzeugkarosserie 2 angeordnet. Die Entfernungsmesser 16 des vorliegenden Ausführungsbeispiels sind an der rechten Seitenfläche und an der linken Seitenfläche der Fahrzeugkarosserie 2 angeordnet. Die Entfernungsmesser 16, 17 sind zum Beispiel Sonare, die Ultraschallwellen aussenden und reflektierte Wellen von diesen erfassen. Die Sonare können als Sonarsensoren oder Ultraschalldetektoren bezeichnet werden. Gemäß dem vorliegenden Ausführungsbeispiel kann ein Vorhandensein oder Nichtvorhandensein eines Objekts als ein Hindernis um das Fahrzeug 1 gefunden werden und kann eine Entfernung zu dem Objekt von Ergebnissen der Erfassung durch die Entfernungsmesser 16, 17 gemessen werden.
Wie in 2 dargestellt ist, ist eine Abbildungseinrichtung 201 auf einer Lenksäule 202 installiert. Die Abbildungseinrichtung 201 wird durch eine CCD-Kamera (CCD, „charge coupled device“) veranschaulicht. Die Abbildungseinrichtung 201 ist bezüglich eines Betrachtungswinkels und einer Ausrichtung angepasst, um das Gesicht eines Fahrers 302 auf dem Sitz 2b in der Mitte des Sichtfelds aufzunehmen. Die Abbildungseinrichtung 201 bildet das Gesicht des Fahrers 302 sequentiell ab, um Bilddaten der aufgenommenen Bilder sequenziell auszugeben.
Nun wird ein Fahrassistenzsystem mit der Fahrassistenzeinrichtung in dem Fahrzeug 1 gemäß dem vorliegenden Ausführungsbeispiel beschrieben. 3 ist ein Blockdiagramm einer beispielhaften Konfiguration eines Fahrassistenzsystems 100 des vorliegenden Ausführungsbeispiels. Wie in 3 veranschaulicht ist, umfasst das Fahrassistenzsystem 100 eine ECU 14, das Fahrzeugnavigationssystem 11, ein Lenksystem 13, die Entfernungsmesser 16, 17, ein Bremssystem 18, einen Lenkwinkelsensor 19, einen Beschleunigungssensor 20, einen Schaltsensor 21 und einen Raddrehzahlsensor 22, die über ein fahrzeugseitiges Netzwerk 23 als eine elektrische Kommunikationsleitung elektrisch miteinander verbunden sind. Das fahrzeugseitige Netzwerk 23 ist zum Beispiel ein Steuerungsbereichsnetzwerk (CAN, „controller area network“). Die ECU 14 kann das Lenksystem 13 inklusive eines Stellglieds 13a und das Bremssystems 18 inklusive eines Stellglieds 18a durch Übertragen von Steuersignalen zu diesen über das fahrzeugseitige Netzwerk 23 steuern. Die ECU 14 kann ebenso über das fahrzeugseitige Netzwerk 23 Ergebnisse der Erfassung von einem Drehmomentsensor 13b, einem Bremssensor 18b, dem Lenkwinkelsensor 19, den Entfernungsmessern 16, den Entfernungsmessern 17, dem Beschleunigungssensor 20, dem Schaltsensor 21 und dem Raddrehzahlsensor 22 sowie Operationssignale von der Operationseingabe empfangen. Hierin ist die ECU 14 ein Beispiel der Fahrassistenzeinrichtung.
Die Fahrzeugnavigationseinrichtung 11 (Fahrzeugführungseinrichtung) umfasst eine CPU 11a und einen Kartendatenspeicher 11b zusätzlich zu der Anzeigeeinrichtung 8, der Audioausgabeeinrichtung 9 und der Operationseingabe 10. Nach einem Empfang einer Eingabe eines finalen Ziels durch die Operationseingabe 10 führt die CPU 11a ein Fahrzeugnavigationsprogramm (nicht dargestellt) aus, um dazu in der Lage zu sein, Routendaten zu dem finalen Ziel herzuleiten, unter Bezugnahme auf Kartendaten, die in dem Kartendatenspeicher 11b gespeichert sind.
Die Fahrzeugnavigationseinrichtung 11 kann die hergeleiteten Routendaten auf der Anzeigeeinrichtung 8 anzeigen. Die Fahrzeugnavigationseinrichtung 11 kann eine Routenführung für das Fahrzeug 1 durch eine Audioausgabe von der Audioausgabeeinrichtung 9 gemäß den hergeleiteten Routendaten bereitstellen. Die Fahrzeugnavigationseinrichtung 11 kann die hergeleiteten Routendaten an andere Elemente inklusive der ECU 14 innerhalb des Fahrzeugs 1 ausgeben. Gemäß den Routendaten kann die Fahrzeugnavigationseinrichtung 11 ebenso Zielumgebungsdaten, die eine Verkehrsumgebung von einem momentanen Fahrpunkt des Fahrzeug 1 zu einem Zielpunkt angeben, ausgeben.
Die Zielumgebungsdaten beziehen sich auf Daten inklusive der Umgebung eines momentanen Fahrpunkts zu einem Zielpunkt und den Zustand des Fahrzeugs 1, wenn es über die zwei Punkte fährt, während es den Routendaten folgt. Mit Bezug auf die Zielumgebungsdaten kann der Fahrer zum Beispiel die Situation kennen, dass das Fahrzeug 1 an einer Kreuzung voraus rechts abbiegt.
Die ECU 14 umfasst zum Beispiel eine zentrale Verarbeitungseinheit (CPU) 14a, einen Festwertspeicher (ROM) 14b, einen Direktzugriffsspeicher (RAM) 14c, eine Anzeige-Steuerung 14d, eine Audio-Steuerung 14e und ein Solid-State-Laufwerk (SSD, Flash Speicher) 14f. Die CPU 14a steuert das Fahrzeug 1 als Ganzes. Die CPU 14a kann ein Programm, das in einer nichtflüchtigen Speichereinrichtung wie etwa dem ROM 14b installiert und gespeichert ist, auslesen, um eine Berechnung gemäß dem Programm zu implementieren. Der RAM 14c speichert vorübergehend verschiedene Arten von Daten, die bei der Berechnung der CPU 14a verwendet werden. Von den Berechnungen durch die ECU 14 führt die Anzeigesteuerung 14d hauptsächlich eine Bildverarbeitung bezüglich der Bilddaten, die durch Bildgeber 15 erhaltenen werden, und Bilddatenkompositionen zur Anzeige auf der Anzeigeeinrichtung 8 durch. Unter den Berechnungen der ECU 14 verarbeitet die Audiosteuerung 14e hauptsächlich Audiodaten zur Ausgabe von der Audioausgabeeinrichtung 9. Die SSD 14f ist ein wiederbeschreibbarer, nichtflüchtiger Speicher und kann Daten speichern, auch wenn die ECU 14 ausgeschaltet ist. Die CPU 14a, der ROM 14b und der RAM 14c können in einem einzelnen Gehäuse integriert sein. Die ECU 14 kann einen anderen Arithmetiklogikprozessor oder eine Logikschaltung, wie etwa einen digitalen Signalprozessor (DSP) anstelle der CPU 14a umfassen. Die ECU 14 kann ebenso ein Festplattenlaufwerk (HDD) anstelle der SSD 14f umfassen, oder die SSD 14f oder HDD kann separat von der ECU 14 bereitgestellt sein.
Die Konfigurationen, Anordnungen und elektrischen Verbindungen der verschiedenen Sensoren und Stellglieder, wie vorstehend dargestellt, sind lediglich beispielhaft und können verschiedenartig eingestellt (geändert) werden.
4 ist ein Blockdiagramm einer funktionalen Konfiguration der ECU 14 des vorliegenden Ausführungsbeispiels. Wie in 4 dargestellt ist, umfasst die ECU 14 eine Aktionsverlaufsdatenbank 401 und eine Überprüfungskriteriendatenbank 402 in dem ROM 14b. Weiterhin implementiert die ECU 14 einen Beschaffer 403, einen Aktionsvorhersager 404, einen Überprüfungsaktionsbeschaffer 405, einen Vergleicher 406, einen Mitteiler 407, eine Gesichtsbildeingabe 411, einen Gesichtsdatenberechner 412, einen Modellgenerator 413, einen Aktionsbeschaffer 414 und einen Verlaufsaktualisierer 415 durch Ausführen eines (nicht dargestellten) Fahrassistenzprogramms. Das vorliegende Ausführungsbeispiel kann diese Elemente durch Hardware anstelle des Ausführens des (nicht dargestellten) Fahrassistenzprogramms implementieren.
Die Aktionsverlaufsdatenbank 401 speichert Verkehrsumgebungsdaten von jedem Punkt auf der Route, entlang der das Fahrzeug 1 gefahren ist (das heißt entsprechend den dritten Umgebungsinformationen) und Informationen über eine tatsächliche Aktion eines Fahrers in der Verkehrsumgebung (das heißt entsprechend der tatsächlichen Aktionsinformationen) in Verknüpfung miteinander. In dem vorliegenden Ausführungsbeispiel umfassen die Informationen über eine tatsächliche Aktion des Fahrers, eine Häufigkeit einer Sichtlinienbewegung und einen Gesichtsbewegungsbereich.
Die Verkehrsumgebungsdaten sind als Daten definiert, die die Umgebung eines bestimmten Punktes und den Zustand des Fahrzeugs 1, das an dem Punkt fährt, enthalten. Somit enthalten die Verkehrsumgebungsdaten Daten, die eine Kreuzung darstellen, und Daten, die angeben, dass das Fahrzeug 1 an der Kreuzung zum Beispiel rechts abgebogen ist. Die Verkehrsumgebungsdaten können Hindernisse auf der Straße und ein Vorhandensein oder Nichtvorhandensein von Straßenschildern als die Daten, die die Umgebung darstellen, umfassen.
5 stellt eine beispielhafte Tabellenstruktur der Aktionsverlaufsdatenbank 401 in dem vorliegenden Ausführungsbeispiel dar. Wie in 5 dargestellt ist, speichert die Aktionsverlaufsdatenbank 401 in dem vorliegenden Ausführungsbeispiel die Verkehrsumgebungsdaten, die Häufigkeit einer Sichtlinienbewegung, und den Gesichtsbewegungsbereich in Verknüpfung miteinander.
Die Häufigkeit einer Sichtlinienbewegung enthält die Anzahl von Bewegungen der Sichtlinie des Fahrers in jeder der gespeicherten Verkehrsumgebungen. Zum Beispiel enthält die Häufigkeit der Sichtlinienbewegung die Anzahl fünfmal.
Dadurch ist es möglich, zu wissen, dass der Fahrer zur Zeit des Abbiegens an der Kreuzung ungefähr fünfmal um sich geschaut hat.
Der Gesichtsbewegungsbereich enthält Gesichtsausrichtungsdaten und eine Richtung einer Sichtlinie. Die Gesichtsausrichtungsdaten stellen die Ausrichtung des Gesichts des Fahrers dar und enthalten Informationen, die X-, Y- und Z-Achsenpositionen darstellen, und Informationen, die Drehungen um eine X-Achse, Y-Achse und Z-Achse darstellen, in dem vorliegenden Ausführungsbeispiel. Die Richtung der Sichtlinie enthält Informationen über die Richtung der Sichtlinie des Fahrers. Somit umfasst der Gesichtsbewegungsbereich eine Größe des Sichtfeldes, innerhalb dem sich der Fahrer umgeschaut hat.
Die Überprüfungskriteriendatenbank 402 speichert, zum Beispiel, wenn ein normierter Fahrer einer Fahrschule ein Fahrzeug fährt, Verkehrsumgebungsdaten eines Punktes, an dem das Fahrzeug gefahren ist (das heißt entsprechend zweiten Umgebungsinformationen), und Informationen über eine Sicherheitsüberprüfungsaktion des normierten Fahrers in der Verkehrsumgebung (das heißt entsprechend den Überprüfungsaktionsinformationen) in Verknüpfung miteinander. Obwohl das vorliegende Ausführungsbeispiel den normierten Fahrer einer Fahrschule als Beispiel beschreibt, kann der Fahrer irgendein Fahrer sein, solange er oder sie eine Fahroperation durchgeführt hat, um ein Kriterium einer Sicherheitsüberprüfungsaktion zu werden.
In dem vorliegenden Ausführungsbeispiel enthalten die Informationen über notwendige Sicherheitsüberprüfungsaktionen des Fahrers in der betreffenden Verkehrsumgebung die Häufigkeit der Sichtlinienbewegung und den Gesichtsbewegungsbereich als Beispiel. Jedoch ist das vorliegende Ausführungsbeispiel nicht dazu gedacht, die Informationen auf die Häufigkeit der Sichtlinienbewegung und den Gesichtsbewegungsbereich zu beschränken. Die Informationen können beliebige Informationen sein, solange diese eine Aktion des Fahrers in der Verkehrsumgebung betreffen. Weiterhin beschreibt das vorliegende Ausführungsbeispiel ein Beispiel des Spezifizierens einer Größe des Sichtfeldes, innerhalb dem der Fahrer eine Sicherheitsüberprüfung durchgeführt hat, von dem Gesichtsbewegungsbereich. Jedoch kann die Größe des Sichtfelds, innerhalb dem der Fahrer eine Sicherheitsüberprüfung durchgeführt hat, durch ein anderes Verfahren hergeleitet werden.
Somit enthält die Überprüfungskriteriendatenbank 402 die Kriterien von notwendigen Sicherheitsüberprüfungen des Fahrers in jeder Verkehrsumgebung, wie etwa die Anzahl von Umgebungsüberprüfungen und die Größe des Sichtfeldes, innerhalb dem der Fahrer eine Überprüfung durchführen muss. Die Tabellenstruktur der Überprüfungskriteriendatenbank 402 kann ähnlich zu der Aktionsverlaufsdatenbank 401 sein.
Der Beschaffer 403 beschafft Zielumgebungsdaten, die die Verkehrsumgebung eines Fahrpunkts des Fahrzeugs 1 nach einem Ablauf einer gegebenen Zeitlänge von einem momentanen Fahrpunkt darstellen (das heißt, entsprechend ersten Umgebungsinformationen). In dem vorliegenden Ausführungsbeispiel ist die gegebene Zeitlänge zum Beispiel als 15 Sekunden definiert. Jedoch kann diese auf eine angemessene Zeitlänge gemäß der Geschwindigkeit des Fahrzeugs 1 eines Ausführungsbeispiels eingestellt werden, solange diese ausreichend ist, um im Voraus eine Mitteilung auszugeben, um den Fahrer aufzufordern, eine Sicherheitsüberprüfung durchzuführen.
In dem vorliegenden Ausführungsbeispiel beschafft der Beschaffer 403 die Zielumgebungsdaten von der Fahrzeugnavigationseinrichtung 11. Die Zielumgebungsdaten können, als die Verkehrsumgebung eines Zielpunkts des Fahrzeugs 1, zum Beispiel ein Vorhandensein oder Nichtvorhandensein von Straßenschildern oder Fußgängern an dem betreffenden Punkt zusätzlich zu Kreuzungen, Seitenstraßen und Parkplätzen, umfassen. Die Zielumgebungsdaten können weiterhin einen Kurs des Fahrzeugs 1 basierend auf der Route zu dem finalen Ziel umfassen, zum Beispiel Daten, die ein Rechtsabbiegen des Fahrzeugs 1 an einer nächsten Kreuzung darstellen.
Herkömmlicherweise wurden Techniken zum Warnen eines Fahrers vorgeschlagen, wenn der Fahrer eine notwendige Sicherheitsüberprüfung in einer bestimmten Verkehrsumgebung nicht durchführt. Solche herkömmlichen Techniken verursachen jedoch eine Verzögerung bei der Sicherheitsüberprüfung, da der Fahrer eine Sicherheitsüberprüfung nach einem Ausgeben einer Warnung durchführt. Angesichts dessen gibt das vorliegende Ausführungsbeispiel im Voraus eine Mitteilung über die betreffende Verkehrsumgebung vor einem Einfahren in die Verkehrsumgebung, in der der Fahrer eine Sicherheitsüberprüfung wahrscheinlich nicht durchführt, aus.
Der Aktionsvorhersager 404 sagt eine Aktion des Fahrers in der Verkehrsumgebung eines Fahrpunkts des Fahrzeugs 1 nach einem Ablauf der gegebenen Zeitlänge von einem momentanen Fahrpunkt vorher, wie durch die Zielumgebungsdaten, die durch den Beschaffer 403 beschafft werden, angegeben ist. Bezugnehmend auf die Aktionsverlaufsdatenbank 401 beschafft der Aktionsvorhersager 404 des vorliegenden Ausführungsbeispiels, als eine vorhergesagte Aktion eines Fahrers, die Häufigkeit einer Sichtlinienbewegung und den Gesichtsbewegungsbereich, die eine vorhergehende tatsächliche Aktion des Fahrers in der Verkehrsumgebung, die durch die Zielumgebungsdaten angegeben ist, darstellen.
Der Überprüfungsaktionsbeschaffer 405 beschafft Informationen, die eine notwendige Sicherheitsüberprüfungsaktion des Fahrers in der Verkehrsumgebung des Punkts des Fahrzeugs 1 nach einem Ablauf der gegebenen Zeitlänge von dem momentanen Fahrpunkt darstellen, die durch die beschafften Zielumgebungsdaten durch den Beschaffer 403 angegeben ist. Bezugnehmend auf die Überprüfungskriteriendatenbank 402 beschafft der Überprüfungsaktionsbeschaffer 405 des vorliegenden Ausführungsbeispiels die Häufigkeit einer Sichtlinienbewegung und den Gesichtsbewegungsbereich, die die notwendige Sicherheitsüberprüfaktion des Fahrers in der Verkehrsumgebung, die durch die Zielumgebungsdaten angegeben ist, darstellen.
Der Vergleicher 406 vergleicht die Informationen (Häufigkeit einer Sichtlinienbewegung und Gesichtsbewegungsbereich), die die notwendige Sicherheitsüberprüfaktion des Fahrers darstellen und mit der Verkehrsumgebung, die durch die Zielumgebungsdaten in der Überprüfungskriteriendatenbank 402 angegeben ist, verknüpft sind, mit den Informationen (Häufigkeit einer Sichtlinienbewegung und Gesichtsbewegungsbereich), die eine erwartete Aktion des Fahrers darstellen (das heißt, eine tatsächliche Aktion des Fahrers in der Verkehrsumgebung) und mit der Verkehrsumgebung, die durch die Zielumgebungsdaten in der Aktionsverlaufsdatenbank 401 angegeben ist, verknüpft sind.
Als ein Beispiel eines spezifischen Vergleichsverfahrens, bestimmt der Vergleicher 406 des vorliegenden Ausführungsbeispiels, ob eine erwartete Häufigkeit einer Sichtlinienbewegung des Fahrers höher ist als die Häufigkeit einer Sichtlinienbewegung, die die notwendige Sicherheitsüberprüfungsaktion des Fahrers ist, oder nicht. Als ein anderes Beispiel bestimmt der Vergleicher 406, ob die Größe des Sichtfelds des Fahrers, die eine vorherige tatsächliche Aktion des Fahrers ist, größer als die Größe des Sichtfelds ist oder nicht, innerhalb dem der Fahrer die Sicherheitsüberprüfung durchführen muss, wie durch die Sicherheitsüberprüfaktionsinformation angegeben ist.
Der Mitteiler 407 gibt eine Mitteilung auf Basis eines Ergebnisses des Vergleichs durch den Vergleicher 406 aus, bevor das Fahrzeug in die Verkehrsumgebung fährt, die durch die Zielumgebungsdaten angegeben ist. Wenn zum Beispiel der Vergleicher 406 bestimmt, dass die erwartete Häufigkeit einer Sichtlinienbewegung des Fahrers weniger ist oder die Größe des vorherigen Sichtfeldes des Fahrers, das heißt, die Größe des Sichtfelds, innerhalb dem der Fahrer erwartungsgemäß eine Sicherheitsüberprüfung durchführt, kleiner ist, gibt der Mitteiler 407 eine Audiomitteilung zum Warnen des Fahrers aus.
Wenn zum Beispiel der Vergleicher 406 bestimmt, dass der rechtsseitige Gesichtsbewegungsbereich des Fahrers zur Zeit des Rechtsabbiegens des Fahrzeugs 1 eng ist, gibt der Mitteiler 407 eine Mitteilung aus, die die Aufmerksamkeit des Fahrers auf die rechte Richtung lenkt, bevor das Fahrzeug in die Kreuzung einfährt, in der das Fahrzeug vermutlich rechts abbiegt. Somit kann die Mitteilung ausgegeben werden, bevor das Fahrzeug 1 in die Kreuzung einfährt, unabhängig davon, ob der Fahrer ein Rechtsabbiegesignal ausgibt oder nicht.
Die Gesichtsbildeingabe 411 empfängt ein aufgenommenes Bild eines Bereichs inklusive des Gesichts des Fahrers von der Abbildungseinrichtung 201.
Der Gesichtsdatenberechner 412 extrahiert die Formen der Gesichter von zwei oder mehr Subjekten und die Merkmalspunkte von deren Gesichtsteilen inklusive der Augen und des Mundes von dem empfangenen aufgenommenen Bild, um dreidimensionale Gesichtsstrukturdaten inklusive durchschnittlicher Gesichtsformen und den Positionen der Gesichtsteile zu berechnen.
Der Modellgenerator 413 erzeugt, als ein dreidimensionales Gesichtsmodell, die durchschnittlichen Gesichtsformen, die Positionen der Gesichtsteile und Informationen über eine Variation in der Form der Augen des Fahrers, die die dreidimensionalen Gesichtsstrukturdaten sind.
Das dreidimensionale Gesichtsmodell wird in den Speichermedium wie dem ROM 14b gespeichert. Das dreidimensionale Gesichtsmodell bezieht sich auf ein statistisches Gesichtsformenmodell und die dreidimensionalen Gesichtsformen von durchschnittlichen Subjekten, die Positionen von deren Gesichtsteilen inklusive der Augen, des Mundes und der Nase und Variationsinformationen bezüglich der Augenformen werden registriert. Das dreidimensionale Gesichtsmodell wird als ein „constraint local model“ (CLM), ein „active appearance model“ (AAM) und ein „active shape model“ (ASM) veranschaulicht. Jedoch ist dieses nicht auf diese Beispiele beschränkt.
Der Aktionsbeschaffer 414 erfasst kontinuierlich die Gesichtsposition des Fahrers des Fahrzeugs 1, um Gesichtsbewegungsinformationen zu beschaffen. Der Aktionsbeschaffer 414 des vorliegenden Ausführungsbeispiels beschafft Informationen, die X-, Y- und Z- Achsenpositionen des Gesichts des Fahrers darstellen, und Informationen, die X-, Y- und Z- Achsendrehungen von diesen darstellen, von dem dreidimensionalen Gesichtsmodell, das durch den Modellgenerator 413 erzeugt wird. Der Aktionsbeschaffer 414 beschafft Informationen über die Ausrichtung der Sichtlinie des Fahrers basierend auf der Position des Gesichts des Fahrers und Variationsinformationen über die Augenform des Fahrers, um die Häufigkeit einer Sichtlinienbewegung und dem Gesichtsbewegungsbereich herzuleiten.
Der Verlaufsaktualisierer 415 aktualisiert die Aktionsverlaufsdatenbank 401 mit den Daten, die die Verkehrsumgebung darstellen, innerhalb der das Fahrzeug 1 fährt, und die Häufigkeit einer Sichtlinienbewegung und den Gesichtsbewegungsbereich, die durch den Aktionsbeschaffer 414 als eine Aktion des Fahrers beschafft werden, wenn das Fahrzeug 1 in der Verkehrsumgebung fährt, in Verknüpfung miteinander.
Die ECU 14 des vorliegenden Ausführungsbeispiels, das wie vorstehend konfiguriert ist, kann die Aktionen des Fahrers in Verkehrsumgebungen in der Aktionsverlaufsdatenbank 401 sammeln.
Nun werden Schritte eines Meldungsmitteilungsprozesses des Fahrassistenzsystems 100 in dem vorliegenden Ausführungsbeispiel beschrieben. 6 ist ein Ablaufdiagramm, das die Schritte des vorstehenden Prozesses des Fahrassistenzsystems 100 in dem vorliegenden Ausführungsbeispiel zeigt.
Der Beschaffer 403 beschafft Zielumgebungsdaten, die die Verkehrsumgebung eines Zielpunkts des Fahrzeugs 1 von einem momentanen Fahrpunkt darstellen, von der Fahrzeugnavigationseinrichtung 11 (Schritt S601).
Dann beschafft der Überprüfungsaktionsbeschaffer 405 Informationen über eine notwendige Sicherheitsüberprüfungsaktion des Fahrers (Häufigkeit einer Sichtlinienbewegung und Gesichtsbewegungsbereich) in der Verkehrsumgebung des Zielpunkts des Fahrzeugs 1 von dem momentanen Fahrpunkt basierend auf den Zielumgebungsdaten, die durch dem Beschaffer 403 beschafft werden (Schritt S602).
Der Aktionsvorhersager 404 beschafft basierend auf den Zielumgebungsdaten, die durch den Beschaffer 403 beschafft werden, Informationen, die eine tatsächliche Aktion des Fahrers (Häufigkeit einer Sichtlinienbewegung und Gesichtsbewegungsbereich) in der gleichen Verkehrsumgebung des Zielpunkts des Fahrzeugs 1 von dem momentanen Fahrpunkt darstellen (Schritt S603).
Der Vergleicher 406 bestimmt dann, ob die tatsächliche Aktion des Fahrers in der gleichen Verkehrsumgebung wie der des Zielpunktes das Erfordernis der notwendigen Sicherheitsüberprüfungsaktion des Fahrers erfüllt oder nicht (Schritt S604). Wenn der Vergleicher 406 die Erfüllung der Anforderung bestimmt (Ja in Schritt S604), endet der Prozess.
Wenn der Vergleicher 406 bestimmt, dass die tatsächliche Aktion des Fahrers das Erfordernis, das durch Informationen angegeben ist, die die notwendige Sicherheitsüberprüfungsaktion des Fahrers darstellen, nicht erfüllt ist (Nein in Schritt S604), gibt der Mitteiler 407 eine Mitteilung aus, um die Sicherheitsüberprüfungsaktion anzuregen, bevor das Fahrzeug 1 in die Verkehrsumgebung, die durch die Zielumgebungsdaten angegeben ist, einfährt (Schritt S605).
Durch die vorstehende Verarbeitung kann der Fahrer bezüglich des Ziel des Fahrzeugs 1 angemessen gewarnt werden, wodurch eine Sicherheitsverbesserung erreicht werden kann.
Als Nächstes wird eine spezielle Situation beschrieben, in der eine Mitteilung ausgegeben wird. 7 zum Beispiel stellt ein Konzept einer auszugebenen Mitteilung dar, wenn das Fahrzeug 1 des vorliegenden Ausführungsbeispiels an einer Kreuzung rechts abbiegt. In dem Beispiel von 7 ist eine Route 700 des Fahrzeugs 1 durch die Fahrzeugnavigationseinrichtung 11 designiert. Wenn der Vergleicher 406 bestimmt, dass eine vorherige tatsächliche Sicherheitsüberprüfungsaktion des Fahrers zur Zeit des Rechtsabbiegens das Erfordernis nicht erfüllt, gibt der Mitteiler 407 an den Fahrer an einem Punkt 702 vor einem Rechtsabbiegestartpunkt 701 eine Mitteilung 710 aus, um seine oder ihre Aufmerksamkeit auf die rechte Richtung zu lenken. Die Mitteilung wird ausgegeben, bevor der Fahrer das Lenkrad nach rechts dreht, so dass der Fahrer die Umgebung der Kreuzung vordem Lenken nach rechts überprüfen kann.
Die Daten der Sicherheitsüberprüfungsaktion des Fahrers, die an der Kreuzung vorgenommen wird, werden in der Aktionsverlaufsdatenbank 401 gesammelt. Dadurch wird eine Mitteilung, die eine momentane Aktion des Fahrers widerspiegelt, zur Zeit des nächsten und nachfolgenden Rechtsabbiegens ausgegeben.
Wenn zum Beispiel der Fahrer über eine bestimmte Zeitperiode Sicherheitsüberprüfungsaktionen vornimmt, die das Erfordernis erfüllen, gibt es keine Ausgabe der Mitteilungen. Wenn keine Sicherheitsüberprüfungsaktionen vorgenommen werden, werden Mitteilungen wieder ausgegeben.
8 zum Beispiel stellt ein Konzept einer auszugebenen Mitteilung dar, wenn es vor dem Fahrzeug 1 des vorliegenden Ausführungsbeispiels, das auf der Straße fährt, eine schmale Seitenstraße gibt. In dem Beispiel von 8 ist eine Route 800 des Fahrzeugs 1 durch die Fahrzeugnavigationseinrichtung 11 designiert. Wenn der Vergleicher 406 bestimmt, dass eine vorherige tatsächliche Sicherheitsüberprüfungsaktion des Fahrers bei einer schmalen Seitenstraße das Erfordernis nicht erfüllt, gibt der Mitteiler 407 an den Fahrer an einem Punkt vor einem Punkt 801 eine Mitteilung aus, um ihre oder seine Aufmerksamkeit auf die Seitenstraße bzw. Nebenstraße zu lenken. Die Mitteilung wird ausgegeben, bevor das Fahrzeug die Seitenstraße bzw. Nebenstraße passiert, was dem Fahrer ermöglicht, ein Ausfahren von der Seitenstraße im Voraus zu überprüfen. Die Mitteilung kann nach Bedarf ausgegeben werden, um den Fahrer zu warnen, zum Beispiel, wenn von einer breiteren Straße in eine schmalere Seitenstraße bzw. Nebenstraße eingefahren wird, oder wenn eine schmale Seitenstraße bzw. Nebenstraße zu einer breiteren Straße verlassen wird, zusätzlich zu dem Fall, dass die Seitenstraße bzw. Nebenstraße passiert wird.
9 zum Beispiel stellt ein Konzept einer Mitteilung zum Warnen des Fahrers vor Fußgängern oder ähnlichen dar, wenn es ein entgegenkommendes Fahrzeug gibt, wenn das Fahrzeug 1 an der Kreuzung rechts abbiegt. In dem Beispiel von 9 ist eine Route 900 des Fahrzeugs 1 durch die Fahrzeugnavigationseinrichtung 11 designiert. Diese veranschaulicht eine Warnung für den Fahrer, um beim Rechtsabbiegen und beim Einfahren in eine Straße auf der rechten Seite ein Hinauseilen eines Fußgängers zu vermeiden, nach einem Beenden einer Umgebungsüberprüfung beim Rechtsabbiegen. Wenn zum Beispiel der Vergleicher 406 bestimmt, dass eine vorhergehende Sicherheitsüberprüfungsaktion bezüglich eines Schattens 902 eines entgegenkommenden Fahrzeugs 901 oder eines Fußgängerüberwegs 903 beim Rechtsabbiegen das Erfordernis nicht erfüllt, gibt der Mitteiler 407 an den Fahrer an einem Punkt vor einem passieren des entgegenkommenden Fahrzeugs 901 eine Mitteilung 910 aus, um ihre oder seine Aufmerksamkeit auf Fußgänger zu lenken. Die Mitteilung wird ausgegeben, bevor das Fahrzeug 1 das entgegenkommende Fahrzeug passiert, was dem Fahrer ermöglicht, im Voraus den Schatten 902 des entgegenkommenden Fahrzeugs 901 zu überprüfen, oder zu überprüfen, ob es ein Hinauseilen von dem Fußgängerüberweg 903 gibt. Obwohl 9 ein Beispiel der Situation zur Zeit eines Rechtsabbiegens darstellt, kann die Mitteilung zur Zeit eines Linksabbiegens ausgegeben werden, um die Aufmerksamkeit des Fahrers auf Fußgänger zu lenken, um keinen Fußgänger zu treffen.
Vorstehend wurde das Beispiel des Ausgebens einer Mitteilung basierend auf der Route, die durch die Fahrzeugnavigationseinrichtung 11 designiert ist, beschrieben. Jedoch ist das vorliegende Ausführungsbeispiel nicht auf die Mitteilung basierend auf die Route, die durch die Fahrzeugnavigationseinrichtung 11 designiert ist, beschränkt. Das vorliegende Ausführungsbeispiel kann für irgendeine Vor-Mitteilungstechnik bezüglich einer Verkehrsumgebung angewendet werden. Somit wird nun eine Situation beschrieben, dass die Entfernungsmesser 17 ein parkendes Fahrzeug erfasst haben. 10 stellt ein Konzept einer Mitteilung zum Warnen dar, wenn die Entfernungsmesser 17 des Fahrzeugs 1 des vorliegenden Ausführungsbeispiels zum Beispiel ein geparktes Fahrzeug erfasst haben.
10 (A) zeigt, dass ein geparktes Fahrzeug 1001 in der Fahrtrichtung des Fahrzeugs 1 vorhanden ist und das Fahrzeug fährt, während es einer Route 1000 folgt, zum Beispiel. In solch einem Fall wird angenommen, dass eine Sicherheitsüberprüfungsaktion bezüglich eines Schattens des geparkten Fahrzeugs 1001, die durch den Aktionsbeschaffer 414 beschafft wird, ein vordefiniertes Erfordernis nicht erfüllt. In solch einem Fall aktualisiert der Verlaufsaktualisierer 415 die Aktionsverlaufsdatenbank 401 mit Daten, die die Nichterfüllung des Erfordernisses widerspiegeln.
Dann erfassen die Entfernungsmesser 17 ein geparktes Fahrzeug 1011 in der Fahrtrichtung des Fahrzeugs 1, wie in 10 (B) dargestellt ist. In solch einem Fall gibt der Mitteiler 407 eine Meldung 1020 aus, um die Aufmerksamkeit des Fahrers auf die Peripherie des Fahrzeugs zu lenken, basierend auf einem Ergebnis des Erlernens der Situation in 10 (A), auch wenn das Fahrzeug 1 von dem geparktem Fahrzeug 1011 ausreichend weit entfernt ist. Somit wird die Mitteilung, die die Aufmerksamkeit des Fahrers auf die Peripherie des Fahrzeugs 1011 lenkt, ausgegeben, bevor das Fahrzeug 1 dem geparkten Fahrzeug 1011 nahekommt. Dies ermöglicht dem Fahrer, die Peripherie des geparkten Fahrzeugs 1011 zu überprüfen, bevor die Lenkung gesteuert wird, um das geparkte Fahrzeug 1011 zu vermeiden, während einer Route 1010 gefolgt wird. Dadurch kann eine Sicherheitsverbesserung erreicht werden. Die Information bezüglich der Sicherheitsüberprüfung, die in 10 (B) durchgeführt wird, wird ebenso in der Aktionsverlaufsdatenbank 401 gespeichert.
Somit, wenn der Fahrer eine Sicherheitsüberprüfung in der 10 (B) gezeigten Situation angemessen durchführt, nimmt der Mitteiler 407 davon Abstand, die Mitteilung zum Warnen des Fahrers bezüglich der Peripherie des Fahrzeugs bei der nächsten nachfolgenden Gelegenheit auszugeben. Dies kann die Ausgabe von unnötigen Mitteilungen an den Fahrer verhindern.
In dem Beispiel von 10 ist die Situation beschrieben, dass das geparkte Fahrzeug 1011 vorhanden ist. Jedoch ist die Ausgabe der Mitteilung basierend auf den Entfernungsmessern 17 nicht auf solch eine Situation beschränkt und kann zum Beispiel auf eine Sicherheitsüberprüfung bei einer Abzweigung angewendet werden. Außerdem kann eine Abbildungskamera verwendet werden, um ein Straßenschild, wie etwa „STOP“, das auf die Straße gemalt ist, zu identifizieren, und eine Mitteilung kann ausgegeben werden, um den Fahrer aufzufordern, eine angemessene Sicherheitsüberprüfung durchzuführen, um sich mit dem Straßenschild zu befassen.
Die Mitteilung kann basierend auf dem Lenken des Fahrzeugs 1 ausgegeben werden. 11 stellt das Fahrzeug 1 des vorliegenden Ausführungsbeispiels dar, wenn es sich zum Beispiel zum Parken in einem Parkplatz rückwärts bewegt. In dem Beispiel von 11, wenn das Fahrassistenzsystem 100 ein Umschalten der Lenkung zu einer Rückwärtsbewegung in eine Fahrtrichtung 1100 erfasst, bestimmt der Vergleicher 406, ob eine vorhergehende Sicherheitsüberprüfungsaktion des Fahrers bezüglich Bereichen ähnlich den Bereichen 1111, 1112 und Hindernissen 1101, 1102 zur Zeit des Parkens des Fahrzeugs in einem Parkplatz ein vordefiniertes Erfordernis erfüllt oder nicht, durch Bezugnahme auf die Verlaufsdatenbank 401. Der Mitteiler 407 gibt eine Mitteilung basierend auf dem Ergebnis der Bestimmung aus, bevor das Fahrzeug 1 eine Rückwärtsbewegung startet. Dies ermöglicht dem Fahrer eine Sicherheitsüberprüfung vor einem Rückwärtsfahren durchzuführen.
Außerdem ist der Ort, an dem die Mitteilung ausgegeben wird, nicht auf den Ort beschränkt, an dem der Fahrer Schwierigkeiten beim Überprüfen einer Sicherheit hat, und kann ebenso an einem Ort mit einer guten Übersichtlichkeit ausgegeben werden. 12 stellt das Fahrzeug 1 dar, das an einer Kreuzung mit einer guten Übersichtlichkeit fährt. In dem Beispiel von 12 fahren ein Fahrzeug 1 und ein Fahrzeug 1201 bei der Kreuzung mit guter Übersichtlichkeit. Die in 12 gezeigte Kreuzung ist als eine Landstraße mit guter Übersichtlichkeit und ohne Ampeln definiert. In solch einer Situation tritt das Fahrzeug 1201 in das Sichtfeld des Fahrers des Fahrzeugs 1 ein.
In dem Beispiel von 12, während das Fahrzeug 1 eine Position 1221 und eine Position 1222 passiert, während es eine Route 1200 folgt, passiert das Fahrzeug 1201 eine Position 1231 und eine Position 1232, während es einer Route 1210 folgt.
Unterdessen tritt ein Phänomen auf, dass das menschliche Auge ein Objekt nicht erkennen kann, wenn es kontinuierlich in der gleichen Position im Sichtfeld bleibt. In dem Beispiel von 12 bleibt das Fahrzeug 1201 relativ an der gleichen Position, wenn von dem Fahrzeug 1 betrachtet. In solch einem Fall tritt das Phänomen auf, dass der Fahrer das Fahrzeug 1201 trotz der Tatsache, dass sich das Fahrzeug 1201 in der Sicht des Fahrers befindet, nicht erkennen kann. In solch einem Fall kann der Fahrer das Fahrzeug 1201 durch Bewegen ihres oder seines Kopfes erkennen, um die relative Position leicht zu verschieben.
Angesichts dessen gibt in dem vorliegenden Ausführungsbeispiel, nach einem Erkennen einer Kreuzung mit einer guten Übersichtlichkeit auf einer Fahrtroute des Fahrzeugs 1 basierend auf den Zielumgebungsdaten von der Fahrzeugnavigationseinrichtung 11, wenn der Vergleicher 406 bestimmt, dass der Fahrer in solch einer Verkehrsumgebung in der Vergangenheit ihren oder seinen Kopf nicht bewegt und umhergeschaut hat, der Mitteiler 407 eine Mitteilung aus, die den Fahrer auffordert, ihren oder seinen Kopf zu bewegen und umherzuschauen. Solch eine Mitteilung wird zum Beispiel an der Position 1221 ausgegeben. Nach dieser Mitteilung führt der Fahrer eine Sicherheitsüberprüfung durch, um dazu in der Lage zu sein, das Fahrzeug 1 zu erkennen. Dies kann bei einer Kreuzung mit guter Übersichtlichkeit eine Sicherheitsverbesserung erreichen.
Als Nächstes wird ein Aktualisierungsprozess bezüglich der Aktionsverlaufsdatenbank 401 beschrieben. 13 ist ein Ablaufdiagramm, das Schritte des Aktualisierungsprozesses bezüglich der Aktionsverlaufsdatenbank in dem Fahrassistenzsystem 100 des vorliegenden Ausführungsbeispiels zeigt.
Zuerst beschafft die Gesichtsbildeingabe 411 aufgenommenen Bilddaten der Gesichter der Fahrer (Schritt S1301). Als Nächstes extrahiert der Gesichtsdatenberechner 412 die Gesichtsformen von zwei oder mehr Subjekten und die Merkmalspunkte von deren Gesichtsteilen, inklusive der Augen und des Mundes, von den aufgenommenen Bilddaten, um dreidimensionale Gesichtsstrukturdaten zu berechnen, wie etwa durchschnittliche Gesichtsformen und die Positionen der Gesichtsteile (Schritt S1302).
Der Gesichtsdatenberechner 412 extrahiert Formparameter entsprechend dem Zustand einer graduellen Änderung der Augenformen von aufgenommenen Bildern von sich verschiedenartigen ändernden Bewegungen des Subjektes, die in Schritt S1301 erhalten werden, durch ein statistisches Datenanalyseverfahren, wie etwa eine Hauptkomponentenanalyse, gemäß der dreidimensionalen Gesichtsmodellerzeugungsprozedur, die in einer Nichtpatentliteratur offenbart ist, „Automatic Individualization of Eye Region Model using Active Appearance Model Search“ by Tsuyoshi MORIYAMA, Takeo KANADE, Jeffrey F. COHN und Shinji OZAWA, Image Recognition and Understanding Symposium (MIRU2006).
Der Gesichtsdatenberechner 412 erzeugt Variationsinformationen, die den Zustand einer schrittweisen Änderung der Augenform und einen Formenparameter darstellen. Die Ausrichtung der Sichtlinie des Fahrers kann von den Variationsinformationen und der Position des Gesichts des Fahrers spezifiziert werden.
Der Modellgenerator 413 erzeugt die berechnete dreidimensionale Gesichtsdatenstruktur, das heißt, die durchschnittlichen Gesichtsformen, die Positionen der Gesichtsteile und die Variationsinformationen als ein dreidimensionales Gesichtsmodell (S1303).
Der Aktionsbeschaffer 414 beschafft dann Informationen über eine Aktion des Fahrers von dem dreidimensionalen Gesichtsmodell (Schritt S1304). Es wird angenommen, dass die Informationen über eine Aktion des Fahrers kontinuierlich beschafft werden, während der Fahrer das Fahrzeug fährt.
Der Verlaufsaktualisierer 415 aktualisiert die Aktionsverlaufsdatenbank 401 mit den Informationen über eine Aktion des Fahrers, die in Schritt S1304 beschafft wird, und die Verkehrsumgebungsdaten zur Zeit der Aktion des Fahrers, in Verknüpfung miteinander (Schritt S1305).
Durch die vorstehende Prozedur werden Aktionen des Fahrers, die in Verkehrsumgebungen vorgenommen werden, gesammelt.
Zweites Ausführungsbeispiel
Das erste Ausführungsbeispiel hat das Beispiel des Beschaffens der Zielumgebungsinformationen, die die Verkehrsumgebung des Ziels des Fahrzeugs 1 darstellen, von der Fahrzeugnavigationseinrichtung 11 beschrieben. Jedoch ist es nicht gedacht, dass das vorstehende Ausführungsbeispiel auf solch ein Beschaffungsverfahren beschränkt ist. Ein zweites Ausführungsbeispiel wird ein Beispiel einer Schätzung basierend auf dem Fahrzustand eines Fahrers beschreiben.
14 ist ein Blockdiagramm, das die funktionale Konfiguration einer ECU 1400 des vorliegenden Ausführungsbeispiels darstellt. Die ECU 1400, die in 14 gezeigt ist, ist an Stelle der ECU 14 des ersten Ausführungsbeispiels bereitgestellt, und umfasst zusätzlich einen Beschaffer 1402, der anders arbeitet als der Beschaffer 403 des ersten Ausführungsbeispiels, und eine Fahrstatusdatenbank 1401.
Die Fahrstatusdatenbank 1401 (Fahrstatusspeicher) speichert Fahrstatusinformationen, die einen Fahrstatus des Fahrers des Fahrzeugs 1 darstellen, und Informationen über die Verkehrsumgebung, wenn der Fahrer in dem betreffenden Fahrzustand fährt, in Verknüpfung miteinander. Mit anderen Worten können mit Bezug auf die Fahrstatusdatenbank 1401 eine momentane Verkehrsumgebung und die Verkehrsumgebung eines Ziels von einem momentanen Fahrzustand geschätzt werden.
Der Fahrstatusdatenbank 1401 enthält zum Beispiel Informationen, die angeben, dass das Fahrzeug 1 wahrscheinlich an einer Kreuzung rechts abbiegt, wenn das Fahrzeug bei einer ersten Geschwindigkeit an einem gegebenen Punkt vor der Kreuzung fährt.
Der Beschaffer 1402 schätzt, wie das Fahrzeug in der Verkehrsumgebung des Ziels fährt, basierend auf dem momentanen Fahrzustand, mit Bezug auf die Fahrstatusdatenbank 1401. Zum Beispiel schätzt der Beschaffer 1402 ein Rechtsabbiegen des Fahrzeugs 1 an der Kreuzung, wenn das Fahrzeug 1 mit der ersten Geschwindigkeit an dem gegebenen Punkt vor der Kreuzung fährt. Somit, ohne eine Route zu dem finalen Ziel, das in der Fahrzeugnavigationseinrichtung 11 eingestellt ist, kann die ECU 1400 das Ziel des Fahrzeugs 1 und die Verkehrsumgebung des Ziels des Fahrzeugs 1 basierend auf den Fahrzustand des Fahrzeugs 1 schätzen.
Somit, gemäß der ECU 1400 des vorliegenden Ausführungsbeispiels, zum Beispiel, schätzt der Beschaffer 1402 ein Rechtsabbiegen des Fahrzeugs 1 an der nächsten Kreuzung, vergleicht der Vergleicher 406, ob die vorhergehende Sicherheitsüberprüfungsaktion des Fahrers des Fahrzeugs 1 zur Zeit des Rechtsabbiegens an einer Kreuzung das Erfordernis erfüllt, und kann der Mitteiler 407 eine Mitteilung basierend auf dem Ergebnis des Vergleichs ausgeben.
Das vorliegende Ausführungsbeispiel ist nicht auf solch eine Fahrtroutenschätzung basierend auf dem vorhergehenden Fahrzustand des Fahrers beschränkt. Wenn zum Beispiel das Fahrzeug 1 sich auf einer oft befahrenen Route befindet, kann der Beschaffer 1402 ohne ein Einstellen der Fahrtroute zu dem finalen Ziel die Verkehrsumgebung, in der das Fahrzeug 1 fahren wird, unter der Voraussetzung schätzen, dass das Fahrzeug 1 entlang der häufig gefahrenen Route fährt. Wenn das Fahrzeug 1 zum Beispiel an einem Morgen eines Wochentags aktiviert wird, kann der Beschaffer 1402 Verkehrsumgebungsinformationen beschaffen, unter der Voraussetzung, dass das Fahrzeug entlang einer Fahrtroute zu einer Arbeitsstelle fährt.
Das vorstehende Ausführungsbeispiel hat eine Mitteilung im Voraus basierend auf bestimmten Verkehrsinformationen beschrieben, bevor das Fahrzeug 1 in die Verkehrsumgebung einfährt. Die Mitteilung kann zum Auffordern einer Sicherheitsüberprüfung für die Verkehrsumgebung dienen. Durch diese Mitteilung kann der Fahrer im Voraus eine Sicherheitsüberprüfung durchführen. Dadurch kann eine Sicherheitsverbesserung erreicht werden.
Während bestimmte Ausführungsbeispiele beschrieben wurden, wurden die Ausführungsbeispiele nur als Beispiel präsentiert, und nicht, um den Umfang der Erfindungen zu beschränken. Tatsächlich können die neuen Ausführungsbeispiele, die hierin beschrieben sind, in einer Vielzahl von anderen Formen verkörpert werden; des Weiteren können verschiedene Weglassungen, Ersetzungen und Änderungen in der Form der Ausführungsbeispiele, die hierin beschrieben sind, vorgenommen werden, ohne sich vom Geist der Erfindung zu entfernen. Die anhängenden Ansprüche und deren Äquivalente sind dazu gedacht, solche Formen oder Modifikationen, die innerhalb des Umfang und des Geistes der Erfindung liegen würden, abzudecken.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2004347464 [0002]
JP 2002083400 [0002]
JP 04332100 [0002]

Claims

Fahrassistenzeinrichtung, mit: einem Beschaffer, der erste Umgebungsinformationen beschafft, die eine Umgebung eines Fahrpunktes eines Fahrzeugs nach einem Ablauf einer gegebenen Zeitlänge von einem momentanen Fahrpunkt des Fahrzeugs darstellen; einem Überprüfungsinformationsspeicher, der zweite Umgebungsinformationen und Überprüfungsaktionsinformationen in Verknüpfung miteinander speichert, wobei die zweiten Umgebungsinformationen eine Umgebung eines Punktes, an dem das Fahrzeug gefahren ist, darstellen, und die Überprüfungsaktionsinformationen eine notwendige Aktion des Fahrers in der Umgebung, die durch die zweiten Umgebungsinformationen angegeben ist, darstellen; einem Aktionsinformationsspeicher, der dritte Umgebungsinformationen und tatsächliche Aktionsinformationen in Verknüpfung miteinander speichert, wobei die tatsächlichen Aktionsinformationen eine tatsächliche Aktion des Fahrers in der Umgebung, die durch die dritten Umgebungsinformationen angegebenen ist, darstellen; einem Vergleicher, der die Überprüfungsaktionsinformationen, die mit den zweiten Umgebungsinformationen der Umgebung, die durch die ersten Umgebungsinformationen angegeben sind, in dem Überprüfungsinformationsspeicher verknüpft sind, mit den tatsächlichen Aktionsinformationen, die mit den dritten Umgebungsinformationen der Umgebung, die durch die ersten Umgebungsinformationen angegeben sind, in dem Aktionsinformationsspeicher verknüpft sind, vergleicht; und einem Mitteiler, der eine Mitteilung basierend auf einem Ergebnis des Vergleichs durch den Vergleicher ausgibt, bevor das Fahrzeug in die Umgebung, die durch die ersten Umgebungsinformationen angegeben ist, fährt.
Fahrassistenzeinrichtung gemäß Anspruch 1, weiterhin mit: einem Aktionsbeschaffer, der Aktionsinformationen beschafft, die eine Aktion des Fahrers des Fahrzeugs darstellen; und einem Aktualisierer, der den Aktionsinformationsspeicher mit den dritten Umgebungsinformationen und der Aktionsinformationen in Verknüpfung miteinander aktualisiert, wobei die Aktionsinformationen durch den Beschaffer als die Aktion des Fahrers beschafft werden, wenn das Fahrzeug in der Umgebung fährt, die durch die dritten Umgebungsinformationen angegebenen ist.
Fahrassistenzeinrichtung gemäß einem der Ansprüche 1 oder 2, wobei der Beschaffer die ersten Umgebungsinformationen von einer Fahrzeugführungseinrichtung beschafft, die eine Route des Fahrzeugs zu einem Ziel basierend auf Karteninformationen herleitet.
Fahrassistenzeinrichtung gemäß einem der Ansprüche 1 oder 2, weiterhin mit einem Fahrstatusspeicher, der die dritten Umgebungsinformationen und Fahrstatusinformationen in Verknüpfung miteinander speichert, wobei die Fahrstatusinformationen einen Fahrzustand des Fahrers angeben, beim Fahren in einer Umgebung eines Punktes, der durch die dritten Umgebungsinformationen angegebenen ist, wobei der Beschaffer die ersten Umgebungsinformationen als eine geschätzte Fahrtrichtung des Fahrzeugs basierend auf den dritten Umgebungsinformationen, die mit den Fahrstatusinformationen, die einen momentanen Fahrzustand des Fahrers angeben, in dem Fahrstatusspeicher verknüpft sind, beschafft.
Fahrassistenzeinrichtung gemäß einem der Ansprüche 1 bis 4, wobei der Vergleicher bestimmt, ob eine Größe eines Sichtfeldes des Fahrers, die durch die tatsächlichen Aktionsinformationen als die tatsächliche Aktion des Fahrers angegeben ist, größer ist als eine Größe des Sichtfeldes des Fahrers, die durch die Überprüfungsaktionsinformationen angegeben ist, in dem der Fahrer eine Überprüfung durchführen muss; und der Mitteiler eine Mitteilung ausgibt, wenn bestimmt wird, dass die Größe des Sichtfeldes des Fahrers, die durch die tatsächlichen Aktionsinformationen angegeben ist, nicht größer ist als die Größe des Sichtfeldes, die durch die Überprüfungsaktionsinformationen angegeben ist, in dem der Fahrer eine Überprüfung durchführen muss.