DE102019128840A1

DE102019128840A1 - Fahrassistenzgerät

Info

Publication number: DE102019128840A1
Application number: DE102019128840.1A
Authority: DE
Inventors: Shinichiro Murakami
Original assignee: Aisin Seiki Co Ltd
Current assignee: Aisin Corp
Priority date: 2018-10-29
Filing date: 2019-10-25
Publication date: 2020-04-30
Also published as: US11440473B2; JP2020071537A; JP7222216B2; US20200130578A1

Abstract

Ein Fahrassistenzgerät umfasst einen Blickerfassungsabschnitt (400), der eine Blickverteilung eines Fahrers (302) für ein Fahrzeug (1) erfasst, einen Bildakquisitionsabschnitt (401), die ein aufgenommenes Bild von einer Abbildungsvorrichtung (15) akquiriert, der ein Bild in der Umgebung des Fahrzeugs aufnimmt, einen Fahrerinformationsakquisitionsabschnitt (402), der Fahrerinformationen akquiriert, die die Identifikation des Fahrers für das Fahrzeug erlauben, einen Erzeugungsabschnitt (403), der eine personalisierte Auffälligkeitskarte basierend auf dem aufgenommenen Bild und den Fahrerinformationen erzeugt, die personalisierte Auffälligkeitskarte, die als eine Auffälligkeitskarte für das aufgenommene Bild dient, und die sich abhängig von dem Fahrer unterscheidet, und einen Bestimmungsabschnitt (404), der bestimmt, ob der Fahrer zu einem visuellen Bestätigungsziel in der Umgebung des Fahrzeugs sieht oder nicht, durch Vergleich der durch den Blickerfassungsabschnitt erfassten Blickverteilung und der durch den Erzeugungsabschnitt erzeugten personalisierten Auffälligkeitskarte.

Description

TECHNISCHES GEBIET
Diese Offenbarung betrifft allgemein ein Fahrassistenzgerät.
TECHNISCHER HINTERGRUND
Gemäß einer bekannten Technik, wie beispielsweise in JP 2005-267108 A , JP 2017-4480 A und JP 2009-93341 A offenbart, wird eine Auffälligkeitskarte für ein durch eine Abbildungsvorrichtung erlangtes aufgenommenes Bild erzeugt, die ein Bild der Umgebung eines Fahrzeugs aufnimmt. Die auf die vorgenannte Weise erzeugte Auffälligkeitskarte wird mit einem Erfassungsergebnis einer Blickverteilung eines Fahrers des Fahrzeugs verglichen, um zu bestimmen, ob der Fahrer ein Subjekt, das visuell bestätigt werden sollte (d.h. ein visuelles Bestätigungsziel), in der Umgebung des Fahrzeugs erkennt oder nicht.
Gemäß der vorgenannten Technik wird verhindert, dass die Auffälligkeitskarte unter Verwendung von Fahrerinformationen erzeugt wird, auf deren Basis jeder Fahrer identifizierbar ist. Es ist daher nicht möglich, die Auffälligkeitskarte für jeden der verschiedenen Fahrer zu erzeugen, was eine Bestimmungsgenauigkeit verringert, ob der Fahrer ein Subjekt, das visuell bestätigt werden sollte, in der Umgebung des Fahrzeugs erkennt oder nicht.
Es besteht daher die Notwendigkeit für ein Fahrassistenzgerät, das eine Bestimmungsgenauigkeit verbessert, ob ein Fahrer eines Fahrzeugs ein Subjekt, das visuell bestätigt werden sollte, in der Umgebung des Fahrzeugs erkennt oder nicht.
ZUSAMMENFASSUNG
Gemäß einem Aspekt dieser Offenbarung umfasst ein Fahrassistenzgerät einen Blickerfassungsabschnitt, der eine Blickverteilung eines Fahrers für ein Fahrzeug erfasst, einen Bildakquisitionsabschnitt, der ein aufgenommenes Bild von einer Abbildungsvorrichtung akquiriert, die ein Bild in der Umgebung des Fahrzeugs aufnimmt, einen Fahrerinformationsakquisitionsabschnitt, der Fahrerinformationen akquiriert, die die Identifizierung des Fahrers für das Fahrzeug erlauben, einen Erzeugungsabschnitt, der eine personalisierte Auffälligkeitskarte basierend auf dem aufgenommenen Bild und den Fahrerinformationen erzeugt, die personalisierte Auffälligkeitskarte, die als Auffälligkeitskarte für das aufgenommene Bild dient, und die sich abhängig von dem Fahrer unterscheidet, und einen Bestimmungsabschnitt, der bestimmt, ob der Fahrer zu einem visuellen Bestätigungsziel in der Umgebung des Fahrzeugs sieht oder nicht, durch Vergleich der durch den Blickerfassungsabschnitt erfassten Blickverteilung und der durch den Erzeugungsabschnitt erzeugten personalisierten Auffälligkeitskarte.
Dementsprechend kann sich die Bestimmungsgenauigkeit, ob der Fahrer eine Gefahr in der Umgebung des Fahrzeugs erkennt oder nicht, verbessern.
Der Erzeugungsabschnitt erlernt ein generatives Modell durch ein generatives tiefgehendes neuronales Netz (bzw. generative deep neural network), wobei das generative Modell dazu eingerichtet ist, die personalisierte Auffälligkeitskarte basierend auf dem aufgenommenen Bild und den Fahrerinformationen zu erzeugen. Der Erzeugungsabschnitt erzeugt die personalisierte Auffälligkeitskarte durch das generative Modell.
Ein Teilmodul, das jedem Fahrer gewidmet ist, wird daher nicht benötigt und die personalisierte Auffälligkeitskarte kann bei dem Fahrzeug für jeden verschiedenen Fahrer erzeugt werden.
Das Fahrassistenzgerät umfasst des Weiteren einen Warnabschnitt, der den Fahrer vor Gefahr warnt, in einem Fall, in dem bestimmt wird, dass der Fahrer nicht zu dem visuellen Bestätigungsziel sieht.
Dementsprechend kann der Fahrer des Fahrzeugs einfach erkennen, dass er/sie nicht zu einem Subjekt in der Umgebung des Fahrzeugs sieht, das visuell bestätigt werden sollte (das visuelle Bestätigungsziel).
Der Fahrerinformationsakquisitionsabschnitt akquiriert die Fahrerinformationen einschließlich einer Fahrfertigkeit des Fahrers. Der Erzeugungsabschnitt erzeugt die personalisierte Auffälligkeitskarte basierend auf dem aufgenommenen Bild und den Fahrerinformationen, die sich abhängig von der Fahrfertigkeit des Fahrers unterscheidet. Der Bestimmungsabschnitt bestimmt die Fahrfertigkeit des Fahrers basierend auf der durch den Blickerfassungsabschnitt erfassten Blickverteilung und der durch den Erzeugungsabschnitt erzeugten personalisierten Auffälligkeitskarte.
Die ursprünglich ungewisse, zu spezifizierende Fahrfertigkeit des Fahrers kann so sehr genau bestimmt werden.
Der Warnabschnitt ändert eine Warnfrequenz basierend auf einem Bestimmungsergebnis der durch den Bestimmungsabschnitt bestimmten Fahrfertigkeit des Fahrers.
Der Fahrer wird dadurch nicht durch häufige Warnungen gestört, die auftreten können, obwohl der Fahrer eine hohe Fahrfertigkeit hat und die häufigen Warnungen nicht notwendig sind. In einem Fall, in dem die Fahrfertigkeit des Fahrers niedrig ist, so dass der Fahrer aktiv vor Gefahr gewarnt werden muss, ist eine sicherheitssensible Ausführung, bei der der Fahrer häufig auf Gefahren aufmerksam gemacht wird, erhältlich.
Der Warnabschnitt unterscheidet die Warnfrequenz zwischen einem Fall, in dem die personalisierte Auffälligkeitskarte für eine erste Fahrfertigkeit und die durch den Blickerfassungsabschnitt erfasste Blickverteilung voneinander abweichen und einem Fall, in dem die personalisierte Auffälligkeitskarte für eine zweite Fahrfertigkeit, die besser als die erste Fahrfertigkeit ist, und die durch den Blickerfassungsabschnitt erfasste Blickverteilung voneinander abweichen.
In einem Fall, in dem die personalisierte Auffälligkeitskarte für den Fahrer mit weniger Fahrfertigkeit und die durch den Blickerfassungsabschnitt erfasste Blickverteilung voneinander abweichen, wird der Fahrer davor bewahrt, von zu häufigen Warnungen für ein Subjekt gestört zu werden, das nur ein Fahrer mit wenig Fahrfertigkeit ansieht. Zusätzlich, in einem Fall, in dem die personalisierte Auffälligkeitskarte für den Fahrer mit hoher/besserer Fahrfertigkeit und die durch den Blickerfassungsabschnitt erfasste Blickverteilung voneinander abweichen, wird der Fahrer häufig vor Gefahr gewarnt, weil das Subjekt, das gesehen und bestätigt werden soll, möglicherweise existiert, so dass der Fahrer darin bestärkt wird, zu dem Subjekt zu sehen und es zu bestätigen.
Der Erzeugungsabschnitt erzeugt eine Bottom-Up-Auffälligkeitskarte basierend auf dem aufgenommenen Bild und erzeugt eine Top-Down-Auffälligkeitskarte, durch Entfernen der Bottom-Up-Auffälligkeitskarte von der personalisierten Auffälligkeitskarte. Hierbei unterscheidet der Erzeugungsabschnitt die Warnfrequenz zwischen einem Fall, in dem die durch den Blickerfassungsabschnitt erfasste Blickverteilung und die Bottom-Up-Auffälligkeitskarte voneinander abweichen und einem Fall, in dem die durch den Blickerfassungsabschnitt erfasste Blickverteilung und die Top-Down-Auffälligkeitskarte voneinander abweichen.
In einem Fall in dem die Bottom-Up-Auffälligkeitskarte und die durch den Blickerfassungsabschnitt erfasste Blickverteilung voneinander abweichen, wird verhindert, dass der Fahrer durch eine Situation gestört wird, in der der Fahrer häufig vor Gefahr gewarnt wird, obwohl die Notwendigkeit für ein ständiges Nachsehen (bzw. steady gazing) zur Sicherheitsbestätigung niedrig ist. In einem Fall, in dem die Top-Down-Auffälligkeitskarte und die durch den Blickerfassungsabschnitt erfasste Blickverteilung voneinander abweichen, so dass ein ständiges Nachsehen für eine Sicherheitsübereinstimmung für den Fahrer notwendig ist, wird der Fahrer häufig vor Gefahr gewarnt, um sich eines Bereichs bewusst zu sein, zu dem zur Sicherheitsbestätigung gesehen werden sollte.
Figurenliste
Die vorangegangenen und zusätzlichen Merkmale und Charakteristiken dieser Offenbarung werden offensichtlicher durch die folgende detaillierte Beschreibung, die unter Bezugnahme auf die beigefügten Zeichnungen betrachtet wird, wobei:

1 eine perspektivische Ansicht ist, die ein Fahrzeug veranschaulicht, durch dessen Innenraum teilweise hindurchgesehen wird, wobei an dem Fahrzeug ein Fahrassistenzgerät gemäß einem ersten Ausführungsbeispiel befestigt ist;
2 ein Diagramm ist, das eine Anordnung einer Fahrerüberwachungskamera an dem Fahrzeug gemäß dem ersten Ausführungsbeispiel veranschaulicht;
3 ein Blockdiagramm einer Funktionskonfiguration des Fahrzeugs gemäß dem ersten Ausführungsbeispiel ist;
4 ein Blockdiagramm einer Funktionskonfiguration einer ECU ist, die bei dem Fahrzeug gemäß dem ersten Ausführungsbeispiel bereitgestellt ist;
5 ein Diagramm ist, das eine Verarbeitung zur Erzeugung einer personalisierten Auffälligkeitskarte bei dem Fahrzeug gemäß dem ersten Ausführungsbeispiel erklärt;
6 ein Diagramm ist, das eine Verarbeitung zur Bestimmung von Fahrfertigkeit eines Fahrers bei dem Fahrzeug gemäß einem zweiten Ausführungsbeispiel erklärt; und
7 ein Diagramm ist, das eine Verarbeitung zur Warnung eines Fahrers vor Gefahr bei dem Fahrzeug gemäß einem dritten Ausführungsbeispiel erklärt.

DETAILLIERTE BESCHREIBUNG
Die hier offenbarten Ausführungsbeispiele werden mit Bezug auf die beigefügten Zeichnungen erklärt. Konfigurationen der nachfolgend beschriebenen Ausführungsbeispiele sowie Operationen, Ergebnisse und Wirkungen, die durch solche Konfigurationen hervorgerufen werden, sind Beispiele. Die Ausführungsbeispiele sind durch andere Konfigurationen als die folgenden Konfigurationen erreichbar, und es kann mindestens eine von den verschiedenen Wirkungen basierend auf der Grundkonfiguration und den abgeleiteten Wirkungen erzielt werden.
Ein Fahrzeug, an dem ein Fahrassistenzgerät gemäß den Ausführungsbeispielen befestigt ist kann ein Automobil mit einem Verbrennungsmotor (Maschine) als eine Antriebsquelle (d.h. ein Automobil mit Verbrennungsmotor), ein Automobil mit einem Elektromotor (Motor) als eine Antriebsquelle (d.h. beispielsweise ein Elektroautomobil und ein Brennstoffzellenautomobil), oder beispielsweise ein Automobil mit sowohl der Maschine als auch dem Motor als Antriebsquelle (d.h. ein Hybridautomobil) sein. Das Fahrzeug kann alle Arten von Getriebevorrichtungen und alle Arten von Vorrichtungen einschließlich Systeme und Komponenten umfassen, beispielsweise zum Betreiben des Verbrennungsmotors oder des Elektromotors. Beispielsweise können ein System, die Anzahl und ein Layout einer Vorrichtung zum Betreiben der Räder des Fahrzeugs angemessen eingesetzt oder spezifiziert werden.
Ein erstes Ausführungsbeispiel ist mit Bezug zu 1 und 2 erklärt. Wie in 1 veranschaulicht umfasst ein Fahrzeug 1 eine Fahrzeugkarosserie 2, einen Lenkabschnitt 4, und eine Überwachungsvorrichtung 11.
Die Fahrzeugkarosserie 2 umfasst einen Fahrzeuginnenraum 2a, in dem sich ein Fahrer befindet. Der Lenkabschnitt 4 ist beispielsweise innerhalb des Fahrzeuginnenraums 2a vorgesehen, um sich gegenüber einem Sitz 2b für einen Fahrer, der als ein Passagier dient, zu befinden. Der Lenkabschnitt 4 ist ein Lenkrad (Lenkgriff), der beispielsweise von einem Armaturenbrett (Instrumentenbrett) 12 herausragt.
Die Überwachungsvorrichtung 11 ist im Wesentlichen in der Mitte des Armaturenbretts 12 in einer Fahrzeugbreitenrichtung, d.h. in dessen rechten und linken Richtung vorgesehen. Die Überwachungsvorrichtung 11 umfasst eine Anzeigevorrichtung 8 (vergleiche 3) und eine Tonausgabevorrichtung 9 (vergleiche 3). Die Anzeigevorrichtung 8 ist beispielsweise eine Flüssigkristallanzeige (LCD) oder eine organische Elektrolumineszenzanzeige (OELD). Die Tonausgabevorrichtung 9 ist beispielsweise ein Lautsprecher. Die Anzeigevorrichtung 8 ist mit einem Bedieneingabeabschnitt 10 (vergleiche 3) bedeckt, das transparent ist, wie beispielsweise ein Touchpanel.
Ein Passagier des Fahrzeugs 1 kann visuell ein Bild, das in einem Anzeigebildschirm der Anzeigevorrichtung 8 angezeigt wird, über den Bedieneingabeabschnitt 10 bestätigen. Der Passagier kann visuell das Bild, das in dem Anzeigebildschirm der Anzeigevorrichtung 8 angezeigt wird, über den Bedieneingabeabschnitt 10 bestätigen. Der Passagier kann eine Bedieneingabe durch Berühren, Herunterdrücken oder Bewegen des Bedieneingabeabschnitts 10 mit beispielsweise seinen Fingern durchführen, an einer Position entsprechend dem Bild, das in dem Anzeigebildschirm der Anzeigevorrichtung 8 angezeigt wird.
Wie in 2 veranschaulicht, ist eine Fahrerüberwachungskamera 201 an einer Griffsäule 202 befestigt. Die Fahrerüberwachungskamera 201 wird beispielsweise durch eine ladungsgekoppelte Vorrichtung (CCD) gebildet. Ein Ansichtswinkel und eine Position der Fahrerüberwachungskamera 201 werden angepasst, so dass das Gesicht eines Fahrers 302, der auf dem Sitz 2b sitzt, sich in der Mitte eines Sichtfelds der Kamera 201 befindet. Die Fahrerüberwachungskamera 201 nimmt sequenziell ein Bild des Gesichts des Fahrers 302 auf und gibt sequenziell Bilddaten solcher aufgenommenen Bilder aus.
Wie in 1 veranschaulicht ist das Fahrzeug 1 beispielsweise ein vierrädriges Automobil, wobei rechte und linke Vorderräder 3F und rechte und linke Hinterräder 3R umfasst sind. Alle der oben genannten vier Räder 3 (3F und 3R) sind lenkbar.
Wie in 1 veranschaulicht ist das Fahrzeug 1 mit vielen Abbildungsvorrichtungen 15 (On-Board-Kameras) ausgestattet. In dem vorliegenden Ausführungsbeispiel umfasst das Fahrzeug 1 beispielsweise vier Abbildungsvorrichtungen 15a bis 15d. Jede der Abbildungsvorrichtungen 15 ist eine Digitalkamera, die beispielsweise ein Abbildungselement wie eine ladungsgekoppelte Vorrichtung (CCD) und einen CMOS Bildsensor (CIS) umfasst. Die Abbildungsvorrichtung 15 kann ein Bild der Umgebung des Fahrzeugs 1 mit einer vorbestimmten Bildrate aufnehmen. Die Abbildungsvorrichtung 15 gibt ein aufgenommenes Bild aus, das durch Aufnahme des Bildes der Umgebung des Fahrzeugs 1 akquiriert wurde. Die Abbildungsvorrichtung 15 hat eine Weitwinkellinse oder eine Fischaugenlinse und kann einen Bereich von beispielsweise 140° bis 220° in einer horizontalen Richtung fotografieren. Eine optische Achse der Abbildungsvorrichtung 15 kann möglicherweise schräg nach unten eingestellt sein.
Insbesondere ist die Abbildungsvorrichtung 15a an einem hinteren Endabschnitt der Fahrzeugkarosserie 2 positioniert und ist an einem Wandabschnitt beispielsweise unterhalb eines Kofferraumdeckels bereitgestellt. Die Abbildungsvorrichtung 15a kann ein Bild eines hinteren Bereichs des Fahrzeugs 1 von der Umgebung des Fahrzeugs 1 aufnehmen. Die Abbildungsvorrichtung 15b befindet sich an einer rechten Seite der Fahrzeugkarosserie 2, d.h. an einem rechten Endabschnitt in der Fahrzeugbreitenrichtung und ist beispielsweise an einem rechten Türspiegel bereitgestellt. Die Abbildungsvorrichtung 15b kann ein Bild eines Seitenbereichs des Fahrzeugs 1 von der Umgebung des Fahrzeugs 1 aufnehmen. Die Abbildungsvorrichtung 15c befindet sich an einer vorderen Seite der Fahrzeugkarosserie 2, d.h. an einem vorderen Endabschnitt des Fahrzeugs 1 in einer Vorwärts-Rückwärtsrichtung und ist beispielsweise an einer vorderen Stoßstange oder einem vorderen Grill bereitgestellt. Die Abbildungsvorrichtung 15c kann ein Bild eines vorderen Bereichs des Fahrzeugs 1 von der Umgebung des Fahrzeugs 1 aufnehmen. Die Abbildungsvorrichtung 15d befindet sich an einer linken Seite der Fahrzeugkarosserie 2, d.h. an einem linken Endabschnitt in der Fahrzeugbreitenrichtung und ist beispielsweise an einem linken Türspiegel bereitgestellt. Die Abbildungsvorrichtung 15d kann ein Bild eines Seitenbereichs des Fahrzeugs 1 von der Umgebung des Fahrzeugs 1 aufnehmen.
Als nächstes ist eine Funktionskonfiguration des Fahrzeugs 1 gemäß dem vorliegenden Ausführungsbeispiel mit Bezug zu 3 erklärt. Wie in 3 veranschaulicht, umfasst das Fahrzeug 1 beispielsweise eine elektronische Steuereinheit (ECU) 14, die Überwachungsvorrichtung 11, ein Lenksystem 13, ein Bremssystem 18, einen Lenkwinkelsensor 19, einen Beschleunigungssensor 20, einen Schaltsensor 21 und einen Reifengeschwindigkeitssensor 22, die elektrisch miteinander über ein fahrzeuginternes Netz 23 verbunden sind, das als eine elektrische Kommunikationsleitung dient. Das fahrzeuginterne Netz 23 ist beispielsweise als ein Controller Area Network (CAN) eingerichtet.
Das Lenksystem 13 ist beispielsweise ein elektrisches Energielenksystem oder eine Steuerung über ein Drahtsystem (bzw. steer by wire (SBW)). Das Lenksystem 13 umfasst einen Aktuator 13a und einen Drehmomentsensor 13b. Das Lenksystem 13, das beispielsweise durch die ECU 14 elektrisch gesteuert wird, betreibt den Aktuator 13a, so dass ein Drehmoment an dem Lenkabschnitt 4 als eine zusätzliche Lenkkraft angelegt wird. Der Lenkabschnitt 4 lenkt die Reifen 3 dementsprechend. Der Drehmomentsensor 13b erfasst ein Drehmoment, das an dem Lenkabschnitt 4 durch den Fahrer angelegt wird, und überträgt ein Erfassungsergebnis an die ECU 14.
Das Bremssystem 18 umfasst ein Antiblockiersystem (ABS), das die Räder des Fahrzeugs 1 vom Blockieren während des Bremsens abhält und eine elektronische Stabilitätssteuerung (ESC), die das Schleudern des Fahrzeugs 1 bei dessen Kurvenfahrt verhindert, ein elektrisches (Energie-) Bremssystem, das eine Bremsunterstützung durch Erhöhung einer Bremskraft durchführt, und eine Drahtbremse (BBW).
Das Bremssystem 18 umfasst beispielsweise einen Aktuator 18a und einen Bremssensor 18b. Das Bremssystem 18 wird beispielsweise elektrisch durch die ECU 14 gesteuert, um eine Bremskraft an jeden der Reifen 3 über den Aktuator 18a anzulegen. Das Bremssystem 18 kann beispielsweise eine Steuerung durchführen, um die Räder des Fahrzeugs 1 vom Blockieren während des Bremsens abzuhalten, um ein Durchdrehen der Räder 3 zu vermieden, um ein Schleudern zu verhindern, indem ein Anzeichen erkannt wird, dass die Räder, blockieren und um ein Schleudern des Fahrzeugs 1 zu verhindern, beispielsweise basierend auf der Differenz der Rotationen zwischen dem rechten und dem linken Rad 3. Der Bremssensor 18b ist ein Wegsensor, der eine Position des Bremspedals erfasst, das als ein beweglicher Teil eines Bremsvorgangsabschnitts dient. Der Bremssensor 18b überträgt ein Erfassungsergebnis der Position des Bremspedals an die ECU 14.
Der Lenkwinkelsensor 19 erfasst einen Lenkumfang des Lenkabschnitts 4, wie beispielsweise eines Lenkrads. In dem Ausführungsbeispiel erfasst der Lenkwinkelsensor 19, der beispielsweise mit einem Hallelement eingerichtet ist, einen Rotationswinkel eines Rotationsteils des Lenkabschnitts 4 als den Lenkumfang und überträgt ein Erfassungsergebnis an die ECU 14. Der Beschleunigungssensor 20 ist ein Wegsensor, der eine Position des Beschleunigungspedals erfasst, das als ein beweglicher Teil eines Beschleunigungsvorgangsabschnitts dient. Der Beschleunigungssensor 20 überträgt ein Erfassungsergebnis an die ECU 14.
Der Schaltsensor 21 erfasst eine Position eines beweglichen Teils eines Gangschaltbedienabschnitts (beispielsweise einer Stange, einem Arm und einer Taste) und überträgt ein Erfassungsergebnis an die ECU 14. Der Reifengeschwindigkeitssensor 22 umfasst beispielsweise ein Hallelement, erfasst eine Rotationsmenge des Rads 3 und dessen Rotationszahl (eine Rotationsgeschwindigkeit) pro Zeiteinheit und überträgt ein Erfassungsergebnis an die ECU 14.
Die ECU 14, die beispielsweise von einem Computer gebildet ist und steuert das Fahrzeug 1 vollständig in einem Zustand, in dem Hardware und Software miteinander arbeiten. Insbesondere umfasst die ECU 14 eine zentrale Verarbeitungseinheit (CPU) 14a, einen schreibgeschützten Speicher (ROM) 14b, einen Direktzugriffsspeicher (RAM) 14c, eine Anzeigesteuerung 14d, eine Tonsteuerung 14e und einen Solid State Drive (SSD) (Flashspeicher) 14f. Die CPU 14a steuert das Fahrzeug 1 vollständig. Die CPU 14a liest Programme aus, die auf einer nichtflüchtigen Speichereinheit, wie beispielsweise dem ROM 14b, installiert und gespeichert sind, und führt eine arithmetische Verarbeitung basierend auf diesem Programm durch.
Der ROM 14b speichert beispielsweise verschiedene Programme und Parameter zum Ausführen solcher Programme. Der RAM 14c speichert vorläufig verschiedene Daten, die für die Berechnung auf der CPU 14a verwendet werden. Die Anzeigesteuerung 14d führt hauptsächlich eine Bildverarbeitung mit von jeder Abbildungsvorrichtung 15 akquirierten Bilddaten durch, die ein Bild in der Umgebung des Fahrzeugs 1 aufnimmt, und eine Synthese der auf der Anzeigevorrichtung 8 angezeigten Bilddaten während der auf der ECU 14 durchgeführten arithmetischen Verarbeitung. Die Tonsteuerung 14e führt hauptsächlich eine Verarbeitung der von der Tonausgabevorrichtung 9 ausgegebenen Ton-Daten unter der bei der ECU 14 durchgeführten arithmetischen Verarbeitung durch. Die SSD 14f, die eine wiederbeschreibbare, nichtflüchtige Speichereinheit ist, ist dazu eingerichtet, Daten zu speichern, auch wenn eine Energiequelle der ECU ausgeschalten ist.
Die CPU 14a, der ROM 14b und der RAM 14c können beispielsweise in das gleiche Gehäuse integriert sein. Die ECU 14 kann so eingerichtet sein, dass anstelle der CPU 14a ein anderer arithmetischer Logikprozessor oder eine andere Logikschaltung, wie beispielsweise ein digitaler Signalprozessor (DSP), verwendet wird. Darüber hinaus kann anstelle der SSD 14f eine Festplatte (HDD) vorgesehen werden oder die SSD 14f und die HDD können beispielsweise getrennt von der ECU 14 vorgesehen werden. Die Konfigurationen, Anordnungen und elektrischen Verbindungen der vorgenannten Sensoren und Aktoren sind Beispiele und können geeignet spezifiziert oder geändert werden.
Als nächstes wird eine Funktionskonfiguration der ECU 14, die bei dem Fahrzeug 1 gemäß dem vorliegenden Ausführungsbeispiel vorgesehen ist, mit Bezug zu 4 erklärt. Wie in 4 veranschaulicht umfasst die ECU 14 hauptsächlich einen Blickerfassungsabschnitt 400, einen Bildakquisitionsabschnitt 401, einen Fahrerinformationsakquisitionsabschnitt 402, einen Erzeugungsabschnitt 403, einen Bestimmungsabschnitt 404, und einen Warnabschnitt 405. Der Blickerfassungsabschnitt 400, der Bildakquisitionsabschnitt 401, der Fahrerinformationsakquisitionsabschnitt 402, der Erzeugungsabschnitt 403, der Bestimmungsabschnitt 404 und der Warnabschnitt 405 werden durch die CPU 14a der ECU 14 erzielt, die das Programm, das in dem ROM 14b gespeichert ist, ausführt. Alternativ können die vorgenannten Konfigurationen durch Hardware erzielt werden.
Der Blickerfassungsabschnitt 400 erfasst eine zu dem Fahrer 302 des Fahrzeugs 1 gehöhrende Blickverteilung der Augen (Blickverteilung). In dem vorliegenden Ausführungsbeispiel erfasst der Blickerfassungsabschnitt 400 ein Bild des Gesichts und/oder das/die Auge(n) des Fahrers 302 basierend auf einem aufgenommenen Bild, das durch die Fahrerüberwachungskamera 201 erlangt wurde, die das Bild des Fahrers 302 aufnimmt. Der Blickerfassungsabschnitt 400 erfasst die Blickverteilung des Fahrers 302 basierend auf dem erfassten Bild des Gesichts und/oder der Augen des Fahrers 302.
Der Bildakquisitionsabschnitt 401 fungiert als ein Akquisitionsabschnitt, der ein aufgenommenes Bild von der Abbildungsvorrichtung 15 akquiriert, die ein Bild in einer Fahrrichtung des Fahrzeugs 1 aufnimmt. In dem vorliegenden Ausführungsbeispiel akquiriert der Bildakquisitionsabschnitt 401 das aufgenommene Bild, das durch die Abbildungsvorrichtung 15 erlangt wird. Alternativ kann der Bildakquisitionsabschnitt 401 ein Bild akquirieren, das ein Messergebnis einer Distanz zwischen dem Fahrzeug 1 und einem Objekt in der Umgebung des Fahrzeugs 1 repräsentiert, das beispielsweise durch eine Lichtdetektion und- entfernung (LIDAR), eine Laufzeit-(TOF)-Kamera, ein Millimeterwellenradar oder ein Ultraschallsensor als ein aufgenommenes Bild gemessen wird.
Der Fahrerinformationsakquisitionsabschnitt 402 fungiert als ein Akquisitionsabschnitt, der Informationen über den Fahrer 302 des Fahrzeugs 1 (d.h. Fahrerinformationen) akquiriert. Die Fahrerinformationen dienen als Informationen, die eine Identifikation des Fahrers 302 erlauben, wie beispielsweise eine Subjektnummer die als eine dem Fahrer 302 zugewiesene Zahl dient, eine Fahrerfahrung des Fahrers 302 und das Geschlecht des Fahrers 302. In dem vorliegenden Ausführungsbeispiel akquiriert der Fahrerinformationsakquisitionsabschnitt 402 die Fahrerinformationen, die durch den Fahrer 302 über den Bedieneingabeabschnitt 10 eingegeben werden. In dem vorliegenden Ausführungsbeispiel akquiriert der Fahrerinformationsakquisitionsabschnitt 402 zusätzlich zu den Fahrerinformationen Fahrzeuginformationen. Die Fahrzeuginformationen dienen als Informationen, die einen Fahrzustand des Fahrzeugs 1 angeben, wie beispielsweise einen Lenkumfang des Lenkabschnitts 4, der durch den Lenkwinkelsensor 19 erfasst wird, und eine Geschwindigkeit des Fahrzeugs 1 basierend auf der Anzahl der Rotationen (Rotationsgeschwindigkeit) des Reifens 3, die durch den Reifengeschwindigkeitssensor 22 erfasst wird.
Der Erzeugungsabschnitt 403 erzeugt eine personalisierte Auffälligkeitskarte basierend auf dem aufgenommenen Bild, das durch den Bildakquisitionsabschnitt 401 erlangt wird, den Fahrerinformationen, und den durch den Fahrerinformationsakquisitionsabschnitt 402 akquirierten Fahrzeuginformationen. Die personalisierte Auffälligkeitskarte dient als eine Auffälligkeitskarte für das aufgenommene Bild und außerdem als eine Auffälligkeitskarte, die sich abhängig von dem Fahrer 302 unterscheidet oder variiert. Das heißt, Auffälligkeitskarten, die sich voneinander unterscheiden können, werden für die jeweiligen Fahrer erzeugt, um als personalisierte Auffälligkeitskarten zu dienen.
Da die personalisierte Auffälligkeitskarte, die sich abhängig von dem Fahrer 302 unterscheidet oder variiert, erzeugt wird, kann die Bestimmungsgenauigkeit, ob der Fahrer 302 eine Gefahr in der Umgebung des Fahrzeugs 1 erkennt oder nicht, durch einen Vergleich zwischen der personalisierten Auffälligkeitskarte für den Fahrer 302 und der durch den Blickerfassungsabschnitt 400 erfassten Blickverteilung verbessert werden. In dem vorliegenden Ausführungsbeispiel erzeugt der Erzeugungsabschnitt 403 ein generatives Modell basierend auf dem aufgenommenen Bild, den Fahrerinformationen und den Fahrzeuginformationen. Der Erzeugungsabschnitt 403 kann ein generatives Modell basierend auf zumindest dem aufgenommenen Bild und den Fahrerinformationen erzeugen.
In einem Fall, in dem die Auffälligkeitskarte für jedes Subjekt (in dem vorliegenden Ausführungsbeispiel jeder Fahrer 302) berechnet wird, unterscheidet sich die Berechnung der Auffälligkeitskarte abhängig von dem Subjekt (dem Fahrer 302). Um die Auffälligkeitskarte für jedes Subjekt zu erzeugen, wird ein Teilmodul, das jedem Subjekt gewidmet ist, notwendigerweise erzeugt. Da jedoch unzählige Subjekte als Fahrer in Betracht gezogen werden können, kann es schwierig sein, für jedes Subjekt (jeden Fahrer 302) im Hinblick auf eine am Fahrzeug 1 befestigte Anwendung ein Teilmodul zu generieren.
Dementsprechend erlernt, gemäß dem vorliegenden Ausführungsbeispiel, der Erzeugungsabschnitt 403 mittels einem generativen tiefgehenden neuronalen Netz ein generatives Modell (d.h. beispielsweise bedingter variabler auto-encoder (CVAE) und bedingter generativer gegnerischer Netze (CGAN)), das als ein einzelnes Modell dient, das dazu einrichtet ist, eine personalisierte Auffälligkeitskarte für jeden verschiedenen Fahrer 302 basierend auf dem aufgenommenen Bild, den Fahrerinformationen und den Fahrzeuginformationen zu erzeugen.
Der Erzeugungsabschnitt 403 erzeugt die personalisierte Auffälligkeitskarte für den Fahrer 302, für den die Blickverteilung durch den Blickerfassungsabschnitt 400 erfasst wird, unter Verwendung des generativen Modells, das der Erzeugungsabschnitt 403 erlernt hat. Ein Teilmodul, das jedem Fahrer 302 gewidmet ist, ist daher nicht notwendig, und die personalisierte Auffälligkeitskarte für jeden verschiedenen Fahrer (jeder Fahrer 302) kann bei dem Fahrzeug 1 erzeugt werden.
Alternativ kann der Erzeugungsabschnitt 403 mittels einem tiefgehenden neuronalen Netz (ein generatives tiefgehendes neuronales Netz oder ein erkennungstiefgehendes neuronales Netz (bzw. recognition deep neural network)) ein Modell erlernen, das dazu eingerichtet ist, eine globale Auffälligkeitskarte zu erzeugen, die als eine Auffälligkeitskarte dient, die nicht von jedem verschiedenen Fahrer 302 abhängig ist, basierend auf dem aufgenommenen Bild, den Fahrinformationen und den Fahrzeuginformationen. Der Erzeugungsabschnitt 403 kann dann mittels einem tiefgehenden neuronalen Netz ein generatives Modell erlernen, das dazu eingerichtet ist, eine personalisierte Auffälligkeitskarte zu erzeugen, die als eine Differenz zwischen der globalen Auffälligkeitskarte und einer Auffälligkeitskarte basierend auf dem aufgenommenen Bild dient.
Der Erzeugungsabschnitt 403 erlernt ein Modell, das dazu eingerichtet ist, eine sehr genaue globale Auffälligkeitskarte unter Verwendung von Daten aller Nutzer 302 zu erzeugen und erlernt ein generatives Modell, das dazu eingerichtet ist eine personalisierte Auffälligkeitskarte zu erzeugen, die als eine Differenz zwischen einer globalen Auffälligkeitskarte, die durch das vorgenannte Modell erzeugt wird und einer Auffälligkeitskarte basierend auf dem aufgenommenen Bild, dient. Die personalisierte Auffälligkeitskarte wird daher genau mit reduzierten Berechnungsmitteln erzeugt.
Der Bestimmungsabschnitt 404 vergleicht die durch den Blickerfassungsabschnitt 400 erfasste Blickverteilung und die durch den Erzeugungsabschnitt 403 erzeugte personalisierte Auffälligkeitskarte, um zu bestimmen, ob der Fahrer 302 zu einem Subjekt (Objekt) in der Umgebung des Fahrzeugs 1 sieht oder blickt, das visuell bestätigt werden sollte (d.h. ein visuelles Bestätigungsziel wie beispielsweise ein entgegenkommendes Fahrzeug, ein Signal, eine Werbung, eine Seitenstraße, und jemand der auf die Straße läuft). Da mittels der personalisierten Auffälligkeitskarte, die für jeden verschiedenen Fahrer 302 erzeugt wird, bestimmbar ist, ob der Fahrer 302 zu dem Objekt, das bestätigt werden sollte in der Umgebung des Fahrzeugs 1 sieht oder blickt, kann sich die Genauigkeit einer solchen Bestimmung verbessern.
In dem vorliegenden Ausführungsbeispiel bestimmt der Bestimmungsabschnitt 404, dass der Fahrer 302 nicht zu dem Objekt sieht, das in der Umgebung des Fahrzeugs 1 visuell bestätigt werden sollte, in einem Fall, in dem eine Differenz zwischen der durch den Blickerfassungsabschnitt 400 erfassten Blickverteilung, und der für den Fahrer 302 durch den Erzeugungsabschnitt 403 erzeugten personalisierten Auffälligkeitskarte, gleich oder größer als ein vorbestimmter Schwellwert ist. Andererseits, in einem Fall, in dem die Differenz zwischen der erfassten Blickverteilung und der erzeugten personalisierten Auffälligkeitskarte kleiner als der vorhergenannte vorbestimme Schwellwert ist, bestimmt der Bestimmungsabschnitt 404, dass der Fahrer 302 zu dem Objekt sieht, das in der Umgebung des Fahrzeugs 1 visuell bestätigt werden sollte.
Der Warnabschnitt 405 warnt den Fahrer 302 beispielsweise vor Gefahr, in einem Fall, in dem die Differenz zwischen der durch den Blickerfassungsabschnitt 400 erfassten Blickverteilung und der durch den Erzeugungsabschnitt 403 erzeugten personalisierten Auffälligkeitskarte gleich oder größer als der vorbestimmte Schwellwert ist. Der Fahrer 302 des Fahrzeugs 1 kann einfach erkennen, dass er/sie nicht zu dem Objekt sieht, das visuell in der Umgebung des Fahrzeugs 1 bestätigt werden sollte.
Der Warnabschnitt 405 warnt den Fahrer 302, dass der Fahrer 302 nicht zu dem Objekt in der Umgebung des Fahrzeugs 1 sieht, das visuell bestätigt werden sollte. In dem vorliegenden Ausführungsbeispiel warnt der Warnabschnitt 405 den Fahrer 302 durch Anzeige eines Bildes oder einer Nachricht, die angibt, dass der Fahrer 302 nicht zu dem Objekt sieht, das visuell in der Umgebung des Fahrzeugs 1 bestätigt werden sollte, auf der Anzeigevorrichtung 8 oder durch Ausgabe eines Tons von einer Tonausgabevorrichtung 9, der angibt, dass der Fahrer 302 nicht zu dem Objekt sieht, das visuell in der Umgebung des Fahrzeugs 1 bestätigt werden sollte.
Ein Beispiel der Erzeugung einer personalisierten Auffälligkeitskarte bei dem Fahrzeug 1 gemäß dem vorliegenden Ausführungsbeispiel ist mit Bezug zu 5 erklärt.
Wie in 5 veranschaulicht, erlernt der Erzeugungsabschnitt 403 beispielsweise ein generatives Modell, das dazu eingerichtet ist, eine personalisierte Auffälligkeitskarte PM1 für jeden verschiedenen Fahrer 302 durch ein generatives tiefgehendes neuronales Netz mit Eingaben eines aufgenommenen Bildes, das durch den Bildakquisitionsabschnitt 401 erlangt wird, dem Geschlecht, der Fahrerfahrung, Subjektnummer, und einer globalen Auffälligkeitskarte GM (Schritt S501) zu erzeugen. Der Erzeugungsabschnitt 403 erzeugt und gibt die personalisierte Auffälligkeitskarte PM1 für den Fahrer 302 aus, dessen Blickverteilung durch den Blickerfassungsabschnitt 400, mittels des generativen Modells erfasst wird, das der Erzeugungsabschnitt 403 erlernt hat (Schritt S502).
Die personalisierte Auffälligkeitskarte für jeden verschiedenen Fahrer 302 wird bei dem Fahrzeug 1 gemäß dem ersten Ausführungsbeispiel erzeugt. Ob der Fahrer 302 eine Gefahr in der Umgebung des Fahrzeugs 1 erkennt oder nicht, wird somit genau durch Vergleich zwischen der personalisierten Auffälligkeitskarte und der durch den Blickerfassungsabschnitt 400 erfassten Blickverteilung bestimmt.
Ein zweites Ausführungsbeispiel ist nachstehend beschrieben. Gemäß dem zweiten Ausführungsbeispiel werden Fahrerinformationen, die eine Fahrfertigkeit eines Fahrers umfassen, akquiriert. Es werden personalisierte Auffälligkeitskarten für verschiedene Fahrfertigkeiten basierend auf dem aufgenommenen Bild und den Fahrerinformationen erzeugt. Die erfasste Blickverteilung jedes Fahrers und die vorhergenannten personalisierten Auffälligkeitskarten werden verglichen, um die Fahrfertigkeit des entsprechenden Fahrers zu bestimmen. In der folgenden Erklärung werden hauptsächlich Konstruktionen erklärt, die sich von dem ersten Ausführungsbeispiel unterscheiden.
Der Fahrerinformationsakquisitionsabschnitt 402 akquiriert die Fahrerinformationen einschließlich die Fahrfertigkeit des Fahrers 302. Die vorgenannte Fahrfertigkeit korrespondiert zur Fahrfertigkeit des Fahrers 302 mit dem Fahrzeug 1. Beispielsweise dient die Fahrfertigkeit als Information, die die Fahrfertigkeit des Fahrers 302 angibt, wie beispielsweise, ob der Fahrer 302 ein erfahrener Fahrer oder ein Fahranfänger ist.
Der Erzeugungsabschnitt 403 erzeugt eine personalisierte Auffälligkeitskarte für jede Fahrfertigkeit des Fahrers 302 basierend auf dem aufgenommenen Bild, das durch den Bildakquisitionsabschnitt 401 akquiriert wird und den Fahrerinformationen, die die Fahrfertigkeit umfassen, die durch den Fahrerinformationsakquisitionsabschnitt 402 akquiriert werden.
Der Bestimmungsabschnitt 404 bestimmt die Fahrfertigkeit des Fahrers 302 durch Vergleich der personalisierten Auffälligkeitskarten für verschiedene Fahrfertigkeiten und der Blickverteilung des Fahrers 302, die durch den Blickerfassungsabschnitt 400 erfasst wird. In dem zweiten Ausführungsbeispiel bestimmt der Bestimmungsabschnitt 404 die Fahrfertigkeit des Fahrers 302 als die Fahrfertigkeit, die mit einer der personalisierten Auffälligkeitskarten übereinstimmt, deren Differenz zu der Blickverteilung am kleinsten.
Die Fahrfertigkeit wird vorzugsweise durch einen tatsächlichen Fahrbetrieb des Fahrzeugs 1 bestimmt. Die Fahrfertigkeit spiegelt die Fähigkeit wieder, eine Gefahr zur Zeit der Fahrt des Fahrzeugs 1 vorherzusagen. Die Bestimmung der Fahrfertigkeit des Fahrers 302 unter Verwendung der Blickverteilung, die durch den Blickerfassungsabschnitt 400 erfasst wird und der personalisierten Auffälligkeitskarte, die für jede Fahrfertigkeit spezifiziert ist, ermöglicht eine genaue Bestimmung der Fahrfertigkeit des Fahrers 302, die ursprünglich unsicher spezifiziert werden konnte.
Der Warnabschnitt 405 ändert oder passt eine Warnfrequenz basierend auf dem Bestimmungsergebnis der Fahrfertigkeit des Fahrers 302 an. Insbesondere erhöht der Warnabschnitt 405 die Warnfrequenz in einem Fall, in dem die Fahrfertigkeit des Fahrers 302 niedriger als eine vorbestimmte Fahrfertigkeit ist als die Warnfrequenz in einem Fall, in dem die Fahrfertigkeit des Fahrers 302 gleich oder besser als die vorbestimmte Fahrfertigkeit ist.
Der Fahrer 302 kann verärgert sein, wenn er häufig alarmiert wird (d.h. wenn der Fahrer häufig aufmerksam gemacht wird). Darüber hinaus kann es aufgrund des Einflusses des peripheren Sehens schwierig sein, einfach basierend auf der Blickverteilung (Blickpunkte), die durch den Blickerfassungsabschnitt 400 erfasst wird zu bestimmen, dass der Fahrer 302 nicht zu einem Objekt sieht, das visuell bestätigt werden soll. Die Warnung kann daher zu Unrecht erlassen werden.
Gemäß dem zweiten Ausführungsbeispiel ändert der Warnabschnitt 405 die Warnfrequenz abhängig von dem Bestimmungsergebnis der Fahrfertigkeit des Fahrers 302. Der Fahrer 302 wird dadurch nicht durch häufige Warnungen gestört, die auftreten können, obwohl der Fahrer 302 eine hohe Fahrfertigkeit hat und die häufigen Warnungen nicht notwendig sind. In einem Fall, in dem die Fahrfertigkeit des Fahrers 302 niedrig ist, so dass der Fahrer 302 aktiv vor Gefahr gewarnt werden muss, ist eine sicherheitssensible Ausführung, bei der der Fahrer 302 häufig auf Gefahren aufmerksam gemacht wird, erhältlich.
Der Warnabschnitt 405 kann das Bestimmungsergebnis der Fahrfertigkeit des Fahrers 302 an ein Computerterminal einer Versicherungsfirma für das Fahrzeug 1 übertragen. Die Versicherungsfirma, die das Bestimmungsergebnis der Fahrfertigkeit des Fahrers 302 teilt, kann eine bestmögliche Automobilversicherungsprämie abhängig von der Fahrfähigkeit des Fahrers 302 einstellen.
Ein Beispiel der Bestimmung der Fahrfähigkeit bei dem Fahrzeug 1 gemäß dem zweiten Ausführungsbeispiel ist mit Bezug zu 6 erklärt.
Wie in 6 veranschaulicht, erlernt der Erzeugungsabschnitt 403 in dem zweiten Ausführungsbeispiel ein generatives Modell, das dazu eingerichtet ist, eine personalisierte Auffälligkeitskarte PM2 für jede verschiedene Fahrfertigkeit durch ein generatives tiefgehendes neuronales Netz mit Eingaben von einem aufgenommenen Bild, das durch den Bildakquisitionsabschnitt 401 erlangt wird, dem Geschlecht, der Fahrerfahrung, der Subjektnummer und der globalen Auffälligkeitskarte GM (Schritt S601) zu erzeugen.
Der Blickerfassungsabschnitt 400 erfasst ein Gesichtsbild FG und ein Augenbild EG des Fahrers 302 von einem aufgenommenen Bild G1, das durch die Fahrerüberwachungskamera 201 erlangt wird, die ein Bild des Fahrers 302 aufnimmt (Schritt S602). Der Blickerfassungsabschnitt 400 erfasst eine Blickverteilung B des Fahrers 302 in einem aufgenommenen Bild G2 (beispielsweise das durch die Abbildungsvorrichtung 15 erlangte aufgenommene Bild, die ein Bild vor dem Fahrzeug 1 aufnimmt), das durch den Bildakquisitionsabschnitt 401 basierend auf dem erfassten Gesichtsbild FG und dem Augenbild EG erlangt wird, wie in 6 veranschaulicht (Schritt S603).
Als nächstes vergleicht der Bestimmungsabschnitt 404 die personalisierten Auffälligkeitskarten PM2 für die jeweiligen Fahrfertigkeiten und die Blickverteilung B in dem aufgenommenen Bild G2, wie in 6 veranschaulicht. Der Bestimmungsabschnitt 404 bestimmt dann die Fahrfertigkeit des Fahrers 302 als die Fahrfertigkeit, die der einen der personalisierten Auffälligkeitskarten PM2 entspricht, die die kleinste Differenz (Abweichung) von der erfassten Blickverteilung B hat (Schritt S604).
Gemäß dem zweiten Ausführungsbeispiel wird die Fahrfertigkeit des Fahrers 302 durch die durch den Blickerfassungsabschnitt 400 erfasste Blickverteilung und die personalisierten Auffälligkeitskarten für die jeweiligen Fahrfertigkeiten bestimmt. Die Fahrfertigkeit des Fahrers 302, die ursprünglich unsicher zu spezifizieren ist, kann daher sehr genau bestimmt werden.
Ein drittes Ausführungsbeispiel ist nachstehend beschrieben. Gemäß dem dritten Ausführungsbeispiel wird die Warnfrequenz zwischen einem Fall unterschieden, in dem die personalisierte Auffälligkeitskarte für eine erste Fahrfertigkeit und die Blickverteilung des Fahrers voneinander abweichen und einem Fall, in dem die personalisierte Auffälligkeitskarte für eine zweite Fahrfertigkeit, die höher/besser als die erste Fahrfertigkeit ist, und die Blickverteilung des Fahrers voneinander abweichen. Erklärungen für die gleichen Konstruktionen wie die des zweiten Ausführungsbeispiels werden weggelassen.
Der Warnabschnitt 405 ändert die Warnfrequenz zwischen einem Fall, in dem eine Differenz zwischen der personalisierten Auffälligkeitskarte für die Fahrfertigkeit für einen Fahranfänger und die durch den Blickerfassungsabschnitt 400 erfassten Blickverteilung größer als ein vorbestimmter Schwellwert ist und einem Fall, in dem eine Differenz zwischen der personalisierten Auffälligkeitskarte für die Fahrfertigkeit eines erfahrenen Fahrers und der durch den Blickerfassungsabschnitt 400 erfassten Blickverteilung größer als der vorbestimmte Schwellwert ist.
In einem Fall, in dem die personalisierte Auffälligkeitskarte für den Fahrer 302 mit wenig Fahrfertigkeit, wie beispielsweise einem Fahranfänger, und die durch den Blickerfassungsabschnitt 400 erfasste Blickverteilung voneinander abweichen, wird verhindert, dass der Fahrer 302 durch häufige Warnungen für das Objekt belästigt wird, zu dem nur der Fahrer 302 mit wenig Fahrfertigkeit sieht. Zusätzlich, in einem Fall, in dem die personalisierte Auffälligkeitskarte für den Fahrer 302 mit hoher Fahrfertigkeit, wie beispielsweise einem erfahrenen Fahrer, und die durch den Blickerfassungsabschnitt 400 erfasste Blickverteilung voneinander abweichen, wird der Fahrer 302 häufig vor Gefahr gewarnt, weil das Objekt, das gesehen und bestätigt werden soll, möglicherweise existiert, so dass der Fahrer 302 darin bestärkt wird, zu dem Objekt zu sehen, und es zu bestätigen.
In dem dritten Ausführungsbeispiel nimmt die Warnfrequenz in einem Fall zu, in dem die Differenz zwischen der personalisierten Auffälligkeitskarte für die Fahrfertigkeit beispielsweise eines Fahranfängers (welche als die erste Fahrfertigkeit dient), und der durch den Blickerfassungsabschnitt 400 erfassten Blickverteilung größer ist als der vorbestimmte Schwellwert. Jene Zunahme der Warnfrequenz erfolgt gegenüber einem Fall, in dem die Differenz zwischen der personalisierten Auffälligkeitskarte für die Fahrfertigkeit eines beispielsweise erfahrenen Fahrers (welche als die zweite Fahrfertigkeit dient, die besser als die erste Fahrfertigkeit ist), und der durch den Blickerfassungsabschnitt 400 erfassten Blickverteilung größer ist als der vorbestimmte Schwellwert.
Ein Beispiel zur Warnung eines Fahrers vor Gefahr bei dem Fahrzeug 1 gemäß dem dritten Ausführungsbeispiel ist mit Bezug zu 7 erklärt.
Wie in 7 veranschaulicht, erzeugt der Erzeugungsabschnitt 403 in dem dritten Ausführungsbeispiel die personalisierte Auffälligkeitskarte PM1 für den Fahrer 302 mit der ersten Fahrfertigkeit und die personalisierte Auffälligkeitskarte PM2 für den Fahrer 302 mit der zweiten Fahrfertigkeit durch das generative Modell basierend auf dem aufgenommenen Bild, das durch die Abbildungsvorrichtung 15 erlangt wird, die ein Bild in eine Fahrrichtung (beispielsweise in eine Vorwärtsrichtung) des Fahrzeugs 1 aufnimmt, den Fahrerinformationen und den Fahrzeuginformationen (Schritt S701).
Der Bestimmungsabschnitt 404 vergleicht die personalisierte Auffälligkeitskarte PM1 für den Fahrer 302 mit der ersten Fahrfertigkeit und die personalisierte Auffälligkeitskarte PM2 für den Fahrer 302 mit der zweiten Fahrfertigkeit, um einen Bestimmungsbereich 701 in einer personalisierten Auffälligkeitskarte PM3 zu extrahieren, die durch Kombination der personalisierten Auffälligkeitskarte PM1 und der personalisierten Auffälligkeitskarte PM2 erlangt wird. Der Bestimmungsbereich 701 umfasst eine Differenz in der Auffälligkeit zwischen der personalisierten Auffälligkeitskarte PM1 und der personalisierten Auffälligkeitskarte PM2, die größer ist als ein vorbestimmter Wert (Schritt S702).
Der Blickerfassungsabschnitt 400 erfasst das Gesichtsbild FG und das Augenbild EG des Fahrers 302 von dem aufgenommenen Bild G1, das durch die Fahrerüberwachungskamera 201 erlangt wird, wie in 7 veranschaulicht (Schritt S703). Der Blickerfassungsabschnitt 400 erfasst dann die Blickverteilung B des Fahrers 302 in dem aufgenommenen Bild G2 basierend auf dem erfassten Gesichtsbild FG und dem Augenbild EG (Schritt S704).
Der Blickerfassungsabschnitt 400 führt eine Bildverarbeitung an dem aufgenommenen Bild G2 durch, um Positionen der jeweiligen Objekte, d.h. die Positionen 702, 703 und 704 zu erfassen, die in dem aufgenommenen Bild G2 umfasst sind, wie in 7 veranschaulicht (Schritt S705). Der Blickerfassungsabschnitt 400 vergleicht die Blickverteilung B des Fahrers 302 in dem aufgenommenen Bild G2 und die Positionen 702, 703 und 704, die in dem aufgenommenen Bild G2 umfasst sind, um die Position des Objekts (beispielsweise die Position 703) zu dem der Fahrer 302 sieht, zu extrahieren.
Der Bestimmungsabschnitt 404 bestimmt, ob der Bestimmungsbereich 701 und die extrahierte Position 703 miteinander übereinstimmen. Abhängig von einem solchen Bestimmungsergebnis passt der Warnabschnitt 405 die Warnfrequenz an (Schritt S706) und warnt dann den Fahrer 302 (Schritt S707). In dem Beispiel, das in 7 veranschaulicht ist, stimmen der Bestimmungsbereich 701 und die Position 703 zu der der Fahrer 302 sieht, nicht miteinander überein. Der Warnabschnitt 405 erhöht daher die Warnfrequenz gegenüber einer vorbestimmten Warnfrequenz. In einem Fall, in dem der Bestimmungsbereich 701 und die Position des Objekts, zu der der Fahrer 302 sieht, übereinstimmen, verringert der Warnabschnitt 405 die Warnfrequenz oder behält die vorbestimmte Warnfrequenz bei.
Gemäß dem dritten Ausführungsbeispiel, in einem Fall, in dem die personalisierte Auffälligkeitskarte für den Fahrer 302 mit wenig Fahrfertigkeit und die durch den Blickerfassungsabschnitt 400 erfasste Blickverteilung voneinander abweichen, wird verhindert, dass der Fahrer 302 durch häufige Warnungen für die Objekte, zu denen nur der Fahrer 302 mit wenig Fahrfertigkeit sieht, belästigt wird. Zusätzlich, in einem Fall, in dem die personalisierte Auffälligkeitskarte für den Fahrer 302 mit hoher Fahrfertigkeit und die durch den Blickerfassungsabschnitt 400 erfasste Blickverteilung voneinander abweichen, wird der Fahrer 302 häufig vor Gefahr gewarnt, da das Objekt zu dem gesehen und bestätigt werden soll, möglicherweise existiert, so dass der Fahrer 302 darin bestärkt wird, zu dem Objekt zu sehen und es zu bestätigen.
Ein viertes Ausführungsbeispiel ist nachstehend beschrieben. Gemäß dem vierten Ausführungsbeispiel wird eine Bottom-Up-Auffälligkeitskarte basierend auf einem aufgenommenen Bild erzeugt, und eine Top-Down-Auffälligkeitskarte, die durch Entfernen der Bottom-Up-Auffälligkeitskarte von einer personalisierten Auffälligkeitskarte erlangt wird, wird erzeugt. Die Warnfrequenz wird zwischen einem Fall unterschieden, in dem die erfasste Blickverteilung und die Bottom-Up-Auffälligkeitskarte voneinander abweichen und einem Fall, in dem die erfasste Blickverteilung und die Top-Down-Auffälligkeitskarte voneinander abweichen. Erklärungen für die gleichen Konstruktionen wie die der vorgenannten Ausführungsbeispiele werden weggelassen.
Der Erzeugungsabschnitt 403 erzeugt die Bottom-Up-Auffälligkeitskarte, die beispielsweise durch Merkmale von Helligkeit und Neigung, eines aufgenommenen Bildes definiert sind, das durch den Bildakquisitionsabschnitt 401 akquiriert wird. Der Erzeugungsabschnitt 403 erzeugt dann die Top-Down-Auffälligkeitskarte, die als eine Differenz zwischen der Bottom-Up-Auffälligkeitskarte und der personalisierten Auffälligkeitskarte, die durch das generative Modell basierend auf dem aufgenommenen Bild, das durch den Bildakquisitionsabschnitt 401 erlangt wurde, den Fahrerinformationen und den Fahrzeuginformationen erzeugt wurde, dient.
Die Top-Down-Auffälligkeitskarte spiegelt größtenteils menschlichen Willen wieder, wie eine Bestätigung einer Werbung (Schild) in der Nähe eines Ausgangs einer Autobahn, eine Seitenstraße und jemanden/etwas der/das auf die Straße läuft. Die Top-Down-Auffälligkeitskarte umfasst relativ kleine Merkmale wie auf dem Bild, gibt aber eine Auffälligkeit in einem Bereich an, zu der der Fahrer 302, der beispielsweise zur Sicherheitsbestätigung voraussieht, höchstwahrscheinlich fortlaufend sieht.
Der Warnabschnitt 405 unterscheidet daher die Warnfrequenz zwischen dem Fall, in dem die durch den Blickerfassungsabschnitt 400 erfasste Blickverteilung und die Bottom-Up-Auffälligkeitskarte voneinander abweichen und dem Fall, in dem die vorgenannte erfasste Blickverteilung und die Top-Down-Auffälligkeitskarte voneinander abweichen. In dem vierten Ausführungsbeispiel erhöht der Warnabschnitt 405 die Warnfrequenz in dem Fall, in dem die erfasste Blickverteilung und die Top-Down-Auffälligkeitskarte voneinander abweichen, anders als in dem Fall, in dem die erfasste Blickverteilung und die Bottom-Up-Auffälligkeitskarte voneinander abweichen.
Gemäß dem vierten Ausführungsbeispiel, in einem Fall, in dem die Bottom-Up-Auffälligkeitskarte und die durch den Blickerfassungsabschnitt 400 erfasste Blickverteilung voneinander abweichen, wird verhindert, dass der Fahrer 302 durch eine Situation gestört wird, in der der Fahrer häufig gewarnt wird, obwohl die Notwendigkeit für ständiges Nachsehen zur Sicherheitsbestätigung niedrig ist. In einem Fall, in dem die Top-Down-Auffälligkeitskarte und die durch den Blickerfassungsabschnitt 400 erfasste Blickverteilung voneinander abweichen, so dass ein ständiges Nachsehen für eine Sicherheitsübereinstimmung für den Fahrer 302 notwendig ist, wird der Fahrer 302 häufig gewarnt, um sich eines Bereichs bewusst zu sein, zu dem zur Sicherheitsbestätigung gesehen werden sollte.
Die personalisierte Auffälligkeitskarte spiegelt einen Bereich wieder, zu dem der Fahrer 302 höchstwahrscheinlich fortlaufend sieht oder blickt, während der Fahrer 302 das Fahrzeug 1 fährt. Die personalisierte Auffälligkeitskarte ist daher anwendbar, um eine Anzeigeposition einer Werbung, die in der Nähe einer Straße, auf der das Fahrzeug 1 gefahren wird, zu optimieren. Insbesondere, gemäß dem vierten Ausführungsbeispiel, erzeugt der Erzeugungsabschnitt 403 die personalisierten Auffälligkeitskarten für jeweilige Attribute der Fahrer (beispielsweise das Geschlecht des Fahrers 302). Der Warnabschnitt 405 überträgt die personalisierten Auffälligkeitskarten, die für die jeweiligen Attribute erzeugt wurden, an ein Computerterminal eines Herstellers (Händlers), der die Werbung macht.
Der Hersteller, der eine solche Werbung macht, kann daher die Anzeigeposition der Werbung basierend auf den personalisierten Auffälligkeitskarten optimieren, die abhängig von den Attributen der Fahrer 302 und dem Inhalt der Werbung variieren. Beispielsweise kann eine Werbung für Frauen in einem Bereich platziert werden, zu dem ein weiblicher Fahrer einfach sieht. Mit der Entwicklung von automatisierten Fahren eines Fahrzeugs, kann sich eine Bewegung oder eine Handlung des Fahrers 302 innerhalb eines Fahrzeuginnenraums 2a ändern. Ein Fahrzeug kann ein Dienstmedium sein, das im Vergleich zu außerhalb des Fahrzeugs als Mobility as a Service (MaaS) bezeichnet wird. Bei solchen Umständen können Informationen, die durch den Fahrer 302 oder einen Passagier des Fahrzeugs 1 gewünscht werden und Dienstleistungen außerhalb des Fahrzeuges möglicherweise miteinander übereinstimmen, indem solche gewünschten Informationen und Werbeinhalte außerhalb des Fahrzeugs verbunden werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2005267108 A [0002]
JP 2017004480 A [0002]
JP 2009093341 A [0002]

Claims

Fahrassistenzgerät mit: einem Blickerfassungsabschnitt (400), der eine Blickverteilung eines Fahrers (302) für ein Fahrzeug (1) erfasst; einem Bildakquisitionsabschnitt (401), der ein aufgenommenes Bild von einer Abbildungsvorrichtung (15) akquiriert, die ein Bild in der Umgebung des Fahrzeugs (1) aufnimmt; einem Fahrerinformationsakquisitionsabschnitt (402), der Fahrerinformationen akquiriert, die die Identifikation des Fahrers (302) für das Fahrzeug (1) erlauben; einem Erzeugungsabschnitt (403), der eine personalisierte Auffälligkeitskarte basierend auf dem aufgenommenen Bild und den Fahrerinformationen erzeugt, die personalisierte Auffälligkeitskarte, die als eine Auffälligkeitskarte für das aufgenommene Bild dient, und die sich abhängig von dem Fahrer (302) unterscheidet; und einem Bestimmungsabschnitt (404), der bestimmt, ob der Fahrer (302) zu einem visuellen Bestätigungsziel in der Umgebung des Fahrzeugs (1) sieht oder nicht, durch Vergleich der durch den Blickerfassungsabschnitt (400) erfassten Blickverteilung, und der durch den Erzeugungsabschnitt (403) erzeugten personalisierten Auffälligkeitskarte.
Fahrassistenzgerät nach Anspruch 1, wobei der Erzeugungsabschnitt (403) ein generatives Modell basierend auf einem generativen tiefgehenden neuronalen Netz erlernt, wobei das generative Modell dazu eingerichtet ist, die personalisierte Auffälligkeitskarte basierend auf dem aufgenommenen Bild und den Fahrerinformationen zu erzeugen, der Erzeugungsabschnitt (403) die personalisierte Auffälligkeitskarte durch das generative Modell erzeugt.
Fahrassistenzgerät nach Anspruch 1 umfasst des Weiteren einen Warnabschnitt (405), der den Fahrer (302) vor Gefahr warnt, in einem Fall, in dem bestimmt wird, dass der Fahrer (302) das visuelle Bestätigungsziel nicht sieht.
Fahrassistenzgerät nach Anspruch 3, wobei der Fahrerinformationsakquisitionsabschnitt (402) die Fahrerinformationen einschließlich einer Fahrfertigkeit des Fahrers (302) akquiriert, der Erzeugungsabschnitt (403) die personalisierte Auffälligkeitskarte basierend auf dem aufgenommenen Bild und den Fahrerinformationen erzeugt, die sich abhängig von der Fahrfertigkeit des Fahrers (302) unterscheidet, und der Bestimmungsabschnitt (404) die Fahrfertigkeit des Fahrers (302) basierend auf der durch den Bilderfassungsabschnitt (400) erfassten Blickverteilung und der durch den Erzeugungsabschnitt (403) erzeugten personalisierten Auffälligkeitskarte bestimmt.
Fahrassistenzgerät nach Anspruch 4, wobei der Warnabschnitt (405) eine Warnfrequenz basierend auf dem Bestimmungsergebnis der Fahrfertigkeit des Fahrers (302), die durch den Bestimmungsabschnitt (404) bestimmt wird, ändert.
Fahrassistenzgerät nach Anspruch 4 oder 5, wobei der Warnabschnitt (405) die Warnfrequenz zwischen einem Fall unterscheidet, in dem die personalisierte Auffälligkeitskarte für eine erste Fahrfertigkeit und die durch den Blickerfassungsabschnitt (400) erfasste Blickerteilung voneinander abweicht und einem Fall, in dem die personalisierte Auffälligkeitskarte für eine zweite Fahrfertigkeit, die besser als die erste Fahrfertigkeit ist, und die durch den Blickerfassungsabschnitt (400) erfasste Blickverteilung voneinander abweicht.
Fahrassistenzgerät nach einem der Ansprüche 3 bis 6, wobei der Erzeugungsabschnitt (403) eine Bottom-Up-Auffälligkeitskarte basierend auf dem aufgenommenen Bild erzeugt und eine Top-Down-Auffälligkeitskarte durch Entfernen der Bottom-Up-Auffälligkeitskarte von der personalisierten Auffälligkeitskarte erzeugt, wobei der Erzeugungsabschnitt (403) die Warnfrequenz zwischen einem Fall unterscheidet, in dem die durch den Blickerfassungsabschnitt erfasste Blickverteilung und die Bottom-Up-Auffälligkeitskarte voneinander abweichen und einem Fall, in dem die durch den Blickerfassungsabschnitt erfasste Blickverteilung und die Top-Down-Auffälligkeitskarte voneinander abweichen.