DE112018004885T5

DE112018004885T5 - Assistenzverfahren und Assistenzsystem und dieses verwendende Assistenzvorrichtung

Info

Publication number: DE112018004885T5
Application number: DE112018004885.3T
Authority: DE
Inventors: Koichi Emura
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: PANASONIC AUTOMOTIVE SYSTEMS CO., LTD., YOKOHA, JP
Priority date: 2017-08-31
Filing date: 2018-08-07
Publication date: 2020-06-10
Also published as: WO2019044427A1; US11685390B2; US20230278566A1; US20200198649A1; JPWO2019044427A1; CN111295699B; CN111295699A; JP7329755B2

Abstract

Eine Fahrassistenzvorrichtung 40 führt eine Verarbeitung bezüglich eines Verhaltensmodells eines Fahrzeugs aus. Detektierte Informationen von dem Fahrzeug werden in eine Eingabeeinheit für erfasste Informationen 52 eingegeben. Eine Erfassungseinheit 60 leitet mindestens eines aus einem Fahrschwierigkeitsgrad eines Fahrzeugs, einem Wachsamkeitsgrad eines Fahrers und einem Fahrkenntnisgrad des Fahrers auf der Grundlage der erfassten Informationen, die in die Eingabeeinheit für erfasste Informationen 52 eingegeben werden, ab. Eine Bestimmungseinheit 62 bestimmt auf der Grundlage mindestens eines der von der Erfassungseinheit 60 abgeleiteten Informationselemente, ob eine Verarbeitung auszuführen ist oder nicht. Wenn die Bestimmungseinheit 62 eine Bestimmung vorgenommen hat, die Verarbeitung auszuführen, führt ein Prozessor 64 die Verarbeitung bezüglich des Verhaltensmodells aus. Es wird angenommen, dass der Prozessor 64 die Verarbeitung bezüglich des Verhaltensmodells nicht ausführt, wenn die Bestimmungseinheit 62 eine Bestimmung vorgenommen hat, die Verarbeitung nicht auszuführen.

Description

[Technisches Gebiet]
Die vorliegende Erfindung betrifft ein Assistenzverfahren, das die Verarbeitung bezüglich eines Verhaltensmodells ausführt, und ein Assistenzsystem und eine Assistenzvorrichtung, die das Assistenzverfahren verwenden.
[Technischer Hintergrund]
In der herkömmlichen Anwendung wurden Systeme untersucht, die eine Fahrumgebung eines Fahrzeugs und eine Fahrsituation eines Fahrers abschätzen und eine Fahrassistenz entsprechend der Fahrumgebung und der Fahrsituation ausführen. Das Ziel solcher Systeme ist eine genauere Ausführung der Fahrassistenz entsprechend dem Fahrer. Zum Beispiel werden detektierte Daten, die das Verhalten des Fahrzeugs und Bedienungen des Fahrers darstellen, detektiert, und die Fahrumgebung des Fahrzeugs wird auf der Grundlage der detektierten Daten bestimmt. Außerdem wird ein Abschätzungsmodell gespeichert, das für jeden Typ von Fahrumgebung erstellt wird, und es wird ein Abschätzungsmodell-Lernen auf der Grundlage der detektierten Daten ausgeführt. Darüber hinaus wird das Abschätzungsmodell verwendet, das dieser bestimmten Fahrumgebung entspricht, und die Fahrsituation des Fahrers wird auf der Grundlage der detektierten Daten abgeschätzt (siehe zum Beispiel Patentschrift 1).
[Liste der Anführungen]
[Patentliteratur]
[Patentschrift 1] Ungeprüfte japanische Patentveröffentlichung Nr. 2011-53798 .
[Zusammenfassung der Erfindung]
[Durch die Erfindung zu lösende Aufgabe]
Indem ein Abschätzungsmodell verwendet wird, das für jede Art von Fahrumgebung erstellt wird, kann eine Fahrsituation abgeschätzt werden, für die die Wirkung der Fahrumgebung nachlässt. Wenn sich der Fahrer indessen in einem Zustand mit geringem Wachsamkeitsgrad befindet, zum Beispiel wegen Schläfrigkeit, kann man sagen, dass der Zustand kein Zustand ist, der für das Fahren geeignet ist. Sogar wenn in einem solchen Zustand Lernen oder Abschätzen durchgeführt wird, ist die Genauigkeit des Lernens oder Abschätzens dann gering.
Die vorliegende Offenbarung wurde angesichts einer solchen Situation entwickelt, und die Aufgabe der vorliegenden Erfindung ist es, ein Verfahren zu schaffen, das das Ausführen von Lernen oder Abschätzen in Zustanden unterdrückt, die für das Lernen oder Abschätzen ungeeignet sind.
[Mittel zum Lösen des Problems]
Um das oben angegebene Problem zu lösen, ist ein Assistenzsystem der vorliegenden Erfindung ein Assistenzsystem, das die Verarbeitung in Bezug auf ein Verhaltensmodell ausführt, umfassend: eine Eingabeeinheit für detektierte Informationen, in den die detektierten Informationen eingegeben werden; eine Erfassungseinheit, die aufgebaut ist, auf der Grundlage der in die Eingabeeinheit für detektierte Informationen eingegebenen detektierten Informationen ein oder mehrere Informationselemente zu erfassen, die die Genauigkeit des Verhaltensmodells beeinflussen; eine Bestimmungseinheit, die aufgebaut ist auf der Grundlage des einen oder der mehreren von der Erfassungseinheit erfassten Informationselemente zu bestimmen, ob die Verarbeitung auszuführen ist oder nicht; und einen Prozessor, der aufgebaut ist, die Verarbeitung bezüglich des Verhaltensmodells auszuführen, wenn die Bestimmungseinheit eine Bestimmung vorgenommen hat, die Verarbeitung auszuführen. Es wird angenommen, dass der Prozessor die Verarbeitung bezüglich des Verhaltensmodells nicht ausführt, wenn die Bestimmungseinheit eine Bestimmung vorgenommen hat, die Verarbeitung nicht auszuführen.
Eine weitere Ausführungsform der vorliegenden Erfindung ist eine Assistenzvorrichtung. Diese Vorrichtung ist eine Assistenzvorrichtung, die die Verarbeitung bezüglich eines Verhaltensmodells ausführt, umfassend: eine Eingabeeinheit für detektierte Informationen, in die die detektierten Informationen eingegeben werden; eine Erfassungseinheit, die aufgebaut ist, auf der Grundlage der in die Eingabeeinheit für detektierte Informationen eingegebenen detektierten Informationen ein oder mehrere Informationselemente zu erfassen, die die Genauigkeit des Verhaltensmodells beeinflussen; eine Bestimmungseinheit, die aufgebaut ist auf der Grundlage der von der Erfassungseinheit erfassten Informationselemente zu bestimmen, ob die Verarbeitung auszuführen ist oder nicht; und einen Prozessor, der aufgebaut ist, die Verarbeitung bezüglich des Verhaltensmodells auszuführen, wenn die Bestimmungseinheit eine Bestimmung vorgenommen hat, die Verarbeitung auszuführen. Es wird angenommen, dass der Prozessor die Verarbeitung bezüglich des Verhaltensmodells nicht ausführt, wenn die Bestimmungseinheit eine Bestimmung vorgenommen hat, die Verarbeitung nicht auszuführen.
Noch eine weitere Ausführungsform der vorliegenden Erfindung ist ein Assistenzverfahren. Dieses Verfahren ist ein Assistenzverfahren, das die Verarbeitung bezüglich eines Verhaltensmodells ausführt, umfassend folgende Schritte: Eingeben von detektierten Informationen; auf der Grundlage der so eingegebenen detektierten Informationen Erfassen eines oder mehrerer Informationselemente, die die Genauigkeit des Verhaltensmodells beeinflussen; auf der Grundlage des einen oder der mehreren erfassten Informationselemente Bestimmen, ob die Verarbeitung auszuführen ist oder nicht; Ausführen der Verarbeitung bezüglich des Verhaltensmodells, wenn eine Bestimmung vorgenommen wurde, die Verarbeitung auszuführen; und Nicht-Ausführen der Verarbeitung bezüglich des Verhaltensmodells, wenn eine Bestimmung vorgenommen wurde, die Verarbeitung nicht auszuführen.
Es ist zu beachten, dass Konfigurationen, in denen optionale Kombinationen der oben erwähnten Bestandteile oder ein Teil der Bestandteile, wie etwa zum Beispiel der Prozessor, sequentiell oder gemeinsam in vorgegebenen Zeitabständen eines Tages oder dergleichen von einem Computer über ein Kommunikationsnetzwerk verarbeitet werden, oder Konfigurationen, die erhalten werden, indem Darstellungen der vorliegenden Erfindung zwischen Vorrichtungen, Systemen, Verfahren, Programmen oder Aufzeichnungsmedien, auf denen das Programm aufgezeichnet ist, und zwischen Fahrzeugen und dergleichen, in denen die Vorrichtungen installiert sind, übertragen werden, auch als Ausführungsform der vorliegenden Erfindung wirksam sind.
[Vorteilhafte Wirkungen der Erfindung]
Gemäß der vorliegenden Erfindung kann das Ausführen von Lernen oder Abschätzen in Zuständen, die für das Lernen oder Abschätzen ungeeignet sind, unterdrückt werden.
Figurenliste

1 ist eine grafische Darstellung, die eine Konfiguration eines Fahrzeugs gemäß einer ersten Ausführungsform darstellt.
2 ist eine grafische Darstellung, die einen Fahrgastraum eines Fahrzeugs gemäß der ersten Ausführungsform darstellt.
Die 3(a) und 3(b) stellen Konfigurationen einer Fahrassistenzvorrichtung gemäß der ersten Ausführungsform dar.
Die 4(a) bis 4(c) stellen Konfigurationen von Tabellen dar, die in der Bestimmungseinheit der 3(a) und 3(b) gespeichert sind.
Die 5(a) bis 5(c) sehen eine Übersicht über die Verarbeitung der Tabelle in 4(a) vor.
Die 6(a) bis 6(d) stellen Bildschirmanzeigen dar, die auf einer Meldevorrichtung der 3(a) und 3(b) angezeigt werden.
Die 7(a) und 7(b) sehen eine Übersicht über die Verarbeitung durch den Prozessor der 3(a) und 3(b) vor.
8 ist ein Flussdiagramm, das eine Verarbeitungsprozedur der Fahrassistenzvorrichtung der 3(a) und 3(b) darstellt.
9 ist ein Flussdiagramm, das eine weitere Verarbeitungsprozedur der Fahrassistenzvorrichtung der 3(a) und 3(b) darstellt.
10 ist eine grafische Darstellung, die eine Konfiguration eines Sprachagenten-Systems gemäß einer zweiten Ausführungsform darstellt.
Die 11(a) und 11(b) sind grafische Darstellungen, die Konfigurationen eines Assistenzsystems gemäß der zweiten Ausführungsform darstellen.
Die 12(a) bis 12(f) sind grafische Darstellungen, die Bildschirmanzeigen darstellen, die von der Meldevorrichtung der Endvorrichtung in 10 angezeigt werden.
13 ist eine grafische Darstellung, die eine weitere Konfiguration des Sprachagenten-Systems gemäß der zweiten Ausführungsform darstellt.
14 ist ein Flussdiagramm, das eine Verarbeitungsprozedur des Assistenzsystems der 11(a) und 11(b) darstellt.
15 ist ein Flussdiagramm, das eine weitere Verarbeitungsprozedur des Assistenzsystems der 11(a) und 11(b) darstellt.
16 ist ein Flussdiagramm, das eine Verarbeitungsprozedur des Sprachagenten von 13 darstellt.
17 ist eine grafische Darstellung, die eine Konfiguration eines entfernten Betriebssystems gemäß einer dritten Ausführungsform darstellt.
Die 18(a) und 18(b) sind grafische Darstellungen, die Konfigurationen eines Assistenzsystems gemäß der dritten Ausführungsform darstellen.
19 ist ein Flussdiagramm, das eine Verarbeitungsprozedur des Assistenzsystems der 18(a) und 18(b) darstellt.
20 ist ein Flussdiagramm, das eine weitere Verarbeitungsprozedur des Assistenzsystems der 18(a) und 18(b) darstellt.
21 ist ein Flussdiagramm, das noch eine weitere Verarbeitungsprozedur des Assistenzsystems der 18(a) und 18(b) darstellt.

[Ausführungsweise der Erfindung]
Erste Ausführungsform
Vor der konkreten Beschreibung der vorliegenden Offenbarung ist ein Überblick gegeben. Diese Ausführungsform betrifft ein Selbstfahren von Fahrzeugen. Insbesondere betrifft die vorliegende Ausführungsform eine Vorrichtung (nachstehend als „Fahrassistenzvorrichtung“ bezeichnet) zum Steuern einer Benutzerschnittstelle (MMS), um Informationen, die das Fahrverhalten des Fahrzeugs betreffen, mit einem Insassen eines Fahrzeugs (beispielsweise einem Fahrer) auszutauschen. Außerdem führt die Fahrassistenzvorrichtung ein Lernen eines Fahrverhaltensmodells (nachfolgend „Lern-Verarbeitung“ genannt) zum Selbstfahren und/oder eine Abschätzung des Fahrverhaltens (nachfolgend „Abschätzungs-Verarbeitung“ genannt) auf der Grundlage des Fahrverhaltensmodells durch. Die Verarbeitung der vorliegenden Erfindung kann Lernen und/oder Abschätzen des Fahrverhaltens sein und kann ein Nicht-Fahrverhalten oder eine Nicht-Fahrbedienung während des Fahrens sein, wie beispielsweise die Bedienung einer Fahrzeug-Infotainment-Vorrichtung (IVI). Die Nichtausführung der vorliegenden Erfindung ist das Abbrechen oder Unterbrechen der Verarbeitung, und im Fall der Unterbrechung kann die Verarbeitung fortgeführt werden. Außerdem kann, wenn die Nichtausführung der vorliegenden Erfindung nicht bestimmt wurde, das Abbrechen oder Unterbrechen zwangsweise durch eine Eingabe des Fahrers realisiert werden, wenn die Verarbeitung ausgeführt wird.
Verschiedene Begriffe in der vorliegenden Ausführungsform sind wie folgt definiert. „Fahrverhalten“ enthält Betriebszustände, wie etwa Lenken und Bremsen während der Fahrt des Fahrzeugs, oder wenn das Fahrzeug anhält, oder Steuerungsinhalt bezüglich der Selbstfahrsteuerung, wie etwa beispielsweise Fahren mit einer festen Geschwindigkeit, Beschleunigen, Verlangsamen, zeitweise Anhalten, Anhalten, Spurwechsel, Kurswechsel, Abbiegen nach links und rechts und Parken. Ferner kann Fahrverhalten sein: Reisefahrt (Fahrt mit Beibehalten einer Fahrzeuggeschwindigkeit und einer Fahrspur), Fahrspurhalten, Folgen einem vorausfahrenden Fahrzeug, Stop-and-Go während des Folgens, Überholen, Verhalten gegenüber einem einscherenden Fahrzeug, Kreuzen (Wechseln) einschließlich Ein- und Ausfahren in eine und aus einer Schnellstraße, Einscheren, Verhalten bei einer Baustelle, Verhalten gegenüber einem Einsatzfahrzeug, Verhalten gegenüber einem störenden Fahrzeug, Verhalten bei Rechts-/Linksabbiegerfahrspuren, Wechselbeziehung mit einem Fußgänger oder einem Radfahrer, Ausweichen einem anderen Hindernis als einem Fahrzeug, Verhalten bei einem Schild, Verhalten bei Rechts-/Linksabbiegeverboten und Wendeverboten, Verhalten bei Fahrspurverbot, Verhalten bei Einbahnverkehr, Verhalten bei einer Verkehrsampel, und Verhalten bei einer Kreuzung und einem Kreisverkehr und dergleichen.
Deep Learning (DL), Machine Learning (ML), Filtern oder dergleichen oder eine Kombination davon ist als eine „Fahrverhaltensschätzeinheit“ verwendet. Zum Beispiel ist Deep Learning ein Convolutional Neural Network (CNN) oder ein Recurrent Neural Network (RNN). Zum Beispiel ist das Machine Learning eine Support Vector Machine (SVM). Zum Beispiel ist ein Filter ein kollaboratives Filtern.
Ein „Fahrverhaltensmodell“ wird gemäß der Fahrverhaltensschätzeinheit eindeutig bestimmt. Ein Fahrverhaltensmodell ist ein erlerntes neuronales Netz im Fall von DL, ein Fahrverhaltensmodell im Fall von SVM ist ein erlerntes Vorhersagemodell, und ein Fahrverhaltensmodell in dem Fall des kollaborativen Filterns besteht aus Daten, die erhalten werden, indem Fahrumgebungsdaten mit Fahrverhaltensdaten verknüpft werden. Ein Fahrverhaltensmodell im Fall von Regeln sind Daten, die erhalten werden, indem Eingaben mit Ausgaben verknüpft werden.
Auf der Grundlage einer solchen Definition führt die Fahrassistenzvorrichtung die Lernverarbeitung durch, indem sie Überwachungsdaten und Detektionsergebnisse bezüglich Bedienungen des Fahrers verwendet, wie etwa Lenkwinkel, Betätigungsbetrag der Bremse und Betätigungsbetrag des Fahrpedals, und führt die Abschätzungsverarbeitung durch, indem sie die Detektionsergebnisse und ein Fahrverhaltensmodell verwendet. Wie oben erwähnt ist, wenn Lernen oder Abschätzen in Fällen durchgeführt wird, in denen der Zustand nicht der zum Fahren geeignete Zustand ist, die Genauigkeit des Lernens oder Abschätzens dann gering. In solchen Fällen ist es daher zu bevorzugen, Lernen oder Abschätzen nicht durchzuführen.
Um dieses Problem zu behandeln wird gemäß der vorliegenden Erfindung mindestens eines aus Fahrschwierigkeitsgrad, Wachsamkeitsgrad und Fahrkenntnisgrad abgeleitet, und es wird auf der Grundlage mindestens eines aus Fahrschwierigkeitsgrad, Wachsamkeitsgrad und Fahrkenntnisgrad eine Bestimmung durchgeführt, ob eine Lern- oder Abschätzungsverarbeitung durchgeführt wird oder nicht. Lernen oder Abschätzen wird ausgeführt, wenn eine Bestimmung vorgenommen wurde, eine Verarbeitung durchzuführen, und Lernen oder Abschätzen wird nicht ausgeführt, wenn eine Bestimmung vorgenommen wurde, eine Verarbeitung nicht durchzuführen. Ausführungsformen der vorliegenden Erfindung sind nachstehend unter Bezugnahme auf die Zeichnung genau beschrieben. Die unten beschriebenen jeweiligen Ausführungsformen sind ein Beispiel, und die vorliegende Erfindung ist nicht auf oder durch solche Ausführungsformen eingeschränkt.
1 stellt eine Anordnung eines Fahrzeugs 100 dar und stellt insbesondere eine Anordnung bezüglich eines selbstfahrenden Fahrzeugs dar. Das Fahrzeug 100 ist in der Lage, in einem Selbstfahrmodus zu fahren und enthält eine Meldevorrichtung 2, eine Eingabevorrichtung 4, eine Funkvorrichtung 8, eine Fahrsteuerungseinheit 10, eine Erkennungseinheit 20, eine Selbstfahrssteuerungsvorrichtung 30 und eine Fahrassistenzvorrichtung 40. Die in 1 dargestellten Vorrichtungen können über eine drahtgebundene Kommunikation, wie eine spezielle Leitung oder Controller Area Network (CAN) miteinander verbunden sein. Ferner können die Vorrichtungen über kabelgebundene oder drahtlose Kommunikation wie Universal Serial Bus (USB), Ethernet (eingetragene Marke), Wi-Fi (eingetragene Marke) oder Bluetooth (eingetragene Marke) miteinander verbunden sein.
Die Meldevorrichtung 2 gibt Informationen über die Fahrt des Fahrzeugs 100 an seinen Insassen aus. Die Meldevorrichtung 2 ist beispielsweise ein in einem Fahrzeug installiertes Auto-Navigationssystem, eine Frontscheibenanzeige (Head-up-Display) oder ein Zentralbildschirm. Die Meldevorrichtung 2 kann eine Anzeigeeinheit sein, die jede Art von Informationen anzeigt, wie etwa eine lichtemittierende Diode (LED) oder ein anderes lichtemittierendes Element, das in der Nähe des Lenkrads, einer Säule, in dem Armaturenbrett oder in einer Instrumentenkonsole oder dergleichen installiert ist. Darüber hinaus kann die Meldevorrichtung 2 ein Lautsprecher sein, der dem Fahrer in Sprache umgewandelte Informationen meldet, oder kann ein Vibrator sein, der an einer Stelle vorgesehen ist (beispielsweise einem Sitz des Insassen, einem Lenkrad oder dergleichen), wo der Insasse Vibrationen spüren kann. Außerdem kann die Meldevorrichtung 2 eine Kombination des oben erwähnten Lautsprechers und des Vibrators sein.
Die Eingabevorrichtung 4 ist eine Benutzerschnittstellenvorrichtung, die durch den Insassen durchgeführte Bedienungseingaben empfängt. Beispielsweise ist die Eingabevorrichtung 4 ein Berührungsbildschirm, ein Hebel, ein Knopf, ein Schalter, ein Joystick, ein Lautstärkeregler oder eine andere Steuerung, ein Sensor wie eine Kamera, die berührungslos eine Geste erkennt, ein Sensor wie ein Mikrofon, das Sprache erkennt, oder eine Kombination von diesen, die Informationen bezüglich des Selbstfahrens eines Fahrzeugs empfängt, die von dem Insassen eingegeben werden. Ferner kann die Eingabevorrichtung 4 auch ein Bedienungssignal zum Umschalten zwischen dem Selbstfahren und dem manuellen Fahren empfangen. Die Eingabevorrichtung 4 gibt die empfangenen Informationen als ein Bedienungssignal an die Fahrassistenzvorrichtung 40 aus.
2 stellt schematisch den Fahrgastraum des Fahrzeugs 100 dar. Die Meldevorrichtung 2 kann ein Head-up-Display (HUD) 2a oder ein Zentralbildschirm 2b sein. Die Eingabevorrichtung 4 kann eine an einem Lenkrad 11 vorgesehene erste Bedienungseinheit 4a sein, kann eine zwischen dem Fahrersitz und dem Beifahrersitz vorgesehene zweite Bedienungseinheit 4b sein, oder kann eine dritte Bedienungseinheit 4c sein, die ein Sensor ist, wie etwa eine Kamera, die Gesten erkennt. Zum Beispiel können die Meldevorrichtung 2 und die Eingabevorrichtung 4 als eine Berührungsschirmanzeige integriert und montiert sein. In dem Fahrzeug 100 kann ferner ein Lautsprecher 6 vorgesehen sein, der dem Insassen über Sprache Informationen bezüglich des Selbstfahrens gibt. In diesem Fall veranlasst die Fahrassistenzvorrichtung 40 die Meldevorrichtung 2, Bilder anzuzeigen, die die Informationen über das Selbstfahren darstellen, und/oder kann Sprache ausgeben, die Informationen über das Selbstfahren aus dem Lautsprecher 6 übermittelt. Kehren wir zurück zu 1.
Die Funkvorrichtung 8 entspricht einem Mobiltelefon-Kommunikationssystem oder einem drahtlosen Stadtnetz (Wireless Metropolitan Area Network, WMAN) oder dergleichen und führt eine drahtlose Kommunikation durch. Die Fahrbedienungseinheit 10 umfasst ein Lenkrad 11, ein Bremspedal 12, ein Fahrpedal 13 und einen Blinkerschalter 14. Lenkrad 11, Bremspedal 12, Gaspedal 13 und Blinkerschalter 14 können durch eine elektronische Lenkungssteuereinheit, eine Bremssteuereinheit, eine Verbrennungsmotor-Steuereinheit und eine Elektromotor-Steuereinheit und eine Blinkersteuereinheit elektronisch gesteuert werden. Im Selbstfahr-Modus steuern die Lenkungssteuereinheit, die Bremssteuereinheit, die Verbrennungsmotor-Steuereinheit und die Elektromotor-Steuereinheit ein Stellglied entsprechend von der Selbstfahr-Steuervorrichtung 30 bereitgestellten Steuersignalen an. Die Blinkersteuerung schaltet ferner eine Blinkerleuchte entsprechend einem von der Selbstfahr-Steuervorrichtung 30 bereitgestellten Steuersignal ein oder aus.
Die Detektionseinheit 20 erkennt die Umgebungsbedingungen und den Fahrzustand des Fahrzeugs 100. Zum Beispiel detektiert die Detektionseinheit 20 die Geschwindigkeit des Fahrzeugs 100, die Relativgeschwindigkeit eines vorausfahrenden Fahrzeugs bezüglich des Fahrzeugs 100, den Abstand zwischen dem Fahrzeug 100 und dem vorausfahrenden Fahrzeug, die Geschwindigkeit eines in einer benachbarten Fahrspur neben dem Fahrzeug 100 fahrenden Fahrzeugs, den Abstand zwischen dem Fahrzeug 100 und dem in der benachbarten Fahrspur fahrenden Fahrzeug und eine Positionsinformation über das Fahrzeug 100. Die Detektionseinheit 20 detektiert auch Informationen bezüglich Bedienungen des Fahrers und Informationen bezüglich Fahrerzuständen. Die Detektionseinheit 20 gibt verschiedene erfasste Informationen (im Folgenden als „erfasste Informationen“ bezeichnet) an die Selbstfahr-Steuervorrichtung 30 aus. Zusätzlich dazu kann die Detektionseinheit 20 die erfassten Informationen über die Selbstfahr-Steuervorrichtung 30 an die Fahrassistenzvorrichtung 40 ausgeben oder kann die erfassten Informationen direkt an die Fahrassistenzvorrichtung 40 ausgeben. Die Detektionseinheit 20 umfasst eine Positionsinformations-Erfassungseinheit 21, einen Sensor 22, eine Geschwindigkeitsinformations-Erfassungseinheit 23 und eine Karteninformations-Erfassungseinheit 24, und der Sensor 22 umfasst einen Fahrumgebungssensor 25, einen Überwachungssensor 26 und einen Fahrzeuginformationssensor 27.
Die Positionsinformations-Erfassungseinheit 21 erfasst die aktuelle Position des Fahrzeugs 100 über einen Empfänger für ein globales Satellitennavigationssystem (GNSS). Sensor 22 ist ein Sammelbegriff für verschiedene Sensoren zum Erfassen von Bedingungen außerhalb des Fahrzeugs, Zuständen des Fahrzeugs 100, Fahrer-Bedienungen und Fahrer-Zuständen. Als Sensoren 22 zum Erfassen von Zuständen des Fahrzeugs 100 sind beispielsweise ein Beschleunigungssensor, ein Gyroskopsensor, ein Geomagnetismussensor und ein Neigungssensor und dergleichen eingebaut.
Der Fahrumgebungssensor 25 ist ein Sensor zum Detektieren von Bedingungen außerhalb des Fahrzeugs. Als Fahrumgebungssensor 25 ist beispielsweise eine Kamera, ein Millimeterwellenradar, eine Lichterfassung und - abstandsmessung, eine Laser-Bildgebung, -Erfassung und - Abstandsmessung (LIDAR), ein Schallmessgerät, ein Temperaturfühler, ein Luftdrucksensor, ein Feuchtigkeitssensor und ein Beleuchtungssensor oder dergleichen eingebaut. Die Bedingungen außerhalb des Fahrzeugs umfassen den Straßenzustand einschließlich der Fahrspurinformationen der Straße, auf der das Fahrzeug fährt, die Umgebung einschließlich des Wetters, die Bedingungen im Umfeld des Fahrzeugs und andere Fahrzeuge, die sich in der Nähe befinden (andere Fahrzeuge und dergleichen, die auf benachbarten Fahrspuren fahren). Beliebige Informationen über Umstände außerhalb des Fahrzeugs, die durch den Fahrumgebungssensor 25 detektiert werden können, können verwendet werden.
Der Überwachungssensor 26 ist eine Kamera, die zum Beispiel im Fahrzeuginnenraum montiert ist, die das Gesicht des Fahrers abbildet. Der Überwachungssensor 26 ist gestaltet, in der Lage zu sein, insbesondere die Bewegungen der Augenlider des Fahrers abzubilden. Der Fahrzeuginformationssensor 27 detektiert Informationen bezüglich Bedienungen durch den Fahrer, wie etwa den Lenkwinkel der Lenkung, den Betätigungsbetrag des Bremspedals und den Betätigungsbetrag des Fahrpedals. Für diese Detektion können allgemein bekannte Technologien verwendet werden, so dass eine Beschreibung hier weggelassen ist.
Die Geschwindigkeitsinformations-Erfassungseinheit 23 erfasst über einen Fahrzeuggeschwindigkeitssensor die aktuelle Geschwindigkeit des Fahrzeugs 100. Die Karteninformations-Erfassungseinheit 24 ruft von einer Kartendatenbank Karteninformationen für die Umgebung der aktuellen Position des Fahrzeugs 100 ab. Die Kartendatenbank kann auf einem Datenträger in dem Fahrzeug 100 aufgezeichnet sein oder kann zum Zeitpunkt der Benutzung über ein Netzwerk von einem Kartenserver heruntergeladen werden. Die Karteninformationen enthalten Informationen zu Straßen und Kreuzungen.
Die Selbstfahr-Steuervorrichtung 30 ist eine Selbstfahrsteuerung mit einer eingebauten Selbstfahr-Steuerfunktion und bestimmt das Verhalten des Fahrzeugs 100 beim Selbstfahren. Die Selbstfahr-Steuervorrichtung 30 umfasst eine Steuerung 31, eine Speichereinheit 32 und eine E/A-Einheit (Eingabe-/Ausgabeeinheit) 33. Die Konfiguration der Steuerung 31 kann durch Zusammenarbeit von Hardware-Ressourcen und Software-Ressourcen oder nur durch Hardware-Ressourcen realisiert sein. Als die Hardwareressourcen können ein Prozessor, ein Nur-Lese-Speicher (ROM), ein Direktzugriffsspeicher (RAM) und andere hochintegrierte (LSI- ) Schaltkreise verwendet sein, und als Softwareressourcen kann ein Betriebssystem, eine Anwendung und ein Programm, wie etwa Firmware, verwendet sein. Die Speichereinheit 32 enthält ein nichtflüchtiges Aufzeichnungsmedium, wie etwa einen Flash-Speicher. Die E/A-Einheit 33 führt die Kommunikationssteuerung gemäß den verschiedenen Kommunikationsformaten aus. Beispielsweise gibt die E/A-Einheit 33 Informationen zum Selbstfahren an die Fahrassistenzvorrichtung 40 aus und gibt Steuerbefehle von der Fahrassistenzvorrichtung 40 ein. Weiterhin empfängt die E/A-Einheit 33 Eingaben der erfassten Informationen von der Detektionseinheit 20.
Die Steuerung 31 wendet die Steuerbefehle, die von der Fahrassistenzvorrichtung 40 eingegeben werden, und verschiedene von der Detektionseinheit 20 oder verschiedenen elektronischen Steuergeräten gesammelte Informationen auf einen Algorithmus für das Selbstfahren an, um Steuerwerte zum Steuern von Zielen der automatischen Steuerung zu berechnen, wie etwa der Fahrpedalstellung und des Lenkwinkels und dergleichen des Fahrzeugs 100. Die Steuerung 31 übermittelt die berechneten Steuerwerte an jedes elektronische Steuergerät oder die zu steuernde Steuerung. In der vorliegenden Ausführungsform wird der berechnete Steuerwert an die Lenkungssteuereinheit, die Bremssteuereinheit, die Verbrennungsmotor-Steuereinheit und die Blinkersteuereinheit übermittelt. Im Fall eines elektrisch betriebenen Fahrzeugs oder eines Hybridautos werden die Steuerwerte an eine Elektromotor-Steuereinheit anstelle oder zusätzlich zur Verbrennungsmotor-Steuereinheit übermittelt.
Die Fahrassistenzvorrichtung 40 ist eine Benutzerschnittstellensteuerung, die eine Schnittstellenfunktion zwischen dem Fahrzeug 100 und dem Insassen ausführt und eine Steuerungseinrichtung 41, eine Speichereinheit 42 und eine E/A-Einheit 43 enthält. Die Steuerungseinrichtung 41 führt verschiedene Datenprozesse der Steuerung der Mensch-Maschine-Schnittstelle (HMI) oder dergleichen aus. Die Steuerungseinrichtung 41 kann durch Zusammenarbeit von Hardware-Ressourcen und Software-Ressourcen oder nur durch Hardware-Ressourcen realisiert sein. Als die Hardwareressource können ein Prozessor, ein Nur-Lese-Speicher (ROM), ein Direktzugriffsspeicher (RAM) und andere hochintegrierte (LSI-) Schaltkreise verwendet sein, und als Softwareressourcen kann ein Betriebssystem, eine Anwendung und ein Programm, wie etwa Firmware, verwendet sein.
Die Speichereinheit 42 ist ein Speicherbereich zum Speichern von Daten, die von der Steuerungseinrichtung 41 abgerufen oder aktualisiert werden. Beispielsweise ist die Speichereinheit 42 als nichtflüchtiges Aufzeichnungsmedium wie z. B. ein Flash-Speicher ausgeführt. Die E/A-Einheit 43 führt verschiedene Kommunikationssteuerungen gemäß den verschiedenen Kommunikationsformaten aus. Die E/A-Einheit 43 umfasst eine Bedienungssignal-Eingabeeinheit 50, eine Bild-/Sprach-Ausgabeeinheit 51, eine Eingabeeinheit für erfasste Informationen 52, eine Befehlsschnittstelle 53 und eine Kommunikationsschnittstelle 56.
Die Bedienungssignal-Eingabeeinheit 50 empfängt von der Eingabevorrichtung 4 ein Bedienungssignal bezüglich der Eingabevorrichtung 4 infolge einer Bedienung durch einen Insassen oder durch einen Benutzer außerhalb des Fahrzeugs, und gibt das Bedienungssignal an die Steuerungseinrichtung 41 aus. Die Bild-/Sprach-Ausgabeeinheit 51 gibt von der Steuerungseinrichtung 41 erzeugte Bilddaten oder eine Sprachnachricht an die Meldevorrichtung 2 aus, wodurch diese veranlasst wird, die Bilddaten oder die Sprachnachricht auszugeben. Die Eingabeeinheit für erfasste Informationen 52 empfängt von der Detektionseinheit 20 die erfassten Informationen, die die aktuellen Bedingungen im Umfeld des Fahrzeugs 100 und dessen Fahrzustand anzeigen, und so weiter, die die Ergebnisse der Detektions-Verarbeitung durch die Detektionseinheit 20 darstellen, und gibt die erfassten Informationen an die Steuerungseinrichtung 41 aus.
Die Befehlsschnittstelle 53 führt die Schnittstellenverarbeitung für die Verbindung mit der Selbstfahr-Steuervorrichtung 30 aus und umfasst eine Verhaltensinformations-Eingabeeinheit 54 und eine Befehlsausgabeeinheit 55. Die Verhaltensinformations-Eingabeeinheit 54 empfängt Informationen bezüglich des Selbstfahrens des Fahrzeugs 100, die von der Selbstfahr-Steuervorrichtung 30 übermittelt werden, und gibt diese Informationen an die Steuerungseinrichtung 41 aus. Die Befehlsausgabeeinheit 55 empfängt von der Steuerungseinrichtung 41 einen Steuerbefehl, der der Selbstfahr-Steuervorrichtung 30 einen Modus des Selbstfahrens angibt, und übermittelt den Steuerbefehl an die Selbstfahr-Steuervorrichtung 30.
Die Kommunikationsschnittstelle 56 führt die Schnittstellenverarbeitung zur Verbindung mit der Funkvorrichtung 8 aus. Die Kommunikationsschnittstelle 56 übermittelt die Daten, die von der Steuerungseinrichtung 41 an die Funkvorrichtung 8 ausgegeben werden, und bewirkt dadurch, dass die Daten von der Funkvorrichtung 8 an Vorrichtungen außerhalb des Fahrzeugs übermittelt werden. Darüber hinaus empfängt die Kommunikationsschnittstelle 56 Daten von Vorrichtungen außerhalb des Fahrzeugs, die durch die Funkvorrichtung 8 übermittelt wurden, und gibt diese Daten an die Steuerungseinrichtung 41 aus.
Hier sind die Selbstfahr-Steuerungsvorrichtung 30 und die Fahrassistenzvorrichtung 40 getrennte Vorrichtungen. Als Modifikationsbeispiel können die Selbstfahr-Steuerungsvorrichtung 30 und die Fahrassistenzvorrichtung 40 auch in einer einzigen Steuerung integriert sein, wie durch die gestrichelte Linie in 1 angezeigt. Mit anderen Worten kann eine Selbstfahr-Steuerungsvorrichtung gestaltet sein, sowohl die Funktionen der Selbstfahr-Steuerungsvorrichtung 30 als auch der Fahrassistenzvorrichtung 40 in 1 zu umfassen.
Die 3(a) und 3(b) stellen Konfigurationen der Fahrassistenzvorrichtung 40 dar. Die Fahrassistenzvorrichtung 40 ist als eine Vorrichtung gestaltet. Jedoch kann das Assistenzsystem so gestaltet sein, dass es aus einer oder mehreren Vorrichtungen besteht. Zum Beispiel kann der Prozessor 64 außerhalb des Fahrzeugs 100 angeordnet sein und kann mit der Fahrassistenzvorrichtung 40 über die Funkvorrichtung 8 und ein Netzwerk gekoppelt sein. Zusätzlich dazu können die Bestimmungseinheit 62 und der Prozessor 64 außerhalb des Fahrzeugs 100 angeordnet sein, oder die Erfassungseinheit 60, die Bestimmungseinheit 62 und der Prozessor 64 können außerhalb des Fahrzeugs 100 angeordnet sein.
3 (a) stellt eine Konfiguration bezüglich der Lern-Verarbeitung dar, und 3 (b) stellt eine Konfiguration bezüglich der Abschätzungs-Verarbeitung dar. Hier wird die Abschätzungs-Verarbeitung nach der Beschreibung der Lern-Verarbeitung beschrieben. In 3(a) enthält die Steuerungseinrichtung 41 die Erfassungseinheit 60, die Bestimmungseinheit 62 und den Prozessor 64. Die Erfassungseinheit 60 umfasst eine Fahrschwierigkeitsgrad-Erfassungseinheit 70, eine Wachsamkeitsgrad-Erfassungseinheit 72 und eine Fahrkenntnisgrad-Erfassungseinheit 74, und der Prozessor 64 umfasst eine Lerneinheit 80, Überwachungsdaten 82 und ein Fahrverhaltensmodell 84. Ferner sind der Fahrumgebungssensor 25, der Überwachungssensor 26 und der Fahrzeuginformationssensor 27 mit der Eingabeeinheit für erfasste Informationen 52 verbunden, und die Eingabeeinheit für erfasste Informationen 52 ist mit der Erfassungseinheit 60 verbunden. Zusätzlich dazu ist die Bestimmungseinheit 62 mit der Bild-/Sprach-Ausgabeeinheit 51 verbunden, und die Bild-/Sprach-Ausgabeeinheit 51 ist mit der Meldevorrichtung 2 verbunden.
Der Fahrumgebungssensor 25 ist eine Kamera, ein Millimeterwellenradar, ein LIDAR, ein Schallmessgerät, ein Temperaturfühler, ein Luftdrucksensor, ein Feuchtigkeitssensor und ein Beleuchtungssensor oder dergleichen. Die Kamera ist beispielsweise in dem Fahrzeug 100 installiert, um das Bild der Vorderseite des Fahrzeugs 100 aufzunehmen, kann aber auch in dem Fahrzeug 100 installiert sein, um das Bild der Seiten oder der Rückseite des Fahrzeugs 100 aufnehmen. Die Kamera gibt das aufgenommene Video an die Eingabeeinheit für erfasste Informationen 52 als erfasste Informationen aus. Der Überwachungssensor 26 ist eine Kamera, die im Fahrzeuginnenraum montiert ist. Der Überwachungssensor 26 gibt als erfasste Information ein Video an die Eingabeeinheit für erfasste Informationen 52 aus, in dem das Gesicht des Fahrers aufgenommen wird. Der Fahrzeuginformationssensor 27 detektiert Informationen bezüglich Bedienungen durch den Fahrer, wie etwa den Lenkwinkel des Lenkrads 11, den Betätigungsbetrag des Bremspedals 12 und den Betätigungsbetrag des Fahrpedals 13 und dergleichen, und gibt die erfassten Ergebnisse als erfasste Informationen an die Eingabeeinheit für erfasste Informationen 52 aus.
Die Fahrassistenzvorrichtung 40 führt eine Verarbeitung bezüglich des Fahrverhaltensmodells des Fahrzeugs 100 aus. Die Eingabeeinheit für erfasste Informationen 52 empfängt Eingaben mit erfassten Informationen vom Fahrumgebungssensor 25, vom Überwachungssensor 26 und vom Fahrzeuginformationssensor 27. Solche Eingaben werden als Eingaben der erfassten Informationen von dem Fahrzeug 100 betrachtet. Die Eingabeeinheit für erfasste Informationen 52 gibt neben den erfassten Informationen vom Fahrumgebungssensor 25 das Video, das durch Bilderfassung der Vorderseite oder dergleichen des Fahrzeugs 100 erhalten wird, an die Fahrschwierigkeitsgrad-Erfassungseinheit 70 aus. Ferner gibt die Eingabeeinheit für erfasste Informationen 52 die erfassten Informationen vom Überwachungssensor 26, das heißt das Video, das durch Bilderfassung des Gesichts des Fahrers erhalten wird, an die Wachsamkeitsgrad-Erfassungseinheit 72 aus, und gibt die erfassten Informationen vom Fahrzeuginformationssensor 27, das heißt Informationen bezüglich Bedienungen durch den Fahrer, an die Fahrkenntnisgrad-Erfassungseinheit 74 und den Prozessor 64 aus.
Die Fahrschwierigkeitsgrad-Erfassungseinheit 70 in der Erfassungseinheit 60 empfängt das Video, das durch Bilderfassung der Vorderseite oder dergleichen des Fahrzeugs 100 erhalten wird, von der Eingabeeinheit für erfasste Informationen 52. Die Fahrschwierigkeitsgrad-Erfassungseinheit 70 erkennt andere Fahrzeuge, die in dem Video enthalten sind, indem sie eine Bilderkennungs-Verarbeitung des Videos durchführt. Außerdem bestimmt die Fahrschwierigkeitsgrad-Erfassungseinheit 70 die Anzahl anderer Fahrzeuge, die vor dem Fahrzeug 100 fahren. Die Fahrschwierigkeitsgrad-Erfassungseinheit 70 gibt die Anzahl anderer Fahrzeuge an die Bestimmungseinheit 62 als Fahrschwierigkeitsgrad aus. Dieser Fahrschwierigkeitsgrad steigt, wenn die Anzahl anderer Fahrzeuge sich erhöht, und fällt, wenn sich die Anzahl anderer Fahrzeuge verringert. Die Anzahl anderer Fahrzeuge, die anders fahren als die Fahrzeugs vor dem Fahrzeug 100, kann auch in dem Fahrschwierigkeitsgrad enthalten sein. Daraufhin kann die Gewichtung anderer Fahrzeuge, die vorne fahren, und von anderen Fahrzeugen, die in einer anderen Position als vorne fahren, geändert werden, indem ein anderes Fahrzeug, das in einer anderen Position als vorne vor dem Fahrzeug 100 fährt, als 0,5 Fahrzeuge gezählt wird. Außerdem kann die Anzahl anderer Fahrzeuge in der Nähe des Fahrzeugs 100, die Anzahl anderer Fahrzeuge, die vor dem Fahrzeug 100 bremsen, und die Anzahl anderer Fahrzeuge, die Fahrzeug 100 überholen, sich in dem Fahrschwierigkeitsgrad widerspiegeln. Der Gewichtung für solche Anzahlen kann zum Beispiel erhöht sein. Die Fahrschwierigkeitsgrad-Erfassungseinheit 70 gibt den Fahrschwierigkeitsgrad an die Bestimmungseinheit 62 aus. Der Fahrschwierigkeitsgrad kann aus Karteninformationen erhalten werden, wie etwa die Straßenbreite und die Form der Straße, auf der gefahren wird, und Straßeneinschränkungen, wie Wendeverbot, Verbot rechts und links abzubiegen und dergleichen. In solchen Fällen erhöht sich der Fahrschwierigkeitsgrad, zum Beispiel wenn sich die Straßenbreite verkleinert, die Form komplizierter wird und sich die Anzahl von Einschränkungen erhöht. Der Fahrschwierigkeitsgrad kann auch aus erfassten Informationen über benachbarte Fahrzeuge, die von Fahrzeugsensoren erfasst werden, aus dem Zustand der Straßenoberfläche und dem Wetter erhalten werden. In solchen Fällen erhöht sich der Fahrschwierigkeitsgrad, wenn sich die Verkehrsdichte oder die mittlere Geschwindigkeit erhöht, wenn die Geradlinigkeit der Strecke fällt, bei mehr Unebenheiten der Straßenoberfläche, bei Schnee oder Regenwetter, oder bei mehr Fahren bei Nacht, oder wenn die Kombination davon sich erhöht.
Die Wachsamkeitsgrad-Erfassungseinheit 72 in der Erfassungseinheit 60 empfängt das Video, das durch Bilderfassung des Gesichts des Fahrers von der Eingabeeinheit für erfasste Informationen 52 erhalten wird, und erkennt den Gesichtsausdruck des Fahrers, indem sie eine Bilderkennungs-Verarbeitung der Bilder durchführt. Die Wachsamkeitsgrad-Erfassungseinheit 72 schätzt den Wachsamkeitsgrad des Fahrers als einen Zustand des Fahrers auf der Grundlage des erkannten Gesichtsausdrucks. Für die Bilderkennungs-Verarbeitung und die Abschätzung des Wachsamkeitsgrades werden wohlbekannte Techniken verwendet, aber beispielsweise wird der Öffnungsgrad der Augenlider des Fahrers, Schließen der Augen, der Prozentsatz des Schließens der Augenlider (PERCLOS, PERcent of eyelid CLOSure), der vestibulookuläre Reflex (VOR), oder eine Kombination davon benutzt. Der Öffnungsgrad der Augenlider ist das Ausmaß, in dem die Augen offen sind, und es wird ein Wert verwendet, der erhalten wird, indem die Entfernung vom oberen Augenlid zum unteren Augenlid durch den Durchmesser der Iris dividiert wird. Außerdem kann eine Verarbeitung durchgeführt werden, die nicht auf die Abschätzung des Wachsamkeitsgrades gerichtet ist, indem als Lidschlag ein Augenlid-Öffnungsgrad von 20% oder weniger und Augenlid-Bewegungen von 70 bis 500 Millisekunden Dauer in Zeitabständen von 500 Millisekunden oder mehr verwendet werden. Schließen der Augen ist eine Bewegung der Augenlider bei einem Augenlid-Öffnungsgrad von 20% oder weniger und Augenlid-Bewegungen von mindestens 500 Millisekunden Dauer. PERCLOS ist ein Index zur Messung des Müdigkeitsgrades von Fahrern, der von der American Road Safety Association zugelassen ist und ist ein Prozentsatz der Zeit, die die Augen während der vorherigen Minute geschlossen sind. Der vestibulookuläre Reflex ist eine begleitende Bewegung des Augapfels, der eine Bewegung der Augäpfel in entgegengesetzter Richtung mit im Wesentlichen der gleichen Geschwindigkeit verursacht, mit der sich der Kopf bewegt, und unterdrückt ein Verwischen des Bildes der Außenwelt auf der Netzhaut, und wird in Fällen als Schläfrigkeits-Indikator verwendet, in denen der VOR-Gewinn, der ein Kompensationsverhältnis für die Augapfel-Bewegung darstellt, wenn sich der Kopf beim Fahren in einem wachen Zustand bewegt, gleich oder kleiner ist als ein Grenzwert, bzw. in Fällen, in denen ein VOR-Fehler, der eine Änderung des VOR anzeigt, kontinuierlich für 30 Sekunden oder mehr gleich oder größer ist als der Grenzwert. Zusätzlich dazu wird als ein Beispiel für den Wachsamkeitsgrad des Fahrers hier ein Schläfrigkeitsgrad verwendet, wie in dem Bewertungsverfahren der NEDO (New Energy and Industrial Technology Development Organization) zur Erkennung von Schläfrigkeit aus Gesichtsausdrücken spezifiziert. Gemäß dieser Spezifikation werden Schläfrigkeitsgrade in fünf Stufen von 1 bis 5 bewertet. Insbesondere werden die Schläfrigkeitsgrade klassifiziert als „Schläfrigkeitsgrad 1“: scheint überhaupt nicht schläfrig zu sein, „Schläfrigkeitsgrad 2“: scheint ein bisschen schläfrig zu sein, „Schläfrigkeitsgrad 3“: scheint schläfrig zu sein, „Schläfrigkeitsgrad 4“: scheint ziemlich schläfrig zu sein und „Schläfrigkeitsgrad 5“: scheint sehr schläfrig zu sein.
Die Wachsamkeitsgrad-Erfassungseinheit 72 schätzt den Schläfrigkeitsgrad auf „Schläfrigkeitsgrad 1“ in Fällen, in denen die Bewegung der Sichtlinie früh und häufig auftritt, bei einem stabilen Blinzel-Zyklus von ungefähr zwei mal Blinzeln alle zwei Sekunden und wenn die Bewegung lebhaft und begeleitet von Körperbewegungen ist. Darüber hinaus schätzt die Wachsamkeitsgrad-Erfassungseinheit 72 den Schläfrigkeitsgrad auf „Schläfrigkeitsgrad 2“, wenn die Lippen geöffnet sind und die Bewegung der Sichtlinie langsam erfolgt. Ferner schätzt die Wachsamkeitsgrad-Erfassungseinheit 72 den Schläfrigkeitsgrad auf „Schläfrigkeitsgrad 3“ wenn das Blinzeln langsam ist und häufig auftritt, Mundbewegungen vorliegen, bei einer Verschiebung der Sitzposition und wenn eine Hand zum Gesicht gehoben ist. Außerdem schätzt die Wachsamkeitsgrad-Erfassungseinheit 72 den Schläfrigkeitsgrad auf „Schläfrigkeitsgrad 4“, wenn Blinzeln scheinbar bewusst auftritt, wenn unnötige Bewegungen des ganzen Körpers vorliegen, wie etwa Nicken und Auf- und Abbewegungen der Schultern, wenn häufig gegähnt wird und auch tiefes Atmen beobachtet wird, und wenn Blinzeln und die Bewegung der Sichtlinie langsam sind. Darüber hinaus schätzt die Wachsamkeitsgrad-Erfassungseinheit 72 den Schläfrigkeitsgrad auf „Schläfrigkeitsgrad 5“, wenn die Augenlider geschlossen sind, der Kopf nach vorne kippt oder der Kopf nach hinten fällt. Unter diesem Maßgaben kann man sagen, dass der Wachsamkeitsgrad mit steigender Nähe zum Schläfrigkeitsgrad 1 steigt, und der Wachsamkeitsgrad mit steigender Nähe zum Schläfrigkeitsgrad 5 fällt. Die Wachsamkeitsgrad-Erfassungseinheit 72 gibt den Wachsamkeitsgrad an die Bestimmungseinheit 62 aus.
Die Fahrkenntnisgrad-Erfassungseinheit 74 in der Erfassungseinheit 60 empfängt Informationen bezüglich Bedienungen durch den Fahrer von der Eingabeeinheit für erfasste Informationen 52, wie etwa beispielsweise den Lenkwinkel des Lenkrads 11, den Betätigungsbetrag des Bremspedals 12 und den Betätigungsbetrag des Fahrpedals 13 und dergleichen. Die Fahrkenntnisgrad-Erfassungseinheit 74 leitet den Fahrkenntnisgrad auf der Grundlage des Lenkwinkels des Lenkrads 11, des Betätigungsbetrags des Bremspedals 12 und des Betätigungsbetrags des Fahrpedals 13 ab. Um diese Verarbeitung unter bestimmten Bedingungen zu beschreiben, speichert die Fahrkenntnisgrad-Erfassungseinheit 74 die Übereinstimmung zwischen Fahrkenntnisgraden und einer Vielzahl von Mustern des Lenkwinkels des Lenkrads 11, des Betätigungsbetrags des Bremspedals 12 und des Betätigungsbetrags des Fahrpedals 13 zuvor ab. Außerdem wählt die Fahrkenntnisgrad-Erfassungseinheit 74 aus der Vielzahl von in der Übereinstimmung enthaltenen Mustern das Muster aus, das am nächsten an dem empfangenen Lenkwinkel des Lenkrads 11, dem Betätigungsbetrag des Bremspedals 12 und dem Betätigungsbetrag des Fahrpedals 13 liegt, und leitet einen Fahrkenntnisgrad ab, der dem ausgewählten Muster entspricht. Wenn der Fahrer an Fahren gewöhnt ist, ist der Fahrkenntnisgrad hoch, und wenn der Fahrer nicht an das Fahren gewöhnt ist, ist der Fahrkenntnisgrad gering. Die Fahrkenntnisgrad-Erfassungseinheit 74 gibt den Fahrkenntnisgrad an die Bestimmungseinheit 62 aus. Es ist zu beachten, dass angenommen wird, dass der Fahrkenntnisgrad größer ist, wenn beispielsweise Rucke (schnelle Beschleunigungen), wobei es sich um zeitabhängige Änderungen der Beschleunigung im Verhalten des Fahrzeugs handelt, die Folge des Fahrens sind, minimal werden. Darüber hinaus kann der Fahrkenntnisgrad aus der Nähe zwischen dem aktuellen Fahrzustand und dem Fahrmodell (beispielhaftes Modell) eines Modell-Fahrers abgeleitet werden, und es kann zum Beispiel angenommen werden, dass der Fahrkenntnisgrad größer ist, wenn diese Nähe größer wird. Alternativ dazu kann zum Beispiel auf der Grundlage des Fahrzeugverhaltens durch das Fahren des aktuellen Fahrers angenommen werden, dass der Fahrkenntnisgrad größer ist, wenn die Häufigkeit von plötzlichem Bremsen und plötzlichem Lenken sinkt oder die Häufigkeit von plötzlichem Bremsen und plötzlichem Lenken in Kombination mit einem hohen Fahrschwierigkeitsgrad sinkt.
Beispielsweise ist der Fahrschwierigkeitsgrad die Aufgabenstellung des Fahrverhaltens. Die Aufgabenstellung ist „die Menge oder Zuordnung von Warnungen, die als nötig empfunden werden, um einen Leistungsgrad zu erreichen, den ein bestimmter Fahrer anstrebt, die Tiefe der Informationsverarbeitung, oder der auszuführende Bedienungsinhalt“, und ist nicht immer fest, variiert entsprechend der Struktur der Straße, wie etwa geraden und kurvigen Abschnitten und Kreuzungen, Vorhandensein und Bewegung von vorausfahrenden und benachbarten Fahrzeugen und Verkehrssituationen, wie etwa eine große Anzahl von Benutzern der Straße. Darüber hinaus vergrößert sich die Aufgabenstellung, wenn die Fahrzeuggeschwindigkeit sich bei gleichen Straßenstrukturen und Verkehrssituationen erhöht. Außerdem vergrößert sich die Aufgabenstellung, wenn bei der gleichen Fahrzeuggeschwindigkeit auf einer Straße gefahren wird, an die der Fahrer nicht gewöhnt ist, und sinkt, wenn der Fahrer auf einer Straße fährt, die er als Pendler oder dergleichen immer nimmt.
Die Bestimmungseinheit 62 empfängt den Fahrschwierigkeitsgrad von der Fahrschwierigkeitsgrad-Erfassungseinheit 70, den Wachsamkeitsgrad von der Wachsamkeitsgrad-Erfassungseinheit 72 und den Fahrkenntnisgrad von der Fahrkenntnisgrad-Erfassungseinheit 74. Die Bestimmungseinheit 62 führt auf der Grundlage von mindestens einem aus Fahrschwierigkeitsgrad, Wachsamkeitsgrad und Fahrkenntnisgrad eine Bestimmung durch, ob eine Verarbeitung durchzuführen ist oder nicht Für die Verarbeitung ist das Lernen in 3 (a) dargestellt, und die Abschätzung ist in 3 (b) darstellt. Hier ist die Verarbeitung der Bestimmungseinheit 62 von der ersten Bestimmungsverarbeitung bis zur sechsten Bestimmungsverarbeitung in dieser Reihenfolge beschrieben. Die erste Bestimmungsverarbeitung bis zur dritten Bestimmungsverarbeitung verwendet zwei Informationselemente aus Fahrschwierigkeitsgrad, Wachsamkeitsgrad und Fahrkenntnisgrad. Hier kann jede aus Fahrschwierigkeitsgrad-Erfassungseinheit 70 bis zur Fahrkenntnisgrad-Erfassungseinheit 74, die Informationen erzeugt, die nicht verwendet werden, weggelassen werden. Indessen verwendet die vierte Bestimmungsverarbeitung bis zur sechsten Bestimmungsverarbeitung irgendein Informationselement aus Fahrschwierigkeitsgrad, Wachsamkeitsgrad und Fahrkenntnisgrad. Hier können zwei aus Fahrschwierigkeitsgrad-Erfassungseinheit 70 bis zur Fahrkenntnisgrad-Erfassungseinheit 74, die Informationen erzeugen, die nicht verwendet werden, weggelassen werden.
Erste Bestimmungsverarbeitung
Bei der ersten Bestimmungsverarbeitung werden der Fahrschwierigkeitsgrad und der Wachsamkeitsgrad verwendet. Die 4(a) bis 4(c) stellen Konfigurationen von Tabellen dar, die in der Bestimmungseinheit 62 gespeichert sind. 4 (a) ist eine Tabelle, die in der ersten Bestimmungsverarbeitung verwendet wird. Der Fahrschwierigkeitsgrad ist auf der horizontalen Achse dargestellt, und der Wachsamkeitsgrad ist auf der vertikalen Achse dargestellt. In einem Fall, in dem der Fahrschwierigkeitsgrad gleich oder kleiner ist als der erste Grenzwert TDa, wenn der Wachsamkeitsgrad gleich oder größer ist als ein zweiter Grenzwert Aa und gleich oder kleiner als ein dritter Grenzwert Ac, führt die Bestimmungseinheit 62 eine Bestimmung durch, die Verarbeitung auszuführen. Hier ist der dritte Grenzwert Ac > der zweite Grenzwert Aa. In einem Fall, in dem der Fahrschwierigkeitsgrad gleich oder kleiner ist als der erste Grenzwert TDa, wenn der Wachsamkeitsgrad unter dem zweiten Grenzwert Aa liegt, oder der Wachsamkeitsgrad über dem dritten Grenzwert Ac liegt, führt die Bestimmungseinheit 62 eine Bestimmung durch, die Verarbeitung nicht auszuführen.
Andererseits führt in einem Fall, in dem der Fahrschwierigkeitsgrad über dem ersten Grenzwert TDa liegt, wenn der Wachsamkeitsgrad gleich oder größer ist als ein vierter Grenzwert Ab, die Bestimmungseinheit 62 eine Bestimmung durch, die Verarbeitung auszuführen. Hier ist der dritte Grenzwert Ac > der vierte Grenzwert Ab > der zweite Grenzwert Aa. In einem Fall, in dem der Fahrschwierigkeitsgrad über dem ersten Grenzwert TDa liegt, wenn der Wachsamkeitsgrad unter dem vierten Grenzwert Ab liegt, führt die Bestimmungseinheit 62 eine Bestimmung durch, die Verarbeitung nicht auszuführen. Hier ist diese Verarbeitung unter Verwendung der 5(a) bis 5(c) genauer beschrieben.
Die 5(a) bis 5(c) stellen eine Übersicht über die Verarbeitung gemäß der Tabelle in 4(a) dar. 5(a) stellt zeitabhängige Änderungen im Fahrschwierigkeitsgrad und Wachsamkeitsgrad dar. In einem ersten Segment 200 ist der Fahrschwierigkeitsgrad klein. Ein Zustand, in dem der Fahrschwierigkeitsgrad klein ist, ist in 5(b) dargestellt. Hier fährt nur das Fahrzeug 100, und andere Fahrzeuge fahren nicht in dessen Nähe. In einer solchen Situation ist der Wachsamkeitsgrad beim Fahren typischerweise nicht hoch. In dem ersten Segment 200 ist der Wachsamkeitsgrad jedoch groß. Daher kann man sagen, dass der Grund für den großen Wachsamkeitsgrad nicht das Fahren ist. Somit kann man sagen, dass die Kombination des Fahrschwierigkeitsgrades und des Wachsamkeitsgrades im ersten Segment 200 ein Zustand ist, der für das Lernen ungeeignet ist. Die Bestimmungseinheit 62 führt in solchen Fällen eine Bestimmung durch, eine Verarbeitung nicht auszuführen.
In einem zweiten Segment 202 ist der Fahrschwierigkeitsgrad groß. Ein Zustand, in dem der Fahrschwierigkeitsgrad groß ist, ist in 5(c) dargestellt. Hier fahren ein erstes anderes Fahrzeug 110a und ein drittes anderes Fahrzeug 110c in der Nähe des Fahrzeugs 100, das fährt. In einer solchen Situation besteht typischerweise eine Tendenz, dass der Wachsamkeitsgrad beim Fahren groß ist. In dem ersten Segment 200 ist der Wachsamkeitsgrad jedoch wegen Schläfrigkeit klein. Somit kann man sagen, dass die Kombination des Fahrschwierigkeitsgrades und des Wachsamkeitsgrades im zweiten Segment 202 ein Zustand ist, der für das Lernen ungeeignet ist. Die Bestimmungseinheit 62 führt in solchen Fällen eine Bestimmung durch, eine Verarbeitung nicht auszuführen. Kehren wir zurück zu 3(a).
Zweite Bestimmungsverarbeitung
Bei der zweiten Bestimmungsverarbeitung werden der Wachsamkeitsgrad und der Fahrkenntnisgrad verwendet. 4 (b) ist eine Tabelle, die in der zweiten Bestimmungsverarbeitung verwendet wird. Der Fahrkenntnisgrad ist auf der horizontalen Achse dargestellt, und der Wachsamkeitsgrad ist auf der vertikalen Achse dargestellt. DSa und DSb sind als Grenzwerte für den Fahrkenntnisgrad spezifiziert. DSa<DSb. Ferner sind Ad und Ae als Grenzwerte für den Wachsamkeitsgrad spezifiziert. Ad<Ae. Die Bestimmungseinheit 62 führt eine Bestimmung durch, unabhängig vom Wachsamkeitsgrad eine Verarbeitung nicht durchzuführen, wenn der Fahrkenntnisgrad gleich oder kleiner ist als DSa. In einem Fall, in dem der Fahrkenntnisgrad über DSa liegt und gleich oder kleiner ist als DSb, wenn der Wachsamkeitsgrad gleich oder größer ist als Ae, führt die Bestimmungseinheit 62 eine Bestimmung durch, die Verarbeitung auszuführen, aber führt eine Bestimmung durch, die Verarbeitung nicht auszuführen, wenn der Wachsamkeitsgrad unter Ae liegt. In einem Fall, in dem der Fahrkenntnisgrad über DSb liegt wenn der Wachsamkeitsgrad gleich oder größer ist als Ad, führt die Bestimmungseinheit 62 eine Bestimmung durch, die Verarbeitung auszuführen, aber führt eine Bestimmung durch, die Verarbeitung nicht auszuführen, wenn der Wachsamkeitsgrad unter Ad liegt. Man kann sagen, dass die Grenzwerte für den Wachsamkeitsgrad kleiner eingestellt werden, wenn sich der Fahrkenntnisgrad erhöht.
Dritte Bestimmungsverarbeitung
Bei der dritten Bestimmungsverarbeitung werden der Fahrschwierigkeitsgrad und der Fahrkenntnisgrad verwendet. 4 (c) ist eine Tabelle, die in der dritten Bestimmungsverarbeitung verwendet wird. Der Fahrkenntnisgrad ist auf der horizontalen Achse dargestellt, und der Fahrschwierigkeitsgrad ist auf der vertikalen Achse dargestellt. DSa, DSb und DSc sind als Grenzwerte für den Fahrkenntnisgrad spezifiziert. DSa<DSb<DSc. Ferner sind TDb, TDc und TDd als Grenzwerte für den Fahrschwierigkeitsgrad spezifiziert. TDb<TDc<TDd. Die Bestimmungseinheit 62 führt eine Bestimmung durch, unabhängig vom Fahrschwierigkeitsgrad eine Verarbeitung nicht durchzuführen, wenn der Fahrkenntnisgrad gleich oder kleiner ist als DSa. In einem Fall, in dem der Fahrkenntnisgrad über DSa liegt und gleich oder kleiner ist als DSb, wenn der Fahrschwierigkeitsgrad gleich oder kleiner ist als TDb, führt die Bestimmungseinheit 62 eine Bestimmung durch, die Verarbeitung auszuführen, aber führt eine Bestimmung durch, die Verarbeitung nicht auszuführen, wenn der Fahrschwierigkeitsgrad über TDb liegt. In einem Fall, in dem der Fahrkenntnisgrad über DSb liegt und der Fahrkenntnisgrad gleich oder kleiner ist als DSc, wenn der Fahrschwierigkeitsgrad gleich oder kleiner ist als TDc, führt die Bestimmungseinheit 62 eine Bestimmung durch, die Verarbeitung auszuführen, aber führt eine Bestimmung durch, die Verarbeitung nicht auszuführen, wenn der Fahrschwierigkeitsgrad über TDc liegt. In einem Fall, in dem der Fahrkenntnisgrad über DSc liegt, wenn der Wachsamkeitsgrad gleich oder kleiner ist als TDd, führt die Bestimmungseinheit 62 eine Bestimmung durch, die Verarbeitung auszuführen, aber führt eine Bestimmung durch, die Verarbeitung nicht auszuführen, wenn der Fahrschwierigkeitsgrad über TDd liegt. Man kann sagen, dass der Grenzwert für den Fahrschwierigkeitsgrad größer eingestellt ist, wenn sich der Fahrkenntnisgrad erhöht.
Vierte Bestimmungsverarbeitung
Bei der vierten Bestimmungsverarbeitung wird der Fahrschwierigkeitsgrad verwendet. Wenn der Fahrschwierigkeitsgrad gleich oder kleiner ist als ein Grenzwert, führt die Bestimmungseinheit 62 eine Bestimmung durch, eine Verarbeitung auszuführen. Wenn der Fahrschwierigkeitsgrad über dem Grenzwert liegt, führt die Bestimmungseinheit 62 eine Bestimmung durch, eine Verarbeitung nicht auszuführen.
Fünfte Bestimmungsverarbeitung
Bei der fünften Bestimmungsverarbeitung wird ein Wachsamkeitsgrad verwendet. Die Bestimmungseinheit 62 führt eine Bestimmung durch, wie in einem Fall, in dem der Fahrschwierigkeitsgrad gleich oder kleiner ist als der erste Grenzwert TDa in der ersten Bestimmungsverarbeitung. Das heißt, die Bestimmungseinheit 62 führt eine Bestimmung durch, eine Verarbeitung auszuführen, wenn der Wachsamkeitsgrad gleich oder größer ist als Aa und gleich oder kleiner ist als Ac. Wie oben erwähnt, ist Ac>Aa. Wenn der Wachsamkeitsgrad unter Aa liegt, oder der Wachsamkeitsgrad über dem Wert Ac liegt, führt die Bestimmungseinheit 62 eine Bestimmung durch, eine Verarbeitung nicht auszuführen.
Sechste Bestimmungsverarbeitung
Bei der sechsten Bestimmungsverarbeitung wird der Fahrkenntnisgrad verwendet. Wenn der Fahrkenntnisgrad gleich oder größer ist als ein Grenzwert, führt die Bestimmungseinheit 62 eine Bestimmung durch, eine Verarbeitung auszuführen. Wenn der Fahrkenntnisgrad unter einem Grenzwert liegt, führt die Bestimmungseinheit 62 eine Bestimmung durch, eine Verarbeitung nicht auszuführen.
Durch Kombination der Verarbeitung von der ersten Bestimmungsverarbeitung bis zur dritten Bestimmungsverarbeitung kann die Bestimmungseinheit 62 auf der Grundlage einer Kombination des Fahrschwierigkeitsgrades, des Wachsamkeitsgrades und des Fahrkenntnisgrades bestimmen, ob eine Verarbeitung auszuführen ist oder nicht. Die Bestimmungseinheit 62 gibt das Bestimmungsergebnis, das heißt die Information, ob Lernen auszuführen ist oder nicht, an die Bild-/Sprach-Ausgabeeinheit 51 und den Prozessor 64 aus. Die Bild-/Sprach-Ausgabeeinheit 51 bewirkt, dass die Meldevorrichtung 2 die Information, ob Lernen auszuführen ist oder nicht, anzeigt. Die 6(a) bis 6(d) stellen Bildschirmanzeigen dar, die auf der Meldevorrichtung 2 angezeigt werden. 6 (a) stellt eine Bildschirmanzeige in einem Fall dar, in dem eine Bestimmung durchgeführt wurde, Lernen auszuführen. Hier wird angenommen, dass die Bestimmung auf der Grundlage einer Kombination aus Fahrschwierigkeitsgrad, Wachsamkeitsgrad und Fahrkenntnisgrad durchgeführt wird. 6(b) stellt eine Bildschirmanzeige in einem Fall dar, in dem eine Bestimmung durchgeführt wurde, Lernen nicht auszuführen. Die 6(c) und 6(d) sind nachstehend beschrieben. Kehren wir zurück zu 3(a).
Es wird angenommen, dass der Prozessor 64 Lernen ausführt, wenn die Bestimmungseinheit 62 eine Bestimmung durchgeführt hat, Lernen auszuführen, aber Lernen nicht ausführt, wenn die Bestimmungseinheit 62 eine Bestimmung durchgeführt hat, Lernen nicht auszuführen. Ein Fall, bei dem Lernen ausgeführt wird, ist nachstehend beschrieben. Die Lerneinheit 80 empfängt als Eingabeparameter 90 die Informationen bezüglich des Fahrers von der Eingabeeinheit für erfasste Informationen 52. Außerdem erfasst die Lerneinheit 80 als Überwachungsdaten 82 eine Menge zukünftiger Änderungen, die mit den Informationen bezüglich des Fahrers verbunden sind. Zukünftig bedeutet zum Beispiel einige Sekunden später oder einige Minuten später. Die Lerneinheit 80 führt eine Verarbeitung auf der Grundlage der Eingabeparameter 90 durch, und insbesondere eine Lernverarbeitung, um zu bewirken, dass das Fahrverhaltensmodell 84 lernt. Um dies unter bestimmten Bedingungen zu beschreiben, gleicht die Lerneinheit 80 dieses Fahrverhaltensmodell 84 mittels der Informationen bezüglich des Fahrers, die die Eingabeparameter 90 sind, und der Überwachungsdaten 82 an. Mit anderen Worten gleicht die Lerneinheit 80 durch Eingabe der Eingabeparameter 90 in ein neuronales Netzwerk die Gewichtungsparameter und dergleichen des neuronalen Netzwerks an, so dass die Überwachungsdaten 82 als Ausgabedaten erhalten werden. Als Ergebnis der Anpassung veranlasst die Lerneinheit 80 das neuronale Netz, die Beziehung zwischen den Eingabeparametern 90 und den Überwachungsdaten 82 zu lernen. Infolgedessen wird das Fahrverhaltensmodell 84 erstellt.
Die 7(a) und 7(b) sehen eine Übersicht über die Verarbeitung durch den Prozessor 64 vor. 7(a) sieht eine Übersicht über die Lernverarbeitung der Lerneinheit 80 vor. Die Lerneinheit 80 gibt eine Vielzahl von Eingabeparametern 90 wie die Parameter Pa und Pb und dergleichen, die als Informationen bezüglich des Fahrers gekennzeichnet sind, in das neuronale Netz ein. Die Lerneinheit 80 optimiert die Gewichtungsparameter des neuronalen Netzes, so dass die Ausgabe des neuronalen Netzes die Überwachungsdaten 82 sind, und passt die Überwachungsdaten 82 an die Eingabeparameter 90 an. Das so erstellte neuronale Netz ist das Fahrverhaltensmodell 84. Lernen ist nicht auf die Verwendung von Überwachungsdaten beschränkt, und kann beispielsweise Lernen ohne Überwachungsdaten sein (so genanntes unüberwachtes Lernen). Nachstehend ist 7(b) beschrieben.
Als Nächstes wird die Abschätzungs-Verarbeitung unter Verwendung von 3(b) beschrieben. In 3(b) enthält die Steuerungseinrichtung 41 die Erfassungseinheit 60, die Bestimmungseinheit 62 und den Prozessor 64. Die Erfassungseinheit 60 umfasst die Fahrschwierigkeitsgrad-Erfassungseinheit 70, die Wachsamkeitsgrad-Erfassungseinheit 72 und die Fahrkenntnisgrad-Erfassungseinheit 74, und der Prozessor 64 umfasst das Fahrverhaltensmodell 84, eine Abschätzungseinheit 86 und einen Abschätzungswert 88. Ferner sind der Fahrumgebungssensor 25, der Überwachungssensor 26 und der Fahrzeuginformationssensor 27 mit der Eingabeeinheit für erfasste Informationen 52 verbunden, und die Eingabeeinheit für erfasste Informationen 52 ist mit der Erfassungseinheit 60 verbunden. Zusätzlich dazu ist die Bestimmungseinheit 62 mit der Bild-/Sprach-Ausgabeeinheit 51 verbunden, und die Bild-/Sprach-Ausgabeeinheit 51 ist mit der Meldevorrichtung 2 verbunden. Die Erfassungseinheit 60 und die Bestimmungseinheit 62 führen die Verarbeitung wie in 3(a) aus, und daher ist eine Beschreibung davon hier ausgelassen.
Die Bestimmungseinheit 62 gibt das Bestimmungsergebnis, das heißt die Information, ob ein Abschätzen auszuführen ist oder nicht, an die Bild-/Sprach-Ausgabeeinheit 51 und den Prozessor 64 aus. Die Bild-/Sprach-Ausgabeeinheit 51 bewirkt, dass die Meldevorrichtung 2 die Information, ob das Abschätzen auszuführen ist oder nicht, anzeigt. 6 (c) stellt eine Bildschirmanzeige in einem Fall dar, in dem eine Bestimmung durchgeführt wurde, Abschätzen auszuführen. Hier wird ebenfalls angenommen, dass die Bestimmung auf der Grundlage einer Kombination aus Fahrschwierigkeitsgrad, Wachsamkeitsgrad und Fahrkenntnisgrad durchgeführt wird. 6(d) stellt eine Bildschirmanzeige in einem Fall dar, in dem eine Bestimmung durchgeführt wurde, Abschätzen nicht auszuführen. Kehren wir zurück zu 3(b).
Es wird angenommen, dass der Prozessor 64 Abschätzen ausführt, wenn die Bestimmungseinheit 62 eine Bestimmung durchgeführt hat, Abschätzen auszuführen, aber Abschätzen nicht ausführt, wenn die Bestimmungseinheit 62 eine Bestimmung durchgeführt hat, Abschätzen nicht auszuführen. Ein Fall, bei dem ein Abschätzen ausgeführt wird, ist nachstehend beschrieben. Die Abschätzungseinheit 86 empfängt als Eingabedaten 92 Informationen bezüglich Bedienungen des Fahrers von der Eingabeeinheit für erfasste Informationen 52. Die Abschätzungseinheit 86 führt eine Verarbeitung auf der Grundlage der Eingabedaten 92 durch, und insbesondere eine Abschätzungsverarbeitung, um eine Menge zukünftiger Änderungen abzuschätzen. Um dies unter bestimmten Bedingungen zu beschreiben, gibt die Abschätzungseinheit 86 die Eingabedaten 92 in das Fahrverhaltensmodell 84 ein und erfasst den Abschätzungswert 88 von dem Fahrverhaltensmodell 84. Der Abschätzungswert 88 ist eine Menge zukünftiger Änderungen.
7(b) sieht eine Übersicht über die Abschätzungsverarbeitung der Abschätzungseinheit 86 vor. Die Abschätzungseinheit 86 gibt die Eingabedaten 92, die als Erfassungsergebnis dargestellt sind, in das neuronale Netz ein. Somit erfasst die Abschätzungseinheit 86 als Abschätzungswert 88 die Menge zukünftiger Änderungen, die von dem neuronalen Netz ausgegeben wird. Die Selbstfahr-Steuerungsvorrichtung 30 von 1 steuert das Selbstfahren des Fahrzeugs 100 auf der Grundlage der Menge zukünftiger Änderungen, die von der Abschätzungseinheit 86 erfasst wird.
Nun wird die Arbeitsweise der Fahrassistenzvorrichtung 40 gemäß der oben beschriebenen Anordnung beschrieben. 8 ist ein Flussdiagramm, das einen von der Fahrassistenzvorrichtung 40 durchgeführten Verarbeitungsprozess darstellt. Die Eingabeeinheit für erfasste Informationen 52 erfasst Fahrumgebungsinformationen (S50). Die Fahrschwierigkeitsgrad-Erfassungseinheit 70 leitet den Fahrschwierigkeitsgrad ab (S52). Die Eingabeeinheit für erfasste Informationen 52 erfasst ein Gesichtsbild (S54). Die Wachsamkeitsgrad-Erfassungseinheit 72 leitet den Wachsamkeitsgrad ab (S56). Wenn der Fahrschwierigkeitsgrad größer ist als TDa (Y in S58) und der Wachsamkeitsgrad gleich oder größer ist als Ab (Y in S60), führt die Bestimmungseinheit 62 eine Bestimmung durch, eine Verarbeitung auszuführen (S62). Wenn der Wachsamkeitsgrad nicht gleich oder größer ist als Ab (N in S60), führt die Bestimmungseinheit 62 eine Bestimmung durch, eine Verarbeitung nicht auszuführen (S64). Wenn der Fahrschwierigkeitsgrad nicht größer ist als TDa (N in S58) und der Wachsamkeitsgrad gleich oder größer ist als Aa und gleich oder kleiner als Ac (Y in S66), führt die Bestimmungseinheit 62 eine Bestimmung durch, eine Verarbeitung auszuführen (S68). Wenn der Wachsamkeitsgrad nicht gleich oder größer ist als Aa oder nicht gleich oder kleiner ist als Ac (N in S66), führt die Bestimmungseinheit 62 eine Bestimmung durch, eine Verarbeitung nicht auszuführen (S70). Die Meldevorrichtung 2 zeigt einen Verarbeitungszustand an (S72).
9 ist ein Flussdiagramm, das einen anderen von der Fahrassistenzvorrichtung 40 durchgeführten Verarbeitungsprozess darstellt. Die Eingabeeinheit für erfasste Informationen 52 erfasst ein Gesichtsbild (S10). Die Wachsamkeitsgrad-Erfassungseinheit 72 leitet den Wachsamkeitsgrad ab (S12). Wenn der Wachsamkeitsgrad gleich oder größer ist als Aa und gleich oder kleiner ist als Ac (Y in S14), führt die Bestimmungseinheit 62 eine Bestimmung durch, eine Verarbeitung auszuführen (S16). Wenn der Wachsamkeitsgrad nicht gleich oder größer ist als Aa oder nicht gleich oder kleiner ist als Ac (N in S14), führt die Bestimmungseinheit 62 eine Bestimmung durch, eine Verarbeitung nicht auszuführen (S18). Die Meldevorrichtung 2 zeigt einen Verarbeitungszustand an (S20).
Gemäß dieser Ausführungsform kann, da eine Bestimmung, ob eine Verarbeitung durchzuführen ist oder nicht, auf der Grundlage von mindestens einem aus Fahrschwierigkeitsgrad, Wachsamkeitsgrad und Fahrkenntnisgrad durchgeführt wird, eine Ausführung von Lernen oder Abschätzen in Zuständen, die für Lernen oder Abschätzen ungeeignet sind, verhindert werden. Außerdem kann, da eine Bestimmung, ob eine Verarbeitung durchzuführen ist oder nicht, auf der Grundlage einer Kombination von zwei oder mehr Informationselementen aus Fahrschwierigkeitsgrad, Wachsamkeitsgrad und Fahrkenntnisgrad durchgeführt wird, die Bestimmungsgenauigkeit verbessert werden. Zusätzlich dazu können, weil die Bestimmung, ob eine Verarbeitung durchzuführen ist oder nicht, auf der Grundlage einer Kombination aus Fahrschwierigkeitsgrad und Wachsamkeitsgrad durchgeführt wird, die Grenzwerte für den Wachsamkeitsgrad entsprechend dem Fahrschwierigkeitsgrad geändert werden. Außerdem kann, weil die Grenzwerte für den Wachsamkeitsgrad sich entsprechend dem Fahrschwierigkeitsgrad ändern, die Bestimmungsgenauigkeit verbessert werden. Zusätzlich dazu können, weil eine Bestimmung, eine Verarbeitung nicht durchzuführen, auf der Grundlage einer Kombination des Wachsamkeitsgrades und des Fahrkenntnisgrades durchgeführt wird, die Grenzwerte für den Wachsamkeitsgrad entsprechend dem Fahrkenntnisgrad geändert werden. Außerdem kann, weil die Grenzwerte für den Wachsamkeitsgrad sich entsprechend dem Fahrkenntnisgrad ändern, die Bestimmungsgenauigkeit verbessert werden. Zusätzlich dazu können, weil eine Bestimmung, eine Verarbeitung nicht durchzuführen, auf der Grundlage einer Kombination des Fahrschwierigkeitsgrades und des Fahrkenntnisgrades durchgeführt wird, die Grenzwerte für den Fahrschwierigkeitsgrad entsprechend dem Fahrkenntnisgrad geändert werden. Außerdem kann, weil die Grenzwerte für den Fahrschwierigkeitsgrad sich entsprechend dem Fahrkenntnisgrad ändern, die Bestimmungsgenauigkeit verbessert werden.
Außerdem ist es möglich, weil eine Bestimmung, eine Verarbeitung nicht durchzuführen, durchgeführt wird, wenn der Fahrschwierigkeitsgrad groß ist, die Ausführung von Lernen oder Abschätzen in Fällen zu unterdrücken, in denen eine Benutzung eines Fahrverhaltensmodells ungeeignet ist, da der Fahrschwierigkeitsgrad groß ist. Außerdem ist es möglich, weil eine Bestimmung, eine Verarbeitung nicht durchzuführen, durchgeführt wird, wenn der Wachsamkeitsgrad klein ist, die Ausführung von Lernen oder Abschätzen in Fällen zu unterdrücken, in denen eine Benutzung eines Fahrverhaltensmodells ungeeignet ist, da der Wachsamkeitsgrad klein ist. Außerdem ist es möglich, weil eine Bestimmung, eine Verarbeitung nicht durchzuführen, durchgeführt wird, wenn der Fahrkenntnisgrad klein ist, die Ausführung von Lernen oder Abschätzen in Fällen zu unterdrücken, in denen eine Benutzung eines Fahrverhaltensmodells ungeeignet ist, da der Fahrkenntnisgrad klein ist. Außerdem kann, weil eine Bestimmung, Lernen durchzuführen oder nicht, durchgeführt wird, die Ausführung von Lernen in Zuständen unterdrückt werden, die für Lernen ungeeignet sind. Außerdem kann, weil eine Bestimmung, Abschätzen durchzuführen oder nicht, durchgeführt wird, die Ausführung von Abschätzen in Zuständen unterdrückt werden, die für Abschätzen ungeeignet sind. Es ist zu beachten, dass die in 6 dargestellte Form der Anzeige nicht auf oder durch die Ausführungsform eingeschränkt ist. Zum Beispiel kann die Anzeige nur anzeigen, ob Lernen stattfindet oder nicht, oder nur anzeigen, ob Abschätzen stattfindet oder nicht.
Zweite Ausführungsform
Als Nächstes wird eine zweite Ausführungsform beschrieben. Ähnlich wie die erste Ausführungsform betrifft die zweite Ausführungsform ein Assistenzsystem, das in der Lage ist, abhängig von der Situation zwischen Ausführen und Nichtausführen der Lernverarbeitung oder der Abschätzungsverarbeitung umzuschalten. In der ersten Ausführungsform wird das Assistenzsystem für das Selbstfahren eines Fahrzeugs verwendet, und eine Lernverarbeitung oder Abschätzungsverarbeitung für ein Fahrverhaltensmodell wird von dem Assistenzsystem ausgeführt. In der zweiten Ausführungsform wird das Assistenzsystem jedoch in einem Sprachagenten-System verwendet. Das Sprachagenten-System wird auch Sprachassistenzsystem genannt und kombiniert Spracherkennungsverarbeitung mit der Verarbeitung natürlicher Sprache, um auf Äußerungen eines Sprechers zu reagieren und geeignet zu funktionieren. Zum Beispiel macht ein Sprecher Äußerungen für ein Smartphone, eine Endvorrichtung vom Tablet-Typ oder einen intelligenten Lautsprecher (nachfolgend insgesamt als „Endvorrichtungen“ bezeichnet), und die Verarbeitung wird in einer Server-Vorrichtung ausgeführt, die über ein Netzwerk mit der Endvorrichtung gekoppelt ist. In einem Sprachagenten-System dieser Art ist es erforderlich, die Reaktionszeit bis zum Auftreten einer Reaktion oder einer Aktion zu verkürzen, nachdem der Sprecher eine Äußerung gemacht hat. Um die Reaktionszeit zu verkürzen, wird der Inhalt der Äußerung abgeschätzt, während der Sprecher die Äußerung macht, indem ein Assistenzsystem in dem Sprachagenten-System verwendet wird. In diesem Assistenzsystem wird eine Lernverarbeitung oder Abschätzungsverarbeitung für ein Äußerungsverhaltensmodell ausgeführt.
Hier kann eine „Äußerungsverhaltens-Abschätzungsmaschine“ gestaltet sein wie die „Fahrverhaltens-Abschätzungsmaschine“. Außerdem ist ein „Äußerungsverhaltensmodell“ gemäß der Äußerungsverhaltens-Abschätzungsmaschine eindeutig bestimmt. Ein Äußerungsverhaltensmodell ist im Fall von DL ein erlerntes neuronales Netz, ein Äußerungsverhaltensmodell im Fall von SVM ist ein erlerntes Vorhersagemodell, und ein Äußerungsverhaltensmodell in dem Fall des kollaborativen Filterns besteht aus Daten, die erhalten werden, indem Äußerungsdaten mit Reaktionsdaten für Äußerungen verknüpft werden. Ein Äußerungsverhaltensmodell im Fall von Regeln sind Daten, die erhalten werden, indem Eingaben mit Ausgaben verknüpft werden.
Auf der Grundlage solcher Definitionen ist, wenn die Lernverarbeitung oder die Abschätzungsverarbeitung für ein Äußerungsverhaltensmodell in Fällen durchgeführt wird, in denen der Zustand nicht der für Äußerungen geeignete Zustand ist, die Genauigkeit des Lernens oder Abschätzens dann gering. Fälle, in denen der Zustand nicht ein Zustand ist, der für Äußerungen geeignet ist, umfassen Fälle, in denen eine Äußerung von Inhalt vorgenommen wird, der nicht für das Lernen oder Abschätzen geplant ist, und Fälle, in denen eine Äußerung durch einen nicht geplanten Sprecher vorgenommen wird. In solchen Fällen ist es zu bevorzugen, Lernen oder Abschätzen nicht durchzuführen. Um diese Situation zu behandeln, wird gemäß der vorliegenden Ausführungsform der Inhalt der Äußerung und/oder der Sprecher der Äußerung erfasst, und es wird auf der Grundlage des Äußerungsinhalts und/oder des Sprechers der Äußerung eine Bestimmung durchgeführt, ob eine Lern- oder Abschätzungsverarbeitung durchgeführt wird oder nicht. Lernen oder Abschätzen wird ausgeführt, wenn eine Bestimmung vorgenommen wurde, eine Verarbeitung durchzuführen, und Lernen oder Abschätzen wird nicht ausgeführt, wenn eine Bestimmung vorgenommen wurde, eine Verarbeitung nicht durchzuführen. Die nachfolgende Beschreibung konzentriert sich auf Unterschiede gegenüber der vorherigen.
10 stellt eine Konfiguration eines Sprachagenten-Systems 300 dar. Das Sprachagenten-System 300 enthält eine Endvorrichtung 310, ein Netzwerk 320 und eine Server-Vorrichtung 330. Die Endvorrichtung 310 enthält ein Mikrofon 350, eine Kamera 352, eine Meldeeinheit 354, eine Steuerungseinrichtung 356 und eine Kommunikationseinheit 358. Die Endvorrichtung 310 ist ein Smartphone, eine Tablet-Endvorrichtung oder ein intelligenter Lautsprecher, wie oben erwähnt. Das Mikrofon 350 nimmt Sprache auf, die von einem Sprecher geäußert wird. Das Mikrofon 350 wandelt die Sprache in ein Digitalsignal (nachfolgend ebenfalls „Sprache“ genannt) um und gibt das Digitalsignal an die Steuerungseinrichtung 356 aus. Für diese Umwandlung können allgemein bekannte Technologien verwendet werden, so dass eine Beschreibung hier weggelassen ist. Die Kamera 352 ist eine Bildaufnahmevorrichtung, die in der Lage ist, das Gesicht des Fahrers aufzunehmen. Die von der Kamera 352 aufgenommenen Bilder können Standbilder oder Bewegtbilder sein. Die Kamera 352 wandelt die Bilder in ein Digitalsignal (nachfolgend ebenfalls „Bilder“ genannt) um und gibt das Digitalsignal an die Steuerungseinrichtung 356 aus.
Die Steuerungseinrichtung 356 empfängt Sprache von dem Mikrofon und empfängt Bilder von der Kamera 352. Die Steuerungseinrichtung 356 gibt mindestens eine der oben erwähnten empfangenen Informationen an die Kommunikationseinheit 358 aus. Die Kommunikationseinheit 358 empfängt die Informationen von der Steuerungseinrichtung 356. Die Kommunikationseinheit 358 ist in der Lage, eine drahtlose Kommunikation durchzuführen und ist über Funkkommunikation mit dem Netzwerk 320 verbunden. Die Kommunikationseinheit 358 übermittelt Informationen über das Netzwerk 320 an die Server-Vorrichtung 330. Für die von der Kommunikationseinheit 358 durchgeführte Funkkommunikation können allgemein bekannte Technologien verwendet werden, so dass eine Beschreibung hier weggelassen ist. Die Kommunikationseinheit 358 kann ebenfalls eine drahtgebundene Kommunikation durchführen.
Die Server-Vorrichtung 330 empfängt die Informationen von der Endvorrichtung 310 über das Netzwerk 320. Die Server-Vorrichtung 330 erkennt den Inhalt der Sprache in den empfangenen Informationen, indem sie die Sprache einer Spracherkennungsverarbeitung und einer Verarbeitung natürlicher Sprache unterzieht. Die Server-Vorrichtung 330 führt eine Verarbeitung entsprechend dem Sprachinhalt durch. Wenn der Inhalt der Sprache beispielsweise „Wie ist die Wettervorhersage für heute in Tokio?“ ist, greift die Server-Vorrichtung 330 über das Netzwerk 320 auf einen Wettervorhersage-Server (nicht gezeigt) zu und empfängt die „Wettervorhersage für heute in Tokio“ von dem Wettervorhersage-Server. Die Server-Vorrichtung 330 übermittelt Informationen (nachfolgend „Antwort-Informationen“ genannt), die von der „Wettervorhersage für heute in Tokio“ angezeigt werden, über das Netzwerk 320 an die Endvorrichtung 310. Für eine solche Verarbeitung durch die Server-Vorrichtung 330 können allgemein bekannte Technologien verwendet werden, so dass eine Beschreibung hier weggelassen ist.
Die Kommunikationseinheit 358 der Endvorrichtung 310 empfängt Antwort-Informationen von der Server-Vorrichtung 330. Die Kommunikationseinheit 358 gibt den in den Antwort-Informationen enthaltenen Inhalt, beispielsweise die „Wettervorhersage für heute in Tokio“, an die Steuerungseinrichtung 356 aus. Die Steuerungseinrichtung 356 wird über den Inhalt, der von der Kommunikationseinheit 358 empfangen wurde, durch die Meldeeinheit 354 unterrichtet. Wenn die Meldeeinrichtung 354 eine Anzeige ist, bewirkt die Steuerungseinrichtung 356, dass die Anzeige die „Wettervorhersage für heute in Tokio“ anzeigt. Wenn die Meldeeinrichtung 354 ein Lautsprecher ist, sieht die Steuerungseinrichtung 356 über den Lautsprecher Sprache für die „Wettervorhersage für heute in Tokio“ vor.
Die 11(a) und 11(b) stellen Konfigurationen eines Assistenzsystems 400 dar. Das Assistenzsystem 400 kann eine Vorrichtung sein oder kann eine Kombination einer Vielzahl von Vorrichtungen sein. Wenn das Assistenzsystem 400 eine Vorrichtung ist, entspricht das Assistenzsystem 400 der Server-Vorrichtung 330 in 10. Wenn das Assistenzsystem 400 aus zwei oder mehr Vorrichtungen besteht, entspricht das Assistenzsystem 400 einer Kombination der Endvorrichtung 310 und der Server-Vorrichtung 330 in 10. Das Assistenzsystem 400 kann eine Vorrichtung enthalten, die nicht in 10 dargestellt ist. 11 (a) stellt eine Konfiguration bezüglich der Lern-Verarbeitung dar, und 11 (b) stellt eine Konfiguration bezüglich der Abschätzungs-Verarbeitung dar. Hier wird die Abschätzungs-Verarbeitung nach der Beschreibung der Lern-Verarbeitung beschrieben. In 11(a) enthält das Assistenzsystem 400 eine Steuerungseinrichtung 441, eine Eingabeeinheit für erfasste Informationen 452 und eine Ausgabeeinheit 454. Die Steuerungseinrichtung 441 enthält eine Erfassungseinheit 460, eine Bestimmungseinheit 462 und einen Prozessor 464. Die Erfassungseinheit 460 umfasst eine Äußerungsinhalt-Erfassungseinheit 470 und eine Sprecher-Erfassungseinheit 472, und der Prozessor 464 umfasst eine Lerneinheit 480, Überwachungsdaten 482 und ein Äußerungsverhaltensmodell 484. Ferner sind das Mikrofon 350 und die Kamera 352 mit der Eingabeeinheit für erfasste Informationen 452 verbunden, und die Meldeeinheit 354 ist mit der Ausgabeeinheit 454 verbunden.
Das Assistenzsystem 400 führt eine Verarbeitung bezüglich eines Äußerungsverhaltensmodells für Äußerungen aus. Sprache von dem Mikrofon 350 und Bilder von der Kamera 352 werden in die Eingabeeinheit für erfasste Informationen 452 als erfasste Informationen eingegeben. Man kann sagen, dass die erfassten Informationen für Äußerungen eingegeben werden. Die Eingabeeinheit für erfasste Informationen 452 gibt die Sprache in den erfassten Informationen vom Mikrofon 350 an die Äußerungsinhalt-Erfassungseinheit 470 und den Prozessor 464 aus, und gibt die Bilder von der Kamera 352 an die Sprecher-Erfassungseinheit 472 aus. Hier kann die Eingabeeinheit für erfasste Informationen 452 ebenfalls die Bilder von der Kamera 352 an die Äußerungsinhalt-Erfassungseinheit 470 ausgeben.
Die Äußerungsinhalt-Erfassungseinheit 470 in der Erfassungseinheit 460 empfängt die Sprache von der Eingabeeinheit für erfasste Informationen 452. Die Äußerungsinhalt-Erfassungseinheit 470 erkennt Äußerungsinhalt, indem sie eine Spracherkennungsverarbeitung und eine Verarbeitung natürlicher Sprache ausführt. Für eine solche Verarbeitung kann eine bekannte Technik verwendet werden. Die Äußerungsinhalt-Erfassungseinheit 470 gibt den Äußerungsinhalt an die Bestimmungseinheit 462 aus. Die Sprecher-Erfassungseinheit 472 empfängt die Bilder von der Eingabeeinheit für erfasste Informationen 452. Die Sprecher-Erfassungseinheit 472 speichert Bilder (nachfolgend als „Referenzbilder“ bezeichnet), in denen die Gesichter von Sprechern, die Vorverarbeitungsziele darstellen, gezeigt sind. Referenzbilder für jeden der Vielzahl von Sprechern können ebenfalls gespeichert sein. Die Sprecher-Erfassungseinheit 472 erkennt, ob der in einem empfangenen Bild enthaltene Sprecher derselbe ist, wie der in einem Referenzbild enthaltene Sprecher, indem sie das empfangene Bild einer Bilderkennungsverarbeitung unterzieht. Die Sprecher-Erfassungseinheit 472 gibt das Erkennungsergebnis, das heißt, ob die Sprecher dieselben sind oder nicht, an die Bestimmungseinheit 462 aus. Dies entspricht der Ausgabe der Sprecher-Information an die Bestimmungseinheit 462. Somit erfasst die Erfassungseinheit 460 Äußerungsinhalt und/oder einen Sprecher als ein oder mehrere Informationselemente, die die Genauigkeit des Verhaltensmodells beeinflussen.
Die Bestimmungseinheit 462 empfängt Äußerungsinhalt von der Äußerungsinhalt-Erfassungseinheit 470 und Sprecher-Informationen von der Sprecher-Erfassungseinheit 472. Die Bestimmungseinheit 462 führt auf der Grundlage des Äußerungsinhaltes und/oder der Sprecher-Information eine Bestimmung durch, ob eine Verarbeitung durchzuführen ist oder nicht Für die Verarbeitung ist das Lernen in 11 (a) dargestellt, und die Abschätzung ist in 11 (b) darstellt. Hier ist die Verarbeitung der Bestimmungseinheit 462 von der ersten Bestimmungsverarbeitung bis zur dritten Bestimmungsverarbeitung in dieser Reihenfolge beschrieben.
Erste Bestimmungsverarbeitung
Bei der ersten Bestimmungsverarbeitung werden der Äußerungsinhalt und die Sprecher-Information verwendet. Die Bestimmungseinheit 462 speichert ein oder mehrere Schlüsselwörter, die in geplantem Äußerungsinhalt enthalten sein sollen. Die Bestimmungseinheit 462 bestimmt, ob die Schlüsselwörter in dem Äußerungsinhalt enthalten sind oder nicht. Wenn die Schlüsselwörter nicht im Äußerungsinhalt enthalten sind, das heißt wenn der Äußerungsinhalt ungeplant ist, führt die Bestimmungseinheit 462 eine Bestimmung durch, eine Verarbeitung nicht auszuführen. Wenn die Schlüsselwörter im Äußerungsinhalt enthalten sind, das heißt wenn der Äußerungsinhalt geplant ist, bestätigt die Bestimmungseinheit 462 die Sprecher-Information. Wenn die Sprecher-Information anzeigt, dass der in dem Bild enthaltene Sprecher sich von dem in einem Referenzbild enthaltenen Sprecher unterscheidet, das heißt wenn der Sprecher der Äußerung ungeplant ist, führt die Bestimmungseinheit 462 eine Bestimmung durch, eine Verarbeitung nicht auszuführen. Wenn die Sprecher-Information andererseits anzeigt, dass der in dem Bild enthaltene Sprecher derselbe ist wie ein in einem Referenzbild enthaltener Sprecher, das heißt wenn der Sprecher der Äußerung geplant ist, führt die Bestimmungseinheit 462 eine Bestimmung durch, eine Verarbeitung auszuführen.
Zweite Bestimmungsverarbeitung
Bei der zweiten Bestimmungsverarbeitung wird Äußerungsinhalt verwendet. Die Bestimmungseinheit 462 führt die Verarbeitung aus wie in der ersten Bestimmungsverarbeitung und führt eine Bestimmung durch, eine Verarbeitung nicht auszuführen, wenn der Äußerungsinhalt ungeplant ist. Andererseits führt die Bestimmungseinheit 462 eine Bestimmung durch, eine Verarbeitung auszuführen, wenn der Äußerungsinhalt geplant ist.
Dritte Bestimmungsverarbeitung
Bei der dritten Bestimmungsverarbeitung wird Sprecher-Information verwendet. Die Bestimmungseinheit 462 führt die Verarbeitung aus wie in der ersten Bestimmungsverarbeitung und führt eine Bestimmung durch, eine Verarbeitung nicht auszuführen, wenn der Sprecher der Äußerung ungeplant ist. Andererseits führt die Bestimmungseinheit 462 eine Bestimmung durch, eine Verarbeitung auszuführen, wenn der Sprecher der Äußerung geplant ist.
Die Bestimmungseinheit 462 gibt das Bestimmungsergebnis, das heißt die Information, ob Lernen auszuführen ist oder nicht, an die Ausgabeeinheit 454 und den Prozessor 464 aus. Die Ausgabeeinheit 454 gibt die Information, ob Lernen auszuführen ist oder nicht, an die Meldeeinheit 354 aus. Die Meldeeinheit 354 zeigt die Information, ob Lernen auszuführen ist oder nicht, an. Die 12(a) bis 12(f) stellen Bildschirmanzeigen dar, die auf der Meldevorrichtung 354 der Endvorrichtung 310 angezeigt werden. 12 (a) stellt eine Bildschirmanzeige in einem Fall dar, in dem entsprechend der zweiten Bestimmungsverarbeitung eine Bestimmung durchgeführt wurde, Lernen auszuführen. Zum Beispiel wird nur „Lernen wird durchgeführt“ angezeigt. 12 (b) stellt eine Bildschirmanzeige in einem Fall dar, in dem entsprechend der zweiten Bestimmungsverarbeitung eine Bestimmung durchgeführt wurde, Lernen nicht auszuführen. Zum Beispiel wird „Kein Lernen“ angezeigt. 12 (c) stellt eine Bildschirmanzeige in einem Fall dar, in dem entsprechend der ersten Bestimmungsverarbeitung oder der dritten Bestimmungsverarbeitung eine Bestimmung durchgeführt wurde, Lernen auszuführen. Hier ist ein Sprecher als ein Familienmitglied konfiguriert. Somit wird zusätzlich zu „Lernen wird durchgeführt“ auch angezeigt, dass der Grund für das Lernen ist, dass der Sprecher ein „Familienmitglied“ ist. Außerdem kann auch angezeigt werden, welches „Familienmitglied“ es ist. 12 (d) stellt eine Bildschirmanzeige in einem Fall dar, in dem entsprechend der ersten Bestimmungsverarbeitung oder der dritten Bestimmungsverarbeitung eine Bestimmung durchgeführt wurde, Lernen nicht auszuführen. Hier wird zusätzlich zu „Kein Lernen“ auch angezeigt, dass der Grund dafür, dass Lernen nicht stattfindet, ist, dass die Äußerung von einem Gast ist, zum Beispiel einem „Nicht-Familienmitglied“. Die 12(e) und 12(f) sind nachstehend beschrieben. Kehren wir zurück zu 11(a). Die Meldevorrichtung 354 kann die Information, ob Lernen ausgeführt wird oder nicht, auch über einen Lautsprecher als Sprache ausgeben, anstelle von oder zusätzlich zu den in den 12(a) bis 12(d) dargestellten Anzeigen.
Es wird angenommen, dass der Prozessor 464 Lernen ausführt, wenn die Bestimmungseinheit 462 eine Bestimmung durchgeführt hat, Lernen auszuführen, aber Lernen nicht ausführt, wenn die Bestimmungseinheit 462 eine Bestimmung durchgeführt hat, Lernen nicht auszuführen. Ein Fall, bei dem Lernen ausgeführt wird, ist nachstehend beschrieben. Die Lerneinheit 480 empfängt Sprache von der Eingabeeinheit für erfasste Informationen 452. Wie die Äußerungsinhalt-Erfassungseinheit 470 erkennt die Lerneinheit 480 Äußerungsinhalt, indem sie die Sprache einer Spracherkennungsverarbeitung und einer Verarbeitung natürlicher Sprache unterzieht. Somit empfängt die Lerneinheit 480 den Äußerungsinhalt als Eingabeparameter 490. Die Lerneinheit 480 erfasst als Überwachungsdaten 482 eine Menge zukünftiger Änderungen, die mit dem Äußerungsinhalt verbunden sind. Die Lerneinheit 480 führt eine Verarbeitung auf der Grundlage der Eingabeparameter 490 durch, und insbesondere eine Lernverarbeitung, um zu bewirken, dass das Äußerungsverhaltensmodell 484 lernt. Um dies unter bestimmten Bedingungen zu beschreiben, gleicht die Lerneinheit 480 das Äußerungsverhaltensmodell 484 mittels des Äußerungsinhalts, der die Eingabeparameter 490 darstellt, und der Überwachungsdaten 482 an. Mit anderen Worten gleicht die Lerneinheit 480 durch Eingabe der Eingabeparameter 490 in ein neuronales Netzwerk die Gewichtungsparameter und dergleichen des neuronalen Netzwerks an, so dass die Überwachungsdaten 482 als eine Ausgabe erhalten werden. Als Ergebnis der Anpassung veranlasst die Lerneinheit 480 das neuronale Netz, die Beziehung zwischen den Eingabeparametern 490 und den Überwachungsdaten 482 zu lernen. Infolgedessen wird das Äußerungsverhaltensmodell 484 erstellt.
Als Nächstes wird die Abschätzungs-Verarbeitung unter Verwendung von 11(b) beschrieben. In 11(b) enthält das Assistenzsystem 400 eine Steuerungseinrichtung 441, eine Eingabeeinheit für erfasste Informationen 452 und eine Ausgabeeinheit 454. Die Steuerungseinrichtung 441 enthält eine Erfassungseinheit 460, eine Bestimmungseinheit 462 und einen Prozessor 464. Die Erfassungseinheit 460 umfasst eine Äußerungsinhalt-Erfassungseinheit 470 und eine Sprecher-Erfassungseinheit 472, und der Prozessor 464 umfasst ein Äußerungsverhaltensmodell 484, eine Abschätzungseinheit 486 und einen Abschätzungswert 488. Ferner sind das Mikrofon 350 und die Kamera 352 mit der Eingabeeinheit für erfasste Informationen 452 verbunden, und die Meldeeinheit 354 ist mit der Ausgabeeinheit 454 verbunden. Die Erfassungseinheit 460 und die Bestimmungseinheit 462 führen die Verarbeitung wie in 11(a) aus, und daher ist eine Beschreibung davon hier ausgelassen.
Die Bestimmungseinheit 462 gibt das Bestimmungsergebnis, das heißt die Information, ob ein Abschätzen auszuführen ist oder nicht, an die Ausgabeeinheit 454 und den Prozessor 464 aus. Es wird angenommen, dass der Prozessor 464 Abschätzen ausführt, wenn die Bestimmungseinheit 462 eine Bestimmung durchgeführt hat, Abschätzen auszuführen, aber Abschätzen nicht ausführt, wenn die Bestimmungseinheit 462 eine Bestimmung durchgeführt hat, Abschätzen nicht auszuführen. Ein Fall, bei dem ein Abschätzen ausgeführt wird, ist nachstehend beschrieben. Somit empfängt die Abschätzungseinheit 486 wie die Lerneinheit 480 den Äußerungsinhalt als Eingabedaten 492. Hier erkennt das Äußerungsverhaltensmodell 484 den Inhalt, sobald eine Äußerung gemacht wird. Zum Beispiel wird die Erkennung als Reaktion auf die oben angegebene „Wettervorhersage für heute in Tokio“ in der Reihenfolge „heute“ und dann „heute in Tokio“ ausgeführt. Die Abschätzungseinheit 486 führt eine Verarbeitung auf der Grundlage der Eingabedaten 492 durch, und insbesondere eine Abschätzungsverarbeitung, um eine Menge zukünftiger Änderungen abzuschätzen. Um dies unter bestimmten Bedingungen zu beschreiben, gibt die Abschätzungseinheit 486 die Eingabedaten 492 in das Äußerungsverhaltensmodell 484 ein und erfasst den Abschätzungswert 488 von dem Äußerungsverhaltensmodell 484. Der Abschätzungswert 488 ist eine Menge zukünftiger Änderungen. Zum Beispiel wird „Wettervorhersage für heute in Tokio“ als Abschätzungswert 488 als Reaktion auf „heute“ erfasst. Der Prozessor 464 gibt Reaktionsinformationen auf der Grundlage der Menge zukünftiger Änderungen aus, die in dem Abschätzungswert 488 erfasst sind.
Die Konfiguration des Sprachagenten-Systems 300 ist nicht auf 10 beschränkt. 13 stellt eine weitere Konfiguration des Sprachagenten-Systems 300 dar. So weit wurde nur ein Prozessor 464 in das Sprachagenten-System 300 oder das Assistenzsystem 400 aufgenommen. In dem Sprachagenten-System 300 in 13 ist jedoch ein interner Prozessor 466 in der Endvorrichtung 310 enthalten, und der Prozessor 464 ist in der Server-Vorrichtung 330 enthalten. Der Prozessor 464 und der interne Prozessor 466 sind ähnlich aufgebaut. Die Erfassungseinheit 460 und die Bestimmungseinheit 462 in den 11(a) und 11(b) sind in der Steuerungseinrichtung 356 und der Endvorrichtung 310 enthalten.
Wie oben beschrieben speichert die Bestimmungseinheit 462 zuvor ein oder mehrere Schlüsselwörter, die in geplantem Äußerungsinhalt enthalten sein sollen. Zusätzlich dazu speichert die Bestimmungseinheit 462 Schlüsselwörter, die unterteilt sind in Schlüsselwörter, die von dem Prozessor 464 zu verarbeiten sind (nachfolgend als „erste Schlüsselwörter“ bezeichnet), und Schlüsselwörter, die von dem internen Prozessor 466 zu verarbeiten sind (nachfolgend als „zweite Schlüsselwörter“ bezeichnet). Die ersten Schlüsselwörter und die zweiten Schlüsselwörter sind voneinander verschieden. Wenn ein erstes Schlüsselwort in dem Äußerungsinhalt enthalten ist, wählt die Bestimmungseinheit 462 bei der Ausführung der Verarbeitung den Prozessor 464 aus, und wenn ein zweites Schlüsselwort in dem Äußerungsinhalt enthalten ist, wählt die Bestimmungseinheit 462 bei der Ausführung der Verarbeitung den internen Prozessor 466 aus.
Die Erfassungseinheit 460 erfasst die Verarbeitungsposition des Äußerungsverhaltensmodells 484. Die Verarbeitungsposition entspricht hier entweder dem Prozessor 464 oder dem internen Prozessor 466. Ersteres ist ein Fall, in dem die Verarbeitungsposition des Äußerungsverhaltensmodells 484 von der Äußerungsposition über das Netzwerk 320 entfernt ist, und letzteres ist ein Fall, in dem die Verarbeitungsposition des Äußerungsverhaltensmodells 484 nicht von der Äußerungsposition über das Netzwerk 320 entfernt ist. Wenn die Verarbeitungsposition des Äußerungsverhaltensmodells 484 nicht von der Äußerungsposition über das Netzwerk 320 entfernt ist, führt die Bestimmungseinheit 462 eine Bestimmung durch, eine Verarbeitung nicht auszuführen. Dies stimmt damit überein, in einem Fall, in dem der interne Prozessor 466 verwendet wird, Lernen nicht auszuführen. Es ist zu beachten, dass Lernen, für das der interne Prozessor 466 verwendet wird, unabhängig von dem Lernen ausgeführt werden kann, für das der Prozessor 464 verwendet wird.
Die Bestimmungseinheit 462 gibt das Bestimmungsergebnis, das heißt die Information, ob ein Lernen auszuführen ist oder nicht, an die Ausgabeeinheit 454, den Prozessor 464 und den internen Prozessor 466 aus. Die Ausgabeeinheit 454 gibt die Information, ob Lernen auszuführen ist oder nicht, an die Meldeeinheit 354 aus. Die Meldeeinheit 354 zeigt die Information, ob Lernen auszuführen ist oder nicht, an. 12 (e) stellt eine Bildschirmanzeige in einem Fall dar, in dem eine Bestimmung durchgeführt wurde, Lernen in dem Prozessor 464 auszuführen. Zum Beispiel wird „Hochladen/Lernen wird durchgeführt“ angezeigt. 12(f) stellt eine Bildschirmanzeige in einem Fall dar, in dem eine Bestimmung durchgeführt wurde, Lernen nicht auszuführen. Zum Beispiel wird „Hochladen/Lernen wird nicht durchgeführt“ angezeigt. Dieselbe Bildschirmanzeige wie in 12 (a) kann auch anzeigt werden, wenn eine Bestimmung durchgeführt wurde, Lernen in dem internen Prozessor 466 auszuführen. Außerdem kann die Meldevorrichtung 354 die Information, ob Lernen ausgeführt wird oder nicht, auch über einen Lautsprecher als Sprache ausgeben, anstelle von oder zusätzlich zu den in den 12(e) und 12(f) dargestellten Anzeigen.
Nun wird die Arbeitsweise des Assistenzsystems 400 gemäß der oben beschriebenen Anordnung beschrieben. 14 ist ein Flussdiagramm, das einen von dem Assistenzsystem 400 durchgeführten Verarbeitungsprozess darstellt. Dies entspricht dem Verarbeitungsprozess der zweiten Bestimmungsverarbeitung. Die Eingabeeinheit für erfasste Informationen 452 erfasst Sprache (S100). Die Äußerungsinhalt-Erfassungseinheit 470 erfasst Äußerungsinhalt (S102). Wenn der Äußerungsinhalt geplanter Äußerungsinhalt ist (Y in S104), führt die Bestimmungseinheit 462 eine Bestimmung durch, eine Verarbeitung auszuführen (S106). Wenn der Äußerungsinhalt kein geplanter Äußerungsinhalt ist (N in S104), führt die Bestimmungseinheit 462 eine Bestimmung durch, keine Verarbeitung auszuführen (S108). Die Meldevorrichtung 354 zeigt einen Verarbeitungszustand an (S110) .
15 ist ein Flussdiagramm, das einen anderen von dem Assistenzsystem 400 durchgeführten Verarbeitungsprozess darstellt. Dies entspricht dem Verarbeitungsprozess der ersten Bestimmungsverarbeitung. Die Eingabeeinheit für erfasste Informationen 452 erfasst Sprache (S130). Die Äußerungsinhalt-Erfassungseinheit 470 erfasst Äußerungsinhalt (S132). Wenn der Äußerungsinhalt geplanter Äußerungsinhalt ist (Y in S134), erfasst die Eingabeeinheit für erfasste Informationen 452 Bilder (S136). Die Sprecher-Erfassungseinheit 472 führt eine Sprechererkennung durch (S138). Wenn der Sprecher ein geplanter Sprecher ist (Y in S140), führt die Bestimmungseinheit 462 eine Bestimmung durch, eine Verarbeitung auszuführen (S142). Wenn der Äußerungsinhalt kein geplanter Äußerungsinhalt ist (N in S134) oder der Sprecher kein geplanter Sprecher ist (N in S140), führt die Bestimmungseinheit 462 eine Bestimmung durch, keine Verarbeitung auszuführen (S144). Die Meldevorrichtung 354 zeigt einen Verarbeitungszustand an (S146) .
16 ist ein Flussdiagramm, das einen von dem Sprachagenten-System 300 durchgeführten Verarbeitungsprozess darstellt. Die Erfassungseinheit 460 erfasst die Verarbeitungsposition (S160). Wenn die Verarbeitungsposition entfernt ist (Y in S162), das heißt der Prozessor 464 wird verwendet, erfasst die Eingabeeinheit für erfasste Informationen 452 Sprache (S164). Die Äußerungsinhalt-Erfassungseinheit 470 erfasst Äußerungsinhalt (S166). Wenn der Äußerungsinhalt geplanter Äußerungsinhalt ist (Y in S168), führt die Bestimmungseinheit 462 eine Bestimmung durch, eine Verarbeitung auszuführen (S170). Wenn die Verarbeitungsposition nicht entfernt ist (N in S162), das heißt wenn der interne Prozessor 466 verwendet wird, oder wenn der Äußerungsinhalt kein geplanter Äußerungsinhalt ist (N in S168), führt die Bestimmungseinheit 462 eine Bestimmung durch, keine Verarbeitung auszuführen (S172). Die Meldevorrichtung 354 zeigt einen Verarbeitungszustand an (S174).
Gemäß dieser Ausführungsform kann, da eine Bestimmung, ob eine Verarbeitung durchzuführen ist oder nicht, auf der Grundlage von mindestens einem aus Äußerungsinhalt, Sprecher der Äußerung und Position des Prozessors durchgeführt wird, eine Ausführung von Lernen oder Abschätzen in Zuständen, die für Lernen oder Abschätzen ungeeignet sind, verhindert werden. Außerdem ist es möglich, weil eine Bestimmung, eine Verarbeitung nicht durchzuführen, durchgeführt wird, wenn der Äußerungsinhalt ungeplant ist, die Ausführung von Lernen oder Abschätzen in Fällen zu unterdrücken, in denen eine Benutzung eines Verhaltensmodells ungeeignet ist, da der Äußerungsinhalt ungeplant ist. Außerdem ist es möglich, weil eine Bestimmung, eine Verarbeitung nicht durchzuführen, durchgeführt wird, wenn der Sprecher ungeplant ist, die Ausführung von Lernen oder Abschätzen in Fällen zu unterdrücken, in denen eine Benutzung eines Verhaltensmodells ungeeignet ist, da der Sprecher ungeplant ist. Außerdem ist es möglich, weil eine Bestimmung, eine Verarbeitung nicht durchzuführen, durchgeführt wird, wenn die Position des Prozessors nicht über das Netzwerk entfernt von der Äußerungsposition ist, die Ausführung von Lernen oder Abschätzen in Fällen zu unterdrücken, in denen eine Benutzung eines Verhaltensmodells ungeeignet ist, da die Position des Prozessors über das Netzwerk entfernt von der Äußerungsposition ist.
Dritte Ausführungsform
Als Nächstes wird die dritte Ausführungsform beschrieben. Ähnlich wie oben beschrieben betrifft die dritte Ausführungsform ein Assistenzsystem, das in der Lage ist, abhängig von der Situation zwischen Ausführen und Nichtausführen der Lernverarbeitung oder der Abschätzungsverarbeitung umzuschalten. In der dritten Ausführungsform wird das Assistenzsystem in einem entfernten Betriebssystem verwendet. In dem entfernten Betriebssystem sind ein Smartphone, eine Endvorrichtung vom Tablet-Typ (nachfolgend insgesamt als „Endvorrichtungen“ bezeichnet), eine Server-Vorrichtung und eine Vorrichtung über ein Netzwerk verbunden. Das entfernte Betriebssystem bewirkt, dass eine Vorrichtung, die von einem Bediener entfernt ist, auf der Grundlage einer Bedienung durch den Bediener funktioniert. Zum Beispiel bedient der Bediener eine Endvorrichtung, und die Server-Vorrichtung steuert eine Vorrichtung entsprechend der Bedienung. In dem entfernten Betriebssystem ist es erforderlich, die Reaktionszeit zu verkürzen, nach der die Vorrichtung funktioniert, nachdem eine Bedienung durch den Bediener durchgeführt wurde. Um die Reaktionszeit zu verkürzen, wird der Inhalt der Bedienung abgeschätzt, während die Bedienung durch den Bediener begonnen hat, indem ein Assistenzsystem in dem entfernten Betriebssystem verwendet wird. In diesem Assistenzsystem wird eine Lernverarbeitung oder Abschätzungsverarbeitung für ein Bedienungsverhaltensmodell ausgeführt.
Hier kann eine „Bedienungsverhaltens-Abschätzungsmaschine“ gestaltet sein wie die „Fahrverhaltens-Abschätzungsmaschine“ oder die „Äußerungsverhaltens-Abschätzungsmaschine“. Außerdem ist das „Bedienungsverhaltensmodell“ gemäß der Bedienungsverhaltens-Abschätzungsmaschine eindeutig bestimmt. Ein Bedienungsverhaltensmodell ist im Fall von DL ein erlerntes neuronales Netz, ein Bedienungsverhaltensmodell im Fall von SVM ist ein erlerntes Vorhersagemodell, und ein Bedienungsverhaltensmodell in dem Fall des kollaborativen Filterns besteht aus Daten, die erhalten werden, indem Bedienungsdaten mit Reaktionsdaten für Bedienungen verknüpft werden. Ein Bedienungsverhaltensmodell im Fall von Regeln sind Daten, die erhalten werden, indem Eingaben mit Ausgaben verknüpft werden.
Auf der Grundlage solcher Definitionen ist, wenn die Lernverarbeitung oder die Abschätzungsverarbeitung für ein Bedienungsverhaltensmodell in Fällen durchgeführt wird, in denen der Zustand nicht der für Bedienungen geeignete Zustand ist, die Genauigkeit des Lernens oder Abschätzens dann gering. Fälle, in denen der Zustand nicht ein Zustand ist, der für Bedienungen geeignet ist, umfassen Fälle, in denen eine Bedienung mit Inhalt vorgenommen wird, der nicht für das Lernen oder Abschätzen geplant ist, Fälle, in denen nach einer Bedienung niemand in der Nähe der Vorrichtung ist, und Fälle, in denen jemand mit den Ergebnissen einer Bedienung nicht zufrieden ist. In solchen Fällen ist es zu bevorzugen, Lernen oder Abschätzen nicht durchzuführen. Um diese Situation zu behandeln, wird gemäß der vorliegenden Ausführungsform mindestens eines von Bedienungsinhalt, Anwesenheit eines Menschen und Zufriedenheitsgrad mit der Bedienung erfasst, und es wird auf der Grundlage des Bedienungsinhalts, der Anwesenheit eines Menschen und des Zufriedenheitsgrads mit der Bedienung eine Bestimmung durchgeführt, ob eine Lern- oder Abschätzungsverarbeitung durchgeführt wird oder nicht. Lernen oder Abschätzen wird ausgeführt, wenn eine Bestimmung vorgenommen wurde, eine Verarbeitung durchzuführen, und Lernen oder Abschätzen wird nicht ausgeführt, wenn eine Bestimmung vorgenommen wurde, eine Verarbeitung nicht durchzuführen. Die nachfolgende Beschreibung konzentriert sich auf Unterschiede gegenüber der vorherigen.
17 stellt eine Konfiguration eines entfernten Betriebssystems 500 dar. Das entfernte Betriebssystem 500 enthält eine Endvorrichtung 510, ein Netzwerk 520, eine Server-Vorrichtung 530, einen Sensor für Anwesenheit von Menschen 560 und eine Vorrichtung 570. Die Endvorrichtung 510 enthält eine Bedienungseinheit 550, eine Kamera 552, eine Meldeeinheit 554, eine Steuerungseinrichtung 556 und eine Kommunikationseinheit 558. Die Endvorrichtung 510 ist ein Smartphone oder eine Tablet-Endvorrichtung, wie oben erwähnt. Die Bedienungseinheit 550 ist beispielsweise ein Berührungsbildschirm und ist eine Schnittstelle, die Bedienungen durch einen Bediener bezüglich der Vorrichtung 570 empfängt. Wenn die Vorrichtung 570 eine Klimaanlage ist, empfängt die Bedienungseinheit 550 EIN-/AUS-Bedienungen, Bedienungen zur Einstellung des Luftstroms und Bedienungen zur Einstellung der Temperatur einer Klimaanlage. Die Bedienungseinheit 550 gibt den empfangenen Bedienungsinhalt an die Steuerungseinrichtung 556 aus. Die Kamera 552 ist eine Bildaufnahmevorrichtung, die in der Lage ist, das Gesicht des Bedieners aufzunehmen. Die von der Kamera 552 aufgenommenen Bilder können Standbilder oder Bewegtbilder sein. Die Kamera 552 wandelt die Bilder in ein Digitalsignal (nachfolgend ebenfalls „Bilder“ genannt) um und gibt das Digitalsignal an die Steuerungseinrichtung 556 aus.
Die Steuerungseinrichtung 556 empfängt Bedienungsinhalt von der Bedienungseinheit 550 und empfängt Bilder von der Kamera 552. Die Steuerungseinrichtung 556 gibt mindestens eine der oben erwähnten empfangenen Informationen an die Kommunikationseinheit 558 aus. Die Kommunikationseinheit 558 empfängt die Informationen von der Steuerungseinrichtung 556. Die Kommunikationseinheit 558 ist in der Lage, eine drahtlose Kommunikation durchzuführen und ist über Funkkommunikation mit dem Netzwerk 520 verbunden. Die Kommunikationseinheit 558 übermittelt Informationen über das Netzwerk 520 an die Server-Vorrichtung 530. Für die von der Kommunikationseinheit 558 durchgeführte Funkkommunikation können allgemein bekannte Technologien verwendet werden, so dass eine Beschreibung hier weggelassen ist. Die Kommunikationseinheit 558 kann ebenfalls eine drahtgebundene Kommunikation durchführen. Die Meldeeinheit 554 ist eine Anzeige oder ein Lautsprecher und zeigt entsprechend der Instruktion von der Steuerungseinrichtung 556 eine Bildschirmausgabe auf einer Anzeige an oder gibt Sprache über einen Lautsprecher aus.
Der Sensor für Anwesenheit von Menschen 560 ist in der Nähe der Vorrichtung 570 installiert und misst die Anwesenheit von Menschen. Die Nähe der Vorrichtung 570 bezeichnet beispielsweise denselben Raum oder Platz wie der Raum, in dem die Vorrichtung 570 installiert ist. Darüber hinaus können Menschen den Bediener umfassen oder nicht. Da für die Erkennung von Menschen durch den Sensor für Anwesenheit von Menschen 560 allgemein bekannte Technologien verwendet werden können, ist eine Beschreibung davon hier weggelassen. Der Sensor für Anwesenheit von Menschen 560 enthält eine Kommunikationsfunktion und übermittelt ein Messergebnis über das Netzwerk 520 an die Server-Vorrichtung 530.
Die Server-Vorrichtung 530 empfängt die Informationen von der Endvorrichtung 510 über das Netzwerk 520. Außerdem empfängt die Server-Vorrichtung 530 das Messergebnis von dem Sensor für Anwesenheit von Menschen 560 über das Netzwerk 520. Die Server-Vorrichtung 530 führt eine Verarbeitung entsprechend dem Bedienungsinhalt in der empfangenen Information durch. Zum Beispiel werden, wenn der Bedienungsinhalt „Schalte die Vorrichtung 570 ein“ und „Stelle die Temperatur der Vorrichtung 570 auf 28°C“ ist, Befehle, die jeweils diesen Anweisungen entsprechen, über das Netzwerk 520 an die Vorrichtung 570 übermittelt. Die Vorrichtung 570 ist mit dem Netzwerk 520 verbunden. Ein Beispiel der Vorrichtung 570 ist eine Klimaanlage, wie oben beschrieben. Die Vorrichtungen 570 empfängt Befehle von der Server-Vorrichtung 530 über das Netzwerk 520. Wenn Befehle empfangen werden, die „Schalte die Vorrichtung 570 ein“ und „Stelle die Temperatur der Vorrichtung 570 auf 28°C“ entsprechen, schaltet die Vorrichtung 570 die Stromversorgung ein und stellt die Temperatur auf 28°C.
Die 18(a) und 18(b) stellen Konfigurationen eines Assistenzsystems 600 dar. Das Assistenzsystem 600 kann eine Vorrichtung sein oder kann eine Kombination einer Vielzahl von Vorrichtungen sein. Wenn das Assistenzsystem 600 eine Vorrichtung ist, entspricht das Assistenzsystem 600 der Server-Vorrichtung 530 in 17. Wenn das Assistenzsystem 600 aus zwei oder mehr Vorrichtungen besteht, entspricht das Assistenzsystem 600 zum Beispiel einer Kombination der Endvorrichtung 510 und der Server-Vorrichtung 530 in 17. Das Assistenzsystem 600 kann eine Vorrichtung enthalten, die nicht in 17 dargestellt ist. 18 (a) stellt eine Konfiguration bezüglich der Lern-Verarbeitung dar, und 18 (b) stellt eine Konfiguration bezüglich der Abschätzungs-Verarbeitung dar. Hier wird die Abschätzungs-Verarbeitung nach der Beschreibung der Lern-Verarbeitung beschrieben. In 18(a) enthält das Assistenzsystem 600 eine Steuerungseinrichtung 641, eine Eingabeeinheit für erfasste Informationen 652 und eine Ausgabeeinheit 654. Die Steuerungseinrichtung 641 enthält eine Erfassungseinheit 660, eine Bestimmungseinheit 662 und einen Prozessor 664. Die Erfassungseinheit 660 umfasst eine Bedienungsinhalt-Erfassungseinheit 670, eine Erfassungseinheit für die Anwesenheit von Menschen 672 und eine Erfassungseinheit für menschliche Emotionen 674, und der Prozessor 664 umfasst eine Lerneinheit 680, Überwachungsdaten 682 und ein Bedienungsverhaltensmodell 684. Ferner sind die Bedienungseinheit 550, die Kamera 552 und der Sensor für die Anwesenheit von Menschen 560 mit der Eingabeeinheit für erfasste Informationen 652 verbunden, und die Meldeeinheit 554 und die Vorrichtung 570 sind mit der Ausgabeeinheit 654 verbunden.
Das Assistenzsystem 600 führt eine Verarbeitung bezüglich des Bedienungsverhaltensmodells für die Vorrichtung 570 aus. Bedienungsinhalt von der Bedienungseinheit 550, Messergebnisse von dem Sensor für die Anwesenheit von Menschen 560 und Bilder von der Kamera 552 werden in die Eingabeeinheit für erfasste Informationen 652 als erfasste Informationen eingegeben. Man kann sagen, dass erfasste Informationen für die Vorrichtung 570 eingegeben werden. Die Eingabeeinheit für erfasste Informationen 652 gibt von den erfassten Informationen den Bedienungsinhalt von der Bedienungseinheit 550 an die Bedienungsinhalt-Erfassungseinheit 670 und den Prozessor 664 aus, gibt das Messergebnis von dem Sensor für die Anwesenheit von Menschen 560 an die Erfassungseinheit für die Anwesenheit von Menschen 672 aus, und gibt die Bilder von der Kamera 552 an die Erfassungseinheit für menschliche Emotionen 674 aus.
Die Bedienungsinhalt-Erfassungseinheit 670 in der Erfassungseinheit 660 erfasst den Bedienungsinhalt der Vorrichtung 570, indem sie den Bedienungsinhalt von der Eingabeeinheit für erfasste Informationen 652 empfängt. Die Bedienungsinhalt-Erfassungseinheit 670 gibt den Bedienungsinhalt an die Bestimmungseinheit 662 aus. Die Erfassungseinheit für die Anwesenheit von Menschen 672 empfängt das Messergebnis von der Eingabeeinheit für erfasste Informationen 652. Die Erfassungseinheit für Anwesenheit von Menschen 672 erkennt die Anwesenheit von Menschen in der Nähe der Vorrichtung 570 auf der Grundlage des Messergebnisses. Die Erfassungseinheit für Anwesenheit von Menschen 672 gibt das Erkennungsergebnis, das heißt eine Kennzeichnung, ob ein Mensch anwesend ist oder nicht, an die Bestimmungseinheit 662 aus. Die Erfassungseinheit für menschliche Emotionen 674 empfängt Bilder von der Eingabeeinheit für erfasste Informationen 652. Die Erfassungseinheit für menschliche Emotionen 674 erkennt die Emotionen des Bedieners, der in den Bildern gezeigt ist, als Emotionen, indem sie eine Bilderkennungs-Verarbeitung der Bilder durchführt. Hier wird als Emotion des Bedieners erkannt, ob der Bediener mit dem Funktionieren der Vorrichtung 570, das einer Bedienung entspricht, zufrieden ist oder nicht. Für diese Verarbeitung können allgemein bekannte Technologien verwendet werden, so dass eine Beschreibung davon hier weggelassen ist. Die Erfassungseinheit für menschliche Emotionen 674 gibt das Erkennungsergebnis, das heißt eine Kennzeichnung, ob der Bediener zufrieden ist oder nicht, an die Bestimmungseinheit 662 aus.
Somit erfasst die Erfassungseinheit 660 als eine oder mehrere Informationselemente, die die Genauigkeit des Verhaltensmodells beeinflussen, mindestens ein Informationselement aus dem Bedienungsinhalt der Vorrichtung 570, der Anwesenheit von Menschen in der Nähe der Vorrichtung 570 und den Emotionen der Person, die die Vorrichtung 570 bedient.
Die Bestimmungseinheit 662 empfängt den Bedienungsinhalt von der Bedienungsinhalt-Erfassungseinheit 670, Informationen über die Anwesenheit von Menschen von der Erfassungseinheit für Anwesenheit von Menschen 672 und Informationen über menschliche Emotionen von der Erfassungseinheit für menschliche Emotionen 674. Die Bestimmungseinheit 662 führt auf der Grundlage mindestes eines aus Bedienungsinhalt, Informationen über die Anwesenheit von Menschen und Informationen über menschliche Emotionen eine Bestimmung durch, ob eine Verarbeitung auszuführen ist oder nicht. Für die Verarbeitung ist das Lernen in 18 (a) dargestellt, und die Abschätzung ist in 18 (b) darstellt. Hier ist die Verarbeitung der Bestimmungseinheit 662 von der ersten Bestimmungsverarbeitung bis zur fünften Bestimmungsverarbeitung in dieser Reihenfolge beschrieben.
Erste Bestimmungsverarbeitung
Bei der ersten Bestimmungsverarbeitung werden der Bedienungsinhalt und die Information über die Anwesenheit von Menschen verwendet. Die Bestimmungseinheit 662 führt eine Vorspeicherung von geplantem Bedienungsinhalt durch. Die Bestimmungseinheit 662 bestimmt, ob der erfasste Bedienungsinhalt in geplantem Bedienungsinhalt enthalten ist. Wenn der Bedienungsinhalt der Vorrichtung 570 ungeplant ist, führt die Bestimmungseinheit 662 eine Bestimmung durch, keine Verarbeitung auszuführen. Wenn der Bedienungsinhalt der Vorrichtung 570 geplant ist, bestätigt die Bestimmungseinheit 662 Informationen über die Anwesenheit von Menschen. Wenn angezeigt wird, dass nach der Bedienung kein Mensch anwesend ist, führt die Bestimmungseinheit 662 eine Bestimmung durch, eine Verarbeitung nicht auszuführen. Wenn andererseits angezeigt wird, dass nach der Bedienung ein Mensch anwesend ist, führt die Bestimmungseinheit 662 eine Bestimmung durch, eine Verarbeitung auszuführen.
Zweite Bestimmungsverarbeitung
Bei der zweiten Bestimmungsverarbeitung werden der Bedienungsinhalt und die Information über menschliche Emotionen verwendet. Die Bestimmungseinheit 662 bestimmt, ob der erfasste Bedienungsinhalt in geplantem Bedienungsinhalt enthalten ist. Wenn der Bedienungsinhalt der Vorrichtung 570 ungeplant ist, führt die Bestimmungseinheit 662 eine Bestimmung durch, keine Verarbeitung auszuführen. Wenn der Bedienungsinhalt der Vorrichtung 570 geplant ist, bestätigt die Bestimmungseinheit 662 Informationen über menschliche Emotionen. Wenn die menschliche Emotion Unzufriedenheit ist, führt die Bestimmungseinheit 662 eine Bestimmung durch, eine Verarbeitung nicht auszuführen. Wenn andererseits die menschliche Emotion Zufriedenheit ist, führt die Bestimmungseinheit 662 eine Bestimmung durch, eine Verarbeitung auszuführen.
Dritte Bestimmungsverarbeitung
Bei der dritten Bestimmungsverarbeitung wird Bedienungsinhalt verwendet. Die Bestimmungseinheit 662 führt die Verarbeitung aus wie in der ersten Bestimmungsverarbeitung und führt eine Bestimmung durch, eine Verarbeitung nicht auszuführen, wenn der Bedienungsinhalt ungeplant ist. Andererseits führt die Bestimmungseinheit 662 eine Bestimmung durch, eine Verarbeitung auszuführen, wenn der Bedienungsinhalt geplant ist.
Vierte Bestimmungsverarbeitung
Bei der vierten Bestimmungsverarbeitung wird die Information über die Anwesenheit von Menschen verwendet. Die Bestimmungseinheit 662 führt die Verarbeitung aus wie in der ersten Bestimmungsverarbeitung und führt eine Bestimmung durch, eine Verarbeitung nicht auszuführen, wenn nach der Bedienung kein Mensch anwesend ist. Andererseits führt die Bestimmungseinheit 662 eine Bestimmung durch, eine Verarbeitung auszuführen, wenn nach der Bedienung ein Mensch anwesend ist.
Fünfte Bestimmungsverarbeitung
Bei der fünften Bestimmungsverarbeitung wird Information über menschliche Emotionen verwendet. Die Bestimmungseinheit 662 führt die Verarbeitung aus wie in der zweiten Bestimmungsverarbeitung und führt eine Bestimmung durch, eine Verarbeitung nicht auszuführen, wenn die menschliche Emotion Unzufriedenheit ist. Andererseits führt die Bestimmungseinheit 662 eine Bestimmung durch, eine Verarbeitung auszuführen, wenn die menschliche Emotion Zufriedenheit ist.
Anders als in der ersten Bestimmungsverarbeitung bis zur fünften Bestimmungsverarbeitung kann die Bestimmungseinheit 662 bestimmen, ob eine Verarbeitung auszuführen ist oder nicht, indem Bedienungsinhalt, Informationen über die Anwesenheit von Menschen und Informationen über menschliche Emotionen kombiniert werden. Die Bestimmungseinheit 662 gibt das Bestimmungsergebnis, das heißt die Information, ob ein Lernen auszuführen ist oder nicht, an die Ausgabeeinheit 654 und den Prozessor 664 aus. Die Ausgabeeinheit 654 gibt die Information, ob Lernen auszuführen ist oder nicht, an die Meldeeinheit 554 aus. Die Meldeeinheit 554 zeigt die Information, ob Lernen auszuführen ist oder nicht, an.
Es wird angenommen, dass der Prozessor 664 Lernen ausführt, wenn die Bestimmungseinheit 662 eine Bestimmung durchgeführt hat, Lernen auszuführen, aber Lernen nicht ausführt, wenn die Bestimmungseinheit 662 eine Bestimmung durchgeführt hat, Lernen nicht auszuführen. Ein Fall, bei dem Lernen ausgeführt wird, ist nachstehend beschrieben. Die Lerneinheit 680 empfängt Bedienungsinhalt von der Eingabeeinheit für erfasste Informationen 652. Somit empfängt die Lerneinheit 680 den Bedienungsinhalt als Eingabeparameter 690. Die Lerneinheit 680 erfasst als Überwachungsdaten 682 eine Menge zukünftiger Änderungen, die mit dem Bedienungsinhalt verbunden sind. Die Lerneinheit 680 führt eine Verarbeitung auf der Grundlage der Eingabeparameter 690 durch, und insbesondere eine Lernverarbeitung, um zu bewirken, dass das Bedienungsverhaltensmodell 684 lernt. Um dies unter bestimmten Bedingungen zu beschreiben, gleicht die Lerneinheit 680 das Bedienungsverhaltensmodell 684 mittels des Bedienungsinhalts, der die Eingabeparameter 690 darstellt, und der Überwachungsdaten 682 an. Mit anderen Worten gleicht die Lerneinheit 680 durch Eingabe der Eingabeparameter 690 in ein neuronales Netzwerk die Gewichtungsparameter und dergleichen des neuronalen Netzwerks an, so dass die Überwachungsdaten 682 als eine Ausgabe erhalten werden. Als Ergebnis der Anpassung veranlasst die Lerneinheit 680 das neuronale Netz, die Beziehung zwischen den Eingabeparametern 690 und den Überwachungsdaten 682 zu lernen. Infolgedessen wird das Bedienungsmodell 684 erstellt.
Als Nächstes wird die Abschätzungs-Verarbeitung unter Verwendung von 18(b) beschrieben. In 18(b) enthält das Assistenzsystem 600 eine Steuerungseinrichtung 641, eine Eingabeeinheit für erfasste Informationen 652 und eine Ausgabeeinheit 654. Die Steuerungseinrichtung 641 enthält eine Erfassungseinheit 660, eine Bestimmungseinheit 662 und einen Prozessor 664. Die Erfassungseinheit 660 umfasst eine Bedienungsinhalt-Erfassungseinheit 670, eine Erfassungseinheit für Anwesenheit von Menschen 672 und eine Erfassungseinheit für menschliche Emotionen 674, und der Prozessor 664 umfasst ein Bedienungsverhaltensmodell 684, eine Abschätzungseinheit 686 und einen Abschätzungswert 688. Ferner sind die Bedienungseinheit 550, die Kamera 552 und der Sensor für die Anwesenheit von Menschen 560 mit der Eingabeeinheit für erfasste Informationen 652 verbunden, und die Meldeeinheit 554 und die Vorrichtung 570 sind mit der Ausgabeeinheit 654 verbunden. Die Erfassungseinheit 660 und die Bestimmungseinheit 662 führen die Verarbeitung wie in 18(a) aus, und daher ist eine Beschreibung davon hier ausgelassen.
Die Bestimmungseinheit 662 gibt das Bestimmungsergebnis, das heißt die Information, ob ein Abschätzen auszuführen ist oder nicht, an die Ausgabeeinheit 654 und den Prozessor 664 aus. Es wird angenommen, dass der Prozessor 664 Abschätzen ausführt, wenn die Bestimmungseinheit 662 eine Bestimmung durchgeführt hat, Abschätzen auszuführen, aber Abschätzen nicht ausführt, wenn die Bestimmungseinheit 662 eine Bestimmung durchgeführt hat, Abschätzen nicht auszuführen. Ein Fall, bei dem ein Abschätzen ausgeführt wird, ist nachstehend beschrieben. Wie die Lerneinheit 680 empfängt die Abschätzungseinheit 686 den Bedienungsinhalt als Eingabedaten 692. Hier erkennt das Bedienungsverhaltensmodell 684 den Bedienungsinhalt, sobald eine Bedienung begonnen wird. Zum Beispiel wird, wenn das oben erwähnte „Schalte die Vorrichtung 570 ein“ und „Stelle die Temperatur der Vorrichtung 570 auf 28°C“ betroffen sind, „Stelle die Temperatur der Vorrichtung 570 auf 28°C“ erkannt, nachdem „Schalte die Vorrichtung 570 ein“ erkannt wurde. Die Abschätzungseinheit 686 führt eine Verarbeitung auf der Grundlage der Eingabedaten 692 durch, und insbesondere eine Abschätzungsverarbeitung, um eine Menge zukünftiger Änderungen abzuschätzen. Um dies unter bestimmten Bedingungen zu beschreiben, gibt die Abschätzungseinheit 686 die Eingabedaten 492 in das Bedienungsverhaltensmodell 684 ein und erfasst den Abschätzungswert 688 von dem Bedienungsverhaltensmodell 684. Der Abschätzungswert 688 ist eine Menge zukünftiger Änderungen. Zum Beispiel werden, wenn „Schalte die Vorrichtung 570 ein“ betroffen ist, „Schalte die Vorrichtung 570 ein“ und „Stelle die Temperatur der Vorrichtung 570 auf 28°C“ als Abschätzungswert 688 erfasst. Der Prozessor 664 gibt einen Befehl zusammen mit der Menge zukünftiger Änderungen aus, die in dem Abschätzungswert 688 erfasst sind.
Nun wird die Arbeitsweise des Assistenzsystems 600 gemäß der oben beschriebenen Anordnung beschrieben. 19 ist ein Flussdiagramm, das einen von dem Assistenzsystem 600 durchgeführten Verarbeitungsprozess darstellt. Dies entspricht dem Verarbeitungsprozess der dritten Bestimmungsverarbeitung. Die Bedienungsinhalt-Erfassungseinheit 670 erfasst Bedienungsinhalt (S200). Wenn der Bedienungsinhalt geplanter Bedienungsinhalt ist (Y in S202), führt die Bestimmungseinheit 662 eine Bestimmung durch, eine Verarbeitung auszuführen (S204). Wenn der Bedienungsinhalt kein geplanter Bedienungsinhalt ist (N in S202), führt die Bestimmungseinheit 662 eine Bestimmung durch, keine Verarbeitung auszuführen (S206). Die Meldevorrichtung 554 zeigt den Verarbeitungszustand an (S208) .
20 ist ein Flussdiagramm, das einen anderen von dem Assistenzsystem 600 durchgeführten Verarbeitungsprozess darstellt. Dies entspricht dem Verarbeitungsprozess der ersten Bestimmungsverarbeitung. Die Bedienungsinhalt-Erfassungseinheit 670 erfasst Bedienungsinhalt (S230). Wenn der Bedienungsinhalt geplanter Bedienungsinhalt ist (Y in S232), führt die Erfassungseinheit für Anwesenheit von Menschen 672 die Erkennung der Anwesenheit von Menschen durch (S234). Wenn nach der Bedienung ein Mensch anwesend ist (Y in S236), führt die Bestimmungseinheit 662 eine Bestimmung durch, eine Verarbeitung auszuführen (S238). Wenn der Bedienungsinhalt kein geplanter Bedienungsinhalt ist (N in S232) oder wenn nach der Bedienung kein Mensch anwesend ist (N in S236), führt die Bestimmungseinheit 662 eine Bestimmung durch, keine Verarbeitung auszuführen (S240). Die Meldevorrichtung 554 zeigt den Verarbeitungszustand an (S242).
21 ist ein Flussdiagramm, das noch einen anderen Verarbeitungsprozess des Assistenzsystems 600 darstellt. Dies entspricht dem Verarbeitungsprozess der zweiten Bestimmungsverarbeitung. Die Bedienungsinhalt-Erfassungseinheit 670 erfasst Bedienungsinhalt (S260). Wenn der Bedienungsinhalt geplanter Bedienungsinhalt ist (Y in S262), erfasst die Eingabeeinheit für erfasste Informationen 652 Bilder (S264). Die Erfassungseinheit für menschliche Emotionen 674 erfasst menschliche Emotionen (S266). Wenn eine Person zufrieden ist (Y in S268), führt die Bestimmungseinheit 662 eine Bestimmung durch, eine Verarbeitung auszuführen (S270). Wenn der Bedienungsinhalt kein geplanter Bedienungsinhalt ist (N in S262) oder wenn die Person nicht zufrieden ist (N in S268), führt die Bestimmungseinheit 662 eine Bestimmung durch, keine Verarbeitung auszuführen (S272). Die Meldevorrichtung 554 zeigt den Verarbeitungszustand an (S274).
Gemäß dieser Ausführungsform kann, da eine Bestimmung, ob eine Verarbeitung durchzuführen ist oder nicht, auf der Grundlage von mindestens einem aus Bedienungsinhalt der Vorrichtung, Anwesenheit von Menschen in der Nähe der Vorrichtung und den Emotionen der Person, die die Vorrichtung bedient, durchgeführt wird, eine Ausführung von Lernen oder Abschätzen in Zuständen, die für Lernen oder Abschätzen ungeeignet sind, verhindert werden. Außerdem ist es möglich, weil eine Bestimmung, eine Verarbeitung nicht durchzuführen, durchgeführt wird, wenn der Bedienungsinhalt der Vorrichtung ungeplant ist, die Ausführung von Lernen oder Abschätzen in Fällen zu unterdrücken, in denen eine Benutzung eines Verhaltensmodells ungeeignet ist, da der Bedienungsinhalt der Vorrichtung ungeplant ist. Außerdem ist es möglich, weil eine Bestimmung, eine Verarbeitung nicht durchzuführen, durchgeführt wird, wenn kein Mensch anwesend ist, die Ausführung von Lernen oder Abschätzen in Fällen zu unterdrücken, in denen eine Benutzung eines Verhaltensmodells ungeeignet ist, da kein Mensch anwesend ist. Außerdem ist es möglich, weil eine Bestimmung, eine Verarbeitung nicht durchzuführen, durchgeführt wird, wenn die menschliche Emotion Unzufriedenheit ist, die Ausführung von Lernen oder Abschätzen in Fällen zu unterdrücken, in denen eine Benutzung eines Verhaltensmodells ungeeignet ist, da die menschliche Emotion Unzufriedenheit ist.
Die beispielhafte Ausführungsform gemäß der vorliegenden Erfindung wurde oben mit Bezug auf die Zeichnung beschrieben, die Funktionen der oben beschriebenen Vorrichtungen und jeweiligen Prozessoren können aber auch durch ein Computerprogramm umgesetzt sein. Ein Computer, der die oben beschriebenen Funktionen mittels eines Programms realisiert, weist auf: Eingabevorrichtungen wie eine Tastatur und eine Maus oder ein Touchpad, Ausgabevorrichtungen wie einen Bildschirm und einen Lautsprecher, eine zentrale Verarbeitungseinheit (CPU), Speichervorrichtungen wie ein ROM, RAM, ein Festplattenlaufwerk oder ein Halbleiterlaufwerk (SSD), ein Lesegerät, das Informationen aus einem Aufzeichnungsmedium wie einem Digital Versatile Disk Read Only Memory (DVD-ROM) oder einem USB-Speicher ausliest, und eine Netzwerkkarte, die über ein Netzwerk kommuniziert und dergleichen, und jeder Teil ist über einen Bus miteinander verbunden.
Ferner liest die Lesevorrichtung das Programm von dem Aufzeichnungsmedium, auf dem das Programm aufgezeichnet ist, und speichert das Programm in einer Speichervorrichtung. Alternativ kommuniziert die Netzwerkkarte mit der Servervorrichtung, die mit dem Netzwerk verbunden ist, und speichert ein Programm, das von der Servervorrichtung heruntergeladen wird, in der Speichervorrichtung, um die jeweiligen Funktionen der Vorrichtungen umzusetzen. Ferner sind die Funktionen der jeweiligen Vorrichtungen als Ergebnis davon realisiert, dass die CPU das in der Speichervorrichtung gespeicherte Programm in das RAM kopiert und in dem Programm enthaltene Befehle nacheinander aus dem RAM ausliest und ausführt.
Ein Übersicht über eine Ausführungsform der vorliegenden Erfindung ist wie folgt. Das Assistenzsystem gemäß einer Ausführungsform der vorliegenden Erfindung ist ein Assistenzsystem, das die Verarbeitung in Bezug auf ein Verhaltensmodell ausführt, umfassend: eine Eingabeeinheit für detektierte Informationen, in die die detektierten Informationen eingegeben werden; eine Erfassungseinheit, die aufgebaut ist, auf der Grundlage der in die Eingabeeinheit für detektierte Informationen eingegebenen detektierten Informationen ein oder mehrere Informationselemente zu erfassen, die die Genauigkeit des Verhaltensmodells beeinflussen; eine Bestimmungseinheit, die aufgebaut ist, auf der Grundlage der von der Erfassungseinheit erfassten Informationselemente zu bestimmen, ob die Verarbeitung auszuführen ist oder nicht; und einen Prozessor, der aufgebaut ist, die Verarbeitung bezüglich des Verhaltensmodells auszuführen, wenn die Bestimmungseinheit eine Bestimmung vorgenommen hat, die Verarbeitung auszuführen. Es wird angenommen, dass der Prozessor die Verarbeitung bezüglich des Verhaltensmodells nicht ausführt, wenn die Bestimmungseinheit eine Bestimmung vorgenommen hat, die Verarbeitung nicht auszuführen.
Gemäß dieser Ausführungsform kann, da eine Bestimmung, ob eine Verarbeitung durchzuführen ist oder nicht, auf der Grundlage von ein oder mehreren Informationselementen vorgenommen wird, die die Genauigkeit des Verhaltensmodells beeinflussen, die Ausführung von Lernen oder Abschätzen in Zuständen, die für Lernen oder Abschätzen ungeeignet sind, verhindert werden.
Dieses Assistenzsystem führt eine Verarbeitung bezüglich eines Verhaltensmodells eines Fahrzeugs aus, und detektierte Informationen von dem Fahrzeug werden in die Eingabeeinheit für detektierte Informationen eingegeben, und die Erfassungseinheit kann als ein oder mehrere Informationselemente, die die Genauigkeit des Verhaltensmodells beeinflussen, mindestens ein Informationselement aus dem Fahrschwierigkeitsgrad des Fahrzeugs, dem Wachsamkeitsgrad des Fahrers und dem Fahrkenntnisgrad des Fahrers ableiten. In diesem Fall kann, da eine Bestimmung, ob eine Verarbeitung durchzuführen ist oder nicht, auf der Grundlage von mindestens einem aus Fahrschwierigkeitsgrad, Wachsamkeitsgrad und Fahrkenntnisgrad durchgeführt wird, eine Ausführung von Lernen oder Abschätzen in Zuständen, die für Lernen oder Abschätzen ungeeignet sind, verhindert werden.
Die Erfassungseinheit kann den Fahrschwierigkeitsgrad des Fahrzeugs ableiten, und die Bestimmungseinheit kann eine Bestimmung durchführen, eine Verarbeitung nicht auszuführen, wenn der von der Erfassungseinheit abgeleitete Fahrschwierigkeitsgrad über einem Grenzwert liegt. In diesem Fall ist es möglich, weil eine Bestimmung, eine Verarbeitung nicht durchzuführen, durchgeführt wird, wenn der Fahrschwierigkeitsgrad groß ist, die Ausführung von Lernen oder Abschätzen in Fällen zu unterdrücken, in denen eine Benutzung eines Verhaltensmodells ungeeignet ist, da der Fahrschwierigkeitsgrad groß ist.
Die Erfassungseinheit kann den Wachsamkeitsgrad des Fahrers ableiten, und die Bestimmungseinheit kann eine Bestimmung durchführen, eine Verarbeitung nicht auszuführen, wenn der von der Erfassungseinheit abgeleitete Wachsamkeitsgrad unter einem Grenzwert liegt. In diesem Fall ist es möglich, weil eine Bestimmung, eine Verarbeitung nicht durchzuführen, durchgeführt wird, wenn der Wachsamkeitsgrad klein ist, die Ausführung von Lernen oder Abschätzen in Fällen zu unterdrücken, in denen eine Benutzung eines Verhaltensmodells ungeeignet ist, da der Wachsamkeitsgrad klein ist.
Die Erfassungseinheit kann den Fahrkenntnisgrad des Fahrers ableiten, und die Bestimmungseinheit kann eine Bestimmung durchführen, eine Verarbeitung nicht auszuführen, wenn der von der Erfassungseinheit abgeleitete Fahrkenntnisgrad unter einem Grenzwert liegt. In diesem Fall ist es möglich, weil eine Bestimmung, eine Verarbeitung nicht durchzuführen, durchgeführt wird, wenn der Fahrkenntnisgrad klein ist, die Ausführung von Lernen oder Abschätzen in Fällen zu unterdrücken, in denen eine Benutzung eines Verhaltensmodells ungeeignet ist, da der Fahrkenntnisgrad klein ist.
Die Erfassungseinheit kann zwei oder mehr Informationselemente aus dem Fahrschwierigkeitsgrad des Fahrzeugs, dem Wachsamkeitsgrad des Fahrers und dem Fahrkenntnisgrad des Fahrers ableiten, und die Bestimmungseinheit kann bestimmen, ob eine Verarbeitung auf der Grundlage einer Kombination der von der Erfassungseinheit abgeleiteten zwei oder mehr Informationselemente durchzuführen ist oder nicht. In diesem Fall kann, da eine Bestimmung, ob eine Verarbeitung durchzuführen ist oder nicht, auf der Grundlage einer Kombination von zwei oder mehr Informationselementen aus Fahrschwierigkeitsgrad, Wachsamkeitsgrad und Fahrkenntnisgrad durchgeführt wird, die Bestimmungsgenauigkeit verbessert werden.
Die Erfassungseinheit kann den Fahrschwierigkeitsgrad des Fahrzeugs und den Wachsamkeitsgrad des Fahrers ableiten, und in einem Fall, in dem der Fahrschwierigkeitsgrad gleich oder kleiner ist als ein erster Grenzwert, kann die Bestimmungseinheit eine Bestimmung durchführen, die Verarbeitung nicht auszuführen, wenn der Wachsamkeitsgrad unter einem zweiten Grenzwert liegt, oder der Wachsamkeitsgrad über einem dritten Grenzwert liegt (dritter Grenzwert > zweiter Grenzwert). In diesem Fall kann, da eine Bestimmung, eine Verarbeitung nicht durchzuführen, auf der Grundlage einer Kombination von Fahrschwierigkeitsgrad und Wachsamkeitsgrad durchgeführt wird, die Bestimmungsgenauigkeit verbessert werden.
Die Erfassungseinheit kann den Fahrschwierigkeitsgrad des Fahrzeugs und den Wachsamkeitsgrad des Fahrers ableiten, und in einem Fall, in dem der Fahrschwierigkeitsgrad größer ist als ein erster Grenzwert, kann die Bestimmungseinheit eine Bestimmung durchführen, die Verarbeitung nicht auszuführen, wenn der Wachsamkeitsgrad unter einem vierten Grenzwert liegt. In diesem Fall kann, da eine Bestimmung, eine Verarbeitung nicht durchzuführen, auf der Grundlage einer Kombination von Fahrschwierigkeitsgrad und Wachsamkeitsgrad durchgeführt wird, die Bestimmungsgenauigkeit verbessert werden.
Die Erfassungseinheit kann den Wachsamkeitsgrad des Fahrers und den Fahrkenntnisgrad des Fahrers ableiten, und die Bestimmungseinheit kann einen Grenzwert kleiner festsetzen, wenn sich der Fahrkenntnisgrad erhöht und kann eine Bestimmung durchführen, die Verarbeitung nicht auszuführen, wenn der Wachsamkeitsgrad unter dem Grenzwert liegt. In diesem Fall kann, da eine Bestimmung, eine Verarbeitung nicht durchzuführen, auf der Grundlage einer Kombination von Wachsamkeitsgrad und Fahrkenntnisgrad durchgeführt wird, die Bestimmungsgenauigkeit verbessert werden.
Die Erfassungseinheit kann den Fahrschwierigkeitsgrad des Fahrzeugs und den Fahrkenntnisgrad des Fahrers ableiten, und die Bestimmungseinheit kann einen Grenzwert höher festsetzen, wenn sich der Fahrkenntnisgrad erhöht und kann eine Bestimmung durchführen, die Verarbeitung nicht auszuführen, wenn der Fahrschwierigkeitsgrad über dem Grenzwert liegt. In diesem Fall kann, da eine Bestimmung, eine Verarbeitung nicht durchzuführen, auf der Grundlage einer Kombination von Fahrschwierigkeitsgrad und Fahrkenntnisgrad durchgeführt wird, die Bestimmungsgenauigkeit verbessert werden.
Dieses Assistenzsystem führt eine Verarbeitung bezüglich eines Verhaltensmodells für eine Äußerung aus, und detektierte Informationen für die Äußerung werden in die Eingabeeinheit für detektierte Informationen eingegeben, und die Erfassungseinheit kann als eine oder mehrere Informationselemente, die die Genauigkeit des Verhaltensmodells beeinflussen, mindestens ein Informationselement aus dem Inhalt der Äußerung, einem Sprecher der Äußerung und einer Verarbeitungsposition des Verhaltensmodells erfassen. In diesem Fall kann, da eine Bestimmung, ob eine Verarbeitung durchzuführen ist oder nicht, auf der Grundlage von mindestens einem aus Äußerungsinhalt, Sprecher und Verarbeitungsposition des Verhaltensmodells durchgeführt wird, eine Ausführung von Lernen oder Abschätzen in Zuständen, die für Lernen oder Abschätzen ungeeignet sind, verhindert werden.
Die Erfassungseinheit kann Äußerungsinhalt erfassen, und die Bestimmungseinheit kann eine Bestimmung durchführen, die Verarbeitung nicht auszuführen, wenn der von der Erfassungseinheit erfasste Äußerungsinhalt ungeplant ist. In diesem Fall ist es möglich, weil eine Bestimmung, eine Verarbeitung nicht durchzuführen, durchgeführt wird, wenn der Äußerungsinhalt ungeplant ist, die Ausführung von Lernen oder Abschätzen in Fällen zu unterdrücken, in denen eine Benutzung eines Verhaltensmodells ungeeignet ist, da der Äußerungsinhalt ungeplant ist.
Die Erfassungseinheit kann einen Sprecher der Äußerung erkennen, und die Bestimmungseinheit kann eine Bestimmung durchführen, die Verarbeitung nicht auszuführen, wenn der von der Erfassungseinheit erkannte Sprecher der Äußerung ungeplant ist. In diesem Fall ist es möglich, weil eine Bestimmung, eine Verarbeitung nicht durchzuführen, durchgeführt wird, wenn der Sprecher der Äußerung ungeplant ist, die Ausführung von Lernen oder Abschätzen in Fällen zu unterdrücken, in denen eine Benutzung eines Verhaltensmodells ungeeignet ist, da der Sprecher der Äußerung ungeplant ist.
Die Erfassungseinheit kann die Verarbeitungsposition des Verhaltensmodells erfassen, und die Bestimmungseinheit kann eine Bestimmung durchführen, die Verarbeitung nicht auszuführen, wenn die von der Erfassungseinheit erfasste Verarbeitungsposition des Verhaltensmodells nicht von der Äußerungsposition über das Netzwerk entfernt ist. In diesem Fall ist es möglich, weil eine Bestimmung, eine Verarbeitung nicht durchzuführen, durchgeführt wird, wenn die Verarbeitungsposition des Verhaltensmodells nicht über das Netzwerk entfernt von der Äußerungsposition ist, die Ausführung von Lernen oder Abschätzen in Fällen zu unterdrücken, in denen eine Benutzung eines Verhaltensmodells ungeeignet ist, da die Verarbeitungsposition des Verhaltensmodells über das Netzwerk entfernt von der Äußerungsposition ist.
Dieses Assistenzsystem führt eine Verarbeitung bezüglich eines Verhaltensmodells für eine Vorrichtung aus, und detektierte Informationen für die Vorrichtung werden in die Eingabeeinheit für detektierte Informationen eingegeben, und die Erfassungseinheit kann als eine oder mehrere Informationselemente, die die Genauigkeit des Verhaltensmodells beeinflussen, mindestens ein Informationselement aus dem Bedienungsinhalt der Vorrichtung, dem Vorhandensein eines Menschen in der Nähe der Vorrichtung und den Emotionen der Person, die die Vorrichtung bedient, erfassen. In diesem Fall kann, da eine Bestimmung, ob eine Verarbeitung durchzuführen ist oder nicht, auf der Grundlage von mindestens einem Informationselement aus Bedienungsinhalt der Vorrichtung, Anwesenheit von Menschen in der Nähe der Vorrichtung und den Emotionen der Person, die die Vorrichtung bedient, durchgeführt wird, eine Ausführung von Lernen oder Abschätzen in Zuständen, die für Lernen oder Abschätzen ungeeignet sind, verhindert werden.
Die Erfassungseinheit kann den Bedienungsinhalt der Vorrichtung erfassen, und die Bestimmungseinheit kann eine Bestimmung durchführen, die Verarbeitung nicht auszuführen, wenn der von der Erfassungseinheit erfasste Bedienungsinhalt der Vorrichtung ungeplant ist. In diesem Fall ist es möglich, weil eine Bestimmung, eine Verarbeitung nicht durchzuführen, durchgeführt wird, wenn der Bedienungsinhalt der Vorrichtung ungeplant ist, die Ausführung von Lernen oder Abschätzen in Fällen zu unterdrücken, in denen eine Benutzung eines Verhaltensmodells ungeeignet ist, da der Bedienungsinhalt der Vorrichtung ungeplant ist.
Die Erfassungseinheit kann die Anwesenheit von Menschen in der Nähe der Vorrichtung erkennen, und die Bestimmungseinheit kann eine Bestimmung durchführen, die Verarbeitung nicht auszuführen, wenn die von der Erfassungseinheit durchgeführte Erkennung der Anwesenheit von Menschen anzeigt, dass kein Mensch anwesend ist. In diesem Fall ist es möglich, weil eine Bestimmung, eine Verarbeitung nicht durchzuführen, durchgeführt wird, wenn kein Mensch anwesend ist, die Ausführung von Lernen oder Abschätzen in Fällen zu unterdrücken, in denen eine Benutzung eines Verhaltensmodells ungeeignet ist, da kein Mensch anwesend ist.
Die Erfassungseinheit kann die Emotionen der Person erfassen, die die Vorrichtung bedient, und die Bestimmungseinheit kann eine Bestimmung durchführen, die Verarbeitung nicht auszuführen, wenn die von der Erfassungseinheit erfasste Emotion Unzufriedenheit ist. In diesem Fall ist es möglich, weil eine Bestimmung, eine Verarbeitung nicht durchzuführen, durchgeführt wird, wenn die menschliche Emotion Unzufriedenheit ist, die Ausführung von Lernen oder Abschätzen in Fällen zu unterdrücken, in denen eine Benutzung eines Verhaltensmodells ungeeignet ist, da die menschliche Emotion Unzufriedenheit ist.
Die Verarbeitung des Prozessors ist eine Lernverarbeitung, die bewirkt, dass ein Verhaltensmodell lernt, und der Prozessor kann das Verhaltensmodell entsprechend den Eingangsparametern erstellen. In diesem Fall kann, weil eine Bestimmung, Lernen durchzuführen oder nicht, durchgeführt wird, die Ausführung von Lernen in Zuständen unterdrückt werden, die für Lernen ungeeignet sind.
Die Verarbeitung des Prozessors ist eine Lernverarbeitung, die das Verhalten abschätzt, und der Prozessor kann Eingabedaten in das Verhaltensmodell eingeben und kann eine Ausgabe von dem Verhaltensmodell als Verhalten erhalten. In diesem Fall kann, weil eine Bestimmung durchgeführt wird, die Abschätzung durchzuführen oder nicht, die Ausführung von Abschätzen in Zuständen unterdrückt werden, die für Abschätzen ungeeignet sind.
Die Verarbeitung des Prozessors ist eine Lernverarbeitung, die bewirkt, dass ein Verhaltensmodell lernt, und eine Abschätzungsverarbeitung, die das Verhalten abschätzt, und der Prozessor kann ein Verhaltensmodell entsprechend den Eingangsparametern erstellen, wenn eine Lernverarbeitung ausgeführt wird, und Eingabedaten in das Verhaltensmodell eingeben und eine Ausgabe von dem Verhaltensmodell als Verhalten erhalten, wenn eine Abschätzungsverarbeitung durchgeführt wird. In diesem Fall kann, weil eine Bestimmung, Lernen und Abschätzen durchzuführen oder nicht, durchgeführt wird, die Ausführung von Lernen und Abschätzen in Zuständen unterdrückt werden, die für Lernen und Abschätzen ungeeignet sind.
Eine weitere Ausführungsform der vorliegenden Erfindung ist eine Assistenzvorrichtung. Diese Vorrichtung ist eine Assistenzvorrichtung, die die Verarbeitung bezüglich eines Verhaltensmodells ausführt, umfassend: eine Eingabeeinheit für detektierte Informationen, in die die detektierten Informationen eingegeben werden; eine Erfassungseinheit, die aufgebaut ist, auf der Grundlage der in die Eingabeeinheit für detektierte Informationen eingegebenen detektierten Informationen ein oder mehrere Informationselemente zu erfassen, die die Genauigkeit des Verhaltensmodells beeinflussen; eine Bestimmungseinheit, die aufgebaut ist auf der Grundlage der von der Erfassungseinheit erfassten Informationselemente zu bestimmen, ob die Verarbeitung auszuführen ist oder nicht; und einen Prozessor, der aufgebaut ist, die Verarbeitung bezüglich des Verhaltensmodells auszuführen, wenn die Bestimmungseinheit eine Bestimmung vorgenommen hat, die Verarbeitung auszuführen. Es wird angenommen, dass der Prozessor die Verarbeitung bezüglich des Verhaltensmodells nicht ausführt, wenn die Bestimmungseinheit eine Bestimmung vorgenommen hat, die Verarbeitung nicht auszuführen.
Gemäß dieser Ausführungsform kann, da eine Bestimmung, ob eine Verarbeitung durchzuführen ist oder nicht, auf der Grundlage von ein oder mehreren Informationselementen vorgenommen wird, die die Genauigkeit des Verhaltensmodells beeinflussen, die Ausführung von Lernen oder Abschätzen in Zuständen, die für Lernen oder Abschätzen ungeeignet sind, verhindert werden.
Noch eine weitere Ausführungsform der vorliegenden Erfindung ist ein Assistenzverfahren. Dieses Verfahren ist ein Assistenzverfahren, das die Verarbeitung bezüglich eines Verhaltensmodells ausführt, umfassend folgende Schritte: Eingeben von detektierten Informationen; auf der Grundlage der so eingegebenen detektierten Informationen Erfassen eines oder mehrerer Informationselemente, die die Genauigkeit des Verhaltensmodells beeinflussen; auf der Grundlage der einen oder mehreren erfassten Informationselemente Bestimmen, ob die Verarbeitung auszuführen ist oder nicht; Ausführen der Verarbeitung bezüglich des Verhaltensmodells, wenn eine Bestimmung vorgenommen wurde, die Verarbeitung auszuführen; und Nicht-Ausführen der Verarbeitung bezüglich des Verhaltensmodells, wenn eine Bestimmung vorgenommen wurde, die Verarbeitung nicht auszuführen.
Die vorliegende Erfindung ist auf Grundlage der obigen Ausführungsformen beschrieben. Diese Ausführungsformen dienen der Veranschaulichung, und es versteht sich für einen Fachmann, dass verschiedene Modifikationsbeispiele an den Kombinationen der Komponenten und den entsprechenden Verarbeitungsprozessen vorgenommen werden können und dass solche Modifikationsbeispiele ebenfalls in den Umfang der vorliegenden Erfindung fallen.
In der ersten bis dritten Ausführungsform umfasst der Prozessor 64 die Lerneinheit 80 oder die Abschätzungseinheit 86. Allerdings ist die vorliegende Erfindung nicht auf diese Konfiguration beschränkt, und der Prozessor 64 kann die Lerneinheit 80 zusätzlich zu der Abschätzungseinheit 86 enthalten. In diesem Fall führt der Prozessor 64 eine Lernverarbeitung und eine Abschätzungsverarbeitung aus. Der Prozessor 64 kann der Prozessor 464 und der Prozessor 664 sein, die Lerneinheit 80 kann die Lerneinheit 480 und die Lerneinheit 680 sein, und die Abschätzungseinheit 86 kann die Abschätzungseinheit 486 und die Abschätzungseinheit 686 sein. Gemäß diesem Modifikationsbeispiel kann, weil eine Bestimmung, Lernen und Abschätzen durchzuführen oder nicht, durchgeführt wird, die Ausführung von Lernen und Abschätzen in einer Situation unterdrückt werden, die für Lernen und Abschätzen ungeeignet ist.
Gemäß der ersten Ausführungsform werden Lernen und Abschätzen des Fahrverhaltensmodells 84 ausgeführt. Das Verhalten kann ein Fahrverhalten oder ein Nicht-Fahrverhalten sein. Zum Beispiel sind Nicht-Fahrverhalten Bedienungen von im Fahrzeug montierten Vorrichtungen und sekundäre Aufgaben, die auf einer Selbstfahrstufe 3 erlaubt sind (das Fahren ist als primäre Aufgabe definiert, und es wird nachstehend bestimmt, was als eine sekundäre Aufgabe erlaubt ist, wie etwa Verhaltensweisen, bei denen nicht zum Fahren gehörender Text gelesen wird). Wenn ein Verhalten abgeschätzt wird, das kein Fahrverhalten ist, werden in der Verarbeitung zeitserielle Daten verwendet, wie etwa eine Angabe einer Temperatureinstellung, eine Angabe einer Lautstärkeeinstellung und eine Angabe zur Einstellung einer Klimaanlage, die von einer im Fahrzeug montierten Vorrichtung erhalten werden. Zum Beispiel kann es sein, dass bei einem Versuch, die Lautstärke einzustellen, wenn die Schläfrigkeit des Fahrers groß ist, die Lautstärke unerwartet hoch eingestellt wird. Indem in diesem Fall kein Lernen durchgeführt wird, kann das Lernen von unbeabsichtigten, fehlerhaften Bedienungen verhindert werden. Wendet man dieses Verhalten auf anderes als das Fahrverhalten an, wird ein Lernen von Nicht-Fahrverhalten in Situationen unterdrückt, in denen das Durchführen des Nicht-Fahrverhaltens auf die beabsichtigte Weise nicht möglich erscheint, wie etwa im Fall von Unerfahrenheit beim Fahren, einer Fahrumgebung mit Fahrschwierigkeiten oder Schläfrigkeit. Außerdem kann das geeignete Lernen und Abschätzen durchgeführt werden, um auf der Grundlage der Abschätzung des ungeeigneten Nicht-Fahrverhaltens in einer ähnlichen Situation keine Assistenz von Nicht-Fahrverhalten durchzuführen. Wenn zum Beispiel Lernen unterdrückt ist, so dass ein Verhalten im Fall von Unerfahrenheit beim Fahren oder einer Fahrumgebung mit Fahrschwierigkeiten, in der der Fahrer gezwungen ist, die Hand auszustrecken, oder wobei eine Aktion des Öffnens des Fensters mit den Fingern oder dergleichen anders als im Normalbetrieb, nicht gelernt ist, ist es möglich, eine Sachlage zu verhindern, in der der Fahrer nicht mehr in der Lage ist, sich auf das Fahren zu konzentrieren, wenn er sich auf das Fahren konzentrieren sollte, indem das Fenster automatisch geöffnet wird, indem die Aktion des Öffnens des Fensters bei Auftreten einer ähnlichen Situation abgeschätzt wird. Das oben erwähnte Fahrverhalten und das Nicht-Fahrverhalten wird insgesamt Verhalten genannt. Das Fahrverhaltensmodell und das Nicht-Fahrverhaltensmodell wird insgesamt Verhaltensmodell genannt. Die Assistenzvorrichtung führt mindestens eins aus Bewirken, dass ein Verhaltensmodell auf der Grundlage des Verhaltensmodells für Selbstfahren und Abschätzungsverhalten lernt.
Bezugszeichenliste
2 Meldevorrichtung, 2a Head-up-Display, 2b Zentralbildschirm, 4 Eingabevorrichtung, 4a erste Bedienungseinheit, 4b zweite Bedienungseinheit, 4c dritte Bedienungseinheit, 6 Lautsprecher, 8 Funkvorrichtung, 10 Fahrbedienungseinheit, 11 Lenkrad, 12 Bremspedal, 13 Fahrpedal, 14 Blinkerschalter, 20 Detektionseinheit, 21 Positionsinformations-Erfassungseinheit, 22 Sensor, 23 Geschwindigkeitsinformations-Erfassungseinheit, 24 Karteninformations-Erfassungseinheit, 25 Fahrumgebungssensor, 26 Überwachungssensor, 27 Fahrzeuginformationssensor, 30 Selbstfahrssteuerungsvorrichtung, 31 Steuerungseinrichtung, 32 Speichereinheit, 33 E/A-Einheit, 40 Fahrassistenzvorrichtung, 41 Steuerungseinrichtung, 42 Speichereinheit, 43 E/A-Einheit, 50 Bedienungssignal-Eingabeeinheit, 51 Bild/Sprach-Ausgabeeinheit, 52 Eingabeeinheit für detektierte Informationen, 53 Befehlsschnittstelle, 54 Verhaltensinformations-Eingabeeinheit, 55 Befehlsausgabeeinheit, 56 Kommunikationsschnittstelle, 60 Erfassungseinheit, 62 Bestimmungseinheit, 64 Prozessor, 70 Fahrschwierigkeitsgrad-Erfassungseinheit, 72 Wachsamkeitsgrad-Erfassungseinheit, 74 Fahrkenntnisgrad-Erfassungseinheit, 80 Lerneinheit, 82 Überwachungsdaten, 84 Fahrverhaltensmodell, 86 Abschätzungseinheit, 88 Abschätzungswert, 90 Eingabeparameter, 92 Eingabedaten, und 100 Fahrzeug.
[Gewerbliche Anwendbarkeit]
Gemäß der vorliegenden Erfindung kann das Ausführen von Lernen oder Abschätzen in Zuständen, die für das Lernen oder Abschätzen ungeeignet sind, unterdrückt werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 201153798 [0003]

Claims

Assistenzsystem, das eine Verarbeitung bezüglich eines Verhaltensmodells ausführt, umfassend: eine Eingabeeinheit für detektierte Informationen, in die detektierte Informationen eingegeben werden; eine Erfassungseinheit, die aufgebaut ist, auf der Grundlage der detektierten Information, die in die Eingabeeinheit für detektierte Informationen eingegeben wird, ein oder mehrere Informationselemente zu erfassen, die die Genauigkeit des Verhaltensmodells beeinflussen; eine Bestimmungseinheit, die aufgebaut ist, auf der Grundlage des einen oder der mehreren von der Erfassungseinheit erfassten Informationselemente eine Bestimmung durchzuführen, ob eine Verarbeitung auszuführen ist oder nicht; und einen Prozessor, der aufgebaut ist, die Verarbeitung bezüglich des Verhaltensmodells auszuführen, wenn die Bestimmungseinheit eine Bestimmung vorgenommen hat, die Verarbeitung auszuführen, wobei der Prozessor die Verarbeitung bezüglich des Verhaltensmodells nicht ausführt, wenn die Bestimmungseinheit eine Bestimmung vorgenommen hat, die Verarbeitung nicht auszuführen.
Assistenzsystem nach Anspruch 1, wobei das Assistenzsystem eine Verarbeitung bezüglich eines Verhaltensmodells eines Fahrzeugs ausführt, erfasste Informationen von dem Fahrzeug in die Eingabeeinheit für erfasste Informationen eingegeben werden, und die Erfassungseinheit als ein oder mehrere Informationselemente, die die Genauigkeit des Verhaltensmodells beeinflussen, mindestens ein Informationselement aus einem Fahrschwierigkeitsgrad des Fahrzeugs, einem Wachsamkeitsgrad eines Fahrers und einem Fahrkenntnisgrad des Fahrers ableitet.
Assistenzsystem nach Anspruch 2, wobei die Erfassungseinheit den Fahrschwierigkeitsgrad des Fahrzeugs ableitet, und die Bestimmungseinheit eine Bestimmung durchführt, eine Verarbeitung nicht auszuführen, wenn der von der Erfassungseinheit abgeleitete Fahrschwierigkeitsgrad über einem Grenzwert liegt.
Assistenzsystem nach Anspruch 2, wobei die Erfassungseinheit den Wachsamkeitsgrad des Fahrers ableitet, und die Bestimmungseinheit eine Bestimmung durchführt, eine Verarbeitung nicht auszuführen, wenn der von der Erfassungseinheit abgeleitete Wachsamkeitsgrad unter einem Grenzwert liegt.
Assistenzsystem nach Anspruch 2, wobei die Erfassungseinheit den Fahrkenntnisgrad des Fahrers ableitet, und die Bestimmungseinheit eine Bestimmung durchführt, eine Verarbeitung nicht auszuführen, wenn der von der Erfassungseinheit abgeleitete Fahrkenntnisgrad unter einem Grenzwert liegt.
Assistenzsystem nach Anspruch 2, wobei die Erfassungseinheit zwei oder mehrere Informationselemente aus dem Fahrschwierigkeitsgrad des Fahrzeugs, dem Wachsamkeitsgrad eines Fahrers und dem Fahrkenntnisgrad des Fahrers ableitet, und die Bestimmungseinheit auf der Grundlage einer Kombination der von der Erfassungseinheit erfassten zwei oder mehreren Informationselemente bestimmt, ob eine Verarbeitung auszuführen ist oder nicht.
Assistenzsystem nach Anspruch 2, wobei die Erfassungseinheit den Fahrschwierigkeitsgrad des Fahrzeugs und den Wachsamkeitsgrad des Fahrers ableitet, und in einem Fall, in dem der Fahrschwierigkeitsgrad gleich oder kleiner ist als ein erster Grenzwert, die Bestimmungseinheit eine Bestimmung durchführt, die Verarbeitung nicht auszuführen, wenn der Wachsamkeitsgrad unter einem zweiten Grenzwert liegt, oder der Wachsamkeitsgrad über einem dritten Grenzwert liegt (dritter Grenzwert > zweiter Grenzwert).
Assistenzsystem nach Anspruch 2, wobei die Erfassungseinheit den Fahrschwierigkeitsgrad des Fahrzeugs und den Wachsamkeitsgrad des Fahrers ableitet, und in einem Fall, in dem der Fahrschwierigkeitsgrad über einem ersten Grenzwert liegt, die Bestimmungseinheit eine Bestimmung durchführt, die Verarbeitung nicht auszuführen, wenn der Wachsamkeitsgrad unter einem vierten Grenzwert liegt.
Assistenzsystem nach Anspruch 2, wobei die Erfassungseinheit den Wachsamkeitsgrad des Fahrers und den Fahrkenntnisgrad des Fahrers ableitet, und die Bestimmungseinheit einen Grenzwert kleiner einstellt, wenn der Fahrkenntnisgrad steigt, und eine Bestimmung durchführt, eine Verarbeitung nicht auszuführen, wenn Wachsamkeitsgrad unter dem Grenzwert liegt.
Assistenzsystem nach Anspruch 2, wobei die Erfassungseinheit den Fahrschwierigkeitsgrad des Fahrzeugs und den Fahrkenntnisgrad des Fahrers ableitet, und die Bestimmungseinheit einen Grenzwert größer einstellt, wenn der Fahrkenntnisgrad steigt, und eine Bestimmung durchführt, eine Verarbeitung nicht auszuführen, wenn der Fahrschwierigkeitsgrad über dem Grenzwert liegt.
Assistenzsystem nach Anspruch 1, wobei das Assistenzsystem eine Verarbeitung bezüglich eines Verhaltensmodells für eine Äußerung ausführt, erfasste Informationen für die Äußerung in die Eingabeeinheit für erfasste Informationen eingegeben werden, und die Erfassungseinheit als ein oder mehrere Informationselemente, die die Genauigkeit des Verhaltensmodells beeinflussen, mindestens ein Informationselement aus einem Inhalt der Äußerung, einem Sprecher der Äußerung und einer Verarbeitungsposition des Verhaltensmodells erfasst.
Assistenzsystem nach Anspruch 11, wobei die Erfassungseinheit den Äußerungsinhalt erfasst, und die Bestimmungseinheit eine Bestimmung durchführt, die Verarbeitung nicht auszuführen, wenn der von der Erfassungseinheit erfasste Äußerungsinhalt ungeplant ist.
Assistenzsystem nach Anspruch 11 oder 12, wobei die Erfassungseinheit den Sprecher der Äußerung erkennt, und die Bestimmungseinheit eine Bestimmung durchführt, die Verarbeitung nicht auszuführen, wenn der von der Erfassungseinheit erfasste Sprecher der Äußerung ungeplant ist.
Assistenzsystem nach beliebigen der Ansprüche 11 bis 13, wobei die Erfassungseinheit die Verarbeitungsposition des Verhaltensmodells erfasst, und die Bestimmungseinheit eine Bestimmung durchführt, eine Verarbeitung nicht auszuführen, wenn die von der Erfassungseinheit erfasste Verarbeitungsposition des Verhaltensmodells nicht von der Äußerungsposition über das Netzwerk entfernt ist.
Assistenzsystem nach Anspruch 1, wobei das Assistenzsystem eine Verarbeitung bezüglich eines Verhaltensmodells für eine Vorrichtung ausführt, erfasste Informationen für die Vorrichtung in die Eingabeeinheit für erfasste Informationen eingegeben werden, und die Erfassungseinheit als ein oder mehrere Informationselemente, die die Genauigkeit des Verhaltensmodells beeinflussen, mindestens ein Informationselement aus dem Bedienungsinhalt der Vorrichtung, der Anwesenheit von Menschen in der Nähe der Vorrichtung und den Emotionen der Person, die die Vorrichtung bedient, erfasst.
Assistenzsystem nach Anspruch 15, wobei die Erfassungseinheit den Bedienungsinhalt der Vorrichtung erfasst, und die Bestimmungseinheit eine Bestimmung durchführt, die Verarbeitung nicht auszuführen, wenn der von der Erfassungseinheit erfasste Bedienungsinhalt ungeplant ist.
Assistenzsystem nach Anspruch 15 oder 16, wobei die Erfassungseinheit die Anwesenheit von Menschen in der Nähe der Vorrichtung erkennt, und die Bestimmungseinheit eine Bestimmung durchführt, die Verarbeitung nicht auszuführen, wenn die von der Erfassungseinheit durchgeführte Erkennung der Anwesenheit von Menschen anzeigt, dass kein Mensch anwesend ist.
Assistenzsystem nach beliebigen der Ansprüche 15 bis 17, wobei die Erfassungseinheit die Emotionen der Person erfasst, die die Vorrichtung bedient, und die Bestimmungseinheit eine Bestimmung durchführt, die Verarbeitung nicht auszuführen, wenn die von der Erfassungseinheit erfasste Emotion Unzufriedenheit ist.
Assistenzsystem nach beliebigen der Ansprüche 1 bis 18, wobei die Verarbeitung des Prozessors eine Lernverarbeitung ist, die bewirkt, dass ein Verhaltensmodell lernt, und der Prozessor das Verhaltensmodell entsprechend Eingabeparametern erstellt.
Assistenzsystem nach beliebigen der Ansprüche 1 bis 18, wobei die Verarbeitung des Prozessors eine Abschätzungsverarbeitung ist, die das Verhalten abschätzt, und der Prozessor Eingabedaten in das Verhaltensmodell eingibt und eine Ausgabe von dem Verhaltensmodell als Verhalten erfasst.
Assistenzsystem nach beliebigen der Ansprüche 1 bis 18, wobei die Verarbeitung des Prozessors eine Lernverarbeitung ist, die bewirkt, dass ein Verhaltensmodell lernt, und eine Abschätzungsverarbeitung ist, die das Verhalten abschätzt, und der Prozessor ein Verhaltensmodell mittels Eingabeparametern bei Ausführung der Lernverarbeitung erstellt und Eingabedaten in das Verhaltensmodell eingibt und eine Ausgabe von dem Verhaltensmodell als Verhalten erfasst, wenn die Abschätzungsverarbeitung ausgeführt wird.
Assistenzvorrichtung, die eine Verarbeitung bezüglich eines Verhaltensmodells ausführt, umfassend: eine Eingabeeinheit für detektierte Informationen, in die detektierte Informationen eingegeben werden; eine Erfassungseinheit, die aufgebaut ist, auf der Grundlage der detektierten Informationen, die in die Eingabeeinheit für detektierte Informationen eingegeben werden, ein oder mehrere Informationselemente zu erfassen, die die Genauigkeit des Verhaltensmodells beeinflussen; eine Bestimmungseinheit, die aufgebaut ist, auf der Grundlage des einen oder der mehreren von der Erfassungseinheit erfassten Informationselemente eine Bestimmung durchzuführen, ob eine Verarbeitung auszuführen ist oder nicht; und einen Prozessor, der aufgebaut ist, die Verarbeitung bezüglich des Verhaltensmodells auszuführen, wenn die Bestimmungseinheit eine Bestimmung vorgenommen hat, die Verarbeitung auszuführen, wobei der Prozessor die Verarbeitung bezüglich des Verhaltensmodells nicht ausführt, wenn die Bestimmungseinheit eine Bestimmung vorgenommen hat, die Verarbeitung nicht auszuführen.
Assistenzverfahren, das eine Verarbeitung bezüglich eines Verhaltensmodells ausführt, umfassend folgende Schritte: Eingabe von detektierten Informationen; auf der Grundlage der auf diese Weise eingegebenen detektierten Informationen, Erfassen eines oder mehrerer Informationselemente, die die Genauigkeit des Verhaltensmodells beeinflussen; auf der Grundlage des einen oder der mehreren erfassten Informationselemente Bestimmen, ob eine Verarbeitung auszuführen ist oder nicht; Ausführen der Verarbeitung bezüglich des Verhaltensmodells, wenn eine Bestimmung vorgenommen wurde, die Verarbeitung auszuführen; und Nicht-Ausführen der Verarbeitung bezüglich des Verhaltensmodells, wenn eine Bestimmung vorgenommen wurde, die Verarbeitung nicht auszuführen.