DE102020213352A1

DE102020213352A1 - Vorrichtung und verfahren zum erzeugen eines bildes unter verwendung von gehirnwellen

Info

Publication number: DE102020213352A1
Application number: DE102020213352.2A
Authority: DE
Inventors: Jeong Su Kang; Suh Yeon Dong
Original assignee: Hyundai Motor Co; Kia Motors Corp; Industry Academic Cooperation Foundation of SWU
Current assignee: Hyundai Motor Co; Kia Corp; Industry Academic Cooperation Foundation of SWU
Priority date: 2019-10-29
Filing date: 2020-10-22
Publication date: 2021-04-29
Also published as: KR20210051056A; CN112748802A; US11320905B2; US20210124419A1

Abstract

Vorliegend werden eine Vorrichtung und ein Verfahren zum Erzeugen eines Bildes unter Verwendung eines Gehirnwellensignals offenbart. Das Verfahren zum Erzeugen eines Bildes unter Verwendung von Gehirnwellensignalen umfasst ein Sammeln von Gehirnwellensignalen von zumindest einem Fahrgast in einem Fahrzeug von einer Vielzahl von Kanälen für eine vorgegebene Zeit, ein Erzeugen eines ersten Bildes einer Dienstleistungsstelle aus den Gehirnwellensignalen, die von der Vielzahl von Kanälen gesammelt werden, unter Verwendung eines Modells für künstliche Intelligenz, ein Bestimmen, ob das erzeugte erste Bild einem voreingestellten zweiten Bild ähnelt, und ein Steuern des Fahrzeugs auf der Grundlage eines Ergebnisses der Bestimmung.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung betrifft ein Verfahren und eine Vorrichtung zum Steuern eines Fahrzeugs bzw. einer Mobilität (Englisch: „mobility). Insbesondere betrifft die vorliegende Offenbarung ein Verfahren und eine Vorrichtung zum Steuern eines Fahrzeugs auf der Grundlage von Fehlerüberwachung.
HINTERGRUND
Die Angaben in diesem Abschnitt stellen lediglich
Hintergrundinformationen in Bezug auf die vorliegende Offenbarung bereit und stellen möglicherweise nicht den Stand der Technik dar.
Als Transportmittel ist ein Fahrzeug (oder Mobilität) ein Hilfsmittel für ein Leben in der modernen Welt. Ferner kann ein Fahrzeug selbst als etwas gesehen werden, das jemandem Bedeutung verleiht.
Während die Technologie voranschreitet, entwickeln sich auch die durch ein Fahrzeug bereitgestellten Funktionen allmählich weiter. Beispielsweise transportieren Fahrzeuge in den letzten Jahren einen Fahrgast nicht nur an ein Ziel, sondern erfüllen auch die Bedürfnisse des Fahrgastes nach einer schnelleren und sichereren Fahrt an ein Ziel. Darüber hinaus werden neue Vorrichtungen zu Fahrzeugsystemen hinzugefügt, um dem ästhetischen Geschmack und dem Komfort eines Fahrgastes gerecht zu werden. Darüber hinaus werden auch die bestehenden Vorrichtungen, wie etwa Lenkräder, Getriebe und Beschleunigungs-/Verzögerungsvorrichtungen weiterentwickelt, so dass Benutzern mehr Funktionen bereitgestellt werden können.
Indessen ist eine Gehirn-Computer-Schnittstelle oder eine Gehirn-Maschine-Schnittstelle ein Gebiet zum Steuern eines Computers oder einer Maschine gemäß der Absicht einer Person durch Verwenden von Gehirnwellensignalen. EKP (Ereigniskorreliertes Potential) ist mit kognitiven Funktionen eng verknüpft.
Darüber hinaus besteht in letzter Zeit eine zunehmende Tendenz in der Forschung zum Erkennen und Klassifizieren von in einem Bild enthaltenen Objekten unter Verwendung eines Modells für künstliche Intelligenz und Erzeugen neuer Bilder.
KURZDARSTELLUNG
Eine Aufgabe der vorliegenden Offenbarung besteht darin, eine Vorrichtung und ein Verfahren zum Erzeugen eines Bildes auf der Grundlage eines Gehirnwellensignals eines Fahrgastes bereitzustellen.
Eine weitere Aufgabe der vorliegenden Offenbarung besteht darin, eine Vorrichtung und ein Verfahren zum Erzeugen eines Bildes von einem Gehirnwellensignal eines Fahrgastes unter Verwendung eines Modells für künstliche Intelligenz und zum Steuern eines Fahrzeugs auf der Grundlage des erzeugten Bildes bereitzustellen.
Die technischen Aufgaben der vorliegenden Offenbarung sind nicht auf die oben genannten technischen Aufgaben beschränkt und andere technische Aufgaben, die nicht genannt werden, werden vom Fachmann durch die folgenden Beschreibungen deutlich verstanden.
Gemäß der vorliegenden Offenbarung weist eine Vorrichtung zum Erzeugen eines Bildes unter Verwendung von Gehirnwellensignalen einen Sensor, der konfiguriert ist, Gehirnwellensignale von zumindest einem Fahrgast in einem Fahrzeug von einer Vielzahl von Kanälen für eine vorgegebene Zeit zu sammeln, sowie eine Steuerung auf, die konfiguriert ist, ein erstes Bild einer Dienstleistungsstelle aus den Gehirnwellensignalen, die von der Vielzahl von Kanälen gesammelt werden, unter Verwendung eines Modells für künstliche Intelligenz zu erzeugen, zu bestimmen, ob das erzeugte erste Bild einem voreingestellten zweiten Bild ähnelt, und das Fahrzeug auf der Grundlage eines Ergebnisses der Bestimmung zu steuern.
Die Gehirnwellensignale, die von der Vielzahl von Kanälen gesammelt werden, können Gehirnwellensignale in einem Zeitbereich und/oder einem Frequenzbereich und/oder einem Raumbereich sein.
Das Modell für künstliche Intelligenz kann ein Modell eines Generative Adversarial Network (GAN) sein.
Das erste Bild kann ein Dienstleistungsstellenbild, das eine Dienstleistungsstelle angibt, und/oder ein Elementbild sein, das Dienstleistungsstellenbild kann ein Bild sein, das eine Dienstleistungsstelle angibt, und das Elementbild kann ein Bild sein, das ein von der Dienstleistungsstelle bereitgestelltes Element angibt.
Das zweite Bild kann ein Dienstleistungsstellenbild oder ein Elementbild sein.
Die Dienstleistungsstelle kann ein Ort der Erbringung einer Drive-Through(DT)-Dienstleistung innerhalb einer vorgegebenen Reichweite von dem Fahrzeug sein.
Wenn ein Senden und Empfangen zwischen dem Fahrzeug und der Dienstleistungsstelle auf der Grundlage eines Kurzstreckenkommunikationsnetzwerks durchgeführt werden, kann die vorgegebene Reichweite eine Reichweite sein, in der das Senden und Empfangen durch das Kurzstreckenkommunikationsnetzwerk möglich sind.
Bei dem Element kann es sich um ein von der Dienstleistungsstelle bereitgestelltes Produkt und/oder eine von der Dienstleistungsstelle bereitgestellte Dienstleistung und/oder Informationen über die Dienstleistungsstelle handeln.
Wenn das erste Bild ein Dienstleistungsstellenbild ist, kann die Steuerung das zweite Bild als ein voreingestelltes Dienstleistungsstellenbild bestimmen, und bestimmen, ob das erste Bild dem zweiten Bild ähnelt.
Nach dem Bestimmen, dass das erste Bild dem zweiten Bild ähnelt, kann die Steuerung ein Ändern einer Fahrstrecke des Fahrzeugs zur Dienstleistungsstelle und/oder ein Bereitstellen einer Mitteilung einer zu ändernden Fahrstrecke an den Fahrgast und/oder ein Veranlassen, dass der Fahrgast eine Strecke auswählt, indem die zu ändernde Fahrstrecke dem Fahrgast bereitgestellt wird, durchführen.
Wenn das erste Bild ein Elementbild ist, kann die Steuerung das zweite Bild als ein voreingestelltes Elementbild bestimmen und bestimmen, ob das erste Bild dem zweiten Bild ähnelt.
Nach dem Bestimmen, dass das erste Bild dem zweiten Bild ähnelt, kann die Steuerung ein Ändern einer Fahrstrecke des Fahrzeugs zu einer Dienstleistungsstelle, um das Element bereitzustellen, und/oder ein Bereitstellen einer Mitteilung einer zu ändernden Fahrstrecke an den Fahrgast, und/oder Veranlassen, dass der Fahrgast eine Strecke auswählt, indem die zu ändernde Fahrstrecke dem Fahrgast bereitgestellt wird, und/oder ein Übertragen eines Bestellsignals des Elements durchführen.
Die Steuern kann ferner konfiguriert sein, zu bestimmen, ob das Ergebnis der Bestimmung mit einer Absicht des Fahrgastes übereinstimmt.
Gemäß der vorliegenden Offenbarung umfasst ein Verfahren zum Erzeugen eines Bildes unter Verwendung von Gehirnwellensignalen ein Sammeln von Gehirnwellensignalen von zumindest einem Fahrgast in einem Fahrzeug von einer Vielzahl von Kanälen für eine vorgegebene Zeit, ein Erzeugen eines ersten Bildes einer Dienstleistungsstelle aus den Gehirnwellensignalen, die von der Vielzahl von Kanälen gesammelt werden, unter Verwendung eines Modells für künstliche Intelligenz, ein Bestimmen, ob das erzeugte erste Bild einem voreingestellten zweiten Bild ähnelt, und ein Steuern des Fahrzeugs auf der Grundlage eines Ergebnisses der Bestimmung.
Die Gehirnwellensignale, die von der Vielzahl von Kanälen gesammelt werden, können Gehirnwellensignale in einem Zeitbereich und/oder einem Frequenzbereich und/oder einem Raumbereich sein.
Das Modell für künstliche Intelligenz kann ein Modell eines Generative Adversarial Network (GAN) sein.
Das erste Bild kann ein Dienstleistungsstellenbild, das eine Dienstleistungsstelle angibt, und/oder ein Elementbild sein, das Dienstleistungsstellenbild kann ein Bild sein, das eine Dienstleistungsstelle angibt, und das Elementbild kann ein Bild sein, das ein von der Dienstleistungsstelle bereitgestelltes Element angibt.
Das zweite Bild kann ein Dienstleistungsstellenbild oder ein Elementbild sein.
Die Dienstleistungsstelle kann ein Ort der Erbringung einer Drive-Through(DT)-Dienstleistung innerhalb einer vorgegebenen Reichweite von dem Fahrzeug sein.
Wenn Senden und Empfangen zwischen dem Fahrzeug und der Dienstleistungsstelle auf der Grundlage eines Kurzstreckenkommunikationsnetzwerks durchgeführt werden, kann die vorgegebene Reichweite eine Reichweite sein, in der Senden und Empfangen durch das Kurzstreckenkommunikationsnetzwerk möglich sind.
Bei dem Element kann es sich um ein von der Dienstleistungsstelle bereitgestelltes Produkt und/oder eine von der Dienstleistungsstelle bereitgestellte Dienstleistung und/oder Informationen über die Dienstleistungsstelle handeln.
Wenn das erste Bild ein Dienstleistungsstellenbild ist, kann das Bestimmen, ob das erste Bild dem zweiten Bild ähnelt, ein Bestimmen des zweiten Bildes als ein voreingestelltes Dienstleistungsstellenbild, sowie ein Bestimmen, ob das erste Bild dem zweiten Bild ähnelt, umfassen.
Nach dem Bestimmen, dass das erste Bild dem zweiten Bild ähnelt, kann das Steuern des Fahrzeugs das Durchführen des Änderns einer Fahrstrecke des Fahrzeugs zur Dienstleistungsstelle und/oder des Bereitstellens einer Mitteilung einer zu ändernden Fahrstrecke an den Fahrgast und/oder des Veranlassens, dass der Fahrgast eine Strecke auswählt, indem die zu ändernde Fahrstrecke dem Fahrgast bereitgestellt wird, umfassen.
Wenn das erste Bild ein Elementbild ist, kann das Bestimmen, ob das erste Bild dem zweiten Bild ähnelt, das Bestimmen des zweiten Bildes als ein voreingestelltes Elementbild sowie das Bestimmen, ob das erste Bild dem zweiten Bild ähnelt, umfassen.
Nach dem Bestimmen, dass das erste Bild dem zweiten Bild ähnelt, kann das Steuern des Fahrzeugs das Durchführen des Änderns einer Fahrstrecke des Fahrzeugs zu einer Dienstleistungsstelle, um das Element bereitzustellen, und/oder des Bereitstellens einer Mitteilung einer zu ändernden Fahrstrecke an den Fahrgast, und/oder des Veranlassens, dass der Fahrgast eine Strecke auswählt, indem die zu ändernde Fahrstrecke dem Fahrgast bereitgestellt wird, und/oder des Übertragens eines Bestellsignals des Elements umfassen.
Das Verfahren kann ferner das Bestimmen, ob das Ergebnis der Bestimmung mit einer Absicht des Fahrgastes übereinstimmt, umfassen.
Die bezogen auf die vorliegende Offenbarung oben kurz dargestellten Merkmale sind lediglich beispielhafte Aspekte der nachfolgenden ausführlichen Beschreibung der vorliegenden Offenbarung und beschränken den Schutzumfang der vorliegenden Offenbarung nicht.
Figurenliste
Zum besseren Verständnis der Offenbarung werden nun verschiedene Ausführungsformen der Erfindung beispielhaft unter Bezugnahme auf die beigefügten Zeichnungen beschrieben, welche zeigen:

1 eine Ansicht, die eine allgemeine Wellenform von ERN in einer Ausführungsform der vorliegenden Offenbarung veranschaulicht;
2 eine Ansicht, die allgemeine Wellenformen von ERN und Pe gemäß einer Ausführungsform der vorliegenden Offenbarung veranschaulicht;
3 eine Ansicht, die eine Ablenkungskennlinie von Pe gemäß einer anderen Ausführungsform der vorliegenden Offenbarung veranschaulicht;
4A und 4B Ansichten, die jeweils Messbereiche von EKP und Pe in einer Ausführungsform der vorliegenden Offenbarung veranschaulichen;
5 eine Ansicht, die allgemeine Wellenformen von ERN und CRN gemäß einer Ausführungsform der vorliegenden Offenbarung veranschaulicht;
6 eine Ansicht, die EEG-Messkanäle, die Großhirnrindenbereichen entsprechen, in einer Ausführungsform der vorliegenden Offenbarung veranschaulicht;
7 eine Blockdarstellung, die eine Konfiguration einer Vorrichtung zum Erzeugen eines Bildes auf der Grundlage eines Gehirnwellensignals eines Fahrgastes gemäß einer Ausführungsform der vorliegenden Offenbarung veranschaulicht.
8 eine Ansicht, die eine Reichweite zwischen einem Fahrzeug und einer Dienstleistungsstelle, die gegenseitig ein Senden und Empfangen durchführen, gemäß einer Ausführungsform der vorliegenden Offenbarung veranschaulicht.
9 ein Flussdiagramm, das ein Verfahren zum Betreiben einer Bilderzeugungsvorrichtung gemäß einer Ausführungsform der vorliegenden Offenbarung veranschaulicht.
10 ein Flussdiagramm, das ein Verfahren zum Betreiben einer Bilderzeugungsvorrichtung gemäß einer Ausführungsform der vorliegenden Offenbarung veranschaulicht.

AUSFÜHRLICHE BESCHREIBUNG
Die folgende Beschreibung ist lediglich beispielhaft und soll die vorliegende Offenbarung, Anwendung oder die vorliegenden Verwendungen nicht beschränken. Es versteht sich, dass entsprechende Bezugszeichen in den gesamten Zeichnungen auf ähnliche oder entsprechende Teile und Merkmale weisen.
Die folgende Beschreibung ist lediglich beispielhaft und soll die vorliegende Offenbarung, Anwendung oder die vorliegenden Verwendungen nicht beschränken. Es versteht sich, dass entsprechende Bezugszeichen in den gesamten Zeichnungen auf ähnliche oder entsprechende Teile und Merkmale weisen.
Beispielhafte Ausführungsformen der vorliegenden Offenbarung werden ausführlich beschrieben, so dass der Fachmann eine Vorrichtung und ein Verfahren, die durch die vorliegende Offenbarung in Verbindung mit den beigefügten Zeichnungen bereitgestellt werden, auf einfache Weise verstehen und umsetzen kann. Jedoch kann die vorliegende Offenbarung in verschiedenen Ausführungsformen ausgeführt sein und der Schutzumfang der vorliegenden Offenbarung soll nicht als auf die beispielhaften Ausführungsformen beschränkt ausgelegt werden.
Beim Beschreiben der Ausführungsformen der vorliegenden Offenbarung werden bekannte Merkmale oder Konstruktionen nicht ausführlich beschrieben, wenn sie den Geist der vorliegenden Offenbarung verschleiern könnten.
In der vorliegenden Offenbarung versteht es sich, dass, wenn ein Element als mit einem anderen Element „verbunden“, „daran gekoppelt“ oder „damit kombiniert“ bezeichnet wird, es direkt mit dem anderen Element verbunden oder direkt daran gekoppelt oder damit kombiniert sein kann oder dazwischenliegende Elemente dazwischen vorhanden sein können. Es versteht sich ferner, dass die Begriffe „aufweisen“, „umfassen“, „haben“ bzw. „besitzen“ etc. bei Verwendung in der vorliegenden Offenbarung das Vorhandensein der angegebenen Merkmale, ganzen Zahlen, Schritte, Vorgänge, Elemente, Komponenten und/oder Kombinationen davon festlegen, jedoch das Vorhandensein oder das Hinzufügen eines/einer oder mehrerer anderer Merkmale, ganzer Zahlen, Schritte, Vorgänge, Elemente, Komponenten oder Kombinationen davon nicht ausschließen.
Es versteht sich, dass obwohl die Begriffe „erster/erste/erstes“, „zweiter/zweite/zweites“ etc. hierin verwendet werden können, um verschiedene Elemente zu beschreiben, diese Elemente nicht durch diese Begriffe beschränkt sein sollen. Diese Begriffe werden lediglich verwendet, um ein Element von einem anderen Element zu unterscheiden, und nicht verwendet, um Reihenfolge oder Priorität unter Elementen anzuzeigen. Beispielsweise könnte ein nachfolgend erläutertes erstes Element als ein zweites Element bezeichnet werden, ohne von den Lehren der vorliegenden Offenbarung abzuweichen. Ebenso könnte das zweite Element auch als das erste Element bezeichnet werden.
In der vorliegenden Offenbarung werden voneinander unterschiedliche Elemente bezeichnet, um Merkmale von verschiedenen Elementen deutlich zu beschreiben und bedeuten nicht, dass die Elemente physisch voneinander getrennt sind. Das bedeutet mehrere voneinander unterschiedliche Elemente können in eine einzige Hardwareeinheit oder eine einzige Softwareeinheit kombiniert werden und umgekehrt kann ein Element durch mehrere Hardwareeinheiten oder Softwareeinheiten implementiert werden. Dementsprechend, obwohl nicht ausdrücklich angegeben, kann eine integrierte Form verschiedener Elemente oder getrennte Formen eines Elements in den Schutzumfang der vorliegenden Offenbarung fallen. Darüber hinaus sollen die Begriffe, wie etwa „Einheit“ oder „Modul“ etc., als eine Einheit verstanden werden, die zumindest eine Funktion oder einen Vorgang verarbeitet und die in einer Hardware-Art (z. B. ein Prozessor), einer Software-Art oder einer Kombination aus der Hardware-Art und der Software-Art ausgeführt sein kann.
In der vorliegenden Offenbarung sollen alle der in verschiedenen Ausführungsformen beschriebenen Bestandteile nicht als wesentliche Elemente ausgelegt werden, sondern einige der Bestandteile können optionale Elemente sein. Dementsprechend können Ausführungsformen, die durch entsprechende Teilmengen von Bestandteilen in einer bestimmten Ausführungsform konfiguriert sind, auch in den Schutzumfang der vorliegenden Offenbarung fallen. Darüber hinaus können Ausführungsformen, die durch Hinzufügen eines oder mehrerer Elemente zu verschiedenen Elementen konfiguriert sind, auch in den Schutzumfang der vorliegenden Offenbarung fallen.
Als elektrische Aktivität von Neuronen, die ein Gehirn ausmachen, bedeutet ein Gehirnwellensignal (oder Gehirnsignal, Gehirnwelle) ein Biosignal, das einen bewussten oder unbewussten Zustand einer Person direkt oder indirekt reflektiert. Ein Gehirnwellensignal kann in jedem Bereich der menschlichen Kopfhaut gemessen werden und ihre Wellenlänge hat eine Frequenz von vorwiegend 30 Hz oder weniger und eine Potentialdifferenz von etlichen Mikrovolt. Je nach Gehirnaktivität und -zustand können verschiedene Wellenformen auftreten. Zurzeit läuft eine Forschung zur Schnittstellensteuerung unter Verwendung eines Gehirnwellensignals gemäß einer Absicht einer Person. Ein Gehirnwellensignal kann mittels EEG (Elektroenzephalographie) unter Verwendung von elektrischen Signalen, die durch Gehirnaktivitäten verursacht werden, MEG (Magnetoenzephalographie) unter Verwendung von magnetischen Signalen, die mit elektrischen Signalen auftreten, und fMRI (functional Magnetic Resonance Imaging - funktionelle Magnetresonanztomographie) oder fNIRS (Near-Infrared Spectroscopy-Nahinfrarotspektroskopie) unter Verwendung einer Änderung von Sauerstoffsättigung im Blut erhalten werden. Im Allgemeinen, obwohl fMRI und fNIRS hilfreiche Techniken zum Messen von Gehirnaktivitäten sind, hat fMRI eine geringe Zeitauflösung und hat fNIRS eine geringe räumliche Auflösung. Aufgrund dieser Beschränkungen werden EEG-Signale hauptsächlich aufgrund hervorragender Übertragbarkeit und Zeitauflösung verwendet.
Ein Gehirnwellensignal verändert sich räumlich und im Laufe der Zeit entsprechend der Gehirnaktivität. Da es üblicherweise schwierig ist, ein Gehirnwellensignal zu analysieren, und es üblicherweise nicht leicht ist, seine Wellenform visuell zu analysieren, werden verschiedene Verarbeitungsverfahren vorgeschlagen.
Beispielsweise können Gehirnwellensignale entsprechend der Anzahl an Schwingungen (Frequenz) auf der Grundlage von Frequenzbändern (Leistungsspektrumeinteilung) klassifiziert werden. Die Klassifizierung fasst ein gemessenes Gehirnwellensignal als eine lineare Summe einfacher Signale bei jeder bestimmten Frequenz auf, zerlegt das Signal in jede Frequenzkomponente und gibt eine entsprechende Amplitude an. Ein Gehirnwellensignal bei jeder Frequenz kann unter Verwendung einer Vorverarbeitung, die normalerweise für Rauschunterdrückung verwendet wird, der Fourier-Transformation in Frequenzbereich und eines Bandpassfilters (BPF) erhalten werden.
Insbesondere können Gehirnwellen entsprechend einem Frequenzband in Delta-, Theta-, Alpha-, Beta- und Gamma-Wellen klassifiziert werden. Delta-Wellen sind Gehirnwellen mit einer Frequenz von höchstens 3,5 Hz und einer Amplitude von 20-200 µV, die hauptsächlich bei normalem tiefen Schlaf oder bei Neugeborenen auftreten. Darüber hinaus können Delta-Wellen zunehmen, während unsere Wahrnehmung der physischen Welt abnimmt. Im Allgemeinen sind Theta-Wellen Gehirnwellen mit einer Frequenz von 3,5-7 Hz, die hauptsächlich in emotional stabilen Zuständen oder im Schlaf auftreten.
Darüber hinaus werden Theta-Wellen hauptsächlich im Parietallappen und im Occipitallappen erzeugt und können bei ruhiger Konzentration, um sich eine Erinnerung ins Gedächtnis zu rufen oder zu meditieren, auftreten. Im Allgemeinen sind Alpha-Wellen Gehirnwellen mit einer Frequenz von 8~12 Hz, die hauptsächlich in entspannten und bequemen Zuständen auftreten. Darüber hinaus werden Alpha-Wellen normalerweise beim Ruhen im Occipitallappen erzeugt und können sich im Schlaf verringern. Im Allgemeinen sind Beta-Wellen Gehirnwellen mit einer Frequenz von 13-30 Hz, die hauptsächlich in einem Spannungszustand, der erträglich genug ist, oder während eines bestimmten Ausmaßes an Aufmerksamkeitszuwendung auftreten. Darüber hinaus werden Beta-Wellen hauptsächlich im Frontallappen erzeugt und stehen mit einem Wachzustand oder konzentrierten Gehirnaktivitäten, pathologischen Phänomenen und medizinischen Wirkungen in Verbindung. Beta-Wellen können in einem weiten Bereich im gesamten Gehirn auftreten. Darüber hinaus können die Beta-Wellen insbesondere in SMR-Wellen mit einer Frequenz von 13-15 Hz, mittleren Beta-Wellen mit einer Frequenz von 15~18 Hz und hohen Beta-Wellen mit einer Frequenz von mindestens 20 Hz eingeteilt werden. Da Beta-Wellen bei Stress, wie etwa Angst und Spannung, stärker zu sein scheinen, werden sie Stresswellen genannt. Gamma-Wellen sind Gehirnwellen, die im Allgemeinen eine Frequenz von 30~50 Hz haben, die hauptsächlich in einem stark erregten Zustand oder bei kognitiver Informationsverarbeitung auf hohem Niveau auftreten. Darüber hinaus können Gamma-Wellen in einem Wachzustand des Bewusstseins und während des REM-Schlafes auftreten und können auch mit Beta-Wellen überlappen.
Jedes der Gehirnwellensignale gemäß einem Frequenzband steht mit einer bestimmten kognitiven Funktion in Verbindung. Beispielsweise stehen Delta-Wellen mit Schlaf in Verbindung, stehen Theta-Wellen mit dem Arbeitsgedächtnis in Verbindung und stehen Alpha-Wellen mit Aufmerksamkeit oder Hemmung in Verbindung. Somit entfaltet die Eigenschaft eines Gehirnwellensignals bei jedem Frequenzband selektiv eine bestimmte kognitive Funktion. Darüber hinaus kann das Gehirnwellensignal bei jedem Frequenzband einen etwas unterschiedlichen Aspekt in jedem Messteil auf der Oberfläche des Kopfes aufweisen. Die Großhirnrinde kann in den Frontallappen, den Parietallappen, den Temporallappen und den Occipitallappen eingeteilt werden. Diese Teile können einige unterschiedlichen Rollen haben. Beispielsweise hat der Occipitallappen, der dem Hinterkopf entspricht, den primären visuellen Cortex und kann somit in erster Linie visuelle Informationen verarbeiten. Der Parietallappen, der sich nahe der Oberseite des Kopfes befindet, hat den somatosensorischen Cortex und kann somit motorische/sensorische Informationen verarbeiten. Darüber hinaus kann der Frontallappen Informationen in Bezug auf Gedächtnis und Denken verarbeiten und kann der Temporallappen Informationen in Bezug auf Gehörsinn und Geruchssinn verarbeiten.
Indessen kann als ein weiteres Beispiel ein Gehirnwellensignal mittels EKP (ereigniskorreliertes Potential) analysiert werden. EKP ist eine elektrische Änderung in einem Gehirn in Zusammenhang mit einem Reiz von außen oder einem psychologischen Vorgang innen. EKP bezieht sich auf ein Signal, einschließlich einer elektrischen Aktivität des Gehirns, das durch einen Reiz verursacht wird, der spezifische Informationen (beispielsweise Bild, Stimme, Ton, Befehl zur Ausführung etc.) nach einer bestimmten Zeit, seit der Reiz geboten wurde, enthält.
Zum Analysieren eines EKPs ist ein Vorgang zum Trennen eines Signals von einem Rauschen erwünscht. Es kann im Wesentlichen ein Mittelungsverfahren verwendet werden. Insbesondere durch Mitteln von Gehirnwellen, die auf der Grundlage einer Reizbeginnzeit gemessen werden, ist es möglich, Gehirnwellen zu entfernen, die sich nicht auf einen Reiz beziehen, und nur ein damit verbundenes Potential herauszugreifen, das heißt eine Gehirnaktivität, die im Allgemeinen mit Reizverarbeitung in Zusammenhang steht.
Da EKP eine hohe Zeitauflösung hat, steht es in enger Verbindung mit Forschung zu kognitiver Funktion. EKP ist ein elektrisches Phänomen, das durch einen externen Reiz hervorgerufen wird oder mit einem inneren Zustand verbunden ist. Entsprechend den Arten von Reizen können EKP in gehörsinnbezogene Potentiale, sehkraftbezogene Potentiale, tastsinnbezogene Potentiale und geruchssinnbezogene Potentiale klassifiziert werden. Entsprechend den Eigenschaften von Reizen können EKP in exogene EKP und endogene EKP klassifiziert werden. Exogene EKP haben eine Wellenform, die durch einen externen Reiz bestimmt wird, stehen mit automatischer Verarbeitung in Verbindung und treten hauptsächlich in der Anfangsphase, in der ein Reiz gegeben wird, auf. Beispielsweise sind exogene EKP Hirnstammpotentiale. Dahingegen werden endogene EKP durch einen internen kognitiven Vorgang oder einen psychologischen Vorgang oder Zustand bestimmt, unabhängig von Reizen, und beziehen sich auf „kontrolliertes Verarbeiten“. Beispielsweise sind endogene EKP P300, N400, P600, CNV (Contingent Negative Variation) etc.
Bezeichnungen, die EKP-Spitzen gegeben werden, enthalten normalerweise eine Polarität und eine Latenzzeit, und die Spitze jedes Signals hat eine individuelle Definition und Bedeutung. Beispielsweise ist das positive Potential P, ist das negative Potential N und bedeutet P300 eine positive Spitze, die etwa 300 ms nach dem Beginn eines Reizes gemessen wird. Darüber hinaus werden 1, 2, 3 oder a, b, c und Ähnliches entsprechend der Reihenfolge des Auftretens angewendet. Beispielsweise bedeutet P3 ein drittes positives Potential in Wellenform nach dem Beginn eines Reizes.
Im Folgenden werden verschiedene EKP beschrieben.
Beispielsweise bezieht sich N100 auf eine Reaktion auf einen unvorhersehbaren Reiz.
MMN (Mismatch-Negativität) kann nicht nur durch einen konzentrierten Reiz, sondern auch durch einen nichtkonzentrierten Reiz erzeugt werden. MMN kann als ein Indikator dafür verwendet werden, ob ein sensorisches Gedächtnis (echoisches Gedächtnis) vor der anfänglichen Aufmerksamkeit arbeitet oder nicht. P300, die unten beschrieben wird, tritt in einem Vorgang der Aufmerksamkeitszuwendung und Beurteilung auf, während MMN als ein Vorgang analysiert wird, der vor der Aufmerksamkeitszuwendung im Gehirn auftritt.
Als ein weiteres Beispiel wird N200 (oder N2) gemeinsam mit P300, die unten beschrieben wird, hauptsächlich entsprechend visueller und auditiver Reize erzeugt und ist mit dem Kurzzeitgedächtnis oder dem Langzeitgedächtnis verknüpft, die Gedächtnisarten nach Aufmerksamkeit sind.
Als noch ein weiteres Beispiel spiegelt P300 (oder P3) hauptsächlich Aufmerksamkeit auf einen Reiz, Reizwahrnehmung, Gedächtnissuche und Linderung eines unsicheren Gefühls wider und ist mit der wahrnehmbaren Entscheidung, die einen Reiz von außen unterscheidet, verknüpft. Da die Erzeugung von P300 mit einer kognitiven Funktion verknüpft ist, wird P300 unabhängig von den Arten der gebotenen Reize erzeugt. Beispielsweise kann P300 in auditiven Reizen, visuellen Reizen und somatischen Reizen erzeugt werden. P300 wird weitgehend in der Forschung über die Gehirn-Computer-Schnittstelle angewendet.
Als noch ein weiteres Beispiel ist N400 mit Sprachverarbeitung verknüpft und wird verursacht, wenn ein Satz oder ein auditiver Reiz mit einem semantischen Fehler dargeboten wird. Darüber hinaus ist N400 mit einem Gedächtnisvorgang verknüpft und kann einen Vorgang zum Abrufen oder Suchen von Informationen aus dem Langzeitgedächtnis widerspiegeln.
Als noch ein weiteres Beispiel, ist P600 als ein Indikator, der Wiederherstellung oder Erinnerungsvorgang zeigt, mit einem Vorgang zum genaueren Verarbeiten eines Reizes auf der Grundlage von im Langzeitgedächtnis gespeicherten Informationen verknüpft.
Als noch ein weiteres Beispiel bezieht sich CNV auf Potentiale, die 200~300 ms lang und selbst ein paar Sekunden lang in der späteren Phase auftreten. Sie wird auch als langsame Potentiale (SP) bezeichnet und ist mit Erwartung, Vorbereitung, geistigem Priming, Verknüpfung, Aufmerksamkeit und Motorik verknüpft.
Als noch ein weiteres Beispiel ist ERN (Error-Related Negativity, fehlerbezogene Negativität) oder Ne (error negativity, Fehlernegativität) ein ereigniskorreliertes Potential (EKP), das durch einen Irrtum oder einen Fehler erzeugt wird. Es kann auftreten, wenn ein Subjekt in einer sensomotorischen Aufgabe oder einer ähnlichen Aufgabe einen Fehler macht. Insbesondere, wenn ein Subjekt einen Irrtum oder einen Fehler erkennt, wird ERN erzeugt und seine negative Spitze tritt 50~150 ms lang hauptsächlich in den frontalen und zentralen Zonen auf. Insbesondere kann sie in einer Situation auftreten, in der ein mit einer motorischen Reaktion verbundener Irrtum wahrscheinlich auftritt, und kann auch verwendet werden, um eine negative Selbstbeurteilung anzuzeigen.
Im Folgenden werden die Hauptmerkmale von ERN ausführlicher beschrieben.
1 ist eine Ansicht, die eine allgemeine Wellenform von ERN gemäß einer Ausführungsform der vorliegenden Offenbarung veranschaulicht.
Unter Bezugnahme auf 1 sind negative Potentialwerte über der Horizontalachse dargestellt und sind positive Potentialwerte unter der Horizontalachse dargestellt. Darüber hinaus kann bestätigt werden, dass ein EKP mit einem negativen Spitzenwert in einem vorgegebenen Zeitraum nach dem Beginn einer Reaktion für eine willkürliche Bewegung erzeugt wird. Hierin kann die Reaktion einen Fall bedeuten, in dem ein Irrtum oder ein Fehler gemacht wird (Fehlerreaktion). Darüber hinaus kann der vorgegebene Zeitraum bei etwa 50~150 ms liegen. Alternativ dazu kann der vorgegebene Zeitraum bei etwa 0~100 ms liegen. Indessen wird im Fall einer korrekten Reaktion ein EKP erzeugt, das eine vergleichsweise geringere negative Spitze hat als ERN.
Als ein EKP anfänglicher Negativität ist die ERN zeitlich gesperrt, bis ein Reaktionsfehler auftritt. Darüber hinaus ist bekannt, dass ERN die Verstärkungsaktivität eines dopaminergen Systems bezogen auf Verhaltensüberwachung reflektiert. ERN schließt die frontostriatale Schleife ein, die die rostrale cinguläre Zone einschließt. Indessen ist Dopamin mit dem Belohnungssystem des Gehirns verknüpft, das üblicherweise ein bestimmtes Verhalten formt und eine Person motiviert, wodurch es für Lust und verstärkte Gefühle sorgt. Wenn ein Verhalten, das angemessen belohnt wird, wiederholt wird, wird es als eine Gewohnheit gelernt. Darüber hinaus wird mehr Dopamin durch emotionales Lernen freigesetzt und ein neues Verhalten wird aufgrund der Dopaminfreisetzung versucht. Somit wird belohnungsgesteuertes Lernen als Verstärkungslernen bezeichnet.
Darüber hinaus kann ERN in 0~100 ms nach dem Beginn einer fehlerhaften Reaktion erzeugt werden, die während einer Interferenzaufgabe (beispielsweise Go-/No-go-Aufgabe, Stroop-Aufgabe, Flanker-Aufgabe und Simon-Aufgabe) durch die Frontallappenleitung verursacht wird.
Darüber hinaus ist bekannt, dass ERN zusammen mit CRN, die unten beschrieben wird, ein Überwachungssystem für allgemeines Verhalten, das ein richtiges Verhalten und ein falsches Verhalten unterschieden kann, reflektiert.
Darüber hinaus ist die Tatsache, dass ERN eine maximale Amplitude an der Frontallappenelektrode erreicht, bekannt, um widerzuspiegeln, dass sich ein intrazerebraler Generator in der rostralen cingulären Zone oder der Zone des dorsalen anterioren cingulären Cortex (dACC) befindet.
Darüber hinaus kann ERN eine Änderung der Amplitude gemäß einem negativen Gemütszustand zeigen.
Darüber hinaus kann ERN selbst in einer Situation gemeldet werden, in der Verhaltensüberwachung auf der Grundlage der Verarbeitung von externem Bewertungsfeedback im Gegensatz zu internem, motorischem Ausdruck durchgeführt wird, und kann als FRN, wie unten beschrieben wird, klassifiziert werden.
Darüber hinaus kann ERN nicht nur dann erzeugt werden, wenn ein Irrtum oder ein Fehler erkannt wurde, sondern auch bevor der Irrtum oder der Fehler erkannt wird.
Darüber hinaus wird ERN nicht nur als eine Reaktion auf den eigenen Irrtum oder Fehler erzeugt, sondern auch als eine Reaktion auf einen Irrtum oder Fehler von Anderen.
Darüber hinaus kann ERN nicht nur als eine Reaktion auf einen Irrtum oder einen Fehler erzeugt werden, sondern auch als eine Reaktion auf Angst oder Stress für eine vorgegebene Leistungsaufgabe oder ein vorgegebenes Objekt.
Wenn ein größerer Spitzenwert von ERN erhalten wird, kann dies darüber hinaus als Ausdruck eines schwerwiegenderen Irrtums oder Fehlers angesehen werden.
Indessen, als noch ein weiteres Beispiel, das ein ereigniskorreliertes Potential (EKP) ist, das nach ERN erzeugt wird, ist Pe (Error Positivity, Fehlerpositivität) ein EKP mit einem positiven Wert, die hauptsächlich an der Frontallappenelektrode etwa 150~300 ms nach einem Irrtum oder Fehler erzeugt wird. Pe ist als eine Reaktion bekannt, die einen Irrtum oder einen Fehler erkennt und die Aufmerksamkeit erhöht. Anders ausgedrückt ist Pe mit einem Indikator eines Vorgangs zum Verarbeiten von Informationen eines bewussten Fehlers nach der Fehlererkennung verknüpft. ERN und Pe sind als EKP bekannt, die mit Fehlerüberwachung verknüpft sind.
Im Folgenden werden die Hauptmerkmale von Pe ausführlicher beschrieben.
2 ist eine Ansicht, die allgemeine Wellenformen von ERN und Pe gemäß einer anderen Ausführungsform der vorliegenden Offenbarung veranschaulicht.
Unter Bezugnahme auf 2 werden negative Potentialwerte über positiven Potentialwerten dargestellt. Darüber hinaus kann bestätigt werden, dass ein EKP mit einem negativen Spitzenwert, das heißt ein ERN, in einem ersten vorgegebenen Zeitraum nach dem Beginn einer Reaktion für eine willkürliche Bewegung erzeugt wird. Hierin kann die Reaktion einen Fall bedeuten, in dem ein Irrtum oder ein Fehler gemacht wird (Fehlerreaktion). Darüber hinaus kann der erste vorgegebene Zeitraum bei etwa 50~150 ms liegen. Alternativ dazu kann der erste vorgegebene Zeitraum bei etwa 0~200 ms liegen.
Darüber hinaus kann bestätigt werden, dass ein EKP mit einem positiven Spitzenwert, das heißt ein Pe, in einem zweiten vorgegebenen Zeitraum nach dem Beginn der ERN erzeugt wird. Darüber hinaus kann der zweite vorgegebene Zeitraum bei etwa 150~300 ms nach einem Fehlerbeginn liegen. Alternativ dazu kann der zweite vorgegebene Zeitraum etwa 200~400 ms bedeuten.
3 ist eine Ansicht, die eine Ablenkungskennlinie von Pe in einer Ausführungsform der vorliegenden Offenbarung veranschaulicht.
Unter Bezugnahme auf 3 hat Pe wie P3 eine breite Ablenkungskennlinie und der Plexusgenerator schließt nicht nur die Bereiche des hinteren cingulären Cortex und Inselcortex ein, sondern auch weiter anterioren cingulären Cortex.
Darüber hinaus kann Pe eine emotionale Bewertung eines Fehlers und einer Aufmerksamkeit auf einen Reiz wie P300 widerspiegeln. Darüber hinaus gibt ERN einen Konflikt zwischen einer richtigen Reaktion und einer falschen Reaktion an und es ist bekannt, dass Pe eine Reaktion ist, die einen Irrtum erkennt und aufmerksamer ist. Anders ausgedrückt kann ERN in einem Vorgang zum Erkennen eines Reizes erzeugt werden und kann Pe abhängig von der Aufmerksamkeit in einem Vorgang zum Verarbeiten eines Reizes erzeugt werden. Wenn ERN und/oder Pe jeweils vergleichsweise große Werte haben, ist bekannt, dass die Werte mit einem adaptiven Verhalten verknüpft sind, das vorgesehen ist, nach einem Irrtum langsamer und genauer zu reagieren.
4A und 4B sind Ansichten, die Messbereiche von EKP und Pe gemäß einer Ausführungsform der vorliegenden Offenbarung veranschaulichen.
ERN und Pe sind als EKP bekannt, die mit Fehlerüberwachung verknüpft sind. In Bezug auf die Messbereiche von ERN und Pe kann ein größter negativer Wert und ein größter positiver Wert normalerweise im Zentralbereich gemessen werden. Jedoch kann es je nach Messbedingungen einen kleinen Unterschied geben. Beispielsweise ist 4A der Hauptbereich, in dem ERN gemessen wird, und der größte negative Wert von ERN kann normalerweise in der frontalen oder zentralen Mittellinienzone (das heißt FCZ) gemessen werden. Darüber hinaus ist 4B der Hauptbereich, in dem Pe gemessen wird, und ein großer positiver Wert von Pe kann normalerweise im Vergleich zu ERN in einer posterioren Mittellinienzone gemessen werden.
Indessen, als noch ein weiteres Beispiel, ist FRN (Feedback-Related Negativity) ein ereigniskorreliertes Potential (EKP), das mit Fehlererkennung verknüpft ist, die auf einem externen Bewertungsfeedback basiert. ERN und/oder Pe erkennen einen Fehler auf der Grundlage eines internen Überwachungsvorgangs. Jedoch, im Fall von FRN, wenn sie auf der Grundlage eines externen Bewertungsfeedbacks erhalten wird, kann sie ähnlich wie der Vorgang von ERN funktionieren.
Darüber hinaus können FRN und ERN viele elektrophysiologische Eigenschaften gemeinsam haben. Beispielsweise hat FRN einen negativen Spitzenwert an der Frontallappenelektrode etwa 250~300 ms nach dem Beginn eines negativen Feedbacks und kann wie ERN in der Zone des dorsalen anterioren cingulären Cortex (dACC) erzeugt werden.
Darüber hinaus kann FRN wie ERN eine Aktivität des Verstärkungslernens durch ein dopaminerges System widerspiegeln. Darüber hinaus hat FRN normalerweise einen größeren negativen Wert als ein positives Feedback und kann einen größeren Wert für einen unvorhergesehenen Fall haben als für ein vorhersehbares Ergebnis.
Für noch ein weiteres Beispiel ist CRN (Correct-Related Negativity) ein EKP, das durch einen richtigen Versuch erzeugt wurde, und ist ein negativer Wert, der kleiner als ERN ist. Wie ERN kann CRN in der anfänglichen Latenzzeit (beispielsweise 0~100 ms) erzeugt werden. 5 ist eine Ansicht, die allgemeine Wellenformen von ERN und CRN in einer Ausführungsform der vorliegenden Offenbarung veranschaulicht.
Als noch ein anderes Beispiel ist Pc (Correct Positivity) ein ereigniskorreliertes Potential, das nach CRN erzeugt wird. Es ist ein ereigniskorreliertes Potential, das etwa 150~300 ms nach dem Beginn der richtigen Reaktion erzeugt wird. Die Beziehung zwischen CRN und Pc kann ähnlich sein wie die Beziehung zwischen ERN und Pe.
Indessen können EKP in reizstarre EKP und reaktionsstarre EKP eingeteilt werden. Die reizstarren EKP und die reaktionsstarren EKP können nach Kriterien, wie etwa Hervorrufen einer Ursache von EKP und Reaktionszeit, unterteilt werden. Beispielsweise kann ein EKP, das von einem Moment an hervorgerufen wird, wenn einem Benutzer ein Wort oder ein Bild von außen präsentiert wird, als reizstarres EKP bezeichnet werden. Darüber hinaus kann beispielsweise ein EKP, das von einem Moment an hervorgerufen wird, wenn ein Benutzer spricht oder eine Taste gedrückt hat, als ein reaktionsstarres EKP bezeichnet werden. Dementsprechend sind auf der Grundlage des oben beschriebenen Kriteriums im Allgemeinen reizstarre EKP N100, N200, P2, P3 etc. und sind reaktionsstarre EKP ERN, Pe, CRN, Pc, FRN etc.
Indessen können Gehirnwellen nach manifestierenden Motiven eingeteilt werden. Gehirnwellen können in spontane Gehirnwellen (spontane Potentiale), die sich durch den Willen eines Benutzers manifestieren, und evozierte Gehirnwellen (evozierte Potentiale), die sich nach externen Reizen unabhängig von dem Willen des Benutzers, auf natürliche Weise manifestieren, eingeteilt werden. Spontane Gehirnwellen können sich manifestieren, wenn sich ein Benutzer selbst bewegt oder sich eine Bewegung vorstellt, während evozierte Gehirnwellen beispielsweise durch visuelle, auditive, olfaktorische und taktile Reize manifestiert werden.
Indessen können Gehirnwellensignale gemäß dem internationalen 10-20-System gemessen werden. Das internationale 10-20-System bestimmt Messpunkte von Gehirnwellensignalen auf der Grundlage der Beziehung zwischen dem Standort einer Elektrode und den Großhirnrindenbereichen.
6 ist eine Ansicht, die EEG-Messkanäle, die den Großhirnrindenbereichen entsprechen, gemäß einer Ausführungsform der vorliegenden Offenbarung veranschaulicht.
Unter Bezugnahme auf 6 entsprechen Gehirnbereiche (Präfrontallappen FP1, FP2; Frontallappen F3, F4, F7, F8, FZ, FC3, FC4, FT7, FT8, FCZ; Parietallappen C3, C4, CZ, CP3, CP4, CPZ, P3, P4, PZ; Temporallappen T7, T8, TP7, TP8, P7, P8; Occipitallappen O1, O2, OZ) 32 Gehirnwellenmesskanälen. Für jeden der Kanäle können Daten erhalten werden und jeder Großhirnrindenbereich kann unter Verwendung der Daten analysiert werden.
7 ist eine Blockdarstellung, die eine Konfiguration einer Vorrichtung zum Erzeugen eines Bildes auf der Grundlage eines Gehirnwellensignals eines Fahrgastes gemäß einer Ausführungsform der vorliegenden Offenbarung veranschaulicht.
Eine Drive-Through(DT)-Dienstleistung bezieht sich auf eine Dienstleistung, die es Kunden ermöglicht, bestimmte Produkte während des Fahrens in einem Fahrzeug zu bestellen, dafür zu bezahlen und diese abzuholen. Da Parken oder Warten in Warteschlangen nicht notwendig ist, steht die DT-Dienstleistung als effizienter und bequemer Service für Kunden im Rampenlicht. In jüngster Zeit wird die DT-Dienstleistung allmählich beliebt. Beispielsweise können Fahrgäste in Fahrzeugen die DT-Dienstleistungen bequem und einfach nutzen, die von Fast-Food-Geschäften und Cafes im täglichen Leben in Innenstadtbereichen und auf Autobahnen bereitgestellt werden. Die Mobilität bzw. das Fahrzeug kann ein Fahrzeug bzw. Kraftfahrzeug, eine Mobil-/Transportvorrichtung etc. umfassen.
Indessen bestellt ein Fahrgast bei der aktuellen DT-Dienstleistung gewünschte Elemente nach dem Erreichen eines Ortes oder einer Position (im Folgenden als eine DT-Stelle bezeichnet), an dem/der die DT-Leistung bereitgestellt wird. In der vorliegenden Offenbarung können eine/ein Bilderzeugungsvorrichtung und -verfahren bereitgestellt werden, die/das in der Lage ist, ein Element (im Folgenden als ein DT-Element bezeichnet), das von einer DT-Stelle bereitgestellt wird, in einem Fahrzeug auszuwählen und zu bestellen, bevor die DT-Stelle erreicht wird.
Hier kann die DT-Stelle kann ein Ort der Erbringung einer DT-Dienstleistung, die sich innerhalb einer vorgegebenen Reichweite von dem Fahrzeug befindet, sein.
Darüber hinaus kann die DT-Stelle der vorliegenden Offenbarung nicht nur eine Stelle zum Bereitstellen einer DT-Dienstleistung umfassen, sondern auch ein Büro bzw. Geschäftsgebäude, das in der Lage ist, einem Fahrzeug ein DT-Element bereitzustellen und Informationen über ein Element, das von dem Fahrzeug ausgewählt und bestellt wurde, ohne Bereitstellen der DT-Dienstleistung zu empfangen. Beispielsweise kann sich die DT-Stelle der vorliegenden Offenbarung auf ein Büro bzw. Geschäftsgebäude (Englisch: „office“) beziehen, wo ein Kunde in einem Fahrzeug ein von der DT-Stelle bereitgestelltes Element auswählen und bestellen kann, er jedoch das Fahrzeug an einem separaten Ort parken/anhalten muss, um das bestellte Element abzuholen. Das bedeutet, die DT-Stelle der vorliegenden Offenbarung kann ein Drive-In-Büro ohne einen Drive-Through-Weg umfassen.
Die Bilderzeugungsvorrichtung der vorliegenden Offenbarung kann ein mit einer DT-Stelle verknüpftes Bild aus dem Gehirnwellensignal eines Fahrgastes unter Verwendung eines Modells für künstliche Intelligenz erzeugen. Beispielweise kann ein Bild, das mit einer Speisekarte oder einem Produkt, die/das von der DT-Stelle bereitgestellt wird, verknüpft ist, erzeugt werden. Darüber hinaus kann die Bilderzeugungsvorrichtung der vorliegenden Offenbarung ein Bild auswählen, das in einer vorgegebenen Liste auf der Grundlage des erzeugten Bildes enthalten ist. Beispielsweise kann das Bild, das in der Liste von Produkten oder einer vorgegebenen Speisekarte, die von der DT-Stelle bereitgestellt werden/wird, ausgewählt werden. Darüber hinaus kann die Bilderzeugungsvorrichtung der vorliegenden Offenbarung das Fahrzeug steuern bzw. regeln oder vorgegebene Produktinformationen, die von dem Fahrgast ausgewählt wurden, der DT-Stelle bereitstellen, auf der Grundlage des ausgewählten Bildes.
Indessen ermöglicht die Technologie der künstlichen Intelligenz, dass Computer Daten erlernen und wie ein Mensch selbstständig Entscheidungen treffen. Ein künstliches neuronales Netz ist ein mathematisches Modell, das von einem biologischen neuronalen Netz inspiriert ist, und kann sich auf ein ganzes Modell mit einer Problemlösungsfähigkeit beziehen, indem ermöglicht wird, dass künstliche Neuronen, die durch synaptische Verbindungen ein Netz ausbilden, die Stärke der synaptischen Verbindungen durch Lernen verändern. Das künstliche neuronale Netz kann eine Eingabeschicht, eine verborgene Schicht und eine Ausgabeschicht aufweisen. Neuronen, die in jeder Schicht enthalten sind, werden durch Gewichte miteinander verbunden und das künstliche neuronale Netz kann eine Form haben, die in der Lage ist, eine komplexe Funktion durch eine lineare Kombination von Gewichten und Neuronenwerten und eine nichtlineare Aktivierungsfunktion anzunähern. Der Zweck zum Erlernen des künstlichen neuronalen Netzes besteht darin, ein Gewicht zu finden, das eine Differenz zwischen der an der Ausgabeschicht berechneten Ausgabe und einem tatsächlichen Ausgabewert minimiert.
Ein tiefes neuronales Netz ist ein künstliches neuronales Netz, das aus einer Vielzahl von verborgenen Schichten zwischen einer Eingabeschicht und einer Ausgabeschicht gebildet ist, und komplexe nichtlineare Beziehungen durch viele verborgene Schichten bilden kann. Eine neuronale Netzstruktur, die zu erweiterter Abstraktion in der Lage ist, indem die Anzahl von Schichten erhöht wird, wird als tiefes Lernen (Englisch: „deep learning“) bezeichnet. Da beim tiefen Lernen eine große Menge an Daten gelernt wird und eine Antwort mit der höchsten Wahrscheinlichkeit auf der Grundlage des Lernergebnisses ausgewählt wird, wenn neue Daten eingegeben werden, kann der Vorgang gemäß dem Bild adaptiv durchgeführt werden und kennzeichnende Faktoren können automatisch in einem Lernprozess eines Modells auf der Grundlage von Daten gefunden werden.
Das Modell auf der Basis des tiefen Lernens der vorliegenden Offenbarung kann ein Fully Convolutional Neural Network, ein Convolutional Neural Network (CNN), ein rekurrentes neuronales Netz (recurrent neural network - RNN), eine beschränkte Boltzmann-Maschine (restricted Boltzmann machine - RBM) und ein Deep Belief Neural Network (DBN) aufweisen, ist jedoch nicht darauf beschränkt. Alternativ dazu kann ein maschinelles Lernverfahren zusätzlich zum tiefen Lernen enthalten sein, oder es kann ein hybrides Modell enthalten sein, das ein Kombination aus tiefem Lernen und maschinellem Lernen ist. Beispielsweise können die Merkmale des Bildes durch Anwenden des Modells auf der Grundlage des tiefen Lernens extrahiert werden und die Bilder auf der Grundlage der extrahierten Merkmale eingeteilt und erkannt werden, indem das Modell auf Basis des maschinellen Lernens angewendet wird. Das Modell auf Basis des maschinellen Lernens kann Stützvektormaschine (support vector machine - SVM), AdaBoost etc. enthalten, ist jedoch nicht darauf beschränkt. Hier kann das RNN ein langes Kurzzeitgedächtnis (long short-term memory- LSTM) enthalten.
Darüber hinaus kann das Verfahren zum Lernen des Modells auf Basis des tiefen Lernens der vorliegenden Offenbarung überwachtes Lernen und/oder unüberwachtes Lernen und/oder Verstärkungslernen enthalten, ist jedoch nicht darauf beschränkt. Überwachtes Lernen wird unter Verwendung einer Reihe von Lerndaten und einer dieser entsprechenden Kennzeichnung (Zielausgabewert) durchgeführt und ein Modell eines neuronales Netzes auf der Grundlage von überwachtem Lernen kann ein Modell zum Ableiten einer Funktion aus Trainingsdaten sein. Beim überwachten Lernen werden eine Reihe von Lerndaten und ein dieser entsprechenden Zielausgabewert empfangen, Fehler werden durch Lernen gefunden, um einen tatsächlichen Ausgabewert von Eingabedaten mit dem Zielausgabewert zu vergleichen, und das Modell wird auf der Grundlage des entsprechenden Ergebnisses modifiziert. Überwachtes Lernen kann entsprechend der Form des Ergebnisses in Regression, Klassifizierung, Erkennung, semantische Segmentierung eingeteilt werden. Die durch überwachtes Lernen abgeleitete Funktion kann verwendet werden, um einen neuen Ergebniswert erneut vorherzusagen. Das Modell des neuronalen Netzes auf der Basis von überwachtem Lernen optimiert die Parameter des Modells des neuronales Netzes durch Lernen vieler Trainingsdaten.
Unüberwachtes Lernen ist eine Methodik, bei der Lernen im Gegensatz zum überwachten Lernen ohne Kennzeichnen von Daten durchgeführt wird. Das bedeutet, unüberwachtes Lernen bezieht sich auf ein Lernverfahren zum Lehren eines Lernalgorithmus ohne bekannte Ausgabewerte oder Informationen und der Lernalgorithmus sollte Wissen aus Daten nur unter Verwendung von Eingabedaten extrahieren. Beispielsweise kann sich unüberwachte Transformation auf ein Verfahren zum neuen Darstellen von Daten beziehen, so dass eine Person oder ein anderer Maschinenlernalgorithmus die neuen Daten leichter interpretiert als ursprüngliche Daten. Beispielsweise kann Dimensionalitätsreduktion transformiert werden, um lediglich notwendige Merkmale zu enthalten, während die Anzahl an Eigenschaften von vielen hochdimensionalen Daten verringert wird. Als weiteres Beispiel kann sich Clustern auf ein Verfahren zum Einteilen von Daten mit ähnlichen Eigenschaften in Gruppen beziehen, das heißt, es bezieht sich auf ein Gruppieren mit gemeinsamen Merkmalen, die auf Bildern ohne Kennzeichnungen erscheinen.
Als ein weiteres Beispiel gibt es ein Modell eines Generative Adversarial Networks (GAN), das im Gebiet zum Erzeugen oder Wiederherstellen von Bildern oder dem Gebiet zum Nachahmen von Bewegung aktiv geforscht wird. Das GAN-Modell kann sich auf ein künstliches neuronales Netz oder tiefes Lernen beziehen, bei denen zwei Arten von gegensätzlichen Systemen Lernen auf eine miteinander konkurrierende Weise ausführen, und kann einen Algorithmus zum Lernen eines Modells bedeuten, das durch tiefes Lernen unter Verwendung eines Verfahrens zum Adversarial Learning erzeugt wird, um ein generatives Problem zu lösen. Das GAN-Modell kann Informationen durch einen Vorgang erlernen, bei dem ein Generator und ein Diskriminator miteinander konkurrieren. Insbesondere kann der Generator dazu dienen, Nachahmungsdaten ähnlich wie bestehende Daten zu erzeugen, und der Diskriminator kann die Funktion der Diskrimination verlieren, wenn die Nachahmungsdaten des Generators tatsächlichen Daten nahe sind. Darüber hinaus kann der Diskriminator dazu dienen, zu bestimmen, ob Eingabedaten tatsächliche Daten oder Nachahmungsdaten sind, und das Lernen kann beendet werden, wenn der Diskriminator bestimmt, dass die durch den Generator berechneten Nachahmungsdaten mit einer Wahrscheinlichkeit von 50 % wahr sind. Indessen kann ein GAN-Modell der vorliegenden Offenbarung ein Deep Convolutional GAN(DCGAN)-Modell aufweisen, das zu stabilerem Lernen fähig ist.
Unter Bezugnahme auf 7 kann die Bilderzeugungsvorrichtung 700 einen Sensor 710 und/oder eine Steuerung 720 aufweisen. Es ist jedoch darauf hinzuweisen, dass nur einige der Komponenten, die zum Erläutern der vorliegenden Ausführungsform notwendig sind, dargestellt werden und die in der Bilderzeugungsvorrichtung 700 enthaltenen Komponenten nicht auf das oben beschriebene Beispiel beschränkt sind. Beispielsweise können zwei oder mehr Bestandteileinheiten in einer Bestandteileinheit implementiert sein und ein in einer Bestandteileinheit durchgeführter Vorgang kann in zwei oder mehr Bestandteileinheiten eingeteilt und ausgeführt werden. Ferner können einige der Bestandteileinheiten ausgelassen werden oder es können zusätzliche Bestandteileinheiten hinzugefügt werden.
Die Bilderzeugungsvorrichtung 700 der vorliegenden Offenbarung kann Gehirnwellensignale von zumindest einem Fahrgast in einem Fahrzeug von einer Vielzahl von Kanälen für eine vorgegebene Zeit sammeln. Darüber hinaus kann der Sensor 710 den obigen Vorgang durchführen.
Hier können die Gehirnwellensignale, die von der Vielzahl von Kanälen gesammelt werden, die Gehirnwellensignale in einem Zeitbereich und/oder einem Frequenzbereich und/oder einem Raumbereich bedeuten. Hier kann sich der Raumbereich auf einen Gehirnwellensignalmesskanal beziehen.
Die Bilderzeugungsvorrichtung 700 der vorliegenden Offenbarung kann ein mit einer Dienstleistungsstelle verknüpftes erstes Bild aus den Gehirnwellensignalen, die von der Vielzahl von Kanälen gesammelt werden, unter Verwendung eines Modells für künstliche Intelligenz erzeugen. Darüber hinaus kann die Steuerung 720 den obigen Vorgang durchführen.
Hier kann sich die Dienstleistungsstelle auf eine DT-Stelle beziehen.
Beispielsweise kann die Dienstleistungsstelle ein Ort der Erbringung einer DT-Dienstleistung innerhalb einer vorgegebenen Reichweite von dem Fahrzeug sein. Alternativ dazu, wenn sich das Fahrzeug innerhalb der vorgegebenen Reichweite von der Dienstleistungsstelle befindet, kann das Fahrzeug Informationen über das Element empfangen. Die Anzahl oder Arten von Dienstleistungsstellen können je nach der Position des Fahrzeugs variieren. Die Bilderzeugungsvorrichtung 700 der vorliegenden Offenbarung kann ferner einen Empfänger (nicht dargestellt) aufweisen. Der Empfänger kann den obigen Vorgang durchführen.
8 ist eine Ansicht, die eine Reichweite zwischen einem Fahrzeug und einer Dienstleistungsstelle, die gegenseitig Senden und Empfangen durchführen, gemäß einer Ausführungsform der vorliegenden Offenbarung veranschaulicht.
Unter Bezugnahme auf 8 kann eine erste Dienstleistungsstelle 800 Informationen über ein von der ersten Dienstleistungsstelle 800 bereitgestelltes Element an ein Fahrzeug 820 in einer ersten Reichweite 802 von der ersten Dienstleistungsstelle 800 übertragen. Dahingegen verfügt eine zweite Dienstleistungsstelle 810 über kein Fahrzeug in einer zweiten Reichweite 812 von der zweiten Dienstleistungsstelle 810, an das Informationen über ein Element übertragen werden können. Alternativ kann das Fahrzeug 820 die Informationen über das Element von der ersten Dienstleistungsstelle 800 und der zweiten Dienstleistungsstelle 810 in einer dritten Reichweite 822 von dem Fahrzeug 820 empfangen.
Als ein weiteres Beispiel kann sich die Dienstleistungsstelle auf einen von einem Benutzer eingegeben Ort oder einen in dem Fahrzeug vorgegebenen Ort beziehen. Alternativ dazu kann sich die Dienstleistungsstelle auf einen Ort beziehen, der gemäß einer vorgegebenen Bedingung in einer Navigationsvorrichtung des Fahrzeugs automatisch erkannt wird. Die Dienstleistungsstelle kann je nach dem Benutzer in dem Fahrzeug unterschiedlich festgelegt sein. Beispielsweise kann die Dienstleistungsstelle durch die Eingabe einer von einem Benutzer bevorzugten Dienstleistungsstelle festgelegt werden.
Als ein weiteres Beispiel können die Dienstleistungsstellen nach den Eigenschaften des Ortes der Dienstleistungserbringung gruppiert werden. Beispielsweise können Dienstleistungsstellen in ein Fast-Food-Geschäft, ein Cafe, eine Bäckerei, einen kleinen Lebensmittelladen, eine Bank, eine Kartenverkaufsstelle gemäß den Eigenschaften oder Arten der bereitgestellten Elemente oder Dienstleistungen gruppiert werden und zumindest eines/eine/einer aus der gruppierten Liste kann gemäß der Auswahl des Fahrgastes des Fahrzeugs ausgewählt werden. Darüber hinaus kann die gruppierte Liste beispielsweise auf der Anzeige des Fahrzeugs angezeigt werden und zumindest eines/eine/einer aus der gruppierten Liste kann gemäß der Auswahl des Fahrgastes des Fahrzeugs als eine Reaktion auf die Anzeige ausgewählt werden.
Hier kann sich die vorgegebene Reichweite auf eine Entfernung von einigen Kilometern oder einigen zehn Kilometern von dem Fahrzeug und/oder der Dienstleistungsstelle in einer Radialrichtung beziehen. Darüber hinaus kann die vorgegebene Reichweite auf der Grundlage eines Kommunikationsnetzwerks festgelegt sein. Beispielsweise, wenn Senden und Empfangen zwischen dem Fahrzeug und der Dienstleistungsstelle auf der Grundlage eines Kurzstreckenkommunikationsnetzwerks durchgeführt werden, kann die vorgegebene Reichweite eine Reichweite sein, in der Senden und Empfangen durch das Kurzstreckenkommunikationsnetzwerk möglich sind. Zu diesem Zeitpunkt kann ein Beacon im Kurzstreckenkommunikationsnetzwerk verwendet werden.
Hier kann sich das Element auf ein DT-Element beziehen. Beispielsweise kann sich das Element auf Produkte, wie etwa Hamburger, Kaffee und Brot, beziehen. Das heißt, das Element kann sich auf Produkte beziehen, die von dem Fahrgast gekauft werden.
Darüber hinaus kann das Element eine von der Dienstleistungsstelle bereitgestellte Dienstleistung aufweisen.
Darüber hinaus kann das Element den Namen, das Bild, das Logo etc. der Dienstleistungsstelle aufweisen.
Hier können sich die Informationen über das Element auf Informationen über ein DT-Element beziehen.
Beispielsweise können die Informationen über das DT-Element Bild-, Typen-, Preis-, Mengen-, Namensinformationen des Elements aufweisen.
Als ein weiteres Beispiel können die Informationen über das DT-Element vorgegebene Informationen, die von der Dienstleistungsstelle bereitgestellt werden, aufweisen. Beispielsweise können die Informationen über das DT-Element neue Speisekarten, Veranstaltungen, Rabattaktionen etc., die von der Dienstleistungsstelle bereitgestellt werden, aufweisen.
Als ein weiteres Beispiel können die Informationen über das DT-Element auf der Grundlage der Vorlieben des Fahrgastes festgelegt werden. Zu diesem Zweck können die Informationen über das DT-Element ein Ergebnis der Durchführung von Lernen im Voraus gemäß dem Fahrgast sein. Darüber hinaus können die Informationen über das DT-Element in Echtzeit aktualisiert werden.
Indessen kann sich das Modell für künstliche Intelligenz auf ein Modell eines Generative Adversarial Networks (GAN) beziehen. Das GAN-Modell kann ein Deep Convolutional GAN(DCGAN)-Modell aufweisen. Darüber hinaus kann sich das Modell für künstliche Intelligenz auf ein Modell beziehen, das durch Kombinieren eines Modells auf RNN-Basis mit einem GAN-Modell erhalten wird, um das Gehirnwellensignal zu verarbeiten.
Das Modell für künstliche Intelligenz kann bezogen auf das Gehirnwellensignal des Benutzers und das diesem entsprechende Bild der Dienstleistungsstelle unter Verwendung des GAN-Modells im Voraus trainiert werden. Hier kann sich das Bild der Dienstleistungsstelle auf ein Bild, das eine DT-Stelle angibt, oder ein Bild, das das von der DT-Stelle bereitgestellte Element angibt, beziehen.
Hier ist das erste Bild ein Dienstleistungsstellenbild, das eine Dienstleistungsstelle angibt, und/oder ein Elementbild. Das Dienstleistungsstellenbild kann sich auf ein Bild beziehen, das die Dienstleistungsstelle angibt, und das Elementbild kann sich auf ein Bild beziehen, das ein von der Dienstleistungsstelle bereitgestelltes Element angibt. Hier kann sich das Elementbild auf das Bild eines Produkts, einer Speisekarte, von Waren etc., die von der DT-Stelle bereitgestellt werden, beziehen.
Beispielsweise, wenn das erste Bild ein Dienstleistungsstellenbild ist, kann sich das erste Bild auf das Logo- oder das Geschäftsbild eines Fast-Food-Geschäfts, eines Cafes, einer Bäckerei, eines kleinen Lebensmittelladens, einer Bank oder einer Kartenverkaufsstelle beziehen.
Als ein weiteres Beispiel, wenn das erste Bild ein Elementbild ist, kann sich das erste Bild auf das Bild eines Hamburgers oder eines Getränks, die von einem Fast-Food-Geschäft bereitgestellt werden, beziehen.
Als ein weiteres Beispiel, wenn das erste Bild ein Elementbild ist, kann sich das erste Bild auf das Bild von Produkten, die von einer Bäckerei bereitgestellt werden, beziehen.
Indessen können die von der Vielzahl von Kanälen gesammelten Gehirnwellensignale im Vorgang zum Erzeugen des ersten Bildes durch einen vorgegebenen Codierer durchlaufen, wodurch ein EEG-Merkmalsvektor erzeugt wird. Hier kann der vorgegebene Codierer eine LSTM-Schicht und eine nichtlineare Schicht (z. B. eine vollständig verbundene Schicht, einschließlich einer nichtlinearen aktiven ReLU-Funktion) aufweisen.
Unter erneuter Bezugnahme auf 7 kann die Bilderzeugungsvorrichtung 700 der vorliegenden Offenbarung bestimmen, ob das erste Bild einem voreingestellten zweiten Bild ähnlich ist. Darüber hinaus kann die Steuerung 720 den obigen Vorgang durchführen.
Hier kann sich das zweite Bild auf ein Dienstleistungsstellenbild oder ein Elementbild beziehen.
Beispielsweise kann die Bilderzeugungsvorrichtung 700 der vorliegenden Offenbarung eine Ähnlichkeit auf der Grundlage der Bestimmung einer Ähnlichkeit zwischen dem ersten Bild und dem zweiten Bild bestimmen.
Hier sind zum Bestimmen einer Ähnlichkeit verschiedene Ähnlichkeitsbestimmungsverfahren, die im Allgemeinen in einem Bilderkennungs- oder -klassifizierungsfeld verwendet werden, wie etwa ein Verfahren zum Extrahieren von Merkmalspunkten von Eingabebildern zum Bestimmen von Ähnlichkeit, anwendbar.
Darüber hinaus kann nach dem Bestimmen einer Ähnlichkeit ein Ähnlichkeitsgrad zwischen Bildern mit einem vorgegebenen Schwellenwert verglichen werden. Der vorgegebene Schwellenwert kann gemäß dem ersten Bild und/oder dem zweiten Bild variieren. Hier kann der Ähnlichkeitsgrad zwischen den Bildern als eine Wahrscheinlichkeit oder ein vorgegebener Zahlenwert ausgedrückt werden.
Beispielsweise kann der Schwellenwert, wenn das erste Bild ein Dienstleistungsstellenbild ist, verhältnismäßig geringer sein als der Schwellenwert, wenn das erste Bild ein Elementbild ist. Beispielsweise, falls der Schwellenwert 0,6 beträgt, wenn das erste Bild ein Dienstleistungsstellenbild ist, kann der Schwellenwert 0,8 betragen, wenn das erste Bild ein Elementbild ist. Beispielsweise, falls der Schwellenwert 0,6 beträgt, wenn das erste Bild ein Logobild oder ein Cafe ist, kann der Schwellenwert 0,8 betragen, wenn das erste Bild ein Hamburger ist. Das heißt, der Ähnlichkeitsgrad zwischen Elementbildern (z. B. Hamburger- und Getränkebilder) kann im Allgemeinen größer sein als der Ähnlichkeitsgrad zwischen den Dienstleistungsstellenbildern (z. B. Bilder eines Fast-Food-Geschäfts und eines Cafes). Durch Differenzieren der Schwellenwerte kann der Ähnlichkeitsgrad zwischen Bildern, wenn das erste Bild ein Elementbild ist, strenger bestimmt werden, als wenn das erste Bild ein Dienstleistungsstellenbild ist.
Als ein weiteres Beispiel kann der Schwellenwert, wenn das erste Bild ein Bild eines „Hamburgers“ aus Elementbildern ist, verhältnismäßig geringer als der Schwellenwert sein, wenn das erste Bild ein Bild eines „Getränks“ ist. Beispielsweise, falls der Schwellenwert 0,5 beträgt, wenn das erste Bild ein Bild eines „Hamburgers“ ist, kann der Schwellenwert 0,7 betragen, wenn das erste Bild ein Bild eines „Getränks“ ist. Das heißt, selbst in dem Fall von Elementbildern der gleichen Art kann der Ähnlichkeitsgrad eines bestimmten Elementbildes mehr oder weniger streng bestimmt werden als ein anderes Elementbild.
Das heißt, die Bilderzeugungsvorrichtung 700 der vorliegenden Offenbarung kann eine Dienstleistungsstelle, die als von dem Fahrgast beabsichtigt bestimmt wurde, durch Bestimmen der Ähnlichkeit auswählen. Alternativ dazu kann die Bilderzeugungsvorrichtung 700 der vorliegenden Offenbarung ein Element, das als von dem Fahrgast beabsichtigt bestimmt wurde, durch Bestimmen der Ähnlichkeit auswählen.
Hier kann das zweite Bild durch Benutzereingabe eingestellt werden oder kann in dem Fahrzeug voreingestellt werden. Darüber hinaus kann das zweite Bild für jedes des Dienstleistungsstellenbildes und des Elementbildes voreingestellt sein. Beispielsweise kann das zweite Bild als ein Paar aus (Dienstleistungsstellenbild, Elementbild) konfiguriert sein. Beispielsweise kann das zweite Bild als (Fast-Food-Geschäft, vorgegebener Hamburger), (Cafe, vorgegebener Kaffee) etc. konfiguriert sein.
Darüber hinaus kann das zweite Bild auf der Grundlage des erzeugten ersten Bildes bestimmt werden. Beispielsweise, wenn das erste Bild ein Dienstleistungsstellenbild ist, kann das zweite Bild als ein voreingestelltes Dienstleistungsstellenbild bestimmt werden. Alternativ dazu, wenn das erste Bild ein Elementbild ist, kann das zweite Bild als ein voreingestelltes Elementbild bestimmt werden. Das heißt, das zweite Bild kann als ein Bild bestimmt werden, das mit dem Typ des ersten Bildes übereinstimmt, um eine Ähnlichkeit zwischen Bildern zu bestimmen.
Alternativ dazu kann das zweite Bild unabhängig von dem erzeugten ersten Bild ein voreingestelltes Bild sein. Das heißt, das zweite Bild kann unabhängig von der Eigenschaft, dem Typ etc. des ersten Bildes voreingestellt sein. Beispielsweise kann das zweite Bild unabhängig davon, ob das erste Bild ein Dienstleistungsstellenbild oder ein Elementbild ist, ein Bild eines vorgegebenen „Hamburgers“ sein. Alternativ dazu kann das zweite Bild unabhängig davon, ob das erste Bild ein Dienstleistungsstellenbild oder ein Elementbild ist, ein Bild eines vorgegebenen „Cafes“ sein.
Das heißt, die Bilderzeugungsvorrichtung 700 der vorliegenden Offenbarung kann eine Dienstleistungsstelle, die der Fahrgast häufig besucht, oder ein Element, das der Fahrgast in dem Fahrzeug bevorzugt, im Voraus in der Form eines Bildes speichern und bestimmen, ob ein auf der Grundlage des Gehirnwellensignals des Fahrgastes erzeugtes Bild dem gespeicherten Bild ähnelt.
Darüber hinaus kann die Bilderzeugungsvorrichtung 700 der vorliegenden Offenbarung das Fahrzeug steuern oder der Dienstleistungsstelle vorgegebene Informationen auf der Grundlage des Ergebnisses des Bestimmens einer Ähnlichkeit bereitstellen. Darüber hinaus kann die Steuerung 720 den obigen Vorgang durchführen.
Das heißt, wie oben beschrieben kann die Bilderzeugungsvorrichtung 700 der vorliegenden Offenbarung bestimmen, was Informationen sind, die vom Fahrgast beabsichtigt oder gedacht werden, indem die Bestimmung der Ähnlichkeit verwendet wird. Darüber hinaus kann das Fahrzeug gesteuert werden oder können vorgegebene Informationen an die Dienstleistungsstelle übertragen werden, um den Zweck gemäß der Bestimmung zu erfüllen.
Beispielsweise kann nach dem Bestimmen, dass das erste Bild dem zweiten Bild ähnelt, die Fahrstrecke zur Dienstleistungsstelle entsprechend dem ausgewählten zweiten Bild geändert werden oder kann die Fahrstrecke dem Fahrgast bereitgestellt werden, um zu veranlassen, dass der Fahrgast die Strecke auswählt. Alternativ dazu kann dem Fahrgast eine Mitteilung der geänderten Fahrstrecke bereitgestellt werden.
Als ein weiteres Beispiel kann das Bestellsignal des Elements entsprechend dem zweiten Bild nach dem Bestimmen, dass das erste Bild dem zweiten Bild ähnelt, an die Dienstleistungsstelle übertragen werden. Beispielsweise, wenn das erste Bild ein Bild eines „Kaffees“ ist und bestimmt wird, dass es dem voreingestellten zweiten Bild ähnelt, kann das Bestellsignal des Kaffees an das Cafe entsprechend dem Kaffee übertragen werden. Alternativ dazu kann die Fahrstrecke zum Cafe entsprechend dem Kaffee geändert werden oder die Fahrstrecke kann dem Fahrgast bereitgestellt werden, um zu veranlassen, dass der Fahrgast die Strecke auswählt. Alternativ dazu kann dem Fahrgast eine Mitteilung der geänderten Fahrstrecke bereitgestellt werden.
9 ist ein Flussdiagramm, das ein Verfahren zum Betreiben einer Bilderzeugungsvorrichtung gemäß einer Ausführungsform der vorliegenden Offenbarung veranschaulicht.
In Schritt S901 können die Gehirnwellensignale von zumindest einem Fahrgast in dem Fahrzeug bzw. der Mobilität von einer Vielzahl von Kanälen für eine vorgegebene Zeit gesammelt werden.
Hier können die Gehirnwellensignale, die von der Vielzahl von Kanälen gesammelt werden, die Gehirnwellensignale in einem Zeitbereich und/oder einem Frequenzbereich und/oder einem Raumbereich bedeuten.
In Schritt S902 kann das erste Bild der Dienstleistungsstelle aus den Gehirnwellensignalen, die von der Vielzahl von Kanälen gesammelt werden, unter Verwendung des Modells für künstliche Intelligenz erzeugt werden.
Hier kann sich das Modell für künstliche Intelligenz auf ein Modell eines Generative Adversarial Networks (GAN) beziehen. Das GAN-Modell kann ein Deep Convolutional GAN(DCGAN)-Modell aufweisen. Darüber hinaus kann sich das Modell für künstliche Intelligenz auf ein Modell beziehen, das durch Kombinieren eines Modells auf RNN-Basis mit einem GAN-Modell erhalten wird, um das Gehirnwellensignal zu verarbeiten.
Hier ist das erste Bild ein Dienstleistungsstellenbild, das eine Dienstleistungsstelle angibt, und/oder ein Elementbild. Das Dienstleistungsstellenbild kann sich auf ein Bild beziehen, das die Dienstleistungsstelle angibt, und das Elementbild kann sich auf ein Bild beziehen, das ein von der Dienstleistungsstelle bereitgestelltes Element angibt.
Indessen kann das Modell für künstliche Intelligenz bezogen auf das Gehirnwellensignal des Benutzers und das diesem entsprechende Bild der Dienstleistungsstelle unter Verwendung des GAN-Modells im Voraus trainiert werden. Hier kann sich das Bild der Dienstleistungsstelle auf ein Bild, das eine DT-Stelle angibt, oder ein Bild, das das von der DT-Stelle bereitgestellte Element angibt, beziehen.
Indessen können die von der Vielzahl von Kanälen gesammelten Gehirnwellensignale im Vorgang zum Erzeugen des ersten Bildes durch einen vorgegebenen Codierer durchlaufen, wodurch ein EEG-Merkmalsvektor erzeugt wird. Hier kann der vorgegebene Codierer eine LSTM-Schicht und eine nichtlineare Schicht (z. B. eine vollständig verbundene Schicht, einschließlich einer nichtlinearen aktiven ReLU-Funktion) aufweisen.
In Schritt S903 kann bestimmt werden, ob das erzeugte erste Bild dem voreingestellten zweiten Bild ähnelt.
Hier kann sich das zweite Bild auf ein Dienstleistungsstellenbild oder ein Elementbild beziehen.
Beispielsweise kann die Bilderzeugungsvorrichtung 700 der vorliegenden Offenbarung eine Ähnlichkeit auf der Grundlage der Bestimmung einer Ähnlichkeit zwischen dem ersten Bild und dem zweiten Bild bestimmen.
Hier sind zum Bestimmen einer Ähnlichkeit verschiedene Ähnlichkeitsbestimmungsverfahren, die im Allgemeinen in einem Bilderkennungs- oder -klassifizierungsfeld verwendet werden, wie etwa ein Verfahren zum Extrahieren von Merkmalspunkten von Eingabebildern zum Bestimmen von Ähnlichkeit, anwendbar.
Darüber hinaus kann nach dem Bestimmen einer Ähnlichkeit ein Ähnlichkeitsgrad zwischen Bildern mit einem vorgegebenen Schwellenwert verglichen werden. Der vorgegebene Schwellenwert kann gemäß dem ersten Bild und/oder dem zweiten Bild variieren. Hier kann der Ähnlichkeitsgrad zwischen den Bildern als eine Wahrscheinlichkeit oder ein vorgegebener Zahlenwert ausgedrückt werden.
In Schritt S904 kann das Fahrzeug gesteuert werden oder können der Dienstleistungsstelle vorgegebene Informationen auf der Grundlage des Bestimmungsergebnisses bereitgestellt werden.
Das heißt, unter Verwendung der Bestimmung einer Ähnlichkeit kann bestimmt werden, was Informationen sind, die von dem Fahrgast beabsichtigt oder gedacht werden. Darüber hinaus kann das Fahrzeug gesteuert werden oder können vorgegebene Informationen an die Dienstleistungsstelle übertragen werden, um den Zweck gemäß der Bestimmung zu erfüllen.
10 ist ein Flussdiagramm, das ein Verfahren zum Betreiben einer Bilderzeugungsvorrichtung gemäß einer Ausführungsform der vorliegenden Offenbarung veranschaulicht.
Indessen kann die Bilderzeugungsvorrichtung der vorliegenden Offenbarung das Modell für künstliche Intelligenz durch einen Vorgang zum Erzeugen eines ersten Bildes einer Dienstleistungsstelle aus dem Gehirnwellensignal des Fahrgastes und Bestimmen einer Ähnlichkeit zwischen dem erzeugten ersten Bild und dem voreingestellten zweiten Bild aktualisieren. Das heißt, das Gehirnwellensignal des Fahrgastes und/oder das erste Bild können als Lerndaten des Modells für künstliche Intelligenz hinzugefügt werden.
Beispielsweise kann die Bilderzeugungsvorrichtung der vorliegenden Offenbarung ferner einen Vorgang zum Bestimmen, ob das Ergebnis der Bestimmung einer Ähnlichkeit mit der Absicht des Fahrgastes übereinstimmt, durchführen. Darüber hinaus ist es möglich, eine Wahrscheinlichkeit, dass das erste Bild im Modell für künstliche Intelligenz erzeugt wird, abhängig davon, ob das zweite Bild mit der Absicht des Fahrgastes übereinstimmt, zu erhöhen oder zu verringern.
Schritte S1001 bis S1003 können jeweils den Schritten S901 bis S903 aus 9 entsprechen und somit werden ausführliche Vorgänge davon oben unter Bezugnahme auf 9 beschrieben.
In Schritt S1004 kann der Vorgang zum Bestimmen, ob das Ergebnis der Bestimmung einer Ähnlichkeit mit der Absicht des Fahrgastes übereinstimmt, durchgeführt werden. Beispielsweise kann das voreingestellte zweite Bild oder der Name, der dem zweiten Bild entspricht, auf einer vorgegebenen Anzeige in dem Fahrzeug angezeigt werden und als Reaktion auf die Anzeige kann eine Benutzereingabe zum Auswählen von „ja“ oder „nein“ empfangen werden. Alternativ dazu kann ermöglicht werden, dass der Benutzer bestimmt, ob die Fahrstrecke zur Dienstleistungsstelle entsprechend dem voreingestellten zweiten Bild geändert wird, und kann eine Benutzereingabe zum Auswählen von „ja“ oder „nein“ als eine Reaktion darauf empfangen werden. Alternativ dazu kann ermöglicht werden, dass der Benutzer bestimmt, ob ein Bestellsignal eines Elements entsprechend dem voreingestellten zweiten Bild übertragen wird, und kann eine Benutzereingabe zum Auswählen von „ja“ oder „nein“ als eine Reaktion darauf empfangen werden.
In Schritt S1005 kann das Modell für künstliche Intelligenz abhängig davon, ob das Ergebnis der Bestimmung mit der Absicht des Fahrgastes übereinstimmt, aktualisiert werden.
Beispielsweise, wenn das Ergebnis der Bestimmung mit der Absicht des Fahrgastes übereinstimmt, steigt eine Wahrscheinlichkeit, dass das erste Bild erzeugt wird, um einen vorgegebenen Zahlenwert im Modell für künstliche Intelligenz, und, wenn das Ergebnis der Bestimmung nicht mit der Absicht des Fahrgastes übereinstimmt, verringert sich eine Wahrscheinlichkeit, dass das erste Bild erzeugt wird, um einen vorgegebenen Zahlenwert im Modell für künstliche Intelligenz.
Gemäß der vorliegenden Offenbarung ist es möglich, eine Vorrichtung und ein Verfahren zum Erzeugen eines Bildes auf der Grundlage eines Gehirnwellensignals eines Fahrgastes bereitzustellen.
Gemäß der vorliegenden Offenbarung ist es möglich, eine Vorrichtung und ein Verfahren zum Erzeugen eines Bildes von einem Gehirnwellensignal eines Fahrgastes unter Verwendung eines Modells für künstliche Intelligenz und zum Steuern eines Fahrzeugs auf der Grundlage des erzeugten Bildes bereitzustellen.
In der vorliegenden Offenbarung erzielte Wirkungen sind nicht auf die oben genannte Wirkung beschränkt und andere Wirkungen, die vorstehend nicht genannt werden, werden vom Fachmann durch die folgende Beschreibung deutlich verstanden.
Obwohl beispielhafte Verfahren der vorliegenden Offenbarung der Klarheit einer Beschreibung halber als eine Reihe von Arbeitsschritten beschrieben werden, ist die vorliegende Offenbarung nicht auf den Ablauf oder die Reihenfolge der oben beschriebenen Arbeitsschritte beschränkt. Die Arbeitsschritte können gleichzeitig durchgeführt werden oder können nacheinander, aber in einer unterschiedlichen Reihenfolge durchgeführt werden. Um das Verfahren der vorliegenden Offenbarung umzusetzen, können zusätzliche Arbeitsschritte hinzugefügt werden und/oder können bestehende Arbeitsschritte eliminiert oder ersetzt werden.
Verschiedene Ausführungsformen der vorliegenden Offenbarung werden nicht dargelegt, um alle verfügbaren Kombinationen zu beschreiben, sondern werden dargelegt, um lediglich repräsentative Kombinationen zu beschreiben. Schritte oder Elemente in verschiedenen Ausführungsformen können separat oder in Kombination verwendet werden.
Darüber hinaus können verschiedene Ausführungsformen der vorliegenden Offenbarung in der Form von Hardware, Firmware, Software oder einer Kombination dieser ausgeführt sein. Wenn die vorliegende Offenbarung in einer Hardwarekomponente ausgeführt ist, kann diese beispielsweise eine anwendungsspezifische integrierte Schaltung (application specific integrated circuit-ASIC), ein digitaler Signalprozessor (digital signal processor- DSP), eine digitale Signalverarbeitungsvorrichtung (digital signal processing device - DSPD), eine programmierbare logische Schaltung (programmable logic device - PLD), eine feldprogrammierbare Gatteranordnung (field programmable gate array - FPGA), ein allgemeiner Prozessor, eine Steuerung, ein Mikrocontroller, ein Mikroprozessor etc. sein.
Der Schutzumfang der vorliegenden Offenbarung umfasst Software oder maschinenausführbare Anweisungen (beispielsweise Betriebssysteme (operating systems - OS), Anwendungen, Firmware, Programme), die ermöglichen, dass Verfahren verschiedener Formen in einer Vorrichtung oder auf einem Computer ausgeführt werden, und ein nichtflüchtiges computerlesbares Medium, das derartige Software oder maschinenausführbare Anweisungen speichert, sodass die Software oder Anweisungen in einer Vorrichtung oder auf einem Computer ausgeführt werden können.
Die Beschreibung der Offenbarung ist lediglich beispielhaft und somit sollen Variationen, die nicht vom Inhalt der Offenbarung abweichen, in den Schutzumfang der Offenbarung fallen. Derartige Variationen gelten nicht als Abweichung von dem Geist und dem Schutzumfang der Offenbarung.

Claims

Vorrichtung zum Erzeugen eines Bildes unter Verwendung von Gehirnwellensignalen, wobei die Vorrichtung aufweist: einen Sensor, der konfiguriert ist, Gehirnwellensignale von zumindest einem Fahrgast in einem Fahrzeug von einer Vielzahl von Kanälen für eine vorgegebene Zeit zu sammeln; und eine Steuerung, die konfiguriert ist, ein erstes Bild einer Dienstleistungsstelle aus den Gehirnwellensignalen, die von der Vielzahl von Kanälen gesammelt werden, unter Verwendung eines Modells für künstliche Intelligenz zu erzeugen, zu bestimmen, ob das erzeugte erste Bild einem voreingestellten zweiten Bild ähnelt, und das Fahrzeug auf der Grundlage eines Ergebnisses der Bestimmung zu steuern.
Vorrichtung nach Anspruch 1, wobei die Gehirnwellensignale, die von der Vielzahl von Kanälen gesammelt werden, Gehirnwellensignale in einem Zeitbereich und/oder einem Frequenzbereich und/oder einem Raumbereich sind.
Vorrichtung nach Anspruch 1 oder 2, wobei das Modell für künstliche Intelligenz ein Modell eines Generative AdversarialNetwork (GAN) ist.
Vorrichtung nach einem der vorhergehenden Ansprüche, wobei das erste Bild ein Dienstleistungsstellenbild, das eine Dienstleistungsstelle angibt, und/oder ein Elementbild ist; wobei das Dienstleistungsstellenbild ein Bild ist, das eine Dienstleistungsstelle angibt, und das Elementbild ein Bild ist, das ein von der Dienstleistungsstelle bereitgestelltes Element angibt; und wobei die Dienstleistungsstelle ein Ort der Erbringung einer Drive-Through(DT)-Dienstleistung innerhalb einer vorgegebenen Reichweite von dem Fahrzeug ist.
Vorrichtung nach einem der vorhergehenden Ansprüche, wobei es sich bei dem Element um ein von der Dienstleistungsstelle bereitgestelltes Produkt und/oder eine von der Dienstleistungsstelle bereitgestellte Dienstleistung und/oder Informationen über die Dienstleistungsstelle handelt.
Vorrichtung nach einem der vorhergehenden Ansprüche, wobei, wenn das erste Bild ein Dienstleistungsstellenbild ist, die Steuerung das zweite Bild als ein voreingestelltes Dienstleistungsstellenbild bestimmt und bestimmt, ob das erste Bild dem zweiten Bild ähnelt.
Vorrichtung nach Anspruch 6, wobei nach dem Bestimmen, dass das erste Bild dem zweiten Bild ähnelt, die Steuerung ein Ändern einer Fahrstrecke des Fahrzeugs zur Dienstleistungsstelle und/oder ein Bereitstellen einer Mitteilung einer zu ändernden Fahrstrecke an den Fahrgast und/oder ein Veranlassen, dass der Fahrgast eine Strecke auswählt, indem die zu ändernde Fahrstrecke dem Fahrgast bereitgestellt wird, durchführt.
Vorrichtung nach Anspruch 4, wobei, wenn das erste Bild ein Elementbild ist, die Steuerung das zweite Bild als ein voreingestelltes Elementbild bestimmt, und bestimmt, ob das erste Bild dem zweiten Bild ähnelt.
Vorrichtung nach Anspruch 8, wobei nach dem Bestimmen, dass das erste Bild dem zweiten Bild ähnelt, die Steuerung ein Ändern einer Fahrstrecke des Fahrzeugs zu einer Dienstleistungsstelle, um das Element bereitzustellen und/oder ein Bereitstellen einer Mitteilung einer zu ändernden Fahrstrecke an den Fahrgast und/oder ein Veranlassen, dass der Fahrgast eine Strecke auswählt, indem die zu ändernde Fahrstrecke dem Fahrgast bereitgestellt wird, und/oder ein Übertragen eines Bestellsignals des Elements durchführt.
Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Steuerung ferner konfiguriert ist, zu bestimmen, ob das Ergebnis der Bestimmung einer Absicht des Fahrgastes entspricht.
Verfahren zum Erzeugen eines Bildes unter Verwendung von Gehirnwellensignalen, wobei das Verfahren umfasst: Sammeln von Gehirnwellensignalen durch einen Sensor von zumindest einem Fahrgast in einem Fahrzeug von einer Vielzahl von Kanälen für eine vorgegebene Zeit; Erzeugen eines ersten Bildes einer Dienstleistungsstelle durch eine Steuerung aus den Gehirnwellensignalen, die von der Vielzahl von Kanälen gesammelt werden, unter Verwendung eines Modells für künstliche Intelligenz; Bestimmen, ob das erzeugte erste Bild einem voreingestellten zweiten Bild ähnelt; und Steuern des Fahrzeugs auf der Grundlage eines Ergebnisses der Bestimmung.
Verfahren nach Anspruch 11, wobei die Gehirnwellensignale, die von der Vielzahl von Kanälen gesammelt werden, Gehirnwellensignale in einem Zeitbereich und/oder einem Frequenzbereich und/oder einem Raumbereich sind.
Verfahren nach Anspruche 11 oder 12, wobei das Modell für künstliche Intelligenz ein Modell eines Generative Adversarial Network (GAN) ist.
Verfahren nach einem der Ansprüche 11 bis 13, wobei das erste Bild ein Dienstleistungsstellenbild, das eine Dienstleistungsstelle angibt, und/oder ein Elementbild ist; wobei das Dienstleistungsstellenbild ein Bild ist, das eine Dienstleistungsstelle angibt, und das Elementbild ein Bild ist, das ein von der Dienstleistungsstelle bereitgestelltes Element angibt; und wobei die Dienstleistungsstelle ein Ort der Erbringung einer Drive-Through(DT)-Dienstleistung innerhalb einer vorgegebenen Reichweite von dem Fahrzeug ist.
Verfahren nach Anspruch 14, wobei es sich bei dem Element um ein von der Dienstleistungsstelle bereitgestelltes Produkt und/oder eine von der Dienstleistungsstelle bereitgestellte Dienstleistung und/oder Informationen über die Dienstleistungsstelle handelt.
Verfahren nach Anspruch 14, wobei, wenn das erste Bild ein Dienstleistungsstellenbild ist, das Bestimmen, ob das erste Bild dem zweiten Bild ähnelt, das Bestimmen des zweiten Bildes als ein voreingestelltes Dienstleistungsstellenbild und das Bestimmen, ob das erste Bild dem zweiten Bild ähnelt, umfasst.
Verfahren nach Anspruch 16, wobei nach dem Bestimmen, dass das erste Bild dem zweiten Bild ähnelt, das Steuern des Fahrzeugs das Durchführen des Änderns einer Fahrstrecke des Fahrzeugs zur Dienstleistungsstelle und/oder des Bereitstellens einer Mitteilung einer zu ändernden Fahrstrecke an den Fahrgast und/oder des Veranlassens, dass der Fahrgast eine Strecke auswählt, indem die zu ändernde Fahrstrecke dem Fahrgast bereitgestellt wird, umfasst.
Verfahren nach Anspruch 14, wobei, wenn das erste Bild ein Elementbild ist, das Bestimmen, ob das erste Bild dem zweiten Bild ähnelt, das Bestimmen des zweiten Bildes als ein voreingestelltes Elementbild, und das Bestimmen, ob das erste Bild dem zweiten Bild ähnelt, umfasst.
Verfahren nach Anspruch 18, wobei nach dem Bestimmen, dass das erste Bild dem zweiten Bild ähnelt, das Steuern des Fahrzeugs das Durchführen des Änderns einer Fahrstrecke des Fahrzeugs zu einer Dienstleistungsstelle, um das Element bereitzustellen, und/oder des Bereitstellens einer Mitteilung einer zu ändernden Fahrstrecke an den Fahrgast, und/oder des Veranlassens, dass der Fahrgast eine Strecke auswählt, indem die zu ändernde Fahrstrecke dem Fahrgast bereitgestellt wird, und/oder des Übertragens eines Bestellsignals des Elements umfasst.
Verfahren nach einem der Ansprüche 11 bis 19, welches ferner das Bestimmen umfasst, ob das Ergebnis der Bestimmung einer Absicht des Fahrgastes entspricht.