DE102020213503A1

DE102020213503A1 - Vorrichtung und verfahren zur bilderzeugung mittels hirnstromwellen

Info

Publication number: DE102020213503A1
Application number: DE102020213503.7A
Authority: DE
Inventors: Jeong Su Kang; Suh Yeon Dong
Original assignee: Hyundai Motor Co; Kia Motors Corp; Industry Academic Cooperation Foundation of SWU
Current assignee: Hyundai Motor Co; Kia Corp; Industry Academic Cooperation Foundation of SWU
Priority date: 2019-10-29
Filing date: 2020-10-27
Publication date: 2021-04-29
Also published as: CN112744220A; US20210124420A1; KR20210051055A; US11449142B2

Abstract

Vorrichtung zum Erzeugen eines Bildes unter Verwendung von Hirnwellensignalen, mit einem Sensor, der eingerichtet ist, Hirnwellensignale mindestens eines Fahrgasts in einer Mobilitätseinrichtung aus einer Vielzahl von Kanälen für eine vorbestimmte Zeit zu sammeln, und einer Steuerung, die eingerichtet ist, ein erstes Bild aus den von der Vielzahl von Kanälen gesammelten Hirnwellensignalen unter Verwendung eines Modells der künstlichen Intelligenz zu erzeugen, mindestens ein zweites Bild auszuwählen, das in einer anhand des erzeugten ersten Bildes vorbestimmten Liste enthalten ist, und dass sie die Mobilitätseinrichtung als Reaktion auf das ausgewählte zweite Bild steuert.

Description

TECHNISCHES GEBIET
Die vorliegende Offenlegung bezieht sich auf ein Verfahren und eine Vorrichtung zur Mobilitätseinrichtungssteuerung.
HINTERGRUND
Die Aussagen in diesem Abschnitt liefern lediglich Hintergrundinformationen im Zusammenhang mit der vorliegenden Erfindung und stellen möglicherweise keinen Stand der Technik dar.
Als eines der Transportmittel ist das Fahrzeug (oder die Mobilitätseinrichtung) ein sehr wichtiges Mittel und Werkzeug für ein Leben in der modernen Welt. Darüber hinaus kann eine Mobilitätseinrichtung selbst als etwas Besonderes angesehen werden, das jemandem einen Sinn gibt.
Mit dem technologischen Fortschritt entwickeln sich auch die Funktionen, die eine Mobilitätseinrichtung bietet, allmählich weiter. In den letzten Jahren haben die Mobilitätseinrichtungen beispielsweise nicht nur die Beförderung eines Fahrgastes zu einem Zielort ermöglicht, sondern auch die Bedürfnisse der Fahrgäste nach einer schnelleren und sichereren Reise zu einem Zielort erfüllt. Darüber hinaus werden einem Mobilitätseinrichtungssystem neue Geräte hinzugefügt, um den ästhetischen Geschmack und den Komfort eines Fahrgastes zu befriedigen. Darüber hinaus werden auch die bestehenden Geräte wie Lenkräder, Getriebe und Beschleunigungs-/Verzögerungsvorrichtungen entwickelt, damit den Benutzern mehr Funktionen zur Verfügung gestellt werden können.
Eine Schnittstelle zwischen Gehirn und Computer oder eine Schnittstelle zwischen Gehirn und Maschine ist ein Bereich, in dem ein Computer oder eine Maschine nach den Absichten einer Person mit Hilfe von Hirnwellensignalen gesteuert wird. ERP (Ereignisbezogenes Potential) ist eng mit kognitiven Funktionen verbunden.
Darüber hinaus gibt es in letzter Zeit einen zunehmenden Trend in der Forschung, in einem Bild enthaltene Objekte mit Hilfe eines Modells der künstlichen Intelligenz zu erkennen und zu klassifizieren und neue Bilder zu erzeugen.
ÜBERBLICK
Die vorliegende Erfindung bezieht sich auf ein Verfahren und eine Vorrichtung zur Mobilitätseinrichtungssteuerung. Besondere Ausführungsformen beziehen sich auf ein Mobilitätseinrichtungssteuerungsverfahren und eine -vorrichtung, die auf Fehlerüberwachung basieren.
Eine erfindungsgemäße Ausführungsform stellt eine Vorrichtung und ein Verfahren zum Erzeugen eines Bildes anhand eines Hirnwellensignals eines Fahrgasts zur Verfügung.
Eine weitere erfindungsgemäße Ausführungsform bietet Vorrichtung und Verfahren zum Erzeugen eines Bildes aus einem Hirnwellensignal eines Fahrgasts unter Verwendung eines Modells der künstlichen Intelligenz und zum Steuern einer Mobilitätseinrichtung anhand des erzeugten Bildes.
Die erfindungsgemäßen Ausführungsformen sind nicht auf die vorgenannten Ausführungsformen beschränkt, und andere, nicht erwähnte Ausführungsformen werden von den Fachleuten durch die folgenden Beschreibungen klar erkannt.
Bei erfindungsgemäßen Ausführungsformen umfasst eine Vorrichtung zum Erzeugen eines Bildes unter Verwendung von Hirnwellensignalen einen Sensor, der eingerichtet ist, Hirnwellensignale von mindestens einem Fahrgast in einer Mobilitätseinrichtung aus einer Vielzahl von Kanälen für eine vorbestimmte Zeit zu sammeln, und eine Steuerung, die eingerichtet ist, ein erstes Bild aus den Hirnwellensignalen zu erzeugen, die aus der Vielzahl von Kanälen unter Verwendung eines Modells der künstlichen Intelligenz gesammelt wurden, mindestens ein zweites Bild auszuwählen, das in einer anhand des erzeugten ersten Bildes vorbestimmten Liste enthalten ist, und die Mobilitätseinrichtung als Reaktion auf das ausgewählte zweite Bild zu steuern.
Bei den aus der Vielzahl an Kanälen gesammelten Hirnwellensignalen kann es sich um Hirnwellensignale in mindestens einer Zeitdomäne, einer Frequenzdomäne oder einer räumlichen Domäne handeln.
Das Modell der künstlichen Intelligenz kann ein generatives kontradiktorisches Netzwerkmodell (GAN) sein.
Das erste Bild kann wenigstens ein einen Servicepunkt anzeigendes Servicepunkt-Bild oder ein Artikelbild sein, das Bild des Servicepunkts kann ein Bild sein, das auf einen Servicepunkt hinweist, und das Bild des Artikels kann ein Bild sein, das auf einen vom Servicepunkt bereitgestellten Artikel hinweist.
Die vorgegebene Liste kann mindestens ein Servicepunkt-Bild oder mindestens ein Artikelbild umfassen.
Der Servicepunkt kann ein Drive-Through (DT)-Dienstleistungsort innerhalb eines vorgegebenen Bereichs der Mobilitätseinrichtung sein.
Wenn Übertragung und Empfang zwischen der Mobilitätseinrichtung und dem Servicepunkt anhand eines Kommunikationsnetzes mit kurzer Reichweite erfolgen, kann der vorgegebene Bereich ein Bereich sein, in dem Übertragung und Empfang über das Kommunikationsnetz mit kurzer Reichweite möglich sind.
Bei dem Artikel kann es sich mindestens um ein vom Servicepunkt bereitgestelltes Produkt, eine vom Servicepunkt erbrachte Dienstleistung oder um Informationen über den Servicepunkt handeln.
Die Steuerung kann das zweite Bild anhand der Bestimmung der Ähnlichkeit zwischen dem ersten Bild und einem in der vorgegebenen Liste enthaltenen Bild auswählen.
Handelt es sich bei dem zweiten Bild um ein Servicepunkt-Bild, so kann die Steuerung mindestens einen der folgenden Vorgänge ausführen: Vornehmen einer Änderung einer Fahrtroute der Mobilitätseinrichtung zum Servicepunkt, Benachrichtigen des Fahrgastes über eine zu ändernde Fahrtroute oder Veranlassen des Fahrgastes, eine Route auszuwählen, indem er dem Fahrgast die zu ändernde Fahrtroute zur Verfügung stellt.
Wenn es sich bei dem zweiten Bild um ein Artikelbild handelt, kann die Steuerung mindestens einen der folgenden Vorgänge ausführen: Vornehmen einer Änderung einer Fahrtroute der Mobilitätseinrichtung zu einem Servicepunkt zur Bereitstellung des Artikels, Benachrichtigen des Fahrgastes über eine zu ändernde Fahrtroute, Veranlassen des Fahrgastes, eine Route auszuwählen, indem sie dem Fahrgast die zu ändernde Fahrtroute zur Verfügung stellt, oder Übermitteln eines Bestellsignals des Artikels.
Die Steuerung kann ferner eingerichtet sein, zu bestimmen, ob das ausgewählte zweite Bild einer Absicht des Fahrgasts entspricht.
Nach erfindungsgemäßen Ausführungsformen umfasst ein Verfahren zum Erzeugen eines Bildes unter Verwendung von Hirnwellensignalen das Sammeln von Hirnwellensignalen mindestens eines Fahrgasts in einer Mobilitätseinrichtung aus einer Vielzahl von Kanälen für eine vorbestimmte Zeit, das Erzeugen eines ersten Bildes aus den aus der Vielzahl von Kanälen gesammelten Hirnwellensignalen unter Verwendung eines Modells der künstlichen Intelligenz, das Auswählen mindestens eines zweiten Bildes, das in einer auf dem erzeugten ersten Bild basierenden vorbestimmten Liste enthalten ist, und das Steuern der Mobilitätseinrichtung als Antwort auf das ausgewählte zweite Bild.
Bei den aus der Vielzahl der Kanäle gesammelten Hirnwellensignalen kann es sich um Hirnwellensignale in mindestens einer Zeitdomäne, einer Frequenzdomäne oder einer räumlichen Domäne handeln.
Das Modell der künstlichen Intelligenz kann ein generatives kontradiktorisches Netzwerkmodell (GAN) sein.
Das erste Bild kann wenigstens ein einen Servicepunkt anzeigendes Servicepunkt-Bild oder ein Artikelbild sein, das Bild des Servicepunkts kann ein Bild sein, das auf einen Servicepunkt hinweist, und das Bild des Artikels kann ein Bild sein, das auf einen vom Servicepunkt bereitgestellten Artikel hinweist.
Die vorgegebene Liste kann mindestens ein Servicepunkt-Bild oder mindestens ein Artikelbild enthalten.
Der Servicepunkt kann ein Drive-Through (DT)-Dienstleistungsort innerhalb eines vorgegebenen Bereichs der Mobilitätseinrichtung sein.
Wenn Übertragung und Empfang zwischen der Mobilitätseinrichtung und dem Servicepunkt anhand eines Kommunikationsnetzes mit kurzer Reichweite erfolgen, kann der vorgegebene Bereich ein Bereich sein, in dem Übertragung und Empfang über das Kommunikationsnetz mit kurzer Reichweite möglich sind.
Bei dem Artikel kann es sich mindestens um ein vom Servicepunkt bereitgestelltes Produkt, eine vom Servicepunkt erbrachte Dienstleistung oder um Informationen über den Servicepunkt handeln.
Die Auswahl des mindestens einen zweiten Bildes kann die Auswahl des zweiten Bildes anhand des Bestimmens der Ähnlichkeit zwischen dem ersten Bild und einem in der vorgegebenen Liste enthaltenen Bild umfassen.
Handelt es sich bei dem zweiten Bild um ein Servicepunkt-Bild, so kann die Steuerung der Mobilitätseinrichtung die Durchführung mindestens einen der folgenden Vorgänge umfassen: Ändern einer Fahrtroute der Mobilitätseinrichtung zum Servicepunkt, Bereitstellen einer Mitteilung über eine zu ändernde Fahrtroute für den Fahrgast oder Veranlassen des Fahrgastes, eine Route auszuwählen, indem dem Fahrgast die zu ändernde Fahrtroute zur Verfügung gestellt wird.
Wenn es sich bei dem zweiten Bild um ein Artikelbild handelt, kann die Steuerung der Mobilitätseinrichtung die Durchführung mindestens eines der folgenden Vorgänge umfassen: Ändern einer Fahrtroute der Mobilitätseinrichtung zu einem Servicepunkt zur Bereitstellung des Artikels, Bereitstellen einer Mitteilung über eine zu ändernde Fahrtroute für den Fahrgast, Veranlassen des Fahrgasts, eine Route auszuwählen, indem dem Fahrgast die zu ändernde Fahrtroute bereitgestellt wird, oder Übertragen eines Bestellsignals für den Artikel.
Das Verfahren kann ferner das Bestimmen einschließen, ob das ausgewählte zweite Bild einer Absicht des Fahrgasts entspricht.
Die vorstehend kurz zusammengefassten Merkmale in Bezug auf erfindungsgemäße Ausführungsformen sind lediglich beispielhafte Aspekte der untenstehenden detaillierten Beschreibung von erfindungsgemäßen Ausführungsformen und schränken den erfindungsgemäßen Schutzumfang nicht ein.
Figurenliste
Damit die Erfindung gut verständlich ist, werden nun verschiedene Ausführungsformen von dieser beschrieben, wobei beispielhaft auf die beigefügten Zeichnungsfiguren verwiesen wird, in denen:

1 eine Ansicht ist, die eine allgemeine Wellenform von ERN in einer erfindungsgemäßen Ausführungsform zeigt;
2 ist eine Ansicht, die allgemeine Wellenformen von ERN und Pe nach einer erfindungsgemäßen Ausführungsform zeigt;
3 ist eine Ansicht, die ein Ablenkungsmerkmal von Pe nach einer anderen erfindungsgemäßen Ausführungsform zeigt;
4A und 4B sind Ansichten, die jeweils Messbereiche von ERP und Pe nach einer erfindungsgemäßen Ausführungsform darstellen;
5 ist eine Ansicht, die allgemeine Wellenformen von ERN und CRN nach einer erfindungsgemäßen Ausführungsform zeigt;
6 ist eine Ansicht, die EEG-Messkanäle zeigt, die den Bereichen der Großhirnrinde in einer erfindungsgemäßen Ausführungsform entsprechen;
7 ist ein Blockdiagramm, das eine Konfiguration einer Vorrichtung zum Erzeugen eines Bildes anhand eines Hirnwellensignals eines Fahrgasts nach einer erfindungsgemäßen Ausführungsform zeigt;
8 ist eine Ansicht, die einen Bereich zwischen einer Mobilitätseinrichtung und einem Servicepunkt zeigt, die nach einer erfindungsgemäßen Ausführungsform Übertragung und Empfang gemeinsam durchführen;
9 ist ein Flussdiagramm, das ein Verfahren zum Betrieb eines Bilderzeugungsgeräts nach einer erfindungsgemäßen Ausführungsform zeigt; und
10 ist ein Flussdiagramm, das ein Verfahren zum Betrieb eines Bilderzeugungsgeräts nach einer erfindungsgemäßen Ausführungsform zeigt.

DETAILLIERTE BESCHREIBUNG DER BEISPIELHAFTEN AUSFÜHRUNGSFORMEN
Die folgende Beschreibung hat lediglich beispielhaften Charakter und soll die vorliegende Erfindung, deren Anwendung oder Verwendung nicht einschränken. Es versteht sich, dass in den Zeichnungen durchgehend einander entsprechende Bezugsziffern auf ähnliche oder sich entsprechende Teile und Merkmale hinweisen.
Die folgende Beschreibung hat lediglich beispielhaften Charakter und soll die vorliegende Erfindung, deren Anwendung oder Verwendung nicht einschränken. Es versteht sich, dass in den Zeichnungen durchgehend einander entsprechende Bezugsziffern auf ähnliche oder sich entsprechende Teile und Merkmale hinweisen.
Beispielhafte erfindungsgemäße Ausführungsformen werden ausführlich beschrieben, so dass der normale Fachmann Vorrichtung und Verfahren, die durch erfindungsgemäße Ausführungsformen in Verbindung mit den beigefügten Zeichnungsfiguren bereitgestellt werden, leicht verstehen und umsetzen kann. Die vorliegende Erfindung kann jedoch in verschiedenen Ausführungsformen verkörpert sein, und der erfindungsgemäße Schutzumfang sollte nicht dahingehend ausgelegt werden, dass er sich auf die beispielhaften Ausführungsformen beschränkte.
Bei der Beschreibung von erfindungsgemäßen Ausführungsformen wird auf die Beschreibung bekannter Funktionen oder Konstruktionen im Detail verzichtet, soweit sie di Erfindungsidee verschleiern könnten.
Bei erfindungsgemäßen Ausführungsformen wird davon ausgegangen, dass, wenn ein Element als „verbunden mit“, „gekoppelt mit“ oder „kombiniert mit“ einem anderen Element bezeichnet wird, es direkt mit dem anderen Element verbunden oder gekoppelt oder mit diesem kombiniert werden kann oder dazwischenliegende Elemente vorhanden sein können. Es versteht sich überdies, dass die Begriffe „umfasst“, „einschließt“, „hat“ usw., soweit sie bei erfindungsgemäßen Ausführungsformen Verwendung finden, das Vorhandensein von angegebenen Merkmalen, ganzen Zahlen, Schritten, Operationen, Elementen, Komponenten und/oder Kombinationen von diesen angeben, nicht jedoch das Vorhandensein oder die Hinzufügung eines oder mehrerer anderer Merkmale, ganzer Zahlen, Schritte, Operationen, Elemente, Komponenten und/oder Kombinationen von diesen ausschließen sollen.
Es wird davon ausgegangen, dass die Begriffe „erste“, „zweite“ usw. hier zwar zur Beschreibung verschiedener Elemente verwendet werden können, diese Elemente jedoch durch diese Begriffe nicht eingeschränkt werden sollten. Diese Begriffe werden lediglich verwendet, um ein Element von einem anderen Element zu unterscheiden, und werden nicht verwendet, um eine Reihenfolge oder Rangfolge zwischen den Elementen anzugeben. Zum Beispiel könnte ein erstes Element, das unten diskutiert wird, als zweites Element bezeichnet werden, ohne von den erfindungsgemäßen Lehren abzuweichen. In ähnlicher Weise könnte das zweite Element auch als das erste Element bezeichnet werden.
In erfindungsgemäßen Ausführungsformen werden unterschiedene Elemente so bezeichnet, dass Merkmale verschiedener Elemente klar beschrieben werden und nicht bedeuten, dass die Elemente physisch voneinander getrennt sind. Das heißt, eine Vielzahl von unterschiedenen Elementen kann zu einer einzigen Hardware-Einheit oder einer einzigen Software-Einheit kombiniert werden, und umgekehrt kann ein Element durch eine Vielzahl von Hardware-Einheiten oder Software-Einheiten implementiert werden. Dementsprechend kann eine integrierte Form verschiedener Elemente oder getrennte Formen eines Elements in den erfindungsgemäßen Schutzbereich fallen, auch wenn dies nicht ausdrücklich angegeben ist. Auch die Begriffe wie „Einheit“ oder „Modul“ usw. sollten als eine Einheit verstanden werden, die mindestens eine Funktion oder Operation verarbeitet und die in einer Hardwareform (z.B. einem Prozessor), einer Softwareform oder einer Kombination der Hardwareform und der Softwareform verkörpert sein kann.
In erfindungsgemäßen Ausführungsformen sollten alle in verschiedenen Formen beschriebenen Bestandteile nicht als wesentliche Elemente ausgelegt werden, vielmehr können einige der Bestandteile auch optionale Elemente sein. Dementsprechend können auch Ausführungsformen, die durch entsprechende Untermengen von Bestandteilen in einer bestimmten Form eingerichtet sind, in den erfindungsgemäßen Schutzbereich fallen. Darüber hinaus können Ausführungsformen, die durch Hinzufügen eines oder mehrerer Elemente zu verschiedenen Elementen eingerichtet sind, gleichermaßen in erfindungsgemäßen Schutzbereich fallen.
Als elektrische Aktivität von Neuronen, die ein Gehirn bilden, bedeutet ein Hirnwellensignal (oder Gehirnsignal, Hirnstrom) ein Biosignal, das direkt und indirekt einen bewussten oder unbewussten Zustand einer Person widerspiegelt. Ein Hirnwellensignal kann in jedem Bereich der menschlichen Kopfhaut gemessen werden, und seine Wellenform hat eine Frequenz von im Wesentlichen 30 Hz oder darunter und eine Potentialdifferenz von mehreren Mikrovolt. Je nach Hirnaktivität und Zustand können verschiedene Wellenformen auftreten. Die Forschung zur Steuerung der Grenzflächen unter Verwendung eines Hirnwellensignals entsprechend der Absicht einer Person ist im Gange. Ein Hirnwellensignal kann durch die Verwendung von EEG (Elektro-Enzephalographie) unter Verwendung elektrischer Signale, die durch Hirnaktivitäten verursacht werden, MEG (Magneto-Enzephalographie) unter Verwendung magnetischer Signale, die mit elektrischen Signalen auftreten, und fMRI (funktionelle Magnetresonanztomographie) oder fNIRS (funktionelle Nah-Infrarot-Spektroskopie) unter Verwendung einer Änderung der Sauerstoffsättigung im Blut erhalten werden. Obwohl fMRI und fNIRS nützliche Techniken zur Messung von Hirnaktivitäten sind, hat fMRI eine niedrige Zeitauflösung und fNIRS im Allgemeinen eine niedrige räumliche Auflösung. Aufgrund dieser Einschränkungen werden EEG-Signale meist aufgrund ihrer hervorragenden Übertragbarkeit und Zeitauflösung verwendet.
Ein Hirnwellensignal verändert sich räumlich und zeitlich entsprechend der Hirnaktivität. Da ein Hirnwellensignal in der Regel schwer zu analysieren ist und seine Wellenform nicht einfach visuell zu analysieren ist, werden verschiedene Verarbeitungsmethoden vorgeschlagen.
Zum Beispiel können Hirnwellensignale nach der Anzahl der Schwingungen (Frequenz) anhand von Frequenzbändern klassifiziert werden (Klassifizierung des Leistungsspektrums). Die Klassifizierung betrachtet ein gemessenes Hirnwellensignal als eine lineare Summe von einfachen Signalen bei jeder spezifischen Frequenz, zerlegt das Signal in jede Frequenzkomponente und zeigt eine entsprechende Amplitude an. Ein Hirnwellensignal bei jeder Frequenz kann durch eine Vorverarbeitung erhalten werden, die normalerweise zur Rauschunterdrückung verwendet wird, nämlich die Fourier-Transformation in die Frequenzdomäne zusammen mit einem Bandpassfilter (BPF)
Je nach Frequenzband lassen sich die Gehirnwellen insbesondere in Delta-, Theta-, Alpha-, Beta- und Gammawellen einteilen. Deltawellen sind Hirnwellen mit einer Frequenz von 3,5 Hz oder darunter und einer Amplitude von 20~200 µV, die hauptsächlich im normalen Tiefschlaf oder bei Neugeborenen auftreten. Darüber hinaus können Deltawellen zunehmen, wenn unser Bewusstsein für die physische Welt abnimmt. Im Allgemeinen sind Thetawellen Gehirnwellen mit einer Frequenz von 3,5 ~ 7 Hz, die hauptsächlich in emotional stabilen Zuständen oder im Schlaf auftreten.
Darüber hinaus werden Thetawellen vor allem im parietalen Kortex und im okzipitalen Kortex erzeugt und können bei ruhiger Konzentration zum Erinnern einer Erinnerung oder beim Meditieren auftreten. Im Allgemeinen sind Alphawellen Gehirnwellen mit einer Frequenz von 8 ~ 12 Hz, die hauptsächlich in entspannten und komfortablen Zuständen auftreten. Darüber hinaus werden Alphawellen im okzipitalen Kortex normalerweise in Ruhe erzeugt und können im Schlaf nachlassen. Im Allgemeinen sind Betawellen Hirnwellen mit einer Frequenz von 13 ~ 30 Hz, die hauptsächlich in einem Spannungszustand auftreten, der erträglich genug ist, oder wenn ein gewisses Maß an Aufmerksamkeit aufgebracht wird. Darüber hinaus werden Betawellen hauptsächlich im frontalen Kortex erzeugt und stehen in Zusammenhang mit einem Wachzustand oder konzentrierten Hirnaktivitäten, pathologischen Phänomenen und medizinischen Wirkungen. Beta-Wellen können in einem weiten Bereich des gesamten Gehirns auftreten. Darüber hinaus können die Beta-Wellen spezifisch in SMR-Wellen mit einer Frequenz von 13 ~ 15 Hz, mittlere Beta-Wellen mit einer Frequenz von 15 ~ 18 Hz und hochfrequente Beta-Wellen mit einer Frequenz von 20 Hz und darüber unterteilt werden. Da Beta-Wellen unter Stress wie Angst und Anspannung stärker zu sein scheinen, werden sie als Stresswellen bezeichnet. Gammawellen sind Gehirnwellen, die im Allgemeinen eine Frequenz von 30 ~ 50 Hz haben und hauptsächlich in einem stark erregten Zustand oder während der kognitiven Informationsverarbeitung auf hohem Niveau auftreten. Darüber hinaus können Gammawellen im Wachzustand und während des REM-Schlafs auftreten und auch mit Betawellen überlagert sein.
Jedes der Hirnwellensignale ist je nach Frequenzband mit einer bestimmten kognitiven Funktion assoziiert. Zum Beispiel sind Deltawellen mit Schlaf, Thetawellen mit dem Arbeitsgedächtnis und Alphawellen mit Aufmerksamkeit oder Hemmung assoziiert. Somit zeigt die Eigenschaft eines Hirnwellensignals in jedem Frequenzband selektiv eine spezifische kognitive Funktion an. Darüber hinaus kann das Hirnwellensignal in jedem Frequenzband in jedem Messbereich auf der Kopfoberfläche einen etwas anderen Aspekt aufweisen. Der zerebrale Kortex (die Großhirnrinde) kann in frontalen Kortex, parietalen Kortex, temporalen Kortex und okzipitalen Kortex unterteilt werden. Diese Teile können einige unterschiedliche Rollen haben. Zum Beispiel weist der okzipitale Kortex, der dem Hinterkopf entspricht, den primären visuellen Kortex auf und kann daher primär visuelle Informationen verarbeiten. Der parietale Kortex, der sich in der Nähe des Oberkopfes befindet, hat den somatosensorischen Kortex und kann daher motorisch-sensorische Informationen verarbeiten. Darüber hinaus kann der frontale Kortex Informationen in Bezug auf Gedächtnis und Denken verarbeiten, und der temporale Kortex kann Informationen in Bezug auf den Hörsinn und den Geruchssinn verarbeiten.
Unterdessen kann zum Beispiel ein Hirnwellensignal mit Hilfe von ERP (ereignisbezogenes Potential) analysiert werden. ERP ist eine elektrische Veränderung in einem Gehirn in Verbindung mit einem Stimulus von außen oder einem psychologischen Prozess im Inneren. ERP ist ein Signal, das eine elektrische Aktivität des Gehirns umfasst, die durch einen Reiz mit spezifischen Informationen (z.B. Bild, Stimme, Ton, Ausführungsbefehl usw.) nach einer bestimmten Zeit seit dem Auftreten des Reizes verursacht wird.
Um ein ERP zu analysieren, ist ein Prozess der Trennung eines Signals vom Rauschen erwünscht. Hauptsächlich kann dafür eine Mittelwertbildungsmethode verwendet werden. Insbesondere durch Mittelwertbildung von Hirnwellen, die anhand der Reizeintrittszeit gemessen werden, ist es möglich, Hirnwellen zu entfernen, die nicht mit einem Stimulus in Zusammenhang stehen, und nur ein zugeordnetes Potential herauszugreifen, d.h. eine Hirnaktivität, die üblicherweise mit der Reizverarbeitung in Verbindung gebracht wird.
Da ERP eine hohe Zeitauflösung hat, ist es eng mit der Forschung über kognitive Funktionen verbunden. ERP ist ein elektrisches Phänomen, das durch einen externen Reiz (Stimulus) hervorgerufen wird oder mit einem internen Zustand zusammenhängt. Nach der Art der Reize können ERPs in auditive, sehkraftbezogene, somatische und olfaktorische Potentiale eingeteilt werden. Je nach Eigenschaften der Stimuli können ERPs in exogene ERPs und endogene ERPs klassifiziert werden. Exogene ERPs haben eine Wellenform, die durch einen externen Stimulus bestimmt wird, sind mit der automatischen Verarbeitung verbunden und treten hauptsächlich in der Anfangsphase auf, in der sie den Stimulus erhalten. Beispielsweise sind exogene ERPs Hirnstammpotentiale. Auf der anderen Seite werden endogene ERPs durch einen internen kognitiven Prozess oder einen psychologischen Prozess oder Zustand bestimmt, unabhängig von Reizen, und hängen mit der „kontrollierten Verarbeitung“ zusammen. Zum Beispiel sind P300, N400, P600, CNV (Kontingent-negative Variation), etc. endogene ERPs.
Die Namen, die den ERP-Spitzenwerten gegeben werden, umfassen normalerweise eine Polarität und eine latente Periode, und der Spitzenwert jedes Signals hat eine individuelle Definition und Bedeutung. Zum Beispiel ist das positive Potential P, das negative Potential N, und P300 bedeutet eine positive Spitze, die etwa 300 ms nach dem Beginn eines Stimulus (Reizes) gemessen wird. Zusätzlich werden je nach Reihenfolge des Auftretens 1,2,3 oder a, b, c und dergleichen angewandt. Zum Beispiel bedeutet P3 ein drittes positives Potential in Wellenform nach dem Einsetzen eines Reizes.
Im Folgenden werden verschiedene ERPs beschrieben.
Zum Beispiel ist N100 mit einer Reaktion auf einen unvorhersehbaren Stimulus verbunden.
MMN (Mismatch-Negativität) kann nicht nur durch einen fokussierten Reiz, sondern auch durch einen nicht-fokussierten Reiz erzeugt werden. MMN kann als Indikator dafür verwendet werden, ob ein Sinnesgedächtnis (Echogedächtnis) vor der anfänglichen Aufmerksamkeit funktioniert oder nicht. P300, das im Folgenden beschrieben wird, tritt in einem Prozess der Aufmerksamkeit und Urteilsbildung auf, während MMN als ein Prozess analysiert wird, der im Gehirn vor Einsetzen der Aufmerksamkeit stattfindet.
Ein anderes Beispiel: N200 (oder N2) wird hauptsächlich nach visuellen und auditiven Stimuli erzeugt und steht im Zusammenhang mit dem Kurzzeitgedächtnis oder dem Langzeitgedächtnis, die zusammen mit dem unten beschriebenen P300 Typen von Erinnerungen nach Einsetzen der Aufmerksamkeit sind.
Noch ein weiteres Beispiel: P300 (oder P3) gibt hauptsächlich die Aufmerksamkeit auf einen Reiz, die Reizkognition, die Gedächtnissuche und die Linderung unsicherer Gefühle wieder und steht in Zusammenhang mit einer Wahrnehmungsentscheidung, die Reize von außen unterscheidet. Da die Erzeugung von P300 mit einer kognitiven Funktion verbunden ist, wird P300 unabhängig von der Art der dargebotenen Stimuli erzeugt. P300 kann z.B. in auditorischen Stimuli, visuellen Stimuli und somatischen Stimuli erzeugt werden. P300 wird in der Forschung an der Hirn-Computer-Schnittstelle umfassend eingesetzt.
Ein weiteres Beispiel: N400 steht im Zusammenhang mit der Sprachverarbeitung und wird verursacht, wenn ein Satz oder ein Hörreiz mit einem semantischen Fehler präsentiert wird. Darüber hinaus hängt N400 mit einem Gedächtnisprozess zusammen und kann einen Prozess des Abrufens oder Suchens von Informationen aus dem Langzeitgedächtnis widerspiegeln.
Ein weiteres Beispiel: Als ein Indikator, der die Rekonstruktion oder den Erinnerungsprozess anzeigt, steht P600 im Zusammenhang mit einem Prozess, bei dem ein Stimulus anhand von im Langzeitgedächtnis gespeicherten Informationen genauer verarbeitet wird.
Als weiteres Beispiel bezieht sich CNV auf Potentiale, die für 200 ~ 300 ms und sogar für einige Sekunden in der späteren Phase auftreten. Sie wird auch als langsame Potentiale (SPs) bezeichnet und bezieht sich auf Erwartung, Vorbereitung, mentale Vorbereitung, Assoziation, Aufmerksamkeit und motorische Aktivität.
Ein weiteres Beispiel: ERN (fehlerbezogene Negativität) oder Ne (Fehler-Negativität) ist ein ereignisbezogenes Potential (ERP), das durch einen Fehler oder eine Störung erzeugt wird. Es kann auftreten, wenn ein Subjekt einen Fehler bei einer sensomotorischen Aufgabe oder einer ähnlichen Aufgabe macht. Genauer gesagt, wenn ein Proband einen Fehler oder Irrtum erkennt, wird eine ERN erzeugt, deren negative Spitze für etwa 50 ~ 150 ms hauptsächlich in der frontalen und zentralen Zone auftritt. Insbesondere kann sie in einer Situation auftreten, in der ein Fehler im Zusammenhang mit der motorischen Reaktion wahrscheinlich ist, und kann auch verwendet werden, um eine negative Selbstbeurteilung anzuzeigen.
Im Folgenden werden die Hauptmerkmale des ERN näher beschrieben.
1 ist eine Ansicht, die eine allgemeine Wellenform von ERN nach einer erfindungsgemäßen Ausführungsform zeigt.
Bezugnehmend auf 1 sind negative Potentialwerte oberhalb der horizontalen Achse und positive Potentialwerte unterhalb der horizontalen Achse dargestellt. Darüber hinaus kann bestätigt werden, dass ein ERP mit einem negativen Spitzenwert innerhalb eines vorgegebenen Zeitbereichs nach einem Reaktionsbeginn für eine willkürliche Bewegung erzeugt wird. Dabei kann die Antwort einen Fall bedeuten, in dem ein Fehler oder ein Irrtum gemacht wird (Error Response). Darüber hinaus kann der vorgegebene Zeitbereich etwa 50 ~ 150 ms betragen. Alternativ kann der vorgegebene Zeitbereich auch etwa 0 ~ 100 ms betragen. Unterdessen wird im Falle einer korrekten Antwort ein ERP erzeugt, das eine relativ kleinere negative Spitze als ERN aufweist.
Als ERP mit anfänglicher Negativität ist ERN zeitgebunden, bis ein Antwortfehler auftritt. Darüber hinaus ist bekannt, dass ERN die Verstärkungsaktivität eines dopaminergen Systems im Zusammenhang mit der Verhaltensüberwachung widerspiegelt. Die ERN umfasst die fronto-stratale Schleife einschließlich der rostralen zingulären Zone. Gleichzeitig ist Dopamin mit dem Belohnungssystem des Gehirns assoziiert, das normalerweise ein spezifisches Verhalten ausbildet und eine Person motiviert und dadurch Freude und verstärkte Gefühle vermittelt. Wird ein eine angemessene Belohnung erhaltendes Verhalten wiederholt, so wird es als Gewohnheit gelernt. Darüber hinaus wird durch emotionales Lernen mehr Dopamin freigesetzt, und durch die Freisetzung von Dopamin wird ein neues Verhalten versucht. Daher wird belohnungsgetriebenes Lernen als Verstärkungslernen bezeichnet.
Darüber hinaus kann ERN in 0 ~ 100 ms nach dem Beginn einer fehlerhaften Reaktion, die während einer Interferenzaufgabe (z. B. Go-noGo-Aufgabe, Stroop-Aufgabe, Flanker-Aufgabe und Simon-Aufgabe) durch die Frontalkortexleitung verursacht wird, generiert werden.
Darüber hinaus ist bekannt, dass das ERN zusammen mit dem unten beschriebenen CRN ein allgemeines Verhaltensüberwachungssystem widerspiegelt, das in der Lage ist, richtiges und falsches Verhalten zu unterscheiden.
Die Tatsache, dass die ERN an der frontalen Kortexelektrode eine maximale Amplitude erreicht, spiegelt bekanntlich wider, dass sich ein intrazerebraler Generator in der rostralen zingulären Zone oder der dorsalen anterioren zingulären Kortexzone (dACC) befindet.
Darüber hinaus kann die ERN eine Veränderung der Amplitude in Abhängigkeit von einem negativen emotionalen Zustand zeigen.
Darüber hinaus kann ERN sogar in einer Situation berichtet werden, in der die Verhaltensbeobachtung im Gegensatz zur internen motorischen Expression anhand der Feedback-Verarbeitung der externen Bewertung ausgeführt wird, und kann, wie unten beschrieben, als FRN klassifiziert werden.
Darüber hinaus kann ERN nicht nur dann erzeugt werden, wenn ein Fehler oder Irrtum erkannt wurde, sondern auch bevor der Fehler oder Irrtum erkannt wurde.
Darüber hinaus kann ERN nicht nur als Antwort auf einen eigenen Fehler oder Irrtum, sondern auch als Antwort auf einen Fehler oder Irrtum Dritter generiert werden.
Darüber hinaus kann ERN nicht nur als Reaktion auf einen Fehler oder Irrtum generiert werden, sondern auch als Reaktion auf Angst oder Stress für eine vorgegebene Leistungsaufgabe oder ein Objekt.
Wird ein größerer Spitzenwert von ERN erreicht wird, so kann dies zudem als Ausdruck eines schwerwiegenderen Fehlers oder Irrtums angesehen werden.
Ein weiteres Beispiel ist ein ereigniskorreliertes Potential (ERP), das nach ERN erzeugt wird. Pe (Error Positivity, Fehlerpositivität) ist ein ERP mit einem positiven Wert, das hauptsächlich an der frontalen Kortex-Elektrode in ca. 150 ~ 300 ms nach einem Fehler oder einem Irrtum erzeugt wird. Pe ist bekannt als eine Reaktion, die einen Fehler oder Irrtum erkennt und mehr Aufmerksamkeit auf sich zieht. Mit anderen Worten, Pe ist mit einem Indikator für einen bewussten Prozess der Fehlerinformationsverarbeitung nach der Fehlererkennung verbunden. ERN und Pe sind als ERPs im Zusammenhang mit der Fehlerüberwachung bekannt.
Im Folgenden werden die Hauptmerkmale von Pe ausführlicher beschrieben.
2 ist eine Ansicht, die allgemeine Wellenformen von ERN und Pe nach einer anderen erfindungsgemäßen Ausführungsform darstellt.
Bezugnehmend auf 2 werden negative Potentialwerte über positiven Potentialwerten dargestellt. Darüber hinaus kann bestätigt werden, dass ein ERP mit einem negativen Spitzenwert, d.h. einer ERN, innerhalb eines ersten vorgegebenen Zeitbereichs nach einem Reaktionsbeginn für eine willkürliche Bewegung erzeugt wird. Dabei kann die Antwort einen Fall bedeuten, in dem ein Fehler oder ein Irrtum gemacht wird (Error Response). Darüber hinaus kann der erste vorbestimmte Zeitbereich etwa 50 ~ 150 ms betragen. Alternativ kann der erste vorgegebene Zeitbereich auch etwa 0 ~ 200 ms betragen.
Darüber hinaus kann bestätigt werden, dass ein ERP mit einem positiven Spitzenwert, d.h. einem Pe, innerhalb eines zweiten vorgegebenen Zeitbereichs nach dem Einsetzen der ERN erzeugt wird. Darüber hinaus kann der zweite vorbestimmte Zeitbereich etwa 150 ~ 300 ms nach dem Auftreten eines Fehlers betragen. Alternativ kann der zweite vorbestimmte Zeitbereich etwa 200 - 400 ms betragen.
3 ist eine Ansicht, die eine Auslenkungscharakteristik von Pe in einer erfindungsgemäßen Ausführungsform zeigt.
Bezugnehmend auf 3 hat Pe wie P3 eine weite Auslenkungscharakteristik, und der Plexusgenerator umfasst nicht nur die Bereiche des hinteren zingulären Kortex und des Insulakortex, sondern auch den eher anterioren zingulären Kortex.
Darüber hinaus kann Pe eine emotionale Bewertung eines Fehlers und die Aufmerksamkeit auf einen Stimulus wie P300 widerspiegeln. Darüber hinaus zeigt ERN einen Konflikt zwischen einer richtigen und einer falschen Reaktion an, und Pe ist bekanntlich eine Reaktion, die einen Fehler erkennt und mehr Aufmerksamkeit schenkt. Mit anderen Worten, ERN kann in einem Prozess der Reizerkennung erzeugt werden, und Pe kann in Abhängigkeit von der Aufmerksamkeit in einem Prozess der Reizverarbeitung erzeugt werden. Wenn ERN und/oder Pe jeweils relativ große Werte haben, ist bekannt, dass die Werte mit einem adaptiven Verhalten zusammenhängen, das nach einem Fehler langsamer und genauer reagieren soll.
Die 4A und 4B sind Ansichten, die Messbereiche von ERP und Pe nach einer erfindungsgemäßen Ausführungsform zeigen.
ERN und Pe sind als ERPs im Zusammenhang mit der Fehlerüberwachung bekannt. Was die Messbereiche von ERN und Pe betrifft, so kann normalerweise ein größter negativer Wert und ein größter positiver Wert im zentralen Bereich gemessen werden. Je nach Messbedingungen kann es jedoch einen kleinen Unterschied geben. Zum Beispiel zeigt 4A den Hauptbereich, in dem ERN gemessen wird, und der größte negative Wert von ERN kann normalerweise in der frontalen oder zentralen Mittellinienzone (d.h. FCZ) gemessen werden. Darüber hinaus zeigt 4B den Hauptbereich, in dem Pe gemessen wird, und ein großer positiver Wert von Pe kann normalerweise in der hinteren Mittellinienzone im Vergleich zu ERN gemessen werden.
Ein weiteres Beispiel ist FRN (rückmeldungsbezogene Negativität), ein ereignisbezogenes Potenzial (ERP), das mit der Fehlererkennung anhand externer Bewertungsrückmeldungen zusammenhängt. ERN und/oder Pe entdecken einen Fehler anhand eines internen Überwachungsprozesses. Im Fall von FRN kann es jedoch, wenn es anhand von externen Bewertungsrückmeldungen erhalten wird, ähnlich wie der Prozess von ERN funktionieren.
Darüber hinaus können FRN und ERN viele elektrophysiologische Eigenschaften gemeinsam haben. Zum Beispiel hat FRN einen negativen Spitzenwert an der Frontalkortex-Elektrode in etwa 250 ~ 300 ms nach dem Einsetzen einer negativen Rückkopplung und kann wie ERN in der Zone des dorsalen anterioren zingulären Kortex (dACC) erzeugt werden.
Darüber hinaus kann FRN, wie ERN, eine Aktivität des Verstärkungslernens durch ein dopaminerges System widerspiegeln. Darüber hinaus hat FRN normalerweise einen größeren negativen Wert als ein positives Feedback und kann für einen unvorhergesehenen Fall einen größeren Wert haben als für ein vorhersehbares Ergebnis.
Ein weiteres Beispiel: CRN (korrekturbezogene Negativität) ist ein ERP, das durch einen korrekten Versuch erzeugt wurde, und ist ein negativer Wert, der kleiner als ERN ist. Wie ERN kann CRN in der anfänglichen Latenzperiode erzeugt werden (z.B. 0 ~ 100 ms). 5 ist eine Ansicht, die allgemeine Wellenformen von ERN und CRN in einer erfindungsgemäße Ausführungsform zeigt.
Ein weiteres Beispiel: Pc (korrekte Positivität) ist ein ereignisbezogenes Potenzial, das nach CRN erzeugt wird. Es handelt sich dabei um ein ereignisbezogenes Potenzial, das in etwa 150 ~ 300 ms nach Beginn der korrekten Reaktion erzeugt wird. Die Beziehung zwischen CRN und Pc kann ähnlich wie die Beziehung zwischen ERN und Pe sein.
Unterdessen können ERPs in reizgesperrte ERPs und reaktionsgesperrte ERPs eingeteilt werden. Die reizgesperrten ERPs und die reaktionsgesperrten ERPs lassen sich nach Kriterien wie dem Hervorrufen der Ursache des ERPs und der Reaktionszeit unterteilen. Beispielsweise kann ein ERP, das von einem Moment an evoziert wird, in dem ein Wort oder ein Bild einem Benutzer von außen präsentiert wird, als reizgesperrtes ERP bezeichnet werden. Darüber hinaus kann z.B. ein ERP, das von einem Moment an evoziert wird, in dem ein Benutzer spricht oder einen Knopf drückt, als reaktionsgesperrtes ERP bezeichnet werden. Dementsprechend sind anhand des oben beschriebenen Kriteriums reizgesperrte ERPs im Allgemeinen N100, N200, P2, P3 usw., und reaktionsgesperrte ERPs sind ERN, Pe, CRN, Pc, FRN usw.
Unterdessen können die Gehirnströme nach manifesten Motiven klassifiziert werden. Hirnströme können in spontane Hirnströme (Spontanpotentiale), die sich durch den Willen des Benutzers manifestieren, und evozierte Hirnströme (evozierte Potentiale), die sich unabhängig vom Willen des Benutzers auf natürliche Weise durch äußere Reize manifestieren, klassifiziert werden. Spontane Hirnströme können sich manifestieren, wenn sich ein Anwender selbst bewegt oder sich eine Bewegung vorstellt, während evozierte Hirnströme z.B. durch visuelle, akustische, olfaktorische und taktile Stimuli manifestiert werden können.
Unterdessen können Hirnwellensignale nach dem internationalen 10-20-System gemessen werden. Das internationale 10-20-System bestimmt Messpunkte von Hirnwellensignalen anhand der Beziehung zwischen der Lage einer Elektrode und den Bereichen des zerebralen Kortex (der Großhirnrinde).
6 ist eine Ansicht, in der die EEG-Messkanäle, die den Bereichen des zerebralen Kortex entsprechen, nach einer erfindungsgemäßen Ausführungsform dargestellt sind.
Bezugnehmend auf die 6, entsprechen Hirnareale (Präfrontaler Kortex FP1, FP2; Frontaler Kortex F3, F4, F7, F8, FZ, FC3, FC4, FT7, FT8, FCZ; Parietaler Kortex C3, C4, CZ, CP3, CP4, CPZ, P3, P4, PZ; Temporaler Kortex T7, T8, TP7, TP8, P7, P8; Okzipitaler Kortex O1, O2, OZ) 32 Hirnwellenmesskanälen. Für jeden dieser Kanäle können Daten gewonnen und mit Hilfe der Daten eine Analyse für jedes Gebiet des zerebralen Kortex durchgeführt werden.
7 ist ein Blockdiagramm, das eine Konfiguration einer Vorrichtung zum Erzeugen eines Bildes anhand eines Hirnwellensignals eines Fahrgasts nach einer erfindungsgemäßen Ausführungsform zeigt.
Ein Drive-Through (DT)-Dienst bezieht sich auf einen Dienst, der es Kunden ermöglicht, bestimmte Produkte zu bestellen, zu bezahlen und abzuholen, während sie in einer Mobilitätseinrichtung fahren ohne zu parken. Da das Parken oder Anstehen in der Schlange nicht notwendig ist, steht der DT-Dienst als effizienter und bequemer Service für die Kunden im Rampenlicht. In letzter Zeit wird der DT-Dienst allmählich populärer. Beispielsweise können Fahrgäste in Mobilitätseinrichtungsfahrzeugen die DT-Dienste von Fast-Food-Läden und Cafes im täglichen Leben in Innenstädten und auf Autobahnen bequem und einfach nutzen. Die Mobilitätseinrichtung kann eine Mobilitätseinrichtung, ein Mobil-/Transportgerät usw. umfassen.
Bei einem gegenwärtigen DT-Dienst bestellt ein Fahrgast im Allgemeinen die gewünschten Artikel, nachdem er einen Ort oder eine Position (im Folgenden als DT-Punkt bezeichnet) erreicht hat, an dem der DT-Dienst erbracht wird. In erfindungsgemäßen Ausführungsformen können Bilderzeugungsvorrichtung und -verfahren zur Verfügung gestellt werden, die in der Lage sind, einen Artikel (nachstehend als DT-Artikel bezeichnet), der von einem DT-Punkt in einer Mobilitätseinrichtung vor Erreichen des DT-Punktes bereitgestellt wird, auszuwählen und zu bestellen.
Hier kann der DT-Punkt ein DT-Dienstleistungsort sein, der sich in einem vorgegebenen Bereich der Mobilitätseinrichtung befindet.
Darüber hinaus kann der DT-Punkt der vorliegenden Erfüllung nicht nur einen Ort für die Erbringung eines DT-Dienstes umfassen, sondern auch ein Büro, das in der Lage ist, einer Mobilitätseinrichtung einen DT-Artikel zur Verfügung zu stellen und Informationen über einen von der Mobilitätseinrichtung ausgewählten und bestellten Artikel zu erhalten, ohne den DT-Dienst zu erbringen. Zum Beispiel kann der DT-Punkt der erfindungsgemäßen Ausführungsformen ein Büro bedeuten, in dem ein Kunde in einer Mobilitätseinrichtung einen von dem DT-Punkt bereitgestellten Artikel auswählen und bestellen kann, die Mobilitätseinrichtung jedoch an einem separaten Ort parken/stoppen muss, um den bestellten Artikel abzuholen. Das heißt, der DT-Punkt der erfindungsgemäßen Ausführungsform kann ein Drive-in-Büro ohne Durchfahrtsweg umfassen.
Die Bilderzeugungsvorrichtung nach erfindungsgemäßen Ausführungsformen kann aus dem Hirnwellensignal eines Fahrgasts unter Verwendung eines Modells der künstlichen Intelligenz ein auf einen DT-Punkt bezogenes Bild erzeugen. Beispielsweise kann ein Bild erzeugt werden, das sich auf eine Speisekarte oder ein Produkt bezieht, das durch den DT-Punkt bereitgestellt wird. Darüber hinaus kann die Bilderzeugungsvorrichtung nach erfindungsgemäßen Ausführungsformen ein Bild auswählen, das in einer anhand des erzeugten Bildes vorbestimmten Liste enthalten ist. Zum Beispiel kann das in der Produktliste enthaltene Bild oder ein vorbestimmtes Menü, das durch den DT-Punkt bereitgestellt wird, ausgewählt werden. Darüber hinaus kann die Bilderzeugungsvorrichtung nach erfindungsgemäßen Ausführungsformen die Mobilitätseinrichtung steuern oder vorbestimmte Informationen, die vom Fahrgast ausgewählt wurden, dem DT-Punkt anhand des ausgewählten Bildes zur Verfügung stellen.
Unterdessen ermöglicht die Technologie der künstlichen Intelligenz Computern, wie ein Mensch Daten zu lernen und autonom Entscheidungen zu treffen. Ein künstliches neuronales Netz ist ein mathematisches Modell, das von einem biologischen neuronalen Netz inspiriert ist, und kann ein ganzes Modell bedeuten, das eine Problemlösungsfähigkeit besitzt, indem es künstlichen Neuronen, die durch synaptische Verbindungen ein Netzwerk bilden, erlaubt, die Stärke der synaptischen Verbindungen durch Lernen zu verändern. Das künstliche neuronale Netzwerk kann eine Eingangsschicht, eine verborgene Schicht und eine Ausgangsschicht umfassen. Die in jeder Schicht enthaltenen Neuronen sind durch Gewichte verbunden, und das künstliche neuronale Netzwerk kann eine Form haben, die in der Lage ist, eine komplexe Funktion durch eine lineare Kombination von Gewichten und Neuronenwerten und eine nichtlineare Aktivierungsfunktion zu approximieren. Der Zweck des Lernens des künstlichen neuronalen Netzes besteht darin, eine Gewichtung zu finden, die eine Differenz zwischen der auf der Ausgabeschicht berechneten Ausgabe und einem tatsächlichen Ausgabewert minimiert.
Ein tiefes neuronales Netz ist ein künstliches neuronales Netz, das aus mehreren verborgenen Schichten zwischen einer Eingabe- und einer Ausgabeschicht besteht und komplexe nichtlineare Beziehungen durch viele verborgene Schichten modellieren kann. Eine neuronale Netzstruktur, die durch Erhöhung der Anzahl der Schichten eine fortgeschrittene Abstraktion ermöglicht, wird als tiefes Lernen bezeichnet. Da beim tiefen Lernen eine sehr große Datenmenge erlernt wird und anhand des Lernergebnisses bei der Eingabe neuer Daten eine Antwort mit der höchsten Wahrscheinlichkeit ausgewählt wird, kann beim tiefen Lernen eine dem Bild entsprechende Operation adaptiv durchgeführt werden, und charakteristische Faktoren können in einem Lernprozess eines auf Daten basierenden Modells automatisch gefunden werden.
Das auf tiefem Lernen basierende Modell der erfindungsgemäßen Ausführungsformen kann unter anderem ein vollständig gefaltetes neuronales Netz, ein gefaltetes neuronales Netz (CNN), ein rekurrierendes neuronales Netz (RNN), eine eingeschränkte Boltzmann-Maschine (RBM) und ein neuronales Deep Belief- Netz (DBN) umfassen. Alternativ kann zusätzlich zum tiefen Lernen eine maschinelle Lernmethode oder ein Hybridmodell, das eine Kombination aus tiefem Lernen und maschinellem Lernen ist, einbezogen werden. Beispielsweise können die Merkmale des Bildes durch Anwendung des auf tiefem Lernen basierenden Modells extrahiert werden, und die Bilder werden anhand der extrahierten Merkmale durch Anwendung des auf maschinellem Lernen basierenden Modells klassifiziert und erkannt. Das auf maschinellem Lernen basierende Modell kann u.a. Support Vector Machine (SVM), AdaBoost usw. umfassen, ist aber darauf nicht beschränkt. Hier kann das RNN ein langes Kurzzeitgedächtnis (LSTM) umfassen.
Darüber hinaus kann das Verfahren des Erlernens des auf tiefem Lernen basierenden Modells der erfindungsgemäßen Ausführungsformen auch, aber nicht nur, beaufsichtigtes Lernen, unbeaufsichtigtes Lernen oder Verstärkungslernen umfassen. Beaufsichtigtes Lernen wird unter Verwendung einer Reihe von Lerndaten und einer entsprechenden Kennzeichnung (Zielausgabewert) durchgeführt, und ein auf überwachtem Lernen basierendes neuronales Netzmodell kann ein Modell für die Ableitung einer Funktion aus Trainingsdaten sein. Beim beaufsichtigten Lernen werden eine Reihe von Lerndaten und ein entsprechender Zielausgabewert empfangen, durch Lernen werden Fehler gefunden, um einen tatsächlichen Ausgabewert der Eingabedaten mit dem Zielausgabewert zu vergleichen, und das Modell wird anhand des entsprechenden Ergebnisses modifiziert. Beaufsichtigtes Lernen kann je nach Form des Ergebnisses in Regression, Klassifikation, Erkennung oder semantische Segmentierung eingeteilt werden. Die durch beaufsichtigtes Lernen abgeleitete Funktion kann verwendet werden, um erneut einen neuen Ergebniswert vorherzusagen. Das auf überwachtem Lernen basierende neuronale Netzmodell optimiert die Parameter des neuronalen Netzmodells durch das Lernen einer Menge von Trainingsdaten.
Unbeaufsichtigtes Lernen ist ein Verfahren, bei der das Lernen im Gegensatz zum beaufsichtigten Lernen ohne Kennzeichnung von Daten erfolgt. Das heißt, unbeaufsichtigtes Lernen ist eine Lernmethode, bei der ein Lernalgorithmus ohne bekannte Ausgabewerte oder Informationen gelehrt wird, und der Lernalgorithmus sollte Wissen aus Daten extrahieren, wobei nur Eingabedaten verwendet werden. Beispielsweise kann unüberwachte Transformation Verfahren bedeuten, Daten neu darzustellen, so dass eine Person oder ein anderer Algorithmus für maschinelles Lernen die neuen Daten leichter interpretiert als die Originaldaten. Beispielsweise kann eine Dimensionalitätsreduktion derart transformiert werden, dass nur die notwendigen Merkmale enthalten sind, während die Anzahl der Merkmale aus vielen hochdimensionalen Daten reduziert wird. Als weiteres Beispiel kann Clustering ein Verfahren zur Unterteilung von Daten mit ähnlichen Merkmalen in Gruppen bedeuten, d.h. eine Mittelwert-Gruppierung mit gemeinsamen Merkmalen, die auf Bildern ohne Beschriftung erscheinen.
Als weiteres Beispiel gibt es ein generatives kontradiktorisches Netzwerkmodell (GAN), das aktiv auf dem Gebiet der Erzeugung oder Restaurierung von Bildern oder auf dem Gebiet der Bewegungsnachahmung erforscht wurde. Das GAN-Modell kann ein künstliches neuronales Netz oder tiefes Lernen bedeuten, bei dem zwei Arten von gegensätzlichen Systemen das Lernen in einer Weise durchführen, dass sie miteinander konkurrieren, und es kann einen Algorithmus zum Lernen eines Modells bedeuten, das durch tiefes Lernen unter Verwendung einer kontradiktorischen Lernmethode erstellt wurde, um ein generatives Problem zu lösen. Das GAN-Modell kann Informationen durch einen Prozess lernen, bei dem ein Generator und ein Diskriminator miteinander konkurrieren. Insbesondere kann der Generator dazu dienen, Imitationsdaten zu erzeugen, die bestehenden Daten ähnlich sind, und der Diskriminator kann die Funktion der Diskriminierung verlieren, wenn die Imitationsdaten des Generators den tatsächlichen Daten nahe kommen. Darüber hinaus kann der Diskriminator dazu dienen, zu bestimmen, ob Eingabedaten tatsächliche Daten oder Imitationsdaten sind, und das Lernen kann enden, wenn der Diskriminator feststellt, dass die vom Generator berechneten Imitationsdaten mit einer Wahrscheinlichkeit von 50% wahr sind. Unterdessen kann das GAN-Modell der erfindungsgemäßen Ausführungsformen ein tief gefaltetes GAN-Modell (DCGAN) umfassen, das zu einem stabileren Lernen fähig ist.
Bezugnehmend auf 7 kann die Bilderzeugungsvorrichtung 700 einen Sensor 710 und/oder eine Steuerung 720 umfassen. Es ist jedoch darauf hinzuweisen, dass nur einige der zur Erklärung der vorliegenden Ausführungsform notwendigen Komponenten gezeigt werden und dass die in der Bilderzeugungsvorrichtung 700 umfassten Komponenten nicht auf das oben beschriebene Beispiel beschränkt sind. Beispielsweise können zwei oder mehr Bestandteile in einem Bestandteil implementiert werden, und eine in einem Bestandteil durchgeführte Operation kann in zwei oder mehr Bestandteile aufgeteilt und ausgeführt werden. Es können auch einige der Bestandteile weggelassen oder zusätzliche Bestandteile hinzugefügt werden.
Die Bilderzeugungsvorrichtung 700 nach erfindungsgemäßen Ausführungsformen kann Hirnwellensignale von mindestens einem Fahrgast in einer Mobilitätseinrichtung aus einer Vielzahl von Kanälen für eine vorbestimmte Zeit sammeln. Darüber hinaus kann der Sensor 710 die oben beschriebene Operation durchführen.
Dabei können die aus der Vielzahl der Kanäle gesammelten Hirnwellensignale die Hirnwellensignale in mindestens einer Zeitdomäne, einer Frequenzdomäne oder einer räumlichen Domäne bedeuten. Hier kann die räumliche Domäne einen Kanal zur Messung von Hirnwellensignalen bedeuten.
Die Bilderzeugungsvorrichtung 700 nach erfindungsgemäßen Ausführungsformen kann aus den Hirnwellensignalen, die aus der Vielzahl der Kanäle gesammelt werden, unter Verwendung eines Modells der künstlichen Intelligenz ein erstes Bild erzeugen, das sich auf einen Servicepunkt bezieht. Zusätzlich kann die Steuerung 720 die oben genannte Operation durchführen.
Hierbei kann der Servicepunkt einen DT-Punkt bedeuten.
Der Servicepunkt kann z.B. ein DT-Serviceort innerhalb eines vorgegebenen Bereichs der Mobilitätseinrichtung sein. Wenn die Mobilitätseinrichtung innerhalb des vorgegebenen Bereichs vom Servicepunkt liegt, kann die Mobilitätseinrichtung alternativ Informationen über den Artikel erhalten. Die Anzahl oder Arten von Servicepunkten können je nach der Position der Mobilitätseinrichtung variieren. Die Bilderzeugungsvorrichtung 700 nach erfindungsgemäße Ausführungsform kann ferner einen Empfänger (nicht abgebildet) umfassen. Der Empfänger kann die obige Operation durchführen.
8 ist eine Ansicht, die einen Bereich zwischen einer Mobilitätseinrichtung und einem Servicepunkt zeigt, die nach einer erfindungsgemäßen Ausführungsform Übertragung und Empfang gemeinsam durchführen.
Bezugnehmend auf 8 kann ein erster Servicepunkt 800 Informationen über einen von ihm gelieferten Artikel an eine Mobilitätseinrichtung 820 innerhalb eines ersten Bereichs 802 vom ersten Servicepunkt 800 übermitteln. Im Gegensatz dazu verfügt ein zweiter Servicepunkt 810 nicht über eine Mobilitätseinrichtung, an die Informationen zu einem Artikel innerhalb eines zweiten Bereichs 812 von dem zweiten Servicepunkt 810 übermittelt werden können. Alternativ kann die Mobilitätseinrichtung 820 die Informationen über den Artikel von dem ersten Servicepunkt 800 und den zweiten Servicepunkt 810 innerhalb eines dritten Bereichs 822 von der Mobilitätseinrichtung 820 erhalten.
Als weiteres Beispiel kann der Servicepunkt einen von einem Benutzer eingegebenen Ort oder einen in der Mobilitätseinrichtung vorgegebenen Ort bedeuten. Alternativ kann der Servicepunkt auch einen Ort bedeuten, der gemäß einer vorgegebenen Bedingung in einem Navigationsgerät der Mobilitätseinrichtung automatisch erkannt wird. Der Servicepunkt kann je nach Benutzer in der Mobilitätseinrichtung unterschiedlich eingestellt sein. Zum Beispiel kann der Servicepunkt durch die Eingabe des bevorzugten Servicepunkts eines Benutzers eingestellt werden.
Ein weiteres Beispiel ist die Gruppierung der Servicepunkte nach den Eigenschaften des Serviceortes. Die Servicepunkte können z.B. nach den Eigenschaften oder Arten der bereitgestellten Gegenstände und Dienstleistungen in ein Schnellrestaurant, ein Cafe, eine Bäckerei, einen Lebensmittelladen, eine Bank oder einen Fahrkartenschalter gruppiert werden, und mindestens einer der gruppierten Punkte kann nach der Auswahl des Fahrgastes der Mobilitätseinrichtung ausgewählt werden. Zusätzlich kann z.B. die gruppierte Liste auf der Anzeige der Mobilitätseinrichtung angezeigt werden, und mindestens eine der gruppierten Listen kann entsprechend der Auswahl des Fahrgastes der Mobilitätseinrichtung als Reaktion auf die Anzeige ausgewählt werden.
Dabei kann die vorgegebene Reichweite eine Entfernung von einigen Kilometern oder einigen Dutzend Kilometern von der Mobilitätseinrichtung und/oder dem Servicepunkt in radialer Richtung bedeuten. Darüber hinaus kann die vorgegebene Reichweite anhand eines Kommunikationsnetzes festgelegt werden. Wenn z.B. die Übertragung und der Empfang zwischen der Mobilitätseinrichtung und dem Servicepunkt anhand eines Kommunikationsnetzwerks mit kurzer Reichweite erfolgt, kann die vorgegebene Reichweite ein Bereich sein, in dem Übertragung und Empfang über das Kommunikationsnetzwerk mit kurzer Reichweite möglich sind. Dabei kann im Kommunikationsnetz mit kurzer Reichweite eine Bake werden.
Hier kann der Artikel einen DT-Punkt bedeuten. Zum Beispiel kann der Artikel Produkte wie einen Hamburger, Kaffee und Brot bedeuten. Das heißt, der Artikel kann Produkte bedeuten, die vom Fahrgast zu kaufen sind.
Darüber hinaus kann der Artikel eine von dem Servicepunkt erbrachte Dienstleistung umfassen.
Darüber hinaus kann der Artikel den Namen, das Bild, das Logo usw. dem Servicepunkt umfassen.
Hier kann die Information über das Element Informationen über einen DT-Artikel bedeuten.
Beispielsweise können die Informationen über den DT-Artikel das Bild, den Typ, den Preis, die Menge und/oder den Namen des Artikels enthalten.
Als ein weiteres Beispiel können die Informationen über den DT-Artikel vorbestimmte Informationen umfassen, die von dem Servicepunkt bereitgestellt werden. Beispielsweise können die Informationen über die DT-Position neue Menüs, Veranstaltungen, Rabattveranstaltungen usw. umfassen, die von dem Servicepunkt bereitgestellt werden.
Als weiteres Beispiel können die Informationen über den DT-Artikel anhand der Präferenz des Fahrgastes festgelegt werden. Zu diesem Zweck können die Informationen über den DT-Artikel das Ergebnis einer Vorab-Lerndurchführung nach Angaben des Fahrgastes sein. Darüber hinaus können die Informationen über den DT-Artikel in Echtzeit aktualisiert werden.
Unterdessen kann das Modell der künstlichen Intelligenz ein generatives kontradiktorisches Netzwerkmodell (GAN) bedeuten. Das GAN-Modell kann ein tief gefaltetes GAN-Modell (DCGAN) umfassen. Darüber hinaus kann das Modell der künstlichen Intelligenz ein Modell bedeuten, das durch die Kombination eines RNN-basierten Modells mit einem GAN-Modell zur Verarbeitung des Hirnwellensignals entsteht.
Das Modell der künstlichen Intelligenz kann im Voraus mit Hilfe des GAN-Modells in Bezug auf das Hirnwellensignal des Benutzers und das Bild des entsprechenden Servicepunktes trainiert werden. Dabei kann das Bild des Servicepunktes ein Bild bedeuten, das einen DT-Punkt anzeigt, oder ein Bild, das den vom DT-Punkt bereitgestellten Artikel anzeigt.
Hier ist das erste Bild zumindest ein auf einen Servicepunkt hinweisendes Servicepunkt-Bild oder ein Artikelbild. Das Bild des Servicepunkts kann ein Bild sein, das auf den Servicepunkt hinweist, und das Bild des Artikels kann ein Bild sein, das auf einen vom Servicepunkt angebotenen Artikel hinweist. Hierbei kann das Artikelbild das Bild eines Produktes, eines Menüs, einer Ware usw. bedeuten, das vom DT-Punkt bereitgestellt wird.
Ist zum Beispiel das erste Bild ein Servicepunkt-Bild, so kann das erste Bild das Logo oder das Ladenbild eines Fast-Food-Ladens, eines Cafes, einer Bäckerei, eines Lebensmittelgeschäfts, einer Bank oder eines Fahrkartenverkaufs bedeuten.
Ein weiteres Beispiel: Wenn das erste Bild ein Artikelbild ist, kann das erste Bild das Bild eines Hamburgers oder eines Getränks bedeuten, das von einem Fast-Food-Laden angeboten wird.
Ein weiteres Beispiel: Wenn das erste Bild ein Artikelbild ist, kann das erste Bild das Bild von Produkten bedeuten, die von einer Bäckerei geliefert werden.
Unterdessen können während der Erzeugung des ersten Bildes die von den mehreren Kanälen gesammelten Hirnwellensignale einen vorbestimmten Kodierer durchlaufen, wodurch ein EEG-Merkmalsvektor erzeugt wird. Dabei kann der vorgegebene Kodierer eine LSTM-Schicht und eine nichtlineare Schicht (z.B. eine vollständig angeschlossene Schicht einschließlich einer nichtlinearen aktiven ReLU-Funktion) umfassen.
Erneut bezugnehmend auf 7 kann die Bilderzeugungsvorrichtung 700 nach erfindungsgemäßen Ausführungsformen ein zweites Bild auswählen, das in einer anhand des ersten Bildes vorbestimmten Liste enthalten ist. Zusätzlich kann die Steuerung 720 die obige Operation durchführen.
Hierbei kann die vorgegebene Liste mindestens ein Servicepunkt-Bild umfassen. Alternativ kann die vorgegebene Liste auch mindestens ein Artikelbild umfassen. Darüber hinaus kann das zweite Bild ein Servicepunkt-Bild oder ein Artikelbild bedeuten.
Beispielsweise kann die Bilderzeugungsvorrichtung 700 nach erfindungsgemäßen Ausführungsformen das zweite Bild anhand der Bestimmung der Ähnlichkeit zwischen dem ersten Bild und dem in der vorgegebenen Liste enthaltenen Bild auswählen. Das heißt, die Bilderzeugungsvorrichtung 700 nach erfindungsgemäßen Ausführungsformen kann das zweite Bild, das dem ersten Bild am ähnlichsten ist, aus der vorbestimmten Liste auswählen.
Hierbei sind für die Bestimmung der Ähnlichkeit verschiedene Ähnlichkeitsbestimmungsmethoden anwendbar, die im Allgemeinen in einem Bilderkennungs- oder Klassifikationsfeld verwendet werden, wie z.B. ein Verfahren zur Extraktion von Merkmalspunkten von Eingabebildern zur Bestimmung der Ähnlichkeit.
Das heißt, die Bilderzeugungsvorrichtung 700 nach erfindungsgemäßen Ausführungsformen kann durch die Auswahl des zweiten Bildes einen vom Fahrgast beabsichtigten Servicepunkt auswählen. Alternativ dazu kann die Bilderzeugungsvorrichtung 700 nach erfindungsgemäßen Ausführungsformen einen Punkt auswählen, der als vom Fahrgast beabsichtigt bestimmt wurde, indem er das zweite Bild auswählt.
Darüber hinaus kann die Bilderzeugungsvorrichtung 700 nach erfindungsgemäßen Ausführungsformen die Mobilitätseinrichtung steuern oder dem Servicepunkt als Reaktion auf das ausgewählte zweite Bild vorbestimmte Informationen zur Verfügung stellen. Darüber hinaus kann die Steuerung 720 die oben beschriebene Operation durchführen.
Das heißt, die Bilderzeugungsvorrichtung 700 nach erfindungsgemäßen Ausführungsformen kann, wie oben beschrieben, anhand der Bestimmung der Ähnlichkeit bestimmen, was eine vom Fahrgast beabsichtigte oder gedachte Information ist. Darüber hinaus kann die Mobilitätseinrichtung gesteuert werden, oder es können, je nach Bestimmung, vorbestimmte Informationen an den Servicepunkt übermittelt werden, um den Zweck zu erfüllen.
Beispielsweise kann die Fahrtroute zum Servicepunkt, der dem ausgewählten zweiten Bild entspricht, geändert werden, oder die Fahrtroute kann dem Fahrgast zur Verfügung gestellt werden, um ihn zur Auswahl der Route zu bewegen. Alternativ kann dem Fahrgast eine Mitteilung über die geänderte Fahrtroute zur Verfügung gestellt werden.
Als weiteres Beispiel kann das Bestellsignal des Artikels, der dem ausgewählten zweiten Bild entspricht, an den Servicepunkt übertragen werden. Wenn z.B. „Kaffee“ als zweites Bild gewählt wird, kann das Bestellsignal für den Kaffee an das dem Kaffee entsprechende Cafe übertragen werden. Alternativ kann die Fahrtroute zu dem Cafe, das dem Kaffee entspricht, geändert werden, oder die Fahrtroute kann dem Fahrgast zur Verfügung gestellt werden, um den Fahrgast zur Wahl der Fahrtroute zu bewegen. Alternativ kann dem Fahrgast eine Mitteilung über die geänderte Fahrtroute zur Verfügung gestellt werden.
9 ist ein Flussdiagramm, das ein Verfahren zum Betrieb einer Bilderzeugungsvorrichtung gemäß einer Verkörperung der vorliegenden Erfindung veranschaulicht.
In Schritt S901 können die Hirnwellensignale von mindestens einem Fahrgast in der Mobilitätseinrichtung für eine vorbestimmte Zeit aus einer Vielzahl von Kanälen gesammelt werden.
Dabei können die aus der Vielzahl der Kanäle gesammelten Hirnwellensignale die Hirnwellensignale in mindestens einer Zeitdomäne, einer Frequenzdomäne oder einer räumlichen Domäne bedeuten.
In Schritt S902 kann das erste Bild aus den Hirnwellensignalen erzeugt werden, die mit Hilfe des Modells der künstlichen Intelligenz aus der Vielzahl der Kanäle gesammelt wurden.
Hierbei kann das Modell der künstlichen Intelligenz ein generatives kontradiktorisches Netzwerkmodell (GAN) bedeuten. Das GAN-Modell kann ein tief gefaltetes GAN-Modell (DCGAN) umfassen. Darüber hinaus kann das Modell der künstlichen Intelligenz ein Modell bedeuten, das durch die Kombination eines RNN-basierten Modells mit einem GAN-Modell zur Verarbeitung des Hirnwellensignals entsteht.
Hierbei ist das erste Bild zumindest ein auf einen Servicepunkt hinweisendes Servicepunkt-Bild, oder ein Artikelbild. Das Bild des Servicepunkts kann ein Bild sein, das auf den Servicepunkt hinweist, und das Bild des Artikels kann ein Bild sein, das auf einen vom Servicepunkt angebotenen Artikel hinweist.
Unterdessen kann das Modell der künstlichen Intelligenz unter Verwendung des GAN-Modells im Voraus in Bezug auf das Hirnwellensignal des Benutzers und das dementsprechende Bild des Servicepunkts trainiert werden. Dabei kann das Bild des Servicepunktes ein Bild bedeuten, das einen DT-Punkt anzeigt, oder ein Bild, das den vom DT-Punkt bereitgestellten Artikel anzeigt.
Unterdessen können während der Erzeugung des ersten Bildes die von den mehreren Kanälen gesammelten Hirnwellensignale einen vorbestimmten Kodierer durchlaufen, wodurch ein EEG-Merkmalsvektor erzeugt wird. Dabei kann der vorgegebene Kodierer eine LSTM-Schicht und eine nichtlineare Schicht (z.B. eine vollständig angeschlossene Schicht einschließlich einer nichtlinearen aktiven ReLU-Funktion) enthalten.
In Schritt S903 kann mindestens ein zweites Bild, das in einer anhand des erzeugten ersten Bildes vorgegebenen Liste enthalten ist, ausgewählt werden.
Hierbei kann die vorgegebene Liste mindestens ein Servicepunkt-Bild umfassen. Alternativ kann die vorgegebene Liste auch mindestens ein Artikelbild umfassen. Darüber hinaus kann das zweite Bild ein Servicepunkt-Bild oder ein Artikelbild bedeuten.
Beispielsweise kann das zweite Bild anhand der Bestimmung der Ähnlichkeit zwischen dem ersten Bild und dem in der vorgegebenen Liste enthaltenen Bild ausgewählt werden. Das heißt, das zweite Bild, das dem ersten Bild am ähnlichsten ist, kann aus der vorgegebenen Liste ausgewählt werden.
Hierbei sind für die Bestimmung der Ähnlichkeit verschiedene Ähnlichkeitsbestimmungsmethoden anwendbar, die im Allgemeinen in einem Bilderkennungs- oder Klassifikationsfeld verwendet werden, wie z.B. ein Verfahren zur Extraktion von Merkmalspunkten von Eingabebildern zur Bestimmung der Ähnlichkeit.
In Schritt S904 kann die Mobilitätseinrichtung gesteuert werden oder dem Servicepunkt können als Reaktion auf das ausgewählte zweite Bild vorgegebene Informationen zur Verfügung gestellt werden.
Das heißt, was eine vom Fahrgast beabsichtigte oder gedachte Information ist, kann durch die Bestimmung der Ähnlichkeit bestimmt werden. Darüber hinaus kann, je nach der Bestimmung, die Mobilitätseinrichtung gesteuert oder eine vorher festgelegte Information an den Servicepunkt übermittelt werden, um den Zweck zu erfüllen.
10 ist ein Flussdiagramm, das ein Verfahren zum Betrieb einer Bilderzeugungsvorrichtung nach einer erfindungsgemäßen Ausführungsform gezeigt.
Unterdessen kann der Bilderzeugungsvorrichtung nach erfindungsgemäßen Ausführungsformen das Modell der künstlichen Intelligenz durch einen Prozess der Erzeugung eines ersten Bildes aus dem Hirnwellensignal des Fahrgasts und der Auswahl eines zweiten Bildes anhand des erzeugten ersten Bildes aktualisieren. Das heißt, das Hirnwellensignal des Fahrgasts und/oder das erste Bild können als Lerndaten des Modells der künstlichen Intelligenz hinzugefügt werden.
Zum Beispiel kann die Bilderzeugungsvorrichtung nach erfindungsgemäße Ausführungsform weiter einen Prozess des Bestimmens durchführen, ob das ausgewählte zweite Bild der Absicht des Fahrgasts entspricht. Darüber hinaus ist es möglich, die Wahrscheinlichkeit, dass das erste Bild im Modell der künstlichen Intelligenz erzeugt wird, zu erhöhen oder zu verringern, je nachdem, ob das zweite Bild der Absicht des Fahrgasts entspricht.
Die Schritte S1001 bis S1003 können jeweils den Schritten S901 bis S903 aus 9 entsprechen, und daher wurden deren detaillierte Abläufe oben bezüglich 9 beschrieben.
In Schritt S1004 kann festgestellt werden, ob das gewählte zweite Bild der Intention des Fahrgasts entspricht. Zum Beispiel kann das ausgewählte zweite Bild oder der Name, der dem zweiten Bild entspricht, auf einer vorbestimmten Anzeige in der Mobilitätseinrichtung angezeigt werden, und als Antwort auf die Anzeige kann eine Auswahl von „ja“ oder „nein“ als Benutzereingabe empfangen werden.
In Schritt S1005 kann das Modell der künstlichen Intelligenz aktualisiert werden, je nachdem, ob das zweite Bild der Absicht des Fahrgasts entspricht.
Entspricht z.B. das ausgewählte zweite Bild der Absicht des Fahrgastes, so erhöht sich die Wahrscheinlichkeit, dass das erste Bild erzeugt wird, um einen vorgegebenen numerischen Wert im Modell der künstlichen Intelligenz, und entspricht das ausgewählte zweite Bild der Absicht des Fahrgastes nicht, so verringert sich die Wahrscheinlichkeit, dass das erste Bild erzeugt wird, um einen vorgegebenen numerischen Wert im Modell der künstlichen Intelligenz.
Nach erfindungsgemäßen Ausführungsformen ist es möglich, eine Vorrichtung und ein Verfahren zum Erzeugen eines Bildes anhand eines Hirnwellensignals eines Fahrgasts bereitzustellen.
Nach erfindungsgemäßen Ausführungsformen ist es möglich, eine Vorrichtung und ein Verfahren zum Erzeugen eines Bildes aus einem Hirnwellensignal eines Fahrgasts unter Verwendung eines Modells der künstlichen Intelligenz und zum Steuern einer auf dem erzeugten Bild basierenden Mobilitätseinrichtung bereitzustellen.
Wirkungen, die bei erfindungsgemäßen Ausführungsformen erzielt werden, sind nicht auf die oben genannten Wirkungen beschränkt, und andere, oben nicht erwähnte Wirkungen können von Fachleuten anhand der vorstehenden Beschreibung klar verstanden werden.
Obwohl beispielhafte Verfahren von erfindungsgemäßen Ausführungsformen aus Gründen der Klarheit einer Beschreibung als eine Reihe von Arbeitsschritten beschrieben werden, beschränkt sich die vorliegende Erfindung nicht auf die Abfolge oder Reihenfolge der oben beschriebenen Arbeitsschritte. Die Arbeitsschritte können gleichzeitig oder nacheinander, jedoch in einer anderen Reihenfolge durchgeführt werden. Um das Verfahren der erfindungsgemäßen Ausführungsformen zu implementieren, können zusätzliche Arbeitsschritte hinzugefügt und/oder bestehende Arbeitsschritte ausgelassen oder ersetzt werden.
Verschiedene erfindungsgemäße Ausführungsformen werden nicht zur Beschreibung aller verfügbaren Kombinationen dargestellt, sondern nur als repräsentative Kombinationen. Schritte oder Elemente in verschiedenen Ausführungsformen können getrennt oder in Kombination verwendet werden.
Darüber hinaus können verschiedene erfindungsgemäße Ausführungsformen in Form von Hardware, Firmware, Software oder einer Kombination von diesen enthalten sein. Ist eine erfindungsgemäße Ausführungsform in einer Hardware-Komponente verkörpert, so kann es sich zum Beispiel um eine anwendungsspezifische integrierte Schaltung (ASIC), einen digitalen Signalprozessor (DSP), eine digitale Signalverarbeitungseinrichtung (DSPD), eine programmierbare logische Einrichtung (PLD), ein Field Programmable Gate Array (FPGA), einen allgemeinen Prozessor, einen Controller, einen Mikrocontroller, einen Mikroprozessor usw. handeln.
Der erfindungsgemäß Schutzumfang umfasst Software oder maschinenausführbare Befehle (z.B. Betriebssysteme (OS), Anwendungen, Firmware, Programme), die es gestatten, Verfahren verschiedener Ausführungsformen in einer Vorrichtung oder auf einem Computer auszuführen, sowie ein nicht-flüchtiges computerlesbares Medium, das solche Software oder maschinenausführbare Befehle speichert, so dass die Software oder Befehle mit einer Vorrichtung oder auf einem Computer ausgeführt werden können.
Die Beschreibung von erfindungsgemäßen Ausführungsformen ist lediglich beispielhafter Natur, so dass Variationen, die nicht vom Offenbarungsgehalt abweichen, in den erfindungsgemäß Schutzbereich fallen sollen. Solche Abwandlungen sind nicht als Abweichung von der Erfindungsidee und dem erfindungsgemäßen Schutzumfang anzusehen.

Claims

Vorrichtung zum Erzeugen eines Bildes unter Verwendung von Hirnwellensignalen, wobei die Vorrichtung umfasst: einen Sensor, der eingerichtet ist, Hirnwellensignale mindestens eines Fahrgasts in einer Mobilitätseinrichtung von einer Vielzahl von Kanälen für eine vorbestimmte Zeit zu sammeln; und eine Steuerung, die eingerichtet ist, aus den Hirnwellensignalen ein erstes Bild zu erzeugen, die von der Vielzahl von Kanälen unter Verwendung eines Modells der künstlichen Intelligenz gesammelt werden, mindestens ein zweites Bild auszuwählen, das in einer anhand des erzeugten ersten Bildes vorgegebenen Liste enthalten ist, und die Mobilitätseinrichtung als Reaktion auf das ausgewählte zweite Bild zu steuern.
Vorrichtung nach Anspruch 1, wobei die von der Vielzahl von Kanälen gesammelten Hirnwellensignale Hirnwellensignale in wenigstens einer Zeitdomäne, einer Frequenzdomäne oder einer räumlichen Domäne sind.
Vorrichtung nach Anspruch 1, wobei das Modell der künstlichen Intelligenz ein generatives kontradiktorisches Netzwerkmodell (GAN) ist.
Vorrichtung nach Anspruch 1, wobei: das erste Bild wenigstens ein einen Servicepunkt anzeigendes Servicepunkt-Bild oder ein Artikelbild anzeigt; das Servicepunkt-Bild ein Bild ist, das einen Servicepunkt anzeigt, und das Artikelbild ein Bild ist, das einen von dem Servicepunkt bereitgestellten Artikel anzeigt; und der Servicepunkt ein Drive-Through (DT)-Dienstleistungsort innerhalb eines vorgegebenen Bereichs der Mobilitätseinrichtung ist.
Vorrichtung nach Anspruch 4, wobei die vorgegebene Liste mindestens ein Servicepunkt-Bild oder mindestens ein Artikelbild umfasst.
Vorrichtung nach Anspruch 4, wobei es sich bei dem Artikel um wenigstens ein von dem Servicepunkt bereitgestelltes Produkt, eine von dem Servicepunkt bereitgestellte Dienstleistung oder Informationen über den Servicepunkt handelt.
Vorrichtung nach Anspruch 4, wobei, wenn das zweite Bild ein Servicepunkt-Bild ist, die Steuerung eingerichtet ist, mindestens einen der folgenden Vorgänge ausführen: Vornehmen einer Änderung einer Fahrtroute der Mobilitätseinrichtung zum Servicepunkt, Benachrichtigen des Fahrgastes über eine zu ändernde Fahrtroute oder Veranlassen des Fahrgastes, eine Route auszuwählen, indem er dem Fahrgast die zu ändernde Fahrtroute zur Verfügung stellt.
Vorrichtung nach Anspruch 4, wobei, wenn das zweite Bild ein Artikelbild ist, die Steuerung eingerichtet ist, mindestens einen der folgenden Vorgänge auszuführen: Vornehmen einer Änderung einer Fahrtroute der Mobilitätseinrichtung zu einem Servicepunkt zur Bereitstellung des Artikels, Benachrichtigen des Fahrgastes über eine zu ändernde Fahrtroute, Veranlassen des Fahrgastes, eine Route auszuwählen, indem sie dem Fahrgast die zu ändernde Fahrtroute zur Verfügung stellt, oder Übermitteln eines Bestellsignals des Artikels.
Vorrichtung nach Anspruch 1, wobei die Steuerung eingerichtet ist, das zweite Bild anhand des Bestimmens der Ähnlichkeit zwischen dem ersten Bild und einem in der vorbestimmten Liste enthaltenen Bild auszuwählen.
Vorrichtung nach Anspruch 1, wobei der Controller weiter eingerichtet ist, zu bestimmen, ob das ausgewählte zweite Bild einer Absicht des Fahrgasts entspricht.
Verfahren zum Erzeugen eines Bildes unter Verwendung von Hirnwellensignalen, wobei das Verfahren umfasst: Sammeln von Hirnwellensignalen von mindestens einem Fahrgast in einer Beweglichkeit aus einer Vielzahl von Kanälen für eine vorbestimmte Zeit; Erzeugen eines ersten Bildes aus den Hirnwellensignalen, die aus der Vielzahl von Kanälen gesammelt wurden, unter Verwendung eines Modells der künstlichen Intelligenz; Auswählen mindestens eines zweiten Bildes, das in einer vorbestimmten Liste enthalten ist, anhand des erzeugten ersten Bildes; und Steuern der Mobilitätseinrichtung als Reaktion auf das ausgewählte zweite Bild.
Verfahren nach Anspruch 11, wobei die von der Vielzahl von Kanälen gesammelten Hirnwellensignale Hirnwellensignale in mindestens einer Zeitdomäne, einer Frequenzdomäne oder einer räumlichen Domäne sind.
Verfahren nach Anspruch 11, wobei das Modell der künstlichen Intelligenz ein generatives kontradiktorisches Netzwerkmodell (GAN) ist.
Verfahren nach Anspruch 11, wobei: das erste Bild wenigstens ein einen Servicepunkt anzeigendes Servicepunkt-Bild oder ein Artikelbild anzeigt; das Servicepunkt-Bild ein Bild ist, das einen Servicepunkt anzeigt, und das Artikelbild ein Bild ist, das einen von dem Servicepunkt bereitgestellten Artikel anzeigt; und der Servicepunkt ein Drive-Through (DT)-Dienstleistungsort innerhalb eines vorgegebenen Bereichs der Mobilitätseinrichtung ist.
Verfahren nach Anspruch 14, wobei die vorgegebene Liste mindestens ein Servicepunkt-Bild oder mindestens ein Artikelbild umfasst.
Verfahren nach Anspruch 14, wobei es sich bei dem Artikel mindestens um ein von dem Servicepunkt bereitgestelltes Produkt, eine von dem Servicepunkt bereitgestellte Dienstleistung oder Informationen über den Servicepunkt handelt.
Verfahren nach Anspruch 14, wobei, wenn das zweite Bild ein Servicepunkt-Bild ist, das Steuern der Mobilitätseinrichtung das Durchführen wenigstens eines der folgenden Schritte umfasst: Ändern einer Fahrtroute der Mobilitätseinrichtung zum Servicepunkt, Bereitstellen einer Mitteilung über eine zu ändernde Fahrtroute für den Fahrgast oder Veranlassen des Fahrgastes, eine Route auszuwählen, indem dem Fahrgast die zu ändernde Fahrtroute zur Verfügung gestellt wird.
Verfahren nach Anspruch 14, wobei, wenn das zweite Bild ein Artikelbild ist, das Steuern der Mobilitätseinrichtung das Durchführen wenigstens eines der folgenden Schritte umfasst: Ändern einer Fahrtroute der Mobilitätseinrichtung zu einem Servicepunkt zur Bereitstellung des Artikels, Bereitstellen einer Mitteilung über eine zu ändernde Fahrtroute für den Fahrgast, Veranlassen des Fahrgasts, eine Route auszuwählen, indem dem Fahrgast die zu ändernde Fahrtroute bereitgestellt wird, oder Übertragen eines Bestellsignals für den Artikel.
Verfahren nach Anspruch 11, wobei die Auswahl des wenigstens einen zweiten Bildes das Auswählen des zweiten Bildes anhand des Bestimmens der Ähnlichkeit zwischen dem ersten Bild und einem in der vorbestimmten Liste enthaltenen Bild umfasst.
Verfahren nach Anspruch 11, ferner umfassend das Bestimmen, ob das ausgewählte zweite Bild einer Absicht des Fahrgasts entspricht.