DE102020101297A1

DE102020101297A1 - Berührungsfreie betriebsvorrichtung für fahrzeuge und fahrzeug

Info

Publication number: DE102020101297A1
Application number: DE102020101297.7A
Authority: DE
Inventors: Takashi Tsunoda; Hideyuki Sase; Takemi Oguri; Tomoyuki Kitamura
Original assignee: Subaru Corp
Current assignee: Subaru Corp
Priority date: 2019-03-27
Filing date: 2020-01-21
Publication date: 2020-10-01
Also published as: JP7377615B2; US20200310546A1; CN111746398A; US11385715B2; JP2020160874A

Abstract

Eine berührungsfreie Betriebsvorrichtung (40) für ein Fahrzeug (1) weist Folgendes auf: eine Erzeugungseinheit (51), eine Projektionseinrichtung (43), eine Detektionseinrichtung (44), eine Stimulationsabgabeeinrichtung (45), eine Bestimmungseinheit (52) und eine Stimulationsantwort-Abgabeeinheit (53). Die Erzeugungseinheit (51) ist zum Erzeugen und Aktualisieren eines Bilds ausgebildet, das ein Bildobjekt enthält. Die Projektionseinrichtung (43) ist dazu ausgebildet, das Bild in eine vorbestimmte Anzeigeregion zu projizieren. Die Detektionseinrichtung (44) ist dazu ausgebildet, eine Betätigungsstelle eines Insassen zu detektieren, die sich in der Nähe der vorbestimmten Anzeigeregion befindet. Die Stimulationsabgabeeinrichtung (45) ist dazu ausgebildet, eine taktile Stimulation an die Betätigungsstelle abzugeben und zu aktualisieren. Die Bestimmungseinheit (52) ist für die Bestimmung ausgebildet, ob an der Betätigungsstelle eine berührungsfreie Betätigung gegenüber dem Bildobjekt ausgeführt wird. Die Stimulationsantwort-Abgabeeinheit (53) ist dazu ausgebildet, die Stimulationsabgabeeinrichtung (45) auf der Basis eines Bestimmungsresultats zum Abgeben der taktilen Stimulation an die Betätigungsstelle zu veranlassen.

Description

Querverweis auf verwandte Anmeldungen
Die vorliegende Anmeldung beansprucht die Priorität aus der japanischen Patentanmeldung Nr. 2019-060596 mit dem Anmeldedatum 27. März 2019.
Hintergrund
Technisches Gebiet
Die vorliegende Erfindung bezieht sich auf eine berührungsfreie Betriebsvorrichtung für Fahrzeuge sowie auf ein Fahrzeug.
Einschlägiger Stand der Technik
Es sind verschiedene Arten von Bedienungselementen in einem Fahrzeug angeordnet. Beispielsweise sind ein Startschalter, eine Handhabe, ein Schalthebel und ein Pedal zur Steuerung des Fahrvorgangs des Fahrzeugs in der Nähe eines Fahrersitzes in dem Fahrzeug angeordnet. Ferner sind Bedienungselemente für eine Klimaanlage, eine Navigationsvorrichtung, eine Audioeinrichtung, eine Bildempfangseinrichtung, eine Freisprecheinrichtung sowie weitere Ausstattungseinrichtungen in dem Fahrzeug vorgesehen. Es ist also eine große Anzahl von Bedienungselementen in dem Fahrzeug vorhanden.
Die große Anzahl von Bedienungselementen kann an einer Innenfläche eines Fahrgastraums angeordnet sein. In den letzten Jahren wird jedoch die Innenfläche zur Bereitstellung von Bedienungselementen in dem Fahrgastraum tendenziell unzulänglich. In einem Fall z.B., in dem die zusätzliche Bereitstellung einer Spielkonsole, einer Netzwerk-Kommunikationseinrichtung, einer Unterhaltungseinrichtung oder einer beliebigen anderen Einrichtung ins Auge gefasst wird, besteht die Möglichkeit, dass in der Zukunft keine weiteren Bedienungselemente für diese Einrichtungen hinzugefügt werden können.
Insbesondere ist für Fahrzeuge die Entwicklung einer automatischen Fahrtechnik vorangeschritten. In einem Fall, in dem die Entwicklung der Technik für das automatische Fahren tatsächlich voranschreitet und das Fahrzeug autonom fahren kann, ohne dass ein Insasse den Fahrvorgang des Fahrzeugs direkt steuert, besteht die Möglichkeit, dass der Insasse in dem Fahrzeug in einem Zustand fährt, in dem beispielsweise ein Sitz nach hinten geneigt ist.
Wenn der Insasse in diesem Fall eine beliebige Betriebsvorrichtung betätigen möchte, muss sich der Insasse für eine Betätigung von seinem Sitz weg nach oben bewegen und seinen Arm zu dem entsprechenden, an der Innenfläche des Fahrgastraums angeordneten Betätigungselement hin ausstrecken, um das Betätigungselement zu betätigen.
Wie in der japanischen Patentanmeldungs- Veröffentlichung JP 2017-027401 A offenbart ist, ist die Entwicklung einer neuartigen Betriebsvorrichtung für Fahrzeuge notwendig geworden, die auf die Betätigung eines in einen Fahrgastraum des Fahrzeugs projizierten Bilds gerichtet ist.
Kurzbeschreibung der Erfindung
Gemäß einem Aspekt der vorliegenden Erfindung wird eine berührungsfreie Betriebsvorrichtung für Fahrzeuge angegeben. Die Vorrichtung weist Folgendes auf: eine Erzeugungseinheit, eine Projektionseinrichtung, eine Detektionseinrichtung, eine Stimulationsabgabeeinrichtung, eine Bestimmungseinheit und eine Stimulations-antwort-Abgabeeinheit. Die Erzeugungseinheit ist dazu ausgebildet, ein ein Bildobjekt enthaltendes Bild zu erzeugen und zu aktualisieren. Die Projektions-einrichtung ist dazu ausgebildet, das Bild in eine vorbestimmte Anzeigeregion innerhalb eines Fahrgastraums eines Fahrzeugs zu projizieren. Die Detektions-einrichtung ist dazu ausgebildet, eine Betätigungsstelle eines Insassen zu detektieren, die sich in der Nähe der vorbestimmten Anzeigeregion in dem Fahrgastraum befindet.
Die Stimulationsabgabeeinrichtung ist dazu ausgebildet, eine taktile Stimulation auf der Basis eines Ultraschallfelds an die Betätigungsstelle des Insassen abzugeben. Die Bestimmungseinheit ist für die Bestimmung ausgebildet, ob an der von der Detektionseinrichtung detektierten Betätigungsstelle des Insassen eine berührungsfreie Betätigung gegenüber dem Bildobjekt ausgeführt wird, um dadurch ein Bestimmungsresultat als Betätigungsinformation abzugeben. Die Stimulationsantwort-Abgabeeinheit ist dazu ausgebildet, die Stimulationsabgabeeinrichtung auf der Basis des Bestimmungsresultats zu veranlassen, die taktile Stimulation an die Betätigungsstelle des Insassen als Antwort auf die Betätigung abzugeben.
Der Insasse führt die berührungsfreie Betätigung gegenüber dem Bildobjekt aus. Die Erzeugungseinheit und die Stimulationsantwort-Abgabeeinheit sind dazu ausgebildet, das Bildobjekt zu aktualisieren bzw. die taktile Stimulation in Abhängigkeit von der Betätigungsinformation abzugeben.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird ein Fahrzeug angegeben. Das Fahrzeug besitzt eine berührungsfreie Betriebsvorrichtung, eine Steuereinrichtung und eine Kommunikationseinrichtung. Die berührungsfreie Betriebsvorrichtung besitzt eine Erzeugungseinheit, eine Projektions-einrichtung, eine Detektionseinrichtung, eine Stimulationsabgabeeinrichtung, eine Bestimmungseinheit und eine Stimulationsantwort-Abgabeeinheit. Die Erzeugungseinheit ist zum Erzeugen und Aktualisieren eines Bilds ausgebildet, das ein Bildobjekt enthält. Die Projektionseinrichtung ist dazu ausgebildet, das Bild in eine vorbestimmte Anzeigeregion innerhalb eines Fahrgastraums eines Fahrzeugs zu projizieren.
Die Detektionseinrichtung ist dazu ausgebildet, eine Betätigungsstelle des Insassen zu detektieren, die sich in der Nähe der vorbestimmten Anzeigeregion in dem Fahrgastraum befindet. Die Stimulationsabgabeeinrichtung ist dazu ausgebildet, eine taktile Stimulation auf der Basis eines Ultraschallfelds an die Betätigungsstelle des Insassen abzugeben. Die Bestimmungseinheit ist für die Bestimmung ausgebildet, ob an der von der Detektionseinrichtung detektierten Betätigungsstelle des Insassen eine berührungsfreie Betätigung gegenüber dem Bildobjekt ausgeführt wird, um dadurch ein Bestimmungsresultat als Betätigungsinformation abzugeben.
Die Stimulationsantwort-Abgabeeinheit ist dazu ausgebildet, die Stimulationsabgabeeinrichtung zu veranlassen, die taktile Stimulation auf der Basis des Bestimmungsresultats an die Betätigungsstelle des Insassen als Antwort auf die Betätigung abzugeben. Der Insasse führt die berührungsfreie Betätigung gegenüber dem Bildobjekt aus. Die Erzeugungseinheit und die Stimulationsantwort-Abgabeeinheit sind dazu ausgebildet, das Bildobjekt zu aktualisieren bzw. die taktile Stimulation in Abhängigkeit von der Betätigungsinformation abzugeben.
Die Steuereinrichtung ist mit der berührungsfreien Betriebsvorrichtung durch ein internes Netzwerk gekoppelt. Die Steuereinrichtung ist zum Steuern des Betriebs des Fahrzeugs ausgebildet. Die Kommunikationseinrichtung ist mit der berührungsfreien Betriebsvorrichtung durch das interne Netzwerk gekoppelt. Die Kommunikationseinrichtung ist dazu ausgebildet, mit der äußeren Umgebung des Fahrzeugs kommunizieren. Die berührungsfreie Betriebsvorrichtung ist dazu ausgebildet, von der Kommunikationseinrichtung empfangenen Inhalt als Bild zu projizieren.
Gemäß einem weiteren Aspekt schafft die vorliegende Erfindung eine berührungsfreie Betriebsvorrichtung für Fahrzeuge. Die Betriebsvorrichtung besitzt Schaltungseinrichtungen, eine Projektionseinrichtung, eine Detektionseinrichtung und eine Stimulationsabgabeeinrichtung. Die Schaltungseinrichtungen sind zum Steuern des Betriebs der berührungsfreien Betriebsvorrichtung ausgebildet. Die Projektionseinrichtung ist zum Projizieren eines Bilds in eine vorbestimmte Anzeigeregion innerhalb eines Fahrgastraums eines Fahrzeugs ausgebildet. Das Bild enthält ein Bildobjekt.
Die Detektionseinrichtung ist dazu ausgebildet, eine Betätigungsstelle des Insassen zu detektieren, die sich in der Nähe der vorbestimmten Anzeigeregion in dem Fahrgastraum befindet. Die Stimulationsabgabeeinrichtung ist dazu ausgebildet, eine taktile Stimulation auf der Basis eines Ultraschallfelds an die Betätigungsstelle des Insassen abzugeben. Die Schaltungseinrichtungen sind dazu ausgebildet, das Bild zu generieren und zu aktualisieren. Die Schaltungseinrichtungen sind für die Bestimmung ausgebildet, ob an der von der Detektionseinrichtung detektierten Betätigungsstelle des Insassen eine berührungsfreie Betätigung gegenüber dem Bildobjekt ausgeführt wird, um dadurch ein Bestimmungsresultat als Betätigungsinformation abzugeben.
Die Schaltungseinrichtungen sind dazu ausgebildet, die Stimulationsabgabeeinrichtung auf der Basis des Bestimmungsresultats zu veranlassen, die taktile Stimulation an die Betätigungsstelle des Insassen als Antwort auf die Betätigung abzugeben. Der Insasse führt die berührungsfreie Betätigung gegenüber dem Bildobjekt aus. Die Schaltungseinrichtungen sind dazu ausgebildet, das Bildobjekt zu aktualisieren und die taktile Stimulation in Abhängigkeit von der Betätigungsinformation abzugeben.
Figurenliste
Die Begleitzeichnungen sind beigefügt, um ein besseres Verständnis der Erfindung zu vermitteln und bilden einen integralen Bestandteil der vorliegenden Beschreibung. Die Zeichnungen veranschaulichen einige exemplarische Ausführungsformen und dienen zusammen mit der Beschreibung zur Erläuterung der Prinzipien der Erfindung. In den Zeichnungen zeigen:

1A bis 1C jeweils eine schematische Darstellung zur Erläuterung eines Beispiels eines Fahrzeugs gemäß einer exemplarischen Ausführungsform der Erfindung;
2 eine schematische Darstellung zur Erläuterung eines Beispiels eines Steuerungssystems bei dem in 1 dargestellten Fahrzeug;
3 ein Blockdiagramm zur Erläuterung eines Beispiels einer Konfiguration einer berührungsfreien Betriebsvorrichtung, die in dem in 1 dargestellten Fahrzeug angeordnet ist;
4 ein Diagramm zur Erläuterung eines Beispiels für die Anordnung von jeweiligen Elementen der in 3 dargestellten berührungsfreien Betriebsvorrichtung in einem Fahrgastraum;
5 ein Ablaufdiagramm zur Erläuterung eines exemplarischen Ablaufs einer berührungsfreien Betätigungsverarbeitung gemäß einer exemplarischen Ausführungsform;
6 ein Ablaufdiagramm zur Erläuterung eines exemplarischen Ablaufs eines Hauptteils der berührungsfreien Betätigungsverarbeitung gemäß einer exemplarischen Ausführungsform;
7 ein Ablaufdiagramm zur Erläuterung eines Beispiels eines Ablaufs eines Prozesses zum Ändern eines Stimulationsinhalts in einem Schritt ST19 der 6; und
8 ein Ablaufdiagramm zur Erläuterung eines Beispiels eines Ablaufs eines Bildaktualisierungsprozesses in einem Schritt ST20 der 6.

Ausführliche Beschreibung
Im Folgenden werden einige exemplarische Ausführungsformen der Erfindung unter Bezugnahme auf die Begleitzeichnungen beschrieben. Es sei erwähnt, dass die nachfolgende Beschreibung auf der Erläuterung dienende Beispiele der Erfindung gerichtet ist und nicht als die Erfindung einschränkend zu verstehen ist. In den jeweiligen Zeichnungen, auf die in der nachfolgenden Beschreibung Bezug genommen wird, sind Elemente in unterschiedlichen Maßstäben dargestellt, um die jeweiligen Elemente in Größen darzustellen, die in den Zeichnungen erkennbar sind.
Aus diesem Grund dienen solche Faktoren, wie z.B. jedoch nicht ausschließlich, die Anzahl der jeweiligen Elemente, die Formgebung der jeweiligen Elemente, die Größe der jeweiligen Elemente, das Verhältnis zwischen den Elementen sowie die relative positionsmäßige Beziehung zwischen den Elementen lediglich der Erläuterung und sind nicht als die Erfindung einschränkend zu verstehen.
Ferner sind Elemente in den nachfolgenden exemplarischen Ausführungsformen, die nicht in einem übergeordneten unabhängigen Anspruch der Erfindung genannt sind, optional und können nach Bedarf vorgesehen werden. In der gesamten Beschreibung und den Zeichnungen sind Elemente mit im Wesentlichen der gleichen Funktion und Konfiguration mit den gleichen Bezugszeichen bezeichnet, um jegliche redundante Beschreibung zu vermeiden.
Eine Betriebsvorrichtung für ein Fahrzeug, wie sie in der vorstehend beschriebenen JP 2017-027401 A offenbart ist, zeigt ein Bild (das ein Bildobjekt beinhaltet) vor einem Insassen an und gibt in Reaktion auf eine von dem Insassen ausgeführte Betätigung gegenüber dem angezeigten Bildobjekt eine taktile Stimulation eines Ultraschallfelds an eine Betätigungsstelle des Insassen ab. Auf diese Weise kann dem Insassen ein tatsächliches Gefühl erhalten, als ob der Insasse das Bildobjekt betätigt.
Jedoch führt die Betriebsvorrichtung gemäß der JP 2017-027401 A die taktile Stimulation in Abhängigkeit von einer Bewegungsrichtung der Betätigungsstelle stark oder schwach aus. Die taktile Stimulation entspricht nicht dem eigentlichen Bild oder der Veränderung in dem Bildobjekt. Da als Folge hiervon eine Veränderung der taktilen Stimulation nicht der Veränderung in dem Bildobjekt entspricht, besteht eine Möglichkeit, dass ein sonderbares Gefühl aufgrund einer Differenz oder einer Diskrepanz zwischen einem aufgrund einer visuellen Wahrnehmung empfangenen Gefühl sowie einer aufgrund einer taktilen Wahrnehmung empfangenen Gefühl entsteht.
Zur Eliminierung des vorstehend beschriebenen sonderbaren Gefühls ist eine Verbesserung der Betriebsvorrichtung für Fahrzeuge erforderlich.
Erste exemplarische Ausführungsform
1 zeigt eine schematische Darstellung zur Erläuterung eines Fahrzeugs 1 gemäß einer ersten exemplarischen Ausführungsform der Erfindung. Dabei zeigt 1A eine Draufsicht auf das Fahrzeug 1, und 1B und 1C zeigen jeweils eine Seitenansicht des Fahrzeugs 1.
Bei dem in 1A bis 1C dargestellten Fahrzeug 1 handelt es sich um ein Beispiel eines Fahrzeugs. Das Fahrzeug 1 kann eine Fahrzeugkarosserie 2 aufweisen. Ein Fahrgastraum 3 kann in der Fahrzeugkarosserie 2 vorgesehen sein. Der Fahrgastraum 3 kann dafür ausgebildet sein, dass sich ein oder mehrere Insassen darin aufhalten können. Es kann eine Vielzahl von Sitzen 4 in dem Fahrgastraum 3 vorhanden sein, auf die sich ein Insasse jeweils setzen kann.
Eine Handhabe 5, ein Schalthebel 6, ein Bremspedal 7 und ein Gaspedal 8 können in einem vorderen Bereich des Fahrgastraums 3 als Betätigungselemente angeordnet sein, damit der Insasse, insbesondere der Fahrer, diese für den Fahrvorgang des Fahrzeugs 1 betätigen kann. Wie in 1B dargestellt ist, kann der Fahrer in der Lage sein, die Betätigungselemente, wie z.B. die Handhabe 5, zu betätigen, während er auf dem Sitz 4 sitzt.
Wie ferner in 1B und 1C dargestellt ist, ist ein hohler rechteckiger Rahmenkörper 64 einer später noch zu beschreibenden Stimulationsabgabeeinrichtung 45 in dem Fahrgastraum 3 angeordnet.
2 zeigt eine schematische Darstellung zur Erläuterung eines Steuerungssystems 10 in dem in 1 dargestellten Fahrzeug 1. 2 veranschaulicht eine Vielzahl von Steuereinrichtungen, die in dem Steuerungssystem 10 enthalten sein können, verkörpert durch elektronische Steuereinheiten (ECUs), die jeweils in die Vielzahl von Steuereinrichtungen integriert sind.
In einem speziellen, jedoch nicht einschränkenden Beispiel veranschaulicht die 2 eine Fahr-ECU 11, eine Lenk-ECU 12, eine Brems-ECU 13, eine ECU 14 für autonomes Fahren/Fahrunterstützung, eine Fahrbetriebs-ECU 15, eine Detektions-ECU 16, eine Klimaanlagen-ECU 17, eine Insassenüberwachungs-ECU 18, eine ECU 19 für externe Kommunikation, eine Betriebs-ECU 20 als berührungsfreie Betriebsvorrichtung 40 sowie eine System-ECU 21. Beispielsweise kann ein Fahrzeugnetzwerk (internes Netzwerk) 26, wie z.B. ein CAN (Controller Area Network) oder ein LIN (Local Interconnect Network) in dem Fahrzeug 1 verwendet werden. Die vorstehend genannten Steuerungs-ECUs können mit einem zentralen Gateway (CGW) 27 über das Fahrzeugnetzwerk 26 gekoppelt sein. Das zentrale Gateway 27 kann als Relais- bzw. Weiterleitungseinrichtung dienen.
In dem jeweiligen Steuerungsmodul kann die entsprechende Steuerungs-ECU mit zumindest einer elektronischen Einrichtung gekoppelt sein, die in dem Fahrzeug 1 verwendet wird. Bei Aktivierung kann jede Steuerungs-ECU verschiedene Arten von Prozessen ausführen, um den Betrieb der mit der entsprechenden Steuerungs-ECU gekoppelten elektronischen Vorrichtung auf der Basis von Information oder Daten zu steuern, die von dem Fahrzeugnetzwerk 26 ermittelt werden. Ferner kann jede Steuerungs-ECU Information oder Daten, wie z.B. einen Betriebszustand der entsprechenden elektronischen Einrichtung, an das Fahrzeugnetzwerk 26 abgeben.
Nicht dargestellte Betätigungsdetektionssensoren für Einrichtungen, wie etwa die Handhabe 5, das Bremspedal 7, das Gaspedal 8 oder den Schalthebel 6, die der Insasse zum Steuern des Fahrvorgangs des Fahrzeugs 1 betätigt, können mit der Fahrbetriebs-ECU 15 gekoppelt sein. Die Fahrbetriebs-ECU 15 kann Steuerinformation auf der Basis eines von dem jeweiligen Betätigungsdetektionssensor ermittelten Betätigungsausmaßes an das Fahrzeugnetzwerk 26 abgeben. Die Fahr-ECU 11, die Lenk-ECU 12 und die Brems-ECU 13 können erforderliche Informationen von dem Fahrzeugnetzwerk 26 beziehen und den Fahrvorgang des Fahrzeugs 1 steuern.
Ein Geschwindigkeitssensor 31 für das Fahrzeug 1, ein Beschleunigungssensor 32 und Außenkameras 33 können mit der Detektions-ECU 16 gekoppelt sein. Der Beschleunigungssensor 32 kann eine Beschleunigung des Fahrzeugs 1 beispielsweise durch einen Kontakt des Fahrzeugs 1 detektieren. Die Außenkameras 33 können jeweils ein Bild von der Umgebung des Fahrzeugs 1 aufnehmen. Die Detektions-ECU 16 kann von dem Geschwindigkeitssensor 31 und dem Beschleunigungssensor 32 des Fahrzeugs 1 ermittelte Detektionswerte sowie von den jeweiligen Außenkameras 33 aufgenommene Bilder an das Fahrzeugnetzwerk 26 abgeben.
Die Detektions-ECU 16 kann einen Kontakt bzw. eine Kollision des Fahrzeugs 1 auf der Basis der Bilder von den Außenkameras 33 vorhersagen und ein Vorhersageresultat an das Fahrzeugnetzwerk 26 abgeben. Das zentrale Gateway 27 kann verschiedene Arten von Information weiterleiten. Die Betriebs-ECU 20 kann erforderliche Information von dem Fahrzeugnetzwerk 26 beziehen und eine mit der Betriebs-ECU 20 gekoppelte, nicht dargestellte Anzeigeeinrichtung zum Anzeigen der Information veranlassen. Zusätzlich zu der Anzeigeeinrichtung kann eine von dem Insassen zu betätigende, nicht dargestellte Betätigungseinrichtung mit der Betriebs-ECU 20 gekoppelt sein.
Eine Innenkamera 34 kann mit der Insassenüberwachungs-ECU 18 gekoppelt sein. Die Innenkamera 34 kann ein Bild von dem Insassen aufnehmen, der sich in dem Fahrgastraum 3 des Fahrzeugs 1 befindet. Die Insassenüberwachungs-ECU 18 kann verschiedene Arten von Prozessen hinsichtlich des sich in dem Fahrzeug 1 aufhaltenden Insassen z.B. in Abhängigkeit von Information über das Bild von der Innenkamera 34 sowie von dem Fahrzeugnetzwerk 26 ermittelter Beschleunigung in Bezug auf einen Kontakt ausführen. Die Insassenüberwachungs-ECU 18 kann bei Bedarf ein Bild, einen Ton sowie beliebige andere Information oder Daten an das Fahrzeugnetzwerk 26 abgeben.
Die ECU 19 für externe Kommunikation kann in drahtloser Weise z.B. mit einer beliebigen, außerhalb des Fahrzeugs 1 vorhandenen Kommunikationsbasisstation 81 und einer Kommunikationseinrichtung eines weiteren Fahrzeugs 82 kommunizieren. Die Kommunikationsbasisstation 81 und die Kommunikationseinrichtung des weiteren Fahrzeugs 82 können zusammen mit einer Servereinrichtung 83 in einem Transportsystem 80 enthalten sein.
Die ECU 19 für externe Kommunikation kann von dem Fahrzeugnetzwerk 26 bezogene Information in drahtloser Weise an die Kommunikationsbasisstation 81 oder die Kommunikationseinrichtung des weiteren Fahrzeugs 82 übermitteln. Die übermittelte Information kann z.B. in der Servereinrichtung 83 und dem weiteren Fahrzeug 82 genutzt werden. Ferner kann die ECU 19 für externe Kommunikation Information von der Kommunikationsbasisstation 81 und der Kommunikationseinrichtung des weiteren Fahrzeugs 82 empfangen und die empfangene Information an das Fahrzeugnetzwerk 26 abgeben.
Dies macht es der Insassenüberwachungs-ECU 18 des Fahrzeugs 1 beispielsweise möglich, die Information oder die Daten über die ECU 19 für externe Kommunikation zu der Servereinrichtung 83 und dem weiteren Fahrzeug 82 außerhalb von dem Fahrzeug 1 zu übermitteln sowie von diesen zu empfangen.
Ferner kann das in 2 dargestellte Steuerungssystem 10 derart arbeiten, dass einer jeweiligen Einheit elektrische Energie von einer Batterie 91 zugeführt wird, die in dem Fahrzeug 1 angeordnet ist. Elektrische Energieversorgungsleitungen von der Batterie 91 zu den jeweiligen Einheiten können z.B. zusammen mit Kommunikationskabeln für das Fahrzeugnetzwerk 26 in dem gesamten Fahrzeug 1 verlegt sein. Zusätzlich zu der Batterie 91 kann bei einem Beispiel das Steuerungssystem 10 mit elektrischer Energie von einem elektrischen Stromgenerator oder einer Stromempfangseinrichtung versorgt werden.
Auf diese Weise kann die Betriebs-ECU 20 durch das Fahrzeugnetzwerk 26 in dem Fahrzeug 1 mit den anderen Steuereinrichtungen, die die jeweiligen ECUs aufweisen, gekoppelt sein. Ferner kann es sich in 2 bei jeder anderen ECU als der Betriebs-ECU 20 um eine Steuereinrichtung handeln, die zum Steuern eines Betriebsvorgangs des Fahrzeugs 1 ausgebildet ist. Die ECU 19 für externe Kommunikation kann jedoch dazu ausgebildet sein, mit der äußeren Umgebung des Fahrzeugs 1 zu kommunizieren.
Es können verschiedene Arten von Einrichtungen und Bedienungselementen bzw. Betätigungselementen derselben in dem Fahrzeug 1 vorgesehen sein, wie es vorstehend beschrieben ist. Beispielsweise können in dem Fahrzeug 1 der Startschalter, die Handhabe 5, der Schalthebel 6, das Bremspedal 7 und das Gaspedal 8 zum Steuern des Fahrvorgangs in dem Fahrzeug 1 vorgesehen sein. Weiterhin können Betätigungselemente für eine Navigationsvorrichtung, eine Audioeinrichtung, eine Bildempfangseinrichtung, eine Freisprecheinrichtung sowie weitere Ausstattungseinrichtungen zusätzlich zu den Bedienungselementen für die vorstehend beschriebenen Einrichtungen in dem Fahrzeug 1 vorhanden sein.
Es kann also eine große Anzahl von Betätigungselementen in dem Fahrzeug 1 vorgesehen sein. Die große Anzahl von Betätigungselementen kann an einer Innenfläche des Fahrgastraums 3 angeordnet sein. Jedoch ist in den letzten Jahren die Innenfläche für die Ausstattung des Fahrgastraums 3 tendenziell unzulänglich geworden. Beispielsweise in einem Fall, in dem die zusätzliche Bereitstellung einer Spielkonsole, einer Netzwerk-Kommunikationseinrichtung, einer Unterhaltungseinrichtung oder einer beliebigen anderen Einrichtung ins Auge gefasst wird, besteht die Möglichkeit, dass Bedienungselemente für diese Einrichtungen in der Zukunft nicht weiter hinzugefügt werden können.
Insbesondere ist für das Fahrzeug 1 die Entwicklung einer automatischen Fahrtechnik vorangeschritten. In einem Fall, in dem die Entwicklung tatsächlich voranschreitet und das Fahrzeug 1 autonom fahren kann, ohne dass der Insasse den Fahrvorgang des Fahrzeugs 1 direkt steuert, wie dies in 1C dargestellt ist, kann der Insasse in einem Zustand in dem Fahrzeug 1 fahren, in dem z.B. der Sitz 4 nach hinten geneigt ist.
Wenn der Insasse in diesem Fall eine beliebige Betriebsvorrichtung betätigen möchte, muss sich der Insasse für eine Betätigung möglicherweise von seinem Sitz weg nach oben bewegen und seinen Arm zu dem Betätigungselement, wie z.B. der an der Innenfläche des Fahrgastraums 3 angeordneten Handhabe 5, hin ausstrecken, um das Betätigungselement zu betätigen.
Aus diesem Grund kann die Entwicklung einer neuen Betriebsvorrichtung für das Fahrzeug 1 erforderlich sein, die auf die Betätigung eines in den Fahrgastraum 3 des Fahrzeugs 1 projizierten Bilds gerichtet ist. Im Folgenden wird ein projiziertes Objekt als „Bildobjekt“ bezeichnet.
Aus diesem Grund besteht auch eine Notwendigkeit für eine weitere Verbesserung der Betriebsvorrichtungen des Fahrzeugs 1.
3 zeigt ein Blockdiagramm zur Erläuterung einer Konfiguration der berührungsfreien Betriebsvorrichtung 40, die zur Anordnung in dem in 1 dargestellten Fahrzeug 1 vorgesehen ist.
Die in 3 dargestellte berührungsfreie Betriebsvorrichtung 40 kann z.B., jedoch nicht ausschließlich, eine fahrzeuginterne Kommunikationseinheit 41, einen Zeitgeber 42, eine 3D-Bild-Projektionseinrichtung 43, eine Betätigungsdetektionseinrichtung 44, eine Stimulationsabgabeeinrichtung 45, eine Tonabgabeeinrichtung 46, einen Speicher 47 sowie die Betriebs-ECU 20 aufweisen, mit der die vorstehend genannten Einrichtungen gekoppelt sind.
Bei dem Speicher 47 kann es sich beispielsweise um einen nichtflüchtigen Speicher handeln, und er kann mit der Betriebs-ECU 20 gekoppelt sein. Programme und Daten für die berührungsfreie Betriebsvorrichtung 40 können in dem Speicher 47 gespeichert sein. Bei einem Beispiel kann es sich bei den Programmen um solche Programme handeln, in denen Prozesse durch künstliche Intelligenz (KI) ausgeführt werden. Die Programme können ein Lernprogramm für die KI-Verarbeitung beinhalten.
Die Daten können beispielsweise, jedoch nicht ausschließlich, dreidimensionale Modelldaten für ein zu projizierendes Bild während einer berührungsfreien Betätigung enthalten. Bei den dreidimensionalen Modelldaten kann es sich um Bilddaten für die berührungsfreie Betätigung handeln, und diese können eine Vielzahl von Elementen von Polygondaten aufweisen, die z.B. in eine Oberfläche des Modells einbezogen werden sollen.
Beispielsweise kann es sich bei der Betriebs-ECU 20 um eine zentrale Verarbeitungseinheit (CPU) oder um einen Mikrocomputer, wie z.B. eine anwendungsspezifische integrierte Schaltung (ASIC) oder um einen digitalen Signalprozessor (DSP) handeln. Die Betriebs-ECU 20 kann ein Programm für die berührungsfreie Betätigung aus dem Speicher 47 auslesen und das Programm ausführen. Auf diese Weise kann eine Steuereinheit der berührungsfreien Betriebsvorrichtung 40 in der Betriebs-ECU 20 implementiert werden.
Die Steuereinheit der berührungsfreien Betriebsvorrichtung 40 kann den generellen Betrieb der berührungsfreien Betriebsvorrichtung 40 steuern und verschiedene Leistungsarten für die berührungsfreie Betätigung in der berührungsfreien Betriebsvorrichtung 40 implementieren. Beispielsweise kann die Betriebs-ECU 20 als die verschiedenen Leistungsarten für die berührungsfreie Betätigung eine Bilderzeugungseinheit 51, eine Betätigungsbestimmungseinheit 52, eine Stimulationsantwort-Abgabeeinheit 53 und eine Tonantwort-Abgabeeinheit 54 implementieren.
Die fahrzeuginterne Kommunikationseinheit 41 kann mit dem Fahrzeugnetzwerk 26 gekoppelt sein. Wie in 3 dargestellt ist, kann die fahrzeuginterne Kommunikationseinheit 41 Information oder Daten zu den anderen Steuerungs-ECUs, wie z.B. der Klimaanlagen-ECU 17 oder der ECU 14 für autonomes Fahren/Fahrunterstützung beispielsweise durch das Fahrzeugnetzwerk 26 übermitteln oder von diesen empfangen.
Beispielsweise kann die fahrzeuginterne Kommunikationseinheit 41 eine Anzeigeanweisung für ein Klimaanlagen-Betätigungsbild von der Klimaanlagen-ECU 17 empfangen und die Anzeigeanweisung an die Betriebs-ECU 20 abgeben. Die fahrzeuginterne Kommunikationseinheit 41 kann eine Anzeigeanweisung zum Einstellen eines Betätigungsbilds für einen autonomen Fahrvorgang/ Fahrunterstützung von der ECU 14 für autonomes Fahren/Fahrunterstützung erhalten und die Anzeigeanweisung an die Betriebs-ECU 20 abgeben.
Der Zeitgeber 42 kann eine verstrichene Zeit oder einen Zeitpunkt messen. Die verstrichene Zeit oder der Zeitpunkt, die von dem Zeitgeber 42 gemessen werden, können an die Betriebs-ECU 20 abgegeben werden.
Die Bilderzeugungseinheit 51 kann die dreidimensionalen Modelldaten von dem Speicher 47 oder der fahrzeuginternen Kommunikationseinheit 41 auf der Basis der von der fahrzeuginternen Kommunikationseinheit 41 eingegebenen Anzeigeanweisung empfangen, um Daten eines zu projizierenden Bilds zu erzeugen. Die Bilderzeugungseinheit 51 kann ein dreidimensionales Modell aus den empfangenen dreidimensionalen Modelldaten generieren.
Die Bilderzeugungseinheit 51 kann eine Projektionsposition und eine Richtung des dreidimensionalen Modells in dem Fahrgastraum 3 bestimmen, wie dieses von dem Insassen gesehen wird, und kann Bilddaten für die Projektion aus dem dreidimensionalen Modell (oder einem räumlichen Modell) generieren. Die Bilderzeugungseinheit 51 kann die Bilddaten für die Projektion an die 3D-Bild-Projektionseinrichtung 43 abgeben. Die Bilderzeugungseinheit 51 kann ein zweidimensionales Modell (oder ein Flächenmodell) aus zweidimensionalen Modelldaten erzeugen und Bilddaten für die Projektion generieren.
Es ist darauf hinzuweisen, dass auch in einem Fall, in dem keine Anzeigeanweisung von der fahrzeuginternen Kommunikationseinheit 41 eingegeben wird, die Bilderzeugungseinheit 51 Inhalts-Anzeigedaten, wie z.B. ein Bewegtbild oder ein Standbild, aus dem Speicher 47 oder der fahrzeuginternen Kommunikationseinheit 41 auslesen kann, Bilddaten aus dem Inhalt als dreidimensionales Bild (Raumbild) oder zweidimensionales Bild (Flächenbild) generieren kann und die Bilddaten an die 3D-Bild-Projektionseinrichtung 43 abgeben kann.
Die 3D-Bild-Projektionseinrichtung 43 projiziert das 3D-Bild (dreidimensionale Bild) oder das 2D-Bild (zweidimensionale Bild) in einen Raum (d.h. in eine vorbestimmte Anzeigeregion) innerhalb des Fahrgastraums 3 des Fahrzeugs 1. Die 3D-Bild-Projektionseinrichtung 43 kann ein Bild z.B. durch ein Hologrammsystem oder ein Spiegelsystem in einen Hohlraum innerhalb des Fahrgastraums 3 projizieren. Auf diese Weise kann das räumliche Bild zu der Projektionsposition des Fahrgastraums 3 projiziert werden, so dass der Insasse das dreidimensionale Modell visuell erkennen kann.
Die Betätigungsdetektionseinrichtung 44 detektiert eine vorbestimmte Betätigungsstelle des Insassen. Die Betätigungsdetektionseinrichtung 44 kann eine Stereokamera 63 aufweisen, in der z.B. zwei Abbildungseinrichtungen nebeneinander angeordnet sind. In diesem Fall kann die Betätigungsdetektionseinrichtung 44 mittels der Bilder von den beiden Abbildungseinrichtungen eine Betätigung durch eine vorbestimmte Betätigungsstelle des Insassen gegenüber einem Bild detektieren, das in den Luftraum des Fahrgastraums 3 projiziert wird.
Im Folgenden kann der vorstehend geschilderte Betätigungsvorgang durch die vorbestimmte Betätigungsstelle des Insassen auch als „Betätigung des oder durch den Insassen“ bezeichnet werden, und das vorstehend erwähnte, in den Luftraum des Fahrgastraums 3 projizierte Bild kann auch als „projiziertes Bild“ bezeichnet werden.
Die Betätigungsbestimmungseinheit 52 kann detektierte Information, wie z.B. das Bild der Stereokamera 63, beispielsweise von der Betätigungsdetektions-einrichtung 44 beziehen und den Betätigungsvorgang des Insassen gegenüber dem Bildobjekt in dem in den Raum im Inneren des Fahrgastraums 3 projizierten Bild auf der Basis der detektierten Information feststellen. Die Betätigungsbestimmungseinheit 52 kann z.B. eine Position und eine Bewegung der Betätigungsstelle des Insassen feststellen.
Die Bewegung kann Information über Bewegung der Betätigungsstelle, wie z.B. eine Richtung, eine Geschwindigkeit oder eine Beschleunigung der Bewegung beinhalten. Die Betätigungsbestimmungseinheit 52 kann eine Pixelposition, die ein Merkmal einer Fingerspitze des Insassen beinhaltet, aus dem Bild beispielsweise durch KI-Verarbeitung ermitteln und kann Positionsinformation hinsichtlich der Fingerspitze durch ein Triangulationsverfahren für das Bild der Stereokamera 63 generieren.
Die Betätigungsbestimmungseinheit 52 kann Information über eine Bewegung der Fingerspitze, beispielsweise eine Bewegungsrichtung, eine Bewegungs-geschwindigkeit, eine Bewegungsbeschleunigung, aus einem Abbildungsresultat generieren, das unter Zeitverschiebung ermittelt wird. Die Betätigungsbestimmungseinheit 52 kann die Position und die Bewegung der Betätigungsstelle des Insassen auf der Basis der Projektionsposition des Bildobjekts bestimmen sowie die Betätigung des Insassen gegenüber dem in den Raum im Inneren des Fahrgastraums 3 projizierten Bildobjekt feststellen.
Die Betätigungsbestimmungseinheit 52 kann z.B., jedoch nicht ausschließlich, das Vorhandensein oder Nichtvorhandensein eines Kontakts der Betätigungsstelle des Insassen gegenüber dem projizierten Bildobjekt, eine verbleibende Distanz bis zu einem Kontakt sowie eine Tiefe bis zum Kontakt bestimmen. Information hinsichtlich des Vorhandenseins oder Nichtvorhandenseins eines Kontakts der Betätigungsstelle des Insassen gegenüber dem projizierten Bildobjekt, der verbleibenden Distanz bis zu einem Kontakt, der Tiefe bis zum Kontakt sowie jegliche weitere geeignete Information können im Folgenden auch als „Betätigungsinformation“ bezeichnet werden. Die Betätigungsbestimmungseinheit 52 kann die festgestellte Betätigungsinformation an die jeweiligen Einheiten der Betriebs-ECU 20 abgeben.
Genauer gesagt, es kann die Betätigungsbestimmungseinheit 52 die Betätigungsinformation z.B. an die Bilderzeugungseinheit 51, die Stimulationsantwort-Abgabeeinheit 53 und die Tonantwort-Abgabeeinheit 54. abgeben. Bei einer Ausführungsform können die Betätigungsbestimmungseinheit 52 und die Betätigungsdetektionseinrichtung 44 als „Detektionseinrichtung“ dienen.
Die Bilderzeugungseinheit 51 aktualisiert die Bilddaten für die Projektion in Reaktion auf die Betätigung durch den Insassen und kann die aktualisierten Bilddaten an die 3D-Bild-Projektionseinrichtung 43 abgeben. Auf diese Weise wird das Bild, das von der 3D-Bild-Projektionseinrichtung 43 in die vorbestimmte Anzeigeregion im Inneren des Fahrgastraums 3 zu projizieren ist, in Reaktion auf die Betätigung durch den Insassen aktualisiert.
Ferner kann in einem Fall, in dem festgestellt wird, dass die Betätigung durch den Insassen gegenüber dem in den Raum im Inneren des Fahrgastraums 3 projizierten Bildobjekt ausgeführt wird, die Betätigungsbestimmungseinheit 52 auf der Basis der festgestellten Betätigungsinformation Eingangsinformation auf der Basis der Betätigung durch den Insassen durch die fahrzeuginterne Kommunikationseinheit 41 an die jeweiligen ECUs des Fahrzeugs 1 abgeben.
In einem Fall, in dem z.B. eine Betätigungstaste, bei der es sich um das zu projizierende Bildobjekt handelt, durch die Betätigungsstelle des Insassen, wie z.B. einen Finger, betätigt wird, kann die Betätigungsbestimmungseinheit 52 Eingangsinformation auf der Basis der Betätigung generieren und die generierte Eingangsinformation an die fahrzeuginterne Kommunikationseinheit 41 abgeben. Genauer gesagt, es kann die fahrzeuginterne Kommunikationseinheit 51 die Eingangsinformation durch das Fahrzeugnetzwerk 26 an die Steuereinrichtung abgeben.
Bei der Stimulationsabgabeeinrichtung 45 kann es sich beispielsweise um eine Einrichtung handeln, die ein taktiles Gefühl an die Betätigungsstelle des Insassen beispielsweise durch ein elektrisches Signal vermitteln kann. Als eine Einrichtung, die ein taktiles Gefühl ohne Berührung vermittelt, gibt es eine Einrichtung, die ein Feld von Ultraschallwellen erzeugt und ein taktiles Gefühl an die Haut an einer Betätigungsstelle abgibt, indem z.B. das Feld der Ultraschallwellen oder eine Veränderung in dem Feld an die Betätigungsstelle des Insassen angelegt wird.
Die Stimulationsabgabeeinrichtung 45 kann eine Elementeanordnung aufweisen, in der eine Vielzahl von Ultraschallelementen 65 in einer Ebene beabstandet von einer nach unten weisenden Hand angeordnet ist, wie dies z.B. in 4 dargestellt ist. Durch selektives Abgeben der Ultraschallwellen von der Vielzahl von Ultraschallelementen 65 ist es möglich, ein taktiles Gefühl an einer lokalen Stelle der Hand des Insassen zu erzeugen, beispielsweise an der Fingerspitze, als ob der Insasse mit dieser lokalen Stelle einen Gegenstand berührt.
Die Stimulationsantwort-Abgabeeinheit 53 kann ein elektrisches Signal an die Stimulationsabgabeeinrichtung 45 abgeben und eines oder mehrere von der Vielzahl von Ultraschallelementen 65 dazu veranlassen, Ultraschallwellen auf der Basis der Betätigung in selektiver Weise abzugeben. Hierdurch kann die Stimulationsantwort-Abgabeeinheit 53 ein Ultraschallfeld in einer vorbestimmten Region innerhalb des Fahrgastraums 3 erzeugen. Die Stimulationsantwort-Abgabeeinheit 53 kann das Feld der Ultraschallwellen oder die Veränderung in dem Feld lokal an die Betätigungsstelle des Insassen anlegen, von der durch die Betätigungsbestimmungseinheit 52 festgestellt wird, dass sie sich mit dem Bildobjekt in Kontakt befindet.
Wenn eine Person z.B. ihre Hand in ein Ultraschallfeld bewegt, kann die Person das Ultraschallfeld mit der Hautoberfläche der Hand spüren. Auf diese Weise kann die Stimulationsantwort-Abgabeeinheit 53 in der Lage sein, die Stimulationsabgabeeinrichtung 45 dazu zu veranlassen, als Antwort auf die Betätigung eine Stimulation in Form eines taktilen Gefühls durch das Ultraschallfeld an die Betätigungsstelle des Insassen abzugeben, an der die berührungsfreie Betätigung gegenüber dem in den Raum im Inneren des Fahrgastraums 3 projizierten Bildobjekt ausgeführt wird.
Ferner kann die Stimulationsabgabeeinrichtung 45 beispielsweise eine Elementeanordnung aufweisen, in der eine Vielzahl von Druckabgabeelementen angeordnet ist. In diesem Fall kann die Stimulationsantwort-Abgabeeinheit 53 Betätigungsvorgänge der Vielzahl von Druckabgabeelementen separat steuern, so dass ein Druck auf die Haut der Person wirkt. Hierdurch kann der Insasse ein Gefühl auf der Basis der Betätigung verspüren. Bei der Tonabgabeeinrichtung 46 kann es sich z.B. um einen Lautsprecher handeln. Der Lautsprecher kann durch ein Tonsignal angesteuert werden. Die Tonabgabeeinrichtung 46 kann ein Tonsignal z.B. auf der Basis einer Betätigung durch den Insassen abgeben.
Die Tonantwort-Abgabeeinheit 54 kann ein Tonsignal an die Tonabgabeeinrichtung 46 abgeben, um einen Ton auf der Basis der Betätigung von der Tonabgabeeinrichtung 46 abzugeben. Die Tonantwort-Abgabeeinheit 54 kann in dem Speicher 47 gespeicherte Audiodaten in Reaktion auf die Betätigung durch den Insassen auswählen und ermitteln sowie ein aus den ermittelten Audiodaten generiertes Tonsignal an den Lautsprecher als Tonabgabeeinrichtung 46 abgeben. Hierdurch kann der Insasse verschiedene Arten von Tönen auf der Basis der Betätigung hören.
4 zeigt eine Darstellung zur Erläuterung eines Beispiels für eine Anordnung der Komponenten der in 3 dargestellten berührungsfreien Betriebsvorrichtung 40 in dem Fahrgastraum 3. 4 veranschaulicht auch einen Insassen, der ein Bildobjekt mit seiner Fingerspitze betätigt.
Die jeweiligen Elemente der berührungsfreien Betriebsvorrichtung 40 können in dem Fahrgastraum 3 des Fahrzeugs 1 vorgesehen sein.
4 zeigt eine schematische Darstellung zur Erläuterung eines Beispiels einer konkreten Kombination der 3D Bild-Projektionseinrichtung 43, der Betätigungsdetektionseinrichtung 44 und der Stimulationsabgabeeinrichtung 45, die in 3 dargestellt sind.
4 veranschaulicht einen Anzeigeschirm 61 und einen Halbspiegel 62 als 3D-Bild-Projektionseinrichtung 43. Ferner zeigt 4 auch die Stereokamera 63 als Betätigungsdetektionseinrichtung 44. Weiterhin veranschaulicht 4 eine Elementeanordnung als Stimulationsabgabeeinrichtung 45.
Die Stimulationsabgabeeinrichtung 45 kann einen hohlen quadratischen bzw. rechteckigen Rahmenkörper 64 aufweisen. Eine Elementeanordnung, in der die Vielzahl von Ultraschallelementen 65 regelmäßig angeordnet ist, kann beispielsweise an jeder von vier Oberflächen des rechteckigen Rahmenkörpers 64 vorgesehen sein. Indem die an der oberen, unteren, rechten und linken Oberfläche des rechteckigen Rahmenkörpers 64 vorgesehenen Elementeanordnungen in geeigneter Weise in Betrieb gesetzt werden, kann gemäß der Darstellung in 4 ein Ultraschallfeld auf eine Fingerspitze wirken, die in das Innere des rechteckigen Rahmenkörpers 64 eintritt. Hierdurch kann der Insasse ein taktiles Gefühl erhalten, als ob die Fingerspitze durch etwas berührt würde.
Der Halbspiegel 62 kann in Bezug auf den hohlen rechteckigen Rahmenkörper 64 der Stimulationsabgabeeinrichtung 45 auf der gegenüberliegenden Seite von dem Insassen angeordnet sein. Der Halbspiegel 62 kann derart angeordnet sein, dass er mit einer Neigung von 45° in Bezug auf ein axiales Zentrum des rechteckigen Rahmenkörpers 64 angeordnet ist, wie dies durch eine gestrichelte Linie angedeutet ist. Der Anzeigeschirm 61, der zum Anzeigen eines dreidimensionalen Bilds (räumlichen Bilds) oder eines zweidimensionalen Bilds (Flächenbilds) ausgebildet ist, kann unter dem Halbspiegel 62 angeordnet sein.
Das auf dem Anzeigeschirm 61 angezeigte Bild kann durch den Halbspiegel 62 reflektiert werden, so dass der Insasse das dreidimensionale Bild (räumliche Bild) oder das zweidimensionale Bild (Flächenbild) im Inneren des hohlen rechteckigen Rahmenkörpers 64 in der Stimulationsabgabeeinrichtung 45 visuell erkennen kann. Bei der ersten exemplarischen Ausführungsform kann der Insasse eine in 4 durch einen Kreis dargestellte Kugel als das dreidimensionale Bild im Inneren des hohlen rechteckigen Rahmenkörpers 64 visuell erkennen.
Die Stereokamera 63 kann bei Betrachtung von dem Insassen aus z.B. hinter dem Halbspiegel 62 angeordnet sein. In diesem Fall können die beiden Abbildungseinrichtungen der Stereokamera 63 an jeweiligen Positionen symmetrisch in Bezug auf das axiale Zentrum des rechteckigen Rahmenkörpers 64 angeordnet sein. Auf diese Weise kann die Stereokamera 63 ein Bild von dem Finger oder dergleichen des Insassen aufnehmen, der sich in den hohlen rechteckigen Rahmenkörper 64 der Stimulationsabgabeeinrichtung 45 hinein bewegt.
Im Folgenden kann bei Bedarf eine Richtung von dem axialen Zentrum des rechteckigen Rahmenkörpers 64 in Richtung auf den Insassen als Z-Richtung bezeichnet werden, und zu der Z-Richtung rechtwinklige Richtungen können als Y-Richtung und X-Richtung bezeichnet werden. Dabei handelt es sich bei der Z-Richtung üblicherweise um eine Richtung entlang einer Längsrichtung des Fahrzeugs 1.
Es ist darauf hinzuweisen, dass Komponenten der in 3 dargestellten berührungsfreien Betriebsvorrichtung 40 nicht notwendigerweise an einer einzigen Stelle angeordnet sind, wie dies in 4 dargestellt ist.
Beispielsweise in einem Fall, in dem der hohle rechteckige Rahmenkörper 64 der Stimulationsabgabeeinrichtung 45 vor dem Insassen angeordnet ist, kann der hohle rechteckige Rahmenkörper 64 zu einer Behinderung einer Betätigung werden, wenn der Insasse die Handhabe 5 oder dergleichen betätigt. Wie in 1 dargestellt, kann der hohle rechteckige Rahmenkörper 64 mit einer Rechteck-Rahmenform entlang von peripheren Flächen der Fahrzeugkarosserie 2 angeordnet sein. In diesem Fall muss keinerlei strukturelles Objekt, wie z.B. der rechteckige Rahmenkörper 64, vor dem Sitz 4 vorgesehen werden, auf dem der Insasse sitzt.
Wie in 1 durch gestrichelte Kreise dargestellt ist, kann auch in diesem Fall ein Bild in einen Raum im Inneren des Fahrgastraums 3 projiziert werden. Dabei kann eine dem projizierten Bildobjekt entsprechende Betätigungsregion im Inneren des rechteckigen Rahmenkörpers 64 positioniert werden. Ferner muss der hohle rechteckige Rahmenkörper 64 nicht unbedingt eine Rechteck-Rahmenform aufweisen. In diesem Fall kann die Elementeanordnung auch entlang der peripheren Flächen der Fahrzeugkarosserie 2 angeordnet sein. Alternativ kann die Elementeanordnung insgesamt an der Innenfläche des Fahrgastraums 3 angeordnet sein.
Der Halbspiegel 62 kann im Großen und Ganzen derart angeordnet sein, dass er dem Kopf des Insassen in Bezug auf den hohlen rechteckigen Rahmenkörper 64 der Stimulationsabgabeeinrichtung 45 gegenüberliegt. Wenn das Bild lediglich in den Luftraum im Inneren des rechteckigen Rahmenkörpers 64 projiziert wird, kann ferner ein vollständig reflektierender Spiegel anstelle des Halbspiegels 62 verwendet werden.
Ferner kann der eigentliche Anzeigeschirm 6 in Bezug auf den hohlen rechtecktigen Rahmenkörper 64 der Stimulationsabgabeeinrichtung 45 auf der gegenüberliegenden Seite von dem Kopf des Insassen angeordnet sein. In diesem Fall kann der Halbspiegel 62 oder der vollständig reflektierende Spiegel nicht erforderlich sein. Der Halbspiegel 62 oder der vollständig reflektierende Spiegel und der Anzeigeschirm 61 können z.B. an einem Fußbrett oder dem Dach des Fahrzeugs 1 angeordnet sein.
Die Detektionseinrichtung 44, wie z.B. die Stereokamera 63, kann beispielsweise an einem Rückspiegel oder rückwärtigen Spiegel angeordnet sein. Außerdem kann ein Bild des Fahrgastraums 3 von einer Abbildungseinrichtung in einer Insassenüberwachungseinrichtung, wie z.B. einem Anzeigemanagementsystem (DMS bzw. Display Management System), aufgenommen werden, ohne dass die Stereokamera 63 vorgesehen ist.
Bei der Detektionseinrichtung, wie der Stereokamera 63, kann es sich um eine beliebige Einrichtung handeln, solange die Einrichtung in der Lage ist, ein Bild von einer zu detektierenden Betätigungsstelle, wie z.B. der Fingerspitze des Insassen, aufzunehmen. Außerdem ist ein detektiertes Medium nicht auf ein Bild beschränkt. Beispielsweise kann das Innere des Fahrgastraums 3 durch einen Laser abgetastet werden, und eine Fingerspitze oder dergleichen des Insassen kann auf der Basis eines Abtastresultats detektiert werden. 5 zeigt ein Ablaufdiagramm zur Erläuterung eines Ablaufs einer berührungsfreien Betätigungsverarbeitung gemäß der ersten exemplarischen Ausführungsform.
In einem Schritt ST1 kann die Betriebs-ECU 20 bestimmen, ob eine berührungsfreie Betätigung durch Projizieren eines Bilds gestartet werden soll. In einem Fall z.B., in dem eine Anzeigeanweisung von einer beliebigen ECU eingegeben wird, oder in einem Fall, in dem von dem Speicher 47 oder der fahrzeuginternen Kommunikationseinheit 41 bezogener Inhalt angezeigt werden soll (J im Schritt ST1), kann die Betriebs-ECU 20 die Feststellung treffen, dass die berührungsfreie Betätigung gestartet werden soll und veranlassen, dass der Prozessablauf mit einem Schritt ST2 fortfährt. Andernfalls (NEIN im Schritt ST1) kann die Betriebs-ECU 20 bestimmen, dass die berührungsfreie Betätigung nicht gestartet werden soll und kann die in 5 veranschaulichte berührungsfreie Betätigungsverarbeitung beenden.
In dem Schritt ST2 generiert die Betriebs-ECU 20 als Bilderzeugungseinheit 51 ein anfängliches 3D-Bild und veranlasst die 3D-Bild-Projektionseinrichtung 43 zum Anzeigen des 3D-Bilds. Als erstes kann die Betriebs-ECU 20 ein dreidimensionales Modell aus den von dem Speicher 47 oder der fahrzeuginternen Kommunikationseinheit 41 empfangenen dreidimensionalen Modelldaten generieren sowie außerdem Bilddaten für die Projektion generieren.
Die Betriebs-ECU 20 kann die Bilddaten für die Projektion aus dem dreidimensionalen Modell auf der Basis von Einstellungen einer anfänglichen Projektionsposition und einer anfänglichen Anzeigerichtung des Bilds generieren, die vorab für das dreidimensionale Modell vorgegeben sind. Die Betriebs-ECU 20 kann das generierte dreidimensionale Modell vorübergehend in dem Speicher 47 speichern. In diesem Fall kann die Betriebs-ECU 20 das dreidimensionale Modell in einem nächsten Generierungsprozess zur Aktualisierung des Bilds aus dem Speicher 47 auslesen.
Auf diese Weise wird es möglich, die Bilddaten für die Projektion zu generieren. Die Betriebs-ECU 20 kann die generierten Bilddaten für die Projektion an die 3D-Bild-Projektionseinrichtung 43 abgeben. Die 3D-Bild-Projektionseinrichtung 43 projiziert ein auf den Bilddaten für die Projektion basierendes Bild in einen Raum im Inneren des Fahrgastraums 3. Hierdurch kann z.B., wie in 4 dargestellt ist, das dreidimensionale Modell an einer vorbestimmten Projektionsposition vor dem Insassen in einer vorbestimmten Anzeigerichtung angezeigt werden.
Wie in 1B durch einen gestrichelten Kreis dargestellt ist, kann die vorbestimmte Projektionsposition an einer Position vorgegeben sein, die innerhalb eines Bereichs liegt, der z.B. von dem auf dem Sitz 4 sitzenden Insassen mit seiner Hand erreichbar ist. In einem Fall, in dem das dreidimensionale Modell eine Orientierung aufweist, kann die vorbestimmte Anzeigerichtung derart vorgegeben werden, dass eine vordere Fläche des dreidimensionalen Modells beispielsweise zu dem Insassen hin gerichtet ist.
In einem Schritt ST3 stellt die Betriebs-ECU 20 als Betätigungsbestimmungseinheit 52 fest, ob eine Betätigung durch den Insassen gegenüber einem Bildobjekt in dem Bild detektiert wird. Die Betätigung durch den Insassen kann von der Betätigungsdetektionseinrichtung 44 ermittelt werden. Die Betriebs-ECU 20 kann die detektierte Information, wie z.B. ein Bild der Stereokamera 63, beispielsweise von der Betätigungsdetektionseinrichtung 44 empfangen und eine vorbestimmte Betätigungsstelle des Insassen, wie z.B. eine Fingerspitze des Insassen, extrahieren.
Die Betriebs-ECU 20 kann anschließend die Betätigung durch den Insassen gegenüber dem Bildobjekt z.B. auf der Basis einer Änderung einer Position der vorbestimmten Betätigungsstelle in dem Fahrgastraum 3 oder dem Vorhandensein oder Nichtvorhandensein einer Bewegung desselben detektieren.
Bei der Detektion der Betätigung an dieser Stelle kann die Betriebs-ECU 20 feststellen, dass die Betätigung durch den Insassen gegenüber dem Bildobjekt selbst dann detektiert wird, wenn die Betätigungsstelle des Insassen keine Betätigung des Bildobjekts beinhaltet. In einem Fall, in dem die Betätigung durch den Insassen gegenüber dem Bildobjekt nicht detektiert wird (NEIN im Schritt ST3), kann die Betriebs-ECU 20 diesen Bestimmungsprozess in dem Schritt ST3 wiederholen. In einem Fall, in dem die Betätigung durch den Insassen gegenüber dem Bildobjekt detektiert wird (J im Schritt ST3), kann die Betriebs-ECU 20 den Prozessablauf zum Fortfahren mit einem Schritt ST4 veranlassen.
In dem Schritt ST4 stellt die Betriebs-ECU 20 als Betätigungsbestimmungseinheit 52 die Betätigung durch den Insassen gegenüber dem Bildobjekt fest. Die Betriebs-ECU 20 kann als erstes feststellen, ob sich die Betätigungsstelle des Insassen in einem Zustand befindet, in dem die Betätigungsstelle mit dem Bildobjekt in Kontakt steht, und zwar auf der Basis einer Projektionsposition einer Oberfläche des projizierten Bilds. Bei der Feststellung, dass die Betätigungsstelle derart vorliegt, dass die Betätigungsstelle mit dem Bildobjekt in Kontakt steht, kann die Betriebs-ECU 20 ferner eine Kontaktform, eine Position und eine Bewegung (einschließlich einer Richtung und einer Geschwindigkeit) der Betätigungsstelle feststellen.
Bei der Kontaktform kann es sich beispielsweise um die Anzahl der Finger handeln, die mit dem Bildobjekt in Kontakt stehen, oder um eine Position der Hand. Ferner kann die Betriebs-ECU 20 auf der Basis der Projektionsposition der Oberfläche des projizierten Bilds beispielsweise eine verbleibende Distanz zu einer Stelle, an der die Betätigungsstelle mit dem Bildobjekt in Kontakt gelangt, oder eine Tiefe bestimmen, an der die Betätigungsstelle mit dem Bildobjekt in Kontakt steht.
Wenn z.B. auf der Basis der auf diese Weise ermittelten Betätigungsinformation festgestellt wird, dass die Betätigung durch den Insassen gegenüber einem vorbestimmten Bildbereich, wie z.B. einer Taste, des in den Raum im Inneren des Fahrgastraums 3 projizierten Bildobjekts stattfindet, kann die Betriebs-ECU 20 ferner Eingangsinformation hinsichtlich der Betätigung durch den Insassen generieren.
In einem Schritt ST5 kann die Betriebs-ECU 20 als Betätigungsbestimmungseinheit 52 die festgestellte Betätigungsinformation über die Betätigung durch den Insassen sowie die Eingangsinformation hinsichtlich der Betätigung nach innen und nach außen von der Betriebs-ECU 20 abgeben. Die Betriebs-ECU 20 kann die Betätigungsinformation an die Bilderzeugungseinheit 51, die Stimulationsantwort-Abgabeeinheit 53 sowie die Tonantwort-Abgabeeinheit 54 in der Betriebs-ECU 20 abgeben. Ferner kann die Betriebs-ECU 20 die Eingangsinformation an die jeweilige Einheit des Fahrzeugs 1 durch die fahrzeuginterne Kommunikationseinheit 41 abgeben.
In einem Schritt ST6 kann die Betriebs-ECU 20 auf der Basis der Betätigungsinformation eine taktile Stimulation, ein Tonsignal oder beides als Antwort auf die Betätigung abgeben. Die Betriebs-ECU 20 kann als Stimulationsantwort-Abgabeeinheit 53 eine Position der Betätigungsstelle des Insassen in dem mit dem Bildobjekt in Kontakt befindlichen Zustand auf der Basis der Betätigungsinformation spezifizieren. Die Betriebs-ECU 20 kann anschließend die Vielzahl von Ultraschallelementen 65 auswählen, die Ultraschallwellen abgeben sollen, so dass die Ultraschallwellen in Richtung auf die spezifizierte Position abgegeben werden, und kann ein elektrisches Signal an die Stimulationsabgabeeinrichtung 45 abgeben. Die Stimulationsabgabeeinrichtung 45 kann die Ultraschallwellen von der auf diese Weise ausgewählten Vielzahl von Ultraschallelementen 65 abgeben.
Auf der Basis der Antwort durch die Ultraschallwellen kann der Insasse ein taktiles Gefühl erhalten, als ob der Insasse das Bildobjekt betätigen würde. Die Betriebs-ECU 20 kann als Tonantwort-Abgabeeinheit 54 Audiodaten von dem Speicher 47 auswählen, und zwar in Abhängigkeit von der Bewegung der Betätigungsstelle des Insassen, die sich in einem Zustand befindet, in dem die Betätigungsstelle mit dem auf der Basis der Betätigungsinformation spezifizierten Bildobjekt in Kontakt steht, sowie einem Kontaktbereich zwischen der Betätigungsstelle und dem Bildobjekt.
Die Betriebs-ECU 20 kann dann ein aus den Audiodaten generiertes Tonsignal an die Tonabgabeeinrichtung 46 abgegeben. Die Tonabgabeeinrichtung 46 kann einen auf dem Tonsignal basierenden Ton in den Fahrgastraum 3 abgeben. Hierdurch kann der Insasse als Antwortton hinsichtlich der Betätigung einen anderen Ton auf der Basis der Bewegung der Betätigungsstelle des Insassen sowie des Kontaktbereichs zwischen der Betätigungsstelle und dem Bildobjekt hören.
In einem Schritt ST7 aktualisiert die Betriebs-ECU 20 als Bilderzeugungseinheit 51 die Bilddaten, die für die Antwort auf die Betätigung durch den Insassen projiziert werden sollen, auf der Basis der Betätigungsinformation. Die Betriebs-ECU 20 kann das in dem Speicher 47 gespeicherte dreidimensionale Modell auslesen, um die Bilddaten für die Projektion zu aktualisieren, und kann die aktualisierten Bilddaten an die 3D-Bild-Projektionseinrichtung 43 abgeben. Die 3D-Bild-Projektionseinrichtung 43 projiziert das aktualisierte Bild in den Raum im Inneren des Fahrgastraums 3.
Hierdurch kann der Insasse visuell erkennen, dass der Insasse selbst das Bildobjekt anhand der Betätigungsstelle betätigt, und zwar auf der Basis der Änderung in dem projizierten Bild. Die Betriebs-ECU 20 kann die zu projizierenden Bilddaten und die Abgabe der Stimulation derart aktualisieren, dass diese in Abhängigkeit von der gleichen Betätigungsinformation über die Betätigungsstelle des Insassen miteinander synchronisiert werden, wie diese von der Betätigungsdetektionseinrichtung 44 detektiert und von der Betätigungsbestimmungseinheit 52 festgestellt wird.
In einem Schritt ST8 kann die Betriebs-ECU 20 feststellen, ob die berührungsfreie Betätigung beendet werden soll. In einem Fall z.B., in dem die Abgabe der Eingangsinformation auf der Basis der Betätigung abgeschlossen ist, in einem Fall, in dem keinerlei neue Anzeigeeinweisung eingegeben wird, oder in einem Fall, in dem der angezeigte Inhalt beendet werden soll, kann die Betriebs-ECU 20 die Feststellung treffen, dass die berührungsfreie Betätigung beendet werden soll (J im Schritt ST8), und kann den in 5 veranschaulichten Prozessablauf beenden. Ansonsten (NEIN im Schritt ST8) kann die Betriebs-ECU 20 den Prozessablauf zum Rücksprung zu dem Schritt ST3 veranlassen. Auf diese Weise kann die Betriebs-ECU 20 die Prozesse von dem Schritt ST3 bis zu dem Schritt ST8 wiederholen, bis in dem Schritt ST8 die Feststellung getroffen wird, dass die berührungsfreie Betätigung beendet werden soll.
Während dieser Wiederholungsprozesse kann die Betriebs-ECU 20 die jeweiligen Prozesse der Antwort durch die Stimulation an der Betätigungsstelle des Insassen, die Antwort durch den Ton sowie die Antwort durch die Aktualisierung des projizierten Bilds in Reaktion auf die Betätigung durch den Insassen gegenüber dem Bildobjekt in angemessener Weise wiederholen. Wenn nämlich das projizierte Bild in Reaktion auf die Betätigung aktualisiert wird, kann die Betriebs-ECU 20 die Abgabe der taktilen Stimulation durch das Ultraschallfeld derart variieren, dass diese dem aktualisierten projizierten Bild entspricht.
Wie vorstehend beschrieben, erzeugt bei der ersten exemplarischen Ausführungsform die Betriebs-ECU 20 als Bilderzeugungseinheit 51 das in den Fahrgastraum 3 des Fahrzeugs 1 zu projizierende 3D-Bild, und die 3D-Bild-Projektionseinrichtung 43 projiziert das erzeugte Bild in den Fahrgastraum 3 des Fahrzeugs 1.
Ferner ist die Betätigungsdetektionseinrichtung 44 zum Detektieren der Betätigungsstelle des Insassen ausgebildet, an der die berührungsfreie Betätigung gegenüber dem in den Raum im Inneren des Fahrgastraums 3 projizierten Bildobjekt ausgeführt wird.
Die Stimulationsantwort-Abgabeeinheit 53 kann die Elementeanordnung aufweisen, in der die Vielzahl von Ultraschallelementen 65 angeordnet ist, und sie gibt als Antwort auf die Betätigung die taktile Stimulation durch das Ultraschallfeld an die Betätigungsstelle des Insassen ab, an der die berührungsfreie Betätigung gegenüber dem in den Raum im Inneren des Fahrgastraums 3 projizierten Bildobjekt ausgeführt wird, und zwar in Abhängigkeit von der von der Betätigungsbestimmungseinheit 52 festgestellten Betätigungsinformation hinsichtlich der Betätigungsstelle des Insassen.
Wenn also der Insasse die berührungsfreie Betätigung gegenüber dem in den Raum im Inneren des Fahrgastraums 3 projizierten Bildobjekt ausführt, kann die taktile Stimulation durch das Ultraschallfeld als Antwort auf die Betätigung auf die Betätigungsstelle aufgebracht werden, an der die Betätigung stattfindet.
Ferner kann die Betriebs-ECU 20 das projizierte Bild aktualisieren, um dadurch die Abgabe der Stimulation in Abhängigkeit von der gleichen Betätigungsinformation hinsichtlich der Betätigungsstelle des Insassen zu synchronisieren, wie diese von der Betätigungsdetektionseinrichtung 44 detektiert und von der Betätigungsbestimmungseinheit 52 festgestellt wird. Wenn der Insasse die berührungsfreie Betätigung gegenüber dem in den Raum im Inneren des Fahrgastraums 3 projizierten Bildobjekt ausführt, kann somit die Abgabe der taktilen Stimulation durch das Ultraschallfeld als Antwort auf die Betätigung derart variiert werden, dass sie dem aktualisierten projizierten Bild entspricht.
Ferner kann die Betriebs-ECU 20 als Tonantwort-Abgabeeinheit 54 die Tonabgabeeinrichtung 46 veranlassen, einen anderen Ton in den Fahrgastraum abzugeben, und zwar in Abhängigkeit von der Bewegung der Betätigungsstelle des Insassen sowie der Kontaktposition des Bildobjekts auf der Basis der gleichen Betätigungsinformation über die Betätigungsstelle des Insassen, die von der Betätigungsdetektionseinrichtung 44 detektiert und von der Betätigungsbestimmungseinheit 52 festgestellt worden ist. Dadurch wird es für den Insassen möglich, einen anderen Ton als Antwort auf die Betätigung zu hören, wenn der Insasse die berührungsfreie Betätigung gegenüber dem in den Raum im Inneren des Fahrgastraums 3 projizierten Bildobjekt ausführt.
Die Antwort durch die Kombination aus dieser visuellen Wahrnehmung, taktilen Wahrnehmung und akustischen Wahrnehmung ermöglicht es dem Insassen, ein tatsächliches Gefühl zu erhalten, als ob der Insasse die Betätigung gegenüber dem in den Raum im Inneren des Fahrgastraums 3 projizierten Bildobjekt tatsächlich ausführt. Der Insasse kann das Bildobjekt betätigen, während sich im ein Gefühl vermittelt, als ob er das Bildobjekt tatsächlich betätigt.
Weiterhin kann der Insasse das Betätigungselement gegenüber dem in den Raum im Inneren des Fahrgastraums 3 projizierten Bildobjekt in berührungsfreier Weise tatsächlich betätigen. Aus diesem Grund muss es nicht unbedingt notwendig sein, dass der Insasse ein strukturelles Objekt betätigt, während er das strukturelle Objekt direkt berührt, und zwar im Gegensatz zu dem Betätigungselement, wie z.B. der Innenfläche des Fahrgastraums 3 oder der Handhabe 5. Es besteht keine Notwendigkeit zur Bereitstellung irgendeines Betätigungselements, das durch die Betätigungsstelle in einem eigentlichen Raum, in dem der Insasse die Betätigungsstelle betätigt, innerhalb des Fahrgastraums 3 direkt kontaktiert wird.
Auf diese Weise ist es möglich, die Bedienbarkeit für den Insassen zu verbessern, ohne dass irgendwelche Betätigungselemente, die von der Betätigungsstelle des Insassen direkt betätigt werden, in der Nähe des Insassen neu angeordnet werden.
Weiterhin ist es durch Variieren des Anzeigeinhalts des projizierten Bilds möglich, Betätigungstafeln zu projizieren und dabei auf die entsprechende Betätigungstafel umzuschalten, die für eine Betätigung für jede von einer Vielzahl von Einrichtungen geeignet ist.
Insbesondere können bei der ersten exemplarischen Ausführungsform die Bilderzeugungseinheit 51 und die Stimulationsantwort-Abgabeeinheit 53 jeweils die Daten über das zu projizierende Bild (das dreidimensionale Modell oder das zweidimensionale Modell) sowie die Abgabe der Stimulation jeweils aktualisieren, so dass die Daten über das zu projizierende Bild und die Abgabe der Stimulation in Abhängigkeit von der gleichen Betätigungsinformation über die Betätigungsstelle des Insassen synchronisiert werden, wie diese von der Betätigungsdetektionseinrichtung 44 detektiert und von der Betätigungsbestimmungseinheit 52 festgestellt wird.
Wenn z.B. die Bilderzeugungseinheit 51 die Bilddaten in Reaktion auf die Betätigung durch den Insassen aktualisiert, kann die Stimulationsantwort-Abgabeeinheit 53 die Abgabe der taktilen Stimulation durch das Ultraschallfeld derart variieren, dass es dem aktualisierten Bild entspricht. Wenn eine Oberflächenform oder eine Oberflächenposition des Bildobjekts auf der Basis der Aktualisierung der Bilddaten geändert wird, kann die Stimulationsantwort-Abgabeeinheit 53 eine Weise oder eine Position der Abgabe der taktilen Stimulation durch das Ultraschallfeld auf der Basis der Oberflächenform oder der Oberflächenposition des Bildobjekts nach der Änderung aktualisieren.
Ferner aktualisieren die Bilderzeugungseinheit 51 und die Stimulationsantwort-Abgabeeinheit 53 jeweils die Bilddaten und die Abgabe der Stimulation in Abhängigkeit von der gleichen Betätigungsinformation über die Betätigungsstelle des Insassen, die von der Betätigungsdetektionseinrichtung 44 detektiert wird, die zum Detektieren der Betätigungsstelle des Insassen ausgebildet ist, an dem die berührungsfreie Betätigung gegenüber dem in den Raum im Inneren des Fahrgastraums 3 projizierten Bildobjekt ausgeführt wird, und die von der Betätigungsbestimmungseinheit 52 festgestellt wird. Die Stimulation kann in Abhängigkeit von dem eigentlichen Bild oder einer Änderung in dem Bildobjekt variiert werden. Beispielsweise ist es möglich, zu veranlassen, dass eine Änderung in der Stimulation der Änderung in dem Bildobjekt entspricht.
Dies macht es schwieriger, dass dem Insassen ein sonderbares Gefühl aufgrund einer Differenz oder einer Diskrepanz zwischen einem von einer visuellen Wahrnehmung erhaltenen Gefühl und einer von einer taktilen Wahrnehmung erhaltenen Gefühl vermittelt wird. Selbst nachdem der Insasse eine erste Betätigung gegenüber einem Bildobjekt ausführt, können somit die Bilddaten und die Stimulation in Reaktion auf die Betätigung variiert werden, so dass sie miteinander synchronisiert werden.
Während einer Betätigung, nachdem die Betätigung gegenüber dem Bildobjekt gestartet ist, kann der Insasse die Betätigung gegenüber dem Bildobjekt fortsetzen, das sich in Reaktion auf die Betätigung ändert, wobei dem Insassen ein Gefühl vermittelt wird, als ob er das sich in Reaktion auf die Betätigung ändernde Bildobjekt tatsächlich betätigen würde.
Durch Ändern der Bilddaten und der Stimulation in einer derartigen Weise, dass die Bilddaten und die Stimulation miteinander synchronisiert werden, kann der Insasse die Betätigung fortsetzen, während er das tatsächliche Gefühl verspürt, obwohl der Insasse mit der Betätigung eines Betätigungselements fortfährt, das in dem Luftraum nicht wirklich vorhanden ist.
Im Gegensatz dazu kann in einem Fall, in dem die Änderung bei den Bilddaten und die Änderung bei der Stimulation aktualisiert werden, ohne miteinander synchronisiert zu werden, der Insasse ein Bildobjekt betätigen, während ihm ein tatsächliches Gefühl im Hinblick auf eine erste Betätigung gegenüber dem Bildobjekt vermittelt wird. Jedoch ist es für den Insassen schwierig, das Bildobjekt zu betätigen, während ihm das tatsächliche Gefühl im Hinblick auf nachfolgende Betätigungen vermittelt wird.
Zweite exemplarische Ausführungsform
Im Folgenden wird eine berührungsfreie Betriebsvorrichtung 40 für ein Fahrzeug 1 gemäß einer zweiten exemplarischen Ausführungsform der Erfindung beschrieben. Bei der zweiten exemplarischen Ausführungsform können die gleichen Bezugszeichen wie bei der ersten exemplarischen Ausführungsform für jeweilige Komponenten verwendet werden, die denen der vorstehend beschriebenen ersten exemplarischen Ausführungsform entsprechen, wobei auf eine Erläuterung derselben verzichtet werden kann.
6 zeigt ein Ablaufdiagramm zur Erläuterung eines Ablaufs eines berührungsfreien Betätigungsprozesses gemäß der zweiten exemplarischen Ausführungsform.
Die Prozesse in einem gestrichelten Rahmen stromabwärts von einem Knotenpunkt A in 5 können z.B. durch das Ablaufdiagramm in 6 ersetzt werden.
Bei der zweiten exemplarischen Ausführungsform kann eine ECU 19 für externe Kommunikation, bei der es sich um eine Kommunikationseinrichtung zur Kommunikation mit der äußeren Umgebung handelt, Inhaltsdaten empfangen, und die berührungsfreie Betriebsvorrichtung 40 kann die Inhaltsdaten von der ECU 19 für externe Kommunikation durch ein Fahrzeugnetzwerk 26 zum Projizieren eines Bilds empfangen.
Ein Nutzer kann eine Betätigung gegenüber einem Bildobjekt als Inhalt ausführen. In einem Fall, in dem die zu projizierenden Inhaltsdaten von außen bezogen werden, kann es in dem in 5 dargestellten Schritt ST5 für eine Betätigungsbestimmungseinheit 52 der berührungsfreien Betriebsvorrichtung nicht notwendig sein, Eingangsinformation auf der Basis einer Betätigung zur Außenseite der berührungsfreien Betriebsvorrichtung 40 abzugeben.
In einem Schritt ST11 kann die Betriebs-ECU 20 das Vorhandensein oder Nichtvorhandensein einer Betätigung durch einen Insassen gegenüber einem Bildinhalt (d.h. einem Bildobjekt) feststellen, dessen Projektion bereits gestartet hat. Beispielsweise kann die Betriebs-ECU 20 von einer Betätigungsdetektionseinrichtung 44 detektierte Information, wie z.B. ein Bild von einer Stereokamera 63, erhalten und eine vorbestimmte Betätigungsstelle des Insassen, beispielsweise eine Fingerspitze, extrahieren.
Anschließend kann die Betriebs-ECU 20 eine Betätigung des Insassen gegenüber dem Bildobjekt auf der Basis einer Änderung in einer Position der vorbestimmten Betätigungsstelle innerhalb eines Fahrgastraums 3 oder des Vorhandenseins oder Nichtvorhandenseins z.B. einer Bewegung desselben detektieren. In einem Fall, in dem die Betätigungsstelle des Insassen sich in der Nähe einer Projektionsposition des Bildobjekts befindet, kann die Betriebs-ECU 20 feststellen, dass die Betätigung detektiert wird, obwohl an der Betätigungsstelle des Insassen keine Betätigung des Bildobjekts stattfindet.
In einem Fall, in dem die Betätigung des Insassen gegenüber dem Bildobjekt nicht detektiert wird (NEIN im Schritt ST11), kann die Betriebs-ECU 20 diesen Feststellungsprozess in dem Schritt ST11 wiederholen. Bei der Feststellung, dass die Betätigung durch den Insassen gegenüber dem Bildobjekt detektiert wird (JA im Schritt ST11), kann die Betriebs-ECU 20 den Prozessablauf zum Fortfahren mit einem Schritt ST12 veranlassen.
In dem Schritt ST12 kann die Betriebs-ECU 20 als Betätigungsbestimmungseinheit 52 die Betätigung durch den Insassen gegenüber dem Bildobjekt feststellen und Betätigungsinformation auf der Basis eines Feststellungsresultats generieren. Die Betriebs-ECU 20 kann das Vorhandensein oder Nichtvorhandensein der Betätigung an der Betätigungsstelle des Insassen gegenüber dem Bildobjekt, eine Kontaktform der Betätigungsstelle, eine Position und eine Bewegung (einschließlich einer Richtung und einer Geschwindigkeit) der Betätigungsstelle, eine verbleibende Distanz sowie eine Tiefe des Kontakts als Betätigungsinformation feststellen.
Die Betätigungsbestimmungseinheit 52 der Betriebs-ECU 20 kann die festgestellte Betätigungsinformation an eine Bilderzeugungseinheit 51 und eine Stimulationsantwort-Abgabeeinheit 53 abgeben. Bei Bedarf kann die Betriebs-ECU 20 die auf der Betätigung basierende Eingangsinformation auf der Basis der Betätigungsinformation bestimmen und die Eingangsinformation durch das Fahrzeugnetzwerk 26 zur Außenseite von der Betriebs-ECU 20 abgeben. Bei einem Beispiel kann die ECU 19 für externe Kommunikation die auf der Betätigung basierende Eingangsinformation empfangen und die Eingangsinformation nach außerhalb des Fahrzeugs 1 übermitteln.
In einem Schritt ST13 kann die Betriebs-ECU 20 als Betätigungsbestimmungseinheit 52 feststellen, ob es sich bei der Betätigung an der Betätigungsstelle des Insassen gegenüber dem Bildobjekt um eine Betätigung an einer Oberfläche des projizierten Bilds oder in der Nähe der Oberfläche handelt.
Bei der Feststellung, dass es sich um keine Betätigung an der Oberfläche des projizierten Bilds oder in der Nähe der Oberfläche handelt (NEIN im Schritt ST13), kann die Betriebs-ECU 20 den Prozessablauf zum Rücksprung zu dem Schritt ST12 veranlassen. Bei der Feststellung, dass es sich um die Betätigung an der Oberfläche des projizierten Bilds oder in der Nähe der Oberfläche handelt (JA im Schritt ST13), kann die Betriebs-ECU 20 den Prozessablauf zum Fortfahren mit einem Schritt ST 14 veranlassen.
In dem Schritt ST 14 kann die Betriebs-ECU 20 als Stimulationsantwort-Abgabeeinheit 53 einen Stimulationstyp auswählen, mit dem die Betätigungsstelle des Insassen beaufschlagt werden soll, und zwar auf der Basis der Betätigungsinformation über die Betätigung an der Oberfläche des projizierten Bilds oder in der Nähe der Oberfläche. Die Betriebs-ECU 20 kann in diesem Fall einen Stimulationstyp auf der Basis der Betätigungsinformation aus einer Vielzahl von Stimulationstypen auswählen, die in Zuordnung zu einer Vielzahl von Arten von Betätigungsinformation in dem Speicher 47 vorab klassifiziert worden sind.
In einem Schritt ST15 kann die Betriebs-ECU 20 als Stimulationsantwort-Abgabeeinheit 53 eine Abgabeposition und -intensität der Stimulation vorgeben. Die Betriebs-ECU 20 kann eine Position der Betätigungsstelle des Insassen in einem Zustand, in dem sich diese mit dem Bildobjekt in Kontakt befindet, auf der Basis der Betätigungsinformation als Abgabeposition der Stimulation vorgeben. Die Betriebs-ECU 20 kann die Abgabeintensität der Stimulation auf der Basis des ausgewählten Stimulationstyps vorgeben.
In einem Schritt ST16 kann die Betriebs-ECU 20 als Stimulationsantwort-Abgabeeinheit 53 die Abgabe der Stimulation beginnen. Die Betriebs-ECU 20 kann ein Ultraschallelement 65 oder eine Vielzahl von Ultraschallelementen 65 auswählen, das bzw. die Ultraschallwellen in Richtung auf die in dem Schritt ST15 ausgewählte Position abgeben, und kann ein elektrisches Signal an eine Stimulationsabgabeeinrichtung 45 abgeben, um die der Abgabeintensität der Stimulation entsprechenden Ultraschallwellen abzugeben.
Die Stimulationsabgabeeinrichtung 45 kann die Ultraschallwellen mit einer Ausgangsleistung abgeben, die der Abgabeintensität der Stimulation von dem einen oder den mehreren auf diese Weise ausgewählten Ultraschallelementen 65 entspricht. Durch die ausgewählte Stimulation kann dem Insassen ein taktiles Gefühl vermittelt werden, als ob der Insasse das Bildobjekt berührt und betätigt.
In einem Schritt ST17 kann die Betriebs-ECU 20 die Feststellung treffen, ob die Abgabe der Stimulation beendet werden soll. Beispielsweise in einem Fall, in dem das Stoppen der Stimulationsabgabe in dem Inhalt angewiesen wird, oder in einem Fall, in dem der Inhalt beendet werden soll, kann die Betriebs-ECU 20 die Feststellung treffen, dass die Abgabe der Stimulation beendet werden soll, und sie kann den in 6 dargestellten Prozessablauf beenden. Ansonsten kann die Betriebs-ECU 20 den Prozessablauf zum Fortfahren mit einem Schritt ST18 veranlassen.
In dem Schritt ST18 kann die Betriebs-ECU 20 als Betätigungsbestimmungseinheit 52 eine nächste Betätigung durch den Insassen gegenüber dem Bildobjekt beispielsweise auf der Basis eines neuen Bilds der Stereokamera 63 in der Betätigungsdetektionseinrichtung 44 nach der Ausführung des Schrittes ST11 feststellen und die Betätigungsinformation aktualisieren. Die Betriebs-ECU 20 kann die festgestellte Betätigungsinformation an die Bilderzeugungseinheit 51 und die Stimulationsantwort-Abgabeeinheit 53 abgeben.
In einem Schritt ST19 kann die Betriebs-ECU 20 als Stimulationsantwort-Abgabeeinheit 53 den Inhalt der Stimulation auf der Basis der aktualisierten Betätigungsinformation variieren. Genauer gesagt, es kann die Betriebs-ECU 20 einen Stimulationstyp, mit dem die Betätigungsstelle des Insassen zu beaufschlagen ist, auf der Basis der aktualisierten Betätigungsinformation auswählen. Ferner kann die Betriebs-ECU 20 eine Abgabeposition und -intensität der Stimulation vorgeben, ein Ultraschallelement 65 oder die Vielzahl von Ultraschallelementen 65 zum Abgeben von Ultraschallwellen auswählen sowie das elektrische Signal an die Stimulationsabgabeeinrichtung 45 abgeben.
Die Stimulationsabgabeeinrichtung 45 kann die Ultraschallwellen, die der Abgabeintensität der Stimulation von den ausgewählten Ultraschallelementen 65 entsprechen, in Richtung auf die Betätigungsstelle des Insassen in einem Zustand abgeben, in dem sich diese mit dem Bildobjekt in Kontakt befindet. Dem Insassen kann eine Änderung in dem taktilen Gefühl auf der Basis der aktualisierten Stimulation vermittelt werden, die durch die Betätigung aktualisiert wird, dass der Insasse das Bildobjekt berührt.
In einem Schritt ST20 aktualisiert die Betriebs-ECU 20 als Bilderzeugungseinheit 51 das zu projizierendes Bild auf der Basis der aktualisierten Betätigungsinformation. Die Betriebs-ECU 20 kann ein dreidimensionales Modell generieren, das aus von außerhalb bezogenen Inhaltsdaten verarbeitet wird, und kann Bilddaten zur Projektion aus dem verarbeiteten dreidimensionalen Modell generieren. Die Betriebs-ECU 20 kann die aktualisierten Bilddaten für die Projektion an die 3D-Bild-Projektionseinrichtung 43 abgeben.
Die 3D-Bild-Projektionseinrichtung 43 projiziert das Bild auf der Basis der aktualisierten Bilddaten für die Projektion in einen Raum (d.h. in eine vorbestimmte Anzeigeregion) innerhalb des Fahrgastraums 3. Auf diese Weise kann das vor den Insassen projizierte Bild mit dem dreidimensionalen Modell zu einem Bild aktualisiert werden, das verformt oder verlagert ist, so dass es der Betätigung der Betätigungsstelle durch den Insassen gegenüber dem Bildobjekt entspricht. Anschließend kann die Betriebs-ECU 20 den Prozessablauf zum Rücksprung zu dem Schritt ST17 veranlassen.
Die Betriebs-ECU 20 kann die Prozesse von dem Schritt ST17 bis zu dem Schritt ST20 wiederholen, bis in dem Schritt ST17 festgestellt wird, dass die Abgabe der Stimulation beendet werden soll. Während dieser sich wiederholenden Prozesse kann die Betriebs-ECU 20 den Prozess zum Ändern des Stimulationsinhalts gegenüber der Betätigungsstelle des Insassen sowie den Prozess zum Aktualisieren des projizierten Bilds in Reaktion auf die Betätigung durch den Insassen gegenüber dem Bildobjekt wiederholen.
Wenn das projizierte Bild in Reaktion auf die Betätigung aktualisiert ist, kann die Betriebs-ECU 20 somit die Abgabe einer taktilen Stimulation durch ein Ultraschallfeld derart variieren, dass diese dem auf diese Weise aktualisierten projizierten Bild entspricht.
7 zeigt ein Ablaufdiagramm zur Erläuterung eines Ablaufs eines Prozesses zum Ändern eines Stimulationsinhalts in dem Schritt ST19 der 6.
In einem Schritt ST31 kann die Betriebs-ECU 20 als Stimulationsantwort-Abgabeeinheit 53 auf der Basis der aktualisierten Betätigungsinformation feststellen, ob sich eine Distanz von der Betätigungsstelle des Insassen bis zu der Oberfläche des projizierten Bilds im Vergleich zu der Distanz vor der Aktualisierung ändert. Bei der Feststellung, dass sich die Distanz bis zu der Oberfläche des projizierten Bilds nicht ändert (NEIN im Schritt ST31), kann die Betriebs-ECU 20 den in 7 veranschaulichten Prozessablauf beenden.
In diesem Fall erfolgt keine Änderung einer Stimulationsantwort für die taktile Wahrnehmung gegenüber einem Zustand vor der Aktualisierung der Betätigungsinformation. Bei der Feststellung, dass sich die Distanz bis zu der Oberfläche des Bilds ändert (JA im Schritt ST31), kann die Betriebs-ECU 20 den Prozessablauf zum Fortfahren mit einem Schritt ST32 veranlassen.
In dem Schritt ST32 kann die Betriebs-ECU 20 auf der Basis der aktualisierten Betätigungsinformation feststellen, ob die Betätigungsstelle des Insassen mit der Oberfläche des Bildobjekts aufgrund der Änderung der Distanz bis zu der Oberfläche des projizierten Bilds in Kontakt kommt. Bei der Feststellung, dass die Betätigungsstelle auf der Basis der aktualisierten Betätigungsinformation nicht mit der Oberfläche des Bildobjekts in Kontakt kommt (NEIN im Schritt ST32), kann die Betriebs-ECU 20 den Prozessablauf zum Fortfahren mit einem Schritt ST33 veranlassen. Bei der Feststellung, dass die Betätigungsstelle auf der Basis der aktualisierten Betätigungsinformation mit der Oberfläche des Bildobjekts in Kontakt kommt (JA im Schritt ST32), kann die Betriebs-ECU 20 den Prozessablauf zum Fortfahren mit einem Schritt ST34 veranlassen.
Da die Betätigungsstelle des Insassen in dem Schritt ST33 nicht mit der Oberfläche des Bildobjekts in Kontakt gelangt, kann die Betriebs-ECU 20 die Abgabe der Stimulation mit der gleichen Stimulation beibehalten. Ferner kann die Betriebs-ECU 20 die Intensität in Abhängigkeit von der verbleibenden Distanz oder der Tiefe in der aktualisierten Betätigungsinformation variieren. In diesem Fall kann es sich bei der Stimulationsantwort um den gleichen Stimulationstyp wie vor der Aktualisierung handeln, und nur die Intensität desselben kann in Abhängigkeit von der Betätigungsinformation zunehmen oder abnehmen. Anschließend kann die Betriebs-ECU 20 den in 7 veranschaulichten Prozessablauf beenden.
In dem Schritt ST34 kann die Betriebs-ECU 20 feststellen, ob die Betätigungsstelle des Insassen bei der Betätigungsinformation vor der aktualisierten Betätigungsinformation bereits mit dem Bildobjekt in Kontakt gekommen ist. Bei der Feststellung, dass die Betätigungsstelle des Insassen noch nicht mit dem Bildobjekt in Kontakt gelangt ist (NEIN im Schritt ST34), kann die Betriebs-ECU 20 den Prozessablauf zum Fortfahren mit einem Schritt ST35 veranlassen. Bei der Feststellung, dass die Betätigungsstelle des Insassen bereits mit dem Bildobjekt in Kontakt gelangt ist (JA im Schritt ST34), kann die Betriebs-ECU 20 den Prozessablauf zum Fortfahren mit einem Schritt ST36 veranlassen.
Da in dem Schritt ST35 die aktualisierte Betätigungsinformation dieses Mal anzeigt, dass die Betätigungsstelle des Insassen beginnt, mit dem Bildobjekt in Kontakt zu treten, kann die Betriebs-ECU 20 den Stimulationstyp variieren. Die Betriebs-ECU 20 kann auf der Basis der aktualisierten Betätigungsinformation den Stimulationstyp auswählen, mit dem die Betätigungsstelle des Insassen beaufschlagt werden soll.
Weiterhin kann die Betriebs-ECU 20 eine Abgabeposition und -intensität der Stimulation vorgeben, eines oder eine Vielzahl von Ultraschallelementen 65 auswählen, das bzw. die Ultraschallwellen abgeben, sowie ein elektrisches Signal an die Stimulationsabgabeeinrichtung 45 abgeben. Die Stimulationsabgabeeinrichtung 45 kann die der Abgabeintensität der Stimulation entsprechenden Ultraschallwellen von dem einen oder der Vielzahl von auf diese Weise ausgewählten Ultraschallelementen 65 in Richtung auf die Betätigungsstelle des Insassen abgeben, und zwar in einem Zustand, in dem sie sich mit dem Bildobjekt in Kontakt befindet.
Dem Insassen kann ein Gefühl dahingehend vermittelt werden, dass ein Zustand der Betätigung sich von einem Zustand, in dem die Betätigungsstelle nicht mit dem Bildobjekt in Kontakt steht, in einen Zustand ändert, in dem die Betätigungsstelle mit dem Bildobjekt in Kontakt steht, und zwar auf der Basis der veränderten Stimulation als Resultat des Beginns des Kontakts mit dem Bildobjekt. Dem Insassen können die taktilen Wahrnehmungen vor und nach dem Kontakt vermittelt werden. Anschließend kann die Betriebs-ECU 20 den in 7 veranschaulichten Prozessablauf beenden.
In dem Schritt ST36 kann, da die Betätigungsstelle des Insassen bereits mit dem Bildobjekt in Kontakt war, die Betriebs-ECU 20 den gleichen Stimulationstyp fortsetzen. Die Betriebs-ECU 20 kann die Stimulationsabgabeeinrichtung 45 zum Abgeben des gleichen Stimulationstyps mit der entsprechenden Ausgangsdichte der Stimulation auf der Basis der Tiefe des Kontakts veranlassen.
Der Insasse kann ein bestimmtes taktiles Gefühl in Bezug auf einen Zustand erhalten, in dem die Betätigungsstelle mit der Oberfläche des Bildobjekts in Kontakt steht, einen Zustand, in dem die Betätigungsstelle weiter in das Bildobjekt eindringt, oder einen Zustand, in dem die Betätigungsstelle aus dem Bildobjekt heraus gezogen ist. Anschließend kann die Betriebs-ECU 20 den in 7 veranschaulichten Prozessablauf beenden.
8 zeigt ein Ablaufdiagramm zur Erläuterung eines Ablaufs eines Bildaktualisierungsprozesses in dem in 6 veranschaulichten Schritt ST20.
In einem Schritt ST41 kann die Betriebs-ECU 20 als Bilderzeugungseinheit 51 auf der Basis der aktualisierten Betätigungsinformation feststellen, ob die Betätigungsstelle des Insassen mit dem Bildobjekt in Kontakt steht. Bei der Feststellung, dass die Betätigungsstelle des Insassen nicht mit dem Bildobjekt in Kontakt steht (NEIN im Schritt ST41), kann die Betriebs-ECU 20, den in 8 veranschaulichten Prozessablauf beenden. In diesem Fall kann das projizierte Bild gegenüber einem Zustand vor der Aktualisierung der Betätigungsinformation nicht verändert werden. Ansonsten (JA im Schritt ST41), kann die Betriebs-ECU 20 den Prozessablauf zum Fortfahren mit einem Schritt ST42 veranlassen.
In dem Schritt ST42 kann die Betriebs-ECU 20 auf der Basis der aktualisierten Betätigungsinformation feststellen, ob ein Kontaktbereich des Bildobjekts, mit dem die Betätigungsstelle des Insassen in Kontakt ist, in einer vorbestimmten Region liegt. Bei der vorbestimmten Region kann es sich um eine Region handeln, in der das Bild geändert werden kann, d.h. um eine variable Bildregion. Bei der Feststellung, dass es sich bei dem Kontaktbereich des auf diese Weise kontaktierten Bildobjekts um die variable Bildregion handelt (JA im Schritt ST42), kann die Betriebs-ECU 20 den Prozessablauf zum Fortfahren mit einem Schritt ST43 veranlassen. Bei der Feststellung, dass es sich bei dem Kontaktbereich des Bildobjekts nicht um die variable Bildregion handelt (NEIN im Schritt ST42), kann die Betriebs-ECU 20 den Prozessablauf zum Fortfahren mit einem Schritt ST44 veranlassen.
In dem Schritt ST43 kann die Betriebs-ECU 20 das projizierte Bild auf der Basis der aktualisierten Betätigungsinformation derart aktualisieren, dass der Kontaktbereich in Reaktion auf die Betätigung durch den Insassen verformt wird. Die 3D-Bild-Projektionseinrichtung 43 projiziert das Bild auf der Basis der aktualisierten Bilddaten für die Projektion in den Raum im Inneren des Fahrgastraums 3.
Hierdurch kann eine Formgebung des Bildobjekts mit dem vor den Insassen projiziertem dreidimensionalen Modell derart verformt werden, dass dies der Betätigung der Betätigungsstelle des Insassen gegenüber dem Bildobjekt entspricht. Die Formgebung des zu projizierenden Bildobjekts kann in Reaktion auf die Betätigung der kontaktierten Betätigungsstelle variieren. Anschließend kann die Betriebs-ECU 20 den Prozessablauf zum Fortfahren mit einem Schritt ST44 veranlassen.
In dem Schritt ST44 kann die Betriebs-ECU 20 auf der Basis der aktualisierten Betätigungsinformation feststellen, ob eine Notwendigkeit zum Verlagern einer Position oder einer Richtung des Bildobjekts besteht. Bei der Feststellung, dass keine Notwendigkeit zum Verlagern der Position oder der Richtung des Bildobjekts besteht (NEIN im Schritt ST44), kann die Betriebs-ECU 20 den in 8 veranschaulichten Prozessablauf beenden. Bei der Feststellung, dass eine Notwendigkeit zur Verlagerung der Position oder der Richtung des Bildobjekts besteht (JA im Schritt ST44) besteht, kann die Betriebs-ECU 20 den Prozessablauf zum Fortfahren mit einem Schritt ST45 veranlassen.
In dem Schritt ST45 kann die Betriebs-ECU 20 auf der Basis der aktualisierten Betätigungsinformation das projizierte Bild aktualisieren, so dass das Bildobjekt in Reaktion auf die Betätigung der kontaktierten Betätigungsstelle verlagert oder gedreht wird. Die 3D-Bild-Projektionseinrichtung 43 projiziert das Bild auf der Basis der aktualisierten Bilddaten für die Projektion in den Raum im Inneren des Fahrgastraums 3.
Auf diese Weise kann die Position oder die Richtung des vor den Insassen projizierten Bildobjekts mit dem dreidimensionalen Modell derart aktualisiert werden, dass es der Betätigung der Betätigungsstelle des Insassen gegenüber dem Bildobjekt entspricht. Die Position oder die Richtung des projizierten Bildobjekts kann in Reaktion auf die Betätigung der kontaktierten Betätigungsstelle variiert werden. Anschließend kann die Betriebs-ECU 20 den in 8 veranschaulichten Prozessablauf beenden.
Bei der Betriebs-ECU 20 in der berührungsfreien Betriebsvorrichtung 40 der zweiten exemplarischen Ausführungsform kann durch diese Prozesse die Antwort auf die Betätigung gegenüber dem Bildobjekt in einer derartigen Weise erzielt werden, dass die visuelle Wahrnehmung und die taktile Wahrnehmung folgendermaßen koordiniert werden.
Beispielsweise kann die Betriebs-ECU 20 das projizierte Bild in Abhängigkeit von dem durch die Betätigungsstelle des Insassen betätigten Kontaktbereich auf der Basis einer Verformung des Kontaktbereichs des Bildobjekts, einer Verlagerung bzw. Bewegung des Bildobjekts oder einer Kombination davon aktualisieren. In einem Fall, in dem das projizierte Bild derart aktualisiert wird, dass der Kontaktbereich des Bildobjekts verformt wird, kann die Betriebs-ECU 20 ein Abgabeniveau einer taktilen Stimulation durch ein Ultraschallfeld oder eine Abgabeweise derselben auf der Basis der gleichen Betätigungsinformation wie für die Aktualisierung des Bilds variieren.
Ferner kann in einem Fall, in dem das projizierte Bild zur Verlagerung des Bildobjekts aktualisiert wird, die Betriebs-ECU 20 einen Abgabebereich oder eine Abgabeposition der taktilen Stimulation durch das Ultraschallfeld in der gleichen Richtung wie eine Bewegungsrichtung verlagern. Beispielsweise kann die Betriebs-ECU 20 das Bildobjekt sowie die Abgabe der Stimulation entlang einer Richtung bewegen, in der sich die Betätigungsstelle des Insassen bewegt. Weiterhin kann die Betriebs-ECU 20 das Bildobjekt und die Abgabe der Stimulation um einen Betrag bewegen, der auf einer Geschwindigkeit basiert, mit der sich die Betätigungsstelle des Insassen bewegt.
Weiterhin kann die Betriebs-ECU 20 eine andere Stimulation in Abhängigkeit von dem Kontaktbereich oder einer Region in dem projizierten Bild abgeben, die von der Betätigungsstelle des Insassen betätigt wird. Der Kontaktbereich kann auf der Basis der projizierten Position des Bildobjekts und der Betätigungsinformation festgestellt werden. Außerdem kann die Betriebs-ECU 20 eine andere Stimulation in Abhängigkeit von der Richtung und der Geschwindigkeit abgeben, mit der sich die Betätigungsstelle des Insassen bewegt.
Die Richtung und die Geschwindigkeit können auf der Basis der Betätigungsinformation festgestellt werden. Die Betriebs-ECU 20 kann auch eine andere Stimulation in Abhängigkeit von einer Geste des Insassen zu einem Zeitpunkt abgeben, zu dem der Insasse das Bildobjekt berührt. Beispielsweise kann die Betriebs-ECU 20 den Typ der taktilen Stimulation in Abhängigkeit von einer Änderung einer Formgebung durch eine Aktualisierung des projizierten Bilds von der taktilen Stimulation vor der Änderung der Formgebung in die taktile Stimulation nach der Änderung der Formgebung variieren.
Weiterhin kann die Betriebs-ECU 20 das Abgabeniveau der taktilen Stimulation in Abhängigkeit von einer Änderung in einem Kontaktausmaß zwischen der Betätigungsstelle des Insassen und dem Bildobjekt auf der Basis der Aktualisierung des projizierten Bilds von einer taktilen Stimulation vor der Aktualisierung des Bilds in eine taktile Stimulation nach der Aktualisierung des Bilds erhöhen oder vermindern.
Als nächstes wird ein konkretes Beispiel einer Kombination zwischen einem in einen Raum in dem Fahrgastraum 3 zu projizierenden Bild und einer Betätigung sowie eine Antwort gegenüber dem Bild beschrieben.
Konkretes Beispiel 1
Die Betriebs-ECU 20 projiziert mittels der 3D-Bild-Projektionseinrichtung 43 ein 3D-Bild eines Hundes in einen Raum an einem Armaturenbrett des Fahrgastraums 3.
Ein Insasse kann versuchen, seine Hand zu dem projizierten Bild an dem Armaturenbrett auszustrecken, um den Hund, bei dem es sich um ein Bildobjekt des 3D-Bilds handelt, mit seiner Handfläche zu streicheln. Im Folgenden kann das Bildobjekt des 3D-Bilds auch als „3D-Bildobjekt“ bezeichnet werden.
Die Betriebs-ECU 20 detektiert die Handfläche des Insassen mittels der Betätigungsdetektionseinrichtung 44 und kann eine Position und eine Bewegung der den Hund aus dem 3D-Bild streichelnden Handfläche auf der Basis einer Position einer Oberfläche des Hundes aus dem 3D-Bild feststellen.
Die Betriebs-ECU 20 kann die Stimulationsabgabeeinrichtung 45 zum Abgeben von Ultraschallwellen in Richtung auf die festgestellte Handfläche veranlassen, um eine Stimulation auf die Handfläche auszuüben, um dadurch auf Betätigungsinformation hinsichtlich einer Streichelbewegung der Handfläche zu reagieren. Außerdem kann die Betriebs-ECU 20 die Tonabgabeeinrichtung 46 veranlassen, ein Bellen des Hundes von dieser abzugeben.
Ferner kann die Betriebs-ECU 20 die 3D-Bild-Projektionseinrichtung 43 veranlassen, das projizierte 3D-Bildobjekt von dem Hund auf der Basis der gleichen Betätigungsinformation zu variieren. Die Betriebs-ECU 20 kann das projizierte Bild in Abhängigkeit von einem Kontaktbereich des Bildobjekts aktualisieren, mit dem sich die Handfläche in Kontakt befindet. Die Betriebs-ECU 20 kann das aktuell projizierte 3D-Bild von dem Hund in Reaktion auf den Kontakt mit dem Kontaktbereich in ein 3D-Bild variieren. Beispielsweise kann die Betriebs-ECU 20 das zu projizierende 3D-Bild von dem Hund derart aktualisieren, dass es sich in einer Betätigungsrichtung der Handfläche des Insassen bewegt.
Es ist darauf hinzuweisen, dass in dem Steuerungsablauf die Betriebs-ECU 20 eine Stimulation auf der Basis des Kontakts mit der Handfläche ausführen kann und damit Ultraschallwellen von der Stimulationsabgabeeinrichtung 45 an die Handfläche abgeben kann, wenn sich die Handfläche des Insassen dem Hund innerhalb einer vorbestimmten Distanz auf der Basis einer Oberfläche des projizierten Hundes annähert.
In diesem Fall kann die Betriebs-ECU 20 die Stimulationsabgabeeinrichtung 45 derart steuern, dass mit abnehmendem Abstand von der Handfläche des Insassen zu der Oberfläche des Bildobjekts die von der Stimulationsabgabeeinrichtung 45 abgegebene Stimulation in Richtung auf die Handfläche umso größer wird. Die Stimulation kann an der Oberfläche des Bildobjekts auf das Maximum eingestellt sein.
Auf diese Weise kann die Betriebs-ECU 20 die Betätigung gegenüber dem Bildobjekt durch die Handfläche des Insassen detektieren und das 3D-Bild des Hundes sowie eine Stimulationsantwort auf eine taktile Wahrnehmung in Reaktion auf die Betätigung aktualisieren, so dass das 3D-Bild von dem Hund und die Stimulationsantwort miteinander synchronisiert werden. Das 3D-Bild und ein Klangfeld können synchronisiert und abgegeben werden.
Konkretes Beispiel 2
Die Betriebs-ECU 20 projiziert mittels der 3D-Bild-Projektionseinrichtung 43 ein 3D-Bild von einer Figur in einen Raum innerhalb des Fahrgastraums 3.
Ein Insasse kann versuchen, seine Hand zu dem projizierten Bild auszustrecken und einen Bauch der Figur in dem 3D-Bild mit einem oder mehreren Fingern zu drücken.
Die Betriebs-ECU 20 detektiert die Finger des Insassen mittels der Betätigungsdetektionseinrichtung 44 und kann Positionen und die Bewegung der Finger auf der Basis einer Oberflächenposition eines 3D-Bildobjekts feststellen.
Die Betriebs-ECU 20 kann das 3D-Bildobjekt der projizierten Figur derart variieren, dass es auf Betätigungsinformation über die festgestellte Bewegung zum Drücken des Bauches mit dem Finger reagiert. Die Betriebs-ECU 20 kann das 3D-Bildobjekt in dem Bild derart variieren, dass ein von dem Finger gedrückter Kontaktbereich eingedrückt ist.
Zugleich kann die Betriebs-ECU 20 die Stimulationsabgabeeinrichtung 45 zum Abgeben von Ultraschallwellen in Richtung auf eine Fingerspitze auf der Basis der gleichen Betätigungsinformation veranlassen, um eine Stimulation auf diese aufzubringen. Die Betriebs-ECU 20 kann ein Abgabeniveau der Ultraschallwellen in Abhängigkeit von einer Eindringtiefe der Fingerspitze (einem Eindrückausmaß des Bilds) von der Oberflächenposition des Bildobjekts auf der Basis einer ursprünglichen Oberflächenposition vor dem Drücken des Bauches des 3D-Bilds erhöhen und kann die Stimulationsabgabeeinrichtung 45 zum Abgeben der Ultraschallwellen von dieser veranlassen. Hierdurch kann dem Finger des Insassen ein taktiles Gefühl vermittelt werden, als ob das Bildobjekt durch den Finger elastisch verformt wird.
Konkretes Beispiel 3
Die Betriebs-ECU 20 projiziert mittels der 3D-Bild-Projektionseinrichtung ein 3D-Bild einer Figur in einen Raum innerhalb des Fahrgastraums 3. Die Figur kann eine harte Stelle und eine weiche Stelle aufweisen.
Es ist darauf hinzuweisen, dass Polygondaten z.B. einen Parameter für Qualität eines jeweiligen Bereichs in einem zu projizierenden Bild als ein Attribut aufweisen können. Ferner kann die Betriebs-ECU 20 die Qualität eines jeweiligen Bereichs mittels eines solchen Verfahrens wie KI-Verarbeitung in Abhängigkeit von einer Position eines jeweiligen Bereichs in einem 3D-Modell in unabhängiger Weise bestimmen.
Ein Insasse kann versuchen, seine Hand zu dem projizierten Bild auszustrecken und eine vorbestimmte Position der Figur in dem 3D-Bild mit seinem Finger zu drücken.
Die Betriebs-ECU 20 detektiert den Finger des Insassen mittels der Betätigungsdetektionseinrichtung 44 und bestimmt eine Position und Bewegung des Fingers auf der Basis einer Oberflächenposition eines 3D-Bildobjekts.
Die Betriebs-ECU 20 kann das 3D-Bildobjekt der projizierten Figur in Reaktion auf Betätigungsinformation über die festgestellte Bewegung, bei der die vorbestimmte Position mit dem Finger gedrückt wird, variieren.
Wenn es sich dabei bei einer von dem Finger gedrückten Stelle in dem Bildobjekt um die harte Stelle handelt, kann die Betriebs-ECU 20 das 3D-Bildobjekt der projizierten Figur derart ändern, dass das gesamte 3D-Bild der mit dem Finger gedrückten Figur in einer Betätigungsrichtung des Fingers bewegt wird. Die Betriebs-ECU 20 kann das 3D-Bildobjekt der Figur zu einer Bewegung um einen Bewegungsbetrag veranlassen, der auf einer Geschwindigkeit und einem Drückausmaß durch den Finger basiert.
In einem Fall, in dem die von dem Finger gedrückte Stelle in dem Bildobjekt die weiche Stelle ist, kann ähnlich wie bei dem konkreten Beispiel 2 die Betriebs-ECU 20 das 3D-Bildobjekt der projizierten Figur derart variieren, dass ein von dem Finger gedrückter Kontaktbereich in der Betätigungsrichtung des Fingers eingedrückt wird. Die Betriebs-ECU 20 kann eine Verformung des 3D-Bildobjekts an der entsprechenden Stelle um ein Eindrückausmaß veranlassen, das auf der Geschwindigkeit und dem Ausmaß der Drückbetätigung durch den Finger basiert.
Zugleich kann die Betriebs-ECU 20 die Stimulationsabgabeeinrichtung 45 zum Abgeben von Ultraschallwellen in Richtung auf eine Fingerspitze auf der Basis der gleichen Betätigungsinformation veranlassen, um eine Stimulation auf diese aufzubringen.
In einem Fall, in dem es sich bei der von dem Finger gedrückten Stelle in dem Bildobjekt um die harte Stelle handelt, kann die Betriebs-ECU 20 die Stimulationsabgabeeinrichtung 45 auf der Basis einer vorherigen Oberflächenposition des 3D-Bildobjekts zum Abgeben der Ultraschallwellen nur an die Fingerspitzenstelle veranlassen. Die abgegebenen Ultraschallwellen können in Abhängigkeit von einem Penetrationsausmaß der Fingerspitze ausgehend von einer Oberflächenposition des Bildobjekts rasch ansteigen.
Wenn es sich bei der von dem Finger gedrückten Stelle in dem Bildobjekt um die weiche Stelle handelt, kann die Betriebs-ECU 20 die Stimulationsabgabeeinrichtung 45 auf der Basis der vorherigen Oberflächenposition des 3D-Bilds zum Abgeben von Ultraschallwellen an die gesamten Finger veranlassen. Die abgegebenen Ultraschallwellen können in Abhängigkeit von dem Penetrationsausmaß der Fingerspitze ausgehend von der Oberflächenposition des Bildobjekts langsam ansteigen.
Hierdurch wird es möglich, dem Insassen eine Textur eines jeweiligen Bereichs des projizierten Bilds durch eine taktile Wahrnehmung des Fingers zu vermitteln.
Wenn z.B. ein harter Bereich der projizierten Figur betätigt wird, kann die Figur stark mit einer hohen Geschwindigkeit bewegt werden, während sie mit einer geringen Vertiefung verformt wird. Zu diesem Zeitpunkt kann die Betriebs-ECU 20 eine Stimulation auf der Basis dieser Verformung und Bewegung nur an die Fingerspitze des Insassen abgeben.
Wenn ein weicher Bereich der projizierten Figur betätigt wird, kann der Kontaktbereich der Figur des 3D-Bilds geringfügig mit einer geringen Geschwindigkeit bewegt werden, während er derart verformt wird, dass er eine große Vertiefung aufweist. Die Betriebs-ECU 20 kann auf der Basis dieser Verformung und Bewegung eine Stimulation an die gesamten Finger des Insassen abgeben.
Durch Wechseln der Verformung und der Bewegung des Bildobjekts auf der Basis des Kontaktbereichs des Insassen gegenüber dem 3D-Bildobjekt und der Bewegung des Fingers (einschließlich einer Betätigungsrichtung, einer Betätigungsgeschwindigkeit und einem Betätigungsausmaß) sowie ferner durch Wechseln der Stimulation zum Differenzieren der taktilen Wahrnehmung kann der Insasse somit einen Unterschied der Textur des jeweiligen Bereichs des projizierten Bilds erkennen.
Konkretes Beispiel 4
Die Betriebs-ECU 20 projiziert mittels der 3D-Bild-Projektionseinrichtung 43 ein 3D-Bild eines Kopfes einer Figur in einen Raum im Inneren des Fahrgastraums 3.
Es ist darauf hinzuweisen, dass Polygondaten ein Attribut eines jeweiligen Bereichs, wie z.B. Augen, Nase, Mund, Ohren, Wangen oder Haar des Kopfes in dem zu projizierenden Bild aufweisen können. Ferner kann die Betriebs-ECU 20 die Textur eines jeweiligen Bereichs durch ein solches Verfahren, wie etwa eine KI-Verarbeitung in Abhängigkeit von einer Position eines jeweiligen Bereichs in einem 3D-Modell in unabhängiger Weise feststellen.
Ein Insasse kann versuchen, seine Hand zu dem projizierten Bild auszustrecken und den Kopf des 3D-Bilds mit seiner Handfläche zu berühren.
Die Betriebs-ECU 20 detektiert die Handfläche des Insassen mittels der Betätigungsdetektionseinrichtung 44 und kann eine Position und Bewegung der Handfläche auf der Basis einer Oberflächenposition eines 3D-Bildobjekts feststellen.
Die Betriebs-ECU 20 kann das 3D-Bildobjekt des Kopfes der projizierten Figur in Reaktion auf Betätigungsinformation über die festgestellte Bewegung der Handfläche variieren.
In einem Fall z.B., in dem der Insasse mit der Handfläche über das Haar streicht, kann die Betriebs-ECU 20 das Bild von dem gestreichelten Haar derart aktualisieren, dass das Haar in einer gekrümmten Oberfläche entlang einer Oberfläche des Kopfes in Abhängigkeit von der Bewegung der Handfläche wellig wird.
Ferner kann in einem Fall, in dem der Insasse die Wange mit dem Finger drückt, die Betriebs-ECU 20 das Bild derart aktualisieren, dass die gedrückte Wange eingedrückt ist.
Zugleich kann die Betriebs-ECU 20 die Stimulationsabgabeeinrichtung 45 zum Abgeben von Ultraschallwellen in Richtung auf die Handfläche oder den Finger auf der Basis der gleichen Betätigungsinformation veranlassen, um eine Stimulation darauf aufzubringen.
In einem Fall, in dem der Insasse mit der Handfläche entlang der Oberfläche (d.h. der gekrümmten Oberfläche) des Kopfes über das Haar streicht, kann die Betriebs-ECU 20 die Stimulationsabgabeeinrichtung 45 zum Abgeben der schwach schwankenden Ultraschallwellen in Richtung auf die gesamte Handfläche veranlassen. Hierdurch kann dem Insassen ein glattes und trockenes taktiles Gefühl von dem welligen Haar vermittelt werden.
In einem Fall, in dem der Insasse eine Stelle der Wange mit dem Finger im Wesentlichen rechtwinklig zu der Oberfläche des Kopfes drückt, kann die Betriebs-ECU 20 die Stimulationsabgabeeinrichtung 45 zum Abgeben von starken Ultraschallwellen, die zunehmen während sie in Abhängigkeit von einem Penetrationsausmaß von einer Oberflächenposition der Wange variieren, in Richtung auf die Fingerspitze des Insassen auf der Basis einer ursprünglichen Oberflächenposition des Kopfes veranlassen. Die Ultraschallwellen können derart abgegeben werden, dass sie ein beklemmendes Gefühl auf den gesamten Umfang der Fingerspitze aufbringen.
Die Ultraschallwellen können in Abhängigkeit von dem Volumen des Fingers oder der Handfläche, das in das Bildobjekt eindringt, stufenlos verstärkt werden. Die Ultraschallwellen können in Abhängigkeit von einer Änderung in einer Formgebung des Bildobjekts geändert werden. Hierdurch kann dem Insassen ein taktiles Gefühl dahingehend vermittelt werden, dass die Wange durch das Drücken mit dem Finger eingedrückt wird.
Durch Differenzieren der Stimulation gegenüber der Handfläche oder dem Finger in Abhängigkeit von einem Kontaktbereich des Insassen mit dem Kopf der Figur sowie einer Kombination aus der Kontaktgeschwindigkeit und einer Kontaktrichtung kann dem Insassen somit ein taktiles Gefühl dahingehend vermittelt werden, als ob der Insasse einen echten Kopf berühren würde.
Die Betriebs-ECU 20 kann Muster, in die eine Vielzahl von Gesten (Betätigungsweisen) für die jeweiligen Bereiche des Kopfes klassifiziert sind, von dem Speicher 47 beziehen und einen Typ der Betätigung durch den Insassen gegenüber dem jeweiligen Bereich des Kopfes auf der Basis dieser Muster feststellen. Ferner kann die Betriebs-ECU 20 die Kontaktbereiche, wie Haut, Kleidung oder eine Vorrichtung zusätzlich zu einem jeweiligen Bereich des Kopfes klassifizieren.
Weiterhin kann die Betriebs-ECU 20 z.B., jedoch nicht ausschließlich, eine Periode zum Abgeben der Ultraschallwellen oder eine Verminderungsrate der Ultraschallwellen in Abhängigkeit von der Geste, wie z.B. der Betätigungsweise, differenzieren. Hierdurch wird es möglich, eine Weise zum Aktualisieren der Stimulation zwischen schnellem Kontakt und langem Kontakt zu differenzieren.
Als starke und kurze Stimulation, wie z.B. Schlagen, kann als Antwort eine Stimulation abgegeben werden, die wie ein Impuls stark zunimmt oder abnimmt. Als schwache und lange Stimulation, wie z.B. Streicheln, kann als Antwort eine Stimulation abgegeben werden, die leicht zunimmt oder langsam abnimmt.
Durch Wechseln der Verformung und der Bewegung des Bildobjekts auf der Basis des Kontaktbereichs der Handfläche oder des Fingers des Insassen mit dem 3D-Bild von dem Kopf der Figur sowie der Bewegung der Handfläche (einschließlich einer Betätigungsrichtung, einer Betätigungsgeschwindigkeit und einem Betätigungsausmaß) sowie ferner durch Wechseln der Stimulation zum Differenzieren der taktilen Wahrnehmung kann somit der Insasse eine Differenz in der Textur eines jeweiligen Bereichs des projizierten Bilds sowie dem Inhalt der Betätigung erkennen.
Konkretes Beispiel 5
Die Betriebs-ECU 20 projiziert mittels der 3D-Bild-Projektionseinrichtung 43 ein 3D-Bild von einem Arm einer Figur in einen Raum innerhalb des Fahrgastraums 3.
Es ist darauf hinzuweisen, dass Polygondaten ein Attribut des zu projizierenden Bilds, wie z.B. einen Bewegungsbereich des Arms aufweisen können. Ferner kann die Betriebs-ECU 20 das Attribut des jeweiligen Bereichs durch ein solches Verfahren wie KI-Verarbeitung in Abhängigkeit von einer Position des jeweiligen Bereichs in einem 3D-Modell in unabhängiger Weise bestimmen.
Ein Insasse kann versuchen, seine Hand zu einem projizierten Bild auszustrecken sowie den Arm der Figur in dem 3D-Bild zu bewegen, während er den Arm mit seiner Hand hält. Die Betriebs-ECU 20 detektiert die Hand des Insassen mittels der Betätigungsdetektionseinrichtung 44 und kann eine Position und Bewegung der Hand auf der Basis einer Oberflächenposition eines 3D-Bildobjekts bestimmen.
Die Betriebs-ECU 20 kann das 3D-Bildobjekt von dem Arm der projizierten Figur in Reaktion auf Betätigungsinformation über die festgestellte Bewegung der Hand variieren.
In einem Fall z.B., in dem der Insasse den Arm der Figur bewegt, während er den Arm mit der Hand hält, kann die Betriebs-ECU 20 das projizierte Bild in Abhängigkeit von der Position und der Bewegung der Hand aktualisieren, um das Bild von dem Arm der Figur zu bewegen. Die Betriebs-ECU 20 kann das projizierte Bild derart aktualisieren, dass sich das Bild des Arms innerhalb des Bewegungsbereichs des Arms bewegt.
Zugleich kann die Betriebs-ECU 20 die Stimulationsabgabeeinrichtung 45 zum Abgeben von Ultraschallwellen in Richtung auf den Kopf auf der Basis der gleichen Betätigungsinformation veranlassen, um eine Stimulation auf diesen aufzubringen.
Beispielsweise in einem Fall, in dem der Insasse den Arm der Figur innerhalb des Bewegungsbereichs bewegt, kann die Betriebs-ECU 20 die Stimulationsabgabeeinrichtung 45 zum Abgeben der Ultraschallwellen auf der Basis des Gewichts des Arms oder des Widerstands gegen das Festhalten des Arms in Richtung auf die Hand abgeben. Hierdurch kann dem Insassen ein taktiles Gefühl vermittelt werden, als ob der Insasse den Arm mit dem Gewicht hält oder den Widerstand leistenden Arm hält.
In einem Fall, in dem der Insasse den Arm der Figur über den Bewegungsbereich des Arms hinaus bewegt, kann die Betriebs-ECU 20 die Stimulationsabgabeeinrichtung 45 zum Abgeben von Ultraschallwellen in Richtung auf die Hand veranlassen, die größer sind als diejenigen, die innerhalb des Bewegungsbereichs abgegeben werden. Auf diese Weise kann dem Insassen ein taktiles Gefühl mit einer starken Reaktionskraft vermittelt werden, die in einem Fall wirkt, in dem der Arm zwangsweise über den Bewegungsbereich hinaus bewegt wird.
Durch Wechseln der Verformung und der Bewegung des Bildobjekts auf der Basis eines Kontaktbereichs des Insassen mit dem Arm der Figur und der Bewegung der Hand (einschließlich einer Betätigungsrichtung, eine Betätigungsgeschwindigkeit und einem Betätigungsausmaß) sowie ferner durch Wechseln der Stimulation zur Differenzierung des taktilen Gefühls ist es dem Insassen somit möglich, einen Unterschied in der Textur der jeweiligen Bereiche des Bilds sowie des Inhalts der Betätigung zu erkennen.
Konkretes Beispiel 6
Die Betriebs-ECU 20 projiziert mittels der 3D-Bild-Projektionseinrichtung 43 ein 3D-Bild einer Figur oder eines strukturellen Objekts in einen Raum innerhalb des Fahrgastraums 3. Die Figur kann z.B., jedoch nicht ausschließlich, eine Person oder ein Tier sein, von der ein Teil durch Drücken mit einem Finger eingedrückt werden kann. Das strukturelle Objekt kann z.B., jedoch nicht ausschließlich, ein Schalter sein, der selbst durch Drücken mit dem Finger nicht eingedrückt werden kann.
Es ist darauf hinzuweisen, dass Polygondaten ein Attribut eines Typs, wie z.B. die Figur oder das strukturelle Objekt in dem zu projizierenden Bild aufweisen können. Außerdem kann die Betriebs-ECU 20 den Typ durch ein solches Verfahren, wie etwa eine KI-Verarbeitung auf der Basis eines 3D-Modells in unabhängiger Weise bestimmen.
Ein Insasse kann versuchen, seine Hand zu dem projizierten Bild auszustrecken sowie einen vorbestimmten Bereich von einem vorbestimmten Typ von Bildobjekt mit seinem Finger zu drücken.
Die Betriebs-ECU 20 detektiert den Finger des Insassen mittels der Betätigungsdetektionseinrichtung 44 und kann eine Position und Bewegung des Fingers auf der Basis einer Oberflächenposition eines 3D-Bildobjekts bestimmen.
Die Betriebs-ECU 20 kann das 3D-Bildobjekt der projizierten Figur in Abhängigkeit von dem Typ des projizierten Bilds in Reaktion auf Betätigungsinformation hinsichtlich der festgestellten Bewegung des Fingers variieren.
Beispielsweise in einem Fall, in dem der Insasse die angezeigte Figur mit dem Finger drückt, kann die Betriebs-ECU 20 das projizierte Bild aktualisieren, so dass eine Betätigungsstelle des 3D-Bildobjekts der Figur in Abhängigkeit von der Position und Bewegung des Fingers eingedrückt wird.
In einem Fall, in dem der Insasse das strukturelle Objekt, wie z.B. den angezeigten Schalter, mit dem Finger drückt, kann die Betriebs-ECU 20 das projizierte Bild derart aktualisieren, dass die Betätigungsstelle des 3D-Bildobjekts, bei dem es sich um das strukturelle Objekt handelt, nicht in Abhängigkeit von der Position und der Bewegung des Fingers eingedrückt wird. Die Betriebs-ECU 20 kann das projizierte Bild aktualisieren, so dass z.B., jedoch nicht ausschließlich, eine Farbe des Schalters verändert wird. In diesem Fall kann eine das 3D-Bildobjekt betätigende Fingerspitze auf eine Rückseite von einer Oberfläche des 3D-Bildobjekts gelangen.
Wenn die Fingerspitze auf die Rückseite von der Oberfläche des 3D-Bildobjekts gelangt, kann die Betriebs-ECU 20 eine interne Struktur des strukturellen Objekts als ein Gerüst unter Abschattung der Farbe des Schalters anzeigen, so dass diese halbdurchlässig wird. Die Betriebs-ECU 20 kann das 3D-Bildobjekt des strukturellen Objekts in Reaktion auf die Bewegung des Fingers bewegen.
Zugleich kann die Betriebs-ECU 20 die Stimulationsabgabeeinrichtung 45 zum Abgeben von Ultraschallwellen in Richtung auf den Finger auf der Basis der gleichen Betätigungsinformation veranlassen, um eine Stimulation auf diesen aufzubringen.
Wenn z.B. der Insasse die angezeigte Figur mit dem Finger drückt, kann die Betriebs-ECU 20 die Stimulationsabgabeeinrichtung 45 zum Abgeben von Ultraschallwellen mit einer Intensität auf der Basis eines Ausmaßes, in dem der Finger nach innen gelangt, in Richtung auf die Umgebung der Fingerspitze veranlassen, und zwar auf der Basis einer ursprünglichen Projektionsposition der Figur.
In einem Fall, in dem der Insasse das strukturelle Objekt, wie z.B. den angezeigten Schalter, mit dem Finger drückt, kann die Betriebs-ECU 20 die Stimulationsabgabeeinrichtung 45 zum Abgeben von Ultraschallwellen mit einer feststehenden Intensität in Richtung auf die Fingerspitze veranlassen.
Durch Wechseln eines Verfahrens zum Verformen des Bildobjekts in Abhängigkeit von dem Typ des durch das 3D-Bild zu projizierenden Objekts sowie ferner durch Wechseln der Stimulation zur Differenzierung des taktilen Gefühls, ist es dem Insassen somit möglich, eine Differenz in einem Betätigungsgefühl in Abhängigkeit von dem Typ des zu projizierenden Objekts zu erkennen.
Wie vorstehend bei den exemplarischen Ausführungsformen gemäß der Erfindung beschrieben ist, kann dann, wenn der Insasse eine Betätigung gegenüber dem in den Raum im Inneren des Fahrgastraums 3 projizierten Bildobjekt ausführt, die Betriebs-ECU 20 der berührungsfreien Betriebsvorrichtung 40 das projizierte Bild auf der Basis der Betätigungsinformation aktualisieren und die Ultraschallwellen an die Betätigungsstelle abgeben, sowie einen Ton abgeben oder beides abgeben. Dadurch wird es für den Insassen, der die berührungsfreie Betätigung gegenüber dem in den Raum im Inneren des Fahrgastraums 3 projizierten Bildobjekt ausführt, möglich, eine Antwort bzw. Reaktion auf der Basis des Betätigungsinhalts durch die visuelle Wahrnehmung, die taktile Wahrnehmung und die akustische Wahrnehmung zu erhalten, so dass sich ihm ein echtes Betätigungsgefühl vermittelt.
Eine derartige berührungsfreie Betriebsvorrichtung 40 ist nicht nur in der Lage, eine vorteilhafte Nutzer-Schnittstelle durch das Bildobjekt des Betätigungselements für den Insassen zur Verfügung zu stellen, der z.B. in einem entspannten Zustand in dem Fahrgastraum 3 liegt, wie dies in 1C dargestellt ist, sondern sie kann auch für einen Fall geeignet sein, in dem ein hoher Unterhaltungsgehalt für den Insassen angegeben werden soll. Der Nutzer, wie z.B. der Insasse, kann eine andere Antwort bzw. Reaktion in Abhängigkeit von dem Betätigungsinhalt erhalten, so dass der Nutzer die Möglichkeit hat, in fortwährender Weise eine Vielzahl von Betätigungen auszuführen, während ihm ein tatsächliches Gefühl für jede der Betätigungen vermittelt wird.
Vorstehend sind spezielle exemplarische Ausführungsformen beschrieben worden; jedoch stellen die beschriebenen exemplarischen Ausführungsformen lediglich Beispiele dar und schränken den Umfang der Erfindung nicht ein. Es können verschiedene Arten von Modifikationen oder Änderungen vorgenommen werden, ohne dass man den Umfang der Erfindung verlässt.
Beispielsweise ist bei den vorstehend beschriebenen exemplarischen Ausführungsformen die berührungsfreie Betriebsvorrichtung 40 in einem Fahrzeug, wie dem Fahrzeug 1, vorgesehen.
Weiterhin kann die berührungsfreie Betriebsvorrichtung 40 z.B. in der Nähe von Möbeln oder von dem Nutzer genutzten elektrischen Haushaltsgeräten in Assoziierung mit diesen vorgesehen sein. Außerdem kann die berührungsfreie Betriebsvorrichtung 40 als separate Vorrichtung in Bezug auf das Fahrzeug, die Möbel oder die elektrischen Haushaltsgeräte vorgesehen sein und kann mit jeglichen von dem Fahrzeug, den Möbeln oder den elektrischen Haushaltsgeräten z.B. von dem Nutzer selbst verknüpft und installiert werden.
Bei der berührungsfreien Betriebsvorrichtung 40 gemäß einer exemplarischen Ausführungsform der Erfindung, wie sie vorstehend erläutert wurde, generiert die Bilderzeugungseinheit 51 das das Bildobjekt enthaltende Bild, das durch die 3D-Bild-Projektionseinrichtung in den Raum im Inneren des Fahrgastraums 3 des Fahrzeugs 1 projiziert wird, und die 3D-Bild-Projektionseinrichtung 43 projiziert das generierte Bild in die vorbestimmte Anzeigeregion innerhalb des Fahrgastraums 3 des Fahrzeugs 1.
Weiterhin detektiert die Betätigungsdetektionseinrichtung 44, die zum Detektieren einer Betätigung durch den Insassen ausgebildet ist, die Betätigungsstelle des Insassen, an der die berührungsfreie Betätigung gegenüber dem in die vorbestimmte Anzeigeregion innerhalb des Fahrgastraums 3 projizierten Bildobjekt ausgeführt wird. Die Stimulationsantwort-Abgabeeinheit 53 und die Stimulationsabgabeeinrichtung 45 geben als Antwort auf die Betätigung durch den Insassen die taktile Stimulation durch das Ultraschallfeld an die Betätigungsstelle des Insassen ab, an der die Betätigung gegenüber dem in die vorbestimmte Anzeigeregion projizierten Bildobjekt ausgeführt wird.
Wenn also der Insasse die berührungsfreie Betätigung gegenüber dem in den Raum im Inneren des Fahrgastraums 3 projizierten Bildobjekt ausführt, wird die taktile Stimulation durch das Ultraschallfeld als Antwort auf die Betätigung an die Betätigungsstelle abgegeben, an der die Betätigung ausgeführt wird.
Auf diese Weise kann dem Insassen ein tatsächliches Gefühl vermittelt werden, als ob der Insasse tatsächlich die Betätigung gegenüber dem in den Raum im Inneren des Fahrgastraums 3 projizierten Bildobjekt ausführt. Der Insasse kann das Bildobjekt betätigen und dabei ein Gefühl haben, als ob er die Betätigung tatsächlich ausführen würde.
Bei einer exemplarischen Ausführungsform kann die Bilderzeugungseinheit 51 als „Erzeugungseinheit“ dienen. Bei einer exemplarischen Ausführungsform kann das Fahrzeug 1 als „Fahrzeug“ dienen. Bei einer exemplarischen Ausführungsform kann die 3D-Bild-Projektionseinrichtung 43 als „Projektionseinrichtung“ dienen. Bei einer exemplarischen Ausführungsform kann die Betätigungsdetektionseinrichtung 44 als „Detektionseinrichtung“ dienen. Bei einer exemplarischen Ausführungsform können die Stimulationsantwort-Abgabeeinheit 53 und die Stimulationsabgabeeinrichtung 45 als „Stimulationsantwort-Abgabeeinheit“ dienen.
Außerdem betätigt der Insasse das Bildobjekt, das mit der Betätigungsstelle in dem Raum im Inneren des Fahrgastraums 3 nicht wirklich in Kontakt ist. Somit muss der Insasse das strukturelle Objekt nicht direkt berühren und betätigen, im Unterschied zu der Innenfläche des Fahrgastraums 3 oder dem Betätigungselement, wie z.B. der Handhabe 5. Es besteht keine Notwendigkeit, irgendein Betätigungselement vorzusehen, das durch die Betätigungsstelle in dem eigentlichen Raum im Inneren des Fahrgastraums 3 direkt berührt werden kann.
Somit kann die Bedienbarkeit für den Insassen gegenüber dem Bildobjekt verbessert werden, ohne dass irgendein Betätigungselement, das von der Betätigungsstelle des Insassen direkt betätigt wird, in der Nähe des Insassen neu angeordnet wird.
Durch Variieren des projizierten Bildobjekts (als Betätigungselement) ist z.B. ein Wechsel bzw. Umschalten zwischen Betätigungstafeln möglich, die geeignet für eine Betätigung der jeweiligen Vielzahl von Einrichtungen projiziert werden können.
Insbesondere führen bei der berührungsfreien Betriebsvorrichtung 40 gemäß einer exemplarischen Ausführungsform der Erfindung die Bilderzeugungseinheit 51, die Stimulationsantwort-Abgabeeinheit 53 und die Stimulationsabgabeeinrichtung 45 eine Aktualisierung des Bildobjekts sowie die Abgabe der taktilen Stimulation in Abhängigkeit von der Betätigungsinformation über die Betätigungsstelle des Insassen aus, wie diese von der Betätigungsdetektionseinrichtung 44 detektiert und von der Betätigungsbestimmungseinheit 52 festgestellt wird.
Wenn z.B. die Bilderzeugungseinheit 51 das projizierte Bild in Reaktion auf die Betätigung durch den Insassen aktualisiert, kann die Stimulationsantwort-Abgabeeinheit 53 die Abgabe der taktilen Stimulation durch das Ultraschallfeld derart variieren, dass diese dem zu aktualisierenden projizierten Bild entspricht.
Wenn eine Oberflächenform oder eine Oberflächenposition des Bildobjekts auf der Basis der Aktualisierung der Bilddaten verändert wird, kann die Stimulationsantwort-Abgabeeinheit 53 eine Weise oder eine Position der Abgabe der taktilen Stimulation durch das Ultraschallfeld auf der Basis der Oberflächenform oder der Oberflächenposition des Bildobjekts nach der Veränderung aktualisieren.
Ferner nehmen die Bilderzeugungseinheit 51 und die Stimulationsantwort-Abgabeeinheit 53 eine Aktualisierung der Bilddaten bzw. die Abgabe der taktilen Stimulation in Abhängigkeit von der Betätigungsinformation über die Betätigungsstelle des Insassen vor, wie diese durch die Betätigungsdetektionseinrichtung 44 detektiert wird, die zum Detektieren der Betätigungsstelle des Insassen ausgebildet ist, an der die berührungsfreie Betätigung gegenüber dem in den Raum im Inneren des Fahrgastraums 3 projizierten Bildobjekt ausgeführt wird, und wie diese durch die Betätigungsbestimmungseinheit 52 festgestellt wird.
Die taktile Stimulation kann in Abhängigkeit von dem eigentlichen Bild oder einer Veränderung in dem Bildobjekt variiert werden. Beispielsweise kann die Variation in der taktilen Stimulation der Variation in dem Bildobjekt entsprechen. Es ist weniger wahrscheinlich, dass dem Insassen ein sonderbares Gefühl aufgrund einer Differenz oder einer Diskrepanz zwischen einem Gefühl, das er von einer visuellen Wahrnehmung erhalten hat, und einem Gefühl, dass er von einer taktilen Wahrnehmung erhalten hat, vermittelt wird.
Bei der berührungsfreien Betriebsvorrichtung 40 gemäß einer exemplarischen Ausführungsform der Erfindung werden somit, selbst nachdem der Insasse eine erste Betätigung gegenüber dem Bildobjekt ausgeführt hat, das Bildobjekt und die taktile Stimulation in Reaktion auf die Betätigung durch den Insassen derart verändert, dass sie miteinander synchronisiert werden.
Während einer Betätigung, nachdem die Betätigung gegenüber dem Bildobjekt gestartet ist, kann der Insasse die Betätigung gegenüber dem Bildobjekt fortsetzen, das sich in Abhängigkeit von der Betätigung ändert, während dem Insassen ein Gefühl vermittelt wird, als ob er das Bildobjekt, das sich in Abhängigkeit von der Betätigung verändert, tatsächlich betätigen würde.
Durch das Ändern des Bildobjekts und der taktilen Wahrnehmung, so dass das Bildobjekt und die taktile Wahrnehmung miteinander synchronisiert sind, kann der Insasse die Betätigung fortsetzen, während er das tatsächliche Betätigungsgefühl erhält, obwohl der Insasse mit der Betätigung eines Bildobjekts (als Betätigungselement) fortfährt, das nicht wirklich im Luftraum vorhanden ist.
Im Gegensatz dazu kann in einem Fall, in dem die Änderung in dem Bildobjekt und die Änderung in der taktilen Wahrnehmung derart aktualisiert werden, dass sie nicht miteinander synchronisiert werden, ein Insasse ein Bildobjekt betätigen, während ihm ein tatsächliches Gefühl in Bezug auf eine erste Betätigung gegenüber dem Bildobjekt vermittelt wird. Jedoch ist es für den Insassen schwierig, das Bildobjekt zu betätigen, während ihm das tatsächliche Gefühl im Hinblick auf nachfolgende Betätigungen vermittelt wird.
Die Fahr-ECU 11, die Lenk-ECU 12, die Brems-ECU 13, die ECU 14 für autonomes Fahren/Fahrunterstützung, die Fahrbetriebs-ECU 15, die Detektions-ECU 16, die Klimaanlagen-ECU 17, die Insassenüberwachungs-ECU 18, die ECU 19 für externe Kommunikation, die Betriebs-ECU 20, die System-ECU 21 sowie die berührungsfreie Betriebsvorrichtung 40, die in 2 dargestellt sind, sind jeweils durch Schaltungseinrichtungen implementierbar, die zumindest eine integrierte Halbleiterschaltung, wie z.B. zumindest einen Prozessor (z.B. eine zentrale Verarbeitungseinheit (CPU)), zumindest eine anwendungsspezifische integrierte Schaltung (ASIC) und/oder zumindest eine feldprogrammierbare Gate-Anordnung (FPGA) aufweisen.
Zumindest ein Prozessor kann durch Lesen von Anweisungen von zumindest einem maschinenlesbaren, nichtflüchtigen, greifbaren Medium zum Ausführen von allen oder einem Teil der Funktionen der jeweiligen ECUs 11 bis 21 sowie der berührungsfreien Betriebsvorrichtung 40 konfiguriert werden. Ein solches Medium kann in zahlreichen Formen vorliegen, die einen beliebigen Typ eines magnetischen Mediums, wie z.B. eine Festplatte, einen beliebigen Typ eines optischen Mediums, wie z.B. eine CD und eine DVD, einen beliebigen Typ eines Halbleiterspeichers (d.h. eine Halbleiterschaltung), wie z.B. einen flüchtigen Speicher und einen nichtflüchtigen Speicher, aufweisen.
Der flüchtige Speicher kann einen DRAM und einen SRAM aufweisen, und der nichtflüchtige Speicher kann einen ROM und einen NVRAM aufweisen. Bei dem ASIC handelt es sich um eine kundenspezifische integrierte Schaltung (IC) und bei dem FPGA um eine für die Konfiguration nach der Herstellung ausgebildete integrierte Schaltung zum Ausführen von allen oder einem Teil der Funktionen der jeweiligen ECUs 11 bis 21 sowie der berührungsfreien Betriebsvorrichtung 40, die in 2 dargestellt sind.
Vorstehend sind zwar exemplarische Ausführungsformen der Erfindung anhand eines Beispiels unter Bezugnahme auf die Begleitzeichnungen beschrieben worden, jedoch ist die Erfindung keineswegs auf die vorstehend beschriebene exemplarische Ausführungsform beschränkt. Es versteht sich, dass Modifikationen und Änderungen von Fachleuten vorgenommen werden können, ohne dass man den Umfang der Erfindung verlässt, wie er durch die nachfolgenden Ansprüche definiert ist. Die Erfindung soll derartige Modifikationen und Änderungen mit umfassen, sofern diese im Umfang der beigefügten Ansprüche oder deren Äquivalenten liegen.
Bezugszeichenliste

1: Fahrzeug
2: Fahrzeugkarosserie
3: Fahrgastraum
4: Sitz
5: Handhabe
6: Schalthebel
7: Bremspedal
8: Gaspedal
10: Steuerungssystem
11: Fahr-ECU
12: Lenk-ECU
13: Brems-ECU
14: ECU für autonomes Fahren/Fahrunterstützung
15: Fahrbetriebs-ECU
16: Detektions-ECU
17: Klimaanlagen-ECU
18: Insassenüberwachungs-ECU
19: ECU für externe Kommunikation
20: Betriebs-ECU
21: System-ECU
26: Fahrzeugnetzwerk (internes Netzwerk)
27: zentrales Gateway
31: Geschwindigkeitssensor
32: Beschleunigungssensor
33: Außenkamera
34: Innenkamera
40: berührungsfreie Betriebsvorrichtung
41: fahrzeuginterne Kommunikationseinheit
42: Zeitgeber
43: Projektionseinrichtung
44: Betätigungsdetektionseinrichtung
45: Stimulationsabgabeeinrichtung
46: Tonabgabeeinrichtung
47: Speicher
51: Bilderzeugungseinheit
52: Betätigungsbestimmungseinheit
53: Stimulationsantwort-Abgabeeinheit
54: Tonantwort-Abgabeeinheit
61: Anzeigeschirm
62: Halbspiegel
63: Stereokamera
64: Rahmenkörper
65: Ultraschallelement
80: Transportsystem
81: Kommunikationsbasisstation
82: weiteres Fahrzeug
83: Servereinrichtung
91: Batterie

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2019060596 [0001]
JP 2017027401 A [0007, 0022, 0023]

Claims

Berührungsfreie Betriebsvorrichtung (40) für ein Fahrzeug (1), die Folgendes aufweist: - eine Erzeugungseinheit (51), die zum Erzeugen und Aktualisieren eines Bilds ausgebildet ist, das ein Bildobjekt enthält; - eine Projektionseinrichtung (43), die dazu ausgebildet ist, das Bild in eine vorbestimmte Anzeigeregion im Inneren eines Fahrgastraums (3) eines Fahrzeugs (1) zu projizieren; - eine Detektionseinrichtung (44), die dazu ausgebildet ist, eine Betätigungsstelle eines Insassen zu detektieren, die sich in der Nähe der vorbestimmten Anzeigeregion in dem Fahrgastraum (3) befindet; - eine Stimulationsabgabeeinrichtung (45), die zum Abgeben einer taktilen Stimulation auf der Basis eines Ultraschallfelds an die Betätigungsstelle des Insassen ausgebildet ist; - eine Bestimmungseinheit (52), die für die Bestimmung ausgebildet ist, ob an der von der Detektionseinrichtung (44) detektierten Betätigungsstelle des Insassen eine berührungsfreie Betätigung gegenüber dem Bildobjekt ausgeführt wird, um dadurch ein Bestimmungsresultat als Betätigungsinformation abzugeben; und - eine Stimulationsantwort-Abgabeeinheit (53), die dazu ausgebildet ist, die Stimulationsabgabeeinrichtung (45) auf der Basis des Bestimmungsresultats zu veranlassen, die taktile Stimulation an die Betätigungsstelle des Insassen als Antwort auf die Betätigung abzugeben, wobei der Insasse die berührungsfreie Betätigung gegenüber dem Bildobjekt ausführt, - wobei die Erzeugungseinheit (51) und die Stimulationsantwort-Abgabeeinheit (53) dazu ausgebildet sind, das Bildobjekt zu aktualisieren bzw. die taktile Stimulation in Abhängigkeit von der Betätigungsinformation abzugeben.
Betriebsvorrichtung (40) nach Anspruch 1, wobei die Stimulationsantwort-Abgabeeinheit (53) dann, wenn die Erzeugungseinheit (51) das Bild in Abhängigkeit von der Betätigungsinformation aktualisiert, dazu ausgebildet ist, die Stimulationsabgabeeinrichtung (45) zum Variieren der Abgabe der taktilen Stimulation auf der Basis des Ultraschallfelds in Abhängigkeit von dem aktualisierten Bild zu veranlassen.
Betriebsvorrichtung (40) nach Anspruch 1 oder 2, wobei die Erzeugungseinheit (51) dazu ausgebildet ist, das Bild unter Verformung eines Kontaktbereichs des Bildobjekts, einer Bewegung des Bildobjekts oder einer Kombination davon in Abhängigkeit von dem durch die Betätigungsstelle des Insassen betätigten Kontaktbereich des Bildobjekts zu aktualisieren, wobei die Stimulationsantwort-Abgabeeinheit (53) dazu ausgebildet ist, die Stimulationsabgabeeinrichtung (45) zum Variieren der Abgabe der taktilen Stimulation auf der Basis des Ultraschallfelds in einem Fall zu veranlassen, in dem die Erzeugungseinheit (51) das Bild unter Verformung des Kontaktbereichs des Bildobjekts aktualisiert, und wobei die Stimulationsantwort-Abgabeeinheit (53) dazu ausgebildet ist, die Stimulationsabgabeeinrichtung (45) zum Verlagern der Abgabe der taktilen Stimulation auf der Basis des Ultraschallfelds in der gleichen Richtung wie einer Bewegungsrichtung des Bilds zu veranlassen, wenn die Erzeugungseinheit (51) das Bild unter Bewegung des Bildobjekts aktualisiert.
Betriebsvorrichtung (40) nach Anspruch 3, wobei die Erzeugungseinheit (51) und die Stimulationsantwort-Abgabeeinheit (53) dazu ausgebildet sind, das Bildobjekt bzw. die Abgabe der taktilen Stimulation entlang einer Richtung zu bewegen, in der sich die Betätigungsstelle des Insassen bewegt.
Betriebsvorrichtung (40) nach Anspruch 3 oder 4, wobei die Erzeugungseinheit (51) und die Stimulationsantwort-Abgabeeinheit (53) dazu ausgebildet sind, das Bildobjekt bzw. die Abgabe der taktilen Stimulation um einen Betrag zu bewegen, der auf einer Geschwindigkeit basiert, mit der sich die Betätigungsstelle des Insassen bewegt.
Betriebsvorrichtung (40) nach einem der Ansprüche 3 bis 5, wobei die Stimulationsantwort-Abgabeeinheit (53) dazu ausgebildet ist, die Stimulationsabgabeeinrichtung (45) zum Abgeben eines anderen Typs einer taktilen Stimulation in Abhängigkeit von einem oder mehreren der Faktoren zu veranlassen, dass der Kontaktbereich des Bildobjekts durch die Betätigungsstelle des Insassen betätigt wird, eine Richtung, in der sich die Betätigungsstelle des Insassen bewegt, sowie eine Geschwindigkeit, mit der sich die Betätigungsstelle des Insassen bewegt.
Betriebsvorrichtung (40) nach einem der Ansprüche 1 bis 6, wobei die Stimulationsantwort-Abgabeeinheit (53) dazu ausgebildet ist, in Abhängigkeit von der Änderung einer Formgebung des Bildobjekts auf der Basis einer Aktualisierung des Bilds durch die Erzeugungseinheit (51) einen Typ der von der Stimulationsabgabeeinrichtung (45) abgegebenen taktilen Stimulation von der taktilen Stimulation vor der Änderung der Formgebung in eine taktile Stimulation nach der Änderung der Formgebung zu ändern.
Betriebsvorrichtung (40) nach einem der Ansprüche 1 bis 7, wobei die Stimulationsantwort-Abgabeeinheit (53) dazu ausgebildet ist, in Abhängigkeit von der Änderung eines Kontaktausmaßes zwischen der Betätigungsstelle des Insassen und dem Bildobjekt auf der Basis der Aktualisierung des Bilds durch die Erzeugungseinheit (51) ein Abgabeniveau der von der Stimulationsabgabeeinrichtung (45) abgegebenen taktilen Stimulation von der taktilen Stimulation vor der Aktualisierung des Bilds in die taktile Stimulation nach der Aktualisierung des Bilds zu erhöhen oder zu reduzieren.
Betriebsvorrichtung (40) nach einem der Ansprüche 1 bis 8, die ferner Folgendes aufweist: - eine Tonabgabeeinrichtung (46), die zum Abgeben eines Tons in den Fahrgastraum (3) ausgebildet ist; und - eine Tonantwort-Abgabeeinheit (54), die dazu ausgebildet ist, die Tonabgabeeinrichtung (46) in Abhängigkeit von einer Bewegung der Betätigungsstelle des Insassen gegenüber dem Bildobjekt, einem Kontaktbereich des Bildobjekts oder beiden davon zum Abgeben eines anderen Tons zu veranlassen, wobei das Bildobjekt in den Fahrgastraum (3) projiziert wird.
Fahrzeug (1), das Folgendes aufweist: - eine berührungsfreie Betriebsvorrichtung (40) nach einem der Ansprüche 1 bis 9; - eine Steuereinrichtung, die mit der berührungsfreien Betriebsvorrichtung (40) durch ein internes Netzwerk (26) gekoppelt sind, wobei die Steuereinrichtung zum Steuern eines Betriebsvorgangs des Fahrzeugs (1) ausgebildet ist; und - eine Kommunikationseinrichtung, die durch das interne Netzwerk (26) mit der berührungsfreien Betriebsvorrichtung (40) gekoppelt ist, wobei die Kommunikationseinrichtung dazu ausgebildet ist, mit einer äußeren Umgebung des Fahrzeugs (1) zu kommunizieren, wobei die berührungsfreie Betriebsvorrichtung (40) dazu ausgebildet ist, von der Kommunikationseinrichtung empfangenen Inhalt als Bild zu projizieren.