CN104731319A - 车辆中的具有触觉反馈的基于姿势的输入系统 - Google Patents

车辆中的具有触觉反馈的基于姿势的输入系统 Download PDF

Info

Publication number
CN104731319A
CN104731319A CN201410795247.7A CN201410795247A CN104731319A CN 104731319 A CN104731319 A CN 104731319A CN 201410795247 A CN201410795247 A CN 201410795247A CN 104731319 A CN104731319 A CN 104731319A
Authority
CN
China
Prior art keywords
posture
actuator
haptic effect
passenger
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410795247.7A
Other languages
English (en)
Inventor
D·张
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yi Mosen Co
Immersion Corp
Original Assignee
Yi Mosen Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yi Mosen Co filed Critical Yi Mosen Co
Publication of CN104731319A publication Critical patent/CN104731319A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

一种用于控制车辆系统的系统，其包括触觉致动器、姿势检测设备、控制器以及多个车辆系统。姿势检测设备捕获车辆驾驶员或乘客的移动并输出代表由车辆驾驶员或乘客作出的姿势的数据。控制器被联接至姿势检测设备并从姿势检测设备接收表示姿势的信号。控制器被联接至触觉致动器，并且基于所检测的姿势选择触觉效果并将信号发送至触觉致动器，以提供所选择的触觉效果。控制器还被联接至车辆系统，并且基于所检测的姿势，该控制器将信号发送至车辆系统中的一个，以执行特定动作。车辆系统的特定动作与所选择的触觉效果相匹配。

Description

车辆中的具有触觉反馈的基于姿势的输入系统
技术领域
本发明大致涉及用于车辆的基于姿势的输入系统，并且尤其涉及用于控制车辆系统的基于姿势的输入系统，并且其包括触觉反馈，以向用户提供触觉效果，从而确认基于姿势的输入。
背景技术
车辆继续增加技术以帮助、娱乐车辆的乘客和/或向车辆的乘客提供舒适的环境。例如，但并非通过限制的方式，使用全球定位系统(GPS)的导航系统、环境或气候控制系统(例如HVAC控制)、无线电广播设备、CD播放器、辅助设备播放器、视频屏幕、DVD播放器、电话系统和其他类似系统经常被包含在车辆中。用于这些系统的控制装置以各种形式被提供，例如，但并非通过限制的方式，旋钮、按钮、拨号和触屏。越来越多的控制系统正在被包含在触屏中。使用这些控制装置可能需要驾驶员将他或她的眼睛离开路面，这是危险的。这尤其可能在将显示在屏幕上的虚拟按钮和滑块作为对物理输入的替换的触屏设备的越来越多的使用中出现问题。用户可能通过利用一个或多个手指触摸和/或以其他方式操纵屏幕上的虚拟按钮、滑块、滚动条等来几乎专门地与这种设备交互。因为在虚拟按钮、滑块等之间通常没有物理或“感觉”区别，用户无法像利用例如物理按钮或旋钮那样可能“感觉”虚拟按钮的位置。进一步，屏幕上的图像显示响应于该操纵提供视觉反馈，这就进一步促使驾驶员去看屏幕而非路面。
最近的发展已经考虑到用于车辆系统中的一些的语音控制系统。然而，语音控制系统打断车辆中的乘客，尤其是在以下情况中：用于接收语音指令的麦克风无法精确地接收或理解语音指令，由此将打断车辆中的其他乘客。这导致指令的重复，并且经常使得用户大声喊叫指令，从而扰乱车辆中的其他乘客。进一步，环境噪音(例如车辆的娱乐系统和路面噪音)可能干扰麦克风接收指令。
在基于姿势的交互方面最近已有了一些发展，其中计算机系统能够对用户的姿势或手部运动作出反应。然而，车辆中基于姿势的交互可能不会减轻驾驶员注意力分散的问题，因为驾驶员可能倾向于去看显示器屏幕或其他设备，以确保基于姿势的指令被系统正确地解读。进一步，系统的意外启动需要被避免。因此，期望将基于姿势的输入系统包含在车辆中并以用户(例如驾驶员)不会从驾驶车辆的首要任务中分散注意力的方式提供反馈。
发明内容
本发明的实施例涉及一种用于控制车辆系统的系统，其包括触觉致动器、姿势检测设备、控制器以及多个车辆系统。姿势检测设备捕获车辆驾驶员或乘客的移动并输出代表由车辆驾驶员或乘客作出的姿势的数据。控制器被联接至姿势检测设备并从姿势检测设备接收表示姿势的信号。控制器被联接至触觉致动器，并且基于所检测的姿势选择触觉效果并将信号发送至触觉致动器，以提供所选择的触觉效果。控制器还被联接至车辆系统，并且基于所检测的姿势，该控制器将信号发送至车辆系统中的一个，以执行特定动作。车辆系统的特定动作与所选择的触觉效果相匹配。
本发明的实施例还涉及一种用于控制车辆系统的系统，其包括触觉致动器、姿势检测设备、音频检测设备、控制器以及多个车辆系统。姿势检测设备捕获车辆驾驶员或乘客的移动并输出代表由车辆驾驶员或乘客作出的姿势的数据。音频检测设备从车辆驾驶员或乘客检测语音指令并向控制器输出代表语音指令的数据。控制器被联接至姿势检测设备和音频检测设备并从姿势检测设备接收表示姿势的信号和从音频检测设备接收表示语音指令的信号。控制器被联接至触觉致动器，并且基于所检测的姿势或所检测的语音指令选择触觉效果并将信号发送至触觉致动器，以提供所选择的触觉效果。控制器还被联接至车辆系统，并且基于所检测的姿势或所检测的语音指令，控制器将信号发送至车辆系统中的一个，以执行特定动作。车辆系统的特定动作与所选择的触觉效果相匹配。
附图说明
本发明的前文所述的以及其它的特征和优势将通过下述对示出在附图中的实施例的描述而被表明。包含在本文中并形成说明书一部分的附图进一步起到解释本发明的原理并使得相关领域技术人员能够制造并使用本发明的作用。附图并不按比例绘制。
图1是具有各种系统的车辆的示意图，其示出本发明中基于姿势的输入系统和触觉反馈系统的一个实施例。
图2是图1的车辆的座椅中的一个的示意图。
图3是图1的车辆的驾驶员座椅与前部乘客座椅之间的中心控制台和扶手的示意图。
图4是本发明中基于姿势的输入和触觉反馈系统的一个实施例的框图。
图5是车辆的显示设备的示意图。
图6是本发明中基于姿势和音频的输入和触觉反馈系统的一个实施例的框图。
具体实施方式
本发明的特定实施例现在被参考附图而描述，其中相似附图标记指示相同或功能上相似的元件。下述的详细描述在性质上仅为示例性的，且并不意在限定本发明或本发明的应用和使用。尽管本文中实施例的描述是在车辆中的基于姿势的输入和触觉反馈系统的背景下，本发明也可以被用于其他被认为有用的应用中。进一步，无意受到存在于前述的技术领域、背景技术、发明内容或下述的详细描述中的任何明示的或暗示的原理的约束。
图1是车辆V的内部的示意图。将参照图1-3描述车辆内部的一些典型特征。车辆V包括驾驶员座椅10，其包括头枕12、靠背14以及座椅底座16。乘客侧前座椅20类似地包括头枕22、靠背24以及座椅底座26。驾驶员侧后座椅30包括头枕32、靠背34以及座椅底座36，并且乘客侧后座椅40包括头枕42、靠背44以及座椅底座46。本领域技术人员将意识到，车辆V能够包括更多座椅(如图1中所示)或者更少的座椅。进一步，所有的座椅不需要包括本发明中所描述的全部特征。例如，但并非通过限制的方式，头枕不需要被提供。如本领域中所知晓的，车辆V还包括方向盘18以及被布置在驾驶员座椅10与乘客侧前座椅20之间的扶手28。
车辆V还可以包括电子控制和显示系统50，其被布置在驾驶员座椅10和乘客侧前座椅20之间的仪表盘(front dash)上。电子控制和显示系统50可以与传统的控制和显示系统类似，从而使得其能够被用于控制和显示系统的功能，例如，但并非通过限制的方式，无线电广播、导航系统、车辆天气控制系统、蓝牙系统、附属系统(例如，DVD播放器、CD播放器和移动电话)、信息系统以及本领域技术人员知晓的其他系统。驾驶员侧后部控制和显示系统38可以被连接至驾驶员座椅头枕12并面向驾驶员侧后座椅30。类似地，乘客侧后部控制和显示系统48可以被连接至乘客侧前座椅头枕22并面向乘客侧后座椅40。控制和显示系统38、48可以包括传统的控制和显示系统，以控制和显示系统的功能，例如，但并非通过限制的方式，后部天气系统、后部娱乐系统(例如DVD播放器和CD播放器)、蓝牙系统以及本领域技术人员知晓的其他系统。
控制和显示系统50可以包括照相机或其他姿势输入检测器60，其被配置为检测驾驶员和/或乘客的移动。类似地，控制和显示系统38、48可以分别包括照相机或其他姿势输入检测器39、49，以检测在后座椅30、40中的乘客的移动(如以下将更具体描述的)。尽管照相机60、39、49被显示为与每一控制和显示系统50、38、48相关联，本公开并不限于这一种实施例。相反，如以下将更具体描述的，驾驶员和乘客的姿势被检测和使用所采取的任何方式可以被使用。例如，但并非通过限制的方式，被定位在车辆V的内部中的一些照相机可以跟踪整个车辆内部的移动。这样的一组照相机能够检测乘客中每一个的位置、方向和移动，包括如乘客的手和手指的移动这种细节。本实施例中使用的照相机可以是被用于光学检测的运动捕获照相机。然而，本领域技术人员将理解，其他类型的照相机或检测系统可以被使用，例如，但并非通过限制的方式，红外线、RFID以及电磁的方式。如本领域技术人员将理解的，例如那些被用于运动检测以及在游戏(例如XBOX KinectTM)中处理的系统或者类似系统可以被使用。
图2显示图1的驾驶员座椅10的进一步的细节。尤其，驾驶员座椅10可以包括在驾驶员座椅10的部分中的一个或多个触觉致动器110。在图2所示的实施例中，触觉致动器110被包含在头枕12、靠背14以及座椅底座16中。然而，如本领域技术人员将理解的，触觉致动器110可以被包含在驾驶员座椅10中更多或更少的位置中。触觉致动器110被用于与基于姿势的输入系统结合使用(如以下将更具体描述的)。进一步，尽管图2显示触觉致动器110被包含在驾驶员座椅10中，触觉致动器还可以被包含在乘客座椅20、驾驶员侧后座椅30以及乘客侧后座椅40中，并且尤其是在它们各自的头枕22、32、42、靠背24、34、44以及座椅底座26、36、46中。
图3显示被布置在驾驶员座椅10和乘客座椅20之间的扶手28和中央控制台29的一部分。扶手28可以包括被包含在其中的触觉致动器110。进一步，中央控制台29可以包括照相机或其他姿势输入检测器62。在姿势输入检测器62被用在中央控制台29中的情况中，其可以代替照相机60。进一步，照相机或姿势输入检测器62可能包括有限的视野，从而使得用户需要在照相机62的附近执行姿势。这种情况可能是理想的，从而使得用户的无意的移动不会作为控制车辆系统的姿势被检测。而且，将照相机或姿势输入检测器62从显示系统50中分离从心理上训练用户，以将姿势与看显示器分开。由此，驾驶员更可能关注路面而不是去看显示器50，这也将得到以下更具体地描述的触觉反馈系统的帮助。
触觉致动器110可以被提供在车辆V的其他常见接触表面中。例如，但并非通过限制的方式，方向盘18可以包括触觉致动器110(如图1所示)。进一步，其他表面(例如门扶手、后乘客座椅之间的扶手、安全带以及车辆的地板)可以包括触觉致动器110。进一步，触觉致动器可以被提供在可以由车辆V的驾驶员或乘客佩戴的对象或物品中。例如，但并非通过限制的方式，触觉致动器110可以被提供在手套、帽子、项链、腕带或手镯以及驾驶员或乘客可以佩戴的其他类似物品中，从而使得触觉效果由驾驶员或乘客直接感觉到。
在一个实施例中，触觉致动器110可以是振动触觉设备，其在致动器110所在的对象上产生振动，例如，在座椅10、20、30、40的部分内、在扶手28、方向盘18或可佩带对象等上。其他类型的触觉反馈可以被提供。例如，但并非通过示例的方式，触觉致动器110可以向用户提供静电摩擦或超声摩擦。其他类型的触觉反馈可以被产生并被提供给用户，包括动觉反馈(例如，主动力或阻力反馈)、变形和/或其他类型的触觉反馈(例如纹理)。如图1-3中所示，多个触觉致动器可以被包含在车辆V的不同区域中，用于向不同的用户提供触觉效果或者提供触觉效果以表达不同的事件(如以下将更具体描述的)。触觉致动器110可以包括电磁马达、质量偏心旋转(“ERM”)致动器(其中偏心质量被马达移动)、线性共振(“LRA”)致动器(其中被连接至弹簧的质量被往复驱动)、形状记忆合金、电活性聚合物(其响应于信号变形)、用于改变刚度的机构、振动触觉致动器、惯性致动器、压电致动器、动磁致动器或其他合适类型的致动设备。
图4显示基于姿势的输入和触觉反馈系统100的实施例的框图以及用于使用该系统100的流程图。尤其，姿势输入方框102代表由车辆的用户(例如驾驶员)作出的姿势。可以预期，这种姿势是由用户作出的手和/或手指的姿势。其他姿势也可以被使用。当姿势由用户作出时，相机或其他姿势检测器60检测由用户作出的姿势。如上所述，姿势检测器60可以是单个的照相机、多个照相机或者被配置为检测用户的位置、方向和移动的其他设备。
当照相机或姿势检测器60检测到姿势时，其将信号发送至姿势输入控制器/转换器104。姿势输入控制器/转换器104将照相机信号转换成姿势信号并将该信号传输至计算机/控制器106。例如，但并非通过限制的方式，照相机60可以提供以所检测的手/手指的位置、运动的速度/方向的形式的数据以及关于用户手/手指的位置、方向和移动的其他数据。姿势输入控制器/转换器104将这一数据转换成来自可能的姿势的表格的特定姿势。例如，但并非通过限制的方式，可能的姿势可以包括以特定方向的手摆动、手指向左、向右、向上或向下移动、手/手指旋转、手指捏紧/展开(pinch/unpinch)、迅速摆动、手指向照相机移动以及本领域技术人员知晓的其他姿势。如果需要，精密的姿势检测系统可以检测独立的手指，从而使得例如食指作出的移动可以通过移动与小手指作出的移动区分。然而，交互式触觉反馈系统的使用(如以下将更具体描述的)考虑到系统可能不需要识别或区分移动中的细小变化。因此，低成本姿势识别系统能够与交互式触觉反馈系统结合使用。
在姿势输入控制器/转换器104转换数据之后，姿势信号被发送至计算机/控制器106。本领域技术人员将意识到，姿势输入控制器/转换器104可以与计算机/控制器106结合。在图4所示的实施例中，当计算机/控制器106接收姿势信号时，计算机/控制器106处理数据，以将信号提供给三个不同的设备。尤其，计算机/控制器106将姿势信号与选自触觉表格108的触觉效果相匹配。例如，但并非通过限制的方式，如果触觉效果大致为振动效果，特定振动效果根据程度、振幅、频率和/或持续时间被选择。进一步，如果基于姿势的输入系统容许从多个用户输入，计算机/控制器106选择该触觉效果将被递送至哪个用户。进一步，在一个实施例中，不同的触觉致动器110可以被选择用于独立的用户。例如，但并非通过限制的方式，驾驶员座椅10的头枕12中的触觉致动器110的激活可以与驾驶员座椅10的座椅底座16中的触觉致动器110的激活具有不同的反馈含义。实质上，计算机/控制器106选择信号将被发送至哪个触觉致动器110。由此，计算机/控制器106从触觉表格108选择特定触觉效果，并且选择该效果将被应用于哪个特定触觉致动器110。所选择的触觉效果的信号之后被发送至所选择的触觉致动器110。
同时，计算机/控制器106将信号发送至显示器50，以显示进行的动作。例如，但并非通过限制的方式，如果用户选择图标(例如，无线电广播、导航、气候等)，计算机/控制器106将信号发送至显示器50，用于使所选择的图标突出显示。进一步，与所选择的图标相关联的任何子菜单将被显示。例如，但并非通过限制的方式，图5显示具有主菜单52和子菜单54的示例显示。如以下将更具体描述的，姿势可以被解读为在主菜单52上选择天气控制图标(如图5所示)。在这种选择下，计算机/控制器106将信号发送至显示器，以突出显示天气控制图标(如图5所示)。在天气控制图标被选择的情况下，与天气控制相关联的子菜单54出现。类似地，如果主菜单52上其他图标中的任何一个被选择，与主菜单上的该图标相关联的子菜单将出现。
进一步，如果由用户作出的姿势被用于控制特定系统，计算机/控制器106还将信号发送至车辆系统112，以执行所选择的控制。例如，但并非通过限制的方式，选择主菜单52的天气图标时，如果增加驾驶员侧温度的姿势被照相机60识别并且如上所述的被处理，例如，计算机/控制器106将信号发送至车辆的天气控制系统，以增加通过驾驶员侧排风口吹入的空气温度。在另一示例中，如果无线电广播图标从主菜单52被选择并且用于增大音量的特定姿势被识别，计算机/控制器106将信号发送至无线电广播控制系统112，以增大音量。这种信号将被发送至其他车辆控制系统112，例如CD播放器、导航系统、电话、DVD播放器、游戏系统或其他车辆系统或子系统、或被联接至车辆系统的附属系统。进一步，本领域技术人员将意识到，尽管显示器50独立地与其他车辆系统区别，显示器50仍是车辆系统中的一个并且不需要独立地被区别。为方便起见，其在本说明书中被独立地区别，因为一些动作仅仅导致对显示器的动作(例如突出显示图标)，而其他动作或者仅仅导致其他车辆系统上的动作，或者导致对其他车辆系统和显示器的动作。
因此，上述触觉反馈能够被用于确认或描述根据基于姿势的输入所进行的动作。在一个实施例中，如以下表1中所总结的以及参照系统(例如图5中所示的系统)所描述的，车辆V的驾驶员作出姿势，该姿势被照相机60监测。尽管以下示例参照作出姿势的驾驶员以及由驾驶员感觉的下述特定触觉效果来描述，本领域技术人员将意识到，类似的姿势可以由车辆中的乘客作出，使得这种姿势可以由照相机60或其他照相机检测并且该触觉效果可以被提供给作出该姿势的乘客。当然，本领域技术人员还将意识到，在一些实施例中，仅仅车辆的驾驶员感知触觉反馈，而乘客可以接收其他类型的反馈(例如声音或视觉反馈)，因为乘客不需要关注路面。然而，在与车辆中的娱乐系统(例如游戏系统或影像系统)交互时，乘客可能期望触觉效果，以增强他们的体验。
在参照表1所描述的特定示例中，驾驶员摆动他或她的手/手指，以唤醒该系统。因此，计算机/控制器106发送信号，以从表格108选择短振动的触觉效果，并将其发送至与驾驶员相关联的触觉致动器110(例如在驾驶员座椅10中)。感觉到短振动时，驾驶员可以开始移动手指或手，以穿过主菜单52。当驾驶员移动手指/手时，轻微持续振动警告驾驶员显示器50上的指针正在移动经过屏幕。当指针到达主菜单52上可选择的区域(例如天气图标)时，振动的强度被提升至中度持续振动。驾驶员能够通过捏紧他或她的手指选择图标。识别出姿势时，计算机/控制器106将发送信号，以从触觉效果表格108选择多次短振动，并将这种振动的信号发送至与驾驶员相关联的触觉致动器110。同时，信号被发送至显示器50以突出显示天气图标并在子菜单54上显示天气子菜单选项(如图5中所示)。触觉效果容许用户知晓该图标已经被选择。为了进一步避免需要驾驶员看显示器50，当驾驶员激活该系统时，显示器50可以总是开始于某一图标。这容许用户变得习惯于图标被选择的顺序。例如，如果显示器50总是以无线电广播图标开始，驾驶员知晓，当驾驶员感觉到第四个中度持续振动时，指针在天气图标上。可能有很多其他变化，用于容许驾驶员意识到特定图标被选择。例如，但并非通过限制的方式，每一图标能够被指定以其自身的触觉效果，例如通过特定效果或该效果被驾驶员感觉到的位置。例如，但并非通过限制的方式，当无线电广播图标被选择时，触觉效果可以通过驾驶员座椅10的头枕12中的触觉致动器110被递送，而当天气图标被选择时，触觉效果可以通过驾驶员座椅10的座椅底座14中的触觉致动器被递送。当然，根据所控制的系统的数量，其他变化将很可能是必要的。例如，但并非通过限制的方式，与声音相关联的每一图标可于与被递送至头枕12中的触觉致动器110的触觉效果相关联，每一图标具有其自身的触觉效果，例如针对无线电广播的一次振动、针对CD播放器的两次振动以及针对电话的三次振动。类似地，天气图标的选择可能导致座椅底座12的一次振动，并且导航图标的选择可能导致座椅底座14的两次振动。类似地，如果所有触觉效果通过单个触觉致动器被递送，则触觉效果的变化可以被用于在图标之间区分。
一旦图标已经从主菜单52被选择并且所选择的系统的子菜单54已经出现(如上所述)，驾驶员可以作出进一步的姿势，以控制子菜单54上所显示的所选择的系统。由此，在图5和表1中所提供的示例中，在选择天气图标时，驾驶员可以以通过如以上针对主菜单52所述的类似方式沿子菜单54的顶部栏移动手指，以选择项目，并且恰当的触觉效果被提供。例如，但并非通过限制的方式，基于在子菜单54的顶部栏中“自动”的选择，驾驶员可以顺时针旋转他或她的手以增加温度以及逆时针旋转他或她的手以降低温度，其与旋转拨号盘或旋钮类似。当这种姿势被照相机60识别时，计算机/控制器106发送信号，以从触觉效果表格108选择具有递增的振幅的持续振动的触觉效果，并且这种效果的信号被发送至与感觉该效果的驾驶员相关联的触觉致动器110。同时，信号被发送至显示器50，以突出显示温度滑动中的向上箭头并增加所显示的温度设置。而且，信号被发送至车辆天气控制系统，以将温度设置到所选择的温度。
表1
本领域技术人员将意识到，以上说明书和表1提供的仅仅是能够使用的姿势和触觉效果类型的示例。类似的姿势和触觉效果能够被用于控制其他车辆系统。进一步，不同的姿势和触觉效果可以被使用。姿势识别和触觉效果反馈系统所期望的目的是容许驾驶员或乘客用简单的方法来控制车辆系统，而不需要可能分散驾驶员注意力的触碰或者看显示器，并且在充分的触觉效果反馈下，驾驶员或乘客感到舒适，从而使得所期望的动作响应于姿势指令发生。进一步，提供这种触觉反馈能够被用于增强驾驶员和/乘客的体验。
进一步，尽管上述实施例涉及具有触觉效果反馈的基于姿势的输入系统，本领域技术人员将意识到，检测先进的姿势可能是昂贵的。因此，以下图6和表12显示了一个实施例，其中基于姿势的输入和音频输入被结合，触觉效果反馈被用于确认指令(如以上实施例中)。尤其，图6显示基于姿势和音频的输入和反馈系统200的一个实施例的框图以及用于使用该系统200的流程图。
在图6中，姿势输入方框202代表由车辆的用户(例如驾驶员)作出的姿势。可以预期，这种姿势是由用户作出的手和/或手指姿势。其他姿势也可以被使用。姿势由用户作出时，其他姿势检测器60的照相机检测由用户作出的姿势。如上所述，姿势检测器60可以是单个照相机，多个照相机或者被配置为检测用户的位置、方向和移动的其他设备。
类似地，语音/音频输入方框214代表由车辆的用户(例如驾驶员)作出的声音/语音指令。可以预期，这种语音指令将是简单的语音指令，例如，以下表2中显示的简单的语音指令。其他语音指令也可以被使用。音频输入检测器或麦克风64检测音频/语音指令。麦克风64可以被定位为邻近照相机60(如图1中所示)或者在车辆V中的其他位置(如本领域技术人员所知晓的)。
当照相机或姿势检测器60检测到姿势时，其将信号发送至姿势输入控制器/转换器204。姿势输入控制器/转换器204将照相机信号转换成姿势信号，并且将该信号传输至计算机/控制器206。例如，但并非通过限制的方式，照相机60可以提供以所检测的手/手指的位置、运动的速度/方向的形式的数据以及关于用户手/手指的位置、方向和移动的其他数据。姿势输入控制器/转换器204将这一数据转换成来自可能的姿势的表格中的特定姿势。例如，但并非通过限制的方式，可能的姿势可以包括以特定方向的手摆动、手指向左、向右、向上或向下移动、手/手指旋转、手指捏紧/展开(pinch/unpinch)、迅速摆动、手指朝向或背离照相机移动以及本领域技术人员知晓的其他姿势。如果需要，精密的姿势检测系统可以检测独立的手指，从而使得例如食指作出的移动可以通过移动与小手指作出的移动区分。然而，交互式触觉反馈系统的使用(如以下将更具体描述的)考虑到系统可能不需要识别或区分移动中的细小变化。因此，低成本姿势识别系统能够与交互式触觉反馈系统结合使用。
类似地，当麦克风64检测到声音，其将信号发送至音频输入控制器/转换器218。音频输入控制器/转换器218将语音信号转换成表示语音指令的数据信号，并将该信号传输至计算机/控制器206。
在姿势输入控制器/转换器204和/或音频输入控制器/转换器218转换数据之后，信号被发送至计算机/控制器206。本领域技术人员将意识到，在不偏离本发明的前提下，姿势输入控制器/转换器204、音频输入控制器/转换器218与计算机/控制器206可以被结合。在图6所示的实施例中，当计算机/控制器206接收姿势或音频信号时，计算机/控制器206处理数据，以将信号提供给三个不同的设备。尤其，计算机/控制器206将姿势或音频信号与选自触觉表格208的触觉效果相匹配。例如，但并非通过限制的方式，如果触觉效果大致为振动效果，特定振动效果根据程度、振幅、频率和/或持续时间被选择。进一步，如果基于姿势和音频的输入系统容许从多个用户输入，计算机/控制器206选择该触觉效果将被递送至哪个用户。进一步，在一个实施例中，不同的触觉致动器110可以被选择用于独立的用户。例如，但并非通过限制的方式，驾驶员座椅10的头枕12中的触觉致动器110的激活可以与驾驶员座椅10的座椅底座16中的触觉致动器110的激活具有不同的反馈含义。实质上，计算机/控制器206选择信号将被发送至哪个触觉致动器110。由此，计算机/控制器206从触觉表格208选择特定触觉效果，并且选择该效果将被应用于哪个特定触觉致动器110。所选择的触觉效果的信号之后被发送至所选择的触觉致动器110。
同时，计算机/控制器206将信号发送至显示器50，以显示进行的动作。例如，但并非通过限制的方式，如果用户选择图标(例如，无线电广播、导航、天气等)，计算机/控制器206将信号发送至显示器50，用于使所选择的图标突出显示。进一步，与所选择的图标相关联的任何子菜单将被显示。例如，但并非通过限制的方式，图5显示具有主菜单52和子菜单54的示例显示器。如果天气控制图标在主菜单52上被选择，例如通过使用姿势或语音指令，计算机/控制器206将信号发送至显示器50，以突出显示天气图标(如图5所示)。在该天气图标被选择的情况下，与天气控制相关联的子菜单54出现。类似地，如果主菜单52上其他图标中的任何一个被选择，与主菜单上的该图标相关联的子菜单将出现。
进一步，如果由用户作出的姿势或音频指令被用于控制特定系统，计算机/控制器206还将信号发送至车辆系统212，以执行所选择的控制。例如，但并非通过限制的方式，选择主菜单52的天气图标时，如果用于增加驾驶员侧温度的姿势或音频指令被照相机60/麦克风64识别并且如上所述的被处理，例如，计算机/控制器206将信号发送至车辆的天气控制系统，以增加通过驾驶员侧排放口吹入的空气温度。在另一示例中，如果无线电广播图标从主菜单52被选择并且特定姿势或音频指令被给出用于增大音量，计算机/控制器206将信号发送至无线电广播控制系统212，以增大音量。这种信号将被发送至其他车辆控制系统212，例如CD播放器、导航系统、电话、DVD播放器、游戏系统或其他车辆系统或子系统、或被联接至车辆系统的附属系统。进一步，本领域技术人员将意识到，尽管显示器50独立地与其他车辆系统区别，显示器50仍是车辆系统中的一个并且不需要独立地被区别。为方便起见，其在本说明书中被独立地区别，因为一些动作仅仅导致对显示器的作用(例如突出显示图标)，而其他动作或者仅仅导致对其他车辆系统的作用，或者导致对其他车辆系统和显示器的作用。
因此，上述触觉反馈能够被用于确认或描述根据基于姿势的输入所进行的动作。在一个实施例中，如以下表2中所总结的以及参照系统(例如图5中所示的系统)所描述的，车辆V的驾驶员作出姿势并给出语音指令，该姿势被照相机60监测，并且该语音指令由麦克风64接收。尽管以下示例参照作出姿势并给出语音指令的驾驶员以及下述的特定触觉效果而描述，本领域技术人员将意识到，类似的姿势和语音指令可以由车辆中的乘客作出，使得这种姿势和语音指令可以由照相机60/麦克风64或其他照相机/麦克风检测并且该触觉效果可以被提供给作出该姿势或给出该语音指令的用户。当然，本领域技术人员还将意识到，在一些实施例中，仅仅车辆的驾驶员感知触觉反馈，而乘客可以接收其他类型的反馈(例如音频或视觉反馈)，因为乘客不需要关注路面。然而，在与车辆中的娱乐系统(例如游戏系统或影像系统)交互时，乘客可能期望触觉效果，以增强他们的体验。
在结合基于姿势的输入、基于音频的输入以及触觉效果反馈的特定示例中，表2显示控制各种车辆系统的各种手姿势和语音指令以及与这种动作相关联的触觉效果。表2将参照图5中所示的示例性显示器50进行描述。因此，驾驶员可以摆动手或手指，以激活系统(如以上参照表1所描述的)。因此，计算机/控制器206发送信号，以从表格208选择短振动的触觉效果，并将其发送至与驾驶员相关联的触觉致动器110(例如在驾驶员座椅10中)。感觉到短振动时，驾驶员可以开始移动手指或手，以穿过主菜单52。随着驾驶员移动手指/手，当驾驶员手/手指在主菜单52中的一个图标上时，轻微持续振动警告驾驶员(如表2中“基本导航”所示)。驾驶员能够之后通过给出语音指令(例如“选择”或“是”)选择该图标(如表2中所示)。识别语音指令时，计算机/控制器206将发送信号，以从触觉效果表格选择短振动，并将这种振动的信号发送至与驾驶员相关联的触觉致动器110。同时，信号被发送至显示器50，以突出显示天气图标，并在子菜单54上显示天气子菜单选项(如图5中所示)。触觉效果容许驾驶员知晓该图标已经被选择。如上所述，用于触觉反馈的一些选项可以被使用，以确保驾驶员意识到他或她已经选择所期望的图标，例如不同的触觉效果与主菜单52上每一车辆系统相关联。
一旦图标已经从主菜单52被选择并且所选择的系统的子菜单54已经出现，如上所述，驾驶员可以作出进一步的姿势，以控制显示在子菜单54上的所选择的系统。由此，在图5和表2中所提供的示例中，在选择天气图标时，驾驶员可以以通过如以上针对主菜单52所述的类似方式沿子菜单的顶部栏移动手指，以选择项目，并且恰当的触觉效果被提供。例如，但并非通过限制的方式，随着驾驶员沿子菜单54的顶部栏在图标上移动手/手指，表2的“基本导航”特征被使用。由此，如果驾驶员的手/手指在“自动”图标上徘徊，轻微持续振动从触觉致动器110被感觉到。进一步，驾驶员可以通过“选择”或“是”的语音指令选择“自动”图标(如上所述)。在语音指令识别时，计算机/控制器206将信号发送至触觉致动器110用于短振动，并且将信号发送至显示器50，以突出显示“自动”图标。
当子菜单被选择时，驾驶员能够之后执行子菜单中的其他活动。例如，驾驶员的手指能够在图5中驾驶员侧温度读数72上移动。触觉效果(例如轻微持续振动)向驾驶员确认温度被选择。如表2的“改变值、直接输入、文字输入”行中所示，驾驶员能够之后通过语音指令(例如“74”)改变驾驶员侧的温度值。因此，计算机/控制器206将信号发送至触觉致动器110用于短振动，将信号发送至显示器50以将所显示的驾驶员侧的温度设置从“72”改为“74”，并且将信号发送至天气控制系统以使车辆HVAC系统向驾驶员侧提供74度的温度。
表2显示姿势和语音输入和触觉效果反馈如何结合使用，以相对简单地作出选择并控制各种车辆功能，而不需要驾驶员看显示器50。尽管以上描述了特定子菜单选择，本领域技术人员将意识到，其他车辆系统可以如表2所描述的被控制，例如通过选择主菜单52上的无线电广播图标以及使用语音指令以改变电台或提高和降低音量，表2中所示的相应的触觉效果提供指令已经由计算机/控制器206处理的反馈。
表2
在参照以下表3所描述的另一实施例中，前部和后部乘客之间的交互被包含在触觉反馈系统中。图4或图6中所示的实施例能够被用于实施表3中所示的响应。
表3
如上所述，参照表1-3所描述的姿势、指令和特定触觉效果仅仅是示例。特定姿势、指令和导致的触觉效果的无限变化能够由本领域技术人员在本发明的范围和内容内预期。
因此，尽管各种实施例被上文所描述，应当理解的是，这些实施例仅通过示意性和示例性的方式被显示，且并不限定。进行在形式上和细节上的多种改变而不偏离本发明的精神和范围，对相关领域技术人员是显而易见的。因此，本发明的广度和范围不应当被任何前文所述的示例性实施例所限制，而是仅根据所附的权利要求及其等同而限定。还应当理解的是，本文讨论的每个实施例的每个特征，以及援引的每个文献，能够被与任意其它实施例的特征相结合。本文所讨论的所有专利和公开均通过援引而全文并入本申请中。

Claims (23)

1.一种用于控制多个车辆系统中的一个或多个的系统，所述系统包括：
触觉致动器，其被配置为向车辆驾驶员或乘客提供触觉反馈；
姿势检测设备，其被布置在所述车辆的内部，其中所述姿势检测设备被配置为捕获所述车辆驾驶员或乘客的移动并输出代表由所述车辆驾驶员或乘客作出的姿势的数据；以及
控制器，其被联接至所述姿势检测设备，并且被配置为从所述姿势检测设备接收表示所述姿势的信号，其中所述控制器被联接至触觉效果反馈系统以及所述多个车辆系统，
其中基于表示所述姿势的所述信号，所述控制器被配置为发送信号以从效果表格选择触觉效果，并且被配置为将信号发送至所述触觉致动器以提供所选择的触觉效果，以及
其中基于表示所述姿势的所述信号，所述控制器被进一步配置为将信号发送至所述多个车辆系统中的至少一个以执行特定动作，其中所述车辆系统的特定动作与所选择的触觉效果相匹配。
2.如权利要求1所述的系统，其中所述车辆系统为显示器，并且从所述控制器发送至所述显示器的所述信号在所述显示器上突出显示图标。
3.如权利要求2所述的系统，其中所述控制器被进一步配置为将信号发送至所述多个车辆系统中的第二个以执行特定动作，其中所述多个车辆系统中的第二个的特定动作与所述显示器的特定动作和所述触觉效果相匹配。
4.如权利要求1所述的系统，其中所述多个车辆系统选自由以下系统构成的组：显示器、无线电广播、CD播放器、天气控制系统、导航系统、蓝牙系统和附属设备系统。
5.如权利要求1所述的系统，其中所述触觉致动器选自由以下致动器构成的组：电磁马达致动器、偏心旋转质量、线性共振致动器、形状记忆合金致动器、电活性聚合物致动器、振动触觉致动器、惯性致动器、压电致动器和动磁致动器。
6.如权利要求1所述的系统，其中所述触觉致动器被联接至所述车辆的内部的一部分。
7.如权利要求6所述的系统，其中所述触觉致动器被联接至座椅、方向盘、扶手、门扶手或安全带中的至少一个。
8.如权利要求1所述的系统，其中所述触觉致动器被连接至可由所述车辆驾驶员或乘客佩戴的对象。
9.如权利要求8所述的系统，其中所述可由所述车辆驾驶员或乘客佩戴的对象为手套、帽子、腕带或手镯中的至少一个。
10.如权利要求1所述的系统，其中所述姿势检测设备为至少一个照相机。
11.如权利要求1所述的系统，其进一步包括：
音频检测设备，其被布置在所述车辆的内部，其中所述音频检测设备被配置为接收所述车辆驾驶员或乘客的语音指令并且输出代表所述语音指令的数据；
其中所述控制器被联接至所述音频检测设备，并且被配置为从所述音频检测设备接收表示所述语音指令的信号，
其中基于表示所述语音指令的所述信号，所述控制器被配置为发送信号以从所述效果表格选择触觉效果，并且被配置为将信号发送至所述触觉致动器以提供所选择的触觉效果，以及
其中基于表示所述语音指令的所述信号，所述控制器进一步被配置为将信号发送至所述多个车辆系统中的所述至少一个，以执行特定动作，其中所述车辆系统的特定动作与所选择的触觉效果相匹配。
12.如权利要求11所述的系统，其中所述音频检测设备包括麦克风。
13.一种控制多个车辆系统中的一个或多个的方法，其包括以下步骤：
跟踪所述车辆的驾驶员或乘客的移动，以从姿势表格检测由所述驾驶员或乘客作出的姿势；
基于所检测的姿势从效果的表格选择触觉效果；
通过触觉致动器向所述驾驶员或乘客提供所述触觉效果；
基于所检测的姿势控制所述多个车辆系统中的至少一个，以执行特定动作，其中所述多个车辆系统中的所述至少一个的特定动作与所选择的触觉效果相匹配。
14.如权利要求13所述的方法，其中所述车辆系统为显示器，并且所述特定动作是基于所检测的姿势在所述显示器上突出显示图标。
15.如权利要求14所述的方法，其进一步包括以下步骤：控制所述多个车辆系统中的至少第二个，以执行特定动作，其中所述多个车辆系统中的所述第二个的特定动作与所述显示器的特定动作和所述触觉效果相匹配。
16.如权利要求13所述的方法，其中所述多个车辆系统包括选自由以下系统构成的组的多个车辆系统：显示器、无线电广播、CD播放器、天气控制系统、导航系统、蓝牙系统和附属设备系统。
17.如权利要求13所述的方法，其中所述触觉致动器选自由以下致动器构成的组：电磁马达致动器、偏心旋转质量、线性共振致动器、形状记忆合金致动器、电活性聚合物致动器、振动触觉致动器、惯性致动器、压电致动器和动磁致动器。
18.如权利要求13所述的方法，其中所述触觉致动器被联接至所述车辆的内部。
19.如权利要求18所述的方法，其中所述触觉致动器被联接至座椅、方向盘、扶手、门扶手或安全带中的至少一个。
20.如权利要求13所述的方法，其中所述触觉致动器被联接至可由所述车辆驾驶员或乘客佩戴的对象。
21.如权利要求13所述的方法，其中跟踪所述驾驶员或乘客的移动的所述步骤通过照相机被执行。
22.如权利要求13所述的方法，其进一步包括：
检测所述车辆内的声音，以检测来自所述车辆驾驶员或乘客的语音指令；
基于所检测的语音指令从效果的表格选择触觉效果；
通过所述触觉致动器提供所述触觉效果；
基于所检测的语音指令控制所述多个车辆系统中的至少一个，以执行特定动作，其中所述多个车辆系统中的所述至少一个的特定动作与所选择的触觉效果相匹配。
23.如权利要求22所述的方法，其中检测所述车辆中的声音的所述步骤通过麦克风被执行。
CN201410795247.7A 2013-12-20 2014-12-18 车辆中的具有触觉反馈的基于姿势的输入系统 Pending CN104731319A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/137,540 2013-12-20
US14/137,540 US9248840B2 (en) 2013-12-20 2013-12-20 Gesture based input system in a vehicle with haptic feedback

Publications (1)

Publication Number Publication Date
CN104731319A true CN104731319A (zh) 2015-06-24

Family

ID=52282392

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410795247.7A Pending CN104731319A (zh) 2013-12-20 2014-12-18 车辆中的具有触觉反馈的基于姿势的输入系统

Country Status (5)

Country Link
US (3) US9248840B2 (zh)
EP (2) EP3696651A1 (zh)
JP (2) JP6935164B2 (zh)
KR (1) KR20150073857A (zh)
CN (1) CN104731319A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109196451A (zh) * 2016-08-08 2019-01-11 奥迪股份公司 用于屏幕的触觉反馈
CN109997096A (zh) * 2016-11-17 2019-07-09 索尼公司 振动呈现装置、振动呈现方法和程序
CN111942242A (zh) * 2019-05-14 2020-11-17 奥迪股份公司 用于车辆中安抚儿童的系统、车辆、相对应的方法和介质
CN114258367A (zh) * 2020-07-23 2022-03-29 日产自动车株式会社 控制系统、姿势识别系统、车辆以及对姿势识别系统进行控制的方法

Families Citing this family (114)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10146320B2 (en) 2007-10-29 2018-12-04 The Boeing Company Aircraft having gesture-based control for an onboard passenger service unit
DE112012004767T5 (de) * 2011-11-16 2014-11-06 Flextronics Ap, Llc Vollständiges Fahrzeugökosystem
US20140310379A1 (en) 2013-04-15 2014-10-16 Flextronics Ap, Llc Vehicle initiated communications with third parties via virtual personality
US9248840B2 (en) * 2013-12-20 2016-02-02 Immersion Corporation Gesture based input system in a vehicle with haptic feedback
US20150185845A1 (en) * 2013-12-26 2015-07-02 Wes A. Nagara Providing tactle feedback for gesture based inputs
US9430046B2 (en) * 2014-01-16 2016-08-30 Denso International America, Inc. Gesture based image capturing system for vehicle
US11625145B2 (en) 2014-04-28 2023-04-11 Ford Global Technologies, Llc Automotive touchscreen with simulated texture for the visually impaired
US9829979B2 (en) * 2014-04-28 2017-11-28 Ford Global Technologies, Llc Automotive touchscreen controls with simulated texture for haptic feedback
US10579252B2 (en) 2014-04-28 2020-03-03 Ford Global Technologies, Llc Automotive touchscreen with simulated texture for the visually impaired
US9827904B2 (en) 2014-10-20 2017-11-28 Immersion Corporation Systems and methods for enhanced continuous awareness in vehicles using haptic feedback
KR101866740B1 (ko) * 2014-11-13 2018-06-15 현대자동차주식회사 터치 입력장치 및 이를 포함하는 차량
US20160162092A1 (en) * 2014-12-08 2016-06-09 Fujitsu Ten Limited Operation device
KR101784472B1 (ko) * 2015-01-13 2017-10-11 주식회사 씨케이머티리얼즈랩 촉각 정보 제공 기기
US10099608B2 (en) * 2015-01-16 2018-10-16 Ford Global Technologies, Llc Haptic vehicle alert based on wearable device
DE102015204280A1 (de) * 2015-03-10 2016-09-15 Robert Bosch Gmbh Verfahren zur Aktivierung eines Aktuators eines Kraftfahrzeugs, zur Ausführung des Verfahrens eingerichtete Vorrichtung und Computerprogrammprodukt
US9550406B2 (en) * 2015-03-16 2017-01-24 Thunder Power Hong Kong Ltd. Thermal dissipation system of an electric vehicle
TWI552892B (zh) * 2015-04-14 2016-10-11 鴻海精密工業股份有限公司 車輛控制系統及其操作方法
EP3106343A1 (en) * 2015-06-19 2016-12-21 Continental Automotive GmbH Gesture based user input device for car electronics
JP2017026230A (ja) * 2015-07-23 2017-02-02 パナソニックＩｐマネジメント株式会社 空調制御装置、空調装置、空調制御方法、空調制御システム、空調制御プログラム、および記録媒体
KR101910383B1 (ko) * 2015-08-05 2018-10-22 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량
JP6585431B2 (ja) * 2015-08-31 2019-10-02 株式会社デンソーテン 入力装置、統合入力システム、入力装置の制御方法およびプログラム
US20170060245A1 (en) * 2015-08-31 2017-03-02 Fujitsu Ten Limited Input device, integrated input system, input device control method, and program
USD788170S1 (en) * 2015-09-03 2017-05-30 Continental Automotive Gmbh Display screen with icon
US10116873B1 (en) * 2015-11-09 2018-10-30 Ambarella, Inc. System and method to adjust the field of view displayed on an electronic mirror using real-time, physical cues from the driver in a vehicle
JP6576225B2 (ja) * 2015-11-27 2019-09-18 クラリオン株式会社 車両用報知装置および車両用報知方法
DE102015120605A1 (de) * 2015-11-27 2017-06-01 Valeo Schalter Und Sensoren Gmbh Bedienvorrichtung für ein Kraftfahrzeug mit Antriebseinrichtung zum Ausgeben einer haptischen Rückmeldung sowie Kraftfahrzeug
US9990078B2 (en) 2015-12-11 2018-06-05 Immersion Corporation Systems and methods for position-based haptic effects
US10013858B2 (en) * 2016-02-26 2018-07-03 At&T Intellectual Property I, L.P. Notification system with haptic feedback garment and methods for use therewith
EP3214528B1 (en) 2016-03-04 2019-09-11 Nxp B.V. Gesture feedback
CN109478354B (zh) 2016-07-22 2022-02-08 哈曼国际工业有限公司 触觉引导系统
US9891711B1 (en) 2016-07-26 2018-02-13 Toyota Motor Engineering & Manufacturing North America, Inc. Human machine interface with haptic response based on phased array LIDAR
DE102016214523A1 (de) * 2016-08-05 2018-02-08 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung zur gestenbasierten Steuerung eines Systems
DE102016216318A1 (de) 2016-08-30 2018-03-01 Continental Automotive Gmbh Verfahren und Vorrichtung zur Bedienung eines elektronischen Gerätes
EP3290284A1 (en) * 2016-08-30 2018-03-07 Honda Research Institute Europe GmbH Vehicle with a driver seat and at least one passenger seat and a method for providing a co-driver and/or at least one fellow passenger with information on a currently experienced driving situation
WO2018046302A1 (de) * 2016-09-09 2018-03-15 Behr-Hella Thermocontrol Gmbh Bedieneinheit für ein gerät, insbesondere für eine fahrzeugkomponente
US11059495B2 (en) * 2016-09-12 2021-07-13 Sony Corporation Information presentation apparatus, steering apparatus, and information presentation method
GB2555088A (en) 2016-10-11 2018-04-25 Jaguar Land Rover Ltd Interface apparatus and method
DE112016007259T5 (de) * 2016-10-24 2019-06-06 Ford Motor Company Gestenbasierte benutzerschnittstelle
DE102017200717A1 (de) * 2016-12-23 2018-06-28 Audi Ag Berührungslos bedienbare Bedienvorrichtung für ein Kraftfahrzeug sowie Kraftfahrzeug und Betriebsverfahren für die Bedienvorrichtung
DE102017100595A1 (de) * 2017-01-13 2018-07-19 Palm Beach Technology Llc Smart Chair
DE102017201236B4 (de) 2017-01-26 2023-09-07 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Bediensystems, Bediensystem und Fahrzeug mit einem Bediensystem
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
US10742061B2 (en) 2017-06-28 2020-08-11 Honda Motor Co., Ltd. Smart functional leather for recharging a portable electronic device
US10953793B2 (en) * 2017-06-28 2021-03-23 Honda Motor Co., Ltd. Haptic function leather component and method of making the same
US11665830B2 (en) 2017-06-28 2023-05-30 Honda Motor Co., Ltd. Method of making smart functional leather
US10682952B2 (en) 2017-06-28 2020-06-16 Honda Motor Co., Ltd. Embossed smart functional premium natural leather
US11225191B2 (en) 2017-06-28 2022-01-18 Honda Motor Co., Ltd. Smart leather with wireless power
US10272836B2 (en) 2017-06-28 2019-04-30 Honda Motor Co., Ltd. Smart functional leather for steering wheel and dash board
KR102406511B1 (ko) * 2017-07-04 2022-06-10 현대자동차주식회사 차량 시스템 및 그 제어 방법
US11259121B2 (en) 2017-07-21 2022-02-22 Cirrus Logic, Inc. Surface speaker
US20190073040A1 (en) * 2017-09-05 2019-03-07 Future Mobility Corporation Limited Gesture and motion based control of user interfaces
KR101968620B1 (ko) * 2017-09-11 2019-04-12 (주)신오전자 차량용 hmi 시스템 및 방법
US20190124290A1 (en) * 2017-10-20 2019-04-25 Shenzhen Matego Electronics Technology Co., Ltd. Dashboard Camera
US11273836B2 (en) 2017-12-18 2022-03-15 Plusai, Inc. Method and system for human-like driving lane planning in autonomous driving vehicles
US10433630B2 (en) 2018-01-05 2019-10-08 L'oreal Cosmetic applicator system including trackable cosmetic device, and client device to assist users in makeup application
US10810902B2 (en) 2018-01-05 2020-10-20 L'oreal Trackable cosmetic device to assist users in makeup application
US10620704B2 (en) 2018-01-19 2020-04-14 Cirrus Logic, Inc. Haptic output systems
US10455339B2 (en) 2018-01-19 2019-10-22 Cirrus Logic, Inc. Always-on detection systems
US11139767B2 (en) 2018-03-22 2021-10-05 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10795443B2 (en) 2018-03-23 2020-10-06 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10667051B2 (en) 2018-03-26 2020-05-26 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10820100B2 (en) 2018-03-26 2020-10-27 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10832537B2 (en) 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
WO2019213209A1 (en) * 2018-05-04 2019-11-07 Honda Motor Co., Ltd. Functional leather component and method of making the same
US11069206B2 (en) 2018-05-04 2021-07-20 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
EP3613638A1 (en) 2018-08-10 2020-02-26 Lg Electronics Inc. Vehicle display system for vehicle
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
US10800433B2 (en) 2018-09-14 2020-10-13 Honda Motor Co., Ltd. Seat haptic system and method of equalizing haptic output
KR102178939B1 (ko) * 2018-10-17 2020-11-13 유병훈 환경제어장치 및 환경제어방법
WO2020085521A1 (ko) * 2018-10-23 2020-04-30 엘지전자 주식회사 입출력 장치 및 그것을 포함하는 차량
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
US11345309B2 (en) 2018-12-07 2022-05-31 Universal City Studios Llc Ride vehicle restraint system
US10682578B1 (en) 2018-12-14 2020-06-16 Universal City Studios Llc Ride vehicle restraint system
KR20200085970A (ko) * 2019-01-07 2020-07-16 현대자동차주식회사 자동차 및 그 제어 방법
US10810845B2 (en) * 2019-01-11 2020-10-20 Drift Net Security system for detecting hazardous events and occupants in a building
US11899448B2 (en) * 2019-02-21 2024-02-13 GM Global Technology Operations LLC Autonomous vehicle that is configured to identify a travel characteristic based upon a gesture
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US11283337B2 (en) 2019-03-29 2022-03-22 Cirrus Logic, Inc. Methods and systems for improving transducer dynamics
US12035445B2 (en) 2019-03-29 2024-07-09 Cirrus Logic Inc. Resonant tracking of an electromagnetic load
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
US10726683B1 (en) 2019-03-29 2020-07-28 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus
US11238671B2 (en) 2019-04-18 2022-02-01 Honda Motor Co., Ltd. System and method for providing haptic alerts within a vehicle
US11751337B2 (en) 2019-04-26 2023-09-05 Honda Motor Co., Ltd. Wireless power of in-mold electronics and the application within a vehicle
FR3095912B1 (fr) * 2019-05-06 2022-05-13 St Microelectronics Rousset Procédé de compensation d’un déphasage entre le signal émis par un objet et celui reçu d’un lecteur équipé d’un détecteur d’enveloppe et objet correspondant
US11150733B2 (en) 2019-06-07 2021-10-19 Cirrus Logic, Inc. Methods and apparatuses for providing a haptic output signal to a haptic actuator
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
GB2604215B (en) 2019-06-21 2024-01-31 Cirrus Logic Int Semiconductor Ltd A method and apparatus for configuring a plurality of virtual buttons on a device
DE102019210010A1 (de) 2019-07-08 2021-01-14 Volkswagen Aktiengesellschaft Verfahren und Bediensystem zum Erfassen einer Nutzereingabe für eine Einrichtung eines Fahrzeugs
DE102019210009A1 (de) 2019-07-08 2021-01-28 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Bediensystems in einem Fahrzeug und Bediensystem in einem Fahrzeug
DE102019210008A1 (de) 2019-07-08 2021-01-14 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Bediensystems und Bediensystem
KR20210029921A (ko) * 2019-09-09 2021-03-17 현대자동차주식회사 터치 스크린, 그를 가지는 차량 및 그 제어 방법
WO2021049296A1 (ja) * 2019-09-09 2021-03-18 国立研究開発法人科学技術振興機構 力覚提示装置及び力覚提示方法
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
US11873000B2 (en) 2020-02-18 2024-01-16 Toyota Motor North America, Inc. Gesture detection for transport control
US20210276575A1 (en) * 2020-03-04 2021-09-09 Ford Global Technologies, Llc Vehicle component identification system
US11144129B2 (en) * 2020-03-04 2021-10-12 Panasonic Avionics Corporation Depth sensing infrared input device and associated methods thereof
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
DE102020003923B3 (de) * 2020-06-30 2021-11-04 Daimler Ag Bedieneinheit mit einer berührungssensitiven Bedienfläche
US11521470B2 (en) * 2020-10-28 2022-12-06 Cerence Operating Company Haptic communication with a vehicle's occupant
WO2022241015A1 (en) * 2021-05-12 2022-11-17 Polestar Performance Ab Electroactive polymer seat
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US20230049900A1 (en) * 2021-08-16 2023-02-16 Toyota Research Institute, Inc. Displaced haptic feedback
US11552649B1 (en) 2021-12-03 2023-01-10 Cirrus Logic, Inc. Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths
KR102559138B1 (ko) * 2022-12-28 2023-07-25 에이아이다이콤 (주) 차량용 비 접촉식 제어 시스템
WO2024144035A1 (ko) * 2022-12-28 2024-07-04 에이아이다이콤(주) 홀로그램 디스플레이 시스템 및 그 제어방법
CN118732886A (zh) * 2023-03-28 2024-10-01 纬创资通股份有限公司 具有触觉输出的电子装置及触觉输出的控制方法
WO2024204462A1 (ja) * 2023-03-30 2024-10-03 フォスター電機株式会社 触感フィードバックシステム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050238257A1 (en) * 1999-05-13 2005-10-27 Canon Kabushiki Kaisha Form search apparatus and method
CN1749051A (zh) * 2004-09-14 2006-03-22 西门子公司 用于加热和空调系统的操纵元件
US20090267921A1 (en) * 1995-06-29 2009-10-29 Pryor Timothy R Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics
US20120019373A1 (en) * 2007-10-12 2012-01-26 Immersion Corporation Method and Apparatus for Wearable Remote Interface Device

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
EP1330811B1 (en) * 2000-09-28 2012-08-22 Immersion Corporation Directional tactile feedback for haptic feedback interface devices
US6703999B1 (en) * 2000-11-13 2004-03-09 Toyota Jidosha Kabushiki Kaisha System for computer user interface
JP2003131785A (ja) * 2001-10-22 2003-05-09 Toshiba Corp インタフェース装置および操作制御方法およびプログラム製品
US7196790B2 (en) * 2002-03-18 2007-03-27 Honeywell International Inc. Multiple wavelength spectrometer
US7519223B2 (en) * 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
US7295904B2 (en) 2004-08-31 2007-11-13 International Business Machines Corporation Touch gesture based interface for motor vehicle
US7792328B2 (en) 2007-01-12 2010-09-07 International Business Machines Corporation Warning a vehicle operator of unsafe operation behavior based on a 3D captured image stream
JP4605170B2 (ja) * 2007-03-23 2011-01-05 株式会社デンソー 操作入力装置
US8508486B2 (en) * 2007-10-01 2013-08-13 Immersion Corporation Directional haptic effects for a handheld device
DE102008051756A1 (de) 2007-11-12 2009-05-14 Volkswagen Ag Multimodale Benutzerschnittstelle eines Fahrerassistenzsystems zur Eingabe und Präsentation von Informationen
US9791918B2 (en) 2008-03-26 2017-10-17 Pierre Bonnat Breath-sensitive digital interface
CN102112945B (zh) 2008-06-18 2016-08-10 奥布隆工业有限公司 用于交通工具接口的基于姿态的控制系统
EP2457142B1 (en) 2009-07-22 2019-12-25 Immersion Corporation Interactive touch screen gaming metaphors with haptic feedback across platforms
KR101802520B1 (ko) * 2010-03-16 2017-11-28 임머숀 코퍼레이션 프리 터치 및 트루 터치용 시스템 및 방법
ES2791722T3 (es) 2012-02-02 2020-11-05 Airbus Helicopters Espana Sa Maqueta virtual con ayuda portátil háptica
KR102024006B1 (ko) * 2012-02-10 2019-09-24 삼성전자주식회사 진동 장치간 진동 전달을 제어하는 장치 및 방법
US8942881B2 (en) * 2012-04-02 2015-01-27 Google Inc. Gesture-based automotive controls
US9149236B2 (en) * 2013-02-04 2015-10-06 Intel Corporation Assessment and management of emotional state of a vehicle operator
US9248840B2 (en) * 2013-12-20 2016-02-02 Immersion Corporation Gesture based input system in a vehicle with haptic feedback
US9891711B1 (en) * 2016-07-26 2018-02-13 Toyota Motor Engineering & Manufacturing North America, Inc. Human machine interface with haptic response based on phased array LIDAR

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090267921A1 (en) * 1995-06-29 2009-10-29 Pryor Timothy R Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics
US20050238257A1 (en) * 1999-05-13 2005-10-27 Canon Kabushiki Kaisha Form search apparatus and method
CN1749051A (zh) * 2004-09-14 2006-03-22 西门子公司 用于加热和空调系统的操纵元件
US20120019373A1 (en) * 2007-10-12 2012-01-26 Immersion Corporation Method and Apparatus for Wearable Remote Interface Device

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109196451A (zh) * 2016-08-08 2019-01-11 奥迪股份公司 用于屏幕的触觉反馈
CN109997096A (zh) * 2016-11-17 2019-07-09 索尼公司 振动呈现装置、振动呈现方法和程序
US11474605B2 (en) 2016-11-17 2022-10-18 Sony Corporation Vibration presentation device and vibration presentation method
CN111942242A (zh) * 2019-05-14 2020-11-17 奥迪股份公司 用于车辆中安抚儿童的系统、车辆、相对应的方法和介质
CN111942242B (zh) * 2019-05-14 2022-10-25 奥迪股份公司 用于车辆中安抚儿童的系统、车辆、相对应的方法和介质
CN114258367A (zh) * 2020-07-23 2022-03-29 日产自动车株式会社 控制系统、姿势识别系统、车辆以及对姿势识别系统进行控制的方法

Also Published As

Publication number Publication date
JP2015133109A (ja) 2015-07-23
KR20150073857A (ko) 2015-07-01
EP2889723A1 (en) 2015-07-01
US9248840B2 (en) 2016-02-02
US20150175172A1 (en) 2015-06-25
EP3696651A1 (en) 2020-08-19
EP2889723B1 (en) 2020-03-11
US20180015933A1 (en) 2018-01-18
US9718477B2 (en) 2017-08-01
US10449972B2 (en) 2019-10-22
JP6935164B2 (ja) 2021-09-15
US20160144868A1 (en) 2016-05-26
JP2021166058A (ja) 2021-10-14

Similar Documents

Publication Publication Date Title
CN104731319A (zh) 车辆中的具有触觉反馈的基于姿势的输入系统
CN104750247B (zh) 使用单个控制器和支持触觉的用户接口控制多个显示器的系统和方法
US9753533B2 (en) Method and system for controlling a user interface of a device using human breath
KR101828142B1 (ko) 자동차에서 햅틱피드백으로 데이터의 쌍방향 입력을 위한 방법 및 장치
EP2933130B1 (en) Vehicle control apparatus and method thereof
CN105005376B (zh) 结合拉伸特性的触觉设备
JP2020537209A (ja) ユーザインタフェースの動作及び運動ベースの制御
EP3654144A1 (en) Systems and methods for distributing haptic effects to users interacting with user interfaces
US10464676B2 (en) Controlling in flight entertainment system using pointing device integrated into seat
WO2011032096A2 (en) Method and system for controlling a user interface of a device using human breath
JP2020506476A (ja) マンマシンインタフェースの操作方法並びにマンマシンインタフェース
JP2019169128A (ja) マンマシンインタフェースを操作する方法並びにマンマシンインタフェース
CN112384403A (zh) 用于运行显示操作设备的方法、显示操作设备以及机动车
CN112092704A (zh) 用于自动驾驶车辆的娱乐装置
US20150268840A1 (en) Determination of a program interaction profile based at least in part on a display region
US20230049900A1 (en) Displaced haptic feedback
EP3098796B1 (en) Remote control apparatus, method of providing vibration feedback thereof, and display system
US20150185885A1 (en) Devices, Systems, and Methods For Using Corrugated Tessellation To Create Surface Features
CN110402424A (zh) 车辆部件致动
CN107783647A (zh) 柔性屏输入设备及信息娱乐系统
CN118163609A (zh) 一种导航菜单显示方法、系统及车辆
CN116176432A (zh) 车载设备控制方法、装置、车辆和存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20210312

AD01 Patent right deemed abandoned