CN105807904B - 用于车辆的人机接口设备及其控制方法 - Google Patents

用于车辆的人机接口设备及其控制方法 Download PDF

Info

Publication number
CN105807904B
CN105807904B CN201410850463.7A CN201410850463A CN105807904B CN 105807904 B CN105807904 B CN 105807904B CN 201410850463 A CN201410850463 A CN 201410850463A CN 105807904 B CN105807904 B CN 105807904B
Authority
CN
China
Prior art keywords
gesture
electronic device
recognized
electronic devices
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410850463.7A
Other languages
English (en)
Other versions
CN105807904A (zh
Inventor
朴亨淳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Original Assignee
Hyundai Motor Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co filed Critical Hyundai Motor Co
Publication of CN105807904A publication Critical patent/CN105807904A/zh
Application granted granted Critical
Publication of CN105807904B publication Critical patent/CN105807904B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/11—Instrument graphical user interfaces or menu aspects
    • B60K2360/111—Instrument graphical user interfaces or menu aspects for controlling multiple devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B60K2360/1464—3D-gesture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开涉及用于车辆的人机接口设备及其控制方法。一种使用于操作控制的手势数量最小化的人机接口(HMI)，其中，通过将车辆内部分成多个区域来准确地识别用户预期的操作命令。该HMI在每个区域中接收手势的输入并且根据手势控制任意一个装置。由于当用户在两个区域或者甚至在多个区域之间的边界部分中执行手势时，在其中通过辨认被指定在每个区域中的电子装置的操作状态和操作模式而使区域限制最小化的状态中可以执行该手势，提高用户的便利性。

Description

用于车辆的人机接口设备及其控制方法
相关申请的交叉引用
本申请要求于2014年10月6日提交到韩国知识产权局的韩国专利申请第10-2014-0134088号的权益，通过引用将其公开内容结合于本文中。
技术领域
本技术的实施方式涉及人机接口(human machine interface)(HMI)设备，用于接收输入的用户命令并且基于所输入的命令控制至少一个装置，并且更具体地，涉及车辆中的这种HMI以及控制该HMI的方法。
背景技术
为了方便用户，车辆进一步执行附加的功能，诸如音频功能、视频功能、导航功能、空调控制、照明控制以及基本驾驶功能。
在车辆中，用于执行这些功能的电子装置设置有用于接收输入的电子装置的操作命令的输入单元。电子装置的输入单元可整体地布置在一个面板中或分别布置在不同的面板中。可以使用硬键(hard key)方案、触摸(屏)方案、语音识别方案以及手势识别方案中至少一个来实施这种输入单元。
此外，向该输入单元添加将操作命令输出到至少一个装置的功能以及接收从用户输入的操作命令的功能，使得该输入单元可以被实施为HMI设备。
当使用硬键方案实施HMI设备的输入单元时，存在的问题在于需要用于设置大量硬键的宽物理空间的问题。然而，由于利用少量的硬键进行操作命令，用户的操作负担增加。此外，存在的问题在于输入单元的制造成本增加，这是因为需要用于晚上辨认实体按钮的发光二极管(LED)按钮灯和按钮机构。
当使用触摸屏方案实施HMI设备的输入单元时，可能会因为驾驶员必须手动触摸该触摸屏以输入操作命令而影响安全驾驶。
当使用手势识别方案实施HMI设备的输入单元时，存在其中的问题在于，由于手的动作的或者手的无意动作的不自然手势导致错误识别操作命令。此外，必须学习用于控制多个装置的功能的操作命令的所有手势。另外，在通过不同的手势来表示操作命令方面是受限的。
发明内容
因此，本技术的一方面提供了一种基于识别到的手势以及其中执行手势的区域用于确定操作命令的HMI设备，其中，当在多个区域中同时执行手势时通过辨认被指定在多个区域中的电子装置的操作信息来确定用户预期的区域，并且基于确定的区域和识别到的手势来确定操作命令，并且将操作命令输出至电子装置中的任何一个。优选地，这个HMI处于车辆中。本技术还包括控制这个HMI的方法。
因此，本技术的另一方面提供了这样一种HMI设备，其在基于识别到的手势以及其中执行手势的区域确定电子装置的操作命令是不适用于该电子装置的操作控制的命令时用于输出异常(nonconformity)引导信息并且通过确定相邻区域的操作命令的概率而将引导信息输出给用户。
将在以下的描述中部分阐述了该技术另外的方面并且从描述中部分内容是显而易见的或者可以通过实践本技术而获知。
根据本技术的一方面，提供一种具有HMI设备的车辆，该HMI设备被配置为将用户的操作命令输出给多个电子装置中的至少一个。具体地，HMI设备包括：存储单元，被配置为存储多个区域的位置信息、定位在多个区域中的多个电子装置的操作命令以及操作命令的手势信息；识别单元，被配置为识别用户的手势；以及控制单元，被配置为当在多个区域的边界区域中识别到手势时辨认安装在邻近于该边界区域的区域中的电子装置并且将与该手势相对应的操作命令输出给所辨认出的电子装置中的任意一个。
控制单元可以辨认具有在每个相邻区域中的手势的电子装置的操作信息，基于辨认出的电子装置的操作信息来确定将调节辨认出的电子装置的操作的调节概率，并且将与手势相对应的操作命令输出给具有最高调节概率的电子装置。
控制单元可辨认具有在每个相邻区域中的手势的电子装置的优先级并且将与该手势相对应的操作命令输出给具有最高优先级的电子装置。
多个电子装置可以包括空调装置、音频装置、导航装置、照明装置、蓝牙装置、座椅内的加热器、车窗玻璃打开/关闭装置、天窗打开/关闭装置、车门打开/关闭装置以及门锁装置中的至少两个装置，并且操作命令可以包括电力开/关命令和功能调节命令。
存储单元可以进一步存储多个电子装置的操作模式，并且控制单元可以利用所辨认出的电子装置的操作信息和预先存储的操作模式来确定将调节辨认出的电子装置的操作的调节概率。
控制单元可以将与每个相邻区域中的手势相对应的电子装置的操作模式与当前操作信息进行比较并且将在比较中具有较大差异的电子装置确定作为具有高调节概率的电子装置。
当在一个区域中识别到手势时，控制单元可以在安装在该一个区域中的电子装置之中辨认具有该手势的电子装置并且控制与该手势相对应的操作命令输出至所辨认出的电子装置。
车辆可以进一步包括被配置为检测用于进行手势的对象的检测单元。
根据本技术的另一方面，具有多个电子装置的车辆包括：多个检测单元，被布置在多个区域中；以及HMI设备，被配置为将用户的操作命令输出给布置在多个区域中的多个电子装置，其中，该HMI设备包括：存储单元，被配置为存储多个区域的位置信息、布置在多个区域中的多个电子装置的操作命令以及操作命令的手势信息；识别单元，被配置为识别用户的手势；以及控制单元，被配置为当在多个检测单元中同样识别到该手势时辨认其中布置了辨认手势的检测单元的区域，辨认安装在辨认出的区域中的电子装置以及控制与该手势相对应的操作命令输出给所辨认出的电子装置中的任一个。
控制单元可以辨认具有每个辨认区域中的手势的电子装置的操作信息，基于辨认出的电子装置的操作信息来确定将调节辨认出的电子装置的操作的调节概率，并且将与该手势相对应的操作命令输出给具有最高调节概率的电子装置。
仍根据本技术的另一个方面，提供了一种车辆的控制方法，该车辆具有多个电子装置和HMI设备，该HMI设备被配置为将用户的操作命令输出给所述多个电子装置中的至少一个，该方法包括：检测对象；识别检测区域和检测到的对象的手势；当在多个区域的边界区域中辨认出手势时辨认安装在邻近于边界区域的区域中的电子装置；以及将与该手势相对应的操作命令输出给辨认出的电子装置中的任一个。
将与该手势相对应的操作命令输出给辨认出的电子装置中的任一个可以包括：辨认具有每个辨认区域中的手势的电子装置的操作信息；基于辨认出的电子装置的操作信息确定将调节所辨认出的电子装置的操作的调节概率；以及将与该手势相对应的操作命令输出给具有最高调节概率的电子装置。
将与该手势相对应的操作命令输出给辨认出的电子装置中的任一个可以包括：辨认具有每个辨认区域中的该手势的电子装置的优先级；以及将与该手势相对应的操作命令输出给具有最高优先级的电子装置。
将与该手势相对应的操作命令输出给辨认出的电子装置中的任一个可以包括：辨认与每个相邻区域中的该手势相对应的电子装置的操作信息；接收车辆的行驶信息和环境信息；基于辨认出的电子装置的操作信息、行驶信息以及环境信息来确定所辨认出的电子装置的调节概率；以及将与该手势相对应的操作命令输出给最高调节概率的电子装置。
将与该手势相对应的操作命令输出给辨认出的电子装置中的任一个可以包括：辨认在每个相邻区域中的辨认出的电子装置的操作信息和操作模式；基于辨认出的电子装置的操作信息和操作模式确定将调节所辨认出的电子装置的操作的概率；以及将与该手势相对应的操作命令输出给具有最高调节概率的电子装置。
多个电子装置可以包括空调装置、音频装置、导航装置、照明装置、蓝牙装置、座椅内的加热器、车窗玻璃打开/关闭装置、天窗打开/关闭装置、车门打开/关闭装置以及门锁装置中的至少两个装置，并且操作命令可以包括电力开/关命令和功能调节命令。
车辆的控制方法可以进一步包括：当在一个区域中识别到手势时，在安装在一个区域中多个电子装置中辨认对应手势的电子装置；并且向辨认出的电子装置输出与手势相对应的操作命令。
仍根据本技术的另一方面，HMI设备包括：存储单元，被配置为存储多个区域的位置信息、布置在多个区域中的多个电子装置的信息以及与电子装置的操作命令相对应的用户的手势信息；识别单元，被配置为识别用户的手势；控制单元，被配置为当辨认检测区域的数量为至少两个时，辨认在每个识别到的检测区域中与手势相对应的电子装置，基于辨认到的电子装置的当前操作信息确定电子装置的调节概率，并将与手势相对应的操作命令输出值具有最高调节概率的电子装置；以及输出单元，连接到多个电子装置中每一个并且被配置为将操作命令输出至至少一个电子装置。
存储单元可以进一步存储多个电子装置的先前的操作模式，并且当确定电子装置的调节概率时控制单元可以使用电子装置的操作模式。
当识别到检测区域的数量为一个时，控制单元可以在安装在检测区域中的电子装置中辨认具有手势的电子装置并且将与手势相对应的操作命令输出给辨认出的电子装置。
HMI设备可以进一步包括被配置为检测辨认用户手势的对象的检测单元，其中，该识别单元从被配置为检测辨认用户手势的对象的检测单元接收检测信号。
根据本技术，通过将一个空间分成多个区域可以使用于操作控制的手势数量最小化并准确地识别用户预期的操作命令，接收每个区域中的手势，并且根据所接收的手势控制任意一个装置。
另外，根据本技术，因为可以在其中当用户在两个区域之间的边界部分中执行手势时，通过辨认被指定在每个区域中的电子装置的工作状态和操作模式以识别用户的意图来使区域限制最小化的状态中执行手势，可以提高用户的便利性。
根据本技术，用户可以容易地操作各种类型的电子装置，甚至在驾驶过程中，可以提高用户的便利性和车辆的安全性。
因此，可以通过改进HMI设备及使用这种HMI设备的车辆的质量来提高合意性。
应当理解的是，可以以多种方式实施和使用本技术，包括但不限于作为过程、设备、系统、装置、现在已知的及以后开发出的用于应用的方法或者计算机可读介质。从以下说明和附图中，本文中公开的系统的这些和其他独特特征将变得更容易理解。
附图说明
从下面结合附图的示例性实施方式的描述中，本发明的这些和/或其他方面将变得显而易见并且更容易理解，在附图中：
图1是具有根据实施方式的HMI设备的车辆的示例性示图；
图2是具有根据实施方式的HMI设备的车辆内部的示例性示图；
图3是根据实施方式的HMI设备的控制配置图；
图4是其中设定了根据实施方式的HMI设备的车辆的内部空间的区域划分的示例性示图；
图5是根据实施方式的HMI设备的流程图；
图6是设定在根据实施方式的HMI设备中的电子装置的特定区域手势和操作命令的示例图；
图7至图13是根据实施方式的HMI设备的手势识别的示例性示图；以及
图14是根据另一个实施方式的具有多个检测单元的HMI设备的示例图。
具体实施方式
应当理解，本文中所使用的术语“车辆(vehicle)”或“车辆的(vehicular)”或其他类似术语包括广义的机动车辆，诸如包括运动型多用途车辆(SUV)、公共汽车、卡车、各种商用车辆的载客车辆；包括各种小船和海船的船只，航天器等，以及包括混合动力车辆、电动车辆、燃烧机(combustion)、插入式混合电动车辆、氢动力车辆及其他替代燃料车辆(例如，燃料来源于除石油以外的资源)。
虽然将示例性实施方式描述为使用多个单元执行示例性过程，应理解的是，还可通过一个或多个模块或单元执行该示例性过程，该一个或多个模块或单元布置在提供相同的功能优势的几个或更多部件中或与其结合。此外，应理解的是，术语控制器/控制单元是指包括存储器、处理器和同样操作所必须的外围硬件的硬件装置。该存储器被配置为存储模块，并且该处理器具体地被配置为执行所述模块以执行下文中进一步描述的一个或多个处理。
此外，本发明的控制逻辑可实施为计算机可读介质上的非临时性计算机可读介质，计算机可读介质包括由处理器、控制器/控制单元等执行的可执行程序命令。计算机可读介质的实例包括但不限于，ROM、RAM、光盘(CD)-ROM、磁带、软盘、闪存驱动、智能卡以及光数据存储装置。计算机可读介质也可分布在网络耦接的计算机系统中，从而以分布式方式(例如由车载通信服务器或控制器局域网络(CAN))存储并执行该计算机可读介质。
本文中使用的术语仅出于描述具体实施方式的目的而并非旨在限制本发明。除非上下文中明确指出并非如此，否则如在本文中使用的单数形式“一(a)”、“一个(an)”及“该(the)”旨在包括复数形式。将进一步理解的是，术语“包括(comprises)”和/或“包含(comprising)”在此说明书中使用时指明所述特征、整体、步骤、操作、元件和/或部件的存在，但不排除一个或多个其他特征、整体、步骤、操作、元件、部件和/或其组的存在或添加。如本文中所使用的，术语“和/或”包括一个或多个相关列出项的任意以及所有组合。
在下文中，将参考附图详细描述本技术。
参考图1和图2，图1是具有根据实施方式的HMI设备的车辆的示例性示图；以及图2是具有根据实施方式的HMI设备的车辆内部的示例性示图。
除此之外，车辆1是驱动车轮109并且在道路上行进以运输人或货物为目的的装置。车辆1包括具有内部和外部的主体以驾驶所需的机械装置作为主体除外的其他部件安装于其上的底盘。
如在图1中所示，主体的外部110包括前挡板或保险杠(bumper)111；引擎罩112；顶盖113；后挡板114；后备箱115；前面、后面、左边和右边的车门116以及设置在前面、后面、左边和右边的车门116中的车窗玻璃117。
另外，主体的外部进一步包括设置在前挡板111；引擎罩112；顶盖113；后挡板114；后备箱115；车窗玻璃117以及前面、后面、左边和右边的车门116之间的边界上的支柱118。
另外，主体的外部进一步包括邻近支柱118安装的并被禁止打开/关闭的后三角窗玻璃(quarter window glass)117a，安装在后侧的后窗玻璃117b以及安装在前侧的前窗玻璃117c。
主体的外部进一步包括后视镜(side mirrors)119，用于为驾驶员提供在车辆1后方等的视野。
车辆1的底盘(未示出)包括动力生成装置、动力传动装置、驱动装置、转向装置、制动装置、悬挂装置、变速装置、燃油装置、前轮、后轮、左轮、右轮等等。
车辆1进一步包括用于保证驾驶员和乘客安全的各种安全装置。
作为车辆1的安全装置，存在各种类型的安全装置，诸如在车辆碰撞时用于保证驾驶员和乘客安全的安全气囊控制装置，以及在车辆1加速或转弯时用于稳定车辆1的姿势的电子稳定控制(ESC)装置。
另外，车辆1可以进一步包括感测装置，诸如用于感测在后方或横向上的障碍物或另一个车辆的近距离传感器、用于感测降水和降水量的雨水传感器、用于感测车内和车外温度的温度传感器等等。
车辆1包括用于控制动力生成装置、动力传动装置、驱动装置、转向装置、制动装置、悬挂装置、变速装置、燃油装置、安全装置、各种传感器等致动的电子控制单元(ECU)。
此外，车辆1可以选择性地包括诸如空调装置、照明装置、导航装置、座椅加热器(即，热丝组件)、免提装置、全球定位系统(GPS)装置、音频装置、蓝牙装置、后摄像头、用于外部终端的充电装置以及为了方便驾驶员而安装的高通装置(high-pass device)的电子装置。
此外，车辆1可以选择性地包括诸如用于自动打开/关闭天窗的天窗打开/关闭装置，用于自动打开/关闭前面、后面、左边、右边的车门的车门打开/关闭装置，用于自动打开/关闭车窗玻璃的车窗玻璃打开/关闭装置以及用于自动锁上和解锁前面、后面、左边、右边的车门的门锁装置的电子装置。
该车辆1可以进一步包括用于将操作命令输入给起动机(starter motor)(未示出)的起动按钮。
即，当转动起动钮时，车辆1使起动机(未示出)运行并且通过起动机的运行来驱动作为动力生成装置的发动机(未示出)。
车辆1进一步包括电气连接至导航装置、音频装置、车内照明装置、起动机以及其它电子装置的电池(未示出)并且该电池被配置为供应致动电力。优选地，利用在驾驶过程中的发动机的电力或者自激发电机(self-generator)为电池充电。
如在图2中所示，主体的内部包括乘客所乘坐的座椅121(121a和121b)、前围板(dash board)122、布置在前围板122上的仪表板(即，仪表组(cluster)123)。仪表组123包括转速计、里程计、冷却液温度计、燃油量表、方向指示灯、远光指示灯、警示灯、安全带警示灯、距离记录器、里程表、自动变速选档指示灯、车门开启警示灯、机油警示灯以及燃料不足警示灯等等。车辆1还包括用于操作车辆方向的方向盘124以及在其上布置有音频装置、空调装置等的控制面板的中央仪表板125。
座椅121包括驾驶员乘坐的驾驶员座椅121a、同行的乘客乘坐的乘客座椅121b以及安置在车辆1内的后方的后排座椅。
可以以数字方案来实施仪表组123。数字方案的仪表组显示车辆信息和行驶信息的图像。
在前围板122中，中央仪表板125被定位在驾驶员座椅121a与乘客座椅121b之间并且具有控制面板，该控制面板设置有用于调节音频装置、空调装置以及座椅加热器的多个按钮。出气口、雪茄插孔等可以被安装在中央仪表板125中。
另外，用于接收从用户输入的信息并且输出与输入的信息相对应的结果的终端装置(例如，导航装置)可以被设置在中央仪表板125中。
在车辆中，可以设置HMI设备200，该HMI设备200用于基于由用户输入的操作命令控制各种类型的电子装置的操作。即，HMI设备200接收输入的各种类型的电子装置的操作命令并且将所输入的操作命令传输至相关电子装置。HMI设备200识别用户的手势，辨认与所识别到的手势相对应的操作命令并且将辨认出的操作命令输出给电子装置。下面更详细地描述HMI设备200。
此外，在车辆中，可以进一步设置检测单元300，该检测单元用于将用户的手势信息提供给HMI设备200。在此，检测单元300检测对象(例如，用户的手)并且将针对检测到的对象的形态和动作的检测信号传输给HMI设备200。检测单元300可以包括用于收集对象的图像的照相机。另外，检测单元300可以包括用于在不同的位置收集图像的两个照相机。即，HMI设备200利用通过两个照相机所收集的图像来获取三维(3D)图像并且从所获取3D图像识别对象的形态和动作。另外，检测单元300可以包括3D照相机。检测单元300还可包括用于检测对象的电容的电容传感器，用于检测距离该对象的距离的超声波传感器或者用于检测从对象反射的光的光学传感器。检测单元300甚至可以集成地设置在HMI设备200中。
现在参考图3，根据实施方式的HMI设备的控制配置图示出了设置在车辆1中的HMI设备的控制配置。
如在图3中所示，HMI设备200包括识别单元210、控制单元220、存储单元230、通信单元240以及输出单元250。
识别单元210基于由检测单元300检测到的检测信号获取对象的形态和动作并且识别与所获取的形态和动作相对应的手势。另外，识别单元210辨认检测到对象的位置，并且基于所辨认出的位置来识别执行该手势的区域。即，识别单元210识别对象的检测区域。
当检测单元300是照相机时，识别单元210处理所收集的图像，基于处理过的图像来获取对象的形态和动作并且辨认检测到该对象的位置。识别单元210可以被包括在控制单元220中或其它地方。
当在区域之间的边界区域中识别到手势时，控制单元220基于安装在邻近于边界区域的区域中的电子装置的操作信息来确定电子装置的操作的调节概率，并且根据确定结果控制与该手势相对应的操作命令输出至具有最高调节概率的电子装置。
将更具体地描述控制单元220的控制配置。控制单元220确定识别到的检测区域的数量是否为一个，当识别到的检测区域的数量为一个时，辨认与识别到的手势相对应的操作命令，辨认具有辨认出的操作命令的电子装置并且控制输出单元250将操作命令输出至所辨认出的电子装置。即，控制单元220通过辨认与所识别到的检测区域和所识别到的手势相对应的电子装置的操作命令来使电子装置能够根据用户的意图而受控制，并且将操作命令输出至所辨认出的电子装置。
当识别到的检测区域的数量为至少两个时，控制单元220确定是否存在与每个识别到的检测区域相对应的电子装置的操作命令，并且当确定仅在一个区域中存在电子装置的操作命令时，控制操作命令输出至与该手势相对应的电子装置。优选地，确定识别到的检测区域的数量是否为至少两个包括：确定识别到的检测区域是否为区域之间的边界区域。边界区域是这样的区域，即，该区域中两个区域相邻并且包括在两个区域相邻所在位置处的给定范围内的区域。
当识别到的检测区域的数量为至少两个时，控制单元220根据每个识别到的检测区域来辨认与手势相对应的电子装置，基于辨认出的电子装置的当前操作信息来确定电子装置的调节概率，并且控制与手势相对应的操作命令输出至具有最高调节概率的电子装置。
电子装置的操作信息包括打开/关闭信息、开/关信息、功能的选择值(例如，音量级别、车内温度以及无线电频道)信息等等。
例如，当识别到的对象处于第一区域和第二区域中时，控制单元220辨认具有与在第一区域中识别到的手势相对应的操作命令的第一电子装置，辨认具有与在第二区域中识别到的手势相对应的操作命令的第二电子装置；通过辨认所辨认出的第一电子装置和第二电子装置的当前操作信息来确定第一电子装置的调节概率和第二电子装置的调节概率；辨认两个调节概率之间具有最高调节概率的电子装置，并且控制与手势相对应的操作命令输出至所辨认出的电子装置。
另外，当识别到的检测区域的数量为至少两个时，控制单元220可以辨认与在每个识别到的检测区域中的手势相对应的电子装置。控制单元220能够基于辨认出的电子装置的当前操作信息和先前的操作模式来确定电子装置的调节概率，并且控制与手势相对应的操作命令输出至具有最高调节概率的电子装置。
优选地，控制单元220可以将在每个识别到的检测区域中的与手势相对应的电子装置的先前的操作模式与当前操作信息进行比较并且将在比较中具有较大差异的电子装置确定作为具有高调节概率的电子装置。
另外，当在每个识别到的检测区域中的与手势相对应的电子装置的操作是通由与识别到的手势相对应的操作命令控制时，控制单元220确定每个电子装置的操作是否偏离操作模式并且将未偏离操作模式的电子装置(即，在操作模式内操作的电子装置)确定作为具有高调节概率的电子装置。
另外，控制单元220还可接收车辆的行驶信息和环境信息，当识别到检测区域的数量为至少两个时，辨认在每个识别到的检测区域中的与手势相对应的电子装置，基于所辨认出的电子装置的操作信息和操作模式、车辆的行驶信息以及车辆的环境信息来确定所辨认出的电子装置的调节概率，并且控制与手势相对应的操作命令输出至具有最高调节概率的电子装置。
当识别到的检测区域的数量为至少两个时，控制单元220可以控制显示在每个识别到的检测区域中与手势相对应的电子装置的操作命令并且控制用于引导用户选择要显示的操作命令的引导信息。
控制单元220确定在识别到的检测区域中的与手势相对应的电子装置的操作命令是否是不合适的操作命令。控制单元220控制指示操作命令不合适的引导信息输出给用户。控制单元220还通过确定操作命令是布置在邻近于识别到的检测区域的区域中的电子装置的操作命令的概率来控制引导信息输出给用户。
优选地，控制单元220将识别到的手势的信息和与相邻区域相匹配的手势信息进行比较，确定是否存在具有与识别到的手势信息相同的手势信息的区域，并且当确定存在具有与识别到的手势信息相同的手势信息的区域时，引导在邻近于识别到的检测区域的区域中执行手势。
控制单元220可以利用具有与相邻区域相匹配的手势信息的电子装置的当前运行状态和先前的操作模式来确定通过用户进行调节的概率。当确定存在可能性时，控制单元220可以提供指示在邻近于识别到的检测区域的区域中执行手势的引导信息。
此外，当在边界区域中识别到手势时，控制单元220可以在安装在识别到的边界区域中的电子装置之中辨认具有所识别到的手势的电子装置，辨认所辨认出的电子装置的优先级，并且控制与该手势相对应的操作命令输出至具有较高优先级的电子装置。
存储单元230存储多个区域的位置信息、被定位在多个区域中的多个电子装置的信息以及多个电子装置的操作命令。存储单元230还存储与用于控制每个电子装置的操作命令相对应的手势信息。
在此，多个电子装置包括用于调节车辆1的内部温度的空调装置401、用于播放无线电声音或音乐文件的音频装置402、用于将驾驶员引导到目的地的导航装置403、用于调节车内亮度的照明装置404、用于与外部终端装置通信的蓝牙装置405、用于为座椅提供热量的加热器406、用于自动打开/关闭车窗玻璃的车窗玻璃打开/关闭装置407、用于自动打开/关闭天窗的天窗打开/关闭装置408、用于自动打开/关闭前面、后面、左边、右边车门的车门打开/关闭装置409以及用于对前面、后面、左边、右边的车门进行上锁或解锁的门锁装置(未示出)中的至少两个装置。
这些电子装置401至409从输出单元250接收命令。另外，操作命令可以包括用于各电子装置的电力开/关命令和用于各电子装置的功能调节命令。而且，将车辆的内部空间分成多个区域并且根据功能将多个电子装置安装在车辆内的指定区域中。即，当多个电子装置安装在车辆内的多个区域中并且在多个区域中任一个区域中执行手势时，安装在任一个区域中的任何一个或多个电子装置被配置为由HMI设备200进行控制。优选地，存储多个区域的信息和电子装置的信息并且使它们彼此关联。
另外参考图4，示出了车辆1的另一个内部示图。车辆1内部包括多个区域A至C。在此，多个区域包括：包括驾驶员座椅的第一区域A、包括中央仪表盘的第二区域B和包括乘客座椅的第三区域C。内部还包括两个边界区域(参见图6)：第一边界区域D1，其是第一区域A与第二区域B之间的边界区域；以及第二边界区域D2，其是第二区域B与第三区域C之间的边界区域。
第一边界区域D1可以包括第一区域A与第二区域B之间的边界位置至给定范围的位置的区域。类似地，第二边界区域D2可以包括第二区域B与第三区域C之间的边界位置至给定范围的位置的区域。
第一区域A可以包括空调装置401的风量控制器(未示出)、仪表组123、蓝牙装置405、驾驶员座椅的加热器406、驾驶员座椅侧的车门打开/关闭装置409、门锁装置以及车窗玻璃打开/关闭装置407等。第二区域B可以包括空调装置401的风量控制器(未示出)、导航装置403、音频装置402、照明装置404、天窗打开/关闭装置408等等。第三区域C可以包括空调装置401的风量控制器(未示出)、乘客座椅的加热器406、乘客座椅侧的车门打开/关闭装置409、门锁装置、车窗玻璃打开/关闭装置407等等。
仍参考图3，存储单元230存储安装在第一区域A中的空调装置401的风量控制器(未示出)、仪表组123、蓝牙装置405、驾驶员座椅的加热器406、驾驶员座椅侧的车门打开/关闭装置409、门锁装置以及车窗玻璃打开/关闭装置407的操作命令，并且存储与操作命令相对应的手势信息。
另外，存储单元230存储安装在第二区域B中的空调装置401的风量控制器(未示出)、导航装置403、音频装置402、照明装置404、天窗打开/关闭装置408等的操作命令，并且存储与操作命令相对应的手势信息。
另外，存储单元230存储安装在第三区域C中的空调装置401的风量控制器(未示出)、乘客座椅的加热器406、乘客座椅侧的车门打开/关闭装置409以及车窗玻璃打开/关闭装置407的操作命令，并且存储与操作命令相对应的手势信息。
存储单元230存储多个电子装置的先前的操作信息并且存储基于电子装置先前操作信息的操作模式。存储单元230可以存储与一个手势相对应的至少两个电子装置的操作命令。存储单元230可以存储电子装置的优先级，并且根据每个边界区域控制其操作。
通信单元240通过与车辆信息收集单元420进行通信来接收车辆信息和车辆内的多个电子装置401至409的操作信息。无论是以有线还是无线的方式，车辆信息收集单元420与电子装置401至409进行通信。本文中的车辆信息包括车辆的行驶信息和车辆的环境信息。此外，车辆1的环境信息包括车辆的内部温度、外部温度，并且车辆的行驶信息包括驾驶、停止等等。
电子装置的操作信息包括打开/关闭信息、开/关信息、功能的选择值(例如，音量级别、室内温度以及无线电频道)信息等等。
通信单元240可执行控制器局域网(CAN)通信并且从车辆信息收集单元或者通过与多个电子装置通信而从多个电子装置接收操作信息。
输出单元250连接至多个电子装置401至409并且将操作命令输出给至少一个电子装置。这个输出单元250可以包括连接至多个电子装置的数字端口、模拟端口等等。此外，输出单元250可以包括用于与多个电子装置通信的CAN通信。
车辆1包括用于控制动力生成装置、动力传动装置、驱动装置、转向装置、制动装置、悬挂装置、变速装置、燃油装置、安全装置、各种传感器等致动的电子控制单元(ECU)410。ECU 410优选地与车辆信息收集单元420进行通信。车辆信息收集单元420可以被设置在HMI设备中。
车辆1可以进一步包括用于接收从用户输入的操作命令的输入单元430以及用于显示操作信息的显示单元440。可以以按钮方案、触摸方案或表盘方案来实施该输入单元430。这个输入单元430可以接收输入的HMI设备的开/关命令并且显示单元440可以显示手势识别结果。此外，输入单元430和显示单元440可以被设置在HMI设备200或外部终端装置(例如，导航装置)中。
即，设置在外部终端装置中的输入单元430和显示单元440可以通过与HMI设备200通信接收输入的HMI设备200的操作命令并且显示HMI设备200的操作状态、手势识别结果、手势引导信息、不符合的引导信息等。
现在参考图5，示出了根据本技术的HMI设备200的控制流程图。将另外参考图6至图13描述该控制流程图。将描述布置在车辆中的HMI设备200的控制方法。
在步骤(501)中，HMI设备200基于由检测单元300传输的检测信号来确定是否检测到对象。当确定从车辆1的内部空间检测到对象时，HMI设备200获取检测到的对象的形态，并且基于所获取的对象的形态来确定检测到的对象是否是用于手势识别的对象。如果未检测到手势，方法返回以不断地检查手势。
当在步骤(501)中确定检测到用于手势识别的对象时，HMI设备200获取对象的动作并且前进至步骤(502)。在步骤(502)中，HMI设备200基于获取的对象的动作和形态来识别手势并且识别其中检测到对象的检测区域。
当检测单元300是照相机时，将描述HMI设备200的操作实例。HMI设备200处理由照相机收集的图像并且确定在处理过的图像中是否存在用于手势识别的对象。当确定在图像中存在用于手势识别的对象时，HMI设备200通过反映对象的形态和动作来识别手势。HMI设备200还辨认图像内的对象的位置，并且识别与所辨认出的位置相对应的区域。
在步骤(503)中，HMI设备200确定识别到的检测区域的数量是否为两个或两个以上。如果识别到的检测区域的数量为一个，方法进行至步骤(504)，其中，HMI设备200辨认与识别到的手势相对应的电子装置的操作命令。然后，在步骤(505)中，HMI设备200将辨认出的操作命令输出至辨认出的电子装置。
下面仍参考图5，但具体地与图6和图7一起对示例性手势进行详细描述。如在图6中所示，在HMI设备200中，可根据每个区域A至C设定电子装置401至409的操作命令并且可根据每个操作命令来设定手势。将利用实例对其进行描述。
HMI设备200存储：与第一区域A相匹配的空调装置401的操作命令和门锁装置的操作命令；与第二区域B相匹配的音频装置402的操作命令、照明装置404的操作命令和导航装置403的操作命令；以及与第三区域C相匹配的空调装置401的操作命令、布置在乘客座椅侧的车门打开/关闭装置409的操作命令和乘客座椅内的加热器406的操作命令。
在这个HMI设备200中，设定与用于使与第一区域A相匹配的空调装置401的目标温度增加一个级别(例如，0.5℃)的操作命令相对应的第一手势g1；并且设定与用于对门锁装置409进行上锁或解锁的操作命令相对应的第二手势g2，该门锁装置与第一区域A相匹配。
另外，在HMI设备200中，设定与用于使与第二区域B相匹配的音频装置402的音量增加一个级别的操作命令相对应的第一手势g1；设定对应于与用于控制与第二区域B相匹配的导航装置403开/关的操作命令的第二手势g2；以及设定与用于控制与第二区域B相匹配的照明装置404开/关的操作命令相对应的第三手势g3。
另外，在HMI设备200中，设定与用于使与第三区域C相匹配的空调装置401的目标温度增加一个级别(例如，0.5℃)的操作命令相对应的第一手势g1；设定与用于控制与第三区域C相匹配的加热器406开/关的操作命令相对应的第二手势g2；以及设定与用于控制与第三区域C相匹配的车门打开/关闭装置409打开/关闭的操作命令相对应的第三手势g3。
如在图6中可以看出，第一手势g1具有其中舒展所有手指的手张开的形态和手向上移动的动作。第二手势g2具有手张开的形态和手从左边移动到右边的动作。第三手势g3具有其中缩回所有的手指的手握拳的形态和手从左边移动到右边的动作。
以这种方式，在其中针对每个区域的手势设定了电子装置的操作命令的状态下，HMI设备200周期性地检查是否检测到车辆内部的用于手势识别的对象。
如在图6和图7中所示，当识别到第一手势g1时，HMI设备200辨认其中第一手势g1出现的区域。此时，当确定仅在第一区域A中识别到手势g1时，目标温度增加命令被输出到空调装置401以便将驾驶员座椅的目标温度增加一个级别(例如，0.5℃)。此时，空调装置401控制设置在驾驶员座椅侧的风量控制器(未示出)以控制风量并且使驾驶员座椅的目标温度增加。
此外，空调装置401可以存储通过用户调节的目标温度以便获得空调装置的操作模式并且稍后提供存储于车辆信息收集单元420中的操作信息。当将操作命令输出到辨认出的电子装置时，HMI设备200可以基于辨认出的电子装置的操作信息来确定操作命令是否是符合要求的并且将确定结果作为引导信息输出给用户。
此时，HMI设备200可以确定安装在邻近于所识别的检测区域的区域中的电子装置的操作命令的概率。优选地，HMI设备可以确定在与安装在相邻区域中的电子装置的操作命令相对应的手势中是否存在与所识别的手势匹配的手势，并且当确定存在匹配手势时，控制表示存在匹配手势的引导信息输出给用户。
例如，当假设夏季时的车辆1的内部温度为30℃而目标温度为29℃时，如果在其中内部温度高于目标温度的状态下确定识别到用于增加温度的第一手势，那么HMI设备200控制输出指示空调装置401的操作控制异常的引导信息。
另外，当确定空调装置401的温度增加命令不合适时，HMI设备200可以确定在安装在邻近于第一区域的第二区域中的电子装置之中是否存在具有与第一手势相对应的操作命令的电子装置。当确定存在具有与第一手势相对应的操作命令的电子装置时，HMI设备200可以输出用于辨认操作命令是否是与第一手势相对应的音频装置的音量级别提高命令。以这种方式，HMI设备200辨认与识别到的检测区域和识别到的手势相对应的电子装置的操作命令并且将操作命令输出到辨认出的电子装置，使得可以根据用户意图来控制电子装置。
仍参考图5，在步骤(503)中，当识别到的检测区域的数量为两个或两个以上时，该方法进行至步骤(506)。在步骤(506)中，HMI设备200确定是否已设定了与每个识别到的检测区域中手势相对应的的电子装置的操作命令。此时，当确定仅在一个区域中设定了与识别到的手势相对应的操作命令时，HMI设备200确定由用户执行的手势是在一个区域中执行的手势。因此，HMI设备200进行至步骤(507)并且辨认与一个区域和手势相对应的电子装置的操作命令。在步骤(508)中，HMI设备200将操作命令输出给辨认出的电子装置。
如在图6和图8中所示，当识别到第三手势g3时，HMI设备200辨认其中第三手势g3出现的区域。此时，当确定在第一区域A和第二区域B中识别到第三手势g3时，HMI设备200确定在与第一区域A相匹配的电子装置之中是否存在其操作是由第三手势g3控制的电子装置，并且确定在与第二区域B相匹配的电子装置之中是否存在其操作是由第三手势g3控制的电子装置。
当确定与第二区域相匹配的电子装置的操作由第三手势g3控制时，即，当确定仅在第二区域中设定了与第三手势g3相对应的电子装置的操作命令时，HMI设备200将开/关操作命令输出至安装在第二区域B中的照明装置404。优选地，HMI设备200基于照明装置404的操作状态输出操作命令。即，当照明装置404的操作状态为接通时，HMI设备200会输出关闭命令，并且当照明装置404的操作状态为关闭时，则输出接通命令。
另一方面，在步骤(506)中，HMI设备200可以在一个以上的区域中识别手势并且因此进行至步骤(509)。在步骤(509)中，当确定识别到的检测区域的数量为至少两个时，HMI设备200辨认与在每个识别到的检测区域中的手势相对应的电子装置。HMI设备200基于诸如在步骤(510)中的操作信息、辨认出的电子装置的操作模式以及车辆的行驶信息和环境信息中的至少一条当前操作信息来确定电子装置的调节概率，诸如在步骤(511)中的调节概率。电子装置的操作信息包括打开/关闭信息、开/关信息、功能的选择值(例如，音量级别、室内温度以及无线电频道)信息等等。接下来，方法进行至步骤(512)，其中，HMI设备200将与手势相对应的操作命令输出给具有最高调节概率的电子装置。
如在图6和图9中所示，当识别到第一手势g1时，HMI设备200辨认第一手势g1出现的区域。此时，当确定在第一区域A和第二区域B中识别到第一手势g1时，HMI设备200确定在与第一区域A相匹配的电子装置之中是否存在其操作是由第一手势g1控制的电子装置，并且确定在与第二区域B相匹配的电子装置中是否存在其操作是由第一手势g1控制的电子装置。
当确定与第一区域A和第二区域B中的每一个相匹配的电子装置的操作是由第一手势g1控制时，即，当确定在第一区域和第二区域中设定了与第一手势g1相对应的电子装置的所有的操作命令时，HMI设备200通过辨认与第一区域A相匹配的空调装置401的操作信息并且辨认与第二区域B相匹配的音频装置402的操作信息来确定电子装置的调节概率。
当确定了调节概率时，HMI设备200可以使用除了当前操作信息以外的其他信息。此时，根据电子装置的类型使用操作模式、车辆1的行驶信息和环境信息。
例如，当具有与手势g1相对应的操作命令的电子装置是空调装置401时，HMI设备200可通过额外使用车辆1的环境信息来确定调节概率；当具有与手势g1相对应的操作命令的电子装置是音频装置402时，通过额外利用车辆1的环境信息和操作模式来确定调节概率；以及当具有与手势g1相对应的操作命令的电子装置是车门打开/关闭装置409或门锁装置时，通过额外利用车辆1的行驶信息来确定调节概率。
因此，HMI设备200通过将作为车辆1的环境信息的车辆1的内部温度与目标温度进行比较来获取温度差异，并且基于所获取的温度差异确定空调装置的调节概率。此时，可以根据温度差异增加调节概率的权值(weight value)。另外，通过将音频装置402的当前音量级别与音频装置402的音量模式进行比较来获取音量级别差异，并且基于所获取的音量级别差异来确定音频装置402的调节概率。此时，可以根据音量级别差异来增加调节概率的权值。此外，在HMI设备200中，可以预先设定与温度差异或音量级别差异相对应的权值。
HMI设备200将空调装置401的调节概率与音频装置402的调节概率进行比较，基于比较结果确定具有最高调节概率的电子装置，将所确定的电子装置确定作为用户预期的电子装置，并且将与第一手势g1相对应的操作命令输出给所确定的电子装置。例如，当车辆的内部温度为20℃而目标温度为18℃时，因为温度差异为2℃，故可以确定空调装置的调节概率为80％，并且当音频装置的音量级别为6并且平均音量级别为5时，因为音量差为1，故可以确定音频装置的调节概率为50％。因此，HMI设备200可以将目标温度增加命令输出给空调装置401。优选地，HMI设备200通过使用显示单元440输出确定结果和引导信息使得能够准确输入用户预期的操作命令。
如在图10中所示，HMI设备200在显示单元440上显示在不同的引导窗口440a、440b上的特定区域的确定结果。显示单元440与用于接收在第一引导窗口440a上输入的确认命令的手势信息一起显示指示识别到的针对驾驶员座椅的空调温度增加命令的引导信息。显示单元440显示指示识别到的音量级别提高命令的引导信息和用于接收在第二引导窗口440b上的确认命令的输入的手势信息。然后，HMI设备200基于识别到的手势输出驾驶员座椅的空调温度增加命令或者音量级别提高命令。
此外，将参考图6和图11描述其中识别到手势g2的边界区域的数量为两个的情况，即，其中在三个区域中识别到手势的情况。如在图11中所示，当识别到第二手势g2时，HMI设备200辨认其中出现第二手势g2的区域。此时，当确定在第一区域A、第二区域B以及第三区域C中识别到第二手势g2时，HMI设备200确定在与第一区域A、第二区域B以及第三区域C相匹配的电子装置中是否存在其操作是由第二手势g2控制的电子装置。
当确定与所有的第一区域A、第二区域B以及第三区域C相匹配的电子装置的操作是由第二手势g2控制时，即，当确定在第一区域A、第二区域B以及第三区域C中设定了与第二手势g2相对应的电子装置的操作命令时，HMI设备200通过辨认与第一区域A相匹配的门锁装置的操作信息、辨认与第二区域B相匹配的导航装置403的操作信息以及辨认与第三区域C相匹配的加热器406的操作信息来确定每个电子装置的调节概率。
HMI设备200基于车辆1的行驶信息和车门的锁定状态来确定驾驶员座椅侧的门锁装置的调节概率；基于车辆1的行驶信息和导航装置403的操作状态来确定导航装置403的调节概率；以及基于作为车辆1的环境信息的车辆1的内部温度和乘客的上车信息来确定乘客座椅的加热器406的调节概率。
例如，当车辆1行驶并且驾驶员座椅侧的车门处于锁定状态时，HMI设备200可以确定门锁装置的操作的调节概率是20％；当导航装置403关闭时，HMI设备200可以确定导航装置403的操作的调节概率是70％；以及当乘客座椅中没有乘客时，HMI设备200可以确定乘客座椅的加热器406的操作的调节概率是5％。因此，HMI设备200将接通命令输出给具有最高调节概率的导航装置403，其将被进行调节操作。
现在参考图12，作为实例，当确定没有与在第一区域A中识别到的手势g3相对应的操作命令时，HMI设备200可以确定安装在邻近于其中识别到手势g3的区域A的区域B中的电子装置的操作命令的概率。换言之，HMI设备200可以确定在与安装在相邻区域中的电子装置的操作命令相对应的手势之中是否存在与识别到的手势匹配的手势，并且控制指示存在匹配手势的引导信息输出给用户。
例如，当在第一区域A中识别到第三手势g3时，HMI设备200确定在安装在第一区域A的电子装置之中是否存在具有第三手势g3的电子装置，并且当确定在安装在第一区域A的电子装置之中不存在具有第三手势g3的电子装置时，向用户提供手势识别错误的引导信息。在这种情况下，HMI设备200将优选地确定邻近于第一区域A的第二区域B中是否存在具有第三手势g3的电子装置，并且当确定在第二区域B中存在具有第三手势g3的电子装置时，向用户输出用于向用户请求第二区域B中的手势的引导信息。即，HMI设备200可以输出请求用于控制第二区域B的照明装置404的手势的引导信息。
另外，虽然当在边界区域中识别到手势时，HMI设备200将操作命令输出至安装在包括边界区域的区域中的任一个电子装置，但还可以基于预设的优先级来辨认具有最高优先级的电子装置并且将操作命令输出至辨认出的电子装置，现参考图6和图13对其进行描述。HMI设备200存储在第一边界区域D1中进行手势识别时所要控制的电子装置的优先级，并且存储在第二边界区域D2中进行手势识别时所控制的电子装置的优先级。这种优先级可以是用户可选的(通过驾驶员)。
即，HMI设备200根据每个手势存储安装在均包括第一边界区域D1的第一区域A和第二区域B中的电子装置的优先级并且根据每个手势存储安装在均包括第二边界区域D2的第二区域B和的第三区域C中的电子装置的优先级。
如在图13中所示，当第一边界区域A中识别到第一手势g1时，在安装在第一区域A中的电子装置之中辨认具有第一手势g1的电子装置并且在安装在第二区域B中的电子装置之中辨认出具有第一手势g1的电子装置之后，HMI设备200辨认两个电子装置的优先级。因为安装在第一区域A中的电子装置具有高于安装在第二区域B中的电子装置的优先级，故HMI设备200将与手势g1相对应的操作命令输出给安装在第一区域A中的电子装置。
另外，在第二边界区域B中识别到第一手势g1时，在安装在第二区域B中的电子装置之中辨认出具有第一手势g1的电子装置并且在安装在第三区域C中的电子装置之中辨认出具有第一手势g1的电子装置之后，HMI设备200辨认两个电子装置的优先级。此时，因为安装在第一区域B中的电子装置具有高于安装在第三区域C中的电子装置的优先级，故HMI设备200将与手势g1相对应的操作命令输出给安装在第二区域B中的电子装置。
此外，虽然已在示例性实施方式中描述了操作命令被输出到布置在每个区域中的电子装置的配置，当在其中驾驶员乘坐在驾驶员座椅中的状态下，因为驾驶员可能希望打开乘客座椅侧的车窗玻璃或自动打开乘客座椅侧的车门而需要从一个区域控制布置在另一个区域中的电子装置时，可以在设定操作命令和布置在另一个区域中电子装置的手势之后来根据手势输入将操作命令输出至布置在另一区域中的电子装置。
图14是根据另一个实施方式的具有多个检测单元300a、300b、300c的HMI设备200的示例性示图。HMI设备200可以分别从用于检测每个区域A至C中的手势的多个检测单元300a、300b、300c接收检测信号。
HMI设备200基于从多个检测单元300a、300b和300c传输的检测信号来获取对象并且基于所获取的对象的信息对手势进行识别。
当多个检测单元中的至少一个检测对象时，该HMI设备200辨认与通过其检测到对象的检测单元相匹配的区域；并且辨认安装在辨认出的区域中的电子装置之中具有识别到的手势的电子装置。HMI设备200还将与所识别到的手势相对应的操作命令输出给所辨认出的电子装置。
HMI设备200辨认：与在多个检测单元之中通过其检测到对象的至少两个检测单元相匹配的区域；以及在安装在辨认出的区域中的电子装置中具有识别到的手势的电子装置。HMI设备200还基于辨认出的电子装置的操作信息和操作模式以及车辆1的环境信息和行驶信息中的至少一条信息来确定每个电子装置的调节概率。更进一步地，HMI设备200将具有高调节概率的电子装置确定作为确定结果，并且将与手势相对应的操作命令输出至所确定的电子装置。优选地，因为其中确定的具有高调节概率的电子装置的配置与上述实施方式的配置相同，故省略对其的进一步的说明。
此外，当通过两个检测单元检测对象时，HMI设备200可以根据要显示的每个区域控制对应手势的电子装置的操作命令并且控制用于引导用户选择一个要显示的引导信息。
HMI设备200可以确定与特定区域的手势相对应的电子装置的操作命令是否是不合适的操作命令，控制指示操作命令不合适的引导信息输出给用户，并且通过确定操作命令是布置在邻近于识别到的检测区域的区域中的电子装置的操作命令的概率来控制引导信息输出给用户。
设想当通过两个检测单元检测到对象时，HMI设备200可以在安装在识别到的边界区域中的电子装置之中辨认具有识别到的手势的电子装置，辨认所辨认出的电子装置的优先级，并且控制与该手势相对应的操作命令输出给具有较高优先级的电子装置。
HMI设备200的存储单元可以存储多个区域的位置信息、安装在多个区域中的每一个中的检测单元的信息、定位在多个区域中的多个电子装置的信息、多个电子装置的操作命令、与用于控制每个电子装置的操作命令相对应的手势信息以及实现在本文中所描述及提出的技术的所有的所需数据。
尽管已经示出和描述了本技术的几个实施方式，但本领域技术人员应当理解的是在不背离本发明的原理和精神的前提下可以对这些实施方式做出改变，其范围被限定在权利要求及其等同物中。

Claims (20)

1.一种具有人机接口设备的车辆，所述人机接口设备被配置为将用户的操作命令输出至多个电子装置中的至少一个，所述人机接口设备包括：
存储单元，被配置为存储多个区域的位置信息、定位在所述多个区域中的所述多个电子装置的操作命令以及所述操作命令的手势信息；
识别单元，被配置为识别所述用户的手势；以及
控制单元，被配置为当在所述多个区域的边界区域中识别到所述手势时，辨认安装在邻近于所述边界区域的区域中的电子装置，基于操作信息、识别的电子装置的预先存储的操作模式、车辆的行驶信息以及车辆的环境信息中的至少一项来确定识别的电子装置的调节概率，并且控制与该手势相对应的操作命令输出至具有最高调节概率的电子装置，
其中，当由与识别的手势相对应的操作命令来控制识别的电子装置的操作时，所述控制单元被配置为确定各个识别的电子装置的操作是否偏离操作模式，并且将在操作模式内操作的电子装置确定为具有高调节概率的电子装置，
其中，所述控制单元根据每个相邻区域来识别与手势相对应的电子装置，分别识别与识别的电子装置的操作模式相对应的功能值，并且将识别的功能值分别与识别的电子装置的当前操作信息相对应的功能值进行比较，并且将在所述比较中具有最大差异的电子装置确定为具有高调节概率的电子装置，
其中，所述边界区域包括在两个区域相邻所在位置处的给定范围内的区域。
2.根据权利要求1所述的车辆，其中，所述控制单元辨认具有每个相邻区域中的所述手势的电子装置的操作信息，基于所辨认出的电子装置的操作信息来确定辨认出的电子装置的操作将被调节的调节概率，并且将与所述手势相对应的所述操作命令输出至具有最高调节概率的电子装置。
3.根据权利要求1所述的车辆，其中，所述控制单元辨认具有每个相邻区域中的所述手势的电子装置的优先级并且将与所述手势相对应的所述操作命令输出至具有最高优先级的电子装置。
4.根据权利要求1所述的车辆，其中，
所述多个电子装置包括空调装置、音频装置、导航装置、照明装置、蓝牙装置、座椅内的加热器、车窗玻璃打开/关闭装置、天窗打开/关闭装置、车门打开/关闭装置以及门锁装置中的至少两个装置；并且
所述操作命令包括电力开/关命令和功能调节命令。
5.根据权利要求4所述的车辆，其中，
所述存储单元进一步存储所述多个电子装置的操作模式；以及
所述控制单元利用所述辨认出的电子装置的操作信息和预先存储的操作模式来确定所述辨认出的电子装置的操作将被调节的调节概率。
6.根据权利要求1所述的车辆，其中，当在一个区域中识别到所述手势时，所述控制单元辨认安装在所述一个区域中的电子装置之中具有所述手势的电子装置，并且控制与所述手势相对应的所述操作命令输出至所述辨认出的电子装置。
7.根据权利要求1所述的车辆，进一步包括被配置为检测用于进行手势的对象的检测单元。
8.一种具有多个电子装置的车辆，所述车辆包括：
多个检测单元，被布置在多个区域中；以及
人机接口设备，被配置为将用户的操作命令输出至被布置在所述多个区域中的所述多个电子装置，
其中，所述人机接口设备包括：
存储单元，被配置为存储所述多个区域的位置信息、布置在所述多个区域中的所述多个电子装置的操作命令以及所述操作命令的手势信息；
识别单元，被配置为识别所述用户的手势；以及
控制单元，被配置为当在所述多个检测单元中同样地识别到所述手势时，辨认布置了识别所述手势的检测单元的区域、辨认安装在所辨认出的区域中的电子装置，基于操作信息、识别的电子装置的预先存储的操作模式、车辆的行驶信息以及车辆的环境信息中的至少一项来确定识别的电子装置的调节概率，并且控制与该手势相对应的操作命令输出至具有高调节概率的电子装置，
其中，当由与识别的手势相对应的操作命令来控制识别的电子装置的操作时，所述控制单元被配置为确定各个识别的电子装置的操作是否偏离操作模式，并且将在操作模式内操作的电子装置确定为具有最高调节概率的电子装置，
其中，所述控制单元根据每个相邻区域来识别与手势相对应的电子装置，分别识别与识别的电子装置的操作模式相对应的功能值，并且将识别的功能值分别与识别的电子装置的当前操作信息相对应的功能值进行比较，并且将在所述比较中具有最大差异的电子装置确定为具有高调节概率的电子装置。
9.根据权利要求8所述的车辆，其中，
所述控制单元辨认具有每个辨认区域中的所述手势的电子装置的操作信息，基于所辨认出的电子装置的操作信息确定所述辨认出的电子装置的操作将被调节的调节概率以及将与所述手势相对应的所述操作命令输出至具有最高调节概率的电子装置。
10.一种车辆的控制方法，所述车辆具有多个电子装置和人机接口设备，所述人机接口设备被配置为将用户的操作命令输出至所述多个电子装置中的至少一个，所述控制方法包括以下步骤：
检测对象；
识别检测区域和检测到的对象的手势；
当确定在多个区域的边界区域中识别到所述手势时，辨认安装在邻近于所述边界区域的区域中的电子装置；以及
将与所述手势相对应的操作命令输出至辨认出的电子装置中的任一个，
基于操作信息、识别的电子装置的预先存储的操作模式、车辆的行驶信息以及车辆的环境信息中的至少一项来确定识别的电子装置的调节概率
其中，当由与识别的手势相对应的操作命令来控制识别的电子装置的操作时，确定各个识别的电子装置的操作是否偏离预先存储的操作模式，并且将在所述预先存储的操作模式内操作的电子装置确定为具有高调节概率的电子装置，
其中，根据每个相邻区域来识别与手势相对应的电子装置，分别识别与识别的电子装置的操作模式相对应的功能值，并且将识别的功能值分别与识别的电子装置的当前操作信息相对应的功能值进行比较，并且将在所述比较中具有最大差异的电子装置确定为具有高调节概率的电子装置，
其中，所述边界区域包括在多个区域中的至少两个区域彼此相邻所在位置处的给定范围内的区域。
11.根据权利要求10所述的车辆的控制方法，其中，将与所述手势相对应的所述操作命令输出至所述辨认出的电子装置中的任一个包括：
辨认具有每个相邻区域中的所述手势的电子装置的操作信息；
基于辨认出的电子装置的操作信息确定所述辨认出的电子装置的操作将被调节的调节概率；以及
将与所述手势相对应的所述操作命令输出至具有最高调节概率的电子装置。
12.根据权利要求10所述的车辆的控制方法，其中，将与所述手势相对应的所述操作命令输出至所述辨认出的电子装置中的任一个包括：
辨认具有每个相邻区域中的所述手势的电子装置的优先级；并且
将与所述手势相对应的所述操作命令输出至具有最高优先级的电子装置。
13.根据权利要求10所述的车辆的控制方法，其中，将与所述手势相对应的所述操作命令输出至辨认出的电子装置中的任一个包括：
辨认与每个相邻区域中的所述手势相对应的电子装置的操作信息；并且
接收所述车辆的行驶信息和环境信息；
基于所辨认出的电子装置的操作信息、所述行驶信息以及所述环境信息确定所述辨认出的电子装置的调节概率；以及
将与所述手势相对应的所述操作命令输出至具有最高调节概率的电子装置。
14.根据权利要求10所述的车辆的控制方法，其中，将与所述手势相对应的所述操作命令输出至辨认出的电子装置中的任一个包括：
辨认在每个相邻区域中的所述辨认出的电子装置的操作信息和操作模式；
基于所述辨认出的电子装置的所述操作信息和所述操作模式确定所述辨认出的电子装置的操作将被调节的调节概率；以及
将与所述手势相对应的所述操作命令输出至具有最高调节概率的电子装置。
15.根据权利要求10所述的车辆的控制方法，其中，
所述多个电子装置包括空调装置、音频装置、导航装置、照明装置、蓝牙装置、座椅内的加热器、车窗玻璃打开/关闭装置、天窗打开/关闭装置、车门打开/关闭装置以及门锁装置中的至少两个装置；以及
所述操作命令包括电力开/关命令以及功能调节命令。
16.根据权利要求10所述的车辆的控制方法，进一步包括：
当在一个区域中识别到所述手势时，在安装在所述一个区域中的电子装置之中辨认与所述手势相对应的电子装置；并且
将与所述手势相对应的所述操作命令输出至所辨认出的电子装置。
17.一种人机接口设备，包括：
存储单元，被配置为存储多个区域的位置信息、布置在所述多个区域中的多个电子装置的信息以及与所述多个电子装置的操作命令相对应的用户的手势信息；
识别单元，被配置为识别所述用户的手势；
控制单元，被配置为当识别到的检测区域的数量为至少两个时，辨认与在每个识别到的检测区域中的所述手势相对应的电子装置；基于辨认出的电子装置的当前操作信息来确定所述电子装置的调节概率；以及将与所述手势相对应的操作命令输出至具有最高调节概率的电子装置；以及
输出单元，连接至所述多个电子装置中的每一个并且被配置为将所述操作命令输出至至少一个电子装置，
其中，当由与识别的手势相对应的操作命令来控制识别的电子装置的操作时，所述控制单元被配置为确定各个识别的电子装置的操作是否偏离预先存储的操作模式，并且将在所述预先存储的操作模式内操作的电子装置确定为具有高调节概率的电子装置，
其中，所述控制单元根据每个相邻区域来识别与手势相对应的电子装置，分别识别与识别的电子装置的操作模式相对应的功能值，并且将识别的功能值分别与识别的电子装置的当前操作信息相对应的功能值进行比较，并且将在所述比较中具有最大差异的电子装置确定为具有高调节概率的电子装置。
18.根据权利要求17所述的人机接口设备，其中，
所述存储单元进一步存储所述多个电子装置的先前操作模式；并且
当确定所述电子装置的调节概率时，所述控制单元使用所述电子装置的操作模式。
19.根据权利要求17所述的人机接口设备，其中，当识别到的检测区域的数量为一个时，所述控制单元辨认安装在所述检测区域中的电子装置之中具有识别到的手势的电子装置并且将与所述手势相对应的所述操作命令输出至辨认出的电子装置。
20.根据权利要求17所述的人机接口设备，进一步包括被配置为检测用于识别所述用户的手势的对象的检测单元，
其中，所述识别单元从所述检测单元接收检测信号。
CN201410850463.7A 2014-10-06 2014-12-30 用于车辆的人机接口设备及其控制方法 Active CN105807904B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0134088 2014-10-06
KR1020140134088A KR101556521B1 (ko) 2014-10-06 2014-10-06 휴먼 머신 인터페이스 장치, 그를 가지는 차량 및 그 제어 방법

Publications (2)

Publication Number Publication Date
CN105807904A CN105807904A (zh) 2016-07-27
CN105807904B true CN105807904B (zh) 2020-07-17

Family

ID=54348321

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410850463.7A Active CN105807904B (zh) 2014-10-06 2014-12-30 用于车辆的人机接口设备及其控制方法

Country Status (3)

Country Link
US (1) US10180729B2 (zh)
KR (1) KR101556521B1 (zh)
CN (1) CN105807904B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6388643B2 (ja) * 2013-05-08 2018-09-12 フィリップス ライティング ホールディング ビー ヴィ モバイル計算装置のユーザ操作に基づいて照明を制御する方法及び装置
EP2857276B1 (en) * 2013-08-20 2018-12-12 Harman International Industries, Incorporated Driver assistance system
US9315197B1 (en) * 2014-09-30 2016-04-19 Continental Automotive Systems, Inc. Hands accelerating control system
JP6426025B2 (ja) * 2015-02-20 2018-11-21 クラリオン株式会社 情報処理装置
CN104699244B (zh) * 2015-02-26 2018-07-06 小米科技有限责任公司 智能设备的操控方法及装置
US20160357262A1 (en) * 2015-06-05 2016-12-08 Arafat M.A. ANSARI Smart vehicle
FR3049078B1 (fr) * 2016-03-21 2019-11-29 Valeo Vision Dispositif et procede de commande a reconnaissance vocale et/ou gestuelle pour l'eclairage interieur d'un vehicule
DE102016213667B4 (de) * 2016-07-26 2022-11-10 Audi Ag Verfahren zum Betrieb eines Fahrerassistenzsystems zur Unterstützung eines Insassen bei der Bedienung von Fahrzeugsystemen und Kraftfahrzeug
CN108508862A (zh) * 2017-02-28 2018-09-07 上海海拉电子有限公司 一种用于车辆的身份验证系统及车辆
ES2717343B2 (es) * 2017-12-20 2021-07-08 Seat Sa Método y dispositivo de control por gestos de al menos una función de un vehículo
CN108664120A (zh) * 2018-03-30 2018-10-16 斑马网络技术有限公司 手势识别系统及其方法
US11240313B2 (en) * 2018-12-05 2022-02-01 International Business Machines Corporation Contextually assigning user input to personal electronic devices
WO2020157531A1 (ja) * 2019-01-29 2020-08-06 日産自動車株式会社 乗車許可判断装置及び乗車許可判断方法
JP7145112B2 (ja) * 2019-03-25 2022-09-30 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
JP2020157943A (ja) * 2019-03-27 2020-10-01 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
DE102019210912A1 (de) * 2019-07-23 2021-01-28 Brose Fahrzeugteile Se & Co. Kommanditgesellschaft, Bamberg Verstellvorrichtung und Verfahren für die fremdkraftbetätigte Verstellung eines Verstellteils an einem Fahrzeug auf Basis wenigstens eines Bedienereignisses
KR20210017515A (ko) 2019-08-08 2021-02-17 현대자동차주식회사 차량의 모션 인식 장치 및 방법
CN111645701B (zh) * 2020-04-30 2022-12-06 长城汽车股份有限公司 一种车辆控制方法、装置及系统
US11590929B2 (en) * 2020-05-05 2023-02-28 Nvidia Corporation Systems and methods for performing commands in a vehicle using speech and image recognition
US11283510B2 (en) 2020-06-24 2022-03-22 AR & NS Investment, LLC Phase noise removal in a network of radio frequency (RF) repeaters
US11989965B2 (en) * 2020-06-24 2024-05-21 AR & NS Investment, LLC Cross-correlation system and method for spatial detection using a network of RF repeaters

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080065291A1 (en) * 2002-11-04 2008-03-13 Automotive Technologies International, Inc. Gesture-Based Control of Vehicular Components
JP2004334590A (ja) * 2003-05-08 2004-11-25 Denso Corp 操作入力装置
DE102005017313A1 (de) * 2005-04-14 2006-10-19 Volkswagen Ag Verfahren zur Darstellung von Informationen in einem Verkehrsmittel und Kombiinstrument für ein Kraftfahrzeug
EP2304527A4 (en) * 2008-06-18 2013-03-27 Oblong Ind Inc GESTIK BASED CONTROL SYSTEM FOR VEHICLE INTERFACES
JP2010215194A (ja) * 2009-03-19 2010-09-30 Hyundai Motor Co Ltd 車載機器の操作装置
US9551590B2 (en) * 2009-08-28 2017-01-24 Robert Bosch Gmbh Gesture-based information and command entry for motor vehicle
US8600166B2 (en) * 2009-11-06 2013-12-03 Sony Corporation Real time hand tracking, pose classification and interface control
US8843857B2 (en) * 2009-11-19 2014-09-23 Microsoft Corporation Distance scalable no touch computing
KR101334107B1 (ko) 2010-04-22 2013-12-16 주식회사 굿소프트웨어랩 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치 및 방법
US8396252B2 (en) * 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
US8760432B2 (en) * 2010-09-21 2014-06-24 Visteon Global Technologies, Inc. Finger pointing, gesture based human-machine interface for vehicles
KR101690117B1 (ko) * 2011-01-19 2016-12-27 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 멀티모달 및 제스처 제어를 위한 방법 및 시스템
DE102011010594A1 (de) * 2011-02-08 2012-08-09 Daimler Ag Verfahren, Vorrichtung und Computerprogrammprodukt zum Ansteuern einer Funktionseinheit eines Fahrzeugs
US9058059B2 (en) * 2011-03-03 2015-06-16 Omron Corporation Gesture input device and method for controlling gesture input device
RU2455676C2 (ru) * 2011-07-04 2012-07-10 Общество с ограниченной ответственностью "ТРИДИВИ" Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления
US20130030811A1 (en) * 2011-07-29 2013-01-31 Panasonic Corporation Natural query interface for connected car
KR101311972B1 (ko) 2011-08-05 2013-09-30 삼성전자주식회사 모션 인식을 이용한 전자 장치의 제어 방법 및 이를 적용한 전자 장치
US20130038437A1 (en) * 2011-08-08 2013-02-14 Panasonic Corporation System for task and notification handling in a connected car
WO2013074897A1 (en) * 2011-11-16 2013-05-23 Flextronics Ap, Llc Configurable vehicle console
US20130155237A1 (en) * 2011-12-16 2013-06-20 Microsoft Corporation Interacting with a mobile device within a vehicle using gestures
DE102012000263A1 (de) * 2012-01-10 2013-07-11 Daimler Ag Verfahren und Vorrichtung zum Bedienen von Funktionen in einem Fahrzeug unter Verwendung von im dreidimensionalen Raum ausgeführten Gesten sowie betreffendes Computerprogrammprodukt
DE102012000274A1 (de) * 2012-01-10 2013-07-11 Daimler Ag Verfahren und Vorrichtung zum Bedienen von Funktionen in einem Fahrzeug unter Verwendung von im dreidimensionalen Raum ausgeführten Gesten sowie betreffendes Computerprogrammprodukt
US20130204457A1 (en) * 2012-02-06 2013-08-08 Ford Global Technologies, Llc Interacting with vehicle controls through gesture recognition
US8942881B2 (en) 2012-04-02 2015-01-27 Google Inc. Gesture-based automotive controls
JP2013218391A (ja) 2012-04-05 2013-10-24 Pioneer Electronic Corp 操作入力装置、操作入力方法、及び、操作入力プログラム
US9239624B2 (en) * 2012-04-13 2016-01-19 Nokia Technologies Oy Free hand gesture control of automotive user interface
US9575562B2 (en) * 2012-11-05 2017-02-21 Synaptics Incorporated User interface systems and methods for managing multiple regions
JP6202810B2 (ja) 2012-12-04 2017-09-27 アルパイン株式会社 ジェスチャ認識装置および方法ならびにプログラム
JP6057755B2 (ja) 2013-02-08 2017-01-11 株式会社東海理化電機製作所 ジェスチャ操作装置及びジェスチャ操作プログラム
US20140282273A1 (en) * 2013-03-15 2014-09-18 Glen J. Anderson System and method for assigning voice and gesture command areas
US8886399B2 (en) * 2013-03-15 2014-11-11 Honda Motor Co., Ltd. System and method for controlling a vehicle user interface based on gesture angle
US8818716B1 (en) * 2013-03-15 2014-08-26 Honda Motor Co., Ltd. System and method for gesture-based point of interest search
US9747898B2 (en) * 2013-03-15 2017-08-29 Honda Motor Co., Ltd. Interpretation of ambiguous vehicle instructions
US9195391B2 (en) * 2013-04-19 2015-11-24 International Business Machines Corporation Touch sensitive data entry using a continuous gesture
US20150185858A1 (en) * 2013-12-26 2015-07-02 Wes A. Nagara System and method of plane field activation for a gesture-based control system
US9524142B2 (en) * 2014-03-25 2016-12-20 Honeywell International Inc. System and method for providing, gesture control of audio information
US9342797B2 (en) * 2014-04-03 2016-05-17 Honda Motor Co., Ltd. Systems and methods for the detection of implicit gestures

Also Published As

Publication number Publication date
US10180729B2 (en) 2019-01-15
KR101556521B1 (ko) 2015-10-13
US20160098088A1 (en) 2016-04-07
CN105807904A (zh) 2016-07-27

Similar Documents

Publication Publication Date Title
CN105807904B (zh) 用于车辆的人机接口设备及其控制方法
KR101851155B1 (ko) 자율 주행 제어 장치, 그를 가지는 차량 및 그 제어 방법
CN108216032B (zh) 车辆用环视监控装置、车辆运行控制装置以及车辆
US20160091978A1 (en) Gesture recognition apparatus, vehicle having the same and method for controlling the same
CN106027749B (zh) 车辆、移动终端及其控制方法
EP3456576B1 (en) Vehicle control device and vehicle including the same
US10713501B2 (en) Focus system to enhance vehicle vision performance
KR102565928B1 (ko) 자율 주행 제어 장치, 그를 가지는 차량 및 그 제어 방법
US10983691B2 (en) Terminal, vehicle having the terminal, and method for controlling the vehicle
KR20190099756A (ko) 차량 및 그 제어 방법
CN105679071B (zh) 终端、与终端通信的车辆及控制车辆的方法
US9365157B2 (en) System for adjusting brightness of vehicle lighting, vehicle having the same, and control method thereof
CN111667677A (zh) 车辆控制仲裁
EP3453589B1 (en) Vehicle control device mounted on vehicle and method for controlling vehicle
CN110182203B (zh) 车辆及其控制方法
CN110171357B (zh) 车辆及其控制方法
US20200348669A1 (en) Autonomous driving control apparatus, vehicle including autonomous driving control apparatus, and method of controlling vehicle
CN107207012A (zh) 用于机动车的驾驶员辅助系统
US10059257B2 (en) Rear trunk button localization for end user
US20190185015A1 (en) Apparatus for limiting vehicle speed and method thereof
US20200334732A1 (en) Adaptive vehicle feature matching system
KR20160061942A (ko) 제스처 인식 장치 및 그 제어 방법
KR102437836B1 (ko) 차량의 주행 제어 장치 및 그 방법
US20230080898A1 (en) Vehicle and control method thereof
US11618471B2 (en) Vehicle control device and control method thereof

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant