CN104914986B - 终端设备、具有终端设备的车辆及控制终端设备的方法 - Google Patents

终端设备、具有终端设备的车辆及控制终端设备的方法 Download PDF

Info

Publication number
CN104914986B
CN104914986B CN201410775819.5A CN201410775819A CN104914986B CN 104914986 B CN104914986 B CN 104914986B CN 201410775819 A CN201410775819 A CN 201410775819A CN 104914986 B CN104914986 B CN 104914986B
Authority
CN
China
Prior art keywords
target
gesture
touch tablet
identified
terminal device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410775819.5A
Other languages
English (en)
Other versions
CN104914986A (zh
Inventor
李昇桓
金善俊
李基赫
韩在泫
尹恩惠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Korea Advanced Institute of Science and Technology KAIST
Original Assignee
Hyundai Motor Co
Korea Advanced Institute of Science and Technology KAIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co, Korea Advanced Institute of Science and Technology KAIST filed Critical Hyundai Motor Co
Publication of CN104914986A publication Critical patent/CN104914986A/zh
Application granted granted Critical
Publication of CN104914986B publication Critical patent/CN104914986B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/143—Touch sensitive instrument input devices
    • B60K2360/1438—Touch screens
    • B60K2360/1442—Emulation of input devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0446—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means using a grid-like structure of electrodes in at least two directions, e.g. using row and column electrodes

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开涉及终端设备、具有终端设备的车辆及控制终端设备的方法。一种终端设备设置有：输入单元，被配置为检测目标的接触和目标的位置；以及控制器，被配置为生成与目标的手势的识别对应的控制信号，在输入单元被目标触摸时在与输入单元间隔开的位置处检测目标的手势。由于手势在终端设备的表面上开始，并且在终端设备的表面上的空间中执行之后，再次在终端设备的表面结束，因此终端设备可允许完成用户所期望的操作命令。通过规定手势的开始或结束，可清晰地呈现用户的意图，并且可提高识别速率。因此，在驾驶时，用户可容易地操作移动电话和各种设备。

Description

终端设备、具有终端设备的车辆及控制终端设备的方法
相关申请的交叉引用
本申请要求于2014年3月11日在韩国知识产权局提交的韩国专利申请第2014-0028262号的权益，将其全部公开内容通过引用结合于此。
技术领域
本公开的实施方式涉及用于接收来自用户的命令的终端设备、具有该终端设备的车辆以及控制该终端设备的方法。
背景技术
除了驾驶功能以外，为了用户方便，车辆还进一步包括额外的功能，例如，音频功能、视频功能、导航、空调系统、座椅控制以及照明控制。
为了执行这些功能，车辆设置有终端设备，该终端设备被配置为通过根据硬键(hard key)方法、触摸屏方法以及手势识别方法，接收关于所选菜单的操作命令或者接收来自用户的所选择的菜单，来显示菜单屏幕或控制屏幕。
在应用硬键方法来将命令输入至终端设备的情况下，可能占用较大的物理空间以便设置多个硬键。可替代地，为了通过几个硬键接收操作命令，存在用户的操作负担增大的问题，并且此外，在晚上，需要照明按钮(例如，发光二极管(LED))和按钮工具以识别物理按钮，并且从而增大了终端设备的制造成本。
在应用触摸屏方法来将命令输入至终端设备的情况下，驾驶员可能需要每次都触摸终端设备以输入操作命令，因此可能影响安全驾驶。
在应用手势识别方法来将命令输入至终端设备的情况下，手势由触摸、拖曳以及释放构成。这样，仅在结合到其表面时才可进行操纵。
此外，当识别触摸屏上的触摸手势和空间手势时，使用手的特定形状或者使用动作(例如，预定的时间停顿)。此时，当手的动作是不自然的或者手的运动是无意的时，可能错误地识别动作命令。而且，可能在自然的连续操作中完成对手势的开始和手势的结束的区分。因此，终端设备可能不能精确地识别用户意指的手势。
因此，通过使用手势识别方法来输入操作命令，可能存在以下问题：由于不能精确地识别用户意指的操作命令，导致终端设备发生误动作。
发明内容
因此，本公开的一个方面提供了一种能够通过触摸来规定识别手势的开始时间并且确定与所识别的手势对应的操作命令的终端设备、具有该终端设备的车辆以及控制该终端设备的方法。
本公开的另一个方面提供了一种终端设备，其能够通过触摸来规定识别手势的开始时间和结束时间，并且能够确定与在手势识别的开始时间与手势识别的结束时间之间识别的手势对应的操作命令；具有该终端设备的车辆；以及控制该终端设备的方法。
在以下描述中，将部分地阐述本公开的其他方面，并且通过该描述，这些方面将部分地变得显而易见，或者可通过实践本发明来了解这些方面。
根据本公开的一个方面，一种终端设备包括：输入单元，被配置为检测目标的接触和目标的位置；以及控制器，被配置为通过识别目标的手势来执行控制，在目标与输入单元进行触摸时在与输入单元间隔开的位置处检测目标的手势。
终端设备可进一步包括被配置为基于从控制器传输的控制信号执行操作的输出单元。
控制器可从目标与输入单元分离时开始通过跟随(即，跟踪)目标的位置来识别目标的手势，并且可确定与所识别的手势对应的操作命令。
在预定的时间段期间保持输入单元与目标之间的距离时，控制器可识别目标的形状，并且可识别与所识别的目标的形状对应的手势。
输入单元可包括与目标接触的触摸板(pad)以及检测单元，该检测单元被安装为与触摸板相邻并且被配置为检测目标是否与触摸板进行接触以及目标的位置。
检测单元可包括电容传感器、超声传感器以及光学传感器中的至少一种。
控制器可识别目标的手势，直到不能检测到目标时为止。
控制器可识别目标的手势，直到再次触摸输入单元时为止。
控制器可通过比较所识别的手势与预先储存的参考手势来确认(verify)匹配率，并且可确定与在所确认的匹配率中具有最高匹配率的参考手势对应的操作命令。
根据本公开的另一个方面，一种终端设备包括：输入单元，被配置为检测目标的接触和目标的位置；以及控制器，被配置为通过识别手势来执行控制，该手势是在与目标进行接触的第一触摸点和再次与目标进行接触的第二触摸点之间所检测到的。
目标的位置可包括目标的移动方向以及与输入单元相距的距离。
终端设备可进一步包括被配置为基于从控制器传输的控制信号来执行操作的输出单元。
控制器可在目标与输入单元接触之后，从目标分离时开始通过跟踪目标的位置来识别手势，直到目标再次接触时为止，并且可确定与所识别的手势对应的操作命令。
控制器被配置为在目标与输入单元接触之后，从目标与输入单元分离时开始跟踪目标的位置，并且可在目标再次接触时结束对目标的位置的跟踪。
控制器被配置为：当在目标接触之后的特定时间段期间保持输入单元与目标之间的距离时，识别目标的形状，并且可识别与所识别的目标的形状对应的手势。
输入单元被配置为包括与目标接触的触摸板以及检测单元，检测单元被安装为与触摸板相邻并且被配置为检测目标是否与触摸板进行接触以及目标的位置。
检测单元被配置为包括电容传感器、超声传感器以及光学传感器中的至少一种。
控制器被配置为通过比较所识别的手势与预先储存的参考手势来确认匹配率，并且确定与在所确认的匹配率中的具有最高匹配率的参考手势对应的操作命令。
根据本公开的另一个方面，一种终端设备的控制方法包括：确定目标是否与输入单元进行接触；在确定目标与输入单元进行接触之后，确定目标是否与输入单元分离；一旦确定目标与输入单元分离，则从目标分离时开始，通过跟踪目标的位置来识别目标的手势；以及执行与所识别的手势对应的控制。
跟踪目标的位置可包括跟踪目标的位置直到不能检测到目标时为止。
跟踪目标的位置可包括跟踪目标的位置直到目标再次与输入单元进行接触时为止。
识别目标的手势可包括通过连接随着时间的推移的所跟踪的目标的位置来生成目标的轨迹(例如，路径和轨道)，并且识别与所生成的轨迹对应的手势。
终端设备的控制方法可进一步包括：识别与所识别的手势对应的操作命令；生成与所识别的操作命令对应的控制信号；以及将所生成的控制命令输出至输出单元。
终端设备的控制方法可进一步包括：确定在目标分离之后的特定时间段期间是否保持输入单元与目标之间的距离；当确定在目标分离之后的特定时间段期间保持输入单元与目标之间的距离时，识别目标的形状；以及识别与所识别的目标的形状对应的手势。
跟踪目标的位置可包括基于从输入单元输出的检测信号的位置和大小连续地确定目标的位置。
所述检测信号可为电容信号、超声信号以及光学信号中的至少一种。
终端设备的控制方法可进一步包括：通过比较所识别的手势与预先储存的参考手势来确认匹配率；并且确定与在所确认的匹配率中具有最高匹配率的参考手势对应的操作命令。
在设置有被配置为执行导航功能、音频功能以及视频功能的终端设备的车辆中，终端设备包括：输入单元，被配置为检测目标的接触和目标的位置；控制器，被配置为通过识别目标的手势来执行控制，该手势是在目标与输入单元接触之后，在与输入单元间隔开的位置处检测到的；以及输出单元，被配置为基于从控制器传输的控制信号执行操作。
可以可拆卸地安装输入单元和输出单元。
车辆的控制器被配置为：从目标与输入单元分离时开始，通过跟踪目标的位置来识别目标的手势，并且确定与所识别的手势对应的操作命令。
车辆的操作命令可包括空调、座椅、加热器、无线广播以及雨刮器的操作命令。
车辆的控制器被配置为：当在特定时间段期间保持输入单元与目标之间的距离时，识别目标的形状，并且识别与所识别的目标的形状对应的手势。
车辆的控制器被配置为识别目标的手势直到不能检测到目标时为止。
车辆的控制器被配置为识别目标的手势直到再次触摸输入单元时为止。
车辆的控制器被配置为通过比较所识别的手势与预先储存的参考手势来确定匹配率，并且确定与具有最高匹配率的参考手势对应的操作命令。
附图说明
通过结合附图进行的实施方式的下列描述，本公开的这些和/或其他方面将变得显而易见并且更加容易理解，其中：
图1为示出根据一个实施方式的车辆的实例的立体图；
图2为示出当从后座观看时安装在车辆上的终端设备的立体图；
图3为示出当从副驾驶座椅观看时安装在车辆上的终端设备的立体图；
图4为示出根据一个实施方式的终端设备的部件的控制方框图；
图5A和图5B示出了包括多个光传感器的输入单元的实例的侧剖视图和平面剖视图；
图6示出了包括具有多个电极的电容传感器的示例性输入单元的横截面；
图7A和图7B示出了在终端设备的触摸板的表面上执行的手势识别；
图8为通过根据一个实施方式的终端设备来识别手势的过程的控制流程图；
图9A和图9B示出了在根据一个实施方式的终端设备的触摸板的表面上执行的两个手势的识别；
图10A、图10B和图10C示出了与由根据一个实施方式的终端设备识别的手势对应的输出单元的操作的变化的实例；
图11为通过根据另一个实施方式的终端设备来识别手势的过程的控制流程图；
图12A-图12D示出了在根据另一个实施方式的终端设备的触摸板的表面上执行的手势识别的实例；
图13-图17示出了终端设备的显示单元的显示屏上的各种显示，以示出与由根据另一个实施方式的终端设备识别的手势对应的输出单元的各种操作；
图18示出了与根据另一个实施方式的终端设备接触的示例性识别的目标的显示；
图19A和图19B示出了由根据另一个实施方式的终端设备识别的手势的实例；
图20A和图20B示出了由根据另一个实施方式的终端设备识别的手势的实例；
图21为示出根据另一个实施方式的终端设备的部件的控制方框图。
具体实施方式
现在将详细参照本公开的实施方式，在附图中示出了本公开的实例。
图1为示出根据一个实施方式的车辆的实例的立体图。图2为示出当从后座观看时安装在车辆上的终端设备的立体图，并且图3为示出当从副驾驶座椅观看时安装在车辆上的终端设备的立体图。车辆1是机动运输工具，其通过驱动车轮来沿着道路或轨道行驶以移动所运输的对象(诸如，人和物体)。
车辆1可包括具有内部设施(interior)和外部设施(exterior)的主体以及底盘(即，除了车体以外的其余部分)，用于驱动的机械装置安装在底盘上。
如图1所示，车体的外部设施可包括前面板、引擎盖、车顶板、后面板、后备箱(trunk)、右前门、右后门、左前门以及左后门。
车体的外部设施可进一步包括设置在前面板、引擎盖、车顶板、后面板、后备箱、前门以及后门之间的边界上的填充物(filler)。此外，车体的外部设施可进一步包括安装在每个前门和每个后门上的侧车窗玻璃、固定地安装在填充物之间的三角车窗玻璃、安装在后面的后车窗玻璃以及安装在前门的前挡风玻璃。
车体的外部设施可进一步包括侧视镜，侧视镜被配置为提供车辆1的后面和侧面以及在驾驶员的余光之外的区域的可见性。
如图2中所示，车体的内部设施可包括乘客乘坐的座椅、仪表板、设置在仪表板上并被配置为输出关于行驶的信息的仪表盘210(例如，速度计、油量表、自动变速器变速杆指示器、转速表、里程表等)、被配置为操作车辆的方向的方向盘、以及设置有空调和音频系统的控制面板的中控台(center fascia)。
座椅可包括驾驶员乘坐的驾驶员座椅(DS)、乘客乘坐的副驾驶座椅(PS)、以及布置在车辆的内部的后面的后座椅。
中控台可布置在位于驾驶员座椅与副驾驶座椅之间的仪表板的一部分中，并且可设置有控制面板。可在中控台上安装被配置为调整音频装置、空调以及加热器、送风机以及点烟插口(cigar jack)的操纵单元。
车辆的底盘可包括发电设备、动力传动设备、行驶设备、转向系统、制动系统、悬挂系统、变速器、燃油系统以及前轮、后轮、左轮和右轮。
此外，在车辆中可提供用于驾驶员和乘客安全的安全装置。
安全装置可包括在车辆碰撞时用于乘坐人员(例如，驾驶员)的安全的气囊控制器、用于在车辆转弯和加速时控制车辆的姿态的电子稳定控制系统(ESC)、以及各种类型的安全装置。
此外，车辆1可进一步包括检测设备，例如，用于检测放在后面和侧面的障碍物或其他车辆的接近传感器、用于检测降水量以及是否下雨的雨量传感器等。
车辆可进一步包括免提装置、GPS、音频装置、蓝牙装置以及为了驾驶员的方便的倒车镜头。
如图2中所示，车辆可进一步包括安装在中控台(即，仪表板的中心部分)上的终端设备100，例如，用于执行音频功能、视频功能、导航功能的音频、视频、导航装置(AVN)。
导航功能基于由多个卫星提供的位置信息计算车辆的当前位置，并且通过在地图上匹配当前位置来进行显示。即，在接收来自用户的目的地之后，基于路径路由算法，执行从当前位置到目的地的路线搜索，通过在搜索的路径上匹配地图来进行显示，并沿着路线引导用户至目的地。
终端设备100可设置在中控台上，并且可包括被配置为控制行驶以及车辆中的各种装置的控制面板。
终端设备100可包括被配置为用于输入和输出信息的用户界面，并且可响应于通过用户界面的输入单元输入的输入信息，在输出单元上显示输出信息，或者可响应于通过输入单元输入的输入信息，控制各种设备。
终端设备100可被配置为将响应于输入信息的输出信息和操作命令传输至外部装置。
如图3中所示，终端设备100可包括彼此单独安装的输入单元110和输出单元130。
被配置为接收信息的输入单元110可设置在扶手(arm rest)的一侧的端部处，并且输出单元130可设置在仪表板上。
输入单元110可包括触摸板，并且可识别在触摸板附近执行的手势。
当用户将手臂放在扶手上时，用户可通过使用他的/她的手在输入单元上输入信息。因此，即使用户不输入操作命令，用户也可保持将手靠在触摸板上的舒适状态。
输出单元130可包括显示单元，并且显示单元可采用液晶显示器(LCD)、发光二极管(LED)、等离子显示面板(PDP)、有机发光二极管(OLED)或阴极射线管(CRT)。
输出单元130可通过简单的操作显示用户期望的菜单图标来用作快捷键(hotkey)。
终端设备100还可安装到后座的扶手中，以接收来自坐在后座中的乘客的操作命令。
车辆可设置有多个终端设备100，此时，一个终端设备可安装在仪表板上，并且另一个可安装在后座的扶手上。终端设备可嵌入车辆的内部。
终端设备100可从车辆拆卸下来，并且可选择性地布置在车辆的内部。终端设备100可与车辆单独地操作。
在一个实施方式中，音频视频导航装置(AVN)设置在车辆内，并且中控台的内部的控制面板表示终端设备的实例，但不限于此。智能电话、平板电脑、膝上型电脑、个人电脑、电视机可表示终端设备的实例。
图4为示出根据一个实施方式的终端设备的部件的控制方框图，并且终端设备100包括输入单元110、控制器120以及输出单元130。输入单元110接收用户的操作命令。输入单元110包括在图3中所示的触摸板111和在图4中所示的检测单元112，触摸板形成输入单元110的外观，并且目标可与触摸板接触或者接近触摸板，检测单元布置在触摸板111的下部分上并且被配置为检测邻近于触摸板111的目标的位置。目标可包括操作主体，例如，用户的手和触摸笔。
即使用户不操作触摸板，也可设置触摸板11，以便为了用户方便，使用户可将他的/她的手放在触摸板上。检测单元112可被配置为检测目标是否与触摸板111接触以及与触摸板111接触的目标的位置。此外，检测单元112可被配置为检测设置在与触摸板111分开的空间上的目标的位置，并且可输出检测信号。目标的位置可包括关于距离和方向的信息。即，目标的位置可为相对于触摸板111在特定范围的空间内的位置，并且可由X、Y以及Z坐标表示。
检测单元112不仅可检测与触摸板111接触的目标，而且可检测在与触摸板111相距特定范围内的空间中的目标。检测单元112可包括接近传感器，并且接近传感器可包括电容传感器、超声传感器以及光学传感器中的至少一种。可以二维排布多个接近传感器的方式设置检测单元112，并且控制器120可基于从多个接近传感器输出的输出信号的大小，识别目标在三维空间中的位置。
输入单元110可进一步包括触摸单元(未示出)，该触摸单元被配置为检测施加至触摸板111的压力或按压。即，输入单元110可通过输入单元110的触摸单元确定目标是否与触摸板进行接触。
图5A和图5B为示出包括多个光学传感器的输入单元的实例的视图。图5A为检测单元的侧剖视图，并且图5B为检测单元的平面剖视图。输入单元110可包括触摸板111以及设置在触摸板111的一侧上的检测单元112。检测单元112可包括：多个发光单元112a，被布置为彼此间隔开；多个光接收单元112b，被布置为彼此间隔开；以及基板112c，多个发光单元112a和多个光接收单元112b排布在其上。
发光单元112a可包括发光二极管(LED)，并且光接收单元112b可包括用于检测光的光电晶体管。
即，多个发光单元112a和多个光接收单元112b可二维地排布在基板112c上。多个发光单元112a可以矩阵的方式连接，以便单独地闪光。多个光接收单元112b可并联连接，以便用作具有宽表面的光学传感器。
当发光单元112a可采用发光二极管(LED)时，可在触摸板111与检测单元112之间设置红外滤光片(未示出)，以便除了在发光单元112a中生成的红外光以外，防止在其他光源中生成的红外光入射在光接收单元112b上。
在不存在光时，从光电晶体管的输出级中输出的输出信号(OUT)保持为接近电源电压(VCC)的值，并且当光入射时与光量成比例地下降。
如图6中所示，在输入单元可采用电容传感器作为检测单元时，输入单元可包括二维排布的多个电极112f。
即，在检测单元的第一面板112e内，沿X轴方向排布第一多个电极112f，并且在检测单元的第二面板112d内，沿Y轴方向排布第二多个电极112f。即，在检测单元的第一和第二面板内的电极被分割成矩阵的形式，并且这些电极被配置为使用Y轴和X轴的每一行来识别坐标。
在目标或主体接近时，在电极之间的电场可改变，并且静电电容可根据电场的变化而变化。
控制器120基于检测单元112的输出信号来确定用户的操作命令，并且生成与用户意指的操作命令对应的控制信号。
控制器120包括：识别单元121，被配置为基于检测单元112的输出信号识别用户的手势；以及控制信号发生器122，被配置为确定与所识别的手势对应的操作命令，并且响应于所确定的操作命令生成控制信号。
控制器120可设置在输入单元110上，并且可单独地设置在输入单元110的外部。
控制器120可设置在输出单元130上。
在检测单元112上设置电容传感器的情况下，当目标接近时，控制器120基于电容的变化来识别目标的位置，并且识别与时间的推移对应的目标的位置的变化。
在检测单元112上设置超声传感器的情况下，控制器120基于反射回目标的超声信号的强度来识别目标的位置，并且识别与时间的推移对应的目标的位置的变化。
在检测单元112上设置光学传感器的情况下，控制器120基于反射回目标的光学信号的强度来识别目标的位置，并且识别与时间的推移对应的目标的位置的变化。
在输入从光电晶体管输出的输出信号之后，控制器120基于光电晶体管的输出信号和被接通的发光二极管(LED)的位置，计算与其相邻的目标(例如，用户的手或手指的位置)与输入单元110相距的距离、面积等。
控制器120的识别单元121确定目标是否与触摸板111接触，在目标与触摸板111进行接触时，确认目标的团块(blob)，并且在目标与触摸板分开时，通过跟踪团块来确定目标的位置。
当目标与触摸板111进行接触时，识别单元121确认从目标与触摸板111分开时开始改变的目标的位置，并且识别与目标的位置的变化对应的手势。
改变的目标位置可表示在目标与触摸板111的表面接触的状态下的运动目标的轨迹或者在目标与触摸板111间隔开的状态下的运动目标的轨迹。
识别单元121在从目标与触摸板111分开时开始的时间段期间，确认目标的位置，直到不能检测到目标时为止。
如图7A中所示，当目标与触摸板111的表面接触时，识别单元121确定目标与触摸板111的表面接触时的时间点，作为由用户输入的操作命令的时间点；确认在目标与触摸板111间隔开的状态下的运动目标的位置，当目标超出特定范围时结束对位置的确认；通过连接随着时间的推移从触摸点(P1)的位置移动的目标的位置来生成目标的轨迹；并且识别与所生成的目标的轨迹对应的用户的手势(g)。
控制器120从目标与触摸板111间隔开时开始确认目标的位置，直到目标再次与触摸板111进行接触。
如图7B中所示，当目标与触摸板111的表面接触时，识别单元121确定目标在触摸点(P1)处与触摸板111的表面接触时的时间点，作为用户开始输入操作命令时的时间点；确认在目标与触摸板111间隔开的状态下的运动目标的位置；当目标在触摸点(P2)处再次与触摸板111的表面接触时，识别单元121确定目标与触摸板111的表面再次接触时的时间点，作为用户完成输入操作命令时的时间点；随着时间的推移，通过连接从开始时间到结束时间移动的目标的位置来生成目标的轨迹；并且识别与所生成的目标的轨迹对应的用户的手势(g)。
识别单元121可基于检测单元的输出信号，识别手的形状以及在触摸板111与手之间的距离。
如果在目标与触摸板111进行接触之后，在从目标与触摸板111分开时开始的特定时间段期间，持续地保持目标的位置，则识别单元121可识别手的形状。
确定目标的位置是否被持续地保持就是确定目标与触摸板111之间的距离是否保持在预定的移动范围内。
控制信号发生器122将预先储存的多个参考手势与每个识别的手势进行比较，确认每个手势的匹配率，确定在所确认的匹配率中具有最高匹配率的参考手势，确定与所确定的参考手势对应的操作命令，并且生成与所确定的操作命令对应的控制信号。
在本文中，手势可被称为在触摸板111的表面上移动的目标的轨迹以及手的形状。
输出单元130被配置为输出与操作命令对应的信息，并且包括以字符、图像等的形式输出信息的显示单元131以及以声音的形式输出信息的声音单元132中的至少一种。
显示单元131包括显示面板，并且通过显示面板显示字符、图像等。
声音单元132包括扬声器，并且通过扬声器输出与导航相关的操作呼叫声音(operation call sound)、音乐、声音。
图8为示出根据一个实施方式的终端设备的控制流程图。
终端设备可表示嵌入车辆内的音频视频导航(AVN)装置、在中控台内部的控制面板、或智能电话、平板电脑、膝上型电脑、或个人电脑、或电视机，其全部为便携式的，从而选择性地附接至车辆。
在一个实施方式中，将描述设置于车辆内的音频视频导航装置(AVN)作为终端设备的实例。
音频视频导航(AVN)装置的输入单元110和输出单元130可整体地嵌入仪表板内或者单独地安装在不同的位置处。
在单独地安装AVN装置的输入单元110和输出单元130的情况下，输入单元110可设置在扶手上，并且输出单元130可设置在仪表板上。
AVN装置在保持输出单元130未被激活并且输入单元被激活的待机状态同时确定用于开始操作的信号是否输入至输入单元110。
用于开始操作的信号可为与触摸板111的输入单元110进行接触的触摸信号或者开启开始操作按钮。
当输入用于开始操作的信号时，AVN装置在显示单元131上显示主图像。主图像可为用于显示表示由AVN装置执行的多个功能中的每个的图标的图像。
在步骤201中，AVN装置确定用户是否与触摸板111进行接触，以便输入操作命令。
如果确定目标与触摸板111的表面进行接触，则AVN装置将确定目标与触摸板111的表面进行接触时的时间点确定为输入操作命令的开始时间，并且AVN装置确认其中目标进行接触的触摸点的位置。
在步骤202中，AVN装置确定在目标与触摸板111接触之后目标是否与触摸板111分开，并且从目标与触摸板111分开的时间开始，确认在与触摸板111间隔开的状态下移动的目标的位置。
在步骤203中，AVN装置确定是否检测到目标，同时确认目标的位置，从而确定输入操作命令的结束时间。
输入操作命令的结束时间是完成用户期望的手势时的时间点，即，不能检测到目标的时间点，因为目标的位置在预定范围之外。
此外，输入操作命令的结束时间可为目标的检测信号(即，输出单元的输出信号)小于预定大小时的时间点或者未检测到目标的检测信号(即，输出单元的输出信号)时的时间点。
AVN装置连接从输入操作命令的开始时间到输入操作命令的结束时间所检测的目标的位置。
即，在步骤204中，AVN装置通过连接随着时间的推移从在输入操作命令的开始时间触摸的触摸点的位置移动的目标的位置，来生成轨迹，并且在步骤205中，识别与所生成的目标的轨迹对应的用户的手势。
在本文中，目标的位置包括与触摸板间隔开的目标的距离以及目标的移动方向。因此，AVN装置可识别目标移动的方向同时识别与触摸板111相距的距离。
如果AVN装置确定目标保持为与触摸板111相距特定的距离，则AVN装置确定手势使用其形状而非连续移动的目标的手势，并且识别与目标的形状对应的手势。
此外，手势可具有目标的形状以及在目标的部分与触摸板111之间的距离的信息。
在步骤206中，AVN装置将预先储存的多个参考手势与每个识别的手势进行比较，确认每个手势的匹配率，确定在所确认的匹配率中具有最高匹配率的参考手势，确定与所确定的参考手势对应的操作命令，在步骤207中，生成与所确定的操作命令对应的控制信号，并且通过将控制信号输出至负载来驱动负载。
在本文中，负载可包括显示单元131或声音单元132中的至少一种。如上所述，将参照图9A和图9B以及图10A、图10B和图10C描述它们。
如图9A和图9B所述，在AVN装置中，存储与在特定范围(r)内执行的参考手势对应的操作命令。
参考手势可为在具有特定距离的方向上移动的手势、反复画圆圈的手势或者书写复杂字母的手势。
如图9A所述，假设与相对于触摸点(p1)向左移动的弯曲手势(g1)对应的操作命令是播放前一首歌，并且如图9B所述，假设与相对于触摸点(p1)向右移动的弯曲手势(g2)对应的操作命令是播放下一首歌。
此外，假设No.9、My life和It's not you的音乐文件按照该顺序存储。
如图10A、图10B和图10C所示，在执行音频播放功能的状态中，AVN装置100通过显示单元131显示目前播放的音乐的信息。
如图10A所示，当通过显示单元131显示关于目前播放的“My life”的信息时，AVN装置100通过声音单元输出音乐，并且确定在输入单元131的触摸板111上是否发生触摸事件。
如果确定输入单元131的触摸板111被触摸，则AVN装置确认被触摸的触摸点的位置，并且确认从所确认的触摸点的位置改变的目标的位置。
如果在特定范围内未检测到目标，则AVN装置通过连接随着时间的推移从触摸点的位置改变的目标的位置，来生成轨迹，并且识别与所生成的目标的轨迹对应的手势。
AVN装置通过将预先储存的参考手势与每个识别的手势进行比较，来确定具有最高匹配率的手势。
如果确定所识别的手势与图9A中的参考手势之间的匹配率是最高匹配率，则AVN装置显示关于前一首歌“No.9”的信息，并且通过声音单元输出“No.9”，如图10B所示。
可替代地，如果确定所识别的手势与图9B中的参考手势之间的匹配率是最高匹配率，则AVN装置显示关于下一首歌“It's not you”的信息，并且通过声音单元输出“It'snot you”，如图10C所示。
图11为示出根据另一个实施方式的终端设备100的控制流程图。
在一个实施方式中，将描述设置在车辆内的音频视频导航装置(AVN)作为终端设备的实例。
音频视频导航(AVN)装置的输入单元和输出单元可整体地嵌入仪表板内或者单独地安装在不同的位置处。
在单独地安装AVN装置的输入单元110和输出单元130的情况下，输入单元110可设置在扶手上，并且输出单元130可设置在仪表板上。
AVN装置在保持输出单元130未被激活并且输入单元110被激活的待机状态的同时确定用于开始操作的信号是否被输入至输入单元110。
用于开始操作的信号可为与触摸板111的输入单元110进行接触的触摸信号或者开启开始操作按钮。
当输入用于开始操作的信号时，AVN装置在显示单元131上显示主图像。主图像可为用于显示表示由AVN装置执行的多个功能中的每个的图标的图像。
在步骤211中，AVN装置确定用户是否与触摸板进行接触，以便输入操作命令。
如果确定目标与触摸板111的表面进行接触，则AVN装置将确定目标与触摸板111的表面进行接触时的时间点确定为输入操作命令的开始时间，并且AVN装置确认其中目标进行接触的触摸点的位置。
在步骤212中，AVN装置确定在目标与触摸板111接触之后目标是否与触摸板111分开，并且从目标与触摸板分开时的时间开始，确认在与触摸板111间隔开的状态下移动的目标的位置。
在步骤213中，AVN装置确定是否检测到目标，同时确认目标的位置，从而确定输入操作命令的结束时间。
输入操作命令的结束时间是完成用户期望的手势时的时间点。
AVN装置连接从输入操作命令的开始时间到输入操作命令的结束时间所检测的目标的位置。
即，在步骤214中，AVN装置通过连接随着时间的推移从在输入操作命令的开始时间触摸的触摸点的位置移动的目标的位置，来生成轨迹，并且在步骤215中，识别与所生成的目标的轨迹对应的用户的手势。
目标的位置包括与触摸板111间隔开的目标的距离以及目标的移动方向和路径。因此，AVN装置可识别目标移动的方向同时识别与触摸板111相距的距离。
在步骤216中，AVN装置将预先储存的多个参考手势与每个识别的手势进行比较，确认每个手势的匹配率，确定在所确认的匹配率中具有最高匹配率的参考手势，确定与所确定的参考手势对应的操作命令，在步骤217中，生成与所确定的操作命令对应的控制信号，并且通过将控制信号输出至负载来驱动负载。
在本文中，负载可包括显示单元131或声音单元132中的至少一种。如上所述，将参照图12A-图12D到图20A和图20B描述它们。如图12A-图12D所示，在AVN装置中，存储与在特定范围内执行的参考手势对应的操作命令。
如图12A所述，假设与在触摸板111上触摸的第一触摸点(p1)与第二触摸点(p2)之间形成的M形状的手势(g3)对应的操作命令是显示菜单。如图12B所示，与在触摸板111上触摸的第一触摸点(p1)与第二触摸点(p2)之间形成的心形的手势(g4)对应的操作命令是执行电话呼叫功能。如图12C所示，与在触摸板111上触摸的第一触摸点(p1)与第二触摸点(p2)之间形成的星形的手势(g5)对应的操作命令是执行导航功能。如图12D所示，与在触摸板111上触摸的第一触摸点(p1)与第二触摸点(p2)之间形成的数字3的形状的手势(g6)对应的操作命令是执行三维显示功能。
如图13所示，在执行音频播放功能的状态中，AVN装置100通过显示单元131显示关于目前播放的音乐的信息以及关于设置音频功能的信息。
当显示关于目前播放的音乐“My life”的信息时，AVN装置100通过声音单元输出音乐，并且确定在输入单元131的触摸板111上是否发生触摸事件。
如果确定输入单元131的触摸板111被目标或用户的手触摸，则AVN装置确认被触摸的第一触摸点的位置，并且确认从所确认的第一触摸点的位置改变的目标的位置，直到目标再次触摸触摸板。
此外，如果目标在空间内移动之后的特定时间内，不触摸触摸板111，则确定用于输入操作命令的手势被取消。
AVN装置确认在首次与目标接触的第一触摸点与再次与目标接触的第二触摸点之间检测的目标的位置，通过连接随着时间的推移在第一触摸点的位置与第二触摸点的位置之间改变的目标的位置，来生成轨迹，并且识别与所生成的目标的轨迹对应的手势。
AVN装置通过将预先储存的参考手势与每个识别的手势进行比较，确定具有最高匹配率的手势。
如果确定所识别的手势与图12A中的参考手势之间的匹配率为最高匹配率，则AVN装置在显示单元上显示将与播放音乐的执行屏幕重叠的菜单屏幕，如图14所示。此时，可连续地播放音乐。
此外，可在转换成菜单屏幕之后显示显示单元131的屏幕。此时，可停止播放音乐。
如果确定所识别的手势与图12B中的参考手势之间的匹配率为最高匹配率，则AVN装置在显示单元上显示与电话呼叫相关的图像，如图15中所示。此外，AVN装置可通过使用手势选择在显示单元上显示的通信录的列表上的电话号码。
如果确定所识别的手势与图12C中的参考手势之间的匹配率为最高匹配率，则AVN装置执行导航功能并且显示与导航相关的图像，如图16所示。
AVN装置在二维地显示与导航相关的图像的同时确定是否由用户输入另一个操作命令。即，在二维地显示与导航相关的图像的同时，AVN装置确定是否在触摸板111上输入手势，并且当确定所识别的手势为图12D中的参考手势时，通过转换在显示单元131上显示的二维导航图像，来显示三维导航图像。
如图18所示，在确认目标的位置时，AVN装置识别触摸在输入单元的触摸板上的目标的团块(b)，并且在跟踪所识别的目标的团块的同时确认目标的位置。
因此，通过使用手势来输入信息的方法可被用作用于执行菜单、电话、导航、无线广播、音频以及图片的快捷键功能。在本文中，快捷键功能表示立即调用用户所期望的功能而不管终端设备所执行的功能的功能。
如果AVN装置确定目标与触摸板111保持具有特定距离，则AVN装置确定手势使用其形状，而非连续移动的目标的手势，并且识别与目标的形状对应的手势。
此外，手势可具有目标的形状以及在目标的部分与触摸板111之间的距离的信息。如上所述，将参照图19A和图19B以及图20A和图20B描述它们。在AVN装置中，存储与在特定范围内执行的参考手势对应的操作命令。
如图19A所述，与触摸在触摸板111上的第一触摸点(p1)和第二触摸点(p2)之间形成的手的形状的手势对应的操作命令显示为三维命令。如图19B所示，与触摸在触摸板111上的第一触摸点(p1)和第二触摸点(p2)之间形成的手的形状的手势对应的操作命令显示为二维命令。
在二维地显示与导航相关的图像的同时，AVN装置确定是否由用户输入另一个操作命令。
即，AVN装置确定触摸板111是否被输入单元110的目标触摸，当目标与触摸板111接触时，确认目标的位置，并且如果目标的位置不随着时间的推移而改变，则识别与触摸板111间隔开的目标的形状。
AVN装置识别在所检测到的目标的部分之间的距离。
特别地，如图19A-图19B所示，AVN装置可计算在触摸到触摸板111的手指(F)的端部与手指关节(J)之间的距离。在手指(F)的端部与手指关节(J)之间的距离可根据手指(F)的弯曲程度而改变。因此，随着手指更加弯曲，距离缩短。
因此，AVN装置可计算在手指(F)与输入单元110之间的距离，并且可基于手指(F)的端部与手指关节(J)之间的距离以及手指(F)与输入单元110之间的距离，计算手指(F)的角度。
可基于目标的位置以及与触摸板相距的距离，实现手势的图像(I)的生成。当确定识别诸如在图20A中的形状时，AVN装置确定诸如在图20A中的形状是图19A中的参考手势，通过转换在显示单元131上显示的二维导航图像，来显示三维导航图像。
在三维地显示与导航相关的图像的同时，AVN装置确定输入单元110的触摸板111是否被目标触摸，当触摸板111被目标触摸时，确认目标的位置，并且当目标的位置不随着时间的推移而改变时，识别与触摸板间隔开的目标的形状。
AVN装置识别在所检测到的目标的部分之间的距离。当确定识别诸如在图20B中的形状时，AVN装置确定诸如在图20B中的形状是图19B中的参考手势，通过转换在显示单元131上显示的三维导航图像，来显示二维导航图像。
AVN装置可存储与展开的手指数量对应的操作命令。此外，除了AVN装置，终端设备100还可为了方便起见控制设置在车辆1中的各种设备。例如，还可以提高/降低设置在车辆内的空调的温度，以及改变无线广播的音量和频道。安装到车辆1的终端设备100还可用于控制座椅的位置和角度。
通过使用终端设备以这种方式控制车辆，可提高方便性和用户体验。可以通过向用户提供视觉和触觉反馈来提高操作精度。通过执行作为简单操作方法的快捷键功能，可无需多个硬键，从而可获得节省空间的效果，并且可在驾驶的同时稳定地输入操作命令。起始点(第一触摸点)和结束点(第二触摸点)被固定至触摸板111的表面，以便确保除了找到起始点和手势的旋转的一系列过程之外的识别速率(recognition rate)。
图21为示出根据另一个实施方式的终端设备的控制方框图，并且作为控制装置300的终端设备包括输入单元310和控制器320。输入单元310被配置为接收来自用户的操作命令。输入单元310包括触摸板311和检测单元312，触摸板形成输入单元310的外观，并且目标与触摸板接触或者接近触摸板，检测单元布置在触摸板111的下部分上并且被配置为检测邻近于触摸板311的目标的位置。目标可包括操作主体，例如，用户的手和触摸笔。
基于从检测单元312输出的检测信号的位置和大小，可确认目标的位置。
目标的位置可包括关于距离和方向的信息。同样，目标的位置可为在相对于触摸板311的特定范围的空间中的位置，并且可由X、Y以及Z表示。
检测单元112可包括接近传感器，并且接近传感器可包括电容传感器、超声传感器或光学传感器中的任意一种传感器。
可以二维地排布多个接近传感器的方式设置检测单元312，并且控制器320可基于从多个接近传感器输出的输出信号的大小，识别目标在三维空间中的位置。
输入单元310可进一步触摸单元(未示出)，触摸单元被配置为检测施加至触摸板311的压力或按压。同样，输入单元310可通过输入单元310的触摸单元确定目标是否进行接触。
例如，在检测单元312的第一面板中，沿X轴方向排布第一多个电极，并且在检测单元312的第二面板内，沿Y轴方向排布第二多个电极。即，在检测单元的第一和第二面内的电极被分割成矩阵的形式，并且这些电极被配置为使用Y轴和X轴的每一行来识别坐标。
当目标或主体接近时，在电极之间的电场可改变，并且静电电容可根据电场的改变而变化。
控制器320被配置为基于检测单元312的输出信号识别手势，并且确定于与所识别的手势对应的用户的操作命令。如图21所示，控制器320包括：识别单元312，被配置为基于检测单元312的输出信号，识别用户的手势；以及控制信号发生器322，被配置为确定与所识别的手势对应的操作命令，并且响应于所确定的操作命令生成控制信号。
在一个示例性实施方式中，控制器320可设置在输入单元310上，并且可单独地设置在输入单元310的外部。
控制器320基于随着目标的接近而改变的电容变化来确认目标的位置，并且确认与时间的流逝对应的目标的位置的变化。
当确定目标在特定时间段期间与触摸板311保持特定距离时，控制器320确定手势使用形状而非目标连续移动的手势，并且识别与目标的形状对应的手势。
在本文中，确定特定距离包括确定在目标与触摸板311之间的距离的变化是否在特定范围内。
当通过使用目标的形状识别手势时，控制器320可基于输出信号，计算邻近于输入单元310的目标(例如，用户的手和手指的位置)与输入单元110相距的距离、面积等。控制器320的识别单元321确定目标是否与触摸板311接触，当目标与触摸板311接触时，确认目标的团块，并且当目标与触摸板分开时，通过跟踪所确认的团块来确认目标的位置。
当目标与触摸板接触时，识别单元321确认从目标与触摸板311分开时开始改变的目标的位置，并且识别与所确认的目标的位置的变化对应的手势。
在本文中，改变的目标的位置表示在目标与触摸板311间隔开的状态下的目标的轨迹。
识别单元321从目标与触摸板311间隔开时开始，通过跟踪目标的位置来识别手势，直到不能检测到目标时为止。
在本文中，不能检测到目标的时间点可被定义为根据在检测单元上的目标的检测不能生成检测信号的时间或者从检测单元检测的检测信号的大小小于特定信号的时间。
识别单元321可从目标与触摸板间隔开时开始，通过跟踪目标的位置来识别手势，直到目标再次触摸触摸板。
控制器320通过有线或无线通信将与操作命令对应的控制信号输出至外部装置。在本文中，可经由有线或无线通信输出控制信号。
因此从以上描述中显而易见的是，由于手势在终端设备的表面上发起，并且在终端设备的表面上的空间中执行之后，再次在终端设备的表面上结束，因此所提出的终端设备可允许完成用户所期望的操作命令。
通过规定手势的开始或结束，可清晰地呈现用户的意图，并且可提高识别速率。
因此，在驾驶时，用户可容易地操作移动电话和各种设备。
通过不仅跟踪与终端设备的表面接触的触摸，而且跟踪在与表面间隔开的空间中的手指，可消除有限操纵(其是关于结合到终端设备的表面的二维手势的有限操作)的不便之处。因此，可解决在三维空间中的手势的开始和结束的模糊问题。
此外，本公开并不限于在合作图形用户界面(GUI)中二维地进行操纵，也可实现在空间中的操纵，以便构成丰富的用户界面(UI)。
虽然已经示出和描述了本公开的几个实施方式，但是本领域技术人员将理解，在不背离本公开的原理和精神的情况下，可在这些实施方式中做出改变，在权利要求及其等同物内限定本公开的范围。

Claims (25)

1.一种终端设备，包括：
输入单元，设置在触摸板中；
至少一个检测单元，被安装为与所述触摸板相邻并且所述检测单元被配置为检测目标；以及
控制器，被配置为接收由所述至少一个检测单元检测的一个或多个信号，基于所述一个或多个信号确定目标是否与所述触摸板接触，并且基于所述一个或多个信号确定接近所述触摸板但不与所述触摸板接触的目标的一个或多个位置，通过从已与所述触摸板接触的所述目标与所述触摸板分开时的时间点开始跟踪所述目标的一个或多个位置来识别所述目标的手势，当所述至少一个检测单元未检测到所述目标时结束对所述手势的识别，确定与所识别的手势对应的操作命令，并且生成与所确定的操作命令对应的控制信号，
其中，当识别所述目标的所述手势时，所述控制器确定所述目标是否接触，在所述目标与所述触摸板接触时，确认所述目标的尖端，并且通过跟踪所述尖端来识别所述目标的位置，其中，所述目标的位置是在所述目标与所述触摸板分开时识别的。
2.根据权利要求1所述的终端设备，进一步包括：
输出单元，被配置为基于从所述控制器传输的所述控制信号执行操作。
3.根据权利要求1所述的终端设备，其中：
当在预定的时间段内保持所述输入单元与所述目标之间的距离时，所述控制器识别所述目标的形状以及与所识别的所述目标的形状对应的所述手势。
4.根据权利要求1所述的终端设备，其中：
所述检测单元包括电容传感器、超声传感器以及光学传感器中的至少一种。
5.根据权利要求1所述的终端设备，其中：
所述控制器识别所述目标的所述手势直到再次触摸所述输入单元时为止。
6.根据权利要求1所述的终端设备，其中：
所述控制器通过比较所识别的手势与预先储存的参考手势来确定匹配率，并且确定与和所识别的手势具有最高匹配率的一个预存储的参考手势对应的操作命令。
7.一种终端设备，包括：
输入单元，设置在触摸板中；
至少一个检测单元，被安装为与所述触摸板相邻并且所述检测单元被配置为检测目标；
控制器，被配置为接收由所述至少一个检测单元检测的一个或多个信号，基于所述一个或多个信号确定目标是否与所述触摸板接触，并且基于所述一个或多个信号确定接近所述触摸板但不与所述触摸板接触的目标的一个或多个位置，通过从已与所述触摸板接触的所述目标与所述触摸板分开时的第一时间点开始跟踪所述目标的一个或多个位置来识别所述目标的手势，从已与所述触摸板分开的所述目标与与所述触摸板接触时的第二时间点结束对所述手势的识别，确定与所识别的手势对应的操作命令，并且生成与所确定的操作命令对应的控制信号；以及
输出单元，被配置为接收从所述控制器传输的控制信号，并基于所确定的操作命令执行操作，
其中，识别所述目标的所述手势时，所述控制器确定所述目标是否接触，在所述目标与所述触摸板接触时，确认所述目标的尖端，并且通过跟踪所述尖端来识别所述目标的位置，其中，所述目标的位置是在所述目标与所述触摸板分开时识别的。
8.根据权利要求7所述的终端设备，其中：
当自所述目标接触之后所述目标与所述输入单元分离时开始的预定时间段内保持所述输入单元与所述目标之间的距离时，所述控制器识别所述目标的形状以及与所识别的所述目标的形状对应的所述手势。
9.根据权利要求7所述的终端设备，其中：
所述检测单元包括电容传感器、超声传感器以及光学传感器中的至少一种。
10.根据权利要求7所述的终端设备，其中：
所述控制器通过比较所识别的手势与预先储存的参考手势来确定匹配率，并且确定与和所识别的手势具有最高匹配率的一个所述参考手势对应的操作命令。
11.一种终端设备的控制方法，包括如下步骤：
由至少一个检测单元检测目标；
基于所述至少一个检测单元检测的一个或多个信号确定目标是否与设置在触摸板中的输入单元进行接触；
在确定所述目标与所述触摸板进行接触之后，基于所述至少一个检测单元检测的所述一个或多个信号确定所述目标是否与所述触摸板未接触；
从已与所述触摸板接触的所述目标与所述触摸板分开时的时间点开始检测所述目标的一个或多个位置；
通过跟踪所述目标的所述一个或多个位置来识别所述目标的手势；
当所述至少一个检测单元未检测到所述目标时结束对所述手势的识别；
确定与所识别的手势对应的操作命令；
生成与所确定的操作命令对应的控制信号；
由设置在显示器或扬声器中的输出单元接收从所述控制器传输的控制信号，并基于所确定的操作命令执行操作；
其中，识别所述目标的所述包括：确定所述目标是否接触，在所述目标与所述触摸板接触时，确认所述目标的尖端，并且通过跟踪所述尖端来识别所述目标的位置，其中，所述目标的位置是在所述目标与所述触摸板分开时识别的。
12.根据权利要求11所述的控制方法，其中：
跟踪所述目标的所述位置包括跟踪所述目标的所述位置直到不能检测到所述目标时为止。
13.根据权利要求11所述的控制方法，其中：
跟踪所述目标的所述位置包括跟踪所述目标的所述位置直到所述目标再次与所述输入单元进行接触时为止。
14.根据权利要求11所述的控制方法，其中：
识别所述目标的所述手势包括通过连接随着时间的推移的所跟踪的所述目标的所述位置来生成所述目标的轨迹，并且识别与所生成的轨迹对应的所述手势。
15.根据权利要求11所述的控制方法，进一步包括如下步骤：
在从所述目标分离时开始的特定时间段内，确定所述输入单元与所述目标之间的距离是否被保持；
一旦确定在从所述目标分离时开始的所述特定时间段内所述输入单元与所述目标之间的所述距离被保持，识别所述目标的形状；
以及
识别与所识别的所述目标的形状对应的手势。
16.根据权利要求11所述的控制方法，其中：
跟踪所述目标的所述位置包括基于从所述输入单元输出的检测信号的位置和大小连续地确定所述目标的所述位置。
17.根据权利要求16所述的控制方法，其中：
所述检测信号是电容信号、超声信号或者光学信号。
18.根据权利要求11所述的控制方法，进一步包括如下步骤：
通过比较所识别的手势与预先储存的参考手势来确认匹配率；
并且
确定与具有所确认的匹配率中最高匹配率的一个所述参考手势对应的操作命令。
19.一种包括用于执行导航功能、音频功能和视频功能的终端设备的车辆，所述终端设备包括：
输入单元，设置在触摸板中；
至少一个检测单元，被安装为与所述触摸板相邻并且所述检测单元被配置为检测目标；
控制器，被配置为：
接收由所述至少一个检测单元检测的一个或多个信号，基于所述一个或多个信号确定目标是否与所述触摸板接触，并且基于所述一个或多个信号确定接近所述触摸板但不与所述触摸板接触的目标的一个或多个位置，通过从已与所述触摸板接触的所述目标与所述触摸板分开时的时间点开始跟踪所述目标的一个或多个位置来识别所述目标的手势，当所述至少一个检测单元未检测到所述目标时结束对所述手势的识别，确定与所识别的手势对应的操作命令，并且生成与所确定的操作命令对应的控制信号，以及
输出单元，被配置为接收从所述控制器传输的控制信号，并基于所确定的操作命令执行操作，
其中，当识别所述目标的所述手势时，所述控制器确定所述目标是否接触，在所述目标与所述触摸板接触时，确认所述目标的尖端，并且通过跟踪所述尖端来识别所述目标的位置，其中，所述目标的位置是在所述目标与所述触摸板分开时识别的。
20.根据权利要求19所述的车辆，其中：
能拆卸地安装所述输入单元和所述输出单元。
21.根据权利要求19所述的车辆，其中：
所述车辆的所述操作命令包括空调、座椅、加热器、无线广播或雨刮器的操作命令。
22.根据权利要求19所述的车辆，其中：
当在特定时间段内保持所述输入单元与所述目标之间的距离时，所述车辆的所述控制器识别所述目标的形状以及与所识别的目标的形状对应的手势。
23.根据权利要求19所述的车辆，其中：
所述车辆的所述控制器识别所述目标的手势直到不能检测到所述目标时为止。
24.根据权利要求19所述的车辆，其中：
所述车辆的所述控制器识别所述目标的手势，直到再次触摸所述输入单元时为止。
25.根据权利要求19所述的车辆，其中：
所述车辆的所述控制器通过比较所识别的手势与预先储存的参考手势来确定匹配率，并且确定与和所识别的手势具有最高匹配率的一个所述参考手势对应的操作命令。
CN201410775819.5A 2014-03-11 2014-12-15 终端设备、具有终端设备的车辆及控制终端设备的方法 Active CN104914986B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140028262A KR101575650B1 (ko) 2014-03-11 2014-03-11 단말기, 그를 가지는 차량 및 그 제어 방법
KR10-2014-0028262 2014-03-11

Publications (2)

Publication Number Publication Date
CN104914986A CN104914986A (zh) 2015-09-16
CN104914986B true CN104914986B (zh) 2019-07-30

Family

ID=54066871

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410775819.5A Active CN104914986B (zh) 2014-03-11 2014-12-15 终端设备、具有终端设备的车辆及控制终端设备的方法

Country Status (4)

Country Link
US (1) US10649587B2 (zh)
KR (1) KR101575650B1 (zh)
CN (1) CN104914986B (zh)
DE (1) DE102014225640A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9315197B1 (en) * 2014-09-30 2016-04-19 Continental Automotive Systems, Inc. Hands accelerating control system
US10146317B2 (en) * 2014-12-12 2018-12-04 Ford Global Technologies, Llc Vehicle accessory operation based on motion tracking
CN104898844B (zh) * 2015-01-23 2019-07-09 瑞声光电科技(常州)有限公司 基于超声波定位的手势识别与控制装置及识别与控制方法
CN105292019A (zh) * 2015-10-08 2016-02-03 奇瑞汽车股份有限公司 一种智能车机及控制方法
CN105978922A (zh) * 2015-10-22 2016-09-28 乐视致新电子科技（天津）有限公司 车辆信息的调整方法及系统
CN105459761A (zh) * 2015-11-18 2016-04-06 上海小糸车灯有限公司 一种行车途中远程视频的使用方法及触控显示车窗系统
WO2017124479A1 (zh) * 2016-01-23 2017-07-27 刘建兵 手势调节座椅技术的信息采集方法以及手势系统
WO2017124480A1 (zh) * 2016-01-23 2017-07-27 刘建兵 调节座椅时的技术信息展示方法以及手势系统
US10082877B2 (en) * 2016-03-15 2018-09-25 Ford Global Technologies, Llc Orientation-independent air gesture detection service for in-vehicle environments
CN106095267A (zh) * 2016-06-01 2016-11-09 惠州市德赛西威汽车电子股份有限公司 基于用户意图识别的车载设备操控方法及其系统
KR101882202B1 (ko) * 2016-07-11 2018-08-24 현대자동차주식회사 사용자 인터페이스 장치, 이를 포함하는 차량 및 차량의 제어 방법
CN107885429A (zh) * 2017-11-01 2018-04-06 上海飞乐智能技术有限公司 灯控模型的构建方法及灯控方法、系统、装置和存储介质
KR102518551B1 (ko) * 2018-10-16 2023-04-07 현대자동차주식회사 차량용 조작 장치
WO2021114690A1 (zh) * 2019-12-11 2021-06-17 上海传英信息技术有限公司 触控笔、终端及其控制方法和计算机可读存储介质
DE102020211794A1 (de) * 2020-09-21 2022-03-24 Volkswagen Aktiengesellschaft Bedienvorrichtung für ein Kraftfahrzeug

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102819352A (zh) * 2012-08-22 2012-12-12 华为终端有限公司 控制终端设备的方法和装置
CN103152667A (zh) * 2011-12-07 2013-06-12 现代自动车株式会社 使用触摸模式进行喇叭控制的装置和方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100575906B1 (ko) 2002-10-25 2006-05-02 미츠비시 후소 트럭 앤드 버스 코포레이션 핸드 패턴 스위치 장치
JP4855654B2 (ja) * 2004-05-31 2012-01-18 ソニー株式会社 車載装置、車載装置の情報提供方法、車載装置の情報提供方法のプログラム及び車載装置の情報提供方法のプログラムを記録した記録媒体
US7877707B2 (en) * 2007-01-06 2011-01-25 Apple Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
JP5207513B2 (ja) * 2007-08-02 2013-06-12 公立大学法人首都大学東京 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム
US20090167719A1 (en) * 2007-11-02 2009-07-02 Woolley Richard D Gesture commands performed in proximity but without making physical contact with a touchpad
KR101297144B1 (ko) * 2008-03-19 2013-08-21 가부시키가이샤 덴소 차량용 조작 입력 장치
JP5802667B2 (ja) 2010-07-20 2015-10-28 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ ジェスチャ入力装置およびジェスチャ入力方法
GB2496793B (en) 2010-08-17 2018-06-20 Google Llc Touch-based gesture detection for a touch-sensitive device
US9098138B2 (en) 2010-08-27 2015-08-04 Apple Inc. Concurrent signal detection for touch and hover sensing
US9361009B2 (en) * 2010-12-01 2016-06-07 Adobe Systems Incorporated Methods and systems for setting parameter values via radial input gestures
KR20120085392A (ko) 2011-01-24 2012-08-01 삼성전자주식회사 터치 스크린을 구비한 단말기 및 그 단말기에서 터치 이벤트 확인 방법
JP5452566B2 (ja) * 2011-10-31 2014-03-26 本田技研工業株式会社 車両用入力装置
JP5565421B2 (ja) * 2012-02-07 2014-08-06 株式会社デンソー 車載操作装置
JP2013196047A (ja) 2012-03-15 2013-09-30 Omron Corp ジェスチャ入力装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器、ジェスチャ入力システム、および、ジェスチャ入力装置の制御方法
US20140189579A1 (en) * 2013-01-02 2014-07-03 Zrro Technologies (2009) Ltd. System and method for controlling zooming and/or scrolling
KR20140100761A (ko) * 2013-02-07 2014-08-18 한국전자통신연구원 터치식 입력장치에서의 제스처 입력 구분 방법 및 제스처 입력 구분 장치
US20140267130A1 (en) * 2013-03-13 2014-09-18 Microsoft Corporation Hover gestures for touch-enabled devices

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103152667A (zh) * 2011-12-07 2013-06-12 现代自动车株式会社 使用触摸模式进行喇叭控制的装置和方法
CN102819352A (zh) * 2012-08-22 2012-12-12 华为终端有限公司 控制终端设备的方法和装置

Also Published As

Publication number Publication date
US10649587B2 (en) 2020-05-12
DE102014225640A1 (de) 2015-10-01
CN104914986A (zh) 2015-09-16
US20150261350A1 (en) 2015-09-17
KR20150106141A (ko) 2015-09-21
KR101575650B1 (ko) 2015-12-08

Similar Documents

Publication Publication Date Title
CN104914986B (zh) 终端设备、具有终端设备的车辆及控制终端设备的方法
US9244527B2 (en) System, components and methodologies for gaze dependent gesture input control
US9551590B2 (en) Gesture-based information and command entry for motor vehicle
US20160132126A1 (en) System for information transmission in a motor vehicle
CN105677009B (zh) 手势识别设备及具有该设备的交通工具
US20110169750A1 (en) Multi-touchpad multi-touch user interface
KR102029842B1 (ko) 차량 제스처 인식 시스템 및 그 제어 방법
CN107150643B (zh) 车辆及其控制方法
US10046772B2 (en) Vehicle control device and vehicle
KR101575648B1 (ko) 사용자 인터페이스 장치, 그를 가지는 차량 및 그의 제어 방법
CN105751996A (zh) 用于在操作开关之前辅助用户的装置和方法
KR101928637B1 (ko) 차량에서의 조작 방법 및 조작 시스템
CN105425939A (zh) 用户接口设备、具有其的车辆及控制其的方法
KR20200093091A (ko) 단말기, 그를 가지는 차량 및 그 제어 방법
US20190250776A1 (en) Vehicular display apparatus
CN105760096A (zh) 一种支持盲操作的汽车中控台方位手势操控方法及装置
CN111231860A (zh) 用于车辆的操作模块、操作方法、操作系统及存储介质
US9073433B2 (en) Vehicle control system
US10052955B2 (en) Method for providing an operating device in a vehicle and operating device
KR101665552B1 (ko) 사용자 인터페이스 장치, 그를 가지는 차량 및 그의 제어 방법
KR101614731B1 (ko) 차량 및 그 제어방법
CN106289305A (zh) 车载显示装置
KR20190071876A (ko) 단말기, 차량 및 단말기 제어방법
KR101556520B1 (ko) 단말기, 그를 가지는 차량 및 그 제어 방법
KR101597531B1 (ko) 차량용 제어 장치 및 차량

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant