CN105637467B - 识别用户手势的电子装置和方法 - Google Patents

识别用户手势的电子装置和方法 Download PDF

Info

Publication number
CN105637467B
CN105637467B CN201480055721.0A CN201480055721A CN105637467B CN 105637467 B CN105637467 B CN 105637467B CN 201480055721 A CN201480055721 A CN 201480055721A CN 105637467 B CN105637467 B CN 105637467B
Authority
CN
China
Prior art keywords
touch
user
track
sensed
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480055721.0A
Other languages
English (en)
Other versions
CN105637467A (zh
Inventor
文钟普
卢昌洙
尹贤奎
李宗根
黄提善
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN105637467A publication Critical patent/CN105637467A/zh
Application granted granted Critical
Publication of CN105637467B publication Critical patent/CN105637467B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

提供一种包括接近传感器的电子装置。所述装置包括：触摸传感器，被配置为响应于使用对象来触摸电子装置并移动输入的触摸点的用户手势而感测对象的触摸轨迹；接近传感器，被配置为感测在触摸之前以及在触摸之后对象的运动；以及控制器，被配置为基于在触摸之前以及在触摸之后对象的运动的方向来改变触摸轨迹，以及根据改变的触摸轨迹来识别用户手势。因此，可以改变触摸轨迹，且从而可以执行准确的控制操作。

Description

识别用户手势的电子装置和方法
技术领域
与示例性实施例一致的方法和装置涉及用于识别用户手势的电子装置和方法。更具体地，示例性实施例涉及包括接近传感器在内的电子装置及识别用户手势的方法。
背景技术
近来，各种电子装置提供触摸面板，以允许用户更容易地执行用户操纵。即，用户可以通过触摸输入来容易地控制电子装置。
具体地，不仅诸如遥控器和移动电话之类的小型电子装置，而且诸如电视和笔记本PC之类的大型电子装置也通常提供触摸面板，并且用户可以输入用户命令以通过触摸输入来控制这样的电子装置。
然而，当电子装置的触摸面板太小时或者当用户试图仅使用一只手来控制电子装置时，可能不小心地输入用户不希望的触摸轨迹。
例如，与用户意图沿纵向方向输入触摸轨迹不同，可能根据用户握持电子装置的方向来输入曲线的触摸轨迹。因此，电子装置可能以与用户意图的方式不同的方式作出反应，并且可能相应地发生事件。
因此，需要一种当触摸输入不是用户意图的输入时允许用户校正用户的触摸输入的技术。
发明内容
技术问题
示例性实施例的一方面涉及一种包括接近传感器在内并可以改变用户输入的触摸轨迹的电子装置、以及识别用户手势的方法。
问题的解决方案
根据示例性实施例的一种电子装置包括：触摸传感器，被配置为响应于使用对象来触摸电子装置并移动输入的触摸点的用户手势而感测对象的触摸轨迹；接近传感器，被配置为感测在触摸之前以及在触摸之后对象的运动；以及控制器，被配置为基于在触摸之前以及在触摸之后对象的运动的方向来改变触摸轨迹，并根据改变的触摸轨迹来识别用户手势。
控制器可以被配置为：通过根据与触摸点的距离对在触摸之前以及在触摸之后对象的运动应用不同加权值来改变触摸轨迹。
控制器可以被配置为：通过对在触摸开始之前感测到的对象的运动方向应用第一加权值并对在触摸结束之后感测到的对象的运动方向应用大于第一加权值的第二加权值来改变触摸轨迹。
触摸传感器可以被配置为：对以矩阵形式布置的多个触摸传感器应用具有预定形式的操作网格，并参考操作网格来感测触摸点，以及控制器可以被配置为：基于通过接近传感器所感测到的对象的运动来确定关于电子装置的用户握持方向，根据用户握持方向的方向来改变操作网格，以及参考改变的操作网格来识别用户手势。
控制器可以被配置为：响应于用户握持方向是第一方向，将操作网格的每个单元改变为从第一方向向第二方向倾斜，并且可以被配置为：响应于用户握持方向是第二方向，将操作网格的每个单元改变为从第二方向向显示器的第一方向倾斜。
所述装置还可以包括显示器，以及控制器可以被配置为：响应于用户握持方向是显示器的右方向，将操作网格的每个单元改变为从显示器的右方向向左方向倾斜，并且响应于用户握持方向是显示器的左方向，将操作网格的每个单元改变为从显示器的左方向向右方向倾斜。
控制器可以被配置为将以下线识别为用户手势：所述线连接刚好在触摸之前以及刚好在触摸之后通过接近传感器感测到的对象的运动与通过触摸传感器感测到的触摸起始点。
控制器可以被配置为：通过将由触摸传感器感测到的触摸轨迹、在触摸开始之前的对象的运动轨迹、和在触摸结束之后的对象的运动轨迹相加来改变触摸轨迹。
根据示例性实施例的识别用户手势的方法包括：感测对象的触摸轨迹，响应于使用对象来触摸电子装置并移动输入的触摸点的用户手势而通过接近传感器来感测在触摸之前以及在触摸之后对象的接近运动；基于在触摸之前以及在触摸之后对象的接近运动方向来改变触摸轨迹，以及根据改变的触摸轨迹来识别用户手势。
改变触摸轨迹可以包括：通过根据与触摸点的距离而对在触摸之前以及在触摸之后对象的运动应用不同加权值来改变触摸轨迹。
改变触摸轨迹可以包括：通过对在触摸开始之前感测到的对象的运动方向应用第一加权值并对在触摸结束之后感测到的对象的运动方向应用大于第一加权值的第二加权值来改变触摸轨迹。
触摸传感器可以对以矩阵形式布置的多个触摸传感器应用具有预定形式的操作网格，并参考操作网格来感测触摸点，以及识别用户手势可以包括：基于通过接近传感器所感测到的对象的运动来确定关于电子装置的用户握持方向，根据用户握持方向来改变操作网格，以及参考改变的操作网格来识别用户手势。
改变触摸轨迹可以包括：响应于用户握持方向是第一方向，将操作网格的每个单元改变为从第一方向向第二方向倾斜，并且响应于用户握持方向是第二方向，将操作网格的每个单元改变为从第二方向向第一方向倾斜。
识别用户手势可以包括将以下线识别为用户手势：所述线连接刚好在触摸之前以及刚好在触摸之后通过接近传感器所感测到的对象的运动与通过触摸传感器感测到的触摸起始点。
改变触摸轨迹可以包括：通过将由触摸传感器感测到的触摸轨迹、在触摸开始之前的对象的运动轨迹、以及在触摸结束之后的对象的运动轨迹相加来改变触摸轨迹。
示例性实施例的一方面可以提供一种电子装置，包括：触摸传感器，被配置为响应于用户手势来感测对象的触摸轨迹；接近传感器，被配置为感测在触摸之前以及在触摸之后对象的运动；以及控制器，被配置为基于在触摸之前以及在触摸之后对象的运动的方向来改变触摸轨迹，其中，控制器被配置为通过对在触摸开始之前感测到的对象的运动方向应用第一加权值并对在触摸结束之后感测到的对象的运动方向应用大于第一加权值的第二加权值来改变触摸轨迹，以及根据改变的触摸轨迹来识别用户手势。
用户手势可以包括：使用对象来触摸电子装置并移动输入的触摸点。
触摸传感器可以被配置为：对以矩阵形式布置的多个触摸传感器应用具有预定形式的操作网格，并参考操作网格来感测触摸点。
控制器可以被配置为：基于通过接近传感器所感测到的对象的运动来确定关于电子装置的用户握持方向，并根据用户握持方向来改变操作网格，以及参考改变的操作网格来识别用户手势。
控制器可以被配置为：响应于用户握持方向的方向是第一方向，将操作网格的每个单元改变为从第一方向向第二方向倾斜，并且响应于用户握持方向是第二方向，将操作网格的每个单元改变为从第二方向向显示器的第一方向倾斜。
控制器可以被配置为将以下线识别为用户手势：所述线连接刚好在触摸之前以及刚好在触摸之后通过接近传感器所感测到的对象的运动与通过触摸传感器感测到的触摸起始点。
发明的有益效果
用户可以使用包括接近传感器在内的电子装置并且可以改变用户输入的触摸轨迹。
附图说明
通过参考附图来描述某些示例性实施例，上述和/或其他方面将更清楚，在附图中：
图1是示出了根据示例性实施例的电子装置的配置的框图；
图2和图3是示出了由用户顺序输入触摸命令的处理的视图；
图4是示出了显示器的配置的示例的视图；
图5是为了解释检测用户的接近操纵的方法而提供的视图；
图6是为了解释根据示例性实施例的识别用户手势的方法而提供的流程图；
图7是示出了根据示例性实施例的输入沿纵向方向的触摸轨迹的情况的视图；
图8是示出了输入沿横向方向的触摸轨迹的情况的视图；图9是示出了用户使用右手来握持电子装置的情况的视图；
图10是示出了用户使用左手来握持电子装置的情况的视图；
图11是示出了响应于用户使用右手来握持电子装置的电子装置的扭曲操作网格的视图；以及
图12是示出了响应于用户使用左手来握持电子装置的电子装置的扭曲操作网格的视图。
具体实施方式
在附图中通过相关领域的符号表示了方法步骤和系统组件，附图仅示出了与理解示例性实施例相关的特定细节。此外，可以不公开对本领域普通技术人员来说显而易见的细节。在示例性实施例中，可使用诸如第一和第二等的关系术语将一个实体与另一实体区分开来，而不意味着这些实体之间的任何实际关系或顺序。
图1是简要示出了根据示例性实施例的电子装置100的配置的框图。如图1所示，电子装置100包括触摸传感器110、接近传感器120和控制器130。电子装置100可以是移动电话，这仅是示例。电子装置100可被实现为具有触摸传感器110的各种装置，诸如遥控器、平板PC、数码相机、便携式摄像机、笔记本PC、PDA和电视。
触摸传感器110感测触摸输入。具体地，触摸传感器可以响应于使用对象来触摸触摸传感器110并移动触摸点的用户手势而感测对象的触摸轨迹。
对象可以是用户手指或者可以触摸触摸传感器110的工具(诸如触摸笔)。
具体地，触摸传感器110可以响应于使用用户手指或笔来触摸触摸传感器110的一部分并沿输入的朝向右的方向水平移动触摸点的用户手势而感测出用户手势沿从左至右的纵向方向被输入。
接近传感器120感测对象的接近运动。即，即使在触摸开始之前以及在触摸结束之后对象与接近传感器120分离，接近传感器12也可以在特定范围内感测对象的接近运动。
即，响应于如图2所示在触摸传感器110中感测到用户手指200的触摸输入并且用户手指200在触摸输入之前以及在触摸输入之后距接近传感器120预定距离，接近传感器122可以感测对象的接近运动。
另外，触摸传感器110和接近传感器120可以用重叠方式存在。具体地，如图3所示，响应于当触摸传感器110和接近传感器120以重叠方式存在时在t1和t5时用户手指200超出距触摸传感器110和接近传感器120的预定距离，触摸传感器110和接近传感器120可以感测不到对象的存在。
响应于在t2和t4时用户手指200在距触摸传感器110和接近传感器120的预定距离内，接近传感器120可以感测对象的运动。同时，能够由接近传感器120感测到的预定距离可以根据电子装置100的初始设置和接近传感器120的特性而改变。
另外，响应于在t3时用户手指200触摸触摸传感器110和接近传感器120，触摸传感器110可以感测对象的触摸输入。
触摸传感器110和接近传感器120可以存在于显示器140上，稍后将对此进行描述。
控制器130是控制电子装置100的总体操作的元件。基于在触摸之前以及在触摸之后由接近传感器120感测到的对象运动的接近方向，控制器130可以改变由触摸传感器110所感测到的触摸轨迹，并根据改变的触摸轨迹来识别用户手势。
可以根据示例性实施例以各种方式来实现用于改变触摸轨迹的方法。
例如，根据示例性实施例，控制器130可以通过考虑所有实际触摸轨迹以及在触摸之前和触摸之后对象的运动来估计用户意图的触摸轨迹，并将实际触摸轨迹改变为估计的触摸轨迹。控制器130可以根据改变的触摸轨迹来识别用户手势。
例如，即使响应于由触摸传感器110感测到的触摸轨迹是弧形形状，但是响应于基于通过触摸传感器110在输入触摸轨迹之前以及之后感测到的对象的接近运动的方向而确定由用户绘制了具有直线形状的触摸轨迹，控制器130也可以确定触摸轨迹具有直线形状，并识别出用户手势要输入直线触摸输入。
根据另一示例性实施例，控制器130可以针对对象运动的每个部分应用不同加权值。
具体地，针对在触摸之前以及在触摸之后感测到对象运动所在位置处的坐标值，控制器130可以根据与触摸点的距离来应用不同加权值，并可以改变触摸轨迹。因此，在触摸之前的运动中远离触摸起始点的位置处的对象运动可以被反映为相对小或者可以被忽视，且接近触摸结束点的位置处的对象运动可以被反映为相对大。
控制器130可以基于分别由触摸传感器110感测到的触摸坐标值和通过接近传感器120感测到的接近坐标值来确定和改变触摸轨迹。
可以根据触摸轨迹以不同方式来感测通过接近传感器120感测到的在触摸之前以及在触摸之后的对象的接近运动。因此，可以改变触摸轨迹，使得在触摸之前以及在触摸之后的对象运动距触摸点越近，则应用的加权值越高，并且在触摸之前以及在触摸之后的对象运动距触摸点越远，则应用的加权值越低，因为该运动更有可能超出用户意图的触摸轨迹。
另外，存在如下更多的情况：与在触摸之前对象的接近运动相比，在触摸之后对象的接近运动根据触摸轨迹而更与众不同。
在这种情况下，控制器130可以针对触摸之前和触摸之后的运动而应用不同加权值。例如，控制器130可以针对在触摸开始之前感测到的对象运动的方向而应用第一加权值，并针对在触摸结束之后感测到的对象运动的方向而应用大于第一加权值的第二加权值。第一加权值和第二加权值可以根据电子装置100的初始设置或用户设置而改变。例如，第一加权值可以被设置为“0”或与“0”相对应的另一小值。
根据另一示例性实施例，控制器130可以设置操作网格(operation grid)，并参考操作网格来确定用户手势。
具体地，控制器130可以基于通过接近传感器120感测到的对象运动来确定握持电子装置100的用户手的方向，并根据确定的用户手的方向来控制触摸传感器110具有改变的操作网格。本文中，改变的操作网格意味着网格的形状根据电子装置100被用户握持的方向而改变。
操作网格是具有网格形式的线，其作为用于确定用户触摸输入的位置的参考。例如，操作网格可以具有由方形组成的网格的形式。
控制器130可以通过针对分别由触摸传感器110和接近传感器120感测到的触摸坐标或接近坐标应用操作网格来确定输入了哪种类型的用户手势。
在触摸传感器110感测到针对显示器140的用户触摸的情况下，可以根据显示器140的尺寸和形状将操作网格实现为各种尺寸和形状。
控制器130将由触摸传感器110和接近传感器120感测到的对象运动改变为与操作网格匹配的坐标值。同时，扭曲操作网格意味着网格的形状根据用户握持电子装置100的方向而改变。
例如，控制器130响应于由接近传感器120感测到对象运动，基于运动或感测到的位置来确定关于电子装置的用户握持的方向。控制器130根据用户握持方向来改变操作网格，并基于改变的操作网格来确定用户手势的类型。
具体地，操作网格可以根据用户握持方向而改变。即，响应于用户握持方向是第一方向，操作网格的每个单元可以改变为从第一方向向第二方向倾斜，并且响应于用户握持方向是第二方向，操作网格的每个单元可以改变为从第二方向向显示器的第一方向倾斜。
例如，响应于电子装置100包括显示器140，第一方向可以是显示器140的右方向，且第二方向可以是显示器140的左方向。即，响应于用户握持方向是显示器140的右方向，控制器130可以将操作网格的每个单元改变为从右方向向显示器140的左方向倾斜。另一方面，响应于用户握持方向是显示器140的左方向，控制器130可以将操作网格的每个单元改变为从左方向向显示器的右方向倾斜。
具体地，由控制器130确定的用户的手处于右方向上，由方形组成的网格从右至左向下倾斜，并且由控制器130确定的用户的手处于左方向上，由方形组成的网格从左至右向下倾斜。稍后将提供用于确定用户手的方向的方法以及对扭曲操作网格的详细描述。
同时，根据另一示例性实施例，控制器130可以将下述线识别为用户手势：该线连接刚好在触摸结束之后通过接近传感器120感测到的对象运动与通过触摸传感器110输入的用户触摸的起始点。
即，在大多数情况下，触摸输入的起始点与用户的意图一致，然而，当触摸传感器110的尺寸太小时或者当用户使用一只手来控制电子装置100时，触摸输入的结束点可能与用户的意图不一致。
在这种情况下，在触摸结束之后对象可能与触摸传感器110分离，且因此没有输入触摸输入，对象可能沿用户意图的方向移动。本文中，接近传感器120可以感测接近运动。控制器130可以将触摸起始点与刚好在触摸结束之后通过接近传感器120感测到接近对象的点相连，并改变触摸轨迹。在这种情况下，改变的触摸轨迹可以被视为与用户的初始意图一致的轨迹。
根据另一示例性实施例，控制器130可以通过将由触摸传感器感测到的触摸轨迹、在触摸开始之前的对象的运动轨迹和在触摸结束之后的对象的运动轨迹相加来改变触摸轨迹。即，通过包括在由接近传感器120感测到触摸之前以及在由接近传感器120感测到触摸之后的对象的接近运动，可以提供改变触摸轨迹的充足数据。
同时，响应于存在通过触摸传感器110输入的用户手势的大量坐标值，可以确定存在用户手势的大量运动。另外，控制器130还可以考虑在通过接近传感器120感测到的触摸之前以及在通过接近传感器120感测到的触摸之后的对象运动的坐标值，以确定用户手势的运动的量。
即，响应于触摸传感器110被用户长时间高强度地触摸并且因此存在大量转换的坐标值，控制器130可以确定存在用户手势的大量运动，并可以快速地控制通过触摸输入来控制的电子装置100的内容。
另外，控制器130可以将通过接近传感器120感测到的对象运动的坐标值添加到通过触摸传感器110输入的用户手势的坐标值，以确定用户手势的运动的量。
因此，即使存在通过触摸传感器110感测到的用户手势的少量坐标值，控制器130也可以响应于存在通过接近传感器120感测到的对象运动的大量坐标值而确定存在用户手势的大量运动。
同时，电子装置100可以包括显示器140，显示器140的详细配置如图4所示。即，显示器140可以进一步包括诸如显示面板145、时序控制器141、栅极驱动器142、数据驱动器143和电压驱动器(未示出)之类的处理电路。另外，显示器140还可以包括帧缓冲器(未示出)。
时序控制器141从外部接收适合于显示面板145的时钟信号、水平同步信号(Hsync)、垂直同步信号(Vsync)等，产生栅极控制信号(扫描控制信号)和数据控制信号(数据信号)，并向栅极驱动器142和数据驱动器143分别输出各信号。
电压驱动器144是用于向栅极驱动器142、数据驱动器143、显示面板145等发送驱动电压的元件。具体地，电压驱动器144可以向显示面板145提供必需的VDD或VSS。此外，电压驱动器144可以产生Vgh并将其向栅极驱动器142提供。
栅极驱动器142通过扫描线S1、S2、S3、…、Sn连接至显示面板145。栅极驱动器142根据由时序控制器141产生的栅极控制信号，对显示面板145施加从电压驱动器144提供的栅极导通/截止电压(Vgh/Vgl)。
数据驱动器143通过数据线D1、D2、D3、…、Dm连接至显示面板145。数据驱动器143根据由时序控制器141产生的控制信号，向显示面板145中输入图像帧的RGB数据。
显示面板145被配置为形成像素区域146，在所述像素区域146中，多条栅极线(未示出)和多条数据线DLl～DLn彼此相交。响应于显示面板145根据OLED方法工作，每个像素区域146可以被配置为形成如OLED之类的R、G、B的发光元件。在每个像素区域146中形成开关元件，即，TFT。另外，用于使用用户身体或笔来感测用户操纵的传感器可被布置在每个像素区域146的下部。即，触摸传感器110和接近传感器120可以与显示器140一起布置，以通过像素单元来感测用户操纵。
将参照图5来详细描述接近传感器120的操作。接近传感器120可以进一步包括红外线源153和红外线传感器154。红外线源153可以布置在显示器140内部的显示面板145的一个表面中，且红外传感器154布置在显示面板145的另一表面中。红外线源153沿显示面板145的表面方向发射红外线。因此，能够识别用户手指200接近的特定区域存在于显示面板145的表面上，其变为能够识别接近触摸的有效识别区域5。
红外线传感器154可以包括以阵列形式布置的多个红外线感测元件。因此，响应于手指200接近有效识别区域5，红外线传感器154可以通过感测被手指200所反射的红外线来产生红外线扫描图像。电子装置100可以通过使用产生的红外扫描图像来感测接近触摸输入。
接近传感器120还可以感测笔200接近的情况。即，对触摸传感器110进行触摸的对象可以是除了用户手指之外的其他装置。
图7和图8是示出了根据示例性实施例的使用作为对象的用户手指来输入沿纵向方向和横向方向的触摸轨迹的情况的视图。
响应于电子装置100是小型装置，在许多情况下仅使用一只手来输入触摸命令。用户手指由三个关节组成，即，第一关节指骨、中间关节指骨和最后关节指骨，而非多个关节。
具体地，响应于用户使用一只手来握持电子装置，用户通常使用不具有中间关节指骨的拇指。
因此，响应于使用拇指作为对象输入了触摸，连接拇指的第一关节指骨与腕骨的掌骨230被半固定，并且仅两个小关节210、220被操纵，且因此通过拇指输入的触摸轨迹可能不同于用户意图的触摸轨迹。
具体地，将参照图7来描述由用户输入沿纵向方向的触摸轨迹的情况。
响应于对象是用户的手指，由于生物学原因，用户意图的触摸轨迹310可能不同于实际输入的触摸轨迹320。即，用户意图的初始触摸点10与实际的初始触摸点11几乎一致。然而，随着用于绘制触摸轨迹的时间逝去，在用户意图的结束点30和实际的触摸结束点31之间可能存在差异。
然而，由接近传感器120感测到的刚好在触摸结束之后感测到对象运动的位置41可以再次更接近于用户原先意图的触摸轨迹310。
因此，响应于由接近传感器120感测到的刚好在触摸结束之后感测到对象运动的位置41被转换为坐标值，并且输入触摸轨迹通过应用加权值而改变，在触摸之后对象的位置可以比将输入实际触摸的点11、21、31相连的轨迹更接近于用户意图的触摸轨迹310。
图8是示出了输入沿横向方向的触摸轨迹的情况的视图。
在输入了沿横向方向的触摸轨迹的情况下，由于生物学原因，在用户意图输入的触摸轨迹310和响应于对象是用户手指而实际上输入的触摸轨迹320之间也可能存在差异。
具体地，由于手指的上述生物学结构，可以输入沿横向方向的触摸轨迹以绘制过度的弧。因此，在用户意图的中间点50、60、70和输入实际触摸的点51、61、71之间可能存在差异，如图8所示。
然而，由接近传感器120感测到的刚好在触摸结束之后的对象运动的位置81可以再次更接近于用户原先意图的触摸轨迹310。
因此，响应于由接近传感器120感测到的刚好在触摸结束之后感测到对象运动的位置81被转换为坐标值，并且输入触摸轨迹通过应用加权值而改变，在触摸之后对象的位置可以比将输入实际触摸的点51、61、71相连的轨迹更接近于用户意图的触摸轨迹310。
在图7和图8中，可以通过如上所述应用加权值来改变触摸轨迹，但是这仅是示例。可以用各种方式来改变触摸轨迹，诸如通过将触摸起始点与刚好在触摸结束之后由接近传感器感测到的点相连来改变触摸轨迹，使得触摸轨迹可以变得与用户意图的触摸轨迹一致。
图9至图12是示出了电子装置100具有根据用户握持电子装置的用户手的方向的扭曲操作网格的情况的视图。
图9和图10示出了电子装置100被实现为移动电话且显示器140包括触摸传感器110和接近传感器120的情况。
接近传感器120可以感测握持电子装置100的用户手的形状，且控制器130可以基于感测到的用户手的形状来确定哪只手握持电子装置100。
响应于握持电子装置100的手是右手，控制器可以执行用于让操作网格具有如图11所示从右至左向下倾斜的方形网格形状的控制操作。
即，响应于电子装置100被右手握持并且输入了触摸方形，由于右手的生物学结构，可以输入沿斜线从右至左向下的触摸方形。
因此，控制器130可以执行用于具有扭曲操作网格的控制操作，并将沿斜线从右至左向下的触摸方形识别为从右向左水平移动的触摸轨迹。
响应于握持电子装置100的手是左手，如图12所示，控制器130可以执行用于让操作网格具有如图12所示从左至右向下倾斜的方形网格形状的控制操作。
即，响应于电子装置100被左手握持并且输入了触摸方形，由于左手的生物学结构，可以输入沿斜线从左至右向下的触摸方形。
因此，控制器130可以执行用于具有扭曲操作网格的控制操作，并将沿斜线从左至右向下的触摸方形识别为从左向右水平移动的触摸轨迹。
图6是为了解释根据示例性实施例的识别电子装置100的用户手势的方法而提供的流程图。根据图6，电子装置100确定是否输入了触摸对象并移动触摸点的用户手势(S1000)。响应于输入了用户手势(S1000-是)，感测对象的触摸轨迹(S1010)。即，可以感测沿横向方向、沿纵向方向或沿斜线方向的触摸轨迹。
接近传感器120感测在触摸之前以及在触摸之后对象的接近运动(S1020)。即，电子装置100可以不仅感测触摸轨迹，而且通过接近传感器120还感测存在于预定距离内的对象的运动。
之后，基于在触摸之前以及在触摸之后对象的运动方向来改变触摸轨迹(S1030)。即，随着在触摸之前以及在触摸之后对象的接近运动的位置接近触摸点，可以通过对该位置处的坐标值应用更高的加权值来改变触摸轨迹。备选地，可以通过对刚好在触摸之前以及刚好在触摸之后对象的接近运动的位置处的坐标值应用加权值来改变触摸轨迹，并且可以改变触摸轨迹，使得连接触摸起始点与刚好在触摸之前以及刚好在触摸之后对象的接近运动的点的线可以被识别为用户手势。同时，沿改变的触摸轨迹来识别用户手势(S1040)。
如上所述，根据各个示例性实施例，可以通过不仅考虑用户的触摸轨迹而且还考虑在触摸之前以及在触摸之后感测到的对象运动来假定用户的操纵意图。因此，可以确定根据用户的操纵意图的用户手势的类型，并且可以相应地执行控制操作。因此，即使响应于用户使用一只手来握持电子装置100，或者由于手的残疾或损伤而致使用户难以正常操纵装置100，在由于显示器的尺寸或形状的限制而发生触摸故障的情况下，也可以执行符合用户意图的控制操作。
根据以上各个示例性实施例的识别电子装置的用户手势的方法可以被存储在非暂时性可读存储介质中。非暂时性可读存储介质可以被安装并用于各种装置上。
非暂时性记录存储介质是指不是短时存储数据的介质(例如，寄存器、高速缓存和内存)而是半永久性地存储数据并且由装置可读取的介质。具体地，非临时可记录介质可以是CD、DVD、硬盘、蓝光光盘TM、USB、存储卡、ROM等。
上述实施例和优点仅是示例并不应视为限制本发明。本发明的教导能够容易地应用于其他类型的装置。此外，示例性实施例的描述意在说明性的，而不是为了限制权利要求的范围，并且本领域技术人员将清楚多种备选、修改和变化。

Claims (13)

1.一种电子装置，包括：
触摸传感器，被配置为响应于使用对象来触摸电子装置并移动输入的触摸点的用户手势而感测对象的触摸轨迹；
接近传感器，被配置为感测在触摸之前以及在触摸之后对象的运动；以及
控制器，被配置为基于在触摸之前以及在触摸之后对象的运动方向来改变触摸轨迹，以及根据改变的触摸轨迹来识别用户手势，
其中，所述控制器还被配置为：基于所述运动方向，通过根据与触摸点的距离而对在触摸之前以及在触摸之后对象的运动应用不同加权值来改变触摸轨迹。
2.根据权利要求1所述的装置，其中，控制器被配置为：通过对在触摸开始之前感测到的对象的运动方向应用第一加权值并对在触摸结束之后感测到的对象的运动方向应用大于第一加权值的第二加权值来改变触摸轨迹。
3.根据权利要求1所述的装置，其中，触摸传感器被配置为对以矩阵形式布置的多个触摸传感器应用具有预定形式的操作网格，并参考操作网格来感测触摸点，其中，控制器被配置为基于通过接近传感器所感测到的对象的运动来确定关于电子装置的用户握持方向，并根据用户握持方向来改变操作网格，以及参考改变的操作网格来识别用户手势。
4.根据权利要求3所述的装置，其中，控制器被配置为：响应于用户握持方向的方向是第一方向，将操作网格的每个单元改变为从第一方向向第二方向倾斜，并且响应于用户握持方向是第二方向，将操作网格的每个单元改变为从第二方向向显示器的第一方向倾斜。
5.根据权利要求1所述的装置，其中，控制器被配置为将以下线识别为用户手势：所述线连接刚好在触摸之前以及刚好在触摸之后通过接近传感器感测到的对象的运动与通过触摸传感器感测到的触摸起始点。
6.根据权利要求1所述的装置，其中，控制器被配置为：通过将由触摸传感器感测到的触摸轨迹、在触摸开始之前的对象的运动轨迹、和在触摸结束之后的对象的运动轨迹相加来改变触摸轨迹。
7.一种识别用户手势的方法，所述方法包括：
响应于使用对象来触摸电子装置并移动输入的触摸点的用户手势而感测对象的触摸轨迹；
通过接近传感器来感测在触摸之前以及在触摸之后对象的接近运动；
基于在触摸之前以及在触摸之后对象的运动方向，通过根据与触摸点的距离而对在触摸之前和在触摸之后对象的运动应用不同加权值来改变触摸轨迹，以及
根据改变的触摸轨迹来识别用户手势。
8.根据权利要求7所述的方法，其中，改变触摸轨迹包括：通过对在触摸开始之前感测到的对象的运动方向应用第一加权值并对在触摸结束之后感测到的对象的运动方向应用大于第一加权值的第二加权值来改变触摸轨迹。
9.根据权利要求7所述的方法，其中，触摸传感器对以矩阵形式布置的多个触摸传感器应用具有预定形式的操作网格，并参考操作网格来感测触摸点，其中，识别用户手势包括：基于通过接近传感器感测到的对象的运动来确定关于电子装置的用户握持方向，并根据用户握持方向来改变操作网格，以及参考改变的操作网格来识别用户手势。
10.根据权利要求9所述的方法，其中，改变触摸轨迹包括：响应于用户握持方向是第一方向，将操作网格的每个单元改变为从第一方向向第二方向倾斜，并且响应于用户握持方向是第二方向，将操作网格的每个单元改变为从第二方向向第一方向倾斜。
11.根据权利要求7所述的方法，其中，识别用户手势包括将以下线识别为用户手势：所述线连接刚好在触摸之前以及刚好在触摸之后通过接近传感器感测到的对象的运动与通过触摸传感器感测到的触摸起始点。
12.根据权利要求7所述的方法，其中，改变触摸轨迹包括：通过将由触摸传感器感测到的触摸轨迹、在触摸开始之前的对象的运动轨迹、和在触摸结束之后的对象的运动轨迹相加来改变触摸轨迹。
13.一种电子装置，包括：
触摸传感器，被配置为响应于用户手势来感测对象的触摸轨迹；
接近传感器，被配置为感测在触摸之前以及在触摸之后对象的运动；以及
控制器，被配置为基于在触摸之前以及在触摸之后对象的运动方向来改变触摸轨迹，
其中，控制器被配置为通过对在触摸开始之前感测到的对象的运动方向应用第一加权值并对在触摸结束之后感测到的对象的运动方向应用大于第一加权值的第二加权值来改变触摸轨迹，以及根据改变的触摸轨迹来识别用户手势。
CN201480055721.0A 2013-10-28 2014-10-07 识别用户手势的电子装置和方法 Active CN105637467B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020130128712A KR102159789B1 (ko) 2013-10-28 2013-10-28 전자 장치 및 이의 사용자 제스처 인식방법
KR10-2013-0128712 2013-10-28
PCT/KR2014/009429 WO2015064923A1 (en) 2013-10-28 2014-10-07 Electronic apparatus and method of recognizing a user gesture

Publications (2)

Publication Number Publication Date
CN105637467A CN105637467A (zh) 2016-06-01
CN105637467B true CN105637467B (zh) 2019-06-11

Family

ID=52994841

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480055721.0A Active CN105637467B (zh) 2013-10-28 2014-10-07 识别用户手势的电子装置和方法

Country Status (5)

Country Link
US (1) US9720590B2 (zh)
EP (1) EP3063614B1 (zh)
KR (1) KR102159789B1 (zh)
CN (1) CN105637467B (zh)
WO (1) WO2015064923A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106484105A (zh) * 2016-09-20 2017-03-08 努比亚技术有限公司 一种实现手势识别的方法及装置
JP6293953B1 (ja) * 2017-04-04 2018-03-14 京セラ株式会社 電子機器、プログラムおよび制御方法
EP3614241B1 (en) * 2017-04-20 2024-04-03 Alps Alpine Co., Ltd. Touch sensor-type electronic device and sensor control method
CN109446999B (zh) * 2018-10-31 2021-08-31 中电科新型智慧城市研究院有限公司 基于统计计算的动态人体运动的快速感知系统及方法
US20220236827A1 (en) * 2019-05-31 2022-07-28 Lenovo (Beijing) Limited Electronic apparatus and data processing method
KR20210102555A (ko) * 2020-02-11 2021-08-20 삼성디스플레이 주식회사 표시 장치
JP2022172878A (ja) 2021-05-07 2022-11-17 上海天馬微電子有限公司 対象物の非接触操作を可能とする装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1255685A (zh) * 1998-11-27 2000-06-07 英业达集团(西安)电子技术有限公司 一种无笔画顺序的手写字符辨识系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102365610B (zh) 2009-03-31 2015-06-24 三菱电机株式会社 显示输入装置及车载信息设备
KR20100136649A (ko) 2009-06-19 2010-12-29 삼성전자주식회사 휴대단말기의 근접 센서를 이용한 사용자 인터페이스 구현 방법 및 장치
KR101387270B1 (ko) 2009-07-14 2014-04-18 주식회사 팬택 터치 궤적에 따라 메뉴 정보를 표시하는 이동 단말기
KR101639383B1 (ko) * 2009-11-12 2016-07-22 삼성전자주식회사 근접 터치 동작 감지 장치 및 방법
JP2011150414A (ja) * 2010-01-19 2011-08-04 Sony Corp 情報処理装置、操作入力決定方法及び操作入力決定プログラム
WO2012034098A2 (en) * 2010-09-10 2012-03-15 Silicon Valley Medical Instruments, Inc. Apparatus and method for medical image searching
US9542092B2 (en) 2011-02-12 2017-01-10 Microsoft Technology Licensing, Llc Prediction-based touch contact tracking
EP2634680A1 (en) * 2012-02-29 2013-09-04 BlackBerry Limited Graphical user interface interaction on a touch-sensitive device
EP2645218A1 (en) 2012-03-29 2013-10-02 Sony Mobile Communications AB Method for operating an electronic device
JP5904440B2 (ja) 2012-04-20 2016-04-13 シャープ株式会社 操作入力装置、操作入力方法およびプログラム
JP6271881B2 (ja) * 2013-06-26 2018-01-31 キヤノン株式会社 情報処理装置およびその制御方法、プログラム、記録媒体

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1255685A (zh) * 1998-11-27 2000-06-07 英业达集团(西安)电子技术有限公司 一种无笔画顺序的手写字符辨识系统

Also Published As

Publication number Publication date
EP3063614A4 (en) 2017-06-21
KR20150048526A (ko) 2015-05-07
US9720590B2 (en) 2017-08-01
US20150116280A1 (en) 2015-04-30
WO2015064923A1 (en) 2015-05-07
EP3063614B1 (en) 2018-09-19
EP3063614A1 (en) 2016-09-07
CN105637467A (zh) 2016-06-01
KR102159789B1 (ko) 2020-09-25

Similar Documents

Publication Publication Date Title
CN105637467B (zh) 识别用户手势的电子装置和方法
US11429244B2 (en) Method and apparatus for displaying application
US9703411B2 (en) Reduction in latency between user input and visual feedback
TWI655572B (zh) Information processing device, information processing method and computer readable recording medium
US9141205B2 (en) Input display device, control device of input display device, and recording medium
US20110237303A1 (en) Terminal device and control program thereof
US20110234515A1 (en) Terminal device and control program thereof
CN103294337A (zh) 电子装置及控制方法
US20140333549A1 (en) Input device, input method, and program
US9904444B2 (en) Method of providing user interface of device and device including the user interface
US20150077339A1 (en) Information processing device
CN102402275A (zh) 便携式电子设备和握姿检测方法
JP6359862B2 (ja) タッチ操作入力装置、タッチ操作入力方法及びプログラム
US10620819B2 (en) Display apparatus and controlling method thereof
US20150012879A1 (en) Device and method for moving display window on screen
KR102249035B1 (ko) 터치 스크린 패널 및 터치 제어장치
CN103870175B (zh) 一种显示方法及电子设备
JP6475883B2 (ja) タッチ入力表示装置、表示制御方法及びプログラム
TWI550489B (zh) 背景訊號更新方法及其感測裝置
KR20120005153A (ko) 컨텐츠재생장치 및 컨텐츠재생장치의 동작 방법
JP2019087280A (ja) タッチ入力表示装置、表示制御方法及びプログラム
JP2013058024A (ja) 携帯端末、入力受付方法およびプログラム
KR20160059079A (ko) 터치 압력을 이용한 애플리케이션 제어 장치 및 방법
JP2015201101A (ja) 電子装置、その制御方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant