CN103155428A - 便携式终端中用于自适应手势识别的装置和方法 - Google Patents

便携式终端中用于自适应手势识别的装置和方法 Download PDF

Info

Publication number
CN103155428A
CN103155428A CN2011800481044A CN201180048104A CN103155428A CN 103155428 A CN103155428 A CN 103155428A CN 2011800481044 A CN2011800481044 A CN 2011800481044A CN 201180048104 A CN201180048104 A CN 201180048104A CN 103155428 A CN103155428 A CN 103155428A
Authority
CN
China
Prior art keywords
gesture
user
user situation
function
portable terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800481044A
Other languages
English (en)
Other versions
CN103155428B (zh
Inventor
宋熙俊
金男勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN103155428A publication Critical patent/CN103155428A/zh
Application granted granted Critical
Publication of CN103155428B publication Critical patent/CN103155428B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3293—Power saving characterised by the action undertaken by switching to a less power-consuming processor, e.g. sub-CPU
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/16—Communication-related supplementary services, e.g. call-transfer or call-hold
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72457—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/60—Details of telephonic subscriber devices logging of communication history, e.g. outgoing or incoming calls, missed calls, messages or URLs
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了用于在便携式终端中进行手势识别的装置和方法。便携式终端的操作包括：使用至少一个情景信息确定用户情景；使用至少一个传感器测量值确定用户的手势；以及执行与用户情景和手势相对应的功能。

Description

便携式终端中用于自适应手势识别的装置和方法
技术领域
本发明涉及便携式终端。更具体地，本发明涉及在便携式终端中自适应地识别用户的手势（gesture）的装置和方法。
背景技术
便携式终端已因其方便和必需性而快速被广泛采用，并已成为现代生活的基本工具。因此，服务供应商和终端制造商正提供越来越多的附加功能以增加便携式终端的用途。
此外，除了简单的键输入之外，正在开发各种输入机制，以便使便携式终端被更频繁地使用。例如，存在一种利用用户手势的输入机制。也就是说，便携式终端通过识别便携式终端的运动来识别用户的手势，并且能够执行相应的特定功能/应用、操作等等。
存在通过使用便携式终端中包括的传感器来识别用户的手势的各种方法。然而，在便携式终端中识别手势的传统方法均在几个问题。
诸如智能电话的高质量便携式终端正变得越来越普遍，并且用户期望的功能的数量处于上升趋势。因此，当使用若干有限的手势来执行特定功能时，可用功能的数量受到限制。此外，如果一个手势和一个功能简单匹配，则为了执行功能需要许多手势。再有，要被识别的手势的数量越多，识别准确率越低。因此，正确提供用户期望的各种功能变得困难。
因此，需要能够使用有限数量的手势向用户正确提供更多功能的方法。
发明内容
为了解决上面讨论的现有技术的缺陷，本发明的主要方面提供用于在便携式终端中通过使用用户的手势来执行特定功能的装置和方法。
本发明的另一方面是提供用于在便携式终端中通过使用手势来提高功能执行服务的效率的装置和方法。
本发明的另一方面是提供用于在便携式终端中通过使用有限数量的手势向用户准确提供更多功能的装置和方法。
根据本发明的一方面，提供一种操作便携式终端的方法。该方法包括：通过使用至少一个情景信息确定用户情景，通过使用至少一个传感器测量值确定用户的手势，以及执行与用户情景和手势相对应的功能。
根据本发明的另一方面，提供一种便携式终端装置，其包括用于控制便携式终端的功能的控制器。该控制器包括情景识别单元，被配置成通过使用至少一个情景信息确定用户情景。该控制器还包括手势确定单元，被配置成通过使用至少一个传感器测量值确定用户的手势。该控制器还包括功能执行单元，被配置成执行与用户情景和手势相对应的功能。
在开始下面的具体实施例部分之前，阐述本专利文件全文所使用的特定词和短语是有利的：术语“包含”和“包括”及其变形的含义是包括但不限制；术语“或”是包含性的，其含义是和/或；短语“与…相关联”和“与之相关联”及其变形可以指包括、被包括于其中、与之互连、包含、被包含于其中、连接到或与之连接、耦合到或与之耦合、与之通信、与之合作、交织、与之并列、与之邻近、绑定到或与之绑定、具有、具有该特性等等；术语“控制器”是指控制至少一个操作的任何设备、系统或其一部分，如可以以硬件、固件或软件、或其中至少两项的某个组合实现的设备。应当注意到，与任何具体控制器相关联的功能可以是集中式的或分布式的，不管是本地地还是远程地。特定词或短语的定义在本专利文件全文中提供，本领域普通技术人员应当理解，即便不是在大多数情况下，那么也是在许多情况下，这样的定义适用于所定义的词或短语在以前以及在将来的使用。
附图说明
为了更全面的理解本公开及其优点，现在参考以下结合附图的描述，附图中相同的附图标记代表相同的元素。
图1图示了根据本发明实施例的基于便携式终端的手势来执行功能的过程；
图2A和图2B图示了根据本发明实施例的手势操作表的结构；
图3图示了根据本发明实施例的便携式终端的手势识别结果的具体例子；
图4是根据本发明实施例的操作便携式终端的过程的流程图；以及
图5是根据本发明的实施例的便携式终端的框图。
具体实施方式
下面讨论的图1至图5以及本专利文件中用来描述本公开的原理的各个实施例仅仅是示例性的，不应以限制本公开的范围的方式来解释。本领域技术人员将会理解，可以在任何适当配置的便携式终端中实施本公开的原理。
下面将描述在便携式终端中使用有限数量的手势向用户准确提供更多功能的技术。在下面的描述中，便携式终端包括蜂窝电话、个人通信系统（Personal Communication System，PCS）、个人数字助理（PDA）、国际移动通信2000（International Mobile Telecommunication-2000，IMT2000）终端、智能电话等等。
根据本发明实施例的便携式终端在以下前提下识别手势。
根据当前用户情景，单个手势可以匹配到多个功能。也就是说，本发明假设根据用户情景用户具有使用终端的不同倾向。例如，当用户在家时用户最常使用的功能可能不同于当用户在移动中、在学校或在办公室时偏好的应用。
此外，由于在识别手势时存在不准确性和外界干扰，因此并不是总能正确获得数据值。因此，为了使确定错误最小化，应当实现可识别操作之间的差别。
图1图示了根据本发明实施例的基于便携式终端的手势来执行功能的过程。
参照图1，输入用于确定手势的感测结果1110-1到感测结果N110-N以及用于确定用户情景的终端信息1120-1到终端信息N120-N。
手势数据库（DB）130包括用于确定将被识别的手势的标准。也就是说，手势DB130包括关于手势的数据的信息，即，用于使用至少一个传感器测量值表示手势的信息。例如，每个手势可以用特定传感器测量值的组合、符合特定顺序的时序传感器测量值等等来表示。
手势分类140接收感测结果1110-1到感测结果N110-N，并且搜索手势DB130来找到与感测结果1110-1到感测结果N110-N相对应的手势，由此来确定所生成的手势。感测结果1110-1到感测结果N110-N是便携式终端中包括的用于识别手势的至少一个传感器的测量值。例如，至少一个传感器可以包括加速度传感器、地球磁场传感器、压力传感器、全球定位系统（GPS）传感器、角速度传感器等等。这里，可以提供GPS传感器的测量值作为用于确定用户情景的信息。
此外，手势分类140确定手势时段的开始，即，构成手势的传感器测量值的开始。换言之，手势分类140确定手势开始的特定点，并且在该点进入能够识别手势的状态，即，进入手势识别模式。例如，手势时段可以如下确定。根据本发明的实施例，可以使用预定义的用于报告手势的开始的键来确定手势时段。在本实施例中，用户在手势开始之前输入该预定义的键，以便便携式终端能够知道手势的开始。根据本发明的另一个实施例，可以通过识别预定义的用于报告手势的开始的开始手势来确定手势时段。在本实施例中，用户产生预定义的开始手势，以便便携式终端能够知道手势的开始。例如，预定义的开始手势可以定义为左右晃动。
如果便携式终端的应用处理器（AP）处于睡眠状态，则便携式终端不能识别手势。然而，如果使用附加键来确定手势时段，则便携式终端因键输入而从睡眠状态释放，因此不再出现手势识别的问题。可替换地，如果使用预定义的开始手势，则开始手势不被识别。因此，为了即使在睡眠状态下也识别该手势，便携式终端可以附加地具有低功率处理器（例如，微计算机（MicroCOMputer，MiCOM），即使主处理器处于睡眠状态，该低功率处理器也能够获得传感器的测量值。即使主处理器处于睡眠状态，该低功率处理器也能够识别预定义的开始手势。因此，主处理器能够在产生开始手势之后立刻从睡眠状态释放，或者主处理器能够在开始手势之后执行的与功能相对应的手势结束之后，从睡眠状态释放。
当确定手势时段开始时，上下文知晓引擎150收集并分析终端信息1120-1到终端信息N120-N，以便确定当前用户情景。例如，终端信息1120-1到终端信息N120-N可以包括用户位置数据、当前时间、频繁使用的应用、用户的呼叫/通信历史、短消息服务（SMS）/社交网络服务（SNS）使用历史，等等。通过使用输入的终端信息1120-1到终端信息N120-N，上下文知晓引擎150确定用户情景。例如，用户情景可以包括当前用户位置、关于用户是否位于兴趣点（Point Of Interest，POI）的信息、POI类别（例如，办公室、学校和家）、关于用户是正在移动还是静止的信息、在当前时间区段最频繁使用的应用的列表、在当前时间区段最频繁使用的通信方式/相对方，等等。上述终端信息和用户情景仅仅是示例性的，因此，根据本发明的实施例，也可以添加或部分排除其他类型的信息和情景。
手势操作表160定义功能相对于手势和用户情景的匹配关系。换言之，手势操作表160定义对于所确定的手势和用户情景将执行哪个功能，并输出与输入的手势和用户情景相对应的功能。例如，手势操作表160可以具有图2A或图2B的结构。图2A和图2B图示了根据本发明实施例的手势操作表160的结构。参照图2A，手势操作表160包括手势列表211、取决于各个手势的用户情景列表212、以及与手势和用户情景之间的组合相对应的功能列表213。也就是说，在图2A的结构中定义了与手势和用户情景（例如，移动状态、时间区段、以及POI）的组合相对应的功能。如果使用图2A的结构，则手势操作表160组合输入的用户手势和输入的用户情景，并且搜索与它们的组合相对应的功能。参照图2B，手势操作表160包括用户情景列表221、取决于各个用户情景的功能列表222、以及与用户情景和功能之间的组合相对应的手势列表223。也就是说，在图2B的结构中，定义了与各个用户情景（例如，移动状态、时间区段以及POI）相对应的功能，并且确定了与各个功能相对应的手势。如果使用图2B的结构，则手势操作表160搜索与输入的用户情景相对应的候选功能，并且选择候选功能当中的一个输入的手势。在图2A和图2B中，用户情景由诸如移动状态、时间区段和POI组成的三个轴组成。这些轴仅仅是用于示例性目的，因此，可以省略这些轴中的一些或者可以添加其他的轴。
功能执行170执行手势操作表160所确定的功能。例如，功能执行170执行电子书、电话簿、文本查看器、视频/音乐播放器等等。
尽管在图1中未示出，但是当进入手势识别模式时，便携式终端能够使用显示装置显示与当前用户情景下的各个手势相对应的功能。也就是说，当通过使用附加键或预定开始手势进入手势识别模式时，便携式终端能够确定当前用户情景，并且能够将在当前用户情景下可用的各个手势的功能报告给用户。例如，便携式终端可以使用显示装置显示图标，该图标表示每个功能和手势之间的匹配关系。
根据前述基于用户情景的手势处理，能够实现图3的服务。图3图示了根据本发明实施例的便携式终端的手势识别结果的例子。在图3中图示了考虑用户位置作为用户环境的实施例。
参照图3，四个功能与在便携式终端的上部施以按压并旋转便携式终端的手势相关联地执行。即，在发生按压和旋转的手势时，如果用户在办公室中则执行文本查看器功能，如果用户在图书馆内则执行电子书功能，如果用户在公共汽车/地铁上则执行视频/音乐播放器功能，并且如果用户在家中则执行电话簿功能。
图4是图示根据本发明实施例的操作便携式终端的过程的流程图。
参照图4，在步骤401，确定便携式终端是否进入手势识别模式。例如，可以根据键是否被输入或者是否发生预定开始手势来确定便携式终端是否进入手势识别模式。如果便携式终端处于睡眠模式，则通过附加的键输入将便携式终端从睡眠模式中释放。可替换地，便携式终端采用附加的低功率处理器，并且在睡眠状态期间通过低功率处理器来识别预定义的开始手势。当使用低功率处理器时，便携式终端可以在识别到预定义的开始手势后立刻从睡眠状态释放，或者可以在识别出用于执行功能的手势之后（即，在步骤407后）从睡眠状态释放，或者可以在确定功能之后（即，在步骤409之后）从睡眠状态释放。
当进入手势识别模式时，前进到步骤403，便携式终端收集情景信息，并且基于收集的情景信息确定用户情景。例如，情景信息包括用户位置数据（例如，GPS测量值）、当前时间、频繁使用的应用、用户的呼叫/通信历史、SMS/SNS使用历史等等中的至少一个。例如，用户情景包括当前用户位置、关于用户是否位于POI中的信息、POI类别（例如，办公室、学校和家）、关于用户是在移动还是静止的信息、在当前时间区段最频繁使用的应用的列表、在当前时间区段最频繁使用的通信手段/相对方等等中的至少一个。
在步骤405，便携式终端显示与可在步骤403中确定的用户情景下使用的至少一个手势相对应的至少一个功能图标。例如，便携式终端使用显示装置显示代表每个功能和手势之间的匹配关系的图标。然而，在一些实施例中可以省略步骤405。
在步骤407，便携式终端使用至少一个传感器测量值确定用户的手势。也就是说，便携式终端从DB中搜索与至少一个传感器测量值相对应的手势，该DB包括关于手势的数据的信息，即，用于通过使用至少一个传感器测量值来表达手势的信息。例如，在DB中，每个手势可以通过特定传感器测量值的组合、符合特定顺序的时序传感器测量值等等来表达。这里，至少一个传感器测量值包括加速度传感器测量值、地球磁场传感器测量值、压力传感器测量值以及角速度测量值中的至少一个。
在确定手势之后，前进到步骤409，便携式终端确定与在步骤407中确定的手势相对应的功能以及与在步骤403中确定的用户情景相对应的功能。例如，便携式终端通过使用定义了功能相对于手势和用户情景的匹配关系的表来确定将要执行的功能。这里，尽管根据具体实施例该表可以具有不同的结构，但是该表定义与手势和用户情景相对应的功能。例如，该表可以具有图2A或者图2B的结构。如果使用图2A的结构，则便携式终端组合所确定的手势和所确定的用户情景，并且搜索与该组合相对应的功能。如果使用图2B的结构，则便携式终端搜索与所确定的用户情景相对应的候选功能，并且在所确定的候选功能当中选择与所确定的手势相对应的一个功能。
在确定功能之后，前进到步骤411，便携式终端执行所确定的功能。例如，该功能可以是便携式终端提供的多个功能之一，如电子书、电话簿、文本查看器、视频/音乐播放器等等。
图5是根据本发明实施例的便携式终端的框图。
参照图5，便携式终端包括感测单元510、存储单元520和控制器530。
感测单元510包括至少一个传感器，并且向控制器530提供用于手势识别的传感器测量值。例如，至少一个传感器可以包括加速度传感器、地球磁场传感器、压力传感器、角速度传感器等等。
存储单元520存储用于操作便携式终端的基本程序、应用程序、诸如用户内容的数据。此外，存储单元520应控制器530的请求提供存储的数据。具体来说，存储单元520包括关于手势的数据的信息，即，用于使用至少一个传感器测量值来表示手势的信息。例如，每个手势可以用特定传感器测量值的组合、符合特定顺序的时序传感器测量值等等来表示。匹配表524定义功能相对于手势和用户情景的匹配关系。这里，尽管根据具体实施例匹配表524可以具有不同的结构，但该表定义与手势和用户情景相对应的功能。例如，匹配表524可以具有图2A或图2B的结构。
控制器530提供对于便携式终端的总体控制。具体来说，根据本发明的实施例，控制器530识别用户的手势，并且提供控制以便考虑用户情景确定和执行与手势相对应的功能。更具体来说，控制器530包括用于识别用户情景的情景识别单元532、用于确定手势的手势确定单元534、以及用于确定和执行与用户手势和用户情景相对应的功能的功能执行单元536。
用于识别和处理手势的控制器530如下操作。首先，控制器530确定是否进入手势识别模式。例如，可以根据键（未示出）是否被输入或者是否发生预定义的开始手势来确定是否进入手势识别模式。如果便携式终端处于睡眠状态，则通过附加的键输入使便携式终端从睡眠状态释放。可替换地，便携式终端采用附加的低功率处理器，并且在睡眠状态期间通过低功率处理器来识别预定义的开始手势。当使用低功率处理器时，便携式终端可以在识别到预定义的开始手势后立即从睡眠状态释放，或者可以在识别出用于执行功能的手势之后从睡眠状态释放，或者可以在确定功能之后从睡眠状态释放。
当进入手势识别模式后，情景识别单元532收集情景信息，并且基于收集的情景信息确定用户情景。此外，手势确定单元534使用从感测单元510提供的至少一个传感器测量值和存储在存储单元520中的手势DB522来确定用户的手势。也就是说，手势确定单元534搜索DB522以找到与至少一个传感器测量值相对应的手势。之后，功能执行单元536确定与手势确定单元534所确定的手势和情景识别单元532所确定的用户情景相对应的功能。例如，功能执行单元536使用匹配表524确定将要执行的功能。此外，功能执行单元536执行所确定的功能。
尽管未在图5中示出，但便携式终端还可以包括显示装置。例如，显示装置可以是液晶显示器（LCD）、有机发光二极管（OLED）等等。当使用显示装置时，如果用户情景被情景识别单元532确定，则控制器530可以使用显示装置显示在该用户情境下可用的、与至少一个手势相对应的至少一个功能图标。
尽管已经参照示例性实施例具体示出和描述了本发明，但本领域技术人员将会理解，可以对其进行形式上和细节上的各种改变而不会脱离权利要求所限定的发明的精神和范围。

Claims (15)

1.一种操作便携式终端的方法，该方法包括：
通过使用至少一个情景信息确定用户情景；
通过使用至少一个传感器测量值确定用户的手势；以及
执行与用户情景和手势相对应的功能。
2.一种便携式终端装置，其具有用于控制便携式终端的功能的控制器（530），该控制器（530）包括：
情景识别单元（532），被配置成通过使用至少一个情景信息确定用户情景；
手势确定单元（534），被配置成通过使用至少一个传感器测量值确定用户的手势；以及
功能执行单元（536），被配置成执行与用户情景和手势相对应的功能。
3.如权利要求1所述的方法或如权利要求2所述的装置，其中，所述至少一个情景信息包括用户位置数据、当前时间、频繁使用的应用、用户的呼叫/通信历史、短消息服务（SMS）使用历史和社交网络服务（SNS）使用历史中的至少一个。
4.如权利要求1所述的方法或如权利要求2所述的装置，其中，所述用户情景包括当前用户位置、关于用户是否位于兴趣点（POI）的信息、POI类别、关于用户是正在移动还是静止的信息、在当前时间区段最频繁使用的应用的列表、以及在当前时间区段最频繁使用的通信手段中的至少一个。
5.如权利要求1所述的方法或如权利要求2所述的装置，其中，所述至少一个传感器测量值包括加速度传感器测量值、地球磁场传感器测量值、压力传感器测量值和角速度测量值中的至少一个。
6.如权利要求1所述的方法，还包括：
在确定用户情景之前，确定是否进入手势识别模式。
7.如权利要求2所述的装置，其中，所述控制器（530）在确定用户情景之前确定是否进入手势识别模式。
8.如权利要求6所述的方法或如权利要求7所述的装置，其中，根据是否输入了预定义用于报告手势时段的开始的键来确定是否进入手势识别模式。
9.如权利要求6所述的方法或如权利要求7所述的装置，其中，根据是否发生了预定义用于报告手势时段的开始的开始手势以报告手势时段的开始，来确定是否进入手势识别模式。
10.如权利要求8所述的方法或装置，其中，如果便携式终端处于睡眠状态，则通过使用独立于主处理器的低功率处理器来识别开始手势。
11.如权利要求1所述的方法，其中，执行与用户情景和手势相对应的功能包括：搜索表（160）以找到与用户情景和手势相对应的功能。
12.如权利要求2所述的装置，其中，功能执行单元（536）搜索表（160）以找到与用户情景和手势相对应的功能。
13.如权利要求11所述的方法或如权利要求12所述的装置，其中，所述表（160）包括手势列表（211）、取决于各个手势的用户情景列表（212）、以及与手势和用户情景之间的组合相对应的功能列表（213）
14.如权利要求11所述的方法或如权利要求12所述的装置，其中，所述表（160）包括用户情景列表（221）、取决于各个用户情景的功能列表（222）、以及与用户情景和功能之间的组合相对应的手势列表（223）。
15.如权利要求1所述的方法或如权利要求2所述的装置，在确定用户情景之后，显示在所确定的用户情境下可用的、与至少一个手势相对应的至少一个功能图标。
CN201180048104.4A 2010-10-06 2011-10-06 便携式终端中用于自适应手势识别的装置和方法 Expired - Fee Related CN103155428B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020100097087A KR20120035529A (ko) 2010-10-06 2010-10-06 휴대용 단말기에서 적응적 제스처 인식 장치 및 방법
KR10-2010-0097087 2010-10-06
PCT/KR2011/007405 WO2012047036A2 (en) 2010-10-06 2011-10-06 Apparatus and method for adaptive gesture recognition in portable terminal

Publications (2)

Publication Number Publication Date
CN103155428A true CN103155428A (zh) 2013-06-12
CN103155428B CN103155428B (zh) 2019-05-03

Family

ID=45926113

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180048104.4A Expired - Fee Related CN103155428B (zh) 2010-10-06 2011-10-06 便携式终端中用于自适应手势识别的装置和方法

Country Status (5)

Country Link
US (2) US20120089952A1 (zh)
EP (2) EP2625791B1 (zh)
KR (1) KR20120035529A (zh)
CN (1) CN103155428B (zh)
WO (1) WO2012047036A2 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104506623A (zh) * 2014-12-24 2015-04-08 天脉聚源（北京）科技有限公司 一种用于显示社交网络网友信息的方法及装置
CN105395166A (zh) * 2014-09-05 2016-03-16 深圳迈瑞生物医疗电子股份有限公司 一种医疗监测设备及其控制访问方法
CN105518608A (zh) * 2013-09-13 2016-04-20 高通股份有限公司 上下文关联的手势分类
WO2016123847A1 (zh) * 2015-02-03 2016-08-11 中兴通讯股份有限公司 应用控制方法及装置
CN106325689A (zh) * 2016-08-18 2017-01-11 无锡天脉聚源传媒科技有限公司 一种电子书的阅读控制方法及装置
CN107045388A (zh) * 2016-02-08 2017-08-15 大众汽车有限公司 采集用于装置的输入的方法和系统
CN107438846A (zh) * 2015-03-30 2017-12-05 谷歌公司 基于单一的有意用户手势来验证用户和启动应用
CN107852566A (zh) * 2014-12-30 2018-03-27 泰科消防及安全有限公司 基于背景的手势识别和控制
CN109343708A (zh) * 2013-06-13 2019-02-15 原相科技股份有限公司 具有手势感测器的装置
CN111831120A (zh) * 2020-07-14 2020-10-27 上海岁奇智能科技有限公司 一种视频应用的手势交互方法、装置及系统
US11740703B2 (en) 2013-05-31 2023-08-29 Pixart Imaging Inc. Apparatus having gesture sensor

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2514123A2 (en) * 2009-12-18 2012-10-24 Blipsnips, Inc. Method and system for associating an object to a moment in time in a digital video
US20110158605A1 (en) * 2009-12-18 2011-06-30 Bliss John Stuart Method and system for associating an object to a moment in time in a digital video
WO2012142323A1 (en) 2011-04-12 2012-10-18 Captimo, Inc. Method and system for gesture based searching
KR101978967B1 (ko) 2012-08-01 2019-05-17 삼성전자주식회사 제스처의 방향에 기초하여 상기 제스처를 인식하는 제스처 인식 장치와 제스처 인식 방법
KR101892233B1 (ko) * 2012-08-03 2018-08-27 삼성전자주식회사 휴대용 단말기에서 상황인식을 이용한 알람 서비스 방법 및 장치
KR102116874B1 (ko) * 2012-10-30 2020-05-29 에스케이텔레콤 주식회사 상황인지 상태 표시 가능한 사용자 단말 및 사용자 단말의 상황인지 상태 표시 방법
EP2997444A4 (en) * 2013-05-16 2016-12-14 Intel Corp PROCESS FOR NATURAL USER INTERFACE ENTRY ON THE BASIS OF A CONTEXT
US9110561B2 (en) 2013-08-12 2015-08-18 Apple Inc. Context sensitive actions
JP6371402B2 (ja) * 2014-02-12 2018-08-08 ノキア テクノロジーズ オサケユイチア 装置のファームウェアを更新するための方法および装置
KR102304052B1 (ko) * 2014-09-05 2021-09-23 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
CN104657072B (zh) * 2015-01-15 2018-06-12 小米科技有限责任公司 一种触发执行操作指令的方法和装置
US9939923B2 (en) 2015-06-19 2018-04-10 Microsoft Technology Licensing, Llc Selecting events based on user input and current context
CN107645599A (zh) * 2017-09-21 2018-01-30 宇龙计算机通信科技(深圳)有限公司 一种控制方法、终端及计算机可读存储介质
US11131787B2 (en) 2018-05-28 2021-09-28 Samsung Electronics Co., Ltd. Electromagnetic sensor and mobile device including the same
JP6644928B1 (ja) 2019-03-29 2020-02-12 株式会社ドワンゴ 配信サーバ、視聴者端末、配信者端末、配信方法、情報処理方法及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101321352A (zh) * 2007-03-19 2008-12-10 双子星移动科技公司 基于运动的通信的方法和设备
CN101743739A (zh) * 2007-07-13 2010-06-16 索尼爱立信移动通讯有限公司 利用向移动终端的投掷姿势发送文件的系统、设备和方法
CN101848273A (zh) * 2009-03-26 2010-09-29 深圳富泰宏精密工业有限公司 电子装置及其情景模式切换方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010017203A (ko) 1999-08-09 2001-03-05 윤종용 휴대폰의 동작인식장치 및 방법
US20020129288A1 (en) * 2001-03-08 2002-09-12 Loh Weng Wah Computing device having a low power secondary processor coupled to a keyboard controller
JP2004287815A (ja) 2003-03-20 2004-10-14 Hitachi Information Systems Ltd 画面表示制御システム
US7457879B2 (en) * 2003-04-01 2008-11-25 Microsoft Corporation Notification platform architecture
JP4570917B2 (ja) 2004-07-22 2010-10-27 京セラ株式会社 端末装置およびメニュー表示方法
US8564544B2 (en) * 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
US8607167B2 (en) * 2007-01-07 2013-12-10 Apple Inc. Portable multifunction device, method, and graphical user interface for providing maps and directions
JP4938530B2 (ja) * 2007-04-06 2012-05-23 株式会社エヌ・ティ・ティ・ドコモ 移動通信端末及びプログラム
WO2009016607A2 (en) 2007-08-01 2009-02-05 Nokia Corporation Apparatus, methods, and computer program products providing context-dependent gesture recognition
KR100912511B1 (ko) 2007-12-03 2009-08-17 한국전자통신연구원 사용자 적응형 제스처 인식 방법 및 그 시스템
WO2009076974A1 (en) * 2007-12-14 2009-06-25 Nokia Corporation Mode control for an electronic device with touch ui
WO2009120984A1 (en) * 2008-03-28 2009-10-01 Kopin Corporation Handheld wireless display device having high-resolution display suitable for use as a mobile internet device
US8341557B2 (en) * 2008-09-05 2012-12-25 Apple Inc. Portable touch screen device, method, and graphical user interface for providing workout support
US8527908B2 (en) * 2008-09-26 2013-09-03 Apple Inc. Computer user interface system and methods
KR101565768B1 (ko) 2008-12-23 2015-11-06 삼성전자주식회사 휴대단말의 잠금 모드 해제 방법 및 장치
KR101545702B1 (ko) * 2009-03-19 2015-08-19 삼성전자 주식회사 감지 데이터에 기반하여 동작하는 휴대 단말 및 그 동작 방법
US20100241958A1 (en) * 2009-03-23 2010-09-23 Ram David Adva Fish Method and system to manage and prioritize windows based on touch strip inputs
US9086875B2 (en) * 2009-06-05 2015-07-21 Qualcomm Incorporated Controlling power consumption of a mobile device based on gesture recognition
US20110032145A1 (en) * 2009-08-06 2011-02-10 Motorola, Inc. Method and System for Performing Gesture-Based Directed Search
US8312392B2 (en) * 2009-10-02 2012-11-13 Qualcomm Incorporated User interface gestures and methods for providing file sharing functionality
US8843857B2 (en) * 2009-11-19 2014-09-23 Microsoft Corporation Distance scalable no touch computing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101321352A (zh) * 2007-03-19 2008-12-10 双子星移动科技公司 基于运动的通信的方法和设备
CN101743739A (zh) * 2007-07-13 2010-06-16 索尼爱立信移动通讯有限公司 利用向移动终端的投掷姿势发送文件的系统、设备和方法
CN101848273A (zh) * 2009-03-26 2010-09-29 深圳富泰宏精密工业有限公司 电子装置及其情景模式切换方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11740703B2 (en) 2013-05-31 2023-08-29 Pixart Imaging Inc. Apparatus having gesture sensor
CN109343708A (zh) * 2013-06-13 2019-02-15 原相科技股份有限公司 具有手势感测器的装置
CN105518608A (zh) * 2013-09-13 2016-04-20 高通股份有限公司 上下文关联的手势分类
CN105395166A (zh) * 2014-09-05 2016-03-16 深圳迈瑞生物医疗电子股份有限公司 一种医疗监测设备及其控制访问方法
CN105395166B (zh) * 2014-09-05 2021-12-07 深圳迈瑞生物医疗电子股份有限公司 一种医疗监测设备及其控制访问方法
CN104506623A (zh) * 2014-12-24 2015-04-08 天脉聚源（北京）科技有限公司 一种用于显示社交网络网友信息的方法及装置
CN107852566B (zh) * 2014-12-30 2020-12-18 泰科消防及安全有限公司 基于背景的手势识别和控制
CN107852566A (zh) * 2014-12-30 2018-03-27 泰科消防及安全有限公司 基于背景的手势识别和控制
CN105988693A (zh) * 2015-02-03 2016-10-05 中兴通讯股份有限公司 应用控制方法及装置
WO2016123847A1 (zh) * 2015-02-03 2016-08-11 中兴通讯股份有限公司 应用控制方法及装置
CN107438846A (zh) * 2015-03-30 2017-12-05 谷歌公司 基于单一的有意用户手势来验证用户和启动应用
CN107045388A (zh) * 2016-02-08 2017-08-15 大众汽车有限公司 采集用于装置的输入的方法和系统
CN106325689B (zh) * 2016-08-18 2019-09-13 无锡天脉聚源传媒科技有限公司 一种电子书的阅读控制方法及装置
CN106325689A (zh) * 2016-08-18 2017-01-11 无锡天脉聚源传媒科技有限公司 一种电子书的阅读控制方法及装置
CN111831120A (zh) * 2020-07-14 2020-10-27 上海岁奇智能科技有限公司 一种视频应用的手势交互方法、装置及系统
CN111831120B (zh) * 2020-07-14 2024-02-09 上海岁奇智能科技有限公司 一种视频应用的手势交互方法、装置及系统

Also Published As

Publication number Publication date
KR20120035529A (ko) 2012-04-16
US20120089952A1 (en) 2012-04-12
WO2012047036A2 (en) 2012-04-12
US20170097686A1 (en) 2017-04-06
CN103155428B (zh) 2019-05-03
EP2625791A4 (en) 2016-08-17
EP2625791A2 (en) 2013-08-14
EP2625791B1 (en) 2020-03-11
EP3700096A1 (en) 2020-08-26
US10936075B2 (en) 2021-03-02
WO2012047036A3 (en) 2012-06-21

Similar Documents

Publication Publication Date Title
CN103155428A (zh) 便携式终端中用于自适应手势识别的装置和方法
CN104217717B (zh) 构建语言模型的方法及装置
US8380225B2 (en) Content transfer involving a gesture
CN107704070B (zh) 应用清理方法、装置、存储介质及电子设备
CN104123937A (zh) 提醒设置方法、装置和系统
CN111078556B (zh) 应用测试方法及装置
CN107870810B (zh) 应用清理方法、装置、存储介质及电子设备
WO2021147421A1 (zh) 用于人机交互的自动问答方法、装置和智能设备
US11645456B2 (en) Siamese neural networks for flagging training data in text-based machine learning
CN111027854A (zh) 一种基于企业大数据的综合画像指数生成方法及相关设备
US11308965B2 (en) Voice information processing method and apparatus, and terminal
CN108764283A (zh) 一种分类模型的损失值获取方法及装置
CN105404529A (zh) 刷机用操作系统弹窗的弹出方法、装置及系统
CN109085983A (zh) 操作控制方法、装置、存储介质及电子设备
CN106095128A (zh) 一种移动终端的文字输入方法及移动终端
CN115203194A (zh) 一种元数据信息的生成方法、相关装置、设备及存储介质
CN107679222A (zh) 图片处理方法、移动终端及计算机可读存储介质
US9947235B2 (en) Smart learning system using device social relation and method thereof
CN110263347A (zh) 一种同义词的构建方法及相关装置
Luimula et al. A field comparison of techniques for location selection on a mobile device
KR101615135B1 (ko) 센서를 이용한 어플리케이션의 동작 인식 방법 및 이를 위한 장치
CN113806532B (zh) 比喻句式判断模型的训练方法、装置、介质及设备
CN115841181B (zh) 剩余油分布预测方法、装置、设备及存储介质
CN118689998B (zh) 基于大语言模型的应答处理方法、装置、设备及存储介质
CN111242193A (zh) 基于迁移学习的电子商务欺诈检测方法、装置及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190503

Termination date: 20211006

CF01 Termination of patent right due to non-payment of annual fee