CN104750238A - 一种基于多终端协同的手势识别方法、设备及系统 - Google Patents

一种基于多终端协同的手势识别方法、设备及系统 Download PDF

Info

Publication number
CN104750238A
CN104750238A CN201310746679.4A CN201310746679A CN104750238A CN 104750238 A CN104750238 A CN 104750238A CN 201310746679 A CN201310746679 A CN 201310746679A CN 104750238 A CN104750238 A CN 104750238A
Authority
CN
China
Prior art keywords
terminal
gesture
triggered
sensor
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310746679.4A
Other languages
English (en)
Other versions
CN104750238B (zh
Inventor
宋星光
廉士国
胡伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201310746679.4A priority Critical patent/CN104750238B/zh
Priority to US14/567,253 priority patent/US9817447B2/en
Priority to EP14197587.0A priority patent/EP2902884B1/en
Priority to JP2014264604A priority patent/JP2015130171A/ja
Priority to KR1020140193129A priority patent/KR20150079460A/ko
Publication of CN104750238A publication Critical patent/CN104750238A/zh
Application granted granted Critical
Publication of CN104750238B publication Critical patent/CN104750238B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1698—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a sending/receiving arrangement to establish a cordless communication link, e.g. radio or infrared link, integrated cellular phone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1438—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using more than one graphics controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/08—Cursor circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2356/00—Detection of the display position w.r.t. other display screens

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例公开了一种基于多终端协同的手势识别方法、设备及系统，用于在多终端协同场景中，识别用户的隔空手势操作，该方法包括：第一终端接收到用户触发的协同请求激活信号后，接收各个第二终端发送的第二终端的参数信息；第一终端根据第二终端的参数信息，记录参与获取手势信息的终端的排列方式，参与获取手势信息的终端包括全部终端或第二终端，全部终端包括第一终端和第二终端；第一终端接收至少一个第二终端发送的传感器触发信息；第一终端根据记录的排列方式以及获取的传感器触发信息确定触发传感器的手势类型。

Description

一种基于多终端协同的手势识别方法、设备及系统
技术领域
本发明涉及智能终端技术领域，具体涉及一种基于多终端协同的手势识别方法、设备及系统。
背景技术
目前，智能终端基本普及之后出现了一种新的趋势，即利用多台智能终端配对进行协同工作，例如利用多台智能终端协同显示图片，利用多台智能终端营造环绕立体声效果等等。在多终端协同工作的应用场景中，有利用跨终端进行手势操控的需求。
在现有技术中，可以依靠触摸屏实现两终端拼接时的跨屏幕手势操控及识别，但是，在两个以上终端协同工作的场景下，依靠触摸屏进行手势操作具有很大的局限性，操作效率较低，从而现有技术中的依靠触摸屏进行手势识别的方法无法有效应用于两个以上终端协同的工作场景中，因此基于多终端协同目前缺乏一种有效的实现手势识别的方法。
发明内容
有鉴于此，本发明的主要目的是提供一种基于多终端协同的手势识别方法、设备及系统，以解决现有技术中难以实现多终端协同的手势识别的问题。
为解决上述问题，本发明提供的技术方案如下：
第一方面，本发明提供了一种基于多终端协同的手势识别方法，所述方法包括：
第一终端接收到用户触发的协同请求激活信号后，接收各个第二终端发送的所述第二终端的参数信息；
所述第一终端根据所述第二终端的参数信息，记录参与获取手势信息的终端的排列方式，所述参与获取手势信息的终端包括全部终端或所述第二终端，所述全部终端包括所述第一终端和所述第二终端；
所述第一终端接收至少一个第二终端发送的传感器触发信息；
所述第一终端根据所述记录的排列方式以及获取的传感器触发信息确定触发传感器的手势类型。
在第一方面的第一种实现方式中，所述参数信息包括设备配置参数，所述第一终端根据接收到的所述第二终端的参数信息，记录参与获取手势信息的终端的排列方式，包括：
所述第一终端根据自身的设备配置参数、接收到的第二终端的设备配置参数以及所述全部终端的数量，将至少一种包含所述全部终端的排列方式显示在界面上供用户选择，并记录用户选择的排列方式。
在第一方面的第二种实现方式中，所述参数信息包括设备配置参数，所述第一终端根据接收到的所述第二终端的参数信息，记录参与获取手势信息的终端的排列方式，包括：
所述第一终端根据接收到的所述第二终端的设备配置参数以及所述第二终端的数量，将至少一种包含所述第二终端的排列方式显示在界面上供用户选择，并记录用户选择的排列方式。
结合第一方面或者第一方面的第一种实现方式或者第一方面的第二种实现方式，在第一方面的第三种实现方式中，所述第一终端根据所述记录的排列方式以及获取的传感器触发信息判断触发传感器的手势类型，包括：
所述第一终端从每个被触发终端检测到的至少一个传感器触发信息中，获取每个被触发终端的第一传感器触发信息，所述第一传感器触发信息是由每个终端优先级最高的传感器所提供的；
所述第一终端根据所述记录的排列方式以及每个被触发终端的第一传感器触发信息中所包含的触发时间，确定手势的划动方向并计算沿手势的划动方向相邻被触发终端的触发时间差值；
所述第一终端根据所述手势的划动方向以及所述触发时间差值判断触发传感器的手势类型。
结合第一方面的第三种实现方式，在第一方面的第四种实现方式中，所述第一终端根据所述记录的排列方式以及每个被触发终端的第一传感器触发信息中所包含的触发时间，确定手势的划动方向并计算沿手势的划动方向相邻被触发终端的触发时间差值之前还包括：
确定所述第一终端的时间和所述第二终端的时间同步。
结合第一方面的第三种实现方式或者第一方面的第四种实现方式，在第一方面的第五种实现方式中，所述第一终端根据所述手势的划动方向以及触发时间差值判断触发传感器的手势类型，包括：
当所述手势为单向划动，且所述第一终端判断所述触发时间差值处于预设时间范围内，则触发传感器的手势类型为划动手势；
当所述手势包括第一手势和第二手势，所述第一手势与所述第二手势反向划动，且所述第一手势和所述第二手势均为划动手势，则触发传感器的手势类型为放大手势；所述第一手势与所述第二手势相向划动，且所述第一手势和所述第二手势均为划动手势，则触发传感器的手势类型为缩小手势；
当所述第一手势的划动方向与所述第二手势的划动方向不同，所述第一手势的起始终端与所述第二手势的起始终端不同，所述第一手势的终止终端与所述第二手势的终止终端不同，且所述第一终端判断所述第一手势与所述第二手势均为划动手势，所述第一手势的终止终端与所述第二手势的终止终端的触发时间的差值小于预设阈值，则触发传感器的手势类型为旋转手势。
第二方面，本发明提供一种基于多终端协同的手势识别方法，所述方法包括：
第二终端接收到协同请求激活信号后，向第一终端发送所述第二终端的参数信息，以使所述第一终端根据所述第二终端的参数信息记录参与获取手势信息的终端的排列方式，所述参与获取手势信息的终端包括全部终端或所述第二终端，所述全部终端包括所述第一终端和所述第二终端；
在检测到传感器被触发时，所述第二终端向所述第一终端发送检测到的传感器触发信息，以使所述第一终端根据所述记录的排列方式以及获取的传感器触发信息判断触发传感器的手势类型。
在第二方面的第一种实现方式中，所述参数信息包括设备配置参数，所述第二终端向所述第一终端发送参数信息，包括：
所述第二终端向所述第一终端发送设备配置参数，以使所述第一终端根据自身的设备配置参数、接收到的所述第二终端的设备配置参数以及所述全部终端的数量，将至少一种包含所述全部终端的排列方式显示在界面上供用户选择，并记录用户选择的排列方式。
在第二方面的第二种实现方式中，所述参数信息包括设备配置参数，所述第二终端向所述第一终端发送参数信息，包括：
所述第二终端向所述第一终端发送设备配置参数，以使所述第一终端根据接收到的所述第二终端的设备配置参数以及所述第二终端的数量，将至少一种包含所述第二终端的排列方式显示在界面上供用户选择，并记录用户选择的排列方式。
第三方面，本发明提供了一种终端，所述终端包括：
接收器，用于接收用户触发的协同请求激活信号；
所述接收器，还用于接收各个终端发送的所述各个终端的参数信息；
记录单元，用于根据所述接收器接收的所述参数信息，记录参与获取手势信息的终端的排列方式，所述参与获取手势信息的终端包括全部终端或所述各个终端，所述全部终端包括终端自身和所述各个终端；
所述接收器，还用于接收至少一个终端发送的传感器触发信息；
判断单元，用于根据所述记录单元所记录的排列方式以及所述接收器所接收的传感器触发信息，确定触发传感器的手势类型。
在第三方面的第一种实现方式中，所述参数信息包括设备配置参数，所述记录单元包括：
第一计算子单元，用于根据自身的设备配置参数、所述接收器接收到的各个终端的设备配置参数以及所述全部终端的数量，计算并显示所述全部终端的至少一种排列方式；
第一记录子单元，用于记录用户根据所述第一计算子单元显示所选择的排列方式。
在第三方面的第二种实现方式中，所述参数信息包括设备配置参数，所述记录单元包括：
第二计算子单元，用于根据所述接收器接收到的各个终端的设备配置参数以及发送所述设备配置参数的终端的数量，计算并显示所述各个终端的至少一种排列方式；
第二记录子单元，用于记录用户根据所述第二计算子单元显示所选择的排列方式。
结合第三方面或者第三方面的第一种实现方式或者第三方面的第二种实现方式，在第三方面的第三种实现方式中，所述判断单元包括：
信息确定子单元，用于从每个被触发终端检测到的至少一个传感器触发信息中，获取每个被触发终端的第一传感器触发信息，所述第一传感器触发信息是由每个终端优先级最高的传感器所提供的；
第三计算子单元，用于根据所述记录单元记录的排列方式以及所述信息确定子单元确定的每个被触发终端的第一传感器触发信息中所包含的触发时间，确定手势的划动方向并计算沿手势的划动方向相邻被触发终端的触发时间差值；
手势判断子单元，用于根据所述第三计算子单元确定的所述手势的划动方向以及所述触发时间差值判断触发传感器的手势类型，所述手势类型包括划动手势、缩放手势以及旋转手势。
结合第三方面的第三种实现方式，在第三方面的第四种实现方式中，还包括时间确定单元：
所述时间确定单元，具体用于确定所述终端自身和所述各个终端的时间同步；
所述第三计算子单元，用于在所述时间确定单元确定时间同步时，根据所述记录单元记录的排列方式以及所述信息确定子单元确定的每个被触发终端的第一传感器触发信息中所包含的触发时间，确定手势的划动方向并计算沿手势的划动方向相邻被触发终端的触发时间差值。
结合第三方面的第三种实现方式或者第三方面的第四种实现方式，在第三方面的第五种实现方式中，所述手势判断子单元具体用于：
当所述手势为单向划动，且所述第一终端判断所述触发时间差值处于预设时间范围内，则触发传感器的手势类型为划动手势；
当所述手势包括第一手势和第二手势，所述第一手势与所述第二手势反向划动，且所述第一手势和所述第二手势均为划动手势，则触发传感器的手势类型为放大手势；所述第一手势与所述第二手势相向划动，且所述第一手势和所述第二手势均为划动手势，则触发传感器的手势类型为缩小手势；
当所述第一手势的划动方向与所述第二手势的划动方向不同，所述第一手势的起始终端与所述第二手势的起始终端不同，所述第一手势的终止终端与所述第二手势的终止终端不同，且所述第一终端判断所述第一手势与所述第二手势均为划动手势，所述第一手势的终止终端与所述第二手势的终止终端的触发时间的差值小于预设阈值，则触发传感器的手势类型为旋转手势。
第四方面，本发明提供了一种终端，所述终端包括：
接收器，用于接收协同请求激活信号；
发射器，用于在所述接收器接收到协同请求激活信号时，向接收终端发送参数信息，以使所述接收终端根据接收到的参数信息记录参与获取手势信息的终端的排列方式，所述参与获取手势信息的终端包括全部终端或发送参数信息的终端，所述全部终端包括所述发送参数信息的终端和所述接收终端；所述发射器，还用于在检测到传感器被触发时，向所述接收终端发送检测到的传感器触发信息，以使所述接收终端根据所述记录的排列方式以及获取的传感器触发信息确定触发传感器的手势类型。
在第四方面的第一种实现方式中，所述发射器具体用于：
向所述接收终端发送设备配置参数，以使所述接收终端根据自身的设备配置参数、接收到的各个终端的设备配置参数以及所述全部终端的数量，将至少一种包含所述全部终端的排列方式显示在界面上供用户选择，并记录用户选择的排列方式。
在第四方面的第二种实现方式中，所述发射器具体用于：
向所述接收终端发送设备配置参数，以使所述接收终端根据接收到的各个终端的设备配置参数以及发送设备配置参数的终端的数量，将至少一种包含所述发送设备配置参数的终端的排列方式显示在界面上供用户选择，并记录用户选择的排列方式。
第五方面，本发明提供一种基于多终端协同的手势识别系统，所述系统包括：
第一终端和至少一个第二终端；
所述第一终端是本发明第三方面提供的一种终端；
所述第二终端是本发明第四方面提供的一种终端。
由此可见，本发明具有如下有益效果：
本发明实施例可以对用户的隔空手势进行识别，隔空手势操作节省了用户的操作时间、提高了操作效率，可以有效应用于两个以上终端协同的工作场景中，具体的，本发明实施例通过第一终端记录参与获取手势信息的终端的排列方式后，在用户进行隔空手势触发各个终端的传感器时，第一终端可以根据各个被触发终端检测到的传感器触发信息判断出触发传感器的手势类型，提供了一种简单有效的方式对多终端协同中的手势类型进行识别的方法，且识别效率较高。
附图说明
图1为本发明实施例中多终端协同的手势识别方法实施例一的流程图；
图2为本发明实施例中终端排列方式的示意图；
图3为本发明实施例中触发方式的示意图；
图4为本发明实施例中多终端协同的手势识别方法实施例二的流程图；
图5为本发明实施例中划定手势示意图；
图6为本发明实施例中划定手势识别过程示意图；
图7为本发明实施例中放大手势示意图；
图8为本发明实施例中放大手势识别过程示意图；
图9为本发明实施例中缩小手势示意图；
图10为本发明实施例中缩小手势识别过程示意图；
图11为本发明实施例中旋转手势示意图；
图12为本发明实施例中旋转手势识别过程示意图；
图13为本发明实施例中多终端协同的手势识别方法实施例三的流程图；
图14为本发明实施例中多终端协同的手势识别系统实施例的示意图；
图15为本发明实施例中第一终端实施例一的示意图；
图16为本发明实施例中第一终端实施例二的示意图；
图17为本发明实施例中第一终端实施例三的示意图；
图18为本发明实施例中第二终端实施例一的示意图；
图19为本发明实施例中第二终端实施例二的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本发明实施例提供的多终端协同的手势识别方法、设备及系统，可以应用在多终端协同场景下，多终端协同即多台终端设备可以配对进行各种操作，现有技术中缺乏针对多终端协同的手势识别方法，为此本发明实施例提供了如下的多终端协同的手势识别、设备及系统。
参见图1所示，本发明实施例中多终端协同的手势识别方法的实施例一可以包括以下步骤，本实施例以第一终端为执行主体进行描述：
步骤101：第一终端接收到用户触发的协同请求激活信号后，接收各个第二终端发送的第二终端的参数信息。
第一终端接收到用户触发的协同请求激活信号后，首先通过无线连接方式与各个第二终端建立连接。各个需要参与协同的终端需要激活协同功能，例如可以通过用户打开专用应用app（app即application的简写）的方式触发协同请求激活信号，第一终端接收到用户触发的协同请求激活信号后，通过无线连接方式与各个第二终端建立连接；又例如第一终端接收用户触发的协同请求激活信号后，向距离第一终端小于预设距离范围内的其他终端发送协同请求激活信号，以使接收到协同请求激活信号的第二终端通过无线连接方式与各个第二终端建立连接。
无线连接方式可以采用多种方式，包括但不限于Wifi，Miracast，3G（3rd-generation，第三代移动通信技术），蓝牙等等。其中，Wifi是一种无线相容性认证，是一种能够将个人电脑、手持设备等终端以无线方式互相连接的技术，Miracast是WiFi联盟所制定的认证项目以Wifi直连（Wifi Direct）为基础的无线标准。
本实施例中，可以将全部终端中满足预设条件的一个终端确定为第一终端，其他终端确定为第二终端，也即第一终端是全部终端中满足预设条件的一个终端。第一终端可以理解为主终端，第二终端可以理解为从终端。例如，将先打开app的终端确定为第一终端或者将处理器主频最高的终端确定为第一终端。第一终端即主终端作为交互的主设备可以接收用户的操作信息、接收各个第二终端发送的信息并实现多终端协同的手势识别，第二终端即从终端则可以将设备配置参数以及检测到的传感器触发信息等信息发送给第一终端，以使第一终端实现多终端协同的手势识别。
步骤102：第一终端根据第二终端的参数信息，记录参与获取手势信息的终端的排列方式，参与获取手势信息的终端包括全部终端或第二终端，全部终端包括第一终端和第二终端。
参与获取手势信息的终端可以为多个第二终端，也可以是第一终端和多个第二终端。
参与获取手势信息的终端的排列方式包括排列形状、排列顺序以及排列相对位置，参见图2所示，以三终端为例，终端的排列形状可以为一行、呈L型或倒L型等形状,排列顺序指各个终端之间的上下左右等排列顺序，排列顺序可以为终端A、终端B、终端C依次排列，也可以为终端B、终端A、终端C依次排列等等各种排列顺序，排列相对位置指各个终端之间的距离等具体的位置关系。
在本发明的一些实施例中，参数信息包括设备配置参数，第一终端根据接收到的第二终端的参数信息，记录参与获取手势信息的终端的排列方式的具体实现方式包括：
第一终端根据自身的设备配置参数、接收到的第二终端的设备配置参数以及全部终端的数量，将至少一种包含全部终端的排列方式显示在界面上供用户选择，并记录用户选择的排列方式。
当参与获取手势信息的终端是第一终端和多个第二终端时，各个第二终端可以向第一终端发送设备配置参数，例如终端屏幕大小参数、屏幕分辨率等，第一终端根据自身的设备配置参数、第二终端的设备配置参数以及全部终端的个数，可以计算出可能的多种全部终端的排列方式，以可视的方式显示全部终端的多种排列方式，供用户选择，在终端数量较少时，可以显示全部的排列方式，在终端数量较多时，则可以显示优选的排列方式。用户在选择排列方式后，第一终端可以记录用户所选择的排列方式。
在本发明的一些实施例中，参数信息包括设备配置参数，第一终端根据接收到的第二终端的参数信息，记录参与获取手势信息的终端的排列方式，包括：
第一终端根据接收到的第二终端的设备配置参数以及第二终端的数量，将至少一种包含第二终端的排列方式显示在界面上供用户选择，并记录用户选择的排列方式。
当参与获取手势信息的终端仅为多个第二终端时，各个第二终端可以向第一终端发送设备配置参数，例如终端屏幕大小参数、屏幕分辨率等，第一终端根据第二终端的设备配置参数以及第二终端的个数，可以计算出可能的所有第二终端的排列方式，以可视的方式显示第二终端的多种排列方式，供用户选择，在终端数量较少时，可以显示全部的排列方式，在终端数量较多时，则可以显示优选的排列方式。用户在选择排列方式后，第一终端可以记录用户所选择的排列方式。
另外，在本发明的一些实施例中，第一终端根据第二终端的参数信息，记录参与获取手势信息的终端的排列方式的具体实现方式也可以包括：第一终端根据接收到的第二终端的位置参数，计算参与获取手势信息的终端的当前排列方式，并记录参与获取手势信息的终端的当前排列方式。
这种方式不需要第一终端根据各个第二终端的设备配置参数以及终端个数，计算并显示终端的多种排列方式，而是在用户完成终端摆放后，通过各终端相互发射超声信号或其他信号将位置参数发送给第一终端，第一终端计算出参与获取手势信息的终端的当前排列方式，并记录下参与获取手势信息的终端的当前排列方式。
步骤103：第一终端接收至少一个第二终端发送的传感器触发信息。
终端中可以搭载多种不同的传感器，当用户采用隔空手势划过终端时，传感器被触发，传感器可以包括但不限于红外传感器、光线传感器、终端电容屏幕、超声波检测器或者图像传感器。
目前各终端上集成的传感器基本属于开关型传感器，有些传感器还具有检测几个离散状态的能力，因此，触发方式可以分为划过触发与下压触发。参见图3所示，触发方式的判断主要依赖于传感器状态S的改变时间Δt，如果Δt大于时间常数K，那么就可以认为是下压触发，如果Δt小于时间常数K，则为划过触发。时间常数K的确定可以依赖于经验值，一般可以取1～3秒。
第一终端和各个第二终端可以检测各个传感器信号的变化，各个参与获取手势信息的终端将检测到的传感器触发信息发送给第一终端，需要注意的是，手势划过终端时可能会触发多种传感器，则将多种传感器触发信息，一起发送给第一终端。在本发明的一些实施例中，传感器触发信息可以包括但不限于触发时间、触发方式以及触发传感器类型。触发传感器类型信息可以包括但不限于红外触发、光线触发以及图像触发中的一种或多种的组合。如果触发方式为下压触发，则触发时间可以取触发开始或结束的边界时间。
步骤104：第一终端根据记录的排列方式以及获取的传感器触发信息确定触发传感器的手势类型。
在排列方式确定的前提下，也即已知各个终端的排列形状、排列顺序与排列相对位置，根据传感器触发信息可以得到触发传感器的手势类型，手势类型包括但不限于划动手势、缩放手势以及旋转手势。
本实施例中，可以对用户的隔空手势进行识别，隔空手势操作节省了用户的操作时间、提高了操作效率，可以有效应用于两个以上终端协同的工作场景中，具体的，本发明实施例通过第一终端记录参与获取手势信息的终端的排列方式后，在用户进行隔空手势触发各个终端的传感器时，第一终端可以根据各个被触发终端检测到的传感器触发信息判断出触发传感器的手势类型，提供了一种简单有效的方式对多终端协同中的手势类型进行识别的方法，且识别效率较高。
参见图4所示，本发明实施例中多终端协同的手势识别方法的实施例二可以包括以下步骤，本实施例中主要对第一终端根据所记录的排列方式以及获取的传感器触发信息判断触发传感器的手势类型的具体实现方式进行说明：
步骤401：第一终端从每个被触发终端检测到的至少一个传感器触发信息中，获取每个被触发终端的第一传感器触发信息，第一传感器触发信息是由每个终端优先级最高的传感器所提供的。
本实施例中，第一终端对接收到的传感器触发信息进行筛选，每个被触发终端保留一个最有效的传感器触发信息即第一传感器触发信息，例如可以设置传感器优先级，将一个终端的多个传感器中的红外传感器作为优先级最高的传感器，则红外传感器所提供的传感器触发信息则作为该终端第一传感器触发信息，而当该终端的红外传感器异常时，则可以将光线传感器所提供的传感器触发信息作为第一传感器触发信息。这样，第一终端从每个被触发终端检测到的至少一个传感器触发信息中，获取每个被触发终端的第一传感器触发信息，第一传感器触发信息是由每个终端优先级最高的传感器所提供的。
步骤402：第一终端根据记录的排列方式以及每个被触发终端的第一传感器触发信息中所包含的触发时间，确定手势的划动方向并计算沿手势的划动方向相邻被触发终端的触发时间差值。
结合记录的排列方式与各个终端传感器触发信息的中触发时间信息顺序，可以确定手势的划动方向，再计算出沿手势的划动方向相邻被触发终端的触发信息时间差值，可以进一步得到触发传感器的手势类型。
在本发明的一些实施例中，第一终端根据记录的排列方式以及每个被触发终端的第一传感器触发信息中所包含的触发时间，确定手势的划动方向并计算沿手势的划动方向相邻被触发终端的触发时间差值之前还可以包括：确定第一终端的时间和第二终端的时间同步。
在实际应用中，可以在第一终端与第二终端建立连接后，以第一终端的时间为基准进行第一终端和第二终端的时间同步，在第一终端与第二终端均能连接网络时，也可以以标准时间为基准进行第一终端和第二终端的时间同步。
步骤403：第一终端根据手势的划动方向以及触发时间差值判断触发传感器的手势类型，手势类型包括划动手势、缩放手势以及旋转手势。
具体的，以判断手势类型为划动手势、缩放手势或旋转手势为例，以此对第一终端根据手势的划动方向以及触发时间差值判断触发传感器的手势类型的具体实现方式进行说明。
一、划动手势的识别：
在本发明的一些实施例中，第一终端根据手势的划动方向以及触发时间差值判断触发传感器的手势类型的具体实现可以包括：
当手势的划动方向为单向划动，且第一终端判断触发时间差值处于预设时间范围内，则触发传感器的手势类型为划动手势。
参见图5所示，以两终端协同为例来具体说明划动手势的识别，当终端T1的传感器触发信息中的触发时间为ta，也即终端T1在ta时刻被触发，当终端T2的传感器触发信息中的触发时间为tb，也即终端T2在tb时刻被触发，且触发时间tb晚于触发时间ta，则代表手势的划动方向为由终端T1向终端T2单向划动。其中，如果终端的触发方式为下压触发，触发时间取边界时间，本实施例中，如果终端T1的触发方式为下压触发，则ta为手势离开T1的时刻，而如果终端T2的触发方式为下压触发，则tb为手势触发传感的第一时刻。
参见图6所示，第一终端根据终端T1的触发时间ta与终端T2的触发时间tb计算触发时间差值tb-ta，判断触发时间差值tb-ta是否处于预设时间范围内，即判断m·Δt<tb-ta<n·Δt是否成立，其中，Δt为系统参数，可以描述物体划过两个终端的标准时间差，实际操作时，这个参数可以采用经验值或采用实验测试得到。但是由于用户每次操作的时间并不恒定，因此引入常数m、n（m<1<n），为状态判断提供一定的冗余度。当手势的划动方向为终端T1向终端T2单向划动，且m·Δt<tb-ta<n·Δt成立，也即触发时间差值tb-ta处于预设时间范围内，则触发传感器的手势类型为划动手势。
需要注意的是，多终端协同下的划动手势判断与本实施例中双终端类似，均可以通过判断手势的划动方向为单向划动，且第一终端判断触发时间差值处于预设时间范围内，则触发传感器的手势类型为划动手势进行确定。
二、缩放手势的识别：
在本发明的一些实施例中，第一终端根据手势的划动方向以及触发时间差值判断触发传感器的手势类型的具体实现可以包括：
当手势的划动方向为第一手势与第二手势向相反方向划动，且第一终端判断第一手势与第二手势均为划动手势，则触发传感器的手势类型为放大手势；
当手势的划动方向为第一手势与第二手势相对划动，且第一终端判断第一手势与第二手势均为划动手势，则触发传感器的手势类型为缩小手势。
参见图7所示，以三终端协同为例来具体说明放大手势的识别，当终端T1的传感器触发信息中的触发时间为ta，也即终端T1在ta时刻被触发，终端T2的传感器触发信息中的触发时间为tb，也即终端T2在tb时刻被触发，终端T3的传感器触发信息中的触发时间为tc，也即终端T3在tc时刻被触发，其中，触发时间tb晚于触发时间ta，触发时间tc也晚于触发时间ta，则代表两个手势分别由终端T2向终端T1与终端T3方向划动，又已知终端的排列方式，则可以得到手势的划动方向为第一手势和第二手势向相反方向划动。
参见图8所示，确定了手势的划动方向后，又当第一手势与第二手势均为划动手势，则可以进一步得到触发传感器的手势类型为放大手势。
需要注意的是，多终端协同下的放大手势判断与本实施例中三终端类似，均可以通过手势的划动方向为第一手势与第二手势向相反方向划动，且第一终端判断第一手势与第二手势均为划动手势，则触发传感器的手势类型为放大手势进行确定。
参见图9所示，以三终端协同为例来具体说明缩小手势的识别，当终端T1的传感器触发信息中的触发时间为tb，也即终端T1在tb时刻被触发，终端T3的传感器触发信息中的触发时间为tc，也即终端T3在tc时刻被触发，终端T2的传感器触发信息中的触发时间为ta，也即终端T2在ta时刻被触发，其中，触发时间ta晚于触发时间tb与触发时间tc，则代表两个手势分别由终端T1与终端T3向终端T2方向划动，又已知终端的排列方式，则可以得到手势的划动方向为第一手势和第二手势是第二不同终端开始向一个终端相对划动。
参见图10所示，确定了手势的划动方向后，又当第一手势与第二手势均为划动手势，则可以进一步得到触发传感器的手势类型为缩小手势。
需要注意的是，多终端协同下的缩小手势判断与本实施例中三终端类似，均可以通过手势的划动方向为第一手势与第二手势相对划动，且第一终端判断第一手势与第二手势均为划动手势，则触发传感器的手势类型为缩小手势进行确定。
三、旋转手势的识别：
在本发明的一些实施例中，第一终端根据手势的划动方向以及触发时间差值判断触发传感器的手势类型的具体实现可以包括：
当手势的划动方向为第一手势的划动方向与第二手势的划动方向不同，第一手势的起始终端与第二手势的起始终端不同，第一手势的终止终端与第二手势的终止终端不同，且第一终端判断第一手势与第二手势均为划动手势，第一手势的终止终端与第二手势的终止终端的触发时间的差值小于预设阈值，则触发传感器的手势类型为旋转手势。
参见图11所示，以四终端协同为例来具体说明旋转手势的识别，在四终端协同场景下，可以通过终端T2向终端T3划动同时配合终端T4向终端T1划动来进行顺时针旋转。下面具体说明旋转手势的识别，当终端T2的传感器触发信息中的触发时间为ta，也即终端T2在ta时刻被触发，终端T3的传感器触发信息中的触发时间为tb，也即终端T3在tb时刻被触发，终端T4的传感器触发信息中的触发时间为tc，也即终端T4在tc时刻被触发，终端T1的传感器触发信息中的触发时间为td，也即终端T1在td时刻被触发，其中，触发时间tb晚于触发时间ta，触发时间td晚于触发时间tc，则代表两个手势分别由终端T2向终端T3方向划动，由终端T4向终端T1方向划动，又已知终端的排列方式，则可以得到第一手势的划动方向与第二手势的划动方向不同，第一手势的起始终端与第二手势的起始终端不同，第一手势的终止终端与第二手势的终止终端不同。
参见图12所示，确定了手势的划动方向后，又当第一手势与第二手势均为划动手势，需要进一步判断第一手势的终止终端与第二手势的终止终端的触发时间的差值是否小于预设阈值，也即|td-tb|<L是否成立，常数L是为了判断两边的划动动作是否同步而设定，在实际应用中可以依经验设定。第一手势的终止终端与第二手势的终止终端的触发时间的差值小于预设阈值，则触发传感器的手势类型为旋转手势。
需要注意的是，多终端协同下旋转可以实现多角度的旋转，旋转手势判断与本实施例中四终端类似，均可以通过手势的划动方向为第一手势的划动方向与第二手势的划动方向不同，第一手势的起始终端与第二手势的起始终端不同，第一手势的终止终端与第二手势的终止终端不同，且第一终端判断第一手势与第二手势均为划动手势，第一手势的终止终端与第二手势的终止终端的触发时间的差值小于预设阈值，则触发传感器的手势类型为旋转手势进行确认。
本实施例中，第一终端通过各个终端的排列方式以及手势触发各个终端的时间，可以判断出手势的具体触发类型，包括但不限于划动手势、缩放手势以及旋转手势，这些手势的识别仅依靠单个终端传感器无法检测或检测代价很大，因此，本发明实施例提供了一种简单有效的方式对多终端协同中的手势类型进行识别，且识别效率较高。
参见图13所示，本发明实施例中多终端协同的手势识别方法的实施例四可以包括以下步骤，本实施例以第二终端为执行主体进行描述：
步骤1301：第二终端接收到协同请求激活信号后，向第一终端发送第二终端的参数信息，以使第一终端根据第二终端的参数信息记录参与获取手势信息的终端的排列方式，参与获取手势信息的终端包括全部终端或第二终端，全部终端包括第一终端和第二终端。
第二终端接收到协同请求激活信号后，通过无线连接方式与第一终端建立连接。各个需要参与协同的终端需要激活协同功能，例如可以通过打开专用app的方式发送协同请求激活信号，第二终端接收到协同请求激活信号后，通过无线连接方式与第一终端建立连接，第二终端也可以接收到第一终端发送的协同请求激活信号后，通过无线连接方式与第一终端建立连接，无线连接方式可以采用多种方式，包括但不限于Wifi，Miracast，3G，蓝牙等等。
本实施例中，可以将全部终端中满足预设条件的一个终端确定为第一终端，其他终端确定为第二终端，也即第一终端是全部终端中满足预设条件的一个终端，第一终端可以理解为主终端，第二终端可以理解为从终端。第一终端作为交互的主设备可以接收用户的操作信息、接收各个第二终端发送的信息并实现多终端协同的手势识别，第二终端则可以将设备配置参数以及检测到的传感器触发信息等信息发送给第一终端，以使第一终端实现多终端协同的手势识别。
第二终端向第一终端发送参数信息，以使第一终端根据第二终端的参数信息记录参与获取手势信息的终端的排列方式。参与获取手势信息的终端可以为多个第二终端，也可以是第一终端和多个第二终端。参与获取手势信息的终端的排列方式包括排列形状、排列顺序以及排列相对位置。
步骤1302：在检测到传感器被触发时，第二终端向第一终端发送检测到的传感器触发信息，以使第一终端根据记录的排列方式以及获取的传感器触发信息判断触发传感器的手势类型。
终端中可以搭载多种不同的传感器，当用户采用隔空手势划过终端时，传感器被触发，传感器可以包括但不限于红外传感器、光线传感器、终端电容屏幕、超声波检测器或者图像传感器。目前各终端上集成的传感器基本属于开关型传感器，有些传感器还具有检测几个离散状态的能力，因此，触发方式可以分为划过触发与下压触发。
第二终端可以检测各个传感器信号的变化，将检测到的传感器触发信息发送给第一终端，需要注意的是，手势划过终端时可能会触发多种传感器，则将多种传感器触发信息，一起发送给第一终端。在本发明的一些实施例中，传感器触发信息可以包括但不限于触发时间、触发方式以及触发传感器类型。触发传感器类型信息可以包括但不限于红外触发、光线触发以及图像触发中的一种或多种的组合。如果触发方式为下压触发，则触发时间可以取触发开始或结束的边界时间。
在本发明的一些实施例中，本发明实施例中参数信息可以包括设备配置参数，第二终端向第一终端发送参数信息的具体实现可以包括：
第二终端向第一终端发送设备配置参数，以使第一终端根据自身的设备配置参数、接收到的第二终端的设备配置参数以及全部终端的数量，将至少一种包含全部终端的排列方式显示在界面上供用户选择，并记录用户选择的排列方式。
当参与获取手势信息的终端是第一终端和多个第二终端时，各个第二终端可以向第一终端发送设备配置参数，例如终端屏幕大小参数、屏幕分辨率等，第一终端根据自身的设备配置参数、第二终端的设备配置参数以及全部终端的个数，可以计算出可能的多种全部终端的排列方式，以可视的方式显示全部终端的多种排列方式，供用户选择，在终端数量较少时，可以显示全部的排列方式，在终端数量较多时，则可以显示优选的排列方式。用户在选择排列方式后，第一终端可以记录用户所选择的排列方式。
在本发明的一些实施例中，本发明实施例中参数信息包括设备配置参数，第二终端向第一终端发送参数信息的具体实现可以包括：
第二终端向第一终端发送设备配置参数，以使第一终端根据接收到的第二终端的设备配置参数以及第二终端的数量，将至少一种包含第二终端的排列方式显示在界面上供用户选择，并记录用户选择的排列方式。
当参与获取手势信息的终端仅为多个第二终端时，各个第二终端可以向第一终端发送设备配置参数，例如终端屏幕大小参数、屏幕分辨率等，第一终端根据第二终端的设备配置参数以及第二终端的个数，可以计算出可能的所有第二终端的排列方式，以可视的方式显示第二终端的多种排列方式，供用户选择，在终端数量较少时，可以显示全部的排列方式，在终端数量较多时，则可以显示优选的排列方式。用户在选择排列方式后，第一终端可以记录用户所选择的排列方式。
另外，在本发明的一些实施例中，本发明实施例中第二终端向第一终端发送参数信息的具体实现也可以包括：
第二终端向第一终端发送第二终端的位置参数，以使第一终端根据接收到的第二终端的位置参数，计算全部终端的当前排列方式，并记录当前排列方式。
这种方式不需要第一终端根据各个第二终端的设备配置参数以及终端个数，计算并显示终端的多种排列方式，而是在用户完成终端摆放后，通过各终端相互发射超声信号或其他信号将位置参数发送给第一终端，第一终端计算出参与获取手势信息的终端的当前排列方式，并记录下参与获取手势信息的终端的当前排列方式。
本实施例中，第二终端将检测到的传感器触发信息发送给第一终端，以使第一终端根据所记录的排列方式以及传感器触发信息判断出触发传感器的手势类型。在多终端协同场景中，隔空手势操作节省了用户的操作时间、提高了操作效率，本发明实施例提供了一种简单有效的方式对多终端协同中的手势类型进行识别，且识别效率较高。
与上述各个多终端协同的手势识别方法实施例相对应的，参见图14所示，本发明实施例还提供一种多终端协同的手势识别系统实施例，包括第一终端1401以及至少一个第二终端1402。
在本发明的一些实施例中，可以将全部终端中满足预设条件的一个终端确定为第一终端，其他终端确定为第二终端，也即第一终端是全部终端中满足预设条件的一个终端，参见图15所示，本发明实施例中第一终端的实施例一可以包括：
接收器1501，用于接收用户触发的协同请求激活信号。
接收器1501，还用于接收各个终端发送的各个终端的参数信息。
记录单元1502，用于根据接收器接收的参数信息，记录参与获取手势信息的终端的排列方式，参与获取手势信息的终端包括全部终端或各个终端，全部终端包括终端自身和各个终端。
在本发明的一些实施例中，参数信息包括设备配置参数，记录单元可以包括：
第一计算子单元，用于根据自身的设备配置参数、接收器接收到的各个终端的设备配置参数以及全部终端的数量，计算并显示全部终端的至少一种排列方式；
第一记录子单元，用于记录用户根据第一计算子单元显示所选择的排列方式。
或者，在本发明的一些实施例中，参数信息包括设备配置参数，记录单元可以包括：
第二计算子单元，用于根据接收器接收到的各个终端的设备配置参数以及发送设备配置参数的终端的数量，计算并显示各个终端的至少一种排列方式；
第二记录子单元，用于记录用户根据第二计算子单元显示所选择的排列方式。
接收器1501，还用于接收至少一个终端发送的传感器触发信息。
判断单元1503，用于根据记录单元所记录的排列方式以及接收器所接收的传感器触发信息，确定触发传感器的手势类型。
在本发明的一些实施例中，传感器触发信息可以包括：触发时间、触发方式以及触发传感器类型；触发传感器类型信息包括红外触发、光线触发以及图像触发中的一种或多种的组合。
参见图16所示，本发明实施例中第一终端的实施例二，判断单元可以包括：
信息确定子单元1601，用于从每个被触发终端检测到的至少一个传感器触发信息中，获取每个被触发终端的第一传感器触发信息，第一传感器触发信息是由每个终端优先级最高的传感器所提供的。
第三计算子单元1602，用于根据记录单元记录的排列方式以及信息确定子单元确定的每个被触发终端的第一传感器触发信息中所包含的触发时间，确定手势的划动方向并计算沿手势的划动方向相邻被触发终端的触发时间差值。
手势判断子单元1603，用于根据第三计算子单元确定的手势的划动方向以及触发时间差值判断触发传感器的手势类型，手势类型包括划动手势、缩放手势以及旋转手势。
在本发明的一些实施例中，还可以进一步包括时间确定单元：
时间确定单元，具体用于确定终端自身和各个终端的时间同步；
则第三计算子单元，用于在时间确定单元确定时间同步时，根据记录单元记录的排列方式以及信息确定子单元确定的每个被触发终端的第一传感器触发信息中所包含的触发时间，确定手势的划动方向并计算沿手势的划动方向相邻被触发终端的触发时间差值。
手势判断子单元可以判断的手势类型包括但不限于划动手势、缩放手势或旋转手势。手势判断子单元可以具体用于：
当手势为单向划动，且第一终端判断触发时间差值处于预设时间范围内，则触发传感器的手势类型为划动手势；
当手势包括第一手势和第二手势，第一手势与第二手势反向划动，且第一手势和第二手势均为划动手势，则触发传感器的手势类型为放大手势；第一手势与第二手势相向划动，且第一手势和第二手势均为划动手势，则触发传感器的手势类型为缩小手势；
当第一手势的划动方向与第二手势的划动方向不同，第一手势的起始终端与第二手势的起始终端不同，第一手势的终止终端与第二手势的终止终端不同，且第一终端判断第一手势与第二手势均为划动手势，第一手势的终止终端与第二手势的终止终端的触发时间的差值小于预设阈值，则触发传感器的手势类型为旋转手势。
本实施例中，第一终端可以对用户的隔空手势进行识别，隔空手势操作节省了用户的操作时间、提高了操作效率，可以有效应用于两个以上终端协同的工作场景中，本实施例中，第一终端实现了对多终端协同中的手势类型进行简单有效地识别，且识别效率较高。
上面从模块化功能实体的角度对本发明实施例中的第一终端进行描述，下面从硬件处理的角度对本发明实施例中的第一终端进行描述，参见图17所示，本发明实施例中第一终端1700的实施例三可以包括：
发射器，接收器，处理器，至少一个网络接口或者其他通信接口，存储器，和至少一个通信总线，用于实现这些装置之间的连接通信。发射器用于发送数据，接收器用于接收数据，处理器用于执行存储器中存储的可执行模块，例如计算机程序。存储器可能包含高速随机存取存储器（RAM：RandomAccess Memory），也可能还包括非不稳定的存储器（non-volatile memory），例如至少一个磁盘存储器。通过至少一个网络接口（可以是有线或者无线）实现该系统网关与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
参见图17所示的第一终端1700的构成示意图，在一些实施方式中，存储器中存储了程序指令，程序指令可以被处理器、发射器和接收器执行，其中：
接收器，用于接收用户触发的协同请求激活信号。
接收器，还用于接收各个终端发送的各个终端的参数信息。
处理器，用于根据接收器接收的参数信息，记录参与获取手势信息的终端的排列方式，参与获取手势信息的终端包括全部终端或各个终端，全部终端包括终端自身和各个终端。
接收器，还用于接收至少一个终端发送的传感器触发信息。
处理器，还用于根据处理器所记录的排列方式以及接收器所接收的传感器触发信息，确定触发传感器的手势类型。
处理器具体用于：参数信息包括设备配置参数，根据自身的设备配置参数、接收器接收到的各个终端的设备配置参数以及全部终端的数量，计算并显示全部终端的至少一种排列方式；记录用户根据处理器显示所选择的排列方式。
处理器具体用于：参数信息包括设备配置参数，用于根据接收器接收到的各个终端的设备配置参数以及发送设备配置参数的终端的数量，计算并显示各个终端的至少一种排列方式；记录用户根据处理器显示所选择的排列方式。
处理器还具体用于：从每个被触发终端检测到的至少一个传感器触发信息中，获取每个被触发终端的第一传感器触发信息，第一传感器触发信息是由每个终端优先级最高的传感器所提供的；根据处理器记录的排列方式以及处理器确定的每个被触发终端的第一传感器触发信息中所包含的触发时间，确定手势的划动方向并计算沿手势的划动方向相邻被触发终端的触发时间差值；根据处理器确定的手势的划动方向以及触发时间差值判断触发传感器的手势类型，手势类型包括划动手势、缩放手势以及旋转手势。
处理器还具体用于：确定终端自身和各个终端的时间同步；在处理器确定时间同步时，根据记录的排列方式以及确定的每个被触发终端的第一传感器触发信息中所包含的触发时间，确定手势的划动方向并计算沿手势的划动方向相邻被触发终端的触发时间差值。
处理器还具体用于：当手势为单向划动，且第一终端判断触发时间差值处于预设时间范围内，则触发传感器的手势类型为划动手势；当手势包括第一手势和第二手势，第一手势与第二手势反向划动，且第一手势和第二手势均为划动手势，则触发传感器的手势类型为放大手势；第一手势与第二手势相向划动，且第一手势和第二手势均为划动手势，则触发传感器的手势类型为缩小手势；当第一手势的划动方向与第二手势的划动方向不同，第一手势的起始终端与第二手势的起始终端不同，第一手势的终止终端与第二手势的终止终端不同，且第一终端判断第一手势与第二手势均为划动手势，第一手势的终止终端与第二手势的终止终端的触发时间的差值小于预设阈值，则触发传感器的手势类型为旋转手势。
本实施例中，处理器可以对用户的隔空手势进行识别，隔空手势操作节省了用户的操作时间、提高了操作效率，可以有效应用于两个以上终端协同的工作场景中，具体的，通过第一终端记录参与获取手势信息的终端的排列方式后，在用户进行隔空手势触发各个终端的传感器时，可以根据各个被触发终端检测到的传感器触发信息判断出触发传感器的手势类型，提供了一种简单有效的方式对多终端协同中的手势类型进行识别的方法，且识别效率较高。
在本发明的一些实施例中，可以将全部终端中满足预设条件的一个终端确定为第一终端，其他终端确定为第二终端，也即第一终端是全部终端中满足预设条件的一个终端，参见图18所示，本发明实施例中第二终端的实施例可以包括：
接收器1801，用于接收协同请求激活信号。
发射器1802，用于在接收器接收到协同请求激活信号时，向接收终端发送参数信息，以使接收终端根据接收到的参数信息记录参与获取手势信息的终端的排列方式，参与获取手势信息的终端包括全部终端或发送参数信息的终端，全部终端包括发送参数信息的终端和接收终端；发射器，还用于在检测到传感器被触发时，向接收终端发送检测到的传感器触发信息，以使接收终端根据记录的排列方式以及获取的传感器触发信息确定触发传感器的手势类型。
其中，传感器触发信息可以包括：触发时间、触发方式以及触发传感器类型；触发传感器类型信息包括红外触发、光线触发以及图像触发中的一种或多种的组合。
在本发明的一些实施例中，本发明实施例中发射器可以具体用于：
向接收终端发送设备配置参数，以使接收终端根据自身的设备配置参数、接收到的各个终端的设备配置参数以及全部终端的数量，将至少一种包含全部终端的排列方式显示在界面上供用户选择，并记录用户选择的排列方式。
在本发明的一些实施例中，本发明实施例中发射器也可以具体用于：
向接收终端发送设备配置参数，以使接收终端根据接收到的各个终端的设备配置参数以及发送设备配置参数的终端的数量，将至少一种包含发送设备配置参数的终端的排列方式显示在界面上供用户选择，并记录用户选择的排列方式。
上面从模块化功能实体的角度对本发明实施例中的第二终端进行描述，下面从硬件处理的角度对本发明实施例中的第二终端进行描述，参见图19所示，本发明实施例中第二终端1900的实施例二可以包括：
发射器，接收器，处理器，至少一个网络接口或者其他通信接口，存储器，和至少一个通信总线，用于实现这些装置之间的连接通信。发射器用于发送数据，接收器用于接收数据，处理器用于执行存储器中存储的可执行模块，例如计算机程序。存储器可能包含高速随机存取存储器（RAM：RandomAccess Memory），也可能还包括非不稳定的存储器（non-volatile memory），例如至少一个磁盘存储器。通过至少一个网络接口（可以是有线或者无线）实现该系统网关与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
参见图19所示的第二终端1900的构成示意图，在一些实施方式中，存储器中存储了程序指令，程序指令可以被处理器、发射器和接收器执行，其中：
接收器，用于接收协同请求激活信号；
发射器，用于在接收器接收到协同请求激活信号时，向接收终端发送参数信息，以使接收终端根据接收到的参数信息记录参与获取手势信息的终端的排列方式，参与获取手势信息的终端包括全部终端或发送参数信息的终端，全部终端包括发送参数信息的终端和接收终端；发射器，还用于在检测到传感器被触发时，向接收终端发送检测到的传感器触发信息，以使接收终端根据记录的排列方式以及获取的传感器触发信息确定触发传感器的手势类型。
发射器具体用于：向接收终端发送设备配置参数，以使接收终端根据自身的设备配置参数、接收到的各个终端的设备配置参数以及全部终端的数量，将至少一种包含全部终端的排列方式显示在界面上供用户选择，并记录用户选择的排列方式。
发射器还具体用于：向接收终端发送设备配置参数，以使接收终端根据接收到的各个终端的设备配置参数以及发送设备配置参数的终端的数量，将至少一种包含发送设备配置参数的终端的排列方式显示在界面上供用户选择，并记录用户选择的排列方式。
发射器发送的传感器触发信息包括触发时间、触发方式以及触发传感器类型；触发传感器类型包括红外触发、光线触发以及图像触发中的一种或多种的组合。
本实施例中，处理器将检测到的传感器触发信息发送给第一终端，以使第一终端根据所记录的排列方式以及传感器触发信息判断出触发传感器的手势类型。在多终端协同场景中，隔空手势操作节省了用户的操作时间、提高了操作效率，本发明实施例提供了一种简单有效的方式对多终端协同中的手势类型进行识别，且识别效率较高。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，第二而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (19)

1.一种基于多终端协同的手势识别方法，其特征在于，所述方法包括：
第一终端接收到用户触发的协同请求激活信号后，接收各个第二终端发送的所述第二终端的参数信息；
所述第一终端根据所述第二终端的参数信息，记录参与获取手势信息的终端的排列方式，所述参与获取手势信息的终端包括全部终端或所述第二终端，所述全部终端包括所述第一终端和所述第二终端；
所述第一终端接收至少一个第二终端发送的传感器触发信息；
所述第一终端根据所述记录的排列方式以及获取的传感器触发信息确定触发传感器的手势类型。
2.根据权利要求1所述的方法，其特征在于，所述参数信息包括设备配置参数，所述第一终端根据接收到的所述第二终端的参数信息，记录参与获取手势信息的终端的排列方式，包括：
所述第一终端根据自身的设备配置参数、接收到的第二终端的设备配置参数以及所述全部终端的数量，将至少一种包含所述全部终端的排列方式显示在界面上供用户选择，并记录用户选择的排列方式。
3.根据权利要求1所述的方法，其特征在于，所述参数信息包括设备配置参数，所述第一终端根据接收到的所述第二终端的参数信息，记录参与获取手势信息的终端的排列方式，包括：
所述第一终端根据接收到的所述第二终端的设备配置参数以及所述第二终端的数量，将至少一种包含所述第二终端的排列方式显示在界面上供用户选择，并记录用户选择的排列方式。
4.根据权利要求1至3所述的方法，其特征在于，所述第一终端根据所述记录的排列方式以及获取的传感器触发信息判断触发传感器的手势类型，包括：
所述第一终端从每个被触发终端检测到的至少一个传感器触发信息中，获取每个被触发终端的第一传感器触发信息，所述第一传感器触发信息是由每个终端优先级最高的传感器所提供的；
所述第一终端根据所述记录的排列方式以及每个被触发终端的第一传感器触发信息中所包含的触发时间，确定手势的划动方向并计算沿手势的划动方向相邻被触发终端的触发时间差值；
所述第一终端根据所述手势的划动方向以及所述触发时间差值判断触发传感器的手势类型。
5.如权利要求4所述的方法，其特征在于，所述第一终端根据所述记录的排列方式以及每个被触发终端的第一传感器触发信息中所包含的触发时间，确定手势的划动方向并计算沿手势的划动方向相邻被触发终端的触发时间差值之前还包括：
确定所述第一终端的时间和所述第二终端的时间同步。
6.根据权利要求4或5所述的方法，其特征在于，所述第一终端根据所述手势的划动方向以及触发时间差值判断触发传感器的手势类型，包括：
当所述手势为单向划动，且所述第一终端判断所述触发时间差值处于预设时间范围内，则触发传感器的手势类型为划动手势；
当所述手势包括第一手势和第二手势，所述第一手势与所述第二手势反向划动，且所述第一手势和所述第二手势均为划动手势，则触发传感器的手势类型为放大手势；所述第一手势与所述第二手势相向划动，且所述第一手势和所述第二手势均为划动手势，则触发传感器的手势类型为缩小手势；
当所述第一手势的划动方向与所述第二手势的划动方向不同，所述第一手势的起始终端与所述第二手势的起始终端不同，所述第一手势的终止终端与所述第二手势的终止终端不同，且所述第一终端判断所述第一手势与所述第二手势均为划动手势，所述第一手势的终止终端与所述第二手势的终止终端的触发时间的差值小于预设阈值，则触发传感器的手势类型为旋转手势。
7.一种基于多终端协同的手势识别方法，其特征在于，所述方法包括：
第二终端接收到协同请求激活信号后，向第一终端发送所述第二终端的参数信息，以使所述第一终端根据所述第二终端的参数信息记录参与获取手势信息的终端的排列方式，所述参与获取手势信息的终端包括全部终端或所述第二终端，所述全部终端包括所述第一终端和所述第二终端；
在检测到传感器被触发时，所述第二终端向所述第一终端发送检测到的传感器触发信息，以使所述第一终端根据所述记录的排列方式以及获取的传感器触发信息判断触发传感器的手势类型。
8.根据权利要求7所述的方法，其特征在于，所述参数信息包括设备配置参数，所述第二终端向所述第一终端发送参数信息，包括：
所述第二终端向所述第一终端发送设备配置参数，以使所述第一终端根据自身的设备配置参数、接收到的所述第二终端的设备配置参数以及所述全部终端的数量，将至少一种包含所述全部终端的排列方式显示在界面上供用户选择，并记录用户选择的排列方式。
9.根据权利要求7所述的方法，其特征在于，所述参数信息包括设备配置参数，所述第二终端向所述第一终端发送参数信息，包括：
所述第二终端向所述第一终端发送设备配置参数，以使所述第一终端根据接收到的所述第二终端的设备配置参数以及所述第二终端的数量，将至少一种包含所述第二终端的排列方式显示在界面上供用户选择，并记录用户选择的排列方式。
10.一种终端，其特征在于，所述终端包括：
接收器，用于接收用户触发的协同请求激活信号；
所述接收器，还用于接收各个终端发送的所述各个终端的参数信息；
记录单元，用于根据所述接收器接收的所述参数信息，记录参与获取手势信息的终端的排列方式，所述参与获取手势信息的终端包括全部终端或所述各个终端，所述全部终端包括终端自身和所述各个终端；
所述接收器，还用于接收至少一个终端发送的传感器触发信息；
判断单元，用于根据所述记录单元所记录的排列方式以及所述接收器所接收的传感器触发信息，确定触发传感器的手势类型。
11.根据权利要求10所述的终端，其特征在于，所述参数信息包括设备配置参数，所述记录单元包括：
第一计算子单元，用于根据自身的设备配置参数、所述接收器接收到的各个终端的设备配置参数以及所述全部终端的数量，计算并显示所述全部终端的至少一种排列方式；
第一记录子单元，用于记录用户根据所述第一计算子单元显示所选择的排列方式。
12.根据权利要求10所述的终端，其特征在于，所述参数信息包括设备配置参数，所述记录单元包括：
第二计算子单元，用于根据所述接收器接收到的各个终端的设备配置参数以及发送所述设备配置参数的终端的数量，计算并显示所述各个终端的至少一种排列方式；
第二记录子单元，用于记录用户根据所述第二计算子单元显示所选择的排列方式。
13.根据权利要求10至12所述的终端，其特征在于，所述判断单元包括：
信息确定子单元，用于从每个被触发终端检测到的至少一个传感器触发信息中，获取每个被触发终端的第一传感器触发信息，所述第一传感器触发信息是由每个终端优先级最高的传感器所提供的；
第三计算子单元，用于根据所述记录单元记录的排列方式以及所述信息确定子单元确定的每个被触发终端的第一传感器触发信息中所包含的触发时间，确定手势的划动方向并计算沿手势的划动方向相邻被触发终端的触发时间差值；
手势判断子单元，用于根据所述第三计算子单元确定的所述手势的划动方向以及所述触发时间差值判断触发传感器的手势类型，所述手势类型包括划动手势、缩放手势以及旋转手势。
14.根据权利要求13所述的终端，其特征在于，还包括时间确定单元：
所述时间确定单元，具体用于确定所述终端自身和所述各个终端的时间同步；
所述第三计算子单元，用于在所述时间确定单元确定时间同步时，根据所述记录单元记录的排列方式以及所述信息确定子单元确定的每个被触发终端的第一传感器触发信息中所包含的触发时间，确定手势的划动方向并计算沿手势的划动方向相邻被触发终端的触发时间差值。
15.根据权利要求13或14所述的终端，其特征在于，所述手势判断子单元具体用于：
当所述手势为单向划动，且所述第一终端判断所述触发时间差值处于预设时间范围内，则触发传感器的手势类型为划动手势；
当所述手势包括第一手势和第二手势，所述第一手势与所述第二手势反向划动，且所述第一手势和所述第二手势均为划动手势，则触发传感器的手势类型为放大手势；所述第一手势与所述第二手势相向划动，且所述第一手势和所述第二手势均为划动手势，则触发传感器的手势类型为缩小手势；
当所述第一手势的划动方向与所述第二手势的划动方向不同，所述第一手势的起始终端与所述第二手势的起始终端不同，所述第一手势的终止终端与所述第二手势的终止终端不同，且所述第一终端判断所述第一手势与所述第二手势均为划动手势，所述第一手势的终止终端与所述第二手势的终止终端的触发时间的差值小于预设阈值，则触发传感器的手势类型为旋转手势。
16.一种终端，其特征在于，所述终端包括：
接收器，用于接收协同请求激活信号；
发射器，用于在所述接收器接收到协同请求激活信号时，向接收终端发送参数信息，以使所述接收终端根据接收到的参数信息记录参与获取手势信息的终端的排列方式，所述参与获取手势信息的终端包括全部终端或发送参数信息的终端，所述全部终端包括所述发送参数信息的终端和所述接收终端；所述发射器，还用于在检测到传感器被触发时，向所述接收终端发送检测到的传感器触发信息，以使所述接收终端根据所述记录的排列方式以及获取的传感器触发信息确定触发传感器的手势类型。
17.根据权利要求16所述的终端，其特征在于，所述发射器具体用于：
向所述接收终端发送设备配置参数，以使所述接收终端根据自身的设备配置参数、接收到的各个终端的设备配置参数以及所述全部终端的数量，将至少一种包含所述全部终端的排列方式显示在界面上供用户选择，并记录用户选择的排列方式。
18.根据权利要求16所述的终端，其特征在于，所述发射器具体用于：
向所述接收终端发送设备配置参数，以使所述接收终端根据接收到的各个终端的设备配置参数以及发送设备配置参数的终端的数量，将至少一种包含所述发送设备配置参数的终端的排列方式显示在界面上供用户选择，并记录用户选择的排列方式。
19.一种基于多终端协同的手势识别系统，其特征在于，所述系统包括：第一终端和至少一个第二终端；
所述第一终端是权利要求10至15任一所述的一种终端；
所述第二终端是权利要求16至18任一所述的一种终端。
CN201310746679.4A 2013-12-30 2013-12-30 一种基于多终端协同的手势识别方法、设备及系统 Active CN104750238B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201310746679.4A CN104750238B (zh) 2013-12-30 2013-12-30 一种基于多终端协同的手势识别方法、设备及系统
US14/567,253 US9817447B2 (en) 2013-12-30 2014-12-11 Method, device, and system for recognizing gesture based on multi-terminal collaboration
EP14197587.0A EP2902884B1 (en) 2013-12-30 2014-12-12 Method, device, and system for recognizing gesture based on multi-terminal collaboration
JP2014264604A JP2015130171A (ja) 2013-12-30 2014-12-26 多端末共同に基づいてジェスチャーを認識するための方法、デバイス、およびシステム
KR1020140193129A KR20150079460A (ko) 2013-12-30 2014-12-30 다중-단말 협업에 기초하여 제스처를 인식하는 방법, 장치, 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310746679.4A CN104750238B (zh) 2013-12-30 2013-12-30 一种基于多终端协同的手势识别方法、设备及系统

Publications (2)

Publication Number Publication Date
CN104750238A true CN104750238A (zh) 2015-07-01
CN104750238B CN104750238B (zh) 2018-10-02

Family

ID=52396348

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310746679.4A Active CN104750238B (zh) 2013-12-30 2013-12-30 一种基于多终端协同的手势识别方法、设备及系统

Country Status (5)

Country Link
US (1) US9817447B2 (zh)
EP (1) EP2902884B1 (zh)
JP (1) JP2015130171A (zh)
KR (1) KR20150079460A (zh)
CN (1) CN104750238B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105577923A (zh) * 2015-12-18 2016-05-11 深圳市金立通信设备有限公司 一种信息处理方法及终端
US10097948B2 (en) 2016-03-31 2018-10-09 Intel Corporation Point-and-connect bluetooth pairing
US10917767B2 (en) 2016-03-31 2021-02-09 Intel Corporation IOT device selection
US20180088671A1 (en) * 2016-09-27 2018-03-29 National Kaohsiung University Of Applied Sciences 3D Hand Gesture Image Recognition Method and System Thereof
US10732916B2 (en) * 2017-11-28 2020-08-04 Ncr Corporation Multi-device display processing

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050093868A1 (en) * 2003-10-30 2005-05-05 Microsoft Corporation Distributed sensing techniques for mobile devices
CN1894738A (zh) * 2003-12-19 2007-01-10 思比驰盖尔公司 作为显示设备的位置的函数的视觉数据的显示器
US20070124503A1 (en) * 2005-10-31 2007-05-31 Microsoft Corporation Distributed sensing techniques for mobile devices
US20080216125A1 (en) * 2007-03-01 2008-09-04 Microsoft Corporation Mobile Device Collaboration
CN101924675A (zh) * 2009-06-09 2010-12-22 三星电子株式会社 显示内容发送方向的发送内容的方法及使用该方法的装置
CN101930333A (zh) * 2009-12-03 2010-12-29 明基电通有限公司 多屏幕显示控制方法
JP2011048610A (ja) * 2009-08-27 2011-03-10 Jvc Kenwood Holdings Inc 画像表示システム、及び画像表示方法
CN102193629A (zh) * 2010-03-17 2011-09-21 索尼公司 信息处理设备、信息处理方法及程序
CN102739696A (zh) * 2011-04-01 2012-10-17 宏碁股份有限公司 可携式装置、数据传输系统及其相关显示共享方法
EP2579556A1 (en) * 2011-10-03 2013-04-10 Research In Motion Limited Method and apparatus pertaining to automated functionality based upon detected interaction between devices
CN103218105A (zh) * 2012-01-19 2013-07-24 联想(北京)有限公司 电子设备的处理方法、系统及电子设备
CN103259911A (zh) * 2012-02-17 2013-08-21 联想(北京)有限公司 一种电子设备关联方法及电子设备、多设备协同电子系统
CN103344959A (zh) * 2013-07-22 2013-10-09 乾行讯科（北京）科技有限公司 一种超声定位系统和具有定位功能的电子装置

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09138730A (ja) 1995-11-14 1997-05-27 Sharp Corp 情報入力処理装置
US6243074B1 (en) 1997-08-29 2001-06-05 Xerox Corporation Handedness detection for a physical manipulatory grammar
JP3638561B2 (ja) 2002-03-15 2005-04-13 株式会社東芝 マルチ画面設定方法
JP2006518507A (ja) 2003-02-19 2006-08-10 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ポータブル装置間でのコンテンツアイテムのアドホック共有のためのシステムと、そのインタラクション方法
US9207717B2 (en) 2010-10-01 2015-12-08 Z124 Dragging an application to a screen using the application manager
US7365736B2 (en) 2004-03-23 2008-04-29 Fujitsu Limited Customizable gesture mappings for motion controlled handheld devices
JP5229083B2 (ja) 2009-04-14 2013-07-03 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN101674364B (zh) 2009-09-28 2011-11-09 华为终端有限公司 一种无线屏幕拼接显示方法、移动通信终端和装置
US20110090155A1 (en) 2009-10-15 2011-04-21 Qualcomm Incorporated Method, system, and computer program product combining gestural input from multiple touch screens into one gestural input
JP4818427B2 (ja) 2009-12-22 2011-11-16 株式会社東芝 情報処理装置及び画面選択方法
US8539384B2 (en) 2010-02-25 2013-09-17 Microsoft Corporation Multi-screen pinch and expand gestures
US20110209058A1 (en) 2010-02-25 2011-08-25 Microsoft Corporation Multi-screen hold and tap gesture
US9454304B2 (en) 2010-02-25 2016-09-27 Microsoft Technology Licensing, Llc Multi-screen dual tap gesture
US8707174B2 (en) 2010-02-25 2014-04-22 Microsoft Corporation Multi-screen hold and page-flip gesture
US9075522B2 (en) 2010-02-25 2015-07-07 Microsoft Technology Licensing, Llc Multi-screen bookmark hold gesture
US20110209101A1 (en) 2010-02-25 2011-08-25 Hinckley Kenneth P Multi-screen pinch-to-pocket gesture
US8473870B2 (en) 2010-02-25 2013-06-25 Microsoft Corporation Multi-screen hold and drag gesture
US20110209089A1 (en) 2010-02-25 2011-08-25 Hinckley Kenneth P Multi-screen object-hold and page-change gesture
US8751970B2 (en) 2010-02-25 2014-06-10 Microsoft Corporation Multi-screen synchronous slide gesture
US9235268B2 (en) 2010-04-09 2016-01-12 Nokia Technologies Oy Method and apparatus for generating a virtual interactive workspace
JP5535751B2 (ja) 2010-04-30 2014-07-02 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 入力装置、入力プログラム、及び入力方法
EP2622443B1 (en) 2010-10-01 2022-06-01 Z124 Drag move gesture in user interface
US9052800B2 (en) 2010-10-01 2015-06-09 Z124 User interface with stacked application management
JP5282079B2 (ja) 2010-12-21 2013-09-04 ヤフー株式会社 マルチディスプレイシステム、端末、方法及びプログラム
TWI475468B (zh) 2011-03-23 2015-03-01 Acer Inc 可攜式裝置、資料傳輸系統及其相關顯示共享方法
JP5716502B2 (ja) 2011-04-06 2015-05-13 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
WO2013034070A1 (zh) 2011-09-05 2013-03-14 联想(北京)有限公司 显示方法、终端设备以及多终端设备系统
US8842057B2 (en) 2011-09-27 2014-09-23 Z124 Detail on triggers: transitional states
US8947378B2 (en) 2012-01-10 2015-02-03 Htc Corporation Portable electronic apparatus and touch sensing method
US9348365B2 (en) * 2012-11-22 2016-05-24 John Archie Gillis Modular computer units
US9086837B1 (en) * 2013-07-30 2015-07-21 Microstrategy Incorporated Collaboration sessions
US9635091B1 (en) * 2013-09-09 2017-04-25 Chad Dustin TILLMAN User interaction with desktop environment

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050093868A1 (en) * 2003-10-30 2005-05-05 Microsoft Corporation Distributed sensing techniques for mobile devices
CN1894738A (zh) * 2003-12-19 2007-01-10 思比驰盖尔公司 作为显示设备的位置的函数的视觉数据的显示器
US20070124503A1 (en) * 2005-10-31 2007-05-31 Microsoft Corporation Distributed sensing techniques for mobile devices
US20080216125A1 (en) * 2007-03-01 2008-09-04 Microsoft Corporation Mobile Device Collaboration
CN101924675A (zh) * 2009-06-09 2010-12-22 三星电子株式会社 显示内容发送方向的发送内容的方法及使用该方法的装置
JP2011048610A (ja) * 2009-08-27 2011-03-10 Jvc Kenwood Holdings Inc 画像表示システム、及び画像表示方法
CN101930333A (zh) * 2009-12-03 2010-12-29 明基电通有限公司 多屏幕显示控制方法
CN102193629A (zh) * 2010-03-17 2011-09-21 索尼公司 信息处理设备、信息处理方法及程序
CN102739696A (zh) * 2011-04-01 2012-10-17 宏碁股份有限公司 可携式装置、数据传输系统及其相关显示共享方法
EP2579556A1 (en) * 2011-10-03 2013-04-10 Research In Motion Limited Method and apparatus pertaining to automated functionality based upon detected interaction between devices
CN103218105A (zh) * 2012-01-19 2013-07-24 联想(北京)有限公司 电子设备的处理方法、系统及电子设备
CN103259911A (zh) * 2012-02-17 2013-08-21 联想(北京)有限公司 一种电子设备关联方法及电子设备、多设备协同电子系统
CN103344959A (zh) * 2013-07-22 2013-10-09 乾行讯科（北京）科技有限公司 一种超声定位系统和具有定位功能的电子装置

Also Published As

Publication number Publication date
EP2902884B1 (en) 2022-02-09
US20150186006A1 (en) 2015-07-02
EP2902884A1 (en) 2015-08-05
US9817447B2 (en) 2017-11-14
JP2015130171A (ja) 2015-07-16
CN104750238B (zh) 2018-10-02
KR20150079460A (ko) 2015-07-08

Similar Documents

Publication Publication Date Title
CN104750238A (zh) 一种基于多终端协同的手势识别方法、设备及系统
CN104748737A (zh) 一种多终端定位方法、相关设备及系统
CN104391625A (zh) 一种聊天内容显示方法和装置
CN109600315B (zh) 数据通道的流控方法和调整方法
CN109766071B (zh) 条形电子货架标签的显示调整方法及装置
CN106020428A (zh) 一种锁屏方法以及终端
CN104219067A (zh) 实现物联网终端快速配置的方法、用户终端和系统
CN103631482A (zh) 一种图标的显示方法和终端
CN104135776B (zh) 一种跨终端建立连接的方法、装置及终端设备
CN105791352A (zh) 应用的消息推送方法和系统
CN105468286A (zh) 一种基于移动终端操作状态栏的方法及移动终端
CN108776548A (zh) 基于红外触控屏的书写笔迹生成方法、系统及相关组件
CN104954480A (zh) 一种设备参数设置方法和装置
CN104935992A (zh) 遥控器学习的方法及装置
US20120194435A1 (en) Mouse and method for pairing the mouse with computer
CN105488965A (zh) 报警方法及装置
CN104796166A (zh) 一种无线配件唤醒方法和无线配件
CN104104899A (zh) 视频会议中信息传送的方法与装置
CN104267920A (zh) 用户识别方法、装置、系统及显示模式切换方法、装置
CN104335195A (zh) 输入解码器
CN105403221A (zh) 一种导航路线的生成方法及移动终端
CN104657095A (zh) 一种多显示器扩展方法及系统
CN104020863A (zh) 一种数据处理方法及电子设备
CN103294034A (zh) 用于工业现场的点检巡检记录系统
CN104363321A (zh) 一种移动终端拨号盘的操作方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant