CN106658123A - 基于触控遥控器的手势识别方法及装置 - Google Patents

基于触控遥控器的手势识别方法及装置 Download PDF

Info

Publication number
CN106658123A
CN106658123A CN201610899312.XA CN201610899312A CN106658123A CN 106658123 A CN106658123 A CN 106658123A CN 201610899312 A CN201610899312 A CN 201610899312A CN 106658123 A CN106658123 A CN 106658123A
Authority
CN
China
Prior art keywords
point
touch
distance
smoothing processing
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610899312.XA
Other languages
English (en)
Inventor
杨斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen TCL New Technology Co Ltd
Original Assignee
Shenzhen TCL New Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen TCL New Technology Co Ltd filed Critical Shenzhen TCL New Technology Co Ltd
Priority to CN201610899312.XA priority Critical patent/CN106658123A/zh
Priority to PCT/CN2016/112399 priority patent/WO2018068403A1/zh
Publication of CN106658123A publication Critical patent/CN106658123A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224Touch pad or touch panel provided on the remote control

Abstract

本发明公开了一种基于触控遥控器的手势识别方法,包括以下步骤:触摸操作过程中,根据实时采集的触摸运动轨迹上的点位信息对触摸运动轨迹进行平滑处理,并按照平滑处理后的触摸运动轨迹计算触摸距离,以判断所述触摸距离是否达到阈值距离;当所述触摸距离达到阈值距离时,根据平滑处理后的触摸运动轨迹进行手势识别,并输出手势识别结果。本发明还公开了一种基于触控遥控器的手势识别装置。本发明在触摸运动的过程中即进行手势识别,从而在用户滑动触摸板的过程中,智能电视同步响应触控遥控器的触摸动作,反应迅速。

Description

基于触控遥控器的手势识别方法及装置
技术领域
本发明涉及遥控技术领域,尤其涉及一种基于触控遥控器的手势识别方法及装置。
背景技术
随着科学技术的不断发展,电子技术也得到了飞速的发展,电子产品的种类也越来越多,人们也享受到了科技发展带来的各种便利。随着触控技术的普及与应用,越来越多的用户在使用触控设备,使得人机交互更人性化和智能化。比如,控制智能电视的遥控器,已经逐步由触控式遥控器替代传统的按键式遥控器。
但是,现有的触控式遥控器为了提升触控手势识别的准确率,往往是等用户手指抬起结束滑动动作时,才进行软件算法处理,再将识别的手势动作表示的控制信号发送给智能电视。
由于触控遥控器传输消耗时间一般20毫秒,手指操作时间从180毫秒到800毫秒不等,故从用户滑动触摸板到智能电视界面响应操作命令,耗时至少在200毫秒以上,如果手指操控比较慢,则响应时间会更长。用户必然感觉智能电视响应遥控器的触摸动作很迟钝,严重影响用户体验。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种基于触控遥控器的手势识别方法及装置,旨在解决现有触控遥控器需等用户手指抬起结束滑动动作时,才进行手势动作识别,使智能电视响应遥控器的触摸动作很迟钝的问题。
为实现上述目的,本发明提供的一种基于触控遥控器的手势识别方法,包括以下步骤:
步骤A、触摸操作过程中,根据实时采集的触摸运动轨迹上的点位信息对触摸运动轨迹进行平滑处理,并按照平滑处理后的触摸运动轨迹计算触摸距离,以判断所述触摸距离是否达到阈值距离;
步骤B、当所述触摸距离达到阈值距离时,根据平滑处理后的触摸运动轨迹进行手势识别,并输出手势识别结果。
优选地,所述步骤A包括:
步骤A1、在采集到第二个点的点位信息时,按照预设规则从第一个点和第二个点的连线上确定一个点作为平滑处理后的点,并将该平滑处理后的点作为平滑处理轨迹的起点;
步骤A2、按照预设规则从后续采集的点与相邻的前一个点的连线上确定一个点作为平滑处理后的点,并将该平滑处理后的点作为平滑处理轨迹的中间点;
步骤A3、计算中间点至起点的距离,将该距离作为触摸距离;
步骤A4、判断触摸距离是否达到阈值距离,当触摸距离未达到阈值距离时,返回步骤A2,当触摸距离达到阈值距离时,转入步骤B。
优选地,所述步骤A3之后,还包括:
步骤A5、当中间点与起点的距离小于阈值距离时,根据该中间点与相邻的前一个平滑处理后的点预测平滑处理轨迹上的下一个点;
步骤A6、计算预测的点至起点的距离,将该距离作为触摸距离;
步骤A7、判断触摸距离是否达到阈值距离,当触摸距离未达到阈值距离时,返回步骤A2,当触摸距离达到阈值距离时,转入步骤B。
优选地,所述步骤B包括:
步骤B1、计算所述起点到预测的点的连线与基准线形成的角度,将该角度作为直线运动角度;
步骤B2、当所述直线运动角度处于第一角度范围内时,则判断所述触摸运动为上移,当所述直线运动角度处于第二角度范围内时,则判断所述触摸运动为左移,当所述直线运动角度处于第三角度范围内时,则判断所述触摸运动为下移,当所述直线运动角度处于第四角度范围内时,则判断所述触摸运动为右移。
优选地,所述方法还包括:
步骤C、当触摸距离达到阈值距离时,计算起点至预测的点的个数为N,将在触摸运动轨迹上采集的第N+1个点作为下一段触摸运动轨迹的第一个点。
此外,为实现上述目的,本发明还提供一种基于触控遥控器的手势识别装置,包括:
计算模块,用于触摸操作过程中,根据实时采集的触摸运动轨迹上的点位信息对触摸运动轨迹进行平滑处理,并按照平滑处理后的触摸运动轨迹计算触摸距离,以判断所述触摸距离是否达到阈值距离;
识别模块,用于当所述触摸距离达到阈值距离时,根据平滑处理后的触摸运动轨迹进行手势识别,并输出手势识别结果。
优选地,所述计算模块包括:
平滑单元,用于在采集到第二个点的点位信息时,按照预设规则从第一个点和第二个点的连线上确定一个点作为平滑处理后的点,并将该平滑处理后的点作为平滑处理轨迹的起点;及
按照预设规则从后续采集的点与相邻的前一个点的连线上确定一个点作为平滑处理后的点,并将该平滑处理后的点作为平滑处理轨迹的中间点;
计算单元,用于计算中间点至起点的距离,将该距离作为触摸距离;
比较单元,用于判断触摸距离是否达到阈值距离。
优选地,所述计算模块还包括预测单元;
所述预测单元,用于当中间点与起点的距离小于阈值距离时,根据该中间点与相邻的前一个平滑处理后的点预测平滑处理轨迹上的下一个点;
所述计算单元,还用于计算预测的点至起点的距离,将该距离作为触摸距离;
所述比较单元,还用于判断触摸距离是否达到阈值距离。
优选地,所述识别模块包括:
角度单元,用于计算所述起点到预测的点的连线与基准线形成的角度,将该角度作为直线运动角度;
判断单元,用于当所述直线运动角度处于第一角度范围内时,则判断所述触摸运动为上移,当所述直线运动角度处于第二角度范围内时,则判断所述触摸运动为左移,当所述直线运动角度处于第三角度范围内时,则判断所述触摸运动为下移,当所述直线运动角度处于第四角度范围内时,则判断所述触摸运动为右移。
优选地,所述基于触控遥控器的手势识别装置还包括:
起点模块,用于当触摸距离达到阈值距离时,计算起点至预测的点的个数为N,将在触摸运动轨迹上采集的第N+1个点作为下一段触摸运动轨迹的第一个点。
本发明在触摸操作过程中,根据实时采集的触摸运动轨迹上的点位信息对触摸运动轨迹进行平滑处理,并按照平滑处理后的触摸运动轨迹计算触摸距离,以判断所述触摸距离是否达到阈值距离;当所述触摸距离达到阈值距离时,根据平滑处理后的触摸运动轨迹进行手势识别,并输出手势识别结果。触摸运动的过程中,当平滑处理后的触摸运动轨迹达到阈值距离时,即进行手势识别,从而在用户滑动触摸板的过程中,智能电视同步响应触控遥控器的触摸动作,反应迅速。
附图说明
图1为本发明基于触控遥控器的手势识别方法的第一实施例的流程示意图;
图2为图1中步骤S10第一实施例的细化流程示意图;
图3为本发明一实施例对触摸运动轨迹平滑处理的示意图;
图4为图1中步骤S10第二实施例的细化流程示意图;
图5为本发明一实施例判断触摸距离是否达到阈值距离的示意图;
图6为图1中步骤S20一实施例的细化流程示意图;
图7为本发明基于触控遥控器的手势识别方法的第二实施例的流程示意图;
图8为本发明基于触控遥控器的手势识别装置的第一实施例的功能模块示意图;
图9为图8中计算模块第一实施例的细化功能模块示意图;
图10为图8中计算模块第二实施例的细化功能模块示意图;
图11为图8中识别模块一实施例的细化功能模块示意图;
图12为本发明基于触控遥控器的手势识别装置的第二实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例的主要解决方案是:触摸操作过程中,根据实时采集的触摸运动轨迹上的点位信息对触摸运动轨迹进行平滑处理,并按照平滑处理后的触摸运动轨迹计算触摸距离,以判断所述触摸距离是否达到阈值距离;当所述触摸距离达到阈值距离时,根据平滑处理后的触摸运动轨迹进行手势识别,并输出手势识别结果。触摸运动的过程中,当平滑处理后的触摸运动轨迹达到阈值距离时,即进行手势识别,从而在用户滑动触摸板的过程中,智能电视同步响应触控遥控器的触摸动作,反应迅速。
由于现有触控遥控器需等用户手指抬起结束滑动动作时,才进行手势动作识别,使智能电视响应触控遥控器的触摸动作很迟钝。
基于上述问题,本发明提供一种基于触控遥控器的手势识别方法。
参照图1,图1为本发明基于触控遥控器的手势识别方法的第一实施例的流程示意图。
在一实施例中,所述基于触控遥控器的手势识别方法包括:
步骤S10,触摸操作过程中,根据实时采集的触摸运动轨迹上的点位信息对触摸运动轨迹进行平滑处理,并按照平滑处理后的触摸运动轨迹计算触摸距离,以判断所述触摸距离是否达到阈值距离;
所述触控遥控器包括触摸板,所述触摸板还可以是触摸屏,可以为电阻式触摸板或电容感应式触摸板等各种形式的能够检测触摸点的触摸板。在触控遥控器处于正常待机状态时,每当用户用手指触碰触摸板时,触控遥控器对触摸点的数量进行检测,并根据检测到的触摸点的先后顺序获取用户手指滑动形成的触摸运动轨迹。由于检测到的触摸点可能存在干扰或跳点,因而得到的触摸运动轨迹可能会非常不平滑,大大降低手势识别的速度及准确率,因此,本发明一实施例对触摸运动轨迹进行平滑处理,以提高手势识别的速度及准确率。平滑处理的方式有很多,例如,线性平滑、函数拟合平滑及指数平滑等,并按照平滑处理后的触摸运动轨迹计算触摸距离,以判断该触摸运动的距离是否达到可进行手势识别的距离。
参照图2,图2为图1中步骤S10第一实施例的细化流程示意图。
步骤S11,在采集到第二个点的点位信息时,按照预设规则从第一个点和第二个点的连线上确定一个点作为平滑处理后的点,并将该平滑处理后的点作为平滑处理轨迹的起点;
步骤S12,按照预设规则从后续采集的点与相邻的前一个点的连线上确定一个点作为平滑处理后的点,并将该平滑处理后的点作为平滑处理轨迹的中间点;
步骤S13,计算中间点至起点的距离,将该距离作为触摸距离;
步骤S14、判断触摸距离是否达到阈值距离,当触摸距离未达到阈值距离时,返回步骤S12,当触摸距离达到阈值距离时,转入步骤S20。
如图3所示,为了提高平滑处理速度,本发明一实施例采用线性平滑作为平滑处理的预设规则,且在采集到两个点的点位信息时,即将采集的第一个点和第二个点连线上确定的一个点作为平滑处理后的点,并将该平滑处理后的点作为平滑处理轨迹的起点;将后续采集的点与相邻的前一个点连线上确定的一个点作为平滑处理后的点,并将该平滑处理后的点作为平滑处理轨迹的中间点;优选地,以相邻两个点的中点作为平滑处理后的点。在采集点位信息的过程中,实时进行平滑处理,在得到中间点时,即计算该中间点与起点的距离,将该距离作为触摸距离,以判断该触摸运动的距离是否达到可进行手势识别的距离;当触摸距离未达到阈值距离时,继续对后续采集的点进行平滑处理得到平滑处理轨迹的中间点,并计算触摸距离,直到触摸距离达到阈值距离时,表示达到进行手势识别的条件,即可进行手势识别。
参照图4,图4为图1中步骤S10第二实施例的细化流程示意图。基于上述步骤S10的第一实施例,所述步骤S10还包括:
步骤S15,当中间点与起点的距离小于阈值距离时,根据该中间点与相邻的前一个平滑处理后的点预测平滑处理轨迹上的下一个点;
步骤S16,计算预测的点至起点的距离,将该距离作为触摸距离;
步骤S17、判断触摸距离是否达到阈值距离,当触摸距离未达到阈值距离时,返回步骤S12,当触摸距离达到阈值距离时,转入步骤S20。
如前所述,平滑处理后的点都是对相邻两个点进行平滑处理后得到的,例如,采集到点P0和P1时,得到平滑处理轨迹的起点Q0,采集到点P2时,才能得到中间点Q1,依此类推,采集到点P8时,才能得到中间点Q7,即得到平滑处理后的点的时间总是滞后于采集到相同数量点位信息的时间,由于在采集到一两个点时,对触摸运动轨迹的预测准确性较低,因此,需要根据实际采集到的点确定平滑处理后的触摸运动轨迹以进行手势识别,而当至少得到两个平滑处理后的点时,可根据最新得到的中间点与相邻的前一个平滑处理后的点预测平滑处理轨迹上的下一个点,例如,在最新得到的中间点与相邻的前一个平滑处理后的点连线的延长线上取预测的点,在本发明一实施例中,如图3所示,在采集到点P8时,得到中间点Q7,由于中间点Q7至起点Q0的距离小于阈值距离,则在中间点Q6至中间点Q7的连线的延长线上取一个点作为预测的点Q8,优选地,预测的点Q8至中间点Q7的距离与中间点Q7至中间点Q6的距离相同,并计算预测的点Q8至起点Q0的距离,将该距离作为触摸距离,以判断该触摸运动的距离是否达到可进行手势识别的距离。当预测的点至起点的距离小于阈值距离时,该预测的点将被舍弃,例如,预测的点Q8至起点Q0的距离小于阈值距离时,该预测的点Q8被舍弃,在采集到点P9时,得到中间点Q8,并继续计算触摸距离和/或预测平滑处理轨迹上的下一个点。
步骤S20,当所述触摸距离达到阈值距离时,根据平滑处理后的触摸运动轨迹进行手势识别,并输出手势识别结果。
所述阈值距离即进行手势识别所需的最小距离,当所述触摸距离达到阈值距离时,根据平滑处理后的触摸运动轨迹进行手势识别,如图5所示,以平滑处理轨迹上的起点为圆心,以阈值距离MOV_LIMIT(例如,为80或90个点等)为半径作圆,当中间点或预测的点超出了该圆的范围,即表示所述触摸距离达到阈值距离,当然,也可以采集的第一个点为圆心。根据超出该圆的范围的第一个点与圆心的连线在圆中的位置,识别该触摸运动的方向是左移、右移、上移或下移,并输出手势识别结果。
参照图6,图6为图1中步骤S20一实施例的细化流程示意图。
步骤S21,计算所述起点到预测的点的连线与基准线形成的角度,将该角度作为直线运动角度;
步骤S22,当所述直线运动角度处于第一角度范围内时,则判断所述触摸运动为上移,当所述直线运动角度处于第二角度范围内时,则判断所述触摸运动为左移,当所述直线运动角度处于第三角度范围内时,则判断所述触摸运动为下移,当所述直线运动角度处于第四角度范围内时,则判断所述触摸运动为右移。
当触摸距离达到阈值距离时,以起点到预测的点的连线与基准线形成的角度,该角度即为触摸操作过程中的直线运动角度,可以在触摸板上建立二维坐标,并选定某一方向为基准线,即二维坐标中表示0°的线,将起点到预测的点的连线与基准线间形成的角度作为直线运动角度;当然,也可以根据起点与预测的点的坐标信息,即可计算起点到预测的点的直线运动角度;触摸运动的方向被分为左移、右移、上移及下移,而从图5中可以看出,触摸运动的方向是任意,但总会处于360°范围内,因此,在进行方位划分时,将水平向左及两侧一定角度范围作为左移,将水平向右及两侧一定角度范围作为右移,将竖直向上及两侧一定角度范围作为上移,将竖直向下及两侧一定角度范围作为下移,本发明一实施例以水平向右表示0°或360°,将45°至135°划分为上移,将135°至225°划分为左移,将225°至315°划分为下移,将0°至45°及315°至360°划分为右移,使每一个方向的触摸运动均可以识别出是左移、右移、上移或下移。
本实施例在采集触摸运动轨迹上的点位信息时,实时对触摸运动轨迹进行平滑处理,当触摸距离达到阈值距离时,即进行手势识别,从而在用户滑动触摸板的过程中,智能电视同步响应触控遥控器的触摸动作,反应迅速。
参照图7,图7为本发明基于触控遥控器的手势识别方法的第二实施例的流程示意图。基于上述基于触控遥控器的手势识别方法的第一实施例,所述方法还包括:
步骤S30,当触摸距离达到阈值距离时,计算起点至预测的点的个数为N,将在触摸运动轨迹上采集的第N+1个点作为下一段触摸运动轨迹的第一个点。
当触摸距离达到阈值距离时,根据平滑处理后的触摸运动轨迹进行手势识别,并输出手势识别结果,表明完成了一个阶段的手势识别;在实际使用过程中,用户的一个手势动作形成的触摸运动轨迹长度不一,很可能在达到阈值距离时还没结束,在用户手指继续划动的过程中甚至可能出现转弯甚至换向等情况,为了使智能电视屏幕切换的情况与用户手指划动的情况保持一致,需要持续对触摸运动进行识别;本发明一实施例对采集的点数及进行平滑处理得到的点数进行计算,当触摸距离达到阈值距离时,计算起点至预测的点的个数为N,将触摸运动轨迹上获取的第N+1个点作为下一段触摸运动轨迹的第一个点,继续对触摸运动轨迹进行平滑处理、手势识别及输出手势识别结果等。当然,如果平滑处理后得到的中间点与起点的距离即达到阈值距离,不存在预测的点,则计算起点至该中间点的个数为N,将触摸运动轨迹上获取的第N+1个点作为下一段触摸运动轨迹的第一个点。
本实施例在触摸运动的整个过程中,持续对触摸运动轨迹进行平滑处理、手势识别并输出手势识别结果,确定整个触摸运动的手势动作,使智能电视跟随用户手指划动的情况进行屏幕切换。
为了更好地说明上述触控遥控器的手势识别方案,以下将通过一个实例进行具体解释。
触控遥控器实时将采集的触摸运动轨迹上的点位信息传输到智能电视的机顶盒,触控遥控器与机顶盒是通过蓝牙进行信息传输的,由于蓝牙协议规定每7ms发送一次信息,因此设置触控遥控器每7ms采集一次触摸运动轨迹上的点位信息,由于点位信息从触控遥控器传输到机顶盒还需要大概1至2ms时间,而触控遥控器需要等前面的点位信息传输完成后才能再次采集并传输点位信息,因此,实际间隔8至12ms才采集一次点位信息。在每次采集点位信息时,触摸板上均有触摸点,则表示触摸运动持续进行,反之则表示一次触摸运动结束。在机顶盒中对触摸运动轨迹进行平滑处理,以采集的点的中点作为平滑处理后的点,可预先对触摸板上的每一个触摸点进行坐标标号,则平滑处理后的点也可由触摸板上的坐标表示,下表1给出了采集到的点及经过平滑处理后的点(包括预测的点)的信息。
表1采集到的点及经过平滑处理后的点(包括预测的点)的信息
表1中的时间是在触摸板上采集到该点时的系统时间,设置阈值距离MOV_LIMIT的值为90,在采集到P0和P1时,得到平滑处理轨迹的起点Q0,采集到P2时,得到中间点Q1,同时计算中间点Q1至起点Q0的距离,从上表可知中间点Q1至起点Q0的距离为11<90,从起点Q0至中间点Q1的延长线上取预测的点Q2,预测的点Q2至中间点Q1的距离与中间点Q1至起点Q0的距离相同,经计算,从预测的点Q2至起点Q0的距离为22<90,随着触摸运动的持续进行,不断的采集到点P2、P3、P4及P5,并得到中间点Q2、Q3和Q4,及预测的点Q3、Q4和Q5,由于中间点Q2、Q3、Q4及预测的点Q3、Q4和Q5至起点Q0的距离均小于90,在采集到点P6时,得到中间点Q5,中间点Q5至起点Q0的距离仍小于90,因此还不能进行手势识别,而根据中间点Q4和Q5得到预测的点Q6的坐标为(138,235),预测的点Q6至起点Q0的距离为113>90,达到进行手势识别的条件,计算起点Q0至预测的点Q6的直线运动角度,由Sinα的计算公式可知,以预测的点Q6至起点Q0的距离113为斜边,以预测的点Q6至起点Q0沿Y轴的距离3为直角三角形的对边,即可计算得出α的角度为1.5°,即从P0至P6触摸运动的方向为右移。触摸运动持续进行,以P7为下一段触摸运动轨迹的第一个点,重复上述过程,得到平滑处理轨迹的起点Q7、中间点Q8及预测的点Q9,由于中间点Q8及预测的点Q9至Q7的距离均小于90,因此还不能进行手势识别,在采集到P10时,得到中间点Q9,同时计算中间点Q9至起点Q7的距离,从上表可知中间点Q9至起点Q7的距离为94>90,达到进行手势识别的条件,计算起点Q7至预测的点Q9的直线运动角度为14.9°,即从P7至P10触摸运动的方向为右移,并以P10为下一段触摸运动轨迹的第一个点,重复上述过程。
本发明进一步提供一种基于触控遥控器的手势识别装置。
参照图8,图8为本发明基于触控遥控器的手势识别装置的第一实施例的功能模块示意图。
在一实施例中,所述基于触控遥控器的手势识别装置包括:计算模块10及识别模块20。
所述计算模块10,用于触摸操作过程中,根据实时采集的触摸运动轨迹上的点位信息对触摸运动轨迹进行平滑处理,并按照平滑处理后的触摸运动轨迹计算触摸距离,以判断所述触摸距离是否达到阈值距离;
所述触控遥控器包括触摸板,所述触摸板还可以是触摸屏,可以为电阻式触摸板或电容感应式触摸板等各种形式的能够检测触摸点的触摸板。在触控遥控器处于正常待机状态时,每当用户用手指触碰触摸板时,触控遥控器对触摸点的数量进行检测,并根据检测到的触摸点的先后顺序获取用户手指滑动形成的触摸运动轨迹。由于检测到的触摸点可能存在干扰或跳点,因而得到的触摸运动轨迹可能会非常不平滑,大大降低手势识别的速度及准确率,因此,本发明一实施例对触摸运动轨迹进行平滑处理,以提高手势识别的速度及准确率。平滑处理的方式有很多,例如,线性平滑、函数拟合平滑及指数平滑等,并按照平滑处理后的触摸运动轨迹计算触摸距离,以判断该触摸运动的距离是否达到可进行手势识别的距离。
参照图9,图9为图8中计算模块10第一实施例的细化功能模块示意图。所述计算模块10包括:平滑单元11、计算单元12及比较单元13。
所述平滑单元11,用于在采集到第二个点的点位信息时,按照预设规则从第一个点和第二个点的连线上确定一个点作为平滑处理后的点,并将该平滑处理后的点作为平滑处理轨迹的起点;及
按照预设规则从后续采集的点与相邻的前一个点的连线上确定一个点作为平滑处理后的点,并将该平滑处理后的点作为平滑处理轨迹的中间点;
所述计算单元12,用于计算中间点至起点的距离,将该距离作为触摸距离;
所述比较单元13,用于判断触摸距离是否达到阈值距离。
如图3所示,为了提高平滑处理速度,本发明一实施例采用线性平滑作为平滑处理的预设规则,且在采集到两个点的点位信息时,即将采集的第一个点和第二个点连线上确定的一个点作为平滑处理后的点,并将该平滑处理后的点作为平滑处理轨迹的起点;将后续采集的点与相邻的前一个点连线上确定的一个点作为平滑处理后的点,并将该平滑处理后的点作为平滑处理轨迹的中间点;优选地,以相邻两个点的中点作为平滑处理后的点。在采集点位信息的过程中,实时进行平滑处理,在得到中间点时,即计算该中间点与起点的距离,将该距离作为触摸距离,以判断该触摸运动的距离是否达到可进行手势识别的距离;当触摸距离未达到阈值距离时,继续对后续采集的点进行平滑处理得到平滑处理轨迹的中间点,并计算触摸距离,直到触摸距离达到阈值距离时,表示达到进行手势识别的条件,即可进行手势识别。
参照图10,图10为图8中计算模块10第二实施例的细化功能模块示意图。基于上述计算模块10的第一实施例,所述计算模块10还包括:预测单元14。
所述预测单元14,用于当中间点与起点的距离小于阈值距离时,根据该中间点与相邻的前一个平滑处理后的点预测平滑处理轨迹上的下一个点;
所述计算单元12,还用于计算预测的点至起点的距离,将该距离作为触摸距离;
所述比较单元13,还用于判断触摸距离是否达到阈值距离。
如前所述,平滑处理后的点都是对相邻两个点进行平滑处理后得到的,例如,采集到点P0和P1时,得到平滑处理轨迹的起点Q0,采集到点P2时,才能得到中间点Q1,依此类推,采集到点P8时,才能得到中间点Q7,即得到平滑处理后的点的时间总是滞后于采集到相同数量点位信息的时间,由于在采集到一两个点时,对触摸运动轨迹的预测准确性较低,因此,需要根据实际采集到的点确定平滑处理后的触摸运动轨迹以进行手势识别,而当至少得到两个平滑处理后的点时,可根据最新得到的中间点与相邻的前一个平滑处理后的点预测平滑处理轨迹上的下一个点,例如,在最新得到的中间点与相邻的前一个平滑处理后的点连线的延长线上取预测的点,在本发明一实施例中,如图3所示,在采集到点P8时,得到中间点Q7,由于中间点Q7至起点Q0的距离小于阈值距离,则在中间点Q6至中间点Q7的连线的延长线上取一个点作为预测的点Q8,优选地,预测的点Q8至中间点Q7的距离与中间点Q7至中间点Q6的距离相同,并计算预测的点Q8至起点Q0的距离,将该距离作为触摸距离,以判断该触摸运动的距离是否达到可进行手势识别的距离。当预测的点至起点的距离小于阈值距离时,该预测的点将被舍弃,例如,预测的点Q8至起点Q0的距离小于阈值距离时,该预测的点Q8被舍弃,在采集到点P9时,得到中间点Q8,并继续计算触摸距离和/或预测平滑处理轨迹上的下一个点。
所述识别模块20,用于当所述触摸距离达到阈值距离时,根据平滑处理后的触摸运动轨迹进行手势识别,并输出手势识别结果。
所述阈值距离即进行手势识别所需的最小距离,当所述触摸距离达到阈值距离时,根据平滑处理后的触摸运动轨迹进行手势识别,如图5所示,以平滑处理轨迹上的起点为圆心,以阈值距离MOV_LIMIT(例如,为80或90个点等)为半径作圆,当中间点或预测的点超出了该圆的范围,即表示所述触摸距离达到阈值距离,当然,也可以采集的第一个点为圆心。根据超出该圆的范围的第一个点与圆心的连线在圆中的位置,识别该触摸运动的方向是左移、右移、上移或下移,并输出手势识别结果。
参照图11,图11为图8中识别模块20一实施例的细化功能模块示意图。所述识别模块20包括:角度单元21及判断单元22。
所述角度单元21,用于计算所述起点到预测的点的连线与基准线形成的角度,将该角度作为直线运动角度;
所述判断单元22,用于当所述直线运动角度处于第一角度范围内时,则判断所述触摸运动为上移,当所述直线运动角度处于第二角度范围内时,则判断所述触摸运动为左移,当所述直线运动角度处于第三角度范围内时,则判断所述触摸运动为下移,当所述直线运动角度处于第四角度范围内时,则判断所述触摸运动为右移。
当触摸距离达到阈值距离时,以起点到预测的点的连线与基准线形成的角度,该角度即为触摸操作过程中的直线运动角度,可以在触摸板上建立二维坐标,并选定某一方向为基准线,即二维坐标中表示0°的线,将起点到预测的点的连线与基准线间形成的角度作为直线运动角度;当然,也可以根据起点与预测的点的坐标信息,即可计算起点到预测的点的直线运动角度;触摸运动的方向被分为左移、右移、上移及下移,而从图5中可以看出,触摸运动的方向是任意,但总会处于360°范围内,因此,在进行方位划分时,将水平向左及两侧一定角度范围作为左移,将水平向右及两侧一定角度范围作为右移,将竖直向上及两侧一定角度范围作为上移,将竖直向下及两侧一定角度范围作为下移,本发明一实施例以水平向右表示0°或360°,将45°至135°划分为上移,将135°至225°划分为左移,将225°至315°划分为下移,将0°至45°及315°至360°划分为右移,使每一个方向的触摸运动均可以识别出是左移、右移、上移或下移。
本实施例在采集触摸运动轨迹上的点位信息时,实时对触摸运动轨迹进行平滑处理,当触摸距离达到阈值距离时,即进行手势识别,并输出手势识别结果,使得用户滑动触摸板的过程中,智能电视立即响应触控遥控器的触摸动作,反应迅速。
参照图12,图12为本发明基于触控遥控器的手势识别装置的第二实施例的功能模块示意图。所述基于触控遥控器的手势识别装置还包括起点模块30。
所述起点模块30,用于当触摸距离达到阈值距离时,计算起点至预测的点的个数为N,将在触摸运动轨迹上采集的第N+1个点作为下一段触摸运动轨迹的第一个点。
当触摸距离达到阈值距离时,根据平滑处理后的触摸运动轨迹进行手势识别,并输出手势识别结果,表明完成了一个阶段的手势识别;在实际使用过程中,用户的一个手势动作形成的触摸运动轨迹长度不一,很可能在达到阈值距离时还没结束,在用户手指继续划动的过程中甚至可能出现转弯甚至换向等情况,为了使智能电视屏幕切换的情况与用户手指划动的情况保持一致,需要持续对触摸运动进行识别;本发明一实施例对采集的点数及进行平滑处理得到的点数进行计算,当触摸距离达到阈值距离时,计算起点至预测的点的个数为N,将触摸运动轨迹上获取的第N+1个点作为下一段触摸运动轨迹的第一个点,继续对触摸运动轨迹进行平滑处理、手势识别及输出手势识别结果等。当然,如果平滑处理后得到的中间点与起点的距离即达到阈值距离,不存在预测的点,则计算起点至该中间点的个数为N,将触摸运动轨迹上获取的第N+1个点作为下一段触摸运动轨迹的第一个点。
本实施例在触摸运动的整个过程中,持续对触摸运动轨迹进行平滑处理、手势识别并输出手势识别结果,确定整个触摸运动的手势动作,使智能电视跟随用户手指划动的情况进行屏幕切换。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于触控遥控器的手势识别方法,其特征在于,包括以下步骤:
步骤A、触摸操作过程中,根据实时采集的触摸运动轨迹上的点位信息对触摸运动轨迹进行平滑处理,并按照平滑处理后的触摸运动轨迹计算触摸距离,以判断所述触摸距离是否达到阈值距离;
步骤B、当所述触摸距离达到阈值距离时,根据平滑处理后的触摸运动轨迹进行手势识别,并输出手势识别结果。
2.如权利要求1所述的基于触控遥控器的手势识别方法,其特征在于,所述步骤A包括:
步骤A1、在采集到第二个点的点位信息时,按照预设规则从第一个点和第二个点的连线上确定一个点作为平滑处理后的点,并将该平滑处理后的点作为平滑处理轨迹的起点;
步骤A2、按照预设规则从后续采集的点与相邻的前一个点的连线上确定一个点作为平滑处理后的点,并将该平滑处理后的点作为平滑处理轨迹的中间点;
步骤A3、计算中间点至起点的距离,将该距离作为触摸距离;
步骤A4、判断触摸距离是否达到阈值距离,当触摸距离未达到阈值距离时,返回步骤A2,当触摸距离达到阈值距离时,转入步骤B。
3.如权利要求2所述的基于触控遥控器的手势识别方法,其特征在于,所述步骤A3之后,还包括:
步骤A5、当中间点与起点的距离小于阈值距离时,根据该中间点与相邻的前一个平滑处理后的点预测平滑处理轨迹上的下一个点;
步骤A6、计算预测的点至起点的距离,将该距离作为触摸距离;
步骤A7、判断触摸距离是否达到阈值距离,当触摸距离未达到阈值距离时,返回步骤A2,当触摸距离达到阈值距离时,转入步骤B。
4.如权利要求3所述的基于触控遥控器的手势识别方法,其特征在于,所述步骤B包括:
步骤B1、计算所述起点到预测的点的连线与基准线形成的角度,将该角度作为直线运动角度;
步骤B2、当所述直线运动角度处于第一角度范围内时,则判断所述触摸运动为上移,当所述直线运动角度处于第二角度范围内时,则判断所述触摸运动为左移,当所述直线运动角度处于第三角度范围内时,则判断所述触摸运动为下移,当所述直线运动角度处于第四角度范围内时,则判断所述触摸运动为右移。
5.如权利要求3或4所述的基于触控遥控器的手势识别方法,其特征在于,所述方法还包括:
步骤C、当触摸距离达到阈值距离时,计算起点至预测的点的个数为N,将在触摸运动轨迹上采集的第N+1个点作为下一段触摸运动轨迹的第一个点。
6.一种基于触控遥控器的手势识别装置,其特征在于,包括:
计算模块,用于触摸操作过程中,根据实时采集的触摸运动轨迹上的点位信息对触摸运动轨迹进行平滑处理,并按照平滑处理后的触摸运动轨迹计算触摸距离,以判断所述触摸距离是否达到阈值距离;
识别模块,用于当所述触摸距离达到阈值距离时,根据平滑处理后的触摸运动轨迹进行手势识别,并输出手势识别结果。
7.如权利要求6所述的基于触控遥控器的手势识别装置,其特征在于,所述计算模块包括:
平滑单元,用于在采集到第二个点的点位信息时,按照预设规则从第一个点和第二个点的连线上确定一个点作为平滑处理后的点,并将该平滑处理后的点作为平滑处理轨迹的起点;及
按照预设规则从后续采集的点与相邻的前一个点的连线上确定一个点作为平滑处理后的点,并将该平滑处理后的点作为平滑处理轨迹的中间点;
计算单元,用于计算中间点至起点的距离,将该距离作为触摸距离;
比较单元,用于判断触摸距离是否达到阈值距离。
8.如权利要求7所述的基于触控遥控器的手势识别装置,其特征在于,所述计算模块还包括预测单元;
所述预测单元,用于当中间点与起点的距离小于阈值距离时,根据该中间点与相邻的前一个平滑处理后的点预测平滑处理轨迹上的下一个点;
所述计算单元,还用于计算预测的点至起点的距离,将该距离作为触摸距离;
所述比较单元,还用于判断触摸距离是否达到阈值距离。
9.如权利要求8所述的基于触控遥控器的手势识别装置,其特征在于,所述识别模块包括:
角度单元,用于计算所述起点到预测的点的连线与基准线形成的角度,将该角度作为直线运动角度;
判断单元,用于当所述直线运动角度处于第一角度范围内时,则判断所述触摸运动为上移,当所述直线运动角度处于第二角度范围内时,则判断所述触摸运动为左移,当所述直线运动角度处于第三角度范围内时,则判断所述触摸运动为下移,当所述直线运动角度处于第四角度范围内时,则判断所述触摸运动为右移。
10.如权利要求8或9所述的基于触控遥控器的手势识别装置,其特征在于,所述基于触控遥控器的手势识别装置还包括:
起点模块,用于当触摸距离达到阈值距离时,计算起点至预测的点的个数为N,将在触摸运动轨迹上采集的第N+1个点作为下一段触摸运动轨迹的第一个点。
CN201610899312.XA 2016-10-14 2016-10-14 基于触控遥控器的手势识别方法及装置 Pending CN106658123A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610899312.XA CN106658123A (zh) 2016-10-14 2016-10-14 基于触控遥控器的手势识别方法及装置
PCT/CN2016/112399 WO2018068403A1 (zh) 2016-10-14 2016-12-27 基于触控遥控器的手势识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610899312.XA CN106658123A (zh) 2016-10-14 2016-10-14 基于触控遥控器的手势识别方法及装置

Publications (1)

Publication Number Publication Date
CN106658123A true CN106658123A (zh) 2017-05-10

Family

ID=58856464

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610899312.XA Pending CN106658123A (zh) 2016-10-14 2016-10-14 基于触控遥控器的手势识别方法及装置

Country Status (2)

Country Link
CN (1) CN106658123A (zh)
WO (1) WO2018068403A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109542301A (zh) * 2017-09-21 2019-03-29 腾讯科技(深圳)有限公司 智能硬件控制方法和装置、存储介质及电子装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102789327A (zh) * 2012-08-07 2012-11-21 北京航空航天大学 一种基于手势的移动机器人控制方法
EP2602703A1 (en) * 2011-12-09 2013-06-12 LG Electronics, Inc. Mobile terminal and controlling method thereof
CN104932769A (zh) * 2014-03-20 2015-09-23 腾讯科技(深圳)有限公司 一种网页显示方法及装置
CN105138197A (zh) * 2015-08-18 2015-12-09 南京触宏微电子有限公司 滑动轨迹的识别方法及装置
CN105744322A (zh) * 2014-12-10 2016-07-06 Tcl集团股份有限公司 一种屏幕焦点的控制方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2602703A1 (en) * 2011-12-09 2013-06-12 LG Electronics, Inc. Mobile terminal and controlling method thereof
CN102789327A (zh) * 2012-08-07 2012-11-21 北京航空航天大学 一种基于手势的移动机器人控制方法
CN104932769A (zh) * 2014-03-20 2015-09-23 腾讯科技(深圳)有限公司 一种网页显示方法及装置
CN105744322A (zh) * 2014-12-10 2016-07-06 Tcl集团股份有限公司 一种屏幕焦点的控制方法及装置
CN105138197A (zh) * 2015-08-18 2015-12-09 南京触宏微电子有限公司 滑动轨迹的识别方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109542301A (zh) * 2017-09-21 2019-03-29 腾讯科技(深圳)有限公司 智能硬件控制方法和装置、存储介质及电子装置

Also Published As

Publication number Publication date
WO2018068403A1 (zh) 2018-04-19

Similar Documents

Publication Publication Date Title
CN102402369B (zh) 电子设备及其操作提示标识移动方法
CN103294401B (zh) 一种具有触摸屏的电子设备的图标处理方法及装置
CN102789332B (zh) 于触控面板上识别手掌区域方法及其更新方法
CN103472916B (zh) 一种基于人体手势识别的人机交互方法
CN106104434A (zh) 使用触摸屏设备确定用户利手和定向
CN104238901A (zh) 通过识别扫滑手势来开启窗口控制栏的方法及触控系统
CN103246382B (zh) 控制方法及电子设备
US20130222338A1 (en) Apparatus and method for processing a plurality of types of touch inputs
US20140210780A1 (en) Touch Screen Controller and Method for Controlling Thereof
CN103870071B (zh) 一种触摸源识别方法及系统
CN102184011A (zh) 一种人机交互设备
CN102306053B (zh) 一种基于虚拟触摸屏的人机交互方法、装置及电子设备
TWI581171B (zh) 多點手勢識別方法及多點平移手勢的識別裝置
CN103365599A (zh) 基于滑屏轨迹的移动终端操作优化方法及装置
CN107132986A (zh) 一种虚拟按键智能调节触控响应区域的方法及装置
WO2016026365A1 (zh) 实现非接触式鼠标控制的人机交互方法和系统
CN108235747A (zh) 边缘防误触方法、触摸控制设备以及存储介质
CN103354581A (zh) 一种通过左右手来自动调整手机控件的方法及系统
CN105242776A (zh) 一种智能眼镜的控制方法及智能眼镜
CN108733302A (zh) 手势触发方法
CN102662511A (zh) 通过触摸屏进行控制操作的方法及终端
CN105426091A (zh) 一种控制黑屏手势处理的方法及终端
CN104063142B (zh) 信息处理方法、装置和电子设备
CN106658123A (zh) 基于触控遥控器的手势识别方法及装置
CN103677616B (zh) 一种电子装置的操作方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170510