CN111259694A - 基于视频的手势移动方向识别方法、装置、终端和介质 - Google Patents

基于视频的手势移动方向识别方法、装置、终端和介质 Download PDF

Info

Publication number
CN111259694A
CN111259694A CN201811458368.7A CN201811458368A CN111259694A CN 111259694 A CN111259694 A CN 111259694A CN 201811458368 A CN201811458368 A CN 201811458368A CN 111259694 A CN111259694 A CN 111259694A
Authority
CN
China
Prior art keywords
gesture
point
data frame
position point
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811458368.7A
Other languages
English (en)
Other versions
CN111259694B (zh
Inventor
郑微
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN201811458368.7A priority Critical patent/CN111259694B/zh
Publication of CN111259694A publication Critical patent/CN111259694A/zh
Application granted granted Critical
Publication of CN111259694B publication Critical patent/CN111259694B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本公开实施例公开了一种基于视频的手势移动方向识别方法、装置、终端和介质,其中,该方法包括:在拍摄视频过程中,确定手势在视频中的初始移动方向;如果在手势移动过程中检测到手势位置点的第一极值点,则在视频的目标数据帧中检测是否存在手势位置点的第二极值点;如果检测到第二极值点,且第二极值点处于手势在视频中的初始位置点与第一极值点之间,则在目标数据帧的手势移动方向的识别结果中维持手势的初始移动方向;如果未检测到第二极值点,则在目标数据帧中根据手势位置点改变手势移动方向的识别结果。本公开实施例解决了现有技术中当视频中出现拖影时对用户手势移动方向的识别不准确的问题,实现了准确识别用户手势移动方向的效果。

Description

基于视频的手势移动方向识别方法、装置、终端和介质
技术领域
本公开实施例涉及互联网技术领域,尤其涉及一种基于视频的手势移动方向识别方法、装置、终端和介质。
背景技术
网络技术的发展,使得视频交互应用在人们的日常生活中非常流行。
随着应用功能的增加,用户可以通过手势控制在视频中增加多种多样的视频特效。此时,对用户手势检测的结果精度直接影响视频特效的展示。例如,用户手势的移动方向决定了视频中特效变化的方向。
然而,如何准确识别用户手势的移动方向,保证视频特效的变化效果,仍是当前需要解决的问题。
公开内容
本公开实施例提供一种基于视频的手势移动方向识别方法、装置、终端和介质,以实现在视频拍摄过程中准确识别用户手势的移动方向。
第一方面,本公开实施例提供了一种基于视频的手势移动方向识别方法,该方法包括:
在拍摄视频过程中,确定所述手势在视频中的初始移动方向;
如果在手势移动过程中检测到手势位置点的第一极值点,则在所述视频的目标数据帧中检测是否存在所述手势位置点的第二极值点,其中,所述目标数据帧包括出现所述第一极值点的数据帧之后的预设数量的数据帧;
如果检测到所述第二极值点,并且所述第二极值点处于所述手势在所述视频中的初始位置点与所述第一极值点之间,则在所述目标数据帧的手势移动方向的识别结果中维持所述手势的初始移动方向;
如果未检测到所述第二极值点,则在所述目标数据帧中根据所述手势位置点改变手势移动方向的识别结果。
可选的,所述第一极值点包括所述手势位置点的极大值或极小值,所述第二极值点包括所述手势位置点的极大值或极小值;
相应的,所述手势位置点的极大值或极小值的确定过程如下:
在手势检测过程中,若当前数据帧中的手势位置点对应的数值大于所述当前数据帧的上一帧数据中的手势位置点对应的数值,并且大于所述当前数据帧的下一帧数据中的手势位置点对应的数值,则确定所述当前数据帧中的手势位置点为极大值;
在手势检测过程中,若当前数据帧中的手势位置点对应的数值小于所述当前数据帧的上一帧数据中的手势位置点对应的数值,并且小于所述当前数据帧的下一帧数据中的手势位置点对应的数值,则确定所述当前数据帧中的手势位置点为极小值。
可选的,所述在拍摄视频过程中,,确定所述手势在视频中的初始移动方向,包括:
根据所述手势的初始位置点和与所述初始位置点相邻的下一个手势位置点对应的数值变化趋势,以及手势检测区域的位置数值定义规则,确定所述手势在所述视频中的初始移动方向。
第二方面,本公开实施例还提供了一种基于视频的手势移动方向识别装置,该装置包括:
初始方向确定模块,用于在拍摄视频过程中,确定所述手势在视频中的初始移动方向;
极值点检测模块,用于如果在手势移动过程中检测到手势位置点的第一极值点,则在所述视频的目标数据帧中检测是否存在所述手势位置点的第二极值点,其中,所述目标数据帧包括出现所述第一极值点的数据帧之后的预设数量的数据帧;
第一识别模块,用于如果检测到所述第二极值点,并且所述第二极值点处于所述手势在所述视频中的初始位置点与所述第一极值点之间,则在所述目标数据帧的手势移动方向的识别结果中维持所述手势的初始移动方向;
第二识别模块,用于如果未检测到所述第二极值点,则在所述目标数据帧中根据所述手势位置点改变手势移动方向的识别结果。
可选的,所述第一极值点包括所述手势位置点的极大值或极小值,所述第二极值点包括所述手势位置点的极大值或极小值;
相应的,所述装置还包括:
极大值确定模块,用于在手势检测过程中,若当前数据帧中的手势位置点对应的数值大于所述当前数据帧的上一帧数据中的手势位置点对应的数值,并且大于所述当前数据帧的下一帧数据中的手势位置点对应的数值,则确定所述当前数据帧中的手势位置点为极大值;
极小值确定模块,用于在手势检测过程中,若当前数据帧中的手势位置点对应的数值小于所述当前数据帧的上一帧数据中的手势位置点对应的数值,并且小于所述当前数据帧的下一帧数据中的手势位置点对应的数值,则确定所述当前数据帧中的手势位置点为极小值。
可选的,所述初始方向确定模块具体用于:
根据所述手势的初始位置点和与所述初始位置点相邻的下一个手势位置点对应的数值变化趋势,以及手势检测区域的位置数值定义规则,确定所述手势在所述视频中的初始移动方向,其中,所述初始数据帧指出现所述初始位置点的数据帧。
第三方面,本公开实施例还提供了一种终端,包括:
一个或多个处理装置;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理装置执行,使得所述一个或多个处理装置实现如本公开任一实施例所述的基于视频的手势移动方向识别方法。
第四方面,本公开实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被装置执行时实现如本公开任一实施例所述的基于视频的手势移动方向识别方法。
本公开实施例通过在拍摄视频过程中确定手势在视频中的初始移动方向,然后在手势移动过程中检测是否存在手势位置点的第一极值点和第二极值点,并根据第二极值点与手势在视频中的初始位置点和第一极值点之间的关系,确定在目标数据帧中维持手势的初始移动方向或者改变手势移动方向的识别结果,解决了现有技术中当视频中出现拖影时对用户手势移动方向的识别不准确的问题,实现了准确识别用户手势移动方向的效果,从而保证了手势控制的视频效果的展示。
附图说明
图1是本公开实施例提供的一种基于视频的手势移动方向识别方法的流程示意图;
图2是本公开实施例提供的另一种基于视频的手势移动方向识别方法的流程示意图;
图3是本公开实施例提供的一种基于视频的手势移动方向识别装置的结构示意图;
图4是本公开实施例提供的一种终端的硬件结构示意图。
具体实施方式
下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本公开,而非对本公开的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本公开相关的部分而非全部结构。
下述各实施例中同时提供了可选特征和示例,实施例中记载的各个特征可进行组合,形成多个可选方案。
图1是本公开实施例提供的一种基于视频的手势移动方向识别方法的流程示意图,本实施例可适用于在用户手势进入或者移出视频中时,对手势移动方向进行识别的情况,该方法可以由基于视频的手势移动方向识别装置来执行,该装置可以采用软件和/或硬件的方式实现,并可集成在任何具有网络通信功能的终端上,例如智能手机、电脑和ipad等。
如图1所示,本公开实施例提供的基于视频的手势移动方向识别方法可以包括:
S110、在拍摄视频过程中,确定手势在视频中的初始移动方向。
在视频拍摄过程中,可以对用户手势进行实时检测。当基于视频数据检测到用户手势的运动状态突然发生变化时,可以基于当前视频数据中的连续帧数据确定用户手势在终端屏幕手势检测区域内的初始移动方向。例如,在拍摄过程中检测到用户手势出现时,即用户手势进入终端屏幕的手势检测区域,基于用户手势进入时的连续帧数据,确定用户手势的初始移动方向;或者,当检测到用户手势具有移出视频中的趋势时,即用户手势将要离开终端屏幕的手势检测区域,基于用户手势将要移出视频中时的连续帧数据,确定用户手势的初始移动方向。
S120、确定手势移动过程中是否检测到手势位置点的第一极值点。
若没有检测到第一极值点,则执行S130;若检测到第一极值点,则执行S140。
S130、在视频数据帧中根据手势位置点改变手势移动方向的识别结果。不存在位置极值点,说明手势当前移动方向稳定,识别结果比较准确。
S140、在视频的目标数据帧中检测是否存在手势位置点的第二极值点。其中,目标数据帧包括出现第一极值点的数据帧之后的预设数量的数据帧。
极值点是手势运动状态变化的拐点,当在手势移动的较短时间内检测到多个手势位置极值点,说明当前视频数据中检测到的手势位置点不稳定,手势移动方向存在波动性。尤其是在手势刚进入视频中或者手势将要离开视频的短暂时间内,手势的移动速度较快,视频中会存在拖影现象,此时,数据帧中检测到的手势位置点与用户手势的实际移动位置存在不一致的现象,进而如果直接基于相邻数据帧中的手势位置点的变化确定手势移动方向,便会得到多个手势移动方向,与当前用户手势的实际移动方向不相符。因此,当检测到手势位置点的第一极值点之后,是否可以继续检测到第二极值点,是判断当前视频中的手势位置点是否稳定的关键因素,其中,第二极值点可以是与第一极值点最近邻的一个位置极值点,也可以是统指目标数据帧中检测到的多个极值点。如果检测到第二极值点,则执行操作S150,如果未检测到第二极值点,则执行操作S160。
其中,手势位置点可以利用终端屏幕上手势检测区域的坐标系进行表示。目标数据帧是在出现第一极值点的数据帧之后的连续帧数据,本实施例对具体帧数不作限定,可以根据手势移动的短暂时间以及视频拍摄的帧率进行设置。
S150、如果第二极值点处于手势在视频中的初始位置点与第一极值点之间,则在目标数据帧的手势移动方向的识别结果中维持手势的初始移动方向。
如果在目标数据帧中检测到第二极值点,则认为在当前手势移动的短暂时间内,视频数据中的手势位置点确实不稳定,检测到的位置数据不能直接用于确定手势的移动方向。进一步的,无论第二极值点是指与第一极值点最近邻的一个位置极值点,还是统指目标数据帧中检测到的多个极值点,如果第二极值点均处于手势在视频中的初始位置点和第一极值点之间,则在目标数据帧的手势移动方向的识别结果中维持手势的初始移动方向,而不因检测的手势位置点的不稳定性实时改变手势移动方向的识别结果,避免手势移动方向的识别结果失真。
当第二极值点是与第一极值点最近邻的一个位置极值点时,若第二极值点不处于初始位置点和第一极值点之间,则需要在目标数据帧中根据检测到手势位置点重新确定目标数据帧中手势的移动方向。当第二极值点是统指目标数据帧中检测到的多个极值点时,若第二极值点中存在至少一个极值点不处于初始位置点和第一极值点之间,并且处于靠近初始位置点的区域,同样需要在目标数据帧中根据检测到手势位置点重新确定目标数据帧中手势的移动方向;对于其他情况,则可以在目标数据帧的手势移动方向的识别结果中维持手势的初始移动方向。其中,上述初始位置点是检测到用户手势刚进入视频中时,或者检测到用户手势具有移出视频中的趋势时,数据帧中检测到的手势位置点。
示例性的,在视频拍摄过程中,用户希望通过手势控制在视频中添加云朵平稳移动的视频效果,例如,随着用户手势的移动,云朵沿着一个方向移动。但是考虑用户手势刚出现在视频中时,数据帧中检测到手势位置点不稳定,如果基于现有技术中根据任意相邻的两个位置点实时确定用户手势移动方向,则可能每次在极值点处识别的用户手势移动方向便改变一次,导致目标数据帧中手势移动方向与其初始移动方向不同,进而手势控制的云朵移动方向随着手势移动方向的变化而改变。最终视频中出现云朵的初始时间段内,云朵的运动状态为往复的跳跃性移动,这并非用户希望的视频效果。如果采用本实施例方案,在目标数据帧中识别的手势移动方向依然是初始移动方向,即目标数据帧中手势控制的云朵移动方向不变,从而避免了该云朵出现的初始时间段内视频效果的跳跃性展示。
S160、在目标数据帧中根据手势位置点改变手势移动方向的识别结果。
如果在当前手势移动过程中只检测到了一个第一极值点,则说明数据帧中的手势位置点比较稳定,经历第一个极值点之后,用户手势移动方向发生了变化,需要在目标数据帧中根据手势位置点重新确定手势移动方向。目标数据帧中手势控制的视频效果基于预先设置的手势与视频效果的控制关系,随着用户手势移动方向的变化进行展示即可。
本实施例的技术方案通过在拍摄视频过程中,基于对手势的实时检测,确定手势在视频中的初始移动方向,然后在手势移动过程中检测是否存在手势位置点的第一极值点和第二极值点,并根据第二极值点与手势在视频中的初始位置点和第一极值点之间的关系,确定在目标数据帧中维持手势的初始移动方向或者改变手势移动方向的识别结果,解决了现有技术中当视频中出现拖影时对用户手势移动方向的识别不准确的问题,实现了准确识别用户手势移动方向的效果,从而保证了手势控制的视频效果的展示。
图2是本公开实施例提供的另一种基于视频的手势移动方向识别方法的流程示意图,以上述实施例中各个可选方案为基础进行扩展,可以与上述实施例中各个可选方案结合。如图2所示,该方法可以包括:
S210、在拍摄视频过程中,根据所述手势的初始位置点和与所述初始位置点相邻的下一个手势位置点对应的数值变化趋势,以及手势检测区域的位置数值定义规则,确定手势在视频中的初始移动方向。
初始位置点是检测到用户手势刚进入视频中时,或者检测到用户手势具有移出视频中的趋势时,对应的视频数据帧中的手势位置点。根据手势检测区域设定的位置数值定义规则,确定连续帧数据中手势位置的变化趋势,例如根据手势检测区域的坐标系定义规则,将初始位置点和与初始位置点相邻的下一个手势位置点分别用坐标点表示,通过比较坐标点确定手势位置的变化趋势,进而确定出用户手势的初始移动方向。
示例性的,终端屏幕的手势检测区域内设定的坐标系为:检测区域左下角所在的点为坐标原点(0,0),检测区域右上角所在的点为(1,1)。对于用户手势水平移动的情况,假设初始数据帧中检测到的初始位置点为(A1,y),在初始数据帧的下一帧数据中检测到的手势位置点为(A2,y),若A1的值大于A2的值,手势移动过程中位置点减小,则确定用户手势的初始移动方向为从右至左;若A1的值小于A2的值,手势移动过程中位置点增大,则确定用户手势的初始移动方向为从左至右。同理,对于用户手势竖直移动的情况,假设初始数据帧中检测到的初始位置点为(x,B1),在初始数据帧的下一帧数据中检测到的手势位置点为(x,B2),若B1的值大于B2的值,则确定用户手势的初始移动方向为从上至下;若B1的值小于B2的值,则确定用户手势的初始移动方向为从下至上。
当手势检测区域的坐标系定义规则与上述示例中的定义规则不同时,例如检测区域左下角所在的点为坐标原点(1,1),检测区域的右上角所在的点为(0,0),手势移动的初始方向确定过程与上述示例中的方法相同,只是结论不同。对此,不再重复论述。
S220、确定手势移动过程中是否检测到手势位置点的第一极值点。
若没有检测到第一极值点,则执行S230;若检测到第一极值点,则执行S240。
S230、在视频数据帧中根据手势位置点改变手势移动方向的识别结果。
S240、在视频的目标数据帧中检测是否存在手势位置点的第二极值点,其中,目标数据帧包括出现第一极值点的数据帧之后的预设数量的数据帧。
S250、如果第二极值点处于手势在视频中的初始位置点与第一极值点之间,则在目标数据帧的手势移动方向的识别结果中维持手势的初始移动方向。
例如,在用户手势的水平移动过程中,视频数据中检测到的手势位置的初始位置点是(0.5,y),第一极值点是(0.7,y),第二极值点是(0.6,y),第二极值点满足处于初始位置点和第一极值点之间的条件,则在基于目标数据帧的手势移动方向识别结果中保持初始识别的手势移动方向,而不受到第一极值点和第二极值点的波动影响。
S260、在目标数据帧中根据手势位置点改变手势移动方向的识别结果。
进一步的,本实施例中第一极值点包括手势位置点的极大值或极小值,第二极值点包括手势位置点的极大值或极小值;
相应的,手势位置点的极大值或极小值的确定过程如下:
在手势检测过程中,若当前数据帧中的手势位置点对应的数值大于当前数据帧的上一帧数据中的手势位置点对应的数值,并且大于当前数据帧的下一帧数据中的手势位置点对应的数值,则确定当前数据帧中的手势位置点为极大值;
在手势检测过程中,若当前数据帧中的手势位置点对应的数值小于当前数据帧的上一帧数据中的手势位置点对应的数值,并且小于当前数据帧的下一帧数据中的手势位置点对应的数值,则确定当前数据帧中的手势位置点为极小值。
例如,上述示例中,初始位置点是(0.5,y),第一极值点是(0.7,y),第二极值点是(0.6,y),可以判断出第一极值点属于手势位置点的极大值;如果在出现第二极值点的数据帧之后的一帧数据中检测到的手势位置点坐标大于第二极值点,则第二极值点属于手势位置点的极小值。
如果第二极值点是与第一极值点最近邻的一个位置极值点,则当第一极值点是极大值时,第二极值点是极小值;当第一极值点是极小值,第二极值点是极大值。此外,如果第二极值点是统指目标数据帧中检测到的多个极值点,则第一极值点和第二极值点还可以同时是极大值或极小值。
本实施例的技术方案首先根据手势在视频的初始数据帧和初始数据帧的下一帧数据中的位置变化趋势,以及手势检测区域的位置数值定义规则,确定出手势在视频中的初始移动方向,然后根据在连续数据帧中检测到的手势位置点的极值情况,确定在目标数据帧中维持用户手势的初始移动方向或者重新确定手势移动方向,解决了现有技术中当视频中出现拖影时对用户手势移动方向的识别不准确的问题,实现了准确识别用户手势移动方向的效果,从而保证了手势控制的视频效果的展示。
图3是本公开实施例提供的一种基于视频的手势移动方向识别装置的结构示意图。本实施例可适用于在用户手势进入或者移出视频中时,对手势移动方向进行识别的情况。该装置可以采用软件和/或硬件的方式实现,并可集成在任何具有网络通信功能的终端上。
如图3所示,本公开实施例提供的基于视频的手势移动方向识别装置包括:初始方向确定模块310、极值点检测模块320、第一识别模块330和第二识别模块340,其中:
初始方向确定模块310,用于在拍摄视频过程中,确定手势在视频中的初始移动方向;
极值点检测模块320,用于如果在手势移动过程中检测到手势位置点的第一极值点,则在视频的目标数据帧中检测是否存在手势位置点的第二极值点,其中,目标数据帧包括出现第一极值点的数据帧之后的预设数量的数据帧;
第一识别模块330,用于如果检测到第二极值点,并且第二极值点处于手势在视频中的初始位置点与第一极值点之间,则在目标数据帧的手势移动方向的识别结果中维持手势的初始移动方向;
第二识别模块340,用于如果未检测到第二极值点,则在目标数据帧中根据手势位置点改变手势移动方向的识别结果。
可选的,本实施例中第一极值点包括手势位置点的极大值或极小值,第二极值点包括手势位置点的极大值或极小值;
相应的,该手势移动方向识别装置还包括:
极大值确定模块,用于在手势检测过程中,若当前数据帧中的手势位置点对应的数值大于当前数据帧的上一帧数据中的手势位置点对应的数值,并且大于当前数据帧的下一帧数据中的手势位置点对应的数值,则确定当前数据帧中的手势位置点为极大值;
极小值确定模块,用于在手势检测过程中,若当前数据帧中的手势位置点对应的数值小于当前数据帧的上一帧数据中的手势位置点对应的数值,并且小于当前数据帧的下一帧数据中的手势位置点对应的数值,则确定当前数据帧中的手势位置点为极小值。
可选的,初始方向确定模块310具体用于:
根据手势的初始位置点和与初始位置点相邻的下一个手势位置点对应的数值变化趋势,以及手势检测区域的位置数值定义规则,确定手势在视频中的初始移动方向,其中,初始数据帧指出现初始位置点的数据帧。
上述基于视频的手势移动方向识别装置可执行本公开任意实施例所提供的基于视频的手势移动方向识别方法,具备执行方法相应的功能模块和有益效果。
图4是本公开实施例提供的一种终端的硬件结构示意图。下面参考图4,其示出了适于用来实现本公开实施例的终端400的结构示意图。本公开实施例中的终端可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图4示出的终端仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图4所示,终端400可以包括一个或多个处理装置(例如中央处理器、图形处理器等)401,以及用于存储一个或多个程序的存储装置408。其中,处理装置401可以根据存储在只读存储器(ROM)402中的程序或者从存储装置408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM 403中,还存储有终端400操作所需的各种程序和数据。处理装置401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
通常,以下装置可以连接至I/O接口405:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置406;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置407;包括例如磁带、硬盘等的存储装置408;以及通信装置409。通信装置409可以允许终端400与其他设备进行无线或有线通信以交换数据。虽然图4示出了具有各种装置的终端400,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置409从网络上被下载和安装,或者从存储装置408被安装,或者从ROM 402被安装。在该计算机程序被处理装置401执行时,执行本公开实施例的方法中限定的上述功能。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述终端中所包含的;也可以是单独存在,而未装配入该终端中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该终端执行时,使得该终端:在拍摄视频过程中,确定所述手势在视频中的初始移动方向;如果在手势移动过程中检测到手势位置点的第一极值点,则在所述视频的目标数据帧中检测是否存在所述手势位置点的第二极值点,其中,所述目标数据帧包括出现所述第一极值点的数据帧之后的预设数量的数据帧;如果检测到所述第二极值点,并且所述第二极值点处于所述手势在所述视频中的初始位置点与所述第一极值点之间,则在所述目标数据帧的手势移动方向的识别结果中维持所述手势的初始移动方向;如果未检测到所述第二极值点,则在所述目标数据帧中根据所述手势位置点改变手势移动方向的识别结果。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定,例如,第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (8)

1.一种基于视频的手势移动方向识别方法,其特征在于,包括:
在拍摄视频过程中,确定所述手势在视频中的初始移动方向;
如果在手势移动过程中检测到手势位置点的第一极值点,则在所述视频的目标数据帧中检测是否存在所述手势位置点的第二极值点,其中,所述目标数据帧包括出现所述第一极值点的数据帧之后的预设数量的数据帧;
如果检测到所述第二极值点,并且所述第二极值点处于所述手势在所述视频中的初始位置点与所述第一极值点之间,则在所述目标数据帧的手势移动方向的识别结果中维持所述手势的初始移动方向;
如果未检测到所述第二极值点,则在所述目标数据帧中根据所述手势位置点改变手势移动方向的识别结果。
2.根据权利要求1所述的方法,其特征在于,所述第一极值点包括所述手势位置点的极大值或极小值,所述第二极值点包括所述手势位置点的极大值或极小值;
相应的,所述手势位置点的极大值或极小值的确定过程如下:
在手势检测过程中,若当前数据帧中的手势位置点对应的数值大于所述当前数据帧的上一帧数据中的手势位置点对应的数值,并且大于所述当前数据帧的下一帧数据中的手势位置点对应的数值,则确定所述当前数据帧中的手势位置点为极大值;
在手势检测过程中,若当前数据帧中的手势位置点对应的数值小于所述当前数据帧的上一帧数据中的手势位置点对应的数值,并且小于所述当前数据帧的下一帧数据中的手势位置点对应的数值,则确定所述当前数据帧中的手势位置点为极小值。
3.根据权利要求1或2所述的方法,其特征在于,所述在拍摄视频过程中,确定所述手势在视频中的初始移动方向,包括:
根据所述手势的初始位置点和与所述初始位置点相邻的下一个手势位置点对应的数值变化趋势,以及手势检测区域的位置数值定义规则,确定所述手势在所述视频中的初始移动方向。
4.一种基于视频的手势移动方向识别装置,其特征在于,包括:
初始方向确定模块,用于在拍摄视频过程中,确定所述手势在视频中的初始移动方向;
极值点检测模块,用于如果在手势移动过程中检测到手势位置点的第一极值点,则在所述视频的目标数据帧中检测是否存在所述手势位置点的第二极值点,其中,所述目标数据帧包括出现所述第一极值点的数据帧之后的预设数量的数据帧;
第一识别模块,用于如果检测到所述第二极值点,并且所述第二极值点处于所述手势在所述视频中的初始位置点与所述第一极值点之间,则在所述目标数据帧的手势移动方向的识别结果中维持所述手势的初始移动方向;
第二识别模块,用于如果未检测到所述第二极值点,则在所述目标数据帧中根据所述手势位置点改变手势移动方向的识别结果。
5.根据权利要求4所述的装置,其特征在于,所述第一极值点包括所述手势位置点的极大值或极小值,所述第二极值点包括所述手势位置点的极大值或极小值;
相应的,所述装置还包括:
极大值确定模块,用于在手势检测过程中,若当前数据帧中的手势位置点对应的数值大于所述当前数据帧的上一帧数据中的手势位置点对应的数值,并且大于所述当前数据帧的下一帧数据中的手势位置点对应的数值,则确定所述当前数据帧中的手势位置点为极大值;
极小值确定模块,用于在手势检测过程中,若当前数据帧中的手势位置点对应的数值小于所述当前数据帧的上一帧数据中的手势位置点对应的数值,并且小于所述当前数据帧的下一帧数据中的手势位置点对应的数值,则确定所述当前数据帧中的手势位置点为极小值。
6.根据权利要求4或5所述的装置,其特征在于,所述初始方向确定模块具体用于:
根据所述手势的初始位置点和与所述初始位置点相邻的下一个手势位置点对应的数值变化趋势,,以及手势检测区域的位置数值定义规则,确定所述手势在所述视频中的初始移动方向。
7.一种终端,其特征在于,包括:
一个或多个处理装置;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理装置执行,使得所述一个或多个处理装置实现如权利要求1-3中任一所述的基于视频的手势移动方向识别方法。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理装置执行时实现如权利要求1-3中任一所述的基于视频的手势移动方向识别方法。
CN201811458368.7A 2018-11-30 2018-11-30 基于视频的手势移动方向识别方法、装置、终端和介质 Active CN111259694B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811458368.7A CN111259694B (zh) 2018-11-30 2018-11-30 基于视频的手势移动方向识别方法、装置、终端和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811458368.7A CN111259694B (zh) 2018-11-30 2018-11-30 基于视频的手势移动方向识别方法、装置、终端和介质

Publications (2)

Publication Number Publication Date
CN111259694A true CN111259694A (zh) 2020-06-09
CN111259694B CN111259694B (zh) 2021-02-12

Family

ID=70951936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811458368.7A Active CN111259694B (zh) 2018-11-30 2018-11-30 基于视频的手势移动方向识别方法、装置、终端和介质

Country Status (1)

Country Link
CN (1) CN111259694B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101807113A (zh) * 2009-02-12 2010-08-18 索尼公司 手势识别装置、手势识别方法和程序
CN105824420A (zh) * 2016-03-21 2016-08-03 李骁 一种基于加速度传感器的手势识别方法
US20170199575A1 (en) * 2016-01-11 2017-07-13 Antimatter Research, Inc. Gesture Control Device with Fingertip Identification
CN107589850A (zh) * 2017-09-26 2018-01-16 深圳睛灵科技有限公司 一种手势移动方向的识别方法及系统
CN108446657A (zh) * 2018-03-28 2018-08-24 京东方科技集团股份有限公司 手势抖动识别方法及装置、手势识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101807113A (zh) * 2009-02-12 2010-08-18 索尼公司 手势识别装置、手势识别方法和程序
US20170199575A1 (en) * 2016-01-11 2017-07-13 Antimatter Research, Inc. Gesture Control Device with Fingertip Identification
CN105824420A (zh) * 2016-03-21 2016-08-03 李骁 一种基于加速度传感器的手势识别方法
CN107589850A (zh) * 2017-09-26 2018-01-16 深圳睛灵科技有限公司 一种手势移动方向的识别方法及系统
CN108446657A (zh) * 2018-03-28 2018-08-24 京东方科技集团股份有限公司 手势抖动识别方法及装置、手势识别方法

Also Published As

Publication number Publication date
CN111259694B (zh) 2021-02-12

Similar Documents

Publication Publication Date Title
CN109240576B (zh) 游戏中的图像处理方法及装置、电子设备、存储介质
JP7181375B2 (ja) 目標対象の動作認識方法、装置及び電子機器
CN110059623B (zh) 用于生成信息的方法和装置
CN113377366A (zh) 控件编辑方法、装置、设备、可读存储介质及产品
CN112306235B (zh) 一种手势操作方法、装置、设备和存储介质
CN113342230A (zh) 控件显示方法、装置、设备及介质
CN111324261B (zh) 目标对象的截取方法、装置、电子设备及存储介质
US20240086053A1 (en) Display method and apparatus, electronic device, and storage medium
WO2024051639A1 (zh) 图像处理方法、装置、设备及存储介质和产品
US20150145749A1 (en) Image processing apparatus and image processing method
CN110134905B (zh) 一种页面更新显示方法、装置、设备及存储介质
CN111833459A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN111259694B (zh) 基于视频的手势移动方向识别方法、装置、终端和介质
CN111263084B (zh) 基于视频的手势抖动检测方法、装置、终端和介质
US20230199262A1 (en) Information display method and device, and terminal and storage medium
CN110618776B (zh) 一种图片缩放方法、装置、设备及存储介质
CN111292329B (zh) 视频分割网络的训练方法、装置及电子设备
CN110807164A (zh) 图像区域的自动调节方法、装置、电子设备及计算机可读存储介质
CN112492381B (zh) 信息显示方法、装置及电子设备
CN115348478B (zh) 设备交互显示方法、装置、电子设备及可读存储介质
CN111077984A (zh) 人机交互方法、装置、电子设备及计算机存储介质
CN110047520B (zh) 音频播放的控制方法、装置、电子设备和计算机可读存储介质
CN114724528B (zh) 显示设备的显示控制方法、装置、电子设备及存储介质
CN111258415B (zh) 基于视频的肢体动作检测方法、装置、终端和介质
CN110162265B (zh) 一种视图控件的滑动控制方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant