CN113269075A - 手势轨迹识别方法和装置、存储介质及电子设备 - Google Patents
手势轨迹识别方法和装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN113269075A CN113269075A CN202110545143.0A CN202110545143A CN113269075A CN 113269075 A CN113269075 A CN 113269075A CN 202110545143 A CN202110545143 A CN 202110545143A CN 113269075 A CN113269075 A CN 113269075A
- Authority
- CN
- China
- Prior art keywords
- contour line
- outer contour
- inner contour
- track
- gesture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000000694 effects Effects 0.000 claims description 34
- 238000004590 computer program Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 13
- 230000015654 memory Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241000220317 Rosa Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种手势轨迹识别方法和装置、存储介质及电子设备。其中,该方法包括:获取目标对象的手部的移动轨迹;获取所述移动轨迹的内轮廓线与外轮廓线;对所述内轮廓线或所述外轮廓线执行缩放操作,以使所述内轮廓线和所述外轮廓线重合;将所述内轮廓线和所述外轮廓线的重合线条确定为所述目标对象的所述手势轨迹。本发明解决了识别手势轨迹的准确度差的技术问题。
Description
技术领域
本发明涉及计算机领域,具体而言,涉及一种手势轨迹识别方法和装置、存储介质及电子设备。
背景技术
现有技术中,在进行手势识别的过程中,摄像头对于光源的敏感性以及手的平稳度和手速都不是一个稳定的值,甚至画多画少是更为普遍的一个情况,如圆差一截或者伸出一截的延长线等,造成手势轨迹并不是十分标准,进一步造成识别手势轨迹的准确度差。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种手势轨迹识别方法和装置、存储介质及电子设备,以至少解决识别手势轨迹的准确度差的技术问题。
根据本发明实施例的一个方面,提供了一种手势轨迹识别方法,包括:获取目标对象的手部的移动轨迹;获取上述移动轨迹的内轮廓线与外轮廓线;对上述内轮廓线或上述外轮廓线执行缩放操作,以使上述内轮廓线和上述外轮廓线重合;将上述内轮廓线和上述外轮廓线的重合线条确定为上述目标对象的上述手势轨迹。
根据本发明实施例的另一方面,还提供了一种手势轨迹识别装置,包括:第一获取单元,用于获取目标对象的手部的移动轨迹;第二获取单元,用于获取上述移动轨迹的内轮廓线与外轮廓线;处理单元,用于对上述内轮廓线或上述外轮廓线执行缩放操作,以使上述内轮廓线和上述外轮廓线重合;确定单元,用于将上述内轮廓线和上述外轮廓线的重合线条确定为上述目标对象的上述手势轨迹。
作为一种可选的示例,上述处理单元包括:第一调整模块,用于将上述内轮廓线与上述外轮廓线的一个相同位置的点调整为重合;第二调整模块,用于将上述内轮廓线的方向与上述外轮廓线的方向调整为一致;第三调整模块,用于放大上述内轮廓线或者缩小上述外轮廓线;计算模块,用于在放大上述内轮廓线或者缩小上述外轮廓线的过程中,计算上述内轮廓线和上述外轮廓线的上述重合线条的长度;处理模块,用于在上述重合线条的长度最大的情况下,停止放大上述内轮廓线或者缩小上述外轮廓线。
作为一种可选的示例,上述第二获取单元包括:第一确定模块,用于以上述移动轨迹内的一个第一区域开始,扩大上述第一区域的边界,在上述第一区域的边界与上述移动轨迹接触的情况下,保持接触的边界不变,继续扩大未接触的边界,直到上述第一区域的所有边界与上述移动轨迹接触,将与上述移动轨迹接触的上述第一区域的边界确定为上述内轮廓线;第二确定模块,用于获取包围上述移动轨迹的一个第二区域,缩小上述第二区域的边界,在上述第二区域的边界与上述移动轨迹接触的情况下,保持接触的边界不变,继续缩小未接触的边界,直到上述第二区域的所有边界与上述移动轨迹接触,将与上述移动轨迹接触的上述第二区域的边界确定为上述外轮廓线。
作为一种可选的示例,上述第一获取单元包括:捕捉模块,用于通过摄像头捕捉不同时间点上述目标对象的手部在三维空间中的位置;第三确定模块,用于将上述手部的位置与第一平面的交点确定为上述手部的轨迹点,其中,上述第一平面为与上述摄像头射出的射线垂直的平面;连接模块,用于按照上述不同时间点的先后顺序连接上述轨迹点,得到第一轨迹;第四确定模块,用于将上述第一轨迹确定为上述移动轨迹。
作为一种可选的示例,上述目标对象为摄像头捕捉画面时,上述画面中的人物,上述装置还包括:查找单元,用于在将上述内轮廓线和上述外轮廓线的重合线条确定为上述目标对象的上述手势轨迹之后,在手势轨迹与特效对应表中,查找与上述手势轨迹匹配的目标特效;显示单元,用于在用于直播上述画面的直播间内显示上述目标特效。
作为一种可选的示例,上述查找单元包括:第五确定模块,用于确定产生上述手势轨迹的当前场景;获取模块,用于获取与上述当前场景匹配的上述手势轨迹与特效对应表;查找模块,用于在与上述当前场景匹配的上述手势轨迹与特效对应表中,查找与上述手势轨迹匹配的上述目标特效,其中,上述手势轨迹在不同的手势轨迹与特效对应表中对应不同的上述目标特效。
根据本发明实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述手势轨迹识别方法。
根据本发明实施例的又一方面,还提供了一种电子设备,包括存储器和处理器,上述存储器中存储有计算机程序,上述处理器被设置为通过上述计算机程序执行上述的手势轨迹识别方法。
在本发明实施例中,采用了获取目标对象的手部的移动轨迹;获取上述移动轨迹的内轮廓线与外轮廓线;对上述内轮廓线或上述外轮廓线执行缩放操作,以使上述内轮廓线和上述外轮廓线重合;将上述内轮廓线和上述外轮廓线的重合线条确定为上述目标对象的上述手势轨迹的方法,由于在上述方法中,在识别手势轨迹的过程中,获取到手部的移动轨迹的情况下,获取移动轨迹的内轮廓线和外轮廓线,并对内轮廓线或外轮廓线进行缩放,获取两者重合的部分,并将重合线条确定为手势轨迹,实现了根据内轮廓线和外轮廓线的重合线条来获取准确的手势轨迹的效果,进而解决了识别手势轨迹的准确度差的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种可选的手势轨迹识别方法的应用环境的示意图;
图2是根据本发明实施例的一种可选的手势轨迹识别方法的流程的示意图;
图3是根据本发明实施例的一种可选的手势轨迹识别方法的内轮廓线和外轮廓线的示意图;
图4是根据本发明实施例的一种可选的手势轨迹识别方法的内轮廓线和外轮廓线重合的示意图;
图5是根据本发明实施例的一种可选的手势轨迹识别方法的内轮廓线或外轮廓线缩放的示意图;
图6是根据本发明实施例的一种可选的手势轨迹识别方法的获取二维平面的移动轨迹的示意图;
图7是根据本发明实施例的一种可选的手势轨迹识别装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的一个方面,提供了一种手势轨迹识别方法,可选地,作为一种可选的实施方式,上述手势轨迹识别方法可以但不限于应用于如图1所示的环境中。
如图1所示,终端设备102包括了存储器104,用于存储终端设备102运行过程中产生的各项数据、处理器106,用于处理运算上述各项数据、显示器108,用于显示提示采集移动轨迹的消息。终端设备102可以通过网络110与服务器112之间进行数据交互。服务器112包括数据库114,用于存储各项数据,处理引擎116,用于处理上述各项数据。通过步骤S102到步骤S104,终端设备102可以在识别出手势轨迹之后,将手势轨迹上传到服务器112,由服务器112返回交互结果。
可选地,在本实施例中,上述终端设备可以是配置有目标客户端的终端设备,可以包括但不限于以下至少之一:手机(如Android手机、iOS手机等)、笔记本电脑、平板电脑、掌上电脑、MID(Mobile Internet Devices,移动互联网设备)、PAD、台式电脑、智能电视等。目标客户端可以是视频客户端、即时通信客户端、浏览器客户端、教育客户端等。上述网络可以包括但不限于:有线网络,无线网络,其中,该有线网络包括:局域网、城域网和广域网,该无线网络包括:蓝牙、WIFI及其他实现无线通信的网络。上述服务器可以是单一服务器,也可以是由多个服务器组成的服务器集群,或者是云服务器。上述仅是一种示例,本实施例中对此不作任何限定。
可选地,作为一种可选的实施方式,如图2所示,上述手势轨迹识别方法包括:
S202,获取目标对象的手部的移动轨迹;
S204,获取移动轨迹的内轮廓线与外轮廓线;
S206,对内轮廓线或外轮廓线执行缩放操作,以使内轮廓线和外轮廓线重合;
S208,将内轮廓线和外轮廓线的重合线条确定为目标对象的手势轨迹。
可选地,上述手势轨迹确定方法可以但不限于使用手势轨迹产生控制指令的过程中。例如,在使用目标应用的过程中,使用手势轨迹产生控制指令登录目标应用、执行目标应用的任意一项功能或者退出目标应用等。目标应用可以为任意类型的应用,例如为学习应用、直播应用、视频应用、音乐应用、购物应用等。例如,以直播应用为例,当用户的手部移动,获取用户的手部的移动轨迹,并确定出圆形的手势轨迹的情况下,可以控制直播应用退出当前直播。
本实施例中,在确定手势轨迹的时候,在获取到手部的移动轨迹时,可以先获取移动轨迹的内轮廓线和外轮廓线,然后,对内轮廓线和/或外轮廓线进行缩放,使两者包括重合线条,将重合线条确定为手势轨迹,从而提高了确定手势轨迹的准确度。
例如,如图3所示,图3为一个类圆形302,以及类圆形的外轮廓线304和内轮廓线306,图4为对内轮廓线和或外轮廓线进行缩放,使两者重合的示意图,将重合线条确定为手势轨迹。
作为一种可选的示例,对内轮廓线或外轮廓线执行缩放操作,以使内轮廓线和外轮廓线重合包括:
将内轮廓线与外轮廓线的一个相同位置的点调整为重合;
将内轮廓线的方向与外轮廓线的方向调整为一致;
放大内轮廓线或者缩小外轮廓线;
在放大内轮廓线或者缩小外轮廓线的过程中,计算内轮廓线和外轮廓线的重合线条的长度;
在重合线条的长度最大的情况下,停止放大内轮廓线或者缩小外轮廓线。
可选地,本实施例中,在缩放内轮廓线或外轮廓线时,可以保证内轮廓线和外轮廓线上对应的点是重合的,然后,将内轮廓线和外轮廓线的方向设置为一致。例如,如图5所示,内轮廓线上的点504和外轮廓线上的点502是相对应的点,将两个点重合。以重合的点为基准,内轮廓线和外轮廓线的方向一致,放大内轮廓线或者缩小外轮廓线,使两者的重合线条增多。将重合线条最多的情况下的重合线条确定为手势轨迹。也就是当两者重合时,重合线条最多,将重合线条确定为手势轨迹。
本实施例中,可以先缩小外轮廓线,保持内轮廓线不变,如果外轮廓线缩小到第一阈值以下,与内轮廓线仍然没有重合线条,则重新获取内轮廓线和外轮廓线,保持外轮廓线不变,扩大内轮廓线,直到得到重合线条。本实施例中,可以在内轮廓线和外轮廓线的重合线条占内轮廓线或外轮廓线的比值超过第二阈值的情况下,将重合线条确定为手势轨迹。
作为一种可选的示例,获取移动轨迹的内轮廓线与外轮廓线包括:
以移动轨迹内的一个第一区域开始,扩大第一区域的边界,在第一区域的边界与移动轨迹接触的情况下,保持接触的边界不变,继续扩大未接触的边界,直到第一区域的所有边界与移动轨迹接触,将与移动轨迹接触的第一区域的边界确定为内轮廓线;
获取包围移动轨迹的一个第二区域,缩小第二区域的边界,在第二区域的边界与移动轨迹接触的情况下,保持接触的边界不变,继续缩小未接触的边界,直到第二区域的所有边界与移动轨迹接触,将与移动轨迹接触的第二区域的边界确定为外轮廓线。
作为一种可选的示例,获取目标对象的手部的移动轨迹包括:
通过摄像头捕捉不同时间点目标对象的手部在三维空间中的位置;
将手部的位置与第一平面的交点确定为手部的轨迹点,其中,第一平面为与摄像头射出的射线垂直的平面;
按照不同时间点的先后顺序连接轨迹点,得到第一轨迹;
将第一轨迹确定为移动轨迹。
可选地,本实施例中的手部的移动轨迹,可以为摄像头捕捉到的移动轨迹。摄像头捕捉移动轨迹时,可以捕捉手部在三维空间中移动的轨迹投影到一个平面上所得到的轨迹。例如,如图6所示,摄像头602捕捉手部的移动轨迹604,移动轨迹604是三维空间的轨迹。将其映射到平面606上,得到二维平面的移动轨迹。然后,根据二维平面的移动轨迹确定手势轨迹。
作为一种可选的示例,目标对象为摄像头捕捉画面时,画面中的人物,在将内轮廓线和外轮廓线的重合线条确定为目标对象的手势轨迹之后,方法还包括:
在手势轨迹与特效对应表中,查找与手势轨迹匹配的目标特效;
在用于直播画面的直播间内显示目标特效。
可选地,本实施例中,可以将手势轨迹与应用的操作绑定。例如,在应用到直播场景的情况下,可以将手势轨迹与直播间的操作绑定。如三角形手势轨迹为直播间放虚拟烟花,正方形手势轨迹在直播间开启抽奖等。例如方虚拟烟花时,可以通过手势轨迹的执行次数确定放虚拟烟花的数量,或者在执行三角形的手势轨迹后,通过语音输入数量,如在执行三角形的手势轨迹后口述“3”,则在直播间释放3次虚拟烟花。可选地,本实施例中还可以通过手势对手势轨迹进行操作。如获取到三角形的手势轨迹后,向上抬手指头,则可以对应释放虚拟烟花,向下压手指头,虽然是三角形的手势轨迹,则可以对应到开启抽奖。也就是说,对于同样的手势轨迹,可以通过对手势轨迹执行的不同的手势对应到不同的行为或目标特效。
作为一种可选的示例,在手势轨迹与特效对应表中,查找与手势轨迹匹配的目标特效包括:
确定产生手势轨迹的当前场景;
获取与当前场景匹配的手势轨迹与特效对应表;
在与当前场景匹配的手势轨迹与特效对应表中,查找与手势轨迹匹配的目标特效,其中,手势轨迹在不同的手势轨迹与特效对应表中对应不同的目标特效。
在本实施例中,可以为相同应用的不同场景设置不同的目标特效。例如,同样是在直播应用上,在直播互动的场景下,可以设置三角形的手势轨迹对应释放虚拟烟花,在直播比拼的场景下,可以设置三角形的手势轨迹为向比拼对手释放炸弹等。
以直播场景为例,在用户直播的过程中,通过摄像头采集用户指尖在空间运动的三维坐标,将三维坐标投影到与摄像头射出的射线垂直的平面上,得到二维坐标(起手和收手都存在扰动点,手速变化以及手的平稳度都会产生干扰点)。
根据绘图顺序提取所绘图形轮廓,至少提取内轮廓和外轮廓。
调整大小使得所有轮廓重叠,提取重叠部分轮廓,从而得到重合线条。获取重合线条,即可排除多余线条及多于线条所在位置。
重叠部分轮廓也就是重合线条没有其他线条干扰,可以用于识别图形。通过轮廓计算曲率变化和角点位置即可知道手势轨迹的图形形状。
根据已知图形形状和角点位置将主播的图转换为主播所画干净图形的样子。(已知矩形、三角形、五角星等连接对应角点即可,已知圆则通过曲线绘制)。通过不同的手势可以对应不同的特效。手势轨迹往上飞可切换场景例如圆是爆炸的虚拟烟花,三角是下雨的虚拟场景等,往另一个主播飞则是虚拟特效如圆会成为炸弹产生黑烟特效,三角是玫瑰花等。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的另一个方面,还提供了一种用于实施上述手势轨迹识别方法的手势轨迹识别装置。如图7所示,该装置包括:
可选地,上述手势轨迹确定装置可以但不限于使用手势轨迹产生控制指令的过程中。例如,在使用目标应用的过程中,使用手势轨迹产生控制指令登录目标应用、执行目标应用的任意一项功能或者退出目标应用等。目标应用可以为任意类型的应用,例如为学习应用、直播应用、视频应用、音乐应用、购物应用等。例如,以直播应用为例,当用户的手部移动,获取用户的手部的移动轨迹,并确定出圆形的手势轨迹的情况下,可以控制直播应用退出当前直播。
本实施例中,在确定手势轨迹的时候,在获取到手部的移动轨迹时,可以先获取移动轨迹的内轮廓线和外轮廓线,然后,对内轮廓线和/或外轮廓线进行缩放,使两者包括重合线条,将重合线条确定为手势轨迹,从而提高了确定手势轨迹的准确度。
本实施例的其他示例请参见上述示例,在此不再赘述。
根据本发明实施例的又一个方面,还提供了一种用于实施上述手势轨迹识别方法的电子设备,该电子设备包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
获取目标对象的手部的移动轨迹;
获取移动轨迹的内轮廓线与外轮廓线;
对内轮廓线或外轮廓线执行缩放操作,以使内轮廓线和外轮廓线重合;
将内轮廓线和外轮廓线的重合线条确定为目标对象的手势轨迹。
根据本发明的实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序:
获取目标对象的手部的移动轨迹;
获取移动轨迹的内轮廓线与外轮廓线;
对内轮廓线或外轮廓线执行缩放操作,以使内轮廓线和外轮廓线重合;
将内轮廓线和外轮廓线的重合线条确定为目标对象的手势轨迹。
可选地,在本实施例中,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random Access Memory,RAM)、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种手势轨迹识别方法,其特征在于,包括:
获取目标对象的手部的移动轨迹;
获取所述移动轨迹的内轮廓线与外轮廓线;
对所述内轮廓线或所述外轮廓线执行缩放操作,以使所述内轮廓线和所述外轮廓线重合;
将所述内轮廓线和所述外轮廓线的重合线条确定为所述目标对象的所述手势轨迹。
2.根据权利要求1所述的方法,其特征在于,所述对所述内轮廓线或所述外轮廓线执行缩放操作,以使所述内轮廓线和所述外轮廓线重合包括:
将所述内轮廓线与所述外轮廓线的一个相同位置的点调整为重合;
将所述内轮廓线的方向与所述外轮廓线的方向调整为一致;
放大所述内轮廓线或者缩小所述外轮廓线;
在放大所述内轮廓线或者缩小所述外轮廓线的过程中,计算所述内轮廓线和所述外轮廓线的所述重合线条的长度;
在所述重合线条的长度最大的情况下,停止放大所述内轮廓线或者缩小所述外轮廓线。
3.根据权利要求1所述的方法,其特征在于,所述获取所述移动轨迹的内轮廓线与外轮廓线包括:
以所述移动轨迹内的一个第一区域开始,扩大所述第一区域的边界,在所述第一区域的边界与所述移动轨迹接触的情况下,保持接触的边界不变,继续扩大未接触的边界,直到所述第一区域的所有边界与所述移动轨迹接触,将与所述移动轨迹接触的所述第一区域的边界确定为所述内轮廓线;
获取包围所述移动轨迹的一个第二区域,缩小所述第二区域的边界,在所述第二区域的边界与所述移动轨迹接触的情况下,保持接触的边界不变,继续缩小未接触的边界,直到所述第二区域的所有边界与所述移动轨迹接触,将与所述移动轨迹接触的所述第二区域的边界确定为所述外轮廓线。
4.根据权利要求1所述的方法,其特征在于,所述获取目标对象的手部的移动轨迹包括:
通过摄像头捕捉不同时间点所述目标对象的手部在三维空间中的位置;
将所述手部的位置与第一平面的交点确定为所述手部的轨迹点,其中,所述第一平面为与所述摄像头射出的射线垂直的平面;
按照所述不同时间点的先后顺序连接所述轨迹点,得到第一轨迹;
将所述第一轨迹确定为所述移动轨迹。
5.根据权利要求1至4任意一项所述的方法,其特征在于,所述目标对象为摄像头捕捉画面时,所述画面中的人物,在将所述内轮廓线和所述外轮廓线的重合线条确定为所述目标对象的所述手势轨迹之后,所述方法还包括:
在手势轨迹与特效对应表中,查找与所述手势轨迹匹配的目标特效;
在用于直播所述画面的直播间内显示所述目标特效。
6.根据权利要求5所述的方法,其特征在于,所述在手势轨迹与特效对应表中,查找与所述手势轨迹匹配的目标特效包括:
确定产生所述手势轨迹的当前场景;
获取与所述当前场景匹配的所述手势轨迹与特效对应表;
在与所述当前场景匹配的所述手势轨迹与特效对应表中,查找与所述手势轨迹匹配的所述目标特效,其中,所述手势轨迹在不同的手势轨迹与特效对应表中对应不同的所述目标特效。
7.一种手势轨迹识别装置,其特征在于,包括:
第一获取单元,用于获取目标对象的手部的移动轨迹;
第二获取单元,用于获取所述移动轨迹的内轮廓线与外轮廓线;
处理单元,用于对所述内轮廓线或所述外轮廓线执行缩放操作,以使所述内轮廓线和所述外轮廓线重合;
确定单元,用于将所述内轮廓线和所述外轮廓线的重合线条确定为所述目标对象的所述手势轨迹。
8.根据权利要求7所述的装置,其特征在于,所述处理单元包括:
第一调整模块,用于将所述内轮廓线与所述外轮廓线的一个相同位置的点调整为重合;
第二调整模块,用于将所述内轮廓线的方向与所述外轮廓线的方向调整为一致;
第三调整模块,用于放大所述内轮廓线或者缩小所述外轮廓线;
计算模块,用于在放大所述内轮廓线或者缩小所述外轮廓线的过程中,计算所述内轮廓线和所述外轮廓线的所述重合线条的长度;
处理模块,用于在所述重合线条的长度最大的情况下,停止放大所述内轮廓线或者缩小所述外轮廓线。
9.一种计算机可读的存储介质,所述计算机可读的存储介质存储有计算机程序,其特征在于,所述计算机程序运行时执行所述权利要求1至6任一项中所述的方法。
10.一种电子设备,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行所述权利要求1至6任一项中所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110545143.0A CN113269075B (zh) | 2021-05-19 | 2021-05-19 | 手势轨迹识别方法和装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110545143.0A CN113269075B (zh) | 2021-05-19 | 2021-05-19 | 手势轨迹识别方法和装置、存储介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113269075A true CN113269075A (zh) | 2021-08-17 |
CN113269075B CN113269075B (zh) | 2024-08-23 |
Family
ID=77231814
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110545143.0A Active CN113269075B (zh) | 2021-05-19 | 2021-05-19 | 手势轨迹识别方法和装置、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113269075B (zh) |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101763515A (zh) * | 2009-09-23 | 2010-06-30 | 中国科学院自动化研究所 | 一种基于计算机视觉的实时手势交互方法 |
US20120176303A1 (en) * | 2010-05-28 | 2012-07-12 | Yuichi Miyake | Gesture recognition apparatus and method of gesture recognition |
US20130010071A1 (en) * | 2011-07-04 | 2013-01-10 | 3Divi | Methods and systems for mapping pointing device on depth map |
US20140282270A1 (en) * | 2013-03-13 | 2014-09-18 | Motorola Mobility Llc | Method and System for Gesture Recognition |
CN104281254A (zh) * | 2013-07-12 | 2015-01-14 | 上海硅通半导体技术有限公司 | 一种手势识别装置 |
US20150248166A1 (en) * | 2014-01-26 | 2015-09-03 | Shangkar Meitei Mayanglambam | System for spontaneous recognition of continuous gesture input |
CN104951075A (zh) * | 2015-06-23 | 2015-09-30 | 上海卓易科技股份有限公司 | 一种移动终端自定义手势的方法及移动终端 |
CN106778670A (zh) * | 2016-12-30 | 2017-05-31 | 上海集成电路研发中心有限公司 | 手势识别装置及识别方法 |
CN107085494A (zh) * | 2017-04-24 | 2017-08-22 | 武汉史蒂芬凯科技有限公司 | 一种在基于触摸屏的智能终端上创建或删除对象间关联线的方法 |
CN107085479A (zh) * | 2016-02-15 | 2017-08-22 | 三星电子株式会社 | 提供手写风格校正功能的方法和适用于其的电子装置 |
US20170315519A1 (en) * | 2016-04-29 | 2017-11-02 | Brain Corporation | Systems and methods to operate controllable devices with gestures and/or noises |
US20170336874A1 (en) * | 2016-05-20 | 2017-11-23 | Insignal Co., Ltd. | Method and apparatus for processing hand gesture command for media-centric wearable electronic device |
CN108920071A (zh) * | 2018-06-21 | 2018-11-30 | Oppo广东移动通信有限公司 | 基于异形显示屏的控制方法、装置、存储介质及移动终端 |
CN109710143A (zh) * | 2018-11-23 | 2019-05-03 | 努比亚技术有限公司 | 一种界面切换控制方法、终端及计算机可读存储介质 |
CN110275611A (zh) * | 2019-05-27 | 2019-09-24 | 联想(上海)信息技术有限公司 | 一种参数调节方法、装置和电子设备 |
CN111639573A (zh) * | 2020-05-22 | 2020-09-08 | 广州宇中网络科技有限公司 | 基于orb算法的手势识别方法、存储介质及电子设备 |
CN112183198A (zh) * | 2020-08-21 | 2021-01-05 | 北京工业大学 | 肢体骨架和头手部件轮廓融合的手势识别方法 |
-
2021
- 2021-05-19 CN CN202110545143.0A patent/CN113269075B/zh active Active
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101763515A (zh) * | 2009-09-23 | 2010-06-30 | 中国科学院自动化研究所 | 一种基于计算机视觉的实时手势交互方法 |
US20120176303A1 (en) * | 2010-05-28 | 2012-07-12 | Yuichi Miyake | Gesture recognition apparatus and method of gesture recognition |
US20130010071A1 (en) * | 2011-07-04 | 2013-01-10 | 3Divi | Methods and systems for mapping pointing device on depth map |
US20140282270A1 (en) * | 2013-03-13 | 2014-09-18 | Motorola Mobility Llc | Method and System for Gesture Recognition |
CN104281254A (zh) * | 2013-07-12 | 2015-01-14 | 上海硅通半导体技术有限公司 | 一种手势识别装置 |
US20150248166A1 (en) * | 2014-01-26 | 2015-09-03 | Shangkar Meitei Mayanglambam | System for spontaneous recognition of continuous gesture input |
CN104951075A (zh) * | 2015-06-23 | 2015-09-30 | 上海卓易科技股份有限公司 | 一种移动终端自定义手势的方法及移动终端 |
CN107085479A (zh) * | 2016-02-15 | 2017-08-22 | 三星电子株式会社 | 提供手写风格校正功能的方法和适用于其的电子装置 |
US20170315519A1 (en) * | 2016-04-29 | 2017-11-02 | Brain Corporation | Systems and methods to operate controllable devices with gestures and/or noises |
US20170336874A1 (en) * | 2016-05-20 | 2017-11-23 | Insignal Co., Ltd. | Method and apparatus for processing hand gesture command for media-centric wearable electronic device |
CN106778670A (zh) * | 2016-12-30 | 2017-05-31 | 上海集成电路研发中心有限公司 | 手势识别装置及识别方法 |
CN107085494A (zh) * | 2017-04-24 | 2017-08-22 | 武汉史蒂芬凯科技有限公司 | 一种在基于触摸屏的智能终端上创建或删除对象间关联线的方法 |
CN108920071A (zh) * | 2018-06-21 | 2018-11-30 | Oppo广东移动通信有限公司 | 基于异形显示屏的控制方法、装置、存储介质及移动终端 |
CN109710143A (zh) * | 2018-11-23 | 2019-05-03 | 努比亚技术有限公司 | 一种界面切换控制方法、终端及计算机可读存储介质 |
CN110275611A (zh) * | 2019-05-27 | 2019-09-24 | 联想(上海)信息技术有限公司 | 一种参数调节方法、装置和电子设备 |
CN111639573A (zh) * | 2020-05-22 | 2020-09-08 | 广州宇中网络科技有限公司 | 基于orb算法的手势识别方法、存储介质及电子设备 |
CN112183198A (zh) * | 2020-08-21 | 2021-01-05 | 北京工业大学 | 肢体骨架和头手部件轮廓融合的手势识别方法 |
Non-Patent Citations (2)
Title |
---|
王红霞等: "基于加锁机制的静态手势识别方法", 计算机应用, no. 07 * |
齐邦强等: "基于马尔可夫模型的手势识别算法", 计算机与信息技术, no. 05 * |
Also Published As
Publication number | Publication date |
---|---|
CN113269075B (zh) | 2024-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9898844B2 (en) | Augmented reality content adapted to changes in real world space geometry | |
WO2018072652A1 (zh) | 视频处理方法、视频处理装置及存储介质 | |
US20150185825A1 (en) | Assigning a virtual user interface to a physical object | |
CN108305317A (zh) | 一种图像处理方法、装置及存储介质 | |
CN112148197A (zh) | 增强现实ar交互方法、装置、电子设备及存储介质 | |
US20150187137A1 (en) | Physical object discovery | |
CN106464773B (zh) | 增强现实的装置及方法 | |
US20240078703A1 (en) | Personalized scene image processing method, apparatus and storage medium | |
CN108096833B (zh) | 基于级联神经网络的体感游戏控制方法及装置、计算设备 | |
CN112882576B (zh) | Ar交互方法、装置、电子设备及存储介质 | |
WO2022206304A1 (zh) | 视频的播放方法、装置、设备、存储介质及程序产品 | |
CN112148125A (zh) | 一种ar交互状态控制的方法、装置、设备及存储介质 | |
CN111359201A (zh) | 一种拼图类游戏方法、系统及设备 | |
CN112437231A (zh) | 图像拍摄方法和装置、电子设备及存储介质 | |
CN111627115A (zh) | 互动合影方法及装置、互动装置以及计算机存储介质 | |
WO2022166173A1 (zh) | 视频资源处理方法、装置、计算机设备、存储介质及程序 | |
CN111901518B (zh) | 显示方法、装置和电子设备 | |
CN112333498A (zh) | 一种展示控制方法、装置、计算机设备及存储介质 | |
CN116912463A (zh) | 3d虚拟形象处理方法、装置、电子设备和可读存储介质 | |
CN111897437A (zh) | 跨终端的交互方法、装置、电子设备以及存储介质 | |
CN113269075B (zh) | 手势轨迹识别方法和装置、存储介质及电子设备 | |
CN111258413A (zh) | 虚拟对象的控制方法和装置 | |
CN114266305A (zh) | 对象识别方法及装置、电子设备和存储介质 | |
CN112764527A (zh) | 基于体感交互设备的产品介绍投影互动方法、终端、系统 | |
CN111627097B (zh) | 一种虚拟景物的展示方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |