CN111652182B - 一种悬空手势识别的方法、装置、电子设备和存储介质 - Google Patents

一种悬空手势识别的方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN111652182B
CN111652182B CN202010555991.5A CN202010555991A CN111652182B CN 111652182 B CN111652182 B CN 111652182B CN 202010555991 A CN202010555991 A CN 202010555991A CN 111652182 B CN111652182 B CN 111652182B
Authority
CN
China
Prior art keywords
fingertip
image
coordinates
carrier
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010555991.5A
Other languages
English (en)
Other versions
CN111652182A (zh
Inventor
赵华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Genius Technology Co Ltd
Original Assignee
Guangdong Genius Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Genius Technology Co Ltd filed Critical Guangdong Genius Technology Co Ltd
Priority to CN202010555991.5A priority Critical patent/CN111652182B/zh
Publication of CN111652182A publication Critical patent/CN111652182A/zh
Application granted granted Critical
Publication of CN111652182B publication Critical patent/CN111652182B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例公开了一种悬空手势识别的方法、装置、电子设备和存储介质。该方法包括:接收触发拍照的指令,通过第一图像采集装置和第二图像采集装置对承载体进行拍照,分别得到第一图像和第二图像;对第一图像和第二图像中的手指进行识别;在第一图像和第二图像分别识别到第一指尖和第二指尖时,检测第一指尖的坐标和第二指尖的坐标是否位于承载体图像的相同位置;位于相同位置时,保留第一图像或/和第二图像;位于不同位置时,删除第一图像和第二图像。实施本发明实施例,可以在点读场景下,通过两个或多个摄像头获取的手势在承载体上的位置确认是否为悬空手势,可以有效减少无效手势导致的误触,进一步提升用户体验。

Description

一种悬空手势识别的方法、装置、电子设备和存储介质
技术领域
本发明涉及图像处理技术领域,具体涉及一种悬空手势识别的方法、装置、电子设备和存储介质。
背景技术
当前很多电子教辅设备,大多具有点读场景,点读场景是指用户通过手指指向书本、练习册或试卷等承载体时,教辅设备会通过图像采集装置对承载体进行拍照,并识别手指的位置,从而根据手指位置确定用户意图,进而得到用户意图对应的图像,用于显示、搜题或者题目收录等,搜题可以是搜答案、搜读音或语义等。因为现有教辅设备是识别手指的位置,当用户手指悬空时,拍照得到的图像将手指和承载体叠加,会认为手指在承载体上,从而仍然会完成识别过程,事实上,这个时候,用户可能并未确定具体的手指位置,造成识别产生较大的误差,影响用户体验。
发明内容
针对所述缺陷,本发明实施例公开了一种悬空手势识别的方法、装置、电子设备和存储介质,其可以对悬空手势进行识别,减少无效手势导致的误触。
本发明实施例第一方面公开一种悬空手势识别的方法,所述方法包括:
接收触发拍照的指令,通过第一图像采集装置和第二图像采集装置对承载体进行拍照,分别得到第一图像和第二图像;
对所述第一图像和第二图像中的手指进行识别;
在第一图像和第二图像分别识别到第一指尖和第二指尖时,检测所述第一指尖的坐标和第二指尖的坐标是否位于承载体图像的相同位置;
在第一指尖坐标和第二指尖坐标位于承载体图像的相同位置时,保留所述第一图像或/和第二图像;在第一指尖坐标和第二指尖坐标位于承载体图像的不同位置时,删除所述第一图像和第二图像。
作为一种可选的实施方式,在本发明实施例第一方面中,对所述第一图像和第二图像中的手指进行识别,包括:
利用肤色分割方法或基于机器学习的指尖识别模型对所述第一图像和第二图像中的指尖进行识别。
作为一种可选的实施方式,在本发明实施例第一方面中,所述在第一图像和第二图像分别识别到第一指尖和第二指尖时,检测所述第一指尖的坐标和第二指尖的坐标是否位于承载体图像的相同位置,包括:
获取第一指尖和第二指尖的坐标;
计算所述第一指尖坐标和第二指尖坐标的距离,在所述距离小于或等于第一预设阈值时,第一指尖坐标和第二指尖坐标位于承载体图像的相同位置。
作为一种可选的实施方式,在本发明实施例第一方面中,计算所述第一指尖坐标和第二指尖坐标的距离,包括:
利用仿射变换的方式将所述第一指尖和第二指尖的坐标转换到同一坐标系中;
计算在同一坐标系下,第一指尖坐标和第二指尖坐标之间的欧氏距离或曼哈顿距离。
作为一种可选的实施方式,在本发明实施例第一方面中,所述第二图像采集装置为多个;
在第一图像和第二图像分别识别到第一指尖和第二指尖时,检测所述第一指尖的坐标和第二指尖的坐标是否位于承载体图像的相同位置,包括:
获取第一指尖和多个第二指尖的坐标;
计算所述第一指尖坐标和每个第二指尖坐标的距离,在所述距离均小于或等于第一预设阈值,或者所述距离的平均值小于或等于第一预设阈值时,第一指尖坐标和第二指尖坐标位于承载体图像的相同位置。
作为一种可选的实施方式,在本发明实施例第一方面中,所述方法,还包括:
在第一图像和第二图像其中之一识别不到指尖坐标时,删除所述第一图像和第二图像。
作为一种可选的实施方式,在本发明实施例第一方面中,所述第二图像采集装置为多个;
所述方法还包括:
在第二图像采集装置中其中一个或多个无法识别第二指尖时,删除所述第一图像和第二图像。
作为一种可选的实施方式,在本发明实施例第一方面中,所述第二图像采集装置为多个,所述第一图像识别得到第一指尖坐标,部分第二图像中识别得到第二指尖坐标;
所述检测所述第一指尖的坐标和第二指尖的坐标是否位于承载体图像的相同位置,包括:
计算第一指尖坐标和每个第二指尖坐标的距离,并获取所述距离中小于或等于第一预设阈值的个数;
计算所述个数占第二图像采集装置总数量的比例,在所述比例大于或等于第二预设阈值时,第一指尖坐标和第二指尖坐标位于承载体图像的相同位置。
本发明实施例第二方面公开一种悬空手势识别的装置,所述装置包括:
拍照单元,用于接收触发拍照的指令,通过第一图像采集装置和第二图像采集装置对承载体进行拍照,分别得到第一图像和第二图像;
识别单元,用于对所述第一图像和第二图像中的手指进行识别;
判断单元,用于在第一图像和第二图像分别识别到第一指尖和第二指尖时,检测所述第一指尖的坐标和第二指尖的坐标是否位于承载体图像的相同位置;
处理单元,在第一指尖坐标和第二指尖坐标位于承载体图像的相同位置时,保留所述第一图像或/和第二图像;在第一指尖坐标和第二指尖坐标位于承载体图像的不同位置时,删除所述第一图像和第二图像。
作为一种可选的实施方式,在本发明实施例第二方面中,所述判断单元,包括:
坐标获取子单元,用于获取第一指尖和第二指尖的坐标;
距离计算子单元,用于计算所述第一指尖坐标和第二指尖坐标的距离,在所述距离小于或等于第一预设阈值时,第一指尖坐标和第二指尖坐标位于承载体图像的相同位置。
作为一种可选的实施方式,在本发明实施例第二方面中,所述距离计算子单元,包括:
坐标变换孙单元,用于利用仿射变换的方式将所述第一指尖和第二指尖的坐标转换到同一坐标系中;
距离获取孙单元,用于计算在同一坐标系下,第一指尖坐标和第二指尖坐标之间的欧氏距离或曼哈顿距离。
作为一种可选的实施方式,在本发明实施例第二方面中,所述第二图像采集装置为多个;
所述判断单元,包括:
坐标获取子单元,用于获取第一指尖和多个第二指尖的坐标;
距离计算子单元,用于计算所述第一指尖坐标和每个第二指尖坐标的距离,在所述距离均小于或等于第一预设阈值,或者所述距离的平均值小于或等于第一预设阈值时,第一指尖坐标和第二指尖坐标位于承载体图像的相同位置。
作为一种可选的实施方式,在本发明实施例第二方面中,所述第二图像采集装置为多个,所述第一图像识别得到第一指尖坐标,部分第二图像中识别得到第二指尖坐标;
所述判断单元,包括:
距离计算子单元,用于计算第一指尖坐标和每个第二指尖坐标的距离,并获取所述距离中小于或等于第一预设阈值的个数;
比例计算子单元,用于计算所述个数占第二图像采集装置总数量的比例,在所述比例大于或等于第二预设阈值时,第一指尖坐标和第二指尖坐标位于承载体图像的相同位置。
本发明实施例第三方面公开一种电子设备,包括:存储有可执行程序代码的存储器;与所述存储器耦合的处理器;所述处理器调用所述存储器中存储的所述可执行程序代码,用于执行本发明实施例第一方面公开的一种悬空手势识别的方法的部分或全部步骤。
本发明实施例第四方面公开一种计算机可读存储介质,其存储计算机程序,其中,所述计算机程序使得计算机执行本发明实施例第一方面公开的一种悬空手势识别的方法的部分或全部步骤。
本发明实施例第五方面公开一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行本发明实施例第一方面公开的一种悬空手势识别的方法的部分或全部步骤。
本发明实施例第六方面公开一种应用发布平台,所述应用发布平台用于发布计算机程序产品,其中,当所述计算机程序产品在计算机上运行时,使得所述计算机执行本发明实施例第一方面公开的一种悬空手势识别的方法的部分或全部步骤。
与现有技术相比,本发明实施例具有以下有益效果:
本发明实施例中,接收触发拍照的指令,通过第一图像采集装置和第二图像采集装置对承载体进行拍照,分别得到第一图像和第二图像;对所述第一图像和第二图像中的手指进行识别;在第一图像和第二图像分别识别到第一指尖和第二指尖时,检测所述第一指尖的坐标和第二指尖的坐标是否位于承载体图像的相同位置;在第一指尖坐标和第二指尖坐标位于承载体图像的相同位置时,保留所述第一图像或/和第二图像;在第一指尖坐标和第二指尖坐标位于承载体图像的不同位置时,删除所述第一图像和第二图像。可见,实施本发明实施例,可以在点读场景下,通过两个摄像头获取的手势在承载体上的位置是否重合,确认是否为悬空手势,进而确定是否进行后续操作,可以有效减少无效手势导致的误触,进一步提升用户体验。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例公开的一种悬空手势识别的方法的流程示意图;
图2为本发明实施例公开的悬空手势指尖位置坐标示意图;
图3为本发明实施例公开的接触承载体手势指尖位置坐标示意图;
图4为本发明实施例公开的另一种悬空手势识别的方法的流程示意图;
图5为本发明实施例公开的又一种悬空手势识别的方法的流程示意图;
图6为本发明实施例公开的一种悬空手势识别的装置的结构示意图;
图7为本发明实施例公开的另一种悬空手势识别的装置的结构示意图;
图8为本发明实施例公开的又一种悬空手势识别的装置的结构示意图;
图9为本发明实施例公开的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书中的术语“第一”、“第二”、“第三”、“第四”等是用于区别不同的对象,而不是用于描述特定顺序。本发明实施例的术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,示例性地,包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例公开了一种悬空手势识别的方法、装置、电子设备和存储介质,可以在试卷、练习册等文本教辅资料场景下,精确分析出题目层级,判别大小题进行输出,对各种排版和格式都具有较好的兼容性,同时还能根据业务需要,灵活调整输出的范围,具有很好的适用性,以下结合附图进行详细描述。
实施例一
请参阅图1,图1是本发明实施例公开的一种悬空手势识别的方法的流程示意图。如图1所示,该悬空手势识别的方法包括以下步骤:
110、接收触发拍照的指令,通过第一图像采集装置和第二图像采集装置对承载体进行拍照,分别得到第一图像和第二图像。
承载体为纸质的书本、练习册、作业本或试卷等,在点读场景下,通过用户手触承载体并触发相应的拍照指令,实现对承载体的拍照,进而识别用户意图。触发拍照的指令有多种,示例性地,可以通过语音方式实现,例如“请拍照”或者“这个词怎么读(这个词什么意思)”等,其中,前一个语音方式仅触发拍照操作,后续用户意图需要新的指令,后一个语音方式是触发拍照操作后,再实现相应的用户意图。还可以通过按键(例如机械按键或触控按键)触发相应的拍照指令,也可以在电子设备(主要指家教机、学习机以及点读机等教辅设备)在进入点读场景例如点读app下触发拍照指令。
图像采集装置为执行拍照功能的器件,其可以集成于电子设备上,例如通过电子设备的前置摄像头对放置于电子设备前的承载体进行拍照,也可以是分立器件,通过有线或无线方式与电子设备建立通讯连接,执行电子设备发送的拍照指令,并将拍照得到的图像发送给电子设备。
在本发明实施例中,图像采集装置为两个,分别为第一图像采集装置和第二图像采集装置,二者都是针对承载体进行拍照,即二者的指向均为承载体。在执行下一步的操作之前,可以先对拍照得到第一图像和第二图像进行预处理,预处理包括但不限于图像增强以及形状矫正,形状矫正主要是通过霍夫变换等将第一图像和第二图像矫正为矩形。
120、对所述第一图像和第二图像中的手指进行识别。
因此用户是通过手指去确定的用户意图,因此需要对手指进行识别,一方面用户确定用户意图,另一方面确定是否存在悬空手势。
示例性地,可以通过肤色分割法对第一图像和第二图像中的手指进行识别。首先可以先将第一图像和第二图像从RGB颜色空间转换到YCbCr颜色空间或HSV颜色空间,转换的目的在于RGB颜色空间的肤色容易受光照影响不易分离;然后通过肤色检测模型确定手指轮廓,进而确定指尖位置,肤色检测模型可以是阈值限定法或单高斯模型法等。
还可以通过基于机器学习方式实现手指识别,通过大量带有手指的图片并人工标注指尖的位置,进而对机器学习模型进行训练,得到指尖识别模型,将第一图像和第二图像输入指尖识别模型,可以确定第一图像和第二图像中指尖的位置。机器学习模型包括但不限于全连接神经网络模型、卷积神经网络模型、循环神经网络模型以及胶囊网络模型等。
130、在第一图像和第二图像分别识别到第一指尖和第二指尖时,检测所述第一指尖的坐标和第二指尖的坐标是否位于承载体图像的相同位置。
当第一图像和第二图像均识别到了指尖,分别记为第一指尖和第二指尖,并确定第一指尖和第二指尖在相应图像中的坐标,然后检测第一指尖的坐标和第二指尖的坐标是否位于承载体图像的相同位置,即是在承载体的纸面上是否重合,如果重合,则执行步骤140,反之,执行步骤150。
因为第一图像采集装置和第二图像采集装置不会在同一个位置,因此,二者得到的第一图像和第二图像对承载体拍照的角度有一定的差异,如果将第一指尖坐标和第二指尖坐标直接比对,则会造成一定的误差。同时,在本发明较佳实施例中,为了更好的检测悬空手势,第一图像采集装置和第二图像采集装置优选固定设置且二者距离较远,第一图像采集装置和第二图像采集装置均可以清晰拍摄承载体全部或大部分内容。
在上述情况下,需要寻找一个基准,将第一指尖坐标和第二指尖坐标转换到参考坐标系中,这里的承载体图像就是参考坐标系下的图像,可以是真实存在,也可以是虚拟图像,坐标转换的方式可以通过仿射变换的方式实现,仿射变换矩阵的获取方式可以是通过选取多个相对应的坐标点构成坐标点集,进而通过最小二乘法或者SVD分解法等方法进行求解,得到仿射变换矩阵。
另外,还可以以第一图像或第二图像之一作为承载体图像,将另外一个图像的指尖坐标通过仿射变换的方式转换到该承载体图像中,从而使得第一指尖坐标和第二指尖坐标在同一坐标系下。
理论上如果在同一坐标系下,第一指尖坐标和第二指尖坐标重合,则说明第一指尖的坐标和第二指尖的坐标位于承载体图像的相同位置。但是在实际操作中,由于肤色检测模型的检测误差或指尖识别模型的识别误差,会造成指尖位置在一定程度上与实际发生偏移,因此,在本发明实施例中,通过阈值方式进行判断,具体地,如果在同一坐标系下,第一指尖坐标和第二指尖坐标的距离小于或等于第一预设阈值,则认为第一指尖的坐标和第二指尖的坐标位于承载体图像的相同位置(或者说第一指尖和第二指尖坐标重合)。第一预设阈值根据需要设定,也可以通过有限次试验确定,示例性地,在承载体图像确定且第一图像采集装置和第二图像采集装置固定的情况下,可以将手指通过多次悬空和多次接触承载体的操作,来计算第一指尖坐标和第二指尖坐标的距离,进而在多次接触承载体的操作中,确定两个指尖坐标之间最大距离作为第一预设阈值,当然,也可以是通过多次悬空操作确定的两个指尖坐标之间最小距离和设定值之和作为第一预设阈值。
140、保留所述第一图像或/和第二图像。
图像采集装置在对承载体拍照时,如果手指悬空,且被图像采集装置拍摄到,是将手指图像叠加到了图像采集装置中,识别得到的指尖坐标是图像采集装置的中心与悬空点之间连线的延长线与承载体图像的交点。如果手指不悬空,则指尖落于承载体上,则图像采集装置采集到的图像中识别的指尖坐标为其真实位置。
请参照图2所示,如果两个图像采集装置得到的指尖坐标不在承载体图像的相同位置,例如图像采集装置21得到指尖25在承载体26上的位置为指尖坐标点22,图像采集装置23得到指尖25在承载体26上的位置为指尖坐标点24,则说明手指是悬空的,指尖坐标点22和指尖坐标点24均不是指尖25的真实坐标。请参照图3所示,如果手指落于承载体20上,无论图像采集装置27还是图像采集装置28,得到指尖29的位置坐标均是指尖29所在承载体上的真实位置。
基于此,当第一指尖的坐标和第二指尖的坐标位于承载体图像的相同位置时,手指位于承载体上,不是悬空手势,手势有效,保留第一图像或/和第二图像;例如可以将第一图像采集装置与现有技术类似,置于最优位置,从而保留第一图像,更有助于后续的用户意图识别。
150、删除所述第一图像和第二图像。
如果第一指尖坐标和第二指尖坐标位于承载体图像的不同位置时,则说明是悬空手势,手势无效,删除该第一图像和第二图像。
实施本发明实施例,可以在点读场景下,通过两个摄像头获取的手势在承载体上的位置是否重合,确认是否为悬空手势,进而确定是否进行后续操作,可以有效减少无效手势导致的误触,进一步提升用户体验。
实施例二
请参阅图4,图4是本发明实施例公开的另一种悬空手势识别的方法的流程示意图。如图4所示,该悬空手势识别的方法包括以下步骤:
310、接收触发拍照的指令,通过第一图像采集装置和第二图像采集装置对承载体进行拍照,分别得到第一图像和第二图像。
320、对所述第一图像和第二图像中的手指进行识别。
330、在第一图像和第二图像其中之一中无法识别到指尖时,删除所述第一图像和第二图像。
步骤310和320可以与实施例一步骤110和步骤120相同,这里不再赘述。
在本发明实施例中,如果第一图像和第二图像中均不包含指尖时,说明用户并未进行用户意图操作,这种情况下,第一图像和第二图像在悬空手势识别中无实际意义。对于悬空手势而言,保证第一图像和第二图像其中之一中存在指尖,优选第一图像采集装置与现有教辅设备位置相同,可以采集到带有指尖的第一图像。
第二图像中不含有指尖的可能性有两个,其一是第二图像采集装置位置较低,例如位于教辅设备的较靠下的位置,而手指并未与承载体接触,因此,无法识别到手指,其二是第二图像采集装置可以识别到手指,但是手指与承载体的图像脱离,即位于手指位于承载体的图像之外,第二图像采集装置的中心与指尖的连线和延长线均不和承载体的图像存在交点。
无论第二图像中不含有指尖是哪种方式,都发生于悬空手势才有可能出现的情况,因此,手势无效,删除第一图像和第二图像。
实施本发明实施例,可以在点读场景下,通过两个摄像头获取的图像来判断是否为悬空手势,进而确定是否进行后续操作,可以有效减少无效手势导致的误触,进一步提升用户体验。
实施例三
请参阅图5,图5是本发明实施例公开的又一种悬空手势识别的方法的流程示意图。如图5所示,该悬空手势识别的方法包括以下步骤:
410、接收触发拍照的指令,通过第一图像采集装置和多个第二图像采集装置对承载体进行拍照,分别得到第一图像和多个第二图像。
420、对所述第一图像和第二图像中的手指进行识别。
430、在第一图像和第二图像分别识别到第一指尖和第二指尖时,检测所述第一指尖的坐标和多个第二指尖的坐标是否位于承载体图像的相同位置,如果位于承载体图像相同的位置,则执行步骤440,反之执行步骤450。
440、保留所述第一图像或/和第二图像。
450、删除所述第一图像和所有第二图像。
步骤410和420以及步骤440和450可以与实施例一步骤110和120以及步骤140和150类似,这里不再赘述。
为了保证悬空手势识别的准确性,还可以通过设置更多个图像采集装置进行判断,这里仍然定义第一图像与现有教辅设备拍照得到的图像相同和接近,用于步骤440的保留。设置多个第二图像采集装置,其可以分布于教辅设备的各个部分,也可以绕第一图像采集装置分布。判断第一指尖坐标和第二指尖坐标位于承载体图像的相同位置,是计算所述第一指尖坐标和每个第二指尖坐标的距离,在所述距离均小于或等于第一预设阈值,或者所述距离的平均值小于或等于第一预设阈值时,第一指尖坐标和第二指尖坐标位于承载体图像的相同位置。同样地,第一指尖坐标和多个第二指尖坐标的距离计算也是通过仿射变换转换到同一坐标系下实现。
实施本发明实施例,可以在点读场景下,通过多个摄像头获取的图像来判断是否为悬空手势,进而确定是否进行后续操作,可以有效减少无效手势导致的误触,进一步提升用户体验。
当存在多个第二图像采集装置时,在其他的一些实施例中,还可能存在一些第二图像中不含有指尖,这种情况,说明第一指尖坐标和第二指尖坐标位于承载体图像的不同位置,删除第一图像和所有第二图像。
为了避免因肤色检测模型的检测误差或指尖识别模型的识别误差,在其他的一些实施例中,还可以根据比例确定第一指尖坐标和第二指尖坐标是否位于承载体图像的相同位置,这种情况下,需要第二图像采集装置足够多时才更准确,具体地,所述第二图像采集装置为多个,通过第一图像识别得到第一指尖坐标,部分第二图像中识别得到第二指尖坐标(剩余部分的第二图像中识别不到第二指尖坐标)这种情况下,计算第一指尖坐标和每个第二指尖坐标的距离,并获取所述距离中小于或等于第一预设阈值的个数;并计算所述个数占第二图像采集装置总数量的比例,在所述比例大于或等于第二预设阈值时,第一指尖坐标和第二指尖坐标位于承载体图像的相同位置。这种方法也适用于所有的第二图像中均可以识别到第二指尖坐标的情况。
实施例四
请参阅图6,图6是本发明实施例公开的一种悬空手势识别的装置的结构示意图。如图6所示,该悬空手势识别的装置可以包括:
拍照单元510,用于接收触发拍照的指令,通过第一图像采集装置和第二图像采集装置对承载体进行拍照,分别得到第一图像和第二图像;
识别单元520,用于对所述第一图像和第二图像中的手指进行识别;
判断单元530,用于在第一图像和第二图像分别识别到第一指尖和第二指尖时,检测所述第一指尖的坐标和第二指尖的坐标是否位于承载体图像的相同位置;
处理单元540,在第一指尖坐标和第二指尖坐标位于承载体图像的相同位置时,保留所述第一图像或/和第二图像;在第一指尖坐标和第二指尖坐标位于承载体图像的不同位置时,删除所述第一图像和第二图像。
作为一种可选的实施方式,所述识别单元520,可以包括:
利用肤色分割方法或基于机器学习的指尖识别模型对所述第一图像和第二图像中的指尖进行识别。
作为一种可选的实施方式,所述判断单元530,可以包括:
坐标获取子单元531,用于获取第一指尖和第二指尖的坐标;
距离计算子单元532,用于计算所述第一指尖坐标和第二指尖坐标的距离,在所述距离小于或等于第一预设阈值时,第一指尖坐标和第二指尖坐标位于承载体图像的相同位置。
作为一种可选的实施方式,所述距离计算子单元532,可以包括:
坐标变换孙单元5321,用于利用仿射变换的方式将所述第一指尖和第二指尖的坐标转换到同一坐标系中;
距离获取孙单元5322,用于计算在同一坐标系下,第一指尖坐标和第二指尖坐标之间的欧氏距离或曼哈顿距离。
作为一种可选的实施方式,所述装置,还可以包括:
删除单元550,用于在第一图像和第二图像其中之一识别不到指尖坐标时,删除所述第一图像和第二图像。
图6所示的悬空手势识别的装置,可以在点读场景下,通过两个摄像头获取的手势在承载体上的位置是否重合,确认是否为悬空手势,进而确定是否进行后续操作,可以有效减少无效手势导致的误触,进一步提升用户体验。
实施例五
请参阅图7,图7是本发明实施例公开的另一种悬空手势识别的装置的结构示意图。如图7所示,该悬空手势识别的装置可以包括:
拍照单元610,用于接收触发拍照的指令,通过第一图像采集装置和第二图像采集装置对承载体进行拍照,分别得到第一图像和第二图像;
识别单元620,用于对所述第一图像和第二图像中的手指进行识别;
判断单元630,用于在第一图像和第二图像分别识别到第一指尖和第二指尖时,检测所述第一指尖的坐标和第二指尖的坐标是否位于承载体图像的相同位置;
处理单元640,在第一指尖坐标和第二指尖坐标位于承载体图像的相同位置时,保留所述第一图像或/和第二图像;在第一指尖坐标和第二指尖坐标位于承载体图像的不同位置时,删除所述第一图像和第二图像。
作为一种可选的实施方式,所述识别单元620,可以包括:
利用肤色分割方法或基于机器学习的指尖识别模型对所述第一图像和第二图像中的指尖进行识别。
作为一种可选的实施方式,所述第二图像采集装置为多个;所述判断单元630,可以包括:
坐标获取子单元631,用于获取第一指尖和多个第二指尖的坐标;
距离计算子单元632,用于计算所述第一指尖坐标和每个第二指尖坐标的距离,在所述距离均小于或等于第一预设阈值,或者所述距离的平均值小于或等于第一预设阈值时,第一指尖坐标和第二指尖坐标位于承载体图像的相同位置。
作为一种可选的实施方式,所述距离计算子单元632,可以包括:
坐标变换孙单元6321,用于利用仿射变换的方式将所述第一指尖和第二指尖的坐标转换到同一坐标系中;
距离获取孙单元6322,用于计算在同一坐标系下,第一指尖坐标和第二指尖坐标之间的欧氏距离或曼哈顿距离。
作为一种可选的实施方式,所述装置,还可以包括:删除单元650,用于在第二图像采集装置中其中一个或多个无法识别第二指尖时,删除所述第一图像和第二图像。
图7所示的悬空手势识别的装置,可以在点读场景下,通过多个摄像头获取的图像来判断是否为悬空手势,进而确定是否进行后续操作,可以有效减少无效手势导致的误触,进一步提升用户体验。
实施例六
请参阅图8,图8是本发明实施例公开的又一种悬空手势识别的装置的结构示意图。如图8所示,该悬空手势识别的装置可以包括:
拍照单元710,用于接收触发拍照的指令,通过第一图像采集装置和第二图像采集装置对承载体进行拍照,分别得到第一图像和第二图像;
识别单元720,用于对所述第一图像和第二图像中的手指进行识别;
判断单元730,用于在第一图像和第二图像分别识别到第一指尖和第二指尖时,检测所述第一指尖的坐标和第二指尖的坐标是否位于承载体图像的相同位置;
处理单元740,在第一指尖坐标和第二指尖坐标位于承载体图像的相同位置时,保留所述第一图像或/和第二图像;在第一指尖坐标和第二指尖坐标位于承载体图像的不同位置时,删除所述第一图像和第二图像。
作为一种可选的实施方式,所述识别单元720,可以包括:
利用肤色分割方法或基于机器学习的指尖识别模型对所述第一图像和第二图像中的指尖进行识别。
作为一种可选的实施方式,所述第二图像采集装置为多个,所述第一图像识别得到第一指尖坐标,部分第二图像中识别得到第二指尖坐标;
所述判断单元730,包括:
距离计算子单元731,用于计算第一指尖坐标和每个第二指尖坐标的距离,并获取所述距离中小于或等于第一预设阈值的个数;
比例计算子单元732,用于计算所述个数占第二图像采集装置总数量的比例,在所述比例大于或等于第二预设阈值时,第一指尖坐标和第二指尖坐标位于承载体图像的相同位置。
作为一种可选的实施方式,所述距离计算子单元731,可以包括:
坐标变换孙单元7311,用于利用仿射变换的方式将所述第一指尖和第二指尖的坐标转换到同一坐标系中;
距离获取孙单元7312,用于计算在同一坐标系下,第一指尖坐标和第二指尖坐标之间的欧氏距离或曼哈顿距离。
图8所示的悬空手势识别的装置,可以在点读场景下,通过多个摄像头获取的图像来判断是否为悬空手势,进而确定是否进行后续操作,可以有效减少无效手势导致的误触,进一步提升用户体验。
实施例七
请参阅图9,图9是本发明实施例公开的一种电子设备的结构示意图。如图9所示,该电子设备可以包括:
存储有可执行程序代码的存储器810;
与存储器810耦合的处理器820;
其中,处理器820调用存储器810中存储的可执行程序代码,执行实施例一中悬空手势识别的方法中的部分或全部步骤。
本发明实施例公开一种计算机可读存储介质,其存储计算机程序,其中,该计算机程序使得计算机执行实施例一至实施例三中悬空手势识别的方法中的部分或全部步骤。
本发明实施例还公开一种计算机程序产品,其中,当计算机程序产品在计算机上运行时,使得计算机执行实施例一至实施例三中悬空手势识别的方法中的部分或全部步骤。
本发明实施例还公开一种应用发布平台,其中,应用发布平台用于发布计算机程序产品,其中,当计算机程序产品在计算机上运行时,使得计算机执行实施例一至实施例三中悬空手势识别的方法中的部分或全部步骤。
在本发明的各种实施例中,应理解,所述各过程的序号的大小并不意味着执行顺序的必然先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物单元,即可位于一个地方,或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。所述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可获取的存储器中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分,可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等,具体可以是计算机设备中的处理器)执行本发明的各个实施例所述方法的部分或全部步骤。
在本发明所提供的实施例中,应理解,“与A对应的B”表示B与A相关联,根据A可以确定B。但还应理解,根据A确定B并不意味着仅仅根据A确定B,还可以根据A和/或其他信息确定B。
本领域普通技术人员可以理解所述实施例的各种方法中的部分或全部步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory,ROM)、随机存储器(Random Access Memory,RAM)、可编程只读存储器(Programmable Read-only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory,OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本发明实施例公开的一种悬空手势识别的方法、装置、电子设备和存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (13)

1.一种悬空手势识别的方法,其特征在于,包括:
接收触发拍照的指令,通过第一图像采集装置和第二图像采集装置对承载体进行拍照,分别得到第一图像和第二图像;
对所述第一图像和第二图像中的手指进行识别;
在第一图像和第二图像分别识别到第一指尖和第二指尖时,检测所述第一指尖的坐标和第二指尖的坐标是否位于承载体图像的相同位置;
在第一指尖坐标和第二指尖坐标位于承载体图像的相同位置时,保留所述第一图像或/和第二图像;在第一指尖坐标和第二指尖坐标位于承载体图像的不同位置时,删除所述第一图像和第二图像;
所述第二图像采集装置为多个,所述第一图像识别得到第一指尖坐标,部分第二图像中识别得到第二指尖坐标;
所述检测所述第一指尖的坐标和第二指尖的坐标是否位于承载体图像的相同位置,包括:
计算第一指尖坐标和每个第二指尖坐标的距离,并获取所述距离中小于或等于第一预设阈值的个数;
计算所述个数占第二图像采集装置总数量的比例,在所述比例大于或等于第二预设阈值时,第一指尖坐标和第二指尖坐标位于承载体图像的相同位置。
2.根据权利要求1所述的方法,其特征在于,对所述第一图像和第二图像中的手指进行识别,包括:
利用肤色分割方法或基于机器学习的指尖识别模型对所述第一图像和第二图像中的指尖进行识别。
3.根据权利要求1所述的方法,其特征在于,所述在第一图像和第二图像分别识别到第一指尖和第二指尖时,检测所述第一指尖的坐标和第二指尖的坐标是否位于承载体图像的相同位置,包括:
获取第一指尖和第二指尖的坐标;
计算所述第一指尖坐标和第二指尖坐标的距离,在所述距离小于或等于第一预设阈值时,第一指尖坐标和第二指尖坐标位于承载体图像的相同位置。
4.根据权利要求3所述的方法,其特征在于,计算所述第一指尖坐标和第二指尖坐标的距离,包括:
利用仿射变换的方式将所述第一指尖和第二指尖的坐标转换到同一坐标系中;
计算在同一坐标系下,第一指尖坐标和第二指尖坐标之间的欧氏距离或曼哈顿距离。
5.根据权利要求1所述的方法,其特征在于,所述第二图像采集装置为多个;
在第一图像和第二图像分别识别到第一指尖和第二指尖时,检测所述第一指尖的坐标和第二指尖的坐标是否位于承载体图像的相同位置,包括:
获取第一指尖和多个第二指尖的坐标;
计算所述第一指尖坐标和每个第二指尖坐标的距离,在所述距离均小于或等于第一预设阈值,或者所述距离的平均值小于或等于第一预设阈值时,第一指尖坐标和第二指尖坐标位于承载体图像的相同位置。
6.根据权利要求1所述的方法,其特征在于,所述方法,还包括:
在第一图像和第二图像其中之一识别不到指尖坐标时,删除所述第一图像和第二图像。
7.根据权利要求1所述的方法,其特征在于,所述第二图像采集装置为多个;
所述方法还包括:
在第二图像采集装置中其中一个或多个无法识别第二指尖时,删除所述第一图像和第二图像。
8.一种悬空手势识别的装置,其特征在于,所述装置,包括:
拍照单元,用于接收触发拍照的指令,通过第一图像采集装置和第二图像采集装置对承载体进行拍照,分别得到第一图像和第二图像;
识别单元,用于对所述第一图像和第二图像中的手指进行识别;
判断单元,用于在第一图像和第二图像分别识别到第一指尖和第二指尖时,检测所述第一指尖的坐标和第二指尖的坐标是否位于承载体图像的相同位置;
处理单元,在第一指尖坐标和第二指尖坐标位于承载体图像的相同位置时,保留所述第一图像或/和第二图像;在第一指尖坐标和第二指尖坐标位于承载体图像的不同位置时,删除所述第一图像和第二图像;
所述第二图像采集装置为多个,所述第一图像识别得到第一指尖坐标,部分第二图像中识别得到第二指尖坐标;
所述判断单元,包括:
距离计算子单元,用于计算第一指尖坐标和每个第二指尖坐标的距离,并获取所述距离中小于或等于第一预设阈值的个数;
比例计算子单元,用于计算所述个数占第二图像采集装置总数量的比例,在所述比例大于或等于第二预设阈值时,第一指尖坐标和第二指尖坐标位于承载体图像的相同位置。
9.根据权利要求8所述的装置,其特征在于,所述判断单元,包括:
坐标获取子单元,用于获取第一指尖和第二指尖的坐标;
距离计算子单元,用于计算所述第一指尖坐标和第二指尖坐标的距离,在所述距离小于或等于第一预设阈值时,第一指尖坐标和第二指尖坐标位于承载体图像的相同位置。
10.根据权利要求9所述的装置,其特征在于,所述距离计算子单元,包括:
坐标变换孙单元,用于利用仿射变换的方式将所述第一指尖和第二指尖的坐标转换到同一坐标系中;
距离获取孙单元,用于计算在同一坐标系下,第一指尖坐标和第二指尖坐标之间的欧氏距离或曼哈顿距离。
11.根据权利要求8所述的装置,其特征在于,所述第二图像采集装置为多个;
所述判断单元,包括:
坐标获取子单元,用于获取第一指尖和多个第二指尖的坐标;
距离计算子单元,用于计算所述第一指尖坐标和每个第二指尖坐标的距离,在所述距离均小于或等于第一预设阈值,或者所述距离的平均值小于或等于第一预设阈值时,第一指尖坐标和第二指尖坐标位于承载体图像的相同位置。
12.一种电子设备,其特征在于,包括:存储有可执行程序代码的存储器;与所述存储器耦合的处理器;所述处理器调用所述存储器中存储的所述可执行程序代码,用于执行权利要求1至7任一项所述的一种悬空手势识别的方法。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储计算机程序,其中,所述计算机程序使得计算机执行权利要求1至7任一项所述的一种悬空手势识别的方法。
CN202010555991.5A 2020-06-17 2020-06-17 一种悬空手势识别的方法、装置、电子设备和存储介质 Active CN111652182B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010555991.5A CN111652182B (zh) 2020-06-17 2020-06-17 一种悬空手势识别的方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010555991.5A CN111652182B (zh) 2020-06-17 2020-06-17 一种悬空手势识别的方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN111652182A CN111652182A (zh) 2020-09-11
CN111652182B true CN111652182B (zh) 2023-09-19

Family

ID=72342618

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010555991.5A Active CN111652182B (zh) 2020-06-17 2020-06-17 一种悬空手势识别的方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN111652182B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101013349A (zh) * 2007-02-09 2007-08-08 山西大学 一种电子平面显示定位系统及定位方法
CN104850215A (zh) * 2014-02-18 2015-08-19 联想(北京)有限公司 信息处理方法、系统及电子设备
JP2017004438A (ja) * 2015-06-15 2017-01-05 富士通株式会社 入力装置、指先位置検出方法及び指先位置検出用コンピュータプログラム
JP2018032055A (ja) * 2015-01-13 2018-03-01 三菱電機株式会社 ジェスチャー認識装置及び方法、並びにプログラム及び記録媒体
CN111027533A (zh) * 2019-12-12 2020-04-17 广东小天才科技有限公司 一种点读坐标的变换方法、系统、终端设备及存储介质
CN111078002A (zh) * 2019-11-20 2020-04-28 维沃移动通信有限公司 一种悬空手势识别方法及终端设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE0000850D0 (sv) * 2000-03-13 2000-03-13 Pink Solution Ab Recognition arrangement
TWI471815B (zh) * 2012-12-07 2015-02-01 Chunghwa Picture Tubes Ltd 手勢辨識裝置及方法
JP2016177491A (ja) * 2015-03-19 2016-10-06 富士通株式会社 入力装置、指先位置検出方法及び指先位置検出用コンピュータプログラム
TWI662482B (zh) * 2017-06-28 2019-06-11 緯創資通股份有限公司 手勢識別方法以及手勢識別模組
CN107515714B (zh) * 2017-07-27 2020-08-28 歌尔股份有限公司 一种手指触控识别方法、装置和触控投影设备
CN111078083A (zh) * 2019-06-09 2020-04-28 广东小天才科技有限公司 一种点读内容的确定方法及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101013349A (zh) * 2007-02-09 2007-08-08 山西大学 一种电子平面显示定位系统及定位方法
CN104850215A (zh) * 2014-02-18 2015-08-19 联想(北京)有限公司 信息处理方法、系统及电子设备
JP2018032055A (ja) * 2015-01-13 2018-03-01 三菱電機株式会社 ジェスチャー認識装置及び方法、並びにプログラム及び記録媒体
JP2017004438A (ja) * 2015-06-15 2017-01-05 富士通株式会社 入力装置、指先位置検出方法及び指先位置検出用コンピュータプログラム
CN111078002A (zh) * 2019-11-20 2020-04-28 维沃移动通信有限公司 一种悬空手势识别方法及终端设备
CN111027533A (zh) * 2019-12-12 2020-04-17 广东小天才科技有限公司 一种点读坐标的变换方法、系统、终端设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高晨 ; 张亚军 ; .基于Kinect深度图像的指尖检测与手势识别.计算机系统应用.2017,(04),全文. *

Also Published As

Publication number Publication date
CN111652182A (zh) 2020-09-11

Similar Documents

Publication Publication Date Title
CN109635772B (zh) 一种听写内容的批改方法及电子设备
CN110532984B (zh) 关键点检测方法、手势识别方法、装置及系统
CN111078083A (zh) 一种点读内容的确定方法及电子设备
CN111353501A (zh) 一种基于深度学习的书本点读方法及系统
CN111027537A (zh) 一种搜题方法及电子设备
CN110941992B (zh) 微笑表情检测方法、装置、计算机设备及存储介质
CN111711757B (zh) 防手指遮挡的试题拍摄方法、装置、电子设备和存储介质
CN111079483A (zh) 一种书写规范判断方法及电子设备
CN111753168A (zh) 一种搜题的方法、装置、电子设备及存储介质
CN114360047A (zh) 举手手势识别方法、装置、电子设备及存储介质
CN111026924A (zh) 一种待搜索内容的获取方法及电子设备
CN111722711B (zh) 增强现实场景输出方法及电子设备、计算机可读存储介质
CN111027533B (zh) 一种点读坐标的变换方法、系统、终端设备及存储介质
CN111078983B (zh) 一种待识别页面的确定方法及学习设备
CN111077993B (zh) 一种学习场景的切换方法、电子设备及存储介质
CN110991371B (zh) 一种基于坐标识别的智能阅读学习方法
CN111079486B (zh) 一种开启听写检测的方法及电子设备
CN111091034B (zh) 一种基于多手指识别的搜题方法及家教设备
CN111652182B (zh) 一种悬空手势识别的方法、装置、电子设备和存储介质
CN111753715B (zh) 点读场景下试题拍摄的方法、装置、电子设备和存储介质
CN111027353A (zh) 一种搜索内容的提取方法及电子设备
CN111432131B (zh) 一种拍照框选的方法、装置、电子设备及存储介质
CN111711758B (zh) 多指定位的试题拍摄方法、装置、电子设备和存储介质
CN111652204B (zh) 目标文本区域选择的方法、装置、电子设备和存储介质
CN113449652A (zh) 基于生物特征识别的定位方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant