CN111639573A - 基于orb算法的手势识别方法、存储介质及电子设备 - Google Patents
基于orb算法的手势识别方法、存储介质及电子设备 Download PDFInfo
- Publication number
- CN111639573A CN111639573A CN202010443393.9A CN202010443393A CN111639573A CN 111639573 A CN111639573 A CN 111639573A CN 202010443393 A CN202010443393 A CN 202010443393A CN 111639573 A CN111639573 A CN 111639573A
- Authority
- CN
- China
- Prior art keywords
- pixel
- point
- image
- gesture
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于ORB算法的手势识别方法、存储介质及电子设备,该方法包括:获取到图像信息,所述图像信息包括脸部图像和手势图像;识别出所述图像信息中的所述手势图像;根据所述手势图像和指尖特性,利用ORB算法获得掌心位置和指尖位置;根据所述掌心位置和所述指尖位置识别出手势的运动轨迹。实施本发明,通过识别出获取到的图像信息中的手势图像,并根据指尖特性,利用ORB算法获得掌心位置和指尖位置,根据掌心位置和指尖位置获得手部和指尖的运动轨迹曲线,从而识别出手势动作,提高检测性能和手势识别的准确度,无需佩戴任何特殊物理设备。
Description
技术领域
本发明涉及手势识别技术领域,尤其涉及一种基于ORB算法的手势识别方法、存储介质及电子设备
背景技术
在人机交互过程中,通常会依赖键盘、鼠标等设备,或触碰屏幕等行为,与前述设备相比之下,采用手势识别、依靠手部的动作来进行人机交互可以明显降低计算机等智能设备的使用门槛,且拥有更高的灵活性。
手势识别根据数据采集方式不同,可分为两种:
1)基于物理设备,使用者佩戴特定设备采集数据,如数据手套、Kinect体感设备等,可以直接获取手势信息或者深度信息,可以准确识别出手势动作;
2)基于计算机视觉,利用摄像头采集图像数据,然后通过对图像数据的分析,完成检测任务。
然而,发明人在实现发明过程中发现,现有的手势识别方法存在以下缺陷:
1)基于物理设备,虽然能够直接准确地提取到手势的相关信息,对手势和复杂环境进行准确分割,但是对硬件设备的计算能力和存储能力普遍要求较高,且还需佩戴外部设备,限制了手势动作的表达方式。
2)基于计算机视觉,现有的基于计算机视觉的手势识别方法容易受到环境影响,如背景复杂或脸部干扰的情况下,无法准确地进行手势识别,精度低、性能差。
发明内容
本发明的目的在于克服现有技术的不足,提供一种基于ORB算法的手势识别方法、存储介质及电子设备,提高检测性能和手势识别的准确度,无需佩戴任何特殊物理设备。
本发明的技术方案提供一种基于ORB算法的手势识别方法,包括:
获取到图像信息,所述图像信息包括脸部图像和手势图像;
识别出所述图像信息中的所述手势图像;
根据所述手势图像和指尖特性,利用ORB算法获得掌心位置和指尖位置;
根据所述掌心位置和所述指尖位置识别出手势的运动轨迹。
进一步的,所述识别出所述图像信息中的所述手势图像,具体包括:
利用预设的用于肤色识别的肤色概率模型对所述图像信息进行肤色分割,生成肤色二值化图像信息;
利用连通域算法对所述肤色二值化图像信息进行区域分离,并利用凸包算法对所述肤色二值化图像信息中的手势进行定位,生成所述手势图像。
进一步的,所述图像信息为视频图像,所述利用预设的用于肤色识别的肤色概率模型对所述图像信息进行肤色分割,生成肤色二值化图像信息,具体包括:
将所述视频图像进行色彩空间转换,获取所述视频图像的色彩空间值,所述色彩空间值包括Cb分量值、Cr分量值和H分量;
将所述色彩空间值输入所述肤色概率模型,判断所述视频图像是否为肤色图像;
当所述视频图像为所述肤色图像时,将所述视频图像的像素值修改为第一像素值;
当所述视频图像不为所述肤色图像时,将所述视频图像的像素值修改为第二像素值;
生成所述肤色二值化图像信息。
进一步的,所述根据所述手势图像和指尖特性,利用ORB算法获得掌心位置和指尖位置,具体包括:
根据预设的第一像素半径,选取所述手势图像中的像素值为所述第一像素值的像素点作为待检测点;
以所述待检测点为中心,根据预设的第一像素半径和第二像素半径选取所述手势图像的待测像素点,当所述待测像素点符合所述指尖特性时,将所述待检测点作为特征点;
对所述特征点进行特征描述,生成特征描述子;
根据特征描述子进行特征匹配,获得所述指尖位置。
进一步的,所述以所述待检测点为中心,根据预设的第一像素半径和第二像素半径选取所述手势图像的待测像素点,当所述待测像素点符合所述指尖特性时,将所述待检测点作为特征点,具体包括:
以所述待检测点为中心,根据所述第二像素半径选取所述手势图像的像素点,生成第一待测像素点集合;
当所述第一待测像素点集合中的连续像素值为所述第一像素值的像素点个数小于预设的第一数量阈值时,以所述待检测点为中心,根据所述第一像素半径选取所述手势图像的像素点,生成第二待测像素点集合;
当所述第二待测像素点集合中的连续像素值为所述第一像素值的像素点个数小于预设的第二数量阈值时,获取所述第一待测像素点集合中的连续像素值为所述第一像素值的像素点的第一中点,并获取所述第二待测像素点集合中的连续像素值为所述第一像素值的像素点的第二中点;
当所述第一中点和所述第二中点与所述待检测点之间连线的角度小于预设的角度阈值时,将所述待检测点作为特征点。
进一步的,所述对所述特征点进行特征描述,生成特征描述子,具体包括:
以所述特征点为原点,以所述特征点与所述掌心位置的连接线为纵轴,以过所述原点且垂直于所述纵轴所在的水平线为横轴,建立二维坐标系;
在所述横轴上,以所述原点为中心根据预设的像素距离分别选取第一特征描述点和第二特征描述点,且在所述纵轴上,以所述原点为中心根据所述像素距离分别选取第三特征描述点和第四特征描述点,所述像素距离大于等于所述第一像素半径,且小于等于所述第二像素半径;
当所述第一特征描述点、所述第二特征描述点、所述第三特征描述点和所述第四特征描述点的像素值大于等于所述特征点的像素值时,返回1;当所述第一特征描述点、所述第二特征描述点、所述第三特征描述点和所述第四特征描述点的像素值小于所述特征点的像素值时,返回0,生成所述特征描述子。
进一步的,所述根据特征描述子进行特征匹配,获得所述指尖位置,具体包括:
当所述特征描述子为1101时,所述特征点为所述指尖位置。
进一步的,所述根据所述手势图像和指尖特性,利用ORB算法获得掌心位置和指尖位置,具体包括:
利用几何重心算法对所述手势图像进行分析,获得所述掌心位置。
本发明的技术方案还提供一种存储介质,所述存储介质存储计算机指令,当计算机执行所述计算机指令时,用于执行如前所述的基于ORB算法的手势识别方法的所有步骤。
本发明的技术方案还提供一种电子设备,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行:
获取到图像信息,所述图像信息包括脸部图像和手势图像;
识别出所述图像信息中的所述手势图像;
根据所述手势图像和指尖特性,利用ORB算法获得掌心位置和指尖位置;
根据所述掌心位置和所述指尖位置识别出手势的运动轨迹。
采用上述技术方案后,具有如下有益效果:通过识别出获取到的图像信息中的手势图像,并根据指尖特性,利用ORB算法获得掌心位置和指尖位置,根据掌心位置和指尖位置识别出手势的运动轨迹,从而识别出手势动作,提高检测性能和手势识别的准确度,无需佩戴任何特殊物理设备。
附图说明
参见附图,本发明的公开内容将变得更易理解。应当理解:这些附图仅仅用于说明的目的,而并非意在对本发明的保护范围构成限制。图中:
图1是本发明一实施例提供的一种基于ORB算法的手势识别方法的工作流程图;
图2是本发明最佳实施例提供的一种基于ORB算法的手势识别方法的工作流程图;
图3是本发明提供的一种用于基于ORB算法的手势识别的电子设备的硬件结构示意图。
具体实施方式
下面结合附图来进一步说明本发明的具体实施方式。
容易理解,根据本发明的技术方案,在不变更本发明实质精神下,本领域的一般技术人员可相互替换的多种结构方式以及实现方式。因此,以下具体实施方式以及附图仅是对本发明的技术方案的示例性说明,而不应当视为本发明的全部或视为对发明技术方案的限定或限制。
在本说明书中提到或者可能提到的上、下、左、右、前、后、正面、背面、顶部、底部等方位用语是相对于各附图中所示的构造进行定义的,它们是相对的概念,因此有可能会根据其所处不同位置、不同使用状态而进行相应地变化。所以,也不应当将这些或者其他的方位用语解释为限制性用语。
如图1所示,图1是本发明一实施例提供的一种基于ORB算法的手势识别方法的工作流程图,包括:
步骤S101:获取到图像信息;
步骤S102:识别出图像信息中的手势图像;
步骤S103:根据手势图像和指尖特性,利用ORB算法获得掌心位置和指尖位置;
步骤S104:根据掌心位置和指尖位置识别出手势的运动轨迹。
具体来说:控制器或者服务器利用摄像头或者其他图像采集设备采集图像信息,执行步骤S101获取到图像信息,图像信息包括脸部图像和手势图像,该手势图像的手势区域完整,并保证手势具有可描绘轮廓,手势图像与脸部图像不重叠;其次执行步骤S102利用肤色分离法和连通域算法将手势图像与脸部图像进行分离,识别出图像信息中的手势图像;然后执行步骤S103根据指尖特性,利用快速特征点提取和描述(Oriented FAST andRotated BRIEF,ORB)算法获得手势图像中的掌心位置和指尖位置;最后执行步骤S104跟踪掌心位置和指尖位置,获得手部和指尖的运动轨迹曲线,从而识别出手势动作,提高检测性能和手势识别的准确度。
本发明提供的基于ORB算法的手势识别方法,通过识别出获取到的图像信息中的手势图像,并根据指尖特性,利用ORB算法获得掌心位置和指尖位置,根据掌心位置和指尖位置识别出手势的运动轨迹,从而识别出手势动作,提高检测性能和手势识别的准确度,无需佩戴任何特殊物理设备。
如图2所示,图2是本发明最佳实施例提供的一种基于ORB算法的手势识别方法的工作流程图,包括:
步骤S201:获取到图像信息;
步骤S202:利用预设的用于肤色识别的肤色概率模型对图像信息进行肤色分割,生成肤色二值化图像信息;
步骤S203:利用连通域算法对肤色二值化图像信息进行区域分离,并利用凸包算法对肤色二值化图像信息中的手势进行定位,生成手势图像;
步骤S204:利用几何重心算法对手势图像进行分析,获得掌心位置;
步骤S205:根据预设的第一像素半径,选取手势图像中的像素值为第一像素值的像素点作为待检测点;
步骤S206:以待检测点为中心,根据第二像素半径选取手势图像的像素点,生成第一待测像素点集合;
步骤S207:判断第一待测像素点集合中的连续像素值为第一像素值的像素点个数是否小于预设的第一数量阈值;
步骤S208:以待检测点为中心,根据第一像素半径选取手势图像的像素点,生成第二待测像素点集合;
步骤S209:判断第二待测像素点集合中的连续像素值为第一像素值的像素点个数是否小于预设的第二数量阈值;
步骤S210:获取第一待测像素点集合中的连续像素值为第一像素值的像素点的第一中点,并获取第二待测像素点集合中的连续像素值为第一像素值的像素点的第二中点;
步骤S211:判断第一中点和第二中点与待检测点之间连线的角度是否小于预设的角度阈值;
步骤S212:将待检测点作为特征点;
步骤S213:排除待检测点;
步骤S214:以特征点为原点,以特征点与所述掌心位置的连接线为纵轴,以过原点且垂直于纵轴所在的水平线为横轴,建立二维坐标系;
步骤S215:在横轴和纵轴上,以原点为中心根据预设的像素距离分别选取两个特征描述点;
步骤S216:判断特征描述点的像素值是否大于等于特征点的像素值;
步骤S217:返回1;
步骤S218:返回0;
步骤S219:生成特征描述子;
步骤S220:当特征描述子为1101时特征点为指尖位置;
步骤S221:根据掌心位置和指尖位置识别出手势的运动轨迹。
具体来说:首先,控制器或者服务器执行步骤S201获取到图像信息,并执行步骤S202将图像信息输入预设的肤色概率模型进行肤色分割,生成包括手部和脸部的肤色二值化图像信息,检测出肤色像素和非肤色像素;
其次,由于脸部与手势区域不重叠,肤色区域被检测出来后,执行步骤S203利用连通域算法对肤色二值化图像信息进行脸部区域和手势区域分离,并利用凸包算法快速找到手势区域内的凸多边形的各个顶点,从而实现对手势进行初步定位,生成手势图像;同时,执行步骤S204利用几何重心算法对手势图像进行分析,获得掌心位置;
然后,基于步骤S203实现的手势初步定位,获取手势图像中准确的指尖位置,执行步骤S205-步骤S220,步骤S206中,以待检测点为中心O,根据第二像素半径选取手势图像的像素点,将其像素点总数设为m,生成第一待测像素点集合,并执行步骤S207判断第一待测像素点集合中的连续像素值为第一像素值的像素点个数是否小于预设的第一数量阈值,该处第一数量阈值设为像素点总数的一半,即为m/2,若是执行步骤S208-步骤S209,否则执行步骤S213排除待检测点,直到完成第一待测像素点集合中的所有像素点的检测;步骤S208中以待检测点为中心,根据第一像素半径选取手势图像的像素点,将其像素点总数设为n,生成第二待测像素点集合,并执行步骤S209判断第二待测像素点集合中的连续像素值为第一像素值的像素点个数是否小于预设的第二数量阈值,该处第二数量阈值设为像素点总数的一半,即为n/2,若是执行步骤S210-步骤S212,否则执行步骤S213排除待检测点,直到完成第二待测像素点集合中的所有像素点的检测;步骤S210中,在第一待测像素点集合和第二待测像素点集合中,找到连续像素值为第一像素值的像素点的第一中点和第二中点,记为M和N,并执行步骤S211判断第一中点和第二中点与待检测点之间连线的角度是否小于预设的角度阈值,即∠MON的角度是否小于角度阈值,若是执行步骤S212、步骤S214-步骤S216,否则执行步骤S213,直到完成所有像素点的检测;步骤S214中,以特征点为原点,以特征点与掌心位置的连接线为Y轴,以水平线为X轴,建立二维坐标系,从而保证手势的旋转不变性,执行步骤S215针对每个特征点,在横轴上,以原点为中心根据预设的像素距离分别选取第一特征描述点和第二特征描述点,且在纵轴上,以原点为中心根据像素距离分别选取第三特征描述点和第四特征描述点,像素距离大于等于第一像素半径,且小于等于第二像素半径,并执行步骤S216判断第一特征描述点、第二特征描述点、第三特征描述点和第四特征描述点的像素值是否大于等于特征点的像素值,若是执行步骤S217返回1,否则执行步骤S218返回0,即可生成特征描述子,如1111、1110、0100等,实现快速地判断特征点,提高手势定位的准确性;当特征描述子为1101时执行步骤S220判定特征点为指尖位置,,获得准确的指尖位置;需要说明的是,步骤S217和步骤S218的返回形式并不受限于此,步骤S217和步骤S218也可以采用其他数字、字母等方式代替,如当第一特征描述点、第二特征描述点、第三特征描述点和第四特征描述点的像素值大于等于特征点的像素值时,返回A,否则返回B,相应地,生成的特征描述子为AAAA、AAAB、BABB等。
最后,执行步骤S221根据掌心位置和指尖位置识别出手势的运动轨迹,从而实现精准地识别出手势动作,提高检测性能和手势识别的准确度。
其中,步骤S204和步骤S205-步骤S220的顺序可以互换,步骤步骤S204和步骤S205-步骤S220还可以同步进行,无论先执行步骤S204还是先执行步骤S205-步骤S220并不影响本发明的效果。
为了避免出现手势区域不完整,本发明中的第一像素半径优选为3像素半径,第二像素半径优选为5像素半径。
为了便于识别,本发明中的第一像素值优选为0,第二像素值为255。
为了更加准确地找到特征点,本发明中的角度阈值优选为30度。
为了便于更好地看到指尖变化幅度,本发明中的像素距离优选为5像素点,即在X轴上,第一特征描述点和第二特征描述点分别为(-5,0)和(5,0),在Y轴上,第三特征描述点和第四特征描述点分别为(0,-5)和(0,5)。
本发明提供的基于ORB算法的手势识别方法,通过利用肤色概率模型对获取到的图像信息进行肤色分割,利用凸包算法对手势进行初步定位,以及利用几何重心算法对掌心进行定位,并通过对特征点的快速检测和判断,获得手势图像中准确的指尖位置,提高速度,提高工作效率,最后根据掌心位置和指尖位置识别出手势的运动轨迹,从而实现精准地识别出手势动作,提高检测性能和手势识别的准确度,无需佩戴任何特殊物理设备。
在其中一个实施例中,图像信息为视频图像,步骤S202具体包括:
将视频图像进行色彩空间转换,获取视频图像的色彩空间值,色彩空间值包括Cb分量值、Cr分量值和H分量;
将色彩空间值输入肤色概率模型,判断视频图像是否为肤色图像;
当视频图像为肤色图像时,将视频图像的像素值修改为第一像素值;
当视频图像不为肤色图像时,将视频图像的像素值修改为第二像素值;
生成肤色二值化图像信息;
具体的,先将视频图像的视频帧转换为YCbCr模式和HSV模式,分别获取Cb分量值、Cr分量值和H分量,通过Cb-Cr分量平面和H分量区分肤色像素和非肤色像素;然后将色彩空间值输入预设的肤色概率模型,检测视频图像的像素点,根据像素点判断是否属于人类肤色像素点,当视频图像的像素点属于人类肤色像素点时,将该视频图像的像素值修改为第一像素值,当视频图像的像素点不属于人类肤色像素点时,将该视频图像的像素值修改为第二像素值,生成肤色二值化图像信息,肤色二值化图像包括所有的肤色区域,一般包括手部和脸部,从而实现肤色分割,排除光照对肤色检测的影响,提高手势分割的准确度,进一步提高手势识别准确度。
如图3所示为本发明提供的一种用于基于ORB算法的手势识别的电子设备的硬件结构示意图,包括:
至少一个处理器301;以及,
与所述至少一个处理器301通信连接的存储器302;其中,
所述存储器302存储有可被所述一个处理器301执行的指令,所述指令被所述至少一个处理器301执行,以使所述至少一个处理器301能够:
获取到图像信息,所述图像信息包括脸部图像和手势图像;
识别出所述图像信息中的所述手势图像;
根据所述手势图像和指尖特性,获得掌心位置和指尖位置;
根据所述掌心位置和所述指尖位置识别出手势的运动轨迹。
图3中以一个处理器301为例。
电子设备优选为电子控制单元(Electronic Control Unit,ECU)。
电子设备还可以包括:输入装置303和输出装置304。
处理器301、存储器302、输入装置303及显示装置304可以通过总线或者其他方式连接,图中以通过总线连接为例。
存储器302作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本申请实施例中的基于ORB算法的手势识别方法对应的程序指令/模块,例如,图1、图2所示的方法流程。处理器301通过运行存储在存储器302中的非易失性软件程序、指令以及模块,从而执行各种功能应用以及数据处理,即实现上述实施例中的基于ORB算法的手势识别方法。
存储器302可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据基于ORB算法的手势识别方法的使用所创建的数据等。此外,存储器302可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器302可选包括相对于处理器301远程设置的存储器,这些远程存储器可以通过网络连接至执行基于ORB算法的手势识别方法的装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置303可接收输入的用户点击,以及产生与基于ORB算法的手势识别方法的用户设置以及功能控制有关的信号输入。显示装置304可包括显示屏等显示设备。
在所述一个或者多个模块存储在所述存储器302中,当被所述一个或者多个处理器301运行时,执行上述任意方法实施例中的基于ORB算法的手势识别方法。
上述产品可执行本申请实施例所提供的方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本申请实施例所提供的方法。
本发明实施例的电子设备以多种形式存在,包括但不限于:
(1)电子控制单元(Electronic Control Unit,ECU)又称“行车电脑”、“车载电脑”等。主要由微处理器(CPU)、存储器(ROM、RAM)、输入/输出接口(I/O)、模数转换器(A/D)以及整形、驱动等大规模集成电路组成。
(2)移动通信设备:这类设备的特点是具备移动通信功能,并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机,以及低端手机等。
(3)超移动个人计算机设备:这类设备属于个人计算机的范畴,有计算和处理功能,一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等。
(4)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod),掌上游戏机,电子书,以及智能玩具和便携式车载导航设备。
(5)服务器:提供计算服务的设备,服务器的构成包括处理器、硬盘、内存、系统总线等,服务器和通用的计算机架构类似,但是由于需要提供高可靠的服务,因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(6)其他具有数据交互功能的电子装置。
此外,上述的存储器302中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台移动终端(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明实施例的技术方案,而非对其限制;尽管参照前述实施例对本发明实施例进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于ORB算法的手势识别方法,其特征在于,包括:
获取到图像信息,所述图像信息包括脸部图像和手势图像;
识别出所述图像信息中的所述手势图像;
根据所述手势图像和指尖特性,利用ORB算法获得掌心位置和指尖位置;
根据所述掌心位置和所述指尖位置识别出手势的运动轨迹。
2.如权利要求1所述的基于ORB算法的手势识别方法,其特征在于,所述识别出所述图像信息中的所述手势图像,具体包括:
利用预设的用于肤色识别的肤色概率模型对所述图像信息进行肤色分割,生成肤色二值化图像信息;
利用连通域算法对所述肤色二值化图像信息进行区域分离,并利用凸包算法对所述肤色二值化图像信息中的手势进行定位,生成所述手势图像。
3.如权利要求2所述的基于ORB算法的手势识别方法,其特征在于,所述图像信息为视频图像,所述利用预设的用于肤色识别的肤色概率模型对所述图像信息进行肤色分割,生成肤色二值化图像信息,具体包括:
将所述视频图像进行色彩空间转换,获取所述视频图像的色彩空间值,所述色彩空间值包括Cb分量值、Cr分量值和H分量;
将所述色彩空间值输入所述肤色概率模型,判断所述视频图像是否为肤色图像;
当所述视频图像为所述肤色图像时,将所述视频图像的像素值修改为第一像素值;
当所述视频图像不为所述肤色图像时,将所述视频图像的像素值修改为第二像素值;
生成所述肤色二值化图像信息。
4.如权利要求2所述的基于ORB算法的手势识别方法,其特征在于,所述根据所述手势图像和指尖特性,利用ORB算法获得掌心位置和指尖位置,具体包括:
根据预设的第一像素半径,选取所述手势图像中的像素值为所述第一像素值的像素点作为待检测点;
以所述待检测点为中心,根据预设的第一像素半径和第二像素半径选取所述手势图像的待测像素点,当所述待测像素点符合所述指尖特性时,将所述待检测点作为特征点;
对所述特征点进行特征描述,生成特征描述子;
根据特征描述子进行特征匹配,获得所述指尖位置。
5.如权利要求4所述的基于ORB算法的手势识别方法,其特征在于,所述以所述待检测点为中心,根据预设的第一像素半径和第二像素半径选取所述手势图像的待测像素点,当所述待测像素点符合所述指尖特性时,将所述待检测点作为特征点,具体包括:
以所述待检测点为中心,根据所述第二像素半径选取所述手势图像的像素点,生成第一待测像素点集合;
当所述第一待测像素点集合中的连续像素值为所述第一像素值的像素点个数小于预设的第一数量阈值时,以所述待检测点为中心,根据所述第一像素半径选取所述手势图像的像素点,生成第二待测像素点集合;
当所述第二待测像素点集合中的连续像素值为所述第一像素值的像素点个数小于预设的第二数量阈值时,获取所述第一待测像素点集合中的连续像素值为所述第一像素值的像素点的第一中点,并获取所述第二待测像素点集合中的连续像素值为所述第一像素值的像素点的第二中点;
当所述第一中点和所述第二中点与所述待检测点之间连线的角度小于预设的角度阈值时,将所述待检测点作为特征点。
6.如权利要求4所述的基于ORB算法的手势识别方法,其特征在于,所述对所述特征点进行特征描述,生成特征描述子,具体包括:
以所述特征点为原点,以所述特征点与所述掌心位置的连接线为纵轴,以过所述原点且垂直于所述纵轴所在的水平线为横轴,建立二维坐标系;
在所述横轴上,以所述原点为中心根据预设的像素距离分别选取第一特征描述点和第二特征描述点,且在所述纵轴上,以所述原点为中心根据所述像素距离分别选取第三特征描述点和第四特征描述点,所述像素距离大于等于所述第一像素半径,且小于等于所述第二像素半径;
当所述第一特征描述点、所述第二特征描述点、所述第三特征描述点和所述第四特征描述点的像素值大于等于所述特征点的像素值时,返回1;当所述第一特征描述点、所述第二特征描述点、所述第三特征描述点和所述第四特征描述点的像素值小于所述特征点的像素值时,返回0,生成所述特征描述子。
7.如权利要求6所述的基于ORB算法的手势识别方法,其特征在于,所述根据特征描述子进行特征匹配,获得所述指尖位置,具体包括:
当所述特征描述子为1101时,所述特征点为所述指尖位置。
8.如权利要求2-7任一项所述的基于ORB算法的手势识别方法,其特征在于,所述根据所述手势图像和指尖特性,利用ORB算法获得掌心位置和指尖位置,具体包括:
利用几何重心算法对所述手势图像进行分析,获得所述掌心位置。
9.一种存储介质,其特征在于,所述存储介质存储计算机指令,当计算机执行所述计算机指令时,用于执行如权利要求1-8任一项所述的基于ORB算法的手势识别方法的所有步骤。
10.一种电子设备,其特征在于,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行:
获取到图像信息,所述图像信息包括脸部图像和手势图像;
识别出所述图像信息中的所述手势图像;
根据所述手势图像和指尖特性,利用ORB算法获得掌心位置和指尖位置;
根据所述掌心位置和所述指尖位置识别出手势的运动轨迹。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010443393.9A CN111639573B (zh) | 2020-05-22 | 2020-05-22 | 基于orb算法的手势识别方法、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010443393.9A CN111639573B (zh) | 2020-05-22 | 2020-05-22 | 基于orb算法的手势识别方法、存储介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111639573A true CN111639573A (zh) | 2020-09-08 |
CN111639573B CN111639573B (zh) | 2023-07-07 |
Family
ID=72331503
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010443393.9A Active CN111639573B (zh) | 2020-05-22 | 2020-05-22 | 基于orb算法的手势识别方法、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111639573B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113269075A (zh) * | 2021-05-19 | 2021-08-17 | 广州繁星互娱信息科技有限公司 | 手势轨迹识别方法和装置、存储介质及电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104063059A (zh) * | 2014-07-13 | 2014-09-24 | 华东理工大学 | 一种基于手指分割的实时手势识别方法 |
US20160154469A1 (en) * | 2014-06-03 | 2016-06-02 | Shenzhen Tcl New Technology Co., Ltd | Mid-air gesture input method and apparatus |
CN106778141A (zh) * | 2017-01-13 | 2017-05-31 | 北京元心科技有限公司 | 基于手势识别的解锁方法、装置及移动终端 |
CN109214297A (zh) * | 2018-08-09 | 2019-01-15 | 华南理工大学 | 一种结合深度信息与肤色信息的静态手势识别方法 |
US20200125176A1 (en) * | 2018-10-21 | 2020-04-23 | XRSpace CO., LTD. | Method of Virtual User Interface Interaction Based on Gesture Recognition and Related Device |
-
2020
- 2020-05-22 CN CN202010443393.9A patent/CN111639573B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160154469A1 (en) * | 2014-06-03 | 2016-06-02 | Shenzhen Tcl New Technology Co., Ltd | Mid-air gesture input method and apparatus |
CN104063059A (zh) * | 2014-07-13 | 2014-09-24 | 华东理工大学 | 一种基于手指分割的实时手势识别方法 |
CN106778141A (zh) * | 2017-01-13 | 2017-05-31 | 北京元心科技有限公司 | 基于手势识别的解锁方法、装置及移动终端 |
CN109214297A (zh) * | 2018-08-09 | 2019-01-15 | 华南理工大学 | 一种结合深度信息与肤色信息的静态手势识别方法 |
US20200125176A1 (en) * | 2018-10-21 | 2020-04-23 | XRSpace CO., LTD. | Method of Virtual User Interface Interaction Based on Gesture Recognition and Related Device |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113269075A (zh) * | 2021-05-19 | 2021-08-17 | 广州繁星互娱信息科技有限公司 | 手势轨迹识别方法和装置、存储介质及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN111639573B (zh) | 2023-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10679146B2 (en) | Touch classification | |
CN109934065B (zh) | 一种用于手势识别的方法和装置 | |
CN109272016B (zh) | 目标检测方法、装置、终端设备和计算机可读存储介质 | |
CN112528831B (zh) | 多目标姿态估计方法、多目标姿态估计装置及终端设备 | |
US11126882B2 (en) | Method and device for license plate positioning | |
CN106648078B (zh) | 应用于智能机器人的多模态交互方法及系统 | |
Huang et al. | Deepfinger: A cascade convolutional neuron network approach to finger key point detection in egocentric vision with mobile camera | |
CN111414837A (zh) | 手势识别方法、装置、计算机设备及存储介质 | |
CN103870071A (zh) | 一种触摸源识别方法及系统 | |
CN111783557A (zh) | 一种基于深度视觉的可穿戴导盲设备及服务器 | |
CN112115921A (zh) | 一种真伪鉴别方法、装置以及电子设备 | |
Lahiani et al. | Hand pose estimation system based on Viola-Jones algorithm for android devices | |
CN111639573B (zh) | 基于orb算法的手势识别方法、存储介质及电子设备 | |
CN108255352B (zh) | 一种投影交互系统中多点触摸实现方法及系统 | |
CN110610131A (zh) | 人脸运动单元的检测方法、装置、电子设备及存储介质 | |
CN107992872B (zh) | 一种对图片进行文本识别的方法及移动终端 | |
WO2019125716A1 (en) | System and method for drawing beautification | |
CN111563453B (zh) | 用于确定表格顶点的方法、装置、设备和介质 | |
CN112418089A (zh) | 一种手势识别方法、装置及终端 | |
CN112288045B (zh) | 一种印章真伪判别方法 | |
CN109213322B (zh) | 一种虚拟现实中手势识别的方法及系统 | |
CN115439733A (zh) | 图像处理方法、装置、终端设备及计算机可读存储介质 | |
CN115409083A (zh) | 点云数据增强方法、装置、电子装置及车辆 | |
CN114330418A (zh) | 用于ar目标识别的脑电和眼动融合方法、介质及设备 | |
CN108694347B (zh) | 图像处理方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |