CN105159444A - 用于手势识别的捕捉对象的确定方法和装置 - Google Patents
用于手势识别的捕捉对象的确定方法和装置 Download PDFInfo
- Publication number
- CN105159444A CN105159444A CN201510482418.5A CN201510482418A CN105159444A CN 105159444 A CN105159444 A CN 105159444A CN 201510482418 A CN201510482418 A CN 201510482418A CN 105159444 A CN105159444 A CN 105159444A
- Authority
- CN
- China
- Prior art keywords
- gesture
- offset direction
- captured object
- primary importance
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000001815 facial effect Effects 0.000 claims description 41
- 239000000284 extract Substances 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 11
- 230000013011 mating Effects 0.000 claims description 6
- 238000011897 real-time detection Methods 0.000 claims 1
- 230000008569 process Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 10
- 238000004378 air conditioning Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种用于手势识别的捕捉对象的确定方法和装置。其中,该方法包括:获取预先提取的人脸的基准线;采集人脸的人脸图像并从人脸图像中提取人脸的特征线,基准线与特征线处于人脸的相同位置;计算特征线相对基准线的位置偏移方向,得到第一位置偏移方向;根据第一位置偏移方向确定进行手势识别的对象为第一捕捉对象。本发明解决了现有技术的基于手势识别的控制容易出现误操作的技术问题。
Description
技术领域
本发明涉及手势识别领域,具体而言,涉及一种用于手势识别的捕捉对象的确定方法和装置。
背景技术
随着传感技术的发展和机器视觉理论研究的成熟,一些全新未来交互技术也得到了很广泛的应用,特别是手势识别技术在机器控制领域得到了很好的应用。然而采用手势识别技术实现控制仍有很多需要改善的情况。在对于只需一只手来操作的手势控制情形下,现有的手势识别控制技术都是假设一只手静止或固定为一种手势,然后通过算法去除该只手,识别另一只手的手势来实现控制。机器视觉算法要求限制的条件很高,在实际的手势操作中,会因为控制员两只手的运动引起错误的控制操作,这就导致了现有技术的基于手势识别的控制出现误操作的问题。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种用于手势识别的捕捉对象的确定方法和装置,以至少解决现有技术的基于手势识别的控制容易出现误操作的技术问题。
根据本发明实施例的一个方面,提供了一种用于手势识别的捕捉对象的确定方法,包括:获取预先提取的人脸的基准线;采集所述人脸的人脸图像并从所述人脸图像中提取所述人脸的特征线,所述基准线与所述特征线处于所述人脸的相同位置;计算所述特征线相对所述基准线的位置偏移方向,得到第一位置偏移方向;根据所述第一位置偏移方向确定进行手势识别的对象为第一捕捉对象。
进一步地,所述基准线为所述人脸的对称轴。
进一步地,在根据所述第一位置偏移方向确定进行手势识别的对象为第一捕捉对象之后,所述方法还包括:实时检测所述人脸的人脸图像并提取检测到的人脸图像的特征线;计算所述检测到的人脸图像的特征线相对于所述基准线的位置偏移方向,得到第二位置偏移方向;判断所述第一位置偏移方向与所述第二位置偏移方向是否为相反方向;如果判断出所述第一位置偏移方向与所述第二位置偏移方向为相反方向,则将进行手势识别的所述第一捕捉对象切换为第二捕捉对象。
进一步地,在判断出所述第一位置偏移方向与所述第二位置偏移方向为相反方向之后,并且在将进行手势识别的所述第一捕捉对象切换为第二捕捉对象之前,所述方法还包括:检测所述第一捕捉对象的手势;判断所述手势是否用于指示捕捉对象的切换;如果判断出所述手势用于指示捕捉对象的切换,则确定切换所述第一捕捉对象。
进一步地,在根据所述第一位置偏移方向确定进行手势识别的对象为第一捕捉对象之后,所述方法还包括:获取与所述第一捕捉对象对应的手势特征;采集手势图像并与所述手势特征进行匹配;提取所述手势图像中与所述手势特征相匹配的手势;将提取得到的手势作为有效手势,其中,所述有效手势用于对待控制对象进行控制。
进一步地,根据所述第一位置偏移方向确定进行手势识别的对象为第一捕捉对象包括:获取位置偏移方向与捕捉对象的预先设定的对应关系;根据所述预先设定的对应关系查找与所述第一位置偏移方向对应的捕捉对象;将查找到的捕捉对象作为所述第一捕捉对象。
根据本发明实施例的另一方面,还提供了一种用于手势识别的捕捉对象的确定装置,包括:第一获取单元,用于获取预先提取的人脸的基准线;采集单元,用于采集所述人脸的人脸图像并从所述人脸图像中提取所述人脸的特征线,所述基准线与所述特征线处于所述人脸的相同位置;第一计算单元,用于计算所述特征线相对所述基准线的位置偏移方向,得到第一位置偏移方向;第一确定单元,用于根据所述第一位置偏移方向确定进行手势识别的对象为第一捕捉对象。
进一步地,所述装置还包括:第一检测单元,用于在根据所述第一位置偏移方向确定进行手势识别的对象为第一捕捉对象之后,实时检测所述人脸的人脸图像并提取检测到的人脸图像的特征线;第二计算单元,用于计算所述检测到的人脸图像的特征线相对于所述基准线的位置偏移方向,得到第二位置偏移方向;第一判断单元,用于判断所述第一位置偏移方向与所述第二位置偏移方向是否为相反方向;切换单元,用于在判断出所述第一位置偏移方向与所述第二位置偏移方向为相反方向时,将进行手势识别的所述第一捕捉对象切换为第二捕捉对象。
进一步地,所述装置还包括:第二检测单元,用于在判断出所述第一位置偏移方向与所述第二位置偏移方向为相反方向之后,并且在将进行手势识别的所述第一捕捉对象切换为第二捕捉对象之前,检测所述第一捕捉对象的手势;第二判断单元,用于判断所述手势是否用于指示捕捉对象的切换;第二确定单元,用于在判断出所述手势用于指示捕捉对象的切换时,确定切换所述第一捕捉对象。
进一步地,所述装置还包括:第二获取单元,用于在根据所述第一位置偏移方向确定进行手势识别的对象为第一捕捉对象之后,获取与所述第一捕捉对象对应的手势特征;匹配单元,用于采集手势图像并与所述手势特征进行匹配;提取单元,用于提取所述手势图像中与所述手势特征相匹配的手势;第三确定单元,用于将提取得到的手势作为有效手势,其中,所述有效手势用于对待控制对象进行控制。
进一步地,所述第一确定单元包括:获取模块,用于获取位置偏移方向与捕捉对象的预先设定的对应关系;查找模块,用于根据所述预先设定的对应关系查找与所述第一位置偏移方向对应的捕捉对象;确定模块,用于将查找到的捕捉对象作为所述第一捕捉对象。
在本发明实施例中,采用获取预先提取的人脸的基准线;采集人脸的人脸图像并从人脸图像中提取人脸的特征线,基准线与特征线处于人脸的相同位置;计算特征线相对基准线的位置偏移方向,得到第一位置偏移方向;根据第一位置偏移方向确定进行手势识别的对象为第一捕捉对象的方式,采集的人脸图像中的特征线相对于人脸的基准线的偏移方向来确定进行手势识别的对象,也就是在进行手势识别之前就已经确定了待进行识别的手是哪只手,并不需要在手势识别的过程中再去除另外一只手的手势,进而解决了现有技术的基于手势识别的控制容易出现误操作的技术问题。同时,由于不需要在手势识别过程中采用算法取出另外一只手的手势,另外一只手也不需要保持固定位置或手势,增加了另外一只手的灵活性,也降低了手势识别算法的复杂性。另外,由于由哪只手进行控制是由用户决定的,通过转动头部选择进行控制操作的手,获得较好的用户体验。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据现有技术的一种手势识别方法的流程图;
图2是根据本发明实施例的用于手势识别的捕捉对象的确定方法的流程图;
图3(a)是根据本发明实施例的左手手势示意图;
图3(b)是根据本发明实施例的右手手势示意图;
图4是根据本发明实施例的一种可选地用于手势识别的捕捉对象的确定方法的流程图;以及
图5是根据本发明实施例的用于手势识别的捕捉对象的确定装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例,提供了一种用于手势识别的捕捉对象的确定方法的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
现有技术如图1所示,需要步骤S102,固定一只手或该手保持一个手势;步骤S104,输入视频图像;步骤S106,判断是否提取有效手势;如果是,则执行步骤S108,控制对象;如果否,则执行步骤S104;步骤S110,判断摄像头是否关闭,如果关闭,则结束手势识别;如果没有关闭,则执行步骤S104。由上述步骤可以看出,现有技术的是在手势识别的过程中,需要固定一只手或者该手保持一个手势不变,然后从采集的视频图像中同时采集该固定的手和用于控制对象的手,并从采集的视频图像中去采用算法去除不需要的手,提取所需要的手。这就使得固定的手的灵活性很低,不能随意运动或改变手势,否则就会导致将固定的手判断为控制的手,导致误操作。
为了克服上述问题,本申请的用于手势识别的捕捉对象的确定方法在进行控制之前先确定进行控制的手是左手还是右手,在手势识别的过程中不需要通过算法去除不需要的手,也就不会出现由于固定的手变化手势或者位置导致错误提取手势,也就避免了现有技术的基于手势识别的控制出现误操作的技术问题。并且,在根据手势识别技术对控制对象进行控制的过程中根据左右手的手势不同来捕获与预先确定的手相匹配的手势,降低了手势识别的算法的复杂度,还增加了不进行控制的手的灵活性,提高了控制的精准度,满足用户对体感交互的需求,并且提升了手势识别技术的使用灵活度。
图2是根据本发明实施例的用于手势识别的捕捉对象的确定方法的流程图,如图2所示,该方法包括如下步骤:
步骤S202,获取预先提取的人脸的基准线。
步骤S204,采集人脸的人脸图像并从人脸图像中提取人脸的特征线,基准线与特征线处于人脸的相同位置。
步骤S206,计算特征线相对基准线的位置偏移方向,得到第一位置偏移方向。
步骤S208,根据第一位置偏移方向确定进行手势识别的对象为第一捕捉对象。
人脸的基准线可以是人脸的对称轴,通过图像采集装置采集一张人脸的正面图像获得。那么特征线也可以是人脸的对称轴,在基准线和特征线为同一条线时可以准确比较这二者的位置偏移方向。在人脸偏向一侧时采集的人脸图像中,特征线仍然是人脸的对称轴,但是人脸正面图像和侧脸图像的人脸对称轴在空间上有偏移,即通过计算特征线和基准线能够得到第一位置偏移方向。那么,与第一位置偏移方向所对应的捕捉对象就是进行控制的捕捉对象。例如,人脸偏向右侧时对应的捕捉对象是右手,确定采用右手进行控制,则将右手作为手势识别时的捕捉对象,即第一捕捉对象。
通过本实施例,采集的人脸图像中的特征线相对于人脸的基准线的偏移方向来确定进行手势识别的对象,也就是在进行手势识别之前就已经确定了待进行识别的手是哪只手,并不需要在手势识别的过程中再去除另外一只手的手势,也就避免了错误去除手势所导致的手势识别的控制出现误操作的问题。同时,由于不需要在手势识别过程中采用算法取出另外一只手的手势,另外一只手也不需要保持固定位置或手势,增加了另外一只手的灵活性,也降低了手势识别算法的复杂性。另外,由于由哪只手进行控制是由用户决定的,通过转动头部选择进行控制操作的手,获得较好的用户体验。
可选地,在用户使用一只手进行手势操作控制的过程中,还可以进行左右手的切换,即在根据第一位置偏移方向确定进行手势识别对象为第一捕捉对象之后,方法还包括:实时检测人脸的人脸图像并提取检测到的人脸图像的特征线;计算检测到的人脸图像的特征线相对于基准线的位置偏移方向,得到第二位置偏移方向;判断第一位置偏移方向与第二位置偏移方向是否为相反方向;如果判断出第一位置偏移方向与第二位置偏移方向为相反方向,则将进行手势识别的第一捕捉对象切换为第二捕捉对象。
例如,第一位置偏移方向为用户向右侧转动头部,对应用户的右手进行手势操作。第二位置偏移方向为用户向左侧转动头部,对应用户的左手进行手势操作。当用户利用右手进行手势操作时,判断出第二位置偏移方向与第一位置偏移方向相反,则确定将右手操作切换为左手操作,手势识别时捕捉左手手势作为控制指令,即将第一捕捉对象切换为第二捕捉对象。
可选地,为了增强捕捉对象切换的准确性,避免非刻意的转头带来的误切换,通过人脸识别和手势识别的结合来进行捕捉对象的切换,即在判断出第一位置偏移方向与第二位置偏移方向为相反方向之后,并且在将进行手势识别的第一捕捉对象切换为第二捕捉对象之前,方法还包括:检测第一捕捉对象的手势;判断手势是否用于指示捕捉对象的切换;如果判断出手势用于指示捕捉对象的切换,则确定切换第一捕捉对象。
在确定第一位置偏移方向与第二位置偏移方向为相反方向之后,检测进行手势操作的手的手势是否为用于指示捕捉对象的切换的手势,该手势可以是拳头、V字形、掌心或其他形式的手势,如果检测到指示捕捉对象的切换的手势,结合第二位置偏移方向确定切换第一捕捉对象。例如,用户采用右手进行手势操作,这时将头偏向左侧,同时右手比出拳头的手势,拳头手势指示切换动作,则确定将捕获对象由右手切换为左手。
可选地,由于左右手在手势识别过程中指示相同功能的手势的图像不同,在手势识别过程中可以根据图像的不同来匹配有效手势,即在根据第一位置偏移方向确定进行手势识别的对象为第一捕捉对象之后,方法还包括:获取与第一捕捉对象对应的手势特征;采集手势图像并与手势特征进行匹配;提取手势图像中与手势特征相匹配的手势;将提取得到的手势作为有效手势,其中,有效手势用于对待控制对象进行控制。
与第一捕获对象对应的手势特征可以是根据该捕获对象的手势训练得到的特征,也可以是预先存储的手势模型,如图3所示,同一个手势对于被控制对象来说表示相同的控制指令,但是同一个手势的左右手的不同能够区分出哪个手势是有效手势,是可以对被控制对象进行控制的手势。例如,图3(a)是左手的手势,图3(b)是右手的手势,当前用户选择用右手进行控制,当采集到的图像中包括图3(a)和图3(b)的手势时,提取图3(b)的手势与右手的手势特征匹配,则确定图3(b)的手势为有效手势。
可选地,根据第一位置偏移方向确定进行手势识别的对象为第一捕捉对象包括:获取位置偏移方向与捕捉对象的预先设定的对应关系;根据预先设定的对应关系查找与第一位置偏移方向对应的捕捉对象;将查找到的捕捉对象作为第一捕捉对象。预先设定的对应关系可以是用户的脸偏向右侧时,将用户的右手作为捕捉的对象;用户的脸偏向左侧时,将用户的左手作为捕获的对象。或者,用户的脸偏向右侧时,将用户的左手作为捕捉的对象;用户的脸偏向左侧时,将用户的右手作为捕获的对象。那么,在检测到用户的脸偏向哪一侧时就确定了捕获的对象为左手还是右手,也就确定了捕获对象的手势特征,以便于进行手势识别。
以图4为例对本发明实施例进行说明。本申请的确定方法可以应用与空调、冰箱、洗衣机等智能家居设备中,可以利用手势识别对这些设备进行调节(温度、湿度、亮度等)、开机和关机等动作。
步骤S402,输入视频图像,空调上安装的摄像头等视频采集装置采集人脸图像。
步骤S404,提取人脸,为了提取人脸的基准线。
步骤S406,定位基准线,即获取步骤S404中提取的人脸的基准线。
步骤S408,判断是否切换手,如果切换则执行步骤S410,否则,执行步骤S412。
步骤S410,提取人脸,即提取人脸的特征线,并与基准线比较获得相对位置偏移。
步骤S412,提取对象,根据获得的相对位置偏移确定提取对象,是左手还是右手。
步骤S414,判断是否提取有效手势,如果提取到,则执行步骤S416,否则,执行步骤S408。
步骤S416,控制对象,即采用提取的有效手势控制空调。
步骤S418,摄像头是否关闭,如果关闭则结束控制,否则执行步骤S408。即手势可以控制空调的摄像头关闭,当摄像头关闭后无法进行人脸识别和手势识别,如果摄像头关闭则结束控制,否则继续采集人脸图像和手势图像,进行手的切换或者空调控制。
通过上述步骤,可以实现在进行控制之前先确定进行控制的手是左手还是右手,在手势识别的过程中不需要通过算法去除不需要的手,也就不会出现由于固定的手变化手势或者位置导致错误提取手势,也就避免了现有技术的基于手势识别的控制出现误操作的技术问题。并且,在根据手势识别技术对控制对象进行控制的过程中根据左右手的手势不同来捕获与预先确定的手相匹配的手势,降低了手势识别的算法的复杂度,还增加了不进行控制的手的灵活性,提高了控制的精准度,满足用户对体感交互的需求,并且提升了手势识别技术的使用灵活度。
本发明实施例还提供了一种用于手势识别的捕捉对象的确定装置。该用于手势识别的捕捉对象的确定装置可以用于执行上述用于手势识别的捕捉对象的确定方法,上述用于手势识别的捕捉对象的确定方法也可以通过用于手势识别的捕捉对象的确定该装置执行。图5是根据本发明实施例的用于手势识别的捕捉对象的确定装置的示意图。该用于手势识别的捕捉对象的确定装置包括:第一获取单元10、采集单元20、第一计算单元30和第一确定单元40。其中:
第一获取单元10用于获取预先提取的人脸的基准线。
采集单元20用于采集人脸的人脸图像并从人脸图像中提取人脸的特征线,基准线与特征线处于人脸的相同位置。
第一计算单元30用于计算特征线相对基准线的位置偏移方向,得到第一位置偏移方向。
第一确定单元40用于根据第一位置偏移方向确定进行手势识别的对象为第一捕捉对象。
人脸的基准线可以是人脸的对称轴,通过图像采集装置采集一张人脸的正面图像获得。那么特征线也可以是人脸的对称轴,在基准线和特征线为同一条线时可以准确比较这二者的位置偏移方向。在人脸偏向一侧时采集的人脸图像中,特征线仍然是人脸的对称轴,但是人脸正面图像和侧脸图像的人脸对称轴在空间上有偏移,即通过计算特征线和基准线能够得到第一位置偏移方向。那么,与第一位置偏移方向所对应的捕捉对象就是进行控制的捕捉对象。例如,人脸偏向右侧时对应的捕捉对象是右手,确定采用右手进行控制,则将右手作为手势识别时的捕捉对象,即第一捕捉对象。
通过本实施例,采集的人脸图像中的特征线相对于人脸的基准线的偏移方向来确定进行手势识别的对象,也就是在进行手势识别之前就已经确定了待进行识别的手是哪只手,并不需要在手势识别的过程中再去除另外一只手的手势,也就避免了错误去除手势所导致的手势识别的控制出现误操作的问题。同时,由于不需要在手势识别过程中采用算法取出另外一只手的手势,另外一只手也不需要保持固定位置或手势,增加了另外一只手的灵活性,也降低了手势识别算法的复杂性。另外,由于由哪只手进行控制是由用户决定的,通过转动头部选择进行控制操作的手,获得较好的用户体验。
可选地,在用户使用一只手进行手势操作控制的过程中,还可以进行左右手的切换,即装置还包括:第一检测单元,用于在根据第一位置偏移方向确定进行手势识别的对象为第一捕捉对象之后,实时检测人脸的人脸图像并提取检测到的人脸图像的特征线;第二计算单元,用于计算检测到的人脸图像的特征线相对于基准线的位置偏移方向,得到第二位置偏移方向;第一判断单元,用于判断第一位置偏移方向与第二位置偏移方向是否为相反方向;切换单元,用于在判断出第一位置偏移方向与第二位置偏移方向为相反方向时,将进行手势识别的第一捕捉对象切换为第二捕捉对象。
例如,第一位置偏移方向为用户向右侧转动头部,对应用户的右手进行手势操作。第二位置偏移方向为用户向左侧转动头部,对应用户的左手进行手势操作。当用户利用右手进行手势操作时,判断出第二位置偏移方向与第一位置偏移方向相反,则确定将右手操作切换为左手操作,手势识别时捕捉左手手势作为控制指令,即将第一捕捉对象切换为第二捕捉对象。
可选地,为了增强捕捉对象切换的准确性,避免非刻意的转头带来的误切换,通过人脸识别和手势识别的结合来进行捕捉对象的切换,即第二检测单元,用于在判断出第一位置偏移方向与第二位置偏移方向为相反方向之后,并且在将进行手势识别的第一捕捉对象切换为第二捕捉对象之前,检测第一捕捉对象的手势;第二判断单元,用于判断手势是否用于指示捕捉对象的切换;第二确定单元,用于在判断出手势用于指示捕捉对象的切换时,确定切换第一捕捉对象。
在确定第一位置偏移方向与第二位置偏移方向为相反方向之后,检测进行手势操作的手的手势是否为用于指示捕捉对象的切换的手势,该手势可以是拳头、V字形、掌心或其他形式的手势,如果检测到指示捕捉对象的切换的手势,结合第二位置偏移方向确定切换第一捕捉对象。例如,用户采用右手进行手势操作,这时将头偏向左侧,同时右手比出拳头的手势,拳头手势指示切换动作,则确定将捕获对象由右手切换为左手。
可选地,由于左右手在手势识别过程中指示相同功能的手势的图像不同,在手势识别过程中可以根据图像的不同来匹配有效手势,即装置还包括:第二获取单元,用于在根据第一位置偏移方向确定进行手势识别的对象为第一捕捉对象之后,获取与第一捕捉对象对应的手势特征;匹配单元,用于采集手势图像并与手势特征进行匹配;提取单元,用于提取手势图像中与手势特征相匹配的手势;第三确定单元,用于将提取得到的手势作为有效手势,其中,有效手势用于对待控制对象进行控制。
与第一捕获对象对应的手势特征可以是根据该捕获对象的手势训练得到的特征,也可以是预先存储的手势模型,如图3所示,同一个手势对于被控制对象来说表示相同的控制指令,但是同一个手势的左右手的不同能够区分出哪个手势是有效手势,是可以对被控制对象进行控制的手势。例如,图3(a)是左手的手势,图3(b)是右手的手势,当前用户选择用右手进行控制,当采集到的图像中包括图3(a)和图3(b)的手势时,提取图3(b)的手势与右手的手势特征匹配,则确定图3(b)的手势为有效手势。
可选地,第一确定单元包括:获取模块,用于获取位置偏移方向与捕捉对象的预先设定的对应关系;查找模块,用于根据预先设定的对应关系查找与第一位置偏移方向对应的捕捉对象;确定模块,用于将查找到的捕捉对象作为第一捕捉对象。预先设定的对应关系可以是用户的脸偏向右侧时,将用户的右手作为捕捉的对象;用户的脸偏向左侧时,将用户的左手作为捕获的对象。或者,用户的脸偏向右侧时,将用户的左手作为捕捉的对象;用户的脸偏向左侧时,将用户的右手作为捕获的对象。那么,在检测到用户的脸偏向哪一侧时就确定了捕获的对象为左手还是右手,也就确定了捕获对象的手势特征,以便于进行手势识别。
通过上述装置,可以实现在进行控制之前先确定进行控制的手是左手还是右手,在手势识别的过程中不需要通过算法去除不需要的手,也就不会出现由于固定的手变化手势或者位置导致错误提取手势,也就避免了现有技术的基于手势识别的控制出现误操作的技术问题。并且,在根据手势识别技术对控制对象进行控制的过程中根据左右手的手势不同来捕获与预先确定的手相匹配的手势,降低了手势识别的算法的复杂度,还增加了不进行控制的手的灵活性,提高了控制的精准度,满足用户对体感交互的需求,并且提升了手势识别技术的使用灵活度。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,RandomAccessMemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (11)
1.一种用于手势识别的捕捉对象的确定方法,其特征在于,包括:
获取预先提取的人脸的基准线;
采集所述人脸的人脸图像并从所述人脸图像中提取所述人脸的特征线,所述基准线与所述特征线处于所述人脸的相同位置;
计算所述特征线相对所述基准线的位置偏移方向,得到第一位置偏移方向;
根据所述第一位置偏移方向确定进行手势识别的对象为第一捕捉对象。
2.根据权利要求1所述的方法,其特征在于,所述基准线为所述人脸的对称轴。
3.根据权利要求1所述的方法,其特征在于,在根据所述第一位置偏移方向确定进行手势识别的对象为第一捕捉对象之后,所述方法还包括:
实时检测所述人脸的人脸图像并提取检测到的人脸图像的特征线;
计算所述检测到的人脸图像的特征线相对于所述基准线的位置偏移方向,得到第二位置偏移方向;
判断所述第一位置偏移方向与所述第二位置偏移方向是否为相反方向;
如果判断出所述第一位置偏移方向与所述第二位置偏移方向为相反方向,则将进行手势识别的所述第一捕捉对象切换为第二捕捉对象。
4.根据权利要求3所述的方法,其特征在于,在判断出所述第一位置偏移方向与所述第二位置偏移方向为相反方向之后,并且在将进行手势识别的所述第一捕捉对象切换为第二捕捉对象之前,所述方法还包括:
检测所述第一捕捉对象的手势;
判断所述手势是否用于指示捕捉对象的切换;
如果判断出所述手势用于指示捕捉对象的切换,则确定切换所述第一捕捉对象。
5.根据权利要求1所述的方法,其特征在于,在根据所述第一位置偏移方向确定进行手势识别的对象为第一捕捉对象之后,所述方法还包括:
获取与所述第一捕捉对象对应的手势特征;
采集手势图像并与所述手势特征进行匹配;
提取所述手势图像中与所述手势特征相匹配的手势;
将提取得到的手势作为有效手势,其中,所述有效手势用于对待控制对象进行控制。
6.根据权利要求1所述的方法,其特征在于,根据所述第一位置偏移方向确定进行手势识别的对象为第一捕捉对象包括:
获取位置偏移方向与捕捉对象的预先设定的对应关系;
根据所述预先设定的对应关系查找与所述第一位置偏移方向对应的捕捉对象;
将查找到的捕捉对象作为所述第一捕捉对象。
7.一种用于手势识别的捕捉对象的确定装置,其特征在于,包括:
第一获取单元,用于获取预先提取的人脸的基准线;
采集单元,用于采集所述人脸的人脸图像并从所述人脸图像中提取所述人脸的特征线,所述基准线与所述特征线处于所述人脸的相同位置;
第一计算单元,用于计算所述特征线相对所述基准线的位置偏移方向,得到第一位置偏移方向;
第一确定单元,用于根据所述第一位置偏移方向确定进行手势识别的对象为第一捕捉对象。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:
第一检测单元,用于在根据所述第一位置偏移方向确定进行手势识别的对象为第一捕捉对象之后,实时检测所述人脸的人脸图像并提取检测到的人脸图像的特征线;
第二计算单元,用于计算所述检测到的人脸图像的特征线相对于所述基准线的位置偏移方向,得到第二位置偏移方向;
第一判断单元,用于判断所述第一位置偏移方向与所述第二位置偏移方向是否为相反方向;
切换单元,用于在判断出所述第一位置偏移方向与所述第二位置偏移方向为相反方向时,将进行手势识别的所述第一捕捉对象切换为第二捕捉对象。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括:
第二检测单元,用于在判断出所述第一位置偏移方向与所述第二位置偏移方向为相反方向之后,并且在将进行手势识别的所述第一捕捉对象切换为第二捕捉对象之前,检测所述第一捕捉对象的手势;
第二判断单元,用于判断所述手势是否用于指示捕捉对象的切换;
第二确定单元,用于在判断出所述手势用于指示捕捉对象的切换时,确定切换所述第一捕捉对象。
10.根据权利要求7所述的装置,其特征在于,所述装置还包括:
第二获取单元,用于在根据所述第一位置偏移方向确定进行手势识别的对象为第一捕捉对象之后,获取与所述第一捕捉对象对应的手势特征;
匹配单元,用于采集手势图像并与所述手势特征进行匹配;
提取单元,用于提取所述手势图像中与所述手势特征相匹配的手势;
第三确定单元,用于将提取得到的手势作为有效手势,其中,所述有效手势用于对待控制对象进行控制。
11.根据权利要求7所述的装置,其特征在于,所述第一确定单元包括:
获取模块,用于获取位置偏移方向与捕捉对象的预先设定的对应关系;
查找模块,用于根据所述预先设定的对应关系查找与所述第一位置偏移方向对应的捕捉对象;
确定模块,用于将查找到的捕捉对象作为所述第一捕捉对象。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510482418.5A CN105159444B (zh) | 2015-08-07 | 2015-08-07 | 用于手势识别的捕捉对象的确定方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510482418.5A CN105159444B (zh) | 2015-08-07 | 2015-08-07 | 用于手势识别的捕捉对象的确定方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105159444A true CN105159444A (zh) | 2015-12-16 |
CN105159444B CN105159444B (zh) | 2018-05-25 |
Family
ID=54800325
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510482418.5A Active CN105159444B (zh) | 2015-08-07 | 2015-08-07 | 用于手势识别的捕捉对象的确定方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105159444B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019223056A1 (zh) * | 2018-05-22 | 2019-11-28 | 深圳市鹰硕技术有限公司 | 基于手势识别的教学互动方法以及装置 |
CN111427445A (zh) * | 2020-02-24 | 2020-07-17 | 珠海格力电器股份有限公司 | 一种人机交互方法、装置、存储介质及电器设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101383001A (zh) * | 2008-10-17 | 2009-03-11 | 中山大学 | 一种快速准确的正面人脸判别方法 |
CN101458763A (zh) * | 2008-10-30 | 2009-06-17 | 中国人民解放军国防科学技术大学 | 基于图像加权平均的自动人脸识别方法 |
CN101515324A (zh) * | 2009-01-21 | 2009-08-26 | 上海银晨智能识别科技有限公司 | 适用于多种姿态的人脸识别布控系统及方法 |
US20100021014A1 (en) * | 2006-06-16 | 2010-01-28 | Board Of Regents Of The Nevada System Of Higher Education, On Behalf Of The | Hand-based biometric analysis |
CN103376895A (zh) * | 2012-04-24 | 2013-10-30 | 纬创资通股份有限公司 | 手势控制方法及手势控制装置 |
CN103605965A (zh) * | 2013-11-25 | 2014-02-26 | 苏州大学 | 一种多姿态人脸识别方法和装置 |
-
2015
- 2015-08-07 CN CN201510482418.5A patent/CN105159444B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100021014A1 (en) * | 2006-06-16 | 2010-01-28 | Board Of Regents Of The Nevada System Of Higher Education, On Behalf Of The | Hand-based biometric analysis |
CN101383001A (zh) * | 2008-10-17 | 2009-03-11 | 中山大学 | 一种快速准确的正面人脸判别方法 |
CN101458763A (zh) * | 2008-10-30 | 2009-06-17 | 中国人民解放军国防科学技术大学 | 基于图像加权平均的自动人脸识别方法 |
CN101515324A (zh) * | 2009-01-21 | 2009-08-26 | 上海银晨智能识别科技有限公司 | 适用于多种姿态的人脸识别布控系统及方法 |
CN103376895A (zh) * | 2012-04-24 | 2013-10-30 | 纬创资通股份有限公司 | 手势控制方法及手势控制装置 |
CN103605965A (zh) * | 2013-11-25 | 2014-02-26 | 苏州大学 | 一种多姿态人脸识别方法和装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019223056A1 (zh) * | 2018-05-22 | 2019-11-28 | 深圳市鹰硕技术有限公司 | 基于手势识别的教学互动方法以及装置 |
CN111427445A (zh) * | 2020-02-24 | 2020-07-17 | 珠海格力电器股份有限公司 | 一种人机交互方法、装置、存储介质及电器设备 |
Also Published As
Publication number | Publication date |
---|---|
CN105159444B (zh) | 2018-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yang et al. | ReMOT: A model-agnostic refinement for multiple object tracking | |
Bhat et al. | Learning discriminative model prediction for tracking | |
US9916012B2 (en) | Image processing apparatus, image processing method, and program | |
US20180211104A1 (en) | Method and device for target tracking | |
Damen et al. | You-Do, I-Learn: Egocentric unsupervised discovery of objects and their modes of interaction towards video-based guidance | |
US6363160B1 (en) | Interface using pattern recognition and tracking | |
US9582711B2 (en) | Robot cleaner, apparatus and method for recognizing gesture | |
US11547261B2 (en) | Moving robot and control method thereof | |
KR101514169B1 (ko) | 정보 처리 장치, 정보 처리 방법 및 기록 매체 | |
Gong et al. | Robotic harvesting of the occluded fruits with a precise shape and position reconstruction approach | |
EP3090382B1 (en) | Real-time 3d gesture recognition and tracking system for mobile devices | |
US10013070B2 (en) | System and method for recognizing hand gesture | |
CN102200830A (zh) | 基于静态手势识别的非接触控制系统和控制方法 | |
CN104834412B (zh) | 一种基于非接触式的手势识别的触摸终端 | |
Kosmopoulos et al. | A system for multicamera task recognition and summarization for structured environments | |
CN109086725B (zh) | 手部跟踪方法及机器可读存储介质 | |
CN105159444A (zh) | 用于手势识别的捕捉对象的确定方法和装置 | |
CN104050454B (zh) | 一种运动手势轨迹获取方法及系统 | |
CN114092985A (zh) | 一种终端控制方法、装置、终端及存储介质 | |
CN107357424A (zh) | 一种手势操作的识别方法、设备及计算机可读存储介质 | |
KR102213865B1 (ko) | 주시 영역 기반 객체 식별 장치 및 방법, 컴퓨터 프로그램이 기록된 기록매체 | |
US11790041B2 (en) | Method and system for reducing false positives in object detection neural networks caused by novel objects | |
CN115993927A (zh) | 基于手势识别的屏幕显示方法、装置、设备及存储介质 | |
JP7569727B2 (ja) | 物体追跡システムおよび方法 | |
Xia et al. | A footprint tracking method for gait analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |