CN103714345A - 一种双目立体视觉检测手指指尖空间位置的方法与系统 - Google Patents

一种双目立体视觉检测手指指尖空间位置的方法与系统 Download PDF

Info

Publication number
CN103714345A
CN103714345A CN201310734585.5A CN201310734585A CN103714345A CN 103714345 A CN103714345 A CN 103714345A CN 201310734585 A CN201310734585 A CN 201310734585A CN 103714345 A CN103714345 A CN 103714345A
Authority
CN
China
Prior art keywords
hand
images
hand images
binaryzation
finger tip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310734585.5A
Other languages
English (en)
Other versions
CN103714345B (zh
Inventor
陈永洒
邵诗强
施建华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TCL Corp
Original Assignee
TCL Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TCL Corp filed Critical TCL Corp
Priority to CN201310734585.5A priority Critical patent/CN103714345B/zh
Publication of CN103714345A publication Critical patent/CN103714345A/zh
Application granted granted Critical
Publication of CN103714345B publication Critical patent/CN103714345B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明所提供的一种双目立体视觉检测手指指尖空间位置的方法与系统,对通过两个摄像头以帧为单位分别获取的手部图像都采用二值化处理去噪后进行图像连通域计算、边界提取、指尖点搜索、指尖匹配及空间坐标还原处理,并在在获取下一帧的手部图像前,动态调节检测参数与红外照明光源的光照强度。采用本发明的红外双目视觉系统,根据用户手部与摄像头间距离的远近变化动态调节光照强度和指尖检测参数,有效的提高了手指指尖的检测率,使设备的可用范围更大。

Description

一种双目立体视觉检测手指指尖空间位置的方法与系统
技术领域
本发明涉及人机交互领域,尤其涉及的是一种双目立体视觉检测手指指尖空间位置的方法与系统。
背景技术
基于双目立体视觉的手势跟踪识别技术常用于构建人机交互系统。通过使用两个摄像头对用户的手势进行拍摄,并还原各个手指指尖的三维坐标,为后续的手势跟踪与识别提供有效的数据。在双目立体视觉系统中,当用户的手部与摄像头间的距离发生变化时,摄像头获取的手势图像也会相应地产生一些变化,对手势图像进行手指指尖检测时,若不能根据这些变化采取一些调节手段,就会使得检测率下降甚至无法进行检测。
因此,现有技术还有待于改进和发展。
发明内容
鉴于上述现有技术的不足,本发明的目的在于提供一种双目立体视觉检测手指指尖空间位置的方法与系统,旨在解决现有技术中红外双目视觉系统中指尖检测率不高的问题。
本发明的技术方案如下:
一种双目立体视觉检测手指指尖空间位置的方法,其中,所述方法包括以下步骤:
A、对设置有两个摄像头的红外双目立体视觉系统进行标定,并设置初始指尖检测参数值与红外照明光源的光照强度值;
B、通过两个摄像头以帧为单位分别获取第一手部图像与第二手部图像,之后对其先进行二值化处理后再进行形态学去噪处理;
C、对经过形态学去噪处理的二值化第一手部图像和经过形态学去噪处理的二值化第二手部图像进行连通域处理,之后对其先进行手部边界提取后再搜索手部指尖点;
D、匹配从第一手部边界图像和第二手部边界图像搜索得到的各指尖点,之后还原各手指指尖点的三维空间坐标,在获取下一帧的手部图像前,动态调节指尖检测参数与红外照明光源的光照强度。
所述双目立体视觉检测手指指尖空间位置的方法,其中,所述步骤B具体包括:
B1、双目立体视觉系统中的两个红外摄像头以帧为单位分别采集第一手部图像和第二手部图像,所述第一手部图像和所述第二手部图像均为红外手势图像;
B2、分别遍历两个红外摄像头所采集的所述第一手部图像和所述第二手部图像后,利用图像二值化处理方法对所述第一手部图像和所述第二手部图像进行二值化处理;
B3、对得到的二值化第一手部图像和二值化第二手部图像采用形态学运算去除噪声,消去所述二值化第一手部图像和所述二值化第二手部图像中的噪声点。
所述双目立体视觉检测手指指尖空间位置的方法,其中,所述步骤C具体包括:
C1、对经过形态学去噪处理的二值化第一手部图像和二值化第二手部图像进行连通域判别,并在所有连通域中只保留最大的连通区域,所述最大的连通区域是手部区域,即得到第一手部区域和第二手部区域;
C2、对所述第一手部区域和第二手部区域进行手部边界提取,得到第一手部边界图像和第二手部边界图像;
C3、沿着所述第一手部边界图像和所述第二手部边界图像的手部边界搜索所有手指的指尖点。
所述双目立体视觉检测手指指尖空间位置的方法,其中,所述步骤D具体包括:
D1、利用手指顺序约束法穷举出所述第一手部边界图像和所述第二手部边界图像中各指尖点之间的所有匹配组合后,确定正确匹配组合;
D2、结合双目立体视觉系统的标定参数,还原出各指尖点在三维空间中的位置坐标;
D3、获取下一帧的手部图像前,动态调节指尖检测参数与红外照明光源的光照强度。
所述双目立体视觉检测手指指尖空间位置的方法,其中,所述步骤B2具体包括:
B21、设定一灰度阈值T1
B22、遍历所述第一手部图像和第二手部图像,若图像中某个像素的灰度大于T1,则将其标识为前景物体像素;否则将其标识为背景物体像素。
所述双目立体视觉检测手指指尖空间位置的方法,其中,所述步骤C2具体包括:
C21、对所述第一手部区域和所述第二手部区域分别以方形结构元素进行形态学腐蚀,其中形态学腐蚀如下式所示:                                                
Figure 2013107345855100002DEST_PATH_IMAGE001
,其中fHand分别为第一手部区域和第二手部区域,E为结构元素,
Figure 723150DEST_PATH_IMAGE002
为形态学腐蚀运算符,fErode为腐蚀后的结果;
C22、用fHand减去腐蚀的结果即可得到手部图像的边界,即
Figure 2013107345855100002DEST_PATH_IMAGE003
,其中“-”表示逐像素相减,fEdge为得到的手部边界图像。
一种双目立体视觉检测手指指尖空间位置的系统,其中,包括:
初始化模块,用于对红外双目立体视觉系统进行标定,并设置初始指尖检测参数值与红外照明光源的光照强度值;
第一处理模块,用于通过两个摄像头以帧为单位分别获取第一手部图像与第二手部图像,之后对其先进行二值化处理后再进行形态学去噪处理;
第二处理模块,用于对经过形态学去噪处理的二值化第一手部图像和经过形态学去噪处理的二值化第二手部图像进行连通域处理,并对其先进行手部边界提取后再搜索手部指尖点;
第三处理模块,用于匹配从第一手部边界图像和第二手部边界图像搜索得到的各指尖点,之后还原各手指指尖点的三维空间坐标,在获取下一帧的手部图像前,动态调节指尖检测参数与红外照明光源的光照强度。
所述双目立体视觉检测手指指尖空间位置的系统,其中,所述第一处理模块包括:
图像获取单元,用于双目立体视觉系统中的两个红外摄像头以帧为单位分别采集第一手部图像和第二手部图像,所述第一手部图像和所述第二手部图像均为红外手势图像;
二值化处理单元,用于分别遍历两个红外摄像头所采集的所述第一手部图像和所述第二手部图像后,利用图像二值化处理方法对所述第一手部图像和所述第二手部图像进行二值化处理;
去噪单元,用于对得到的二值化第一手部图像和二值化第二手部图像采用形态学运算去除噪声,消去所述二值化第一手部图像和所述二值化第二手部图像中的噪声点。
所述双目立体视觉检测手指指尖空间位置的系统,其中,所述第二处理模块包括:
手部图像连通域处理单元,用于对经过形态学去噪处理的二值化第一手部图像和二值化第二手部图像进行连通域判别,并在所有连通域中只保留最大的连通区域,所述最大的连通区域是手部区域,即得到第一手部区域和第二手部区域;
边界提取单元,用于对所述第一手部区域和第二手部区域进行手部边界提取,得到第一手部边界图像和第二手部边界图像;
指尖点搜索单元,用于沿着所述第一手部边界图像和所述第二手部边界图像的手部边界搜索所有手指的指尖点。
所述双目立体视觉检测手指指尖空间位置的系统,其中,所述第三处理模块包括:
指尖匹配单元,用于利用手指顺序约束法穷举出所述第一手部边界图像和所述第二手部边界图像中各指尖点之间的所有匹配组合后,确定正确匹配组合;
空间坐标还原单元,用于结合双目立体视觉系统的标定参数,还原出各指尖点在三维空间中的位置坐标;
参数调节单元,用于在获取下一帧的手部图像前,动态调节指尖检测参数与红外照明光源的光照强度。
本发明所提供的一种双目立体视觉检测手指指尖空间位置的方法与系统,对通过两个摄像头以帧为单位分别获取的手部图像都采用二值化处理去噪后进行图像连通域计算、边界提取、指尖点搜索、指尖匹配及空间坐标还原处理,并在在获取下一帧的手部图像前,动态调节指尖检测参数与红外照明光源的光照强度。采用本发明的红外双目视觉系统,根据用户与摄像头间距离的远近变化动态调节光照强度和指尖检测参数,有效的提高了手指指尖的检测率,使设备的可用范围更大。
附图说明
图1为本发明提供的一种双目立体视觉检测手指指尖空间位置的方法的较佳实施例步骤流程图。
图2为红外手势图像的典型示例图像。
图3为对图2进行二值化处理后的得到的二值图像。
图4为对图3的二值图像进行形态学去噪后的去噪图像。
图5为对图4的去噪图像进行边界提取后的手部边界图像。
图6为对图5的手边界图像进行指尖点确定的示例图像。
图7a、图7b为本发明较佳实施例提供的第一和第二手部边界图像指尖点确定后标记匹配的图像。
图8为本发明提供的一种双目立体视觉检测手指指尖空间位置的方法的较佳实施例结构框图。
图9为图8中第一处理模块的结构框图。
图10为图8中第二处理模块的结构框图。
图11为图8中第三处理模块的结构框图。
具体实施方式
本发明提供在双目立体视觉中检测手指指尖空间位置的方法与系统,为使本发明的目的、技术方案及效果更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
以下结合图1对本发明所述双目立体视觉检测手指指尖空间位置的方法说明,其中,图1是本发明提供的双目立体视觉检测手指指尖空间位置的方法的较佳实施例步骤流程图。
步骤S101、对设置有两个摄像头的红外双目立体视觉系统进行标定,并设置初始指尖检测参数值k0与红外照明光源的光照强度值I0
步骤S102、通过两个摄像头以帧为单位分别获取第一手部图像与第二手部图像,之后对其先进行二值化处理后再进行形态学去噪处理;
步骤S103、对经过形态学去噪处理的二值化第一手部图像和经过形态学去噪处理的二值化第二手部图像进行连通域处理,之后对其先进行手部边界提取后再搜索手部指尖点;
步骤S104、匹配从第一手部边界图像和第二手部边界图像搜索得到的各指尖点,之后还原各手指指尖点的三维空间坐标,在获取下一帧的手部图像前,动态调节指尖检测参数K与红外照明光源的光照强度I。
在步骤S102中,在获取第一手部图像和第二手部图像后,对其分别进行二值化处理和形态学去噪处理,其包括步骤:
S201、双目立体视觉系统中的两个红外摄像头以帧为单位分别采集第一手部图像和第二手部图像,所述第一手部图像和所述第二手部图像均为红外手势图像;
S202、分别遍历两个红外摄像头所采集的所述第一手部图像和所述第二手部图像后,利用图像二值化处理方法对所述第一手部图像和所述第二手部图像进行二值化处理;
S203、对得到的二值化第一手部图像和二值化第二手部图像采用形态学运算去除噪声,消去所述二值化第一手部图像和所述二值化第二手部图像中的噪声点。
步骤S201中,是在红外照明光源的照射下,用红外摄像头对用户的手部进行拍摄。第一红外摄像头拍摄得到的图像为第一手部图像,第二红外摄像头拍摄得到的图像为第二手部图像。其中,红外手势图像的典型示例如图2所示,由于红外照明光源可发出某个波段的红外光用于照明,而第一红外摄像头与第二红外摄像头的镜头应覆有与红外照明光源的发光波段相对应的带通滤光片,即只允许与红外照明光源处于相同波段的红外光通过摄像头成像,其余波段的光被截止。
步骤S202中,对两个红外摄像头采集的所述第一手部图像和第二手部图像分别进行二值化处理时,其包括步骤:
S2021、设定一灰度阈值T1
S2022、遍历所述第一手部图像和第二手部图像,若图像中某个像素的灰度大于T1,则将其标识为前景物体像素;否则将其标识为背景物体像素。
二值化处理如公式1所示:
Figure 649517DEST_PATH_IMAGE004
                   (1)
其中,(x,y)为像素位置坐标,fb为红外灰度图像二值化结果,f为红外灰度图像,在fb中,像素值为1的像素为前景目标像素,像素值为0的像素为背景像素,图3所示为对图2进行二值化处理后得到的二值图像,第一手部图像和第二手部图像都进行二值化处理,图像中白色部分即为前景物体像素,黑色部分即为背景像素。
步骤S2021中的阈值T1可以根据实验结果和经验手动设置,也可以采用自适应阈值,此处不再赘述。
步骤S203中,对得到的二值第一手部图像和第二手部图像中可能会存在杂散的噪声点,为了去除这些噪声点,可以对二值图像执行形态学开运算和闭运算,如图4所示,为对图3的二值图像进行形态学去噪后的去噪图像。形态学去噪如下公式2所示:
Figure 2013107345855100002DEST_PATH_IMAGE005
                     (2)
其中,fm为形态学去噪后得到的图像,fb为公式1中得到的红外灰度图像二值化结果,E为结构元素,
Figure 463890DEST_PATH_IMAGE006
Figure 2013107345855100002DEST_PATH_IMAGE007
分别为开运算符号和闭运算符号。
在步骤S103中,在对二值图像进行形态学去噪处理后,进行图像连通域计算、边界提取、指尖点搜索,其包括步骤:
S301、对经过形态学去噪处理的二值化第一手部图像和二值化第二手部图像进行连通域判别,并在所有连通域中只保留最大的连通区域,所述最大的连通区域是手部区域,即得到第一手部区域和第二手部区域;
S302、对所述第一手部区域和第二手部区域进行手部边界提取,得到第一手部边界图像和第二手部边界图像;
S303、沿着所述第一手部边界图像和所述第二手部边界图像的手部边界搜索所有手指的指尖点。
步骤S302中,对所述第一手部区域和第二手部区域进行手部边界提取时,其包括步骤:
S3021、对所述第一手部区域和第二手部区域分别以3×3方形结构元素进行形态学腐蚀,其中形态学腐蚀如公式3所示:
Figure 817510DEST_PATH_IMAGE001
                       (3)
其中,fHand分别为第一手部区域和第二手部区域,E为结构元素,
Figure 84544DEST_PATH_IMAGE002
为形态学腐蚀运算符,fErode为腐蚀后的结果;
S3202、用fHand减去腐蚀的结果即可得到手部图像的边界,即
Figure 814602DEST_PATH_IMAGE003
,其中“-”表示逐像素相减,fEdge为得到的手部边界图像。
对去噪图像进行上述边界提取处理后,即可得到边界图像,如图5所示,为对图4的去噪图像进行边界提取后的手部边界图像。
步骤S303中,在得到手部边界图像后,可沿着手部边界搜索手指的指尖点,若手部边界上的第i个像素点Pi是指尖点,则其应满足以下三个条件:
条件1、设点Pi之前的第k个边界点为Pi-k,后面的第k个边界点为Pi+k,则
                  (4)
且式4中,
Figure 2013107345855100002DEST_PATH_IMAGE009
应小于一设定的阈值T2,其中-1<T2<1,
Figure 8003DEST_PATH_IMAGE010
Figure 2013107345855100002DEST_PATH_IMAGE011
分别为Pi-k到Pi点的向量和从Pi点到Pi+k点的向量,k的取值与图像的分辨率、图像中手部区域的大小有关,T2的取值则由实验决定;
条件2、Ai=min Aj,j为从i-k到i+k之间包括两端点的所有整数值,即Ai是局部极小值;
条件3、Pi-k和Pi+k的连线的中点应处于手部区域内。
在对手部边界图像进行指尖搜索时,遵循条件1-3,直至找出所有指尖点为止,如图6所示为对图5的手边界图像进行指尖点确定的示例图像,图中B为手部边界图像的起始点,E为手部边界图像的终止点,Pm为搜索到的一个指尖点,Pm’为Pm-k与Pm+k连线的中点。
在步骤S104中,在搜索所有指尖点后,其包括步骤:
S401、利用手指顺序约束法穷举出所述第一手部边界图像和所述第二手部边界图像中各指尖点之间的所有匹配组合后,确定正确匹配组合;
S402、结合双目立体视觉系统的标定参数,还原出各指尖点在三维空间中的位置坐标;
S403、获取下一帧的手部图像前,动态调节指尖检测参数K与红外照明光源的光照强度I。
步骤S401中,如图7a所示,为本发明较佳实施例提供的第一手部边界图像指尖点确定后标记匹配的图像,提取所述第一手部边界图像的5个指尖点,分别记为1、2、3、4、5,如图7b所示,为本发明较佳实施例提供的第二手部边界图像指尖点确定后标记匹配的图像,分别记为1’、2’、3’、4’、5’,其正确的匹配组合为1-1’,2-2’,3-3’,4-4’,5-5’。
在步骤S401之后,即可对所有正确匹配的指尖进行空间坐标还原的处理。在空间坐标还原的处理中可根据同一指尖点在两个红外摄像头分别拍摄的第一手部图像和第二手部图像中的图像坐标,结合双目立体视觉系统的标定参数,还原出该指尖点在三维空间中的位置坐标,重复此处理,直到得到图像中所有指尖点的三维空间位置。
步骤S403中,指尖检测参数K动态调节时,其值可按式5计算:
Figure 762333DEST_PATH_IMAGE012
                          (5)
其中,k0为步骤S101中设置的初始指尖检测参数值,d0是在K设置为k0检测到的所有指尖点到摄像头间的距离的平均值,而d则是手部在任意位置时检测到的所有指尖点到摄像头间的距离的平均值。可见K值与图像中手部区域的大小有关,当手部距离摄像头很近时,则拍摄的图像中手部区域较大,此时需要设置较大的K值,当手部距离摄像头很远时,则只需设置较小的K值,故K值根据手部离摄像头的距离来动态调节,有效的提高了指尖的检测率。
步骤S403中,红外照明光源的位置一般固定在摄像头旁边,若红外照明光源的光照强度保持不变,则当手部距离摄像头较近时,整幅图像会过亮;当手部距离摄像头较远时,对手部的照明又会显得不足,手部区域过暗。这两种情况都会给图像中手部区域的提取带来困难,故需对光照强度I进行动态调节,动态调节其值可按式6计算:
Figure 2013107345855100002DEST_PATH_IMAGE013
                           (6)
其中,I0为步骤S101中设置的初始光照强度值,d0是在I设置为I0时检测到的所有指尖点到摄像头间的距离的平均值,而d则是手部在任意位置时检测到的所有指尖点到摄像头间的距离的平均值。可见I值与手部和摄像头间的距离大小有关,当手部距离摄像头较近时降低光照强度,当手部距离摄像头较远时则提高光照强度。通过此方式对红外照明光源的光照强度进行动态调节,可以增大双目立体视觉系统的适应范围。
基于上述方法,本发明还提供了一种双目立体视觉检测手指指尖空间位置的系统,如图8所示,双目立体视觉系统100包括:
初始化模块110,用于对红外双目立体视觉系统进行标定,并设置初始检测参数值k0与红外照明光源的光照强度值I0
第一处理模块120,用于通过两个摄像头以帧为单位分别获取第一手部图像与第二手部图像,之后对其先进行二值化处理后再进行形态学去噪处理;
第二处理模块130,用于对经过形态学去噪处理的二值化第一手部图像和经过形态学去噪处理的二值化第二手部图像进行连通域处理,之后对其先进行手部边界提取后再搜索手部指尖点;
第三处理模块140,用于匹配从第一手部边界图像和第二手部边界图像搜索得到的各指尖点,之后还原各手指指尖点的三维空间坐标,在获取下一帧的手部图像前,动态调节指尖检测参数K与红外照明光源的光照强度I。
进一步地实施例,如图9所示,所述第一处理模块120包括:
图像获取单元121,用于双目立体视觉系统中的两个红外摄像头以帧为单位分别采集第一手部图像和第二手部图像,所述第一手部图像和所述第二手部图像均为红外手势图像;
二值化处理单元122,用于分别遍历两个红外摄像头所采集的所述第一手部图像和所述第二手部图像后,利用图像二值化处理方法对所述第一手部图像和所述第二手部图像进行二值化处理;
去噪单元123,用于对得到的二值化第一手部图像和二值化第二手部图像采用形态学运算去除噪声,消去所述二值化第一手部图像和所述二值化第二手部图像中的噪声点。
进一步地实施例,如图10所示,所述第二处理模块130包括:
手部图像连通域处理单元131,用于对经过形态学去噪处理的二值化第一手部图像和二值化第二手部图像进行连通域判别,并在所有连通域中只保留最大的连通区域,所述最大的连通区域是手部区域,即得到第一手部区域和第二手部区域;
边界提取单元132,用于对所述第一手部区域和第二手部区域进行手部边界提取,得到第一手部边界图像和第二手部边界图像;
指尖点搜索单元133,用于沿着所述第一手部边界图像和所述第二手部边界图像的手部边界搜索所有手指的指尖点。
进一步地实施例,如图11所示,所述第三处理模块140包括:
指尖匹配单元141,用于利用手指顺序约束法穷举出所述第一手部边界图像和所述第二手部边界图像中各指尖点之间的所有匹配组合后,确定正确匹配组合;
空间坐标还原单元142,用于结合双目立体视觉系统的标定参数,还原出各指尖点在三维空间中的位置坐标;
参数动态调节单元143,用于在获取下一帧的手部图像前,动态调节指尖检测参数K与红外照明光源的光照强度I。
综上所述,本发明所提供的一种双目立体视觉检测手指指尖空间位置的方法与系统,对通过两个摄像头以帧为单位分别获取的手部图像都采用二值化处理去噪后进行图像连通域计算、边界提取、指尖点搜索、指尖匹配及空间坐标还原处理,并在在获取下一帧的手部图像前,动态调节指尖检测参数与红外照明光源的光照强度。采用本发明的红外双目视觉系统,根据用户手部与摄像头间距离的远近变化动态调节光照强度和指尖检测参数,有效的提高了手指指尖的检测率,使设备的可用范围更大。
应当理解的是,本发明的应用不限于上述的举例,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种双目立体视觉检测手指指尖空间位置的方法,其特征在于,所述方法包括以下步骤:
A、对设置有两个摄像头的红外双目立体视觉系统进行标定,并设置初始指尖检测参数值与红外照明光源的光照强度值;
B、通过两个摄像头以帧为单位分别获取第一手部图像与第二手部图像,之后对其先进行二值化处理后再进行形态学去噪处理;
C、对经过形态学去噪处理的二值化第一手部图像和经过形态学去噪处理的二值化第二手部图像进行连通域处理,之后对其先进行手部边界提取后再搜索手部指尖点;
D、匹配从第一手部边界图像和第二手部边界图像搜索得到的各指尖点,之后还原各手指指尖点的三维空间坐标,在获取下一帧的手部图像前,动态调节指尖检测参数与红外照明光源的光照强度。
2.根据权利要求1所述双目立体视觉检测手指指尖空间位置的方法,其特征在于,所述步骤B具体包括:
B1、双目立体视觉系统中的两个红外摄像头以帧为单位分别采集第一手部图像和第二手部图像,所述第一手部图像和所述第二手部图像均为红外手势图像;
B2、分别遍历两个红外摄像头所采集的所述第一手部图像和所述第二手部图像后,利用图像二值化处理方法对所述第一手部图像和所述第二手部图像进行二值化处理;
B3、对得到的二值化第一手部图像和二值化第二手部图像采用形态学运算去除噪声,消去所述二值化第一手部图像和所述二值化第二手部图像中的噪声点。
3.根据权利要求1所述双目立体视觉检测手指指尖空间位置的方法,其特征在于,所述步骤C具体包括:
C1、对经过形态学去噪处理的二值化第一手部图像和二值化第二手部图像进行连通域判别,并在所有连通域中只保留最大的连通区域,所述最大的连通区域是手部区域,即得到第一手部区域和第二手部区域;
C2、对所述第一手部区域和第二手部区域进行手部边界提取,得到第一手部边界图像和第二手部边界图像;
C3、沿着所述第一手部边界图像和所述第二手部边界图像的手部边界搜索所有手指的指尖点。
4.根据权利要求1所述双目立体视觉检测手指指尖空间位置的方法,其特征在于,所述步骤D具体包括:
D1、利用手指顺序约束法穷举出所述第一手部边界图像和所述第二手部边界图像中各指尖点之间的所有匹配组合后,确定正确匹配组合;
D2、结合双目立体视觉系统的标定参数,还原出各指尖点在三维空间中的位置坐标;
D3、获取下一帧的手部图像前,动态调节指尖检测参数与红外照明光源的光照强度。
5.根据权利要求2所述双目立体视觉检测手指指尖空间位置的方法,其特征在于,所述步骤B2具体包括:
B21、设定一灰度阈值T1
B22、遍历所述第一手部图像和第二手部图像,若图像中某个像素的灰度大于T1,则将其标识为前景物体像素;否则将其标识为背景物体像素。
6.根据权利要求3所述双目立体视觉检测手指指尖空间位置的方法,其特征在于,所述步骤C2具体包括:
C21、对所述第一手部区域和所述第二手部区域分别以方形结构元素进行形态学腐蚀,其中形态学腐蚀如下式所示:                                                
Figure 184872DEST_PATH_IMAGE001
,其中fHand分别为第一手部区域和第二手部区域,E为结构元素,
Figure 2013107345855100001DEST_PATH_IMAGE002
为形态学腐蚀运算符,fErode为腐蚀后的结果;
C22、用fHand减去腐蚀的结果即可得到手部图像的边界,即
Figure 633171DEST_PATH_IMAGE003
,其中“-”表示逐像素相减,fEdge为得到的手部边界图像。
7.一种双目立体视觉检测手指指尖空间位置的系统,其特征在于,包括:
初始化模块,用于对红外双目立体视觉系统进行标定,并设置初始指尖检测参数值与红外照明光源的光照强度值;
第一处理模块,用于通过两个摄像头以帧为单位分别获取第一手部图像与第二手部图像,之后对其先进行二值化处理后再进行形态学去噪处理;
第二处理模块,用于对经过形态学去噪处理的二值化第一手部图像和经过形态学去噪处理的二值化第二手部图像进行连通域处理,之后对其先进行手部边界提取后再搜索手部指尖点;
第三处理模块,用于匹配从第一手部边界图像和第二手部边界图像搜索得到的各指尖点,之后还原各手指指尖点的三维空间坐标,在获取下一帧的手部图像前,动态调节指尖检测参数与红外照明光源的光照强度。
8.根据权利要求7所述双目立体视觉检测手指指尖空间位置的系统,其特征在于,所述第一处理模块包括:
图像获取单元,用于双目立体视觉系统中的两个红外摄像头以帧为单位分别采集第一手部图像和第二手部图像,所述第一手部图像和所述第二手部图像均为红外手势图像;
二值化处理单元,用于分别遍历两个红外摄像头所采集的所述第一手部图像和所述第二手部图像后,利用图像二值化处理方法对所述第一手部图像和所述第二手部图像进行二值化处理;
去噪单元,用于对得到的二值化第一手部图像和二值化第二手部图像采用形态学运算去除噪声,消去所述二值化第一手部图像和所述二值化第二手部图像中的噪声点。
9.根据权利要求7所述双目立体视觉检测手指指尖空间位置的系统,其特征在于,所述第二处理模块包括:
手部图像连通域处理单元,用于对经过形态学去噪处理的二值化第一手部图像和二值化第二手部图像进行连通域判别,并在所有连通域中只保留最大的连通区域,所述最大的连通区域是手部区域,即得到第一手部区域和第二手部区域;
边界提取单元,用于对所述第一手部区域和第二手部区域进行手部边界提取,得到第一手部边界图像和第二手部边界图像;
指尖点搜索单元,用于沿着所述第一手部边界图像和所述第二手部边界图像的手部边界搜索所有手指的指尖点。
10.根据权利要求7所述双目立体视觉检测手指指尖空间位置的系统,其特征在于,所述第三处理模块包括:
指尖匹配单元,用于利用手指顺序约束法穷举出所述第一手部边界图像和所述第二手部边界图像中各指尖点之间的所有匹配组合后,确定正确匹配组合;
空间坐标还原单元,用于结合双目立体视觉系统的标定参数,还原出各指尖点在三维空间中的位置坐标;
参数调节单元,用于在获取下一帧的手部图像前,动态调节指尖检测参数与红外照明光源的光照强度。
CN201310734585.5A 2013-12-27 2013-12-27 一种双目立体视觉检测手指指尖空间位置的方法与系统 Expired - Fee Related CN103714345B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310734585.5A CN103714345B (zh) 2013-12-27 2013-12-27 一种双目立体视觉检测手指指尖空间位置的方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310734585.5A CN103714345B (zh) 2013-12-27 2013-12-27 一种双目立体视觉检测手指指尖空间位置的方法与系统

Publications (2)

Publication Number Publication Date
CN103714345A true CN103714345A (zh) 2014-04-09
CN103714345B CN103714345B (zh) 2018-04-06

Family

ID=50407302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310734585.5A Expired - Fee Related CN103714345B (zh) 2013-12-27 2013-12-27 一种双目立体视觉检测手指指尖空间位置的方法与系统

Country Status (1)

Country Link
CN (1) CN103714345B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105892637A (zh) * 2015-11-25 2016-08-24 乐视致新电子科技(天津)有限公司 手势识别方法及虚拟现实显示输出设备
CN106325493A (zh) * 2015-06-30 2017-01-11 现代自动车株式会社 车辆及其控制方法
CN106485207A (zh) * 2016-09-21 2017-03-08 清华大学 一种基于双目视觉图像的指尖检测方法及系统
CN106643567A (zh) * 2016-12-08 2017-05-10 广州汽车集团股份有限公司 一种车道偏移系统产线标定板的校验方法及系统
CN107133967A (zh) * 2017-05-05 2017-09-05 杭州远舟医疗科技有限公司 提取目标图像的方法及装置
CN107514745A (zh) * 2017-08-03 2017-12-26 上海斐讯数据通信技术有限公司 一种智能空调立体视觉定位的方法及系统
CN108089753A (zh) * 2017-12-28 2018-05-29 安徽慧视金瞳科技有限公司 一种利用Faster-RCNN对指尖位置进行预测的定位方法
CN108140243A (zh) * 2015-03-18 2018-06-08 北京市商汤科技开发有限公司 从双目成像系统的3d手部姿势恢复
CN109753554A (zh) * 2019-01-14 2019-05-14 广东小天才科技有限公司 一种基于三维空间定位的搜索方法及家教设备
CN110720210A (zh) * 2018-07-11 2020-01-21 深圳市大疆创新科技有限公司 照明设备控制方法、设备、飞行器及系统
CN111721259A (zh) * 2020-06-24 2020-09-29 江苏科技大学 基于双目视觉的水下机器人回收定位方法
CN112215134A (zh) * 2020-10-10 2021-01-12 北京华捷艾米科技有限公司 手势跟踪方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120093421A1 (en) * 2010-10-19 2012-04-19 Palo Alto Research Center Incorporated Detection of duplicate document content using two-dimensional visual fingerprinting
CN103217857A (zh) * 2013-03-27 2013-07-24 深圳市优威视讯科技有限公司 狩猎相机及其照明自动调节系统和调节方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120093421A1 (en) * 2010-10-19 2012-04-19 Palo Alto Research Center Incorporated Detection of duplicate document content using two-dimensional visual fingerprinting
CN103217857A (zh) * 2013-03-27 2013-07-24 深圳市优威视讯科技有限公司 狩猎相机及其照明自动调节系统和调节方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
朱正涛: "三维多指点检测与识别技术在人机交互中的应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108140243B (zh) * 2015-03-18 2022-01-11 北京市商汤科技开发有限公司 用于构建3d手模型的方法、设备和系统
CN108140243A (zh) * 2015-03-18 2018-06-08 北京市商汤科技开发有限公司 从双目成像系统的3d手部姿势恢复
CN106325493A (zh) * 2015-06-30 2017-01-11 现代自动车株式会社 车辆及其控制方法
CN105892637A (zh) * 2015-11-25 2016-08-24 乐视致新电子科技(天津)有限公司 手势识别方法及虚拟现实显示输出设备
CN106485207A (zh) * 2016-09-21 2017-03-08 清华大学 一种基于双目视觉图像的指尖检测方法及系统
CN106485207B (zh) * 2016-09-21 2019-11-22 清华大学 一种基于双目视觉图像的指尖检测方法及系统
CN106643567A (zh) * 2016-12-08 2017-05-10 广州汽车集团股份有限公司 一种车道偏移系统产线标定板的校验方法及系统
CN106643567B (zh) * 2016-12-08 2019-03-01 广州汽车集团股份有限公司 一种车道偏移系统产线标定板的校验方法及系统
CN107133967B (zh) * 2017-05-05 2019-06-28 杭州远舟医疗科技有限公司 提取目标图像的方法及装置
CN107133967A (zh) * 2017-05-05 2017-09-05 杭州远舟医疗科技有限公司 提取目标图像的方法及装置
CN107514745A (zh) * 2017-08-03 2017-12-26 上海斐讯数据通信技术有限公司 一种智能空调立体视觉定位的方法及系统
CN108089753B (zh) * 2017-12-28 2021-03-09 安徽慧视金瞳科技有限公司 一种利用Faster-RCNN对指尖位置进行预测的定位方法
CN108089753A (zh) * 2017-12-28 2018-05-29 安徽慧视金瞳科技有限公司 一种利用Faster-RCNN对指尖位置进行预测的定位方法
CN110720210A (zh) * 2018-07-11 2020-01-21 深圳市大疆创新科技有限公司 照明设备控制方法、设备、飞行器及系统
CN110720210B (zh) * 2018-07-11 2021-06-15 深圳市大疆创新科技有限公司 照明设备控制方法、设备、飞行器及系统
US11920762B2 (en) 2018-07-11 2024-03-05 SZ DJI Technology Co., Ltd. Method for controlling illuminating device, and apparatus, aircraft, and system thereof
CN109753554A (zh) * 2019-01-14 2019-05-14 广东小天才科技有限公司 一种基于三维空间定位的搜索方法及家教设备
CN109753554B (zh) * 2019-01-14 2021-03-30 广东小天才科技有限公司 一种基于三维空间定位的搜索方法及家教设备
CN111721259A (zh) * 2020-06-24 2020-09-29 江苏科技大学 基于双目视觉的水下机器人回收定位方法
CN112215134A (zh) * 2020-10-10 2021-01-12 北京华捷艾米科技有限公司 手势跟踪方法及装置

Also Published As

Publication number Publication date
CN103714345B (zh) 2018-04-06

Similar Documents

Publication Publication Date Title
CN103714345A (zh) 一种双目立体视觉检测手指指尖空间位置的方法与系统
CN103544472A (zh) 一种基于手势图像的处理方法及处理装置
CN101976334B (zh) 一种抗干扰的触摸点识别方法及装置
CN108230245B (zh) 图像拼接方法、图像拼接装置及电子设备
CN110209273A (zh) 手势识别方法、交互控制方法、装置、介质与电子设备
TWI540462B (zh) 手勢辨識方法及其裝置
CN109084350B (zh) 一种具滤光功能视觉检测模块的油烟机及油烟浓度检测方法
CN104834901A (zh) 一种基于双目立体视觉的人脸检测方法、装置及系统
KR20170056860A (ko) 이미지 생성 방법 및 장치
CN109409368A (zh) 矿用皮带纵撕检测装置及检测方法
CN103455984A (zh) 一种Kinect深度图像获取方法与装置
CN102622138B (zh) 一种光学触控定位方法及光学触控定位系统
WO2013067625A1 (en) Interactive pointer detection with image frame processing
US20150054974A1 (en) TEMPORALLY COHERENT SEGMENTATION OF RGBt VOLUMES WITH AID OF NOISY OR INCOMPLETE AUXILIARY DATA
CN103472915B (zh) 基于瞳孔跟踪的阅读控制方法、阅读控制装置及显示设备
TW201514830A (zh) 互動式操作方法
CN104331193A (zh) 一种红外精准多点触控平台
EP3617851B1 (en) Information processing device, information processing method, and recording medium
US20140015950A1 (en) Touch detection apparatus, touch detection method and recording medium
CN105511691A (zh) 光学式触控感测装置及其触控信号判断方法
CN106569716B (zh) 单手操控方法及操控系统
CN109040604B (zh) 拍摄图像的处理方法、装置、存储介质及移动终端
CN102855025A (zh) 一种基于视觉注意模型的光学多点触控触点检测方法
KR20160132209A (ko) 다중 컬러 센서를 기반하여, 고속 컨벌루션을 이용한 영상의 깊이 정보 추출 방법 및 장치
JP6661268B2 (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180406

CF01 Termination of patent right due to non-payment of annual fee