CN105488802A - 一种指尖深度检测方法及系统 - Google Patents

一种指尖深度检测方法及系统 Download PDF

Info

Publication number
CN105488802A
CN105488802A CN201510892217.2A CN201510892217A CN105488802A CN 105488802 A CN105488802 A CN 105488802A CN 201510892217 A CN201510892217 A CN 201510892217A CN 105488802 A CN105488802 A CN 105488802A
Authority
CN
China
Prior art keywords
finger tip
hand images
palm
image
depth detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510892217.2A
Other languages
English (en)
Other versions
CN105488802B (zh
Inventor
王贵锦
李文涛
尹玄武
施陈博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201510892217.2A priority Critical patent/CN105488802B/zh
Publication of CN105488802A publication Critical patent/CN105488802A/zh
Application granted granted Critical
Publication of CN105488802B publication Critical patent/CN105488802B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image

Abstract

本发明涉及一种指尖深度检测方法及系统。该方法包括:获取红外双目摄像机系统的左、右摄像机采集的图像;分别对左、右摄像机采集到的图像进行二值化处理,获取第一手部图像和第二手部图像;对所述手部图像进行距离变换,根据距离变换的结果获取第一手部图像和第二手部图像中指尖点的位置;根据第一手部图像中各个指尖相对于掌心的极坐标的角度和第二手部图像中各个指尖相对于掌心的极坐标的角度获取两幅手部图像中指尖点之间的匹配组合;对第一手部图像和第二手部图像进行视差匹配,获取指尖点的深度值。本发明提高了指尖深度检测的精度,利用手部模型采用粗匹配缩小视差搜索范围,提高了处理速度。

Description

一种指尖深度检测方法及系统
技术领域
本发明涉及计算机视觉领域,尤其涉及一种指尖深度检测方法及系统。
背景技术
从图像中恢复深度信息是计算机视觉领域的基础问题,近些年来随着各种技术的发展,也得到了越来越多的关注,并且取得了很大的进展。深度传感器在工业检测、自动驾驶、医学成像和以三维场景理解和检测为基础的新型人机交互方面都有着非常广泛的应用。根据是否采用受控照明,深度传感系统一般可以分为主动深度估计和被动深度估计两种。
主动深度估计利用投影仪等设备将某种提前设计好的模式的光线投射到三维场景中,比如提前编码好的结构光图像或散斑图像。通过将重建后的散斑或结构光图像与原始散斑或结构光图像进行对比,最后通过提前设计好的编码进行匹配,计算像素差值,可以得到比较精确的深度信息。这种方法对于缺乏纹理的表面求取深度效果很好,因此比较适合手掌这种缺乏纹理的表面。但是这种方法的缺点是:投射散斑图像的硬件结构较为复杂,功耗也比较大;而且对于指尖这种边界区域,散斑图案的种子点个数普遍偏少,因此在指尖的边界区域深度估计常常是不准确的。
被动深度估计常常采用双目立体视觉的理论。用两个平行放置的相机同时拍摄场景图像,通过对两幅图像进行匹配从而得到视差值,再通过三角测量进行换算得到深度值。这种方法结构简单,因此也得到了广泛的关注和研究。目前的方法主要集中于基于彩色图像全局匹配和局部匹配两个方面。局部匹配方法包括对应像素差的绝对值(SumofAbsoluteDifferences,SAD)、对应像素差的平方和(SumofSquaredDifferences,SSD)、改进的rank变换、归一化的互相关方法;全局匹配方法主要考虑这幅图像的深度连续性和像素值的连续性对全局能量函数进行优化。然而采用双目彩色立体视觉算法,准确性严重的依赖于场景的纹理和光照条件,二者都会对图像中的像素值的大小和像素值之间的关联产生很大的影响。对于光照改变的情况,图像中的像素值会改变大小,提取出的特征不具有代表性,而且左右视图很可能匹配点的像素值相差很大影响匹配精度;对于场景纹理缺失的情况,窗口中可以提取出的特征很少,因此也会降低匹配时的精度。因此,采用这种基于彩色双目立体视觉方法处理指尖深度估计问题,得到的估计精度比较低。同时,双目立体匹配过程中,由于缺乏先验信息,待匹配点的搜索范围一般很大,运行速度会比较慢。
发明内容
本发明所要解决的技术问题是:现有的指尖深度检测结果不准确,且处理速度慢。
为解决上述技术问题,本发明一方面提出了如下技术方案:
一种指尖深度检测方法,包括:
获取红外双目摄像机系统的左、右摄像机采集的图像;
分别对左、右摄像机采集到的图像进行二值化处理,获取第一手部图像和第二手部图像;
对所述手部图像进行距离变换,根据距离变换的结果获取第一手部图像和第二手部图像中指尖点的位置;
根据第一手部图像中各个指尖相对于掌心的极坐标的角度和第二手部图像中各个指尖相对于掌心的极坐标的角度获取两幅手部图像中指尖点之间的匹配组合;
对所述指尖点之间的匹配组合进行视差匹配,获取指尖点的深度值。
可选地,在所述获取红外双目摄像机系统的左、右摄像机采集的图像之前,还包括:
分别对左、右摄像机进行单个摄像机的标定,获得左、右摄像机的内部参数;
对红外双目摄像机系统进行标定获得左、右摄像机之间的外部参数。
可选地,在所述分别对左、右摄像机采集到的图像进行二值化处理之前,还包括:
分别对左、右摄像机采集到的图像进行极线校正和去畸变。
可选地,所述分别对左、右摄像机采集到的图像进行二值化处理,包括:
对左、右摄像机采集到的图像利用最大类间方差法进行二值化处理。
可选地,所述对所述手部图像进行距离变换,根据距离变换的结果获取第一手部图像和第二手部图像中指尖点的位置,包括:
对所述手部图像进行距离变换,对距离变换后的手部图像进行阈值化操作得到手掌区域;
获取所述手掌区域的质心,将该质心作为掌心;
获取掌心到人手轮廓的距离,将其局部最大值作为指尖点的位置。
可选地,所述根据第一手部图像中各个指尖相对于掌心的极坐标的角度和第二手部图像中各个指尖相对于掌心的极坐标的角度获取两幅手部图像中指尖点之间的匹配组合,包括:
根据公式一获取第一手部图像与第二手部图像指尖点的匹配组合,该匹配组合使E(i)的值最小;
E ( i ) = Σ i = 1 M ( ρ i - ρ i n d e x ( i ) ) , 公式一
其中,E(i)表示能量值,index(i)表示第一手部图像中第i个指尖对应的第二手部图像中的第index(i)个指尖。ρi表示该指尖相对于掌心的极坐标的角度信息。
可选地,所述对所述指尖点之间的匹配组合进行视差匹配,获取指尖点的深度值,包括:
对所述指尖点之间的匹配组合利用对应像素差的绝对值SAD算法进行视差匹配,根据左、右摄像机的外部参数,采用三角测量法获取指尖点的深度值。
可选地,在所述根据左、右摄像机的外部参数,采用三角测量法获取指尖点的深度值之前,还包括:
对经过SAD算法进行视差匹配的结果进行线性亚像素处理。
一种指尖深度检测系统,包括:
两台红外摄像机、多个红外LED光源、红外图像传感器和芯片;
所述两台红外摄像机相互平行设置,用于采集手部图像;
所述多个红外LED光源与所述红外摄像机相互平行设置;
所述红外图像传感器用于接收所述红外摄像机采集的手部图像,并将所述手部图像发送至所述芯片;
所述芯片用于分析所述手部图像,获取指尖深度值。
一种指尖深度检测系统,包括:
图像采集单元,用于获取红外双目摄像机系统的左、右摄像机采集的图像;
手部图像获取单元,用于分别对左、右摄像机采集到的图像进行二值化处理,获取第一手部图像和第二手部图像;
指尖点位置获取单元,用于对所述手部图像进行距离变换,根据距离变换的结果获取第一手部图像和第二手部图像中指尖点的位置;
指尖点匹配组合获取单元,用于根据第一手部图像中各个指尖相对于掌心的极坐标的角度和第二手部图像中各个指尖相对于掌心的极坐标的角度获取两幅手部图像中指尖点之间的匹配组合;
深度值获取单元,用于对所述指尖点之间的匹配组合进行视差匹配,获取指尖点的深度值。
本发明提供的指尖深度检测方法及系统,边缘匹配过程避免了手掌内部纹理不明显部分对深度检测的影响,提高了指尖深度检测的精度,对指尖的深度估计精度在近场范围内达到亚毫米级别;利用手部模型采用粗匹配缩小视差搜索范围,提高了处理速度。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点,附图是示意性的而不应理解为对本发明进行任何限制,在附图中:
图1示出了本发明一个实施例的指尖深度检测方法的示意图;
图2示出了本发明另一个实施例的指尖深度检测方法的流程示意图;
图3示出了本发明一个实施例的指尖深度检测方法中去畸变前的第一手部图像和第二手部图像;
图4示出了本发明一个实施例的指尖深度检测方法中去畸变后的第一手部图像和第二手部图像;
图5示出了本发明一个实施例的指尖深度检测方法中二值化后的第一手部图像和第二手部图像;
图6示出了本发明一个实施例的指尖深度检测方法中的掌心检测结果;
图7示出了本发明一个实施例的指尖深度检测方法中的指尖检测结果;
图8示出了本发明一个实施例的指尖深度检测系统的结构示意图;
图9示出了本发明一个实施例的指尖深度检测系统的工作原理图。
具体实施方式
下面将结合附图对本发明的实施例进行详细描述。
图1是本发明一个实施例的指尖深度检测方法的示意图。如图1所示,该指尖深度检测方法包括:
S1:获取红外双目摄像机系统的左、右摄像机采集的图像;
S2:分别对左、右摄像机采集到的图像进行二值化处理,获取第一手部图像和第二手部图像;
S3:对所述手部图像进行距离变换,根据距离变换的结果获取第一手部图像和第二手部图像中指尖点的位置;
S4:根据第一手部图像中各个指尖相对于掌心的极坐标的角度和第二手部图像中各个指尖相对于掌心的极坐标的角度获取两幅手部图像中指尖点之间的匹配组合;
S5:对所述指尖点之间的匹配组合进行视差匹配,获取指尖点的深度值。
本实施例的指尖深度检测方法,边缘匹配过程避免了手掌内部纹理不明显部分对深度检测的影响,提高了指尖深度检测的精度,对指尖的深度估计精度在近场范围内达到亚毫米级别;利用手部模型采用粗匹配缩小视差搜索范围,提高了处理速度。
图2示出了本发明另一个实施例的指尖深度检测方法的流程示意图。如图2所示,本实施例的指尖深度检测方法如下:
S21:分别对左、右摄像机进行单个摄像机的标定,获得左、右摄像机的内部参数;对红外双目摄像机系统进行标定获得左、右摄像机之间的外部参数;
S22:获取红外双目摄像机系统的左、右摄像机采集的图像;
S23:分别对左、右摄像机采集到的图像进行极线校正和去畸变;
S24:分别对左、右摄像机采集到的图像进行二值化处理,获取第一手部图像和第二手部图像;
S25:对所述手部图像进行距离变换,根据距离变换的结果获取第一手部图像和第二手部图像中指尖点的位置;
S26:根据第一手部图像中各个指尖相对于掌心的极坐标的角度和第二手部图像中各个指尖相对于掌心的极坐标的角度获取两幅手部图像中指尖点之间的匹配组合;
S27:对所述指尖点之间的匹配组合利用对应像素差的绝对值SAD算法进行视差匹配,根据左、右摄像机的外部参数,采用三角测量法获取指尖点的深度值。
具体地,对红外双目摄像机系统进行标定的过程如下:
使用opencv对红外双目摄像机系统进行标定,得到两个摄像机的内部参数(焦距、畸变函数等)和外部参数(两个相机坐标系的旋转矩阵R和平移矩阵T)。
获取红外双目摄像机系统的左、右摄像机采集的图像。图3示出了本发明一个实施例的指尖深度检测方法中去畸变前的第一手部图像和第二手部图像。
分别对左、右摄像机采集到的图像进行极线校正和去畸变得到满足极线约束(两幅图像的匹配点在图像中的像素位置满足在同一条水平线上)的两幅图像,如图4所示。
在一种可选的实施方式中,所述分别对左、右摄像机采集到的图像进行二值化处理,包括:
对左、右摄像机采集到的图像利用最大类间方差法进行二值化处理。
最大类间方差法(otsu算法)进行二值化处理的过程如下:
设一副图像像素值在[1,k]的部分归为1类C0,在[k+1,L]的部分归为2类C1,图像的像素值的范围为[1,L],分别计算某一个像素点被归为C0和C1的概率ω0和ω1
ω 0 = Pr ( C 0 ) = Σ i = 1 k p i = ω ( k )
ω 1 = Pr ( C 1 ) = Σ i = k + 1 L p i = 1 - ω ( k )
上式中,Pr表示概率函数。其中,pi表示某一个像素值所对应的像素个数占总像素个数的比例。k表示选取的区分两类的像素值的阈值。ω(k)表示像素值在[1,i]范围内的像素个数的和。
再分别计算被归为两类后灰度值条件期望,即两类的平均灰度。
μ 0 = Σ i = 1 k i * Pr ( i | C 0 ) = Σ i = 1 k i * p i / ω 0 = μ ( k ) / ω ( k )
μ 1 = Σ i = k + 1 L i * Pr ( i | C 1 ) = Σ i = k + 1 L i * p i / ω 1 = μ T - μ ( k ) 1 - ω ( k )
上式中,μ0和μ1分别表示C0类和C1类的像素值的平均值。μT表示图像中所有点的灰度均值。μ(k)表示灰度值在[1,k]范围内的所有像素点的像素值平均值。
这样,便可以计算得到两类像素集的方差
σ 0 2 = Σ i = 1 k ( i - μ 0 ) 2 p i / ω 0
σ 1 2 = Σ i = k + 1 L ( i - μ 1 ) 2 p i / ω 1
上式中,σ0 2和σ1 2分别表示C0类和C1类的像素值方差。
因此可以根据两个点集分别的方差得到类内方差和类间方差。
σw 2=ω0σ0 21σ1 2
σB 2=ω00T)211T)2
其中,σw 2表示类内方差,σB 2表示类间方差。
图5示出了本发明一个实施例的指尖深度检测方法中二值化后的第一手部图像和第二手部图像。
进一步地,所述对所述手部图像进行距离变换,根据距离变换的结果获取第一手部图像和第二手部图像中指尖点的位置,包括:
对所述手部图像进行距离变换,对距离变换后的手部图像进行阈值化操作得到手掌区域;
获取所述手掌区域的质心,将该质心作为掌心;
获取掌心到人手轮廓的距离,将其局部最大值作为指尖点的位置。
在手部结构分析阶段,我们对二值化的ROI图进行处理,选取求距离变换最大值的方法来确定掌心点的位置。距离变换指的是计算二值图像中每个目标点到非目标边缘点的最小距离。令手掌二值图像为P。
D ( p ) = min q ∈ S d ( p , q )
其中S为手掌边缘点集合,q为手掌边缘点,p为手掌内的某一点。d(p,q)表示p和q两点间的欧氏距离。D表示最终得到的距离变换的值。
得到距离变换图像D后,采用下式计算掌心位置。
P ( p a l m ) = arg max p [ D ( p ) ]
P(palm)表示掌心的位置。
同时,手掌半径也可以得到:radius=max(D(p))。
图6示出了本发明一个实施例的指尖深度检测方法中的掌心检测结果。
沿着手部边缘点扫描,以掌心点为原点,计算手部边缘点相对于掌心的极坐标(r,ρ),指尖点应满足以下几点:
(1)指尖点到掌心点的距离应该满足局部最大值。
(2)指尖点到掌心点的距离在全局下应该大于某个固定阈值,这个固定阈值一般为手掌半径或略大,可以在一定程度上消除其他噪声边缘点的影响。
图7示出了本发明一个实施例的指尖深度检测方法中的指尖检测结果。
进一步地,所述根据第一手部图像中各个指尖相对于掌心的极坐标的角度和第二手部图像中各个指尖相对于掌心的极坐标的角度获取两幅手部图像中指尖点之间的匹配组合,包括:
根据公式一获取第一手部图像与第二手部图像指尖点的匹配组合,该匹配组合使E(i)的值最小;
E ( i ) = Σ i = 1 M ( ρ i - ρ i n d e x ( i ) ) , 公式一
其中,E(i)表示能量值,index(i)表示第一手部图像中第i个指尖对应的第二手部图像中的第index(i)个指尖。ρi表示该指尖相对于掌心的极坐标的角度信息。
需要对指尖点进行双目匹配:包括利用手部结构的粗匹配和利用SAD算子的局部精细匹配。
这里我们有如下假设:左右两幅图像,指尖匹配不可能出现交叉的情况。也就是说,左视图中从左至右的第1,2个手指不可能对应右视图中从左至右的第2,1个手指。根据以上假设,可以大大的缩小搜索空间。
根据此公式,可以对两幅视图中指尖的个数和匹配方式进行检测,保证找到的匹配点的大致正确:如左图的拇指与右图的拇指匹配。且保证两幅图中的指尖个数保持一致。指尖位置的粗匹配完成。这种粗匹配过程减少了之后的SAD局部匹配的搜索范围,提高了运行速度。
在得到了满足极线约束的匹配点的坐标后,利用SAD算法进行视差的精细估,因采用如下公式:
c(x,y,d)=|IR(x,y)-IT(x+d,y)|
C ( x , y , d ) = Σ x ∈ S c ( x , y , d ) = Σ x ∈ S | I R ( x , y ) - I T ( x + d , y ) |
D ( x , y ) = arg min D ∈ U C ( x , y , D )
其中,IR(x,y)表示待匹配图像中某一点的像素值,IT(x+d,y)表示目标匹配图像中某一点的像素值,c(x,y,d)表示左图中某一像素点在某一视差下的匹配代价。C(x,y,d)表示对S区域内的所有点在某一固定视差下的匹配代价的叠加。U=[dmin,dmax],为视差搜索范围。D(x,y)表示待匹配点(x,y)在视差搜索范围内对应的匹配代价最小的视差值,作为该点的视差值。
由于得到的指尖位置都是在手部区域的边缘,因此特征明显,采用SAD窗口算子能够精确的计算视差,避免了手掌和指尖内部缺乏纹理而产生的视差估计不精确的问题。
进一步地,在所述根据左、右摄像机的外部参数,采用三角测量法获取指尖点的深度值之前,还包括:
对经过SAD算法进行视差匹配的结果进行线性亚像素处理。
根据以上公式,得到的视差D一定是整数,为了提高深度估计精度,对视差结果进行简单的线性亚像素处理。
D ( x , y ) = arg min D ∈ U C ( x , y , D )
d ( x , y ) = D ( x , y ) + C ( D - 1 ) - C ( D + 1 ) C ( D - 1 ) + C ( D + 1 ) + 2 * C ( D ) + | C ( D - 1 ) + C ( D + 1 ) |
此公式综合考虑了最小整数视差和周围两个视差之间SAD代价值的关系,达到了亚像素的视差估计精度。
图8示出了本发明一个实施例的指尖深度检测系统的结构示意图。该指尖深度检测系统包括:
图像采集单元81,用于获取红外双目摄像机系统的左、右摄像机采集的图像;
手部图像获取单元82,用于分别对左、右摄像机采集到的图像进行二值化处理,获取第一手部图像和第二手部图像;
指尖点位置获取单元83,用于对所述手部图像进行距离变换,根据距离变换的结果获取第一手部图像和第二手部图像中指尖点的位置;
指尖点匹配组合获取单元84,用于根据第一手部图像中各个指尖相对于掌心的极坐标的角度和第二手部图像中各个指尖相对于掌心的极坐标的角度获取两幅手部图像中指尖点之间的匹配组合;
深度值获取单元85,用于对所述指尖点之间的匹配组合进行视差匹配,获取指尖点的深度值。
图9示出了本发明一个实施例的指尖深度检测系统的工作原理图。该指尖深度检测系统包括:
两台红外摄像机91、多个红外LED光源92、红外图像传感器93和芯片94;
两台红外摄像机91相互平行设置,用于采集手部图像;
多个红外LED光源92与红外摄像机91相互平行设置;
红外图像传感器93用于接收红外摄像机91采集的手部图像,并将所述手部图像发送至芯片94;
芯片94用于分析所述手部图像,获取指尖深度值。
该系统由两个红外摄像机组成,周围由多个红外LED灯负责打亮前景物体。采用该系统采集手部图像,可以有效的减少环境光对成像结果的干扰,同时得到信噪比较高的前景图像。而且得到的手部图像,在指尖部位,边缘十分清晰,便于匹配计算。
本实施例所述的指尖深度检测系统可以用于执行上述方法实施例,其原理和技术效果类似,此处不再赘述。
本发明提供的指尖深度检测方法及系统,边缘匹配过程避免了手掌内部纹理不明显部分对深度检测的影响,提高了指尖深度检测的精度,对指尖的深度估计精度在近场范围内达到亚毫米级别;利用手部模型采用粗匹配缩小视差搜索范围,提高了处理速度。
虽然结合附图描述了本发明的实施方式,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种指尖深度检测方法,其特征在于,包括:
获取红外双目摄像机系统的左、右摄像机采集的图像;
分别对左、右摄像机采集到的图像进行二值化处理,获取第一手部图像和第二手部图像;
对所述手部图像进行距离变换,根据距离变换的结果获取第一手部图像和第二手部图像中指尖点的位置;
根据第一手部图像中各个指尖相对于掌心的极坐标的角度和第二手部图像中各个指尖相对于掌心的极坐标的角度获取两幅手部图像中指尖点之间的匹配组合;
对所述指尖点之间的匹配组合进行视差匹配,获取指尖点的深度值。
2.根据权利要求1所述的指尖深度检测方法,其特征在于,在所述获取红外双目摄像机系统的左、右摄像机采集的图像之前,还包括:
分别对左、右摄像机进行单个摄像机的标定,获得左、右摄像机的内部参数;
对红外双目摄像机系统进行标定获得左、右摄像机之间的外部参数。
3.根据权利要求1所述的指尖深度检测方法,其特征在于,在所述分别对左、右摄像机采集到的图像进行二值化处理之前,还包括:
分别对左、右摄像机采集到的图像进行极线校正和去畸变。
4.根据权利要求1所述的指尖深度检测方法,其特征在于,所述分别对左、右摄像机采集到的图像进行二值化处理,包括:
对左、右摄像机采集到的图像利用最大类间方差法进行二值化处理。
5.根据权利要求1所述的指尖深度检测方法,其特征在于,所述对所述手部图像进行距离变换,根据距离变换的结果获取第一手部图像和第二手部图像中指尖点的位置,包括:
对所述手部图像进行距离变换,对距离变换后的手部图像进行阈值化操作得到手掌区域;
获取所述手掌区域的质心,将该质心作为掌心;
获取掌心到人手轮廓的距离,将其局部最大值作为指尖点的位置。
6.根据权利要求1所述的指尖深度检测方法,其特征在于,所述根据第一手部图像中各个指尖相对于掌心的极坐标的角度和第二手部图像中各个指尖相对于掌心的极坐标的角度获取两幅手部图像中指尖点之间的匹配组合,包括:
根据公式一获取第一手部图像与第二手部图像指尖点的匹配组合,该匹配组合使E(i)的值最小;
公式一
其中,E(i)表示能量值,index(i)表示第一手部图像中第i个指尖对应的第二手部图像中的第index(i)个指尖。ρi表示该指尖相对于掌心的极坐标的角度信息。
7.根据权利要求1所述的指尖深度检测方法,其特征在于,所述对所述指尖点之间的匹配组合进行视差匹配,获取指尖点的深度值,包括:
对所述指尖点之间的匹配组合利用对应像素差的绝对值SAD算法进行视差匹配,根据左、右摄像机的外部参数,采用三角测量法获取指尖点的深度值。
8.根据权利要求7所述的指尖深度检测方法,其特征在于,在所述根据左、右摄像机的外部参数,采用三角测量法获取指尖点的深度值之前,还包括:
对经过SAD算法进行视差匹配的结果进行线性亚像素处理。
9.一种指尖深度检测系统,其特征在于,包括:
两台红外摄像机、多个红外LED光源、红外图像传感器和芯片;
所述两台红外摄像机相互平行设置,用于采集手部图像;
所述多个红外LED光源与所述红外摄像机相互平行设置;
所述红外图像传感器用于接收所述红外摄像机采集的手部图像,并将所述手部图像发送至所述芯片;
所述芯片用于分析所述手部图像,获取指尖深度值。
10.一种指尖深度检测系统,其特征在于,包括:
图像采集单元,用于获取红外双目摄像机系统的左、右摄像机采集的图像;
手部图像获取单元,用于分别对左、右摄像机采集到的图像进行二值化处理,获取第一手部图像和第二手部图像;
指尖点位置获取单元,用于对所述手部图像进行距离变换,根据距离变换的结果获取第一手部图像和第二手部图像中指尖点的位置;
指尖点匹配组合获取单元,用于根据第一手部图像中各个指尖相对于掌心的极坐标的角度和第二手部图像中各个指尖相对于掌心的极坐标的角度获取两幅手部图像中指尖点之间的匹配组合;
深度值获取单元,用于对所述指尖点之间的匹配组合进行视差匹配,获取指尖点的深度值。
CN201510892217.2A 2015-12-07 2015-12-07 一种指尖深度检测方法及系统 Active CN105488802B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510892217.2A CN105488802B (zh) 2015-12-07 2015-12-07 一种指尖深度检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510892217.2A CN105488802B (zh) 2015-12-07 2015-12-07 一种指尖深度检测方法及系统

Publications (2)

Publication Number Publication Date
CN105488802A true CN105488802A (zh) 2016-04-13
CN105488802B CN105488802B (zh) 2018-12-28

Family

ID=55675767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510892217.2A Active CN105488802B (zh) 2015-12-07 2015-12-07 一种指尖深度检测方法及系统

Country Status (1)

Country Link
CN (1) CN105488802B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485207A (zh) * 2016-09-21 2017-03-08 清华大学 一种基于双目视觉图像的指尖检测方法及系统
CN106599540A (zh) * 2016-11-23 2017-04-26 佛山科学技术学院 一种非标记式手部康复指数的计算方法
CN108564063A (zh) * 2018-04-27 2018-09-21 北京华捷艾米科技有限公司 基于深度信息的掌心定位方法及系统
CN109405765A (zh) * 2018-10-23 2019-03-01 北京的卢深视科技有限公司 一种基于散斑结构光的高精度深度计算方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102508546B (zh) * 2011-10-31 2014-04-09 冠捷显示科技(厦门)有限公司 一种3d虚拟投影及虚拟触摸的用户交互界面及实现方法
CN103345301B (zh) * 2013-06-18 2016-08-10 华为技术有限公司 一种深度信息获取方法和装置
CN103914152B (zh) * 2014-04-11 2017-06-09 周光磊 三维空间中多点触控与捕捉手势运动的识别方法与系统
CN104317391B (zh) * 2014-09-24 2017-10-03 华中科技大学 一种基于立体视觉的三维手掌姿态识别交互方法和系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485207A (zh) * 2016-09-21 2017-03-08 清华大学 一种基于双目视觉图像的指尖检测方法及系统
CN106485207B (zh) * 2016-09-21 2019-11-22 清华大学 一种基于双目视觉图像的指尖检测方法及系统
CN106599540A (zh) * 2016-11-23 2017-04-26 佛山科学技术学院 一种非标记式手部康复指数的计算方法
CN108564063A (zh) * 2018-04-27 2018-09-21 北京华捷艾米科技有限公司 基于深度信息的掌心定位方法及系统
CN109405765A (zh) * 2018-10-23 2019-03-01 北京的卢深视科技有限公司 一种基于散斑结构光的高精度深度计算方法及系统

Also Published As

Publication number Publication date
CN105488802B (zh) 2018-12-28

Similar Documents

Publication Publication Date Title
US9392262B2 (en) System and method for 3D reconstruction using multiple multi-channel cameras
US8787656B2 (en) Method and apparatus for feature-based stereo matching
JP6295645B2 (ja) 物体検出方法及び物体検出装置
CN102697508B (zh) 采用单目视觉的三维重建来进行步态识别的方法
CN103530599A (zh) 一种真实人脸和图片人脸的区别方法和系统
CN104317391A (zh) 一种基于立体视觉的三维手掌姿态识别交互方法和系统
CN103824318A (zh) 一种多摄像头阵列的深度感知方法
CN102982334B (zh) 基于目标边缘特征与灰度相似性的稀疏视差获取方法
CN111160291B (zh) 基于深度信息与cnn的人眼检测方法
CN103106659A (zh) 基于双目视觉稀疏点匹配的空旷区域目标检测与跟踪方法
Song et al. DOE-based structured-light method for accurate 3D sensing
CN105488802A (zh) 一种指尖深度检测方法及系统
CN103514437A (zh) 一种三维手势识别装置及三维手势识别方法
Grest et al. Single view motion tracking by depth and silhouette information
CN105335959B (zh) 成像装置快速对焦方法及其设备
JP5501084B2 (ja) 平面領域検出装置及びステレオカメラシステム
CN103793680B (zh) 用于估计头部姿势的设备和方法
CN103810480A (zh) 基于rgb-d图像的手势检测方法
Cheng et al. Structured light-based shape measurement system
Chang et al. Real-time Hybrid Stereo Vision System for HD Resolution Disparity Map.
CN103295220A (zh) 一种双目视觉技术在康复理疗系统中的应用方法
WO2022096127A1 (en) A device and method for image processing
KR20120056668A (ko) 3차원 정보 복원 장치 및 그 방법
Fan et al. Human-M3: A Multi-view Multi-modal Dataset for 3D Human Pose Estimation in Outdoor Scenes
Prasad et al. Gesture recognition by stereo vision

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant