CN109661683A - 基于图像内容的投射结构光方法、深度检测方法及结构光投射装置 - Google Patents

Abstract

一种基于图像内容的投射结构光方法，先是获取不受外界光线影响的物体图像，投射第一结构光，包括对物体非边缘区域投射第一灰度渐变条带，对边缘区域投射第二灰度渐变条带，获取投射第一结构光后的物体图像，可以得到物体非边缘区域的深度变化及物体边缘的深度轮廓，所获得的深度图像更精确，也可方便解算时对获取的编码图像区块进行归类。还公开了深度检测方法及应用该方法的结构光投射装置。该方法可以得到非常精细的结构光，且结构光的解算难度不大，投射帧数也不多，能有效排除外界光线的干扰。

Description

基于图像内容的投射结构光方法、深度检测方法及结构光投 射装置

技术领域

本申请涉及图像处理、机器视觉技术领域，尤其涉及一种基于图像内容的投射结构光方法及深度检测方法。

背景技术

视觉是人类观察与认知世界最直接、最主要的途径。我们生活在一个三维世界中，人类视觉不仅能感知物体表面的亮度、颜色、纹理信息，运动情况，而且能判断其形状、空间及空间位置(深度、距离)。如何让机器视觉能实时获得高精度的三维深度信息、提高机器的智能水平是当前机器视觉系统研究的难点。

深度感知技术和装置在工业领域，高分辨率、高精度的三维深度信息在汽车辅助安全驾驶、高速机床加工、工业建模、3D打印、医疗成像、物联网3D视觉感知等领域有着广泛的应用需求。在消费电子领域，深度感知技术和装置有助于提高电子产品的智能水平和交互能力，可为用户带来全新的人机交互体验，在智能电视、智能手机、家电、平板PC等实现创新应用。

深度感知技术大致可分为被动式和主动式。传统的双目立体视觉测距一种被动式测距方法，其受环境光影响大、立体匹配过程复杂。主动式测距方法主要有结构光编码和ToF两种方法。其中基于结构光编码的主动视觉模式可以较为准确地获取图像深度信息，其通过投射结构光检测深度图像的原理如图1所示，结构光投影模组110投射出结构光，经反射后由透镜120入射，CCD感光元件130检测反射光，以结构光第n条光线101为例，如图所示，光线出射角度a1已知，参考平面与透镜120之间距离d已知，CCD感光元件130检测到由参考平面反射的光线入射点x，被测物体反射光线的入射点x’，可得到被测物体反射光线入射透镜120的入射角a2，因此可计算出被测物体距离d’。上述为结构光投影测算物体深度的基本原理，对光条、或散点等的结构光ID(编号)进行解析，知道ID就知道入射角，就可根据三角原理计算反射光对应的物体表面处的深度(距离)，实际上根据所采用的结构光不同、透镜、感光元件等条件的变化，计算方式会有不同的变化。现有技术采用条纹结构光的方法中，条纹结构光投射出来是有一定宽度的，为捕捉更精细的深度变化，条纹宽度也要尽量窄。但带来的就是条纹要更密，更密就更难区分。一般做法是投射多帧，从粗到细，如格林码。但是检测周期被大大延长，而且精度也无法精确到像素级。也有一些做法是用渐变条纹对被检物体扫描，但其极易受外界光干扰，当有其它背景光干扰时，对上述ID的解析就容易受到干扰，进而解算的深度就出问题。由于结构光经常受背景光干扰，大大降低了结构光的匹配效果。

因此，提供一种减少背景光干扰的结构光匹配投射方法及深度检测方法实为必要。

发明内容

本申请的目的在于提供一种减少背景光干扰的基于图像内容的投射结构光方法、深度检测方法及结构光投射装置。

为实现上述目的，本申请提供一种基于图像内容的投射结构光方法，其包括：

获取不受外界光线影响的物体图像；

对该不受外界光线影响的物体图像进行分析，得到物体边缘、物体非边缘区域；

投射第一结构光，其中包括分别对物体非边缘区域投射第一灰度渐变条带，对边缘区域投射第二灰度渐变条带。

本申请所述基于图像内容的投射结构光方法，首先获取不受外界光线影响的物体图像，在获得物体图像，得到物体边缘、物体非边缘区域之后，投射相应的第一灰度渐变条带和第二灰度渐变条带。通过该方法可以得到非常精细结构光，该结构光基于图像内容，不受外界光线影响，且结构光的解算难度不大，投射帧数也不多，抗外界光的干扰也较好。

本申请还提供一种采用所述基于图像内容的投射结构光方法的一种深度检测方法，包括：

获取不受外界光线影响的物体图像；

对该不受外界光线影响的物体图像进行分析，得到物体边缘、物体非边缘区域；

投射第一结构光，其中包括分别对物体非边缘区域投射第一灰度渐变条带，对边缘区域投射第二灰度渐变条带；

获取投射第一结构光后的物体图像，对该物体图像进行深度解算。

该深度检测方法，对物体边缘与物体非边缘区域使用不同的结构光，可尽可能得到物体非边缘区域的深度变化及物体边缘的深度轮廓，所获得的深度图像更精确，也可方便解算时对获取的编码图像区块进行归类。

为获得更精细的结构光，在较佳实施方式中，所述对该物体图像进行分析中，还包括得到物体图像的高光区域，所述投射第一结构光，其中对物体非边缘区域投射的第一灰度渐变条带包括：对高光区域投射的高光部分结构光和对非高光区域投射的物体部分结构光，对所述高光区域投射的高光部分结构光比前一次对所述高光区域投射的光线要暗。

这里只要对所述高光区域投射的高光部分结构光比前一次对所述高光区域投射的光线暗，即可减低对高光区域的图像像素，对于暗多少，在不同实施方式中可以不同。

较佳实施方式中，所述对所述高光区域投射的高光部分结构光比前一次对所述高光区域投射的光线要暗，是投射比前一次对所述高光区域投射的光线亮度降低一半的光线。例如检测到前一次投射结构光后获得的图像有高光区域，则将对所述高光区域再次投射高光部分结构光的投射光线亮度降为128；又例如前一次对所述高光区域投射的光线亮度为128，获取图像仍检测有像素亮度为255时，再对所述高光区域投射高光部分结构光的亮度降低为64的光线，如此继续，直至检测图像亮度小于255时不再降低投射亮度。在所述再次或多次投射结构光时，对物体边缘区域投射的第二灰度渐变条带，以及对物体非边缘区域投射的第一灰度渐变条带的物体部分结构光，可以同时降低亮度，或与前次亮度相同，均可。

较佳实施方式中，所述对该不受外界光线影响的物体图像进行分析，得到物体图像的高光区域的步骤，包括高光溢出检测，所述高光溢出检测可以有多种判断标准，可以根据具体的需求所设定。

在一些实施例中，所述高光溢出检测包括，对像素灰度值进行判断，灰度值为255的相邻像素点的个数n大于等于预设阈值x，则判断所述灰度值为255的相邻像素所在区域为高光区域。在具体实施例中，所述预设阈值x＝5，或x＝1，或其他数值。

在另一些实施例中，所述高光溢出检测包括，对像素灰度值进行判断，灰度值为255的相邻像素点的个数n占物体图像整体像素点数量的比值超过预设的阈值y，则判断所述灰度值为255的相邻像素所在区域为高光区域。具体实施例中，所述预设阈值y＝5％，或其他数值。

本申请采用所述基于图像内容的投射结构光方法的深度检测方法，对该不受外界光线影响的物体图像进行分析中，还包括得到物体图像的物体边缘、物体非边缘区域、高光区域，根据所获得的物体图像，投射上述结构光，该结构光包括对物体非边缘区域投射第一灰度渐变条带，对边缘区域投射第二灰度渐变条带，其中对物体非边缘区域投射的第一灰度渐变条带包括：对高光区域投射的高光部分结构光和对非高光区域投射的物体部分结构光，对所述高光区域投射的高光部分结构光比前一次对所述高光区域投射的光线要暗。该方法所获得的物体图像，更大大减少了外界光线的影响，通过边缘、高光等为约束，可大大降低匹配难度。

为进一步得到更精细的结构光，在本申请前述结构光方法实施方式的基础上，更佳的实施方式包括，所述投射第一结构光后还包括：

获取投射前一帧结构光后的物体图像，

对所获取的投射前一帧结构光后的物体图像分析，判断所述物体图像中是否包括高光区域，若图像中包括高光区域，则投射后一帧结构光，所述投射后一帧结构光中包括对物体非边缘区域投射第一灰度渐变条带，其中对物体非边缘区域投射的第一灰度渐变条带包括对高光区域投射的高光部分结构光和对非高光区域投射的物体部分结构光，对所述高光区域投射的高光部分结构光比前一次对所述高光区域投射的光线要暗。

本申请采用所述基于图像内容的投射结构光方法的深度检测方法，对当前图像进行分析后，进行投射结构光及投射次数上的策略调整，如采用上述结构光方法，对物体非边缘区域投射第一灰度渐变条带，对边缘区域投射第二灰度渐变条带，其中对物体非边缘区域投射的第一灰度渐变条带包括对高光区域投射的高光部分结构光和对非高光区域投射的物体部分结构光，对所述高光区域投射的高光部分结构光比前一次对所述高光区域投射的光线要暗。

该结构光投射方法还可以有其他一些实施方式，如对当前图像进行分析，若所得物体边缘多且复杂，则对物体边缘单独投射一帧渐变区分的第二灰度渐变条带，或在物体边缘处多投射几次第二灰度渐变条带，所获得的多帧图像叠加解算边缘的深度。

投射结构光的次数可根据前一帧图像的情况而定，可投射多帧结构光，每一帧结构光比前一帧结构光均更暗，以获取更精确物体图像。

较佳实施方式中，所述第一灰度渐变条带与所述第二灰度渐变条带的灰度值取值区域不相同。比如：第二灰度渐变条带的灰度值取值区域为128-256，第一灰度渐变条带的灰度值取值区域为0-128，或者是其他的不同取值区域。较佳实施方式中，所述第一灰度渐变条带和第二灰度渐变条带的渐变条纹排布方式不相同，所述第一灰度渐变条带与所述第二灰度渐变条带在相邻区域的像素灰度不一致。所述第一灰度渐变条带与所述第二灰度渐变条带两者可以区分开，就可以让两者分布对物体边缘及对物体表面的深度计算更精确。

在较佳实施方式中，所述对所获取的物体图像分析，判断所述物体图像中是否包括高光区域，包括：对像素灰度值进行判断，灰度值为255的相邻像素点的个数n大于等于预设阈值x，则判断所述灰度值为255的相邻像素所在区域为高光区域；或者是对像素灰度值进行判断，灰度值为255的相邻像素点的个数n占物体图像整体像素点数量的比值超过预设的阈值y，则判断所述灰度值为255的相邻像素所在区域为高光区域。

其中，所述获取不受外界光线影响的物体图像包括：

对全局投射白光，获取第1帧图像；

不投射任何光，获取第2帧图像；

将获取的所述两帧图像相减得到不受外界光线影响的物体图像。

具体的，所述将获取的所述两帧图像相减得到不受外界光线影响的物体图像，包括：将第2帧图像的逐个像素灰度减去第1帧图像中逐个像素灰度，获得相减后的像素灰度。

其中，所述第一灰度渐变条带在物体非边缘区域投射，第一灰度渐变条带的整体条带内沿灰度渐变方向没有重复纹理，沿灰度渐变方向的相邻像素间灰度有差异，沿灰度渐变方向相邻像素灰度递增或递减。

所述第二灰度渐变条带沿物体边缘投射，且第二灰度渐变条带的宽度为D并且宽度横跨物体边缘，所述第二灰度渐变条带的灰度渐变方向与物体边缘一致，第二灰度渐变条带的整体条带内沿灰度渐变方向没有重复纹理，沿灰度渐变方向的相邻像素间灰度有差异，沿灰度渐变方向相邻像素灰度递增或递减。所述第一灰度渐变条带与所述第二灰度渐变条带在相邻区域的像素灰度不一致。

本申请基于图像内容的投射结构光方法以及深度检测方法，在其他一些实施例中，可应用在对物体追踪的图像检测，则在投射第一结构光，获取投射第一结构光的物体图像之后，对所述物体进行再次投射第一结构光，再次获取投射第一结构光后的物体图像，重复投射第一结构光，获取多个所述物体图像，可获得该物体连续追踪的影像。

本申请还提供一种结构光投射装置，其包括：

处理器，适于实现各指令；以及

存储设备，适于存储多条指令，所述指令适于由处理器加载并执行：

获取不受外界光线影响的物体图像；

获取不受外界光线影响的物体图像；

对该不受外界光线影响的物体图像进行分析，得到物体边缘、物体非边缘区域；

投射第一结构光，其中包括分别对物体非边缘区域投射第一灰度渐变条带，对边缘区域投射第二灰度渐变条带。

其中，所述获取不受外界光线影响的物体图像包括：

对全局投射白光，获取第1帧图像；

不投射任何光，获取第2帧图像；

将获取的所述两帧图像相减得到不受外界光线影响的物体图像。

在一些实施方式中，所述对该不受外界光线影响的物体图像进行分析中，还包括得到物体图像的高光区域，所述投射第一结构光，其中对物体非边缘区域投射的第一灰度渐变条带包括对高光区域投射的高光部分结构光和对非高光区域投射的物体部分结构光，对所述高光区域投射的高光部分结构光比前一次对所述高光区域投射的光线要暗。

其中，所述对所述高光区域投射的高光部分结构光比前一次对所述高光区域投射的光线要暗，是投射比前一次对所述高光区域投射的光线亮度降低一半的光线。

其中，所述对该不受外界光线影响的物体图像进行分析，得到物体图像的高光区域的步骤，包括高光溢出检测，所述高光溢出检测为，对像素灰度值进行判断，灰度值为255的相邻像素点的个数n大于等于预设阈值x，则判断所述灰度值为255的相邻像素所在区域为高光区域；或者是对像素灰度值进行判断，灰度值为255的相邻像素点的个数n占物体图像整体像素点数量的比值超过预设的阈值y，则判断所述灰度值为255的相邻像素所在区域为高光区域。

在一些实施方式中，所述存储设备存储的指令中还包括在投射第一结构光后：

获取投射前一帧结构光后的物体图像，

对所获取的投射前一帧结构光后的物体图像分析，判断所述物体图像中是否包括高光区域，若图像中包括高光区域，则投射后一帧结构光，所述投射后一帧结构光中包括对物体非边缘区域投射第一灰度渐变条带，对边缘区域投射第二灰度渐变条带，其中对物体非边缘区域投射的第一灰度渐变条带包括对高光区域投射的高光部分结构光和对非高光区域投射的物体部分结构光，对所述高光区域投射的高光部分结构光比前一次对所述高光区域投射的光线要暗。

其中，所述对所获取的投射前一帧结构光后的物体图像分析，判断所述物体图像中是否包括高光区域的步骤，包括：对像素灰度值进行判断，灰度值为255的相邻像素点的个数n大于等于预设阈值x，则判断所述灰度值为255的相邻像素所在区域为高光区域；或者是对像素灰度值进行判断，灰度值为255的相邻像素点的个数n占物体图像整体像素点数量的比值超过预设的阈值y，则判断所述灰度值为255的相邻像素所在区域为高光区域。

其中，所述将获取的所述两帧图像相减得到不受外界光线影响的物体图像，包括：将第2帧图像的逐个像素灰度减去第1帧图像中逐个像素灰度，获得相减后的像素灰度。

其中，所述第一灰度渐变条带在物体非边缘区域投射，第一灰度渐变条带的整体条带内沿灰度渐变方向没有重复纹理，沿灰度渐变方向的相邻像素间灰度有差异，沿灰度渐变方向相邻像素灰度递增或递减。

其中，所述第二灰度渐变条带沿物体边缘投射，且第二灰度渐变条带的宽度为D并且宽度横跨物体边缘，所述第二灰度渐变条带的灰度渐变方向与物体边缘一致，第二灰度渐变条带的整体条带内沿灰度渐变方向没有重复纹理，沿灰度渐变方向的相邻像素间灰度有差异，沿灰度渐变方向相邻像素灰度递增或递减。

其中，所述第一灰度渐变条带和第二灰度渐变条带的渐变条纹排布方式不相同，所述第一灰度渐变条带与所述第二灰度渐变条带在相邻区域的像素灰度不一致。

有益效果：区别于现有技术的情况，本申请采用所述基于图像内容的投射结构光方法以及深度检测方法，先是获取不受外界光线影响的物体图像，对物体边缘与物体非边缘区域使用不同的结构光，在投射所述第一结构光后，获取投射第一结构光后的物体图像，可尽可能得到物体非边缘区域的深度变化及物体边缘的深度轮廓，所获得的深度图像更精确，也可方便解算时对获取的编码图像区块进行归类。本申请方法可以得到非常精细的结构光，且结构光的解算难度不大，投射帧数也不多，能有效排除外界光线的干扰。

附图说明

图1是深度检测基本原理图；

图2是本申请基于图像内容的投射结构光方法实施例的示意图；

图3是本申请投射光与透光后获取图像的比对示意图。

具体实施方式

为使本领域的技术人员更好地理解本申请的技术方案，下面结合附图和具体实施方式对本申请做进一步详细描述。

请参照图2和图3，本申请基于图像内容的投射结构光方法实施例，包括：

(1)对全局投射白光，获取第1帧图像；

(2)不投射任何光，获取第2帧图像；

(3)将获取的两帧图像相减得到不受外界光线影响的物体图像；

(4)对该物体图像进行分析，得到物体边缘、物体非边缘区域、高光区域；

(5)投射第一结构光，其中包括分别对物体非边缘区域投射第一灰度渐变条带，对边缘区域投射第二灰度渐变条带，其中对物体非边缘区域投射的第一灰度渐变条带包括：对高光区域投射的高光部分结构光和对非高光区域投射的物体部分结构光，对所述高光区域投射的高光部分结构光比前一次对所述高光区域投射的光线要暗。在这里，对所述高光区域投射的高光部分结构光比对全局投射白光时的亮度要暗，也就是比前一次投射光线的亮度要暗。

由于检测得高光区域的物体光线高亮，说明该高光区域的亮度已到达最高，若继续投射与前一次同样强度的光线，则只会检测到同样的高光结果，不能获得物体实际深度图像，因此对所述高光区域投射的高光部分结构光要比前一次投射光线的亮度要暗，以获得投射结构光后的更精确的深度图像，并能有效排除外界光线的干扰。

具体实施例中，对所述高光区域灰度值等于255的像素点，对所述高光区域投射128亮度的高光部分结构光。

所述将获取的两帧图像相减得到不受光线影响的物体图像的步骤中包括，将第2帧图像的逐个像素灰度I2(x,y)减去第1帧图像中逐个像素灰度I1(x,y)＝I2(x,y)–I1(x,y)，获得相减后的像素灰度。

所述边缘检测采用Canny边缘检测算法，简称Canny算法。Canny算法是JohnF.Canny于1986年开发出来的一个多级边缘检测算法。通常情况下边缘检测的目的是在保留原有图像属性的情况下，显著减少图像的数据规模。目前有多种算法可以进行边缘检测，虽然Canny算法年代久远，但可以说它是边缘检测的一种标准算法，而且仍在研究中广泛使用。Canny的目标是找到一个最优的边缘检测算法，最优边缘检测的含义是：

(1)最优检测：算法能够尽可能多地标识出图像中的实际边缘，漏检真实边缘的概率和误检非边缘的概率都尽可能小；

(2)最优定位准则：检测到的边缘点的位置距离实际边缘点的位置最近，或者是由于噪声影响引起检测出的边缘偏离物体的真实边缘的程度最小；

(3)检测点与边缘点一一对应：算子检测的边缘点与实际边缘点应该是一一对应。

为了满足这些要求使用了变分法，这是一种寻找优化特定功能的函数的方法。最优检测使用四个指数函数项表示，但是它非常近似于高斯函数的一阶导数。

Canny边缘检测算法可以分为以下5个步骤：

1.应用高斯滤波来平滑图像，目的是去除噪声；

2.找寻图像的强度梯度；

3.应用非最大抑制技术来消除边误检；

4.应用双阈值的方法来决定可能的边界；

5.利用滞后技术来跟踪边界。

所述对该物体图像进行分析，得到物体边缘、高光区域的步骤，包括做边缘检测和高光溢出检测。

所述高光溢出检测包括，对像素灰度值进行判断，灰度值为255的相邻像素点的个数n大于等于预设阈值x，则判断所述灰度值为255的相邻像素所在区域为高光区域。具体实施例中，所述预设阈值x＝5，或x＝1，或其他数值。或者是，对像素灰度值进行判断，灰度值为255的相邻像素点的个数n占物体图像整体像素点数量的比值是否超过预设的阈值y，若超过阈值y则判断所述灰度值为255的相邻像素所在区域为高光区域。具体实施例中，所述预设阈值y＝5％，或其他数值。

所述第一灰度渐变条带、第二灰度渐变条带采用灰度渐变的结构光条带。所述第一灰度渐变条带在物体非边缘区域投射，第一灰度渐变条带的整体条带内沿灰度渐变方向没有重复纹理，也就是沿灰度渐变的一致方向上，没有任意像素的灰度是相同的，沿灰度渐变方向的相邻像素间灰度有差异，这种差异体现的方式可以是，沿灰度渐变方向相邻像素灰度递增或递减。

所述第二灰度渐变条带沿物体边缘投射，且第二灰度渐变条带的宽度为D并且宽度横跨物体边缘，也就是沿物体边缘投射的所述第二灰度渐变条带压过边缘线；所述第二灰度渐变条带的灰度渐变方向与物体边缘延伸方向一致，第二灰度渐变条带的整体条带内沿灰度渐变方向没有重复纹理，也就是沿灰度渐变的一致方向上，没有任意像素的灰度是相同的，沿灰度渐变方向的相邻像素间灰度有差异，这种差异体现的方式可以是，沿灰度渐变方向相邻像素灰度递增或递减。

所述第一灰度渐变条带与所述第二灰度渐变条带的灰度值取值区域不相同。比如：第二灰度渐变条带的灰度值取值区域为128-256，第一灰度渐变条带的灰度值取值区域为0-128，或者是其他的不同取值区域。较佳实施方式中，所述第一灰度渐变条带和第二灰度渐变条带的渐变条纹排布方式不相同，所述第一灰度渐变条带与所述第二灰度渐变条带在相邻区域的像素灰度不一致。所述第一灰度渐变条带与所述第二灰度渐变条带两者可以区分开，就可以让两者分布对物体边缘及对物体表面的深度计算更精确。

本申请应用在物体追踪检测时，可重复上述步骤(5)，多次投射所述第一结构光，获得物体不同时间点的多个图像。

本申请应用在对物体进行较高精度深度检测时，可在上述步骤(5)的基础上，再进一步优化结构光，然后再次投射结构光，进一步获取图像，获取多个图像后进行叠加运算，获得物体深度。投射结构光的次数可根据前一次投射结构光所获得的图像来判断，具体实施例如下所述。

具体的，在上述步骤(5)投射第一结构光后，获取第3帧图像，然后还包括，根据所述第3帧图像，决定是否投射第二结构光从而获取第4帧图像。

所述根据所述第3帧图像，决定是否投射第二结构光从而获取第4帧图像包括，判断所述第3帧图像中是否包括高光区域，若第3帧图像中包括高光区域，则投射第二结构光，所述投射第二结构光包括对物体非边缘区域投射第一灰度渐变条带，对边缘区域投射第二灰度渐变条带，其中对物体非边缘区域投射的第一灰度渐变条带包括对高光区域投射的高光部分结构光和对非高光区域投射的物体部分结构光，对所述高光区域投射的高光部分结构光比第一结构光中对所述高光区域投射的高光部分结构光的强度要暗。具体实施例中，对所述第3帧图像中高光区域灰度值等于255的像素点，第二结构光中所述高光部分结构光投射128亮度的光线。

所述判断所述第3帧图像中是否包括高光区域包括，判断第3帧图像中是否有灰度值为255的像素点，若灰度值为255的像素点个数n大于1，则判断为包括高光区域；或判断若灰度值为255的相邻像素点个数n大于等于预设阈值x，则判断所述灰度值为255的相邻像素所在区域为高光区域。具体实施例中，所述预设阈值x＝5，或x＝1，或其他数值。或者是，判断第3帧图像中灰度值为255的相邻像素点数量n占物体图像整体像素点数量的比值是否超过预设的阈值y，若超过阈值y则判断为所述灰度值为255的相邻像素所在区域为高光区域。具体实施例中，所述预设阈值y＝5％，或其他数值。

进一步地，所述投射第二结构光后还包括，根据所述第4帧图像，决定是否投射第三结构光从而获取第5帧图像。

所述根据所述第4帧图像，决定是否投射第三结构光从而获取第5帧图像包括，判断所述第4帧图像中是否包括高光区域，若第4帧图像中包括高光区域，则投射第三结构光，所述投射第三结构光包括对物体非边缘区域投射第一灰度渐变条带，对边缘区域投射第二灰度渐变条带，其中对物体非边缘区域投射的第一灰度渐变条带包括对高光区域投射的高光部分结构光和对非高光区域投射的物体部分结构光，对所述高光区域投射的高光部分结构光比第二结构光中对所述高光区域投射的高光部分结构光的强度要暗。具体实施例中，对所述第4帧图像中高光区域灰度值等于255的像素点，第三结构光中所述高光部分结构光投射64亮度的光线。

所述判断所述第4帧图像中是否包括高光区域包括，判断第4帧图像中是否有灰度值为255的像素点，若灰度值为255的像素点个数n大于1，则判断为包括高光区域；或判断若灰度值为255的相邻像素点个数n大于等于预设阈值x，则判断所述灰度值为255的相邻像素所在区域为高光区域。具体实施例中，所述预设阈值x＝5，或x＝1，或其他数值。或者是，判断第4帧图像中灰度值为255的相邻像素点数量n占物体图像整体像素点数量的比值是否超过预设的阈值y，若超过阈值y则判断为所述灰度值为255的相邻像素所在区域为高光区域。具体实施例中，所述预设阈值y＝5％，或其他数值。

如此，直至获取的图像中不再检测到高光区域，则可以不再降低投射的高光部分结构光强度。

本申请方法可以得到非常精细的结构光，且结构光的解算难度不大；投射帧数也不多；抗外界光的干扰也较好。

本申请适用范围是，投射光源是可控的(即可以控制输出任意图案、大部分结构光法传感器均采用此解决方案；投射光源一般是激光投影机或者DMD等普通投影机)。

本申请还提供一种结构光投射装置，其包括：

处理器，适于实现各指令；以及

存储设备，适于存储多条指令，所述指令适于由处理器加载并执行：

获取不受外界光线影响的物体图像；

获取不受外界光线影响的物体图像；

对该不受外界光线影响的物体图像进行分析，得到物体边缘、物体非边缘区域；

投射第一结构光，其中包括分别对物体非边缘区域投射第一灰度渐变条带，对边缘区域投射第二灰度渐变条带。

本申请还提供一种深度检测装置，其包括：

处理器，适于实现各指令；以及

存储设备，适于存储多条指令，所述指令适于由处理器加载并执行：

获取不受外界光线影响的物体图像；

对该不受外界光线影响的物体图像进行分析，得到物体边缘、物体非边缘区域；

投射第一结构光，其中包括分别对物体非边缘区域投射第一灰度渐变条带，对边缘区域投射第二灰度渐变条带；

获取投射第一结构光后的物体图像，对该物体图像进行深度解算。

以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围。

Claims (31)

1.一种基于图像内容的投射结构光方法，其特征在于，包括：

获取不受外界光线影响的物体图像；

对该不受外界光线影响的物体图像进行分析，得到物体边缘、物体非边缘区域；

投射第一结构光，其中包括分别对物体非边缘区域投射第一灰度渐变条带，对边缘区域投射第二灰度渐变条带。

2.根据权利要求1所述的基于图像内容的投射结构光方法，其特征在于，所述获取不受外界光线影响的物体图像包括：

对全局投射白光，获取第1帧图像；

不投射任何光，获取第2帧图像；

将获取的所述两帧图像相减得到不受外界光线影响的物体图像。

3.根据权利要求1所述的基于图像内容的投射结构光方法，其特征在于，所述对该不受外界光线影响的物体图像进行分析中，还包括得到物体图像的高光区域，所述投射第一结构光，其中对物体非边缘区域投射的第一灰度渐变条带包括对高光区域投射的高光部分结构光和对非高光区域投射的物体部分结构光，对所述高光区域投射的高光部分结构光比前一次对所述高光区域投射的光线要暗。

4.根据权利要求3所述的基于图像内容的投射结构光方法，其特征在于，所述对所述高光区域投射的高光部分结构光比前一次对所述高光区域投射的光线要暗，是投射比前一次对所述高光区域投射的光线亮度降低一半的光线。

5.根据权利要求3所述的基于图像内容的投射结构光方法，其特征在于，所述对该不受外界光线影响的物体图像进行分析，得到物体图像的高光区域的步骤，包括高光溢出检测，所述高光溢出检测为，对像素灰度值进行判断，灰度值为255的相邻像素点的个数n大于等于预设阈值x，则判断所述灰度值为255的相邻像素所在区域为高光区域；或者是对像素灰度值进行判断，灰度值为255的相邻像素点的个数n占物体图像整体像素点数量的比值超过预设的阈值y，则判断所述灰度值为255的相邻像素所在区域为高光区域。

6.根据权利要求3～5任一项所述的基于图像内容的投射结构光方法，其特征在于，所述投射第一结构光后还包括：

获取投射前一帧结构光后的物体图像，

对所获取的投射前一帧结构光后的物体图像分析，判断所述物体图像中是否包括高光区域，若图像中包括高光区域，则投射后一帧结构光，所述投射后一帧结构光中包括对物体非边缘区域投射第一灰度渐变条带，对边缘区域投射第二灰度渐变条带，其中对物体非边缘区域投射的第一灰度渐变条带包括对高光区域投射的高光部分结构光和对非高光区域投射的物体部分结构光，对所述高光区域投射的高光部分结构光比前一次对所述高光区域投射的光线要暗。

7.根据权利要求1～5任一项所述的基于图像内容的投射结构光方法，其特征在于，所述第一灰度渐变条带与所述第二灰度渐变条带的灰度值取值区域不相同。

8.根据权利要求6所述的基于图像内容的投射结构光方法，其特征在于，所述对所获取的投射前一帧结构光后的物体图像分析，判断所述物体图像中是否包括高光区域的步骤，包括：对像素灰度值进行判断，灰度值为255的相邻像素点的个数n大于等于预设阈值x，则判断所述灰度值为255的相邻像素所在区域为高光区域；或者是对像素灰度值进行判断，灰度值为255的相邻像素点的个数n占物体图像整体像素点数量的比值超过预设的阈值y，则判断所述灰度值为255的相邻像素所在区域为高光区域。

9.根据权利要求2所述的基于图像内容的投射结构光方法，其特征在于，所述将获取的所述两帧图像相减得到不受外界光线影响的物体图像，包括：将第2帧图像的逐个像素灰度减去第1帧图像中逐个像素灰度，获得相减后的像素灰度。

10.根据权利要求1～5任一项所述的基于图像内容的投射结构光方法，其特征在于，所述第一灰度渐变条带在物体非边缘区域投射，第一灰度渐变条带的整体条带内沿灰度渐变方向没有重复纹理，沿灰度渐变方向的相邻像素间灰度有差异，沿灰度渐变方向相邻像素灰度递增或递减。

11.根据权利要求1～5任一项所述的基于图像内容的投射结构光方法，其特征在于，所述第二灰度渐变条带沿物体边缘投射，且第二灰度渐变条带的宽度为D并且宽度横跨物体边缘，所述第二灰度渐变条带的灰度渐变方向与物体边缘一致，第二灰度渐变条带的整体条带内沿灰度渐变方向没有重复纹理，沿灰度渐变方向的相邻像素间灰度有差异，沿灰度渐变方向相邻像素灰度递增或递减。

12.根据权利要求1～5任一项所述的基于图像内容的投射结构光方法，其特征在于，所述第一灰度渐变条带和第二灰度渐变条带的渐变条纹排布方式不相同，所述第一灰度渐变条带与所述第二灰度渐变条带在相邻区域的像素灰度不一致。

13.一种深度检测方法，其特征在于，包括：

获取不受外界光线影响的物体图像；

对该不受外界光线影响的物体图像进行分析，得到物体边缘、物体非边缘区域；

投射第一结构光，其中包括分别对物体非边缘区域投射第一灰度渐变条带，对边缘区域投射第二灰度渐变条带；

获取投射第一结构光后的物体图像，对该物体图像进行深度解算。

14.根据权利要求13所述的深度检测方法，其特征在于，所述获取不受外界光线影响的物体图像包括：

对全局投射白光，获取第1帧图像；

不投射任何光，获取第2帧图像；

将获取的所述两帧图像相减得到不受外界光线影响的物体图像。

15.根据权利要求14所述的深度检测方法，其特征在于，所述对该物体图像进行分析还包括得到物体图像的高光区域，所述投射第一结构光，其中对物体非边缘区域投射的第一灰度渐变条带包括：对高光区域投射的高光部分结构光和对非高光区域投射的物体部分结构光，对所述高光区域投射的高光部分结构光比前一次对所述高光区域投射的光线要暗。

16.根据权利要求15所述的深度检测方法，其特征在于，所述投射第一结构光，获取投射第一结构光后的物体图像，之后还包括：

对投射前一帧结构光后所获取的物体图像分析，判断所述物体图像中是否包括高光区域，若图像中包括高光区域，则投射后一帧结构光，所述投射后一帧结构光中包括对物体非边缘区域投射第一灰度渐变条带，对边缘区域投射第二灰度渐变条带，其中对物体非边缘区域投射的第一灰度渐变条带包括对高光区域投射的高光部分结构光和对非高光区域投射的物体部分结构光，对所述高光区域投射的高光部分结构光比前一次对所述高光区域投射的光线要暗。。

17.根据权利要求15或16所述的深度检测方法，其特征在于，所述得到物体图像的高光区域的步骤，包括高光溢出检测，所述高光溢出检测包括，对像素灰度值进行判断，灰度值为255的相邻像素点的个数n大于等于预设阈值x，则判断所述灰度值为255的相邻像素所在区域为高光区域；或者是对像素灰度值进行判断，灰度值为255的相邻像素点的个数n占物体图像整体像素点数量的比值超过预设的阈值y，则判断所述灰度值为255的相邻像素所在区域为高光区域。

18.根据权利要求13～15任一项所述的深度检测方法其特征在于，所述第一灰度渐变条带在物体非边缘区域投射，第一灰度渐变条带的整体条带内沿灰度渐变方向没有重复纹理，沿灰度渐变方向的相邻像素间灰度有差异，沿灰度渐变方向相邻像素灰度递增或递减。

19.根据权利要求13或14所述的深度检测方法其特征在于，所述第二灰度渐变条带沿物体边缘投射，且第二灰度渐变条带的宽度为D并且宽度横跨物体边缘，所述第二灰度渐变条带的灰度渐变方向与物体边缘一致，第二灰度渐变条带的整体条带内沿灰度渐变方向没有重复纹理，沿灰度渐变方向的相邻像素间灰度有差异，沿灰度渐变方向相邻像素灰度递增或递减。

20.根据权利要求13或14所述的深度检测方法，其特征在于，所述第一灰度渐变条带和第二灰度渐变条带的渐变条纹排布方式不相同，所述第一灰度渐变条带与所述第二灰度渐变条带在相邻区域的像素灰度不一致，所述第一灰度渐变条带与所述第二灰度渐变条带的灰度值取值区域不相同。

21.一种结构光投射装置，其特征在于，包括：

处理器，适于实现各指令；以及

存储设备，适于存储多条指令，所述指令适于由处理器加载并执行：

获取不受外界光线影响的物体图像；

获取不受外界光线影响的物体图像；

对该不受外界光线影响的物体图像进行分析，得到物体边缘、物体非边缘区域；

投射第一结构光，其中包括分别对物体非边缘区域投射第一灰度渐变条带，对边缘区域投射第二灰度渐变条带。

22.根据权利要求21所述的结构光投射装置，其特征在于，所述获取不受外界光线影响的物体图像包括：

对全局投射白光，获取第1帧图像；

不投射任何光，获取第2帧图像；

将获取的所述两帧图像相减得到不受外界光线影响的物体图像。

23.根据权利要求21所述的结构光投射装置，其特征在于，所述对该不受外界光线影响的物体图像进行分析中，还包括得到物体图像的高光区域，所述投射第一结构光，其中对物体非边缘区域投射的第一灰度渐变条带包括对高光区域投射的高光部分结构光和对非高光区域投射的物体部分结构光，对所述高光区域投射的高光部分结构光比前一次对所述高光区域投射的光线要暗。

24.根据权利要求23所述的结构光投射装置，其特征在于，所述对所述高光区域投射的高光部分结构光比前一次对所述高光区域投射的光线要暗，是投射比前一次对所述高光区域投射的光线亮度降低一半的光线。

25.根据权利要求23所述的结构光投射装置，其特征在于，所述对该不受外界光线影响的物体图像进行分析，得到物体图像的高光区域的步骤，包括高光溢出检测，所述高光溢出检测为，对像素灰度值进行判断，灰度值为255的相邻像素点的个数n大于等于预设阈值x，则判断所述灰度值为255的相邻像素所在区域为高光区域；或者是对像素灰度值进行判断，灰度值为255的相邻像素点的个数n占物体图像整体像素点数量的比值超过预设的阈值y，则判断所述灰度值为255的相邻像素所在区域为高光区域。

26.根据权利要求23～25任一项所述的结构光投射装置，其特征在于，所述存储设备存储的指令中还包括在投射第一结构光后：

获取投射前一帧结构光后的物体图像，

对所获取的投射前一帧结构光后的物体图像分析，判断所述物体图像中是否包括高光区域，若图像中包括高光区域，则投射后一帧结构光，所述投射后一帧结构光中包括对物体非边缘区域投射第一灰度渐变条带，对边缘区域投射第二灰度渐变条带，其中对物体非边缘区域投射的第一灰度渐变条带包括对高光区域投射的高光部分结构光和对非高光区域投射的物体部分结构光，对所述高光区域投射的高光部分结构光比前一次对所述高光区域投射的光线要暗。

27.根据权利要求26所述的结构光投射装置，其特征在于，所述对所获取的投射前一帧结构光后的物体图像分析，判断所述物体图像中是否包括高光区域的步骤，包括：对像素灰度值进行判断，灰度值为255的相邻像素点的个数n大于等于预设阈值x，则判断所述灰度值为255的相邻像素所在区域为高光区域；或者是对像素灰度值进行判断，灰度值为255的相邻像素点的个数n占物体图像整体像素点数量的比值超过预设的阈值y，则判断所述灰度值为255的相邻像素所在区域为高光区域。

28.根据权利要求22所述的结构光投射装置，其特征在于，所述将获取的所述两帧图像相减得到不受外界光线影响的物体图像，包括：将第2帧图像的逐个像素灰度减去第1帧图像中逐个像素灰度，获得相减后的像素灰度。

29.根据权利要求21～25任一项所述的结构光投射装置，其特征在于，所述第一灰度渐变条带在物体非边缘区域投射，第一灰度渐变条带的整体条带内沿灰度渐变方向没有重复纹理，沿灰度渐变方向的相邻像素间灰度有差异，沿灰度渐变方向相邻像素灰度递增或递减。

30.根据权利要求21～25任一项所述的结构光投射装置，其特征在于，所述第二灰度渐变条带沿物体边缘投射，且第二灰度渐变条带的宽度为D并且宽度横跨物体边缘，所述第二灰度渐变条带的灰度渐变方向与物体边缘一致，第二灰度渐变条带的整体条带内沿灰度渐变方向没有重复纹理，沿灰度渐变方向的相邻像素间灰度有差异，沿灰度渐变方向相邻像素灰度递增或递减。

31.根据权利要求21～25任一项所述的结构光投射装置，其特征在于，所述第一灰度渐变条带和第二灰度渐变条带的渐变条纹排布方式不相同，所述第一灰度渐变条带与所述第二灰度渐变条带在相邻区域的像素灰度不一致。