CN112200848A - 低光照弱对比复杂环境下的深度相机视觉增强方法及系统 - Google Patents

Abstract

本发明属于机器人及机器视觉技术领域，具体涉及了一种低光照弱对比复杂环境下的深度相机视觉增强方法及系统，旨在解决在低光照弱对比的复杂环境下，无法对深度相机彩色图和深度图同时进行有效增强与修复的问题。本发明包括：进行深度相机彩色图和深度图的标定及彩色图与深度图间的配准；进行配准彩色图的主动亮度均衡和自适应特征增强，获得增强彩色图；提取增强彩色图的纹理特征并进行配准深度图的相似区域划分；基于相似纹理区域内的有效测量点对无效测量点进行修复，获得增强深度图；增强彩色图和增强深度图为深度相机视觉增强结果。本发明同时对深度相机的彩色图和深度图进行增强与修复，进一步提升深度相机对更加复杂、恶劣的环境的适应性。

Description

低光照弱对比复杂环境下的深度相机视觉增强方法及系统

技术领域

本发明属于机器人及机器视觉技术领域，具体涉及了一种低光照弱对比复杂环境下的深度相机视觉增强方法及系统。

背景技术

随着机器视觉技术的发展，能够获取三维图像信息的深度相机被广泛应用于场景重建、无人驾驶、机器人导航、手机人脸解锁、体感游戏等方面，是一类重要的视觉传感器。

受限于深度相机的测量原理，其所成的视觉图像，即彩色图和深度图，对环境条件的要求更高。如何让深度相机应用于更加复杂、恶劣的环境，是该领域的热点研究问题。夜晚或水下空间、密闭的腔体或管道内部等环境属于典型的弱光复杂场景，在该类场景下，深度相机受局部光源、材质反光以及复杂环境的视差影响，普遍存在彩色图亮度、对比度偏低且随机噪声偏大，深度图无效测量值增多、出现筛网或片状空洞等问题。

现有的改善策略多集中于传统相机上应用较好的方法，如直方图均衡化、同态滤波、Retinex增强等，但这类方法属于被动的图像增强，对于弱光甚至无光环境的增强效果有限，且由于未考虑深度相机的测量原理，无法对相机所成的深度图进行增强。

发明内容

为了解决现有技术中的上述问题，即在低光照弱对比的复杂环境下，无法对深度相机彩色图和深度图同时进行有效增强与修复的问题，本发明提供了一种低光照弱对比复杂环境下的深度相机视觉增强方法，该深度相机视觉增强方法包括：

步骤S10，获取深度相机彩色图和深度图，并进行所述彩色图和深度图的标定以及彩色图与深度图之间的配准，获得标定后配准的彩色图和深度图对；

步骤S20，对所述彩色图和深度图对中的彩色图进行主动亮度均衡，获得均衡彩色图；

步骤S30，对所述均衡彩色图进行自适应特征增强，获得增强彩色图；

步骤S40，提取所述增强彩色图的纹理特征，并基于所述增强彩色图的纹理特征进行所述彩色图和深度图对中的深度图的相似区域划分，获得所述深度图的相似纹理区域集合；

步骤S50，分别基于所述深度图的相似纹理区域集合中每一个相似纹理区域内的有效测量点，对无效测量点进行修复，获得增强深度图。

在一些优选的实施例中，步骤S10包括：

将深度相机彩色图与深度图的成像平面对齐，并分别建立彩色图像素点与实际环境空间点、深度图像素点与实际环境空间点的准确映射关系，获得标定后配准的彩色图和深度图对。

在一些优选的实施例中，步骤S20包括：

步骤S21，通过多尺度高斯滤波器获取所述彩色图和深度图对中的彩色图的各个点光源共同作用下受光面的照度分量分布图；

步骤S22，对所述照度分量分布图进行区域采样，获得每一个单个点光源独立作用下的照度分量；

步骤S23，基于所述单个点光源独立作用下的照度分量通过反馈调节进行所述彩色图的主动亮度均衡，获得均衡彩色图。

在一些优选的实施例中，基于所述单个点光源独立作用下的照度分量通过反馈调节进行所述彩色图的主动亮度均衡，其方法为：

I′_out(i,k)＝I_in(i,k)+I_out(i,k)

I_out(i,k)＝(1-α)I_out(i,k-1)+α[255-I_in(i,k)]

其中，I′_out(i,k)代表k时刻第i个点光源进行主动亮度均衡后的等效照度，I_in(i,k)代表k时刻第i个点光源进行主动亮度均衡前的等效照度，I_out(i,k)和I_out(i,k-1)分别代表k时刻和k-1时刻第i个点光源的补偿照度，α为预设的控制系数。

在一些优选的实施例中，步骤S30包括：

步骤S31，计算所述亮度均衡彩色图各像素值的均值和标准差；

步骤S32，构建模糊推理系统，并将所述均值和标准差作为系统输入变量，结合预先设定的隶属度函数和模糊规则通过模糊推理获得限制对比度自适应直方图均衡化算法中的最佳裁剪阈值和伽马校正算法中的最佳伽马校正系数；

步骤S33，基于所述最佳伽马校正系数，通过伽马校正算法进行所述亮度均衡彩色图的自适应亮度均衡，基于所述最佳裁剪阈值，对自适应亮度均衡后的图像进行限制对比度自适应直方图均衡；

步骤S34，对自适应直方图均衡化后的图像进行双边滤波，获得增强彩色图。

在一些优选的实施例中，基于所述最佳伽马校正系数，通过伽马校正算法进行所述亮度均衡彩色图的自适应亮度均衡，其方法为：

其中，F_o(x,y)代表位于(x,y)的像素点进行自适应亮度均衡后的照度分量，F_i(x,y)代表位于(x,y)的像素点进行自适应亮度均衡前的照度分量，F(x,y)代表位于(x,y)的像素点的亮度值，M为当前图像照度分量均值，β为最佳伽马校正系数。

在一些优选的实施例中，步骤S40包括：

步骤S41，将所述增强彩色图降采样至设定分辨率；

步骤S42，通过MeanShift算法将降采样后的图像中的相似纹理区平滑为相同的颜色；

步骤S43，通过FloodFill算法提取平滑后的图像中相应的颜色连通域形成纹理区掩膜；

步骤S44，对所述纹理区掩膜进行双线性插值，获得原始分辨率下的图像掩膜作为所述增强彩色图的纹理特征；

步骤S45，通过所述增强彩色图的纹理特征提取所述彩色图和深度图对中的深度图中的ROI区域，获得所述深度图的相似纹理区域集合。

在一些优选的实施例中，步骤S50包括：

步骤S51，对于所述深度图的相似纹理区域集合中每一个相似纹理区域，获取区域内深度测量值的范围，将大于深度相机最大量程的测量值划分为无效测量点，属于正常范围的测量值划分为有效测量点；

步骤S52，计算有效测量点数量与无效测量点数量的比值，若所述比值小于设定阈值，则终止修复；否则，通过RANSAC算法拟合所述深度图的相似纹理区域内的有效测量点，获得有效测量点的局部点云拟合模型；

步骤S53，以有效测量点的实际值与其模型估计值之间的误差小于等于设定阈值的点作为内点，以有效测量点的实际值与其模型估计值之间的误差大于等于设定阈值的点作为外点，若内点与外点的比值小于设定阈值，则终止修复；否则，根据相机投影模型和所述局部点云拟合模型对相似纹理区域内的无效测量点进行深度值重计算；

步骤S54，重复步骤S51至步骤S54，直到所述深度图的相似纹理区域集合的每一个区域完成无效测量点的修复，获得增强深度图。

在一些优选的实施例中，根据相机投影模型和所述局部点云拟合模型对相似纹理区域内的无效测量点进行深度值重计算，其方法为：

其中，

为环境中的空间点坐标，

为重计算后的深度测量值，(u,v)为深度图像中的像素平面坐标，c_x、c_y分别为相机光心在两个垂直方向上的偏移量，f_x、f_y分别为相机在两个垂直方向上的焦距，F(x,y)为局部点云拟合模型。

本发明的另一方面，提出了一种低光照弱对比复杂环境下的深度相机视觉增强系统，该深度相机视觉增强系统包括标定与配准模块、主动亮度均衡模块、自适应增强模块、相似区域划分模块和深度图修复模块；

所述标定与配准模块，配置为获取深度相机彩色图和深度图，并进行所述彩色图和深度图的标定以及彩色图与深度图之间的配准，获得标定后配准的彩色图和深度图对；

所述主动亮度均衡模块，配置为对所述彩色图和深度图对中的彩色图进行主动亮度均衡，获得均衡彩色图；

所述自适应增强模块，配置为对所述均衡彩色图进行自适应特征增强，获得增强彩色图；

所述相似区域划分模块，配置为提取所述增强彩色图的纹理特征，并基于所述增强彩色图的纹理特征进行所述彩色图和深度图对中的深度图的相似区域划分，获得所述深度图的相似纹理区域集合；

所述深度图修复模块，配置为分别基于所述深度图的相似纹理区域集合中每一个相似纹理区域内的有效测量点，对无效测量点进行修复，获得增强深度图。

本发明的有益效果：

(1)本发明低光照弱对比复杂环境下的深度相机视觉增强方法，通过反馈调节获取各点光源的补偿照度，进行各点光源的照度补偿，实现深度相机彩色图的主动亮度均衡，使得深度相机的彩色图在弱光强反射环境下的图像亮度更加均衡，不易出现局部过曝点。

(2)本发明低光照弱对比复杂环境下的深度相机视觉增强方法，通过模糊推理系统推理图像最佳裁剪阈值和最佳伽马校正系数，进行图像的自适应亮度均衡和限制对比度自适应直方图均衡，实现图像的特征增强，使得深度相机的彩色图中亮部与暗部细节更加突出，图像信息熵明显提高，进一步减少图像失真。

(3)本发明低光照弱对比复杂环境下的深度相机视觉增强方法，结合彩色图的纹理特征进行深度图的相似区域划分，并进行各区域中无效测量点的修复，实现了对因深色物体、光滑物体、透明物体的光学影响以及复杂环境的视差影响而造成的深度图中无效深度测量数据的修复。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本发明低光照弱对比复杂环境下的深度相机视觉增强方法的流程示意图；

图2是本发明低光照弱对比复杂环境下的深度相机视觉增强方法一种实施例的彩色图亮度均衡与特征增强方法的流程示意图；

图3是本发明低光照弱对比复杂环境下的深度相机视觉增强方法一种实施例的12点阵分布式补光模型示意图；

图4是本发明低光照弱对比复杂环境下的深度相机视觉增强方法一种实施例的模糊推理自适应参数调整方法的流程示意图；

图5是本发明低光照弱对比复杂环境下的深度相机视觉增强方法一种实施例的相似纹理区域划分示意图；

图6是本发明低光照弱对比复杂环境下的深度相机视觉增强方法一种实施例的深度图无效测量点修复方法的流程示意图；

图7是本发明低光照弱对比复杂环境下的深度相机视觉增强方法一种实施例的局部点云拟合模型重建方法的流程示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

本发明提供一种低光照弱对比复杂环境下的深度相机视觉增强方法，采用自适应分布式补光技术对彩色图进行主动亮度均衡，并结合模糊理论对彩色图进行特征增强，最后借助增强后的彩色图对与之配准的深度图进行无效测量点的修复。本发明方法能够同时对深度相机所成的彩色图和深度图进行增强与修复，能够在一定程度上使深度相机适应更加复杂、恶劣的环境。

本发明的一种低光照弱对比复杂环境下的深度相机视觉增强方法，该深度相机视觉增强方法包括：

步骤S10，获取深度相机彩色图和深度图，并进行所述彩色图和深度图的标定以及彩色图与深度图之间的配准，获得标定后配准的彩色图和深度图对；

步骤S20，对所述彩色图和深度图对中的彩色图进行主动亮度均衡，获得均衡彩色图；

步骤S30，对所述均衡彩色图进行自适应特征增强，获得增强彩色图；

步骤S40，提取所述增强彩色图的纹理特征，并基于所述增强彩色图的纹理特征进行所述彩色图和深度图对中的深度图的相似区域划分，获得所述深度图的相似纹理区域集合；

步骤S50，分别基于所述深度图的相似纹理区域集合中每一个相似纹理区域内的有效测量点，对无效测量点进行修复，获得增强深度图。

为了更清晰地对本发明低光照弱对比复杂环境下的深度相机视觉增强方法进行说明，下面结合图1对本发明实施例中各步骤展开详述。

本发明第一实施例的低光照弱对比复杂环境下的深度相机视觉增强方法，包括步骤S10-步骤S50，各步骤详细描述如下：

步骤S10，获取深度相机彩色图和深度图，并进行所述彩色图和深度图的标定以及彩色图与深度图之间的配准，获得标定后配准的彩色图和深度图对。

将深度相机彩色图与深度图的成像平面对齐，并分别建立彩色图像素点与实际环境空间点、深度图像素点与实际环境空间点的准确映射关系，获得标定后配准的彩色图和深度图对。

在深度图修复过程中，需提供配准后的一对彩色图与深度图，因此需通过额外的标定环节将深度相机中彩色图与深度图的成像平面对齐，并对其中的像素点与实际环境中的空间点建立准确的映射关系，该映射关系被用于重计算无效测量点的深度值。同时，有效的标定可以使增强后彩色图与深度图的镜头畸变效应更小。

如图2所示，为本发明低光照弱对比复杂环境下的深度相机视觉增强方法一种实施例的彩色图亮度均衡与特征增强方法的流程示意图，包括彩色图主动亮度均衡部分和自适应特征增强部分。

步骤S20，对所述彩色图和深度图对中的彩色图进行主动亮度均衡，获得均衡彩色图。

深度相机受局部光源或材质反光影响，所获取的彩色图具有明显的光照不均现象，因此需进行主动亮度均衡，具体包括：

步骤S21，通过多尺度高斯滤波器获取所述彩色图和深度图对中的彩色图的各个点光源共同作用下受光面的照度分量分布图。

本发明一个实施例中，多尺度高斯滤波器的尺度包括S、M、L三个尺度，设置S、M、L三个尺度的高斯核标准差参数对场景的照度分量进行提取，最终的高斯滤波函数

即为不同尺度高斯滤波函数G_S(x,y)、G_M(x,y)、G_L(x,y)的加权均值，其中，S尺度为10，M尺度为50，L尺度为200。在其他实施例中，还可以根据需要选择相应尺度的高斯滤波器组合，本发明在此不一一详述。

步骤S22，对所述照度分量分布图进行区域采样，获得每一个单个点光源独立作用下的照度分量。

如图3所示，为本发明低光照弱对比复杂环境下的深度相机视觉增强方法一种实施例的12点阵分布式补光模型示意图，假设W为图像宽度，H为图像高度，并且W≥H，则通过三组尺度不同的采样点阵对场景照度分量进行解耦合。采样点阵具体参数为：采样点阵Ⅰ定位椭圆长轴半径为

短轴半径为

采样块的边长为

采样点阵Ⅱ定位椭圆长轴半径为

短轴半径为

采样块的边长为

采样点阵Ⅲ定位椭圆长轴半径为

短轴半径为

采样块的边长为

各采样块内照度分量的加权均值

即可在一定程度上反映相应位置的点光源亮度测量值I_in(i,k)，其中，k代表k时刻，i代表第i个点光源。

步骤S23，基于所述单个点光源独立作用下的照度分量通过反馈调节进行所述彩色图的主动亮度均衡，获得均衡彩色图。

基于所述单个点光源独立作用下的照度分量通过反馈调节进行所述彩色图的主动亮度均衡，其方法如式(1)和式(2)所示：

I′_out(i,k)＝I_in(i,k)+I_out(i,k) (1)

I_out(i,k)＝(1-α)I_out(i,k-1)+α[255-I_in(i,k)] (2)

其中，I′_out(i,k)代表k时刻第i个点光源进行主动亮度均衡后的等效照度，I_in(i,k)代表k时刻第i个点光源进行主动亮度均衡前的等效照度，I_out(i,k)和I_out(i,k-1)分别代表k时刻和k-1时刻第i个点光源的补偿照度，α为预设的控制系数。

控制系统的值越大，补光灵敏度越高，本发明一个实施例中，控制系数α设置为0.8-0.95之间。

步骤S30，对所述均衡彩色图进行自适应特征增强，获得增强彩色图。

本发明在限制对比度自适应直方图均衡化(CLAHE)图像增强算法的基础上，加入HSV色彩空间的明度伽马校正，提高图像暗部和亮部细节表现力；加入全局的双边滤波，抑制图像增强过程产生的噪声放大。同时，本发明借助模糊推理理论，对CLAHE算法中的裁剪阈值以及伽马校正算法中的伽马校正系数进行自适应调整，使每次增强过程的参数保持为最佳参数，具体包括：

步骤S31，计算所述亮度均衡彩色图各像素值的均值和标准差。

步骤S32，构建模糊推理系统，并将所述均值和标准差作为系统输入变量，结合预先设定的隶属度函数和模糊规则通过模糊推理获得限制对比度自适应直方图均衡化算法中的最佳裁剪阈值和伽马校正算法中的最佳伽马校正系数。

如图4所示，为本发明低光照弱对比复杂环境下的深度相机视觉增强方法一种实施例的模糊推理自适应参数调整方法的流程示意图，输入变量均值

与标准差σ的范围为

输出变量裁剪阈值c_L与伽马校正系数β的范围为c_L∈[2 20]、β∈[0.30.9]。本发明一个实施例中预设的隶属度函数采用三角隶属函数，预设的模糊规则采用双输入双输出3×4规格模糊规则表进行推理。

步骤S33，基于所述最佳伽马校正系数，通过伽马校正算法进行所述亮度均衡彩色图的自适应亮度均衡，基于所述最佳裁剪阈值，对自适应亮度均衡后的图像进行限制对比度自适应直方图均衡。

基于最佳伽马校正系数，通过伽马校正算法进行亮度均衡彩色图的自适应亮度均衡，其方法如式(3)和式(4)所示：

其中，F_o(x,y)代表位于(x,y)的像素点进行自适应亮度均衡后的照度分量，F_i(x,y)代表位于(x,y)的像素点进行自适应亮度均衡前的照度分量，F(x,y)代表位于(x,y)的像素点的亮度值，M为当前图像照度分量均值，β为最佳伽马校正系数。

伽马校正系数的值越大，校正强度越大，一般设置为0.4-0.5之间较为合适，本发明一个实施例中通过模糊推理系统自动确定最佳参数，在其他实施例中，也可以根据需要设定合适的参数，本发明在此不一一详述。

步骤S34，对自适应直方图均衡后的图像进行双边滤波，获得增强彩色图。

步骤S40，提取所述增强彩色图的纹理特征，并基于所述增强彩色图的纹理特征进行所述彩色图和深度图对中的深度图的相似区域划分，获得所述深度图的相似纹理区域集合。

由于采用主动红外光源进行测量，结构光深度相机的深度图像受光照影响很小，而受深色物体、光滑物体、透明物体的光学影响以及复杂环境的视差影响很大，需要通过图像修复改善这一问题，本发明中的深度图修复包含两个主要环节，首先根据彩色图纹理特征提取相似纹理区，再根据相似纹理区中的有效点建立局部点云模型，对无效点进行重计算，修复无效测量点。如图5所示，为本发明低光照弱对比复杂环境下的深度相机视觉增强方法一种实施例的相似纹理区域划分示意图，具体包括：

步骤S41，将所述增强彩色图降采样至设定分辨率，一般为256×192或320×240。本发明一个实施例中，将图像降采样至320×240，在其他实施例中，也可以根据需要选择其他的降采样分辨率，本发明对此不作限定。

步骤S42，通过MeanShift算法将降采样后的图像中的相似纹理区平滑为相同的颜色。

步骤S43，通过FloodFill算法提取平滑后的图像中相应的颜色连通域形成纹理区掩膜。

步骤S44，对所述纹理区掩膜进行双线性插值，获得原始分辨率下的图像掩膜作为所述增强彩色图的纹理特征。

步骤S45，通过所述增强彩色图的纹理特征提取所述彩色图和深度图对中的深度图中的ROI区域，获得所述深度图的相似纹理区域集合。

步骤S50，分别基于所述深度图的相似纹理区域集合中每一个相似纹理区域内的有效测量点，对无效测量点进行修复，获得增强深度图。

获取深度图的相似纹理区域点云后，即可根据相似纹理区域内的有效测量点修复无效测量点，如图6所示，为本发明低光照弱对比复杂环境下的深度相机视觉增强方法一种实施例的深度图无效测量点修复方法的流程示意图，具体包括：

步骤S51，对于所述深度图的相似纹理区域集合中每一个相似纹理区域，获取区域内深度测量值的范围，将大于深度相机最大量程的测量值划分为无效测量点，属于正常范围的测量值划分为有效测量点。

步骤S52，计算有效测量点数量与无效测量点数量的比值，若所述比值小于设定阈值，则终止修复；否则，通过RANSAC算法拟合所述深度图的相似纹理区域内的有效测量点，获得有效测量点局部点云拟合模型。

通过有效测量点数量与无效测量点数量的比值进行第一次修复有效性评估，本发明一个实施例中，当该比值大于1，则认为修复可能性较高；当该比值小于0.2，则认为不可修复，退出修复过程。

进行图像修复的关键在于建立局部点云拟合模型，本发明一个实施例中，基于RANSAC算法建立局部点云拟合模型，如图7所示，为本发明低光照弱对比复杂环境下的深度相机视觉增强方法一种实施例的局部点云拟合模型重建方法的流程示意图，具体包括：

步骤1，在深度图的相似纹理区域内的有效测量点中随机采样K个点；

步骤2，对K个点拟合模型；

步骤3，计算其余点与拟合模型的距离；

步骤4，将距离小于设定阈值的点作为内点，其余点作为外点；

步骤5，统计内点数量；

步骤6，若数量最大，则重估计模型，否则将步骤1-步骤5重复M次，输出模型，即局部点云拟合模型。

步骤S53，若内点与外点的比值小于设定阈值，则终止修复；否则，根据相机投影模型和所述局部点云拟合模型对相似纹理区域内的无效测量点进行深度值重计算，如式(5)、式(6)和式(7)所示：

其中，

为环境中的空间点坐标，

为重计算后的深度测量值，(u,v)为深度图像中的像素平面坐标，c_x、c_y分别为相机光心在两个垂直方向上的偏移量，f_x、f_y分别为相机在两个垂直方向上的焦距，F(x,y)为局部点云拟合模型。

相机投影模型为用于确定图像的像素点与环境的空间点之间的映射关系的模型。

通过RANSAC算法提取的内点数量与外点数量的比值进行第二次修复有效性评估，本发明一个实施例中，当该比值大于2，则认为修复效果较好；当该比值小于0.5，则认为不可修复，退出修复过程。

步骤S54，重复步骤S51至步骤S54，直到所述深度图的相似纹理区域集合的每一个区域完成无效测量点的修复，获得增强深度图。

最终增强彩色图和增强深度图为本发明深度相机视觉增强结果，通过这个过程，进一步提升深度相机对更加复杂、恶劣的环境的适应性。

本发明第二实施例的低光照弱对比复杂环境下的深度相机视觉增强系统，该深度相机视觉增强系统包括标定与配准模块、主动亮度均衡模块、自适应增强模块、相似区域划分模块和深度图修复模块；

所述标定与配准模块，配置为获取深度相机彩色图和深度图，并进行所述彩色图和深度图的标定以及彩色图与深度图之间的配准，获得标定后配准的彩色图和深度图对；

所述主动亮度均衡模块，配置为对所述彩色图和深度图对中的彩色图进行主动亮度均衡，获得均衡彩色图；

所述自适应增强模块，配置为对所述均衡彩色图进行自适应特征增强，获得增强彩色图；

所述相似区域划分模块，配置为提取所述增强彩色图的纹理特征，并基于所述增强彩色图的纹理特征进行所述彩色图和深度图对中的深度图的相似区域划分，获得所述深度图的相似纹理区域集合；

所述深度图修复模块，配置为分别基于所述深度图的相似纹理区域集合中每一个相似纹理区域内的有效测量点，对无效测量点进行修复，获得增强深度图。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

需要说明的是，上述实施例提供的低光照弱对比复杂环境下的深度相机视觉增强系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。

本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的低光照弱对比复杂环境下的深度相机视觉增强方法。

本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的低光照弱对比复杂环境下的深度相机视觉增强方法。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种低光照弱对比复杂环境下的深度相机视觉增强方法，其特征在于，该深度相机视觉增强方法包括：

步骤S10，获取深度相机彩色图和深度图，并进行所述彩色图和深度图的标定以及彩色图与深度图之间的配准，获得标定后配准的彩色图和深度图对；

步骤S20，对所述彩色图和深度图对中的彩色图进行主动亮度均衡，获得均衡彩色图；

步骤S30，对所述均衡彩色图进行自适应特征增强，获得增强彩色图；

步骤S40，提取所述增强彩色图的纹理特征，并基于所述增强彩色图的纹理特征进行所述彩色图和深度图对中的深度图的相似区域划分，获得所述深度图的相似纹理区域集合；

步骤S50，分别基于所述深度图的相似纹理区域集合中每一个相似纹理区域内的有效测量点，对无效测量点进行修复，获得增强深度图。

2.根据权利要求1所述的低光照弱对比复杂环境下的深度相机视觉增强方法，其特征在于，步骤S10包括：

将深度相机彩色图与深度图的成像平面对齐，并分别建立彩色图像素点与实际环境空间点、深度图像素点与实际环境空间点的准确映射关系，获得标定后配准的彩色图和深度图对。

3.根据权利要求1所述的低光照弱对比复杂环境下的深度相机视觉增强方法，其特征在于，步骤S20包括：

步骤S21，通过多尺度高斯滤波器获取所述彩色图和深度图对中的彩色图的各个点光源共同作用下受光面的照度分量分布图；

步骤S22，对所述照度分量分布图进行区域采样，获得每一个单个点光源独立作用下的照度分量；

步骤S23，基于所述单个点光源独立作用下的照度分量通过反馈调节进行所述彩色图的主动亮度均衡，获得均衡彩色图。

4.根据权利要求3所述的低光照弱对比复杂环境下的深度相机视觉增强方法，其特征在于，基于所述单个点光源独立作用下的照度分量通过反馈调节进行所述彩色图的主动亮度均衡，其方法为：

I′_out(i,k)＝I_in(i,k)+I_out(i,k)

I_out(i,k)＝(1-α)I_out(i,k-1)+α[255-I_in(i,k)]

其中，I′_out(i,k)代表k时刻第i个点光源进行主动亮度均衡后的等效照度，I_in(i,k)代表k时刻第i个点光源进行主动亮度均衡前的等效照度，I_out(i,k)和I_out(i,k-1)分别代表k时刻和k-1时刻第i个点光源的补偿照度，α为预设的控制系数。

5.根据权利要求1所述的低光照弱对比复杂环境下的深度相机视觉增强方法，其特征在于，步骤S30包括：

步骤S31，计算所述亮度均衡彩色图各像素值的均值和标准差；

步骤S32，构建模糊推理系统，并将所述均值和标准差作为系统输入变量，结合预先设定的隶属度函数和模糊规则通过模糊推理获得限制对比度自适应直方图均衡化算法中的最佳裁剪阈值和伽马校正算法中的最佳伽马校正系数；

步骤S33，基于所述最佳伽马校正系数，通过伽马校正算法进行所述亮度均衡彩色图的自适应亮度均衡，基于所述最佳裁剪阈值，对自适应亮度均衡后的图像进行限制对比度自适应直方图均衡；

步骤S34，对自适应直方图均衡后的图像进行双边滤波，获得增强彩色图。

6.根据权利要求5所述的低光照弱对比复杂环境下的深度相机视觉增强方法，其特征在于，基于所述最佳伽马校正系数，通过伽马校正算法进行所述亮度均衡彩色图的自适应亮度均衡，其方法为：

其中，F_o(x,y)代表位于(x,y)的像素点进行自适应亮度均衡后的照度分量，F_i(x,y)代表位于(x,y)的像素点进行自适应亮度均衡前的照度分量，F(x,y)代表位于(x,y)的像素点的亮度值，M为当前图像照度分量均值，β为最佳伽马校正系数。

7.根据权利要求1所述的低光照弱对比复杂环境下的深度相机视觉增强方法，其特征在于，步骤S40包括：

步骤S41，将所述增强彩色图降采样至设定分辨率；

步骤S42，通过MeanShift算法将降采样后的图像中的相似纹理区平滑为相同的颜色；

步骤S43，通过FloodFill算法提取平滑后的图像中相应的颜色连通域形成纹理区掩膜；

步骤S44，对所述纹理区掩膜进行双线性插值，获得原始分辨率下的图像掩膜作为所述增强彩色图的纹理特征；

步骤S45，通过所述增强彩色图的纹理特征提取所述彩色图和深度图对中的深度图中的ROI区域，获得所述深度图的相似纹理区域集合。

8.根据权利要求1所述的低光照弱对比复杂环境下的深度相机视觉增强方法，其特征在于，步骤S50包括：

步骤S51，对于所述深度图的相似纹理区域集合中每一个相似纹理区域，获取区域内深度测量值的范围，将大于深度相机最大量程的测量值划分为无效测量点，属于正常范围的测量值划分为有效测量点；

步骤S52，计算有效测量点数量与无效测量点数量的比值，若所述比值小于设定阈值，则终止修复；否则，通过RANSAC算法拟合所述深度图的相似纹理区域内的有效测量点，获得有效测量点局部点云拟合模型；

步骤S53，以有效测量点的实际值与其模型估计值之间的误差小于等于设定阈值的点作为内点，以有效测量点的实际值与其模型估计值之间的误差大于等于设定阈值的点作为外点，若内点与外点的比值小于设定阈值，则终止修复；否则，根据相机投影模型和所述局部点云拟合模型对相似纹理区域内的无效测量点进行深度值重计算；

步骤S54，重复步骤S51至步骤S54，直到所述深度图的相似纹理区域集合的每一个区域完成无效测量点的修复，获得增强深度图。

9.根据权利要求8所述的低光照弱对比复杂环境下的深度相机视觉增强方法，其特征在于，根据相机投影模型和所述局部点云拟合模型对相似纹理区域内的无效测量点进行深度值重计算，其方法为：

其中，

为环境中的空间点坐标，

为重计算后的深度测量值，(u,v)为深度图像中的像素平面坐标，c_x、c_y分别为相机光心在两个垂直方向上的偏移量，f_x、f_y分别为相机在两个垂直方向上的焦距，F(x,y)为局部点云拟合模型。

10.一种低光照弱对比复杂环境下的深度相机视觉增强系统，其特征在于，该深度相机视觉增强系统包括标定与配准模块、主动亮度均衡模块、自适应增强模块、相似区域划分模块和深度图修复模块；

所述标定与配准模块，配置为获取深度相机彩色图和深度图，并进行所述彩色图和深度图的标定以及彩色图与深度图之间的配准，获得标定后配准的彩色图和深度图对；

所述主动亮度均衡模块，配置为对所述彩色图和深度图对中的彩色图进行主动亮度均衡，获得均衡彩色图；

所述自适应增强模块，配置为对所述均衡彩色图进行自适应特征增强，获得增强彩色图；

所述相似区域划分模块，配置为提取所述增强彩色图的纹理特征，并基于所述增强彩色图的纹理特征进行所述彩色图和深度图对中的深度图的相似区域划分，获得所述深度图的相似纹理区域集合；

所述深度图修复模块，配置为分别基于所述深度图的相似纹理区域集合中每一个相似纹理区域内的有效测量点，对无效测量点进行修复，获得增强深度图。

Images