CN116342433A - 用于3d工业相机的图像智能去噪方法 - Google Patents

Abstract

本发明涉及图像数据处理技术领域，具体涉及一种用于3D工业相机的图像智能去噪方法，该方法根据RGBD图像对应深度图像中噪声的离散特征获取对应的噪声影响指数，根据RGBD图像对应RGB图像通过高斯核卷积获取环境光图像，根据环境光图像中环境光强度值的差异分布特征获取环境光渐变复杂指数，根据环境光渐变复杂指数和噪声影响指数获取对应的环境光噪声干扰指数，通过环境光噪声干扰指数自适应调整初始滤波窗口的大小获取优化滤波窗口，通过优化滤波窗口实现对RGBD图像的智能去噪。本发明在去噪的效果更好的同时，具有良好的适应性。

Description

用于3D工业相机的图像智能去噪方法

技术领域

本发明涉及图像数据处理技术领域，具体涉及一种用于3D工业相机的图像智能去噪方法。

背景技术

普通的彩色相机拍摄到的图像能够记录拍摄场景内的所有物体，但彩色相机所拍摄到的图像不包含这些物体距离相机的距离，仅能通过图像语义分析来判断物体的远近，对应的距离数据较为模糊。而三维（3-dimensional）即3D工业相机由于能够准确的检测出拍摄空间的距离信息，使得3D工业相机在人脸识别、三维测量、环境感知、三维地图重建等各个技术领域广泛应用。但是由于传感器本身硬件设备的限制和采集环境外界光源的干扰等影响因素，导致3D工业相机所拍摄到的三原色加距离图像（RGB+Depth Map）即RGBD图像中包含大量噪声。所以为了使得3D工业相机所拍摄到的RGBD图像信息更加准确，需要对所拍摄到的图像进行去噪。

在通过现有去噪算法设置滤波窗口对RGBD图像进行去噪时，由于3D工业相机的工作原理，外界环境光对RGBD图像的影响与随机噪声对RGBD图像的影响不同，造成其拍摄到的RGBD图像中的图像信息受到多方面噪声的影响，可能出现由于滤波窗口大小选择不当，导致噪声不能准确滤除或误将有效数据滤除使得纹理细节丢失严重等问题使得去噪的效果较差。

发明内容

为了解决现有去噪算法设置滤波窗口对RGBD图像去噪效果较差的技术问题，本发明的目的在于提供一种用于3D工业相机的图像智能去噪方法，所采用的技术方案具体如下：

本发明提出了一种用于3D工业相机的图像智能去噪方法，所述方法包括：

获取RGBD图像；

在RGBD图像对应的深度图像中根据像素点的深度值的离散特征，得到每个像素点的噪声强度；根据每个像素点预设邻域范围内的噪声强度的分布特征，得到深度图像的噪声影响指数；

将RGBD图像对应的RGB图像通过高斯核卷积得到环境光图像，所述环境光图像中每个像素点对应一个环境光强度值；根据每个像素点预设邻域窗口内的环境光强度值的差异分布特征，得到环境光图像的环境光渐变复杂指数，根据所述噪声影响指数和所述环境光渐变复杂指数，得到RGBD图像的环境光噪声干扰指数；

基于所述RGBD图像的边长获取初始滤波窗口，根据所述环境光噪声干扰指数对初始滤波窗口进行优化得到优化滤波窗口，通过优化滤波窗口对所述RGBD图像进行智能去噪。

进一步地，所述噪声强度的获取方法包括：

将所述深度图像划分为预设第一数量个形状大小相同的图像块，在每个图像块中通过孤立森林算法根据每个像素点的深度值计算对应的异常值分数，将每个像素点的异常值分数作为对应的噪声强度。

进一步地，所述噪声影响指数的获取方法包括：

将所述噪声强度按数值大小平均划分为预设第二数量个噪声强度等级，根据噪声强度等级获取像素点的连通域；任选一个像素点作为目标像素点，在目标像素点预设邻域范围内以噪声强度等级为行、以连通域面积为列构建初始噪声区域大小矩阵，所述初始噪声区域大小矩阵中的每个元素的元素值表征同一噪声强度等级和同一连通域面积的出现次数；

将所述初始噪声区域大小矩阵中的每个元素的元素值进行归一化，得到最终噪声区域大小矩阵，所述最终噪声区域大小矩阵中每个元素的元素值为同一噪声强度等级和同一连通域面积的出现次数的归一化值；将每个元素的元素值、对应的噪声强度等级和对应的连通域面积之间的乘积，作为每个元素的噪声特征值，将每个元素的噪声特征值累加得到目标像素点对应的噪声影响程度；

改变目标像素点得到所有像素点对应的噪声影响程度，将所有像素点对应的噪声影响程度累加，得到深度图像的噪声影响指数。

进一步地，所述环境光图像的获取方法包括：

基于RGB图像中每个像素点的像素值，将每个像素点作为预设高斯核的中心进行卷积，得到每个像素点对应的环境光照射分量，将每个像素点的环境光照射分量作为对应的环境光强度值，将环境光强度值替代所述RGB图像中每个像素点的像素值，得到环境光图像。

进一步地，所述环境光渐变复杂指数的获取方法包括：

在环境光图像中任选一个像素点作为中心像素点，将所述中心像素点预设邻域窗口内其他像素点作为邻域像素点；

将每个邻域像素点与中心像素点之间对应的环境光强度值差异，作为每个邻域像素点对应的环境光强渐变值；将中心像素点指向每个邻域像素点对应的方向与水平面的夹角，作为每个邻域像素点的参考角度；根据环境光强渐变值和参考角度得到中心像素点的环境光强渐变均匀度；

改变中心像素点得到所有像素点对应的环境光强渐变均匀度，将所述环境光图像中所有像素点的环境光强渐变均匀度的累加值进行负相关映射，得到环境光图像的环境光渐变复杂指数。

进一步地，所述根据环境光强渐变值和参考角度得到中心像素点的环境光强渐变均匀度包括：

将每个邻域像素点对应的环境光强渐变值与参考角度的正弦值的乘积，作为每个邻域像素点的正弦影响渐变值；将每个邻域像素点对应的环境光强渐变值与参考角度的余弦值的乘积，作为每个邻域像素点的余弦影响渐变值；将所有邻域像素点对应的正弦影响渐变值的累加值和余弦影响渐变值的累加值的平方和进行开方后，通过负相关映射得到中心像素点的环境光强渐变均匀度。

进一步地，所述环境光噪声干扰指数的获取方法包括：

将所述噪声影响指数和所述环境光渐变复杂指数的乘积进行正相关映射，得到RGBD图像的环境光噪声干扰指数。

进一步地，所述初始滤波窗口的获取方法包括：

将所述RGBD图像边长通过预设缩放倍率进行缩放，得到初始滤波窗口边长，根据初始滤波窗口边长得到初始滤波窗口。

进一步地，所述优化滤波窗口的获取方法包括：

将所述环境光噪声干扰指数与初始滤波窗口边长的乘积作为优化滤波窗口边长，根据所述优化滤波窗口边长得到优化滤波窗口。

进一步地，所述根据噪声强度等级获取像素点的连通域包括：

将相邻且噪声强度等级相同的像素点合并，得到对应的连通域。

本发明具有如下有益效果：

考虑到3D工业相机通常依靠光线获取深度信息，所以RGBD图像中的深度信息会受到环境光因素的影响而产生噪声，又因为RGB图像中的颜色信息是根据物体对光线的反射能力来决定的，因此可通过RGBD图像中的颜色信息受到影响的程度，利用RGB图像估计深度图像受到环境光的影响情况得到环境光渐变复杂指数，并通过深度图像中噪声点不连续的特点得到噪声影响指数，进一步结合噪声影响指数和所述环境光渐变复杂指数来确定最优滤波窗口即优化滤波窗口，使得采用优化滤波窗口对图像进行去噪能够在最大程度上去除噪声的同时保留图像纹理细节，对应的去噪的效果更好。且本发明实施例在计算优化滤波窗口时能够根据不同的环境计算出不同大小的滤波窗口，从而实现对RGBD图像的自适应去噪，即本发明实施例通过获取优化滤波窗口对RGBD图像进行去噪的方法具有一定的适应性。综上所述，本发明通过获取优化滤波窗口对RGBD图像进行去噪的方法在去噪的效果更好的同时，具有良好的适应性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的一种用于3D工业相机的图像智能去噪方法流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种用于3D工业相机的图像智能去噪方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种用于3D工业相机的图像智能去噪方法的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种用于3D工业相机的图像智能去噪方法流程图，该方法包括：

步骤S1：获取RGBD图像。

本发明旨在提供一种用于3D工业相机的图像智能去噪方法，根据3D工业相机所拍摄到的RGBD图像受到环境光的影响自适应设定滤波窗口的大小，通过自适应获取的滤波窗口进行滤波处理实现对3D工业相机的图像智能去噪。所以首先需要获取去噪处理对象，本发明实施例首先获取RGBD图像。RGBD图像即为通过3D工业相机拍摄得到的图像，包含RGB信息和深度信息。在本发明实施例中，采用3D工业相机拍摄图像的场景为白天易受到环境光影响的场景。需要说明的是，实施者可根据具体实施环境具体进行RGBD图像对应拍摄场景的选取，在此不做进一步限定和赘述。

本发明实施例采用全面解析深度相机（Time of flight，TOF）即TOF相机采集RGBD图像，通过TOF相机采集RGBD图像具有实时性高、精度温度、占用空间小等优点；TOF相机在采集深度信息时，通过调制光源发射光信号，通过图像传感器接受返回光，通过计算往返光的飞行时间得到被测物的距离。且实施者可采用也可采用其他成像原理例如双目视觉或结构光成像的相机，在此不做进一步限定和赘述。

此外，为了方便分析，本发明实施例后续分析涉及到的RGBD图像均为正方形图像，后续不做进一步赘述。

步骤S2：在RGBD图像对应的深度图像中根据像素点的深度值的离散特征，得到每个像素点的噪声强度；根据每个像素点预设邻域范围内的噪声强度的分布特征，得到深度图像的噪声影响指数。

由于RGBD图像对应的深度图像与实际三维空间中的场景对应的区域应当是相关并且一致的，且实际三维空间中的场景中在一定深度与平面范围内的深度值通常是连续的，而当深度图像中存在噪声时，噪声通常表现为不连续且突变的特征，因此可通过实际三维空间中的深度连续性初步判断图像中的噪声分布状况。本发明实施例在RGBD图像对应的深度图像中根据像素点的深度值的离散特征，得到每个像素点的噪声强度。通过噪声强度表征每个像素点对应的噪声特征，当噪声强度越大时，对应的像素点越可能为噪声点。

优选地，噪声强度的获取方法包括：

将深度图像划分为预设第一数量个形状大小相同的图像块，在每个图像块中通过孤立森林算法根据每个像素点的深度值计算对应的异常值分数，将每个像素点的异常值分数作为对应的噪声强度。在本发明实施例中，预设第一数量设置为100，即将深度图像划分为100个形状大小相同的图像块，由于本发明实施例中RGBD图像是正方形图像，所以将深度图像划分为10×10个大小相同的正方形图像块。

本发明实施例将深度图像划分为多个图像块的目的是方便后续采用孤立森林算法进行异常值的计算。因为孤立森林算法的思想是统计其中一个像素点与其他像素点的异常程度或者孤立度，所以需要对每个像素点的局部区域内进行计算，若直接在整个深度图像上采用孤立森林算法，对应的计算较为复杂且不能够准确的反映每个像素点局部区域内的孤立情况或异常情况。需要说明的是，实施者可根据具体实施环境自行选取划分图像块的形状、大小以及数量，也可选择不对图像进行划分，直接在深度图像上进行进一步分析，在此不做进一步赘述。

通过孤立森林算法获得每个像素点对应的异常值分数，异常值分数即反映了像素点的孤立程度或异常程度，当异常值分数越大时，对应的孤立程度或异常程度越大，即对应的像素点的噪声强度越大。孤立森林算法相比于其他的异常检测算法，不需要设置先验参数，也就避免了先验参数的数值选取对异常检测的影响，且对应的检测速度更快也更方便。需要说明的是，孤立森林算法为本领域技术人员所熟知的技术手段，在此不做进一步限定和赘述。

进一步地得到深度图像中每个像素点的噪声强度，对应的噪声强度越大，说明该像素点受到噪声的影响程度越大，进一步可根据深度图像中各个像素点受到噪声的影响程度，得到深度图像整体受到噪声影响的程度。本发明实施例根据每个像素点预设邻域范围内的噪声强度分布特征，得到深度图像的噪声影响指数。通过噪声影响指数表征深度图像整体受到噪声影响的程度。

优选地，噪声影响指数的获取方法包括：

将噪声强度按数值大小平均划分为预设第二数量个噪声强度等级，根据噪声强度等级获取像素点的连通域。在本发明实施例中，预设第二数量设置为5，即将噪声强度按从小到大的顺序划分为五个噪声强度等级，且噪声强度越大，对应的噪声强度等级的级数越大，在本发明实施例中，最小噪声强度等级对应的级数为1，最大噪声强度等级对应的级数为5，步长为1，且每个噪声强度等级对应的数值区间大小相同。需要说明的是，实施者可根据具体实施环境自行设置预设第二数量的大小；且对噪声强度的数值进行平均划分时，除了采用使得每个噪声强度等级对应的数值区间大小相同的方式进行平均划分外，也可采用使得每个噪声强度等级中的像素点数量相同的方式进行平均划分，在此不做进一步赘述。

优选地，根据噪声强度等级获取像素点的连通域包括：

将相邻且噪声强度等级相同的像素点合并，得到对应的连通域。即在本发明实施例中，深度图像中每个像素点对应一个噪声强度，将所有的噪声强度按数值大小划分为5个噪声强度等级，将相邻且噪声强度等级相同的像素点划分为同一个连通域，通过连通域大小表征噪声强度的分布特征。

任选一个像素点作为目标像素点，在目标像素点预设邻域范围内以噪声强度等级为行、以连通域面积为列构建初始噪声区域大小矩阵，初始噪声区域大小矩阵中的每个元素的元素值表征同一噪声强度等级和同一连通域面积的出现次数。该初始噪声区域大小矩阵的构建原理与灰度区域大小矩阵类似，在灰度区域大小矩阵的基础上将噪声强度等级替代灰度级。通过初始噪声区域大小矩阵能够清楚的体现出目标像素点预设邻域范围内受到噪声影响的分布情况，从而进一步表征目标像素点受到噪声的影响程度。当其中一个元素的元素值越大时，说明该元素对应的同一噪声强度等级和同一连通域出现的次数越多。在本发明实施例中，预设邻域范围设置为八十邻域，即在以目标像素点为中心的9×9的窗口中，除目标像素点外的其他像素点对应的区域作为预设邻域范围。需要说明的是，实施者可根据具体实施环境自行调整预设邻域范围的大小，且灰度区域大小矩阵为本领域技术人员所熟知的技术手段，在此不做进一步赘述。

将初始噪声区域大小矩阵中的每个元素的元素值进行归一化，得到最终噪声区域大小矩阵，最终噪声区域大小矩阵中每个元素的元素值为同一噪声强度等级和同一连通域面积的出现次数的归一化值；将每个元素的元素值、对应的噪声强度等级和对应的连通域面积之间的乘积，作为每个元素的噪声特征值，将每个元素的噪声特征值累加得到目标像素点对应的噪声影响程度。归一化的目的是限制最终计算出的噪声影响程度的数值，方便后续计算。由于每个元素的元素特征值是由对应的元素值、噪声强度等级和连通域面积得到的，又因为当噪声强度等级越大，连通域面积越大、元素值越大时，对应的目标像素点受到噪声的影响越大，所以元素特征值与目标像素点的受到噪声的影响程度呈正相关。进一步将目标像素点对应的所有元素对应的元素特征值累加，得到目标像素点对应的噪声影响程度，即目标像素点受到噪声影响的程度。

在本发明实施例中，目标像素点的噪声影响程度的获取方法在公式上表现为：

其中，

为目标像素点对应的噪声影响程度，

表示噪声强度等级对应的级数，

为预设第二数量，即噪声强度等级的数量，也对应噪声区域大小矩阵的行数量；

表示连通 域面积大小，即连通域对应的像素点数量，

为最大连通域对应的像素点数量，也对应噪声 区域大小矩阵的列数量；

表示噪声强度等级的级数为

且连通域中像素点数量为

对 应的连通域出现的次数，也对应噪声区域大小矩阵中第

行第

列对应的元素值。其中，当

越 大时，对应的噪声强度越高，说明受到噪声的影响程度越大；

越大时，说明相似噪声影响对 应的连通区域越大；

越大，说明对应的连通域出现的次数越大，即受到噪声影响的范 围越广。

改变目标像素点得到所有像素点对应的噪声影响程度，将所有像素点对应的噪声影响程度累加，得到深度图像的噪声影响指数。在得到深度图像中每个像素点的噪声影响程度之后，可通过将所有噪声影响程度累加得到表征深度图像整体受到噪声影响的噪声影响指数。需要说明的是，除了将所有像素点的噪声影响程度进行累加得到噪声影响指数外，实施者也可根据具体实施情况通过计算噪声影响程度的均值表征噪声影响指数，在此不做进一步赘述。

在本发明实施例中，噪声影响指数的获取方法在公式上表现为：

其中，

为深度图像的噪声影响指数，

为第

个像素点对应的噪声影响程 度，K为深度图像中像素点的数量，

为深度图像中像素点对应的序号。

此外，实施者也可通过其他方法获取噪声影响指数，例如计算噪声影响程度的均值表征噪声影响指数，在公式上表现为：

其中，公式中的参数含义与本发明实施例中噪声影响指数的获取方法对应的公式 相同，在此不做进一步赘述，且深度图像中的像素点数量

不可能为0，所以不会出现分母 为0的情况。

步骤S3：将RGBD图像对应的RGB图像通过高斯核卷积得到环境光图像，环境光图像中每个像素点对应一个环境光强度值；根据每个像素点预设邻域窗口内的环境光强度值的差异分布特征，得到环境光图像的环境光渐变复杂指数，根据噪声影响指数和环境光渐变复杂指数，得到RGBD图像的环境光噪声干扰指数。

至此，通过实际三维空间中的深度值连续性得到噪声影响指数，来初步衡量图像受到噪声影响的程度。当3D工业相机对应的光源是拍摄场景中的唯一光源，则仅根据深度值连续性所得到噪声影响指数能够作为深度图像受到噪声影响的衡量标准，但是3D工业相机的拍摄场景通常在室外，环境光一般远远超过相机自身的光源强度，造成3D工业相机所拍摄到的深度信息出现一定的错误或者缺失，且在深度图像上所呈现的特征与离散且突变的噪声特征并不相同，因此需要在噪声影响指数的基础上进行进一步的分析。

考虑到实际三维空间中被观察或者采集到的图像是由照度图像与反射图像组成的，但是决定物体的颜色是物体对光线的反射能力而不是光照强度，所以为了能够获得3D工业相机在拍摄过程中外界环境光照对深度图像产生的影响，需要在RGB图像的基础上获取环境光的光照强度；即为了获取物体真实的图像信息，需要消除环境光照对采集到的图像信息的影响。本发明实施例将RGBD图像对应的RGB图像通过高斯核卷积得到环境光图像，环境光图像中每个像素点对应一个环境光强度值。通过环境光图像表征外界环境光照对深度图像的影响。

优选地，环境光图像的获取方法包括：

根据RGB图像中的像素值将每个像素点作为预设高斯核的中心进行卷积，得到每个像素点对应的环境光照射分量，将每个像素点的环境光照射分量作为对应的环境光强度值，将环境光强度值替代RGB图像中每个像素点的像素值，得到环境光图像。基于颜色恒常知觉的计算理论（retina+cortex，retinex）即Retinex理论可知，入射分量即环境光照射分量由原始图像和高斯函数卷积得到，因此通过RGB图像与高斯核进行卷积获得环境光图像，本发明实施例以每个像素点为预设高斯核的中心，依据像素值进行卷积操作，得到每个像素点的环境光强度值，进一步获得对应的环境光图像。在本发明实施例中，预设高斯核大小设置为5×5。需要说明的是，Retinex理论为本领域技术人员所熟知的技术手段，在此不做进一步限定和赘述。

进一步地考虑到环境光在对3D工业相机所拍摄到的RGBD图像进行影响时，通常不是单独作用于某一个像素点而是作用于一个区域，对应的区域内环境光的强弱呈渐变趋势，根据该特点进一步得到环境光对RGBD图像的影响程度。本发明实施例根据每个像素点预设邻域窗口内的环境光强度值的差异分布特征，得到环境光图像的环境光渐变复杂指数。通过环境光渐变复杂指数表征环境光产生的噪声对RGBD图像的影响程度。

优选地，环境光渐变复杂指数的获取方法包括：

在环境光图像中任选一个像素点作为中心像素点，将中心像素点预设邻域窗口内其他像素点作为邻域像素点；将每个邻域像素点与中心像素点之间对应的环境光强度值差异，作为每个邻域像素点对应的环境光强渐变值。通过环境光强渐变值表征中心像素点与各个邻域像素点在环境光强度值的数值上的差异。对应的环境光强度值在数值上的差异越大，对应的环境光强渐变值越大，说明对应区域的环境光分布越不均匀或越复杂，对应的环境光渐变复杂指数越大。在本发明实施例中，预设邻域窗口的大小设置为3×3，即每个中心像素点对应8个邻域像素点。需要说明的是，实施者可根据具体实施环境自行设置预设邻域窗口的大小，在此不做进一步赘述。

将中心像素点指向每个邻域像素点对应的方向与水平面的夹角，作为每个邻域像素点的参考角度；根据环境光强渐变值和参考角度得到中心像素点的环境光强渐变均匀度。在环境光强渐变值的基础上，进一步根据环境光照射图像的渐变规律引入角度信息衡量环境光强渐变均匀度，使得所计算出的环境光强渐变均匀度更加符合实际情况。

优选地，根据环境光强渐变值和参考角度得到中心像素点的环境光强渐变均匀度包括：

将每个邻域像素点对应的环境光强渐变值与参考角度正弦值的乘积，作为每个邻域像素点的正弦影响渐变值；将每个邻域像素点对应的环境光强渐变值与参考角度的余弦值的乘积，作为每个邻域像素点的余弦影响渐变值；将所有邻域像素点对应的正弦影响渐变值累加值和余弦影响渐变值累加值的平方和进行开方后，通过负相关映射得到中心像素点的环境光强渐变均匀度。该过程根据每个邻域像素点参考角度，将邻域像素点对应的环境光强度渐变值分解为水平方向和竖直方向的分量，再将水平方向和竖直方向上的分量求和后再进行合成，使得不同方向上多个环境光强渐变值合成为一个参量，方便后续的对比从而筛选出噪声像素点。考虑到当正弦影响渐变值越大，余弦影响渐变值越大时，对应的环境光分布越不均匀，说明对应的环境光强渐变均匀度越小。

在本发明实施例中，中心像素点对应的像素点

环境光强渐变均匀度的获取方法 在公式上表现为：

其中，

为中心像素点对应的像素点

的环境光强渐变均匀度，

为第

个邻域像 素点对应的环境光强渐变值，

为第

个邻域像素点对应的参考角度，

为预设邻域窗口内 邻域像素点的数量，

为预设邻域窗口内邻域像素点的序号，

为预设第一调节参数，在本发 明实施例中，预设调节参数

设置为0.1；

为正弦函数，

为余弦函数。

表示第

个邻域像素点对应的正弦影响渐变值，

表示第

个邻域像素点对应的 余弦影响渐变值。需要说明的是，实施者可根据具体实施环境自行调节预设调节参数

的大 小，在此不做进一步赘述。

改变中心像素点得到所有像素点对应的环境光强渐变均匀度，将环境光图像中所有像素点的环境光强渐变均匀度的累加值进行负相关映射，得到环境光图像的环境光渐变复杂指数。由于环境光强渐变均匀度与环境光的均匀程度有关，且环境光的均匀程度越大时，对应的RGBD图像受到环境光的影响越小，对应的环境光渐变复杂指数也越小，所以环境光渐变复杂指数与环境光强渐变均匀度呈负相关。

在本发明实施例中，环境光渐变复杂指数的获取方法在公式上表现为：

其中，

为环境光图像对应的环境光渐变复杂指数，

为环境光图像中第

个像 素点对应的环境光强渐变均匀度，

为环境光图像中的像素点数量，

为环境光图像中像素 点的序号。需要说明的是，由于

不可能为0，且

的值总是大于0的，因此该公式中的分母 不可能为0。

此外，实施者也可通过其他形式的公式获取环境光渐变复杂指数，例如：

其中，

为环境光图像对应的环境光渐变复杂指数，

为环境光图像中第

个像 素点对应的环境光强渐变均匀度，

为环境光图像中的像素点数量，

为环境光图像中像素 点的序号，

为以自然常数e为底的指数函数。

至此得到了表征随机噪声强度的噪声影响指数和表征环境光照射产生的噪声强度的环境光渐变复杂指数，为了使得后续的滤波窗口选择更加准确，需要同时结合噪声影响指数和环境光渐变复杂指数来同时表征RGBD图像受到噪声影响的真实情况。本发明实施例根据噪声影响指数和环境光渐变复杂指数，得到RGBD图像的环境光噪声干扰指数，通过环境光噪声干扰指数表征RGBD图像的噪声特征。

优选地，环境光噪声干扰指数的获取方法包括：

将噪声影响指数和环境光渐变复杂指数的乘积进行正相关映射，得到RGBD图像的环境光噪声干扰指数。由于噪声影响指数越大，环境光渐变复杂指数越大时，RGBD图像受到噪声的影响越大，而环境光噪声干扰指数表征RGBD图像受到噪声影响的程度，所以环境光噪声干扰指数与噪声影响指数呈正相关，环境光噪声干扰指数与环境光渐变复杂指数也呈正相关。本发明实施例在计算噪声影响指数和环境光渐变复杂指数的乘积后，将该乘积通过以自然常数e为底的指数函数进行映射得到对应的映射值，通过数值一减去该映射值得到环境光噪声干扰指数。需要说明的是，实施者也可通过其他方式根据环境光渐变复杂指数和噪声影响指数获得环境光噪声干扰指数，例如直接将环境光渐变复杂指数和噪声影响指数的乘积进行归一化得到环境光噪声干扰指数，或者将环境光渐变复杂指数和噪声影响指数的和值进行归一化等，在此不做进一步赘述。

在本发明实施例中，环境光噪声干扰指数的获取方法在公式上表现为：

其中，

为环境光噪声干扰指数，

为噪声影响指数，

为环境光渐变复杂指 数，

为以自然常数e为底的指数函数。当噪声影响指数

越大时，说明RGBD图像中的 离散噪声越多；当环境光渐变复杂指数

越大时，说明环境光分布地越分散，受到外界环境 的干扰越复杂。

此外，实施者也可通过其他形式的公式获取环境光噪声干扰指数，例如：

其中，

为环境光噪声干扰指数，

为噪声影响指数，

为环境光渐变复杂指 数，

为归一化函数。

步骤S4：基于RGBD图像的边长获取初始滤波窗口，根据环境光噪声干扰指数对初始滤波窗口进行优化得到优化滤波窗口，通过优化滤波窗口对RGBD图像进行智能去噪。

通过步骤S3得到表征RGBD图像受到外界离散噪声和环境光影响的环境光噪声干扰指数，考虑到再通过滤波窗口对图像进行滤波去噪处理时，对应的图像受到外界环境的干扰越复杂时，为了保证滤波的效果，通常需要较大的滤波窗口；而当图像受到外界环境的干扰较小时，为了保留图像的细节纹理，通常需要较小的滤波窗口。因此滤波窗口的大小与环境光噪声干扰指数呈正相关。本发明实施例基于RGBD图像的边长获取初始滤波窗口，根据环境光噪声干扰指数对初始滤波窗口进行优化得到优化滤波窗口。首先根据图像边长获取自适应大小的初始滤波窗口，进一步根据环境光噪声干扰指数对初始滤波窗口大小进行调整。

优选地，初始滤波窗口的获取方法包括：

将RGBD图像边长通过预设缩放倍率进行缩放，得到初始滤波窗口的边长。在本发明实施例中，预设缩放倍率设置为10，即将RGBD图像边长的十分之一作为初始滤波窗口的边长。需要说明的是，实施者可根据具体实施环境自行调整预设缩放倍率的大小，且由于RGBD图像为正方形图像，所以初始滤波窗口对应的长和宽相等且均为RGBD图像对应长度的十分之一，例如RGBD图像对应的长度和宽度均为100时，将RGBD图像边长的十分之一作为初始滤波窗口的边长，即对应初始滤波窗口的长度和宽度为10，在此不做进一步赘述。

优选地，优化滤波窗口的获取方法包括：

将环境光噪声干扰指数与初始滤波窗口边长的乘积作为优化滤波窗口边长，根据优化滤波窗口边长得到优化滤波窗口。由于环境光噪声干扰指数越大时，对应的RGBD图像受到外界环境的干扰越复杂，因此优化滤波窗口边长的大小与环境光噪声干扰指数呈正相关，即环境光噪声干扰指数越大，对应的优化滤波窗口边长越大。例如当初始滤波窗口边长为10，即初始滤波窗口的长和宽都为10，对应的环境光干扰指数为1.5，则优化滤波窗口边长即为15，即优化滤波窗口的长和宽都为15。

在本发明实施例中，优化滤波窗口边长的获取方法在公式上表现为：

其中，

为优化滤波窗口边长，

为初始滤波窗口边长，

为环境光噪声干扰指 数。

最后通过优化滤波窗口对RGBD图像进行智能去噪。在本发明实施例中，通过优化滤波窗口滑动遍历RGBD图像，对每个优化滤波窗口进行中值滤波实现对RGBD图像的智能去噪。需要说明的是，实施者可根据具体实施环境采用中值滤波外的其他窗口滤波方式实现滤波去噪，例如均值滤波等，且中值滤波和均值滤波等其他窗口滤波方式均为本领域技术人员所熟知的现有技术，在此不做进一步限定和赘述。

综上所述，本发明根据RGBD图像对应深度图像中噪声的离散特征获取对应的噪声影响指数，根据RGBD图像对应RGB图像通过高斯核卷积获取环境光图像，根据环境光图像中环境光强度值的差异分布特征获取环境光渐变复杂指数，根据环境光渐变复杂指数和噪声影响指数获取对应的环境光噪声干扰指数，通过环境光噪声干扰指数自适应调整初始滤波窗口的大小获取优化滤波窗口，通过优化滤波窗口实现对RGBD图像的智能去噪。本发明在去噪的效果更好的同时，具有良好的适应性。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

Claims (10)

1.用于3D工业相机的图像智能去噪方法，其特征在于，所述方法包括：

获取RGBD图像；

在RGBD图像对应的深度图像中根据像素点的深度值的离散特征，得到每个像素点的噪声强度；根据每个像素点预设邻域范围内的噪声强度的分布特征，得到深度图像的噪声影响指数；

将RGBD图像对应的RGB图像通过高斯核卷积得到环境光图像，所述环境光图像中每个像素点对应一个环境光强度值；根据每个像素点预设邻域窗口内的环境光强度值的差异分布特征，得到环境光图像的环境光渐变复杂指数，根据所述噪声影响指数和所述环境光渐变复杂指数，得到RGBD图像的环境光噪声干扰指数；

基于所述RGBD图像的边长获取初始滤波窗口，根据所述环境光噪声干扰指数对初始滤波窗口进行优化得到优化滤波窗口，通过优化滤波窗口对所述RGBD图像进行智能去噪。

2.根据权利要求1所述的用于3D工业相机的图像智能去噪方法，其特征在于，所述噪声强度的获取方法包括：

将所述深度图像划分为预设第一数量个形状大小相同的图像块，在每个图像块中通过孤立森林算法根据每个像素点的深度值计算对应的异常值分数，将每个像素点的异常值分数作为对应的噪声强度。

3.根据权利要求1所述的用于3D工业相机的图像智能去噪方法，其特征在于，所述噪声影响指数的获取方法包括：

将所述噪声强度按数值大小平均划分为预设第二数量个噪声强度等级，根据噪声强度等级获取像素点的连通域；任选一个像素点作为目标像素点，在目标像素点预设邻域范围内以噪声强度等级为行、以连通域面积为列构建初始噪声区域大小矩阵，所述初始噪声区域大小矩阵中的每个元素的元素值表征同一噪声强度等级和同一连通域面积的出现次数；

将所述初始噪声区域大小矩阵中的每个元素的元素值进行归一化，得到最终噪声区域大小矩阵，所述最终噪声区域大小矩阵中每个元素的元素值为同一噪声强度等级和同一连通域面积的出现次数的归一化值；将每个元素的元素值、对应的噪声强度等级和对应的连通域面积之间的乘积，作为每个元素的噪声特征值，将每个元素的噪声特征值累加得到目标像素点对应的噪声影响程度；

改变目标像素点得到所有像素点对应的噪声影响程度，将所有像素点对应的噪声影响程度累加，得到深度图像的噪声影响指数。

4.根据权利要求1所述的用于3D工业相机的图像智能去噪方法，其特征在于，所述环境光图像的获取方法包括：

基于RGB图像中每个像素点的像素值，将每个像素点作为预设高斯核的中心进行卷积，得到每个像素点对应的环境光照射分量，将每个像素点的环境光照射分量作为对应的环境光强度值，将环境光强度值替代所述RGB图像中每个像素点的像素值，得到环境光图像。

5.根据权利要求1所述的用于3D工业相机的图像智能去噪方法，其特征在于，所述环境光渐变复杂指数的获取方法包括：

在环境光图像中任选一个像素点作为中心像素点，将所述中心像素点预设邻域窗口内其他像素点作为邻域像素点；

将每个邻域像素点与中心像素点之间对应的环境光强度值差异，作为每个邻域像素点对应的环境光强渐变值；将中心像素点指向每个邻域像素点对应的方向与水平面的夹角，作为每个邻域像素点的参考角度；根据环境光强渐变值和参考角度得到中心像素点的环境光强渐变均匀度；

改变中心像素点得到所有像素点对应的环境光强渐变均匀度，将所述环境光图像中所有像素点的环境光强渐变均匀度的累加值进行负相关映射，得到环境光图像的环境光渐变复杂指数。

6.根据权利要求5所述的用于3D工业相机的图像智能去噪方法，其特征在于，所述根据环境光强渐变值和参考角度得到中心像素点的环境光强渐变均匀度包括：

将每个邻域像素点对应的环境光强渐变值与参考角度的正弦值的乘积，作为每个邻域像素点的正弦影响渐变值；将每个邻域像素点对应的环境光强渐变值与参考角度的余弦值的乘积，作为每个邻域像素点的余弦影响渐变值；将所有邻域像素点对应的正弦影响渐变值的累加值和余弦影响渐变值的累加值的平方和进行开方后，通过负相关映射得到中心像素点的环境光强渐变均匀度。

7.根据权利要求1所述的用于3D工业相机的图像智能去噪方法，其特征在于，所述环境光噪声干扰指数的获取方法包括：

将所述噪声影响指数和所述环境光渐变复杂指数的乘积进行正相关映射，得到RGBD图像的环境光噪声干扰指数。

8.根据权利要求1所述的用于3D工业相机的图像智能去噪方法，其特征在于，所述初始滤波窗口的获取方法包括：

将所述RGBD图像边长通过预设缩放倍率进行缩放，得到初始滤波窗口边长，根据初始滤波窗口边长得到初始滤波窗口。

9.根据权利要求1所述的用于3D工业相机的图像智能去噪方法，其特征在于，所述优化滤波窗口的获取方法包括：

将所述环境光噪声干扰指数与初始滤波窗口边长的乘积作为优化滤波窗口边长，根据所述优化滤波窗口边长得到优化滤波窗口。

10.根据权利要求3所述的用于3D工业相机的图像智能去噪方法，其特征在于，所述根据噪声强度等级获取像素点的连通域包括：

将相邻且噪声强度等级相同的像素点合并，得到对应的连通域。

Images