CN115797229B - 图像处理方法及装置 - Google Patents

Abstract

本申请公开了一种图像处理方法及装置，该方法中图像处理设备在获取深度图像之后，对于深度图像中的每列像素，可以基于该列像素中的参考像素的深度值确定深度值范围。若位于该参考像素之后的目标像素的深度值位于该深度值范围之外，且该目标像素的个数小于个数阈值，则可以滤除该目标像素。由于无需采用人工的方式对深度图像去噪，因此提高了对深度图像去噪的效率和准确性，提高了图像处理的效率和准确性，且降低了人工成本。

Description

图像处理方法及装置

技术领域

本申请涉及计算机领域，具体涉及一种图像处理方法及装置。

背景技术

在自动驾驶任务的数据集构建中，如何构造稠密、准确的深度图像，是对于后续感知模型的训练和改进有重大影响的问题。

相关技术中，在获取到深度图像后，标注人员可以框选该深度图像明显错误的像素，进而滤除该部分像素，由此去除深度图像中的噪声，实现对深度图像的处理。但是该种方式的效率和准确性较低。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本申请的一个目的在于提出一种图像处理方法及装置，该方法中图像处理设备在获取深度图像之后，对于深度图像中的每列像素，可以基于该列像素中的参考像素的深度值确定深度值范围，若位于该参考像素之后的目标像素的深度值位于该深度值范围之外，且该目标像素的个数小于个数阈值，则可以滤除该目标像素。由于无需采用人工的方式对深度图像去噪，因此提高了对深度图像去噪的效率和准确性，提高了图像处理的效率和准确性，且降低了人工成本。

一方面，提供了一种图像处理方法，方法包括：

获取深度图像；

对于深度图像中的每列像素，基于列像素中参考像素的深度值确定深度值范围，深度值范围与参考像素的深度值正相关；

若位于参考像素之后的目标像素的深度值位于深度值范围之外，且目标像素的个数小于个数阈值，则滤除目标像素。

可选的，深度值范围的下限值等于第一预设值，深度值范围的上限值等于第二预设值与参考像素的深度值的乘积，其中，第二预设值大于第一预设值。

可选的，第一预设值等于0，第二预设值大于或等于1。

可选的，在基于列像素中参考像素的深度值确定深度值范围之后，方法还包括：

基于参考像素的深度值和第一预设参数，确定目标个数，目标个数与第一预设参数正相关；

将目标个数和预设个数中最大的值确定为个数阈值。

可选的，基于参考像素的深度值和第一预设参数，确定目标个数，包括：

将第一预设参数与参考值的比值确定为目标个数；

其中，参考值为第二预设参数和参考像素的深度值中最大的值。

可选的，预设个数和第二预设参数均为1。

可选的，在基于列像素中参考像素的深度值确定深度值范围之前，方法还包括：

将列像素的第一个像素确定为第一个参考像素；

若位于目标参考像素之后的目标像素的个数大于或等于个数阈值，则将第个数阈值个目标像素确定为下一个参考像素，目标参考像素包括第一个参考像素或位于第一个参考像素之后的参考像素；

若位于目标参考像素之后的目标像素的个数小于个数阈值，则将位于最后一个目标像素之后且相邻的像素确定为下一个参考像素；

若位于目标参考像素之后的第一个像素的深度值位于深度值范围内，则将第一个像素确定为下一个参考像素。

可选的，获取深度图像，包括：

获取多帧时间连续的点云，多帧时间连续的点云是激光雷达传感器采集的；

基于多帧时间连续的点云确定多个点云组，每个点云组包括至少一帧点云；

对于每个点云组，滤除点云组中除当前帧点云之外的参考帧点云中的运动对象，将当前帧点云和滤除处理后的参考帧点云进行融合，得到第一融合点云，以及将点云组中的相同物体进行融合，得到每个物体的第二融合点云；

将第一融合点云与至少一帧第二融合点云进行合并，得到稠密点云，并将稠密点云转换为深度图像。

可选的，在获取深度图像之后，方法还包括：

对深度图像进行深度补全处理。

另一方面，提供了一种计算机可读存储介质，其上存储有图像处理程序，图像处理程序被处理器执行时实现上述方面所述的图像处理方法。

又一方面，提供了一种图像处理设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的图像处理程序，处理器执行图像处理程序时，实现上述方面所述的图像处理方法。

又一方面，提供了一种图像处理装置，装置包括：

获取模块，用于获取深度图像；

确定模块，用于对于深度图像中的每列像素，基于列像素中参考像素的深度值确定深度值范围，深度值范围与参考像素的深度值正相关；

滤除模块，用于若位于参考像素之后的目标像素的深度值位于深度值范围之外，且目标像素的个数小于个数阈值，则滤除目标像素。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

图1是本申请实施例提供的一种深度图像出现错位现象的示意图；

图2是采用本申请实施例提供的图像处理方法对深度图像处理的示意图；

图3是本申请实施例提供的一种图像处理方法的流程图；

图4是本申请实施例提供的另一种图像处理方法的流程图；

图5是本申请实施例提供的一种图像处理设备的结构示意图；

图6是本申请实施例提供的一种图像处理装置的框图；

图7是本申请实施例提供的另一种图像处理装置的框图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

在自动驾驶任务的数据集构建中，如何构造稠密、准确的深度图像，是对于后续感知模型的训练和改进有重大影响的问题。

相关技术中，在获取到深度图像后，标注人员可以框选该深度图像明显错误的像素，进而滤除该部分像素，由此去除深度图像中的噪声，实现对深度图像的处理。但是该种方式的效率和准确性较低。

或者，图像处理设备可以分别通过激光雷达（laser radar，Lidar）传感器和双目相机获得一帧深度图像，并比较两帧深度图像中相同位置的像素。若该两个像素的深度值的差值小于差值阈值，则可以将目标深度图像中相同位置的深度值更新为该两个像素的深度值的均值。若该差值大于或等于差值阈值，则可以将目标深度图像中相同位置的像素滤除。其中，该目标深度图像可以为激光雷达获取的深度图像，或者，也可以是双目相机获取的深度图像。

但是，在实际应用过程中，车辆中同时安装激光雷达和双目相机会带来额外的标定困难、设备成本以及通信带宽占用的问题。由于一个双目相机所能覆盖的视野范围有限，因此车辆中需要安装多个双目相机以覆盖360°视角。且双目相机深度估计只能在左右两帧图像的重合区域提取到深度值，因此要求该左右两帧图像有较大的重合区域。

此外，通过比对激光雷达和双目相机所获取的深度图像仅能够消除部分噪声，因此仍然需要标注人员对目标深度图像中的像素进行进一步筛选，并滤除有噪声的像素，由此消耗大量人力且效率较低。

如图1所示，对场景10拍摄得到深度图像20，该深度图像20中的区域001和区域002中远近像素（即深度值大的像素和深度值小的像素）交错在一起，导致区域001和区域002存在深度错位现象。

本申请的申请人通过观察深度图像发现，若深度图像未出现错位现象，则对于深度图像的每一列像素，从上往下像素的深度值是单调降低的（即越来越靠近相机）。若深度图像存在深度错位现象，则位于深度错位现象的位置处的像素的深度值不满足这一规律。

此外，即便是深度图像未发生错位现象，该每列像素的深度值单调降低的假设也并非总是成立。例如，街道边有一个悬空的广告牌，那么从上而下检查该列像素的深度值，在遇到广告牌时，像素的深度值首先会降低，在离开广告牌时，像素的深度值又会重新变高。在该过程中，该列像素的深度值的变化并非是单调降低的。但是，该列像素可以包括多个像素组，每个像素组的深度值符合单调降低的假设，即该像素组的深度值处于一个单调区间。且相邻两个像素组所相邻的两个像素的深度值不符合该单调降低的假设。

本申请实施例提供了一种图像处理方法，该方法中图像处理设备在获取深度图像之后，对于深度图像中的每列像素，可以基于该列像素中的参考像素的深度值确定深度值范围，若位于该参考像素之后的目标像素的深度值位于该深度值范围之外，且该目标像素的个数小于个数阈值，则可以滤除该目标像素。由于无需采用人工的方式对深度图像去噪，因此提高了对深度图像去噪的效率和准确性，提高了图像处理的效率和准确性，且降低了人工成本。并且本申请实施例提供的图像处理方法无需将激光雷达获取的深度图像和双目相机获取的深度图像对比，以实现对深度图像去噪，因此提高了对深度图像去噪的效率和准确性，提高了图像处理的效率和准确性。

参考图2，采用本申请实施例提供的图像处理方法在对该深度图像20进行处理之后，区域001和区域002中的远近像素并未交错在一起，因此该区域001和区域002不存在深度错位现象。

图3是本申请实施例提供的一种图像处理方法的流程图，该方法可以应用于图像处理设备中。如图3所示，该方法包括：

步骤301、获取深度图像。

图像处理设备可以响应于图像处理指令，获取深度图像。

步骤302、对于深度图像中的每列像素，基于列像素中参考像素的深度值确定深度值范围。

图像处理设备在获取深度图像之后，对于深度图像中的每列像素，基于列像素中参考像素的深度值确定深度值范围，其中，该深度值范围与该参考像素的深度值正相关。

步骤303、若位于参考像素之后的目标像素的深度值位于深度值范围之外，且目标像素的个数小于个数阈值，则滤除目标像素。

图像处理设备在基于列像素中参考像素的深度值确定深度值范围之后，若位于参考像素之后的目标像素的深度值位于深度值范围之外，且目标像素的个数小于个数阈值，则可以滤除该目标像素。

综上所述，本申请实施例提供了一种图像处理方法，该方法中图像处理设备在获取深度图像之后，对于深度图像中的每列像素，可以基于该列像素中的参考像素的深度值确定深度值范围。若位于该参考像素之后的目标像素的深度值位于该深度值范围之外，且该目标像素的个数小于个数阈值，则可以滤除该目标像素。由于无需采用人工的方式对深度图像去噪，因此提高了对深度图像去噪的效率和准确性，提高了图像处理的效率和准确性，且降低了人工成本。

并且本申请实施例提供的图像处理方法无需将激光雷达获取的深度图像和双目相机获取的深度图像对比，以实现对深度图像去噪，因此提高了对深度图像去噪的效率和准确性，提高了图像处理的效率和准确性。

图4是本申请实施例提供的另一种图像处理方法的流程图，该方法可以应用于图像处理设备中。如图4所示，该方法可以包括：

步骤401、获取深度图像。

在本申请实施例中，图像处理设备可以响应于图像处理指令，获取深度图像。

在本申请实施例一种可选的实现方式中，图像处理设备中可以预先存储多帧深度图像。图像处理设备可以响应于图像处理指令，从该多帧深度图像中获取一帧深度图像。

在本申请实施例另一种可选的实现方式中，图像处理设备可以采用下述步骤A1至步骤A6获取深度图像。

A1、获取多帧时间连续的点云。

图像处理设备中可以预先存储多帧时间连续的点云，其中，该多帧时间连续的点云可以是激光雷达传感器采集的。示例的，图像处理设备可以获取100帧时间连续的点云。

A2、基于多帧时间连续的点云确定多个点云组。

图像处理设备在获取多帧时间连续的点云之后，可以基于该多帧时间连续的点云确定多个点云组，该每个点云组可以包括至少一帧点云，若该点云组包括多帧点云，则该多帧点云的时间连续。该多个点云组中第一点云组的第一帧点云与第二点云组的第一帧点云相邻，且该第一点云组和该第二点云组相邻。

示例的，若图像处理设备获取了八帧时间连续的点云，则图像处理设备可以将第一帧至第五帧点云确定为一个点云组，将第二帧至第六帧点云确定为一个点云组，将第三帧至第七帧点云确定为一个点云组，将第四帧至第八帧点云确定为一个点云组。

A3、对于每个点云组，滤除该点云组中除当前帧点云之外的参考帧点云中的运动对象，并将该当前帧点云和滤除处理后的参考帧点云进行合并，得到目标帧点云。

图像处理设备在确定多个点云组之后，对于每个点云组，图像处理设备可以滤除该点云组中除当前帧点云之外的参考帧点云中的运动对象。其中，该当前帧点云可以是该点云组中的任一帧点云，示例的，若该点云组包括五帧点云，则该当前帧点云可以是该点云组中的第三帧点云。

在本申请实施例中，图像处理设备可以获取参考帧点云中每个对象的速度，若该对象的速度大于速度阈值，则可以将该对象确定为运动对象，并可以滤除该运动对象。若该对象的速度小于或等于速度阈值，则可以保留该对象。其中，该图像处理设备中可以预先存储每帧点云中对象的速度标签，该速度标签用于指示该对象的速度。示例的，该对象可以是树木、人物或车辆等。

图像处理设备在滤除该参考帧点云中的运动对象之后，可以将该当前帧点云和滤除处理后的参考帧点云进行合并，得到目标帧点云。

在本申请实施例中，图像处理设备可以将滤除处理后的参考帧点云中的每个点从参考帧点云的坐标系转换到当前帧点云的坐标系下，由此得到第一融合点云，从而保证静止物体在各帧的点云是重合的。

可选的，对于每帧滤除处理后的参考帧点云中的每个点，该点在当前帧点云的坐标系下的位置可以满足：。

其中，该可以是该点在参考帧点云的坐标系下的位置，该可以是该点在当前帧点云的坐标系下的位置， M可以是第一旋转矩阵，该第一旋转矩阵可以是根据激光雷达传感器在获取参考帧点云，以及获取当前帧点云时车辆的相对角度确定。可以是参考帧点云与当前帧点云的速度向量。

图像处理设备中可以预先存储激光雷达传感器采集每帧点云时车辆的位移，并可以根据该位移确定参考帧点云与当前帧点云的速度向量。其中，车辆中可以设置惯性测量单元（inertial measurement unit，IMU）传感器，该IMU传感器用于检测激光雷达传感器在采集每帧点云时车辆的位移。

A4、将点云组中的相同物体进行融合，得到每个物体的第二融合点云。

图像处理设备在得到第一融合点云之后，还可以将点云组中的相同物体的进行融合，得到每个物体的第二融合点云。其中，该相同物体指的是同一个物体。该物体可以包括车辆或树木等。

对于每个物体，图像处理设备可以将参考帧点云中的该物体从参考帧点云的坐标系下转换到当前帧点云的坐标系下，由此得到该物体的第二融合点云。

其中，该物体的每个点在当前帧点云的坐标系下的位置可以满足：

。

其中，可以是该点在参考帧点云的坐标系下的位置，该可以是该点在当前帧点云的坐标系下的位置， N可以是第二旋转矩阵，该第二旋转矩阵可以是根据该帧点云中该物体与车辆的相对角度确定。可以是物体的中心点在参考帧点云的坐标系的位置。

在本申请实施例中，图像处理设备确定第二融合点云之后，可以存储该第二融合点云。若该第二融合点云中点的数量大于或等于预设阈值，则可以将该第二融合点云中的部分点滤除，由此节省第二融合点云所占用的存储空间。若该第二融合点云中点的数量小于预设阈值，则可以直接存储该第二融合点云。其中，图像处理设备中可以预先存储该预设阈值。

可选的，图像处理设备可以随机丢弃部分点。示例的，该预设阈值可以为2000。

A5、将第一融合点云与至少一帧第二融合点云进行合并，得到稠密点云。

图像处理设备在确定第一融合点云和至少一帧第二融合点云之后，可以将该第一融合点云与至少一帧第二融合点云进行合并，得到稠密点云。并且，该稠密点云的稠密度是激光雷达传感器采集的点云的稠密度的1倍~5倍。

A6、将稠密点云转换为深度图像。

图像处理设备在得到该稠密点云之后，可以将该稠密点云转换为深度图像。在本申请实施例中，图像处理设备可以根据相机的内外参将该稠密点云投影至相机坐标系下，由此得到深度图像。

本申请实施例提供的方法能够在较少人工干预的情况下，基于激光雷达传感器采集的点云确定较为稠密的深度图像，并尽可能减少错误像素。

可以理解的是，对于每个点云组，图像处理设备通过执行上述步骤可以确定出一帧稠密点云，由此可以得到与多个点云组一一对应的多帧稠密点云。因此图像处理设备可以将多帧稠密点云转换为多帧深度图像。

在本申请实施例中，车辆中可以设置一个雷达传感器和多个相机，例如，6个相机。该多个相机均为普通的彩色相机。且该多个相机均匀排布于车辆的各个方向，由此能够提供360°覆盖的环视图像。

在本申请实施例中，由于多个相机的内外参不同，因此图像处理设备在确定稠密点云之后，可以基于每个相机的内外参，将该稠密点云转换为深度图像。

步骤402、对深度图像进行深度补全处理。

图像处理设备在获取深度图像之后，还可以对该深度图像进行深度补全处理。

可选的，该图像处理设备可以采用深度补全算法对该深度图像进行深度补全处理。其中，该深度补全算法可以包括卷积空间传播网络（convolutional spatialpropagation network，CSPN）和CSPN++等。

由于深度图像中的深度值可能较为稀疏，采用深度补全算法对该深度图像进行深度补全处理。由此可以在保证该深度图像中原有深度值不被改变的情况下，增加深度图像中深度值的稠密性，确保深度图像中的所有位置都有深度值，进而提高深度图像的利用率。

步骤403、对于深度图像中的每列像素，从列像素中确定参考像素。

图像处理设备在获取深度图像之后，可以遍历该深度图像中的每列像素。对于该深度图像中的每列像素，图像处理设备可以从上往下依次遍历该列像素中的每个像素，并从该列像素中确定参考像素。

可选的，图像处理设备可以将该列像素的第一个像素确定为第一个参考像素，之后可以执行下述步骤404至步骤406。

若位于目标参考像素之后的目标像素的个数大于或等于个数阈值，则图像处理设备可以将第个数阈值个目标像素确定为下一个参考像素，其中，该目标参考像素可以包括第一个参考像素或位于该第一个参考像素之后的参考像素。

示例的，若个数阈值为4，位于目标参考像素之后的目标像素的个数为6，则图像处理设备可以将第4个目标像素确定为下一个参考像素。

可选的，若该目标像素的个数为多个，则该多个目标像素为该列像素中位于目标参考像素之后，且与该目标参考像素相邻的多个连续的像素。示例的，若目标像素的个数为4个，则该4个目标像素可以为位于目标参考像素之后，且与该目标参考像素相邻的第一个像素至第四个像素。

若位于目标参考像素之后的目标像素的个数小于个数阈值，则图像处理设备可以将在最后一个目标像素之后，且与最后一个目标像素相邻的像素确定为下一个参考像素。

若位于该目标参考像素之后的第一个像素的深度值位于深度值范围内，则图像处理设备可以将该第一个像素确定为下一个参考像素。

可选的，若目标参考像素包括第一个参考像素，则图像处理设备在确定第一个参考像素之后，在执行下述步骤406的过程中，若确定位于第一个参考像素之后的目标像素的个数等于个数阈值，则可以将位于第一个参考像素之后第个数阈值个目标像素确定为第二个参考像素。若确定位于第一个参考像素之后的第一个像素的深度值该深度值范围内，则可以将该第一个像素确定为第二个参考像素。图像处理设备在确定第二个参考像素之后，可以继续执行下述步骤404至步骤406，依次类推直至遍历该列像素中的所有像素。

示例的，若个数阈值为4，且位于第一个参考像素之后的四个目标像素的深度值均位于深度值范围之外，则图像处理设备可以将位于第一个参考像素之后的第四个目标像素确定为第二个参考像素。

步骤404、基于参考像素的深度值确定深度值范围。

图像处理设备在确定一个参考像素之后，可以基于该参考像素的深度值，确定深度值范围。

其中，该深度值范围的下限值可以等于第一预设值，该深度值范围的上限值可以等于第二预设值与参考像素的深度值的乘积。该第二预设值大于第一预设值，该图像处理设备中可以预先存储该第一预设值和第二预设值。示例的，该第一预设值可以等于0，第二预设值λ可以大于或等于1。该λ等于1时，表明深度值单调下降或者不变，该λ大于1时，表明深度值回落一段距离。示例的，λ可以等于1.5。

若该第一预设值等于0，则该深度值范围可以满足：。其中，该 d可以为该参考像素的深度值。

步骤405、确定个数阈值。

图像处理设备在基于参考像素的深度值确定深度值范围之后，还可以确定个数阈值。

可选的，图像处理设备可以基于该参考像素的深度值和第一预设参数，确定目标个数，并可以将该目标个数和预设个数中最大的值确定为个数阈值。

其中，该目标个数与该第一预设参数正相关。该图像处理设备中可以预先存储该第一预设参数和预设个数，示例的，该第一预设参数可以为100或者200，该预设个数可以为1。

可选的，图像处理设备可以将该第一预设参数与参考值的比值确定为目标个数，其中，该参考值可以为第二预设参数和参考像素的深度值中最大的值。图像处理设备中可以预先存储该第二预设参数，示例的，该第二预设参数可以为1。

若第二预设参数为1，则该目标个数可以满足：，该可以为第一预设参数。

若第二预设参数和预设个数均为1，则该个数阈值可以满足：。

步骤406、若位于参考像素之后的目标像素的深度值位于深度值范围之外，且目标像素的个数小于个数阈值，则滤除目标像素。

图像处理设备在基于参考像素的深度值确定深度值范围和个数阈值之后，若位于该参考像素之后的目标像素的深度值位于深度值范围之外，且该目标像素的个数小于个数阈值，则可以确定该目标像素出现错位现象，因此可以滤除该目标像素。

若位于该参考像素之后的第一个像素的深度值位于该深度值范围内，则可以继续执行上述步骤403，以将该第一个像素确定为下一个参考像素。

若位于该参考像素之后的目标像素的个数大于或等于个数阈值，则图像处理设备可以确定位于参考像素之后的目标像素的深度值属于一个新的单调区间。因此可以再次执行上述步骤403，以将第个数阈值个目标像素确定为下一个参考像素。在该种情况下，图像处理设备可以滤除位于第个数阈值之前的目标像素，或者，也可以保留该位于第个数阈值之前的目标像素。

若位于该参考像素之后的目标像素的个数小于个数阈值，则图像处理设备可以再次执行步骤403，以将在最后一个目标像素之后且相邻的像素确定为下一个参考像素。

此外，由于该深度值范围的上限值与参考像素的深度值正相关，若位于该参考像素之后的目标像素的深度值位于深度值范围之外，且该目标像素的个数小于个数阈值，则图像处理设备可以确定该目标像素存在错位现象，因此可以滤除该目标像素。

由于深度值范围的上限值与参考像素的深度值正相关，因此参考像素的深度值越大，深度值范围的上限值越大，相应的，个数阈值越小，相应的，滤除的目标像素的个数越少。由此可以看出，基于参考像素的深度值所确定的深度值范围和个数阈值滤除目标像素，可以有效弱化了对远处深度数据的限制，并强化了近处数据的约束。并且在滤除异常像素的同时，保留了深度图像的细节。

由于深度图像中深度错位现象在近处比较明显，因此基于参考像素的深度值确定的深度值范围和个数阈值滤除目标像素，可以有效确保对深度图像处理的准确性。

以下为图像处理设备执行上述步骤402至步骤406的代码：

defnoise_filter(sparse_depth_map,lambda_=1.5,max_age_ratio=60,

max_depth=1e9)

rows,cols=sparse_depth_map.shape /取得图像尺寸/

dense_depth=depth_completion(sparse_depth_map)/应用现有深度补全方法/

for c inrange(cols)    /遍历每一列/

pre_depth=max_depth  /初始化pre_depth/

age=0                /初始化age/

for r in range(rows):  /这一列自上往下遍历/

ifdense_depth[r,c]<=pre_depth*lambda_:  /位于深度值范围内/

pre_depth=dense_depth[r,c]/更新pre_depth/

age=0    /目标像素的计数清0/

else if sparse_depth_map[r,c]>=0:

sparse_depth_map[r,c]=-1/删除目标像素/

age+=1   /目标像素的计数+1/

max_age=max(1,1/max(dense_depth[r,c],1)*max_age_ratio)/设置个数阈值/

ifage>=max_age:/目标像素的数量大于或等于个数阈值/

age=0

pre_depth=max_depth

returnsparse_depth_map。

综上所述，本申请实施例提供了一种图像处理方法，该方法中图像处理设备在获取深度图像之后，对于深度图像中的每列像素，可以基于该列像素中的参考像素的深度值确定深度值范围。若位于该参考像素之后的目标像素的深度值位于该深度值范围之外，且该目标像素的个数小于个数阈值，则可以滤除该目标像素。由于无需采用人工的方式对深度图像去噪，因此提高了对深度图像去噪的效率和准确性，提高了图像处理的效率和准确性，且降低了人工成本。

并且本申请实施例提供的图像处理方法无需将激光雷达获取的深度图像和双目相机获取的深度图像对比，以实现对深度图像去噪，因此提高了对深度图像去噪的效率和准确性，提高了图像处理的效率和准确性。

图5是本申请实施例提供的一种图像处理设备的结构示意图，如图5所示，包括存储器501、处理器502及存储在存储器501上并可在处理器502上运行的图像处理程序，处理器502执行图像处理程序时，实现上述实施例所述的图像处理方法。例如，上述图3或图4所示的图像处理方法。

图6是本申请实施例提供的一种图像处理装置的框图，如图6所示，该装置包括：

获取模块601，用于获取深度图像。

第一确定模块602，用于对于深度图像中的每列像素，基于列像素中参考像素的深度值确定深度值范围，深度值范围与参考像素的深度值正相关。

滤除模块603，用于若位于参考像素之后的目标像素的深度值位于深度值范围之外，且目标像素的个数小于个数阈值，则滤除目标像素。

综上所述，本申请实施例提供了一种图像处理装置，该装置中图像处理设备在获取深度图像之后，对于深度图像中的每列像素，可以基于该列像素中的参考像素的深度值确定深度值范围，若位于该参考像素之后的目标像素的深度值位于该深度值范围之外，且该目标像素的个数小于个数阈值，则可以滤除该目标像素。由于无需采用人工的方式对深度图像去噪，因此提高了对深度图像去噪的效率和准确性，提高了图像处理的效率和准确性，且降低了人工成本。

可选的，深度值范围的下限值等于第一预设值，深度值范围的上限值等于第二预设值与参考像素的深度值的乘积，其中，第二预设值大于第一预设值。

可选的，第一预设值等于0，第二预设值大于或等于1。

参考图7，该装置还可以包括：

第二确定模块604，用于在基于列像素中参考像素的深度值确定深度值范围之后，基于参考像素的深度值和第一预设参数，确定目标个数，目标个数与第一预设参数正相关。

第三确定模块605，用于将目标个数和预设个数中最大的值确定为个数阈值。

可选的，第二确定模块604，用于：

将第一预设参数与参考值的比值确定为目标个数。

其中，参考值为第二预设参数和参考像素的深度值中最大的值。

可选的，预设个数和第二预设参数均为1。

参考图7，该装置还可以包括：

第四确定模块606，用于：

在基于列像素中参考像素的深度值确定深度值范围之前，将列像素的第一个像素确定为第一个参考像素。若位于目标参考像素之后的目标像素的个数大于或等于个数阈值，则将第个数阈值个目标像素确定为下一个参考像素，目标参考像素包括第一个参考像素或位于第一个参考像素之后的参考像素；若位于目标参考像素之后的目标像素的个数小于个数阈值，则将位于最后一个目标像素之后且相邻的像素确定为下一个参考像素；若位于目标参考像素之后的第一个像素的深度值位于深度值范围内，则将第一个像素确定为下一个参考像素。

可选的，获取模块601，用于：

获取多帧时间连续的点云，多帧时间连续的点云是激光雷达传感器采集的。

基于多帧时间连续的点云确定多个点云组，每个点云组包括至少一帧点云。

对于每个点云组，滤除点云组中除当前帧点云之外的参考帧点云中的运动对象，将当前帧点云和滤除处理后的参考帧点云进行融合，得到第一融合点云，以及将点云组中的相同物体进行融合，得到每个物体的第二融合点云。

将第一融合点云与至少一帧第二融合点云进行合并，得到稠密点云，并将稠密点云转换为深度图像。

可选的，参考图7，该装置还可以包括：

处理模块607，用于在获取深度图像之后，对深度图像进行深度补全处理。

综上所述，本申请实施例提供了一种图像处理装置，该装置中图像处理设备在获取深度图像之后，对于深度图像中的每列像素，可以基于该列像素中的参考像素的深度值确定深度值范围，若位于该参考像素之后的目标像素的深度值位于该深度值范围之外，且该目标像素的个数小于个数阈值，则可以滤除该目标像素。由于无需采用人工的方式对深度图像去噪，因此提高了对深度图像去噪的效率和准确性，提高了图像处理的效率和准确性，且降低了人工成本。

需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

在本说明书的描述中，参考术语“可选的”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

此外，本申请实施例中所使用的“第一”、“第二”等术语，仅用于描述目的，而不可以理解为指示或者暗示相对重要性，或者隐含指明本实施例中所指示的技术特征数量。由此，本申请实施例中限定有“第一”、“第二”等术语的特征，可以明确或者隐含地表示该实施例中包括至少一个该特征。在本申请的描述中，词语“多个”的含义是至少两个或者两个及以上，例如两个、三个、四个等，除非实施例中另有明确具体的限定。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (11)

1.一种图像处理方法，其特征在于，所述方法包括：

获取深度图像；

对于所述深度图像中的每列像素，基于所述列像素中参考像素的深度值确定深度值范围，所述深度值范围与所述参考像素的深度值正相关；

若位于所述参考像素之后的目标像素的深度值位于所述深度值范围之外，且所述目标像素的个数小于个数阈值，则滤除所述目标像素；

在所述基于所述列像素中参考像素的深度值确定深度值范围之前，所述方法还包括：

将所述列像素的第一个像素确定为第一个参考像素；

若位于目标参考像素之后的目标像素的个数大于或等于所述个数阈值，则将第个数阈值个目标像素确定为下一个参考像素，所述目标参考像素包括所述第一个参考像素或位于所述第一个参考像素之后的参考像素；

若位于所述目标参考像素之后的目标像素的个数小于所述个数阈值，则将位于最后一个目标像素之后且相邻的像素确定为下一个参考像素；

若位于所述目标参考像素之后的第一个像素的深度值位于所述深度值范围内，则将所述第一个像素确定为下一个参考像素。

2.根据权利要求1所述的方法，其特征在于，所述深度值范围的下限值等于第一预设值，所述深度值范围的上限值等于第二预设值与所述参考像素的深度值的乘积，其中，所述第二预设值大于所述第一预设值。

3.根据权利要求2所述的方法，其特征在于，所述第一预设值等于0，所述第二预设值大于或等于1。

4.根据权利要求1至3任一所述的方法，其特征在于，在所述基于所述列像素中参考像素的深度值确定深度值范围之后，所述方法还包括：

基于所述参考像素的深度值和第一预设参数，确定目标个数，所述目标个数与所述第一预设参数正相关；

将所述目标个数和预设个数中最大的值确定为所述个数阈值。

5.根据权利要求4所述的方法，其特征在于，所述基于所述参考像素的深度值和第一预设参数，确定目标个数，包括：

将所述第一预设参数与参考值的比值确定为所述目标个数；

其中，所述参考值为第二预设参数和所述参考像素的深度值中最大的值。

6.根据权利要求5所述的方法，其特征在于，所述预设个数和所述第二预设参数均为1。

7.根据权利要求1至3任一所述的方法，其特征在于，所述获取深度图像，包括：

获取多帧时间连续的点云，所述多帧时间连续的点云是激光雷达传感器采集的；

基于所述多帧时间连续的点云确定多个点云组，每个所述点云组包括至少一帧点云；

对于每个所述点云组，滤除所述点云组中除当前帧点云之外的参考帧点云中的运动对象，将所述当前帧点云和滤除处理后的参考帧点云进行融合，得到第一融合点云，以及将所述点云组中的相同物体进行融合，得到每个物体的第二融合点云；

将所述第一融合点云与至少一帧第二融合点云进行合并，得到稠密点云，并将所述稠密点云转换为所述深度图像。

8.根据权利要求1至3任一所述的方法，其特征在于，在所述获取深度图像之后，所述方法还包括：

对所述深度图像进行深度补全处理。

9.一种计算机可读存储介质，其特征在于，其上存储有图像处理程序，所述图像处理程序被处理器执行时实现根据权利要求1至8任一所述的图像处理方法。

10.一种图像处理设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像处理程序，所述处理器执行所述图像处理程序时，实现根据权利要求1至8任一所述的图像处理方法。

11.一种图像处理装置，其特征在于，所述装置包括：

获取模块，用于获取深度图像；

第一确定模块，用于对于所述深度图像中的每列像素，基于所述列像素中参考像素的深度值确定深度值范围，所述深度值范围与所述参考像素的深度值正相关；

滤除模块，用于若位于所述参考像素之后的目标像素的深度值位于所述深度值范围之外，且所述目标像素的个数小于个数阈值，则滤除所述目标像素；

第四确定模块，用于：

在所述基于所述列像素中参考像素的深度值确定深度值范围之前，将所述列像素的第一个像素确定为第一个参考像素；

若位于目标参考像素之后的目标像素的个数大于或等于所述个数阈值，则将第个数阈值个目标像素确定为下一个参考像素，所述目标参考像素包括所述第一个参考像素或位于所述第一个参考像素之后的参考像素；

若位于所述目标参考像素之后的目标像素的个数小于所述个数阈值，则将位于最后一个目标像素之后且相邻的像素确定为下一个参考像素；

若位于所述目标参考像素之后的第一个像素的深度值位于所述深度值范围内，则将所述第一个像素确定为下一个参考像素。

Images