CN115115535A - 深度图的去噪方法、装置、介质及设备 - Google Patents

Abstract

本申请属于计算机技术领域，具体涉及一种深度图的去噪方法、装置、介质及设备。本发明实施例可应用于人工智能、智慧交通、辅助驾驶等各种场景。该方法包括：根据深度图中各个深度值的大小将深度图划分为一个或多个深度区域，沿着深度区域上的第一方向对深度区域做投影处理，得到深度区域对应的投影图，对投影图进行噪声识别，得到投影图中的投影噪声区域，获取深度区域中对应于投影噪声区域的深度噪声区域，并对深度图的各个深度噪声区域进行去噪处理，得到去噪后的深度图。基于本申请能够通过投影图中的深度值的取值分布情况，高效地实现对于投影噪声区域的识别，进而实现对于深度图的准确去噪，能够提高深度图的去噪效率。

Description

深度图的去噪方法、装置、介质及设备

技术领域

本申请属于计算机技术领域，具体涉及一种深度图的去噪方法、装置、 介质及设备。

背景技术

在现实场景中，利用深度相机获取的深度图像通常会包含一些噪声， 而深度图像中的会对深度图片的准确度以及对应的三维模型的真实性产生 明显的影响。在根据深度图识别被拍摄物体的深度特征的过程中，噪声会 对被拍摄物体的特征识别准确性产生负面影响。

相关技术中的深度图像的去噪方法的计算量大并且精准度低，难以满 足实时输出准确的深度图像结果的高速响应要求。

因此，如何实现深度图中噪声的高效、精准去除，是亟需解决的技术 问题。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本申请 的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技 术的信息。

发明内容

本申请的目的在于提供一种深度图的去噪方法、装置、介质及设备， 至少在一定程度上解决相关技术中如何实现深度图中噪声的高效、精准去 除的技术问题。

本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地 通过本申请的实践而习得。

根据本申请实施例的一个方面，提供一种深度图的去噪方法，所述方 法包括：

根据深度图中各个深度值的大小将所述深度图划分为一个或多个深度 区域，每个所述深度区域中的各个图像位置具有相似的深度值；

沿着所述深度区域上的第一方向对所述深度区域做投影处理，得到所 述深度区域对应的投影图，所述投影图用于表示所述深度区域关于第二方 向对应的深度值的取值分布情况，所述第二方向为所述深度区域上不同于 所述第一方向的方向；

对所述投影图进行噪声识别，得到所述投影图中的投影噪声区域；

获取所述深度区域中对应于所述投影噪声区域的深度噪声区域，并对 所述深度图的各个深度噪声区域进行去噪处理，得到去噪后的深度图。

根据本申请实施例的一个方面，提供一种深度图的去噪装置，所述装 置包括：

深度区域划分模块，被配置为根据深度图中各个深度值的大小将所述 深度图划分为一个或多个深度区域，每个所述深度区域中的各个图像位置 具有相似的深度值；

投影图获取模块，被配置为沿着所述深度区域上的第一方向对所述深 度区域做投影处理，得到所述深度区域对应的投影图，所述投影图用于表 示所述深度区域关于第二方向对应的深度值的取值分布情况，所述第二方 向为所述深度区域上不同于所述第一方向的方向；

投影噪声区域确定模块，被配置为对所述投影图进行噪声识别，得到 所述投影图中的投影噪声区域；

去噪模块，被配置为获取所述深度区域中对应于所述投影噪声区域的 深度噪声区域，并对所述深度图的各个深度噪声区域进行去噪处理，得到 去噪后的深度图。

在本申请的一些实施例中，基于以上技术方案，所述投影图获取模块 包括：

滑动窗口建立单元，被配置为根据第一预设尺寸建立滑动窗口；

深度区域截取单元，被配置为根据预设步长在所述深度区域中沿着所 述第一方向滑动所述滑动窗口，并通过处于各个滑动位置上的滑动窗口截 取所述深度区域，得到所述滑动窗口在各个滑动位置上对应的子区域；

投影处理单元，被配置为沿着所述第一方向对所述子区域做投影处理， 得到各个子区域对应的子投影图；其中，所述子投影图用于表示所述子区 域关于所述第二方向对应的深度值的取值分布情况；

投影图获取单元，被配置为将得到的多个子投影图沿着所述滑动窗口 滑动的方向融合为所述投影图。

在本申请的一些实施例中，基于以上技术方案，所述投影处理单元包 括：

三维转换子单元，被配置为将所述深度图转换为采用了三维坐标系的 三维空间点云，所述三维坐标包括第一平面坐标轴、第二平面坐标轴和深 度值坐标轴；

窗口点云获取子单元，被配置为获取所述三维空间点云中对应于所述 子区域的窗口点云；

投影处理子单元，被配置为将所述第一平面坐标轴的方向作为第一方 向，将所述窗口点云沿着所述第一方向做投影处理，得到所述子区域对应 的子投影图。

在本申请的一些实施例中，基于以上技术方案，所述深度区域划分模 块包括：

深度值列获取单元，被配置为获取所述深度图中的两列在第一平面坐 标轴上的位置相邻的深度值，得到第一深度值列和第二深度值列；

深度值组获取单元，被配置为将所述第一深度值列和所述第二深度值 列中在第二平面坐标轴上的位置相同的深度值确定为一组深度值；

差值总和计算单元，被配置为计算各组深度值中的两个深度值之间的 差值，并对得到的多个差值进行求和运算，得到差值总和；

深度区域划分单元，被配置为当所述差值总和大于第一预设阈值时， 将所述第一深度值列和所述第二深度值列作为两个深度区域的分界线，并 将所述第一深度值列划分为到第一深度区域，将所述第二深度值列划分为 到第二深度区域。

在本申请的一些实施例中，基于以上技术方案，所述投影噪声区域确 定模块包括：

目标子投影图确定单元，被配置为将所述投影图中取值跳变的深度值 所聚集的区域所对应的子投影图，确定为目标子投影图；

投影噪声区域确定单元，被配置为将多个所述目标子投影图组成的区 域确定为所述投影噪声区域。

在本申请的一些实施例中，基于以上技术方案，所述目标子投影图确 定单元包括：

深度值序列获取子单元，被配置为将所述子投影图中的各个深度值按 照数值从大到小或者从小到大的顺序排列，得到深度值序列；

深度值抽取子单元，被配置为从所述深度值序列中，按照预设数量间 隔抽取多个深度值；

差值计算子单元，被配置为将抽取得到的多个深度值按照数值从大到 小或者从小到大的顺序排列，并计算每相邻两个深度值的差值；

目标子投影图确定子单元，被配置为当所述差值大于第二预设阈值时， 将所述子投影图判定为目标子投影图。

在本申请的一些实施例中，基于以上技术方案，所述去噪模块包括：

第一均值获取单元，被配置为在所述深度噪声区域上建立第二预设尺 寸的判断框，通过所述判断框截取所述深度噪声区域中的待判断区域，并 计算所述待判断区域的均值，得到第一均值；所述待判断区域包括一个中 心点，所述中心点为位于所述待判断区域中的预设位置的像素点；

第二均值获取单元，被配置为获取与所述中心点位置相邻的邻域点， 并计算所述中心点的各个邻域点所对应的待判断区域的均值，得到第二均 值；

异常梯度值判定单元，被配置为计算所述第一均值和各个所述第二均 值的梯度值，并将大于预设梯度值的梯度值判定为异常梯度值；

待处理噪声区域判定单元，被配置为当所述异常梯度值的数量大于预 设数量时，将所述待判断区域判定为待处理噪声区域；

噪声去除单元，被配置为对所述深度图中的各个的待处理噪声区域的 深度值进行重新确定，得到去噪后的深度图。

在本申请的一些实施例中，基于以上技术方案，所述噪声去除单元包 括：

深度值置零子单元，被配置为将所述深度图中的各个的待处理噪声区 域的深度值置零；

插值处理子单元，被配置为根据所述待处理噪声区域周围的深度值， 对所述待处理噪声区域进行插值处理，得到去噪后的深度图。

在本申请的一些实施例中，基于以上技术方案，所述深度图的去噪装 置还包括：

第一比值计算单元，被配置为计算所述待处理噪声区域得到的异常梯 度值的数量和所述待处理噪声区域得到的所有梯度值的数量的第一比值；

第一置信度确定单元，被配置为根据所述第一比值确定第一置信度， 所述第一置信度用于表示所述待处理噪声区域判定准确的可靠程度。

在本申请的一些实施例中，基于以上技术方案，所述深度图的去噪装 置还包括：

目标数量确定单元，被配置为确定所述深度区域中所述第一置信度低 于第一预设置信度的待处理噪声区域的目标数量；

第二比值计算单元，被配置为计算所述目标数量与所述深度区域中所 有待处理噪声区域的数量的第二比值；

第二置信度确定单元，被配置为根据所述第二比值确定第二置信度， 所述第二置信度用于表示所述深度区域中的待处理噪声区域判定准确的可 靠程度；

需复核深度区域确定单元，被配置为当所述第二置信度低于第二预设 置信度时，将所述深度区域标记为需要复核待处理噪声区域的判定准确性 的深度区域。

在本申请的一些实施例中，基于以上技术方案，所述深度图的去噪装 置还包括：

平均值计算单元，被配置为计算所述深度图中的各个深度值的平均值；

深度值去除单元，被配置为去除所述深度图中与所述平均值的差值大 于预设差值的深度值。

在本申请的一些实施例中，基于以上技术方案，所述深度图为采用线 扫相机对集装箱进行深度成像得到的深度图，所述第一方向为所述线扫相 机的扫描方向。

根据本申请实施例的一个方面，提供一种计算机可读介质，其上存储 有计算机程序，该计算机程序被处理器执行时实现如以上技术方案中的深 度图的去噪方法。

根据本申请实施例的一个方面，提供一种电子设备，该电子设备包括： 处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器被配 置为经由执行可执行指令来执行如以上技术方案中的深度图的去噪方法。

根据本申请实施例的一个方面，提供一种计算机程序产品或计算机程 序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储 在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读 取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行如以 上技术方案中的深度图的去噪方法。

在本申请实施例提供的技术方案中，根据深度图中各个深度值的大小 将深度图划分为一个或多个深度区域，沿着深度区域上的第一方向对深度 区域做投影处理，得到深度区域对应的投影图，对投影图进行噪声识别， 得到投影图中的投影噪声区域，获取深度区域中对应于投影噪声区域的深 度噪声区域，并对深度图的各个深度噪声区域进行去噪处理，得到去噪后 的深度图；由此，根据深度图中各个深度值的大小将深度图划分为一个或 多个深度区域，能够防止深度成像过程中的图像畸变给后续的噪声识别带 来干扰，能够提升对于噪声区域识别的准确度；通过投影图中的深度值的 取值分布情况能够实现对于投影噪声区域的快速、准确识别，进而实现深 度图中的噪声范围的锁定；再通过对深度图中深度噪声区域的去噪处理， 在无需对深度图进行全域遍历的去噪处理的情况下，就能实现对于深度图 的准确去噪，从而能够提高深度图的去噪效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释 性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本 申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下 面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来 讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性地示出了应用本申请技术方案的示例性装置架构框图。

图2示意性地示出了本申请某些实施方式的深度图的去噪方法的步骤 流程图。

图3示意性地示出了本申请某实施例中根据集装箱的深度图中各个深 度值的大小将深度图划分为多个深度区域的场景示意图。

图4示意性地示出了本申请某实施例中根据深度图中各个深度值的大 小将深度图划分为一个或多个深度区域的步骤流程图。

图5示意性地示出了本申请某实施例中根据深度图中各个深度值的大 小将深度图划分为一个或多个深度区域之前的步骤流程图。

图6示意性地示出了本申请某实施例中沿着深度区域上的第一方向对 深度区域做投影处理，得到深度区域对应的投影图的步骤流程图。

图7示意性地示出了沿着第一方向对子区域做投影处理，得到各个子 区域对应的子投影图，并将得到的多个子投影图沿着滑动窗口滑动的方向 融合为投影图的场景示意图。

图8示意性地示出了本申请某实施例中沿着第一方向对子区域做投影 处理，得到各个子区域对应的子投影图的步骤流程图。

图9示意性地示出了本申请某实施例中对投影图进行噪声识别，得到 投影图中的投影噪声区域的步骤流程图。

图10示意性地示出了本申请某实施例中将投影图中取值跳变的深度值 所聚集的区域所对应的子投影图，确定为目标子投影图的步骤流程图。

图11示意性地示出了本申请某实施例中对深度噪声区域进行去噪处理 的过程在投影图上的对应示意图。

图12示意性地示出了本申请某实施例中对深度图的各个深度噪声区域 进行去噪处理，得到去噪后的深度图的步骤流程图。

图13示意性地示出了本申请某实施例中对深度图中的各个的待处理噪 声区域的深度值进行重新确定，得到去噪后的深度图的步骤流程图。

图14示意性地示出了本申请另一实施例所获取的集装箱深度图的示意 图。

图15示意性地示出了对图14所示实施例的深度图的部分深度区域进 行投影并识别噪声后去噪的示意图。

图16示意性地示出了本申请再一实施例所获取的集装箱深度图的示意 图。

图17示意性地示出了对图16所示实施例的深度图的部分深度区域进 行投影后去噪的示意图。

图18示意性地示出了本申请某实施例中将当待判断区域中得到的异常 梯度值的数量大于预设数量时，将待判断区域判定为待处理噪声区域之后 的步骤流程图。

图19示意性地示出了本申请某实施例中根据第一比值确定第一置信度 之后的步骤流程图。

图20示意性地示出了本申请某实施方式的深度图去噪方法的部分过程 示意图。

图21示意性地示出了本申请实施例提供的深度图的去噪装置的结构框 图。

图22示意性地示出了用于实现本申请实施例的电子设备的计算机系统 结构框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能 够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这 些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面 地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个 或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请 的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请 的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、 组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、 实现或者操作以避免模糊本申请的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实 体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个 硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置 和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操 作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分 解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根 据实际情况改变。

在对本申请实施例提供的深度图的去噪方法、深度图的去噪装置等技 术方案作出详细说明之前，先对本申请部分实施例中涉及的人工智能技术 进行简单介绍。

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计 算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用 知识获得最佳结果的理论、方法、技术及应用装置。换句话说，人工智能 是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新 的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各 种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术 也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智 能芯片、云计算、分布式存储、大数据处理技术、操作/交互装置、机电一 体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、 自然语言处理技术以及机器学习/深度学习等几大方向。

计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机 器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标 进行识别、测量等机器视觉，并进一步做图形处理，使电脑处理成为更适 合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研 究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人 工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三 维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术， 还包括常见的人脸识别、指纹识别等生物特征识别技术。

机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概 率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究 计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组 织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心， 是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器 学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、 归纳学习、式教学习等技术。

随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和 应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能 营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等， 相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越 来越重要的价值。

本申请实施例涉及的系统可以是由客户端、多个节点(接入网络中的 任意形式的计算设备，如服务器、用户终端)通过网络通信的形式连接形 成的分布式系统。

下面结合具体实施方式对本申请提供的深度图的去噪方法以及对应的 装置等做出详细说明。

图1示意性地示出了应用本申请技术方案的示例性装置架构框图。

如图1所示，装置架构100可以包括终端设备110、网络120和服务 器130。终端设备110可以包括智能手机、平板电脑、笔记本电脑、台式 电脑等各种电子设备。服务器130可以是独立的物理服务器，也可以是多 个物理服务器构成的服务器集群或者分布式装置，还可以是提供云计算服 务的云服务器。网络120可以是能够在终端设备110和服务器130之间提供通信链路的各种连接类型的通信介质，例如可以是有线通信链路或者无 线通信链路。

根据实现需要，本申请实施例中的装置架构可以具有任意数目的终端 设备、网络和服务器。例如，服务器130可以是由多个服务器设备组成的 服务器群组。另外，本申请实施例提供的技术方案可以应用于终端设备 110，也可以应用于服务器130，或者可以由终端设备110和服务器130共 同实施，本申请对此不做特殊限定。

举例而言，服务器130可以执行本申请提供的深度图的去噪方法，根 据深度图中各个深度值的大小将深度图划分为一个或多个深度区域，沿着 深度区域上的第一方向对深度区域做投影处理，得到深度区域对应的投影 图，对投影图进行噪声识别，得到投影图中的投影噪声区域，获取深度区 域中对应于投影噪声区域的深度噪声区域，并对深度图的各个深度噪声区 域进行去噪处理，得到去噪后的深度图；由此，根据深度图中各个深度值的大小将深度图划分为一个或多个深度区域，能够防止深度成像过程中的 图像畸变给后续的噪声识别带来干扰，能够提升对于噪声区域识别的准确 度；通过投影图中的深度值的取值分布情况能够实现对于投影噪声区域的 快速、准确识别，进而实现深度图中的噪声范围的锁定；再通过对深度图 中深度噪声区域的去噪处理，在无需对深度图进行全域遍历的去噪处理的 情况下，就能实现对于深度图的准确去噪，从而能够提高深度图的去噪效 率。

下面结合具体实施方式对本申请提供的深度图的去噪方法做出详细说 明。

图2示意性地示出了本申请某些实施方式的深度图的去噪方法的步骤 流程图。该深度图的去噪方法的执行主体可以是终端设备，也可以是服务 器等，本申请对此不设限。终端设备包括但不限于手机、电脑、智能语音 交互设备、智能家电、车载终端、飞行器等。本发明实施例可应用于各种 场景，包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。

如图2所示，该深度图的去噪方法主要可以包括如下步骤S210至 S240。

S210.根据深度图中各个深度值的大小将深度图划分为一个或多个深 度区域，每个深度区域中的各个图像位置具有相似的深度值。

其中，深度图可以包括多个像素点，深度图中每个像素点的灰度值可 用于表征场景中某一点与摄像机的距离，也即深度信息。

由此，根据深度图中各个深度值的大小将深度图划分为一个或多个深 度区域，能够将尺寸较大的深度图切分为尺寸较小的深度区域，同时能够 将具有相似深度值的像素点划分到同一个深度区域中，便于后续根据深度 区域对应的投影区域识别噪声，能够防止图像成像过程中的深度畸变给噪 声的识别带来干扰，能够提升对于噪声区域识别的准确度。

可以理解，尺寸较小的深度区域中的深度值变化程度较小，因此，对 于尺寸较小的深度区域，能够减小集装箱行进间拐弯等带来的第一方向 (即图3中的水平方向)深度畸变以及图像畸变带来的影响，从而，能够 提升后续对于噪声区域的识别准确度。

在某些实施方式中，深度图为采用线扫相机对集装箱进行深度成像得 到的深度图，第一方向为线扫相机的扫描方向。

其中，线扫相机是通过线阵扫描成像的深度相机。线阵扫描成像是指 对物体成像时，每次在像面上行扫描形成一幅一维的线图像，或者一幅二 维影像，最后沿着物体运动的方向，拼接实现完整成像得到深度图。

在一些实施方式中，也可以采用面阵扫描相机对集装箱进行深度成像 得到深度图。或者，也可以采用其他深度相机对各类物品进行深度程序得 到深度图。

相关技术中，可以通过双目相机进行深度成像，但是对于集装箱而言， 双目相机无法覆盖整个集装箱，拍摄不全，无法得到集装箱的完整的深度 特征。本申请某些实施例采用线扫相机对集装箱进行深度成像得到深度图， 能够完整识别深度图的深度特征，并且沿着所述深度区域上的第一方向对 所述深度区域做投影处理，第一方向为线扫相机的扫描方向，线扫相机的 扫描方向一般是集装箱的运输移动方向，对投影图进行噪声识别，得到投 影图中的投影噪声区域后去噪，能够利用线扫相机的成像规律和集装箱的 形状规律、运动规律，提升深度图的成像完整性和去噪效果，从而提升深 度图的成像效果。

图3示意性地示出了本申请某实施例中根据集装箱的深度图中各个深 度值的大小将深度图划分为多个深度区域的场景示意图。图3可以看成是 关于X坐标和Y坐标组成的X-Y平面的深度图，其中，深度图的深度值 大小由灰度值大小表示。

如下图所示，输入一张集装箱侧板线扫深度图像，其中深度图像由线 扫3D相机获取，我们提出的方法可以准确输出集装箱深度图的噪声区域 并进行去除。

集装箱是一种供货物运输的设备，在实际应用场景中，受挤压、撞击 等影响，其表面可能出现形变、破损等缺陷，这时采集集装箱表面深度图， 即可根据深度信息变化，定位缺陷位置。但采集的深度图中往往存在噪声， 这些噪声的深度值与形变接近，不去除噪声，缺陷检测的准确率将大幅降 低。

具体地，采集的深度图中的噪声来源可能是相机成像过程噪声、电磁 干扰噪声、箱体涂印导致的噪声等集装箱深度成像过程中的常见噪声。

本申请发明人对集装箱堆场中运输入场的集装箱的深度图去噪进行了 相关实践，在具体的实践过程中，发现了应用传统的深度图去噪方法会带 来两个问题：一、集装箱被运输入场时，由于路面不平、行车拐弯等情况， 线扫相机所成图像会出现畸变，而且集装箱行进方向首尾的深度值会出现 较大变化，容易对噪声识别过程带来干扰；二、噪声和形变、破洞等同时 出现在一块区域时，较难区分。

针对如上第一个问题，为了提高集装箱深度图去噪准确度以及提高去 噪效率，采用本申请的深度去噪方法，如图3所示，可以根据集装箱的行 进方向将深度图划分为多个深度区域，结合集装箱表面的凹凸变化规律， 可以将深度图划分为多个垂直于集装箱进行方向的长条形的深度区域，各 个长条形的深度区域中的各个图像位置具有相似的深度图。由此，将集装 箱的深度图中具有相似深度值的像素点划分到同一个深度区域中，能够便于后续根据深度区域对应的投影区域识别噪声，进而能够防止图像成像过 程中的深度畸变给噪声的识别带来干扰，能够提升对于噪声区域识别的准 确度。并且，将尺寸较大的深度图切分为尺寸较小的长条形的深度区域， 能够避免集装箱行进方向首尾的深度值出现较大变化时影响噪声识别的准 确度，且能够避免线扫相机成像畸变以及深度畸变影响噪声识别的准确度。

在某些实施方式中，线扫相机的扫描方向可以与集装箱的行进方向相 同。

由此，可以理解，对于集装箱堆场中的集装箱而言，堆场空余区域较 小，且业务繁忙，若等装载集装箱的货车停下再对集装箱进行成像并去噪， 会影响堆场的正常运作，所以在集装箱运输入场的同时对集装箱进行线扫 成像，能够无需装载集装箱的货车停车就能完成对集装箱的深度成像以及 后续去噪，能够大幅降低对集装箱的破损和变形检测的时间成本。

而线扫相机的扫描方向与集装箱的行进方向相同，能够避免在垂直于 线扫相机的扫描方向上的图像畸变和深度畸变。同时。将深度图划分为多 个垂直于集装箱进行方向的长条形的深度区域，能够避免深度区域内产生 图像畸变和深度畸变，使得本申请实施例能够具有较为准确高效的去噪效 果。

需要说明的是，对于集装箱堆场中的集装箱进行深度成像和去噪只是 本申请的其中一个应用场景，对于采用其他方式运输或存放的其他物品， 也能适用本申请的深度图去噪方法。

图4示意性地示出了本申请某实施例中根据深度图中各个深度值的大 小将深度图划分为一个或多个深度区域的步骤流程图。如图4所示，在以 上实施例的基础上，步骤S210的根据深度图中各个深度值的大小将深度图 划分为一个或多个深度区域，可以进一步包括以下步骤S410至S440。

S410.获取深度图中的两列在第一平面坐标轴上的位置相邻的深度值， 得到第一深度值列和第二深度值列；

S420.将第一深度值列和第二深度值列中在第二平面坐标轴上的位置 相同的深度值确定为一组深度值；

S440.计算各组深度值中的两个深度值之间的差值，并对得到的多个 差值进行求和运算，得到差值总和；

S440.当差值总和大于第一预设阈值时，将第一深度值列和第二深度 值列作为两个深度区域的分界线，并将第一深度值列划分为到第一深度区 域，将第二深度值列划分为到第二深度区域。

在一些实施方式中，可以在深度图上建立平面坐标系，平面坐标系包 括第一平面坐标轴和第二平面坐标轴。具体实施例中，第一平面坐标轴可 以垂直于第二平面坐标轴。在一些实施例中，第一平面坐标轴的方向也即 第一方向可以为得到深度图的线扫相机的扫描方向，第二平面坐标轴的方 向也即第二方向可以为垂直于线扫相机的扫描方向的方向。

请继续结合图3，通过图4所述的一个实施例，第一深度值列的高度 为m像素、宽度为1像素，第二深度值列的高度为n像素、宽度为1像素， 由第一深度值列和第二深度值列组成的滑动框可以以1像素的步长从左至 右遍历集装箱深度图，通过计算各组深度值中的两个深度值之间的差值计 算得到第一方向(也即图3所示的水平方向，即X方向)的梯度，并且在 差值总和大于第一预设阈值时，也即当前的滑动框的水平方向的梯度变化 较大时，将第一深度值列和第二深度值列作为两个深度区域的分界线，得 到精准划分的深度区域。

例如，从X坐标为a处开始以1像素的步长从左至右在集装箱的深度 图上滑动，若b-1处的所有深度值b处所有深度值之间的梯度值差距较大 (例如平均每组深度值的差值超过20)，则将b-1和b作为第一深度区域 和第二深度区域的分界线，也即将[a,b-1]区间内深度值划分为第一深度区 域，从b开始继续从左至右在集装箱的深度图上滑动，直到遍历集装箱的 深度图，如此得到深度图上的所有深度区域。

在一些实施方式中，如图3所示，可以先截取集装箱的深度图中的集 装箱箱体区域，并去除箱体的外框，再将去除箱体外框后的集装箱箱体区 域的深度图作为需去噪的深度图，进行深度区域的划分。可以理解，集装 箱的破洞、变形等需检修的集装箱问题大部分发生在集装箱的箱体除外框 以外的主体部分，因此只需获取集装箱的箱体除外框以外的主体部分的去 噪后的深度信息即可完成集装箱的破洞、变形等问题检测，由此能够提升深度图的去噪效率。

在一些实施例中，步骤S440可以替换为：计算各组深度值中来自所述 第一深度值列的深度值和来自所述第二深度值列的深度值之间的差值，并 对两个深度值列之间得到的多个差值进行求和运算，得到差值总和。具体 地，步骤S440可以为：计算各组深度值中来自所述第一深度值列的深度值 的第一总和；计算各组深度值中来自所述第二深度值列的深度值的第二总 和；计算各组深度值中所述第一总和以及所述第二总和的差值；对两个深度值列之间得到的多个差值进行求和运算，得到差值总和。

例如，第一深度值列的高度为m像素、宽度为2像素，第二深度值列 的高度为n像素、宽度为2像素，由第一深度值列和第二深度值列组成的 滑动框可以以2像素的步长从左至右遍历集装箱深度图；在一些实施例中， 第一深度值列的高度为m像素、宽度为3像素，第二深度值列的高度为n 像素、宽度为3像素，由第一深度值列和第二深度值列组成的滑动框可以 以3像素的步长从左至右遍历集装箱深度图。第一深度值列的像素宽度与 第二深度值列的像素宽度相等。本申请对第一深度值列的像素宽度、第二 深度值列的像素宽度不作特殊限制。

由此，能够以更宽的第一深度值列和更宽的第二深度值列组成的滑动 框遍历深度图，由此，对于深度图梯度变化特征不明显的深度图，也能够 捕捉出对应的梯度变化，进而在当前的滑动框的水平方向的梯度变化较大 时，将第一深度值列和第二深度值列作为两个深度区域的分界线，得到精 准划分的深度区域。

如上所述，通过第一深度值列和第二深度值列实现对于深度图中在第 一方向上梯度变化明显的特征的检测，从而能够实现对于不同深度区域的 准确划分，即能够准确地将相似的深度值的像素组成的区域划分到同一深 度区域，将深度值梯度变化较大的像素划分到不同深度区域中，有利于后 续根据深度区间进一步检测深度区域中的噪声。

图5示意性地示出了本申请某实施例中根据深度图中各个深度值的大 小将深度图划分为一个或多个深度区域之前的步骤流程图。如图5所示， 在以上实施例的基础上，在步骤S210的根据深度图中各个深度值的大小将 深度图划分为一个或多个深度区域之前，可以进一步包括以下步骤S510和 S520。

S510.计算深度图中的各个深度值的平均值；

S520.去除深度图中与平均值的差值大于预设差值的深度值。

由此，能够将深度图中与平均值的差值大于预设差值的深度值去除， 从而将能够将明显的噪声去除。例如，计算图3所示的集装箱深度图中各 个深度值的平均值，将深度图中与平均值的差值大于140、150、160、170 或180的所有深度值去除。

S220.沿着深度区域上的第一方向对深度区域做投影处理，得到深度 区域对应的投影图，投影图用于表示深度区域关于第二方向对应的深度值 的取值分布情况，第二方向为深度区域上不同于第一方向的方向。

由此，能够得到深度值关于第二方向的变化情况，进而能够通过投影 图中的深度值的取值分布情况高效地实现对于投影噪声区域的识别，进而 实现深度图中的噪声范围的锁定。可以理解，如图7所示，在投影图的深 度值的关于第二方向的分布中，噪声具有明显的离群性和跳变性特征，能 够便于后续通过相关算法高效、准确地从投影图中识别出噪声。

图6示意性地示出了本申请某实施例中沿着深度区域上的第一方向对 深度区域做投影处理，得到深度区域对应的投影图的步骤流程图。如图6 所示，在以上实施例的基础上，步骤S220的沿着深度区域上的第一方向对 深度区域做投影处理，得到深度区域对应的投影图，可以进一步包括以下 步骤S610至S640。

S610.根据第一预设尺寸建立滑动窗口；

S620.根据预设步长在深度区域中沿着第一方向滑动滑动窗口，并通 过处于各个滑动位置上的滑动窗口截取深度区域，得到滑动窗口在各个滑 动位置上对应的子区域；

S630.沿着第一方向对子区域做投影处理，得到各个子区域对应的子 投影图；其中，子投影图用于表示子区域关于第二方向对应的深度值的取 值分布情况；

S640.将得到的多个子投影图沿着滑动窗口滑动的方向融合为投影图。

由此，在深度区域上通过滑动窗口作截取得到子区域，能够将深度区 域切分为尺寸更小的子区域，对于尺寸较小的子区域，能够减小集装箱在 第二方向上的图像畸变带来的对噪声识别的影响，从而，能够提升后续对 于噪声区域的识别准确度。

并且，集装箱中需要检修的变形区域一般较大，因此，对于尺寸较小 的子区域，在无噪声的情况不会出现较大变化。因此，划分得到尺寸较小 的子区域，能够便于排除变形区域的干扰，实现对于噪声的识别，提升对 噪声识别的准确度。

图7示意性地示出了沿着第一方向对子区域做投影处理，得到各个子 区域对应的子投影图，并将得到的多个子投影图沿着滑动窗口滑动的方向 融合为投影图的场景示意图。

具体地，图7所示的左侧部分为对图3中的区域305的放大后的对于 滑动窗口滑动过程的示意。例如，如图7中的左侧部分所示，可以以l为 滑动窗口的宽度、以h为滑动窗口的高度建立滑动窗口。

在一些实施方式中，滑动窗口的宽度l可以与对应的深度区域在第一 方向上的宽度相同。由此，能够单向滑动滑动窗口实现对于深度区域的遍 历。并且在对深度区域的划分中已经避免了深度图在第一方向上的图像深 度畸变对于噪声识别的应用，因此无需再第一方向上通过滑动窗口对深度 区域进行划分，能够在不影响噪声识别的准确度的前提下，提高本申请的 方法的实施效率。

在具体实施例中，滑动窗口的高度h可以为深度区域的高度的1/200， 步长d可以为滑动窗口的高度h的1/2。在一些例子中，滑动窗口的高度h 可以为深度区域的高度的1/100、1/150、1/250、1/300等，步长d可以为滑 动窗口的高度h的1/3、1/4、1/5等，可以在本方法实施过程中通过去噪的 准确性和去噪效率进行相应的调整。

图7所示的右侧部分为得到的多个子投影图沿着滑动窗口滑动的方向 融合成的投影图中的部分区域。如图7所示，线720为计算原始深度图中 所有点的深度平均值后，以该值作为基准平面，投影得到的基准线。可见， 投影图中的噪声区域730取值跳变的深度值所聚集的区域。噪声740为深 度区域中对应于噪声区域730的噪声。

图8示意性地示出了本申请某实施例中沿着第一方向对子区域做投影 处理，得到各个子区域对应的子投影图的步骤流程图。如图8所示，在以 上实施例的基础上，步骤S630的沿着第一方向对子区域做投影处理，得到 各个子区域对应的子投影图，可以进一步包括以下步骤S810至S830。

S810.将深度图转换为采用了三维坐标系的三维空间点云，三维坐标 包括第一平面坐标轴、第二平面坐标轴和深度值坐标轴；

S820.获取三维空间点云中对应于子区域的窗口点云；

S830.将第一平面坐标轴的方向作为第一方向，将窗口点云沿着第一 方向做投影处理，得到子区域对应的子投影图。

在具体实施例中，请继续参阅图7，可以将深度图转换为采用了X-Y-Z 三维坐标系的三维空间点云，三维坐标包括第一平面坐标轴X、第二平面 坐标轴Y和深度值坐标轴Z。其中，深度值坐标轴Z的取值在图7左侧的 深度图中由灰度值表示。然后，在获取三维空间点云中对应于子区域的窗 口点云，可以将X的方向作为投影方向，将窗口点云沿着X轴做投影处理， 得到子区域3051对应的子投影图7101，得到子区域3052对应的子投影图 7102。

S230.对投影图进行噪声识别，得到投影图中的投影噪声区域。

由此，对投影图进行噪声识别，得到投影图中的投影噪声区域，能够 通过投影图中的深度值的取值分布情况实现投影图中的噪声识别。

图9示意性地示出了本申请某实施例中对投影图进行噪声识别，得到 投影图中的投影噪声区域的步骤流程图。如图9所示，在以上实施例的基 础上，步骤S230的对投影图进行噪声识别，得到投影图中的投影噪声区域， 可以进一步包括以下步骤S910和S920。

S910.将投影图中取值跳变的深度值所聚集的区域所对应的子投影图， 确定为目标子投影图；

S920.将多个目标子投影图组成的区域确定为投影噪声区域。

请继续参阅图7，右侧的区域710为由目标子投影图7101、子投影图 7102、子投影图7103沿着滑动窗口滑动的方向融合而组成的投影噪声区域。

可以理解，由于深度区域中的各个图像位置的像素具有相似的深度值， 因此，当深度区域中存在噪声时，深度值会产生明显跳变，使得深度区域 的深度值不再具有均匀分布的特征。因此，将投影图中取值跳变的深度值 所聚集的区域所对应的子投影图，确定为目标子投影图，并将多个目标子 投影图组成的区域确定为投影噪声区域，能够准确高效地识别出投影图中 具有噪声的区域，得到投影噪声区域。

针对上文所说的传统的深度图去噪方法的第二个问题：噪声和形变、 破洞等同时出现在一块区域时，较难区分。本申请实施例通过识别投影图 中的取值跳变的深度值所聚集的区域，将投影图中的连续的上下跳变值、 离群值识别出来，得到投影噪声区域。可以理解，正常的形变与破洞区域 深度值一般均为连续缓慢变化。因此，将投影图中取值跳变的深度值所聚 集的区域所对应的子投影图，确定为目标子投影图能够将深度图中的噪声 与形变、破洞区域区别开来，从而能够提高深度图中的噪声识别的准确性。

图10示意性地示出了本申请某实施例中将投影图中取值跳变的深度值 所聚集的区域所对应的子投影图，确定为目标子投影图的步骤流程图。如 图10所示，在以上实施例的基础上，步骤S910的将投影图中取值跳变的 深度值所聚集的区域所对应的子投影图，确定为目标子投影图，可以进一 步包括以下步骤S1010至S1040。

S1010.将子投影图中的各个深度值按照数值从大到小或者从小到大的 顺序排列，得到深度值序列；

S1020.从深度值序列中，按照预设数量间隔抽取多个深度值；

S1030.将抽取得到的多个深度值按照数值从大到小或者从小到大的顺 序排列，并计算每相邻两个深度值的差值；

S1040.当差值大于第二预设阈值时，将子投影图判定为目标子投影图。

由此，对滑动窗口在各个滑动位置对应的子投影图，都分别执行 S1010至S1040的步骤，能够实现对于深度区域中滑动窗口在各个滑动位 置截取的子区域的噪声检测。

在一些实施方式中，可以先获取深度图中的各个深度值的均值，然后 计算子投影图中每个像素的深度值到均值之间的差值。然后，对子投影中 的深度值进行转换计算：将子投影图中最小的深度值确定0，其余深度值 均在该最小的深度值为0的基准上对应取值，最大的深度值为max。再将 子投影中转换计算后的所有深度值由大到小排列，设子投影图中共有k个 点转换计算后的深度值，按照深度值由大到小的顺序排列为深度值序列： {d1,d2…,0}。然后抽取该深度值序列中位于第0.1k、0.2k、0.3k、0.4k、… 0.9k处的深度值，得到集合D＝{dk1,dk2,…dk9}；并根据集合D计算集合 F＝{max-dk1，dk1-dk2，…，dk8-dk9，dk9-0}，若F中存在某个值大于第二 预设阈值，则说明该子投影图对应的深度区域可能存在噪声，将该子投影 图判定为目标子投影图。具体实施例中，第二预设阈值可以为25、27、30、 32、35等。第二预设阈值可以根据对于不同物体的深度图除噪而对应设置 合适的值。例如，当对于集装箱深度图进行去噪时，第二预设阈值设置为 30能够具有较好的噪声识别准确度。

S240.获取深度区域中对应于投影噪声区域的深度噪声区域，并对深 度图的各个深度噪声区域进行去噪处理，得到去噪后的深度图。

相关技术中采用人工方式去除深度图的噪声，效率过低，人工成本高。 本申请实施方式通过如上S210至S240，实现对于深度噪声区域的自动化、 高效、准确去噪。

图11示意性地示出了本申请某实施例中对深度噪声区域进行去噪处理 的过程在投影图上的对应示意图。如图11所示，可以对各个投影噪声区域 进行去噪处理，得到去噪后的投影噪声区域。例如，将投影噪声区域中的 噪声区域730进行去噪处理，得到去噪后的区域1110。然后，将去噪后的 投影噪声区域通过深度区域与投影图的映射关系，映射为去噪后的深度噪 声区域。再根据去噪后的深度噪声区域得到去噪后的深度图。

具体地，对各个投影噪声区域进行去噪处理，可以是基于投影噪声区 域中的离群值周围的正常点的分布，拟合出正常深度值以替换离群值，从 而去除噪声。或者，对各个投影噪声区域进行去噪处理，可以是将投影噪 声区域输入到预训练的机器学习模型中，得到去除噪声后的投影噪声区域。

图12示意性地示出了本申请某实施例中对深度图的各个深度噪声区域 进行去噪处理，得到去噪后的深度图的步骤流程图。如图12所示，在以上 实施例的基础上，步骤S240的对深度图的各个深度噪声区域进行去噪处理， 得到去噪后的深度图，可以进一步包括以下步骤S1210至S1250。

S1210.在深度噪声区域上建立第二预设尺寸的判断框，通过判断框截 取深度噪声区域中的待判断区域，并计算待判断区域的均值，得到第一均 值；待判断区域包括一个中心点，中心点为位于待判断区域中的预设位置 的像素点；

S1220.获取与中心点位置相邻的邻域点，并计算中心点的各个邻域点 所对应的待判断区域的均值，得到第二均值；

S1230.计算第一均值和各个第二均值的梯度值，并将大于预设梯度值 的梯度值判定为异常梯度值；

S1240.当异常梯度值的数量大于预设数量时，将待判断区域判定为待 处理噪声区域；

S1250.对深度图中的各个的待处理噪声区域的深度值进行重新确定， 得到去噪后的深度图。

其中，邻域点所对应的待判断区域，即邻域点作为中心点时所对应的 待判断区域。

由此，可以在深度噪声区域中进一步定位噪声所在的精确位置，有利 于对于噪声的精准去除。

在具体实施例中，可以以深度噪声区域的左上角点为预设位置的起点， 将待判断区域遍历深度噪声区域，从而实现对于深度噪声区域中的待处理 噪声区域的精准定位。

例如，第二预设尺寸可以为3像素*3像素的矩形框，也即判断框用于 截取深度噪声区域中3像素*3像素的待判断区域。其中，3像素*3像素的 待判断区域包括1个中心点像素和中心点像素的8个邻域像素。然后，计 算3像素*3像素的待判断区域中的各个像素的深度值均值，再从左至右、 从上至下将待判断区域和中心点遍历深度噪声区域，得到多个3像素*3像 素的待判断区域。计算所有3像素*3像素的待判断区域分别的像素均值， 再计算各个待判断区域在中心点的八个邻域方向上的梯度值。若存在4个 以上梯度值大于10，也即将大于10的梯度值判定为异常梯度值，当异常 梯度值的数量大于4时，则认为该3像素*3像素的待判断区域为待处理噪 声区域。

由此，能够通过较小的计算量，实现对于待处理噪声区域的高效、准 确定位。

图13示意性地示出了本申请某实施例中对深度图中的各个的待处理噪 声区域的深度值进行重新确定，得到去噪后的深度图的步骤流程图。如图 13所示，在以上实施例的基础上，步骤S1250的对深度图中的各个的待处 理噪声区域的深度值进行重新确定，得到去噪后的深度图，可以进一步包 括以下步骤S1310和S1320。

S1310.将深度图中的各个的待处理噪声区域的深度值置零；

S1320.根据待处理噪声区域周围的深度值，对待处理噪声区域中的各 个深度值通过插值算法重新确定深度值，得到去噪后的深度图。

具体地，插值算法可以包括双三次插值算法、双线性插值算法或最近 邻插值算法等，本申请对此不作特殊限制。由此，能够将待处理噪声区域 中的各个深度值重新确定为正常的深度值，实现对于深度图的精准去噪。

图14示意性地示出了本申请另一实施例所获取的集装箱深度图的示意 图。图14所示的深度图在水平方向上具有图像畸变，从而使得传统的噪声 判断和去除方法会受相应干扰。图14中的噪声1410、噪声1420和噪声 1430是待识别的噪声。

图15示意性地示出了对图14所示实施例的深度图的部分深度区域进 行投影并识别噪声后去噪的示意图。如图15所示，将投影图中取值跳变或 者离群的深度值所聚集的区域1510识别为噪声，然后进行噪声去除，区域 1520为去噪后的区域。

图16示意性地示出了本申请再一实施例所获取的集装箱深度图的示意 图。图16所示的深度图在水平方向上具有图像畸变，从而使得传统的噪声 判断和去除方法会受相应干扰。图16中的噪声1610和噪声1620是待识别 的噪声。

图17示意性地示出了对图16所示实施例的深度图的部分深度区域进 行投影后去噪的示意图。如图17所示，将投影图中取值跳变或者离群的深 度值所聚集的区域1710识别为噪声，然后进行噪声去除，区域1720为去 噪后的区域。

图18示意性地示出了本申请某实施例中将当待判断区域中得到的异常 梯度值的数量大于预设数量时，将待判断区域判定为待处理噪声区域之后 的步骤流程图。如图18所示，在以上实施例的基础上，步骤S1240的当待 判断区域中得到的异常梯度值的数量大于预设数量时，将待判断区域判定 为待处理噪声区域之后，可以进一步包括以下步骤S1810和S1820。

S1810.计算待处理噪声区域得到的异常梯度值的数量和待处理噪声区 域得到的所有梯度值的数量的第一比值；

S1820.根据第一比值确定第一置信度，第一置信度用于表示待处理噪 声区域判定准确的可靠程度。

其中，待处理噪声区域得到的所有梯度值的数量是待处理噪声区域在 中心点的各个邻域方向的梯度值的总数量。待处理噪声区域得到的异常梯 度值为该总数量中的异常梯度值的数量。

例如，第一置信度可以为：C＝(a/b)*100％，其中，a为待处理噪声区域 得到的异常梯度值的数量，b为待处理噪声区域得到的所有梯度值。当待 处理噪声区域的中心点具有8个邻域时，b的数量对应地为8。

由此，实现对于待处理噪声区域判定准确的可靠程度的定量计算，能 够便于对于深度图去噪过程的准确度的监测。

图19示意性地示出了本申请某实施例中根据第一比值确定第一置信度 之后的步骤流程图。如图19所示，在以上实施例的基础上，步骤S1820的 根据第一比值确定第一置信度之后，可以进一步包括以下步骤S1910至 S1940。

S1910.确定深度区域中第一置信度低于第一预设置信度的待处理噪声 区域的目标数量；

S1920.计算目标数量与深度区域中所有待处理噪声区域的数量的第二 比值；

S1930.根据第二比值确定第二置信度，第二置信度用于表示深度区域 中的待处理噪声区域判定准确的可靠程度；

S1940.当第二置信度低于第二预设置信度时，将深度区域标记为需要 复核待处理噪声区域的判定准确性的深度区域。

第一预设置信度可以为75％、80％、85％、90％等，本申请对此不作特 殊限制。

在一些实施方式中，也可以确定深度图中第一置信度低于第一预设置 信度的待处理噪声区域的目标数量；计算目标数量与深度图中所有待处理 噪声区域的数量的第二比值；根据第二比值确定第二置信度，第二置信度 用于表示深度图中的待处理噪声区域判定准确的可靠程度；当第二置信度 低于第二预设置信度时，将深度图标记为需要复核待处理噪声区域的判定 准确性的深度图。

由此，当第二置信度低于第二预设置信度时，将深度区域标记为需要 复核待处理噪声区域的判定准确性的深度区域，便于在实际生产中，对于 低置信度(例如置信度低于80％)的深度区域、或者深度图进行人工复核， 以确保图像去噪能够准确无误。

图20示意性地示出了本申请某实施方式的深度图去噪方法的部分过程 示意图。由此，获取深度图，对深度图切分深度区域，对深度区域进行投 影得到的投影图进行噪声识别，再对识别出来的噪声进行噪声去除，得到 去噪后的深度图，实现对于深度图的高效、精准去噪。

应当注意，尽管在附图中以特定顺序描述了本申请中方法的各个步骤， 但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必 须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略 某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为 多个步骤执行等。

以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的 深度图的去噪方法。图21示意性地示出了本申请实施例提供的深度图的去 噪装置的结构框图。如图21所示，深度图的去噪装置2100包括：

深度区域划分模块2110，被配置为根据深度图中各个深度值的大小将 深度图划分为一个或多个深度区域，每个深度区域中的各个图像位置具有 相似的深度值；

投影图获取模块2120，被配置为沿着深度区域上的第一方向对深度区 域做投影处理，得到深度区域对应的投影图，投影图用于表示深度区域关 于第二方向对应的深度值的取值分布情况，第二方向为深度区域上不同于 第一方向的方向；

投影噪声区域确定模块2130，被配置为对投影图进行噪声识别，得到 投影图中的投影噪声区域；

去噪模块2140，被配置为获取深度区域中对应于投影噪声区域的深度 噪声区域，并对深度图的各个深度噪声区域进行去噪处理，得到去噪后的 深度图。

在本申请的一些实施例中，基于以上各实施例，投影图获取模块包括：

滑动窗口建立单元，被配置为根据第一预设尺寸建立滑动窗口；

深度区域截取单元，被配置为根据预设步长在深度区域中沿着第一方 向滑动滑动窗口，并通过处于各个滑动位置上的滑动窗口截取深度区域， 得到滑动窗口在各个滑动位置上对应的子区域；

投影处理单元，被配置为沿着第一方向对子区域做投影处理，得到各 个子区域对应的子投影图；其中，子投影图用于表示子区域关于第二方向 对应的深度值的取值分布情况；

投影图获取单元，被配置为将得到的多个子投影图沿着滑动窗口滑动 的方向融合为投影图。

在本申请的一些实施例中，基于以上各实施例，投影处理单元包括：

三维转换子单元，被配置为将深度图转换为采用了三维坐标系的三维 空间点云，三维坐标包括第一平面坐标轴、第二平面坐标轴和深度值坐标 轴；

窗口点云获取子单元，被配置为获取三维空间点云中对应于子区域的 窗口点云；

投影处理子单元，被配置为将第一平面坐标轴的方向作为第一方向， 将窗口点云沿着第一方向做投影处理，得到子区域对应的子投影图。

在本申请的一些实施例中，基于以上各实施例，深度区域划分模块包 括：

深度值列获取单元，被配置为获取深度图中的两列在第一平面坐标轴 上的位置相邻的深度值，得到第一深度值列和第二深度值列；

深度值组获取单元，被配置为将第一深度值列和第二深度值列中在第 二平面坐标轴上的位置相同的深度值确定为一组深度值；

差值总和计算单元，被配置为计算各组深度值中的两个深度值之间的 差值，并对得到的多个差值进行求和运算，得到差值总和；

深度区域划分单元，被配置为当差值总和大于第一预设阈值时，将第 一深度值列和第二深度值列作为两个深度区域的分界线，并将第一深度值 列划分为到第一深度区域，将第二深度值列划分为到第二深度区域。

在本申请的一些实施例中，基于以上各实施例，投影噪声区域确定模 块包括：

目标子投影图确定单元，被配置为将投影图中取值跳变的深度值所聚 集的区域所对应的子投影图，确定为目标子投影图；

投影噪声区域确定单元，被配置为将多个目标子投影图组成的区域确 定为投影噪声区域。

在本申请的一些实施例中，基于以上各实施例，目标子投影图确定单 元包括：

深度值序列获取子单元，被配置为将子投影图中的各个深度值按照数 值从大到小或者从小到大的顺序排列，得到深度值序列；

深度值抽取子单元，被配置为从深度值序列中，按照预设数量间隔抽 取多个深度值；

差值计算子单元，被配置为将抽取得到的多个深度值按照数值从大到 小或者从小到大的顺序排列，并计算每相邻两个深度值的差值；

目标子投影图确定子单元，被配置为当差值大于第二预设阈值时，将 子投影图判定为目标子投影图。

在本申请的一些实施例中，基于以上各实施例，去噪模块包括：

第一均值获取单元，被配置为在深度噪声区域上建立第二预设尺寸的 判断框，通过判断框截取深度噪声区域中的待判断区域，并计算待判断区 域的均值，得到第一均值；待判断区域包括一个中心点，中心点为位于待 判断区域中的预设位置的像素点；

第二均值获取单元，被配置为获取与中心点位置相邻的邻域点，并计 算中心点的各个邻域点所对应的待判断区域的均值，得到第二均值；

异常梯度值判定单元，被配置为计算第一均值和各个第二均值的梯度 值，并将大于预设梯度值的梯度值判定为异常梯度值；

待处理噪声区域判定单元，被配置为当异常梯度值的数量大于预设数 量时，将待判断区域判定为待处理噪声区域；

噪声去除单元，被配置为对深度图中的各个的待处理噪声区域的深度 值进行重新确定，得到去噪后的深度图。

在本申请的一些实施例中，基于以上各实施例，噪声去除单元包括：

深度值置零子单元，被配置为将深度图中的各个的待处理噪声区域的 深度值置零；

插值处理子单元，被配置为根据待处理噪声区域周围的深度值，对待 处理噪声区域进行插值处理，得到去噪后的深度图。

在本申请的一些实施例中，基于以上各实施例，深度图的去噪装置还 包括：

第一比值计算单元，被配置为计算待处理噪声区域得到的异常梯度值 的数量和待处理噪声区域得到的所有梯度值的数量的第一比值；

第一置信度确定单元，被配置为根据第一比值确定第一置信度，第一 置信度用于表示待处理噪声区域判定准确的可靠程度。

在本申请的一些实施例中，基于以上各实施例，深度图的去噪装置还 包括：

目标数量确定单元，被配置为确定深度区域中第一置信度低于第一预 设置信度的待处理噪声区域的目标数量；

第二比值计算单元，被配置为计算目标数量与深度区域中所有待处理 噪声区域的数量的第二比值；

第二置信度确定单元，被配置为根据第二比值确定第二置信度，第二 置信度用于表示深度区域中的待处理噪声区域判定准确的可靠程度；

需复核深度区域确定单元，被配置为当第二置信度低于第二预设置信 度时，将深度区域标记为需要复核待处理噪声区域的判定准确性的深度区 域。

在本申请的一些实施例中，基于以上各实施例，深度图的去噪装置还 包括：

平均值计算单元，被配置为计算深度图中的各个深度值的平均值；

深度值去除单元，被配置为去除深度图中与平均值的差值大于预设差 值的深度值。

在本申请的一些实施例中，基于以上各实施例，深度图为采用线扫相 机对集装箱进行深度成像得到的深度图，第一方向为线扫相机的扫描方向。

本申请各实施例中提供的深度图的去噪装置的具体细节已经在对应的 相关方法实施例中进行了详细的描述，此处不再赘述。

图22示意性地示出了用于实现本申请实施例的电子设备的计算机系统 结构框图。

需要说明的是，图22示出的电子设备的计算机系统2200仅是一个示 例，不应对本申请实施例的功能和使用范围带来任何限制。

如图22所示，计算机系统2200包括中央处理器2201(Central Processing Unit，CPU)，其可以根据存储在只读存储器2202(Read-Only Memory，ROM)中的程序或者从存储部分2208加载到随机访问存储器 2203(Random Access Memory，RAM)中的程序而执行各种适当的动作和 处理。在随机访问存储器2203中，还存储有系统操作所需的各种程序和数 据。中央处理器2201、在只读存储器2202以及随机访问存储器2203通过 总线2204彼此相连。输入/输出接口2205(Input/Output接口，即I/O接口) 也连接至总线2204。

以下部件连接至输入/输出接口2205：包括键盘、鼠标等的输入部分 2206；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器 (Liquid Crystal Display，LCD)等以及扬声器等的输出部分2207；包括硬 盘等的存储部分2208；以及包括诸如局域网卡、调制解调器等的网络接口 卡的通信部分2209。通信部分2209经由诸如因特网的网络执行通信处理。 驱动器2210也根据需要连接至输入/输出接口2205。可拆卸介质2211，诸 如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器2210 上，以便于从其上读出的计算机程序根据需要被安装入存储部分2208。

特别地，根据本申请的实施例，各个方法流程图中所描述的过程可以 被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产 品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用 于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序 可以通过通信部分2209从网络上被下载和安装，和/或从可拆卸介质2211 被安装。在该计算机程序被中央处理器2201执行时，执行本申请的系统中限定的各种功能。

需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可 读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机 可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、 或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介 质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便 携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、 可擦式可编程只读存储器(Erasable Programmable Read Only Memory， EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的 任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存 储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者 与其结合使用。而在本申请中，计算机可读信号介质可以包括在基带中或 者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。 这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号 或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储 介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。 计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不 限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法 和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程 图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上 述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功 能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注 的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示 的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行， 这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以 及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的 基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干 模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施 方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块 或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可 以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述 的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方 式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式 体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD- ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设 备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据 本申请实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到 本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适 应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包 括本申请未公开的本技术领域中的公知常识或惯用技术手段。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精 确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅 由所附的权利要求来限制。

Claims (15)

1.一种深度图的去噪方法，其特征在于，所述方法包括：

根据深度图中各个深度值的大小将所述深度图划分为一个或多个深度区域，每个所述深度区域中的各个图像位置具有相似的深度值；

沿着所述深度区域上的第一方向对所述深度区域做投影处理，得到所述深度区域对应的投影图，所述投影图用于表示所述深度区域关于第二方向对应的深度值的取值分布情况，所述第二方向为所述深度区域上不同于所述第一方向的方向；

对所述投影图进行噪声识别，得到所述投影图中的投影噪声区域；

获取所述深度区域中对应于所述投影噪声区域的深度噪声区域，并对所述深度图的各个深度噪声区域进行去噪处理，得到去噪后的深度图。

2.根据权利要求1所述的方法，其特征在于，沿着所述深度区域上的第一方向对所述深度区域做投影处理，得到所述深度区域对应的投影图，包括：

根据第一预设尺寸建立滑动窗口；

根据预设步长在所述深度区域中沿着所述第一方向滑动所述滑动窗口，并通过处于各个滑动位置上的滑动窗口截取所述深度区域，得到所述滑动窗口在各个滑动位置上对应的子区域；

沿着所述第一方向对所述子区域做投影处理，得到各个子区域对应的子投影图；其中，所述子投影图用于表示所述子区域关于所述第二方向对应的深度值的取值分布情况；

将得到的多个子投影图沿着所述滑动窗口滑动的方向融合为所述投影图。

3.根据权利要求2所述的方法，其特征在于，沿着所述第一方向对所述子区域做投影处理，得到各个子区域对应的子投影图，包括：

将所述深度图转换为采用了三维坐标系的三维空间点云，所述三维坐标包括第一平面坐标轴、第二平面坐标轴和深度值坐标轴；

获取所述三维空间点云中对应于所述子区域的窗口点云；

将所述第一平面坐标轴的方向作为第一方向，将所述窗口点云沿着所述第一方向做投影处理，得到所述子区域对应的子投影图。

4.根据权利要求3所述的方法，其特征在于，根据深度图中各个深度值的大小将所述深度图划分为一个或多个深度区域，包括：

获取所述深度图中的两列在第一平面坐标轴上的位置相邻的深度值，得到第一深度值列和第二深度值列；

将所述第一深度值列和所述第二深度值列中在第二平面坐标轴上的位置相同的深度值确定为一组深度值；

计算各组深度值中的两个深度值之间的差值，并对得到的多个差值进行求和运算，得到差值总和；

当所述差值总和大于第一预设阈值时，将所述第一深度值列和所述第二深度值列作为两个深度区域的分界线，并将所述第一深度值列划分为到第一深度区域，将所述第二深度值列划分为到第二深度区域。

5.根据权利要求2所述的方法，其特征在于，对所述投影图进行噪声识别，得到所述投影图中的投影噪声区域，包括：

将所述投影图中取值跳变的深度值所聚集的区域所对应的子投影图，确定为目标子投影图；

将多个所述目标子投影图组成的区域确定为所述投影噪声区域。

6.根据权利要求5所述的方法，其特征在于，将所述投影图中取值跳变的深度值所聚集的区域所对应的子投影图，确定为目标子投影图，包括：

将所述子投影图中的各个深度值按照数值从大到小或者从小到大的顺序排列，得到深度值序列；

从所述深度值序列中，按照预设数量间隔抽取多个深度值；

将抽取得到的多个深度值按照数值从大到小或者从小到大的顺序排列，并计算每相邻两个深度值的差值；

当所述差值大于第二预设阈值时，将所述子投影图判定为目标子投影图。

7.根据权利要求6所述的方法，其特征在于，对所述深度图的各个深度噪声区域进行去噪处理，得到去噪后的深度图，包括：

在所述深度噪声区域上建立第二预设尺寸的判断框，通过所述判断框截取所述深度噪声区域中的待判断区域，并计算所述待判断区域的均值，得到第一均值；所述待判断区域包括一个中心点，所述中心点为位于所述待判断区域中的预设位置的像素点；

获取与所述中心点位置相邻的邻域点，并计算所述中心点的各个邻域点所对应的待判断区域的均值，得到第二均值；

计算所述第一均值和各个所述第二均值的梯度值，并将大于预设梯度值的梯度值判定为异常梯度值；

当所述异常梯度值的数量大于预设数量时，将所述待判断区域判定为待处理噪声区域；

对所述深度图中的各个的待处理噪声区域的深度值进行重新确定，得到去噪后的深度图。

8.根据权利要求7所述的方法，其特征在于，对所述深度图中的各个的待处理噪声区域的深度值进行重新确定，得到去噪后的深度图，包括：

将所述深度图中的各个的待处理噪声区域的深度值置零；

根据所述待处理噪声区域周围的深度值，对所述待处理噪声区域中的各个深度值通过插值算法重新确定深度值，得到去噪后的深度图。

9.根据权利要求7所述的方法，其特征在于，在当所述待判断区域中得到的异常梯度值的数量大于预设数量时，将所述待判断区域判定为待处理噪声区域之后，所述方法还包括：

计算所述待处理噪声区域得到的异常梯度值的数量和所述待处理噪声区域得到的所有梯度值的数量的第一比值；

根据所述第一比值确定第一置信度，所述第一置信度用于表示所述待处理噪声区域判定准确的可靠程度。

10.根据权利要求9所述的方法，其特征在于，在根据所述第一比值确定第一置信度之后，所述方法还包括：

确定所述深度区域中所述第一置信度低于第一预设置信度的待处理噪声区域的目标数量；

计算所述目标数量与所述深度区域中所有待处理噪声区域的数量的第二比值；

根据所述第二比值确定第二置信度，所述第二置信度用于表示所述深度区域中的待处理噪声区域判定准确的可靠程度；

当所述第二置信度低于第二预设置信度时，将所述深度区域标记为需要复核待处理噪声区域的判定准确性的深度区域。

11.根据权利要求1-10任意一项所述的方法，其特征在于，在根据深度图中各个深度值的大小将所述深度图划分为一个或多个深度区域之前，所述方法还包括：

计算所述深度图中的各个深度值的平均值；

去除所述深度图中与所述平均值的差值大于预设差值的深度值。

12.根据权利要求1-10任意一项所述的方法，其特征在于，所述深度图为采用线扫相机对集装箱进行深度成像得到的深度图，所述第一方向为所述线扫相机的扫描方向。

13.一种深度图的去噪装置，其特征在于，所述装置包括：

深度区域划分模块，被配置为根据深度图中各个深度值的大小将所述深度图划分为一个或多个深度区域，每个所述深度区域中的各个图像位置具有相似的深度值；

投影图获取模块，被配置为沿着所述深度区域上的第一方向对所述深度区域做投影处理，得到所述深度区域对应的投影图，所述投影图用于表示所述深度区域关于第二方向对应的深度值的取值分布情况，所述第二方向为所述深度区域上不同于所述第一方向的方向；

投影噪声区域确定模块，被配置为对所述投影图进行噪声识别，得到所述投影图中的投影噪声区域；

去噪模块，被配置为获取所述深度区域中对应于所述投影噪声区域的深度噪声区域，并对所述深度图的各个深度噪声区域进行去噪处理，得到去噪后的深度图。

14.一种计算机可读介质，其特征在于，其上存储有计算机程序，该计算机程序被处理器执行时实现权利要求1至12中任意一项所述的方法。

15.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至12中任意一项所述的方法。

Images