CN117197211B - 一种深度图像生成方法、系统、装置及介质 - Google Patents

Abstract

本说明书实施例提供一种深度图像生成方法、系统、装置及介质，所述方法包括：获取目标点云帧集对应的目标点云并对所述目标点云进行拼接；将拼接后的目标点云投影至目标图像对应的图像平面；基于投影图像，确定初步深度图像；基于所述初步深度图像以及所述目标图像对应的分割结果，确定目标深度图像。

Description

一种深度图像生成方法、系统、装置及介质

技术领域

本说明书涉及图像处理领域，特别涉及一种深度图像生成方法、系统、装置及介质。

背景技术

深度图像也被称为距离影像，是指将从图像采集器到场景中各点的距离(又称为深度)作为像素值的图像，它直接反映了景物可见表面的几何形状以及场景中各个物体的距离。深度图像被广泛应用于机器人视觉、3D建模、虚拟现实等领域。例如，无人驾驶避障等。

获取深度图像的关键在于确定图像的深度信息。获取图像深度信息的方法包括多种，例如激光设备扫描、双目测距方法以及直接利用深度相机来获取图像深度图等。其中激光设备能直接对目标进行扫描，通过反射点获取目标的深度。双目测距方法则利用两个相机在同一目标的特征点，计算得到视差图后，再求得真值。其中，激光点云获取的真值相比于图像，点云较为稀疏，无法获取全图深度；而双目测距方法一般求解的精度较高，但是计算量较大，且只能对两幅图像的公共区域求得真值，无法获取全图深度；而利用深度相机直接获取图像深度，由于设备可视距离过近，目前主要应用于室内封闭型场景，难以较好地适用于开放和半开放场景。

因此需要一种深度图像生成方法、系统、装置及介质，可以通过较少的点云获得图像的深度信息。

发明内容

本说明书一个或多个实施例提供一种深度图像生成方法，所述方法包括：获取目标点云帧集对应的目标点云并对所述目标点云进行拼接；将拼接后的目标点云投影至目标图像对应的图像平面；基于投影图像，确定初步深度图像；基于所述初步深度图像以及所述目标图像对应的分割结果，确定目标深度图像。

本说明书实施例之一提供一种深度图像生成系统，所述系统包括：拼接模块，被配置为获取目标点云帧集对应的目标点云并对所述目标点云进行拼接；投影模块，被配置为将拼接后的目标点云投影至目标图像对应的图像平面；第一确定模块，被配置为基于投影图像，确定初步深度图像；第二确定模块，被配置为基于所述初步深度图像以及所述目标图像对应的分割结果，确定目标深度图像。

本说明书一个或多个实施例提供一种深度图像生成装置，所述装置包括至少一个存储介质及至少一个处理器；所述至少一个存储介质用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令，以实现深度图像生成方法。

本说明书一个或多个实施例提供一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，以实现深度图像生成方法。

附图说明

本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：

图1是根据本说明书一些实施例所示的深度图像生成系统的应用场景示意图；

图2是根据本说明书一些实施例所示的深度图像生成系统的示例性模块图；

图3是根据本说明书一些实施例所示的深度图像生成方法的示例性流程图；

图4a是本说明书一些实施例所示的目标图像的示意图；

图4b是本说明书一些实施例所示的目标图像对应的分割结果的示意图；

图4c是本说明书一些实施例所示的初步深度图像的示意图；

图4d是本说明书一些实施例所示的目标深度图像的示意图；

图5是根据本说明书一些实施例所示的确定初步深度图像的示例性流程图；

图6是根据本说明书一些实施例所示的确定目标深度图像的示例性流程图；

图7是根据本说明书一些实施例所示的目标像素以及邻域像素的示意图。

具体实施方式

为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

应当理解，本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。

如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。

本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

生成深度图像的关键在于获取目标图像对应的图像深度信息。图像深度信息可以反应图像中不同目标的距离。图像深度信息可以通过多种方法获取，例如激光设备扫描、双目测距方法以及直接利用深度相机获取等。但上述方法存在无法获取全图深度、计算量较大或无法适用开放和半开放场景等问题。

鉴于此，本说明书一些实施例中提供一种深度图像生成方法、系统、装置及介质，通过不同方向(如前向左视、右视及俯视等)的激光获取融合点云，再进行多帧拼接得到当前帧的拼接后点云结果并投影到图像平面，然后引入图像的分割结果对这堆点云进行稠密化，通过较少点云方便快捷地获得整个图像的深度信息，且获得的图像深度信息具有一定的准确性和鲁棒性。

图1是根据本说明书一些实施例所示的深度图像生成系统的应用场景示意图。

如图1所示，深度图像生成系统的应用场景100可以包括目标场景110、采集设备111、网络120、终端130、处理器140以及存储设备150等。

目标场景110是指需要获取图像深度信息的图像对应的场景。例如，目标场景可以是需要获取深度图像的某堆场等。

采集设备111是指对目标场景的图像和点云进行采集的设备。采集设备111可以包括点云获取装置和图像获取装置。点云获取装置用于获取目标场景的点云，可以包括激光雷达、三维激光点云数据采集器等。图像获取装置用于获取目标场景的图像，可以包括相机(如单目相机等)。采集设备111可以被安装于固定和/或可移动载体(如车辆等)上。

在一些实施例中，采集设备111可以包括多个。例如，多个采集设备111可以被安装于载体的上方、左侧、右侧等。可以理解的是，安装于载体不同位置的多个采集设备，可以采集目标场景多个视角的图像，以确保获取的图像的完整性，避免获取的深度图像存在视角盲区的情况。

网络120可以包括促进深度图像生成系统的信息和/或数据交换的任何合适的网络。在一些实施例中，一个或以上深度图像生成系统的组件(例如，采集设备111、终端130、处理器140以及存储设备150等)可以通过网络120与深度图像生成系统的应用场景100的一个或以上其他组件通信信息和/或数据。例如，采集设备111可以通过网络120将采集的图像信息发送至处理器140等。

终端130能够提供与用户交互相关的功能组件和能够实现用户交互功能(例如为用户提供或展示信息和数据)。用户可以指进行深度图像采集的人员等。仅作为示例，终端130可以是移动设备、平板计算机、膝上型计算机、台式计算机等其他具有输入和/或输出功能的设备中的一种或其任意组合。

处理器140能够处理与深度图像生成系统有关的信息和/或数据，以执行本说明书中描述的一个或以上功能。在一些实施例中，处理器140可以用于获取目标点云帧集对应的目标点云并对目标点云进行拼接；将拼接后的目标点云投影至目标图像对应的图像平面；基于投影图像，确定初步深度图像；基于初步深度图像以及目标图像对应的分割结果，确定目标深度图像。相关内容的详细说明可以参见图3及其相关描述。

在一些实施例中，处理器140包括一个或以上处理引擎(例如，单芯片处理引擎或多芯片处理引擎)。仅作为示例，处理器140可以包括中央处理单元(CPU)、专用集成电路(ASIC)、专用指令处理器(ASIP)、图形处理器(GPU)、物理处理器(PPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编辑逻辑电路(PLD)、控制器、微控制器单元、精简指令集电脑(RISC)、微处理器等或以上任意组合。

存储设备150能够存储数据、指令和/或任何其他信息。在一些实施例中，存储设备150可以存储从采集设备111和/或处理器140获取的数据，例如目标图像、深度图像等。在一些实施例中，存储设备150可包括大容量存储器、可移动存储器、易失性读写内存、只读内存(ROM)等或其任意组合。在一些实施例中，存储设备150可在云平台上执行。在一些实施例中，存储设备150可以连接到网络120以与深度图像生成系统的一个或以上其他组件(例如，采集设备111、处理器140等)通信。在一些实施例中，存储设备150可以是处理器140的一部分。

应当注意的是，深度图像生成系统的应用场景100仅仅是为了说明的目的而提供，并不意图限制本说明书的范围。对于本领域的普通技术人员来说，可以根据本说明书的描述，做出多种修改或变化。例如，深度图像生成系统的应用场景100还可以包括数据库、信息源等。又例如，深度图像生成系统的应用场景100可以在其他设备上实现以实现类似或不同的功能。然而，变化和修改不会背离本说明书的范围。

图2是根据本说明书一些实施例所示的深度图像生成系统的示例性模块图。如图2所示，深度图像生成系统200可以包括获取模块210、拼接模块220、投影模块230、第一确定模块240以及第二确定模块250等。

获取模块210被配置为获取目标点云帧集对应的目标点云。

拼接模块220被配置为对目标点云进行拼接。

投影模块230被配置为将拼接后的目标点云投影至目标图像对应的图像平面。

第一确定模块240被配置为基于投影图像，确定初步深度图像。

在一些实施例中，第一确定模块240进一步被配置为：确定投影图像中目标点云对应的投影点的投影比例；当投影比例大于或等于预设阈值时，确定投影图像为所述初步深度图像；当投影比例小于所述预设阈值时，更新目标点云帧集，获得更新后的目标点云帧集对应的更新后的目标点云；基于更新后的目标点云，确定更新后的投影图像，直至更新后的投影图像对应的投影比例大于或等于预设阈值；将更新后的投影图像确定为初步深度图像。

第二确定模块250被配置为基于初步深度图像以及目标图像对应的分割结果，确定目标深度图像。

在一些实施例中，第二确定模块250进一步被配置为：对初步深度图像的多个目标像素中的至少一个，基于目标图像对应的分割结果，确定目标像素的多个邻域相邻像素；基于初步深度图像，确定目标像素对应的初始通道分量以及多个邻域像素分别对应的多个邻域通道分量；基于初始通道分量以及多个邻域通道分量，确定目标像素对应的目标通道分量；基于初步深度图像的多个目标像素分别对应的多个目标通道分量，确定目标深度图像。

在一些实施例中，第二确定模块250进一步被配置为：基于目标图像对应的分割结果，确定目标像素的第一类别信息和多个相邻像素的第二类别信息；基于第一类别信息和第二类别信息，确定目标像素的多个邻域像素。

在一些实施例中，第二确定模块250进一步被配置为：当初步深度图像中的目标像素带有深度信息时，基于深度信息，确定目标像素的初始通道分量；当目标像素不带有所述深度信息时，选取目标像素的预设范围内带有深度信息的像素作为候选参考像素；将类别信息与目标像素的类别信息相同的候选参考像素确定为参考像素；基于参考像素的深度信息，确定初始通道分量。

在一些实施例中，预设范围相关于初步深度图像的投影比例。

在一些实施例中，第二确定模块250进一步被配置为：基于目标图像，确定多个邻域像素分别对应的多个权重；基于初始通道分量、多个邻域通道分量以及多个邻域像素分别对应的多个权重，确定目标像素对应的目标通道分量。

关于以上所示的深度图像生成系统的各模块的具体描述，可以参考本说明书下文相关部分，例如，图3、图5、图6等及其相关说明。

需要注意的是，以上对于深度图像生成系统及其模块的描述，仅为描述方便，并不能把本说明书限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。在一些实施例中，图2中披露的获取模块210、拼接模块220、投影模块230、第一确定模块240以及第二确定模块250可以是一个系统中的不同模块，也可以是一个模块实现上述的两个或两个以上模块的功能。例如，各个模块可以共用一个存储模块，各个模块也可以分别具有各自的存储模块。诸如此类的变形，均在本说明书的保护范围之内。

图3是根据本说明书一些实施例所示的深度图像生成方法的示例性流程图。在一些实施例中，流程300可以由处理器执行。如图3所示，流程300包括下述步骤。

步骤310，获取目标点云帧集对应的目标点云并对目标点云进行拼接。

目标点云帧集是指载体(如车辆等)当前获取的及其之前相关于目标场景的若干点云帧。目标场景是指需要获取深度信息的场景。例如，目标场景可以为堆场。

目标点云帧集内包括的点云帧的数量可以预先设置。例如，目标点云帧集的点云帧可以预先设置为载体当前获取的及其之前相关于目标场景的60帧点云帧，获取模块210可以将当前获取的点云帧及其之前59帧点云帧确定为目标点云帧集，使得大部分的初步深度图像满足预设阈值，从而加快处理速度。关于初步深度图像和预设阈值的更多说明可以参见后文相关部分。

目标点云是指目标点云帧集中的点云帧所涉及的点云。目标点云可以通过采集设备111获取，例如，可以通过采集设备111中的点云获取装置采集。

在一些实施例中，处理器可以将目标点云帧集对应的目标点云进行拼接。示例性的，处理器可以基于左右及俯视激光点云的外参标定参数，将目标点云帧集对应的点云投影到惯性测量单元(Inertial Measurement Unit，IMU)坐标系，投影后获得的点云即为拼接后的目标点云。其中，激光点云的外参标定参数可以包括俯仰角、滚转角、偏转角(用于确定车辆等载体的转向情况)以及平移参数(用于确定车辆等载体的平移情况)等。

在本说明书的一些实施例中，通过采集获取目标点云帧集的目标点云，并对其进行拼接，获得的拼接后的目标点云，可以增加点云的稠密度，确保了后续确定的初步深度图像的质量，同时能自动适配不同激光点云数量；以及，相应地提高后续获取的深度图像的精度和鲁棒性。

步骤320，将拼接后的目标点云投影至目标图像对应的图像平面。

目标图像是指相关于目标场景的图像。例如，目标图像可以为如图4a所示的堆场图像。目标图像可以通过采集设备111获取，例如，可以通过采集设备111中的图像获取装置获取等。目标图像可以在任一时间获取，或和目标点云帧集中的某一点云帧同时获取。例如，采集设备111在通过图像获取装置获取目标图像的同时可以通过点云获取装置获取当前的点云帧。可以理解的是，由于需要基于目标点云帧集生成相关于目标图像的目标深度图像，因此，目标点云帧集中的点云帧与目标图像对应的目标场景应完全相同。

在一些实施例中，处理器可以基于目标图像与IMU坐标系的映射关系，将拼接后的目标点云投影至目标图像对应的图像平面。其中，前述映射关系可以根据采集目标图像时载体(如车辆等)的位置信息以及采集设备111的采集参数确定。

处理器可以将目标点云投影至目标图像对应的图像平面后获得的图像确定为投影图像。

步骤330，基于投影图像，确定初步深度图像。

初步深度图像是指投影图像对应的深度图像。例如，初步深度图像可以是如图4c所示的点云对应的投影点数量较稀疏的深度图像。在一些实施例中，初步深度图像中点云对应的投影点对应的像素具有深度信息，该深度信息可以基于点云获取装置采集的点云确定。

在一些实施例中，处理器可以将投影图像直接确定为初步深度图像。

可以理解的是，如图4c所示，初步深度图像中的点云对应的投影点可能较稀疏，无法较为准确地确定目标图像的深度图像，需要对初步深度图像进行进一步处理，确定目标深度图像。在一些实施例中，处理器还可以确定投影图像中目标点云对应的投影点的投影比例；当投影比例大于或等于预设阈值时，确定投影图像为初步深度图像；当投影比例小于预设阈值时，更新目标点云帧集，获得更新后的目标点云帧集对应的更新后的目标点云；基于更新后的目标点云，确定更新后的投影图像，直至更新后的投影图像对应的投影比例大于或等于预设阈值；将更新后的投影图像确定为初步深度图像。相关说明的更多说明可以参见图5。

步骤340，基于初步深度图像以及目标图像对应的分割结果，确定目标深度图像。

目标图像对应的分割结果是指将目标图像进行分割后获得的结果。分割是指将目标图像进行语义分割检测，以确定其中的多个不同的实例。如图4b，图4b是将图4a所示的目标图像进行分割后获得的结果，图4b中分割获得的实例包括道路、障碍物以及天空等。

对目标图像的分割可以基于机器学习模型(如卷积神经网络模型等)进行。例如，处理器可以将目标图像输入机器学习模型，机器学习模型输出对应的分割结果。其中，机器学习模型的训练样本可以包括大量的图像，标签可以包括各个图像中的实例信息。训练样本和标签可以通过人工采集标注获取。

目标深度图像是指需要获取的深度图像。如图4d所示，相比于图4c中的初步深度图像，目标深度图像中具有深度信息的像素数量更多，更加稠密，能够更好地应用于相关领域(如无人驾驶的车辆避障等)。

在一些实施例中，处理器可以直接将初步深度图像确定为目标深度图像。

在一些实施例中，处理器还可以对初步深度图像的多个目标像素中的至少一个，基于目标图像对应的分割结果，确定目标像素的多个邻域像素；基于初步深度图像，确定目标像素对应的初始通道分量以及多个邻域像素分别对应的多个邻域通道分量；基于初始通道分量以及多个邻域通道分量，确定目标像素对应的目标通道分量；基于初步深度图像的多个目标像素分别对应的目标通道分量，确定目标深度图像。相关内容的详细说明可以参见图6及其相关描述。

在本说明书的一些实施例中所述的深度图像生成方法，至少可以取得以下效果：(1)可以适应1个到多个激光和1个相机的图像采集系统；(2)将多帧点云帧的点云信息进行拼接，可以通过较少的点云获取整个目标图像的深度信息。

图5是根据本说明书一些实施例所示的深度图像生成方法的示例性流程图。在一些实施例中，流程500可以由处理器执行。如图5所示，流程500包括下述步骤。

步骤510，确定投影图像中目标点云对应的投影点的投影比例。

投影点是指拼接后的目标点云投影在投影图像中的像素。投影点可以与拼接后的目标点云对应，对应关系相关于投影图像的精度，精度越高，一个拼接后的目标点云对应的投影点越少。关于拼接后的目标点云的更多说明可以参见图3。

投影比例是指投影图像中，投影点数量与图像像素数量的比例。例如，一个投影图像的投影点数量为a，图像像素比例为b，则该投影图像的投影比例为a/b。

步骤520，判断投影比例是否大于或等于预设阈值。

在一些实施例中，处理器可以判断投影比例是否大于或等于预设阈值。其中，预设阈值可以通过在不同分辨率下对图像的多次反复实验得到的，基于此种方法确定的预设阈值可以确保不同分辨率下的点云稀疏度大致相同，从而确保后续确定的深度图像具备一定的鲁棒性。

当投影比例大于或等于预设阈值时，说明投影图像的点云数量足够大，密度足够稠密，其带有深度信息的像素足够多，处理器执行步骤530。

当投影比例小于预设阈值时，说明投影图像的点云密度较低，带有深度信息的像素不足，需要进一步的处理。处理器执行步骤540。

步骤530，确定投影图像为初步深度图像。

在一些实施例中，当投影比例大于或等于预设阈值时，处理器可以将投影图像确定为初步深度图像。

步骤540，更新目标点云帧集，获得更新后的目标点云帧集对应的更新后的目标点云。

在一些实施例中，当投影比例小于预设阈值时，处理器可以更新目标点云帧集，并获得更新后的目标点云帧集对应的更新后的目标点云。例如，处理器可以更新目标点云帧集的点云帧数量，重新获取其他点云帧(如，将获取当前点云帧的前30帧点云帧改为获取前60帧点云帧)，并将其确定为更新后的目标点云帧集。结合步骤310所述，确定更新后的目标点云后，处理器可以对更新后的目标点云进行拼接处理，更多描述可见图3及其描述。

步骤550，基于更新后的目标点云，确定更新后的投影图像。

结合步骤320所述，处理器可以将更新后的目标点云拼接后并投影至图像平面以确定更新后的投影图像。相关内容的更多说明可以参见图3相关描述。

获得更新后的投影图像后，处理器可以判断更新后的投影图像的投影比例是否大于或等于预设阈值。若是，则将更新后的投影图像确定为初步深度图像；若否，则重复执行步骤540-步骤550，直至更新后的投影图像的投影比例大于或等于预设阈值，并将更新后的投影图像确定为初步深度图像。

在本说明书的一些实施例中，基于投影图像、投影比例和预设阈值，确定初步深度图像，可以通过自适应的拼接帧数使获得的初步深度图像的点云足够稠密，确保初步深度图像的点云质量，进一步确保后续确定深度图像具有更好的鲁棒性。

图6是根据本说明书一些实施例所示的确定目标深度图像的示例性流程图。在一些实施例中，流程600可以由处理器执行。如图6所示，流程600包括下述步骤。

在一些实施例中，处理器可以确定初步深度图像中多个目标像素分别对应的目标通道分量，从而确定目标深度图像。

目标像素是指初步深度图像中需要确定深度信息像素。目标像素可以包括初步深度图像中的所有像素，也可以包括初步深度图像中不具有深度信息的像素。其中，不具有深度信息的像素是指初步深度图像中没有点云对应的投影的像素。

以图4c所示的初步深度图像为例，目标像素可以是图4c中的所有像素，或图4c中不具有深度信息的像素。

目标像素可能包括多个，对于多个目标像素中的至少一个，处理器可以基于以下步骤610-步骤630确定该目标像素对应的目标通道分量。

步骤610，基于目标图像对应的分割结果，确定目标像素的多个邻域像素。

邻域像素是指目标像素的一定范围内的同类别像素。其中，该范围可以预设，例如，可以是以目标像素为圆心，三个像素为半径的区域等。同类别是指像素的类别信息与目标像素的类别信息相同。

图7是根据本说明书一些实施例所示的目标像素以及邻域像素的示意图。如图7所示，像素r为目标像素，像素S₁～S₁₂为目标像素r的邻域像素。

在一些实施例中，处理器可以基于目标图像对应的分割结果，确定目标像素的第一类别信息和多个相邻像素的第二类别信息；基于第一类别信息和第二类别信息，确定目标像素的多个邻域像素。

第一类别信息是指目标像素对应的类别信息。以图4b为例，第一类别信息可以包括障碍物、道路、天空等。

第二类别信息是指相邻像素对应的类别信息。以图4b为例，第二类别信息可以包括障碍物、道路、天空等。相邻像素是指与目标像素邻近的一定范围内的其他像素。

在一些实施例中，处理器可以基于第一类别信息和第二类别信息确定目标像素的多个邻域像素。例如，处理器可以基于目标图像对应的分割结果确定目标像素的第一类别信息以及相邻像素的第二类别信息，最后将第二类别信息与第一类别信息相同的相邻像素确定为邻域像素。以图7为例，目标像素r的第一类别信息为集装箱，相邻像素S₁₃(图中未示出)的第二类别信息为道路，则相邻像素S₁₃不是目标像素r的邻域像素；相邻像素S₁～S₁₂的第二类别信息为集装箱，与第一类别信息相同，则像素S₁～S₁₂为目标像素r的邻域像素。

在本说明书的一些实施例中，基于目标图像对应的分割结果确定目标像素及其对应的邻域像素，可以确保相同类别的目标的深度信息较为接近，提高深度图像的准确度和鲁棒性；此外，仅将与目标像素类别相同的相邻像素确定为邻域像素，可以在一定程度上减少计算量，提高效率。

步骤620，基于初步深度图像，确定目标像素对应的初始通道分量以及多个邻域像素分别对应的多个邻域通道分量。

需要说明的是，目标图像以及基于目标图像确定的初步深度图像为其他色域(例如，RGB)空间内的图像，该色域空间下像素的深度信息受天气、环境等因素影响较大，为使获取的深度图像中尽可能多的像素具有深度信息，处理器可以将初步深度图像转化至YUV色域空间内。处理器可以通过多种方式将初步深度图像从其他色域空间转换至YUV空间，例如通过色域空间转换算法等，在此不做限定。

值得说明的是，YUV色域空间可以通过亮度通道和色度通道表示像素，Y通道表示亮度，U通道表示蓝色色度，V通道表示红色色度。其中，Y通道可以较好地表示像素的深度信息，因此，处理器可以基于初步深度图像中目标像素的Y通道的通道值，确定对应的目标深度图像。

初始通道分量是指目标像素在初步深度图像中的Y通道的初始通道值。

邻域通道分量是指邻域像素在初步深度图像中的Y通道的初始通道值。

在一些实施例中，处理器可以基于YUV色域空间下的初步深度图像确定目标像素对应的初始通道分量以及多个邻域像素分别对应的多个邻域通道分量。

在一些实施例中，当初步深度图像中的目标像素带有深度信息时，处理器可以基于深度信息，确定目标像素的初始通道分量。例如，处理器可以基于目标像素的深度信息，通过预设对应关系，确定目标像素的初始通道分量。

在一些实施例中，当目标像素不带有深度信息时，处理器可以选取目标像素的预设范围内带有深度信息的像素作为候选参考像素；将类别信息与目标像素的类别信息相同的候选参考像素确定为参考像素；基于参考像素的深度信息，确定初始通道分量。

示例性的，若像素M的类别信息为集装箱且不带有深度信息，则处理器可以选择像素M预设范围内带有深度信息的若干像素作为候选参考像素；进一步地，处理器可以选择类别信息为集装箱的候选参考像素作为参考像素，并将参考像素的深度信息，通过预设对应关系，确定为目标像素M的初始通道分量。其中，当参考像素存在多个时，处理器可以将多个参考像素的深度信息的平均值确定为参考像素的深度信息。

在本说明书的一些实施例中，基于参考像素的深度信息确定目标像素的初始通道分量，可以高效快捷地确定初步深度图像中不带有深度信息的像素的初始通道分量，提高初步深度图像的质量，相应地提高后续确定的深度图像的准确性和鲁棒性。

在一些实施例中，候选参考像素的预设范围可以随机确定。例如，处理器可以将目标像素为圆心，随机长度为半径的区域确定为预设范围。

在一些实施例中，确定候选参考像素的预设范围也可以相关于初步深度图像的投影比例。例如，投影比例越大，表明点云越稠密，带有深度信息的参考像素点相应地越多，预设范围可以设置的更小；反之，预设范围可以设置的更大。其中，预设范围与初步深度图像的投影比例的对应关系可以基于历史经验预设。关于投影比例的更多说明可以参见图3及其相关描述。

在本说明书的一些实施例中，候选参考像素的预设范围相关于初步深度图像的投影比例，可以更好地选择合适的候选参考像素，提高效率。

在一些实施例中，邻域像素对应的邻域通道分量的确定方法与初始通道分量的确定方法相同，具体可参见前文相关部分。

步骤630，基于初始通道分量以及多个邻域通道分量，确定目标像素对应的目标通道分量。

目标通道分量是指目标像素的Y通道的通道值。

在一些实施例中，处理器可以基于目标像素的初始通道分量和邻域像素的通道分量确定目标像素对应的目标通道分量。示例性的，目标通道分量可以基于以下公式(1)确定：

其中，Y(r)表示目标像素的初始通道分量，J(Y)表示目标像素对应的目标通道分量，Y(s_n)表示邻域像素点的邻域通道分量，N(r)表示目标像素r的邻域点点集，r表示目标像素的位置信息，s_n表示邻域像素的位置信息，w^rs表示权重。

在一些实施例中，权重w^rs可以基于预设规则确定。例如，权重w^rs与相邻像素和目标像素的距离线性相关。如，相邻像素和目标像素的距离越远，权重w^rs越小等。

在一些实施例中，处理器可以基于目标图像，确定多个邻域像素分别对应的权重。示例性的，邻域像素的权重可以基于以下公式(2)确定：

其中，e为自然常数，为N(r)的方差，Y′(r)和Y′(s_n)分别表示目标图像中目标像素和邻域像素的Y通道值。其中，其他非邻域像素的邻近像素的权重值也可以基于上述方法确定。

值得说明的是，通过考虑不同的邻域像素的权重，可以避免一些不同类别的像素的干扰，提高目标通道分量的准确度。

在一些实施例中，处理器可以基于初始通道分量、多个邻域通道分量以及多个邻域像素分别对应的权重，确定目标像素对应的目标通道分量。示例性的，目标通道分量可以基于以下公式(3)确定：

其中，(S(s)＝＝S(r))为标签值，用于判断相邻像素是否为目标像素r的邻域像素，当相邻像素s为目标像素r的邻域像素时(即相邻像素和目标像素的类别信息相同)，标签值为1；当相邻像素s不为目标像素r的邻域像素时(即相邻像素和目标像素的类别信息不同)，标签值为0；⊙表示逐元素相乘，即每一个相邻像素的Y通道值都与其对应的标签值相乘；s表示相邻像素的位置信息，N′(r)表示目标像素r的相邻点点集；Y(s)表示相邻像素点的Y通道分量。其余字母含义与公式(1)相同。

在一些实施例中，不同的相邻像素对应的Y通道分量不同。例如，当相邻像素为邻域像素时，其Y通道分量为前述步骤620中确定的邻域通道分量；当相邻像素与目标像素不同类别的其他物体时，其Y通道分量可以为默认值。例如，当目标像素为集装箱，相邻像素为天空时，天空作为背景，该相邻像素的深度信息可以设置为无穷大值(如灰度图像的极值255等)。

在一些实施例中，相邻像素的类别信息可以基于目标图像对应的分割结果确定。相关说明的详细内容可以参见图3。

在一些实施例中，相邻像素的类别信息还可以基于初步深度图像对点云进行聚类获得的结果确定。

在本说明书的一些实施例中，在确定目标通道分量时，考虑不同类别的相邻像素和天空背景的影响，可以避免像素点的深度信息出现跳跃，确保同一物体的深度相差不大，使得后续确定的深度图像满足一定的合理性。

步骤640，基于初步深度图像的多个目标像素分别对应的多个目标通道分量，确定目标深度图像。

在一些实施例中，对于初步深度图像中的每一个目标像素，处理器可以基于步骤630中所述的方法确定其对应的目标通道分量。进一步地，处理器可以求解各个目标像素的目标通道分量组成的矩阵的最小值，并最终确定深度图像。

在本说明书的一些实施例中，通过目标像素以及邻域像素的通道值确定目标深度图像，可以使得初步深度图像中尽可能多的像素点带有深度信息，获得的目标深度图像具有更好的准确性和鲁棒性。

本说明书的一些实施例中还提供一种深度图像获取装置，所述装置包括至少一个处理器以及至少一个存储器；所述至少一个存储器用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令中的至少部分指令以实现如上任一实施例所述的深度图像获取方法。

本说明书一个或多个实施例提供一种计算机可读存储介质，所述存储介质存储计算机指令，当所述计算机指令被处理器执行时实现如上任一实施例所述的深度图像获取方法。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。

同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。

同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。

针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。

最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (10)

1.一种深度图像生成方法，其特征在于，所述方法包括：

获取目标点云帧集对应的目标点云并对所述目标点云进行拼接；

将拼接后的目标点云投影至目标图像对应的图像平面，获得投影图像；

基于所述投影图像，确定初步深度图像；

对所述初步深度图像的多个目标像素中的至少一个，

基于所述目标图像对应的分割结果，确定目标像素的多个邻域像素；

基于所述初步深度图像，确定所述目标像素对应的初始通道分量以及所述多个邻域像素分别对应的邻域通道分量；

基于所述初始通道分量以及多个邻域通道分量，确定所述目标像素对应的目标通道分量；

基于所述目标像素对应的目标通道分量，确定目标深度图像。

2.如权利要求1所述的方法，其特征在于，所述基于所述投影图像，确定初步深度图像包括：

确定所述投影图像中目标点云对应的投影点的投影比例；

当所述投影比例大于或等于预设阈值时，确定所述投影图像为所述初步深度图像；

当所述投影比例小于所述预设阈值时，

更新所述目标点云帧集，获得更新后的目标点云帧集对应的更新后的目标点云；

基于所述更新后的目标点云，确定更新后的投影图像，直至所述更新后的投影图像对应的所述投影比例大于或等于所述预设阈值；

将所述更新后的投影图像确定为所述初步深度图像。

3.如权利要求1所述的方法，其特征在于，所述基于所述目标图像对应的分割结果，确定所述目标像素的多个邻域像素包括：

基于所述目标图像对应的所述分割结果，确定所述目标像素的第一类别信息和多个相邻像素的第二类别信息；

基于所述第一类别信息和所述第二类别信息，确定所述目标像素的所述多个邻域像素。

4.如权利要求1所述的方法，其特征在于，所述基于所述初步深度图像，确定所述目标像素对应的初始通道分量包括：

当所述初步深度图像中的所述目标像素带有深度信息时，

基于所述深度信息，确定所述目标像素的所述初始通道分量；

当所述目标像素不带有所述深度信息时，

选取所述目标像素的预设范围内带有所述深度信息的像素作为候选参考像素；

将类别信息与所述目标像素的类别信息相同的候选参考像素确定为参考像素；

基于所述参考像素的所述深度信息，确定所述初始通道分量。

5.如权利要求4所述的方法，其特征在于，所述预设范围相关于所述初步深度图像的投影比例。

6.如权利要求1所述的方法，其特征在于，所述基于所述初始通道分量以及所述多个邻域通道分量，确定所述目标像素对应的目标通道分量包括：

基于所述目标图像，确定所述多个邻域像素分别对应的权重；

基于所述初始通道分量、所述多个邻域通道分量以及所述多个邻域像素分别对应的所述权重，确定所述目标像素对应的所述目标通道分量。

7.一种深度图像生成方法，其特征在于，所述方法包括：

获取目标点云帧集对应的目标点云并对所述目标点云进行拼接；

将拼接后的目标点云投影至目标图像对应的图像平面，获得投影图像；

确定所述投影图像中目标点云对应的投影点的投影比例；

当所述投影比例大于或等于预设阈值时，确定所述投影图像为初步深度图像；

当所述投影比例小于所述预设阈值时，

更新所述目标点云帧集，获得更新后的目标点云帧集对应的更新后的目标点云；

基于所述更新后的目标点云，确定更新后的投影图像，直至所述更新后的投影图像对应的所述投影比例大于或等于所述预设阈值；

将所述更新后的投影图像确定为所述初步深度图像；

基于所述初步深度图像以及所述目标图像对应的分割结果，确定目标深度图像。

8.一种深度图像生成系统，其特征在于，所述系统包括：

获取模块，被配置为获取目标点云帧集对应的目标点云；

拼接模块，被配置为对所述目标点云进行拼接；

投影模块，被配置为将拼接后的目标点云投影至目标图像对应的图像平面，获得投影图像；

第一确定模块，被配置为基于所述投影图像，确定初步深度图像；

第二确定模块，被配置为：

对所述初步深度图像的多个目标像素中的至少一个，

基于所述目标图像对应的分割结果，确定所述目标像素的多个邻域像素；

基于所述初步深度图像，确定所述目标像素对应的初始通道分量以及所述多个邻域像素分别对应的邻域通道分量；

基于所述初始通道分量以及多个邻域通道分量，确定所述目标像素对应的目标通道分量；

基于所述目标像素对应的目标通道分量，确定目标深度图像。

9.一种深度图像生成装置，其特征在于，所述装置包括至少一个存储介质及至少一个处理器；

所述至少一个存储介质用于存储计算机指令；

所述至少一个处理器用于执行所述计算机指令，以实现权利要求1～7中任一项所述的深度图像生成方法。

10.一种计算机可读存储介质，所述存储介质存储有计算机指令，当所述计算机指令被处理器执行时，实现如权利要求1～7任一项所述的深度图像生成方法。