CN112446909A - 一种深度图像补全方法及装置、计算机可读存储介质 - Google Patents

一种深度图像补全方法及装置、计算机可读存储介质 Download PDF

Info

Publication number
CN112446909A
CN112446909A CN201910817815.1A CN201910817815A CN112446909A CN 112446909 A CN112446909 A CN 112446909A CN 201910817815 A CN201910817815 A CN 201910817815A CN 112446909 A CN112446909 A CN 112446909A
Authority
CN
China
Prior art keywords
pixel
map
diffused
point
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910817815.1A
Other languages
English (en)
Other versions
CN112446909B (zh
Inventor
许龑
祝新革
石建萍
章国锋
李鸿升
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Lingang Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority to CN201910817815.1A priority Critical patent/CN112446909B/zh
Priority to JP2020568542A priority patent/JP7143449B2/ja
Priority to PCT/CN2019/128828 priority patent/WO2021036135A1/zh
Priority to SG11202012443SA priority patent/SG11202012443SA/en
Priority to KR1020207036589A priority patent/KR20210027269A/ko
Priority to US17/107,065 priority patent/US20210082135A1/en
Publication of CN112446909A publication Critical patent/CN112446909A/zh
Application granted granted Critical
Publication of CN112446909B publication Critical patent/CN112446909B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/529—Depth or shape recovery from texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本公开实施例公开了一种深度图像补全方法及装置、计算机可读存储介质，包括：通过设置的雷达采集目标场景的深度图，以及通过设置的摄像机采集目标场景的二维图像；根据采集到的深度图和二维图像，确定待扩散图以及特征图；基于待扩散图和特征图，确定待扩散图中的各个像素的扩散强度；扩散强度表征待扩散图中的各个像素的像素值向相邻像素扩散的强度；基于待扩散图中的各个像素的像素值以及待扩散图中的各个像素的扩散强度，确定补全后的深度图。

Description

一种深度图像补全方法及装置、计算机可读存储介质
技术领域
本公开涉及图像处理技术，尤其涉及一种深度图像补全方法及装置、计算机可读存储介质。
背景技术
目前，常见的深度图像获取方法是利用激光雷达(Light Detection AndRanging，LiDAR)传感器、双目相机、飞行时间(Time of Flight，TOF)传感器等获得三维场景的深度图像。双目相机与TOF传感器的有效距离一般处于10m以内，通常应用于智能手机等终端上，而LiDAR的有效距离较远，能够达到几十米甚至上百米，可以应用于自动驾驶、机器人等领域。
在利用LiDAR获取深度图像时，是向三维场景发射激光束，然后接收由三维场景中各个物体表面所反射回来的激光束，计算发射时刻与反射时刻的时间差，从而获得三维场景的深度图像。然而，在实际使用中，通常是以32/64线LiDAR为主，从而只能获取稀疏的深度图像。深度图像补全是指将深度图恢复为稠密的深度图的过程，相关技术中，深度图像补全是将深度图直接输入到神经网络之中，以获得稠密的深度图，但这种方式没有充分利用稀疏的点云数据，使得所获得的稠密的深度图的准确度较低。
发明内容
本公开提供一种深度图像补全方法及装置、计算机可读存储介质，能够充分利用稀疏点云数据，提高补全后的深度图的准确度。
本公开的技术方案是这样实现的：
第一方面，本公开实施例提供了一种深度图像补全方法，包括：
通过设置的雷达采集目标场景的深度图，以及通过设置的摄像机采集所述目标场景的二维图像；
根据采集到的深度图和所述二维图像，确定待扩散图以及特征图；
基于所述待扩散图和所述特征图，确定所述待扩散图中的各个像素的扩散强度；所述扩散强度表征所述待扩散图中的各个像素的像素值向相邻像素扩散的强度；
基于所述待扩散图中的各个像素的像素值以及所述待扩散图中的各个像素的扩散强度，确定补全后的深度图。
在上述方案中，所述基于所述待扩散图中的各个像素的像素值以及所述待扩散图中的各个像素的扩散强度，确定补全后的深度图，包括：
基于所述待扩散图中的各个像素的像素值以及所述待扩散图中的各个像素的扩散强度，确定所述待扩散图中的各个像素的扩散后的像素值；
根据所述待扩散图中的各个像素的扩散后的像素值确定补全后的深度图。
在上述方案中，所述待扩散图为初步补全的深度图；所述根据所述待扩散图中的各个像素的扩散后的像素值确定补全后的深度图，包括：
将所述待扩散图中的各个像素的扩散后的像素值作为扩散后的图像的各个像素的像素值；
将扩散后的图像作为补全后的深度图。
在上述方案中，所述待扩散图为第一平面原点距离图；所述根据所述深度图和所述二维图像，确定待扩散图以及特征图，包括：
获取所述摄像机的参数矩阵；
根据所述采集到的深度图和所述二维图像确定所述初步补全的深度图、所述特征图和法向预测图；所述法向预测图是指将三维场景各点的法向量作为像素值的图像；
根据所述初步补全的深度图、所述摄像机的参数矩阵与所述法向预测图，计算出第一平面原点距离图；所述第一平面原点距离图是利用所述初步补全的深度图计算出的所述摄像机至所述三维场景各点所在平面的距离作为像素值的图像。
在上述方案中，所述方法还包括：
根据所述采集到的深度图和所述二维图像确定第一置信度图；其中，所述第一置信度图是指采用所述采集到的深度图中各个像素对应的置信度作为像素值的图像；
根据所述采集到的深度图、所述参数矩阵与所述法向预测图，计算出第二平面原点距离图；所述第二平面原点距离图是利用所述采集到的深度图计算出的所述摄像机至所述三维场景各点所在平面的距离作为像素值的图像；
根据所述第一置信度图中的像素、所述第二平面原点距离图中的像素以及所述第一平面原点距离图中的像素，对所述第一平面原点距离图中的像素进行优化，得到优化后的第一平面原点距离图。
在上述方案中，所述根据所述第一置信度图中的像素、所述第二平面原点距离图中的像素以及所述第一平面原点距离图中的像素，对所述第一平面原点距离图中的像素进优化，得到优化后的第一平面原点距离图，包括：
从所述第二平面原点距离图中，确定出与所述第一平面原点距离图的第一像素点所对应的像素点，作为替换像素点，并确定所述替换像素点的像素值；所述第一像素点为所述第一平面原点距离图中的任一像素点；
从所述第一置信度图中，确定出所述替换像素点所对应的置信度信息；
根据所述替换像素点的像素值、所述置信度信息以及所述第一平面原点距离图的第一像素点的像素值，确定所述第一平面原点距离图的所述第一像素点的优化后的像素值；
重复上述步骤，直至确定所述第一平面原点距离图中每个像素的优化后的像素值，得到所述优化后的第一平面原点距离图。
在上述方案中，所述基于所述待扩散图和所述特征图，确定所述待扩散图中的各个像素的扩散强度，包括：
根据预设扩散范围，从所述待扩散图中确定出所述待扩散图的第二像素点对应的待扩散像素集合，并确定出所述待扩散像素集合中每个像素的像素值；所述第二像素点为所述待扩散图中的任一像素点；
利用所述特征图、所述待扩散图的第二像素点以及所述待扩散像素集合中的每个像素，计算出所述待扩散图的第二像素点对应的扩散强度；
基于所述待扩散图中的各个像素的像素值以及所述待扩散图中的各个像素的扩散强度，确定所述待扩散图中的各个像素的扩散后的像素值，包括：
根据所述待扩散图的第二像素点的扩散强度、所述待扩散图的第二像素点的像素值以及所述待扩散像素集合中每个像素的像素值，确定所述待扩散图的第二像素点的扩散后的像素值；
重复上述步骤，直至确定所述待扩散图中每个像素扩散后的像素值。
在上述方案中，所述利用所述特征图、所述待扩散图的第二像素点以及所述待扩散像素集合中的每个像素，计算出所述待扩散图的第二像素点对应的扩散强度，包括：
利用待扩散图的第二像素点，以及所述待扩散像素集合中每个像素，计算所述待扩散图的第二像素点对应的强度归一化参数；
将所述特征图中，与所述待扩散图的第二像素点对应的像素，作为第一特征像素；
将所述特征图中，与所述待扩散像素集合中第三像素点对应的像素，作为第二特征像素；所述第三像素点为待扩散像素集合中的任一像素点；
提取所述第一特征像素的特征信息，以及所述第二特征像素的特征信息；
利用所述第一特征像素的特征信息、所述第二特征像素的特征信息、所述强度归一化参数以及预设扩散控制参数，计算出由所述待扩散图的第二像素点和所述待扩散像素集合中的第三像素点所组成的扩散像素对的子扩散强度；
重复上述步骤，直至确定所述待扩散图的第二像素点，与所述待扩散像素集合中的每个像素所组成的像素对的子扩散强度；
将所述待扩散图的第二像素点，与所述待扩散像素集合中的每个像素所组成的扩散像素对的子扩散强度，作为所述待扩散图的第二像素点所对应的扩散强度。
在上述方案中，所述子扩散强度为所述待扩散图的第二像素点和所述待扩散像素集合中的第三像素点的相似度。
在上述方案中，所述利用待扩散图的第二像素点，以及所述待扩散像素集合中每个像素，计算所述待扩散图的第二像素点对应的强度归一化参数，包括：
提取所述待扩散图的第二像素点的特征信息，以及所述待扩散像素集合中第三像素的特征信息；
利用提取的待扩散图的第二像素点的特征信息、所述待扩散像素集合中第三像素点的特征信息以及所述预设扩散控制参数，计算出所述待扩散像素集合中第三像素点的子归一化参数；
重复上述步骤，直至得到所述待扩散像素集合的每个像素的子归一化参数；
将所述待扩散像素集合的每个像素的子归一化参数进行累加，得到所述待扩散图的第二像素点对应的强度归一化参数。
在上述方案中，所述根据所述待扩散图的第二像素点的扩散强度、所述待扩散图的第二像素点的像素值以及所述待扩散像素集合中每个像素的像素值，确定所述待扩散图的第二像素点的扩散后的像素值，包括：
将所述扩散强度中每个子扩散强度，分别与所述待扩散图的第二像素点的像素值相乘，并将所得到的乘积结果进行累加，得到所述待扩散图的第二像素点的第一扩散部分；
将所述扩散强度中的每个子扩散强度，分别与待扩散像素集合中每个像素的像素值对应相乘，并将所得到的乘积累加，得到所述待扩散图的第二像素点的第二扩散部分；
根据所述待扩散图的第二像素点的像素值、所述待扩散图的第二像素点的第一扩散部分，以及所述待扩散图的第二像素点的第二扩散部分，计算出所述待扩散图的第二像素点的扩散后的像素值。
在上述方案中，在所述根据所述待扩散图中的各个像素的扩散后的像素值确定补全后的深度图之后，所述方法还包括：
将所述补全后的深度图作为待扩散图，重复执行基于所述待扩散图和所述特征图确定所述待扩散图中的各个像素的扩散强度的步骤，基于所述待扩散图中的各个像素的像素值以及所述待扩散图中的各个像素的扩散强度确定所述待扩散图中的各个像素的扩散后的像素值的步骤，以及根据所述待扩散图中的各个像素的扩散后的像素值确定补全后的深度图的步骤，直至达到预设重复次数。
在上述方案中，在所述根据所述待扩散图中的各个像素的扩散后的像素值确定补全后的深度图之后，所述方法还包括：
将所述补全后的深度图作为初步补全的深度图，重复执行基于所述初步补全的深度图、所述摄像机的参数矩阵与所述法向预测图，计算出第一平面原点距离图，并将所述第一平面原点距离图作为待扩散图的步骤，基于所述待扩散图和所述特征图确定所述待扩散图中各个像素的扩散强度的步骤，基于所述待扩散图中各个像素的像素值以及所述待扩散图中各个像素的扩散强度确定所述待扩散图中各个像素的扩散后的像素值的步骤，以及根据所述待扩散图中各个像素的扩散后的像素值确定补全后的深度图的步骤，直至达到预设重复次数。
在上述方案中，每一次执行的基于所述初步补全的深度图、所述摄像机的参数矩阵与所述法向预测图，计算出第一平面原点距离图，并将所述第一平面原点距离图作为待扩散图的步骤，包括：
基于所述初步补全的深度图、所述摄像机的参数矩阵与所述法向预测图，计算出第一平面原点距离图的步骤；
基于所述采集到的深度图和所述二维图像确定第一置信度图的步骤；
基于所述采集到的深度图、参数矩阵与法向预测图，计算出第二平面原点距离图的步骤；
以及根据所述第一置信度图中的像素、所述第二平面原点距离图中的像素以及所述第一平面原点距离图中的像素，对所述第一平面原点距离图中的像素进行优化，得到优化后的第一平面原点距离图，将优化后的第一平面原点距离图作为待扩散图的步骤。
第二方面，本公开实施例提供一种深度图像补全装置，包括：
采集模块，用于通过设置的雷达采集目标场景的深度图，以及通过设置的摄像机采集所述目标场景的二维图像；
处理模块，用于根据采集到的深度图和所述二维图像，确定待扩散图以及特征图；基于所述待扩散图和所述特征图，确定所述待扩散图中的各个像素的扩散强度；所述扩散强度表征所述待扩散图中的各个像素的像素值向相邻像素扩散的强度；
扩散模块，用于基于所述待扩散图中的各个像素的像素值以及所述待扩散图中的各个像素的扩散强度，确定补全后的深度图。
在上述方案中，所述扩散模块，具体用于基于所述待扩散图中的各个像素的像素值以及所述待扩散图中的各个像素的扩散强度，确定所述待扩散图中的各个像素的扩散后的像素值；根据所述待扩散图中的各个像素的扩散后的像素值确定补全后的深度图。
在上述方案中，所述待扩散图为初步补全的深度图；
所述扩散模块，在用于根据所述待扩散图中的各个像素的扩散后的像素值确定补全后的深度图时，具体用于将所述待扩散图中的各个像素的扩散后的像素值作为扩散后的图像的各个像素的像素值；将扩散后的图像作为补全后的深度图。
在上述方案中，所述待扩散图为第一平面原点距离图；
所述处理模块，在用于根据所述深度图和所述二维图像确定待扩散图以及特征图时，具体用于获取所述摄像机的参数矩阵；根据所述深度图和所述二维图像确定所述初步补全的深度图、所述特征图和法向预测图；所述法向预测图是指将三维场景各点的法向量作为像素值的图像；根据所述初步补全的深度图、所述摄像机的参数矩阵与所述法向预测图，计算出第一平面原点距离图；所述第一平面原点距离图是利用所述初步补全的深度图计算出的所述摄像机至所述三维场景各点所在平面的距离作为像素值的图像。
在上述方案中，所述处理模块，还用于根据所述深度图和所述二维图像确定第一置信度图；其中，所述第一置信度图是指采用所述深度图中各个像素对应的置信度作为像素值的图像；根据所述深度图、所述参数矩阵与所述法向预测图，计算出第二平面原点距离图；所述第二平面原点距离图是利用所述深度图计算出的所述摄像机至所述三维场景各点所在平面的距离作为像素值的图像；根据所述第一置信度图中的像素、所述第二平面原点距离图中的像素以及所述第一平面原点距离图中的像素，对所述第一平面原点距离图中的像素进行优化，得到优化后的第一平面原点距离图。
在上述方案中，所述处理模块，在用于根据所述第一置信度图中的像素、所述第二平面原点距离图中的像素以及所述第一平面原点距离图中的像素，对所述第一平面原点距离图中的像素进优化，得到优化后的第一平面原点距离图时，具体用于从所述第二平面原点距离图中，确定出与所述第一平面原点距离图的第一像素点所对应的像素点，作为替换像素点，并确定所述替换像素点的像素值；所述第一像素点为所述第一平面原点距离图中的任一像素点；从所述第一置信度图中，确定出所述替换像素点所对应的置信度信息；根据所述替换像素点的像素值、所述置信度信息以及所述第一平面原点距离图的第一像素点的像素值，确定所述第一平面原点距离图的所述第一像素点的优化后的像素值；重复上述步骤，直至确定所述第一平面原点距离图中每个像素的优化后的像素值，得到所述优化后的第一平面原点距离图。
在上述方案中，所述处理模块，在用于基于所述待扩散图和所述特征图，确定所述待扩散图中的各个像素的扩散强度时，具体用于根据预设扩散范围，从所述待扩散图中确定出所述待扩散图的第二像素点对应的待扩散像素集合，并确定出所述待扩散像素集合中每个像素的像素值；所述第二像素点为所述待扩散图中的任一像素点；利用所述特征图、所述待扩散图的第二像素点以及所述待扩散像素集合中的每个像素，计算出所述待扩散图的第二像素点对应的扩散强度；
所述扩散模块，在用于基于所述待扩散图中的各个像素的像素值以及所述待扩散图中的各个像素的扩散强度，确定所述待扩散图中的各个像素的扩散后的像素值时，具体用于根据所述待扩散图的第二像素点的扩散强度、所述待扩散图的第二像素点的像素值以及所述待扩散像素集合中每个像素的像素值，确定所述待扩散图的第二像素点的扩散后的像素值；重复上述步骤，直至确定所述待扩散图中每个像素扩散后的像素值。
在上述方案中，所述处理模块，在用于利用所述特征图、所述待扩散图的第二像素点以及所述待扩散像素集合中的每个像素，计算出所述待扩散图的第二像素点对应的扩散强度时，具体用于利用待扩散图的第二像素点，以及所述待扩散像素集合中每个像素，计算所述待扩散图的第二像素点对应的强度归一化参数；将所述特征图中，与所述待扩散图的第二像素点对应的像素，作为第一特征像素，与所述待扩散像素集合中第三像素点对应的像素，作为第二特征像素；所述第三像素点为待扩散像素集合中的任一像素；提取所述第一特征像素的特征信息，以及所述第二特征像素的特征信息；利用所述第一特征像素的特征信息、所述第二特征像素的特征信息、所述强度归一化参数以及预设扩散控制参数，计算出由所述待扩散图的第二像素点和所述待扩散像素集合中的第三像素点所组成的扩散像素对的子扩散强度；重复上述步骤，直至确定所述待扩散图的第二像素点，与所述待扩散像素集合中的每个像素所组成的像素对的子扩散强度；将所述待扩散图的第二像素点，与所述待扩散像素集合中的每个像素所组成的扩散像素对的子扩散强度，作为所述待扩散图的第二像素点所对应的扩散强度。
在上述方案中，所述处理模块，在用于利用待扩散图的第二像素点，以及所述待扩散像素集合中每个像素，计算所述待扩散图的第二像素点对应的强度归一化参数时，具体用于提取所述待扩散图的第二像素点的特征信息，以及所述待扩散像素集合中第三像素点的特征信息；利用提取的待扩散图的第二像素点的特征信息、所述待扩散像素集合中第三像素点的特征信息以及所述预设扩散控制参数，计算出所述待扩散像素集合中第三像素点的子归一化参数；重复上述步骤，直至得到所述待扩散像素集合的每个像素的子归一化参数；将所述待扩散像素集合的每个像素的子归一化参数进行累加，得到所述待扩散图的第二像素点对应的强度归一化参数。
在上述方案中，所述扩散模块，在用于根据所述待扩散图的第二像素点的扩散强度、所述待扩散图的第二像素点的像素值以及所述待扩散像素集合中每个像素的像素值，确定所述待扩散图的第二像素点的扩散后的像素值时，具体用于将所述扩散强度中每个子扩散强度，分别与所述待扩散图的第二像素点的像素值相乘，并将所得到的乘积结果进行累加，得到所述待扩散图的第二像素点的第一扩散部分；将所述扩散强度中的每个子扩散强度，分别与待扩散像素集合中每个像素的像素值对应相乘，并将所得到的乘积累加，得到所述待扩散图的第二像素点的第二扩散部分；根据所述待扩散图的第二像素点的像素值、所述待扩散图的第二像素点的第一扩散部分，以及所述待扩散图的第二像素点的第二扩散部分，计算出所述待扩散图的第二像素点的扩散后的像素值。
在上述方案中，所述扩散模块，还用于将所述补全后的深度图作为待扩散图，重复执行基于所述待扩散图和所述特征图确定所述待扩散图中的各个像素的扩散强度的步骤，基于所述待扩散图中的各个像素的像素值以及所述待扩散图中的各个像素的扩散强度确定所述待扩散图中的各个像素的扩散后的像素值的步骤，以及根据所述待扩散图中的各个像素的扩散后的像素值确定补全后的深度图的步骤，直至达到预设重复次数。
在上述方案中，所述扩散模块，还用于将所述补全后的深度图作为初步补全的深度图，重复执行基于所述初步补全的深度图、所述摄像机的参数矩阵与所述法向预测图，计算出第一平面原点距离图，并将所述第一平面原点距离图作为待扩散图的步骤，基于所述待扩散图和所述特征图确定所述待扩散图中各个像素的扩散强度的步骤，基于所述待扩散图中各个像素的像素值以及所述待扩散图中各个像素的扩散强度确定所述待扩散图中各个像素的扩散后的像素值的步骤，以及根据所述待扩散图中各个像素的扩散后的像素值确定补全后的深度图的步骤，直至达到预设重复次数。
在上述方案中，所述扩散模块，在用于每一次执行的基于所述初步补全的深度图、所述摄像机的参数矩阵与所述法向预测图，计算出第一平面原点距离图，并将所述第一平面原点距离图作为待扩散图的步骤时，具体用于基于所述初步补全的深度图、所述摄像机的参数矩阵与所述法向预测图，计算出第一平面原点距离图的步骤；基于所述深度图和所述二维图像确定第一置信度的步骤，基于所述深度图、参数矩阵与法向预测图，计算出第二平面原点距离图的步骤；以及根据所述第一置信度图中的像素、所述第二平面原点距离图中的像素以及所述第一平面原点距离图中的像素，对所述第一平面原点距离图中的像素进行优化，得到优化后的第一平面原点距离图，将优化后的第一平面原点距离图作为待扩散图的步骤。
第三方面，本公开实施例还提供了一种深度图像补全装置，包括：存储器及处理器；
所述存储器，用于存储可执行深度图像补全指令；
所述处理器，用于执行所述存储器中存储的可执行深度图像补全指令，实上述第一方面任一项所述的方法。
第四方面，本公开实施例提供了一种计算机可读存储介质，其特征在于，存储有可执行深度图像补全指令，用于引起处理器执行时，实现上述第一方面任一项所述的方法。
本公开实施例提供了一种深度图像补全方法及装置、计算机可读存储介质，通过设置的雷达采集目标场景的深度图，以及通过设置的摄像机采集目标场景的二维图像；根据采集到的深度图和二维图像，确定待扩散图以及特征图；基于待扩散图和特征图，确定待扩散图中的各个像素的扩散强度；扩散强度表征待扩散图中的各个像素的像素值向相邻像素扩散的强度；基于待扩散图中的各个像素的像素值以及待扩散图中的各个像素的扩散强度，确定补全后的深度图。采用上述实现方式，能够根据采集到的深度图和二维图像得到待扩散图，待扩散图中会保留采集到的深度图中所有的点云数据，使得在利用待扩散图中各个像素的像素值和其所对应的扩散强度，确定待扩散图中各个像素的扩散后的像素值时，会利用到采集到的深度图中所有的点云数据，从而充分利用采集到的深度图中的点云数据，进而使得三维场景中每个3D点的深度信息的准确度更高，提高了补全后的深度图的准确度。
附图说明
图1为本公开实施例提供的一种深度图像补全方法的流程图一；
图2为本公开实施例提供的一种深度图像补全方法的流程图二；
图3为本公开实施例提供的一种计算第一平面原点距离图的示意图；
图4(a)为本公开实施例提供的一种采集到的深度图的噪声示意图；
图4(b)为本公开实施例提供的一种第一置信度图的示意图；
图5为本公开实施例提供的一种深度图像补全方法的流程图三；
图6为本公开实施例提供的一种深度图像补全方法的过程示意图一；
图7为本公开实施例提供的一种深度图像补全方法的过程示意图二；
图8为本公开实施例提供的一种深度图像补全方法的过程示意图三；
图9为本公开实施例提供的一种深度图像补全方法的流程图四；
图10为本公开实施例提供的一种深度图像补全方法的流程图五；
图11为本公开实施例提供的一种对待扩散图的第二像素点的扩散后的像素值的示意图；
图12(a)为本公开实施例提供的预设重复次数的取值对补全后的深度图的误差影响示意图一；
图12(b)为本公开实施例提供的预设重复次数的取值对补全后的深度图的误差影响示意图二；
图13(a)为本公开实施例提供的预设误差容错参数对第一置信度图的真值图的影响示意图；
图13(b)为本公开实施例提供的预设误差容错参数对置信度的真值-绝对误差曲线分布的影响示意图；
图14(a)为本公开实施例提供的预设预测模型的采样率对补全后的深度图的影响示意图一；
图14(b)为本公开实施例提供的预设预测模型的采样率对补全后的深度图的影响示意图二；
图15(a)为本公开实施例提供的三维场景的采集到的深度图和二维图像的示意图；
图15(b)为本公开实施例提供的利用卷积空间传播网络得到的补全后的深度图；
图15(c)为本公开实施例提供的利用NConv-卷积神经网络得到的补全后的深度图；
图15(d)为利用相关技术中的稀疏-稠密方法得到的补全后的深度图；
图15(e)为本公开实施例提供的法向预测图；
图15(f)为本公开实施例提供的第一置信度图；
图15(g)为本公开实施例提供的补全后的深度图；
图16为本公开实施例提供的一种深度图像补全装置的结构示意图；
图17为本公开实施例提供的一种深度图像补全装置的组成结构示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。
随着图像处理技术的发展，越来越多的设备能够获得深度图像，并对深度图像进行进一步的处理，以实现各种功能。常见的深度图像的获取方法是利用激光雷达(LightDetection And Ranging，LiDAR)传感器、毫米波雷达、双目相机、飞行时间(Time ofFlight，TOF)传感器等方式来获得三维场景的深度图像。然而，双目相机与TOF获取深度图像的有效距离一般处于10m以内，通常应用于智能手机等终端上，以获得人脸等目标的深度图像；LiDAR的有效距离较远，能够到达几十米甚至上百米，能够应用在自动驾驶、机器人等领域。
在利用LiDAR获取深度图像时，是通过主动向三维场景发射激光束，然后接收三维场景中各个物体的表面所反射回来的激光束，根据发射激光束的发射时间与接收反射激光束的接收时间的时间差，获得三维场景的深度图像。由于LiDAR是根据激光束的时间差来进行深度图像的获取，因而，LiDAR所获得的深度图像是由稀疏点云数据所构成的，并且，在实际应用中，是以32/64线的LiDAR为主，这导致只能获得稀疏的深度图，必须要经过深度补全，将稀疏的深度图转化为稠密的深度图。相关技术中，深度图像补全方法是凭借大量稀疏的深度图和三维场景的二维图像组成的训练数据，对神经网络模型进行监督训练，得到训练好的神经网络模型，然后直接将稀疏的深度图和三维场景的二维图像输入到训练好的神经网络的模型中，完成深度补全过程，获得较为稠密的深度图。但是，这种方式没有对深度图中的点云数据进行充分的利用，所获得的深度补全的准确度较低。
基于上述深度补全方法所存在的问题，本公开实施例的基本思想是先根据采集到的稀疏的深度图和三维场景的二维图像得到待扩散图，然后在待扩散图上实现像素级扩散，得到补全后的深度图，从而对稀疏的深度图中的每个稀疏点云数据都进行充分利用，获得准确度较高的深度补全图。
基于上述本公开实施例的思想，本公开实施例提供一种深度图像补全方法，参见图1，该方法可以包括：
S101、通过设置的雷达采集目标场景的深度图，以及通过设置的摄像机采集目标场景的二维图像。
本公开实施例是在对采集到的稀疏的深度图进行深度图像补全的场景下实现的。首先通过设置在其自身的雷达采集目标场景的深度图，同时通过设置在装置之上的摄像机采集目标场景的二维图像。
需要说明的是，通过设置的雷达采集深度图时，可以是根据激光束的发射时间和接收时间的时间差，计算出激光束所对应的三维场景中的3D点的深度信息，并将所计算出的深度信息作为像素值从而获得的深度图。当然，也可以通过激光束的其他特性，例如相位信息计算出激光束所对应的3D点的深度信息，以获得深度图，本公开实施例在此不作具体限定。
需要说明的是，在本公开实施例中，通过雷达所采集到的深度图是稀疏的深度图。
本公开实施例中，设置的雷达，可以是32/64线的LiDAR传感器，也可以是毫米波雷达，或者是其他类型的雷达，本公开实施例在此不作限定。
本公开实施例中，通过设置的摄像机采集二维图像时，可以是通过彩色摄像机的光学器件，获得三维场景中每个3D点像素值信息，从而获得二维图像，还可以是利用其他方式获得目标场景的二维图像，本公开实施例在此不作限定。
在本公开的一些实施例中，设置的摄像机可以是彩色摄像机，获得三维场景的彩色二维图像，也可以是红外摄像机，获得三维场景的红外灰度图，当然，设置的摄像机也可以是其他类型的摄像机，本发明实施例在此不做限定。
需要说明的是，在本公开实施例中，所采集到的深度图和二维图像的分辨率可以是相同的，也可以是不同的。当采集到的深度图和二维图像的分辨率不同时，可以通过对采集到的深度图和二维图像中的任意一个进行缩放操作，使得采集到的深度图和二维图像的分辨率保持一致。
本公开实施例中，雷达和摄像机，可以根据实际需求进行设置和排布，本公开实施例在此不作限定。
S102、根据采集到的深度图和二维图像，得到待扩散图以及特征图。
S103、基于待扩散图和特征图，确定待扩散图中各个像素的扩散强度；扩散强度表征待扩散图中各个像素的像素值向相邻像素扩散的强度；以确定根据扩散强度确定待扩散图中每个像素的像素值，需要向相邻的像素扩散多少。
需要说明的是，在基于待扩散图和特征图确定待扩散图中各个像素的扩散强度时，是需要先为待扩散图中的每个像素，都确定出相邻的一些像素，然后根据特征图，逐个比对每个像素与其对应的相邻的像素的相似程度，由此确定出扩散强度。
S104、基于待扩散图中各个像素的像素值以及待扩散图中的各个像素的扩散强度，确定补全后的深度图。
在本公开实施例中，由于待扩散图是根据深度图和二维图像确定的，待扩散图中会保留着采集到的深度图中所有的点云数据，使得在利用待扩散图中各个像素的像素值以及其所对应的扩散强度，确定待扩散图中各个像素的扩散后的像素值时，会利用采集到的深度图中所有的点云数据，使得所得到的三维场景每个3D点所对应深度信息的准确度更高，提高了补全后的深度图的准确度。
在本公开的一些实施例中，基于待扩散图中的各个像素的像素值以及待扩散图中各个像素的扩散强度，确定补全后的深度图，即S104的具体实现过程，可以包括S1041-S1042，如下：
S1041、基于待扩散图中的各个像素的像素值以及待扩散图中的各个像素的扩散强度，确定待扩散图中的各个像素的扩散后的像素值。
S1042、根据待扩散图中的各个像素的扩散后的像素值确定补全后的深度图。
需要说明的是，本公开实施例中的补全后的深度图，指的是补全后的，较为稠密的深度图。其拥有较为全面的三维场景的深度信息，能够直接应用于各种需要深度图的场景之中。
在本公开实施例中，利用待扩散图中各个像素的像素值以及其所对应的扩散强度，计算待扩散图中各个像素的扩散后的像素值，并根据待扩散图中的各个像素的扩散后的像素值确定补全后的深度图，会利用到采集到的深度图中所有的点云数据，使得所得到三维场景每个3D点所对应深度信息的准确度更高，提高了补全后的深度图的准确度。
基于与上述实施例相同的发明构思，在本公开的一些实施例中，待扩散图为初步补全的深度图；根据待扩散图中各个像素的扩散后的像素值确定补全后的深度图，即S1042的具体实现过程可以包括S1042a-S1042b，如下：
S1042a、将待扩散图中各个像素的扩散后的像素值作为扩散后的图像的各个像素的像素值。
S1042b、将扩散后的图像作为补全后的深度图。
需要说明的是，首次得到的初步补全的深度图是根据采集到的深度图和二维图像得到的图像，即是对采集到的深度图和二维图像进行平面划分、深度信息填充等操作，得到三维场景中每个3D点的深度信息，并将得到的每个3D点的深度信息，作为像素值所得到的图像，或者说，首次得到的初步补全的深度图是采用相关技术对采集到的深度图和二维图像进行处理得到的。其中，初步补全的深度图中点云数据的密度要大于采集到的深度图中的点云数据的密度。
本公开实施例中，可以用待扩散图中各个像素扩散后的像素值作为扩散后的图像的各个像素的像素值，并将扩散后的图像作为补全后的深度图，这样会利用到采集到的深度图中所有的点云数据，从而充分利用深度图中的点云数据，获得效果较好的补全后的深度图。
在本公开的一些实施例中，待扩散图为第一平面原点距离图，此时，如图2所示，根据采集到的深度图和二维图像，确定待扩散图以及特征图，即S102的具体实现过程可以包括S1021-S1023，如下：
S1021、获取摄像机的参数矩阵。
需要说明的是，所获取的参数矩阵，是摄像机所固有的参数矩阵，该参数矩阵可以是指摄像机的内参数矩阵，其中可以包括摄像机的射影变换参数和焦距。当然，参数矩阵中也可以包含其他计算第一平面原点距离图所需要的参数，本公开实施例在此不作具体限定。
S1022、根据采集到的深度图和二维图像确定初步补全的深度图、特征图和法向预测图；法向预测图是指将三维场景各点的法向量作为像素值的图像。
本公开实施例中，法向预测图是指由三维场景中的每个3D点的表面法向量作为像素值所得到的图像。3D点的表面法向量被定义为从该3D点开始，并垂直于该3D点的切平面的向量。
需要说明的是，首次得到的初步补全的深度图，是指利用采集到的深度图和二维图像，所确定出的三维场景中每个3D点的初步深度信息作为像素值的图像。
S1023、根据初步补全的深度图、摄像机的参数矩阵与法向预测图，计算出第一平面原点距离图；第一平面原点距离图是利用初步补全的深度图计算出的摄像机至三维场景各点所在平面的距离作为像素值的图像。
在获得初步补全的深度图、参数矩阵和法向预测图之后，就能够根据初步补全的深度图中每个像素的像素值、参数矩阵与法向预测图中每个像素的像素值，针对每个3D点都计算出第一平面原点距离，然后将每个3D点的第一平面原点距离作为像素值，得到第一平面原点距离图，以便于后续基于第一平面原点距离图和特征图，为第一平面原点距离图中的各个像素计算扩散后的像素值，从而得到补全后的深度图。
在本公开实施例中，第一平面原点距离，是指用初步补全的深度图所计算出的摄像机的中心到三维场景中的每个3D点所在的切平面的距离。
由于第一平面原点距离图是用每个3D点的第一平面原点距离，即摄像机的中心到3D点所在的切平面的距离作为像素值所得到的图像，因而，处于同一个切平面上的3D点应当是具有相同或相近的第一平面原点距离，若存在某个3D点的第一平面原点距离，与其他和该3D点处于同一切平面的3D点的第一平面原点距离相差较大时，表明该3D点的第一平面原点距离是需要修正的异常值，即处于同一切平面的3D点具备几何约束。基于该几何约束的思想，在基于第一平面原点距离图和特征图，对第一平面原点距离图中各个像素计算扩散后的像素值时，可以修正第一平面原点距离图中的异常值，获得准确率较高的第一平面原点距离图，进而可以根据准确率较高的第一平面原点距离图，得到效果较好的补全后的深度图。
本公开实施例中，需要先对三维场景中每个3D点的第一平面原点距离进行计算，然后再将每个3D点的第一平面原点距离作为像素值，得到第一平面原点距离图。在计算每个3D点的第一平面原点距离时，需要先确定出每个3D点在图像平面上的2D投影，并对摄像机的参数矩阵进行求逆，得到参数矩阵的逆矩阵，然后从初步补全的深度图中获得每个3D点所对应的初步深度信息，从法向预测图中获得每个3D点所在切平面的法向量，最后将每个3D点所对应的初步深度信息、每个3D点所在的切平面法向量、参数矩阵的逆矩阵以及3D点在平面图像上的2D投影进行相乘，得到每个3D点的第一平面原点距离。
示例性的，本公开实施例中，给出了一种计算3D点的第一平面原点距离的公式，如式(1)所示：
P(x)＝D(x)N(x)C-1x (1)
其中，P(x)表示3D点的第一平面原点距离，x表示3D点在图像平面上的2D投影，D(x)表示3D点所对应的初步深度信息，N(x)表示3D点X所在的切平面的法向量，C表示参数矩阵。如此，在得到3D点在图像平面上的2D投影的坐标值，3D点所对应的初步深度信息的数值以及3D点所在切平面的法向量之后，可以将上述内容代入(1)中，计算出3D点的第一平面原点距离，之后，再将每个3D点的第一平面原点距离作为像素值，得到第一平面原点距离图。
需要说明的是，可以通过几何关系，推导出3D点的第一平面原点距离的计算公式。由几何关系可知，摄像机的中心到3D点所在切平面的距离，可以由3D点所在的平面上的任意一点，和3D点所在平面的法向量所确定，而3D点三维坐标可以由3D点在图像平面上的2D投影、3D点的初步深度信息以及参数矩阵求得，因而，摄像机的中心到3D点所在的切平面的距离，可以由3D点的初步深度信息、3D点所在平面的法向量、参数矩阵和2D投影求得。由于对于初步补全的深度图而言，每个像素点的位置信息即为3D点的2D投影，每个像素点的像素值即为3D点所对应的深度信息，同理，对于法向预测图而言，每个像素点的位置信息即为3D点的2D投影，每个像素点的像素值即为3D点的法向量信息，因此，能够从初步补全的深度图、法向预测图和参数矩阵中获得计算所有3D点的第一平面原点距离。
示例性的，本公开实施例中，给出了利用几何关系对3D点的第一平面原点距离的计算公式进行推导的过程，即对式(1)进行推导的过程：
根据几何关系可知，三维场景中的3D点与3D点所在切平面的距离的关系可以式(2)所示：
N(x)·X-P(x)＝0 (2)
其中，X表示三维场景中的3D点，x表示3D点在图像平面上的2D投影，N(x)表示从3D点X开始并垂直于3D点X所在的切平面的法向量，P(x)表示摄像机的中心到3D点X所在的切平面的距离，即3D点的初步深度信息。
对式(2)进行变换可得到式(3)：
P(x)＝N(x)·X (3)
对于三维场景中的3D点，可以用式(4)来表示：
X＝D(x)·C-1x (4)
其中，X表示三维场景中的3D点，x表示3D点在图像平面上的2D投影，D(x)表示3D点所对应的初步深度信息，C表示参数矩阵。
将式(4)代入式(3)之中，即可得到式(1)。
示例性的，本公开实施例提供了一种计算第一平面原点距离图的示意图，如图3所示，O为摄像机的中心，X为三维场景中的一个3D点，x为3D点在图像平面上的2D投影，F为3D点的切平面，N(x)为3D点所在切平面的法向量，D(x)为3D点所对应的初步深度信息。在得到初步补全的深度图之后，就可以从初步补全的深度图中获知3D点的2D投影x、该3D点对应的初步深度信息，然后从法向预测图中获知3D点所在切平面的法向量，由于参数矩阵C是已知的，这时，就能够将3D点的2D投影x、3D点对应的初步深度信息D(x)、法向量N(x)以及参数矩阵C，代入到式(1)中，如此，就能计算出3D点的第一平面原点距离。在利用式(1)得到三维场景中每个3D点的第一平面原点距离之后，可以将每个3D点的第一平面原点距离作为像素值，得到第一平面原点距离图。
本公开实施例中，可以利用采集到的深度图和二维图像，得到初步补全的深度图、特征图和法向预测图，并根据初步补全的深度图、法向预测图以及存储于自身的参数矩阵，计算出第一平面原点距离图，并为第一平面原点距离图中的各个像素计算扩散后的像素值，使得可以利用几何约束清除第一平面原点距离图中存在的异常值，提高第一平面原点距离图的准确率，进而便于后续根据准确率较高的第一平面原点距离图得到效果较好的补全后的深度图。
在本公开的一些实施例中，在根据初步补全的深度图、摄像机的参数矩阵与法向预测图，计算出第一平面原点距离图，即S1023之后，该方法还包括：S1024-S1026，如下
S1024、根据采集到的深度图和二维图像确定第一置信度图；其中，第一置信度图是指采用深度图中各个像素对应的置信度作为像素值的图像。
本公开实施例中，第一置信度图是指用三维场景中每个3D点的初步深度信息的置信度，作为像素值所得到的图像。
S1025、根据采集到的深度图、参数矩阵与法向预测图，计算出第二平面原点距离图；所述第二平面原点距离图是利用采集到的深度图计算出的摄像机至三维场景各点所在平面的距离作为像素值的图像。
在本公开实施例中，第二平面原点距离是指用深度图所计算出的摄像机的中心到三维场景中的3D点所在的切平面的距离。
需要说明的是，根据深度图、参数矩阵与法向预测结果，计算第二平面距离原点图时，需要先计算三维场景中每个3D点的第二平面原点距离。在对每个3D点的第二平面原点距离进行计算时，需要先对每个3D点的在图像上的2D投影进行确定，以及对参数矩阵进行求逆运算，得到参数矩阵的逆矩阵，接着从采集到的深度图中，获取每个3D点所对应的深度信息，以及从法向预测图中获得每个3D点所在切平面的法向量，然后将每个3D点所对应的深度信息、每个3D点所在的切平面的法向量、参数矩阵的逆矩阵以及3D点在平面图像上的2D投影进行相乘，得到每个3D点的第二平面原点距离。
示例性的，本公开实施例中，可以使用式(5)来对每个3D点的第二平面原点距离进行计算：
Figure BDA0002186777500000151
其中，
Figure BDA0002186777500000152
为3D点的第二平面原点距离，
Figure BDA0002186777500000153
为3D点对应的深度信息，N(x)为3D点所在的切平面的法向量，x为3D点在图像平面上的2D投影，C为摄像机的参数矩阵。在获取到每个3D点的深度信息的值、每个3D点所在切平面的法向量、参数矩阵以及每个3D点在图像上的2D投影的坐标之后，就可以将上述内容代入式(5)中，计算出每个3D点的第二平面原点距离。之后，就可以将所有3D点的第二平面原点距离作为像素值，得到第二平面原点距离图。
S1026、根据第一置信度图中的像素、第二平面原点距离图中的像素以及第一平面原点距离图中的像素，对第一平面原点距离图中的像素进行优化，得到优化后的第一平面原点距离图。
需要说明的是，由于雷达在对于移动的目标或是物体的边缘进行深度信息采集时，会不可避免地产生噪声，这使得采集到的深度图中存在一些不可靠的深度信息。对此，可以引入第一置信度图，来对深度信息的可靠程度进行衡量。
本公开实施例中，第一置信度图，是指用每个3D点的深度信息的置信度，即深度图中各个像素所对应的置信度作为像素值所得到的图像。
在利用第一置信度图中的像素、第二平面原点距离图中的像素以及第一平面原点距离图中的像素，对第一平面原点距离图进行优化时，可以根据第一置信度图中某个像素的像素值，来对该像素所对应的3D点的深度信息的可信程度进行判断，当第一置信度图中该像素的像素值较高时，认为该像素点所对应的3D点的深度信息较为可靠，即更贴近于3D点的实际深度，进而该像素点所对应的3D点的第二平面原点距离也会更为可靠。此时，若用该像素点所对应的3D点的第二平面原点距离，来对该像素点所对应的3D点的第一平面原点距离进行替换优化，可以使得优化后的第一平面原点距离图中具有一部分像素值更贴近于实际平面原点距离的像素点。如此，在基于优化后的第一平面原点距离图和特征图，实现像素扩散时，不仅能够清除第一平面原点距离图中存在的异常值，还能降低采集到的深度图中的异常值，降低对优化后的第一平面原点距离图造成影响，进一步提高优化后的第一平面原点距离图的准确度。
在本公开的一些实施例中，可以通过第一置信度图的像素值设置取值范围，来表示原始深度信息的可靠程度。示例性的，第一置信度图的像素值范围可以设置为[0，1]，当第一置信度图的像素值接近于1时，表明该像素点所对应的3D点的原始深度信息可靠，当第一置信度图的像素值接近于0时，表明该像素点所对应的3D点的原始深度信息不可靠。当然，还可以根据实际情况对第一置信度图的像素值进行范围设置，本公开实施例在此不作限定。
示例性的，本公开实施例提供了一种采集到的深度图的噪声示意，如图4(a)所示，当雷达对区域1中处于运动状态的汽车进行深度信息采集时，会出现一些噪声，例如小方框中的点出现偏移等，使得所获得的深度信息与实际深度信息不符，即深度信息不可靠。此时，可以通过图4(b)区域1中各像素点的像素值，来对原始深度信息的可靠性进行判断。从图4(b)可以看出，区域1的整体颜色较深，表明区域1中存在大量的像素值接近于0的像素点，也即区域1中存在大量深度信息不可靠的像素点。在进行像素替换时，可以根据这些像素点的置信度情况，选择不替换，从而降低这些像素点对优化后的第一平面原点距离图造成影响。
本公开实施例中，能够根据第一置信度图，从第二平面原点距离图中挑选出具有可靠的第二平面原点距离的像素点，并在第一平面原点距离图中，与该像素点所对应的像素点的像素值进行替换，得到优化后的第一平面原点距离图，从而可以基于优化后的第一平面原点距离图得到补全后的深度图，如此，不仅能够清除第一平面原点距离图中的异常值，还能降低雷达所采集到的深度图中的异常值对优化后的第一平面原点距离图所带来的影响，提高优化后的第一平面原点距离图的准确度，进而提高补全后的深度图的准确度。
在本公开的一些实施例中，在根据第一置信度图中的像素、第二平面原点距离图中的像素以及第一平面原点距离图中的像素，对第一平面原点距离图中的像素进行优化，得到优化后的第一平面原点距离图，即S1026的具体实现过程，可以包括：S1026a-S1026e，如下：
S1026a、从第二平面原点距离图中，确定出与第一平面原点距离图的第一像素点所对应的像素点，作为替换像素点，并确定替换像素点的像素值；第一像素点为第一平面原点距离图中的任一像素点。
需要说明的是，在确定替换像素点时，是根据第一平面原点距离图的第一像素点的坐标信息，在第二平面原点距离图中寻找与之对应的像素点，同时获取到该像素点的像素值，作为替换像素点的像素值。
S1026b、从第一置信度图中，确定出替换像素点所对应的置信度信息。
在确定出替换像素点，以及替换像素点的像素值之后，还需要从第一置信度图中，根据替换像素点的坐标信息，确定出替换像素点所对应的像素点，并获取该像素点的像素值，即该像素点的置信度信息，如此，就可以确定出替换像素点所对应的置信度信息。
S1026c、根据替换像素点的像素值、置信度信息以及第一平面原点距离图的第一像素点的像素值，确定第一平面原点距离图的第一像素点的优化后的像素值。
需要说明的是，在计算第一平面原点距离图的第一像素点的优化后的像素值时，会先判断替换像素点的像素值是否大于0，并利用真值函数记录判断结果，即当替换像素点的像素值大于0时，真值函数的函数值为1，当替换像素点的像素值小于等于0时，真值函数的函数值为0，然后根据真值函数的函数值、替换像素点的像素值、置信度信息以及第一平面原点距离图的第一像素点的像素值，计算出第一像素点的优化后的像素值。
本公开实施例中，可以利用真值函数的函数值，与置信度信息、替换像素点的像素值相乘，得到第一子优化像素值，同时用真值函数的函数值与置信度信息相乘，并将用1与所得到的乘积做差，然后将差值与第一平面原点距离图的第一像素点的像素值相乘，得到第二子优化像素值，最后将第一子优化像素值与第二子优化像素值相加，得到第一像素点的优化后的像素值。需要说明的是，还可以根据其他形式对预设距离计算模型进行设置，本发明实施例在此不作具体限定。
示例性的，本公开实施例给出了根据真值函数的函数值、替换像素点的像素值、置信度信息以及第一平面原点距离图的第一像素点的像素值，计算第一像素点的优化后的像素值的公式，如式(6)所示：
Figure BDA0002186777500000171
其中，
Figure BDA0002186777500000172
为真值函数，M(xi)为替换像素点的置信度信息，
Figure BDA0002186777500000173
为替换像素点的像素值，P(xi)为第一平面原点距离图的第一像素点的像素值，P'(xi)为第一平面原点距离图的第一像素点的优化后的像素值。
S1026d、重复上述步骤，直至确定第一平面原点距离图的每个像素的优化后的像素值，得到优化后的第一平面原点距离图。
按照上述步骤中，对第一平面原点距离图的第一像素点的优化后的像素值的计算方法，对第一平面原点距离图中的每个像素都计算出优化后的像素值，并利用这些优化后的像素值，组成优化后的第一平面原点距离图。
本公开实施例中，能够逐个对第一平面原点距离图中的每个像素计算出优化后的像素值，从而得到优化后的第一平面原点距离图，使得后续能够基于优化后的第一平面原点距离图和特征图，确定优化后的第一平面原点距离图的各个像素的扩散强度，并根据扩散强度以及优化后的第一平面原点距离图的像素值，得到效果较好的补全后的深度图。
在本公开的一些实施例中，参见图5，基于待扩散图和特征图，确定待扩散图中各个像素的扩散强度，即S103的具体实现过程，可以包括：S1031-S1032，如下：
S1031、根据预设扩散范围，从待扩散图中确定出待扩散图的第二像素点对应的待扩散像素集合，并确定出待扩散像素集合中每个像素的像素值；第二像素点为待扩散图中的任一像素点。
需要说明的是，待扩散像素集合，指的是位于待扩散图的第二像素点的邻域之中的像素。在根据预设扩散范围，先确定出待扩散图的第二像素点的邻域范围，然后将位于该邻域范围内的所有像素提取出来，组成待扩散图的第二像素点对应的待扩散像素集合。
在本公开的一些实施例中，预设扩散范围可以根据实际需求进行设定，本公开实施例在此不作具体限定。示例性的，可以将预设扩散范围设置为4邻域，取出4个像素点组成待扩散像素集合，也可以将预设扩散范围设置为8邻域，取出位于待扩散图的第二像素点周围的8个像素组成待扩散像素集合。
S1032、利用特征图、待扩散图的第二像素点以及待扩散像素集合中的每个像素，计算出待扩散图的第二像素点对应的扩散强度。
从特征图中，获取待扩散图的第二像素点所对应的特征信息以及待扩散像素集合中的每个像素所对应的特征信息，并根据这些特征信息对待扩散图的第二像素点对应的扩散强度进行计算。
需要说明的是，由于待扩散像素集合是由多个像素组成的，因而，在计算待扩散图的第二像素点对应的扩散强度时，是将待扩散图的第二像素点与待扩散像素集合中的每个像素组成像素对，分别计算出这些像素对的子扩散强度，然后再将这些子扩散强度，共同作为待扩散图的第二像素点对应的扩散强度。
在得到待扩散图的第二像素点对应的扩散强度之后，基于待扩散图中的各个像素的像素值以及待扩散图中的各个像素的扩散后的像素值，可以包括：S1033-S1034，如下：
S1033、根据待扩散图的第二像素点的扩散强度、待扩散图的第二像素点的像素值以及待扩散像素集合中每个像素的像素值，确定待扩散图的第二像素点的扩散后的像素值。
当得到待扩散图的第二像素点对应的扩散强度之后，基于待扩散图中的各个像素的像素值以及待扩散图中的各个像素的扩散强度，确定待扩散图中各个像素的扩散后的像素值，就会变为根据待扩散图的第二像素点的扩散强度、待扩散图的第二像素点的像素值以及待扩散像素集合中每个像素的像素值，确定待扩散图的第二像素点的像素值。
S1034、重复上述步骤，直至确定待扩散图中每个像素扩散后的像素值。
示例性的，本发明实施例给出了一种深度图像补全方法的过程示意图，如图6所示，在该示例中，以初步补全的深度图作为待扩散图。通过雷达采集到的深度图
Figure BDA0002186777500000181
同时通过摄像机采集到三维场景的二维图像I，将
Figure BDA0002186777500000182
与I输入进预设预测模型1中，得到初步补全的深度图D和特征图G，然后基于初步补全的深度图D和特征图G，确定初步补全的深度图D中各个像素的扩散强度2，并基于初步补全的深度图D中各个像素的像素值，以及扩散强度2得到初步补全的深度图D中各个像素的扩散后的像素值，从而得到补全后的深度图Dr。
可以理解的是，当在将第一平面原点距离图作为待扩散图，计算得到第一平面原点距离图的扩散后的像素值之后，会得到一个扩散后的第一平面原点距离图，但是，扩散后的第一平面原点距离图并不是补全后的深度图，还需要对扩散后的第一平面原点距离图进行反变换，得到补全后的深度图。
在本公开实施例中，由于第一平面原点距离图是根据初步补全的深度图、法向预测图和参数矩阵所计算出的，因而，可以根据扩散后的第一平面原点距离图、法向预测图和参数矩阵反向计算出一个深度图，并将计算得到深度图，作为补全后的深度图。
本公开实施例中，可以先从法向预测图中获取每个3D点所在切平面的法向量、每个3D点在图像平面上的2D投影，从扩散后的第一平面原点距离图中获取每个3D点的扩散后的第一平面原点距离，同时对参数矩阵求逆，得到参数矩阵的逆矩阵，然后将每个3D点所在切平面的法向量、每个3D点在图像平面上的2D投影以及参数矩阵的逆矩阵进行相乘，得到乘积结果，并用经过扩散后的第一平面原点距离与所得到的乘积结果相比，并将所得到的比值作为每个3D点对应的深度补全信息。之后，就可以将每个3D点对应的深度补全信息作为像素值，得到补全后的深度图。
示例性的，本公开实施例提供一种对每个3D点对应的深度补全信息进行计算的过程，如式(7)所示：
Figure BDA0002186777500000191
其中，D'(x)表示每个3D点所对应的深度补全信息，P1(x)表示经过3D点扩散后的第一平面原点距离，x表示3D点在图像平面上的2D投影，N(x)表示3D点X所在的切平面的法向量，C表示参数矩阵。
在获得每个3D点所在切平面的法向量、每个3D点在图像平面上的2D投影坐标、参数矩阵，以及每个3D点扩散后的第一平面原点距离的数值之后，就可以将这些参数代入式(7)，计算出每个3D点对应的深度补全信息，从而根据每个3D点对应的深度补全信息，得到补全后的深度图。
示例性的，参见图7，本公开实施例提供了一种深度图像补全方法的过程示意，在该示例中，以第一平面原点距离图作为待扩散图。将采集到的深度图
Figure BDA0002186777500000192
和二维图像I作为输入，送入预设预测模型1中，得到用于输出初步补全的深度图的子网络2所输出的初步补全的深度图D，以及用于预测法向图的子网络3所输出的法向预测图N，同时，利用一个卷积层，将用于输出初步补全的深度图的子网络2与用于预测法向图的子网络3进行串联4，并对该卷积层中的特征数据进行可视化，得到特征图G。之后，根据初步补全的深度图D、法向预测图N以及从所获取到参数矩阵C，然后利用式(1)，对三维场景中每个3D点所对应的第一平面原点距离进行计算，进而得到第一平面原点距离图P，最后，基于所得到的第一平面距离原点图P和特征图G，确定第一平面距离原点图P中各个像素的扩散强度5，并基于第一平面距离原点图P中各个像素的像素值，以及扩散强度5得到第一平面距离原点图P中各个像素的扩散后的像素值，得到扩散后的第一平面距离原点图P1，最后再用式(7)对扩散后的第一平面距离原点图P1、法向预测图N进行反变换，得到补全后的深度图Dr。
同理的，在基于优化后的第一平面原点距离图作为待扩散图计算扩散后的像素值，可以得到一个经过扩散的优化后的第一平面原点距离图，之后，需要对经过扩散的优化后的第一平面原点距离图进行反变换，得到补全后的深度图。
本公开实施例中，可以先从经过扩散的优化后的第一平面原点距离图中获取每个3D点的平面原点距离，从法向预测图中获取每个3D点所在切平面的法向量，以及每个3D点在图像平面上的2D投影，同时求出参数矩阵的逆矩阵，接着，将每个3D点所在切平面的法向量、每个3D点在图像平面上的2D投影以及参数矩阵的逆矩阵进行相乘，得到乘积结果，再用每个3D点的平面原点距离图像与上述乘积结果相比，并将所得到的比值作为每个3D点对应的深度补全信息，最后将每个3D点对应的深度补全信息作为像素值，得到补全后的深度图。
示例性的，本公开实施例可以用式(8)来对每个3D点对应的深度补全信息进行计算：
Figure BDA0002186777500000201
其中，D'(x)为3D点对应的深度补全信息，P'1(x)为像素扩散所得到的3D点的平面原点距离，N(x)为3D点所在的切平面的法向量，x为3D点在图像平面上的2D投影，C为摄像机的参数矩阵。
在获取到3D点的平面原点距离的具体数值、3D点所在切平面的法向量以及3D点在图像平面上的2D投影坐标之后，便能够将这些参数代入式(8)，得到每个3D点对应的深度补全信息，进而将每个3D点对应的深度补全信息作为像素值，得到补全后的深度图。
示例性的，本公开实施例提供了一种深度图像补全方法的过程示意图，如图8所示，将所采集到的深度图
Figure BDA0002186777500000202
和二维图像I送入预设预测模型1中，得到用于输出初步补全的深度图的子网络2所输出的初步补全的深度图D，用于预测法向图的子网络3所输出的法向预测图N，以及用于输出第一置信度图的子网络4所输出的第一置信度图M，同时，利用卷积层，将用于输出初步补全的深度图的子网络2与用于预测法向图的子网络3进行串联5，并对卷积层中的特征数据进行可视化，得到特征图G。之后，利用式(4)，以及所得到的初步补全的深度图D、法向预测图N和参数矩阵C，计算出每个3D点的第一平面原点距离，进而得到第一平面原点距离图P，同时，利用式(5)，以及雷达所采集到的深度图
Figure BDA0002186777500000203
法向预测图N和参数矩阵C，计算出每个3D点的第二平面原点距离，进而得到第二平面原点距离图
Figure BDA0002186777500000204
接着，会根据第一置信度图M，挑选出具有可靠的第二平面原点距离的像素点，并用可靠的第二平面原点距离，来对第一平面原点距离图P中的各个像素进行对应优化6，得到优化后的第一平面原点距离图P，并基于优化后的第一平面原点距离图P'和特征图G，对P'中各个像素的扩散强度7，并基于优化后的第一平面距离原点图P'中各个像素的像素值，以及扩散强度7得到优化后的第一平面距离原点图P'中各个像素的扩散后的像素值，得到经过扩散的优化后的第一平面原点距离图P'1，最后利用式(8)对经过扩散后的优化后的第一平面原点距离图P'1、法向预测图N进行反变换，计算得到每个3D点的深度补全信息，进而得到补全后的深度图。
本公开实施例中，能够根据预设扩散范围，为待扩散图的每个像素确定出对应的待扩散像素集合，进而根据特征图、待扩散图的每个像素，以及待扩散每个像素所对应的待扩散像素集合，计算出待扩散图的每个像素所拥有的扩散强度，从而能够根据扩散强度、待扩散图每个像素的像素值和待扩散图每个像素对应的待扩散像素集合，计算待扩散图中每个像素扩散后的像素值，从而得到补全后的深度图。
在本公开的一些实施例中，如图9所示，利用特征图、待扩散图的第二像素点以及待扩散像素集合中的每个像素，计算出待扩散图的第二像素点对应的扩散强度，即S1032的具体实现过程，可以包括：S1032a-S1032f，如下：
S1032a、利用待扩散图的第二像素点，以及待扩散像素集合中每个像素，计算待扩散图的第二像素点对应的强度归一化参数。
在对待扩散图的第二像素点对应的扩散强度进行计算时，会先用预先设置的预设特征提取模型，对待扩散图的第二像素点进行特征提取，以及对预设扩散范围所确定出的待扩散像素集合中的每个像素，也进行特征提取，然后根据提取到的特征信息计算出待扩散图的第二像素点对应的强度归一化参数，以便于后续利用强度归一化参数得到待扩散图的第二像素点对应的扩散强度。
需要说明的是，强度归一化参数是用来对第一特征像素的特征信息、第二特征像素的特征信息所计算出的结果进行归一化，得到子扩散强度的参数。
可以理解的是，可以用小尺寸的卷积核作为预设特征提取模型，例如1×1的卷积核，也可以用其他能达到相同目的的其他机器学习模型作为预设特征提取模型，本公开实施例在此不作具体限定。
需要说明的是，由于是利用预设特征提取模型对待扩散图的第二像素点，以及待扩散像素集合中的每个像素进行处理，即利用预设特征提取模型至少可以对两类像素进行处理。因而，可以用相同的预设特征提取模型对待扩散图的第二像素点，和待扩散像素集合中的每个像素进行特征提取，也可以用不同的预设特征提取模型，分别对待扩散图的第二像素点，和待扩散像素集合中的每个像素进行特征提取。
S1032b、将特征图中，与待扩散图的第二像素点对应的像素，作为第一特征像素，与待扩散像素集合中第三像素点对应的像素，作为第二特征像素；第三像素为待扩散像素集合中的任一像素点。
在计算出待扩散图的第二像素点的强度归一化参数之后，就会在特征图中，寻找与待扩散图的第二像素点所对应的像素，并将所找到的像素作为第一特征像素，同时，在特征图中，寻找与待扩散像素集合中第三像素点对应的像素，并将所找到的像素作为第二特征像素。第三像素点可以是待扩散像素集合中的任何一个像素点。
需要说明的是，由于特征图是将预设预测模型中某一个层的特征数据可视化所得到的图像，为了能在特征图中寻找到与待扩散图的第二像素点对应的像素，可以在预设预测模型中选取与待扩散图具有相同尺寸的卷积层，并将该卷积层中的特征数据可视化得到特征图，使得特征图与待扩散图的像素一一对应，进而可以根据待扩散图的第二像素点的位置信息，找到第一特征像素，同理，可以根据待扩散像素集合中第三像素点的位置信息，找到第二特征像素。当然，装置还可以根据其他方式来寻找第一特征像素和第二特征像素，本公开实施例在此不作限定。
S1032c、提取第一特征像素的特征信息，以及第二特征像素的特征信息。
本公开实施例中，在提取第一特征像素的特征信息时，是先将第一特征像素的像素值提取出来，然后利用预设特征提取模型，对第一特征像素的像素值进行运算，得到第一特征像素的特征信息。同理，在提取第二特征像素的特征信息时，也是先将第二特征像素的像素值提取出来，再利用预设特征提取模型，对第二特征像素的像素值进行运算，得到第二特征像素的特征信息。
示例性的，可以用预设特征提取模型f来对第一特征像素进行特征提取，用预设特征提取模型g来对第二特征像素进行提取。而第一特征像素是特征图中与待扩散图的第二像素点对应的像素，可以表示为G(xi)，第二特征像素是特征图中与待扩散像素集合中的第三像素点对应的像素，可以表示为G(xj)，相应的，第一特征像素的特征信息为f(G(xi))，第二特征像素的特征信息为g(G(xj))。如此，装置就获得了第一特征像素的特征信息，与第二特征像素的特征信息。
S1032d、利用第一特征像素的特征信息、第二特征像素的特征信息、强度归一化参数以及预设扩散控制参数，计算出由待扩散图的第二像素点和待扩散像素集合中的第三像素点所组成的扩散像素对的子扩散强度。
本公开实施例中，预设扩散控制参数是用于对子扩散强度值进行控制的参数。预设扩散控制参数可以根据实际需求所设置的固定值，也可以是可以进行学习可变参数。
本公开实施例中，通过预设扩散强度计算模型，先对第一特征像素的特征信息求转置，得到转置结果，然后将转置结果与第二特征像素的特征信息相乘，并用1与所得到的乘积做差，得到差值结果，接着，将差值结果进行平方，并与预设扩散控制参数的平方的倍数相比，之后，将所得到比值作为指数函数的指数，将自然对数e作为指数函数的底数进行运算，最后利用强度归一化参数对所得到的运算结果进行归一化，得到最终的子扩散强度。需要说明的是，预设扩散强度计算模型的具体形式，还可以根据实际需求来进行设置，本公开实施例在此不作具体限定。
示例性的，本公开实施例提供了一种预设扩散强度计算模型，如式(9)所示：
Figure BDA0002186777500000221
其中，xi表示待扩散图的第二像素点，xj表示待扩散像素集合中的第三像素点，S(xi)表示待扩散图的第二像素点对应的强度归一化参数，G(xi)表示第一特征像素，G(xj)表示第二特征像素，f(G(xi))为第一特征像素的特征信息，g(G(xj))为第二特征像素的特征信息，σ表示预设扩散控制参数，w(xi,xj)表示待扩散图的第二像素点和待扩散像素集合中的第三像素点所组成的扩散像素对的子扩散强度。
在得到第一特征像素的特征信息f(G(xi))、第二特征像素的特征信息g(G(xj))，以及计算出待扩散图的第二像素点对应的强度归一化参数S(xi)之后，就可以将这些参数的具体数值代入式(9)之中，计算出待扩散图的第二像素点和待扩散像素集合中的第三像素点所组成的扩散像素对的子扩散强度w(xi,xj)。
S1032e、重复上述步骤，直至确定待扩散图的第二像素点，与待扩散像素集合中的每个像素所组成的像素对的子扩散强度。
S1032f、将待扩散图的第二像素点，与待扩散像素集合中的每个像素所组成的扩散像素对的子扩散强度，作为待扩散图的第二像素点所对应的扩散强度。
本公开实施例中，在可以分别针对待扩散强度的第二像素点，与待扩散像素集合中的每个像素所组成的扩散像素对进行子扩散强度的计算，然后将计算出的所有子扩散强度，共同作为待扩散图的第二像素点的扩散强度，按照这种方式，能够得到待扩散图中每个像素的扩散强度，并根据扩散强度，对待扩散图中的每个像素计算扩散后的像素值，从而得到准确率较高的补全深度图。
在本公开的一些实施例中，子扩散强度可以为待扩散图的第二像素点和待扩散像素集合中的第三像素的相似度。
本公开实施例中，可以将待扩散图的第二像素点和待扩散像素集合中的第三像素点的相似度，作为子扩散强度，即可以根据待扩散图的第二像素点，和待扩散像素集合中的第三像素点的相似程度，来决定待扩散像素集合中的第三像素点向待扩散图的第二像素点的扩散的强度，当待扩散图的第二像素点和待扩散像素集合中的第三像素点较为相似时，认为待扩散图的第二像素点和待扩散像素集合中的第三像素点，极有可能是处于三维场景中的同一个平面上的，此时，待扩散像素集合中的第三像素点向待扩散图的第二像素点扩散强度会较大；而当待扩散图的第二像素点和待扩散像素集合中的第三像素点不相似时，为待扩散图的第二像素点，和待扩散像素集合中的第三像素点不处于同一平面之上，此时，待扩散像素集合中的第三像素向待扩散图的第二像素点扩散强度会较小，以免在像素扩散过程中发生错误。
本公开实施例中，可以根据待扩散图中的像素，和待扩散像素集合中每个像素的相似程度来确定子扩散强度，以确保用与待扩散图中的像素处于同一平面的像素，计算待扩散图中的各个像素进行扩散后的像素值，从而得到准确率较高的补全后的深度图。
在本公开的一些实施例中，利用待扩散图的第二像素点，以及待扩散像素集合中的每个像素，计算待扩散图的第二像素点对应的强度归一化参数，即S1032a的具体实现过程，可以包括S201-S204，如下：
S201、提取待扩散图的第二像素点的特征信息，以及待扩散像素集合中第三像素点的特征信息。
需要说明的是，利用预设特征提取模型，提取待扩散图的第二像素点的特征信息时，是先获取待扩散图的第二像素的像素值，并用预设特征提取模型对该像素值进行计算，得到待扩散图的第二像素点的特征信息。同理，在提取待扩散像素集合中第三像素点的特征信息时，也是先获取待扩散像素集合中第三像素点的像素值，然后对该像素值进行用预设特征提取模型进行运算，得到待扩散像素集合中第三像素点的特征信息。
示例性的，当待扩散图的第二像素点表示为xi，待扩散像素集合中第三像素表示为xj时，若用预设特征提取模型f来对待扩散图的第二像素点进行特征提取，用预设特征提取模型g来对待扩散像素集合中第三像素进行特征提取，则待扩散图的第二像素点的特征信息可以表示为f(xi)，待扩散像素集合中第三像素点的特征信息可以表示为g(xj)。当然，也可以利用其它预设特征提取模型来对待扩散图的第二像素点，和待扩散像素集合中第三像素点进行特征提取，本公开实施例在此不作具体限定。
S202、利用提取的待扩散图的第二像素的特征信息、待扩散像素集合中第三像素点的特征信息以及预设扩散控制参数，计算出待扩散像素集合中第三像素的子归一化参数。
需要说明的是，利用预设子归一化参数计算模型，先对待扩散图的第二像素点的特征信息进行矩阵转置，并将转置结果与待扩散像素集合中第三像素点的特征信息相乘，接着，用1与所得到的乘积结果做差，并对所得到的差值结果求平方，得到平方结果，然后，将平方结果与预设扩散控制参数的平方的倍数相比，最后，将所得到的比值作为指数函数的指数，将自然对数e作为指数函数的底数进行运算，并将最终的运算结果作为待扩散像素集合中第三像素点对应的子归一化参数。当然，预设子归一化参数计算模型可以根据实际需求设置为其他形式，本公开实施例在此不作具体限定。
示例性的，本公开实施例提供了一种预设子归一化参数计算模型，参见式(10)：
Figure BDA0002186777500000241
其中，xi表示待扩散图的第二像素点，xj表示待扩散像素集合中的第三像素点，f(xi)表示待扩散图的第二像素点的特征信息，g(xj)表示待扩散像素集合中第三像素点的特征信息，σ表示预设扩散控制参数，s(xj)表示待扩散像素集合中第三像素点对应的子归一化参数。
在得到待扩散图的第二像素点的特征信息f(xi)、待扩散像素集合中第三像素点的特征信息g(xj)，以及获取到了预设扩散控制参数σ之后，就可以将这些参数的具体数值代入至式(10)之中，计算出待扩散像素集合中第三像素点对应的子归一化参数。
S203、重复上述步骤，直至得到待扩散像素集合的每个像素的子归一化参数。
S204、将待扩散像素集合的每个像素的子归一化参数进行累加，得到待扩散图的第二像素点对应的强度归一化参数。
示例性的，当待扩散像素集合中第三像素的子归一化参数为s(xj)时，装置可用式(11)得到待扩散图的第二像素点对应的强度归一化参数：
Figure BDA0002186777500000251
其中，Ni表示待扩散像素集合，S(xi)表示待扩散图的第二像素点的强度归一化参数。
在计算待扩散像素集合中每个像素的子归一化参数的数值时，可以将这些子归一化参数的数值直接代入至式(11)进行累加，将所得到的累加结果作为待扩散图的第二像素点对应的强度归一化参数。
本公开实施例中，可以先对待扩散图的第二像素点进行特征提取，对待扩散像素集合中的每个像素进行特征提取，然后利用预设子归一化参数计算模型对所提取到的特征信息，和预设扩散控制参数进行计算，得到子归一化参数，并对所得到的所有子归一化参数进行累加，得到强度归一化参数，以使得装置在后续能够利用强度归一化参数计算扩散强度。
在本公开的一些实施例中，如图10所示，根据待扩散图的第二像素点的扩散强度、待扩散图的第二像素点的像素值以及待扩散像素集合中每个像素的像素值，确定待扩散图的第二像素点的扩散后的像素值，即S1033的具体实现过程，可以包括：S1033a-S1033d，如下：
S1033a、将扩散强度中每个子扩散强度，分别与待扩散图的第二像素点的像素值相乘，并将所得到的乘积结果进行累加，得到待扩散图的第二像素点的第一扩散部分。
本公开实施例中，先获取到待扩散图的第二像素点的像素值，以及待扩散图的第二像素点的扩散强度，并用待扩散图的第二像素点的扩散强度中，待扩散像素集合中第三像素点的子扩散强度与待扩散图的第二像素点的像素值相乘，得到一个乘积结果，如此重复，直至待扩散像素集合中每个像素的子扩散强度与待扩散图的第二像素点的像素值都相乘后，将得到的所有乘积进行累加，计算出待扩散图的第二像素点的第一扩散部分。
需要说明的是，本公开实施例中，还可以根据其他方式来计算待扩散图的第二像素点的第一扩散部分，本公开实施例在此不作限定。
示例性的，本公开实施例可以用式(12)计算得到第一扩散部分，式(12)如下：
Figure BDA0002186777500000252
其中，w(xi,xj)为待扩散像素集合中第三像素点对应的子扩散强度，N(xi)表示待扩散像素集合，P(xi)表示待扩散图的第二像素点的像素值，p1(xi)表示计算出的待扩散图的第二像素点的第一扩散部分。
在获得待扩散图的第二像素点的像素值，以及待扩散像素集合中每个像素的子扩散强度的数值之后，就可以将待扩散图的第二像素点的像素值，与待扩散像素集合中每个像素的子扩散强度的数值代入到式(12)中，计算出待扩散图的第二像素点的第一扩散部分。
需要说明的是，由于计算待扩散图的第二像素点的扩散强度时，用强度归一化参数对子扩散强度进行了归一化，因而，各个子扩散强度与待扩散图的第二像素点的像素值相乘并累加之后，所得到的累加结果的数值不会超过原先待扩散图的第二像素点的像素值。
S1033b、将扩散强度中的每个子扩散强度，分别与待扩散集合中每个像素的像素值对应相乘，并将所得到的乘积累加，得到待扩散图的第二像素点的第二扩散部分。
需要说明的是，在用子扩散强度，分别与待扩散像素集合中的每个像素值进行相乘时，是先用待扩散像素集合中的第三像素点对应的子扩散强度，与待扩散像素集合中的第三像素点的像素值相乘，得到乘积结果，如此循环往复，直到将每个子扩散强度，分别与待扩散像素集合中的每个像素值都进行相乘，最后，将所有的乘积进行累加，并将所得到的累加结果作为待扩散图的第二像素点的第二扩散部分。
需要说明的是，本公开实施例中，还可以根据其他方法来计算待扩散图的第二像素点的第二扩散部分，本公开实施例在此不作具体限定。
示例性的，在本公开实施例中，可以用式(13)来计算第二扩散部分：
Figure BDA0002186777500000261
其中，w(xi,xj)为待扩散像素集合中第三像素点对应的子扩散强度，N(xi)表示待扩散像素集合，P(xj)表示待扩散像素集合中第三像素点的像素值，p2(xi)表示计算出的待扩散图的第二像素点的第二扩散部分。
在获得待扩散像素集合中第三像素点的像素值，以及待扩散像素集合中每个像素的子扩散强度的数值之后，就可以将待扩散像素集合中第三像素点的像素值，与待扩散像素集合中每个像素的子扩散强度的数值代入到式(13)中，计算出待扩散图的第二像素点的第二扩散部分。
S1033c、根据待扩散图的第二像素点的像素值、待扩散图的第二像素点的第一扩散部分，以及待扩散图的第二像素点的第二扩散部分，计算出待扩散图的第二像素点的扩散后的像素值。
本公开实施例中，可以用待扩散图的第二像素点的像素值，先减去第一扩散像素部分，然后用得到的差值与第二扩散部分相加，将最后的相加结果作为扩散后的像素值。需要说明的是，本公开实施例还可以对待扩散图的第二像素点的像素值、第一扩散像素部分和第二扩散像素部分进行其他的处理，得到待扩散图第二像素点扩散后的像素值，本公开实施例在此不作具体限定。
示例性的，本公开实施例可以根据式(14)得到待扩散图的第二像素点的扩散像素值，并完成像素扩散：
Figure BDA0002186777500000271
其中，P(xi)表示待扩散图的第二像素点的像素值，w(xi,xj)为待扩散像素集合中第三像素点对应的子扩散强度，N(xi)表示待扩散像素集合，P(xj)表示待扩散像素集合中第三像素点的像素值。
在得到待扩散图的第二像素点的像素值、待扩散像素集合中每个像素所对应的子扩散强度、待扩散像素集合中每个像素的像素值之后，就可以将这些参数的具体数值代入式(14)中，计算出待扩散图的第二像素点的扩散后的像素值。
示例性的，本公开实施例给出了对式(14)进行推导的过程：
本公开实施例中，可以用待扩散图的第二像素点的像素值，先减去第一扩散像素部分，然后用得到的差值与第二扩散部分相加，将最后的相加结果作为扩散像素值，可以用式(15)来表示：
P(xi)←P(xi)-p1(xi)+p2(xi) (15)
其中，p1(xi)表示计算出的待扩散图的第二像素点的第一扩散部分，p2(xi)表示计算出的待扩散图的第二像素点的第二扩散部分，P(xi)表示待扩散图的第二像素点的像素值。
将式(12)和式(13)代入到式(15)中，可以得到式(16)：
Figure BDA0002186777500000272
对式(16)进行合并整理，即可得到式(14)。
示例性的，本公开实施例提供了一种计算待扩散图的第二像素点的扩散后的像素值的示意，如图11所示，在基于待扩散图1和特征图2，计算待扩散图的第二像素点的扩散后的像素值时，先要为待扩散图的第二像素点确定出待扩散像素集合，在本公开实施例中，按照8邻域来确定待扩散像素集合3，如图11所示，待扩散图的第二像素点xi位于左上方九宫格的中心，周围的8个像素点所组成的集合为待扩散像素集合3。接着，要从特征图2中找到与待扩散图的第二像素点对应的第一特征像素，以及与待扩散像素集合中第三像素对应的第二特征像素，并利用预设特征提取模型f对第一特征像素进行特征提取，利用预设特征提取模型g对第二特征像素进行特征提取(特征提取过程未示出)，其中，f和g都被设置为1×1的卷积核。接着，利用预设扩散强度计算模型4，即式(9)，以及计算扩散强度所需要的参数，计算出扩散强度，然后将待扩散图的第二像素点的像素值、扩散强度、待扩散像素集合中每个像素的像素值代入式(14)，计算出待扩散图的第二像素点扩散后的像素值5，进而得到补全后的深度图6。如此，就完成了对待扩散图的第二像素点的扩散后的像素值的计算。
S1033d、重复上述步骤，直至计算出待扩散图中每个像素的扩散后的像素值。
在完成对待扩散图的第二像素点的像素扩散之后，便会继续重复上述步骤，计算出待扩散图中每个像素的扩散后的像素值，从而得到补全后的深度图。
本公开实施例中，能够根据待扩散图中的每个像素的像素值、以及待扩散图每个像素所对应的待扩散像素集合中的所有像素的像素值，以及所计算出的扩散强度，逐个对待扩散图中的每个像素的扩散后的像素值进行计算，以使得能够充分利用所采集到的深度图，得到准确率较高的补全后的深度图。
在本公开的一些实施例中，在基于待扩散图和特征图，实现像素扩散，得到补全后的深度图之后，即S104之后，该方法还可以包括：S105，如下：
S105、将补全后的深度图作为待扩散图，重复执行基于待扩散图和特征图确定待扩散图中的各个像素的扩散强度的步骤，基于待扩散图中的各个像素的像素值以及待扩散图中的各个像素的扩散强度确定待扩散图中的各个像素的扩散后的像素值的步骤，以及根据待扩散图中的各个像素的扩散后的像素值确定补全后的深度图的步骤，直至达到预设重复次数。
在得到补全后的深度图之后，还能够继续将该补全后的深度图，重新作为待扩散图，计算待扩散图中的各个像素的扩散后的像素值，使像素扩散更加充分，得到优化后的补全后的深度图。
在本公开的一些实施例中，可以将预设重复次数设置为8次，在得到补全后的深度图之后，会针对该补全后的深度图，继续进行7次上述步骤，以使像素扩散更加充分。需要说明的是，预设重复次数可以根据实际需求进行设定，本公开实施例在此不作具体限定。
在本公开的一些实施例中，在根据待扩散图中各个像素的扩散后的像素值确定补全后的深度图之后，即S104之后，该方法还可以包括：S106，如下：
S106、将补全后的深度图作为初步补全的深度图，重复执行基于初步补全的深度图、摄像机的参数矩阵与法向预测图，计算出第一平面原点距离图，并将第一平面原点距离图作为待扩散图的步骤，基于待扩散图和特征图确定待扩散图中各个像素的扩散强度的步骤，基于待扩散图中各个像素的像素值以及待扩散图中各个像素的扩散强度确定待扩散图中各个像素的扩散后的像素值的步骤，以及根据待扩散图中各个像素的扩散后的像素值确定补全后的深度图的步骤，直至达到预设重复次数。
在本公开的一些实施例中，每一次执行的基于初步补全的深度图、摄像机的参数矩阵与法向预测图，计算出第一平面原点距离，并将第一平面原点距离图作为待扩散图的步骤，包括：
基于初步补全的深度图、摄像机的参数矩阵与法向预测图，计算出第一平面原点距离图的步骤；基于深度图和二维图像确定第一置信度的步骤；基于深度图、参数矩阵与法向预测图，计算出第二平面原点距离图的步骤；以及根据第一置信度图中的像素、第二平面原点距离图中的像素以及第一平面原点距离图中的像素，对第一平面原点距离图中的像素进行优化，得到优化后的第一平面原点距离图，将优化后的第一平面原点距离图作为待扩散图的步骤。
本公开实施例中，基于采集到的深度图
Figure BDA0002186777500000291
和二维图像得到初步补全的深度图D、法向预测图N和第一置信度图M之后，对于初步补全的深度图D中的所有像素x，计算出第二平面原点距离信息，进而得到第二平面原点距离图，并计算出所有像素的第一平面原点距离信息，进而得到第一平面原点距离图。然后，判断当前重复次数小于预设迭代次数时，对第一平面原点距离图中的每个像素值P(x)，计算出替换距离信息，并进行像素值的优化，进而得到优化后的第一平面原点距离图。之后，将优化后的第一平面原点距离图作为待扩散图，对优化后的第一平面原点距离图中的第二像素点，确定出对应的待扩散像素集合，并计算第二像素点对应的扩散强度，然后根据扩散强度中的每个子扩散强度、待扩散像素集合中每个像素的像素值以及优化后的第一平面原点距离图中的第二像素点的像素值，计算出优化后的第一平面原点距离图的第二像素点扩散后的像素值，得到经过扩散的优化后的第一平面原点距离图，再对经过扩散的优化后的第一平面原点距离图进行反变换，得到补全后的深度图。当得到补全后的深度图之后，会给当前重复次数i加上1，得到新的当前重复次数，然后将新的当前重复次数与预设重复次数进行比较，在新的当前重复次数小于预设重复次数时继续进行上述过程，直至进行新的当前重复次数不再小于预设重复次数，得到最终的补全后的深度图。
示例性的，本公开实施例给出了预设重复次数的取值对补全后的深度图的误差的影响，如图12(a)所示，用KITTI数据集进行测试，横坐标为预设重复次数，纵坐标为均方根误差(Root Mean Square Error，RMSE)，RMSE的单位为mm，图中3条曲线，分别为全样本测试次数(epoch)取不同值所得到的结果。从图12(a)可以看出，当epoch＝10时，即KITTI数据集中的全部样本被测试了10次时，RMSE是随着预设重复次数的增加而下降的，当预设重复次数为20时，RMSE最小，接近于0；当epoch＝20时，RMSE先是随着预设重复次数下降然后保持不变，RMSE接近于0；当epoch＝30时，RMSE随着预设重复次数的增加先下降，然后有小幅度的上升，但是RMSE最高也不会超过5，直至最后RMSE接近于0。图12(b)是用NYU数据集进行测试的结果图，与图12(a)相同，图12(b)的也横坐标为预设重复次数，纵坐标为RMSE，图中3条曲线，分别为epoch取不同值所得到的结果。从图12(b)可以看出，不管是epoch＝5、epoch＝10还是epoch＝15，随着预设重复次数的增加，RMSE都是先减小，直至接近于0，然后保持不变。从图12(a)和图12(b)可以看出，进行预设重复次数的像素扩散，能够显著减小补全后的深度图的RMSE，即进行预设重复次数的像素扩展，能够进一步提升补全后的深度图的准确度。
本公开实施例中，在得到补全后的深度图之后，还能继续对补全后的深度图重复进行补全，从而进一步提高补全后的深度图的准确度。
在本公开的一些实施例中，深度图像补全方法可以采用预设预测模型来实现。在采集到目标场景的深度图和二维图像之后，先获取预先存储于深度图像补全装置内部的预设预测模型，然后将深度图和影像图作为输入送进预设预测模型中进行计算，以进行初步的预测处理，并根据预设预测模型输出的结果，得到待扩散图和特征图，以便于后续基于待扩散图和特征图，实现像素扩散。
可以理解的是，本公开实施例中，预设预测模型是已经训练好的模型。本公开实施例中，可以使用已经训练好的卷积神经网络(Convolutional Neural Networks，CNN)模型作为预设预测模型。当然，还可以根据实际情况使用其他能够达到的相同目的的网络模型，或是其他机器学习模型作为预设预测模型，本公开实施例在此不作具体限定。
示例性的，本公开实施例中，可以使用CNN中的残差网络(Residual Networks，ResNet)的变体ResNet-34或是ResNet-50作为预设预测模型。
需要说明的是，由于在利用预设预测模型对采集到的深度图和二维图像进行预测处理之后，可以根据实际设置获得多种预测结果，例如初步补全的深度图、法向预测图，乃至深度图对应的置信度图等，因此，可以将预设预测模型所得到的预测结果直接作为待扩散图，也可以对预测结果进行处理得到待扩散图。
需要说明的是，所得到的待扩散图是指根据预设预测模型的输出，所得到的用来进行像素值的扩散的图；而所得到的特征图，是指将深度图和二维图像输入预设预测模型中进行计算之后，将预设预测模型中的某一层的特征数据进行可视化，以得到特征图。
需要说明的是，由于在利用预设预测模型，对深度图和二维图像进行预测，可以得到初步补全的深度图和法向预测图，即预设预测模型具有两个输出，因此，在获得特征图时，可以仅将用于输出初步补全的深度图的子网络中的特征数据进行可视化，得到特征图，也可以是仅将用于输出法向预测图的子网络中的特征数据进行可视化，得到特征图，还可以将用于输出初步补全的深度图的子网络，与用于输出法向预测图的子网络进行串联，对串联网络中的特征数据进行可视化，得到特征图。当然，还可以利用其他方式得到特征图，本公开实施例在此不作限定。
示例性的，当预设预测模型为ResNet-34时，可以先将深度图和二维图像送入ResNet-34进行预测，然后对ResNet-34的倒数第二层中的特征数据进行可视化，并将可视化结果作为特征图。当然，还可以用其他方式得到特征图，本公开实施例在此不作具体限定。
在本公开的一些实施例中，预设预测模型可以采用如下方法训练得到：
S107、获取训练样本以及预测模型。
在用雷达采集目标场景的深度图，以及通过摄像机采集目标场景的二维图像之前，还需要获取训练样本以及预测模型，以便于后续利用训练样本对预测模型进行训练。
需要说明的是，由于通过预设预测模型可以得到初步补全的深度图、法向预测图、特征图和第一置信度图，因此，所获取的训练样本中，至少包含有训练深度图样本、训练二维图像样本、以及与训练深度图样本和训练二维图像样本所对应的初步补全的深度图的真值图、法向预测图的真值图和第一置信度图的真值图。其中，初步补全的深度图的真值图指的由三维场景的真实的深度信息作为像素值所构成的图像，法向预测图的真值图是对初步补全的深度图的真值图运用主成分分析(Principal Component Analysis，PCA)所计算出的图像，而第一置信度图的真值图则是用训练深度图，和深度图的真值图所计算出的图像。
本公开实施例中，对每个3D点的置信度的真值进行计算，然后将每个3D点的置信度的真值作为像素值，得到第一置信度图的真值图。在对每个3D点的置信度的真值时，先用3D点的深度信息，减去3D点深度信息的真值，并对所得到的差值取绝对值，得到绝对值结果，之后，将绝对值结果与预设的误差容错参数相比，最后，将所得到的比值作为指数函数的指数，将自然对数e最为指数函数的底数进行运算，得到每个3D点的置信度的真值。
示例性的，本公开实施例中，可以利用式(17)来计算3D点的置信度真值，式(17)如下：
Figure BDA0002186777500000311
其中，
Figure BDA0002186777500000312
表示3D点的深度信息，D*(x)表示与3D点的训练深度信息的真值，b为预设的误差容错参数，M*(x)为计算得到的置信度的真值。
在获取到每个3D点的深度信息，以及与每个3D点的训练深度信息的真值，以及预设的误差容错参数的数值之后，可以将这些数据代入式(17)，逐个计算出每个3D点的置信度的真值，进而将每个3D点的置信度的真值作为像素值，得到第一置信度图的真值图。
需要说明的是，本公开实施例中，预设误差容错参数会对第一置信度图的真值图进行计算过程造成影响，因而，预设误差容错参数可以根据经验来设置，本公开实施例在此不作具体限定，
示例性的，本公开实施例提供了一种预设误差容错参数对第一置信度图的真值图的误差影响，如图13(a)所示，横坐标为预设误差容错参数b的取值，纵坐标为利用不同预设误差容错参数b，所计算出的第一置信度图的真值图的均方根误差(Root Mean SquareError，RMSE)，RMSE的单位为mm。从图13(a)可以看出，当b的取值从10-1逐渐增大，直至达到101时，第一置信度图的真值图的RMSE是先减小，然后增大的，且在当b为100时，第一置信度图的真值图的RMSE达到最小。由此可以看出，为了使第一置信度图的真值图的RMSE最小，可以将预设误差容错参数b设置为100。本公开实施例还提供了一种预设误差容错参数的取值对置信度的真值-绝对误差(Absolute Error，AE)曲线分布的影响，图13(b)横坐标为绝对误差，其中AE的单位为m，纵坐标为置信度的真值M*，图13(b)中的5条曲线从左到右依次为b＝0.1时的M*-AE曲线分布，b＝0.5时的M*-AE曲线分布，b＝1.0时的M*-AE曲线分布，b＝1.5时的M*-AE曲线分布，b＝2.0时的M*-AE曲线分布以及b＝5.0时的M*-AE曲线分布。从这些曲线分布中可以看出，当b取值过小时，例如b＝0.1、b＝0.5时，即使AE很小，置信度的M*也比较低，在实际应用时无法针对误差较低的置信度真值给出较高的置信度，即置信度不准确，同样的，当b取值过大时，即b＝2.0、b＝5.0时，虽然AE较大，但是置信度的真值M*却比较高，在实际应用时对噪声的容忍程度比较高，也就无法针对误差较高的置信度的真值给出较低的置信度。当b取1时，对于小AE，置信度M*较高，对于大AE，置信度M*较低，能够针对置信度的真值给出合适的置信度。
S108、利用训练样本对预测模型进行训练，得到预测参数。
在得到训练样本之后，就会用训练样本对预测模型进行有监督训练，直至损失函数达到要求时停止训练，得到预测参数，以便于后续得到预设预测模型。
需要说明的是，在对预测模型进行训练时，是将训练深度图样本和训练二维图像样本作为输入，利用训练深度图样本和训练二维图像样本所对应的初步补全的深度图的真值图、法向预测图的真值图和第一置信度图的真值图作为监督，进行有监督训练。
本公开实施例中，可以为初步补全的深度图的真值图、法向预测图的真值图和第一置信度图的真值图分别设置子损失函数，然后将这些子损失函数，分别与其对应的损失函数的权重调整参数相乘，最后根据相乘结果，得到预设预测模型的损失函数。
示例性的，可以将预设预测模型的损失函数设置为：
L＝LD+βLN+γLC (18)
其中，LD为初步补全的深度图的真值图对应的子损失函数，LN为法向预测图的真值图对应的子损失函数，LC为第一置信度图的真值图对应的子损失函数，β和γ损失函数的权重调整参数。当然，还可以将预设预测模型的损失函数设置为其他形式，本公开实施例在此不作具体限定。
需要说明的是，损失函数的权重调整参数可以根据实际情况来进行深度，本公开实施例在此不作具体限定。
初步补全的深度图的真值图对应的子损失函数可以设置为：
Figure BDA0002186777500000321
其中，D(x)表示从训练样本中预测出的3D点的初步深度信息，D*(x)表示3D点的原始深度信息的真值，n为初步补全的深度图的像素总数目。
法向预测图的真值图对应的子损失函数可以设置为：
Figure BDA0002186777500000322
其中，N(x)表示从训练样本中预测出的3D点所在切平面的法向量，N*(x)表示3D点的真实法向量，n为法向预测图的像素总数目。
第一置信度图的真值图对应的子损失函数可以设置为：
Figure BDA0002186777500000323
其中，M(x)表示从训练样本中预测出的3D点对应的置信度信息，M*(x)表示通过式(17)计算出的3D点对应的置信度信息的真值，n为第一置信度图的像素总数。
需要说明的是，在训练过程中，会有较多的超参数会对最后所得到的预设预测模型的性能造成影响，例如采样率等。因此，装置可以选择合适的超参数，对预测模型进行训练，以便于后续得到效果较好的预设预测模型。
S109、利用预测参数以及预测模型构成预设预测模型。
在对预测模型进行训练，得到预测参数之后，就可以用所得到的预测参数和预测模型，共同构成预设预测模型，以便于后续装置能够利用预设预测模型，对装置所采集的深度图和二维图像进行预测。
示例性的，本公开实施例给出了用预设预测模型的采样率对补全后的深度图的影响示意，如图14(a)所示，在KITTI数据集上进行测试，横坐标为采样率，纵坐标为RMSE，RMSE单位为mm，图中3条曲线，分别为epoch＝10、epoch＝20和epoch＝30所得到的结果。从图14(a)中可以看出，无论是epoch＝10、epoch＝20还是epoch＝30，当采样率从0开始向1.0递增时，RMSE越来越小的，且都在采样率为1.0时RMSE达到了最小。图14(b)为在NYU数据集上进行测试的结果，与图14(a)类似，图14(b)的横坐标为采样率，纵坐标为RMSE，RMSE单位为mm，图中3条曲线，分别为epoch＝10、epoch＝20和epoch＝30所得到的结果。与图14(a)类似，在图14(b)中，无论是epoch＝10、epoch＝20还是epoch＝30，当采样率从0开始向1.0递增时，RMSE会越来越小，并在采样率为1.0时达到最小。从图14(a)和图14(b)可以看出，为预设预测模型选择合适的采样率，能够使得补全后的深度图的RMSE显著下降，即得到效果较好的补全后深度图。
本公开实施例中，能够对预测模型进行训练，得到预测参数，并用预测参数和预测模型构成预设预测模型，使得在之后可以用预设预测模型对实时采集的深度图和二维图像进行预测处理。
示例性的，本公开实施例给出一种深度图像补全方法与相关技术中的深度补全技术的效果比较示意图，如图15(a)所示，为所采集的三维场景的深度图和二维图像示意图，为了便于观察，将深度图和二维图像重叠在一起进行示出。图15(b)为相关技术中利用卷积空间传播网络(Convolutional Spatial Propagation Network，CSPN)进行深度补全所得到的补全后的深度图，图15(c)为相关技术中利用NConv-卷积神经网络(NConv-Convolutional Neural Network，NConv-CNN)所得到的补全后的深度图，图15(d)为相关技术中利用稀疏-稠密(Sparse-to-Dense)方法所得到的补全后的深度图，图15(e)为利用本公开实施例提供的所预测出的法向预测图，图15(f)为本公开实施例提供的所预测出的第一置信度图，图15(g)为利用本公开实施例提供的一种深度图像补全方法所得到的补全后的深度图。将图15(b)、图15(c)、图15(d)与图15(g)进行比较，可以看出，相比与相关技术，本公开实施例提供的一种深度图像补全方法所得到的补全后的深度图的效果更好，出现具有错误深度信息的像素点的数目更少，并且补全后的深度图的细节信息也更为全面。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
在本公开的一些实施例中，如图16所示，本公开实施例提供了一种深度图像补全装置1，该深度图像补全装置1可以包括：
采集模块10，用于通过设置的雷达采集目标场景的深度图，以及通过设置的摄像机采集所述目标场景的二维图像；
处理模块11，用于根据采集到的深度图和所述二维图像，确定待扩散图以及特征图；基于所述待扩散图和所述特征图，确定所述待扩散图中的各个像素的扩散强度；所述扩散强度表征所述待扩散图中的各个像素的像素值向相邻像素扩散的强度；
扩散模块12，用于基于所述待扩散图中的各个像素的像素值以及所述待扩散图中的各个像素的扩散强度，确定补全后的深度图。
在本公开的一些实施例中，所述扩散模块12，具体用于基于所述待扩散图中的各个像素的像素值以及所述待扩散图中的各个像素的扩散强度，确定所述待扩散图中的各个像素的扩散后的像素值；根据所述待扩散图中的各个像素的扩散后的像素值确定补全后的深度图。
在本公开的一些实施例中，所述待扩散图为初步补全的深度图；所述扩散模块12，在用于根据所述待扩散图中的各个像素的扩散后的像素值确定补全后的深度图时，具体用于将所述待扩散图中的各个像素的扩散后的像素值作为扩散后的图像的各个像素的像素值；将扩散后的图像作为补全后的深度图。
在本公开的一些实施例中，所述待扩散图为第一平面原点距离图；所述处理模块11，在用于根据所述深度图和所述二维图像确定待扩散图以及特征图时，具体用于获取所述摄像机的参数矩阵；根据所述深度图和所述二维图像确定所述初步补全的深度图、所述特征图和法向预测图；所述法向预测图是指将三维场景各点的法向量作为像素值的图像；根据所述初步补全的深度图、所述摄像机的参数矩阵与所述法向预测图，计算出第一平面原点距离图；所述第一平面原点距离图是利用所述初步补全的深度图计算出的所述摄像机至所述三维场景各点所在平面的距离作为像素值的图像。
在本公开的一些实施例中，所述处理模块11，还用于根据所述深度图和所述二维图像确定第一置信度图；其中，所述第一置信度图是指采用所述深度图中各个像素对应的置信度作为像素值的图像；根据所述深度图、所述参数矩阵与所述法向预测图，计算出第二平面原点距离图；所述第二平面原点距离图是利用所述深度图计算出的所述摄像机至所述三维场景各点所在平面的距离作为像素值的图像；根据所述第一置信度图中的像素、所述第二平面原点距离图中的像素以及所述第一平面原点距离图中的像素，对所述第一平面原点距离图中的像素进行优化，得到优化后的第一平面原点距离图。
在本公开的一些实施例中，所述处理模块11，在用于根据所述第一置信度图中的像素、所述第二平面原点距离图中的像素以及所述第一平面原点距离图中的像素，对所述第一平面原点距离图中的像素进优化，得到优化后的第一平面原点距离图时，具体用于从所述第二平面原点距离图中，确定出与所述第一平面原点距离图的第一像素点所对应的像素点，作为替换像素点，并确定所述替换像素点的像素值；所述第一像素点为所述第一平面原点距离图中的任一像素点；从所述第一置信度图中，确定出所述替换像素点所对应的置信度信息；根据所述替换像素点的像素值、所述置信度信息以及所述第一平面原点距离图的第一像素点的像素值，确定所述第一平面原点距离图的所述第一像素点的优化后的像素值；重复上述步骤，直至确定所述第一平面原点距离图中每个像素的优化后的像素值，得到所述优化后的第一平面原点距离图。
在本公开的一些实施例中，所述处理模块11，在用于基于所述待扩散图和所述特征图，确定所述待扩散图中的各个像素的扩散强度时，具体用于根据预设扩散范围，从所述待扩散图中确定出所述待扩散图的第二像素点对应的待扩散像素集合，并确定出所述待扩散像素集合中每个像素的像素值；所述第二像素点为所述待扩散图中的任一像素点；利用所述特征图、所述待扩散图的第二像素点以及所述待扩散像素集合中的每个像素，计算出所述待扩散图的第二像素点对应的扩散强度；
所述扩散模块12，在用于基于所述待扩散图中的各个像素的像素值以及所述待扩散图中的各个像素的扩散强度，确定所述待扩散图中的各个像素的扩散后的像素值时，具体用于根据所述待扩散图的第二像素点的扩散强度、所述待扩散图的第二像素点的像素值以及所述待扩散像素集合中每个像素的像素值，确定所述待扩散图的第二像素点的扩散后的像素值；重复上述步骤，直至确定所述待扩散图中每个像素扩散后的像素值。
在本公开的一些实施例中，所述处理模块11，在用于利用所述特征图、所述待扩散图的第二像素点以及所述待扩散像素集合中的每个像素，计算出所述待扩散图的第二像素点对应的扩散强度时，具体用于利用待扩散图的第二像素点，以及所述待扩散像素集合中每个像素，计算所述待扩散图的第二像素点对应的强度归一化参数；将所述特征图中，与所述待扩散图的第二像素点对应的像素，作为第一特征像素，与所述待扩散像素集合中第三像素点对应的像素，作为第二特征像素；所述第三像素点为待扩散像素集合中的任一像素；提取所述第一特征像素的特征信息，以及所述第二特征像素的特征信息；利用所述第一特征像素的特征信息、所述第二特征像素的特征信息、所述强度归一化参数以及预设扩散控制参数，计算出由所述待扩散图的第二像素点和所述待扩散像素集合中的第三像素点所组成的扩散像素对的子扩散强度；重复上述步骤，直至确定所述待扩散图的第二像素点，与所述待扩散像素集合中的每个像素所组成的像素对的子扩散强度；将所述待扩散图的第二像素点，与所述待扩散像素集合中的每个像素所组成的扩散像素对的子扩散强度，作为所述待扩散图的第二像素点所对应的扩散强度。
在本公开的一些实施例中，所述处理模块11，在用于利用待扩散图的第二像素点，以及所述待扩散像素集合中每个像素，计算所述待扩散图的第二像素点对应的强度归一化参数时，具体用于提取所述待扩散图的第二像素点的特征信息，以及所述待扩散像素集合中第三像素点的特征信息；利用提取的待扩散图的第二像素点的特征信息、所述待扩散像素集合中第三像素点的特征信息以及所述预设扩散控制参数，计算出所述待扩散像素集合中第三像素点的子归一化参数；重复上述步骤，直至得到所述待扩散像素集合的每个像素的子归一化参数；将所述待扩散像素集合的每个像素的子归一化参数进行累加，得到所述待扩散图的第二像素点对应的强度归一化参数。
在本公开的一些实施例中，所述扩散模块12，在用于根据所述待扩散图的第二像素点的扩散强度、所述待扩散图的第二像素点的像素值以及所述待扩散像素集合中每个像素的像素值，确定所述待扩散图的第二像素点的扩散后的像素值时，具体用于将所述扩散强度中每个子扩散强度，分别与所述待扩散图的第二像素点的像素值相乘，并将所得到的乘积结果进行累加，得到所述待扩散图的第二像素点的第一扩散部分；将所述扩散强度中的每个子扩散强度，分别与待扩散像素集合中每个像素的像素值对应相乘，并将所得到的乘积累加，得到所述待扩散图的第二像素点的第二扩散部分；根据所述待扩散图的第二像素点的像素值、所述待扩散图的第二像素点的第一扩散部分，以及所述待扩散图的第二像素点的第二扩散部分，计算出所述待扩散图的第二像素点的扩散后的像素值。
在本公开的一些实施例中，所述扩散模块12，还用于将所述补全后的深度图作为待扩散图，重复执行基于所述待扩散图和所述特征图确定所述待扩散图中的各个像素的扩散强度的步骤，基于所述待扩散图中的各个像素的像素值以及所述待扩散图中的各个像素的扩散强度确定所述待扩散图中的各个像素的扩散后的像素值的步骤，以及根据所述待扩散图中的各个像素的扩散后的像素值确定补全后的深度图的步骤，直至达到预设重复次数。
在本公开的一些实施例中，所述扩散模块12，还用于将所述补全后的深度图作为初步补全的深度图，重复执行基于所述初步补全的深度图、所述摄像机的参数矩阵与所述法向预测图，计算出第一平面原点距离图，并将所述第一平面原点距离图作为待扩散图的步骤，基于所述待扩散图和所述特征图确定所述待扩散图中各个像素的扩散强度的步骤，基于所述待扩散图中各个像素的像素值以及所述待扩散图中各个像素的扩散强度确定所述待扩散图中各个像素的扩散后的像素值的步骤，以及根据所述待扩散图中各个像素的扩散后的像素值确定补全后的深度图的步骤，直至达到预设重复次数。
在本公开的一些实施例中，所述扩散模块12，在用于每一次执行的基于所述初步补全的深度图、所述摄像机的参数矩阵与所述法向预测图，计算出第一平面原点距离图，并将所述第一平面原点距离图作为待扩散图的步骤时，具体用于基于所述初步补全的深度图、所述摄像机的参数矩阵与所述法向预测图，计算出第一平面原点距离图的步骤；基于所述深度图和所述二维图像确定第一置信度的步骤，基于所述深度图、参数矩阵与法向预测图，计算出第二平面原点距离图的步骤；以及根据所述第一置信度图中的像素、所述第二平面原点距离图中的像素以及所述第一平面原点距离图中的像素，对所述第一平面原点距离图中的像素进行优化，得到优化后的第一平面原点距离图，将优化后的第一平面原点距离图作为待扩散图的步骤。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法是实施例的描述，为了简洁，这里不再赘述。
在本公开的一些实施例中，图17为本公开实施例提出的一种深度图像补全装置的组成结构示意图，如图17所示，本公开提出的一种深度图像补全装置可以包括处理器01、存储有处理器01可执行指令的存储器02。其中，处理器01用于执行存储器中存储的可执行深度图像补全指令，以实现本公开实施例提供的一种深度图像补全方法。
在本公开的实施例中，上述处理器01可以为特定用途集成电路(ApplicationSpecific Integrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital Signal Processing Device，DSPD)、可编程逻辑装置(ProgRAMmable Logic Device，PLD)、现场可编程门阵列(Field ProgRAMmable GateArray，FPGA)、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本公开实施例不作具体限定。该终端还包括存储器02，该存储器02可以与处理器01连接，其中，存储器02可能包含高速RAM存储器，也可能还包括非易失性存储器，例如，至少两个磁盘存储器。
在实际应用中，上述存储器02可以是易失性存储器(volatile memory)，例如随机存取存储器(Random-Access Memory，RAM)；或者非易失性存储器(non-volatile memory)，例如只读存储器(Read-Only Memory，ROM)，快闪存储器(flash memory)，硬盘(Hard DiskDrive，HDD)或固态硬盘(Solid-State Drive，SSD)；或者上述种类的存储器的组合，并向处理器01提供指令和数据。
另外，在本实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
可以理解的是，本公开实施例中的深度图像补全装置可以是具有计算功能的设备，例如台式计算机、笔记本电脑、微型计算机、车载电脑等，具体的装置实施形式可以根据实际需求来确定，本公开实施例在此不作限制。
本公开实施例提供一种计算机可读存储介质，其上存储有可执行深度图像补全指令，应用于终端中，该程序被处理器执行时实现本公开实施例提供的一种深度图像补全方法。
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的实现流程示意图和/或方框图来描述的。应理解可由计算机程序指令实现流程示意图和/或方框图中的每一流程和/或方框、以及实现流程示意图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本公开的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
以上所述，仅为本公开的较佳实施例而已，并非用于限定本公开的保护范围。

Claims (10)

1.一种深度图像补全方法，其特征在于，所述方法包括：
通过设置的雷达采集目标场景的深度图，以及通过设置的摄像机采集所述目标场景的二维图像；
根据采集到的深度图和所述二维图像，确定待扩散图以及特征图；
基于所述待扩散图和所述特征图，确定所述待扩散图中的各个像素的扩散强度；所述扩散强度表征所述待扩散图中的各个像素的像素值向相邻像素扩散的强度；
基于所述待扩散图中的各个像素的像素值以及所述待扩散图中的各个像素的扩散强度，确定补全后的深度图。
2.根据权利要求1所述的方法，其特征在于，基于所述待扩散图中的各个像素的像素值以及所述待扩散图中的各个像素的扩散强度，确定补全后的深度图，包括：
基于所述待扩散图中的各个像素的像素值以及所述待扩散图中的各个像素的扩散强度，确定所述待扩散图中的各个像素的扩散后的像素值；
根据所述待扩散图中的各个像素的扩散后的像素值确定补全后的深度图。
3.根据权利要求2所述的方法，其特征在于，所述待扩散图为第一平面原点距离图；所述根据所述深度图和所述二维图像，确定待扩散图以及特征图，包括：
获取所述摄像机的参数矩阵；
根据所述采集到的深度图和所述二维图像确定所述初步补全的深度图、所述特征图和法向预测图；所述法向预测图是指将三维场景各点的法向量作为像素值的图像；
根据所述初步补全的深度图、所述摄像机的参数矩阵与所述法向预测图，计算出第一平面原点距离图；所述第一平面原点距离图是利用所述初步补全的深度图计算出的所述摄像机至所述三维场景各点所在平面的距离作为像素值的图像。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
根据所述采集到的深度图和所述二维图像确定第一置信度图；其中，所述第一置信度图是指采用所述采集到的深度图中各个像素对应的置信度作为像素值的图像；
根据所述采集到的深度图、所述参数矩阵与所述法向预测图，计算出第二平面原点距离图；所述第二平面原点距离图是利用所述采集到的深度图计算出的所述摄像机至所述三维场景各点所在平面的距离作为像素值的图像；
根据所述第一置信度图中的像素、所述第二平面原点距离图中的像素以及所述第一平面原点距离图中的像素，对所述第一平面原点距离图中的像素进行优化，得到优化后的第一平面原点距离图。
5.根据权利要求4所述的方法，其特征在于，所述根据所述第一置信度图中的像素、所述第二平面原点距离图中的像素以及所述第一平面原点距离图中的像素，对所述第一平面原点距离图中的像素进优化，得到优化后的第一平面原点距离图，包括：
从所述第二平面原点距离图中，确定出与所述第一平面原点距离图的第一像素点所对应的像素点，作为替换像素点，并确定所述替换像素点的像素值；所述第一像素点为所述第一平面原点距离图中的任一像素点；
从所述第一置信度图中，确定出所述替换像素点所对应的置信度信息；
根据所述替换像素点的像素值、所述置信度信息以及所述第一平面原点距离图的第一像素点的像素值，确定所述第一平面原点距离图的所述第一像素点的优化后的像素值；
重复上述步骤，直至确定所述第一平面原点距离图中每个像素的优化后的像素值，得到所述优化后的第一平面原点距离图。
6.根据权利要求2-5任一所述的方法，其特征在于，所述基于所述待扩散图和所述特征图，确定所述待扩散图中的各个像素的扩散强度，包括：
根据预设扩散范围，从所述待扩散图中确定出所述待扩散图的第二像素点对应的待扩散像素集合，并确定出所述待扩散像素集合中每个像素的像素值；所述第二像素点为所述待扩散图中的任一像素点；
利用所述特征图、所述待扩散图的第二像素点以及所述待扩散像素集合中的每个像素，计算出所述待扩散图的第二像素点对应的扩散强度；
基于所述待扩散图中的各个像素的像素值以及所述待扩散图中的各个像素的扩散强度，确定所述待扩散图中的各个像素的扩散后的像素值，包括：
根据所述待扩散图的第二像素点的扩散强度、所述待扩散图的第二像素点的像素值以及所述待扩散像素集合中每个像素的像素值，确定所述待扩散图的第二像素点的扩散后的像素值；
重复上述步骤，直至确定所述待扩散图中每个像素扩散后的像素值；
所述利用所述特征图、所述待扩散图的第二像素点以及所述待扩散像素集合中的每个像素，计算出所述待扩散图的第二像素点对应的扩散强度，包括：
利用待扩散图的第二像素点，以及所述待扩散像素集合中每个像素，计算所述待扩散图的第二像素点对应的强度归一化参数；
将所述特征图中，与所述待扩散图的第二像素点对应的像素，作为第一特征像素；
将所述特征图中，与所述待扩散像素集合中第三像素点对应的像素，作为第二特征像素；所述第三像素点为待扩散像素集合中的任一像素点；
提取所述第一特征像素的特征信息，以及所述第二特征像素的特征信息；
利用所述第一特征像素的特征信息、所述第二特征像素的特征信息、所述强度归一化参数以及预设扩散控制参数，计算出由所述待扩散图的第二像素点和所述待扩散像素集合中的第三像素点所组成的扩散像素对的子扩散强度；
重复上述步骤，直至确定所述待扩散图的第二像素点，与所述待扩散像素集合中的每个像素所组成的扩散像素对的子扩散强度；
将所述待扩散图的第二像素点，与所述待扩散像素集合中的每个像素所组成的扩散像素对的子扩散强度，作为所述待扩散图的第二像素点所对应的扩散强度。
7.根据权利要求6所述的方法，其特征在于，所述根据所述待扩散图的第二像素点的扩散强度、所述待扩散图的第二像素点的像素值以及所述待扩散像素集合中每个像素的像素值，确定所述待扩散图的第二像素点的扩散后的像素值，包括：
将所述扩散强度中的每个子扩散强度，分别与所述待扩散图的第二像素点的像素值相乘，并将所得到的乘积结果进行累加，得到所述待扩散图的第二像素点的第一扩散部分；
将所述扩散强度中的每个子扩散强度，分别与待扩散像素集合中每个像素的像素值对应相乘，并将所得到的乘积累加，得到所述待扩散图的第二像素点的第二扩散部分；
根据所述待扩散图的第二像素点的像素值、所述待扩散图的第二像素点的第一扩散部分，以及所述待扩散图的第二像素点的第二扩散部分，计算出所述待扩散图的第二像素点的扩散后的像素值。
8.一种深度图像补全装置，其特征在于，所述装置包括：
采集模块，用于通过设置的雷达采集目标场景的深度图，以及通过设置的摄像机采集所述目标场景的二维图像；
处理模块，用于根据采集到的深度图和所述二维图像，确定待扩散图以及特征图；基于所述待扩散图和所述特征图，确定所述待扩散图中的各个像素的扩散强度；所述扩散强度表征所述待扩散图中的各个像素的像素值向相邻像素扩散的强度；
扩散模块，用于基于所述待扩散图中的各个像素的像素值以及所述待扩散图中的各个像素的扩散强度，确定补全后的深度图。
9.一种深度图像补全装置，其特征在于，所述装置包括：存储器及处理器；
所述存储器，用于存储可执行深度图像补全指令；
所述处理器，用于执行所述存储器中存储的可执行深度图像补全指令，实现权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，存储有可执行深度图像补全指令，用于引起处理器执行时，实现权利要求1-7任一项所述的方法。
CN201910817815.1A 2019-08-30 2019-08-30 一种深度图像补全方法及装置、计算机可读存储介质 Active CN112446909B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201910817815.1A CN112446909B (zh) 2019-08-30 2019-08-30 一种深度图像补全方法及装置、计算机可读存储介质
JP2020568542A JP7143449B2 (ja) 2019-08-30 2019-12-26 デプス画像補完方法及び装置、コンピュータ可読記憶媒体
PCT/CN2019/128828 WO2021036135A1 (zh) 2019-08-30 2019-12-26 一种深度图像补全方法及装置、计算机可读存储介质
SG11202012443SA SG11202012443SA (en) 2019-08-30 2019-12-26 Method and device for depth image completion and computer-readable storage medium
KR1020207036589A KR20210027269A (ko) 2019-08-30 2019-12-26 깊이 이미지 보완 방법 및 장치, 컴퓨터 판독 가능한 저장 매체
US17/107,065 US20210082135A1 (en) 2019-08-30 2020-11-30 Method and device for depth image completion and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910817815.1A CN112446909B (zh) 2019-08-30 2019-08-30 一种深度图像补全方法及装置、计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112446909A true CN112446909A (zh) 2021-03-05
CN112446909B CN112446909B (zh) 2022-02-01

Family

ID=74684872

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910817815.1A Active CN112446909B (zh) 2019-08-30 2019-08-30 一种深度图像补全方法及装置、计算机可读存储介质

Country Status (6)

Country Link
US (1) US20210082135A1 (zh)
JP (1) JP7143449B2 (zh)
KR (1) KR20210027269A (zh)
CN (1) CN112446909B (zh)
SG (1) SG11202012443SA (zh)
WO (1) WO2021036135A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12008740B2 (en) * 2020-08-12 2024-06-11 Niantic, Inc. Feature matching using features extracted from perspective corrected image
CN113012210B (zh) * 2021-03-25 2022-09-27 北京百度网讯科技有限公司 深度图的生成方法、装置、电子设备和存储介质
CN114255271A (zh) * 2021-04-16 2022-03-29 威盛电子股份有限公司 电子装置以及物件侦测方法
US12061253B2 (en) * 2021-06-03 2024-08-13 Ford Global Technologies, Llc Depth map generation
CN113625271B (zh) * 2021-07-29 2023-10-27 中汽创智科技有限公司 基于毫米波雷达和双目相机的同时定位与建图方法
KR102641108B1 (ko) * 2021-08-03 2024-02-27 연세대학교 산학협력단 깊이맵 완성 장치 및 방법
GB2609983A (en) * 2021-08-20 2023-02-22 Garford Farm Machinery Ltd Image processing
JPWO2023106119A1 (zh) * 2021-12-09 2023-06-15
CN114897955B (zh) * 2022-04-25 2023-04-18 电子科技大学 一种基于可微几何传播的深度补全方法
WO2024076027A1 (ko) * 2022-10-07 2024-04-11 삼성전자 주식회사 포인트 클라우드를 생성하는 방법 및 전자 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103198486A (zh) * 2013-04-10 2013-07-10 浙江大学 一种基于各向异性扩散的深度图像增强方法
AU2013206597A1 (en) * 2013-06-28 2015-01-22 Canon Kabushiki Kaisha Depth constrained superpixel-based depth map refinement
US9454821B2 (en) * 2014-02-13 2016-09-27 Yanhui Zhou One method of depth perception based on binary laser speckle images
CN108062769A (zh) * 2017-12-22 2018-05-22 中山大学 一种用于三维重建的快速深度恢复方法
CN108932734A (zh) * 2018-05-23 2018-12-04 浙江商汤科技开发有限公司 单目图像的深度恢复方法及装置、计算机设备
CN109685732A (zh) * 2018-12-18 2019-04-26 重庆邮电大学 一种基于边界捕捉的深度图像高精度修复方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5363213A (en) * 1992-06-08 1994-11-08 Xerox Corporation Unquantized resolution conversion of bitmap images using error diffusion
JP6855587B2 (ja) * 2016-10-18 2021-04-07 フォトニック センサーズ アンド アルゴリズムス，エセ．エレ． 視点から距離情報を取得するための装置及び方法
CN106780593B (zh) * 2016-11-28 2019-07-26 深圳奥比中光科技有限公司 一种彩色深度图像的获取方法、获取设备
JP2019016275A (ja) * 2017-07-10 2019-01-31 キヤノン株式会社 画像処理方法、画像処理プログラム、記憶媒体、画像処理装置、および撮像装置
CN110998659B (zh) * 2017-08-14 2023-12-05 乐天集团股份有限公司 图像处理系统、图像处理方法、及程序
JP7156624B2 (ja) * 2017-11-10 2022-10-19 凸版印刷株式会社 デプスマップフィルタ処理装置、デプスマップフィルタ処理方法及びプログラム
CN109325972B (zh) * 2018-07-25 2020-10-27 深圳市商汤科技有限公司 激光雷达稀疏深度图的处理方法、装置、设备及介质
CN110047144A (zh) * 2019-04-01 2019-07-23 西安电子科技大学 一种基于Kinectv2的完整物体实时三维重建方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103198486A (zh) * 2013-04-10 2013-07-10 浙江大学 一种基于各向异性扩散的深度图像增强方法
AU2013206597A1 (en) * 2013-06-28 2015-01-22 Canon Kabushiki Kaisha Depth constrained superpixel-based depth map refinement
US9454821B2 (en) * 2014-02-13 2016-09-27 Yanhui Zhou One method of depth perception based on binary laser speckle images
CN108062769A (zh) * 2017-12-22 2018-05-22 中山大学 一种用于三维重建的快速深度恢复方法
CN108932734A (zh) * 2018-05-23 2018-12-04 浙江商汤科技开发有限公司 单目图像的深度恢复方法及装置、计算机设备
CN109685732A (zh) * 2018-12-18 2019-04-26 重庆邮电大学 一种基于边界捕捉的深度图像高精度修复方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
STEPHEN LIN 等: "Diffuse-Specular Separation and Depth Recovery from Image Sequences", 《ECCV 2002》 *
XIANGFENG ZENG 等: "A new approach for dense depth image recovery", 《2015 7TH INTERNATIONAL CONFERENCE ON INTELLIGENT HUMAN-MACHINE SYSTEMS AND CYBERNETICS》 *
张敏等: "基于视差图像序列的深度估计算法研究", 《测试技术学报》 *
王伟 等: "基于匹配扩散的多视稠密深度图估计", 《自动化学报》 *

Also Published As

Publication number Publication date
JP2022501681A (ja) 2022-01-06
WO2021036135A1 (zh) 2021-03-04
JP7143449B2 (ja) 2022-09-28
KR20210027269A (ko) 2021-03-10
US20210082135A1 (en) 2021-03-18
CN112446909B (zh) 2022-02-01
SG11202012443SA (en) 2021-04-29

Similar Documents

Publication Publication Date Title
CN112446909B (zh) 一种深度图像补全方法及装置、计算机可读存储介质
CN108198145B (zh) 用于点云数据修复的方法和装置
CN111028327B (zh) 一种三维点云的处理方法、装置及设备
CN110632608B (zh) 一种基于激光点云的目标检测方法和装置
CN112966696A (zh) 一种处理三维点云的方法、装置、设备以及存储介质
CN110033481A (zh) 用于进行图像处理的方法和设备
CN111862222B (zh) 一种目标检测方法及电子设备
CN112488104A (zh) 深度及置信度估计系统
JP2017062790A (ja) 対象分割方法、対象分割装置及び対象分割プログラム
US11727591B2 (en) Method and apparatus with image depth estimation
WO2022126522A1 (zh) 物体识别方法、装置、可移动平台以及存储介质
CN112967388A (zh) 三维时序图像神经网络模型的训练方法和装置
CN116194933A (zh) 处理系统、处理方法以及处理程序
CN116402876A (zh) 双目深度估计方法、装置、嵌入式设备和可读存储介质
CN114998610A (zh) 一种目标检测方法、装置、设备及存储介质
CN110807428A (zh) 煤类样品的识别方法、装置、服务器及存储介质
CN113281779A (zh) 一种3d物体快速检测方法、装置、设备及介质
CN117593431A (zh) 用于表示渲染场景的方法和设备
CN115082891A (zh) 目标检测方法、计算机设备、计算机可读存储介质及车辆
CN112598722B (zh) 一种基于可变形卷积网络的图像立体匹配方法以及系统
US20230102186A1 (en) Apparatus and method for estimating distance and non-transitory computer-readable medium containing computer program for estimating distance
CN116958954B (zh) 基于关键点与旁路矫正的车牌识别方法、装置及存储介质
US12020409B2 (en) Blur correction system
US20240095945A1 (en) Method for Uncertainty Estimation in Object Detection Models
WO2023095564A1 (ja) 情報処理装置及び情報処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant