CN113269152B - 一种非等间距离散深度补全的方法 - Google Patents

一种非等间距离散深度补全的方法 Download PDF

Info

Publication number
CN113269152B
CN113269152B CN202110712259.9A CN202110712259A CN113269152B CN 113269152 B CN113269152 B CN 113269152B CN 202110712259 A CN202110712259 A CN 202110712259A CN 113269152 B CN113269152 B CN 113269152B
Authority
CN
China
Prior art keywords
depth
network
completion
value
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202110712259.9A
Other languages
English (en)
Other versions
CN113269152A (zh
Inventor
张磊
张�成
戴维
徐童
王敬宇
张龙
戚琦
张乐剑
王晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202110712259.9A priority Critical patent/CN113269152B/zh
Publication of CN113269152A publication Critical patent/CN113269152A/zh
Application granted granted Critical
Publication of CN113269152B publication Critical patent/CN113269152B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Processing (AREA)

Abstract

一种非等间距离散深度补全的方法，包括下列操作步骤：(1)将深度区间按照非等间距的方式离散为k个分割区间；(2)将一幅单通道的雷达深度图离散为k个通道的深度概率图；(3)基于残差网络构建并训练第一深度补全网络，使用单通道雷达深度图和RGB格式可见光图像作为第一深度补全网络的输入；完成深度补全后的单通道的深度图作为输出；(4)基于残差网络构建并训练第二深度补全网络，使用k个通道的深度概率图和RGB格式可见光图像作为第二深度补全网络的输入；完成深度补全后的k个通道的深度图作为输出。

Description

一种非等间距离散深度补全的方法
技术领域
本发明涉及一种非等间距离散深度补全的方法，属于信息技术领域，特别是属于视觉和雷达技术的汽车无人驾驶技术领域。
背景技术
近年来深度学习得到了快速的发展，在相当多的应用领域得到了丰富的应用，并在许多任务中达到了传统算法无法达到的效果，这其中尤属视觉领域的应用最为瞩目。随着无人驾驶技术的发展，深度补全这一任务成为无法绕开的技术难题，因为只有当能够准确判断周围环境中物体距离车身的距离后，自动驾驶的算法才有应用的意义，否则建立在不可靠距离信息上的各种后续算法只能是空中楼阁。单纯利用RGB图像信息进行深度补全的方法产生的结果往往不够准确，而雷达获取的深度信息虽然准确，但是深度点云过于稀疏，所以单纯依靠激光雷达信息进行深度补全，在细窄物体和物体的边缘上表现不能令人满意。基于上述考虑，近年来利用多模态信息进行视觉深度补全的方法受到越来越大的关注，产生了许多补全深度精度更高，计算更快的技术方案。
但是，这些技术方案鲜有关注深度补全中的边缘优化这一重要子问题的，这些方法补全的深度图中物体边缘部分往往与实际的边缘深度相比有一些模糊。由于物体边缘像素点占全图所有像素点的比例较小，所以对于深度补全任务的评价指标影响不大，但物体边缘的精确补全对于自动驾驶中后续的计算任务具有重要意义。
如何实现物体边缘深度的精确补全，成为目前汽车无人驾驶技术领域一个急需解决的技术难题。
发明内容
有鉴于此，本发明的目的是发明一种方法，基于RGB图像和雷达图像，实现物体边缘深度的精确补全。为了达到上述目的，本发明提出了一种非等间距离散深度补全的方法，所述方法包括下列操作步骤：
(1)将深度区间按照非等间距的方式离散为k个分割区间，按照下式计算各个分割区间的中心点的深度值：
Figure BDA0003134201720000011
上式中，Di表示第i个分割区间的中心点的深度值，α表示所述深度区间的最近深度值，β表示所述深度区间的最远深度值；
(2)将一幅单通道的雷达深度图离散为k个通道的深度概率图，具体方法是：根据所述的单通道的雷达深度图里的每一个像素点的深度值，生成一个归一化的k维深度概率向量；所述的k维深度概率向量中的第i个分量，表示该像素点的深度值为Di的概率；所述的单通道的雷达深度图里的所有像素点的k维深度概率向量汇合形成k个通道的深度概率图；
(3)基于残差网络构建并训练第一深度补全网络，所述的第一深度补全网络由输入层、中间层和输出层构成；使用所述的单通道雷达深度图和RGB格式可见光图像作为所述的第一深度补全网络的输入；完成深度补全后的单通道的深度图作为所述的第一深度补全网络的输出；使用均方根误差RMSE作为所述的第一深度补全网络的损失函数；把所述的第一深度补全网络训练至网络收敛；
(4)基于残差网络构建并训练第二深度补全网络，所述的第二深度补全网络由输入层、中间层和输出层构成；所述的第二深度补全网络的中间层与所述的第一深度补全网络的中间层完全一样；在训练开始前，所述的第二深度补全网络的中间层保留所述的第一深度补全网络的中间层训练收敛后的网络参数；使用所述的k个通道的深度概率图和RGB格式可见光图像作为所述的第二深度补全网络的输入；完成深度补全后的k个通道的深度图作为所述的第二深度补全网络的输出；使用交叉熵cross_entropy作为所述的第二深度补全网络的损失函数；把所述的第二深度补全网络训练至网络收敛。
步骤(2)中根据所述的单通道的雷达深度图里的每一个像素点的深度值，生成一个归一化的k维深度概率向量的具体内容是包括如下操作子步骤：
(21)根据该像素点的深度值确定所属的分割区间i；
(22)按照下式计算所述的归一化的k维深度概率向量的第j个分量的值：
Figure BDA0003134201720000021
上式中，Di表示第i个分割区间的中心点的深度值；Dj表示第j个分割区间的中心点的深度值；当i取值在2到k-1时，
Figure BDA0003134201720000022
当i＝1时，σi＝3×Di+1，当i＝k时，σi＝3×Dk-1；ci表示归一化常数，按照下式进行计算：
Figure BDA0003134201720000031
本发明的有益效果在于不仅可以使边缘部分的深度补全结果更加准确，而且可以改善其他技术方案中出现的锯齿边缘问题；本发明采用第一深度补全网络和第二深度补全网络的方式完成网络的训练，显著提高了训练速度。
附图说明
图1是本发明提出的一种非等间距离散深度补全的方法的流程图。
图2是本发明的实施例中第一深度补全网络的结构示意图。
图3是本发明的实施例中第二深度补全网络的结构示意图。
图4是本发明的实施例中生成一个归一化的k维深度概率向量的计算示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。
参见图1，介绍本发明提出的一种非等间距离散深度补全的方法，所述方法包括下列操作步骤：
(1)将深度区间按照非等间距的方式离散为k个分割区间，按照下式计算各个分割区间的中心点的深度值：
Figure BDA0003134201720000032
上式中，Di表示第i个分割区间的中心点的深度值，α表示所述深度区间的最近深度值，β表示所述深度区间的最远深度值；在本实施例中根据数据集的深度分布统计结果，α(最近)取1m，β取(最远)80m，k＝80。
(2)将一幅单通道的雷达深度图离散为k(k＝80)个通道的深度概率图，具体方法是：根据所述的单通道的雷达深度图里的每一个像素点的深度值，生成一个归一化的k维深度概率向量；所述的k维深度概率向量中的第i个分量，表示该像素点的深度值为Di的概率；所述的单通道的雷达深度图里的所有像素点的k(k＝80)维深度概率向量汇合形成k(k＝80)个通道的深度概率图；
(3)基于残差网络构建并训练第一深度补全网络，参见图2，所述的第一深度补全网络由输入层、中间层和输出层构成；图2中conv代表卷积，Res.Block代表残差网络，Upsamp代表上采样操作，DC代表离散化后的多通道深度图，圆圈代表concat操作，虚线代表复制，箭头代表数据流动的方向，SparseDepth代表雷达图像，RGB代表RGB图像，DenseDepth代表输出的完成深度补全后的图像。
使用所述的单通道雷达深度图和RGB格式可见光图像作为所述的第一深度补全网络的输入；完成深度补全后的单通道的深度图作为所述的第一深度补全网络的输出；使用均方根误差RMSE作为所述的第一深度补全网络的损失函数；把所述的第一深度补全网络训练至网络收敛；
(4)基于残差网络构建并训练第二深度补全网络，参见图3，所述的第二深度补全网络由输入层、中间层和输出层构成；所述的第二深度补全网络的中间层与所述的第一深度补全网络的中间层完全一样；在训练开始前，所述的第二深度补全网络的中间层保留所述的第一深度补全网络的中间层训练收敛后的网络参数；
图3中conv代表卷积，Res.Block代表残差网络，Upsamp代表上采样操作，DC代表k(k＝80)个通道的深度概率图，F代表该层输出的通道数，圆圈代表concat操作，虚线代表复制，箭头代表数据流动的方向，SparseDepth代表雷达图像，RGB代表RGB图像，DenseDepth代表输出的完成深度补全后的图像。
使用所述的k(k＝80)个通道的深度概率图和RGB格式可见光图像作为所述的第二深度补全网络的输入；完成深度补全后的k(k＝80)个通道的深度图作为所述的第二深度补全网络的输出；使用交叉熵cross_entropy作为所述的第二深度补全网络的损失函数；把所述的第二深度补全网络训练至网络收敛。
步骤(2)中根据所述的单通道的雷达深度图里的每一个像素点的深度值，生成一个归一化的k维深度概率向量的具体内容是包括如下操作子步骤：
(23)根据该像素点的深度值确定所属的分割区间i；
(24)按照下式计算所述的归一化的k维深度概率向量的第j个分量的值：
Figure BDA0003134201720000041
上式中，Di表示第i个分割区间的中心点的深度值；Dj表示第j个分割区间的中心点的深度值；当i取值在2到k-1时，
Figure BDA0003134201720000051
当i＝1时，σi＝3×Di+1，当i＝k时，σi＝3×Dk-1；ci表示归一化常数，按照下式进行计算：
Figure BDA0003134201720000052
举例如下：一个雷达深度图里的一个像素点的深度值为γ＝1.118m，落在了如图4所示的区间中，根据公式
Figure BDA0003134201720000053
得到该区间中心点的值为1.11656043m，以此作为均值；由公式
Figure BDA0003134201720000054
得到这个区间对应的标准差为0.18592755，高斯分布如图4所示。由公式
Figure BDA0003134201720000055
计算出80个区间的中心点为：
Figure BDA0003134201720000056
然后从每个区间的中心点处对该高斯分布取值，得到一个长度为k(取80)的向量
Figure BDA0003134201720000057
Figure BDA0003134201720000061
然后进行归一化处理，利用归一化常数
Figure BDA0003134201720000062
最终得到：
Figure BDA0003134201720000063
对一张单通道的雷达深度图上的所有像素点都做如上操作，之后就可以得到k个通道的离散化后的深度图。
发明人对本发明的方法进行了大量实验，获得了良好的实验结果，这表明本发明的方法是有效可行的。

Claims (2)

1.一种非等间距离散深度补全的方法，其特征在于：所述方法包括下列操作步骤：
(1)将深度区间按照非等间距的方式离散为k个分割区间，按照下式计算各个分割区间的中心点的深度值：
Figure FDA0003134201710000011
上式中，Di表示第i个分割区间的中心点的深度值，α表示所述深度区间的最近深度值，β表示所述深度区间的最远深度值；
(2)将一幅单通道的雷达深度图离散为k个通道的深度概率图，具体方法是：根据所述的单通道的雷达深度图里的每一个像素点的深度值，生成一个归一化的k维深度概率向量；所述的k维深度概率向量中的第i个分量，表示该像素点的深度值为Di的概率；所述的单通道的雷达深度图里的所有像素点的k维深度概率向量汇合形成k个通道的深度概率图；
(3)基于残差网络构建并训练第一深度补全网络，所述的第一深度补全网络由输入层、中间层和输出层构成；使用所述的单通道雷达深度图和RGB格式可见光图像作为所述的第一深度补全网络的输入；完成深度补全后的单通道的深度图作为所述的第一深度补全网络的输出；使用均方根误差RMSE作为所述的第一深度补全网络的损失函数；把所述的第一深度补全网络训练至网络收敛；
(4)基于残差网络构建并训练第二深度补全网络，所述的第二深度补全网络由输入层、中间层和输出层构成；所述的第二深度补全网络的中间层与所述的第一深度补全网络的中间层完全一样；在训练开始前，所述的第二深度补全网络的中间层保留所述的第一深度补全网络的中间层训练收敛后的网络参数；使用所述的k个通道的深度概率图和RGB格式可见光图像作为所述的第二深度补全网络的输入；完成深度补全后的k个通道的深度图作为所述的第二深度补全网络的输出；使用交叉熵cross_entropy作为所述的第二深度补全网络的损失函数；把所述的第二深度补全网络训练至网络收敛。
2.根据权利要求1所述的一种非等间距离散深度补全的方法，其特征在于：步骤(2)中根据所述的单通道的雷达深度图里的每一个像素点的深度值，生成一个归一化的k维深度概率向量的具体内容是包括如下操作子步骤：
(21)根据该像素点的深度值确定所属的分割区间i；
(22)按照下式计算所述的归一化的k维深度概率向量的第j个分量的值：
Figure FDA0003134201710000012
上式中，Di表示第i个分割区间的中心点的深度值；Dj表示第j个分割区间的中心点的深度值；当i取值在2到k-1时，
Figure FDA0003134201710000021
当i＝1时，σi＝3×Di+1，当i＝k时，σi＝3×Dk-1；ci表示归一化常数，按照下式进行计算：
Figure FDA0003134201710000022
CN202110712259.9A 2021-06-25 2021-06-25 一种非等间距离散深度补全的方法 Expired - Fee Related CN113269152B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110712259.9A CN113269152B (zh) 2021-06-25 2021-06-25 一种非等间距离散深度补全的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110712259.9A CN113269152B (zh) 2021-06-25 2021-06-25 一种非等间距离散深度补全的方法

Publications (2)

Publication Number Publication Date
CN113269152A CN113269152A (zh) 2021-08-17
CN113269152B true CN113269152B (zh) 2022-07-01

Family

ID=77236103

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110712259.9A Expired - Fee Related CN113269152B (zh) 2021-06-25 2021-06-25 一种非等间距离散深度补全的方法

Country Status (1)

Country Link
CN (1) CN113269152B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180231871A1 (en) * 2016-06-27 2018-08-16 Zhejiang Gongshang University Depth estimation method for monocular image based on multi-scale CNN and continuous CRF
CN110047144A (zh) * 2019-04-01 2019-07-23 西安电子科技大学 一种基于Kinectv2的完整物体实时三维重建方法
CN111107337A (zh) * 2018-10-29 2020-05-05 曜科智能科技（上海）有限公司 深度信息补全方法及其装置、监控系统和存储介质
CN112967219A (zh) * 2021-03-17 2021-06-15 复旦大学附属华山医院 基于深度学习网络的二阶段牙体点云补全方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180231871A1 (en) * 2016-06-27 2018-08-16 Zhejiang Gongshang University Depth estimation method for monocular image based on multi-scale CNN and continuous CRF
CN111107337A (zh) * 2018-10-29 2020-05-05 曜科智能科技（上海）有限公司 深度信息补全方法及其装置、监控系统和存储介质
CN110047144A (zh) * 2019-04-01 2019-07-23 西安电子科技大学 一种基于Kinectv2的完整物体实时三维重建方法
CN112967219A (zh) * 2021-03-17 2021-06-15 复旦大学附属华山医院 基于深度学习网络的二阶段牙体点云补全方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的图像补全算法综述;唐浩丰 等;《计算机科学》;20201130;151-164 *

Also Published As

Publication number Publication date
CN113269152A (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
CN110084221B (zh) 一种基于深度学习的带中继监督的序列化人脸关键点检测方法
CN112233124B (zh) 基于对抗式学习与多模态学习的点云语义分割方法及系统
CN111028327B (zh) 一种三维点云的处理方法、装置及设备
CN107247989A (zh) 一种神经网络训练方法及装置
CN112016605B (zh) 一种基于边界框角点对齐和边界匹配的目标检测方法
CN105528589A (zh) 基于多列卷积神经网络的单张图像人群计数算法
US20240331165A1 (en) Cross-domain remote sensing image semantic segmentation method based on iterative intra-domain adaptation and self-training
CN113420643A (zh) 基于深度可分离空洞卷积的轻量级水下目标检测方法
CN111640116B (zh) 基于深层卷积残差网络的航拍图建筑物分割方法及装置
CN111738295A (zh) 图像的分割方法及存储介质
CN111931813A (zh) 一种基于cnn的宽度学习分类方法
CN114972753A (zh) 基于上下文信息聚合和辅助学习的轻量级语义分割方法及系统
CN109858349B (zh) 一种基于改进yolo模型的交通标志识别方法及其装置
CN114373073A (zh) 一种用于道路场景语义分割的方法及系统
CN109741358A (zh) 基于自适应超图学习的超像素分割方法
CN115527159B (zh) 一种基于跨模态间尺度注意聚合特征的计数系统及方法
CN116310328A (zh) 基于跨图像相似度关系的语义分割知识蒸馏方法及系统
CN113269152B (zh) 一种非等间距离散深度补全的方法
CN114627331A (zh) 模型训练方法和装置
CN114842447A (zh) 一种基于卷积神经网络的车位快速识别方法
CN114820668A (zh) 一种端到端的基于同心环卷积的建筑物规则轮廓自动提取方法
CN111798461B (zh) 粗粒度标签引导深度学习的像素级遥感影像云区检测方法
WO2022111231A1 (zh) Cnn训练方法、电子设备和计算机可读存储介质
CN117341727A (zh) 一种基于图注意力的端到端自动驾驶行为规划方法
CN116994061A (zh) 一种部分类别标注的联邦统一分割方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220701