CN113269152B - 一种非等间距离散深度补全的方法 - Google Patents

一种非等间距离散深度补全的方法 Download PDF

Info

Publication number
CN113269152B
CN113269152B CN202110712259.9A CN202110712259A CN113269152B CN 113269152 B CN113269152 B CN 113269152B CN 202110712259 A CN202110712259 A CN 202110712259A CN 113269152 B CN113269152 B CN 113269152B
Authority
CN
China
Prior art keywords
depth
network
completion
deep
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202110712259.9A
Other languages
English (en)
Other versions
CN113269152A (zh
Inventor
张磊
张�成
戴维
徐童
王敬宇
张龙
戚琦
张乐剑
王晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202110712259.9A priority Critical patent/CN113269152B/zh
Publication of CN113269152A publication Critical patent/CN113269152A/zh
Application granted granted Critical
Publication of CN113269152B publication Critical patent/CN113269152B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

一种非等间距离散深度补全的方法，包括下列操作步骤：(1)将深度区间按照非等间距的方式离散为k个分割区间；(2)将一幅单通道的雷达深度图离散为k个通道的深度概率图；(3)基于残差网络构建并训练第一深度补全网络，使用单通道雷达深度图和RGB格式可见光图像作为第一深度补全网络的输入；完成深度补全后的单通道的深度图作为输出；(4)基于残差网络构建并训练第二深度补全网络，使用k个通道的深度概率图和RGB格式可见光图像作为第二深度补全网络的输入；完成深度补全后的k个通道的深度图作为输出。

Description

一种非等间距离散深度补全的方法
技术领域
本发明涉及一种非等间距离散深度补全的方法，属于信息技术领域，特别是属于视觉和雷达技术的汽车无人驾驶技术领域。
背景技术
近年来深度学习得到了快速的发展，在相当多的应用领域得到了丰富的应用，并在许多任务中达到了传统算法无法达到的效果，这其中尤属视觉领域的应用最为瞩目。随着无人驾驶技术的发展，深度补全这一任务成为无法绕开的技术难题，因为只有当能够准确判断周围环境中物体距离车身的距离后，自动驾驶的算法才有应用的意义，否则建立在不可靠距离信息上的各种后续算法只能是空中楼阁。单纯利用RGB图像信息进行深度补全的方法产生的结果往往不够准确，而雷达获取的深度信息虽然准确，但是深度点云过于稀疏，所以单纯依靠激光雷达信息进行深度补全，在细窄物体和物体的边缘上表现不能令人满意。基于上述考虑，近年来利用多模态信息进行视觉深度补全的方法受到越来越大的关注，产生了许多补全深度精度更高，计算更快的技术方案。
但是，这些技术方案鲜有关注深度补全中的边缘优化这一重要子问题的，这些方法补全的深度图中物体边缘部分往往与实际的边缘深度相比有一些模糊。由于物体边缘像素点占全图所有像素点的比例较小，所以对于深度补全任务的评价指标影响不大，但物体边缘的精确补全对于自动驾驶中后续的计算任务具有重要意义。
如何实现物体边缘深度的精确补全，成为目前汽车无人驾驶技术领域一个急需解决的技术难题。
发明内容
有鉴于此，本发明的目的是发明一种方法，基于RGB图像和雷达图像，实现物体边缘深度的精确补全。为了达到上述目的，本发明提出了一种非等间距离散深度补全的方法，所述方法包括下列操作步骤：
(1)将深度区间按照非等间距的方式离散为k个分割区间，按照下式计算各个分割区间的中心点的深度值：
Figure BDA0003134201720000011
上式中，Di表示第i个分割区间的中心点的深度值，α表示所述深度区间的最近深度值，β表示所述深度区间的最远深度值；
(2)将一幅单通道的雷达深度图离散为k个通道的深度概率图，具体方法是：根据所述的单通道的雷达深度图里的每一个像素点的深度值，生成一个归一化的k维深度概率向量；所述的k维深度概率向量中的第i个分量，表示该像素点的深度值为Di的概率；所述的单通道的雷达深度图里的所有像素点的k维深度概率向量汇合形成k个通道的深度概率图；
(3)基于残差网络构建并训练第一深度补全网络，所述的第一深度补全网络由输入层、中间层和输出层构成；使用所述的单通道雷达深度图和RGB格式可见光图像作为所述的第一深度补全网络的输入；完成深度补全后的单通道的深度图作为所述的第一深度补全网络的输出；使用均方根误差RMSE作为所述的第一深度补全网络的损失函数；把所述的第一深度补全网络训练至网络收敛；
(4)基于残差网络构建并训练第二深度补全网络，所述的第二深度补全网络由输入层、中间层和输出层构成；所述的第二深度补全网络的中间层与所述的第一深度补全网络的中间层完全一样；在训练开始前，所述的第二深度补全网络的中间层保留所述的第一深度补全网络的中间层训练收敛后的网络参数；使用所述的k个通道的深度概率图和RGB格式可见光图像作为所述的第二深度补全网络的输入；完成深度补全后的k个通道的深度图作为所述的第二深度补全网络的输出；使用交叉熵cross_entropy作为所述的第二深度补全网络的损失函数；把所述的第二深度补全网络训练至网络收敛。
步骤(2)中根据所述的单通道的雷达深度图里的每一个像素点的深度值，生成一个归一化的k维深度概率向量的具体内容是包括如下操作子步骤：
(21)根据该像素点的深度值确定所属的分割区间i；
(22)按照下式计算所述的归一化的k维深度概率向量的第j个分量的值：
Figure BDA0003134201720000021
上式中，Di表示第i个分割区间的中心点的深度值；Dj表示第j个分割区间的中心点的深度值；当i取值在2到k-1时，
Figure BDA0003134201720000022
当i＝1时，σi＝3×Di+1，当i＝k时，σi＝3×Dk-1；ci表示归一化常数，按照下式进行计算：
Figure BDA0003134201720000031
本发明的有益效果在于不仅可以使边缘部分的深度补全结果更加准确，而且可以改善其他技术方案中出现的锯齿边缘问题；本发明采用第一深度补全网络和第二深度补全网络的方式完成网络的训练，显著提高了训练速度。
附图说明
图1是本发明提出的一种非等间距离散深度补全的方法的流程图。
图2是本发明的实施例中第一深度补全网络的结构示意图。
图3是本发明的实施例中第二深度补全网络的结构示意图。
图4是本发明的实施例中生成一个归一化的k维深度概率向量的计算示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。
参见图1，介绍本发明提出的一种非等间距离散深度补全的方法，所述方法包括下列操作步骤：
(1)将深度区间按照非等间距的方式离散为k个分割区间，按照下式计算各个分割区间的中心点的深度值：
Figure BDA0003134201720000032
上式中，Di表示第i个分割区间的中心点的深度值，α表示所述深度区间的最近深度值，β表示所述深度区间的最远深度值；在本实施例中根据数据集的深度分布统计结果，α(最近)取1m，β取(最远)80m，k＝80。
(2)将一幅单通道的雷达深度图离散为k(k＝80)个通道的深度概率图，具体方法是：根据所述的单通道的雷达深度图里的每一个像素点的深度值，生成一个归一化的k维深度概率向量；所述的k维深度概率向量中的第i个分量，表示该像素点的深度值为Di的概率；所述的单通道的雷达深度图里的所有像素点的k(k＝80)维深度概率向量汇合形成k(k＝80)个通道的深度概率图；
(3)基于残差网络构建并训练第一深度补全网络，参见图2，所述的第一深度补全网络由输入层、中间层和输出层构成；图2中conv代表卷积，Res.Block代表残差网络，Upsamp代表上采样操作，DC代表离散化后的多通道深度图，圆圈代表concat操作，虚线代表复制，箭头代表数据流动的方向，SparseDepth代表雷达图像，RGB代表RGB图像，DenseDepth代表输出的完成深度补全后的图像。
使用所述的单通道雷达深度图和RGB格式可见光图像作为所述的第一深度补全网络的输入；完成深度补全后的单通道的深度图作为所述的第一深度补全网络的输出；使用均方根误差RMSE作为所述的第一深度补全网络的损失函数；把所述的第一深度补全网络训练至网络收敛；
(4)基于残差网络构建并训练第二深度补全网络，参见图3，所述的第二深度补全网络由输入层、中间层和输出层构成；所述的第二深度补全网络的中间层与所述的第一深度补全网络的中间层完全一样；在训练开始前，所述的第二深度补全网络的中间层保留所述的第一深度补全网络的中间层训练收敛后的网络参数；
图3中conv代表卷积，Res.Block代表残差网络，Upsamp代表上采样操作，DC代表k(k＝80)个通道的深度概率图，F代表该层输出的通道数，圆圈代表concat操作，虚线代表复制，箭头代表数据流动的方向，SparseDepth代表雷达图像，RGB代表RGB图像，DenseDepth代表输出的完成深度补全后的图像。
使用所述的k(k＝80)个通道的深度概率图和RGB格式可见光图像作为所述的第二深度补全网络的输入；完成深度补全后的k(k＝80)个通道的深度图作为所述的第二深度补全网络的输出；使用交叉熵cross_entropy作为所述的第二深度补全网络的损失函数；把所述的第二深度补全网络训练至网络收敛。
步骤(2)中根据所述的单通道的雷达深度图里的每一个像素点的深度值，生成一个归一化的k维深度概率向量的具体内容是包括如下操作子步骤：
(23)根据该像素点的深度值确定所属的分割区间i；
(24)按照下式计算所述的归一化的k维深度概率向量的第j个分量的值：
Figure BDA0003134201720000041
上式中，Di表示第i个分割区间的中心点的深度值；Dj表示第j个分割区间的中心点的深度值；当i取值在2到k-1时，
Figure BDA0003134201720000051
当i＝1时，σi＝3×Di+1，当i＝k时，σi＝3×Dk-1；ci表示归一化常数，按照下式进行计算：
Figure BDA0003134201720000052
举例如下：一个雷达深度图里的一个像素点的深度值为γ＝1.118m，落在了如图4所示的区间中，根据公式
Figure BDA0003134201720000053
得到该区间中心点的值为1.11656043m，以此作为均值；由公式
Figure BDA0003134201720000054
得到这个区间对应的标准差为0.18592755，高斯分布如图4所示。由公式
Figure BDA0003134201720000055
计算出80个区间的中心点为：
Figure BDA0003134201720000056
然后从每个区间的中心点处对该高斯分布取值，得到一个长度为k(取80)的向量
Figure BDA0003134201720000057
Figure BDA0003134201720000061
然后进行归一化处理，利用归一化常数
Figure BDA0003134201720000062
最终得到：
Figure BDA0003134201720000063
对一张单通道的雷达深度图上的所有像素点都做如上操作，之后就可以得到k个通道的离散化后的深度图。
发明人对本发明的方法进行了大量实验，获得了良好的实验结果，这表明本发明的方法是有效可行的。

Claims (2)

1.一种非等间距离散深度补全的方法，其特征在于：所述方法包括下列操作步骤：
(1)将深度区间按照非等间距的方式离散为k个分割区间，按照下式计算各个分割区间的中心点的深度值：
Figure FDA0003134201710000011
上式中，Di表示第i个分割区间的中心点的深度值，α表示所述深度区间的最近深度值，β表示所述深度区间的最远深度值；
(2)将一幅单通道的雷达深度图离散为k个通道的深度概率图，具体方法是：根据所述的单通道的雷达深度图里的每一个像素点的深度值，生成一个归一化的k维深度概率向量；所述的k维深度概率向量中的第i个分量，表示该像素点的深度值为Di的概率；所述的单通道的雷达深度图里的所有像素点的k维深度概率向量汇合形成k个通道的深度概率图；
(3)基于残差网络构建并训练第一深度补全网络，所述的第一深度补全网络由输入层、中间层和输出层构成；使用所述的单通道雷达深度图和RGB格式可见光图像作为所述的第一深度补全网络的输入；完成深度补全后的单通道的深度图作为所述的第一深度补全网络的输出；使用均方根误差RMSE作为所述的第一深度补全网络的损失函数；把所述的第一深度补全网络训练至网络收敛；
(4)基于残差网络构建并训练第二深度补全网络，所述的第二深度补全网络由输入层、中间层和输出层构成；所述的第二深度补全网络的中间层与所述的第一深度补全网络的中间层完全一样；在训练开始前，所述的第二深度补全网络的中间层保留所述的第一深度补全网络的中间层训练收敛后的网络参数；使用所述的k个通道的深度概率图和RGB格式可见光图像作为所述的第二深度补全网络的输入；完成深度补全后的k个通道的深度图作为所述的第二深度补全网络的输出；使用交叉熵cross_entropy作为所述的第二深度补全网络的损失函数；把所述的第二深度补全网络训练至网络收敛。
2.根据权利要求1所述的一种非等间距离散深度补全的方法，其特征在于：步骤(2)中根据所述的单通道的雷达深度图里的每一个像素点的深度值，生成一个归一化的k维深度概率向量的具体内容是包括如下操作子步骤：
(21)根据该像素点的深度值确定所属的分割区间i；
(22)按照下式计算所述的归一化的k维深度概率向量的第j个分量的值：
Figure FDA0003134201710000012
上式中，Di表示第i个分割区间的中心点的深度值；Dj表示第j个分割区间的中心点的深度值；当i取值在2到k-1时，
Figure FDA0003134201710000021
当i＝1时，σi＝3×Di+1，当i＝k时，σi＝3×Dk-1；ci表示归一化常数，按照下式进行计算：
Figure FDA0003134201710000022
CN202110712259.9A 2021-06-25 2021-06-25 一种非等间距离散深度补全的方法 Expired - Fee Related CN113269152B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110712259.9A CN113269152B (zh) 2021-06-25 2021-06-25 一种非等间距离散深度补全的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110712259.9A CN113269152B (zh) 2021-06-25 2021-06-25 一种非等间距离散深度补全的方法

Publications (2)

Publication Number Publication Date
CN113269152A CN113269152A (zh) 2021-08-17
CN113269152B true CN113269152B (zh) 2022-07-01

Family

ID=77236103

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110712259.9A Expired - Fee Related CN113269152B (zh) 2021-06-25 2021-06-25 一种非等间距离散深度补全的方法

Country Status (1)

Country Link
CN (1) CN113269152B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180231871A1 (en) * 2016-06-27 2018-08-16 Zhejiang Gongshang University Depth estimation method for monocular image based on multi-scale CNN and continuous CRF
CN110047144A (zh) * 2019-04-01 2019-07-23 西安电子科技大学 一种基于Kinectv2的完整物体实时三维重建方法
CN111107337A (zh) * 2018-10-29 2020-05-05 曜科智能科技（上海）有限公司 深度信息补全方法及其装置、监控系统和存储介质
CN112967219A (zh) * 2021-03-17 2021-06-15 复旦大学附属华山医院 基于深度学习网络的二阶段牙体点云补全方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180231871A1 (en) * 2016-06-27 2018-08-16 Zhejiang Gongshang University Depth estimation method for monocular image based on multi-scale CNN and continuous CRF
CN111107337A (zh) * 2018-10-29 2020-05-05 曜科智能科技（上海）有限公司 深度信息补全方法及其装置、监控系统和存储介质
CN110047144A (zh) * 2019-04-01 2019-07-23 西安电子科技大学 一种基于Kinectv2的完整物体实时三维重建方法
CN112967219A (zh) * 2021-03-17 2021-06-15 复旦大学附属华山医院 基于深度学习网络的二阶段牙体点云补全方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的图像补全算法综述;唐浩丰 等;《计算机科学》;20201130;151-164 *

Also Published As

Publication number Publication date
CN113269152A (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
CN111507335B (zh) 自动标注利用于深度学习网络的训练图像的方法和装置
CN111489358B (zh) 一种基于深度学习的三维点云语义分割方法
US20210390329A1 (en) Image processing method, device, movable platform, unmanned aerial vehicle, and storage medium
CN107247989B (zh) 一种实时的计算机视觉处理方法及装置
CN109902806B (zh) 基于卷积神经网络的噪声图像目标边界框确定方法
CN108388896B (zh) 一种基于动态时序卷积神经网络的车牌识别方法
CN108009525A (zh) 一种基于卷积神经网络的无人机对地特定目标识别方法
CN110309842B (zh) 基于卷积神经网络的物体检测方法及装置
JP2020123330A (ja) ニューラルネットワーク学習に利用されるオートラベリングされたイメージのうちでラベル検収のためのサンプルイメージを取得する方法、及びそれを利用したサンプルイメージ取得装置
US10262214B1 (en) Learning method, learning device for detecting lane by using CNN and testing method, testing device using the same
US10275667B1 (en) Learning method, learning device for detecting lane through lane model and testing method, testing device using the same
CN111626120B (zh) 工业环境下基于改进的yolo-6d算法的目标检测方法
CN113989340A (zh) 一种基于分布的点云配准方法
CN111738295A (zh) 图像的分割方法及存储介质
CN114565628B (zh) 一种基于边界感知注意的图像分割方法及系统
CN113313176A (zh) 一种基于动态图卷积神经网络的点云分析方法
CN114170465A (zh) 基于注意力机制的3d点云分类方法、终端设备及存储介质
CN114627331A (zh) 模型训练方法和装置
Önen et al. Occupancy grid mapping for automotive driving exploiting clustered sparsity
CN113269152B (zh) 一种非等间距离散深度补全的方法
CN109816710B (zh) 一种双目视觉系统高精度且无拖影的视差计算方法
CN111626298A (zh) 一种实时图像语义分割装置及分割方法
CN115272755A (zh) 一种激光点云检测分割方法及系统
CN114821156B (zh) 一种面向跑道线的变分辨率高精度检测方法和系统
CN109145874B (zh) 度量视频连续帧与其卷积特征图间差异在自主汽车视觉感应部分的障碍物检测中的应用

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220701

CF01 Termination of patent right due to non-payment of annual fee