CN113096039A - 一种基于红外图和深度图的深度信息补全方法 - Google Patents
一种基于红外图和深度图的深度信息补全方法 Download PDFInfo
- Publication number
- CN113096039A CN113096039A CN202110358721.XA CN202110358721A CN113096039A CN 113096039 A CN113096039 A CN 113096039A CN 202110358721 A CN202110358721 A CN 202110358721A CN 113096039 A CN113096039 A CN 113096039A
- Authority
- CN
- China
- Prior art keywords
- depth
- image
- infrared
- map
- normal vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 239000013598 vector Substances 0.000 claims abstract description 54
- 238000005457 optimization Methods 0.000 claims abstract description 15
- 238000013528 artificial neural network Methods 0.000 claims abstract description 10
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 19
- 238000012360 testing method Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 238000001559 infrared map Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种基于红外图和深度图的深度信息补全方法，其包括如下步骤：S100：数据集的采集、获取和预处理；S200：构建一个全卷积神经网络，输入是红外图，输出是与之对应的法向量图；S300：对所述法向量图、红外图进行边缘提取得到的红外边界图和原始深度图进行深度优化，得到补全后的深度图。该方法能够提高深度图像质量，获得更为准确的点云信息和深度图。
Description
技术领域
本公开属于机器视觉、图像处理技术领域，具体涉及一种基于红外图和深度图的深度信息补全方法。
背景技术
随着社会和科技的快速发展，深度相机在诸如自动驾驶、场景重建、AR等领域的应用也越来越广泛。但是当拍摄场景过于复杂，由于存在光照不足或过曝、拍摄物体距离相机过远或过近、拍摄物体之间相互遮挡等问题，导致最终得到的深度信息不可避免地会存在数据缺失问题，形成空洞。
目前存在很多填充深度空洞的方法，除了传统方法外，还有端到端神经网络等。但是端到端神经网络对于一些大的空洞往往补偿效果不尽如人意，而应用彩色图和深度图训练网络来进行填充的方法往往存在彩色图和深度图的对齐问题，现有的对齐方法很难保证像素间的完全对齐。
发明内容
为了解决上述问题，本公开提供了一种基于红外图和深度图的深度信息补全方法，其包括如下步骤：
S100：数据集的采集、获取和预处理；
S200：构建一个全卷积神经网络，输入是红外图，输出是与之对应的法向量图；
S300：对所述法向量图、红外图进行边缘提取得到的红外边界图和原始深度图进行深度优化，得到补全后的深度图。
上述方法不使用以往常用的彩色图，而改用红外图，由于红外图与深度图是同一摄像头拍摄所得，两者像素间是肯定对齐的。该方法提高了深度图像质量，获得更为准确的点云信息和深度图。
附图说明
图1是本公开一个实施例中所提供的一种基于红外图和深度图的深度信息补全方法流程图；
图2是本公开一个实施例中所提供的由点云信息求解法向量的流程图；
图3是本公开一个实施例中所提供的全卷积神经网络架构图；
图4是本公开一个实施例中所提供的最终深度优化的流程图。
具体实施方式
结合附图1至图4在一个实施例中，如图1所示，本公开提供了一种基于红外图和深度图的深度信息补全方法，其包括如下步骤：
S100：数据集的采集、获取和预处理；
S200：构建一个全卷积神经网络，输入是红外图，输出是与之对应的法向量图；
S300：对所述法向量图、红外图进行边缘提取得到的红外边界图和原始深度图进行深度优化，得到补全后的深度图。
该方法的优点是红外图和深度图的像素之间是完全一一对应的，可更加准确地利用像素的邻域信息，而基于彩色图和深度图的方法由于难以保证像素级别的一一对应，故在后续的使用中不论是某点的像素值还是该点的邻域信息都会存在偏差，这就导致了补全的深度信息的精度下降，同时本方法还可以提高了深度图边缘信息的准确度。
就该实施例而言，为了提高深度图像质量，本公开提出一种基于红外图和深度图的深度信息补全方法，以获得更为准确的点云信息和深度图。首先，大规模数据集的采集、获取和预处理。一方面是利用公共数据集，包括Matterport3D和NYU-Depth V2数据集，其中包括彩色图、与之对应的法向量图以及深度图，作为训练数据集；另一方面利用双频ToF模组自行采集大量室内场景的红外图、深度图，深度图进行预处理，先结合ToF模组内参转为点云信息，再求解其法向量，作为测试数据集。其次，构建一个全卷积神经网络，建立在具有对称编码器和解码器的VGG16架构上，输入红外图，输出与之对应的法向量图。该网络架构输入与输出图像尺寸相同，保证对每一个像素都产生一个预测，并保留原始输入图像中的空间信息。最后，基于所得到的法向量图、红外图进行边缘提取得到的红外边界图、原始深度图进行深度优化，得到更为准确的点云信息和补全后的深度图。
其中，采集主要针对的是双频ToF工装模组自行采集的数据集，包括红外图和深度图。而获取指的是申请到的现有公共数据集，包括彩色图、法向量图和深度图。步骤S200中的红外图来自公共数据集和来自利用双频ToF模组自行采集的数据集。来自公共数据集的红外图主要用来训练网络，自行采集的数据集则用于后续测试。
在另一个实施例中，步骤S100进一步包括：所述数据集包括作为训练数据集的公共数据集和作为测试数据集的利用双频ToF模组自行采集的数据集。
在另一个实施例中，所述公共数据集包括彩色图、与之对应的法向量图以及深度图。
就该实施例而言，这里获取到的彩色图后续需要经过预处理来模拟红外图。
在另一个实施例中，所述利用双频ToF模组自行采集的数据集包括自行采集的大量室内场景的红外图和深度图。
就该实施例而言，本方法中使用的是双频ToF模组用于采集红外图和深度图，其采用的频率分别是20M和100M，但一方面用于ToF相机双频深度计算的频率不限于20M和100M。也可以是别的频率；另一方面深度相机不限于ToF相机，也可以是基于结构光等原理的深度相机。
在另一个实施例中，步骤S100进一步包括：所述预处理包括：将利用双频ToF模组自行采集的深度图结合ToF模组内参转为点云信息，再求解其法向量；将获取的公共数据集的三通道彩色图转换为单通道灰度图，再加上高斯随机噪声来模拟红外图。
就该实施例而言，申请到的现有公共数据集都包含了彩色图、法向量图和深度图，而我们要用到的是红外图和法向量图，故需要先将三通道的彩色图转换成单通道的灰度图，并加上高斯随机噪声来模拟红外图。法向量在x、y、z三个方向上均有分量，分别表示为nx、ny、nz。将这三个分量保存为图像的三个通道，形成法向量图。
在另一个实施例中，由点云信息求解法向量的具体步骤如下：
S101：根据标定出的深度相机内参将深度图转换成点云信息；
S102：将所有点云变量拼接成矩阵；
S103：根据局部点云的均值构造新的点云矩阵；
S104：构造协方差矩阵，并求解其最小特征值，选择最小特征值对应的特征向量；
S105：将最小特征向量进行单位化得到该点云信息的法向量。
就该实施例而言，参见图2，由于本方法中神经网络的输出是法向量图，故特介绍如何由点云求取法向量，方便对后续自行采集的室内场景的点云信息进行处理，以得到其对应的法向量图，来进一步对已应用现有数据集训练好的网络进行微调。
首先根据标定出的深度相机内参将深度图转换成点云，假设局部平面附近点云数量为m，每个点云可表示为[X1，X2，X3]T，邻域内所有点云记为Pi＝[X1i，X2i，X3i]T(i＝1，2，...，m)。m为某个点邻域内的点云数量，一般邻域范围较小，可取5*5的范围，m是原始深度图中该范围内存在深度值的点的个数。
将所有点云变量拼接成如下矩阵：
根据上面的矩阵，计算局部点云的均值，接着在原来点云矩阵上减掉对应方向上的均值
重新构造新的点云矩阵：
此时，表面法线的获取(即求取法向量)这一问题就转化为使用最小二乘法为邻域内点拟合一个局部平面问题。
而求解所有点云到拟合局部平面的最短距离可以简化为求解协方差矩阵的最小特征值，即满足Sn＝λn的最小特征向量，S是协方差矩阵，n是特征向量，λ是特征值，S的值为
该矩阵为一个3×3的实对称矩阵。使得特征方程为零，求得多个特征值，并求解出对应的特征向量。选择最小特征值对应的特征向量，并进行单位化，则该向量为点云法向量。
上述求解点云法向量的形式与PCA降维求解协方差矩阵的特征值和特征向量相同，可以借用PCA原理进行求解点云的法向量。需要注意是：基于PCA降维求解协方差矩阵的特征值要求越大越好，其特征向量就越能描述数据的特征，越小就越不能区分样本之间的不同，也就是表征了数据中的共性。但在我们的优化目标函数中，就是要为所有的邻域点寻找一个平面，使得所有的邻域点都在这个平面上，所以要求我们选择协方差矩阵的最小特征值和对应特征向量。
将所有法向量x、y、z轴分量分别作为法向量图的R、G、B三个通道，与对应的红外图一并构成微调的训练数据集以及测试集。
在另一个实施例中，该全卷积神经网络输入与输出图像尺寸相同。
就该实施例而言，使用的是建立在VGG16架构上的全卷积神经网络，具体如图3所示，输入是180*240*1的红外图，输出180*240*3的法向量图，在最后一层卷积层使用sigmoid函数作为激活函数，其余卷积层均使用ReLU激活函数，并且在网络上游和下游的对应卷积层之间使用了跳跃连接，最后将CosineEmbeddingLoss作为损失函数以使网络参数最优。
在另一个实施例中，所述红外边界图采用Sobel算子、Canny算子或拉普拉斯算子获得的。
在另一个实施例中，对所述法向量图、所述红外边界图和所述原始深度图分别进行加权计算来实现深度优化。
在另一个实施例中，所述深度优化具体包括：
目标函数E为各项误差的平方的加权和：
E＝λDED+λPEP+λNENB
其中，ED表示在p点的预测深度D(p)和观察到的原始深度D0(p)之间的误差，EP表示预测深度D(p)和p点邻域内q点的深度D(q)之间的误差，EN中v(p，q)为p、q两点间的方向向量，N(p)为p点处的法向量，B表示边界值；λD，λP，λN表示不同的权重；
Nobs表示原始深度图中存在深度值的像素；
N表示原始深度图像中所有的像素位置；
使目标函数最小，即可得到最终的深度优化值。
就该实施例而言，将得到的法向量图、红外图进行边缘提取得到的红外边界图、原始深度图进行深度优化，得到更为准确的点云信息和补全后的深度图，对三者分别进行加权计算来实现最终的深度优化，得到更为准确的点云信息和深度图。
B表示边界值，用来对这一项进行权重降低。原始深度图的像素点对应D0，法向量图中的像素点对应N(p)，红外边界图中的像素点对应B。EN表示向量v(p，q)和向量N(p)之间的内积，该值越接近零，说明预测深度和法向量之间的一致性越好，说明向量v(p，q)和向量N(p)的夹角越接近90°，p点的深度值就越准确。
λD，λP，λN表示不同的权重，是常量。可根据情况自行调整各权重的值，以使目标函数值最小。
尽管以上结合附图对本发明的实施方案进行了描述，但本发明并不局限于上述的具体实施方案和应用领域，上述的具体实施方案仅仅是示意性的、指导性的，而不是限制性的。本领域的普通技术人员在本说明书的启示下和在不脱离本发明权利要求所保护的范围的情况下，还可以做出很多种的形式，这些均属于本发明保护之列。
Claims (10)
1.一种基于红外图和深度图的深度信息补全方法，其包括如下步骤：
S100：数据集的采集、获取和预处理；
S200：构建一个全卷积神经网络，输入是红外图，输出是与之对应的法向量图；
S300：对所述法向量图、红外图进行边缘提取得到的红外边界图和原始深度图进行深度优化，得到补全后的深度图。
2.根据权利要求1所述的方法，优选的，步骤S100进一步包括：所述数据集包括作为训练数据集的公共数据集和作为测试数据集的利用双频ToF模组自行采集的数据集。
3.根据权利要求2所述的方法，所述公共数据集包括彩色图、与之对应的法向量图以及深度图。
4.根据权利要求2所述的方法，所述利用双频ToF模组自行采集的数据集包括自行采集的大量室内场景的红外图和深度图。
5.根据权利要求1所述的方法，步骤S100进一步包括：所述预处理包括：将利用双频ToF模组自行采集的深度图结合ToF模组内参转为点云信息，再求解其法向量；将获取的公共数据集的三通道彩色图转换为单通道灰度图，再加上高斯随机噪声来模拟红外图。
6.根据权利要求5所述的方法，由点云信息求解法向量的具体步骤如下：
S101：根据标定出的深度相机内参将深度图转换成点云信息；
S102：将所有点云变量拼接成矩阵；
S103：根据局部点云的均值构造新的点云矩阵；
S104：构造协方差矩阵，并求解其最小特征值，选择最小特征值对应的特征向量；
S105：将最小特征向量进行单位化得到该点云信息的法向量。
7.根据权利要求1所述的方法，所述红外边界图采用Sobel算子、Canny算子或拉普拉斯算子获得的。
8.根据权利要求1所述的方法，对所述法向量图、所述红外边界图和所述原始深度图分别进行加权计算来实现深度优化。
9.根据权利要求8所述的方法，所述深度优化具体包括：
目标函数E为各项误差的平方的加权和：
E＝λDED+λPEP+λNENB
其中，ED表示在p点的预测深度D(p)和观察到的原始深度D0(p)之间的误差，EP表示预测深度D(p)和p点邻域内q点的深度D(q)之间的误差，EN中v(p，q)为p、q两点间的方向向量，N(p)为p点处的法向量，B表示边界值；λD，λP，λN表示不同的权重；
Nobs表示原始深度图中存在深度值的像素；
N表示原始深度图像中所有的像素位置；
使目标函数最小，即可得到最终的深度优化值。
10.根据权利要求1所述的方法，该全卷积神经网络输入与输出图像尺寸相同。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110358721.XA CN113096039A (zh) | 2021-04-01 | 2021-04-01 | 一种基于红外图和深度图的深度信息补全方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110358721.XA CN113096039A (zh) | 2021-04-01 | 2021-04-01 | 一种基于红外图和深度图的深度信息补全方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113096039A true CN113096039A (zh) | 2021-07-09 |
Family
ID=76672868
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110358721.XA Pending CN113096039A (zh) | 2021-04-01 | 2021-04-01 | 一种基于红外图和深度图的深度信息补全方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113096039A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113792653A (zh) * | 2021-09-13 | 2021-12-14 | 山东交通学院 | 一种遥感影像云检测的方法、系统、设备和存储介质 |
| CN113834444A (zh) * | 2021-09-24 | 2021-12-24 | 云南特可科技有限公司 | 一种适用于暗光环境的多维测量方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108133458A (zh) * | 2018-01-17 | 2018-06-08 | 视缘(上海)智能科技有限公司 | 一种基于目标物体空间点云特征的自动拼接方法 |
| CN109903372A (zh) * | 2019-01-28 | 2019-06-18 | 中国科学院自动化研究所 | 深度图超分辨率补全方法及高质量三维重建方法与系统 |
| CN111123225A (zh) * | 2019-12-25 | 2020-05-08 | 西安电子科技大学 | 矢量输运理论计算海背景箔条云散射方法 |
| CN112304249A (zh) * | 2020-09-22 | 2021-02-02 | 江苏大学 | 一种透明材料三维表面及厚度分布同时检测系统及方法 |
-
2021
- 2021-04-01 CN CN202110358721.XA patent/CN113096039A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108133458A (zh) * | 2018-01-17 | 2018-06-08 | 视缘(上海)智能科技有限公司 | 一种基于目标物体空间点云特征的自动拼接方法 |
| CN109903372A (zh) * | 2019-01-28 | 2019-06-18 | 中国科学院自动化研究所 | 深度图超分辨率补全方法及高质量三维重建方法与系统 |
| CN111123225A (zh) * | 2019-12-25 | 2020-05-08 | 西安电子科技大学 | 矢量输运理论计算海背景箔条云散射方法 |
| CN112304249A (zh) * | 2020-09-22 | 2021-02-02 | 江苏大学 | 一种透明材料三维表面及厚度分布同时检测系统及方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113792653A (zh) * | 2021-09-13 | 2021-12-14 | 山东交通学院 | 一种遥感影像云检测的方法、系统、设备和存储介质 |
| CN113792653B (zh) * | 2021-09-13 | 2023-10-20 | 山东交通学院 | 一种遥感影像云检测的方法、系统、设备和存储介质 |
| CN113834444A (zh) * | 2021-09-24 | 2021-12-24 | 云南特可科技有限公司 | 一种适用于暗光环境的多维测量方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111739077B (zh) | 基于深度神经网络单目水下图像深度估计和颜色矫正方法 | |
| CN108510535A (zh) | 一种基于深度预测和增强子网络的高质量深度估计方法 | |
| CN112505065B (zh) | 一种实现室内无人机对大部件表面缺陷进行检测的方法 | |
| CN109003297B (zh) | 一种单目深度估计方法、装置、终端和存储介质 | |
| CN109584290A (zh) | 一种基于卷积神经网络的立体图像匹配方法 | |
| CN114758337B (zh) | 一种语义实例重建方法、装置、设备及介质 | |
| CN109671031B (zh) | 一种基于残差学习卷积神经网络的多光谱图像反演方法 | |
| CN109726739A (zh) | 一种目标检测方法和系统 | |
| CN114511778A (zh) | 图像处理方法及装置 | |
| CN111915723A (zh) | 一种用于室内的三维全景构建方法和系统 | |
| CN113096039A (zh) | 一种基于红外图和深度图的深度信息补全方法 | |
| CN109242834A (zh) | 一种基于卷积神经网络的无参考立体图像质量评价方法 | |
| CN113610905B (zh) | 基于子图像匹配的深度学习遥感图像配准方法及应用 | |
| CN116778288A (zh) | 一种多模态融合目标检测系统及方法 | |
| CN112991371B (zh) | 一种基于着色溢出约束的图像自动着色方法及系统 | |
| CN115082254A (zh) | 一种变电站精益管控数字孪生系统 | |
| CN110276831A (zh) | 三维模型的建构方法和装置、设备、计算机可读存储介质 | |
| CN110942484A (zh) | 基于遮挡感知和特征金字塔匹配的相机自运动估计方法 | |
| CN112561996A (zh) | 一种自主水下机器人回收对接中目标检测方法 | |
| CN111612731A (zh) | 基于双目显微视觉的测量方法、装置、系统及介质 | |
| EP4191539A1 (en) | Method for performing volumetric reconstruction | |
| CN109544584B (zh) | 一种实现巡检稳像精度测量的方法及系统 | |
| CN117291443B (zh) | 基于多维感知技术的智能放线系统 | |
| CN110414101A (zh) | 一种仿真场景测量方法、准确性测定方法及系统 | |
| CN118379358A (zh) | 一种基于对抗神经网络的rgb-d相机深度模块标定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210709 |