CN110443849A - 一种基于深度图像的双流卷积神经网络回归学习的目标定位方法 - Google Patents
一种基于深度图像的双流卷积神经网络回归学习的目标定位方法 Download PDFInfo
- Publication number
- CN110443849A CN110443849A CN201910624713.8A CN201910624713A CN110443849A CN 110443849 A CN110443849 A CN 110443849A CN 201910624713 A CN201910624713 A CN 201910624713A CN 110443849 A CN110443849 A CN 110443849A
- Authority
- CN
- China
- Prior art keywords
- image
- depth image
- neural networks
- double
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000004807 localization Effects 0.000 title claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000009877 rendering Methods 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 6
- 210000002569 neuron Anatomy 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T5/92—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度图像的双流卷积神经网络回归学习的目标定位方法。离线阶段，在每个参考位置处，灰度图像及其对应的深度图像由双目相机收集。使用图像预处理技术，灰度图像和深度图像被转换为三通道图像。然后，具有共享权重系数的双流CNN用于离线回归学习。最后，得到了基于距离的回归模型。在线阶段，将得到的灰度图像和深度图像的预处理之后，通过基于距离的回归模型来估计最终距离。
Description
技术领域：
本发明涉及一种目标定位方法，具体来讲是一种利用双目摄像头拍摄的图片，通过双流卷积神经网络学习的方法，进行目标定位，属于定位导航技术领域。
背景技术：
基于图像的定位算法作为一门融合计算机视觉、机器学习、多视图几何、图像检索等众多科研领域的交叉性学科技术，在室内定位、机器人导航定位、现实增强、三维重建、地标识别等领域有着关阔的应用前景和巨大的研究价值。但是传统的图像定位算法用图像检索的方式处理定位问题，无法满足一些典型 应用对定位精度的要求。
现有技术包括：一种基于图像识别的室内定位系统（专利申请号：CN201710157566.9，专利公开号：CN108629384A），与CN201710157566.9相比较，本发明不需要应用调制模块对光源发出的光进行幅度调制。
现有技术包括：一种基于图像识别的室内定位系统（专利申请号：CN201710157566.9，专利公开号：CN108629384A），该方法包括光源层、应用层和服务层，所述应用层与所述光源层相互通信，对光源层发出的光线进行采集后的处理，将处理后的图像发送给所述服务层，服务层对图像进行解码后位置分析，根据对应的地图进行定位及导航，并将结果发回应用层。本发明只需将预处理后的图像集输入搭建好的卷积神经网络中训练就可得到基于图像的定位回归模型。
目前，深度学习在机器学习问题上取得了令人瞩目的成果，掀起了机器学习理论、方法和应用研究的一个新高潮。卷积神经网络已经广泛应用于图像处理、计算机视觉领域。此外深度图像的每个像素点的灰度值可用于表征场景中某一点距离摄像机的距离。因此，深度图像可以用深度学习的方法，实现目标定位。
公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
发明内容：
本发明目的在于针对传统的基于图像定位精度低的问题，提出一种基于深度图像的目标定位方法。该方法能够利用图像的深度信息，有效的提高定位精度、定位时间短、算法复杂度低、实现成本低。
本发明解决技术问题采取的技术方案是：一种基于深度图像回归学习的目标定位算法，该方法包括如下步骤：
S1,在每个参考位置处，双目相机收集灰度图像及其对应的深度图像；S2使用图像预处理技术，灰度图像和深度图像被转换为三通道图像；S3具有共享权重系数的双流CNN用于离线回归学习得到了基于距离的回归模型；S4在灰度图像和深度图像的预处理之后，可以通过基于距离的回归模型来估计最终距离。
本发明进一步限定的技术方案为：
进一步的，S2中，图像预处理技术具体为：将两个不同模态的三通道图像分别输入两个单流卷积神经网络中，两个卷积神经网络间权值共享，经过数次卷积和池化得到各自特征后，对两个卷积网络最后一层的神经元使用相同的卷积核进行卷积，对卷积结果进行融合，然后继续使用卷积核提取融合后的特征，最后通过数层全连接层得到输出。
进一步的，步骤S3中基于距离的回归模型的建设过程具体为：
S3.1：把定位区域划分成若干区参考点，把目标位于每个参考点上，双目相机采集不同参考点上目标的灰度图像信息和深度图像信息；
S3.2：灰度图像预处理，将图像的数据类型转换为uint8，将单通道的灰度信息复制到三个通道，并将图像裁剪为指定大小；
S3.3：深度图像预处理，将图像的数据类型转换为unit8,再利用渲染工具将深度图像渲染为彩色图像，并将图像裁剪为指定大小；
S3.4：搭建卷积层融合的双流卷积神经网络；
S3.5：目标的位置回归学习，利用基于卷积层融合的双流卷积神经网络对数据库进行基于位置标签的回归学习，得到基于位置的回归模型。
进一步的，数据库包括：位置信息，三通道灰度图像，渲染图像。
进一步的，步骤S4具体为，S4.1：双目相机采集目标的普通灰度和深度图像；
S4.2：灰度图像预处理，将图像的数据类型转换为uint8，将单通道的灰度信息复制到三个通道，并将图像裁剪为指定大小，得到三通道灰度图像；
S4.3：深度图像预处理，将图像的数据类型转换为unit8,再利用渲染工具将深度图像渲染为彩色图像，并将图像裁剪为指定大小，得到渲染图像；
S4.4：目标位置估计，将三通道灰度图像和渲染后的深度图像送入步骤S3得到的基于位置的回归模型，进而得到目标位置。
进一步的，将深度图像信息渲染为彩色图像，构建数据集。
有益效果：
1．本发明利用的深度图像信息可以直接通过双目相机采集，无需由灰度图像计算得到深度图像信息，降低了应用深度图像的复杂度。
2.本发明将深度图像渲染为彩色图像，使图片更清晰，比深度图像的定位回归结果更稳定，更精确。
3.本发明利用了双流卷积神经网络将两种模态的图像信息融合在一起，提高了图像的目标定位精度。
附图说明：
图1为本发明的实验场景图；
图2、图3、图4为一组灰度图像、深度图像和渲染图像；
图5为本发明的基于卷积层融合的双流卷积神经网络结构图；
图6为本发明的算法流程图；
图7为本发明的累积误差分析图。
具体实施方式：
下面对本发明的具体实施方式进行详细描述，但应当理解本发明的保护 范围并不受具体实施方式的限制。
除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或 组成部分，而并未排除其它元件或其它组成部分。
一种基于深度图像回归学习的目标定位算法，该方法包括如下步骤：
S1,在每个参考位置处，双目相机收集灰度图像及其对应的深度图像；
S2使用图像预处理技术，灰度图像和深度图像被转换为三通道图像；S2中，图像预处理技术具体为：将两个不同模态的三通道图像分别输入两个单流卷积神经网络中，两个卷积神经网络间权值共享，经过数次卷积和池化得到各自特征后，对两个卷积网络最后一层的神经元使用相同的卷积核进行卷积，对卷积结果进行融合，然后继续使用卷积核提取融合后的特征，最后通过数层全连接层得到输出。
S3具有共享权重系数的双流CNN用于离线回归学习得到了基于距离的回归模型；步骤S3中基于距离的回归模型的建设过程具体为：
S3.1：把定位区域划分成若干区参考点，把目标位于每个参考点上，双目相机采集不同参考点上目标的灰度图像信息和深度图像信息；
S3.2：灰度图像预处理，将图像的数据类型转换为uint8，将单通道的灰度信息复制到三个通道，并将图像裁剪为指定大小；
S3.3：深度图像预处理，将图像的数据类型转换为unit8,再利用渲染工具将深度图像渲染为彩色图像，并将图像裁剪为指定大小；
S3.4：搭建卷积层融合的双流卷积神经网络；
S3.5：目标的位置回归学习，利用基于卷积层融合的双流卷积神经网络对数据库进行基于位置标签的回归学习，得到基于位置的回归模型。数据库包括：位置信息，三通道灰度图像，渲染图像。
S4在灰度图像和深度图像的预处理之后，可以通过基于距离的回归模型来估计最终距离。步骤S4具体为，S4.1：双目相机采集目标的普通灰度和深度图像；
S4.2：灰度图像预处理，将图像的数据类型转换为uint8，将单通道的灰度信息复制到三个通道，并将图像裁剪为指定大小，得到三通道灰度图像；
S4.3：深度图像预处理，将图像的数据类型转换为unit8,再利用渲染工具将深度图像渲染为彩色图像，并将图像裁剪为指定大小，得到渲染图像；
S4.4：目标位置估计，将三通道灰度图像和渲染后的深度图像送入步骤S3得到的基于位置的回归模型，进而得到目标位置。
如图1所示，为本发明的实验场景图。本发明定位区域距离相机的位置为1.2米-2.4米，按自己的需求分为多个参考点。
如图2、3、4所示，为本发明距离相机位置为1.2米的一组图像，分别灰度图像、深度图像和渲染图像。
如图5所示，为发明的基于卷积层融合双流卷积神经网络结构图（C是卷积层，P是池化层，FC为全连接层，OUTPUT为输出层），将两个不同模态的三通道图像分别输入两个单流卷积神经网络中，两个卷积神经网络间权值共享，经过数次卷积和池化得到各自特征后，对两个卷积网络最后一层的神经元使用相同的卷积核进行卷积，对卷积结果进行融合，然后继续使用卷积核提取融合后的特征，最后通过数层全连接层得到输出。
如图6所示，为本发明算法流程图，离线阶段，在每个参考位置处，灰度图像及其对应的深度图像由双目相机收集。使用图像预处理技术，灰度图像和深度图像被转换为三通道图像。然后，具有共享权重系数的双流CNN用于离线回归学习。最后，得到了基于距离的回归模型。在线阶段，在灰度图像和深度图像的预处理之后，可以通过基于距离的回归模型来估计最终距离。
如表7所示，为本发明的累积误差分析图，当比较三通道的灰度图像，三通道的深度图像和渲染图像用于算法时不同算法的累积分布函数（CDF）。可以看出本发明所提出的位置估计具有最佳的估计结果。而基于三通道深度图像的方法具有最差的估计性能。原因可归因于不清晰的深度图像。
前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。 这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述 教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在 于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实 现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。 本发明的范围意在由权利要求书及其等同形式所限定。
Claims (6)
1.一种基于深度图像的双流卷积神经网络回归学习的目标定位方法，其特征在于，S1,在每个参考位置处，双目相机收集灰度图像及其对应的深度图像；S2使用图像预处理技术，灰度图像和深度图像被转换为三通道图像；S3具有共享权重系数的双流CNN用于离线回归学习得到了基于距离的回归模型；S4在灰度图像和深度图像的预处理之后，可以通过基于距离的回归模型来估计最终距离。
2.根据权利要求1所述的基于深度图像的双流卷积神经网络回归学习的目标定位方法，其特征在于：S2中，图像预处理技术具体为：将两个不同模态的三通道图像分别输入两个单流卷积神经网络中，两个卷积神经网络间权值共享，经过数次卷积和池化得到各自特征后，对两个卷积网络最后一层的神经元使用相同的卷积核进行卷积，对卷积结果进行融合，然后继续使用卷积核提取融合后的特征，最后通过数层全连接层得到输出。
3.根据权利要求1所述的基于深度图像的双流卷积神经网络回归学习的目标定位方法，其特征在于，步骤S3中基于距离的回归模型的建设过程具体为：
S3.1：把定位区域划分成若干区参考点，把目标位于每个参考点上，双目相机采集不同参考点上目标的灰度图像信息和深度图像信息；
S3.2：灰度图像预处理，将图像的数据类型转换为uint8，将单通道的灰度信息复制到三个通道，并将图像裁剪为指定大小；
S3.3：深度图像预处理，将图像的数据类型转换为unit8,再利用渲染工具将深度图像渲染为彩色图像，并将图像裁剪为指定大小；
S3.4：搭建卷积层融合的双流卷积神经网络；
S3.5：目标的位置回归学习，利用基于卷积层融合的双流卷积神经网络对数据库进行基于位置标签的回归学习，得到基于位置的回归模型。
4.根据权利要求3所述的基于深度图像的双流卷积神经网络回归学习的目标定位方法，其特征在于，数据库包括：位置信息，三通道灰度图像，渲染图像。
5.根据权利要求1所述的基于深度图像的双流卷积神经网络回归学习的目标定位方法，其特征在于，步骤S4具体为，S4.1：双目相机采集目标的普通灰度和深度图像；
S4.2：灰度图像预处理，将图像的数据类型转换为uint8，将单通道的灰度信息复制到三个通道，并将图像裁剪为指定大小，得到三通道灰度图像；
S4.3：深度图像预处理，将图像的数据类型转换为unit8,再利用渲染工具将深度图像渲染为彩色图像，并将图像裁剪为指定大小，得到渲染图像；
S4.4：目标位置估计，将三通道灰度图像和渲染后的深度图像送入步骤S3得到的基于位置的回归模型，进而得到目标位置。
6.根据权利要求1所述的一种基于深度图像的双流卷积神经网络回归学习的目标定位方法，其特征在于，将深度图像信息渲染为彩色图像，构建数据集。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910624713.8A CN110443849B (zh) | 2019-07-11 | 2019-07-11 | 一种基于深度图像的双流卷积神经网络回归学习的目标定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910624713.8A CN110443849B (zh) | 2019-07-11 | 2019-07-11 | 一种基于深度图像的双流卷积神经网络回归学习的目标定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110443849A true CN110443849A (zh) | 2019-11-12 |
| CN110443849B CN110443849B (zh) | 2022-10-14 |
Family
ID=68430188
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910624713.8A Active CN110443849B (zh) | 2019-07-11 | 2019-07-11 | 一种基于深度图像的双流卷积神经网络回归学习的目标定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110443849B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112135344A (zh) * | 2020-09-11 | 2020-12-25 | 南京邮电大学 | 一种基于csi和dcnn的无设备目标定位方法 |
| CN112150525A (zh) * | 2020-09-14 | 2020-12-29 | 南京邮电大学 | 一种基于双目摄像头的目标定位方法 |
| CN112164111A (zh) * | 2020-09-10 | 2021-01-01 | 南京邮电大学 | 一种基于图像相似度和bpnn回归学习的室内定位方法 |
| CN113808028A (zh) * | 2020-09-14 | 2021-12-17 | 北京航空航天大学 | 基于归因算法的对抗样本的检测方法和装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107767413A (zh) * | 2017-09-20 | 2018-03-06 | 华南理工大学 | 一种基于卷积神经网络的图像深度估计方法 |
| CN108288035A (zh) * | 2018-01-11 | 2018-07-17 | 华南理工大学 | 基于深度学习的多通道图像特征融合的人体动作识别方法 |
| US20180218203A1 (en) * | 2017-02-01 | 2018-08-02 | The Government Of The United States Of America, As Represented By The Secretary Of The Navy | Recognition Actions on Event Based Cameras with Motion Event Features |
-
2019
- 2019-07-11 CN CN201910624713.8A patent/CN110443849B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180218203A1 (en) * | 2017-02-01 | 2018-08-02 | The Government Of The United States Of America, As Represented By The Secretary Of The Navy | Recognition Actions on Event Based Cameras with Motion Event Features |
| CN107767413A (zh) * | 2017-09-20 | 2018-03-06 | 华南理工大学 | 一种基于卷积神经网络的图像深度估计方法 |
| CN108288035A (zh) * | 2018-01-11 | 2018-07-17 | 华南理工大学 | 基于深度学习的多通道图像特征融合的人体动作识别方法 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112164111A (zh) * | 2020-09-10 | 2021-01-01 | 南京邮电大学 | 一种基于图像相似度和bpnn回归学习的室内定位方法 |
| CN112164111B (zh) * | 2020-09-10 | 2022-09-06 | 南京邮电大学 | 一种基于图像相似度和bpnn回归学习的室内定位方法 |
| CN112135344A (zh) * | 2020-09-11 | 2020-12-25 | 南京邮电大学 | 一种基于csi和dcnn的无设备目标定位方法 |
| CN112150525A (zh) * | 2020-09-14 | 2020-12-29 | 南京邮电大学 | 一种基于双目摄像头的目标定位方法 |
| CN113808028A (zh) * | 2020-09-14 | 2021-12-17 | 北京航空航天大学 | 基于归因算法的对抗样本的检测方法和装置 |
| CN112150525B (zh) * | 2020-09-14 | 2022-10-14 | 南京邮电大学 | 一种基于双目摄像头的目标定位方法 |
| CN113808028B (zh) * | 2020-09-14 | 2023-08-08 | 北京航空航天大学 | 基于归因算法的对抗样本的检测方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110443849B (zh) | 2022-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | Learning by analogy: Reliable supervision from transformations for unsupervised optical flow estimation | |
| CN110443849A (zh) | 一种基于深度图像的双流卷积神经网络回归学习的目标定位方法 | |
| Tian et al. | Depth estimation using a self-supervised network based on cross-layer feature fusion and the quadtree constraint | |
| CN108986136A (zh) | 一种基于语义分割的双目场景流确定方法及系统 | |
| Tian et al. | Unsupervised learning of optical flow with CNN-based non-local filtering | |
| CN114782691A (zh) | 基于深度学习的机器人目标识别与运动检测方法、存储介质及设备 | |
| CN113160375A (zh) | 一种基于多任务学习算法的三维重建及相机位姿估计方法 | |
| CN111612825B (zh) | 基于光流与多尺度上下文的图像序列运动遮挡检测方法 | |
| CN108648224A (zh) | 一种基于人工神经网络的实时场景布局识别及重建的方法 | |
| CN112487934B (zh) | 基于ReID特征的强数据关联一体化实时多目标跟踪方法 | |
| CN113256699B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN112183675B (zh) | 一种基于孪生网络的针对低分辨率目标的跟踪方法 | |
| Gao et al. | Joint optimization of depth and ego-motion for intelligent autonomous vehicles | |
| Yue et al. | Semi-supervised monocular depth estimation based on semantic supervision | |
| CN111354030A (zh) | 嵌入SENet单元的无监督单目图像深度图生成方法 | |
| CN112686952A (zh) | 一种图像光流计算系统、方法及应用 | |
| Jin et al. | Beyond learning: Back to geometric essence of visual odometry via fusion-based paradigm | |
| Yang et al. | SAM-Net: Semantic probabilistic and attention mechanisms of dynamic objects for self-supervised depth and camera pose estimation in visual odometry applications | |
| Bayramli et al. | Raft-msf: Self-supervised monocular scene flow using recurrent optimizer | |
| Komatsu et al. | Octave deep plane-sweeping network: Reducing spatial redundancy for learning-based plane-sweeping stereo | |
| Chen et al. | Cross-drone transformer network for robust single object tracking | |
| Bhutani et al. | Unsupervised Depth and Confidence Prediction from Monocular Images using Bayesian Inference | |
| CN114707611B (zh) | 基于图神经网络特征提取与匹配的移动机器人地图构建方法、存储介质及设备 | |
| Cheng et al. | Feature-based optical flow computation | |
| CN114882072A (zh) | 一种多通道图像特征融合的高速相关滤波目标追踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |