CN113140011B - 一种红外热成像单目视觉测距方法及相关组件 - Google Patents

一种红外热成像单目视觉测距方法及相关组件 Download PDF

Info

Publication number
CN113140011B
CN113140011B CN202110541321.2A CN202110541321A CN113140011B CN 113140011 B CN113140011 B CN 113140011B CN 202110541321 A CN202110541321 A CN 202110541321A CN 113140011 B CN113140011 B CN 113140011B
Authority
CN
China
Prior art keywords
image
infrared
monocular
edge
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110541321.2A
Other languages
English (en)
Other versions
CN113140011A (zh
Inventor
王建生
刘斌
李港庆
王水根
康萌萌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Iray Technology Co Ltd
Original Assignee
Iray Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Iray Technology Co Ltd filed Critical Iray Technology Co Ltd
Priority to CN202110541321.2A priority Critical patent/CN113140011B/zh
Priority to PCT/CN2021/099057 priority patent/WO2022241874A1/zh
Publication of CN113140011A publication Critical patent/CN113140011A/zh
Application granted granted Critical
Publication of CN113140011B publication Critical patent/CN113140011B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077—Imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种红外热成像单目视觉测距方法，该方法针对用于对红外图像进行视差推理提出了一项新的损失函数：边缘损失函数，该边缘损失函数为根据图像帧的边缘特征与相邻图像帧的边缘特征空间投影间的差值进行边缘损失约束的函数，在该损失函数的约束下，先提取红外图像的边缘再将源图像和目标图像的边缘进行匹配，红外单目测距深度神经网络可以比较精准的定位各像素点，从而可以降低图像重投影时的像素误匹配，提升图像预测深度和相机估计姿态的更新准确度，提升相对视差图的精准度，从而进一步提升测距精准度。本发明还公开了一种红外热成像单目视觉测距装置、设备及可读存储介质，具有相应的技术效果。

Description

一种红外热成像单目视觉测距方法及相关组件
技术领域
本发明涉及视觉测距技术领域，特别是涉及一种红外热成像单目视觉测距方法、装置、设备及可读存储介质。
背景技术
视觉测距在自动驾驶及红外精准测温领域是必不可少的关键技术。在视觉测距中，与常用的激光雷达和双目测距相比，无监督单目视觉测距由于其低成本、便于部署、工艺要求低等特点，吸引了众多研究者的注意。
虽然基于可见光单目视觉测距取得了重大发展，然而在夜间、雾天等场景，可见光并不适用，而红外热成像是有益的补充。但与可见光图像相比，红外图像有对比度低、动态范围宽、图像不连续、信噪比低、低纹理等缺点，简单地将可见光的单目视觉测距算法应用于红外热成像的单目视觉测距，会导致训练崩溃、精度低、深度图像边缘模糊等问题，难以满足用户需求。
综上所述，如何实现高精准的红外热成像单目视觉测距，是目前本领域技术人员急需解决的技术问题。
发明内容
本发明的目的是提供一种红外热成像单目视觉测距方法、装置、设备及可读存储介质，以实现高精准的红外热成像单目视觉测距。
为解决上述技术问题，本发明提供如下技术方案：
一种红外热成像单目视觉测距方法，包括：
获取红外热成像仪的内参矩阵，以及所述红外热成像仪针对目标对象采集生成的红外图像；
调用预训练的红外单目测距深度神经网络根据所述内参矩阵对所述红外图像进行视差推理，得到相对视差图；其中，所述红外单目测距深度神经网络的损失函数中包括边缘损失函数，所述边缘损失函数为根据图像帧的边缘特征与相邻图像帧的边缘特征空间投影间的差值进行边缘损失约束的函数；
根据所述相对视差图确定绝对深度，并将所述绝对深度作为测距结果。
可选地，所述红外单目测距深度神经网络的多尺度特征提取层中包括BiFPN层，所述BiFPN层用于根据不同尺度视差图之间的关联性加强特征融合。
可选地，所述红外单目测距深度神经网络的残差网络采用CSPNet网络。
可选地，所述红外单目测距深度神经网络包括深度估计网络以及姿态网络。
可选地，所述红外单目测距深度神经网络的训练方法包括：
获取所述红外热成像仪采集生成的连续图像，第一图像以及第二图像；其中，所述第二图像为第一图像的相邻帧图像；
调用所述深度估计网络对所述第一图像进行深度计算，得到深度图；
调用所述姿态网络对所述第一图像以及所述第二图像进行位姿变化计算，得到位姿变化矩阵；
根据所述位姿变化矩阵以及所述深度图调用相邻图像间像素投影关系公式对所述第一图像进行图像重构，得到重构第一图像；
根据所述重构第一图像以及所述第一图像进行网络训练。
可选地，所述损失函数中还包括：重投影损失函数以及边缘平滑度损失函数。
可选地，所述损失函数为所述重投影损失函数、所述边缘平滑度损失函数以及所述边缘损失函数的加权和。
一种红外热成像单目视觉测距装置，包括：
数据获取单元，用于获取红外热成像仪的内参矩阵，以及所述红外热成像仪针对目标对象采集生成的红外图像；
网络推理单元，用于调用预训练的红外单目测距深度神经网络根据所述内参矩阵对所述红外图像进行视差推理，得到相对视差图；其中，所述红外单目测距深度神经网络的损失函数中包括边缘损失函数，所述边缘损失函数为根据图像帧的边缘特征与相邻图像帧的边缘特征空间投影间的差值进行边缘损失约束的函数；
深度计算单元，用于根据所述相对视差图确定绝对深度，并将所述绝对深度作为测距结果。
一种红外热成像单目视觉测距设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现上述红外热成像单目视觉测距方法的步骤。
一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述红外热成像单目视觉测距方法的步骤。
本发明实施例所提供的方法，针对用于对红外图像进行视差推理的红外单目测距深度神经网络提出了一项新的损失函数：边缘损失函数，该边缘损失函数为根据图像帧的边缘特征与相邻图像帧的边缘特征空间投影间的差值进行边缘损失约束的函数，在该损失函数的约束下，先提取红外图像的边缘，然后将源图像和目标图像的边缘进行匹配，增加边缘的像素点的区分度，基于该边缘损失函数进行网络参数约束后，红外单目测距深度神经网络可以比较精准的定位各像素点，从而可以降低图像重投影时的像素误匹配，提升图像预测深度和相机估计姿态的更新准确度，提升相对视差图的精准度，从而进一步提升测距精准度。
相应地，本发明实施例还提供了与上述红外热成像单目视觉测距方法相对应的红外热成像单目视觉测距装置、设备和可读存储介质，具有上述技术效果，在此不再赘述。
附图说明
为了更清楚地说明本发明实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种红外热成像单目视觉测距方法的实施流程图；
图2为本发明实施例中一种红外单目测距深度神经网络输入的红外图像与输出的相对视差图的对比示意图；
图3为本发明实施例中一种使用Laplacian算子实现图像边缘的提取前后对比的红外图像示意图；
图4为本发明实施例中一种红外单目测距深度神经网络的结构示意图；
图5为本发明实施例中一种BiFPN结构示意图；
图6为本发明实施例中一种原始图像示意图；
图7为本发明实施例中一种无BiFPN的多尺度特征提取层进行特征提取后生成的相对视差图示意图；
图8为本发明实施例中一种有BiFPN的多尺度特征提取层进行特征提取后生成的相对视差图示意图；
图9为本发明实施例中一种PAnet的结构示意图；
图10为本发明实施例中一种Resnet18的一个基本模块示意图；
图11为本发明实施例中一种改进之后的Resnet18基本模块示意图；
图12为本发明实施例中一种红外热成像单目视觉测距装置的结构示意图；
图13为本发明实施例中一种红外热成像单目视觉测距设备的结构示意图。
具体实施方式
本发明的核心是提供一种红外热成像单目视觉测距方法，可以实现高精准的红外热成像单目视觉测距。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明实施例中一种红外热成像单目视觉测距方法的流程图，该方法包括以下步骤：
S101、获取红外热成像仪的内参矩阵，以及红外热成像仪针对目标对象采集生成的红外图像；
获取红外热成像仪的内参矩阵，以及该红外热成像仪针对目标对象采集生成的红外图像。本实施例中对于内参矩阵的生成方式不做限定，可以参照相关技术，为加深理解，在此介绍一种红外热成像仪的内参矩阵标定方法，可以利用特制的多圆形孔铝板标定出红外热成像仪的内参矩阵。具体地，可以在室内环境，启动红外热成像仪，待系统达到热平衡状态后，将特制的多圆形孔铝板放置于距红外热成像仪1到3米左右，采集多张红外图像，利用目前通用的技术即可标定出红外热成像仪的内参矩阵K。本实施例中仅以上述内参矩阵的生成方式为例进行介绍，其它计算以及生成方式均可参照本实施例的介绍，在此不再赘述。
将标定出内参矩阵K的红外热像仪安装到待测距的设备上(比如汽车)上，启动红外热成像仪，待系统达到热平衡状态后，针对目标对象进行图像采集，获取红外热像仪生成红外图像。
S102、调用预训练的红外单目测距深度神经网络根据内参矩阵对红外图像进行视差推理，得到相对视差图；
本申请中调用的红外单目测距深度神经网络主要用于对红外图像进行视差推理，生成相对视差图，如图2所示为一种红外单目测距深度神经网络输入的红外图像与输出的相对视差图的对比示意图。
而本实施例中对于调用的红外单目测距深度神经网络的结构以及训练方式不做限定，可以参照相关红外测距网络的相关介绍。
每个深度神经网络都需要通过损失函数来实现训练时参数的约束，目前，常见的红外单目测距深度神经网络的损失函数中包括：重投影损失函数、边缘平滑度损失函数等中的一种或多种，具体可以根据实际需要进行损失函数的配置。但是由于红外图像与可见光图像特性的不同，目前基于灰度损失和SSIM构成的光度损失函数已经不能满足红外图像单目测距的需要，具体地，将图像重建作为监督信号的原理是通过从源图像的像素点根据预测深度和相机姿态来寻找目标图像的像素点计算损失，从而更新深度和相机姿态以获得准确的深度和相机姿态。可见光图像拥有RGB三个通道的像素值，有丰富的细节纹理，因而可以比较容易的在目标图像寻找到源图像的像素点。然而红外图像缺乏纹理，当程序读取红外图像时，它的RGB三个通道为相同的像素值，因而在目标图像中寻找源图像的相同的像素点时，很容易将附近相同的像素值的像素点当成源图像的同一个像素点，这样会导致错误的深度和姿态估计。
为此，根据红外低纹理造成像素点对之间无法精准配对的问题，本申请中提出了一种针对红外图像的边缘损失函数，用以增强图像的边缘特征，避免边缘特征的弱化甚至消失。边缘损失函数为根据图像帧的边缘特征与相邻图像帧的边缘特征空间投影间的差值进行边缘损失约束的函数。在该损失函数的约束下，先提取红外图像的边缘，然后将源图像和目标图像的边缘进行匹配，由于边缘的像素点易于区分，可以比较精准的定位，从而较为准确的更新图像预测深度和相机估计姿态。
具体地，针对上述表述的一种函数表达式如下：Le＝|edge(It)-Trans(edge(It+1))|。其中，edge表示图像的边缘特征，Trans表示空间投影，保证这两个图像在空间中是对齐的，It表示t时刻的图像帧，It+1表示t+1时刻的图像帧，Le表示边缘特征值，Trans＝KTt→t+ 1Dt(p)K-1，K为内参矩阵，Tt→t+1表示t时刻图像帧与t+1时刻图像帧之间的位姿变化，Dt(p)为深度网络所估计的p点(t时刻图像帧中的一个像素点)的深度。
随着网络层次的增加，在边缘特征变模糊时，通过本实施例提供的边缘损失函数的约束增强边缘特征，保证边缘特征不消失。
如图3所示为一种使用Laplacian算子实现图像边缘的提取前后对比的红外图像示意图，可见，在本实施例提出的边缘损失函数的约束下，图像边缘特征明显，边缘特征保留程度高。
S103、根据相对视差图确定绝对深度，并将绝对深度作为测距结果。
在得到相对视差图后将其转换为绝对深度，实现方式本实施例中不做限定，可以参照相关技术中的实现方式，在此不再赘述。
得到绝对深度值后，将该绝对深度作为获取的红外图像的测距结果。
基于上述介绍，本发明实施例所提供的技术方案，基于红外图像对比度低、动态范围宽、图像不连续、信噪比低、低纹理的特性，针对用于对红外图像进行视差推理的红外单目测距深度神经网络提出了一项新的损失函数：边缘损失函数，该边缘损失函数为根据图像帧的边缘特征与相邻图像帧的边缘特征空间投影间的差值进行边缘损失约束的函数，在该损失函数的约束下，先提取红外图像的边缘，然后将源图像和目标图像的边缘进行匹配，增加边缘的像素点的区分度，基于该边缘损失函数进行网络参数约束后，红外单目测距深度神经网络可以比较精准的定位各像素点，从而可以降低图像重投影时的像素误匹配，提升图像预测深度和相机估计姿态的更新准确度，提升相对视差图的精准度，从而进一步提升测距精准度。
需要说明的是，基于上述实施例，本发明实施例还提供了相应的改进方案。在优选/改进实施例中涉及与上述实施例中相同步骤或相应步骤之间可相互参考，相应的有益效果也可相互参照，在本文的优选/改进实施例中不再一一赘述。
上述实施例中对于调用的红外单目测距深度神经网络的结构以及训练方式不做限定，本实施例中介绍一种红外单目测距深度神经网络的结构以及训练方式以供借鉴。
在输入单目的红外视频进行网络模型的训练时红外热成像仪在获取每一帧图片时红外热成像仪的位姿是在不断变化的，针对于此，可以针对位姿变化进行相对视差的估计。相应地，红外单目测距深度神经网络具体可以包括：深度估计网络以及姿态网络，其中，深度估计网络用于估计每帧图片的深度，姿态网络用于估计两帧图片之间相机的位姿变化。
在上述网络组成下的一种网络结构示意图如图4所示，针对上述网络结构，一种网络的训练方式如下：
(1)获取红外热成像仪采集生成的连续图像，第一图像以及第二图像；其中，第二图像为第一图像的相邻帧图像；
使用连续的红外视频图像帧作为数据集输入网络进行训练，假设相机连续拍摄的图像分别为It，Is。其中It是目标图像，即第一图像，Is是It的上一帧或下一帧图像，即第二图像。
(2)调用深度估计网络对第一图像进行视差计算，得到视差图；
将It送入深度估计网络得到其视差图Dt。
(3)调用姿态网络对第一图像以及第二图像进行位姿变化计算，得到位姿变化矩阵；
将It和Is送入姿势网络得到两帧之间相机的位姿变化矩阵T。
(4)根据位姿变化矩阵以及深度图调用相邻图像间像素投影关系公式对第一图像进行图像重构，得到重构第一图像；
取It图像上固定一点pt，It转化为视差图Dt之后该点变为Dt(p)，同时该点在Is上的投影点分别表示为ps。由于之前的两个网络分别得到了pt点的深度信息以及该点与上下帧该点投影点的位姿矩阵，根据像素投影的几何约束关系，pt与ps有以下的约束关系：ps＝KTt→sDt(p)K-1pt。式中K是相机内参，通过标定获取，T是姿态网络所得到的连续帧之间的位姿矩阵，Dt(p)是深度网络所估计的pt点的深度。
如果t时刻图片每一点的深度Dt和t时刻与s时刻之间的位姿变化T都能获取的话，那就可以建立t时刻图片与其上下帧图片每一像素点之间的对应关系。因此将一点的关系推广到整幅图像，得到It上的每一点的深度和Tt→s，就能重构出一幅图像
Figure BDA0003071677120000081
因此，本实施例中根据位姿变化矩阵以及深度图调用相邻图像间像素投影关系公式对第一图像进行图像重构，得到重构第一图像。
(5)根据重构第一图像以及第一图像进行网络训练。
重构出的图像
Figure BDA0003071677120000082
与真实图像It之间的差异就构成了训练过程的监督信号，通过训练将
Figure BDA0003071677120000083
不断逼近于It，就能得到越接近于真实值的Dt。
需要说明的是，在本实施例介绍的网络训练过程中并没有用到真实的深度信息，因此本发明的方法是完全无监督的。
本实施例中仅以基于位姿视差估计对红外单目测距深度神经网络结构以及训练过程进行介绍，基于其他类型的网络结构以及训练过程均可参照本实施例的介绍，在此不再赘述。
另外，上述实施例中针对红外单目测距深度神经网络的损失函数提出其中需要包括本申请所提出的边缘损失函数，而在边缘损失函数外，也可以进一步包括其它类型的一个或多个损失函数，比如重投影损失函数等。
为了提升位姿矩阵以及视差估计效果，在在边缘损失函数之外，本实施例中提出可以进一步设置重投影损失函数和边缘平滑损失函数，以便于更好的衡量重投影误差、消除视差图的噪声，则同时根据重投影损失函数、边缘平滑损失函数以及边缘损失函数进行网络参数的优化约束。
(1)为了同时从整体和细节来更好的衡量重投影误差，重投影损失函数也可以由两个部分组成，分别是结构相似性度量函数和L1范数损失函数。表达式如下：
Figure BDA0003071677120000091
其中，SSIM的表达式为：
Figure BDA0003071677120000092
其中，μ是平均值，在损失函数中就是图像像素点的平均值，μx为x方向的平均值，μy为Y方向的平均值，σ是方差，σx为x方向的方差，σy为y方向的方差，σxy为x方向和Y方向的整体方差，在损失函数中也就代表像素点的方差，C是用来维持稳定的常数。SSIM的取值范围是0到1，两幅图像越是相似，SSIM的值就越接近1。这里的超参数α的取值具体可以选用0.85。
在两个连续图像计算重投影误差时，现有的自我监督深度估计方法会将重投影误差平均到两个图像中，这可能会导致较高的光度误差。这种有问题的像素主要来自两类：由于图像边界处的自运动而导致的视线外的像素，以及被遮挡的像素。可以通过在重投影损失中掩盖此类像素来减少视线外像素的影响，但这不能解决遮挡问题，因为平均重投影会导致模糊的深度不连续性。
本申请借鉴Monodepth2的方法。在每个像素上没有对两个上下帧图像平均光度误差，而是仅使用最小值。因此，本实施例中最终的每像素光度损失函数为：
Figure BDA0003071677120000101
(2)边缘平滑损失用于消除视差图中的噪声，深度梯度感知项使输出视差图更平滑，同时边缘感知项则鼓励模型更好的学习物体边缘信息。
表达式如下：
Figure BDA0003071677120000102
其中，Ls为损失函数，dt为深度图。
最终的红外单目测距深度神经网络的损失函数就是重投影损失函数、边缘平滑度损失函数以及边缘损失函数的组合。而三种损失函数的组合方式本实施例中不做限定，比如可以选用重投影损失函数、边缘平滑度损失函数以及边缘损失函数的加权和，即损失函数为：
Figure BDA0003071677120000103
其中μ、λ、β为三个超参数，表示每个损失的重要程度，满足μ+λ+β＝1。
其中，对于加权值μ，可以将自动掩膜损失函数作为该加权值，自动掩膜损失函数
Figure BDA0003071677120000104
其中[]是艾弗森(Iverson)括号。在照相机和另一个物体都以相似的速度移动的情况下，μ可防止图像中保持静止的像素损失很小而不利于梯度下降。同样，当相机静止时，该损失可以滤除图像中的所有像素。
为加深理解，在次介绍一种基于上述损失函数设置下的网络训练方式，具体如下：使用操作系统为Ubuntu 18.04的计算机，红外单目测距深度神经网络的训练和测试模型可以在Pytorch1.4架构下搭建，所使用的服务器可以为RTX6000。数据集使用HD1280红外相机采集，供训练的数据集一共有19000张，另外1000张作验证集。总的损失函数中三个超参数分别设置为μ＝0.7、λ＝0.2、β＝0.1。红外单目测距深度神经网络可以使用Adam梯度下降法训练20轮，批处理大小为12，输入/输出分辨率为640*192。对于前15轮，学习率大小为10-4，剩下的5轮，将学习率降至10-5后红外单目测距深度神经网络训练完成。
基于上述实施例，目前，在红外单目测距深度神经网络的多尺度特征提取中通常采用在四个不同尺度的视差图都上采样到原图像分辨率上计算损失的方式，该方式忽略了不同尺度之间的关联性。基于此，本实施例中提出一种可以提升特征提取效果的方法。
具体地，可以在红外单目测距深度神经网络的多尺度特征提取层中设置BiFPN层，在多尺度特征提取层中增加BiFPN层，如图5所示为一种BiFPN结构示意图，BiFPN层用于根据不同尺度视差图之间的关联性加强特征融合，BiFPN层通过下采样上采样和跨越链接来加强不同尺度之间特征融合的效果，可以更好的利用不同尺度视差图之间的关联性，以解决视差图像边缘模糊的问题。如图6所示为一种原始图像示意图，图7所示为一种无BiFPN的多尺度特征提取层进行特征提取后生成的相对视差图示意图，图8所示为一种有BiFPN的多尺度特征提取层进行特征提取后生成的相对视差图示意图，经过对比可见，加入BiFPN多尺度特征融合之后，图像的细节更加明显，边缘更加清晰。比如图中电线杆和自行车，加入BiFPN结构之后，边缘模糊问题有了明显的改善。
具体地，BiFPN是在PAnet的基础上改进得到，一种PAnet的结构如图9所示。调用BiFPN层根据不同尺度视差图之间的关联性加强特征融合时，首先删除那些只有一个输入边的节点。如果一个节点只有一个输入边且没有特征融合，那么它将对旨在融合不同特征的特征网络贡献较小。这导致简化的双向网络。其次，如果原始输入与输出节点处于同一级别，则在原始输入和输出节点之间添加一条额外的边，以便在不增加成本的情况下融合更多功能。第三，与PANet仅具有一个自上而下和一个自下而上的路径不同，将每个双向(自上而下和自下而上)路径视为一个特征网络层，并重复相同的层多次以启用更多高级特征融合。当融合具有不同分辨率的特征时，一种常见的方法是先将它们的大小调整为相同的分辨率，然后对其进行汇总。金字塔注意力网络引入了全局自注意力上采样以恢复像素定位。以前的所有方法均等地对待所有输入特征，没有区别。但是，经申请人研究发现，由于不同的输入特征图的分辨率不同，因此它们通常对输出特征图的贡献不均。为了解决这个问题，可以为每个输入增加一个额外的权重，并让网络学习每个输入功能的重要性。具体地，本实施例中提出了一种加权融合方法：
快速归一化融合方法如下所示：
Figure BDA0003071677120000121
其中wi≥0是通过在每个wi之后应用Relu来确保的，而ε＝0.0001是一个小数值，以避免数值不稳定。同样，每个归一化权重的值也介于0和1之间。一种BiFPN第三层的输出如下：
Figure BDA0003071677120000122
Figure BDA0003071677120000123
其中
Figure BDA0003071677120000124
是自顶向下路径上第3级的中间特征，
Figure BDA0003071677120000125
是第3级的输入特征，
Figure BDA0003071677120000126
是第4级的输入特征，
Figure BDA0003071677120000127
是自下而上路径上第3级的输出特征，而
Figure BDA0003071677120000128
是自下而上路径上第3级的输出特征，w1为第1级的权重，w2为第2级的权重，w3为第3级的权重。所有其他特征均以类似方式构造。值得注意的是，为了进一步提高效率，本实施例中使用深度可分离卷积进行特征融合，并在每次卷积后添加批处理规范化和激活。
本实施例中将双向特征金字塔网络(BiFPN)应用于多尺度视差图的特征融合，可以解决视差图边缘模糊问题。
另外，目前通用的单目视觉测距网络模型中的残差网络通常是以Resnet18网络为基础来搭建的，Resnet18的一个基本模块如图10所示。而经过实践申请人发现，基于Resnet18搭建残差网络时计算量大，会进一步导致整体复杂大，对于应用设备要求高，且计算效率低。
为进一步解决上述问题，本实施例中提出不再单纯的使用Resnet18网络作为深度以及姿势估计网络(一种残差网络)，而是使用CSPNet网络对原先的Resnet18网络进行改进。改进之后的Resnet18基本模块如图11所示。CSPNet的主要工作思想是将特征图拆成两个部分，一部分进行卷积操作，另一部分和上一部分卷积操作的结果直接进行拼接。采用CSPNet作为残差网络可以很大程度上减少计算量同时降低内存成本，并且使用该结构可以增强CNN的学习能力，降低网络复杂度，能够在系统轻量化的同时保持计算的准确性，便于将算法移植到低端的AI处理芯片。
相应于上面的方法实施例，本发明实施例还提供了一种红外热成像单目视觉测距装置，下文描述的红外热成像单目视觉测距装置与上文描述的红外热成像单目视觉测距方法可相互对应参照。
参见图12所示，该装置包括以下模块：
数据获取单元110主要用于获取红外热成像仪的内参矩阵，以及红外热成像仪针对目标对象采集生成的红外图像；
网络推理单元120主要用于调用预训练的红外单目测距深度神经网络根据内参矩阵对红外图像进行视差推理，得到相对视差图；其中，红外单目测距深度神经网络的损失函数中包括边缘损失函数，边缘损失函数为根据图像帧的边缘特征与相邻图像帧的边缘特征空间投影间的差值进行边缘损失约束的函数；
深度计算单元130主要用于根据相对视差图确定绝对深度，并将绝对深度作为测距结果。
相应于上面的方法实施例，本发明实施例还提供了一种红外热成像单目视觉测距设备，下文描述的一种红外热成像单目视觉测距设备与上文描述的一种红外热成像单目视觉测距方法可相互对应参照。
该红外热成像单目视觉测距设备包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序时实现上述方法实施例的红外热成像单目视觉测距方法的步骤。
具体的，请参考图13，为本实施例提供的一种红外热成像单目视觉测距设备的具体结构示意图，该红外热成像单目视觉测距设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)322(例如，一个或一个以上处理器)和存储器332，存储器332存储有一个或一个以上的计算机应用程序342或数据344。其中，存储器332可以是短暂存储或持久存储。存储在存储器332的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对数据处理设备中的一系列指令操作。更进一步地，处理器322可以设置为与存储器332通信，在红外热成像单目视觉测距设备301上执行存储器332中的一系列指令操作。
红外热成像单目视觉测距设备301还可以包括一个或一个以上电源326，一个或一个以上有线或无线网络接口350，一个或一个以上输入输出接口358，和/或，一个或一个以上操作系统341。
上文所描述的红外热成像单目视觉测距方法中的步骤可以由红外热成像单目视觉测距设备的结构实现。
相应于上面的方法实施例，本发明实施例还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的一种红外热成像单目视觉测距方法可相互对应参照。
一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的红外热成像单目视觉测距方法的步骤。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
本领域技术人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

Claims (10)

1.一种红外热成像单目视觉测距方法，其特征在于，包括：
获取红外热成像仪的内参矩阵，以及所述红外热成像仪针对目标对象采集生成的红外图像；
调用预训练的红外单目测距深度神经网络根据所述内参矩阵对所述红外图像进行视差推理，得到相对视差图；其中，所述红外单目测距深度神经网络的损失函数中包括边缘损失函数，所述边缘损失函数为根据图像帧的边缘特征与相邻图像帧的边缘特征空间投影间的差值进行边缘损失约束的函数；
根据所述相对视差图确定绝对深度，并将所述绝对深度作为测距结果。
2.根据权利要求1所述的红外热成像单目视觉测距方法，其特征在于，所述红外单目测距深度神经网络的多尺度特征提取层中包括BiFPN层，所述BiFPN层用于根据不同尺度视差图之间的关联性加强特征融合。
3.根据权利要求1所述的红外热成像单目视觉测距方法，其特征在于，所述红外单目测距深度神经网络的残差网络采用CSPNet网络。
4.根据权利要求1所述的红外热成像单目视觉测距方法，其特征在于，所述红外单目测距深度神经网络包括深度估计网络以及姿态网络。
5.根据权利要求4所述的红外热成像单目视觉测距方法，其特征在于，所述红外单目测距深度神经网络的训练方法包括：
获取所述红外热成像仪采集生成的连续图像，第一图像以及第二图像；其中，所述第二图像为第一图像的相邻帧图像；
调用所述深度估计网络对所述第一图像进行深度计算，得到深度图；
调用所述姿态网络对所述第一图像以及所述第二图像进行位姿变化计算，得到位姿变化矩阵；
根据所述位姿变化矩阵以及所述深度图调用相邻图像间像素投影关系公式对所述第一图像进行图像重构，得到重构第一图像；
根据所述重构第一图像以及所述第一图像进行网络训练。
6.根据权利要求1所述的红外热成像单目视觉测距方法，其特征在于，所述损失函数中还包括：重投影损失函数以及边缘平滑度损失函数。
7.根据权利要求6所述的红外热成像单目视觉测距方法，其特征在于，所述损失函数为所述重投影损失函数、所述边缘平滑度损失函数以及所述边缘损失函数的加权和。
8.一种红外热成像单目视觉测距装置，其特征在于，包括：
数据获取单元，用于获取红外热成像仪的内参矩阵，以及所述红外热成像仪针对目标对象采集生成的红外图像；
网络推理单元，用于调用预训练的红外单目测距深度神经网络根据所述内参矩阵对所述红外图像进行视差推理，得到相对视差图；其中，所述红外单目测距深度神经网络的损失函数中包括边缘损失函数，所述边缘损失函数为根据图像帧的边缘特征与相邻图像帧的边缘特征空间投影间的差值进行边缘损失约束的函数；
深度计算单元，用于根据所述相对视差图确定绝对深度，并将所述绝对深度作为测距结果。
9.一种红外热成像单目视觉测距设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述红外热成像单目视觉测距方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述红外热成像单目视觉测距方法的步骤。
CN202110541321.2A 2021-05-18 2021-05-18 一种红外热成像单目视觉测距方法及相关组件 Active CN113140011B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110541321.2A CN113140011B (zh) 2021-05-18 2021-05-18 一种红外热成像单目视觉测距方法及相关组件
PCT/CN2021/099057 WO2022241874A1 (zh) 2021-05-18 2021-06-09 一种红外热成像单目视觉测距方法及相关组件

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110541321.2A CN113140011B (zh) 2021-05-18 2021-05-18 一种红外热成像单目视觉测距方法及相关组件

Publications (2)

Publication Number Publication Date
CN113140011A CN113140011A (zh) 2021-07-20
CN113140011B true CN113140011B (zh) 2022-09-06

Family

ID=76817558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110541321.2A Active CN113140011B (zh) 2021-05-18 2021-05-18 一种红外热成像单目视觉测距方法及相关组件

Country Status (2)

Country Link
CN (1) CN113140011B (zh)
WO (1) WO2022241874A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114037087B (zh) * 2021-10-29 2024-02-09 北京百度网讯科技有限公司 模型训练方法及装置、深度预测方法及装置、设备和介质
CN116051632B (zh) * 2022-12-06 2023-12-05 中国人民解放军战略支援部队航天工程大学 一种双通道transformer卫星六自由度姿态估计算法
CN115958605B (zh) * 2023-01-09 2024-06-21 成都理工大学 单目红外热成像视觉机械手抓取物体姿态估计装置及方法
CN116168070B (zh) * 2023-01-16 2023-10-13 南京航空航天大学 一种基于红外图像的单目深度估计方法及系统
CN116245927B (zh) * 2023-02-09 2024-01-16 湖北工业大学 一种基于ConvDepth的自监督单目深度估计方法及系统
CN116524017B (zh) * 2023-03-13 2023-09-19 明创慧远科技集团有限公司 一种用于矿山井下检测识别定位系统
CN116524201B (zh) * 2023-03-29 2023-11-17 锋睿领创(珠海)科技有限公司 多尺度门控融合单元的特征提取方法、装置、设备及介质
CN117197229B (zh) * 2023-09-22 2024-04-19 北京科技大学顺德创新学院 一种基于亮度对齐的多阶段估计单目视觉里程计方法
CN117152397B (zh) * 2023-10-26 2024-01-26 慧医谷中医药科技(天津)股份有限公司 一种基于热成像投影的三维人脸成像方法及系统
CN117670753B (zh) * 2024-01-30 2024-06-18 浙江大学金华研究院 基于深度多亮度映射无监督融合网络的红外图像增强方法
CN117930224B (zh) * 2024-03-19 2024-06-18 山东科技大学 一种基于单目视觉深度估计的车辆测距方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087349A (zh) * 2018-07-18 2018-12-25 亮风台（上海）信息科技有限公司 一种单目深度估计方法、装置、终端和存储介质
WO2019223382A1 (zh) * 2018-05-22 2019-11-28 深圳市商汤科技有限公司 单目深度估计方法及其装置、设备和存储介质
CN111105432A (zh) * 2019-12-24 2020-05-05 中国科学技术大学 基于深度学习的无监督端到端的驾驶环境感知方法
CN111462206A (zh) * 2020-03-24 2020-07-28 合肥的卢深视科技有限公司 一种基于卷积神经网络的单目结构光深度成像方法
CN111899295A (zh) * 2020-06-06 2020-11-06 东南大学 一种基于深度学习的单目场景深度预测方法
CN112051853A (zh) * 2020-09-18 2020-12-08 哈尔滨理工大学 基于机器视觉的智能避障系统及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106918321A (zh) * 2017-03-30 2017-07-04 西安邮电大学 一种利用图像上目标物视差进行测距的方法
JP2019148865A (ja) * 2018-02-26 2019-09-05 パナソニックＩｐマネジメント株式会社 識別装置、識別方法、識別プログラムおよび識別プログラムを記録した一時的でない有形の記録媒体
CN110108253B (zh) * 2019-05-31 2022-07-12 烟台艾睿光电科技有限公司 单目红外热像仪的测距方法、装置、设备及可读存储设备
CN111340867B (zh) * 2020-02-26 2022-10-18 清华大学 图像帧的深度估计方法、装置、电子设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019223382A1 (zh) * 2018-05-22 2019-11-28 深圳市商汤科技有限公司 单目深度估计方法及其装置、设备和存储介质
CN109087349A (zh) * 2018-07-18 2018-12-25 亮风台（上海）信息科技有限公司 一种单目深度估计方法、装置、终端和存储介质
CN111105432A (zh) * 2019-12-24 2020-05-05 中国科学技术大学 基于深度学习的无监督端到端的驾驶环境感知方法
CN111462206A (zh) * 2020-03-24 2020-07-28 合肥的卢深视科技有限公司 一种基于卷积神经网络的单目结构光深度成像方法
CN111899295A (zh) * 2020-06-06 2020-11-06 东南大学 一种基于深度学习的单目场景深度预测方法
CN112051853A (zh) * 2020-09-18 2020-12-08 哈尔滨理工大学 基于机器视觉的智能避障系统及方法

Also Published As

Publication number Publication date
WO2022241874A1 (zh) 2022-11-24
CN113140011A (zh) 2021-07-20

Similar Documents

Publication Publication Date Title
CN113140011B (zh) 一种红外热成像单目视觉测距方法及相关组件
CN110782490B (zh) 一种具有时空一致性的视频深度图估计方法及装置
CN102472622B (zh) 距离推定装置以及距离推定方法
CN111343367B (zh) 一种十亿像素虚拟现实视频采集装置、系统与方法
CN112967341B (zh) 基于实景图像的室内视觉定位方法、系统、设备及存储介质
CN113077505B (zh) 一种基于对比学习的单目深度估计网络的优化方法
CN110942484B (zh) 基于遮挡感知和特征金字塔匹配的相机自运动估计方法
CN112927279A (zh) 一种图像深度信息生成方法、设备及存储介质
CN112270688A (zh) 一种前景提取方法、装置、设备及存储介质
CN113724155B (zh) 用于自监督单目深度估计的自提升学习方法、装置及设备
CN113393577B (zh) 一种倾斜摄影地形重建方法
CN112233179A (zh) 一种视觉里程计测量方法
CN112927251A (zh) 基于形态学的场景稠密深度图获取方法、系统及装置
CN115035171A (zh) 基于自注意力导向特征融合的自监督单目深度估计方法
CN116977674A (zh) 图像匹配方法、相关设备、存储介质及程序产品
CN116468769A (zh) 一种基于图像的深度信息估计方法
CN110111341B (zh) 图像前景获取方法、装置及设备
CN105574844B (zh) 辐射响应函数估计方法和装置
CN112184809A (zh) 相对位姿的估计方法、装置、电子设备及介质
CN110717593B (zh) 神经网络训练、移动信息测量、关键帧检测的方法及装置
CN108492308B (zh) 一种基于相互结构引导滤波的变分光流的确定方法及系统
CN116129318A (zh) 一种基于视频序列和预训练实例分割的无监督单目三维目标检测方法
CN114022630A (zh) 三维场景的重建方法、装置、设备和计算机可读存储介质
CN114494574A (zh) 一种多损失函数约束的深度学习单目三维重建方法及系统
CN113066165A (zh) 多阶段无监督学习的三维重建方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210720

Assignee: INFIRAY TECHNOLOGIES CO.,LTD.

Assignor: Yantai Airui Photo-Electric Technology Co.,Ltd.

Contract record no.: X2024980006380

Denomination of invention: A monocular vision ranging method and related components for infrared thermal imaging

Granted publication date: 20220906

License type: Common License

Record date: 20240530

EE01 Entry into force of recordation of patent licensing contract