CN115861763B - 一种多光谱多视角环境感知方法 - Google Patents
一种多光谱多视角环境感知方法 Download PDFInfo
- Publication number
- CN115861763B CN115861763B CN202310182617.9A CN202310182617A CN115861763B CN 115861763 B CN115861763 B CN 115861763B CN 202310182617 A CN202310182617 A CN 202310182617A CN 115861763 B CN115861763 B CN 115861763B
- Authority
- CN
- China
- Prior art keywords
- parallax
- representing
- depth
- different
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000004927 fusion Effects 0.000 claims abstract description 14
- 238000001228 spectrum Methods 0.000 claims abstract description 12
- 238000009434 installation Methods 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000010606 normalization Methods 0.000 claims description 13
- 230000008447 perception Effects 0.000 claims description 12
- 238000000354 decomposition reaction Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000004069 differentiation Effects 0.000 claims description 2
- 238000007499 fusion processing Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 238000013461 design Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
该发明公开了一种多光谱多视角环境感知方法,涉及计算机视觉领域。利用在多模态数据融合中经常被规避和忽略的视差信息,推算深度信息,为了产生显著的视差信息,针对性的设计长基线安装方案,利用深度信息和多光谱信息融合进行环境感知,有效的提高环境感知的准确性。
Description
技术领域
本发明涉及计算机视觉领域。具体涉及到一种多光谱多视角环境感知方法。
背景技术
多光谱多传感器环境感知是提升环境感知任务鲁棒性的重要途径,以往的多光谱多传感器环境感知方案采用多个传感器采集不同波段的图像,为了更好的融合多个传感器拍摄的图像,传感器之间的基线往往设计的较小,以规避两种波段图像之间的视差,方便下游任务的处理。视差会导致不同图像之间存在偏移,对于同时利用不同波段图像进行环境感知的方案而言,不同波段的图像存在的偏移会对环境感知的结果造成干扰。太短的基线虽然能够减小图像之间的视差,避免了图像配准的流程。但也损失了环境感知的一种潜在的线索,深度信息。深度信息和视差信息存在一一对应的关系,在不存在坐标系旋转的情况下视差和深度成反比,和基线长度成正比。不同波段图像的视差如果能够准确解算,则可以利用视差对图像进行配准。并根据解算出来的视差计算深度信息。进而可以利用深度线索,融合多光谱图像序列,进一步提高环境感知的准确性。
发明内容
本发明的目的在于提供一种减小视差的多光谱多视角环境感知方法。
本发明针对多光谱多传感器数据采集,设计合理的基线长度可以获取明显的视差信息,利用视差信息,可以提高环境感知的准确性。
本发明技术方案为:一种多光谱多视角环境感知方法,其特征在于,包括以下步骤:
S1、根据探测器探测范围,设计基线长度,将不同光谱的摄像机放置在同一个基线长度为的两端;基线长度
/f,其中,表示探测器焦距,表示视差,表示深度;工作距离需要符合下式(1):
(1)
其中,
P表示根据实际需要设定的阈值;对遮挡的要求:限定遮挡的区域对应的圆心角小于,则:
(2)
根据式(1)(2),在确定,,的要求下,求得的范围;同时由深度和视差的偏微分为:
(3)
为了让深度估计更加准确,在容许的范围内取最小,取最大值,为最优的;
S2、为消除安装偏差,摄像机需要提前标定,确定好其坐标旋转矩阵
R和基线长度;
S3、利用部署在基线两端的不同光谱的摄像机采集到不同视角的画面对;分别表示两端摄像机采集的画面;
S4、利用视差计算模型计算多光谱多视角相机之间的视差,并得到深度;
视差计算网络将作为固定图像,将作为匹配图像,和数据进行视差计算;配准网络采用编码器解码器结构生成视差;和采用独立的解码器,和,使用Tiny配置下的MSCAN模块作为基础解码器,该解码器包括4个阶段,每个阶段分辨率分别为原先的1/4,1/8,1/16,1/32,对应的通道数为32,64,160,256;
编码器直接对原始图像进行处理,得到特征
R和特征
T:
(4)
R和T由不同尺度的特征组成其中下标为编码器阶段,不同阶段输出的特征其尺度不同;R和T内各元素表示提取到的对应特征;
相同尺度的特征通道相等,初步的特征融合模块,使用加权相加和相乘来对模态特征R和T做初步的融合处理;
具体过程如式(5)所示:
(5)
其中,为初步融合后的特征,为学习的参数;利用式(6)(7)进行参数的更新:
(6)
(7)
其中,表示更新后的学习参数,表示线性整流函数,的尺度不同,将上采样为的大小,为用于防止分母为零导致计算溢出的小数,然后将上采样之后的特征进行通道合并得到:
(8)
其中表示将进行二次线性插值到大小,的分辨率为原始输入分辨率的1/4,通道数为512;
将依次通过卷积层、组数为32的组归一化层和RELU非线性层,将通道数变更为256,得到
M,将
M进行矩阵分解, 然后依次利用卷积层、组数为32的组归一化层和激活函数,对矩阵分解的得到的
V进行进一步处理,得到K具体计算过程如下:
(9)
(10)
(11)
其中,表示组归一化,表示卷积,表示对进行矩阵分解;
最后依次利用卷积层、批归一化、Tanh非线性层,将K转化为我们需要视差数据;使用Tanh非线性层的一个考虑是需要将视差数据限制在有效范围[-1,1]之内:
(12)
其中,
K表示公式(11)的计算结果;
S5、利用视差对 进行配准得到;
S6、将深度和多光谱图像一起输入到多模态融合的环境感知模型中,执行感知任务。
本发明的多光谱多视角环境感知方法,利用在多模态数据融合中经常被规避和忽略的视差信息,推算深度信息,为了产生显著的视差信息,针对性的设计长基线安装方案,利用深度信息和多光谱信息融合进行环境感知,有效的提高环境感知的准确性。
附图说明
图1为整个方法的流程示意图;
图2为两部相机的遮挡模型示意图;
图3为计算多光谱多视角相机之间的视差中的解码器示意图;图中,1.初步特征融合,2.上采样,3.合并,4.卷积,5.组归一化,6.线性整流图中,1.初步特征融合,2.上采样,3.合并,4.卷积,5.组归一化,6.线性整流,7.矩阵分解,8.泄露线性整流,9.批归一化,10.双曲正切,7.矩阵分解,8.泄露线性整流,9.批归一化,10.双曲正切;
图4为计算多光谱多视角相机之间的视差中初步的特征融合模块示意图。
实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施例和附图,对本发明作进一步的详细说明,本发明的示意性实施方式及其说明仅用于解释本发明,并不作为对本发明的限定。
如图1所示,不同于传统的多光谱多传感器需要设计较短的基线以消除视差的影响,本方案通过视差生成模型生成视差信息,并利用视差信息解算深度信息,将深度线索和多光谱线索融合进行环境感知,直接将被视为干扰的视差利用,多传感器之间的基线可以根据探测器探测范围进行合理调整,具体步骤为:
步骤1、根据探测器探测范围,设计基线长度,将不同光谱的摄像机放置在同一个基线长度为的两端。在不考虑旋转矩阵的情况下,视差和深度的关系:
如图2所示,同时要求遮挡尽可能的小,使用简化的模型评估遮挡,左右相机的均能够看到球的一半;考虑5m到50m探测范围内需要产生显著性的视差(大于4个像素,设像素大小为12u),对于焦距的成像系统,基线长度
B 0=
SD/f=4*12e-6*50/0.012=20cm。
步骤2、根据步骤1提出的设计指标,将多光谱相机距离20cm安装。安装之后利用双目立体标定,设计针对不同波段的标定靶标,采集同一靶标在不同相机下的多张成像画面。进行标定。确定好其坐标旋转矩阵
R和基线长度;(标定方法,参考张正友标定法)。
步骤3、利用部署在基线两端的不同光谱的摄像机采集到不同视角的画面对;
步骤4、如图3所示本发明设计了对应的解码器,利用视差计算模型计算多光谱多视角相机之间的视差,并得到深度,一种视差计算模型使用编码器解码器网络对输入的进行隐式的特征提取与匹配,得到视差,并根据视差和深度的关系,计算深度;
如图4所示为本发明的初步特征融合模块,该初步特征融合模块的具体过程如式(5)所示:
(5)
其中为初步融合后的特征,为学习的参数;利用式(6)(7)进行参数的更新:
(6)
(7)
的尺度不同,将上采样为的大小,为用于防止分母为零导致计算溢出的小数,然后将上采样之后的特征进行通道合并得到:
(8)
其中,表示将进行二次线性插值到大小,的分辨率为原始输入分辨率的1/4,通道数为512;
将依次通过卷积层、组数为32的组归一化层和RELU非线性层,将通道数变更为256,得到
M,将
M进行矩阵分解, 然后依次利用卷积层、组数为32的组归一化层和激活函数,对矩阵分解的得到的
V进行进一步处理,得到K具体计算过程如下:
(9)
(10)
(11)
其中表示对进行矩阵分解;
最后依次利用卷积层、批归一化、非线性层,将K转化为视差数据;使用Tanh非线性层的一个考虑是需要将视差数据限制在有效范围[-1,1]之内:
(12)
步骤5、利用视差对 进行配准得到,表示标准化函数,表示非线性变换函数;
步骤6、将深度和多光谱图像一起输入到多模态融合的环境感知模型中,执行感知任务(如目标检测和语义分割等)。
利用本发明的多光谱多视角环境感知,利用在多模态数据融合中经常被规避和忽略的视差信息,推算深度信息,为了产生显著的视差信息,针对性的设计长基线安装方案,利用深度信息和多光谱信息融合进行环境感知,可有效的提高环境感知的准确性。本发明公开了多光谱多视角环境感知方法,所述多光谱多视角感知方法包括基线设计,多光谱相机安装,相机参数标定,多光谱图像序列拍摄,视差计算,深度推算以及融合深度信息和多光谱信息的环境感知环节。通过对视差信息的有效提取,将深度信息和多光谱信息结合,有效提高环境感知的效果。
对比不同编码器下,使用本发明所提出的配准模块和不使用配准模块下的RGB-T语义分割的表现,其中mAcc和mIoU是常见的评价语义分割的指标,可以看出添加了本发明所提出的配准模块之后,整体模型的语义分割在mAcc和mIoU指标均取得了不错了提升,特别是mAcc指标,均取得了2~5个百分点的提升。
表1.加了配准模块和不加配准模块效果对比,每轮实验训练4次,按最优(平均)记录
Claims (1)
1.一种多光谱多视角环境感知方法,其特征在于,包括以下步骤:
S1、根据探测器探测范围,设计基线长度,将不同光谱的摄像机放置在同一个基线长度为的两端;基线长度 /f,其中,表示探测器焦距,表示视差,表示深度;工作距离需要符合下式(1):
(1)
其中,P表示根据实际需要设定的阈值,对遮挡的要求:限定遮挡的区域对应的圆心角小于,则:
(2)
根据式(1)(2),在确定,,的要求下,求得的范围;同时由深度和视差的偏微分为:
(3)
为了让深度估计更加准确,在容许的范围内取最小,取最大值,为最优的;
S2、为消除安装偏差,摄像机需要提前标定,确定好其坐标旋转矩阵和基线长度;
S3、利用部署在基线两端的不同光谱的摄像机采集到不同视角的画面对;分别表示两端摄像机采集的画面;
S4、利用视差计算模型计算多光谱多视角相机之间的视差,并得到深度;
视差计算网络将作为固定图像,将作为匹配图像,和数据进行视差计算;配准网络采用编码器解码器结构生成视差;和采用独立的解码器,和,使用Tiny配置下的MSCAN模块作为基础解码器,该解码器包括4个阶段,每个阶段分辨率分别为原先的1/4,1/8,1/16,1/32,对应的通道数为32,64,160,256;
编码器直接对原始图像进行处理,得到特征R和特征T:
(4)
R和T由不同尺度的特征组成其中下标为编码器阶段,不同阶段输出的特征其尺度不同;R和T内各元素表示提取到的对应特征;
相同尺度的特征通道相等,初步的特征融合模块,使用加权相加和相乘来对模态特征R和T做初步的融合处理;
具体过程如式(5)所示:
(5)
其中为初步融合后的特征,为学习参数;利用式(6)进行参数的更新:
(6)
其中,表示更新后的学习参数,表示线性整流函数,的尺度不同,将上采样为的大小,为用于防止分母为零导致计算溢出的小数,然后将上采样之后的特征进行通道合并得到:
(7)
其中表示将进行二次线性插值到大小,的分辨率为原始输入分辨率的1/4,通道数为512;
将依次通过卷积层、组数为32的组归一化层和RELU非线性层,将通道数变更为256,得到M,将M进行矩阵分解, 然后依次利用卷积层、组数为32的组归一化层和激活函数,对矩阵分解的得到的V进行进一步处理,得到K具体计算过程如下:
(8)
(9)
(10)
其中,表示组归一化,表示卷积,表示对进行矩阵分解;
最后依次利用卷积层、批归一化、Tanh非线性层,将K转化为我们需要视差数据;使用Tanh非线性层的一个考虑是需要将视差数据限制在有效范围[-1,1]之内:
(11)
其中,K表示公式(11)的计算结果;
S5、利用视差对 进行配准得到,表示标准化函数,表示非线性变换函数;
S6、将深度和多光谱图像一起输入到多模态融合的环境感知模型中,执行感知任务。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310182617.9A CN115861763B (zh) | 2023-03-01 | 2023-03-01 | 一种多光谱多视角环境感知方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310182617.9A CN115861763B (zh) | 2023-03-01 | 2023-03-01 | 一种多光谱多视角环境感知方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115861763A CN115861763A (zh) | 2023-03-28 |
CN115861763B true CN115861763B (zh) | 2023-04-25 |
Family
ID=85659451
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310182617.9A Active CN115861763B (zh) | 2023-03-01 | 2023-03-01 | 一种多光谱多视角环境感知方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115861763B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109584210A (zh) * | 2018-10-30 | 2019-04-05 | 南京理工大学 | 多光谱三维静脉显像系统 |
CN110827415A (zh) * | 2019-11-11 | 2020-02-21 | 吉林大学 | 一种全天候未知环境无人自主工作平台 |
CN110889364A (zh) * | 2019-11-21 | 2020-03-17 | 大连理工大学 | 一种利用红外传感器和可见光传感器构建栅格地图的方法 |
CN112862871A (zh) * | 2021-01-20 | 2021-05-28 | 华中科技大学 | 图像融合方法及装置 |
CN115311184A (zh) * | 2022-08-09 | 2022-11-08 | 山东师范大学 | 基于半监督深度神经网络的遥感图像融合方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114494918A (zh) * | 2020-11-11 | 2022-05-13 | 京东方科技集团股份有限公司 | 目标识别方法及系统、可读存储介质 |
-
2023
- 2023-03-01 CN CN202310182617.9A patent/CN115861763B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109584210A (zh) * | 2018-10-30 | 2019-04-05 | 南京理工大学 | 多光谱三维静脉显像系统 |
CN110827415A (zh) * | 2019-11-11 | 2020-02-21 | 吉林大学 | 一种全天候未知环境无人自主工作平台 |
CN110889364A (zh) * | 2019-11-21 | 2020-03-17 | 大连理工大学 | 一种利用红外传感器和可见光传感器构建栅格地图的方法 |
CN112862871A (zh) * | 2021-01-20 | 2021-05-28 | 华中科技大学 | 图像融合方法及装置 |
CN115311184A (zh) * | 2022-08-09 | 2022-11-08 | 山东师范大学 | 基于半监督深度神经网络的遥感图像融合方法及系统 |
Non-Patent Citations (1)
Title |
---|
王硕 ; 王亚飞 ; .基于多流对极卷积神经网络的光场图像深度估计.计算机应用与软件.2020,(第08期),第200-207页. * |
Also Published As
Publication number | Publication date |
---|---|
CN115861763A (zh) | 2023-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5567179B2 (ja) | ステレオ画像処理装置およびステレオ画像処理方法 | |
CN108510551B (zh) | 一种远距离大视场条件下相机参数的标定方法及系统 | |
CN110517325B (zh) | 一种坐标变换及坐标变换的车身周围物体定位方法和系统 | |
CN110264528B (zh) | 一种鱼眼镜头双目像机快速自标定方法 | |
CN111667536A (zh) | 一种基于变焦相机深度估计的参数标定方法 | |
CN112085801B (zh) | 基于神经网络的三维点云和二维图像融合的校准方法 | |
CN112200203B (zh) | 斜视场下弱相关散斑图像的匹配方法 | |
CN111950426A (zh) | 目标检测方法、装置及运载工具 | |
CN110223355B (zh) | 一种基于双重极线约束的特征标志点匹配方法 | |
CN104346833A (zh) | 一种基于单目视觉的车辆重构算法 | |
CN109974618B (zh) | 多传感器视觉测量系统的全局标定方法 | |
CN116778288A (zh) | 一种多模态融合目标检测系统及方法 | |
CN114926669A (zh) | 一种基于深度学习的高效散斑匹配方法 | |
CN109520480A (zh) | 基于双目立体视觉的测距方法及测距系统 | |
CN113129384A (zh) | 基于一维编码靶标的双目视觉系统灵活标定方法 | |
CN108596960B (zh) | 一种光场相机的子孔径图像对齐方法 | |
CN111415305A (zh) | 恢复三维场景的方法、计算机可读存储介质及无人机 | |
CN115861763B (zh) | 一种多光谱多视角环境感知方法 | |
WO2018229812A1 (ja) | 三次元計測装置、および方法 | |
CN113808103A (zh) | 基于图像处理的路面坑洼自动检测方法、设备和存储介质 | |
CN111127560B (zh) | 一种用于三维重建的三目视觉系统的标定方法及系统 | |
CN109373901B (zh) | 位于平面上的孔的中心位置的计算方法 | |
CN113808070B (zh) | 一种双目数字散斑图像相关的视差测量方法 | |
CN116051649A (zh) | 一种结合深度学习与双目视觉的道路障碍物测距方法 | |
KR102250687B1 (ko) | 3차원 VR을 위한 2차원 LiDAR 기반 전 방향 3차원 계측 기법 및 이의 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20231214 Address after: Room 1308, 13th Floor, Building 1, No. 501 Xinyu Road, Chengdu City, Sichuan Province, 610213 Patentee after: Chengdu Weiqu Technology Co.,Ltd. Address before: 611731, No. 2006, West Avenue, hi tech West District, Sichuan, Chengdu Patentee before: University of Electronic Science and Technology of China |
|
TR01 | Transfer of patent right |