CN114882072A - 一种多通道图像特征融合的高速相关滤波目标追踪方法 - Google Patents

一种多通道图像特征融合的高速相关滤波目标追踪方法 Download PDF

Info

Publication number
CN114882072A
CN114882072A CN202210525134.XA CN202210525134A CN114882072A CN 114882072 A CN114882072 A CN 114882072A CN 202210525134 A CN202210525134 A CN 202210525134A CN 114882072 A CN114882072 A CN 114882072A
Authority
CN
China
Prior art keywords
image
visible light
network
infrared
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210525134.XA
Other languages
English (en)
Inventor
李璐
胡浩锦
王伟良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Haiyuhong Intelligent Technology Co ltd
Original Assignee
Suzhou Haiyuhong Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Haiyuhong Intelligent Technology Co ltd filed Critical Suzhou Haiyuhong Intelligent Technology Co ltd
Priority to CN202210525134.XA priority Critical patent/CN114882072A/zh
Publication of CN114882072A publication Critical patent/CN114882072A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本发明公开了一种多通道图像特征融合的高速相关滤波目标追踪方法，包括以下步骤：步骤1：构建红外和可见光图像融合网络的训练数据集；步骤2：使用图像融合网络对红外图像和可见光图像进行融合；步骤3：目标区域检测。这种多通道图像特征融合的高速相关滤波目标追踪方法采用卷积神经网络提取对象特征，采用迭代馈入的方式，保证了卷积神经网络提取的特征信息在传输的过程中不被丢失，加强了网络之间的信息流通性，可以去除无用的特征，保证了目标跟踪的性能，提高了准确性和效率。

Description

一种多通道图像特征融合的高速相关滤波目标追踪方法
技术领域
本发明涉及计算机视觉领域中的目标跟踪，尤其涉及一种多通道图像特征融合的高速相关滤波目标追踪方法。
背景技术
目标跟踪是计算机视觉领域极具挑战的任务之一，在过去的几年中，由于深度神经网络的兴起，目标跟踪取得显著的进展。但与此同时，追踪的模型变得越来越庞大和昂贵，例如最新的跟踪模型SiamRPN++和Ocean的模型参数分别为11.2MB 和25.9MB，实现了最先进的性能；但庞大的模型参数和昂贵的计算成本阻碍了目标追踪模型再显示世界应用中的部署，例如相机无人机、工业机器人和辅助驾驶系统，这些模型的尺寸和效率都受到了高度的限制。
目前，解决模型的复杂性和效率的问题有两种简单的方法，一种是模型压缩，另外一种是紧凑模型设计。现有的模型压缩技术有剪枝和量化，可以降低模型的复杂性，但是由于模型压缩导致信息的丢失，不可避免的降低了模型的性能。另一方面，手工设计规则形成紧凑的模型工程成本昂贵，严重的依赖人类的专业知识和经验，并且大多数跟踪器使用手工制作的特征来描述目标，这些特征不能捕获目标丰富的语义信息，在复杂的条件下容易导致跟踪失败。
发明内容
本发明所要解决的技术问题是，提供一种能够捕获目标丰富的语义信息以及在复杂条件下不易跟踪失败的多通道图像特征融合的高速相关滤波目标追踪方法。
为了解决上述技术问题，本发明是通过以下技术方案实现的：一种多通道图像特征融合的高速相关滤波目标追踪方法，包含以下步骤：
步骤 1：构建红外和可见光图像融合网络的训练数据集，具体的：
步骤 1.1、使用红外相机和可见光相机对不同的场景进行图像采集，得到大量的红外图像和可见光图像；
步骤 1.2、对步骤1.1采集到的数据集进行筛选，得到一一对应的红外和可见光图像对；
步骤 1.3、对红外图像和可见光图像进行配准，使红外图像和可见光图像能够像素点对应；
步骤 1.4、将步骤1.3得到的图像对与现行的公开数据库进行结合，增大数据集的量级；
步骤 2：使用图像融合网络对红外图像和可见光图像进行融合，具体的:
步骤 2.1、将步骤1.4得到的红外和可见光图像对输入网络；
步骤 2.2、设置网络的训练参数，如学习率、训练的批次大小以及训练的迭代次数；
步骤 2.3、训练网络对图像进行粗糙特征的提取；
步骤 2.4、训练网络的EB（编码器块）对图像的深层特征进行提取，并进行迭代馈入；
步骤 2.5、特征相加网络对步骤2.4得到的图像特征进行相加，得到融合特征图；
步骤 3：目标区域检测，具体的：
步骤 3.1、计算所有特征图的显著性，按照显著性的高低排序，选择出前k 个特征图；
步骤 3.2、将所有的特征集成到多通道相关滤波器之中，对目标进行定位，根据新一帧中选择的特征映射和多通道相关滤波器计算相关响应图；
步骤 3.3、通过搜索相关响应图的最大值位置，可以估计出目标的位置。
进一步地，所述步骤 2.2中网络的训练参数设置为：学习率为0.001，训练的批次大小为4，训练的迭代次数为100次。
进一步地，所述步骤 2.4中的EB包含一个3×3的卷积滤波器、一个归一化层和一个线性激活层。
进一步地，所述步骤 2.4中EB的数量具有四个。
与现有技术相比，本发明的有益之处在于：这种多通道图像特征融合的高速相关滤波目标追踪方法采用卷积神经网络提取对象特征，采用迭代馈入的方式，保证了卷积神经网络提取的特征信息在传输的过程中不被丢失，加强了网络之间的信息流通性，可以去除无用的特征，保证了目标跟踪的性能，提高了准确性和效率。
附图说明
图1是本发明一种多通道图像特征融合的高速相关滤波目标追踪方法结构示意图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细描述。
图1所示一种多通道图像特征融合的高速相关滤波目标追踪方法，包含以下步骤：
步骤 1：构建红外和可见光图像融合网络的训练数据集，具体的：
步骤 1.1、使用红外相机和可见光相机对不同的场景进行图像采集，得到大量的红外图像和可见光图像；
步骤 1.2、对步骤1.1采集到的数据集进行筛选，得到一一对应的红外和可见光图像对；
步骤 1.3、对红外图像和可见光图像进行配准，使红外图像和可见光图像能够像素点对应；
步骤 1.4、将步骤1.3得到的图像对与现行的公开数据库进行结合，增大数据集的量级；
步骤 2：使用图像融合网络对红外图像和可见光图像进行融合，具体的:
步骤 2.1、将步骤1.4得到的红外和可见光图像对输入网络；
步骤 2.2、设置网络的训练参数，如学习率、训练的批次大小以及训练的迭代次数，其中学习率为0.001，训练的批次大小为4，训练的迭代次数为100次；
步骤 2.3、训练网络对图像进行粗糙特征的提取；
步骤 2.4、训练网络的EB（编码器块）对图像的深层特征进行提取，并进行迭代馈入；所述EB的数量具有四个，分别为EB1、EB2、EB3、EB4，每个所述EB包含一个3×3的卷积滤波器、一个归一化层和一个线性激活层；
步骤 2.5、特征相加网络对步骤2.4得到的图像特征进行相加，得到融合特征图；
步骤 3：目标区域检测，具体的：
步骤 3.1、计算所有特征图的显著性，按照显著性的高低排序，选择出前k 个特征图；
步骤 3.2、将所有的特征集成到多通道相关滤波器之中，对目标进行定位，根据新一帧中选择的特征映射和多通道相关滤波器计算相关响应图；
步骤 3.3、通过搜索相关响应图的最大值位置，可以估计出目标的位置。
这种多通道图像特征融合的高速相关滤波目标追踪方法采用卷积神经网络提取对象特征，采用迭代馈入的方式，保证了卷积神经网络提取的特征信息在传输的过程中不被丢失，加强了网络之间的信息流通性，可以去除无用的特征，保证了目标跟踪的性能，提高了准确性和效率。
需要强调的是：以上仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (4)

1.一种多通道图像特征融合的高速相关滤波目标追踪方法，其特征是，包含以下步骤：
步骤 1：构建红外和可见光图像融合网络的训练数据集，具体的：
步骤 1.1、使用红外相机和可见光相机对不同的场景进行图像采集，得到大量的红外图像和可见光图像；
步骤 1.2、对步骤1.1采集到的数据集进行筛选，得到一一对应的红外和可见光图像对；
步骤 1.3、对红外图像和可见光图像进行配准，使红外图像和可见光图像能够像素点对应；
步骤 1.4、将步骤1.3得到的图像对与现行的公开数据库进行结合，增大数据集的量级；
步骤 2：使用图像融合网络对红外图像和可见光图像进行融合，具体的:
步骤 2.1、将步骤1.4得到的红外和可见光图像对输入网络；
步骤 2.2、设置网络的训练参数，如学习率、训练的批次大小以及训练的迭代次数；
步骤 2.3、训练网络对图像进行粗糙特征的提取；
步骤 2.4、训练网络的EB（编码器块）对图像的深层特征进行提取，并进行迭代馈入；
步骤 2.5、特征相加网络对步骤2.4得到的图像特征进行相加，得到融合特征图；
步骤 3：目标区域检测，具体的：
步骤 3.1、计算所有特征图的显著性，按照显著性的高低排序，选择出前k 个特征图；
步骤 3.2、将所有的特征集成到多通道相关滤波器之中，对目标进行定位，根据新一帧中选择的特征映射和多通道相关滤波器计算相关响应图；
步骤 3.3、通过搜索相关响应图的最大值位置，可以估计出目标的位置。
2.根据权利要求1所述的一种多通道图像特征融合的高速相关滤波目标追踪方法，其特征是，所述步骤 2.2中网络的训练参数设置为：学习率为0.001，训练的批次大小为4，训练的迭代次数为100次。
3.根据权利要求1所述的一种多通道图像特征融合的高速相关滤波目标追踪方法，其特征是，所述步骤 2.4中的EB包含一个3×3的卷积滤波器、一个归一化层和一个线性激活层。
4.根据权利要求1所述的一种多通道图像特征融合的高速相关滤波目标追踪方法，其特征是，所述步骤 2.4中EB的数量具有四个。
CN202210525134.XA 2022-05-14 2022-05-14 一种多通道图像特征融合的高速相关滤波目标追踪方法 Withdrawn CN114882072A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210525134.XA CN114882072A (zh) 2022-05-14 2022-05-14 一种多通道图像特征融合的高速相关滤波目标追踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210525134.XA CN114882072A (zh) 2022-05-14 2022-05-14 一种多通道图像特征融合的高速相关滤波目标追踪方法

Publications (1)

Publication Number Publication Date
CN114882072A true CN114882072A (zh) 2022-08-09

Family

ID=82676659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210525134.XA Withdrawn CN114882072A (zh) 2022-05-14 2022-05-14 一种多通道图像特征融合的高速相关滤波目标追踪方法

Country Status (1)

Country Link
CN (1) CN114882072A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116580063A (zh) * 2023-07-14 2023-08-11 深圳须弥云图空间科技有限公司 目标追踪方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116580063A (zh) * 2023-07-14 2023-08-11 深圳须弥云图空间科技有限公司 目标追踪方法、装置、电子设备及存储介质
CN116580063B (zh) * 2023-07-14 2024-01-05 深圳须弥云图空间科技有限公司 目标追踪方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN110108258B (zh) 一种单目视觉里程计定位方法
CN111968217B (zh) 基于图片的smpl参数预测以及人体模型生成方法
CN111462210B (zh) 一种基于极线约束的单目线特征地图构建方法
CN111553949B (zh) 基于单帧rgb-d图像深度学习对不规则工件的定位抓取方法
CN110458025B (zh) 一种基于双目摄像头的目标识别与定位方法
CN112651262B (zh) 一种基于自适应行人对齐的跨模态行人重识别方法
CN110706269B (zh) 一种基于双目视觉slam的动态场景密集建模方法
CN113283525B (zh) 一种基于深度学习的图像匹配方法
CN113538218B (zh) 基于位姿自监督对抗生成网络的弱配对图像风格迁移方法
CN111860651A (zh) 一种基于单目视觉的移动机器人半稠密地图构建方法
CN114972748A (zh) 一种可解释边缘注意力和灰度量化网络的红外语义分割方法
CN115188066A (zh) 基于协同注意力和多尺度融合的运动目标检测系统及方法
CN114882072A (zh) 一种多通道图像特征融合的高速相关滤波目标追踪方法
CN117252928B (zh) 用于电子产品模块化智能组装的视觉图像定位系统
CN114170304A (zh) 一种基于多头自注意力和置换注意力的相机定位方法
CN116342675B (zh) 一种实时单目深度估计方法、系统、电子设备及存储介质
CN108921852B (zh) 基于视差与平面拟合的双分支室外非结构化地形分割网络
CN115496859A (zh) 基于散乱点云交叉注意学习的三维场景运动趋势估计方法
CN113012071B (zh) 一种基于深度感知网络的图像失焦去模糊方法
CN112200850B (zh) 一种基于成熟特征点的orb提取方法
CN112419387B (zh) 一种日光温室番茄植株图像无监督深度估计方法
CN115131206A (zh) 一种基于语义理解的卫星视频超分辨率重建方法及系统
CN114707611A (zh) 基于图神经网络特征提取与匹配的移动机器人地图构建方法、存储介质及设备
CN114913289A (zh) 一种生产车间三维动态不确定性语义slam方法
CN113537359A (zh) 训练数据的生成方法及装置、计算机可读介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20220809