CN114782488A - 一种基于通道感知的水下目标跟踪方法 - Google Patents

一种基于通道感知的水下目标跟踪方法 Download PDF

Info

Publication number
CN114782488A
CN114782488A CN202210349173.9A CN202210349173A CN114782488A CN 114782488 A CN114782488 A CN 114782488A CN 202210349173 A CN202210349173 A CN 202210349173A CN 114782488 A CN114782488 A CN 114782488A
Authority
CN
China
Prior art keywords
image
channel
template
underwater
test
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210349173.9A
Other languages
English (en)
Inventor
李海滨
高建
张文明
肖存军
李雅倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanshan University
Original Assignee
Yanshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanshan University filed Critical Yanshan University
Priority to CN202210349173.9A priority Critical patent/CN114782488A/zh
Publication of CN114782488A publication Critical patent/CN114782488A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于通道感知的水下目标跟踪方法，包括如下步骤：步骤S1、对水下模糊失真的图像进行增强；步骤S2、构造网络模型，使用骨干网络AlexNet对模板图像和测试图像进行特征提取；步骤S3、构造通道感知模块，并将通道感知模块融入网络模型；步骤S4、利用大规模数据集对融入通道感知模块的网络模型进行离线训练；步骤S5、利用训练好的模型对选中的水下目标进行跟踪，生成包围目标的矩形框，获取跟踪结果。本发明克服现有跟踪算法没有图像预处理机制，不能很好应用于水下，以及水下环境复杂，导致目标跟踪结果不够准确的问题。

Description

一种基于通道感知的水下目标跟踪方法
技术领域
本发明涉及水下视频图像处理技术领域，尤其是一种基于通道感知的水下目标跟踪方法。
背景技术
如今，我们处在一个互联网发展越来越迅速的时代，每天都能够接收到大量外部信息。据研究发现，大部分信息是通过视觉获得的。而计算机视觉是通过利用各种各样的传感器来代替人类的眼睛作为输入，从而代替人眼在不同复杂环境中进行各种任务。随着计算机视觉领域的不断发展，对视频处理技术提出了更高的要求,也对目标跟踪技术高度重视，目标跟踪有着广泛的应用前景。目标跟踪是指在给定的第一帧目标的位置和尺寸大小信息，在后续帧定位到目标的位置和尺寸大小。随着算法的不断的完善，目标跟踪的性能有了很大的提高。但是目标跟踪也一直受到一些挑战，如目标形态剧烈变化、运动模糊、相似物干扰、遮挡等等。这些挑战使得跟踪目标容易发生漂移，导致跟踪失败。
尽管在视觉跟踪方面已经有学者做了很多工作，但大部分都集中在户外环境上，水下目标跟踪工作所做的非常少。而海洋蕴藏着丰富的生物和矿产资源，探索海洋就显得尤为重要，同时水下目标跟踪应用领域也十分广泛，例如水产养殖计数和水下生物多样性监测等。但水下环境面临图像清晰度较差，目标自由度高，姿态变化多等问题，这使得常见目标跟踪算法应用至水下时，效果变得不尽如人意。而随着深度学习快速发展，以孪生网络为基础的目标跟踪算法在面临复杂场景下的跟踪性能较好。它在第一帧保留图像的目标信息，可有效避免目标模板特征被污染，更有利于定位目标。这些陆地目标跟踪算法忽视了水下图像光照不均，图像照度低，亮度小，细节信息不突出等问题，没有对其进行预处理操作，导致其应用至水下，效果不是很理想。
发明内容
本发明需要解决的技术问题是提供一种基于通道感知的水下目标跟踪方法，克服现有跟踪算法没有图像预处理机制，不能很好应用于水下，以及水下环境复杂，导致目标跟踪结果不够准确的问题。
为解决上述技术问题，本发明所采用的技术方案是：一种基于通道感知的水下目标跟踪方法，包括如下步骤：
步骤S1、对水下模糊失真的图像进行增强；
步骤S2、构造网络模型，使用骨干网络AlexNet对模板图像和测试图像进行特征提取；
步骤S3、构造通道感知模块，并将通道感知模块融入网络模型；
步骤S4、利用大规模数据集对融入通道感知模块的网络模型进行离线训练；
步骤S5、利用训练好的模型对选中的水下目标进行跟踪，生成包围目标的矩形框，获取跟踪结果。
本发明技术方案的进一步改进在于：所述步骤S1中对于照度低、亮度小的水下图像，利用直方图均衡化，增强原图的整体亮度。
本发明技术方案的进一步改进在于：所述步骤S1中对于亮度足够但是模糊浑浊的图像，根据多尺度增强MSR算法对其增强，MSR由以下公式表示
Figure BDA0003578653200000021
式中RMSR表示经过MSR增强后的图像，I(x,y)表示原始图像，G(x,y)为高斯环绕函数,表示尺度个数，ωk表示表示第k个尺度的值。
本发明技术方案的进一步改进在于：所述步骤S2中网络模型包括模板分支和测试分支，所述模板分支用于获取目标模板图像，模板图像记为z，所述测试分支用于获取跟踪过程的后续帧，得到测试图像，测试图像记为x，所述模板分支和测试分支的输出维度分别为6×6×128和22×22×128。
本发明技术方案的进一步改进在于：所述步骤S3的具体步骤如下：
步骤S3.1、通道感知模块对经过骨干网络AlexNet提取的特征X∈RC×H×W分别进行全局平均池化和全局最大池化，其中，R为三维张量，C为特征图通道数、H为高、W为宽；全局平均池化和全局最大池化将输入特征X由H×W压缩至1×1，得到两个尺寸为C×1×1的通道权重表征向量；
步骤S3.2、将步骤S3.1中得到的两个表征向量送入到共享的多层感知器MLP中，MLP由两个共享的1×1卷积层所构成，第一个1×1卷积层利用降维参数r降维，将通道由C降至C/r，第二个1×1卷积层则将特征通道数目再恢复至C，此时得到两个表征向量元素；
步骤S3.3、将MLP输出的两个表征向量元素进行逐元素相加，得到全局通道之间的注意力MC:
Mc(X)＝SG(MLP(favg(X))+MLP(fmax(X)))，
其中SG表示sigmoid激活函数，favg(·)和fmax(·)分别表示全局平均池化操作和全局最大池化操作。
本发明技术方案的进一步改进在于：所述步骤S4的具体步骤如下：
步骤S4.1、将步骤S3中的通道感知模块嵌入模板分支，获取模板特征图像每个通道的权重，并在Imagnet VID数据集和Imagnet DET数据集中进行离线训练，训练过程中接受模板图像z和测试图像x作为输入；
步骤S4.2、将模板图像z送入通道感知模块，产生输入图像各通道的权重MC(z)；
步骤S4.3、根据如下公式，得到融合通道权重的特征h(z)：
Figure BDA0003578653200000031
其中z为模板图像，MC(z)为图像各通道的权重,
Figure BDA0003578653200000041
为卷积操作。
步骤S4.4、根据如下公式对测试图像进行滑动卷积操作：
Figure BDA0003578653200000042
其中f(z,x)是互相关操作后的最终响应图，
Figure BDA0003578653200000043
为网络提取测试图像的特征，
Figure BDA0003578653200000044
为卷积操作；
步骤S4.5、利用逻辑回归公式对损失函数不断优化，得到最终网络模型，公式如下：
l(y,v)＝log(1+exp(-y,v))，
其中l(y,v)是损失函数，y是真实标签值，v是网络预测值。
本发明技术方案的进一步改进在于：所述步骤S5的具体步骤如下：
步骤S5.1、用融合通道感知模块的特征提取网络提取模板图像特征；
步骤S5.2、测试图像经过特征提取网络得到的特征图与模板图像特征进行卷积操作，并利用如下公式进行相似度计算，得到模板图像与测试图像之间的相似性，得到响应图：
Figure BDA0003578653200000045
其中
Figure BDA0003578653200000046
表示特征提取操作，z和x分别表示模板图像和测试图像，f(·)是网络需要学习的函数，具体的，distance可由下式表示：
Figure BDA0003578653200000047
式中，xi和yi分别表示提取到的模板图像和测试图像特征的输入张量；
步骤S5.3、响应图得分的最高位置为目标的最终位置，获取跟踪结果。
由于采用了上述技术方案，本发明取得的技术进步是：
1、本发明提出一种基于通道感知的水下目标跟踪算法，首先考虑到水下图像亮度低，浑浊失真的情况，利用自适应水下增强策略，对其进行预处理，采用融合全局平均池化(Global Average Pooling,GAP)和全局最大池化(Global Max Pooling,GMP)策略的通道感知模块，将其嵌入模板分支，构建成带有通道感知的骨干网络AlexNet，并利用大规模数据集进行离线训练，再利用训练好的骨干网络模型提取图像特征，进而在测试图像内进行想相似度匹配，得到得分图，分值最大点即为目标位置；
2、本发明利用Imagnet VID和Imagnet DET两个大型数据集来离线训练，并利用Pytorch深度学习框架，结合C++语言和Python语言进行编程，采用水下目标跟踪数据集UOT32进行实验；
3、本发明所设计的跟踪算法可以很好适应水下目标跟踪任务，与现有技术相比，本发明的显著优点包括：第一，有效解决在预处理阶段，水下图像浑浊失真的问题，并在一定程度上,提高水下图像对比度，恢复图像色彩信息，为提取目标特征奠定基础；第二，增强网络模型定位目标的能力，利用通道感知模块，提供更加稳定鲁棒的跟踪结果。
附图说明
图1为本发明实例中水下自适应图像增强原理示意图；
图2为本发明实施例中提出的一种基于通道感知的水下目标跟踪工作流程示意图；
图3为本发明实施例部分中提供的一种基于通道感知的水下目标跟踪方法中通道感知模块的工作流程示意图。
具体实施方式
下面结合实施例对本发明做进一步详细说明：
一种基于通道感知的水下目标跟踪方法，包括如下步骤：
步骤S1、如图1所示，对水下模糊失真的图像进行增强。对于照度低、亮度小的水下图像，利用直方图均衡化，增强原图的整体亮度；对于亮度足够但是模糊浑浊的图像，根据多尺度增强MSR算法对其增强，MSR由以下公式表示
Figure BDA0003578653200000061
式中RMSR表示经过MSR增强后的图像，I(x,y)表示原始图像，G(x,y)为高斯环绕函数,表示尺度个数，ωk表示表示第k个尺度的值。
步骤S2、如图2所示，构造网络模型，使用骨干网络AlexNet对模板图像和测试图像进行特征提取；网络模型包括模板分支和测试分支，所述模板分支用于获取目标模板图像，模板图像记为z，所述测试分支用于获取跟踪过程的后续帧，得到测试图像，测试图像记为x，所述模板分支和测试分支的输出维度分别为6×6×128和22×22×128。
步骤S3、如图3所示，构造通道感知模块，并将通道感知模块融入网络模型；具体步骤如下：
步骤S3.1、通道感知模块对经过骨干网络AlexNet提取的特征X∈RC×H×W分别进行全局平均池化和全局最大池化，其中，R为三维张量，C为特征图通道数、H为高、W为宽；全局平均池化和全局最大池化将输入特征X由H×W压缩至1×1，得到两个尺寸为C×1×1的通道权重表征向量；
步骤S3.2、将步骤S3.1中得到的两个表征向量送入到共享的多层感知器MLP中，MLP由两个共享的1×1卷积层所构成，第一个1×1卷积层利用降维参数r降维，将通道由C降至C/r，第二个1×1卷积层则将特征通道数目再恢复至C，此时得到两个表征向量元素；
步骤S3.3、将MLP输出的两个表征向量元素进行逐元素相加，得到全局通道之间的注意力MC:
Mc(X)＝SG(MLP(favg(X))+MLP(fmax(X)))，
其中SG表示sigmoid激活函数，favg(·)和fmax(·)分别表示全局平均池化操作和全局最大池化操作。
步骤S4、利用大规模数据集对融入通道感知模块的网络模型进行离线训练；具体步骤如下：
步骤S4.1、将步骤S3中的通道感知模块嵌入模板分支，获取模板特征图像每个通道的权重，并在Imagnet VID数据集和Imagnet DET数据集中进行离线训练，训练过程中接受模板图像z和测试图像x作为输入；
步骤S4.2、将模板图像z送入通道感知模块，产生输入图像各通道的权重MC(z)；
步骤S4.3、根据如下公式，得到融合通道权重的特征h(z)：
Figure BDA0003578653200000071
其中z为模板图像，MC(z)为图像各通道的权重,
Figure BDA0003578653200000072
为卷积操作。
步骤S4.4、根据如下公式对测试图像进行滑动卷积操作：
Figure BDA0003578653200000073
其中f(z,x)是互相关操作后的最终响应图，
Figure BDA0003578653200000074
为网络提取测试图像的特征，
Figure BDA0003578653200000075
为卷积操作；
步骤S4.5、利用逻辑回归公式对损失函数不断优化，得到最终网络模型，公式如下：
l(y,v)＝log(1+exp(-y,v))，
其中l(y,v)是损失函数，y是真实标签值，v是网络预测值。
步骤S5、利用训练好的模型对选中的水下目标进行跟踪，生成包围目标的矩形框，获取跟踪结果，具体步骤如下：
步骤S5.1、用融合通道感知模块的特征提取网络提取模板图像特征；
步骤S5.2、测试图像经过特征提取网络得到的特征图与模板图像特征进行卷积操作，并利用如下公式进行相似度计算，得到模板图像与测试图像之间的相似性，得到响应图：
Figure BDA0003578653200000081
其中
Figure BDA0003578653200000082
表示特征提取操作，z和x分别表示模板图像和测试图像，f(·)是网络需要学习的函数，具体的，distance可由下式表示：
Figure BDA0003578653200000083
式中，xi和yi分别表示提取到的模板图像和测试图像特征的输入张量；
步骤S5.3、响应图得分的最高位置为目标的最终位置，获取跟踪结果。
本发明提出的一种基于通道感知的水下目标跟踪算法，首先考虑到水下图像亮度低，浑浊失真的情况，利用自适应水下增强策略，对其进行预处理，采用融合全局平均池化(Global Average Pooling,GAP)和全局最大池化(Global Max Pooling,GMP)策略的通道感知模块，将其嵌入模板分支，构建成带有通道感知的骨干网络AlexNet，并利用大规模数据集进行离线训练，再利用训练好的骨干网络模型提取图像特征，进而在测试图像内进行想相似度匹配，得到得分图，分值最大点即为目标位置；
本发明所设计的跟踪算法可以很好适应水下目标跟踪任务，与现有技术相比，本发明的显著优点包括：第一，有效解决在预处理阶段，水下图像浑浊失真的问题，并在一定程度上,提高水下图像对比度，恢复图像色彩信息，为提取目标特征奠定基础；第二，增强网络模型定位目标的能力，利用通道感知模块，提供更加稳定鲁棒的跟踪结果。

Claims (7)

1.一种基于通道感知的水下目标跟踪方法，其特征在于：包括如下步骤：
步骤S1、对水下模糊失真的图像进行增强；
步骤S2、构造网络模型，使用骨干网络AlexNet对模板图像和测试图像进行特征提取；
步骤S3、构造通道感知模块，并将通道感知模块融入网络模型；
步骤S4、利用大规模数据集对融入通道感知模块的网络模型进行离线训练；
步骤S5、利用训练好的模型对选中的水下目标进行跟踪，生成包围目标的矩形框，获取跟踪结果。
2.根据权利要求1所述的一种基于通道感知的水下目标跟踪方法，其特征在于：所述步骤S1中对于照度低、亮度小的水下图像，利用直方图均衡化，增强原图的整体亮度。
3.根据权利要求1所述的一种基于通道感知的水下目标跟踪方法，其特征在于：所述步骤S1中对于亮度足够但是模糊浑浊的图像，根据多尺度增强MSR算法对其增强，MSR由以下公式表示
Figure FDA0003578653190000011
式中RMSR表示经过MSR增强后的图像，I(x,y)表示原始图像，G(x,y)为高斯环绕函数,表示尺度个数，ωk表示表示第k个尺度的值。
4.根据权利要求3所述的一种基于通道感知的水下目标跟踪方法，其特征在于：所述步骤S2中网络模型包括模板分支和测试分支，所述模板分支用于获取目标模板图像，模板图像记为z，所述测试分支用于获取跟踪过程的后续帧，得到测试图像，测试图像记为x，所述模板分支和测试分支的输出维度分别为6×6×128和22×22×128。
5.根据权利要求4所述的一种基于通道感知的水下目标跟踪方法，其特征在于：所述步骤S3的具体步骤如下：
步骤S3.1、通道感知模块对经过骨干网络AlexNet提取的特征X∈RC×H×W分别进行全局平均池化和全局最大池化，其中，R为三维张量，C为特征图通道数、H为高、W为宽；全局平均池化和全局最大池化将输入特征X由H×W压缩至1×1，得到两个尺寸为C×1×1的通道权重表征向量；
步骤S3.2、将步骤S3.1中得到的两个表征向量送入到共享的多层感知器MLP中，MLP由两个共享的1×1卷积层所构成，第一个1×1卷积层利用降维参数r降维，将通道由C降至C/r，第二个1×1卷积层则将特征通道数目再恢复至C，此时得到两个表征向量元素；
步骤S3.3、将MLP输出的两个表征向量元素进行逐元素相加，得到全局通道之间的注意力MC：
Mc(X)＝SG(MLP(favg(X))+MLP(fmax(X)))，
其中SG表示sigmoid激活函数，favg(·)和fmax(·)分别表示全局平均池化操作和全局最大池化操作。
6.根据权利要求5所述的一种基于通道感知的水下目标跟踪方法，其特征在于：所述步骤S4的具体步骤如下：
步骤S4.1、将步骤S3中的通道感知模块嵌入模板分支，获取模板特征图像每个通道的权重，并在Imagnet VID数据集和Imagnet DET数据集中进行离线训练，训练过程中接受模板图像z和测试图像x作为输入；
步骤S4.2、将模板图像z送入通道感知模块，产生输入图像各通道的权重MC(z)；
步骤S4.3、根据如下公式，得到融合通道权重的特征h(z)：
Figure FDA0003578653190000021
其中z为模板图像，MC(z)为图像各通道的权重,
Figure FDA0003578653190000022
为卷积操作。
步骤S4.4、根据如下公式对测试图像进行滑动卷积操作：
Figure FDA0003578653190000031
其中f(z,x)是互相关操作后的最终响应图，
Figure FDA0003578653190000032
为网络提取测试图像的特征，
Figure FDA0003578653190000033
为卷积操作；
步骤S4.5、利用逻辑回归公式对损失函数不断优化，得到最终网络模型，公式如下：
l(y,v)＝log(1+exp(-y,v))，
其中l(y,v)是损失函数，y是真实标签值，v是网络预测值。
7.根据权利要求6所述的一种基于通道感知的水下目标跟踪方法，其特征在于：所述步骤S5的具体步骤如下：
步骤S5.1、用融合通道感知模块的特征提取网络提取模板图像特征；
步骤S5.2、测试图像经过特征提取网络得到的特征图与模板图像特征进行卷积操作，并利用如下公式进行相似度计算，得到模板图像与测试图像之间的相似性，得到响应图：
Figure FDA0003578653190000034
其中
Figure FDA0003578653190000035
表示特征提取操作，z和x分别表示模板图像和测试图像，f(·)是网络需要学习的函数，具体的，distance可由下式表示：
Figure FDA0003578653190000036
式中，xi和yi分别表示提取到的模板图像和测试图像特征的输入张量；
步骤S5.3、响应图得分的最高位置为目标的最终位置，获取跟踪结果。
CN202210349173.9A 2022-04-01 2022-04-01 一种基于通道感知的水下目标跟踪方法 Pending CN114782488A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210349173.9A CN114782488A (zh) 2022-04-01 2022-04-01 一种基于通道感知的水下目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210349173.9A CN114782488A (zh) 2022-04-01 2022-04-01 一种基于通道感知的水下目标跟踪方法

Publications (1)

Publication Number Publication Date
CN114782488A true CN114782488A (zh) 2022-07-22

Family

ID=82427094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210349173.9A Pending CN114782488A (zh) 2022-04-01 2022-04-01 一种基于通道感知的水下目标跟踪方法

Country Status (1)

Country Link
CN (1) CN114782488A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210551A (zh) * 2019-05-28 2019-09-06 北京工业大学 一种基于自适应主体敏感的视觉目标跟踪方法
CN111354017A (zh) * 2020-03-04 2020-06-30 江南大学 一种基于孪生神经网络及平行注意力模块的目标跟踪方法
CN112258554A (zh) * 2020-10-07 2021-01-22 大连理工大学 基于注意力机制的双流层次孪生网络目标跟踪方法
CN112348849A (zh) * 2020-10-27 2021-02-09 南京邮电大学 一种孪生网络视频目标跟踪方法及装置
CN112560695A (zh) * 2020-12-17 2021-03-26 中国海洋大学 水下目标跟踪方法、系统、存储介质、设备、终端及应用
CN113077491A (zh) * 2021-04-02 2021-07-06 安徽大学 基于跨模态共享和特定表示形式的rgbt目标跟踪方法
CN113283407A (zh) * 2021-07-22 2021-08-20 南昌工程学院 一种基于通道与空间注意力机制的孪生网络目标跟踪方法
CN113393496A (zh) * 2021-07-05 2021-09-14 中国电子科技集团公司第二十八研究所 一种基于时空注意力机制的目标跟踪方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210551A (zh) * 2019-05-28 2019-09-06 北京工业大学 一种基于自适应主体敏感的视觉目标跟踪方法
CN111354017A (zh) * 2020-03-04 2020-06-30 江南大学 一种基于孪生神经网络及平行注意力模块的目标跟踪方法
CN112258554A (zh) * 2020-10-07 2021-01-22 大连理工大学 基于注意力机制的双流层次孪生网络目标跟踪方法
CN112348849A (zh) * 2020-10-27 2021-02-09 南京邮电大学 一种孪生网络视频目标跟踪方法及装置
CN112560695A (zh) * 2020-12-17 2021-03-26 中国海洋大学 水下目标跟踪方法、系统、存储介质、设备、终端及应用
CN113077491A (zh) * 2021-04-02 2021-07-06 安徽大学 基于跨模态共享和特定表示形式的rgbt目标跟踪方法
CN113393496A (zh) * 2021-07-05 2021-09-14 中国电子科技集团公司第二十八研究所 一种基于时空注意力机制的目标跟踪方法
CN113283407A (zh) * 2021-07-22 2021-08-20 南昌工程学院 一种基于通道与空间注意力机制的孪生网络目标跟踪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
任彦光: "基于边缘计算平台的水下图像处理方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 3, pages 138 - 1560 *
杜飞: "基于注意力机制的视觉目标跟踪方法研究", 《中国博士学位论文全文数据库 信息科技辑》, no. 2, pages 138 - 118 *
蒲磊等: "基于高层语义嵌入的孪生网络跟踪算法", 《北京航空航天大学学报》, pages 1 - 11 *

Similar Documents

Publication Publication Date Title
Yeh et al. Lightweight deep neural network for joint learning of underwater object detection and color conversion
CN111339903B (zh) 一种多人人体姿态估计方法
Cao et al. Real-time robust detector for underwater live crabs based on deep learning
Kousik et al. Improved salient object detection using hybrid Convolution Recurrent Neural Network
CN109598268B (zh) 一种基于单流深度网络的rgb-d显著目标检测方法
Spencer et al. Defeat-net: General monocular depth via simultaneous unsupervised representation learning
Von Stumberg et al. Gn-net: The gauss-newton loss for multi-weather relocalization
CN111950649B (zh) 基于注意力机制与胶囊网络的低照度图像分类方法
Xu et al. A systematic review and analysis of deep learning-based underwater object detection
CN111639692A (zh) 一种基于注意力机制的阴影检测方法
CN108416266B (zh) 一种利用光流提取运动目标的视频行为快速识别方法
CN112837344B (zh) 一种基于条件对抗生成孪生网络的目标跟踪方法
CN110929593A (zh) 一种基于细节辨别区别的实时显著性行人检测方法
CN111582095B (zh) 一种轻量级行人异常行为快速检测方法
CN112560865B (zh) 一种室外大场景下点云的语义分割方法
KR102357000B1 (ko) 인공 신경망 기반의 비정제 동영상에서의 행동 인식 방법 및 장치
Liu et al. Using unsupervised deep learning technique for monocular visual odometry
Zhou et al. YOLO-CIR: The network based on YOLO and ConvNeXt for infrared object detection
CN113158905A (zh) 一种基于注意力机制的行人重识别方法
CN111368637B (zh) 一种基于多掩模卷积神经网络的搬运机器人识别目标方法
CN114170304A (zh) 一种基于多头自注意力和置换注意力的相机定位方法
CN113763417A (zh) 一种基于孪生网络和残差结构的目标跟踪方法
Yang et al. Human action recognition based on skeleton and convolutional neural network
CN114782488A (zh) 一种基于通道感知的水下目标跟踪方法
CN102156879A (zh) 基于加权陆地运动距离的人体目标匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination