CN114743128A - 一种基于异种神经网络的多模态东北虎再辨识方法及装置 - Google Patents

一种基于异种神经网络的多模态东北虎再辨识方法及装置 Download PDF

Info

Publication number
CN114743128A
CN114743128A CN202210225924.6A CN202210225924A CN114743128A CN 114743128 A CN114743128 A CN 114743128A CN 202210225924 A CN202210225924 A CN 202210225924A CN 114743128 A CN114743128 A CN 114743128A
Authority
CN
China
Prior art keywords
neural network
layer
image
northeast
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210225924.6A
Other languages
English (en)
Inventor
朱建清
孟钰
孔超娜
朱乐怡
蔡彦韬
曾焕强
廖昀
杜吉祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Yealink Network Technology Co Ltd
Huaqiao University
Original Assignee
Xiamen Yealink Network Technology Co Ltd
Huaqiao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Yealink Network Technology Co Ltd, Huaqiao University filed Critical Xiamen Yealink Network Technology Co Ltd
Priority to CN202210225924.6A priority Critical patent/CN114743128A/zh
Publication of CN114743128A publication Critical patent/CN114743128A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于异种神经网络的多模态东北虎再辨识方法及装置，涉及机器视觉技术领域，可应用于跟踪东北虎的活动轨迹调查，对保护濒危的东北虎具有重大意义。本发明的异种神经网络包括用双分支残差神经网络和Transformer网络，其中，双分支残差卷积神经网络用于先对红外图像和可见光图像学习局部特征；Transformer网络对由双分支残差卷积神经网络学得的红外图像和可见光图像的局部特征，利用自注意力机制学习东北虎的全局特征。双分支残差卷积神经网络的各分支结构相同但参数独立，用于处理红外和可见光东北虎图像光谱、分辨率、对比度等特性；而Transformer网络从全局视角学习信息东北虎特征，减少图像模态差异带来的噪声影响，实现高准确率的东北虎再辨识。

Description

一种基于异种神经网络的多模态东北虎再辨识方法及装置
技术领域
本发明涉及机器视觉技术领域，特别涉及一种基于异种神经网络的多模态东北虎再辨识方法及装置。
背景技术
东北虎，对其进行自动辨识是智能野生动物识别领域的一项重要任务，在保护濒危物种和维护物种多样性方面具有重要用途。再辨识算法主要解决不同摄像头下目标匹配问题，广泛用于智能视频监控的行人、车辆检索，是目前智能视频监控系统中目标轨迹跟踪与分析的核心技术。但是，不同于城市交通场景、生活小区中的行人、车辆再辨识。
东北虎再辨识因为野外环境复杂、东北虎喜夜行等问题具有更大的难度。夜间的红外东北虎图像和白天可见光东北虎图像之间的多模态匹配问题，是东北虎再辨识方法亟待解决的问题。
发明内容
本发明要解决的技术问题，在于提供一种基于异种神经网络的多模态东北虎再辨识方法及装置，通过先对红外图像和可见光图像分别学习局部特征，再利用自注意力机制学习东北虎的全局特征，实现高准确率的东北虎再辨识。
第一方面，本发明提供了一种基于异种神经网络的多模态东北虎再辨识方法，包括：
步骤10、获取红外光图像与可见光图像的多模态东北虎图像，对所述图像进行东北虎身份标定和图像增强，然后构建训练集；
步骤20、构建异种神经网络，所述异种神经网络包括双分支残差神经网络和Transformer网络；所述双分支残差神经网络包括结构相同但参数独立的两个残差卷积神经网络，用于分别对所述红外光图像和可见光图像的局部特征进行学习；
步骤30、构建损失函数，利用训练集对所述异种神经网络进行训练，通过损失函数对异种神经网络进行监督，采用随机梯度下降方法进行优化，直至收敛，从而获得异种神经网络模型；
步骤40、将东北虎查询图像和东北虎注册图像集输入所述异种神经网络模型，基于所提取的全局特征，计算所述东北虎查询图像与东北虎注册图像集中所有图像之间的欧式距离，并进行排序，选取距离最近的注册东北虎图像作为所述东北虎查询图像的再辨识结果。
进一步地，所述残差卷积神经网络依次包括一个网络茎部CBRM和两个残差块组RBG；所述网络茎部CBRM由卷积层、批归一化层、线性整流单元和最大池化层级联组成，所述残差块组RBG由若干残差块级联组成。
进一步地，所述Transformer网络包括空间分块层、位置编码层、若干堆叠的Transformer块以及批归一化层，所述空间分块层用于对所述双分支残差神经网络输出的特征映射进行空间分块，所述位置编码层用于增加一个与每个特征映射分块维数相同的可学习系数张量，所述Transformer块包括线性投影层、层归一化层以及多头注意力层。
进一步地，所述损失函数包括三元组损失函数和交叉熵损失函数；所述三元组损失函数在所述Transformer网络的批归一化层前，所述交叉熵损失函数在所述Transformer网络的批归一化层后。
进一步地，所述三元组损失函数具体为：
LTRI＝max(C+d(a,p)-d(a,n),0)
其中，a为锚点样本，p为正样本，n为反样本，且p与a具有相同的身份，n与a具有不同的身份；d(a,p)是a和p之间的欧式距离，d(a,n)a和n之间的欧式距离；C≥0为是间隔参数；
所述交叉熵损失函数具体为：
Figure BDA0003539162900000021
其中，M是类别数量；N是样本数量；yic为指示函数，若第i样本的类别为c则yic＝1，否则yic＝0；pic为样本属于类别c的后验概率。
第二方面，本发明提供了一种基于异种神经网络的多模态东北虎再辨识装置，包括：训练集构建模块、异种神经网络构建模块、网络训练模块以及再辨识模块；
所述训练集构建模块，用于获取红外光图像与可见光图像的多模态东北虎图像，对所述图像进行东北虎身份标定和图像增强，然后构建训练集；
所述异种神经网络构建模块，用于构建异种神经网络，所述异种神经网络包括双分支残差神经网络和Transformer网络；所述双分支残差神经网络包括结构相同但参数独立的两个残差卷积神经网络，用于分别对所述红外光图像和可见光图像的局部特征进行学习；
所述网络训练模块，用于构建损失函数，利用训练集对所述异种神经网络进行训练，通过损失函数对异种神经网络进行监督，采用随机梯度下降方法进行优化，直至收敛，从而获得异种神经网络模型；
所述再辨识模块，用于将东北虎查询图像和东北虎注册图像集输入所述异种神经网络模型，基于所提取的全局特征，计算所述东北虎查询图像与东北虎注册图像集中所有图像之间的欧式距离，并进行排序，选取距离最近的注册东北虎图像作为所述东北虎查询图像的再辨识结果。
进一步地，所述异种神经网络构建模块中，残差卷积神经网络依次包括一个网络茎部CBRM和两个残差块组RBG；所述网络茎部CBRM由卷积层、批归一化层、线性整流单元和最大池化层级联组成，所述残差块组RBG 由若干残差块级联组成。
进一步地，所述异种神经网络构建模块中，Transformer网络包括空间分块层、位置编码层、若干堆叠的Transformer块以及批归一化层，所述空间分块层用于对所述双分支残差神经网络输出的特征映射进行空间分块，所述位置编码层用于增加一个与每个特征映射分块维数相同的可学习系数张量，所述Transformer块包括线性投影层、层归一化层以及多头注意力层。
进一步地，所述网络训练模块中，损失函数包括三元组损失函数和交叉熵损失函数；所述三元组损失函数在所述Transformer网络的批归一化层前，所述交叉熵损失函数在所述Transformer网络的批归一化层后。
本发明实施例中提供的技术方案具有如下技术效果或优点：
通过双分支残差神经网络处理红外和可见光东北虎图像光谱、分辨率、对比度等特性；通过Transformer网络从全局视角学习信息东北虎特征，对由双分支残差卷积神经网络学得的红外图像和可见光图像的局部特征，利用自注意力机制学习东北虎的全局特征，从而减少图像模态差异带来的噪声影响，实现高准确率的东北虎再辨识。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1为本发明实施例一中方法中的流程图；
图2为本发明实施例一中网络结构示意图；
图3为本发明实施例二中装置的结构示意图。
具体实施方式
本申请实施例通过提供一种基于异种神经网络的多模态东北虎再辨识方法及装置，通过先对红外图像和可见光图像分别学习局部特征，再利用自注意力机制学习东北虎的全局特征，实现高准确率的东北虎再辨识。
本申请实施例中的技术方案，总体思路如下：
由于红外和可见光东北虎图像光谱、分辨率、对比度等特性不同，用单一神经网络特征学习效果不佳。因此，本发明提出一种异种神经网络，包括双分支残差神经网络和Transformer网络。其中，双分支残差神经网络用于先对红外图像和可见光图像学习局部特征，分支结构相同但参数独立，用于处理红外和可见光东北虎图像光谱、分辨率、对比度等特性；而Transformer 网络从全局视角学习信息东北虎特征，对由双分支残差卷积神经网络学得的红外图像和可见光图像的局部特征，利用自注意力机制学习东北虎的全局特征，从而减少图像模态差异带来的噪声影响，实现高准确率的东北虎再辨识。
实施例一
本实施例提供一种基于异种神经网络的多模态东北虎再辨识方法，如图 1所示，包括；
步骤10、获取红外光图像与可见光图像的多模态东北虎图像，对所述图像进行东北虎身份标定和图像增强(即图像亮度、对比度等预处理)，然后构建训练集；
步骤20、构建异种神经网络，所述异种神经网络包括双分支残差神经网络和Transformer网络；所述双分支残差神经网络包括结构相同但参数独立的两个残差卷积神经网络(两个分支各自独立学习)，用于分别对所述红外光图像和可见光图像的局部特征进行学习；
步骤30、构建损失函数，利用训练集对所述异种神经网络进行训练，通过损失函数对异种神经网络进行监督，采用随机梯度下降方法进行优化，直至收敛，从而获得异种神经网络模型；
步骤40、将东北虎查询图像和东北虎注册图像集输入所述异种神经网络模型，基于所提取的全局特征，计算所述东北虎查询图像与东北虎注册图像集中所有图像之间的欧式距离，并进行排序，选取距离最近的注册东北虎图像作为所述东北虎查询图像的再辨识结果。
如图2所示，在一具体实施例中：
所述残差卷积神经网络依次包括一个网络茎部CBRM和两个残差块组 RBG(Residual Block Group)；所述网络茎部CBRM由卷积层 (Convolutional)、批归一化层(Batch Normalization)、线性整流单元 (Rectified Linear Unit,ReLU)和最大池化层(Max Pooling)级联组成，所述残差块组RBG由一个带下采样的残差块(Residual Block)和若干不带下采样的残差块级联组成。
RGB中有两种残差块：(1)带下采样的残差块，其位于RBG开端； (2)不带下采样的残差块，其位于带下采样的残差块之后，并可根据情况多次堆叠。同CBRM茎部方式类似，RBG中CBR表示卷积(Convolutional) 层、批归一化(Batch Normalization)层和线性整流单元(Rectified Linear Unit, ReLU)的顺序组合；CB则表示卷积(Convolutional)层和批归一化(Batch Normalization)的组合；此外，Add表示求和运算。两种残差块的区别在于带下采样的残差块的3×3卷积层的滑动步长(Stride)为2像素，并相应的增加同样滑动步长(Stride)为2像素的CB进行实现残差求和。
所述Transformer网络包括空间分块层(Spatial Division,SD)、位置编码层(Position Embedding)、若干堆叠的Transformer块(Transformer Block, TB)以及批归一化层(Batch Normalization,BN)，所述空间分块层用于对所述双分支残差神经网络输出的特征映射进行空间分块，所述位置编码层用于增加一个与每个特征映射分块维数相同的可学习系数张量(Tensor)，用于实现分块位置信息编码；所述Transformer块包括线性投影层(Linear Project,LP)、层归一化层(Layer Normalization,LN)以及多头注意力层(Multi-Head Attention,MHA)。
所述损失函数包括三元组损失函数和交叉熵损失函数。
所述三元组损失函数具体为：
LTRI＝max(C+d(a,p)-d(a,n),0)
其中，a为锚点样本，p为正样本，n为反样本，且p与a具有相同的身份，n与a具有不同的身份；d(a,p)是a和p之间的欧式距离，d(a,n)a和n之间的欧式距离；C≥0为是间隔参数；此处，a，p和n皆非指原图像，而是用所述异种神经网络对原图像提取的特征表示(即图2中BN层的输出数据)。
所述交叉熵损失函数具体为：
Figure BDA0003539162900000061
其中，M是类别数量；N是样本数量；yic为指示函数，若第i样本的类别为c则yic＝1，否则yic＝0；pic为样本属于类别c的后验概率。
为了更好地平衡两种损失，将所述三元组损失函数置于所述 Transformer网络的批归一化层前，将所述交叉熵损失函数置于所述 Transformer网络的批归一化层后。
本实施例中，测试过程的步骤如下：
1)利用异种神经网络对东北虎查询图像q和东北虎注册图像集G分别进行特征提取(即利用图2中BN层输出数据作为图像特征)。其中，查询图像q为身份未知的图像，而注册图像集G为身份已知图像集合。
2)基于所提取的全局特征，计算东北虎查询图像q和东北虎注册图像集G中所有图像之间的欧式距离，并进行排序，选取那些距离近的注册东北虎图像即为与东北虎查询图像q的再辨识结果。
基于同一发明构思，本申请还提供了与实施例一中的方法对应的装置，详见实施例二。
实施例二
在本实施例中提供了一种基于异种神经网络的多模态东北虎再辨识装置，如图3所示，包括：训练集构建模块、异种神经网络构建模块、网络训练模块以及再辨识模块；
所述训练集构建模块，用于获取红外光图像与可见光图像的多模态东北虎图像，对所述图像进行东北虎身份标定和图像增强，然后构建训练集；
所述异种神经网络构建模块，用于构建异种神经网络，所述异种神经网络包括双分支残差神经网络和Transformer网络；所述双分支残差神经网络包括结构相同但参数独立的两个残差卷积神经网络，用于分别对所述红外光图像和可见光图像的局部特征进行学习；
所述网络训练模块，用于构建损失函数，利用训练集对所述异种神经网络进行训练，通过损失函数对异种神经网络进行监督，采用随机梯度下降方法进行优化，直至收敛，从而获得异种神经网络模型；
所述再辨识模块，用于将东北虎查询图像和东北虎注册图像集输入所述异种神经网络模型，基于所提取的全局特征，计算所述东北虎查询图像与东北虎注册图像集中所有图像之间的欧式距离，并进行排序，选取距离最近的注册东北虎图像作为所述东北虎查询图像的再辨识结果。
较佳地，所述异种神经网络构建模块中，残差卷积神经网络依次包括一个网络茎部CBRM和两个残差块组RBG；所述网络茎部CBRM由卷积层、批归一化层、线性整流单元和最大池化层级联组成，所述残差块组RBG由若干残差块级联组成。
较佳地，所述异种神经网络构建模块中，Transformer网络包括空间分块层、位置编码层、若干堆叠的Transformer块以及批归一化(Batch Normalization,BN)层，所述空间分块层用于对所述双分支残差神经网络输出的特征映射进行空间分块，所述位置编码层用于增加一个与每个特征映射分块维数相同的可学习系数张量，所述Transformer块包括线性投影层、层归一化层以及多头注意力层。
较佳地，所述网络训练模块中，损失函数包括三元组损失函数和交叉熵损失函数；所述三元组损失函数在所述Transformer网络的批归一化层前，所述交叉熵损失函数在所述Transformer网络的批归一化层后。
由于本发明实施例二所介绍的装置，为实施本发明实施例一的方法所采用的装置，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该装置的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的装置都属于本发明所欲保护的范围。
本发明通过双分支残差神经网络处理红外和可见光东北虎图像光谱、分辨率、对比度等特性；通过Transformer网络从全局视角学习信息东北虎特征，对由双分支残差卷积神经网络学得的红外图像和可见光图像的局部特征，利用自注意力机制学习东北虎的全局特征，从而减少图像模态差异带来的噪声影响，实现高准确率的东北虎再辨识。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (9)

1.一种基于异种神经网络的多模态东北虎再辨识方法，其特征在于，包括：
步骤10、获取红外光图像与可见光图像的多模态东北虎图像，对所述图像进行东北虎身份标定和图像增强，然后构建训练集；
步骤20、构建异种神经网络，所述异种神经网络包括双分支残差神经网络和Transformer网络；所述双分支残差神经网络包括结构相同但参数独立的两个残差卷积神经网络，用于分别对所述红外光图像和可见光图像的局部特征进行学习；
步骤30、构建损失函数，利用训练集对所述异种神经网络进行训练，通过损失函数对异种神经网络进行监督，采用随机梯度下降方法进行优化，直至收敛，从而获得异种神经网络模型；
步骤40、将东北虎查询图像和东北虎注册图像集输入所述异种神经网络模型，基于所提取的全局特征，计算所述东北虎查询图像与东北虎注册图像集中所有图像之间的欧式距离，并进行排序，选取距离最近的注册东北虎图像作为所述东北虎查询图像的再辨识结果。
2.根据权利要求1所述的方法，其特征在于：所述残差卷积神经网络依次包括一个网络茎部CBRM和两个残差块组RBG；所述网络茎部CBRM由卷积层、批归一化层、线性整流单元和最大池化层级联组成，所述残差块组RBG由若干残差块级联组成。
3.根据权利要求1所述的方法，其特征在于：所述Transformer网络包括空间分块层、位置编码层、若干堆叠的Transformer块以及批归一化层，所述空间分块层用于对所述双分支残差神经网络输出的特征映射进行空间分块，所述位置编码层用于增加一个与每个特征映射分块维数相同的可学习系数张量，所述Transformer块包括线性投影层、层归一化层以及多头注意力层。
4.根据权利要求1所述的方法，其特征在于：所述损失函数包括三元组损失函数和交叉熵损失函数；所述三元组损失函数在所述Transformer网络的批归一化层前，所述交叉熵损失函数在所述Transformer网络的批归一化层后。
5.根据权利要求4所述的方法，其特征在于：
所述三元组损失函数具体为：
LTRI＝max(C+d(a,p)-d(a,n),0)
其中，a为锚点样本，p为正样本，n为反样本，且p与a具有相同的身份，n与a具有不同的身份；d(a,p)是a和p之间的欧式距离，d(a,n)a和n之间的欧式距离；C≥0为是间隔参数；
所述交叉熵损失函数具体为：
Figure FDA0003539162890000021
其中，M是类别数量；N是样本数量；yic为指示函数，若第i样本的类别为c则yic＝1，否则yic＝0；pic为样本属于类别c的后验概率。
6.一种基于异种神经网络的多模态东北虎再辨识装置，其特征在于，包括：训练集构建模块、异种神经网络构建模块、网络训练模块以及再辨识模块；
所述训练集构建模块，用于获取红外光图像与可见光图像的多模态东北虎图像，对所述图像进行东北虎身份标定和图像增强，然后构建训练集；
所述异种神经网络构建模块，用于构建异种神经网络，所述异种神经网络包括双分支残差神经网络和Transformer网络；所述双分支残差神经网络包括结构相同但参数独立的两个残差卷积神经网络，用于分别对所述红外光图像和可见光图像的局部特征进行学习；
所述网络训练模块，用于构建损失函数，利用训练集对所述异种神经网络进行训练，通过损失函数对异种神经网络进行监督，采用随机梯度下降方法进行优化，直至收敛，从而获得异种神经网络模型；
所述再辨识模块，用于将东北虎查询图像和东北虎注册图像集输入所述异种神经网络模型，基于所提取的全局特征，计算所述东北虎查询图像与东北虎注册图像集中所有图像之间的欧式距离，并进行排序，选取距离最近的注册东北虎图像作为所述东北虎查询图像的再辨识结果。
7.根据权利要求6所述的装置，其特征在于：所述异种神经网络构建模块中，残差卷积神经网络依次包括一个网络茎部CBRM和两个残差块组RBG；所述网络茎部CBRM由卷积层、批归一化层、线性整流单元和最大池化层级联组成，所述残差块组RBG由若干残差块级联组成。
8.根据权利要求6所述的装置，其特征在于：所述异种神经网络构建模块中，Transformer网络包括空间分块层、位置编码层、若干堆叠的Transformer块以及批归一化层，所述空间分块层用于对所述双分支残差神经网络输出的特征映射进行空间分块，所述位置编码层用于增加一个与每个特征映射分块维数相同的可学习系数张量，所述Transformer块包括线性投影层、层归一化层以及多头注意力层。
9.根据权利要求6所述的装置，其特征在于：所述网络训练模块中，损失函数包括三元组损失函数和交叉熵损失函数；所述三元组损失函数在所述Transformer网络的批归一化层前，所述交叉熵损失函数在所述Transformer网络的批归一化层后。
CN202210225924.6A 2022-03-09 2022-03-09 一种基于异种神经网络的多模态东北虎再辨识方法及装置 Pending CN114743128A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210225924.6A CN114743128A (zh) 2022-03-09 2022-03-09 一种基于异种神经网络的多模态东北虎再辨识方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210225924.6A CN114743128A (zh) 2022-03-09 2022-03-09 一种基于异种神经网络的多模态东北虎再辨识方法及装置

Publications (1)

Publication Number Publication Date
CN114743128A true CN114743128A (zh) 2022-07-12

Family

ID=82275675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210225924.6A Pending CN114743128A (zh) 2022-03-09 2022-03-09 一种基于异种神经网络的多模态东北虎再辨识方法及装置

Country Status (1)

Country Link
CN (1) CN114743128A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116612439A (zh) * 2023-07-20 2023-08-18 华侨大学 模态域适应性和特征鉴别性平衡方法及行人再辨识方法
CN116994295A (zh) * 2023-09-27 2023-11-03 华侨大学 基于灰度样本自适应选择门的野生动物类别识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829888A (zh) * 2018-12-27 2019-05-31 北京林业大学 基于深度卷积神经网络的野生动物监测分析系统及方法
CN111259850A (zh) * 2020-01-23 2020-06-09 同济大学 一种融合随机批掩膜和多尺度表征学习的行人重识别方法
CN111325111A (zh) * 2020-01-23 2020-06-23 同济大学 一种融合逆注意力和多尺度深度监督的行人重识别方法
CN112434796A (zh) * 2020-12-09 2021-03-02 同济大学 一种基于局部信息学习的跨模态行人再识别方法
CN113096023A (zh) * 2020-01-08 2021-07-09 字节跳动有限公司 神经网络的训练方法、图像处理方法及装置、存储介质
US20210397812A1 (en) * 2021-09-03 2021-12-23 Vivek Satya Bharati Image processing system for wildlife detection and method thereof

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829888A (zh) * 2018-12-27 2019-05-31 北京林业大学 基于深度卷积神经网络的野生动物监测分析系统及方法
CN113096023A (zh) * 2020-01-08 2021-07-09 字节跳动有限公司 神经网络的训练方法、图像处理方法及装置、存储介质
CN111259850A (zh) * 2020-01-23 2020-06-09 同济大学 一种融合随机批掩膜和多尺度表征学习的行人重识别方法
CN111325111A (zh) * 2020-01-23 2020-06-23 同济大学 一种融合逆注意力和多尺度深度监督的行人重识别方法
CN112434796A (zh) * 2020-12-09 2021-03-02 同济大学 一种基于局部信息学习的跨模态行人再识别方法
US20210397812A1 (en) * 2021-09-03 2021-12-23 Vivek Satya Bharati Image processing system for wildlife detection and method thereof

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116612439A (zh) * 2023-07-20 2023-08-18 华侨大学 模态域适应性和特征鉴别性平衡方法及行人再辨识方法
CN116612439B (zh) * 2023-07-20 2023-10-31 华侨大学 模态域适应性和特征鉴别性平衡方法及行人再辨识方法
CN116994295A (zh) * 2023-09-27 2023-11-03 华侨大学 基于灰度样本自适应选择门的野生动物类别识别方法
CN116994295B (zh) * 2023-09-27 2024-02-02 华侨大学 基于灰度样本自适应选择门的野生动物类别识别方法

Similar Documents

Publication Publication Date Title
CN111931637B (zh) 基于双流卷积神经网络的跨模态行人重识别方法和系统
CN107818571B (zh) 基于深度学习网络和均值漂移的船只自动跟踪方法及系统
CN109558823B (zh) 一种以图搜图的车辆识别方法及系统
CN114743128A (zh) 一种基于异种神经网络的多模态东北虎再辨识方法及装置
CN112651262B (zh) 一种基于自适应行人对齐的跨模态行人重识别方法
CN115690479A (zh) 一种基于卷积Transformer的遥感图像分类方法及系统
CN110717493B (zh) 一种基于深度学习的含堆叠字符的车牌识别方法
CN112712052A (zh) 一种机场全景视频中微弱目标的检测识别方法
CN107045630B (zh) 一种基于rgbd的行人检测和身份识别方法及系统
CN114913498A (zh) 一种基于关键点估计的并行多尺度特征聚合车道线检测方法
CN115841683A (zh) 一种联合多级特征的轻量行人重识别方法
CN114926796A (zh) 一种基于新式混合注意力模块的弯道检测方法
CN111898510B (zh) 一种基于渐进式神经网络的跨模态行人再识别方法
CN113628334A (zh) 视觉slam方法、装置、终端设备及存储介质
CN113486723A (zh) 一种高效的车辆再辨识方法和装置
CN111160115B (zh) 一种基于孪生双流3d卷积神经网络的视频行人再识别方法
CN115240394B (zh) 一种变电站事故油池水位监测预警方法及系统
CN114663839B (zh) 一种遮挡行人重识别方法及系统
CN115294548B (zh) 一种基于行方向上位置选择和分类方法的车道线检测方法
CN114782915B (zh) 基于辅助监督和知识蒸馏的智能汽车端到端车道线检测系统及设备
CN115761697A (zh) 一种基于改进yolov4的辅助智能驾驶目标检测方法
CN115690770A (zh) 基于空间注意力特征的非受限场景下的车牌识别方法
CN114155489A (zh) 一种多设备协同的无人机飞手检测方法、设备及存储介质
CN112069997B (zh) 一种基于DenseHR-Net的无人机自主着陆目标提取方法及装置
CN114581769A (zh) 一种基于无监督聚类的在建房屋识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination