CN115795081B - 一种基于多通道融合的跨域残缺足迹图像检索系统 - Google Patents
一种基于多通道融合的跨域残缺足迹图像检索系统 Download PDFInfo
- Publication number
- CN115795081B CN115795081B CN202310059477.6A CN202310059477A CN115795081B CN 115795081 B CN115795081 B CN 115795081B CN 202310059477 A CN202310059477 A CN 202310059477A CN 115795081 B CN115795081 B CN 115795081B
- Authority
- CN
- China
- Prior art keywords
- footprint
- incomplete
- image
- data
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种基于多通道融合的跨域残缺足迹图像检索系统，包括：网络输入模块，用于输入多人的赤足足迹数据，形成足迹数据集，每人足迹数据包含光学完整足迹图像、光学残缺足迹图像以及单枚压力完整图像；特征提取模块，用于对所述网络输入模块采集的足迹数据集的图像信息的深层和浅层的特征图添加注意力和池化算子，得到足迹全局和足迹局部特征信息；多通道融合模块，用于对获得的足迹全局和足迹局部特征信息进行多通道融合。本发明解决了足迹图像检索的足迹残缺性和跨域问题，实现了完整压力足迹图像检索残缺光学足迹图像的工作。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种基于多通道融合的跨域残缺足迹图像检索系统。
背景技术
足迹是公共安全和刑侦领域常见的遗留痕迹之一，对其特征分析具有一定的实际意义，若能利用现场采集到的足迹数据检索数据库中数据，就能快速甄别嫌疑人身份，为案件的破获带来便利。
实现图像检索的常用方法是深度特征的提取，深度特征往往通过卷积神经网络中的全连接层得到，提取到的特征能够稳定出现并且具有良好的可区分性，但缺乏空间信息，针对类间差异小的足迹数据集不具优势。另外，以往的研究大多是针对同域完整足迹的，而现场遗留的足迹与实验室采集的足迹数据通常不在一个域内，且现场足迹通常为残缺形态。
发明内容
（1）要解决的技术问题
本发明实施例第提出了一种基于多通道融合的跨域残缺足迹图像检索系统，包括：网络输入模块、特征提取模块和多通道融合模块。本发明解决了足迹图像检索的足迹残缺性和跨域问题，实现了完整压力足迹图像检索残缺光学足迹图像的工作。
（2）技术方案
本发明的实施例提出了一种基于多通道融合的跨域残缺足迹图像检索系统，包括：
网络输入模块，用于输入多人的赤足足迹数据，形成足迹数据集，每人足迹数据包含光学完整足迹图像、光学残缺足迹图像以及单枚压力完整图像；
特征提取模块，用于对所述网络输入模块采集的足迹数据集的图像信息的深层和浅层的特征图添加注意力和池化算子，得到足迹全局和足迹局部特征信息；
多通道融合模块，用于对获得的足迹全局和足迹局部特征信息进行多通道融合。
进一步地，所述网络输入模块的赤足足迹数据处理方法包括：对于输入的多人的赤足足迹数据采用公式（1）处理，获得灰度图
Gray = R*0.299 + G*0.587 + B*0.114 （1）
进一步地，所述特征提取模块的特征提取方法包括如下步骤：
所述特征提取模块设置两个子提取模块分别用于提取RGB图像和G通道特征图的特征；
所述特征提取模块由ResNet50网络、自注意力机制和池化算子组成，ResNet50网络由Steam层和多个卷积块组成，所述Steam层包含一个卷积层和池化层；
自注意力机制处理来自其中一个卷积块的特征图，且自注意力机制通过2-范数，对学习到的数据进行重要性建模；
经过多个卷积块处理后的数据再经过GeM池化进行特征聚合，GeM池化介于平均池化和最大池化之间，公式如（2）所示：
（2）
其中参数p是可设置的，是指特征图中数据的集合。
进一步地，所述多通道融合模块的融合方法包括：采用多通道正交的方式融合来自多个卷积块的特征；对融合以后的数据进行拼接，再经过自适应平均池化，得到最终的特征表示。
进一步地，残缺足迹图像检索对比方法包括：先将完整的单枚压力足迹图像放入训练好的网络，建立特征库；然后输入残缺的光学足迹图像，将经过网络抽象的特征与特征库中的特征进行比对，距离最小越相似，最终得到预测准确率。
进一步地，所述网络输入模块采集 160人的赤足足迹数据进行网络训练，采集40人的赤足足迹数据用于测试。
（3）有益效果
本发明针对足迹图像检索的足迹残缺性和跨域问题建立了一个200人的赤足足迹数据集，每人包含光学完整足迹图像、光学残缺足迹图像以及单枚压力完整图像。将具有RGB三通道的单枚压力完整图像和其G通道的特征图分别放入改进后的ResNet50网络，对得到的深层和浅层的特征图添加注意力和池化算子，得到全局和局部特征，再利用多通道融合模块，融合多个特征，降低特征冗余度，同时获得更加丰富的特征信息，最后利用完整压力足迹图像的特征库来检索残缺足迹图像。
本发明解决了足迹图像检索的足迹残缺性和跨域问题，实现了完整压力足迹图像检索残缺光学足迹图像的工作，本发明针对足迹检索的足迹残缺性和跨域问题做出了研究，具有较高的实用价值。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例跨域残缺足迹图像检索模型示意图。
图2是本本发明另一实施例的多通道融合模块示意图。
图3是本本发明另一实施例的单枚压力足迹图像与特征库中的图像对比情况示意图。
实施方式
下面结合附图和实施例对本发明的实施方式作进一步详细描述。以下实施例的详细描述和附图用于示例性地说明本发明的原理，但不能用来限制本发明的范围，即本发明不限于所描述的实施例，在不脱离本发明的精神的前提下覆盖了零件、部件和连接方式的任何修改、替换和改进。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
下面将参照附图1-附图3并结合实施例来详细说明本申请。
本发明的实施例提出了一种基于多通道融合的跨域残缺足迹图像检索系统，包括：
网络输入模块，用于输入多人的赤足足迹数据，形成足迹数据集，每人足迹数据包含光学完整足迹图像、光学残缺足迹图像以及单枚压力完整图像；
特征提取模块，用于对所述网络输入模块采集的足迹数据集的图像信息的深层和浅层的特征图添加注意力和池化算子，得到足迹全局和足迹局部特征信息；
多通道融合模块，用于对获得的足迹全局和足迹局部特征信息进行多通道融合。
具体的，所述网络输入模块的赤足足迹数据处理方法包括：
对于输入的多人的赤足足迹数据采用公式（1）处理，获得灰度图
Gray = R*0.299 + G*0.587 + B*0.114 （1）
具体的，所述特征提取模块的特征提取方法包括如下步骤：所述特征提取模块设置两个子提取模块分别用于提取RGB图像和G通道特征图的特征；所述特征提取模块由ResNet50网络、自注意力机制和池化算子组成，ResNet50网络由Steam层和多个卷积块组成，所述Steam层包含一个卷积层和池化层；自注意力机制处理来自其中一个卷积块的特征图，且自注意力机制通过2-范数，对学习到的数据进行重要性建模；经过多个卷积块处理后的数据再经过GeM池化进行特征聚合，GeM池化介于平均池化和最大池化之间，公式如（2）所示：
（2）
其中参数p是可设置的，是指特征图中数据的集合。
具体的，所述多通道融合模块的融合方法包括：采用多通道正交的方式融合来自多个卷积块的特征；对融合以后的数据进行拼接，再经过自适应平均池化，得到最终的特征表示。
具体的，残缺足迹图像检索对比方法包括：先将完整的单枚压力足迹图像放入训练好的网络，建立特征库；然后输入残缺的光学足迹图像，将经过网络抽象的特征与特征库中的特征进行比对，距离最小越相似，最终得到预测准确率。
具体的，所述网络输入模块采集 160人的赤足足迹数据进行网络训练，采集40人的赤足足迹数据用于测试。
在本发明实施例中，本发明实施例针对足迹图像检索的足迹残缺性和跨域问题建立了一个200人的赤足足迹数据集，每人包含光学完整足迹图像、光学残缺足迹图像以及单枚压力完整图像。将具有RGB三通道的单枚压力完整图像和其G通道的特征图分别放入改进后的ResNet50网络，对得到的深层和浅层的特征图添加注意力和池化算子，得到全局和局部特征，再利用多通道融合模块，融合多个特征，降低特征冗余度，同时获得更加丰富的特征信息，最后利用完整压力足迹图像的特征库来检索残缺足迹图像。解决了足迹图像检索的足迹残缺性和跨域问题，实现了完整压力足迹图像检索残缺光学足迹图像的工作，本发明针对足迹检索的足迹残缺性和跨域问题做出了研究，具有较高的实用价值。
具体来看，在本发明实施例中基于多通道融合的跨域残缺足迹图像检索系统首先包括网络输入模块，网络输入模块用于将RGB图像转换为灰度图，在将RG图像B转化成灰度图时，遵循公式（1），可以看出，G通道的占比是最大的，因此我们采用的是RGB三通道的单枚压力图像和其G通道的特征图，以补充特征信息。
Gray=R*0.299+G*0.587+B*0.114 （1）
其次，本发明实施例基于多通道融合的跨域残缺足迹图像检索系统包括特征提取模块，特征提取模块是在卷积神经网络的基础上实现的，本发明实施例采用了两个特征提取模块的方式，分别用于提取RGB图像和G通道特征图的特征。其主要是由ResNet50、自注意力机制和池化算子得到。ResNet50的网络框架如图1中的特征提取模块部分所示，主要由四个部分组成，其中Steam层包含一个卷积层和最大池化层，Res1、Res2、Res3和Res4分别包含3个、4个、6个和3个卷积块，每个卷积块都包含了3个卷积层。本发明实施例采用自注意力机制进一步处理来自Res2层的特征图，自注意力模块则是通过2-范数，对学习到的数据进行重要性建模,使得学习到的特征既考虑全局又聚焦重点。至于来自Res3的更深层特征则是再经过一个GeM池化，来进行特征聚合，GeM池化介于平均池化和最大池化之间，公式如（2）所示。参数p是可学习的，若将参数p设置为1，则为平均池化，若调节p至无穷，则为最大池化，其中，是指特征图中数据的集合。
（2）
最后，本发明实施例基于多通道融合的跨域残缺足迹图像检索系统包括多通道融合模块，由数学知识可知，如果向量α，β的内积为0，那么α，β称为正交或相互垂直，且α，β是互不相关的。根据这个性质可知，将相互正交的特征向量融合可以降低特征的冗余度，最大化特征的有用性，因此本文提出一个多通道融合模块,采用正交的方式融合来自Res2和Res3的特征，丰富特征信息的同时，降低特征冗余。多通道融合模块的内部过程由图2所示，其中分别对应上述实施例中的Res1、Res2、Res3、Res4层输出的特征，C表示通道上的拼接，G表示自适应平均池化。
检索测试时，输入如图3所示，先将完整的单枚压力足迹图像放入训练好的网络，建立特征库，然后残缺的光学足迹图像也进入这个网络，将经过网络抽象的特征与特征库中的特征进行比对，距离最小越相似，最终得到预测准确率。
本发明实施例针对足迹图像检索的足迹残缺性和跨域问题建立了一个200人的赤足足迹数据集，每人包含光学完整足迹图像、光学残缺足迹图像以及单枚压力完整图像。将具有RGB三通道的单枚压力完整图像和其G通道的特征图分别放入改进后的ResNet50网络，对得到的深层和浅层的特征图添加注意力和池化算子，得到全局和局部特征，再利用多通道融合模块，融合多个特征，降低特征冗余度，同时获得更加丰富的特征信息，最后利用完整压力足迹图像的特征库来检索残缺足迹图像。解决了足迹图像检索的足迹残缺性和跨域问题，实现了完整压力足迹图像检索残缺光学足迹图像的工作，本发明针对足迹检索的足迹残缺性和跨域问题做出了研究，具有较高的实用价值。
需要明确的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。对于方法的实施例而言，相关之处可参见设备实施例的部分说明。本发明并不局限于上文所描述并在图中示出的特定步骤和结构。并且，为了简明起见，这里省略对已知方法技术的详细描述。
以上所述仅为本申请的实施例而已，并不限制于本申请。在不脱离本发明的范围的情况下对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围内。
Claims (3)
1.一种基于多通道融合的跨域残缺足迹图像检索系统，其特征在于，包括：
网络输入模块，用于输入多人的赤足足迹数据，形成足迹数据集，每人足迹数据包含光学完整足迹图像、光学残缺足迹图像以及单枚压力完整图像；
特征提取模块，用于对所述网络输入模块采集的足迹数据集的图像信息的深层和浅层的特征图添加注意力和池化算子，得到足迹全局和足迹局部特征信息；
多通道融合模块，用于对获得的足迹全局和足迹局部特征信息进行多通道融合；
所述网络输入模块的赤足足迹数据处理方法包括：对于输入的多人的赤足足迹数据采用公式（1）处理，获得灰度图
Gray = R*0.299 + G*0.587 + B*0.114 （1）
所述特征提取模块的特征提取方法包括如下步骤：
所述特征提取模块设置两个子提取模块分别用于提取RGB图像和G通道特征图的特征；
所述特征提取模块由ResNet50网络、自注意力机制和池化算子组成，ResNet50网络由Steam层和多个卷积块组成，所述Steam层包含一个卷积层和池化层；
自注意力机制处理来自Res3卷积块的特征图，且自注意力机制通过模2-范数，对学习到的数据进行重要性建模；
经过多个卷积块处理后的数据再经过GeM池化进行特征聚合，GeM池化介于平均池化和最大池化之间，公式如（2）所示；
（2）
其中参数p是可设置的，是指特征图中数据的集合，所述多通道融合模块的融合方法包括：采用多通道正交的方式融合来自多个卷积块的特征；对融合以后的数据进行拼接，再经过自适应平均池化，得到最终的特征表示。
2.根据权利要求1所述的一种基于多通道融合的跨域残缺足迹图像检索系统，其特征在于，残缺足迹图像检索对比方法包括：先将完整的单枚压力足迹图像放入训练好的网络，建立特征库；然后输入残缺的光学足迹图像，将经过网络抽象的特征与特征库中的特征进行比对，距离最小越相似，最终得到预测准确率。
3.根据权利要求1所述的一种基于多通道融合的跨域残缺足迹图像检索系统，其特征在于，所述网络输入模块采集 160人的赤足足迹数据进行网络训练，采集40人的赤足足迹数据用于测试。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310059477.6A CN115795081B (zh) | 2023-01-20 | 2023-01-20 | 一种基于多通道融合的跨域残缺足迹图像检索系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310059477.6A CN115795081B (zh) | 2023-01-20 | 2023-01-20 | 一种基于多通道融合的跨域残缺足迹图像检索系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115795081A CN115795081A (zh) | 2023-03-14 |
| CN115795081B true CN115795081B (zh) | 2023-04-18 |
Family
ID=85429751
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310059477.6A Active CN115795081B (zh) | 2023-01-20 | 2023-01-20 | 一种基于多通道融合的跨域残缺足迹图像检索系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115795081B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116401395B (zh) * | 2023-06-07 | 2023-08-04 | 安徽大学 | 一种基于弱化模态差异的跨模态足迹图像检索系统 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117218720B (zh) * | 2023-08-25 | 2024-04-16 | 中南民族大学 | 一种复合注意力机制的足迹识别方法、系统及相关装置 |
| CN117152575B (zh) * | 2023-10-26 | 2024-02-02 | 吉林大学 | 图像处理装置、电子设备和计算机可读存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113220926A (zh) * | 2021-05-06 | 2021-08-06 | 安徽大学 | 基于多尺度局部注意力增强网络的足迹图像检索方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103955496B (zh) * | 2014-04-18 | 2018-06-12 | 大连恒锐科技股份有限公司 | 一种快速的现场轮胎痕迹花纹检索算法 |
| CN109583379A (zh) * | 2018-11-30 | 2019-04-05 | 常州大学 | 一种基于随机擦除行人对齐网络的行人重识别方法 |
| EP3896482A1 (en) * | 2020-04-15 | 2021-10-20 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Method for the computer-implemented generation of a synthetic data set for training a convolutional neural network for an interferometric sar |
| CN112100429B (zh) * | 2020-09-27 | 2022-09-13 | 安徽大学 | 一种足迹压力图像检索方法 |
| CN112257662A (zh) * | 2020-11-12 | 2021-01-22 | 安徽大学 | 一种基于深度学习的压力足迹图像检索系统 |
| CN112800267A (zh) * | 2021-02-03 | 2021-05-14 | 大连海事大学 | 一种细粒度鞋印图像检索方法 |
| CN112905828B (zh) * | 2021-03-18 | 2023-06-16 | 西北大学 | 一种结合显著特征的图像检索器、数据库及检索方法 |
| CN113129234B (zh) * | 2021-04-20 | 2022-11-01 | 河南科技学院 | 一种场内外特征融合的残缺图像精细修复方法 |
-
2023
- 2023-01-20 CN CN202310059477.6A patent/CN115795081B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113220926A (zh) * | 2021-05-06 | 2021-08-06 | 安徽大学 | 基于多尺度局部注意力增强网络的足迹图像检索方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116401395B (zh) * | 2023-06-07 | 2023-08-04 | 安徽大学 | 一种基于弱化模态差异的跨模态足迹图像检索系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115795081A (zh) | 2023-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115795081B (zh) | 一种基于多通道融合的跨域残缺足迹图像检索系统 | |
| CN110390952B (zh) | 基于双特征2-DenseNet并联的城市声音事件分类方法 | |
| CN102148987B (zh) | 基于先验模型和l0范数的压缩感知图像重构方法 | |
| CN111695430A (zh) | 一种基于特征融合和视觉感受野网络的多尺度人脸检测方法 | |
| CN112801054B (zh) | 人脸识别模型的处理方法、人脸识别方法及装置 | |
| CN111652293A (zh) | 一种多任务联合判别学习的车辆重识别方法 | |
| CN112966137A (zh) | 基于全局与局部特征重排的图像检索方法与系统 | |
| CN109145940B (zh) | 图像识别方法和装置 | |
| CN112084895B (zh) | 一种基于深度学习的行人重识别方法 | |
| CN115631513B (zh) | 基于Transformer的多尺度行人重识别方法 | |
| CN109919084A (zh) | 一种基于深度多索引哈希的行人重识别方法 | |
| CN113361636A (zh) | 一种图像分类方法、系统、介质及电子设备 | |
| CN112766378A (zh) | 一种专注细粒度识别的跨域小样本图像分类模型方法 | |
| CN116206327A (zh) | 一种基于在线知识蒸馏的图像分类方法 | |
| CN109088793B (zh) | 用于检测网络故障的方法和装置 | |
| CN115114329A (zh) | 数据流异常检测的方法、装置、电子设备和存储介质 | |
| CN112668532A (zh) | 基于多阶段混合注意网络的人群计数方法 | |
| CN109190649B (zh) | 一种深度学习网络模型服务器的优化方法和装置 | |
| CN114067356B (zh) | 基于联合局部引导与属性聚类的行人重识别方法 | |
| CN111027771A (zh) | 景区客流量预估方法、系统、装置及可存储介质 | |
| CN116958020A (zh) | 异常图像检测方法、模型训练方法、装置、设备和介质 | |
| CN114627540A (zh) | 一种用于会勘会检应用平台的人脸信息识别对比系统 | |
| CN113569886A (zh) | 网络结构调整方法、装置和存储介质及电子设备 | |
| CN114202739A (zh) | 视频行人重识别的方法 | |
| CN113962303B (zh) | 基于密度融合的水下试验环境反演方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |