CN111914894A - 特征提取方法、装置、电子设备及计算机可读存储介质 - Google Patents

特征提取方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN111914894A
CN111914894A CN202010597972.9A CN202010597972A CN111914894A CN 111914894 A CN111914894 A CN 111914894A CN 202010597972 A CN202010597972 A CN 202010597972A CN 111914894 A CN111914894 A CN 111914894A
Authority
CN
China
Prior art keywords
feature
fusion
resolution
features
maps
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010597972.9A
Other languages
English (en)
Inventor
刘想
陈威
杨邻瑞
谢隆飞
邵小亮
李志福
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CCB Finetech Co Ltd
Original Assignee
China Construction Bank Corp
CCB Finetech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp, CCB Finetech Co Ltd filed Critical China Construction Bank Corp
Priority to CN202010597972.9A priority Critical patent/CN111914894A/zh
Publication of CN111914894A publication Critical patent/CN111914894A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种特征提取方法、装置、电子设备及计算机可读存储介质，应用于目标检测技术领域，其中该方法包括：通过上采样信息融合通道将低分辨率的深层特征图融合到高分辨率的浅层特征图中，以及通过下采样信息融合通道将高分辨率的浅层特征图逐渐融合到低分辨率的高层特征图中，然后对通过两个通道得到的不同分辨率的融合特征进一步融合处理得到目标特征，使得目标特征包含了所有分辨率特征图的特征，从而能通提升目标检测的准确性。

Description

特征提取方法、装置、电子设备及计算机可读存储介质
技术领域
本申请涉及目标检测技术领域，具体而言，本申请涉及一种特征提取方法、装置、电子设备及计算机可读存储介质。
背景技术
图像中的目标往往在姿态、尺度、长宽比等方面呈现多样性，使得无法很好的检测出多类别不同大小的目标，尤其在复杂场景下图像背景多变、目标尺度相对较小时，更加难以准确检测到。
目前，通常使用深度卷积神经网络来进行目标检测，例如常用的模型结构有yolov3、Faster R-CNN、retinanet、centernet等。基本流程为：一幅图像经过深度卷积神经网络后得到不同尺寸的特征图(浅层特征与深层特征)，使用这些不同层的特征进行预测类别与框。然而，该通过深度卷积神经网络得到的不同尺寸的特征图包含的信息有限，使得目标检测和识别的准确性较差。
发明内容
本申请提供了一种特征提取方法、装置、电子设备及计算机可读存储介质，用于提供一种特征提取方法，使得提取的目标特征包含更多的语义信息，从而能够提升目标检测的准确性。。本申请采用的技术方案如下：
第一方面，提供了一种特征提取方法，用于双通道特征融合网络，双通道特征融合网络包括：上采样信息融合通道、下采样信息融合通道、特征融合通道；该方法包括：
基于上采样信息融合通道对目标图像的n个不同分辨率的特征图
Figure BDA0002558031700000011
进行特征融合处理，以将低分辨率特征图的特征融合到高分辨率特征图的特征中，得到n个第一融合特征图
Figure BDA0002558031700000021
其中n≥2，
Figure BDA0002558031700000022
l≥1；
基于下采样信息融合通道对目标图像的n个不同分辨率的特征图
Figure BDA0002558031700000023
进行特征融合处理，以将高分辨率特征图的特征融合到低分辨率特征图的特征中，得到n个第二融合特征图
Figure BDA0002558031700000024
基于特征融合通道对n个第一融合特征图ptd与n个第二融合特征图
Figure BDA0002558031700000025
进行特征融合处理，得到n个目标特征图
Figure BDA0002558031700000026
可选地，n个不同分辨率的特征图按照分辨率由小到大排列。
可选地，基于上采样信息融合通道对目标图像的n个不同分辨率的特征图
Figure BDA0002558031700000027
进行特征融合处理，以将低分辨率特征图的特征融合到高分辨率特征图的特征中，得到n个第一融合特征图
Figure BDA0002558031700000028
包括：
基于n个不同分辨率的特征图
Figure BDA0002558031700000029
通过如下公式：
Figure BDA00025580317000000210
确定n个第一融合特征
Figure BDA00025580317000000211
其中
Figure BDA00025580317000000212
可选地，基于下采样信息融合通道对目标图像的n个不同分辨率的特征图
Figure BDA00025580317000000213
进行特征融合处理，以将高分辨率特征图的特征融合到低分辨率特征图的特征中，得到n个第二融合特征图
Figure BDA00025580317000000214
包括：
基于n个不同分辨率的特征图
Figure BDA00025580317000000215
通过如下公式：
Figure BDA00025580317000000216
得到n个第一融合特征
Figure BDA00025580317000000217
其中，
Figure BDA00025580317000000218
可选地，基于特征融合通道对n个第一融合特征图ptd与n个第二融合特征图
Figure BDA00025580317000000219
进行特征融合处理，得到n个目标特征图
Figure BDA00025580317000000220
包括：
基于n个第一融合特征图ptd与n个第二融合特征图
Figure BDA00025580317000000221
通过如下公式：
Figure BDA00025580317000000222
得到n个目标特征图
Figure BDA00025580317000000223
其中，
Figure BDA00025580317000000224
可选地，基于特征融合通道对n个第一融合特征图ptd与n个第二融合特征图
Figure BDA0002558031700000031
进行特征融合处理，得到n个目标特征图
Figure BDA0002558031700000032
包括：
通过加权特征融合方法对n个第一融合特征图ptd与n个第二融合特征图
Figure BDA0002558031700000033
进行特征融合处理，得到n个目标特征图
Figure BDA0002558031700000034
第一融合特征图ptd的权重值与第二融合特征图
Figure BDA0002558031700000035
的权重值通过深度神经网络学习得到。
可选地，该方法还包括：
将n个目标特征图
Figure BDA0002558031700000036
输入至目标检测网络进行目标检测识别。
第二方面，提供了一种特征提取装置，该装置包括，
上采样融合模块，用于基于上采样信息融合通道对目标图像的n个不同分辨率的特征图
Figure BDA0002558031700000037
进行特征融合处理，以将低分辨率特征图的特征融合到高分辨率特征图的特征中，得到n个第一融合特征图
Figure BDA0002558031700000038
其中n≥2，
Figure BDA0002558031700000039
Figure BDA00025580317000000310
下采样融合模块，用于基于下采样信息融合通道对目标图像的n个不同分辨率的特征图
Figure BDA00025580317000000311
进行特征融合处理，以将高分辨率特征图的特征融合到低分辨率特征图的特征中，得到n个第二融合特征图
Figure BDA00025580317000000312
融合模块，用于基于特征融合通道对n个第一融合特征图ptd与n个第二融合特征图
Figure BDA00025580317000000313
进行特征融合处理，得到n个目标特征图
Figure BDA00025580317000000314
可选地，n个不同分辨率的特征图按照分辨率由小到大排列。
可选地，上采样融合模块，具体用于基于n个不同分辨率的特征图
Figure BDA00025580317000000315
通过如下公式：
Figure BDA00025580317000000316
确定n个第一融合特征
Figure BDA00025580317000000317
其中
Figure BDA00025580317000000318
可选地，下采样模块，具体用于基于n个不同分辨率的特征图
Figure BDA00025580317000000319
通过如下公式：
Figure BDA00025580317000000320
得到n个第一融合特征
Figure BDA00025580317000000321
其中，
Figure BDA00025580317000000322
可选地，融合模块，具体用于基于n个第一融合特征图ptd与n个第二融合特征图
Figure BDA00025580317000000323
通过如下公式：
Figure BDA0002558031700000041
得到n个目标特征图
Figure BDA0002558031700000042
其中，
Figure BDA0002558031700000043
可选地，融合模块，具体用于通过加权特征融合方法对n个第一融合特征图ptd与n个第二融合特征图
Figure BDA00025580317000000412
进行特征融合处理，得到n个目标特征图
Figure BDA0002558031700000044
第一融合特征图ptd的权重值与第二融合特征图
Figure BDA0002558031700000045
的权重值通过深度神经网络学习得到。
可选地，该装置还包括：
检测识别模块，用于将n个目标特征图
Figure BDA0002558031700000046
输入至目标检测网络进行目标检测识别。
第三方面，提供了一种电子设备，该电子设备包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于：执行第一方面所示的特征提取方法。
第四方面，提供了一种计算机可读存储介质，计算机存储介质用于存储计算机指令，当其在计算机上运行时，使得计算机可以执行第一方面所示的特征提取方法。
本申请提供了一种特征提取方法、装置、电子设备及计算机可读存储介质，与现有技术基于通过卷积神经网络提取的浅层特征或深层特征进行目标检测相比，本申请基于上采样信息融合通道对目标图像的n个不同分辨率的特征图
Figure BDA0002558031700000047
进行特征融合处理，以将低分辨率特征图的特征融合到高分辨率特征图的特征中，得到n个第一融合特征图
Figure BDA0002558031700000048
其中n≥2，
Figure BDA0002558031700000049
Figure BDA00025580317000000410
基于下采样信息融合通道对目标图像的n个不同分辨率的特征图
Figure BDA00025580317000000411
进行特征融合处理，以将高分辨率特征图的特征融合到低分辨率特征图的特征中，得到n个第二融合特征图
Figure BDA0002558031700000051
基于特征融合通道对n个第一融合特征图ptd与n个第二融合特征图
Figure BDA0002558031700000052
进行特征融合处理，得到n个目标特征图
Figure BDA0002558031700000053
即通过上采样信息融合通道将低分辨率的深层特征图融合到高分辨率的浅层特征图中，以及通过下采样信息融合通道将高分辨率的浅层特征图逐渐融合到低分辨率的高层特征图中，然后对通过两个通道得到的不同分辨率的融合特征进一步融合处理得到目标特征，使得目标特征包含了所有分辨率特征图的特征，从而能通提升目标检测的准确性。
本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例的一种特征提取方法的流程示意图；
图2为本申请实施例的一种特征提取装置的结构示意图；
图3为本申请实施例的DualFPN网络结构示意图；
图4为本申请实施例的一种电子设备的结构示意图；
图5本申请实施例的Stack-DualFPN网络结构示意图；
图6为目标检测网络结构示例图；
图7为又一目标检测网络结构示例图；
图8为FPN网络结构示意图。
具体实施方式
下面详细描述本申请的实施例，各实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
本申请实施例提供了一种特征提取方法，用于双通道特征融合网络，双通道特征融合网络包括：上采样信息融合通道、下采样信息融合通道、特征融合通道；如图1所示，该方法可以包括以下步骤：
步骤S101，基于上采样信息融合通道对目标图像的n个不同分辨率的特征图
Figure BDA0002558031700000061
进行特征融合处理，以将低分辨率特征图的特征融合到高分辨率特征图的特征中，得到n个第一融合特征图
Figure BDA0002558031700000062
其中n≥2，
Figure BDA0002558031700000063
Figure BDA0002558031700000064
步骤S102，基于下采样信息融合通道对目标图像的n个不同分辨率的特征图
Figure BDA0002558031700000065
进行特征融合处理，以将高分辨率特征图的特征融合到低分辨率特征图的特征中，得到n个第二融合特征图
Figure BDA0002558031700000066
步骤S103，基于特征融合通道对n个第一融合特征图ptd与n个第二融合特征图
Figure BDA0002558031700000067
进行特征融合处理，得到n个目标特征图
Figure BDA0002558031700000068
其中，n个不同分辨率的特征图按照分辨率由小到大排列。
其中，图8示出了FPN的结构示意图，FPN结构基本原理是对高层特征进行上采样后与浅层网络进行融合，使每个分辨率的特征包含了该层的细节信息与全局的语义信息。本申请的双通道特征融合网络(DualFPN网络)示意图如图3所示，提供了双通道特征融合方法，在FPN的基础上增加了下采样信息融合通道，将浅层特征融合到高层特征中，从而提升了检测的精度。其中，多个DualFPN可以进行级联，从而得到Stack-DualFPN结构，具体如图5所示。
示例性地，基于双通道融合的特征提取方法的流程可以如下：
输入图片经过CNN骨干网络后，输出多分辨率特征图
Figure BDA0002558031700000071
Figure BDA0002558031700000072
表示CNN网络中第i级特征，该级特征的分辨率为输入图片分辨率1/2i。对于目标检测与分割通常会使用第2级以后的特征，本申请实施例选择
Figure BDA0002558031700000073
作为输入特征图，这些特征图经过1*1卷积网络统一通道数后，作为特征融合模块的输入
Figure BDA0002558031700000074
如图3所示，l＝3，n＝7，
Figure BDA0002558031700000075
一共5层特征为例。以下介绍DualFPN网络的结构。对于输入特征
Figure BDA0002558031700000076
记DualFPN的输出为：
Figure BDA0002558031700000077
该结构包含以下三步：
a.自上而下的上采样特征融合通道，如图3标号为1的线路所示，该步骤使用公式(1)计算得到：
Figure BDA0002558031700000078
Figure BDA0002558031700000079
其中Conv代表为卷积模块，通常包含卷积、BN、激活函数三个子操作，其中卷积操作使用3*3卷积，可选的，可以使用深度可分离卷积进行加速。Upsample为上采样操作，通常可使用插值(如最近邻、双线性插值等)操作或者反卷积操作，目的是使
Figure BDA00025580317000000710
的分辨率扩大2倍，与
Figure BDA00025580317000000711
分辨率一致。
即将低分辨率的深层特征图逐渐融合到高分辨率的浅层特征图中。
b.自下而上的下采样特征融合通道，如图3标号为2的线路所示，该步骤使用公式(2)计算得到：
Figure BDA00025580317000000712
其中downsample为下采样操作，通常使用pooling(max pooling、averagepooling)操作或者roialign操作来完成，目的是使
Figure BDA00025580317000000713
的分辨率缩小一半，与
Figure BDA00025580317000000714
分辨率一致。
即将高分辨率的浅层特征图逐渐融合到低分辨率的高层特征图中。
c.双通道特征融合，如图3标号为3的线路所示，即a与b的特征进行融合
Figure BDA0002558031700000081
经过这三个步骤，对于所有的分辨率特征层进行了融合，输出的每一种分辨率特征都混合了输入的所有分辨率特征。
本申请实施例，提供了一种可能的实现方式，如上DualFPN结构中的每个融合节点有两个输入，而两个输入对于该节点输出的贡献权重是一样。为了进一步提升融合特征的表达能力，本申请实施例使用加权特征融合方法，对于两个输入增加权重，相应的公式(1)、(2)、(3)变为以下形式：
Figure BDA0002558031700000082
Figure BDA0002558031700000083
Figure BDA0002558031700000084
其中，ω1+ω2＝1且ω1≥0，ω2≥0。为了保证这两个条件，这里定义两个可训练变量ω′1、ω′2，使
ω1＝max(ω′1，0)/(max(ω′1，0)+max(ω′2，0)+ε)
ω2＝max(ω′2，0)/(max(ω′1，0)+max(ω′2，0)+ε)
可以基于深度神经网络训练得到两个权重值。
本申请实施例提供了一种特征提取方法，与现有技术基于通过卷积神经网络提取的浅层特征或深层特征进行目标检测相比，本申请基于上采样信息融合通道对目标图像的n个不同分辨率的特征图
Figure BDA0002558031700000085
进行特征融合处理，以将低分辨率特征图的特征融合到高分辨率特征图的特征中，得到n个第一融合特征图
Figure BDA0002558031700000086
其中n≥2，
Figure BDA0002558031700000087
基于下采样信息融合通道对目标图像的n个不同分辨率的特征图
Figure BDA0002558031700000091
进行特征融合处理，以将高分辨率特征图的特征融合到低分辨率特征图的特征中，得到n个第二融合特征图
Figure BDA0002558031700000092
基于特征融合通道对n个第一融合特征图ptd与n个第二融合特征图
Figure BDA0002558031700000093
进行特征融合处理，得到n个目标特征图
Figure BDA0002558031700000094
即通过上采样信息融合通道将低分辨率的深层特征图融合到高分辨率的浅层特征图中，以及通过下采样信息融合通道将高分辨率的浅层特征图逐渐融合到低分辨率的高层特征图中，然后对通过两个通道得到的不同分辨率的融合特征进一步融合处理得到目标特征，使得目标特征包含了所有分辨率特征图的特征，从而能通提升目标检测的准确性。
本申请实施例提供了一种可能的实现方式，该方法还包括：
将n个目标特征图
Figure BDA0002558031700000095
输入至目标检测网络进行目标检测识别。
具体地，增加神经网络的深度可提升模型的性能，对于特征融合模块，增加深度也能提升特征表征能力，进而提升检测与分割任务的精度。DualFPN的输出
Figure BDA0002558031700000096
与输入保持层数与分辨率一致，因而可以很方便的进行叠加使用。如图5所示，将多个DualFPN进行串联，形成了Stack DualFPN结构。DualFPN的叠加模块数量根据用户对其检测或分割任务的时效与精度进行权衡来选择，当叠加数为1时，就是DualFPN。
其中，可以基于DualFPN的输出
Figure BDA0002558031700000097
进行目标检测，也可以基于Stack DualFPN结构输出的特征进行目标检测，即将DualFPN输出的特征再经过一个或多个DualFPN，将输出的特征用来进行目标检测。
示例性地，如图7所示基于Stack DualFPN的RetinaNet目标检测网络：
DualFPN可替代FPN应用于目前的检测与分割算法中，从而精度会大幅度提升。以下以一阶段检测算法RetinaNet来叙述DualFPN的应用。
Regretting常用的CNN骨干网络有ResNet、Mobilet等。如图7所示的ResNet50的预训练模型结构包含
Figure BDA0002558031700000101
五种分辨率的特征图，RetinaNet使用了3～5级特征图
Figure BDA0002558031700000102
其通道数分别为512、1024、2048。首先使用1*1卷积将通道数统一到256，得到
Figure BDA0002558031700000103
然后将使用Stack DualFPN进行特征融合得到
Figure BDA0002558031700000104
Figure BDA0002558031700000105
图上显示使用了两层DualFPN。依据RetinaNet的细节，C5经过stride为2的卷积得到
Figure BDA0002558031700000106
Figure BDA0002558031700000107
经过stride为2的卷积得到
Figure BDA0002558031700000108
将
Figure BDA0002558031700000109
输入至目标类别预测网络和目标预测网络，获取结果。
可选的，可以将
Figure BDA00025580317000001010
作为输入即
Figure BDA00025580317000001011
输入至DualFPN进行特征融合，如图6所示，检测效果也会得到一定的提升。
图2为本申请实施例提供的一种特征提取装置，该装置20包括：上采样融合模块201、下采样融合模块202、融合模块203，其中，
上采样融合模块201，用于基于上采样信息融合通道对目标图像的n个不同分辨率的特征图
Figure BDA00025580317000001012
进行特征融合处理，以将低分辨率特征图的特征融合到高分辨率特征图的特征中，得到n个第一融合特征图
Figure BDA00025580317000001013
其中n≥2，
Figure BDA00025580317000001014
下采样融合模块202，用于基于下采样信息融合通道对目标图像的n个不同分辨率的特征图
Figure BDA00025580317000001015
进行特征融合处理，以将高分辨率特征图的特征融合到低分辨率特征图的特征中，得到n个第二融合特征图
Figure BDA00025580317000001016
融合模块203，用于基于特征融合通道对n个第一融合特征图ptd与n个第二融合特征图
Figure BDA00025580317000001022
进行特征融合处理，得到n个目标特征图
Figure BDA00025580317000001017
本申请实施例提供了一种特征提取装置，与现有技术基于通过卷积神经网络提取的浅层特征或深层特征进行目标检测相比，本申请基于上采样信息融合通道对目标图像的n个不同分辨率的特征图
Figure BDA00025580317000001018
进行特征融合处理，以将低分辨率特征图的特征融合到高分辨率特征图的特征中，得到n个第一融合特征图
Figure BDA00025580317000001019
其中n≥2，
Figure BDA00025580317000001020
基于下采样信息融合通道对目标图像的n个不同分辨率的特征图
Figure BDA00025580317000001021
进行特征融合处理，以将高分辨率特征图的特征融合到低分辨率特征图的特征中，得到n个第二融合特征图
Figure BDA0002558031700000111
基于特征融合通道对n个第一融合特征图ptd与n个第二融合特征图
Figure BDA0002558031700000112
进行特征融合处理，得到n个目标特征图
Figure BDA0002558031700000113
即通过上采样信息融合通道将低分辨率的深层特征图融合到高分辨率的浅层特征图中，以及通过下采样信息融合通道将高分辨率的浅层特征图逐渐融合到低分辨率的高层特征图中，然后对通过两个通道得到的不同分辨率的融合特征进一步融合处理得到目标特征，使得目标特征包含了所有分辨率特征图的特征，从而能通提升目标检测的准确性。
可选地，n个不同分辨率的特征图按照分辨率由小到大排列。
可选地，上采样融合模块，具体用于基于n个不同分辨率的特征图
Figure BDA00025580317000001118
通过如下公式：
Figure BDA0002558031700000114
确定n个第一融合特征
Figure BDA0002558031700000115
其中
Figure BDA0002558031700000116
可选地，下采样模块，具体用于基于n个不同分辨率的特征图
Figure BDA0002558031700000117
通过如下公式：
Figure BDA0002558031700000118
得到n个第一融合特征
Figure BDA0002558031700000119
其中，
Figure BDA00025580317000001110
可选地，融合模块，具体用于基于n个第一融合特征图ptd与n个第二融合特征图
Figure BDA00025580317000001111
通过如下公式：
Figure BDA00025580317000001112
得到n个目标特征图
Figure BDA00025580317000001113
其中，
Figure BDA00025580317000001114
可选地，融合模块，具体用于通过加权特征融合方法对n个第一融合特征图ptd与n个第二融合特征图
Figure BDA00025580317000001115
进行特征融合处理，得到n个目标特征图
Figure BDA00025580317000001116
第一融合特征图ptd的权重值与第二融合特征图
Figure BDA00025580317000001117
的权重值通过深度神经网络学习得到。
可选地，该装置还包括：
检测识别模块，用于将n个目标特征图
Figure BDA0002558031700000121
输入至目标检测网络进行目标检测识别。
本申请实施例提供了一种特征提取装置，适用于上述实施例所示的方法，在此不再赘述。
本申请实施例提供了一种电子设备，如图4所示，图4所示的电子设备40包括：处理器401和存储器403。其中，处理器401和存储器403相连，如通过总线402相连。进一步地，电子设备40还可以包括收发器404。需要说明的是，实际应用中收发器404不限于一个，该电子设备40的结构并不构成对本申请实施例的限定。其中，处理器401应用于本申请实施例中，用于实现图2所示模块的功能。收发器404包括接收机和发射机。
处理器401可以是CPU，通用处理器，DSP，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器401也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线402可包括一通路，在上述组件之间传送信息。总线402可以是PCI总线或EISA总线等。总线402可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器403可以是ROM或可存储静态信息和指令的其他类型的静态存储设备，RAM或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM、CD-ROM或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器403用于存储执行本申请方案的应用程序代码，并由处理器401来控制执行。处理器401用于执行存储器403中存储的应用程序代码，以实现图2所示实施例提供的特征提取装置的功能。
本申请实施例提供了一种电子设备，与现有技术基于通过卷积神经网络提取的浅层特征或深层特征进行目标检测相比，本申请基于上采样信息融合通道对目标图像的n个不同分辨率的特征图
Figure BDA0002558031700000131
进行特征融合处理，以将低分辨率特征图的特征融合到高分辨率特征图的特征中，得到n个第一融合特征图
Figure BDA0002558031700000132
其中n≥2，
Figure BDA0002558031700000133
基于下采样信息融合通道对目标图像的n个不同分辨率的特征图
Figure BDA0002558031700000134
进行特征融合处理，以将高分辨率特征图的特征融合到低分辨率特征图的特征中，得到n个第二融合特征图
Figure BDA0002558031700000135
基于特征融合通道对n个第一融合特征图ptd与n个第二融合特征图
Figure BDA0002558031700000136
进行特征融合处理，得到n个目标特征图
Figure BDA0002558031700000137
即通过上采样信息融合通道将低分辨率的深层特征图融合到高分辨率的浅层特征图中，以及通过下采样信息融合通道将高分辨率的浅层特征图逐渐融合到低分辨率的高层特征图中，然后对通过两个通道得到的不同分辨率的融合特征进一步融合处理得到目标特征，使得目标特征包含了所有分辨率特征图的特征，从而能通提升目标检测的准确性。
本申请实施例提供了一种电子设备适用于上述方法实施例。在此不再赘述。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现上述实施例中所示的方法。
本申请实施例提供了一种计算机可读存储介质，与现有技术基于通过卷积神经网络提取的浅层特征或深层特征进行目标检测相比，本申请基于上采样信息融合通道对目标图像的n个不同分辨率的特征图
Figure BDA0002558031700000138
进行特征融合处理，以将低分辨率特征图的特征融合到高分辨率特征图的特征中，得到n个第一融合特征图
Figure BDA0002558031700000139
其中n≥2，
Figure BDA00025580317000001310
基于下采样信息融合通道对目标图像的n个不同分辨率的特征图
Figure BDA00025580317000001311
进行特征融合处理，以将高分辨率特征图的特征融合到低分辨率特征图的特征中，得到n个第二融合特征图
Figure BDA00025580317000001312
基于特征融合通道对n个第一融合特征图ptd与n个第二融合特征图
Figure BDA00025580317000001313
进行特征融合处理，得到n个目标特征图
Figure BDA00025580317000001314
即通过上采样信息融合通道将低分辨率的深层特征图融合到高分辨率的浅层特征图中，以及通过下采样信息融合通道将高分辨率的浅层特征图逐渐融合到低分辨率的高层特征图中，然后对通过两个通道得到的不同分辨率的融合特征进一步融合处理得到目标特征，使得目标特征包含了所有分辨率特征图的特征，从而能通提升目标检测的准确性。
本申请实施例提供了一种计算机可读存储介质适用于上述方法实施例。在此不再赘述。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种特征提取方法，其特征在于，用于双通道特征融合网络，所述双通道特征融合网络包括：上采样信息融合通道、下采样信息融合通道、特征融合通道；包括：
基于上采样信息融合通道对目标图像的n个不同分辨率的特征图
Figure FDA0002558031690000011
进行特征融合处理，以将低分辨率特征图的特征融合到高分辨率特征图的特征中，得到n个第一融合特征图
Figure FDA0002558031690000012
其中n≥2，
Figure FDA0002558031690000013
基于下采样信息融合通道对目标图像的n个不同分辨率的特征图
Figure FDA0002558031690000014
进行特征融合处理，以将高分辨率特征图的特征融合到低分辨率特征图的特征中，得到n个第二融合特征图
Figure FDA0002558031690000015
基于所述特征融合通道对所述n个第一融合特征图ptd与n个第二融合特征图
Figure FDA0002558031690000016
进行特征融合处理，得到n个目标特征图
Figure FDA0002558031690000017
2.根据权利要求1所述的方法，其特征在于，所述n个不同分辨率的特征图按照分辨率由小到大排列。
3.根据权利要求1或2所述的方法，其特征在于，基于上采样信息融合通道对目标图像的n个不同分辨率的特征图
Figure FDA0002558031690000018
进行特征融合处理，以将低分辨率特征图的特征融合到高分辨率特征图的特征中，得到n个第一融合特征图
Figure FDA0002558031690000019
包括：
基于n个不同分辨率的特征图
Figure FDA00025580316900000110
通过如下公式：
Figure FDA00025580316900000111
确定n个第一融合特征
Figure FDA00025580316900000112
其中
Figure FDA00025580316900000113
4.根据权利要求3所述的方法，其特征在于，基于下采样信息融合通道对目标图像的n个不同分辨率的特征图
Figure FDA00025580316900000114
进行特征融合处理，以将高分辨率特征图的特征融合到低分辨率特征图的特征中，得到n个第二融合特征图
Figure FDA0002558031690000021
包括：
基于n个不同分辨率的特征图
Figure FDA0002558031690000022
通过如下公式：
Figure FDA0002558031690000023
得到n个第一融合特征
Figure FDA0002558031690000024
其中，
Figure FDA0002558031690000025
5.根据权利要求4所述的方法，其特征在于，基于所述特征融合通道对所述n个第一融合特征图ptd与n个第二融合特征图
Figure FDA0002558031690000026
进行特征融合处理，得到n个目标特征图
Figure FDA0002558031690000027
包括：
基于n个第一融合特征图ptd与n个第二融合特征图
Figure FDA0002558031690000028
通过如下公式：
Figure FDA0002558031690000029
得到n个目标特征图
Figure FDA00025580316900000210
其中，
Figure FDA00025580316900000211
6.根据权利要求1所述的方法，其特征在于，基于所述特征融合通道对所述n个第一融合特征图ptd与n个第二融合特征图
Figure FDA00025580316900000212
进行特征融合处理，得到n个目标特征图
Figure FDA00025580316900000213
包括：
通过加权特征融合方法对所述n个第一融合特征图ptd与n个第二融合特征图
Figure FDA00025580316900000214
进行特征融合处理，得到n个目标特征图
Figure FDA00025580316900000215
所述第一融合特征图ptd的权重值与第二融合特征图
Figure FDA00025580316900000216
的权重值通过深度神经网络学习得到。
7.根据权利要求1-6任一项所述的方法，其特征在于，该方法还包括：
将所述n个目标特征图
Figure FDA00025580316900000217
输入至目标检测网络进行目标检测识别。
8.一种特征提取装置，其特征在于，包括：
上采样融合模块，用于基于上采样信息融合通道对目标图像的n个不同分辨率的特征图
Figure FDA0002558031690000031
进行特征融合处理，以将低分辨率特征图的特征融合到高分辨率特征图的特征中，得到n个第一融合特征图
Figure FDA0002558031690000032
其中n≥2，
Figure FDA0002558031690000033
Figure FDA0002558031690000034
下采样融合模块，用于基于下采样信息融合通道对目标图像的n个不同分辨率的特征图
Figure FDA0002558031690000035
进行特征融合处理，以将高分辨率特征图的特征融合到低分辨率特征图的特征中，得到n个第二融合特征图
Figure FDA0002558031690000036
融合模块，用于基于特征融合通道对所述n个第一融合特征图ptd与n个第二融合特征图
Figure FDA0002558031690000037
进行特征融合处理，得到n个目标特征图
Figure FDA0002558031690000038
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于：执行根据权利要求1至7任一项所述的特征提取方法。
10.一种计算机可读存储介质，其特征在于，所述计算机存储介质用于存储计算机指令，当其在计算机上运行时，使得计算机可以执行上述权利要求1至7中任一项所述的特征提取方法。
CN202010597972.9A 2020-06-28 2020-06-28 特征提取方法、装置、电子设备及计算机可读存储介质 Pending CN111914894A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010597972.9A CN111914894A (zh) 2020-06-28 2020-06-28 特征提取方法、装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010597972.9A CN111914894A (zh) 2020-06-28 2020-06-28 特征提取方法、装置、电子设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN111914894A true CN111914894A (zh) 2020-11-10

Family

ID=73226661

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010597972.9A Pending CN111914894A (zh) 2020-06-28 2020-06-28 特征提取方法、装置、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111914894A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949651A (zh) * 2021-01-29 2021-06-11 Oppo广东移动通信有限公司 特征提取方法、装置、存储介质及电子设备
CN116952954A (zh) * 2023-07-20 2023-10-27 宁波图灵奇点智能科技有限公司 一种基于条纹光的凹凸检测方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949651A (zh) * 2021-01-29 2021-06-11 Oppo广东移动通信有限公司 特征提取方法、装置、存储介质及电子设备
CN116952954A (zh) * 2023-07-20 2023-10-27 宁波图灵奇点智能科技有限公司 一种基于条纹光的凹凸检测方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
JP6902611B2 (ja) 物体検出方法、ニューラルネットワークの訓練方法、装置および電子機器
CN112396115B (zh) 基于注意力机制的目标检测方法、装置及计算机设备
CN111950453B (zh) 一种基于选择性注意力机制的任意形状文本识别方法
CN111480169B (zh) 用于模式识别的方法、系统和装置
KR20160131848A (ko) 객체 인식 장치 및 방법
CN109816100B (zh) 一种基于双向融合网络的显著性物体检测方法及装置
CN110309836B (zh) 图像特征提取方法、装置、存储介质和设备
CN111275054B (zh) 图像处理方法、装置、电子设备及存储介质
CN111914894A (zh) 特征提取方法、装置、电子设备及计算机可读存储介质
CN107578055B (zh) 一种图像预测方法和装置
CN115409855B (zh) 图像处理方法、装置、电子设备和存储介质
CN116310667B (zh) 联合对比损失和重建损失的自监督视觉表征学习方法
CN113191318A (zh) 目标检测方法、装置、电子设备及存储介质
CN114694005A (zh) 目标检测模型训练方法和装置、目标检测方法和装置
CN107578375B (zh) 图像处理方法及装置
CN113822287B (zh) 一种图像处理方法、系统、设备以及介质
CN113240023B (zh) 基于变化图像分类和特征差值先验的变化检测方法及装置
CN114202457A (zh) 低分辨率图像的处理方法、电子设备及计算机程序产品
CN114037740A (zh) 图像数据流的处理方法、装置及电子设备
CN114332509B (zh) 图像处理方法、模型训练方法、电子设备及自动驾驶车辆
CN115393868B (zh) 文本检测方法、装置、电子设备和存储介质
CN111767934B (zh) 一种图像识别方法、装置及电子设备
CN112801045B (zh) 一种文本区域检测方法、电子设备及计算机存储介质
CN112507933A (zh) 基于集中式信息交互的显著性目标检测方法及系统
CN112016571A (zh) 一种基于注意力机制的特征提取方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220907

Address after: 12 / F, 15 / F, 99 Yincheng Road, Pudong New Area pilot Free Trade Zone, Shanghai, 200120

Applicant after: Jianxin Financial Science and Technology Co.,Ltd.

Address before: 25 Financial Street, Xicheng District, Beijing 100033

Applicant before: CHINA CONSTRUCTION BANK Corp.

Applicant before: Jianxin Financial Science and Technology Co.,Ltd.

TA01 Transfer of patent application right