CN113361656A - 一种特征模型的生成方法、系统、设备及存储介质 - Google Patents
一种特征模型的生成方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN113361656A CN113361656A CN202110787595.XA CN202110787595A CN113361656A CN 113361656 A CN113361656 A CN 113361656A CN 202110787595 A CN202110787595 A CN 202110787595A CN 113361656 A CN113361656 A CN 113361656A
- Authority
- CN
- China
- Prior art keywords
- feature
- feature set
- network
- original
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000004927 fusion Effects 0.000 claims abstract description 47
- 230000009466 transformation Effects 0.000 claims abstract description 46
- 238000011176 pooling Methods 0.000 claims description 33
- 238000000605 extraction Methods 0.000 claims description 16
- 239000013598 vector Substances 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 abstract description 7
- 230000000694 effects Effects 0.000 abstract description 6
- 230000006872 improvement Effects 0.000 abstract description 2
- 238000005457 optimization Methods 0.000 abstract description 2
- 230000003287 optical effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000002349 favourable effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了特征模型的生成方法、系统、设备及存储介质。涉及计算机机器视觉技术领域，用以解决现有特征模型的精准度欠佳，需要进行改进和优化的问题。方法包括：获取原特征集合；对原特征集合进行特征变换；计算特征变换后的特征集合中各特征的重要度得分；以各特征的重要度得分作为原特征集合中各个特征的权重值进行加权，得到新特征集合；对新特征集合进行特征融合，得到融合后的特征，生成特征模型。系统包括：原特征集合获取单元、特征变换单元、计算单元、新特征集合获取单元和特征融合单元。本发明在进行图像识别或图像检索任务时，可实现较优的效果。
Description
技术领域
本发明涉及计算机机器视觉技术领域，特别涉及一种特征模型的生成方法、系统、设备及存储介质。
背景技术
深度卷积神经网络(DCNN-Deep Convolutional Neural Network)是一类包含卷积、池化、激活函数计算并且具有一定深度结构的神经网络，是深度学习领域的代表算法之一。由于DCNN可以直接从数据中学习具有多个抽象级别的强大特征表示，因此在许多计算机视觉任务中取得了重大突破，包括图像分类、目标检测和图像检索。
最近几年，卷积神经网络在图像检索、细粒度图像分类等领域发展十分迅速，目前的图像检索由类别级检索发展到实例级检索，细粒度图像分类问题是对大类下的子类进行识别。无论是实例级别的图像检索还是细粒度图像分类任务，都对卷积网络的特征提取提出了更高的要求，特征必须同时具有不变性、可区分性和强鲁棒性。
但目前现有特征模型的精准度欠佳，需要进行改进和优化。
发明内容
本发明提供了一种特征模型的生成方法、系统、设备及存储介质，用以解决现有特征模型的精准度欠佳，需要进行改进和优化的问题。
为达到上述目的，本发明提供以下技术方案：
第一部分，本发明实施例的特征模型的生成方法，包括下列步骤：S1、获取原特征集合；S2、对所述的原特征集合进行特征变换；S3、计算特征变换后的特征集合中各特征的重要度得分；S4、以所述各特征的重要度得分作为所述原特征集合中各个特征的权重值进行加权，得到新特征集合；S5、对所述的新特征集合进行特征融合，得到融合后的特征，生成特征模型。
优选的，步骤S1中所述的获取原特征集合，具体是将待分析的图片经过特征提取网络得到所述原特征集合，所述的特征提取网络包括主干网络和特征区域选择网络。
更为优选的，所述的主干网络为具有跨层连接结构的网络，在所述主干网络的全局池化层之前，插入所述特征区域选择网络对特征区域进行选择，得到若干特征，再经过所述主干网络的池化层和归一化层，得到所述的原特征集合。
更为优选的，所述的主干网络以ResNet网络、DenseNet网络，或者SE-Net网络作为基础。
更为优选的，所述的插入特征区域选择网络对特征区域进行选择，得到若干特征，具体是插入rigid grid网格、Dense patch sampling网络，或者RPN网络对特征区域进行选择，得到固定数量的特征。
更为优选的，所述的特征区域选择网络对特征区域进行选择，具体是特征区域选择网络同时作用于至少2个特征层，对不同特征层的特征区域进行选择。
优选的，步骤S2中所述的对原特征集合进行特征变换，具体是将原特征集合映射到新的特征域下，所述的映射过程中使用MLP层，所述的MLP层由全连接层和RELU激活层交替叠加构成。
优选的，步骤S2中所述的对原特征集合进行特征变换，具体是采用encode层的encode编码器进行特征变换。
更为优选的，步骤S3中所述的计算特征变换后的特征集合中各特征的重要度得分，具体是所述的MLP层之后，包括：全局均值池化层和softmax层，所述softmax层将全局均值池化层输出的特征向量转换为数值在[0,1]之间，且和为1的概率值，得出特征变换后的特征集合中各个特征的重要度得分。
更为优选的，所述的softmax层将全局均值池化层输出的特征向量转换为数值在[0,1]之间，且和为1的概率值，具体通过如下公式计算：
其中，Zi表示特征集合中的各个特征，C表示特征集合中的特征数量，e表示常数。
更为优选的，步骤S4中所述的以各特征的重要度得分作为所述原特征集合中各个特征的权重值进行加权，得到新特征集合，具体是以每一特征的特征值分别乘以其自身的重要度得分，完成对该特征的加权，加权后的特征集合为所述的新特征集合。
优选的，步骤S5中所述的对新特征集合进行特征融合，得到融合特征，具体是将所述新特征集合中的每一特征在其对应的位置进行特征值相加，完成特征融合，并输出融合后的特征。
优选的，步骤S5中所述的对新特征集合进行特征融合，得到融合特征，具体是将所述新特征集合中的所有特征拼接成一个比所述新特征集合中的特征通道数大的特征，完成特征融合，并输出融合后的特征。
更为优选的，完成所述特征融合后，经过至少1层的前馈网络，再进行输出。
第二部分，本发明实施例的特征模型的生成系统，包括：原特征集合获取单元，用于获取原特征集合；特征变换单元，用于对所述的原特征集合进行特征变换；计算单元，用于计算特征变换后的特征集合中各特征的重要度得分；新特征集合获取单元，用于以所述各特征的重要度得分作为所述原特征集合中各个特征的权重值进行加权，得到新特征集合；特征融合单元，用于对所述的新特征集合进行特征融合，得到融合后的特征，生成特征模型。
第三部分，本发明实施例的一种计算机设备，包括：存储器、处理器，以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明任意实施例所述的特征模型的生成方法。
第四部分，本发明实施例的一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本发明任意实施例所述的特征模型的生成方法。
本发明的特征模型的生成方法、系统、设备及存储介质，在获取原特征集合后进行特征变换，再计算各特征的重要度得分，基于重要度得分对原特征集合加权得到新特征集合，由于新特征集合中已经考虑了重要度得分，对原特征集合进行了优化，实现了既学习图像中的局部细节信息，又聚合不同重要度的特征，进而使得对新特征集合进行特征融合得到的特征模型在进行图像识别或图像检索任务时，可实现较优的效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例1的特征模型生成方法的流程图；
图2为本发明实施例1的获取原特征集合的网络结构示意图；
图3为本发明实施例1的MLP层结构示意图；
图4为本发明实施例2的特征模型生成方法的流程图；
图5为本发明实施例3的特征模型生成方法的流程图；
图6为本发明实施例4的特征模型生成系统的结构示意图；
图7为本发明实施例5的计算机设备的结构示意图。
具体实施方式
为了提高特征模型的精准度，在进行图像识别或图像检索任务时实现较优的效果，发明人经过研究提出了特征模型的生成方法、系统、设备及存储介质，以下通过实施例具体详述。
实施例1、本实施例的特征模型的生成方法，参见图1所示，包括下列主要步骤：
110、通过残差神经网络(Residual Neural Network-ResNet)网络和刚性网格(rigid grid)获取原特征集合。
具体的，参见图2所示，待分析的图片经过特征提取网络后得到原特征集合，特征提取网络包括主干网络和特征区域选择网络。主干网络为具有跨层连接结构的网络，这类网络模型由于加了跨层连接，使得训练过程的梯度变化更加平滑，不容易出现梯度消失的问题，从而有利于网络向更深的结构迈进，而深度学习的观点也普遍认为越深的网络学习到的特征越具有表现力，降低了数据噪声对模型的影响。在主干网络的全局池化层之前，插入特征区域选择网络对特征区域进行选择，得到若干特征，再经过主干网络的池化层和归一化层，得到原特征集合。
本实施例中，特征提取网络的主干网络(backbone)以ResNet网络作为基础，在ResNet网络的全局池化层之前，插入rigid grid网格对特征区域进行选择，得到固定数量(超参数的预设根据经验值而定)的子特征，再经过池化层和归一化层，得到一组特征集合。rigid grid网格可以同时作用于多个特征层，不同深度的特征层含有不同级别的语义和不同尺度的感受野范围，浅层网络的特征具有较小的尺度和低级别的语义，适合小目标和描述局部特征；深层网络特征具有较高的尺度和高级别的语义，适合大目标和描述全局特征。同时在多个不同级别的特征层提取区域特征，得到的特征集合有着更丰富的信息，更利于通过后续的特征融合得到最优的特征。
120、使用MLP层(Muti–Layer Perception,多层感知机)对原特征集合进行特征变换。
具体的，将原特征集合映射到新的特征域下，映射过程中原特征集合经过MLP层，参见图3所示，MLP层由全连接层(Fully-connected)和RELU激活层交替叠加构成，本实施例中使用的是3层全连接层和2层RELU激活层。另外，MLP层可以叠加N次。
130、计算特征变换后的特征集合中各特征的重要度得分。其中，重要度得分是各特征在原特征集合的权重。
具体的，在上述MLP层之后包括是一个全局均值池化层和一个softmax层，softmax层会针对全局均值池化层输出的特征向量(每一个特征都是由高维的特征向量组成的)进行计算，将输出转换为数值在[0,1]之间，和为1的概率分布，这样就计算出原特征集合中的每一个特征的重要度得分。softmax层具体通过如下公式计算重要度得分：
其中，Zi表示特征集合中的各个特征，C表示特征集合中的特征数量，e表示常数。
140、以各特征的重要度得分作为原特征集合中各个特征的权重值进行加权，得到新特征集合。
具体的，原特征集合中的每个特征根据自己的权重进行调整可以得到新特征集合，这里的权重就是softmax层输出的特征的重要度得分，即数值在[0,1]之间，和为1的概率值。权重调整即每一特征的特征值分别乘以其自身的重要度得分，完成对该特征的加权，加权后的特征集合为新特征集合。
150、通过元素相加对新特征集合进行特征融合，得到融合后的特征，生成特征模型。
具体的，本实施例中特征融合采用了元素相加(element-wise add)，即新特征集合中的每一个特征在对应的位置进行特征值相加，就得到了最后的融合特征，并输出融合后的特征。至此，完成了整个特征模型的生成过程。
本实施例中，通过ResNet网络和作用于多层的rigid grid网格可高效获取图像中的局部细节信息和各种不同尺度特征，得到原特征集合，使用MLP层进行特征变换后，再计算各特征的重要度得分，基于重要度得分对原特征集合加权得到新特征集合，由于新特征集合中已经考虑了重要度得分，对原特征集合进行了优化，进而对新特征集合进行特征融合得到的特征向量在进行图像识别或图像检索任务时，可实现较优的效果。
实施例2、本实施例的特征模型的生成方法，参见图4所示，包括下列主要步骤：
210、通过密集卷积网络(DenseNet)和密集块采样(Dense patch sampling)获取原特征集合。
具体的，待分析的图片经过特征提取网络后得到原特征集合，特征提取网络包括主干网络和特征区域选择网络。主干网络为具有跨层连接结构的DenseNet网络，这类网络模型由于加了跨层连接，使得训练过程的梯度变化更加平滑，不容易出现梯度消失的问题，从而有利于网络向更深的结构迈进，而深度学习的观点也普遍认为越深的网络学习到的特征越具有表现力，降低了数据噪声对模型的影响。和ResNet网络相比，DenseNet实现了更密集的跨层连接，并利用特征重用，提升效率。在主干网络的全局池化层之前，插入特征区域选择网络对特征区域进行选择，得到若干特征，再经过主干网络的池化层和归一化层，得到原特征集合。
本实施例中，特征提取网络的主干网络以DenseNet网络作为基础，在DenseNet网络的全局池化层之前，插入Dense patch sampling方法对特征区域进行选择，得到固定数量(超参数的预设根据经验值而定)的子特征，再经过池化层和归一化层，得到一组特征集合。Dense patch sampling方法可以同时作用于多个特征层。dense patch sampling通过密集采样保证了子特征的数量和多样性。
220、使用encode编码器对原特征集合进行特征变换。
具体的，本实施例中特征变换采用encode编码器得到，encode层由自注意力(self-attention)和前馈网络(feed forward)组成，self-attention是在transformer方法中提出的自注意力机制，在计算的时候需要用到矩阵Q(查询)，K(键值)，V(值)。在实际中，Self-Attention接收的是输入(特征集合的表示向量x组成的矩阵X)或者上一个编码块(Encoder block)的输出。而Q，K，V正是通过Self-Attention的输入进行线性变换得到的。Self-Attention从大量信息中有选择地筛选出少量重要信息并聚焦到这些重要信息上，忽略大多不重要的信息，这样使得特征变换后更能有效的反应特征的重要程度。
230、计算特征变换后的特征集合中各特征的重要度得分。其中，重要度得分是各特征在原特征集合的权重。
具体的，在上述encode层之后包括是一个全局均值池化层和一个softmax层，softmax层会针对全局均值池化层输出的特征向量(每一个特征都是由高维的特征向量组成的)进行计算，将输出转换为数值在[0,1]之间，和为1的概率分布，这样就计算出原特征集合中的每一个特征的重要度得分。softmax层具体通过如下公式计算重要度得分：
其中，Zi表示特征集合中的各个特征，C表示特征集合中的特征数量，e表示常数。
240、以各特征的重要度得分作为原特征集合中各个特征的权重值进行加权，得到新特征集合。
具体的，原特征集合中的每个特征根据自己的权重进行调整可以得到新特征集合，这里的权重就是softmax层输出的特征的重要度得分，即数值在[0,1]之间，和为1的概率值。权重调整即每一特征的特征值分别乘以其自身的重要度得分，完成对该特征的加权，加权后的特征集合为新特征集合。
250、通过拼接对新特征集合进行特征融合，得到融合后的特征，生成特征模型。
具体的，本实施例中特征融合采用特征拼接(concat)的方式完成，特征concat指的是将新特征集合中的所有特征拼接起来变成一个通道数更大的特征，或者说更高维的特征。相比实施例1的element-wise add融合，concat融合能最大限度的保留特征的原始信息，但由于不同图片产生的特征集合中的特征数量是不固定的，会导致concat之后特征的维度不同。作为一个具体的例子：假设新特征集合中有两个特征E1和E2，E1和E2的特征维度都是宽和高为20，通道数为3；那么，element-wise add融合之后的特征Em的维度仍然是宽高为20，通道数为3；与此不同的是，concat融合是将E1和E2拼接起来，即concat融合后Em特征维度宽高为20，但是通道数变成了6(即3+3)。
为了解决concat融合前后的特征维度不同的问题，可选择将concat融合后再经过1层前馈网络，例如fully connected(全连接)层，可将经过concat融合后的特征维度变换到固定维度。
本实施例中，通过DenseNet网络和作用于多层的Dense patch sampling可高效获取图像中的局部细节信息和各种不同尺度特征，保证了子特征的数量和多样性，得到原特征集合，使用encode编码器进行特征变换更能有效的反应特征的重要程度，再计算各特征的重要度得分，基于重要度得分对原特征集合加权得到新特征集合，通过拼接对新特征集合进行特征融合可最大限度的保留特征的原始信息。基于上述各步骤得到的特征向量在进行图像识别或图像检索任务时，可实现较优的效果。
实施例3、本实施例的特征模型的生成方法，参见图5所示，包括下列主要步骤：
310、通过压缩和激励网络(SE-Net)和候选区域生成网络(RPN)获取原特征集合。
具体的，待分析的图片经过特征提取网络后得到原特征集合，特征提取网络包括主干网络和特征区域选择网络。主干网络为具有跨层连接结构的网络，这类网络模型由于加了跨层连接，使得训练过程的梯度变化更加平滑，不容易出现梯度消失的问题，从而有利于网络向更深的结构迈进，而深度学习的观点也普遍认为越深的网络学习到的特征越具有表现力，降低了数据噪声对模型的影响。在主干网络的全局池化层之前，插入特征区域选择网络对特征区域进行选择，得到若干特征，再经过主干网络的池化层和归一化层，得到原特征集合。
本实施例中，特征提取网络的主干网络以SE-Net网络作为基础，在SE-Net网络的全局池化层之前，插入RPN网络对特征区域进行选择，得到固定数量(超参数的预设根据经验值而定)的子特征，再经过池化层和归一化层，得到一组特征集合。RPN网络可以同时作用于多个特征层。RPN网络是用于生成检测候选框的，RPN网络分为2条线，其中一条通过softmax分类锚框(anchors)获得正(positive)和负(negative)分类，另一条用于计算对于anchors的矩形框回归(bounding box regression)偏移量，以获得精确的候选区域建议(proposals)。而最后的Proposal层则负责综合positive anchors和对应bounding boxregression偏移量获取proposals，同时剔除太小和超出边界的proposals。至此Proposal层即完成了目标定位的功能。RPN网络相对于传统的滑动窗口生成检测框的方式，有两大优点：第一是速度快，第二是可以实现端到端的训练。
320、使用MLP层对原特征集合进行特征变换。
具体的，将原特征集合映射到新的特征域下，映射过程中原特征集合经过MLP层，MLP层由全连接层(Fully-connected)和RELU激活层交替叠加构成，本实施例中使用的是3层全连接层和2层RELU激活层。另外，MLP层可以叠加N次。
330、计算特征变换后的特征集合中各特征的重要度得分。其中，重要度得分是各特征在原特征集合的权重。
具体的，在上述MLP层之后包括是一个全局均值池化层和一个softmax层，softmax层会针对全局均值池化层输出的特征向量(每一个特征都是由高维的特征向量组成的)进行计算，将输出转换为数值在[0,1]之间，和为1的概率分布，这样就计算出原特征集合中的每一个特征的重要度得分。softmax层具体通过如下公式计算重要度得分：
其中，Zi表示特征集合中的各个特征，C表示特征集合中的特征数量，e表示常数。
340、以各特征的重要度得分作为原特征集合中各个特征的权重值进行加权，得到新特征集合。
具体的，原特征集合中的每个特征根据自己的权重进行调整可以得到新特征集合，这里的权重就是softmax层输出的特征的重要度得分，即数值在[0,1]之间，和为1的概率值。权重调整即每一特征的特征值分别乘以其自身的重要度得分，完成对该特征的加权，加权后的特征集合为新特征集合。
350、通过元素相加对新特征集合进行特征融合，得到融合后的特征，生成特征模型。
具体的，本实施例中特征融合采用了元素相加(element-wise add)，即新特征集合中的每一个特征在对应的位置进行特征值相加，就得到了最后的融合特征，并输出融合后的特征。至此，完成了整个特征模型的生成过程。
本实施例中，通过SE-Net网络和作用于多层的RPN网络，可快速、端到端的获取图像中的局部细节信息和各种不同尺度特征，得到原特征集合，使用MLP层进行特征变换后，再计算各特征的重要度得分，基于重要度得分对原特征集合加权得到新特征集合，由于新特征集合中已经考虑了重要度得分，对原特征集合进行了优化，进而对新特征集合进行特征融合得到的特征向量在进行图像识别或图像检索任务时，可实现较优的效果。
实施例4、本实施例的特征模型的生成系统，参见图6所示，包括：原特征集合获取单元410、特征变换单元420、计算单元430、新特征集合获取单元440和特征融合单元450。
原特征集合获取单元410，用于获取原特征集合。具体是将待分析的图片经过特征提取网络得到原特征集合，特征提取网络包括主干网络和特征区域选择网络。主干网络为具有跨层连接结构的网络，在主干网络的全局池化层之前，插入特征区域选择网络对特征区域进行选择，得到若干特征，再经过主干网络的池化层和归一化层，得到原特征集合。主干网络以ResNet网络、DenseNet网络，或者SE-Net网络作为基础，特征区域选择网络是rigid grid网格、Dense patch sampling网络，或者RPN网络。特征区域选择网络可同时作用于至少2个特征层，对不同特征层的特征区域进行选择。
特征变换单元420，用于对原特征集合进行特征变换。具体是将原特征集合映射到新的特征域下，映射过程中使用MLP层，MLP层由全连接层和RELU激活层交替叠加构成。或者，采用encode层的encode编码器进行特征变换。
计算单元430，用于计算特征变换后的特征集合中各特征的重要度得分。其中，重要度得分是各特征在原特征集合的权重。具体是MLP层之后，包括：全局均值池化层和softmax层，softmax层将全局均值池化层输出的特征向量转换为数值在[0,1]之间，且和为1的概率值，得出特征变换后的特征集合中各个特征的重要度得分。通过如下公式计算：
其中，Zi表示特征集合中的各个特征，C表示特征集合中的特征数量，e表示常数。
新特征集合获取单元440，用于以各特征的重要度得分作为原特征集合中各个特征的权重值进行加权，得到新特征集合。具体是以每一特征的特征值分别乘以其自身的重要度得分，完成对该特征的加权，加权后的特征集合为所述的新特征集合。
特征融合单元450，用于对新特征集合进行特征融合，得到融合后的特征，生成特征模型。具体是将新特征集合中的每一特征在其对应的位置进行特征值相加，完成特征融合，经过至少1层的前馈网络，并输出融合后的特征。或者是将新特征集合中的所有特征拼接成一个比新特征集合中的特征通道数大的特征，完成特征融合，经过至少1层的前馈网络，并输出融合后的特征。至此，完成了整个特征模型的生成过程。
实施例6、本实施例的计算机设备，参见图7所示，显示的计算机设备500仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，计算机设备500以通用计算设备的形式表现。计算机设备500的组件可以包括但不限于：一个或者多个处理器或者处理单元501，系统存储器502，连接不同系统组件(包括系统存储器502和处理单元501)的总线503。
总线503表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备500典型的包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备500访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器502可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)504和/或高速缓存505。计算机设备500可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统506可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线503相连。系统存储器502可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块507的程序/实用工具508，可以存储在例如系统存储器502中，这样的程序模块507包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块507通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备500也可以与一个显示器510或多个外部设备509(例如键盘、指向设备、等)通信，还可与一个或者多个使得用户能与该计算机设备500交互的设备通信，和/或与使得该计算机设备500能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口511进行。并且，计算机设备500还可以通过网络适配器512与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网通信。如图7所示，网络适配器512通过总线503与计算机设备500的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备500使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元501通过运行存储在系统存储器502中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的特征模型的生成方法，包括下列主要步骤：获取原特征集合；对原特征集合进行特征变换；计算特征变换后的特征集合中各特征的重要度得分；以各特征的重要度得分作为原特征集合中各个特征的权重值进行加权，得到新特征集合；对新特征集合进行特征融合，得到融合后的特征，生成特征模型。
实施例8、本实施例的包含计算机可执行指令的存储介质，其内部存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的特征模型的生成方法，包括下列主要步骤：获取原特征集合；对原特征集合进行特征变换；计算特征变换后的特征集合中各特征的重要度得分；以各特征的重要度得分对原特征集合加权，得到新特征集合；对新特征集合进行特征融合，得到特征向量。
本实施例的包含计算机可执行指令的存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (17)
1.一种特征模型的生成方法，其特征在于，包括下列步骤：
S1、获取原特征集合；
S2、对所述的原特征集合进行特征变换；
S3、计算特征变换后的特征集合中各特征的重要度得分；
S4、以所述各特征的重要度得分作为所述原特征集合中各个特征的权重值进行加权，得到新特征集合；
S5、对所述的新特征集合进行特征融合，得到融合后的特征，生成特征模型。
2.如权利要求1所述的特征模型的生成方法，其特征在于，步骤S1中所述的获取原特征集合，具体是将待分析的图片经过特征提取网络得到所述原特征集合，所述的特征提取网络包括主干网络和特征区域选择网络。
3.如权利要求2所述的特征模型的生成方法，其特征在于，所述的主干网络为具有跨层连接结构的网络，在所述主干网络的全局池化层之前，插入所述特征区域选择网络对特征区域进行选择，得到若干特征，再经过所述主干网络的池化层和归一化层，得到所述的原特征集合。
4.如权利要求3所述的特征模型的生成方法，其特征在于，所述的主干网络以ResNet网络、DenseNet网络，或者SE-Net网络作为基础。
5.如权利要求3所述的特征模型的生成方法，其特征在于，所述的插入特征区域选择网络对特征区域进行选择，得到若干特征，具体是插入rigid grid网格、Dense patchsampling网络，或者RPN网络对特征区域进行选择，得到固定数量的特征。
6.如权利要求3所述的特征模型的生成方法，其特征在于，所述的特征区域选择网络对特征区域进行选择，具体是特征区域选择网络同时作用于至少2个特征层，对不同特征层的特征区域进行选择。
7.如权利要求1所述的特征模型的生成方法，其特征在于，步骤S2中所述的对原特征集合进行特征变换，具体是将原特征集合映射到新的特征域下，所述的映射过程中使用MLP层，所述的MLP层由全连接层和RELU激活层交替叠加构成。
8.如权利要求1所述的特征模型的生成方法，其特征在于，步骤S2中所述的对原特征集合进行特征变换，具体是采用encode层的encode编码器进行特征变换。
9.如权利要求7所述的特征模型的生成方法，其特征在于，步骤S3中所述的计算特征变换后的特征集合中各特征的重要度得分，具体是所述的MLP层之后，包括：全局均值池化层和softmax层，所述softmax层将全局均值池化层输出的特征向量转换为数值在[0,1]之间，且和为1的概率值，得出特征变换后的特征集合中各个特征的重要度得分。
10.如权利要求9所述的特征模型的生成方法，其特征在于，所述的softmax层将全局均值池化层输出的特征向量转换为数值在[0,1]之间，且和为1的概率值，具体通过如下公式计算：
其中，Zi表示特征集合中的各个特征，C表示特征集合中的特征数量，e表示常数。
11.如权利要求9或10所述的特征模型的生成方法，其特征在于，步骤S4中所述的以各特征的重要度得分作为所述原特征集合中各个特征的权重值进行加权，得到新特征集合，具体是以每一特征的特征值分别乘以其自身的重要度得分，完成对该特征的加权，加权后的特征集合为所述的新特征集合。
12.如权利要求1所述的特征模型的生成方法，其特征在于，步骤S5中所述的对新特征集合进行特征融合，得到融合特征，具体是将所述新特征集合中的每一特征在其对应的位置进行特征值相加，完成特征融合，并输出融合后的特征。
13.如权利要求1所述的特征模型的生成方法，其特征在于，步骤S5中所述的对新特征集合进行特征融合，得到融合特征，具体是将所述新特征集合中的所有特征拼接成一个比所述新特征集合中的特征通道数大的特征，完成特征融合，并输出融合后的特征。
14.如权利要求13所述的特征模型的生成方法，其特征在于，完成所述特征融合后，经过至少1层的前馈网络，再进行输出。
15.一种特征模型的生成系统，其特征在于，包括：
原特征集合获取单元，用于获取原特征集合；
特征变换单元，用于对所述的原特征集合进行特征变换；
计算单元，用于计算特征变换后的特征集合中各特征的重要度得分；
新特征集合获取单元，用于以所述各特征的重要度得分作为所述原特征集合中各个特征的权重值进行加权，得到新特征集合；
特征融合单元，用于对所述的新特征集合进行特征融合，得到融合后的特征，生成特征模型。
16.一种计算机设备，包括：存储器、处理器，以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-14任一项所述的特征模型的生成方法。
17.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-14任一项所述的特征模型的生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110787595.XA CN113361656A (zh) | 2021-07-13 | 2021-07-13 | 一种特征模型的生成方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110787595.XA CN113361656A (zh) | 2021-07-13 | 2021-07-13 | 一种特征模型的生成方法、系统、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113361656A true CN113361656A (zh) | 2021-09-07 |
Family
ID=77539116
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110787595.XA Pending CN113361656A (zh) | 2021-07-13 | 2021-07-13 | 一种特征模型的生成方法、系统、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113361656A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116628577A (zh) * | 2023-07-26 | 2023-08-22 | 安徽通灵仿生科技有限公司 | 一种心室辅助设备的不良事件检测方法及装置 |
-
2021
- 2021-07-13 CN CN202110787595.XA patent/CN113361656A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116628577A (zh) * | 2023-07-26 | 2023-08-22 | 安徽通灵仿生科技有限公司 | 一种心室辅助设备的不良事件检测方法及装置 |
| CN116628577B (zh) * | 2023-07-26 | 2023-10-31 | 安徽通灵仿生科技有限公司 | 一种心室辅助设备的不良事件检测方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112287820A (zh) | 人脸检测神经网络及训练方法、人脸检测方法、存储介质 | |
| CN113610126A (zh) | 基于多目标检测模型无标签的知识蒸馏方法及存储介质 | |
| CN111325318B (zh) | 神经网络的训练方法、神经网络的训练装置和电子设备 | |
| US11816404B2 (en) | Neural network control variates | |
| US20230298307A1 (en) | System for three-dimensional geometric guided student-teacher feature matching (3dg-stfm) | |
| Shu et al. | LVC-Net: Medical image segmentation with noisy label based on local visual cues | |
| CN113095251B (zh) | 一种人体姿态估计方法及系统 | |
| CN113326851B (zh) | 图像特征提取方法、装置、电子设备及存储介质 | |
| Liu et al. | Robust salient object detection for RGB images | |
| CN114283352A (zh) | 一种视频语义分割装置、训练方法以及视频语义分割方法 | |
| CN114863407A (zh) | 一种基于视觉语言深度融合的多任务冷启动目标检测方法 | |
| Kalash et al. | Relative saliency and ranking: Models, metrics, data and benchmarks | |
| CN113361656A (zh) | 一种特征模型的生成方法、系统、设备及存储介质 | |
| CN112966815A (zh) | 基于脉冲神经网络的目标检测方法、系统及设备 | |
| CN115909336A (zh) | 文本识别方法、装置、计算机设备和计算机可读存储介质 | |
| CN117197632A (zh) | 一种基于Transformer的电镜花粉图像目标检测方法 | |
| CN116597260A (zh) | 图像处理方法、电子设备、存储介质及计算机程序产品 | |
| CN116226452A (zh) | 基于双分支动态蒸馏学习的跨模态视频检索方法及装置 | |
| CN114241411B (zh) | 基于目标检测的计数模型处理方法、装置及计算机设备 | |
| CN115049546A (zh) | 样本数据处理方法、装置、电子设备及存储介质 | |
| CN110826726B (zh) | 目标处理方法、目标处理装置、目标处理设备及介质 | |
| Xiong et al. | PC-SuperPoint: interest point detection and descriptor extraction using pyramid convolution and circle loss | |
| CN112949672A (zh) | 商品识别方法、装置、设备以及计算机可读存储介质 | |
| US20230117227A1 (en) | High-dimensional transfer learning | |
| Li et al. | YOLOv3 target detection algorithm based on channel attention mechanism |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210907 |
|
| RJ01 | Rejection of invention patent application after publication |