CN114913339B - 特征图提取模型的训练方法和装置 - Google Patents
特征图提取模型的训练方法和装置 Download PDFInfo
- Publication number
- CN114913339B CN114913339B CN202210432822.1A CN202210432822A CN114913339B CN 114913339 B CN114913339 B CN 114913339B CN 202210432822 A CN202210432822 A CN 202210432822A CN 114913339 B CN114913339 B CN 114913339B
- Authority
- CN
- China
- Prior art keywords
- feature
- extraction
- loss function
- layer
- feature extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 379
- 238000012549 training Methods 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000006870 function Effects 0.000 claims abstract description 153
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 11
- 230000009467 reduction Effects 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 abstract description 14
- 238000013135 deep learning Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 10
- 238000013473 artificial intelligence Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 241000282472 Canis lupus familiaris Species 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了特征图提取模型的训练方法和装置，涉及图像处理技术领域，尤其涉及计算机视觉、深度学习等领域。具体方案为：将获取的多个样本图像对输入特征图提取模型，由模型中的M个特征提取层进行特征提取，基于选定的N层输出的特征图对应的投影模块，获取任一样本图像对的特征表示，基于第一特征提取层对应的第一特征表示和第二特征提取层对应的第二特征表示，确定模型的损失函数以对模型进行反向调整，返回调整后的模型进行下次训练，直至训练结束生成目标特征图提取模型。本公开考虑浅层的细粒度实例不变性和深层的局部信息的聚类不变性，可以通过对比学习同时利用第一特征表示的实例不变性和第二特征表示的原型不变性，实现特征图的优化。
Description
技术领域
本公开涉及图像处理技术领域，尤其涉及计算机视觉、深度学习等人工智能领域。
背景技术
图像识别是人工智能的一个重要领域，在图像识别的发展中，特征图提取是其中的一项重要技术，有关特征图提取方面的研究取得了很大的进展，特征图提取为图像分类、目标检测、语义分割奠定了基础。
发明内容
本公开提供了一种用于特征图提取模型的训练方法和装置。
根据本公开的一方面，提供了一种特征图提取模型的训练方法，包括：
获取多个样本图像对，每个样本图像对中包括两个样本图像，并将任一样本图像对输入特征图提取模型中，由模型中的M个特征提取层进行特征提取，M为大于2的正整数；
基于选定的N层输出的特征图对应的投影模块，获取任一样本图像对中两个样本图像各自的特征表示，其中，选定的N层中包括小于或等于预设层数的第一特征提取层，以及大于预设层数的第二特征提取层，N为小于或者等于M的正整数；
基于第一特征提取层对应的第一特征表示和第二特征提取层对应的第二特征表示，确定特征图提取模型的损失函数；
根据损失函数对特征图提取模型进行反向调整，并返回调整后的特征图提取模型进行下一次训练，直至训练结束生成目标特征图提取模型。
本公开实施例通过第一特征表示和第二特征表示确定模型的损失函数进而反向调整模型参数，考虑浅层的细粒度实例不变性，和深层的局部信息之间的聚类不变性，在捕获图像的局部上下文信息的同时，保留全局语义信息，从而实现特征图的优化。而且，基于不同选定层的特征表示构建损失函数，可以通过对比学习同时利用第一特征表示之间的实例不变性和第二特征表示之间的原型不变性，进一步实现特征图的优化。
根据本公开的一方面，提供了一种图像的特征提取方法，包括：
将待识别图像输入到目标特征图提取模型中进行特征提取，输出待识别图像的特征图，目标特征图提取模型根据如特征图提取模型的训练方法得到。
本公开实施例中，基于目标特征图提取模型对待识别图像进行特征提取，可以同时捕捉浅层的细粒度实例不变性，和深层的局部信息之间的聚类不变性，在提取图像的局部上下文信息的同时，保留全局语义信息，从而实现特征图的优化。通过对比学习同时利用多级特征表示之间的实例不变性和原型不变性，进一步实现特征图的优化。
根据本公开的一方面，提供了一种特征图提取模型的训练装置，包括：
第一特征提取模块，用于获取多个样本图像对，每个样本图像对中包括两个样本图像，并将任一样本图像对输入特征图提取模型中，由模型中的M个特征提取层进行特征提取，M为大于2的正整数；
第二特征提取模块，用于基于选定的N层输出的特征图对应的投影模块，获取任一样本图像对中两个样本图像各自的特征表示，其中，选定的N层中包括小于或等于预设层数的第一特征提取层，以及大于预设层数的第二特征提取层，N为小于或者等于M的正整数；
损失函数确定模块，用于基于第一特征提取层对应的第一特征表示和第二特征提取层对应的第二特征表示，确定特征图提取模型的损失函数；
模型调整模块，用于根据损失函数对特征图提取模型进行反向调整，并返回调整后的特征图提取模型进行下一次训练，直至训练结束生成目标特征图提取模型。
根据本公开的一方面，提供了一种图像的特征提取装置，包括：
特征提取模块，将待识别图像输入到目标特征图提取模型中进行特征提取，输出待识别图像的特征图，目标特征图提取模型根据如特征图提取模型的训练装置得到。
根据本公开的一方面，提出了一种电子设备，包括至少一个处理器，以及
与至少一个处理器通信连接的存储器；其中，
存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开的特征图提取模型的训练方法或图像的特征提取方法。
根据本公开的一方面，提出了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开的特征图提取模型的训练方法或图像的特征提取方法。
根据本公开的一方面，提出了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现本公开的特征图提取模型的训练方法或图像的特征提取方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是本公开一个实施例的特征图提取模型的训练方法的流程图；
图2是本公开一个实施例的特征提取层的示意图；
图3是本公开一个实施例的特征提取层的示意图；
图4是本公开一个实施例的特征图提取模型的训练方法的流程图；
图5是本公开一个实施例的特征图提取模型的训练方法的流程图；
图6是本公开一个实施例的特征图提取模型的训练方法的流程示意图；
图7是本公开一个实施例的特征图提取模型的训练方法的示意图；
图8是本公开一个实施例的图像的特征提取方法的流程图；
图9是本公开一个实施例的特征图提取模型的训练装置的结构图；
图10是本公开一个实施例的图像的特征提取装置的结构图；
图11是用来实现本公开实施例的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图像处理(Image Processing)，用计算机对图像进行分析，以达到所需结果的技术。又称影像处理。图像处理一般指数字图像处理。数字图像是指用工业相机、摄像机、扫描仪等设备经过拍摄得到的一个大的二维数组，该数组的元素称为像素，其值称为灰度值。图像处理技术一般包括图像压缩，增强和复原，匹配、描述和识别3个部分。
深度学习(Deep Learning，简称DL)，是机器学习(Machine Learning，简称ML)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能。深度学习是学习样本数据的内在律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。
计算机视觉(Computer Vision)，是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取‘信息’的人工智能系统。这里所指的信息指可以用来帮助做一个“决定”的信息。因为感知可以看作是从感官信号中提取信息，所以计算机视觉也可以看作是研究如何使人工系统从图像或多维数据中“感知”的科学。
人工智能(Artificial Intelligence，简称AI)，是研究使计算机来模拟人生的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术，也有软件层面的技术。人工智能硬件技术一般包括计算机视觉技术、语音识别技术、自然语言处理技术以及及其学习/深度学习、大数据处理技术、知识图谱技术等几大方面。
图1是本公开一个实施例的特征图提取模型的训练方法的流程图，如图1所示，该方法包括以下步骤：
S101，获取多个样本图像对，每个样本图像对中包括两个样本图像，并将任一样本图像对输入特征图提取模型中，由模型中的M个特征提取层进行特征提取，M为大于2的正整数。
本公开实施例中，样本图像对可以为同一初始样本图像经过随机增强操作后获取的不同视图。样本图像对也可以为同一场景下两次拍摄的图像。
本公开实施例中，特征图提取模型包含M个特征提取层，任一特征提取层都可以对输入该层的图像进行特征提取，从而获取该特征提取层输出的特征图。
在一些实现中，将任一样本图像对输入特征图提取模型后，由模型中的M个特征提取层进行特征提取，可以提取到任一样本图像对中两个样本图像各自的特征图。
可选地，特征提取层中包括视觉变换器，视觉变换器可以从浅层获得全局表示，与卷积神经网络(Convolutional Neural Network,CNN)相比，视觉转换器可以在相关下游任务，如图像分类、目标检测、语义分割中提高性能。
S102，基于选定的N层输出的特征图对应的投影模块，获取任一样本图像对中两个样本图像各自的特征表示，其中，选定的N层中包括小于或等于预设层数的第一特征提取层，以及大于预设层数的第二特征提取层，N为小于或者等于M的正整数。
选定的N层可以包括所有特征提取层，即M层，也可以仅包括部分特征提取层，即从M层中选定N个特征提取层，此种情况下N为小于M的正整数。
在一些实现中，N为等于M的正整数，也就是说，将第1层至预设层数的特征提取层作为第一特征提取层，也就是浅层；将预设层数至第M层的特征提取层作为第二特征提取层，也就是深层。
如图2所示，示例性说明，M＝10，预设层数＝5，则将第1层至第5层的特征提取层作为第一特征提取层，第6层至第10层的特征提取层作为第二特征提取层。
在另一些实现中，N为小于M的正整数，也就是说，选定第1层至M层中部分特征提取层，作为选定的特征提取层。其中，从第1层至预设层数中的选定的特征提取层即为第一特征提取层，也就是浅层；选定预设层数至第M层中的若干个特征提取层作为第二特征提取层，也就是深层。
如图3所示，示例性说明，M＝10，N＝8，预设层数＝5，可以选定第1层至第5层的4个特征提取层作为第一特征提取层，如第一特征提取层可以是第1层至第4层的特征提取层；选定第6层至第10层的4个特征提取层作为第二特征提取层，如第二特征提取层可以是第7层至第10层的特征提取层。
本申请实施例中，任一特征提取层对应有一个投影模块，投影模块可以将特征图映射到潜在空间，在这个空间中应用对比损失。其中，第一特征提取层对应的投影模块称为低级投影模块，第二特征提取层对应的投影模块称为高级投影模块。可选地，可以利用多层感知机(Multilayer Perceptron，MLP)的映射层获取任一样本图像对中两个样本图像各自的特征表示。
可选地，对于任一第一特征提取层输出的特征图，应用MLP的映射层投影到低维嵌入向量中，获取两个样本图像各自的第一特征表示，也就是说，基于任一第一特征提取层对应的低级投影模块，获取任一样本图像对中两个样本图像各自的第一特征表示，基于任一第二特征提取层对应的高级投影模块，获取任一样本图像对中两个样本图像各自的第二特征表示。
S103，基于第一特征提取层对应的第一特征表示和第二特征提取层对应的第二特征表示，确定特征图提取模型的损失函数。
在一些实现中，基于任一第一特征提取层对应的第一特征表示和任一第二特征提取层对应的第二特征表示进行多级对比学习，本公开实施例中，从第一特征提取层中获取的第一特征表示为一个低级特征表示，表征全局信息，应用于区分图像中包含的实例之间的信息，比如两只不同的狗。从第二特征提取层中获取的第二特征表示为一个高级特征表示，表征局部信息，应用于区分图像中包含的不同语义之间的信息，比如猫的语义信息跟狗的语义信息。因此，特征图提取模型的损失函数需要考虑浅层的细粒度实例不变性，和深层的局部信息之间的聚类不变性。
本公开实施例中，根据任一样本图像对中两个样本图像各自的第一特征表示，获取特征图提取模型的第一损失函数，根据任一样本图像对中两个样本图像各自的第二特征表示，获取特征图提取模型的第二损失函数，并将第一损失函数和第二损失函数根据各自的权重相加，获取特征图提取模型的损失函数，在捕获样本图像对的局部上下文信息的同时，保留全局语义信息。
S104，根据损失函数对特征图提取模型进行反向调整，并返回调整后的特征图提取模型进行下一次训练，直至训练结束生成目标特征图提取模型。
根据特征图提取模型的损失函数对特征图提取模型每一层的参数如权重进行调整。
每次训练一次就会调整特征图提取模型的参数，在调整结束后，在未满足模型训练结束条件之前，就使用下一个样本图像对调整后的特征图提取模型继续训练，直至训练结束生成目标特征图提取模型。可选地，训练结束条件可以是达到预设的训练次数或者训练后误差小于预设阈值。
在上述实例的基础之上，获取到目标特征图提取模型之后，可以对任意图像进行特征图提取，以获取该任意图像的特征图，进而可以根据特征图进行图像分类、目标检测或语义分割。
本公开实施例中特征图提取模型在无标注信息的情况下，不仅使模型输出更准确的特征图，而且也使模型的特征更明显，也就是说，特征图提取模型为一种从无标签数据中自行学习，无需标注数据的“自监督”模型。
本公开实施例中，获取多个样本图像对，输入特征图提取模型中，由模型中的M个特征提取层进行特征提取，基于选定的N层输出的特征图对应的投影模块，获取任一样本图像对中两个样本图像各自的特征表示，基于第一特征提取层对应的第一特征表示和第二特征提取层对应的第二特征表示，确定特征图提取模型的损失函数，并根据损失函数对特征图提取模型进行反向调整，并返回调整后的特征图提取模型进行下一次训练，直至训练结束生成目标特征图提取模型。
本公开实施例通过第一特征表示和第二特征表示确定模型的损失函数进而反向调整模型参数，考虑浅层的细粒度实例不变性，和深层的局部信息之间的聚类不变性，在捕获图像的局部上下文信息的同时，保留全局语义信息，从而实现特征图的优化。而且，基于不同选定层的特征表示构建损失函数，可以通过对比学习同时利用第一特征表示之间的实例不变性和第二特征表示之间的原型不变性，进一步实现特征图的优化。
图4是本公开一个实施例的特征图提取模型的训练方法的流程图，如图4所示，该方法包括以下步骤：
S401，基于每个第一特征提取层对应的第一特征表示，确定每个第一特征提取层的损失函数，并基于每个第一特征提取层的损失函数，获取特征图提取模型的第一损失函数。
在一些实现中，每个第一特征提取层都对应一个损失函数，本公开实施例中，基于多个样本图像对中的两个样本图像各自的第一特征表示，进行基于信息的归一化交叉熵损失运算，得到第一特征提取层的损失函数。
可选地，可以将每个第一特征提取层的损失函数进行加和，获取特征图提取模型的第一损失函数。可选地，可以根据每个第一特征提取层的层数，对每层的损失函数进行加权，以获取特征图提取模型的第一损失函数。
S402，基于第二特征提取层对应的第二特征表示，确定第二特征提取层的损失函数，并基于第二特征提取层的损失函数，获取特征图提取模型的第二损失函数。
基于多个样本图像对中的两个样本图像各自的第二特征表示，进行基于信息的归一化交叉熵损失运算，得到第二特征提取层的第一子损失函数。对多个样本图像对中的两个样本图像各自的第二特征表示进行原型提取处理，也就是聚类处理。基于原型提取的类型和第二特征表示，进行基于原型的归一化交叉熵损失运算，得到第二特征提取层的第二子损失函数。基于第二特征提取层的第一子损失函数和第二子损失函数，确定第二特征提取层的损失函数。
可选地，可以将第一子损失函数和第二子损失函数进行加和，获取特征图提取模型的第二损失函数。可选地，可以对第一子损失函数和第二子损失函数进行加权，以获取特征图提取模型的第二损失函数。
S403，基于第一损失函数和第二损失函数确定特征图提取模型的损失函数。
可选地，可以将第一损失函数和第二损失函数进行加和，获取特征图提取模型的损失函数。可选地，可以对第一损失函数和第二损失函数进行加权，以获取特征图提取模型的损失函数。
本公开实施例中，基于每个特征提取层的损失函数，获取特征图提取模型的第一损失函数和第二损失函数，基于第一损失函数和第二损失函数确定特征图提取模型的损失函数。本公开实施例考虑浅层的细粒度实例不变性，和深层的局部信息之间的聚类不变性，在捕获图像的局部上下文信息的同时，保留全局语义信息，从而实现特征图的优化。而且，基于不同选定层的特征表示构建损失函数，可以通过对比学习同时利用第一特征表示之间的实例不变性和第二特征表示之间的原型不变性，进一步实现特征图的优化。
在一些实现中，多个样本图像中包括正样本图像和负样本图像，本公开实施例中，获取负样本图像对应的特征表示和正样本图像对应的特征表示后，对负样本图像对应的特征表示和正样本图像对应的特征表示进行目标函数运算，得到运算结果，并基于运算结果和两个样本图像各自的特征表示，进行基于信息的归一化交叉熵损失运算。可选地，目标函数可以为指数函数。
在一些实现中，第一损失函数L1可以采用以下公式表示：
其中，r表示负样本的数量，T表示温度超参数，分别表示样本图像对的两个样本图像在第t层特征提取层的第i个特征表示，s表示特征提取层总数，n表示样本图像对的个数，k表示不同数量的原型，j表示负原型j。
在一些实现中，第二损失函数L2可以采用以下公式表示：
其中，分别表示样本图像对的两个样本图像在第m层特征提取层的正原型p的特征表示，Q表示正样本的数量。
在一些实现中，特征图提取模型的损失函数L可以采用如下公式表示：
L＝L1+λL2
其中，λ为修正系数。
图5是本公开一个实施例的特征图提取模型的训练方法的流程图，如图5所示，该方法包括以下步骤：
S501，获取多个初始样本图像。
获取待识别的初始样本图像，可选地，初始样本图像可以是包含动物的图像，例如，包含小猫的图像和/或包含小狗的图像等。
S502，针对每个初始样本图像进行随机增强操作，得到每个初始样本图像对应的增强样本图像，以生成多个样本图像对。
针对每个初始样本图像进行随机增强操作，可选地，可以对每个初始样本图像进行随机调整大小，并在调整后进行裁剪，得到初始样本图像和增强样本图像。
可选地，随机增强操作可以为调整图像大小或调整图像的灰度，可选地，随机增强操作也可以为对图像进行裁剪、调整图像色调，或对图像进行左右翻转。
上述几种随机增强操作可以单独执行，也可以组合执行，例如，对初始样本图像进行裁剪，获取第一增强样本图像，对初始样本图像进行左右翻转，获取第二增强样本图像，将第一增强样本图像和第二增强样本图像作为初始样本图像的一个样本图像对。再例如，对初始样本图像进行裁剪和调整色调，获取第三增强样本图像，对初始样本图像进行左右翻转和调整灰度，获取第四增强样本图像，将第三增强样本图像和第四增强样本图像作为初始样本图像的一个样本图像对。
在一些实现中，进行随机增强操作后，获取每个初始样本图像对应的两个增强样本图像，作为初始样本图像对应的样本图像对。
S503，将任一初始样本图像对的两个样本图像分别进行分块分割，获取两个样本图像各自的子图像，将子图像输入至特征图提取模型。
将任一样本图像对的两个样本图像分别进行分块分割，样本图像读入后表示为像素矩阵，对样本图像进行分块分割后，将样本图像的最小单位从像素转变为图像块，也就是样本图像的子图像，本公开实施例中，分块分割可以辅助后续的图像按照一定的规格和条件进行识别，缩小图像识别的范围，加快图像识别的速度。
S504，根据模型中的M个特征提取层对两个样本图像各自的子图像进行特征提取，M为大于2的正整数。
本公开实施例中，M个特征提取层串联连接，上一层输出的特征图为下一层的输入，每个特征提取层包含相连的基于多层非线性投影的特征嵌入模块和基于注意力的视觉转换模块。
在一些实现中，将待提取图像输入第i特征提取层中由基于多层非线性投影的特征嵌入模块进行降维，i的取值为1至M；将降维后的待提取图像输入基于注意力的视觉转换模块，基于注意力的视觉转换模块包含视觉转换器，可以对输入的待提取图像进行特征提取，视觉转换器将给定的样本图像的子图像作为视觉序列。然后，在任意两个图像块之间自然计算出注意力，进而获取第i特征提取层输出的特征图。
本申请实施例中，对于第1特征提取层，待提取图像为样本图像对各自的子图像，对于其他特征提取层，待提取图像为上一层输出的特征图。
S505，基于选定的N层输出的特征图对应的投影模块，获取任一样本图像对中两个样本图像各自的特征表示，其中，选定的N层中包括小于或等于预设层数的第一特征提取层，以及大于预设层数的第二特征提取层，N为小于或者等于M的正整数。
S506，基于第一特征提取层对应的第一特征表示和第二特征提取层对应的第二特征表示，确定特征图提取模型的损失函数。
S507，根据损失函数对特征图提取模型进行反向调整，并返回调整后的特征图提取模型进行下一次训练，直至训练结束生成目标特征图提取模型。
步骤S505至步骤S507的介绍可以参见上述实施例的相关内容，此处不再赘述。
本公开实施例中，将任一初始样本图像对的两个样本图像分别进行分块分割，获取两个样本图像各自的子图像，将子图像输入至特征图提取模型，可以辅助后续的图像按照一定的规格和条件进行识别，缩小图像识别的范围，加快图像识别的速度。根据特征提取层中的基于多层非线性投影的特征嵌入模块和基于注意力的视觉转换模块对两个样本图像各自的子图像进行特征提取，便于后续进行语义类的聚合，获取细粒度信息的不变性，可以预训练更好的特征表示。
图6是本公开一个实施例的特征图提取模型的训练方法的流程示意图，如图6，本公开实施例中，根据正样本图像和负样本图像获取多个样本图像对，将任一样本图像对的两个样本图像分别进行分块分割，获取两个样本图像各自的子图像，将子图像输入至特征图提取模型的M个特征提取层，M个特征提取层串联连接，上一层输出的特征图为下一层的输入，每个特征提取层包含基于多层非线性投影的特征嵌入模块和基于注意力的视觉转换模块，本公开实施例中预设层数为M-1，也就是说，第1层至第M-1层为第一特征提取层，第M层为第二特征提取层，基于每个第一特征提取层的特征图和对应的低级投影模块获取第一特征表示，进而确定每个第一特征提取层的损失函数，基于每个第二特征提取层的特征图和对应的高级投影模块获取第二特征表示，进而确定第二特征提取层的损失函数，基于第一损失函数和第二损失函数确定特征图提取模型的损失函数，根据损失函数对特征图提取模型进行反向调整，并返回调整后的特征图提取模型进行下一次训练，直至训练结束生成目标特征图提取模型。
图7是本公开一个实施例的特征图提取模型的训练方法的示意图，如图7所示，将正样本图像和/或负样本图像的子图像输入至特征图提取模型的M个特征提取层，M个特征提取层串联连接，每个特征提取层获取的特征图向前传播，基于第一特征提取层的特征图和低级投影模块获取低级特征表示，对低级特征表示进行基于信息的对比，获取第一损失函数，也就是低级损失函数，基于第二特征提取层的特征图和高级投影模块获取高级特征表示，对高级特征表示进行基于原型的对比，也就是基于集群的对比，获取第二损失函数，也就是高级损失函数，基于第一损失函数和第二损失函数确定特征图提取模型的损失函数，根据损失函数对特征图提取模型进行反向调整。
本公开实施例通过第一特征表示和第二特征表示确定模型的损失函数进而反向调整模型参数，考虑浅层的细粒度实例不变性，和深层的局部信息之间的聚类不变性，在捕获图像的局部上下文信息的同时，保留全局语义信息，从而实现特征图的优化。而且，基于不同选定层的特征表示构建损失函数，可以通过对比学习同时利用第一特征表示之间的实例不变性和第二特征表示之间的原型不变性，进一步实现特征图的优化。
图8是本公开一个实施例的图像的特征提取方法的流程图，如图6所示，该方法包括以下步骤：
S801，获取待识别图像。
可选地待识别图像可以是包含动物的图像，例如，包含小猫的图像和/或包含小狗的图像等。待识别图像可以是包含景物的图像，例如，包含建筑的图像和/或包含树木、车辆的图像等。
可选地，将待识别图像进行分块分割后，由目标特征图提取模型中的M个特征提取层依次进行特征提取，最终获取第M层的特征图作为待识别图像的特征图。
S802，将待识别图像输入到目标特征图提取模型中进行特征提取，输出待识别图像的特征图。
本公开实施例中，目标特征图提取模型根据上述的特征图提取模型的训练方法得到，获取特征图后，可以将特征图应用于图像分类、目标检测或语义分割等图像识别相关的下游任务。
本公开实施例中，基于目标特征图提取模型对待识别图像进行特征提取，可以同时捕捉浅层的细粒度实例不变性，和深层的局部信息之间的聚类不变性，在提取图像的局部上下文信息的同时，保留全局语义信息，从而实现特征图的优化。通过对比学习同时利用多级特征表示之间的实例不变性和原型不变性，进一步实现特征图的优化。
图9是本公开一个实施例的特征图提取模型的训练装置的结构图，如图9所示，特征图提取模型的训练装置900包括：
第一特征提取模块910，用于获取多个样本图像对，每个样本图像对中包括两个样本图像，并将任一样本图像对输入特征图提取模型中，由模型中的M个特征提取层进行特征提取，M为大于2的正整数；
第二特征提取模块920，用于基于选定的N层输出的特征图对应的投影模块，获取任一样本图像对中两个样本图像各自的特征表示，其中，选定的N层中包括小于或等于预设层数的第一特征提取层，以及大于预设层数的第二特征提取层，N为小于或者等于M的正整数；
损失函数确定模块930，用于基于第一特征提取层对应的第一特征表示和第二特征提取层对应的第二特征表示，确定特征图提取模型的损失函数；
模型调整模块940，用于根据损失函数对特征图提取模型进行反向调整，并返回调整后的特征图提取模型进行下一次训练，直至训练结束生成目标特征图提取模型。
在一些实现中，损失函数确定模块930，还用于：
基于每个第一特征提取层对应的第一特征表示，确定每个第一特征提取层的损失函数，并基于每个第一特征提取层的损失函数，获取特征图提取模型的第一损失函数；
基于第二特征提取层对应的第二特征表示，确定第二特征提取层的损失函数，并基于第二特征提取层的损失函数，获取特征图提取模型的第二损失函数；
基于第一损失函数和第二损失函数确定特征图提取模型的损失函数。
在一些实现中，损失函数确定模块930，还用于：
基于多个样本图像对中的两个样本图像各自的第一特征表示，进行基于信息的归一化交叉熵损失运算，得到第一特征提取层的损失函数。
在一些实现中，损失函数确定模块930，还用于：
基于多个样本图像对中的两个样本图像各自的第二特征表示，进行基于信息的归一化交叉熵损失运算，得到第二特征提取层的第一子损失函数；
对多个样本图像对中的两个样本图像各自的第二特征表示进行原型提取处理；
基于原型提取的类型和第二特征表示，进行基于原型的归一化交叉熵损失运算，得到第二特征提取层的第二子损失函数；
基于第二特征提取层的第一子损失函数和第二子损失函数，确定第二特征提取层的损失函数。
在一些实现中，多个样本图像中包括正样本图像和负样本图像，损失函数确定模块930，还用于：
获取负样本图像对应的特征表示；
对负样本图像对应的特征表示和正样本图像对应的特征表示进行目标函数运算，得到运算结果；
基于运算结果和两个样本图像各自的特征表示，进行基于信息的归一化交叉熵损失运算。
在一些实现中，第一特征提取模块910，还用于：
获取多个初始样本图像；
针对每个初始样本图像进行随机增强操作，得到每个初始样本图像对应的增强样本图像，以生成多个样本图像对。
在一些实现中，第一特征提取模块910，还用于：
将任一样本图像对的两个样本图像分别进行分块分割，获取两个样本图像各自的子图像，将子图像输入至特征图提取模型。
在一些实现中M个特征提取层串联连接，上一层输出的特征图为下一层的输入，每个特征提取层包含基于多层非线性投影的特征嵌入模块和基于注意力的视觉转换模块，第一特征提取模块910，还用于：
将待提取图像输入第i特征提取层中由基于多层非线性投影的特征嵌入模块进行降维，i的取值为1至M；
将降维后的待提取图像输入基于注意力的视觉转换模块进行特征提取，获取第i特征提取层输出的特征图。
本公开实施例通过第一特征表示和第二特征表示确定模型的损失函数进而反向调整模型参数，考虑浅层的细粒度实例不变性，和深层的局部信息之间的聚类不变性，在捕获图像的局部上下文信息的同时，保留全局语义信息，从而实现特征图的优化。而且，基于不同选定层的特征表示构建损失函数，可以通过对比学习同时利用第一特征表示之间的实例不变性和第二特征表示之间的原型不变性，进一步实现特征图的优化。
图10是本公开一个实施例的图像的特征提取装置的结构图，如图10所示，图像的特征提取装置1000包括：
特征提取模块1010，将待识别图像输入到目标特征图提取模型中进行特征提取，输出待识别图像的特征图，目标特征图提取模型根据如特征图提取模型的训练装置得到。
本公开实施例中，基于目标特征图提取模型对待识别图像进行特征提取，可以同时捕捉浅层的细粒度实例不变性，和深层的局部信息之间的聚类不变性，在提取图像的局部上下文信息的同时，保留全局语义信息，从而实现特征图的优化。通过对比学习同时利用多级特征表示之间的实例不变性和原型不变性，进一步实现特征图的优化。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图11示出了可以用来实施本公开的实施例的示例电子设备1100的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图11所示，设备1100包括计算单元1101，其可以根据存储在只读存储器(ROM)1102中的计算机程序或者从存储单元1108加载到随机访问存储器(RAM)1103中的计算机程序，来执行各种适当的动作和处理。在RAM 1103中，还可存储设备1100操作所需的各种程序和数据。计算单元1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出(I/O)接口1105也连接至总线1104。
设备1100中的多个部件连接至I/O接口1105，包括：输入单元1106，例如键盘、鼠标等；输出单元1107，例如各种类型的显示器、扬声器等；存储单元1108，例如磁盘、光盘等；以及通信单元1109，例如网卡、调制解调器、无线通信收发机等。通信单元1109允许设备1100通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1101的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1101执行上文所描述的各个方法和处理，例如特征图提取模型的训练方法或图像的特征提取方法。例如，在一些实施例中，特征图提取模型的训练方法或图像的特征提取方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1108。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1102和/或通信单元1109而被载入和/或安装到设备1100上。当计算机程序加载到RAM 1103并由计算单元1101执行时，可以执行上文描述的特征图提取模型的训练方法或图像的特征提取方法的一个或多个步骤。备选地，在其他实施例中，计算单元1101可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行特征图提取模型的训练方法或图像的特征提取方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (16)
1.一种特征图提取模型的训练方法，包括：
获取多个样本图像对，每个样本图像对中包括两个样本图像，并将任一样本图像对输入特征图提取模型中，由模型中的M个特征提取层进行特征提取，获取所述任一样本图像对中两个样本图像各自的特征图，所述M为大于2的正整数；
基于选定的N层输出的所述特征图对应的投影模块，获取所述任一样本图像对中两个样本图像各自的特征表示，其中，基于任一第一特征提取层对应的低级投影模块，获取所述任一样本图像对中两个样本图像各自的第一特征表示，基于任一第二特征提取层对应的高级投影模块，获取所述任一样本图像对中两个样本图像各自的第二特征表示，所述选定的N层中包括小于或等于预设层数的第一特征提取层，以及大于所述预设层数的第二特征提取层，所述N为小于或者等于M的正整数；
基于所述第一特征提取层对应的第一特征表示和所述第二特征提取层对应的第二特征表示，确定所述特征图提取模型的损失函数；
根据所述损失函数对所述特征图提取模型进行反向调整，并返回调整后的所述特征图提取模型进行下一次训练，直至训练结束生成目标特征图提取模型；
其中，所述基于所述第一特征表示和所述第二特征表示确定所述特征图提取模型的损失函数，包括：
基于每个所述第一特征提取层对应的第一特征表示，确定每个所述第一特征提取层的损失函数，并基于每个所述第一特征提取层的损失函数，获取所述特征图提取模型的第一损失函数；
基于所述第二特征提取层对应的第二特征表示，确定所述第二特征提取层的损失函数，并基于所述第二特征提取层的损失函数，获取所述特征图提取模型的第二损失函数；
基于所述第一损失函数和所述第二损失函数确定所述特征图提取模型的损失函数；
其中，所述第二特征提取层的损失函数的获取过程，包括：
基于所述多个样本图像对中的所述两个样本图像各自的第二特征表示，进行基于信息的归一化交叉熵损失运算，得到所述第二特征提取层的第一子损失函数；
对所述多个样本图像对中的所述两个样本图像各自的第二特征表示进行原型提取处理；
基于原型提取的类型和所述第二特征表示，进行基于原型的归一化交叉熵损失运算，得到所述第二特征提取层的第二子损失函数；
基于所述第二特征提取层的第一子损失函数和第二子损失函数，确定所述第二特征提取层的损失函数；
其中，通过利用第一特征表示之间的实例不变性和第二特征表示之间的原型不变性，优化特征图。
2.根据权利要求1所述的方法，其中，所述第一特征提取层的损失函数的获取过程，包括：
基于所述多个样本图像对中的所述两个样本图像各自的第一特征表示，进行基于信息的归一化交叉熵损失运算，得到所述第一特征提取层的损失函数。
3.根据权利要求1或2所述的方法，其中，所述多个样本图像中包括正样本图像和负样本图像，所述进行基于信息的归一化交叉熵损失运算，还包括：
获取所述负样本图像对应的特征表示；
对所述负样本图像对应的特征表示和所述正样本图像对应的特征表示进行目标函数运算，得到运算结果；
基于所述运算结果和所述两个样本图像各自的特征表示，进行基于信息的归一化交叉熵损失运算。
4.根据权利要求1所述的方法，其中，获取多个样本图像对，包括：
获取多个初始样本图像；
针对每个所述初始样本图像进行随机增强操作，得到每个所述初始样本图像对应的增强样本图像，以生成所述多个样本图像对。
5.根据权利要求1所述的方法，其中，所述将任一样本图像对输入特征图提取模型中，还包括：
将所述任一样本图像对的两个样本图像分别进行分块分割，获取所述两个样本图像各自的子图像，将所述子图像输入至所述特征图提取模型。
6.根据权利要求5所述的方法，其中，所述M个特征提取层串联连接，上一层输出的特征图为下一层的输入，每个所述特征提取层包含基于多层非线性投影的特征嵌入模块和基于注意力的视觉转换模块，所述特征图提取过程，包括：
将待提取图像输入第i特征提取层中由所述基于多层非线性投影的特征嵌入模块进行降维，所述i的取值为1至M；
将所述降维后的待提取图像输入所述基于注意力的视觉转换模块进行特征提取，获取所述第i特征提取层输出的特征图。
7.一种图像的特征提取方法，包括：
将待识别图像输入到目标特征图提取模型中进行特征提取，输出所述待识别图像的特征图，所述目标特征图提取模型根据如权利要求1-6中任一项所述训练方法得到。
8.一种特征图提取模型的训练装置，包括：
第一特征提取模块，用于获取多个样本图像对，每个样本图像对中包括两个样本图像，并将任一样本图像对输入特征图提取模型中，由模型中的M个特征提取层进行特征提取，获取所述任一样本图像对中两个样本图像各自的特征图，所述M为大于2的正整数；
第二特征提取模块，用于基于选定的N层输出的所述特征图对应的投影模块，获取所述任一样本图像对中两个样本图像各自的特征表示，其中，基于任一第一特征提取层对应的低级投影模块，获取所述任一样本图像对中两个样本图像各自的第一特征表示，基于任一第二特征提取层对应的高级投影模块，获取所述任一样本图像对中两个样本图像各自的第二特征表示，所述选定的N层中包括小于或等于预设层数的第一特征提取层，以及大于所述预设层数的第二特征提取层，所述N为小于或者等于M的正整数；
损失函数确定模块，用于基于所述第一特征提取层对应的第一特征表示和所述第二特征提取层对应的第二特征表示，确定所述特征图提取模型的损失函数；
模型调整模块，用于根据所述损失函数对所述特征图提取模型进行反向调整，并返回调整后的所述特征图提取模型进行下一次训练，直至训练结束生成目标特征图提取模型；
其中，所述损失函数确定模块，还用于：
基于每个所述第一特征提取层对应的第一特征表示，确定每个所述第一特征提取层的损失函数，并基于每个所述第一特征提取层的损失函数，获取所述特征图提取模型的第一损失函数；
基于所述第二特征提取层对应的第二特征表示，确定所述第二特征提取层的损失函数，并基于所述第二特征提取层的损失函数，获取所述特征图提取模型的第二损失函数；
基于所述第一损失函数和所述第二损失函数确定所述特征图提取模型的损失函数；
其中，所述所述损失函数确定模块，还用于：
基于所述多个样本图像对中的所述两个样本图像各自的第二特征表示，进行基于信息的归一化交叉熵损失运算，得到所述第二特征提取层的第一子损失函数；
对所述多个样本图像对中的所述两个样本图像各自的第二特征表示进行原型提取处理；
基于原型提取的类型和所述第二特征表示，进行基于原型的归一化交叉熵损失运算，得到所述第二特征提取层的第二子损失函数；
基于所述第二特征提取层的第一子损失函数和第二子损失函数，确定所述第二特征提取层的损失函数；
其中，通过利用第一特征表示之间的实例不变性和第二特征表示之间的原型不变性，优化特征图。
9.根据权利要求8所述的装置，其中，所述损失函数确定模块，还用于：
基于所述多个样本图像对中的所述两个样本图像各自的第一特征表示，进行基于信息的归一化交叉熵损失运算，得到所述第一特征提取层的损失函数。
10.根据权利要求8或9所述的装置，其中，所述多个样本图像中包括正样本图像和负样本图像，所述所述损失函数确定模块，还用于：
获取所述负样本图像对应的特征表示；
对所述负样本图像对应的特征表示和所述正样本图像对应的特征表示进行目标函数运算，得到运算结果；
基于所述运算结果和所述两个样本图像各自的特征表示，进行基于信息的归一化交叉熵损失运算。
11.根据权利要求8所述的装置，其中，所述第一特征提取模块，还用于：
获取多个初始样本图像；
针对每个所述初始样本图像进行随机增强操作，得到每个所述初始样本图像对应的增强样本图像，以生成所述多个样本图像对。
12.根据权利要求8所述的装置，其中，所述第一特征提取模块，还用于：
将所述任一样本图像对的两个样本图像分别进行分块分割，获取所述两个样本图像各自的子图像，将所述子图像输入至所述特征图提取模型。
13.根据权利要求12所述的装置，其中，所述M个特征提取层串联连接，上一层输出的特征图为下一层的输入，每个所述特征提取层包含基于多层非线性投影的特征嵌入模块和基于注意力的视觉转换模块，所述所述第一特征提取模块，还用于：
将待提取图像输入第i特征提取层中由所述基于多层非线性投影的特征嵌入模块进行降维，所述i的取值为1至M；
将所述降维后的待提取图像输入所述基于注意力的视觉转换模块进行特征提取，获取所述第i特征提取层输出的特征图。
14.一种图像的特征提取装置，包括：
特征提取模块，将待识别图像输入到目标特征图提取模型中进行特征提取，输出所述待识别图像的特征图，所述目标特征图提取模型根据如权利要求8所述训练装置得到。
15.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法或权利要求7所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法或权利要求7所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210432822.1A CN114913339B (zh) | 2022-04-21 | 2022-04-21 | 特征图提取模型的训练方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210432822.1A CN114913339B (zh) | 2022-04-21 | 2022-04-21 | 特征图提取模型的训练方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114913339A CN114913339A (zh) | 2022-08-16 |
| CN114913339B true CN114913339B (zh) | 2023-12-05 |
Family
ID=82764618
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210432822.1A Active CN114913339B (zh) | 2022-04-21 | 2022-04-21 | 特征图提取模型的训练方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114913339B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116051859B (zh) * | 2023-02-21 | 2023-09-08 | 阿里巴巴（中国）有限公司 | 服务提供方法、设备和存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111680701A (zh) * | 2020-05-07 | 2020-09-18 | 北京三快在线科技有限公司 | 图像识别模型的训练方法、装置及图像识别方法、装置 |
| CN113553904A (zh) * | 2021-06-16 | 2021-10-26 | 北京百度网讯科技有限公司 | 人脸防伪模型的训练方法、装置及电子设备 |
| CN113591918A (zh) * | 2021-06-29 | 2021-11-02 | 北京百度网讯科技有限公司 | 图像处理模型的训练方法、图像处理方法、装置和设备 |
| CN113657528A (zh) * | 2021-08-24 | 2021-11-16 | 湖南国科微电子股份有限公司 | 图像特征点提取方法、装置、计算机终端及存储介质 |
| CN113688813A (zh) * | 2021-10-27 | 2021-11-23 | 长沙理工大学 | 多尺度特征融合遥感影像分割方法、装置、设备和存储器 |
| CN113887580A (zh) * | 2021-09-15 | 2022-01-04 | 天津大学 | 一种考虑多粒度类相关性的对比式开放集识别方法及装置 |
| CN114038010A (zh) * | 2021-11-05 | 2022-02-11 | 熵基科技股份有限公司 | 一种行人属性识别方法、设备和介质 |
| CN114049518A (zh) * | 2021-11-10 | 2022-02-15 | 北京百度网讯科技有限公司 | 图像分类方法、装置、电子设备和存储介质 |
| CN114283316A (zh) * | 2021-09-16 | 2022-04-05 | 腾讯科技（深圳）有限公司 | 一种图像识别方法、装置、电子设备和存储介质 |
| CN114298122A (zh) * | 2021-10-22 | 2022-04-08 | 腾讯科技（深圳）有限公司 | 数据分类方法、装置、设备、存储介质及计算机程序产品 |
| CN114332568A (zh) * | 2022-03-16 | 2022-04-12 | 中国科学技术大学 | 域适应图像分类网络的训练方法、系统、设备及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10929977B2 (en) * | 2016-08-25 | 2021-02-23 | Intel Corporation | Coupled multi-task fully convolutional networks using multi-scale contextual information and hierarchical hyper-features for semantic image segmentation |
| US10832084B2 (en) * | 2018-08-17 | 2020-11-10 | Nec Corporation | Dense three-dimensional correspondence estimation with multi-level metric learning and hierarchical matching |
-
2022
- 2022-04-21 CN CN202210432822.1A patent/CN114913339B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111680701A (zh) * | 2020-05-07 | 2020-09-18 | 北京三快在线科技有限公司 | 图像识别模型的训练方法、装置及图像识别方法、装置 |
| CN113553904A (zh) * | 2021-06-16 | 2021-10-26 | 北京百度网讯科技有限公司 | 人脸防伪模型的训练方法、装置及电子设备 |
| CN113591918A (zh) * | 2021-06-29 | 2021-11-02 | 北京百度网讯科技有限公司 | 图像处理模型的训练方法、图像处理方法、装置和设备 |
| CN113657528A (zh) * | 2021-08-24 | 2021-11-16 | 湖南国科微电子股份有限公司 | 图像特征点提取方法、装置、计算机终端及存储介质 |
| CN113887580A (zh) * | 2021-09-15 | 2022-01-04 | 天津大学 | 一种考虑多粒度类相关性的对比式开放集识别方法及装置 |
| CN114283316A (zh) * | 2021-09-16 | 2022-04-05 | 腾讯科技（深圳）有限公司 | 一种图像识别方法、装置、电子设备和存储介质 |
| CN114298122A (zh) * | 2021-10-22 | 2022-04-08 | 腾讯科技（深圳）有限公司 | 数据分类方法、装置、设备、存储介质及计算机程序产品 |
| CN113688813A (zh) * | 2021-10-27 | 2021-11-23 | 长沙理工大学 | 多尺度特征融合遥感影像分割方法、装置、设备和存储器 |
| CN114038010A (zh) * | 2021-11-05 | 2022-02-11 | 熵基科技股份有限公司 | 一种行人属性识别方法、设备和介质 |
| CN114049518A (zh) * | 2021-11-10 | 2022-02-15 | 北京百度网讯科技有限公司 | 图像分类方法、装置、电子设备和存储介质 |
| CN114332568A (zh) * | 2022-03-16 | 2022-04-12 | 中国科学技术大学 | 域适应图像分类网络的训练方法、系统、设备及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| Deep and shallow features fusion based on deep convolutional neural network for speech emotion recognition;Sun L, et al.;《International Journal of Speech Technology》;931-940 * |
| 基于小样本学习的LCD产品缺陷自动检测方法;马岭;鲁越;蒋慧琴;刘玉敏;;智能系统学报(第03期);154-161 * |
| 基于深度学习的航空对地小目标检测;梁华等;《液晶与显示》;20180915(第09期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114913339A (zh) | 2022-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7236545B2 (ja) | ビデオターゲット追跡方法と装置、コンピュータ装置、プログラム | |
| WO2020228446A1 (zh) | 模型训练方法、装置、终端及存储介质 | |
| WO2021022521A1 (zh) | 数据处理的方法、训练神经网络模型的方法及设备 | |
| EP3923233A1 (en) | Image denoising method and apparatus | |
| CN112288011B (zh) | 一种基于自注意力深度神经网络的图像匹配方法 | |
| CN111488985B (zh) | 深度神经网络模型压缩训练方法、装置、设备、介质 | |
| CN111279362A (zh) | 胶囊神经网络 | |
| WO2022001805A1 (zh) | 一种神经网络蒸馏方法及装置 | |
| US20230055256A1 (en) | Apparatus and method for image classification and segmentation based on feature-guided network, device, and medium | |
| CN111914997B (zh) | 训练神经网络的方法、图像处理方法及装置 | |
| EP4006777A1 (en) | Image classification method and device | |
| CN114549913B (zh) | 一种语义分割方法、装置、计算机设备和存储介质 | |
| CN111797882A (zh) | 图像分类方法及装置 | |
| CN113011562A (zh) | 一种模型训练方法及装置 | |
| CN112308866A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN114266897A (zh) | 痘痘类别的预测方法、装置、电子设备及存储介质 | |
| US20180165539A1 (en) | Visual-saliency driven scene description | |
| CN114462290A (zh) | 一种生成预训练人工智能模型的方法及装置 | |
| CN114821096A (zh) | 一种图像处理方法、神经网络的训练方法以及相关设备 | |
| CN114913339B (zh) | 特征图提取模型的训练方法和装置 | |
| CN116452810A (zh) | 一种多层次语义分割方法、装置、电子设备及存储介质 | |
| CN113837965A (zh) | 图像清晰度识别方法、装置、电子设备及存储介质 | |
| KR101334858B1 (ko) | 나비종 자동분류 시스템 및 방법, 이를 이용한 나비종 자동분류 기능이 구비된 휴대 단말기 | |
| CN114067099B (zh) | 学生图像识别网络的训练方法及图像识别方法 | |
| CN110135379A (zh) | 舌象分割方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |