CN113807367A - 图像特征的提取方法、装置、设备及存储介质 - Google Patents

图像特征的提取方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113807367A
CN113807367A CN202111093250.0A CN202111093250A CN113807367A CN 113807367 A CN113807367 A CN 113807367A CN 202111093250 A CN202111093250 A CN 202111093250A CN 113807367 A CN113807367 A CN 113807367A
Authority
CN
China
Prior art keywords
model
image
module
feature extraction
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111093250.0A
Other languages
English (en)
Other versions
CN113807367B (zh
Inventor
蔡宁
严明洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202111093250.0A priority Critical patent/CN113807367B/zh
Publication of CN113807367A publication Critical patent/CN113807367A/zh
Application granted granted Critical
Publication of CN113807367B publication Critical patent/CN113807367B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及人工智能技术领域，揭示了一种图像特征的提取方法、装置、设备及存储介质，其中方法包括：获取待提取的图像；将所述待提取的图像输入目标图像特征提取模型进行图像特征提取，其中，所述目标图像特征提取模型是基于VGG模型、残差模块和金字塔池化模块训练得到的模型；获取所述目标图像特征提取模型输出的图像特征作为所述待提取的图像对应的目标图像特征。从而通过基于VGG模型、残差模块和金字塔池化模块训练得到目标图像特征提取模型，避免采用SIFT或ORB提取图像角点特征往往比较耗时，提高了提取图像特征的准确度。本申请可适用于智慧政务、数字医疗、科技金融等领域。

Description

图像特征的提取方法、装置、设备及存储介质
技术领域
本申请涉及到人工智能技术领域，特别是涉及到一种图像特征的提取方法、装置、设备及存储介质。
背景技术
相似图像检索是图像处理的重要技术领域，通过相似图像检索技术可以在海量的图像数据中快速查找与目标图像相同或相近的图像。相似图像检索技术通过图像特征进行比较的方法检索图像。传统的图像特征的提取方法一般是用SIFT(尺度不变特征变换)或ORB(Oriented FAST and Rotated BRIEF)提取图像角点特征，或者使用深度学习的方法提取图像特征。采用SIFT或ORB提取图像角点特征往往比较耗时，而深度学习的方法提取图像特征准确度较低，从而影响了相似图像检索技术的发展。
发明内容
本申请的主要目的为提供一种图像特征的提取方法、装置、设备及存储介质，旨在解决采用SIFT或ORB提取图像角点特征往往比较耗时，而深度学习的方法提取图像特征准确度较低的技术问题。
为了实现上述发明目的，本申请提出一种图像特征的提取方法，所述方法包括：
获取待提取的图像；
将所述待提取的图像输入目标图像特征提取模型进行图像特征提取，其中，所述目标图像特征提取模型是基于VGG模型、残差模块和金字塔池化模块训练得到的模型；
获取所述目标图像特征提取模型输出的图像特征作为所述待提取的图像对应的目标图像特征。
进一步的，所述将所述待提取的图像输入目标图像特征提取模型进行图像特征提取的步骤之前，包括：
将所述VGG模型作为第一模型；
将多个所述残差模块添加到所述第一模型的采样模块中，得到第二模型；
将所述金字塔池化模块添加到所述第二模型的所述采样模块与全连接模块之间，得到初始模型；
获取多个待训练的训练样本集；
采用多个所述待训练的训练样本集对所述初始模型进行训练，将训练结束的所述初始模型作为所述目标图像特征提取模型。
进一步的，所述第一模型采用VGG16模型，所述将多个所述残差模块添加到所述第一模型的采样模块中，得到第二模型的步骤，包括：
将第一个所述残差模块的输入端与所述采样模块的第一池化层的输入端连接，并且将第一个所述残差模块的输出端与所述采样模块的第二池化层的激活层的输入端连接；
将第二个所述残差模块的输入端与所述采样模块的第二池化层的输入端连接，并且将第二个所述残差模块的输出端与所述采样模块的第三池化层的激活层的输入端连接；
将第三个所述残差模块的输入端与所述采样模块的第三池化层的输入端连接，并且将第三个所述残差模块的输出端与所述采样模块的第四池化层的激活层的输入端连接；
将第四个所述残差模块的输入端与所述采样模块的第四池化层的输入端连接，并且将第四个所述残差模块的输出端与所述采样模块的第五池化层的激活层的输入端连接，将所述第一模型作为所述第二模型。
进一步的，所述将所述金字塔池化模块添加到所述第二模型的所述采样模块与全连接模块之间，得到初始模型的步骤，包括：
将所述金字塔池化模块的第一层的输入端与所述采样模块的输出端连接，并且将所述第一层的输出端与所述全连接模块的输入端连接；
将所述金字塔池化模块的第二层的输入端与所述采样模块的输出端连接，并且将所述第二层的输出端与所述全连接模块的输入端连接；
将所述金字塔池化模块的第三层的输入端与所述采样模块的输出端连接，并且将所述第三层的输出端与所述全连接模块的输入端连接，将所述第二模型作为所述初始模型；
其中，所述金字塔池化模块的所述第一层、所述第二层和所述第三层是尺寸不同的三个最大池化层。
进一步的，所述获取多个待训练的训练样本集的步骤，还包括：
获取多个商标图像；
采用相同图像合并到同一个集合的方式，对多张所述商标图像进行划分，得到多个商标图像集；
对每个所述商标图像集进行图像特征标定，得到每个所述商标图像集对应的图像特征标定结果；
根据每个目标商标图像集中的各个所述商标图像和所述目标商标图像集对应的所述图像特征标定结果进行训练样本生成，得到待处理的训练样本集，其中，所述目标商标图像集是任一个所述商标图像集；
将各个所述待处理的训练样本集进行集合合并处理和训练样本的顺序随机调整，得到待提取的训练样本集；
采用预设的批次划分规则，对所述待提取的训练样本集进行划分，得到多个所述待训练的训练样本集。
进一步的，所述采用多个所述待训练的训练样本集对所述初始模型进行训练，将训练结束的所述初始模型作为所述目标图像特征提取模型的步骤，包括：
从多个所述待训练的训练样本集中获取所述待训练的训练样本集作为目标训练样本集；
采用所述目标训练样本集对所述初始模型进行训练；
重复执行从多个所述待训练的训练样本集中获取所述待训练的训练样本集作为目标训练样本集的步骤，直至达到预设模型训练结束条件；
将达到所述预设模型训练结束条件的所述初始模型作为所述目标图像特征提取模型。
进一步的，所述采用所述目标训练样本集对所述初始模型进行训练的步骤，包括：
将所述目标训练样本集中的每个图像样本输入所述初始模型进行图像特征提取，得到每个所述图像样本对应的图像特征预测值；
采用交叉熵损失函数，根据各个所述图像特征预测值和所述目标训练样本集中的各个图像特征标定结果，针对每个所述图像样本进行损失值计算，得到待处理的损失值；
对各个所述待处理的损失值进行平均值计算，得到目标损失值；
根据所述目标损失值更新所述初始模型的参数，将更新后的所述初始模型用于下一次进行图像特征提取。
本申请还提出了一种图像特征的提取装置，所述装置包括：
图像获取模块，用于获取待提取的图像；
图像特征提取模块，用于将所述待提取的图像输入目标图像特征提取模型进行图像特征提取，其中，所述目标图像特征提取模型是基于VGG模型、残差模块和金字塔池化模块训练得到的模型；
目标图像特征确定模块，用于获取所述目标图像特征提取模型输出的图像特征作为所述待提取的图像对应的目标图像特征。
本申请还提出了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请还提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本申请的图像特征的提取方法、装置、设备及存储介质，其中方法首先通过获取待提取的图像，然后将所述待提取的图像输入目标图像特征提取模型进行图像特征提取，其中，所述目标图像特征提取模型是基于VGG模型、残差模块和金字塔池化模块训练得到的模型，最后获取所述目标图像特征提取模型输出的图像特征作为所述待提取的图像对应的目标图像特征，从而通过基于VGG模型、残差模块和金字塔池化模块训练得到目标图像特征提取模型，避免采用SIFT或ORB提取图像角点特征往往比较耗时，而且通过残差模块将图像的原始信息从模型低层向模型高层传递以保证输入图像的信息的完整性，金字塔池化模块让模型可以适应不同大小尺寸的输入图像，金字塔池化模块增加了图像特征的尺度不变特性和丰富了图像特征，提高了提取图像特征的准确度。
附图说明
图1为本申请一实施例的图像特征的提取方法的流程示意图；
图2为本申请一实施例的图像特征的提取装置的结构示意框图；
图3为本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，本申请实施例中提供一种图像特征的提取方法，所述方法包括：
S1：获取待提取的图像；
S2：将所述待提取的图像输入目标图像特征提取模型进行图像特征提取，其中，所述目标图像特征提取模型是基于VGG模型、残差模块和金字塔池化模块训练得到的模型；
S3：获取所述目标图像特征提取模型输出的图像特征作为所述待提取的图像对应的目标图像特征。
本实施例首先通过获取待提取的图像，然后将所述待提取的图像输入目标图像特征提取模型进行图像特征提取，其中，所述目标图像特征提取模型是基于VGG模型、残差模块和金字塔池化模块训练得到的模型，最后获取所述目标图像特征提取模型输出的图像特征作为所述待提取的图像对应的目标图像特征，从而通过基于VGG模型、残差模块和金字塔池化模块训练得到目标图像特征提取模型，避免采用SIFT或ORB提取图像角点特征往往比较耗时，而且通过残差模块将图像的原始信息从模型低层向模型高层传递以保证输入图像的信息的完整性，金字塔池化模块让模型可以适应不同大小尺寸的输入图像，金字塔池化模块增加了图像特征的尺度不变特性和丰富了图像特征，提高了提取图像特征的准确度。
对于S1，可以获取用户输入的待提取的图像，也可以从数据库中获取待提取的图像，还可以从第三方应用系统中获取待提取的图像。
待提取的图像，是需要提取图像特征的图像。
当本申请应用于智慧政务时，待提取的图像是智慧政务领域的图像。
当本申请应用于数字医疗时，待提取的图像是数字医疗领域的图像，比如，B超图像。
当本申请应用于科技金融时，待提取的图像是科技金融领域的图像。
对于S2，将所述待提取的图像输入目标图像特征提取模型进行图像特征提取，因所述目标图像特征提取模型是基于VGG模型、残差模块和金字塔池化模块训练得到的模型，避免采用SIFT或ORB提取图像角点特征往往比较耗时，而且通过残差模块将待提取的图像的原始信息从模型低层向模型高层传递以保证输入待提取的图像的信息的完整性，金字塔池化模块让模型可以适应不同大小尺寸的输入待提取的图像，金字塔池化模块增加了图像特征的尺度不变特性和丰富了图像特征。
VGG，Visual Geometry Group。
残差模块，又称为残差块，通过在一个浅层网络基础上叠加y＝x的层,可以让网络随深度增加而不退化。
金字塔池化模块，包括多个尺寸不同的最大池化层。
对于S3，获取所述目标图像特征提取模型输出的图像特征，将获取的图像特征作为所述待提取的图像对应的目标图像特征，因所述目标图像特征提取模型是基于VGG模型、残差模块和金字塔池化模块训练得到的模型，从而提高了目标图像特征的准确性。
在一个实施例中，上述将所述待提取的图像输入目标图像特征提取模型进行图像特征提取的步骤之前，包括：
S21：将所述VGG模型作为第一模型；
S22：将多个所述残差模块添加到所述第一模型的采样模块中，得到第二模型；
S23：将所述金字塔池化模块添加到所述第二模型的所述采样模块与全连接模块之间，得到初始模型；
S24：获取多个待训练的训练样本集；
S25：采用多个所述待训练的训练样本集对所述初始模型进行训练，将训练结束的所述初始模型作为所述目标图像特征提取模型。
本实施例首先基于VGG模型、残差模块和金字塔池化模块构建初始模型，然后采用多个所述待训练的训练样本集对所述初始模型进行数据并行训练，因为残差模块将图像的原始信息从模型低层向模型高层传递以保证输入图像的信息的完整性，而金字塔池化模块让模型可以适应不同大小尺寸的输入图像，金字塔池化模块增加了图像特征的尺度不变特性和丰富了图像特征，从而提高了所述目标图像特征提取模型提取图像特征的准确度。
对于S21，将所述VGG模型直接作为第一模型。
所述第一模型包括：特征提取模块、采样模块和全连接模块。
特征提取模块，用于进行特征提取。特征提取模块包括多个卷积层。
采样模块，用于对特征进行抽样。采样模块包括多个池化层。
全连接模块，用于进行特征融合。全连接模块包括多个全连接层。
对于S22，将多个所述残差模块添加到所述第一模型的采样模块的各个池化层之间，将完成所述残差模块添加的所述第一模型作为第二模型。
对于S23，将所述金字塔池化模块添加到所述第二模型的所述采样模块与全连接模块之间，以用于将采样模块输出的特征图进行预设数量的特征块划分，将完成述金字塔池化模块添加的所述第二模型作为初始模型。
对于S24，可以获取用户输入的多个待训练的训练样本集，也可以从数据库中获取多个待训练的训练样本集，还可以从第三方应用系统中获取多个待训练的训练样本集。
每个待训练的训练样本集中包括多个训练样本。每个训练样本包括：图像样本和图像特征标定结果。
图像样本，也就是数字图像。图像样本可以是商标图像，也可以是其他图像，在此不做限定。
在同一个训练样本中，图像特征标定结果是对图像样本的图像特征的准确标定结果。
对于S25，采用每个所述待训练的训练样本集中的各个训练样本对所述初始模型进行数据并行训练，将训练结束的所述初始模型作为所述目标图像特征提取模型，通过数据并行训练提高了训练效率和准确度。
在一个实施例中，上述第一模型采用VGG16模型，所述将多个所述残差模块添加到所述第一模型的采样模块中，得到第二模型的步骤，包括：
S221：将第一个所述残差模块的输入端与所述采样模块的第一池化层的输入端连接，并且将第一个所述残差模块的输出端与所述采样模块的第二池化层的激活层的输入端连接；
S222：将第二个所述残差模块的输入端与所述采样模块的第二池化层的输入端连接，并且将第二个所述残差模块的输出端与所述采样模块的第三池化层的激活层的输入端连接；
S223：将第三个所述残差模块的输入端与所述采样模块的第三池化层的输入端连接，并且将第三个所述残差模块的输出端与所述采样模块的第四池化层的激活层的输入端连接；
S224：将第四个所述残差模块的输入端与所述采样模块的第四池化层的输入端连接，并且将第四个所述残差模块的输出端与所述采样模块的第五池化层的激活层的输入端连接，将所述第一模型作为所述第二模型。
本实施例通过将残差模块添加到相邻两个池化层的第一个池化层的输入和相邻两个池化层的第二个池化层的激活层的输入端之间，从而实现了将图像的原始信息从模型低层向模型高层传递以保证输入图像的信息的完整性。
其中，第一模型采用VGG16模型。可以理解的是，第一模型还可以采用VGG模型的其他分支模型，比如，VGG19模型，在此不做限定。
其中，第一模型采用VGG16模型时，第一模型的所述采样模块依次包括：第一池化层、第二池化层、第三池化层、第四池化层和第五池化层。
第一池化层、第二池化层、第三池化层、第四池化层和第五池化层可以采用最大池化层，也可以采用平均池化层。
对于S221，将第一个所述残差模块的输入端与所述采样模块的第一池化层的输入端连接，并且将第一个所述残差模块的输出端与所述采样模块的第二池化层的激活层的输入端连接，从而实现将输入第一池化层的图像的原始信息传递到第二池化层的激活层，保证了输入图像的信息的完整性。
激活层采用RELU激活函数。
对于S222，将第二个所述残差模块的输入端与所述采样模块的第二池化层的输入端连接，并且将第二个所述残差模块的输出端与所述采样模块的第三池化层的激活层的输入端连接，从而实现将输入第二池化层的图像的原始信息传递到第三池化层的激活层，保证了输入图像的信息的完整性。
对于S223，将第三个所述残差模块的输入端与所述采样模块的第三池化层的输入端连接，并且将第三个所述残差模块的输出端与所述采样模块的第四池化层的激活层的输入端连接，从而实现将输入第三池化层的图像的原始信息传递到第四池化层的激活层，保证了输入图像的信息的完整性。
对于S224，将第四个所述残差模块的输入端与所述采样模块的第四池化层的输入端连接，并且将第四个所述残差模块的输出端与所述采样模块的第五池化层的激活层的输入端连接，从而实现将输入第四池化层的图像的原始信息传递到第五池化层的激活层，保证了输入图像的信息的完整性。
其中，将完成第一个所述残差模块、第二个所述残差模块、第三个所述残差模块、第四个所述残差模块添加的所述第一模型作为所述第二模型。
在一个实施例中，上述将所述金字塔池化模块添加到所述第二模型的所述采样模块与全连接模块之间，得到初始模型的步骤，包括：
S231：将所述金字塔池化模块的第一层的输入端与所述采样模块的输出端连接，并且将所述第一层的输出端与所述全连接模块的输入端连接；
S232：将所述金字塔池化模块的第二层的输入端与所述采样模块的输出端连接，并且将所述第二层的输出端与所述全连接模块的输入端连接；
S233：将所述金字塔池化模块的第三层的输入端与所述采样模块的输出端连接，并且将所述第三层的输出端与所述全连接模块的输入端连接，将所述第二模型作为所述初始模型；
其中，所述金字塔池化模块的所述第一层、所述第二层和所述第三层是尺寸不同的三个最大池化层。
本实施例将所述金字塔池化模块的各个层并联到所述第二模型的所述采样模块与全连接模块之间，金字塔池化模块让模型可以适应不同大小尺寸的输入图像，金字塔池化模块增加了图像特征的尺度不变特性和丰富了图像特征，从而提高了所述目标图像特征提取模型提取图像特征的准确度。
对于S231，将所述金字塔池化模块的第一层的输入端与所述采样模块的输出端连接，并且将所述第一层的输出端与所述全连接模块的输入端连接，从而将所述采样模块输出的特征图进行了划分，所述全连接模块将从所述第一层输出的每个特征块中提取特征。
对于S232，将所述金字塔池化模块的第二层的输入端与所述采样模块的输出端连接，并且将所述第二层的输出端与所述全连接模块的输入端连接，从而将所述采样模块输出的特征图进行了划分，所述全连接模块将从所述第二层输出的每个特征块中提取特征。
对于S233，将所述金字塔池化模块的第三层的输入端与所述采样模块的输出端连接，并且将所述第三层的输出端与所述全连接模块的输入端连接，从而将所述采样模块输出的特征图进行了划分，所述全连接模块将从所述第三层输出的每个特征块中提取特征。
其中，将完成所述金字塔池化模块的各个层添加的所述第二模型作为所述初始模型。
比如，所述金字塔池化模块的所述第一层是4*4的最大池化层，所述金字塔池化模块的所述第二层是2*2的最大池化层，所述金字塔池化模块的所述第三层是1*1的最大池化层，所述第一层、所述第二层和所述第三层在尺寸上形成金字塔，在此举例不做具体限定。
在一个实施例中，上述获取多个待训练的训练样本集的步骤，还包括：
S241：获取多个商标图像；
S242：采用相同图像合并到同一个集合的方式，对多张所述商标图像进行划分，得到多个商标图像集；
S243：对每个所述商标图像集进行图像特征标定，得到每个所述商标图像集对应的图像特征标定结果；
S244：根据每个目标商标图像集中的各个所述商标图像和所述目标商标图像集对应的所述图像特征标定结果进行训练样本生成，得到待处理的训练样本集，其中，所述目标商标图像集是任一个所述商标图像集；
S245：将各个所述待处理的训练样本集进行集合合并处理和训练样本的顺序随机调整，得到待提取的训练样本集；
S246：采用预设的批次划分规则，对所述待提取的训练样本集进行划分，得到多个所述待训练的训练样本集。
本实施例通过多个商标图像快速构建多个所述待训练的训练样本集，从而提高了训练样本获取的速度和准确性。
对于S241，可以获取用户输入的多个商标图像，也可以从数据库中获取多个商标图像，还可以从第三方应用系统中获取多个商标图像。
商标图像，也就是作为商标的图像。
对于S242，采用相同图像合并到同一个集合的方式，对多张所述商标图像进行划分，将划分得到的每个集合作为一个商标图像集。也就是说，商标图像集中的各个商标图像是相同图形的图像。
对于S243，对每个所述商标图像集进行图像特征标定，也就是说，每个所述商标图像集中的各个的商标图像的图像特征标定结果相同。
对于S244，将目标商标图像作为与目标商标图像对应的训练样本的图像样本，将目标商标图像对应的所述图像特征标定结果作为与目标商标图像对应的训练样本的所述图像特征标定结果，其中，目标商标图像是任一个商标图像。也就是说，每个商标图像集对应一个待处理的训练样本集。
对于S245，将各个所述待处理的训练样本集进行集合合并处理，对合并处理得到的集合中的各个训练样本的顺序进行随机调整，将完成随机调整的集合作为待提取的训练样本集。
对于S246，采用预设的批次划分规则，将所述待提取的训练样本集划分为多个集合，将划分得到的每个集合作为一个所述待训练的训练样本集。
可选的，预设的批次划分规则设置为预设数量。预设数量是一个具体数值。比如，预设数量可以取值为32，也可以取值为64，还可以取值为128，在此举例不做具体限定。
在一个实施例中，上述采用多个所述待训练的训练样本集对所述初始模型进行训练，将训练结束的所述初始模型作为所述目标图像特征提取模型的步骤，包括：
S251：从多个所述待训练的训练样本集中获取所述待训练的训练样本集作为目标训练样本集；
S252：采用所述目标训练样本集对所述初始模型进行训练；
S253：重复执行从多个所述待训练的训练样本集中获取所述待训练的训练样本集作为目标训练样本集的步骤，直至达到预设模型训练结束条件；
S254：将达到所述预设模型训练结束条件的所述初始模型作为所述目标图像特征提取模型。
本实施例采用所述目标训练样本集对所述初始模型进行数据并行训练，从而提高了模型训练的效率和准确度。
对于S251，从多个所述待训练的训练样本集中获取一个所述待训练的训练样本集，将获取的所述待训练的训练样本集作为目标训练样本集。
对于S252，采用所述目标训练样本集中的各个训练样本输入所述初始模型进行图像特征的提取，根据提取的各个图像特征计算所述初始模型的目标损失值，根据目标损失值更新所述初始模型的参数，从而实现了对所述初始模型进行数据并行训练。
对于S253，重复执行步骤S251至步骤S253，直至达到预设模型训练结束条件。
预设模型训练结束条件包括：所述初始模型的目标损失值达到第一收敛条件或所述初始模型的迭代次数达到第二收敛条件。
所述第一收敛条件是指相邻两次计算的所述初始模型的目标损失值的大小满足lipschitz条件(利普希茨连续条件)。
所述迭代次数是指所述初始模型被用于计算目标损失值的次数，也就是说，计算目标损失值一次，迭代次数增加1。
第二收敛条件是一个具体数值。
对于S254，达到所述预设模型训练结束条件的所述初始模型是达到预期训练目标的模型，因此将达到所述预设模型训练结束条件的所述初始模型作为所述目标图像特征提取模型。
在一个实施例中，上述采用所述目标训练样本集对所述初始模型进行训练的步骤，包括：
S2521：将所述目标训练样本集中的每个图像样本输入所述初始模型进行图像特征提取，得到每个所述图像样本对应的图像特征预测值；
S2522：采用交叉熵损失函数，根据各个所述图像特征预测值和所述目标训练样本集中的各个图像特征标定结果，针对每个所述图像样本进行损失值计算，得到待处理的损失值；
S2523：对各个所述待处理的损失值进行平均值计算，得到目标损失值；
S2524：根据所述目标损失值更新所述初始模型的参数，将更新后的所述初始模型用于下一次进行图像特征提取。
本实施例采用所述目标训练样本集中的各个训练样本输入所述初始模型进行图像特征的提取，根据提取的各个图像特征计算所述初始模型的目标损失值，根据目标损失值更新所述初始模型的参数，从而实现了对所述初始模型进行数据并行训练，提高了模型训练的效率和准确度。
对于S2521，将所述目标训练样本集中的每个图像样本输入所述初始模型进行图像特征提取，将所述初始模型针对每个图像样本输出的图像特征作为一个图像特征预测值。也就是说，图像特征预测值的数量与所述目标训练样本集中的训练样本的数量相同。
对于S2522，将同一个训练样本的所述图像特征预测值和图像特征标定结果输入交叉熵损失函数进行损失值计算，得到待处理的损失值。也就是说，待处理的损失值的数量与所述目标训练样本集中的训练样本的数量相同。
对于S2523，对各个所述待处理的损失值进行平均值计算，将计算得到的平均值作为目标损失值。
对于S2524，根据所述目标损失值更新所述初始模型的参数的方法步骤在此不做赘述。
参照图2，本申请还提出了一种图像特征的提取装置，所述装置包括：
图像获取模块100，用于获取待提取的图像；
图像特征提取模块200，用于将所述待提取的图像输入目标图像特征提取模型进行图像特征提取，其中，所述目标图像特征提取模型是基于VGG模型、残差模块和金字塔池化模块训练得到的模型；
目标图像特征确定模块300，用于获取所述目标图像特征提取模型输出的图像特征作为所述待提取的图像对应的目标图像特征。
本实施例首先通过获取待提取的图像，然后将所述待提取的图像输入目标图像特征提取模型进行图像特征提取，其中，所述目标图像特征提取模型是基于VGG模型、残差模块和金字塔池化模块训练得到的模型，最后获取所述目标图像特征提取模型输出的图像特征作为所述待提取的图像对应的目标图像特征，从而通过基于VGG模型、残差模块和金字塔池化模块训练得到目标图像特征提取模型，避免采用SIFT或ORB提取图像角点特征往往比较耗时，而且通过残差模块将图像的原始信息从模型低层向模型高层传递以保证输入图像的信息的完整性，金字塔池化模块让模型可以适应不同大小尺寸的输入图像，金字塔池化模块增加了图像特征的尺度不变特性和丰富了图像特征，提高了提取图像特征的准确度。
在一个实施例中，上述装置包括：初始模型构建模块和模型训练模块；
所述初始模型构建模块，用于将所述VGG模型作为第一模型，将多个所述残差模块添加到所述第一模型的采样模块中，得到第二模型，将所述金字塔池化模块添加到所述第二模型的所述采样模块与全连接模块之间，得到初始模型；
所述模型训练模块，用于获取多个待训练的训练样本集，采用多个所述待训练的训练样本集对所述初始模型进行训练，将训练结束的所述初始模型作为所述目标图像特征提取模型。
在一个实施例中，上述第一模型采用VGG16模型，所述初始模型构建模块包括：残差模块添加子模块；
所述残差模块添加子模块，用于将第一个所述残差模块的输入端与所述采样模块的第一池化层的输入端连接，并且将第一个所述残差模块的输出端与所述采样模块的第二池化层的激活层的输入端连接，将第二个所述残差模块的输入端与所述采样模块的第二池化层的输入端连接，并且将第二个所述残差模块的输出端与所述采样模块的第三池化层的激活层的输入端连接，将第三个所述残差模块的输入端与所述采样模块的第三池化层的输入端连接，并且将第三个所述残差模块的输出端与所述采样模块的第四池化层的激活层的输入端连接，将第四个所述残差模块的输入端与所述采样模块的第四池化层的输入端连接，并且将第四个所述残差模块的输出端与所述采样模块的第五池化层的激活层的输入端连接，将所述第一模型作为所述第二模型。
在一个实施例中，上述初始模型构建模块还包括：金字塔池化模块添加子模块；
所述金字塔池化模块添加子模块，用于将所述金字塔池化模块的第一层的输入端与所述采样模块的输出端连接，并且将所述第一层的输出端与所述全连接模块的输入端连接，将所述金字塔池化模块的第二层的输入端与所述采样模块的输出端连接，并且将所述第二层的输出端与所述全连接模块的输入端连接，将所述金字塔池化模块的第三层的输入端与所述采样模块的输出端连接，并且将所述第三层的输出端与所述全连接模块的输入端连接，将所述第二模型作为所述初始模型，其中，所述金字塔池化模块的所述第一层、所述第二层和所述第三层是尺寸不同的三个最大池化层。
在一个实施例中，上述模型训练模块包括：待训练的训练样本集生成子模块；
所述待训练的训练样本集生成子模块，用于获取多个商标图像，采用相同图像合并到同一个集合的方式，对多张所述商标图像进行划分，得到多个商标图像集，对每个所述商标图像集进行图像特征标定，得到每个所述商标图像集对应的图像特征标定结果，根据每个目标商标图像集中的各个所述商标图像和所述目标商标图像集对应的所述图像特征标定结果进行训练样本生成，得到待处理的训练样本集，其中，所述目标商标图像集是任一个所述商标图像集，将各个所述待处理的训练样本集进行集合合并处理和训练样本的顺序随机调整，得到待提取的训练样本集，采用预设的批次划分规则，对所述待提取的训练样本集进行划分，得到多个所述待训练的训练样本集。
在一个实施例中，上述模型训练模块还包括：数据并行训练子模块；
所述数据并行训练子模块，用于从多个所述待训练的训练样本集中获取所述待训练的训练样本集作为目标训练样本集，采用所述目标训练样本集对所述初始模型进行训练，重复执行从多个所述待训练的训练样本集中获取所述待训练的训练样本集作为目标训练样本集的步骤，直至达到预设模型训练结束条件，将达到所述预设模型训练结束条件的所述初始模型作为所述目标图像特征提取模型。
在一个实施例中，上述数据并行训练子模块包括：图像特征提取单元、损失值计算单元和模型参数更新单元；
所述图像特征提取单元，用于将所述目标训练样本集中的每个图像样本输入所述初始模型进行图像特征提取，得到每个所述图像样本对应的图像特征预测值；
所述损失值计算单元，用于采用交叉熵损失函数，根据各个所述图像特征预测值和所述目标训练样本集中的各个图像特征标定结果，针对每个所述图像样本进行损失值计算，得到待处理的损失值，对各个所述待处理的损失值进行平均值计算，得到目标损失值；
所述模型参数更新单元，用于根据所述目标损失值更新所述初始模型的参数，将更新后的所述初始模型用于下一次进行图像特征提取。
参照图3，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于储存图像特征的提取方法等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像特征的提取方法。所述图像特征的提取方法，包括：获取待提取的图像；将所述待提取的图像输入目标图像特征提取模型进行图像特征提取，其中，所述目标图像特征提取模型是基于VGG模型、残差模块和金字塔池化模块训练得到的模型；获取所述目标图像特征提取模型输出的图像特征作为所述待提取的图像对应的目标图像特征。
本实施例首先通过获取待提取的图像，然后将所述待提取的图像输入目标图像特征提取模型进行图像特征提取，其中，所述目标图像特征提取模型是基于VGG模型、残差模块和金字塔池化模块训练得到的模型，最后获取所述目标图像特征提取模型输出的图像特征作为所述待提取的图像对应的目标图像特征，从而通过基于VGG模型、残差模块和金字塔池化模块训练得到目标图像特征提取模型，避免采用SIFT或ORB提取图像角点特征往往比较耗时，而且通过残差模块将图像的原始信息从模型低层向模型高层传递以保证输入图像的信息的完整性，金字塔池化模块让模型可以适应不同大小尺寸的输入图像，金字塔池化模块增加了图像特征的尺度不变特性和丰富了图像特征，提高了提取图像特征的准确度。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种图像特征的提取方法，包括步骤：获取待提取的图像；将所述待提取的图像输入目标图像特征提取模型进行图像特征提取，其中，所述目标图像特征提取模型是基于VGG模型、残差模块和金字塔池化模块训练得到的模型；获取所述目标图像特征提取模型输出的图像特征作为所述待提取的图像对应的目标图像特征。
上述执行的图像特征的提取方法，首先通过获取待提取的图像，然后将所述待提取的图像输入目标图像特征提取模型进行图像特征提取，其中，所述目标图像特征提取模型是基于VGG模型、残差模块和金字塔池化模块训练得到的模型，最后获取所述目标图像特征提取模型输出的图像特征作为所述待提取的图像对应的目标图像特征，从而通过基于VGG模型、残差模块和金字塔池化模块训练得到目标图像特征提取模型，避免采用SIFT或ORB提取图像角点特征往往比较耗时，而且通过残差模块将图像的原始信息从模型低层向模型高层传递以保证输入图像的信息的完整性，金字塔池化模块让模型可以适应不同大小尺寸的输入图像，金字塔池化模块增加了图像特征的尺度不变特性和丰富了图像特征，提高了提取图像特征的准确度。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种图像特征的提取方法，其特征在于，所述方法包括：
获取待提取的图像；
将所述待提取的图像输入目标图像特征提取模型进行图像特征提取，其中，所述目标图像特征提取模型是基于VGG模型、残差模块和金字塔池化模块训练得到的模型；
获取所述目标图像特征提取模型输出的图像特征作为所述待提取的图像对应的目标图像特征。
2.根据权利要求1所述的图像特征的提取方法，其特征在于，所述将所述待提取的图像输入目标图像特征提取模型进行图像特征提取的步骤之前，包括：
将所述VGG模型作为第一模型；
将多个所述残差模块添加到所述第一模型的采样模块中，得到第二模型；
将所述金字塔池化模块添加到所述第二模型的所述采样模块与全连接模块之间，得到初始模型；
获取多个待训练的训练样本集；
采用多个所述待训练的训练样本集对所述初始模型进行训练，将训练结束的所述初始模型作为所述目标图像特征提取模型。
3.根据权利要求2所述的图像特征的提取方法，其特征在于，所述第一模型采用VGG16模型，所述将多个所述残差模块添加到所述第一模型的采样模块中，得到第二模型的步骤，包括：
将第一个所述残差模块的输入端与所述采样模块的第一池化层的输入端连接，并且将第一个所述残差模块的输出端与所述采样模块的第二池化层的激活层的输入端连接；
将第二个所述残差模块的输入端与所述采样模块的第二池化层的输入端连接，并且将第二个所述残差模块的输出端与所述采样模块的第三池化层的激活层的输入端连接；
将第三个所述残差模块的输入端与所述采样模块的第三池化层的输入端连接，并且将第三个所述残差模块的输出端与所述采样模块的第四池化层的激活层的输入端连接；
将第四个所述残差模块的输入端与所述采样模块的第四池化层的输入端连接，并且将第四个所述残差模块的输出端与所述采样模块的第五池化层的激活层的输入端连接，将所述第一模型作为所述第二模型。
4.根据权利要求3所述的图像特征的提取方法，其特征在于，所述将所述金字塔池化模块添加到所述第二模型的所述采样模块与全连接模块之间，得到初始模型的步骤，包括：
将所述金字塔池化模块的第一层的输入端与所述采样模块的输出端连接，并且将所述第一层的输出端与所述全连接模块的输入端连接；
将所述金字塔池化模块的第二层的输入端与所述采样模块的输出端连接，并且将所述第二层的输出端与所述全连接模块的输入端连接；
将所述金字塔池化模块的第三层的输入端与所述采样模块的输出端连接，并且将所述第三层的输出端与所述全连接模块的输入端连接，将所述第二模型作为所述初始模型；
其中，所述金字塔池化模块的所述第一层、所述第二层和所述第三层是尺寸不同的三个最大池化层。
5.根据权利要求2所述的图像特征的提取方法，其特征在于，所述获取多个待训练的训练样本集的步骤，还包括：
获取多个商标图像；
采用相同图像合并到同一个集合的方式，对多张所述商标图像进行划分，得到多个商标图像集；
对每个所述商标图像集进行图像特征标定，得到每个所述商标图像集对应的图像特征标定结果；
根据每个目标商标图像集中的各个所述商标图像和所述目标商标图像集对应的所述图像特征标定结果进行训练样本生成，得到待处理的训练样本集，其中，所述目标商标图像集是任一个所述商标图像集；
将各个所述待处理的训练样本集进行集合合并处理和训练样本的顺序随机调整，得到待提取的训练样本集；
采用预设的批次划分规则，对所述待提取的训练样本集进行划分，得到多个所述待训练的训练样本集。
6.根据权利要求2所述的图像特征的提取方法，其特征在于，所述采用多个所述待训练的训练样本集对所述初始模型进行训练，将训练结束的所述初始模型作为所述目标图像特征提取模型的步骤，包括：
从多个所述待训练的训练样本集中获取所述待训练的训练样本集作为目标训练样本集；
采用所述目标训练样本集对所述初始模型进行训练；
重复执行从多个所述待训练的训练样本集中获取所述待训练的训练样本集作为目标训练样本集的步骤，直至达到预设模型训练结束条件；
将达到所述预设模型训练结束条件的所述初始模型作为所述目标图像特征提取模型。
7.根据权利要求6所述的图像特征的提取方法，其特征在于，所述采用所述目标训练样本集对所述初始模型进行训练的步骤，包括：
将所述目标训练样本集中的每个图像样本输入所述初始模型进行图像特征提取，得到每个所述图像样本对应的图像特征预测值；
采用交叉熵损失函数，根据各个所述图像特征预测值和所述目标训练样本集中的各个图像特征标定结果，针对每个所述图像样本进行损失值计算，得到待处理的损失值；
对各个所述待处理的损失值进行平均值计算，得到目标损失值；
根据所述目标损失值更新所述初始模型的参数，将更新后的所述初始模型用于下一次进行图像特征提取。
8.一种图像特征的提取装置，其特征在于，所述装置包括：
图像获取模块，用于获取待提取的图像；
图像特征提取模块，用于将所述待提取的图像输入目标图像特征提取模型进行图像特征提取，其中，所述目标图像特征提取模型是基于VGG模型、残差模块和金字塔池化模块训练得到的模型；
目标图像特征确定模块，用于获取所述目标图像特征提取模型输出的图像特征作为所述待提取的图像对应的目标图像特征。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202111093250.0A 2021-09-17 2021-09-17 图像特征的提取方法、装置、设备及存储介质 Active CN113807367B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111093250.0A CN113807367B (zh) 2021-09-17 2021-09-17 图像特征的提取方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111093250.0A CN113807367B (zh) 2021-09-17 2021-09-17 图像特征的提取方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113807367A true CN113807367A (zh) 2021-12-17
CN113807367B CN113807367B (zh) 2023-06-16

Family

ID=78895801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111093250.0A Active CN113807367B (zh) 2021-09-17 2021-09-17 图像特征的提取方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113807367B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188765A (zh) * 2019-06-05 2019-08-30 京东方科技集团股份有限公司 图像语义分割模型生成方法、装置、设备及存储介质
WO2019232830A1 (zh) * 2018-06-06 2019-12-12 平安科技（深圳）有限公司 机场异物检测方法、装置、计算机设备及存储介质
US20200034667A1 (en) * 2018-07-27 2020-01-30 Boe Technology Group Co., Ltd. Image processing method, image processing apparatus, and computer storage medium
CN110929774A (zh) * 2019-11-18 2020-03-27 腾讯科技（深圳）有限公司 图像中目标物的分类方法、模型训练方法和装置
CN112884073A (zh) * 2021-03-22 2021-06-01 上海大学 图像去雨方法、系统、终端及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019232830A1 (zh) * 2018-06-06 2019-12-12 平安科技（深圳）有限公司 机场异物检测方法、装置、计算机设备及存储介质
US20200034667A1 (en) * 2018-07-27 2020-01-30 Boe Technology Group Co., Ltd. Image processing method, image processing apparatus, and computer storage medium
CN110188765A (zh) * 2019-06-05 2019-08-30 京东方科技集团股份有限公司 图像语义分割模型生成方法、装置、设备及存储介质
CN110929774A (zh) * 2019-11-18 2020-03-27 腾讯科技（深圳）有限公司 图像中目标物的分类方法、模型训练方法和装置
CN112884073A (zh) * 2021-03-22 2021-06-01 上海大学 图像去雨方法、系统、终端及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
乔文凡;慎利;戴延帅;曹云刚;: "联合膨胀卷积残差网络和金字塔池化表达的高分影像建筑物自动识别", 地理与地理信息科学, no. 05, pages 62 - 68 *

Also Published As

Publication number Publication date
CN113807367B (zh) 2023-06-16

Similar Documents

Publication Publication Date Title
CN109063742B (zh) 蝴蝶识别网络构建方法、装置、计算机设备及存储介质
CN113593611B (zh) 语音分类网络训练方法、装置、计算设备及存储介质
CN111666370B (zh) 面向多源异构航天数据的语义索引方法和装置
CN112818963B (zh) 人脸识别模型的训练方法、装置、设备及存储介质
CN111598213B (zh) 网络训练方法、数据识别方法、装置、设备和介质
CN111062324A (zh) 人脸检测方法、装置、计算机设备和存储介质
CN113792682A (zh) 基于人脸图像的人脸质量评估方法、装置、设备及介质
CN114822683A (zh) 药物与靶标的相互作用预测方法、装置、设备及存储介质
CN117194637A (zh) 基于大语言模型的多层级可视化评估报告生成方法、装置
CN114782775A (zh) 分类模型的构建方法、装置、计算机设备及存储介质
CN114416984A (zh) 基于人工智能的文本分类方法、装置、设备及存储介质
CN113657479A (zh) 一种新型多尺度深宽结合的病理图片分类方法、系统及介质
CN113807367A (zh) 图像特征的提取方法、装置、设备及存储介质
CN111105014B (zh) 一种数据处理方法、设备和计算机可读存储介质
CN115830462A (zh) 基于循环一致性对抗网络的sar图像重构方法及装置
CN115170632A (zh) 三维点云的点云表征生成方法、装置、设备及存储介质
CN115511926A (zh) 一种基于拟牛顿优化的点云匹配方法和装置
CN112488224B (zh) 模型训练方法、装置、计算机设备及存储介质
CN114742990A (zh) 基于人工智能的目标检测方法、装置、设备及存储介质
Kharinov Adaptive dichotomous image segmentation toolkit
CN113344129A (zh) 时间序列的预测方法、装置、设备及存储介质
CN113220859A (zh) 基于图像的问答方法、装置、计算机设备及存储介质
CN114186548B (zh) 基于人工智能的句子向量生成方法、装置、设备及介质
Zhou et al. An active learning variable-fidelity metamodeling approach for engineering design
CN113886629B (zh) 课程图片检索模型建立方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40063354

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant