CN114219983A - 神经网络训练方法、图像检索方法及装置 - Google Patents

神经网络训练方法、图像检索方法及装置 Download PDF

Info

Publication number
CN114219983A
CN114219983A CN202111555642.4A CN202111555642A CN114219983A CN 114219983 A CN114219983 A CN 114219983A CN 202111555642 A CN202111555642 A CN 202111555642A CN 114219983 A CN114219983 A CN 114219983A
Authority
CN
China
Prior art keywords
image
neural network
convolutional neural
training
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111555642.4A
Other languages
English (en)
Inventor
闫龙川
陈智雨
何永远
郭永和
彭元龙
张朝霞
牛佳宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Information and Telecommunication Co Ltd
Original Assignee
State Grid Information and Telecommunication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Information and Telecommunication Co Ltd filed Critical State Grid Information and Telecommunication Co Ltd
Priority to CN202111555642.4A priority Critical patent/CN114219983A/zh
Publication of CN114219983A publication Critical patent/CN114219983A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种神经网络训练方法、图像检索方法及装置，该训练方法通过预先设定的损失函数对第一浅层卷积神经网络、第一深层卷积神经网络、第二浅层卷积神经网络和第二深层卷积神经网络进行训练，使第一浅层卷积神经网络、第一深层卷积神经网络、第二浅层卷积神经网络和第二深层卷积神经网络学习到能提取与图像相似性相关的特征，在此基础上，使用浅层卷积神经网络和深层卷积神经网络提取不同类型的特征，并对特征进行融合，使融合后的特征能表征更加丰富的图像信息，使得利用融合后的特征检索图像，可以提高图像检索的精度。

Description

神经网络训练方法、图像检索方法及装置
技术领域
本申请涉及图像处理技术领域，特别涉及一种神经网络训练方法、图像检索方法及装置。
背景技术
目前，图像检索可以利用深度学习网络计算图像的特征值，然后根据特征值间的距离远近来判断图像间是否相关。
但是，基于深度学习网络进行图像检索的精度仍有待提高。
发明内容
本申请提供如下技术方案：
一种神经网络训练方法，包括：
从数据源中选择两张图像，分别作为第一训练图像和第二训练图像；
分别将所述第一训练图像输入到第一浅层卷积神经网络和第一深层卷积神经网络，得到第一浅层卷积神经网络获得的所述第一训练图像的视觉特征和所述第一深层卷积神经网络获得的所述第一训练图像的语义特征；
对所述第一训练图像的视觉特征和语义特征进行融合，得到第一融合特征；
分别将所述第二训练图像输入到第二浅层卷积神经网络和第二深层卷积神经网络，得到第二浅层深度哈希网络获得的所述第二训练图像的视觉特征和所述第二深层卷积神经网络获得的所述第二训练图像的语义特征；
对所述第二训练图像的视觉特征和语义特征进行融合，得到第二融合特征；
将所述第一融合特征和所述第二融合特征输入到预先设定的损失函数中，得到损失函数值，所述损失函数值用于计算所述第一训练图像和所述第二训练图像在汉明空间中的相似性；
判断所述损失函数值是否收敛；
若未收敛，则对所述第一浅层卷积神经网络、第一深层卷积神经网络、所述第二浅层卷积神经网络和所述第二深层卷积神经网络的参数进行更新，并返回执行所述从数据源中选择两张图像，分别作为第一训练图像和第二训练图像的步骤，直至所述损失函数值收敛。
可选的，所述对所述第一训练图像的视觉特征和语义特征进行融合，得到第一融合特征之后，还包括：
对所述第一融合特征进行降维，得到第一目标特征，对所述第一目标特征进行二值化处理，得到第一目标二进制码；
对所述第二训练图像的视觉特征和语义特征进行融合，得到第二融合特征之后，还包括：
对所述第二融合特征进行降维，得到第二目标特征，对所述第二目标特征进行二值化处理，得到第二目标二进制码；
所述将所述第一融合特征和所述第二融合特征输入到预先设定的损失函数中，得到损失函数值，包括：
将所述第一目标二进制码和所述第二目标二进制码输入到预先设定的损失函数中，得到损失函数值。
可选的，所述第一浅层卷积神经网络中参数的初始权重与所述第二浅层卷积神经网络中参数的初始权重相互具有差异；
所述第一深层卷积神经网络中参数的初始权重与所述第二深层卷积神经网络中参数的初始权重相互具有差异。
可选的，所述预先设定的损失函数为：
Figure BDA0003418544970000031
其中，tanh()表示双曲正切函数；F表示第一融合特征；G表示第二融合特征；B1表示第一训练图像生成的二进制码；B2表示第二训练图像生成的二进制码；k表示生成二进制码的bit数；S表示第一训练图像和第二训练图像之间的相似矩阵；Si，j表示第一训练图像和第二训练图像之间的相似关系，若第一训练图像和第二训练图像包含相同标签，则第一训练图像和第二训练图像相似，Si，j＝1，否则Si，j＝0；θi，j表示B1和B2之间的內积；
Figure BDA0003418544970000032
表示矩阵中各项元素的绝对值平方的总和；τ,γ,β为非负参数；B1T表示B1的转置；B2T表示B2的转置，(F)T表示F的转置；(G)T表示G的转置。
一种图像检索方法，包括：
在接收到针对待处理图像的检索请求的情况下，将所述待处理图像输入到浅层卷积神经网络，得到所述浅层卷积神经网络获得的所述待处理图像的视觉特征，所述浅层卷积神经网络为基于上述任意一项所述的神经网络训练方法训练得到的；
将所述待处理图像输入到深层卷积神经网络，得到所述深层卷积神经网络获得的所述待处理图像的语义特征，所述深层卷积神经网络为基于上述任意一项所述的神经网络训练方法训练得到的；
对所述视觉特征和所述语义特征进行融合，得到融合特征；
基于所述融合特征及数据库中每张图像的融合特征，确定所述待处理图像与所述数据库中每张图像之间的相似度，并将所述数据库中所述相似度满足设定条件的图像确定为所述待处理图像的相似图像。
可选的，所述对所述视觉特征和所述语义特征进行融合，得到融合特征之后，还包括：
对所述融合特征进行降维及二值化处理，得到目标二进制码；
所述基于所述融合特征及数据库中每张图像的融合特征，确定所述待处理图像与所述数据库中每张图像之间的相似度，包括：
基于所述待处理图像的所述目标二进制码及所述数据库中每张图像的目标二进制码，计算所述待处理图像与所述数据库中每张图像之间的汉明距离，并通过所述待处理图像与所述数据库中每张图像之间的汉明距离，确定所述待处理图像与所述数据库中每张图像之间的相似度；
所述数据库中每张图像的目标二进制码为分别对所述数据库中每张图像的融合特征进行降维及二值化处理得到的。
一种神经网络训练装置，包括：
第一确定模块，用于从数据源中选择两张图像，分别作为第一训练图像和第二训练图像；
第一特征提取模块，用于分别将所述第一训练图像输入到第一浅层卷积神经网络和第一深层卷积神经网络，得到第一浅层卷积神经网络获得的所述第一训练图像的视觉特征和所述第一深层卷积神经网络获得的所述第一训练图像的语义特征；
第一融合模块，用于对所述第一训练图像的视觉特征和语义特征进行融合，得到第一融合特征；
第二特征提取模块，用于分别将所述第二训练图像输入到第二浅层卷积神经网络和第二深层卷积神经网络，得到第二浅层深度哈希网络获得的所述第二训练图像的视觉特征和所述第二深层卷积神经网络获得的所述第二训练图像的语义特征；
第二融合模块，用于对所述第二训练图像的视觉特征和语义特征进行融合，得到第二融合特征；
第二确定模块，用于将所述第一融合特征和所述第二融合特征输入到预先设定的损失函数中，得到损失函数值，所述损失函数值用于计算所述第一训练图像和所述第二训练图像在汉明空间中的相似性；
判断模块，用于判断所述损失函数值是否收敛；
更新模块，用于若所述损失函数值未收敛，则对所述第一浅层卷积神经网络、第一深层卷积神经网络、所述第二浅层卷积神经网络和所述第二深层卷积神经网络的参数进行更新，并返回执行所述从数据源中选择两张图像，分别作为第一训练图像和第二训练图像的步骤，直至所述损失函数值收敛。
一种图像检索装置，包括：
特征提取模块，用于：
在接收到针对待处理图像的检索请求的情况下，将所述待处理图像输入到浅层卷积神经网络，得到所述浅层卷积神经网络获得的所述待处理图像的视觉特征，所述浅层卷积神经网络为基于权利要求1-4任意一项所述的神经网络训练方法训练得到的；以及，
将所述待处理图像输入到深层卷积神经网络，得到所述深层卷积神经网络获得的所述待处理图像的语义特征，所述深层卷积神经网络为基于权利要求1-4任意一项所述的神经网络训练方法训练得到的；
融合模块，用于对所述视觉特征和所述语义特征进行融合，得到融合特征；
确定模块，用于基于所述融合特征及数据库中每张图像的融合特征，确定所述待处理图像与所述数据库中每张图像之间的相似度，并将所述数据库中所述相似度满足设定条件的图像确定为所述待处理图像的相似图像。
一种电子设备，包括：存储器，用于至少存储一组指令集；
处理器，用于调用并执行所述存储器中的所述指令集，通过执行所述指令集，执行如上述所述的图像检索方法。
一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行，实现如上述所述的图像检索方法。
与现有技术相比，本申请的有益效果为：
在本申请中，通过预先设定的损失函数对第一浅层卷积神经网络、第一深层卷积神经网络、第二浅层卷积神经网络和第二深层卷积神经网络进行训练，使第一浅层卷积神经网络、第一深层卷积神经网络、第二浅层卷积神经网络和第二深层卷积神经网络学习到能提取与图像相似性相关的特征，在此基础上，使用浅层卷积神经网络和深层卷积神经网络提取不同类型的特征，并对特征进行融合，使融合后的特征能表征更加丰富的图像信息，使得利用融合后的特征检索图像，可以提高图像检索的精度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例1提供的一种神经网络训练方法的流程示意图；
图2是本申请实施例2提供的一种神经网络训练方法的流程示意图；
图3是本申请提供的一种神经网络的结构示意图；
图4是本申请实施例3提供的一种图像检索方法的流程示意图；
图5是本申请实施例4提供的一种图像检索方法的流程示意图；
图6是本申请提供的一种神经网络训练装置的结构示意图；
图7是本申请提供的一种图像检索装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
参照图1，为本申请实施例1提供的一种神经网络训练方法的流程示意图，该方法可以应用于电子设备，本申请对电子设备的产品类型不做限定，如图1所示，该方法可以包括但并不局限于以下步骤：
步骤S11、从数据源中选择两张图像，分别作为第一训练图像和第二训练图像。
步骤S12、分别将所述第一训练图像输入到第一浅层卷积神经网络和第一深层卷积神经网络，得到第一浅层卷积神经网络获得的所述第一训练图像的视觉特征和所述第一深层卷积神经网络获得的所述第一训练图像的语义特征。
第一训练图像的视觉特征，可以包括但不局限于：第一训练图像的颜色特征和/或纹理特征。
第一训练图像的语义特征可以表征第一训练图像的语义描述信息。
第一浅层卷积神经网络的层数与第一深层卷积神经网络的层数相互具有差异，并且，第一浅层卷积神经网络的卷积核大小与第一深层卷积神经网络的卷积核大小相互具有差异。
具体地，第一浅层卷积神经网络可以但不局限于由四层卷积层构成，可以将3维的224x224大小的第一训练图像映射为128维7x7大小的视觉特征。
第一深层卷积神经网络可以为但不局限于ResNet50网络，可以将3维224x224大小的第一训练图像，映射为512维7x7大小的语义特征。
步骤S13、对所述第一训练图像的视觉特征和语义特征进行融合，得到第一融合特征。
对所述第一训练图像的视觉特征和语义特征进行融合，可以包括但不局限于：
对所述第一训练图像的视觉特征和语义特征在通道维度上进行拼接。例如，将128维7x7大小的视觉特征与512维7x7大小的语义特征进行拼接，得到640维14x14大小的第一融合特征。
步骤S14、分别将所述第二训练图像输入到第二浅层卷积神经网络和第二深层卷积神经网络，得到第二浅层深度哈希网络获得的所述第二训练图像的视觉特征和所述第二深层卷积神经网络获得的所述第二训练图像的语义特征。
第二训练图像的视觉特征，可以包括但不局限于：第二训练图像的颜色特征和/或纹理特征。
第二训练图像的语义特征可以表征第二训练图像的语义描述信息。
第二浅层卷积神经网络的层数与第二深层卷积神经网络的层数相互具有差异，并且，第二浅层卷积神经网络的卷积核大小与第二深层卷积神经网络的卷积核大小相互具有差异。
具体地，第二浅层卷积神经网络可以但不局限于由四层卷积层构成，可以将3维的224x224大小的第二训练图像映射为128维7x7大小的视觉特征。
第二深层卷积神经网络可以为但不局限于ResNet50网络，可以将3维224x224大小的第二训练图像，映射为512维7x7大小的语义特征。
本实施例中，所述第一浅层卷积神经网络中参数的初始权重与所述第二浅层卷积神经网络中参数的初始权重可以相同；
所述第一深层卷积神经网络中参数的初始权重与所述第二深层卷积神经网络中参数的初始权重可以相同。
当然，所述第一浅层卷积神经网络中参数的初始权重与所述第二浅层卷积神经网络中参数的初始权重也可以相互具有差异，所述第一深层卷积神经网络中参数的初始权重与所述第二深层卷积神经网络中参数的初始权重也可以相互具有差异。
其中，所述第一浅层卷积神经网络中参数的初始权重与所述第二浅层卷积神经网络中参数的初始权重相互具有差异，所述第一深层卷积神经网络中参数的初始权重与所述第二深层卷积神经网络中参数的初始权重相互具有差异，可以使训练完成的第一浅层卷积神经网络与第二浅层卷积神经网络不同，以及训练完成的第一深层卷积神经网络与第二深层卷积神经网络不同，保证第一浅层卷积神经网络和第一深层卷积神经网络与第二浅层神经网络和第二深层卷积神经网络可以更准确地学习到第一训练图像及第二训练图像之间的相似性，第一浅层卷积神经网络和第一深层卷积神经网络与第二浅层卷积神经网络和第二深层卷积神经网络可以更加准确地提取与图像相似性相关的特征，进一步提高图像检索的精度。
步骤S15、对所述第二训练图像的视觉特征和语义特征进行融合，得到第二融合特征。
对所述第二训练图像的视觉特征和语义特征进行融合，可以包括但不局限于：
对所述第二训练图像的视觉特征和语义特征在通道维度上进行拼接。例如，将128维7x7大小的视觉特征与512维7x7大小的语义特征进行拼接，得到640维14x14大小的第二融合特征。
步骤S16、将所述第一融合特征和所述第二融合特征输入到预先设定的损失函数中，得到损失函数值，所述损失函数值用于计算所述第一训练图像和所述第二训练图像在汉明空间中的相似性。
损失函数值用于计算所述第一训练图像和所述第二训练图像在汉明空间中的相似性，可以理解为：损失函数值用于将相似点之间的汉明距离缩小，不相似点之间的汉明距离增大。
第一训练图像和第二训练图像越相似，第一训练图像和第二训练图像之间的汉明距离越小。
本实施例中，并不限制损失函数的具体实现方式，至少保证损失函数值可以用于计算所述第一训练图像和所述第二训练图像在汉明空间中的相似性即可。
步骤S17、判断所述损失函数值是否收敛。
判断所述损失函数值是否收敛，可以理解为：判断损失函数值的变化趋势是否为减小趋势；
或，判断损失函数值的变化趋势是否为减小趋势，若是，则判断本次计算得到的损失函数值与上一次计算得到的损失函数值的差值是否小于预设值。
若未收敛，则执行步骤S18。若已收敛，则可以认为对第一浅层卷积神经网络、第一深层卷积神经网络、第二浅层卷积神经网络和第二深层卷积神经网络的训练已达到设定要求，则结束训练。
步骤S18、对所述第一浅层卷积神经网络、第一深层卷积神经网络、所述第二浅层卷积神经网络和所述第二深层卷积神经网络的参数进行更新，并返回执行步骤S11，直至所述损失函数值收敛。
在本实施例中，通过预先设定的损失函数对第一浅层卷积神经网络、第一深层卷积神经网络、第二浅层卷积神经网络和第二深层卷积神经网络进行训练，使第一浅层卷积神经网络、第一深层卷积神经网络、第二浅层卷积神经网络和第二深层卷积神经网络学习到能提取与图像相似性相关的特征，在此基础上，使用浅层卷积神经网络和深层卷积神经网络提取不同类型的特征，并对特征进行融合，使融合后的特征能表征更加丰富的图像信息，使得利用融合后的特征检索图像，可以提高图像检索的精度。例如，在真实场景下的图像，如电网领域中的电缆或者工人维修等图像，容易受到现实场景的干扰影响，比如光照强度的不同，拍摄视角的不同，所处场景的不同，背景过于杂乱，物体被异物遮挡等等。这些因素都会在较大程度上影响图像检索结果。为了降低真实环境的干扰，本申请通过两种不同的卷积神经网络对输入图像提取视觉特征和语义特征，基于视觉特征和语义特征进行图像检索，保证图像检索的精度。
作为本申请另一可选实施例，参照图2，为本申请实施例2提供的一种神经网络训练方法的流程示意图，本实施例主要是对上述实施例1描述的神经网络训练方法的扩展方案，如图2所示，该方法可以包括但并不局限于以下步骤：
步骤S21、从数据源中选择两张图像，分别作为第一训练图像和第二训练图像；
步骤S22、分别将所述第一训练图像输入到第一浅层卷积神经网络和第一深层卷积神经网络，得到第一浅层卷积神经网络获得的所述第一训练图像的视觉特征和所述第一深层卷积神经网络获得的所述第一训练图像的语义特征；
步骤S23、对所述第一训练图像的视觉特征和语义特征进行融合，得到第一融合特征。
本实施例中，可以由特征融合层对第一训练图像的视觉特征和语义特征进行融合，得到第一融合特征。
步骤S21-S23的详细过程可以参见实施例1中步骤S11-S13的相关介绍，在此不再赘述。
步骤S24、对所述第一融合特征进行降维，得到第一目标特征，对所述第一目标特征进行二值化处理，得到第一目标二进制码。
本实施例中，可以由哈希层对第一融合特征进行降维，得到第一目标特征，并对第一目标特征进行二值化处理，得到第一目标二进制码。
哈希层可以包括三个全连接层，第一个全连接层是将特征融合层输出的融合特征进行线性组合，第一个全连接层的输出作为第二个全连接层的输入，第二个全连接层是加深网络深度，增加神经元个数，提高模型学习能力，第二个全连接层的输出作为第三个全连接层的输入，第三个全连接层对第二个全连接层输出的特征进行降维，将特征降维到固定比特数(如，为16比特或32比特或64比特)，并对降维后的特征进行二值化处理，将其映射到+1和-1上。
二值化处理，可以包括但不局限于：利用符号函数sign()进行二值化处理，或，利用双曲正切函数tanh()进行二值化处理。其中，利用双曲正切函数tanh()进行二值化处理，可以保证在更新神经网络的参数时更加准确和便捷的进行反向传播。
例如，在第一融合特征和第二融合特征均为640维14x14大小的特征的情况下，特征融合层可以利用14x14x640的卷积核与特征卷积，卷积得到的值求和得到一个输出值，该输出值作为第一个全连接层的输入，第一个全连接层利用卷积核为14x14x640x4096的全局卷积(4096个14x14x640卷积核)与特征卷积，得到4096维的特征，作为第二全连接层的输入，第二个全连接层对4096维的特征进行处理，仍是输出4096维的特征给第三个全连接层，第三个全连接层对4096维的特征进行降维，并进行二值化处理。
步骤S25、分别将所述第二训练图像输入到第二浅层卷积神经网络和第二深层卷积神经网络，得到第二浅层深度哈希网络获得的所述第二训练图像的视觉特征和所述第二深层卷积神经网络获得的所述第二训练图像的语义特征；
步骤S26、对所述第二训练图像的视觉特征和语义特征进行融合，得到第二融合特征。
步骤S25-S26的详细过程可以参见实施例1中步骤S14-S15的相关介绍在，在此不再赘述。
步骤S27、对所述第二融合特征进行降维，得到第二目标特征，对所述第二目标特征进行二值化处理，得到第二目标二进制码。
步骤S28、将所述第一目标二进制码和所述第二目标二进制码输入到预先设定的损失函数中，得到损失函数值，所述损失函数值用于计算所述第一训练图像和所述第二训练图像在汉明空间中的相似性。
本实施例中，所述预先设定的损失函数可以为但不局限于：
Figure BDA0003418544970000121
其中，tanh()表示双曲正切函数；F表示第一融合特征；G表示第二融合特征；B1表示第一训练图像生成的二进制码；B2表示第二训练图像生成的二进制码；k表示生成二进制码的bit数；S表示第一训练图像和第二训练图像之间的相似矩阵；Si，j表示第一训练图像和第二训练图像之间的相似关系，若第一训练图像和第二训练图像包含相同标签，则第一训练图像和第二训练图像相似，Si，j＝1，否则Si，j＝0；θi，j表示B1和B2之间的內积；
Figure BDA0003418544970000122
表示矩阵中各项元素的绝对值平方的总和；τ,γ,β为非负参数；B1T表示B1的转置；B2T表示B2的转置，(F)T表示F的转置；(G)T表示G的转置。
其中，损失函数中第二项
Figure BDA0003418544970000123
表征相似性损失，是通过
Figure BDA0003418544970000124
两边取负对数得到的。该相似性损失通过图像的标签信息学习图像的相似性关系，其中表示第一训练图像和第二训练图像之间的相似关系，若第一训练图像和第二训练图像包含相同标签，则第一训练图像和第二训练图像相似，Si，j＝1，否则Si，j＝0。第一训练图像和第二训练图像如果相似，则他们的二进制码应该相近，汉明输入图像如果相似，则他们的二进制码应该相近，汉明距离更小。该相似性损失的优化问题可以将相似点之间的汉明距离缩小，不相似点之间的汉明距离增大，完成对图像对相似关系的学习。
损失函数中第三项
Figure BDA0003418544970000131
表征利用原始特征和二进制码的內积来度量第一训练图像和第二训练图像的相似性，內积越小相似性越大，因此当神经网络在更新优化的时候，可以利用这项损失保持原始特征和二进制码的相似性。
步骤S28为实施例1中步骤S16的一种具体实施方式。
步骤S29、判断所述损失函数值是否收敛；
若未收敛，则执行步骤S210。
步骤S210、对所述第一浅层卷积神经网络、第一深层卷积神经网络、所述第二浅层卷积神经网络和所述第二深层卷积神经网络的参数进行更新，并返回执行步骤S21，直至所述损失函数值收敛。
步骤S29-S210的详细过程可以参见实施例1中步骤S17-S18的相关介绍，在此不再赘述。
在本实施例中，通过预先设定的损失函数对第一浅层卷积神经网络、第一深层卷积神经网络、第二浅层卷积神经网络和第二深层卷积神经网络进行训练，使第一浅层卷积神经网络、第一深层卷积神经网络、第二浅层卷积神经网络和第二深层卷积神经网络学习到能提取与图像相似性相关的特征，在此基础上，使用浅层卷积神经网络和深层卷积神经网络提取不同类型的特征，并对特征进行融合，使融合后的特征能表征更加丰富的图像信息，可以提高训练的精度，进而提高图像检索的精度，并且，对融合后的特征进行降维及二值化处理，可以提高训练的效率。例如，如图3所示，将图片i输入到第一浅层卷积神经网络和第一深层卷积神经网络，将图片j输入到第二浅层卷积神经网络和第二深层卷积神经网络，第一浅层卷积神经网络得到的视觉特征和第一深层卷积神经网络得到的语义特征输出，以及第二浅层卷积神经网络得到的视觉特征和第二深层卷积神经网络得到的语义特征给特征融合层，特征融合层对第一浅层卷积神经网络得到的视觉特征和第一深层卷积神经网络得到的语义特征进行融合，得到第一融合特征，以及对第二浅层卷积神经网络的视觉特征和第二深层卷积神经网络得到的语义特征进行融合，得到第二融合特征，可以保证特征的丰富性，可以提高训练精度，进而提高图像检索的精度。特征融合层将第一融合特征和第二融合特征输入到哈希层，哈希层分别对第一融合特征和第二融合特征进行降维及二值化处理，得到第一目标二进制码和第二目标二进制码，将第一目标二进制码和第二目标二进制码给损失函数，损失函数计算损失函数值，可以降低运算量，提高训练效率。
参照图4，为本申请实施例3提供的一种图像检索方法的流程示意图，该方法可以应用于电子设备，本申请对电子设备的产品类型不做限定，如图3所示，该方法可以包括但并不局限于以下步骤：
步骤S31、在接收到针对待处理图像的检索请求的情况下，将所述待处理图像输入到浅层卷积神经网络，得到所述浅层卷积神经网络获得的所述待处理图像的视觉特征。
所述浅层卷积神经网络为基于实施例1或2所介绍的神经网络训练方法训练得到的第一浅层卷积神经网络和第二浅层卷积神经网络中的其中一个。
步骤S32、将所述待处理图像输入到深层卷积神经网络，得到所述深层卷积神经网络获得的所述待处理图像的语义特征。
所述深层卷积神经网络为基于实施例1或2所介绍的神经网络训练方法训练得到的第一深层卷积神经网络和第二深层卷积神经网络中的其中一个。
步骤S33、对所述视觉特征和所述语义特征进行融合，得到融合特征。
步骤S34、基于所述融合特征及数据库中每张图像的融合特征，确定所述待处理图像与所述数据库中每张图像之间的相似度，并将所述数据库中所述相似度满足设定条件的图像确定为所述待处理图像的相似图像。
本实施例中，数据库中每张图像的融合特征可以预先生成，预先生成的过程可以包括：
S341、分别将数据库中每张图像输入到浅层卷积神经网络，得到所述浅层卷积神经网络获得的所述图像的视觉特征，所述浅层卷积神经网络为基于实施例1或2所介绍的神经网络训练方法训练得到的第一浅层卷积神经网络和第二浅层卷积神经网络中的其中一个；
S342、分别将数据库中每张图像输入到深层卷积神经网络，得到所述深层卷积神经网络获得的所述图像的语义特征，所述深层卷积神经网络为基于实施例1或2所介绍的神经网络训练方法训练得到的第一深层卷积神经网络和第二深层卷积神经网络中的其中一个；
S343、对数据库中每张所述图像的所述视觉特征和所述语义特征进行融合，得到融合特征，并构建每张所述图像的融合特征与所述图像的映射关系。
本实施例中，基于所述融合特征及数据库中每张图像的融合特征，确定所述待处理图像与所述数据库中每张图像之间的相似度
在接收到针对待处理图像的检索请求时，将所述待处理图像及数据库中的每张图像分别输入到深度哈希网络，得到所述深度哈希网络输出的特征值。
本实施例中，所述深度哈希网络为基于上述方法实施例1或2所介绍的哈希网络训练方法训练得到的。
本实施例中，基于所述融合特征及数据库中每张图像的融合特征，确定所述待处理图像与所述数据库中每张图像之间的相似度，可以包括但但不局限于：
基于所述待处理图像的所述目标特征及所述数据库中每张图像的目标特征，计算所述待处理图像与所述数据库中每张图像之间的汉明距离，并通过所述待处理图像与所述数据库中每张图像之间的汉明距离，确定所述待处理图像与所述数据库中每张图像之间的相似度。
本实施例中，使用浅层卷积神经网络和深层卷积神经网络提取待处理图像的不同类型的特征，并对特征进行融合，使融合后的特征能表征更加丰富的图像信息，使得利用融合后的特征检索图像，可以提高图像检索的精度。
作为本申请另一可选实施例，参照图5，为本申请实施例4提供的一种图像检索方法的流程示意图，本实施例主要是对上述实施例3描述的图像检索方法的扩展方案，如图5所示，该方法可以包括但并不局限于以下步骤：
步骤S41、在接收到针对待处理图像的检索请求的情况下，将所述待处理图像输入到浅层卷积神经网络，得到所述浅层卷积神经网络获得的所述待处理图像的视觉特征。
所述浅层卷积神经网络为基于实施例1或2所介绍的神经网络训练方法训练得到的第一浅层卷积神经网络和第二浅层卷积神经网络中的其中一个。
步骤S42、将所述待处理图像输入到深层卷积神经网络，得到所述深层卷积神经网络获得的所述待处理图像的语义特征。
所述深层卷积神经网络为基于实施例1或2所介绍的神经网络训练方法训练得到的第一深层卷积神经网络和第二深层卷积神经网络中的其中一个。
步骤S43、对所述视觉特征和所述语义特征进行融合，得到融合特征。
步骤S41-S43的详细过程可以参见实施例3中步骤S31-S33的相关介绍，在此不再赘述。
步骤S44、对所述融合特征进行降维及二值化处理，得到目标二进制码。
步骤S45、基于所述待处理图像的所述目标二进制码及所述数据库中每张图像的目标二进制码，计算所述待处理图像与所述数据库中每张图像之间的汉明距离，并通过所述待处理图像与所述数据库中每张图像之间的汉明距离，确定所述待处理图像与所述数据库中每张图像之间的相似度。
所述数据库中每张图像的目标二进制码为分别对所述数据库中每张图像的融合特征进行降维及二值化处理得到的
步骤S46、将所述数据库中所述相似度满足设定条件的图像确定为所述待处理图像的相似图像。
步骤S45-S46为实施例3中步骤S34的一种具体实施方式。
本实施例中，使用浅层卷积神经网络和深层卷积神经网络提取待处理图像的不同类型的特征，并对特征进行融合，对融合特征进行降维及二值化处理，可以目标二进制码能表征更加丰富的图像信息，且降低运算量，提高图像检索的精度及效率。
接下来对本申请提供的神经网络训练装置进行介绍，下文介绍的神经网络训练装置与上文介绍的神经网络训练方法可相互对应参照。
请参见图6，神经网络训练装置包括：第一确定模块100、第一特征提取模块200、第一融合模块300、第二特征提取模块400、第二融合模块500、第二确定模块600、判断模块700和更新模块800。
第一确定模块100，用于从数据源中选择两张图像，分别作为第一训练图像和第二训练图像；
第一特征提取模块200，用于分别将所述第一训练图像输入到第一浅层卷积神经网络和第一深层卷积神经网络，得到第一浅层卷积神经网络获得的所述第一训练图像的视觉特征和所述第一深层卷积神经网络获得的所述第一训练图像的语义特征；
第一融合模块300，用于对所述第一训练图像的视觉特征和语义特征进行融合，得到第一融合特征；
第二特征提取模块400，用于分别将所述第二训练图像输入到第二浅层卷积神经网络和第二深层卷积神经网络，得到第二浅层深度哈希网络获得的所述第二训练图像的视觉特征和所述第二深层卷积神经网络获得的所述第二训练图像的语义特征；
第二融合模块500，用于对所述第二训练图像的视觉特征和语义特征进行融合，得到第二融合特征；
第二确定模块600，用于将所述第一融合特征和所述第二融合特征输入到预先设定的损失函数中，得到损失函数值，所述损失函数值用于计算所述第一训练图像和所述第二训练图像在汉明空间中的相似性；
判断模块700，用于判断所述损失函数值是否收敛；
更新模块800，用于若所述损失函数值未收敛，则对所述第一浅层卷积神经网络、第一深层卷积神经网络、所述第二浅层卷积神经网络和所述第二深层卷积神经网络的参数进行更新，并返回执行所述从数据源中选择两张图像，分别作为第一训练图像和第二训练图像的步骤，直至所述损失函数值收敛。
本实施例中，上述神经网络训练装置还可以包括：
第一降维模块，用于对所述第一融合特征进行降维，得到第一目标特征，对所述第一目标特征进行二值化处理，得到第一目标二进制码；
第二降维模块，用于对所述第二融合特征进行降维，得到第二目标特征，对所述第二目标特征进行二值化处理，得到第二目标二进制码；
相应地，第二确定模块600，具体可以用于：
将所述第一目标二进制码和所述第二目标二进制码输入到预先设定的损失函数中，得到损失函数值。
本实施例中，所述第一浅层卷积神经网络中参数的初始权重与所述第二浅层卷积神经网络中参数的初始权重相互具有差异；
所述第一深层卷积神经网络中参数的初始权重与所述第二深层卷积神经网络中参数的初始权重相互具有差异。
本实施例中，所述预先设定的损失函数可以为：
Figure BDA0003418544970000181
其中，tanh()表示双曲正切函数；F表示第一融合特征；G表示第二融合特征；B1表示第一训练图像生成的二进制码；B2表示第二训练图像生成的二进制码；k表示生成二进制码的bit数；S表示第一训练图像和第二训练图像之间的相似矩阵；Si，j表示第一训练图像和第二训练图像之间的相似关系，若第一训练图像和第二训练图像包含相同标签，则第一训练图像和第二训练图像相似，Si，j＝1，否则Si，j＝0；θi，j表示B1和B2之间的內积；
Figure BDA0003418544970000182
表示矩阵中各项元素的绝对值平方的总和；τ,γ,β为非负参数；B1T表示B1的转置；B2T表示B2的转置，(F)T表示F的转置；(G)T表示G的转置。
接下来对本申请提供的图像检索装置进行介绍，下文介绍的图像检索装置与上文介绍的图像检索方法可相互对应参照。
请参见图7，图像检索装置包括：特征提取模块10、融合模块20和确定模块30。
特征提取模块10，用于：
在接收到针对待处理图像的检索请求的情况下，将所述待处理图像输入到浅层卷积神经网络，得到所述浅层卷积神经网络获得的所述待处理图像的视觉特征，所述浅层卷积神经网络为基于实施例1或2所介绍神经网络训练方法训练得到的；以及，
将所述待处理图像输入到深层卷积神经网络，得到所述深层卷积神经网络获得的所述待处理图像的语义特征，所述深层卷积神经网络为基于实施例1或2所介绍的神经网络训练方法训练得到的；
融合模块20，用于对所述视觉特征和所述语义特征进行融合，得到融合特征；
确定模块30，用于基于所述融合特征及数据库中每张图像的融合特征，确定所述待处理图像与所述数据库中每张图像之间的相似度，并将所述数据库中所述相似度满足设定条件的图像确定为所述待处理图像的相似图像。
上述图像检索装置还可以包括：降维模块，用于对所述融合特征进行降维及二值化处理，得到目标二进制码。
本实施例中，确定模块30，具体可以用于：
基于所述待处理图像的所述目标二进制码及所述数据库中每张图像的目标二进制码，计算所述待处理图像与所述数据库中每张图像之间的汉明距离，并通过所述待处理图像与所述数据库中每张图像之间的汉明距离，确定所述待处理图像与所述数据库中每张图像之间的相似度；
所述数据库中每张图像的目标二进制码为分别对所述数据库中每张图像的融合特征进行降维及二值化处理得到的。
在本申请的另一个实施例中，提供一种电子设备，包括：存储器，用于至少存储一组指令集；
处理器，用于调用并执行所述存储器中的所述指令集，通过执行所述指令集，执行如实施例3或4所介绍的图像检索方法。
在本申请的另一个实施例中，提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行，实现如实施例3或4所介绍的图像检索方法。
需要说明的是，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
以上对本申请所提供的一种神经网络训练方法、图像检索方法及装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种神经网络训练方法，其特征在于，包括：
从数据源中选择两张图像，分别作为第一训练图像和第二训练图像；
分别将所述第一训练图像输入到第一浅层卷积神经网络和第一深层卷积神经网络，得到第一浅层卷积神经网络获得的所述第一训练图像的视觉特征和所述第一深层卷积神经网络获得的所述第一训练图像的语义特征；
对所述第一训练图像的视觉特征和语义特征进行融合，得到第一融合特征；
分别将所述第二训练图像输入到第二浅层卷积神经网络和第二深层卷积神经网络，得到第二浅层深度哈希网络获得的所述第二训练图像的视觉特征和所述第二深层卷积神经网络获得的所述第二训练图像的语义特征；
对所述第二训练图像的视觉特征和语义特征进行融合，得到第二融合特征；
将所述第一融合特征和所述第二融合特征输入到预先设定的损失函数中，得到损失函数值，所述损失函数值用于计算所述第一训练图像和所述第二训练图像在汉明空间中的相似性；
判断所述损失函数值是否收敛；
若未收敛，则对所述第一浅层卷积神经网络、第一深层卷积神经网络、所述第二浅层卷积神经网络和所述第二深层卷积神经网络的参数进行更新，并返回执行所述从数据源中选择两张图像，分别作为第一训练图像和第二训练图像的步骤，直至所述损失函数值收敛。
2.根据权利要求1所述的方法，其特征在于，所述对所述第一训练图像的视觉特征和语义特征进行融合，得到第一融合特征之后，还包括：
对所述第一融合特征进行降维，得到第一目标特征，对所述第一目标特征进行二值化处理，得到第一目标二进制码；
对所述第二训练图像的视觉特征和语义特征进行融合，得到第二融合特征之后，还包括：
对所述第二融合特征进行降维，得到第二目标特征，对所述第二目标特征进行二值化处理，得到第二目标二进制码；
所述将所述第一融合特征和所述第二融合特征输入到预先设定的损失函数中，得到损失函数值，包括：
将所述第一目标二进制码和所述第二目标二进制码输入到预先设定的损失函数中，得到损失函数值。
3.根据权利要求1所述的方法，其特征在于，所述第一浅层卷积神经网络中参数的初始权重与所述第二浅层卷积神经网络中参数的初始权重相互具有差异；
所述第一深层卷积神经网络中参数的初始权重与所述第二深层卷积神经网络中参数的初始权重相互具有差异。
4.根据权利要求2或3所述的方法，其特征在于，所述预先设定的损失函数为：
Figure FDA0003418544960000021
s.t. bi∈{-1，+1}；
其中，tanh()表示双曲正切函数；F表示第一融合特征；G表示第二融合特征；B1表示第一训练图像生成的二进制码；B2表示第二训练图像生成的二进制码；k表示生成二进制码的bit数；S表示第一训练图像和第二训练图像之间的相似矩阵；Si，j表示第一训练图像和第二训练图像之间的相似关系，若第一训练图像和第二训练图像包含相同标签，则第一训练图像和第二训练图像相似，Si，j＝1，否则Si，j＝0；θi，j表示B1和B2之间的內积；
Figure FDA0003418544960000022
表示矩阵中各项元素的绝对值平方的总和；τ,γ,β为非负参数；B1T表示B1的转置；B2T表示B2的转置，(F)T表示F的转置；(G)T表示G的转置。
5.一种图像检索方法，其特征在于，包括：
在接收到针对待处理图像的检索请求的情况下，将所述待处理图像输入到浅层卷积神经网络，得到所述浅层卷积神经网络获得的所述待处理图像的视觉特征，所述浅层卷积神经网络为基于权利要求1-4任意一项所述的神经网络训练方法训练得到的；
将所述待处理图像输入到深层卷积神经网络，得到所述深层卷积神经网络获得的所述待处理图像的语义特征，所述深层卷积神经网络为基于权利要求1-4任意一项所述的神经网络训练方法训练得到的；
对所述视觉特征和所述语义特征进行融合，得到融合特征；
基于所述融合特征及数据库中每张图像的融合特征，确定所述待处理图像与所述数据库中每张图像之间的相似度，并将所述数据库中所述相似度满足设定条件的图像确定为所述待处理图像的相似图像。
6.根据权利要求5所述的方法，其特征在于，所述对所述视觉特征和所述语义特征进行融合，得到融合特征之后，还包括：
对所述融合特征进行降维及二值化处理，得到目标二进制码；
所述基于所述融合特征及数据库中每张图像的融合特征，确定所述待处理图像与所述数据库中每张图像之间的相似度，包括：
基于所述待处理图像的所述目标二进制码及所述数据库中每张图像的目标二进制码，计算所述待处理图像与所述数据库中每张图像之间的汉明距离，并通过所述待处理图像与所述数据库中每张图像之间的汉明距离，确定所述待处理图像与所述数据库中每张图像之间的相似度；
所述数据库中每张图像的目标二进制码为分别对所述数据库中每张图像的融合特征进行降维及二值化处理得到的。
7.一种神经网络训练装置，其特征在于，包括：
第一确定模块，用于从数据源中选择两张图像，分别作为第一训练图像和第二训练图像；
第一特征提取模块，用于分别将所述第一训练图像输入到第一浅层卷积神经网络和第一深层卷积神经网络，得到第一浅层卷积神经网络获得的所述第一训练图像的视觉特征和所述第一深层卷积神经网络获得的所述第一训练图像的语义特征；
第一融合模块，用于对所述第一训练图像的视觉特征和语义特征进行融合，得到第一融合特征；
第二特征提取模块，用于分别将所述第二训练图像输入到第二浅层卷积神经网络和第二深层卷积神经网络，得到第二浅层深度哈希网络获得的所述第二训练图像的视觉特征和所述第二深层卷积神经网络获得的所述第二训练图像的语义特征；
第二融合模块，用于对所述第二训练图像的视觉特征和语义特征进行融合，得到第二融合特征；
第二确定模块，用于将所述第一融合特征和所述第二融合特征输入到预先设定的损失函数中，得到损失函数值，所述损失函数值用于计算所述第一训练图像和所述第二训练图像在汉明空间中的相似性；
判断模块，用于判断所述损失函数值是否收敛；
更新模块，用于若所述损失函数值未收敛，则对所述第一浅层卷积神经网络、第一深层卷积神经网络、所述第二浅层卷积神经网络和所述第二深层卷积神经网络的参数进行更新，并返回执行所述从数据源中选择两张图像，分别作为第一训练图像和第二训练图像的步骤，直至所述损失函数值收敛。
8.一种图像检索装置，其特征在于，包括：
特征提取模块，用于：
在接收到针对待处理图像的检索请求的情况下，将所述待处理图像输入到浅层卷积神经网络，得到所述浅层卷积神经网络获得的所述待处理图像的视觉特征，所述浅层卷积神经网络为基于权利要求1-4任意一项所述的神经网络训练方法训练得到的；以及，
将所述待处理图像输入到深层卷积神经网络，得到所述深层卷积神经网络获得的所述待处理图像的语义特征，所述深层卷积神经网络为基于权利要求1-4任意一项所述的神经网络训练方法训练得到的；
融合模块，用于对所述视觉特征和所述语义特征进行融合，得到融合特征；
确定模块，用于基于所述融合特征及数据库中每张图像的融合特征，确定所述待处理图像与所述数据库中每张图像之间的相似度，并将所述数据库中所述相似度满足设定条件的图像确定为所述待处理图像的相似图像。
9.一种电子设备，其特征在于，包括：存储器，用于至少存储一组指令集；
处理器，用于调用并执行所述存储器中的所述指令集，通过执行所述指令集，执行如权利要求5或6所述的图像检索方法。
10.一种计算机存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行，实现如权利要求5或6所述的图像检索方法。
CN202111555642.4A 2021-12-17 2021-12-17 神经网络训练方法、图像检索方法及装置 Pending CN114219983A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111555642.4A CN114219983A (zh) 2021-12-17 2021-12-17 神经网络训练方法、图像检索方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111555642.4A CN114219983A (zh) 2021-12-17 2021-12-17 神经网络训练方法、图像检索方法及装置

Publications (1)

Publication Number Publication Date
CN114219983A true CN114219983A (zh) 2022-03-22

Family

ID=80703930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111555642.4A Pending CN114219983A (zh) 2021-12-17 2021-12-17 神经网络训练方法、图像检索方法及装置

Country Status (1)

Country Link
CN (1) CN114219983A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115631370A (zh) * 2022-10-09 2023-01-20 北京医准智能科技有限公司 一种基于卷积神经网络的mri序列类别的识别方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017092183A1 (zh) * 2015-12-03 2017-06-08 中山大学 一种基于可变长深度哈希学习的图像检索方法
CN109947963A (zh) * 2019-03-27 2019-06-28 山东大学 一种基于深度学习的多尺度哈希检索方法
CN109977250A (zh) * 2019-03-20 2019-07-05 重庆大学 融合语义信息和多级相似性的深度哈希图像检索方法
CN112507159A (zh) * 2020-11-20 2021-03-16 有米科技股份有限公司 哈希网络训练方法、广告图像素材检索方法及相关装置
CN112561846A (zh) * 2020-12-23 2021-03-26 维沃移动通信有限公司 训练图像融合模型的方法、装置和电子设备
CN113343019A (zh) * 2021-06-29 2021-09-03 华南理工大学 一种结合浅层与深层特征的小样本丝织品图像检索方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017092183A1 (zh) * 2015-12-03 2017-06-08 中山大学 一种基于可变长深度哈希学习的图像检索方法
CN109977250A (zh) * 2019-03-20 2019-07-05 重庆大学 融合语义信息和多级相似性的深度哈希图像检索方法
CN109947963A (zh) * 2019-03-27 2019-06-28 山东大学 一种基于深度学习的多尺度哈希检索方法
CN112507159A (zh) * 2020-11-20 2021-03-16 有米科技股份有限公司 哈希网络训练方法、广告图像素材检索方法及相关装置
CN112561846A (zh) * 2020-12-23 2021-03-26 维沃移动通信有限公司 训练图像融合模型的方法、装置和电子设备
CN113343019A (zh) * 2021-06-29 2021-09-03 华南理工大学 一种结合浅层与深层特征的小样本丝织品图像检索方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115631370A (zh) * 2022-10-09 2023-01-20 北京医准智能科技有限公司 一种基于卷积神经网络的mri序列类别的识别方法及装置

Similar Documents

Publication Publication Date Title
CN108959396B (zh) 机器阅读模型训练方法及装置、问答方法及装置
CN109376222B (zh) 问答匹配度计算方法、问答自动匹配方法及装置
CN110750965B (zh) 英文文本序列标注方法、系统及计算机设备
CN110321537B (zh) 一种文案生成方法和装置
US10217224B2 (en) Method and system for sharing-oriented personalized route planning via a customizable multimedia approach
CN111104941B (zh) 图像方向纠正方法、装置及电子设备
CN112418195A (zh) 一种人脸关键点检测方法、装置、电子设备及存储介质
CN114694185A (zh) 一种跨模态目标重识别方法、装置、设备及介质
CN113344016A (zh) 深度迁移学习方法、装置、电子设备及存储介质
CN112084301A (zh) 文本修正模型的训练方法及装置、文本修正方法及装置
CN110309281A (zh) 基于知识图谱的问答方法、装置、计算机设备及存储介质
CN114780768A (zh) 一种视觉问答任务处理方法、系统、电子设备及存储介质
CN114387656B (zh) 基于人工智能的换脸方法、装置、设备及存储介质
CN112836502A (zh) 一种金融领域事件隐式因果关系抽取方法
CN114972947A (zh) 一种基于模糊语义建模的深度场景文本检测方法和装置
CN114219983A (zh) 神经网络训练方法、图像检索方法及装置
CN113744280B (zh) 图像处理方法、装置、设备及介质
CN111985616B (zh) 一种图像特征提取方法、图像检索方法、装置及设备
CN112132269A (zh) 模型处理方法、装置、设备及存储介质
CN112232360A (zh) 图像检索模型优化方法、图像检索方法、装置及存储介质
CN116091784A (zh) 一种目标跟踪方法、设备及存储介质
CN114266901A (zh) 文档轮廓提取模型构建方法、装置、设备及可读存储介质
CN111091198A (zh) 一种数据处理方法及装置
CN114677444B (zh) 一种优化的视觉slam方法
CN111476037B (zh) 文本处理方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination