CN112308102B - 图像相似度计算方法、计算装置及存储介质 - Google Patents

图像相似度计算方法、计算装置及存储介质 Download PDF

Info

Publication number
CN112308102B
CN112308102B CN201910706688.8A CN201910706688A CN112308102B CN 112308102 B CN112308102 B CN 112308102B CN 201910706688 A CN201910706688 A CN 201910706688A CN 112308102 B CN112308102 B CN 112308102B
Authority
CN
China
Prior art keywords
matrix
image
feature
fusion
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910706688.8A
Other languages
English (en)
Other versions
CN112308102A (zh
Inventor
向宇
陈柯锦
彭守业
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yizhen Xuesi Education Technology Co Ltd
Original Assignee
Beijing Yizhen Xuesi Education Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yizhen Xuesi Education Technology Co Ltd filed Critical Beijing Yizhen Xuesi Education Technology Co Ltd
Priority to CN201910706688.8A priority Critical patent/CN112308102B/zh
Publication of CN112308102A publication Critical patent/CN112308102A/zh
Application granted granted Critical
Publication of CN112308102B publication Critical patent/CN112308102B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种图像相似度计算方法、计算装置及存储介质，图像相似度计算方法包括：将第一图像和第二图像分别输入到特征提取网络，特征提取网络的每一层输出对应于第一图像的第一特征矩阵和对应于第二图像的第二特征矩阵；将第一特征矩阵和第二特征矩阵进行差分，得到至少一个特征差分矩阵；将至少一个特征差分矩阵进行融合得到融合矩阵；根据融合矩阵计算第一图像与第二图像之间的相似度。通过将多层神经网络和单层神经网络进行结合并且利用图像之间的差异信息，能够使得图像相似度的计算更加准确。

Description

图像相似度计算方法、计算装置及存储介质
技术领域
本申请实施例涉及人工智能技术领域，尤其涉及一种图像相似度计算方法、计算装置及存储介质。
背景技术
随着人工智能技术的发展，基于神经网络的图像检索技术应用越来越广泛。图像可以包含矢量图形、视频的图像帧、图片等。例如，在教学过程中，学生可以利用图像检索查找试题进行相关题目训练，也可以学习其他解答方法；老师可以利用图像检索查找同一类型题目进行专题讲解。但是，在实际应用过程中，尤其地，针对数学题目中的图形，当学生或老师对数学题目进行检索时，往往由于题目题干文字给出的关键信息太少而必须结合数学题目的图形进行检索，但是因为数学题目的图形所包含的特征信息少，会导致相似度计算不准确而无法准确地进行检索。
发明内容
有鉴于此，本发明实施例所解决的技术问题之一在于提供一种图像相似度计算方法、计算装置及存储介质，用以克服现有技术中图像相似度计算不够准确的缺陷。
第一方面，本申请实施例提供了一种图像相似度计算方法，包括：
将第一图像和第二图像分别输入到特征提取网络，特征提取网络的每一层输出对应于第一图像的第一特征矩阵和对应于第二图像的第二特征矩阵；将每一层输出对应的第一特征矩阵和第二特征矩阵进行差分，得到多个特征差分矩阵；将多个特征差分矩阵进行融合得到融合矩阵；根据融合矩阵计算第一图像与第二图像之间的相似度。
可选地，在本申请的一个实施例中，将多个特征差分矩阵进行融合得到融合矩阵，包括：将多个特征差分矩阵进行加权求和，得到融合矩阵。
可选地，在本申请的一个实施例中，多个特征差分矩阵的权值之和为1，其中，权值通过指数形式来表示。
可选地，在本申请的一个实施例中，多个特征差分矩阵的权值的形式通过具有以下性质的函数来定义：首先在第一取值范围为多个特征差分矩阵定义初始权值，然后通过一个函数将初始权值映射到(a,b)，同时保证所述一个函数在第一取值范围单调递增，其中，(a,b)可作为多个特征差分矩阵的权值范围，并且0＜a＜b。
可选地，在本申请的一个实施例中，将多个特征差分矩阵进行融合得到融合矩阵，包括：对多个特征差分矩阵进行池化得到至少一个池化后的特征差分矩阵；将至少一个池化后的特征差分矩阵进行融合得到融合矩阵。
可选地，在本申请的一个实施例中，根据融合矩阵计算第一图像与第二图像之间的相似度，包括：将融合矩阵输入到单层线性神经网络或多层神经网络，计算得到第一图像与第二图像之间的相似度。
可选地，在本申请的一个实施例中，根据融合矩阵计算第一图像与第二图像之间的相似度，包括：将融合矩阵输入到激活函数计算得到输出矩阵；根据输出矩阵计算第一图像与第二图像之间的相似度。
第二方面，本申请实施例提供了一种图像相似度计算装置，包括：特征提取模块、差分计算模块、融合模块以及相似度模块；其中，特征提取模块包括特征提取网络，特征提取网络分别接收第一图像和第二图像，并且特征提取网络的每一层输出对应于第一图像的第一特征矩阵和对应于第二图像的第二特征矩阵；差分计算模块，用于将每一层输出对应的第一特征矩阵和第二特征矩阵进行差分，得到多个特征差分矩阵；融合模块，用于将多个特征差分矩阵进行融合得到融合矩阵；相似度模块，用于根据融合矩阵计算第一图像与第二图像之间的相似度。
可选地，在本申请的一个实施例中，融合模块，具体用于将多个特征差分矩阵进行加权求和，得到融合矩阵。
可选地，在本申请的一个实施例中，多个特征差分矩阵的权值之和为1，其中，权值通过指数形式来表示。
可选地，在本申请的一个实施例中，多个特征差分矩阵的权值的形式通过具有以下性质的函数来定义：首先在第一取值范围为多个特征差分矩阵定义初始权值，然后通过一个函数将初始权值映射到(a,b)，同时保证所述一个函数在第一取值范围单调递增，其中，(a,b)可作为多个特征差分矩阵的权值范围，并且0＜a＜b。
可选地，在本申请的一个实施例中，融合模块包括池化单元和融合单元；池化单元，用于对多个特征差分矩阵进行池化得到至少一个池化后的特征差分矩阵；融合单元，用于将至少一个池化后的特征差分矩阵进行融合得到融合矩阵。
可选地，在本申请的一个实施例中，相似度模块，具体用于将融合矩阵输入到单层线性神经网络或多层神经网络，计算得到第一图像与第二图像之间的相似度。
可选地，在本申请的一个实施例中，相似度模块包括：激活单元和计算单元；激活单元，用于将融合矩阵输入到激活函数计算得到输出矩阵；计算单元，用于根据输出矩阵计算第一图像与第二图像之间的相似度。
第三方面，本申请实施例提供了一种图像相似度计算装置，其特征在于，包括：至少一个处理器；存储装置，用于存储至少一个程序；当至少一个程序被至少一个处理器执行时，使得至少一个处理器实现如第一方面或第一方面的任意一个实施例中所描述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如第一方面或第一方面的任意一个实施例中所描述的方法。
本申请实施例中，在特征提取网络的每一层提取到两个图像的特征矩阵时，计算两个图像的特征差分矩阵使得特征差分矩阵包含图像之间的差异信息，再将包含图像之间的差异信息的特征差分矩阵进行融合后输入到单层线性网络或多层神经网络计算相似度，通过将两种网络进行结合并且利用图像之间的差异信息，能够使得图像相似度的计算更加准确。
附图说明
下文将参照附图以示例性而非限制性的方式详细描述本申请实施例的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比值绘制的。附图中：
图1为本申请实施例一提供的一种图像相似度计算方法的流程图；
图2为本申请实施例二提供的一种图像相似度计算方法的流程图；
图3为本申请实施例二提供的一种残差网络结构示意图；
图4为本申请实施例二提供的一种特征差分矩阵计算过程示意图；
图5a为本申请实施例二提供的一种池化效果示意图；
图5b为本申请实施例二提供的另一种池化效果示意图；
图6为本申请实施例三提供的一种图像相似度计算装置的结构示意图；
图7为本申请实施例三提供的一种图像相似度计算装置的结构示意图；
图8为本申请实施例三提供的一种图像相似度计算装置的结构示意图。
具体实施方式
下面结合本发明实施例附图进一步说明本发明实施例具体实现。
实施例一
本申请实施例一提供一种图像相似度计算方法，如图1所示，图1为本申请实施例一提供的一种图像相似度计算方法的流程图。该图像相似度计算方法包括以下步骤：
步骤101、将第一图像和第二图像分别输入到特征提取网络，特征提取网络的每一层输出对应于第一图像的第一特征矩阵和对应于第二图像的第二特征矩阵。
在一个可选地实施例中，可通过对第一图像和第二图像进行预处理后输入到特征提取网络。例如，在本申请的一个实施例中，在步骤101之前，该方法还包括：根据第一图像获取第一图像的RGB三通道矩阵作为第一图像的数据矩阵，根据第二图像获取第二图像的RGB三通道矩阵作为第二图像的数据矩阵；然后，在步骤101中，将第一图像的数据矩阵和第二图像的数据矩阵输入到特征提取网络。
在本申请的另一个实施例中，第一图像的数据矩阵还可以包括第一图像中每个像素点的像素值，第二图像的数据矩阵还可以包括第二图像中每个像素点的像素值。例如，第一图像的数据矩阵可以包括第一图像的RGB三通道矩阵和第一图像的YCbCr三通道矩阵中的至少一项；第二图像的数据矩阵也可以包括第二图像的RGB三通道矩阵和第二图像的YCbCr三通道矩阵中的至少一项。以第一图像的数据矩阵为例，第一图像的数据矩阵可以是第一图像的RGB三通道矩阵，也可以是第一图像的R通道矩阵，也可以是第一图像的灰度值矩阵。当然，此处只是示例性说明，并不代表本申请局限于此。
特征提取网络可以包括多层网络结构，并且可以是，例如，AlexNet(Alex网络)、GoogleNet(谷歌网络)、VGGNet(英文：Visual Geometry Group Network，视觉几何组网络)、ResNet(英文：Residual Networks，残差网络)等，本申请对此不作限制，能够实现图像特征提取功能的神经网络都是可行的。
根据实施例，特征提取网络分别对第一图像和第二图像独立地进行处理，对第一图像和第二图像的处理过程可以并行或串行地进行。以ResNet为例，ResNet可以有n层，n为大于1的整数，通常ResNet有50层的网络、100层的网络等，即n可以等于50或100，或者其他数值，每一层网络都是由一个卷积层构成，一个卷积层由至少一个卷积单元构成。以50层ResNet为例，当将第一图像和第二图像分别输入到ResNet时，ResNet的每一卷积层均输出第一图像的特征矩阵(下文称为第一特征矩阵)和第二图像的特征矩阵(下文称为第二特征矩阵)，这样，经过50层的ResNet处理，可以分别得到50个第一特征矩阵和50个第二特征矩阵。
步骤102、将每一层输出对应的第一特征矩阵和第二特征矩阵进行差分，得到多个特征差分矩阵。
以50层ResNet为例，将ResNet的每一卷积层输出的特征矩阵进行差分运算，即，第一层输出的第一特征矩阵和第二特征矩阵进行差分，第二次输出端的第一特征矩阵和第二特征矩阵进行差分，以此类推，可以得到50个特征差分矩阵，即，所得到的特征差分矩阵包含图像之间的差异信息。
步骤103、将多个特征差分矩阵进行融合得到融合矩阵。
对多个特征差分矩阵进行融合可以包括：对多个特征差分矩阵进行求和运算得到融合矩阵。
进一步地，在本申请的一个实施例中，将多个特征差分矩阵进行融合得到融合矩阵包括：将多个特征差分矩阵进行加权求和运算得到融合矩阵。然而，这仅是示例性的，将多个特征差分矩阵进行融合的方法不限于此，其他特征融合的方法也是可行的。
进一步可选地，在本申请的一个实施例中，多个特征差分矩阵的权值之和为1，其中，权值通过指数形式来表示。此外，还可以通过其他方式来定义权值，例如，多个特征差分矩阵的权值的形式通过具有以下性质的函数来定义：首先在第一取值范围为多个特征差分矩阵定义初始权值，然后通过一个函数将初始权值映射到(a,b)，同时保证所述一个函数在第一取值范围单调递增，其中，(a,b)可作为多个特征差分矩阵的权值范围，并且0＜a＜b。根据实施例，可采用各种方法来实现所述一个函数，对此本发明不做具体限定。
另外，可选地，在本申请的一个实施例中，将多个特征差分矩阵进行融合得到融合矩阵，包括：对多个特征差分矩阵进行池化得到至少一个池化后的特征差分矩阵；将至少一个池化后的特征差分矩阵进行融合得到融合矩阵。先对特征差分矩阵池化，在保证特征差分矩阵数据特点不丢失的情况下，可以减小矩阵的大小，减少运算量，提高相似度对比过程中的运算速度。
步骤104、根据融合矩阵计算第一图像与第二图像之间的相似度。
可选地，在本申请的一个实施例中，根据融合矩阵计算第一图像与第二图像之间的相似度包括：将所述融合矩阵输入到单层线性神经网络或多层神经网络，计算得到所述第一图像与所述第二图像之间的相似度。
可选地，单层线性神经网络或多层神经网络可以通过激活函数的形式来表示，从而在本申请的另一个实施例中，根据融合矩阵计算第一图像与第二图像之间的相似度包括：将融合矩阵输入到激活函数计算得到输出矩阵；根据输出矩阵计算第一图像与第二图像之间的相似度。
在一种实现方式中，相似度是[0,1]区间内的数值，1代表两个图像相同，0代表两个图像不同，相似度数值越大，代表两个图像越相似；或者，1代表两个图像不同，0代表两个图像相同，相似度数值越小，代表两个图像越相似。当然，相似度的取值也可以是其他数值区间，例如[0,2]，[0,10]等，本申请对此不作限制。
本申请实施例所提供的图像相似度计算方法，在特征提取网络的每一层提取到两个图像的特征矩阵时，计算两个图像的特征差分矩阵使得特征差分矩阵包含图像之间的差异信息，再将包含图像之间的差异信息的特征差分矩阵进行融合后输入到单层线性网络或多层神经网络计算相似度，通过将两种网络(尤其地，多层神经网络和单层神经网络)进行结合并且利用图像之间的差异信息，能够使得图像相似度的计算更加准确。
实施例二、
基于上述实施例一描述的图像相似度计算方法，本申请实施例二提供一种图像相似度计算方法，参照图2所示，图2为本申请实施例二提供的一种图像相似度计算方法的流程图，本申请实施例二提供的图像相似度计算方法包括以下步骤：
步骤201、根据第一图像获取第一图像的RGB三通道矩阵作为第一图像的数据矩阵。
步骤202、根据第二图像获取第二图像的RGB三通道矩阵作为第二图像的数据矩阵。
需要说明的是，步骤201和步骤202执行顺序不分先后，可以串行或并行地执行，获取第一图像的RGB三通道矩阵的方法可以和第二图像相同，也可以不同，通常RGB三通道矩阵是三个128x128的矩阵。
步骤203、将第一图像的数据矩阵和第二图像的数据矩阵分别输入到残差网络，在残差网络的每一层得到对应于第一图像的第一特征矩阵和对应于第二图像的第二特征矩阵。
本实施例中以特征提取网络是残差网络为例进行说明，并不代表本申请局限于此。如图3所示，图3为本申请实施例二提供的一种残差网络结构示意图。残差网络可以有n层，n为大于1的整数，图3中以残差网络有50个卷积层为例，即n＝50，每一个卷积层计算得到一个特征矩阵，第一图像经过残差网络进行特征提取可以得到50个特征矩阵，分别与每个卷积层对应，第二图像经过残差网络进行特征提取可以得到50个特征矩阵，分别与每个卷积层对应。图3中，image表示输入的图像(例如，第一图像或第二图像)；conv表示卷积运算，pool表示池化运算。第一层网络可以包括“7×7conv,64,/2”和“pool,/2”，其中，“7×7conv,64,/2”表示利用64个卷积核进行卷积运算，卷积核大小为7×7，且滑动步长为2；“pool,/2”表示池化运算中滑动步长为2。第二层网络可以包括“3×3conv,64”，其表示利用64个3×3大小的卷积核进行卷积运算，以此类推。然而，图3中只是一种示例性说明，用于说明残差网络的结构，例如，第一层的池化运算并不是必须的，如果数据量不大的时候可以省略掉，或者其他网络层也可以包括池化运算，对此本发明构思不做具体限定。
步骤204、将每一层输出对应的第一特征矩阵和第二特征矩阵进行差分运算得到多个特征差分矩阵。如上所述，残差网络对第一图像和第二图像的处理可以以串行或并行的方式进行处理。
如图4所示，图4为本申请实施例二提供的一种特征差分矩阵计算过程示意图。图4以残差网络有50个卷积层为例，在每一个卷积层得到对应于第一图像的第一特征矩阵和对应于第二图像的第二特征矩阵之后，将两个图像的对应特征矩阵进行差分运算。
第一图像A的第1层特征矩阵为RA1(即，第1层输出的第一特征矩阵RA1)，第二图像B第1层输出特征矩阵为RB1(即，第1层输出的第二特征矩阵RB1)，得到第1层特征差分矩阵P1＝RA1-RB1；
第一图像A的第2层特征矩阵为RA2(即，第2层输出的第一特征矩阵RA2)，第二图像B第2层输出特征矩阵为RB2(即，第2层输出的第二特征矩阵RB2)，得到第2层特征差分矩阵P2＝RA2-RB2；
第一图像A的第i层特征矩阵为RAi(即，第i层输出的第一特征矩阵RAi)，第二图像B第i层输出特征矩阵为RBi(即，第i层输出的第二特征矩阵RBi)，得到第i层特征差分矩阵Pi＝RAi-RBi；
第一图像A的第50层特征矩阵为RA50，第二图像B第50层输出特征矩阵为RB50，得到第50层特征差分矩阵P50＝RA50-RB50。
在图4的附图中，残差网络的每一层可包括计算特征差分矩阵的步骤，然而，如实施例一所描述的，在残差网络的每一层之外计算特征差分矩阵的步骤也是可行的。
步骤205、对多个特征差分矩阵进行池化得到至少一个池化后的特征差分矩阵。
可选地，在本申请的一个实施例中，对多个特征差分矩阵进行池化得到至少一个池化后的特征差分矩阵，包括：针对每个特征差分矩阵，将特征差分矩阵划分为相同大小的至少一个数据区域，按照预设规则将每个数据区域中的数据只保留一个数据，其余的删除，形成池化后的特征差分矩阵。
具体的，此处列举两个应用场景对池化过程进行说明：
在第一个应用场景中，将特征差分矩阵划分为相同大小的至少一个数据区域，将每个数据区域中的数据只保留最大的数据，其余的删除，形成池化后的特征差分矩阵。
例如，以特征差分矩阵是8×8的矩阵为例，利用2×2大小的窗口进行池化，滑动步长为2，当然，此处只是示例性说明，通常因为RGB三通道矩阵是128×128的矩阵，所以特征差分矩阵也是128×128的矩阵。如图5a所示，图5a为本申请实施例二提供的一种池化效果示意图，对8×8的特征差分矩阵按照2×2的大小将其分割为16个2×2的数据区域，将每个2×2的数据区域中都只保留最大的数据，其余的删除，则8×8的特征差分矩阵在经过池化后，就可以变成4×4的池化后的特征差分矩阵。
在第二个应用场景中，将特征差分矩阵划分为相同大小的至少一个数据区域，将每个数据区域中的数据计算平均值，形成池化后的特征差分矩阵，特征差分矩阵属于多个特征差分矩阵。
例如，以特征差分矩阵是8×8的矩阵为例，利用2×2大小的窗口进行池化，滑动步长为2，当然，此处只是示例性说明，通常因为RGB三通道矩阵是128×128的矩阵，所以特征差分矩阵也是128×128的矩阵。如图5b所示，图5b为本申请实施例二提供的另一种池化效果示意图，对8×8的特征差分矩阵按照2×2的大小将其分割为16个2×2的数据区域，将每个2×2的数据区域计算平均值，则8×8的特征差分矩阵在经过池化后，就可以变成4×4的池化后的特征差分矩阵。
步骤206、将多个特征差分矩阵进行加权求和运算得到融合矩阵。
此处，列举两个具体实例说明如何进行加权求和，当然，此处只是示例性说明，并不代表本申请局限于此。
在第一个示例中，将多个特征差分矩阵输入到第一公式进行加权求和运算得到融合矩阵，第一公式如下：
Figure GDA0003537949070000091
其中，X表示融合矩阵，n表示特征提取网络的层数，n为大于1的整数，在本实施例中特征提取网络为50层的残差网络，n为残差网络的层数50，当然，此处只是示例性说明，Pi表示第i层的特征差分矩阵，i为区间[1,n]内的整数，Down(Pi)表示池化后的第i层的特征差分矩阵，
Figure GDA0003537949070000092
表示第i层的特征差分矩阵的权值，
Figure GDA0003537949070000093
在第二个示例中，将多个特征差分矩阵输入到第一公式进行加权求和运算得到融合矩阵，第二公式如下：
Figure GDA0003537949070000094
其中，X表示融合矩阵，n表示特征提取网络的层数，n为大于1的整数，i为区间[1,n]内的整数，Pi表示第i层的特征差分矩阵，Down(Pi)表示池化后的第i层的特征差分矩阵，
Figure GDA0003537949070000095
表示第i层的特征差分矩阵的权值。其中，ki的含义是特征提取网络中的第i层网络的重要程度，其值可以预先设定，或者在训练特征提取网络时不断的调整。ki的取值可以为正值或者负值，经过指数变换后，权重值为正值，这样可以更方便地保证权重之和为1。
结合步骤206的第一个示例和第二个示例，在一个具体的应用场景中，每一层特征差分矩阵的权值可以相同，例如，令k1＝k2＝...＝kn＝1，则使得每一层特征差分矩阵的权值是相同的。
此外，根据示例实施例，特征差分矩阵的权值也可以采用其他形式来表示。例如，某个特征差分矩阵的权值的形式可以通过具有以下性质的函数来定义：首先在第一取值范围(例如，(-无穷大，+无穷大))为该特征差分矩阵定义一初始权值，然后通过一个函数(该函数在第一取值范围(例如，(-无穷大，+无穷大))单调递增)将该初始权值映射到(a,b)中的一个值，其中，该初始权值映射在(a,b)中的值可作为该特征差分矩阵的权值。在一个实施例中，在第一取值范围(例如，(-无穷大，+无穷大))为特征差分矩阵定义的初始权值可以根据特征提取网络的每一层的重要程度来定义，也可以在随着特征提取网络的训练不断调整，本发明不做具体限定。这样定义的权重能够体现特征提取网络层与层之间的差异，更方便地设计和研究特征提取网络，从而保证相似度计算的准确性。
步骤207、根据融合矩阵计算第一图像与第二图像之间的相似度。
可选地，在本申请的一个实施例中，根据融合矩阵计算第一图像与第二图像之间的相似度包括：将融合矩阵输入到单层线性网络计算第一图像与第二图像之间的相似度。
例如，根据单层线性网络可通过激活函数(利如，第三公式中的线性整流函数relu)来表示，则可通过第三公式来计算相似度的值，第三公式如下：
sim＝mean(relu(XW))；
其中sim表示相似度值，relu()表示线性整流函数作为激活函数，X表示融合矩阵，W表示单层线性网络中每个节点的权重，relu(XW)表示输出矩阵，mean表示对输出矩阵中的所有元素进行均值运算。应理解，虽然此处以relu()为例来表示激活函数并且以均值的方式根据输出矩阵来计算相似度，但并不代表本申请局限于此，其他实施方式也是可行的。
根据示例实施例，还可以将融合矩阵输入到多层神经网络计算得到输出矩阵，然后对输出矩阵中的所有元素进行均值或加权均值运算，得到相似度的值。根据示例实施例，多层神经网络可以采用各种方法来实现，本发明不做具体限制。例如，假设多层神经网络的每一层的激活函数为线性整流函数，那么可以将融合矩阵X输入到多层神经网络的第一层得到矩阵M1＝relu(XW1)，然后将矩阵M1输入到多层神经网络的第二层得到矩阵M2＝relu(M1W2)，之后将矩阵M2输入到多层神经网络的第三层得到矩阵M3＝relu(M2W3)，以此类推，最终得到输出矩阵Mout＝relu(Mn-1Wn)(其中，W1、W2、W3...Wn为每层神经网络的节点的权重矩阵，n表示多层神经网络的层数)，然后将输出矩阵Mout中的所有元素进行均值或加权均值运算，得到相似度的值。
本申请结合深度神经网络和单层线性网络计算相似度，对图像的相似度计算更加精准。尤其是在一些特征差异较小的图像相似判别过程中，例如，在搜索数学几何题目时，与包含有丰富的色彩、轮廓和纹理的图像(例如，如动物图、风景图等彩色图像)相比，数学几何题目中的图形往往特征比较少(例如，仅包含黑白两种颜色或几条直线或曲线、轮廓特征少、并且在纹理上图形内部不包含与动物图、风景图相比的丰富特征)，因此很难对比找到相同的题目或相似的题目，利用本申请实施例提供的图像相似度计算方法，能够更精准地进行相似度计算和图像对比，从而更准确地进行题目搜索。
实施例三、
基于上述实施例一和实施例二描述的图像相似度计算方法，本申请实施例三提供了一种图像相似度计算装置，用于执行上述实施例一和实施例二描述的图像相似度计算方法，如图6所示，图6为本申请实施例三提供的一种图像相似度计算装置的结构示意图，该图像相似度计算装置60包括：特征提取模块601、差分计算模块602、融合模块603以及相似度模块604；
其中，特征提取模块601可包括特征提取网络，特征提取网络的示例可如上所述，为了简明在此省略重复的描述。所述特征提取网络分别接收第一图像和第二图像，并且特征提取网络的每一层输出对应于第一图像的第一特征矩阵和对应于第二图像的第二特征矩阵；差分计算模块602，用于将每一层输出对应的第一特征矩阵和第二特征矩阵进行差分，得到多个特征差分矩阵；融合模块603，用于将多个特征差分矩阵进行融合得到融合矩阵；相似度模块604，用于根据融合矩阵计算第一图像与第二图像之间的相似度。
可选地，在本申请的一个实施例中，融合模块603，具体用于将多个特征差分矩阵进行加权求和运算得到融合矩阵。
可选地，在本申请的一个实施例中，多个特征差分矩阵的权值之和为1，其中，如第一公式和第二公式所述，权值可通过指数形式来表示。
此外，多个特征差分矩阵的权值的形式还可以通过具有以下性质的函数来定义：首先在第一取值范围为多个特征差分矩阵定义初始权值，然后通过一个函数将初始权值映射到(a,b)，同时保证所述一个函数在第一取值范围单调递增，其中，(a,b)可作为多个特征差分矩阵的权值范围，并且0＜a＜b。
可选地，在本申请的一个实施例中，如图7所示，融合模块603包括池化单元613和融合单元623；池化单元613，用于对多个特征差分矩阵进行池化得到至少一个池化后的特征差分矩阵；融合单元623，用于将至少一个池化后的特征差分矩阵进行融合得到融合矩阵。
可选地，在本申请的一个实施例中，相似度模块604，具体用于将融合矩阵输入到单层线性网络或多层神经网络，计算得到第一图像与第二图像之间的相似度。
可选地，在本申请的一个实施例中，如图8所示，相似度模块604包括：激活单元614和计算单元624；激活单元614，用于将融合矩阵输入到激活函数计算得到输出矩阵；计算单元624，用于根据输出矩阵计算第一图像与第二图像之间的相似度。
实施例四、
基于上述实施例一和实施例二描述的图像相似度计算方法，本申请实施例提供了一种图像相似度计算装置，包括：至少一个处理器；存储装置，用于存储至少一个程序；当至少一个程序被至少一个处理器执行时，使得至少一个处理器实现如实施例一和实施例二中所描述的方法。
实施例五、
基于上述实施例一和实施例二描述的图像相似度计算方法，本申请实施例提供了一种计算机可读存储介质，其存储有计算机程序，该计算机程序被处理器执行时实现如实施例一和实施例二中所描述的方法。
本申请实施例的图像相似度计算装置以多种形式存在，包括但不限于：
(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括：智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)其他具有数据交互功能的电子设备。
至此，已经对本主题的特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在发明内容中记载的动作可以按照不同的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序，以实现期望的结果。在某些实施方式中，多任务处理和并行处理可以是有利的。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本申请的实施例可提供为方法、装置、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、装置、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定事务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行事务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (16)

1.一种图像相似度计算方法，其特征在于，包括：
将第一图像和第二图像分别输入到特征提取网络，所述特征提取网络的每一层输出对应于所述第一图像的第一特征矩阵和对应于所述第二图像的第二特征矩阵；
将每一层输出对应的所述第一特征矩阵和所述第二特征矩阵进行差分，得到多个特征差分矩阵；
将所述多个特征差分矩阵进行融合得到融合矩阵；
根据所述融合矩阵计算所述第一图像与所述第二图像之间的相似度。
2.根据权利要求1所述的方法，其特征在于，将所述多个特征差分矩阵进行融合得到融合矩阵，包括：
将所述多个特征差分矩阵进行加权求和，得到所述融合矩阵。
3.根据权利要求2所述的方法，其特征在于，
所述多个特征差分矩阵的权值之和为1，其中，所述权值通过指数形式来表示。
4.根据权利要求2所述的方法，其特征在于，所述多个特征差分矩阵的权值通过具有以下性质的函数来定义：首先在第一取值范围为所述多个特征差分矩阵定义初始权值，然后通过一个函数将初始权值映射到(a,b)，同时保证所述一个函数在第一取值范围单调递增，其中，(a,b)可作为所述多个特征差分矩阵的权值范围，并且0＜a＜b。
5.根据权利要求1所述的方法，其特征在于，将所述多个特征差分矩阵进行融合得到融合矩阵，包括：
对所述多个特征差分矩阵进行池化得到至少一个池化后的特征差分矩阵；
将所述至少一个池化后的特征差分矩阵进行融合得到所述融合矩阵。
6.根据权利要求1所述的方法，其特征在于，根据所述融合矩阵计算所述第一图像与所述第二图像之间的相似度，包括：
将所述融合矩阵输入到单层线性神经网络或多层神经网络，计算得到所述第一图像与所述第二图像之间的相似度。
7.根据权利要求1所述的方法，其特征在于，根据所述融合矩阵计算所述第一图像与所述第二图像之间的相似度，包括：
将所述融合矩阵输入到激活函数计算得到输出矩阵；
根据所述输出矩阵计算所述第一图像与所述第二图像之间的相似度。
8.一种图像相似度计算装置，其特征在于，包括：特征提取模块、差分计算模块、融合模块以及相似度模块；
其中，所述特征提取模块包括特征提取网络，其中，所述特征提取网络分别接收第一图像和第二图像，并且所述特征提取网络的每一层输出对应于所述第一图像的第一特征矩阵和对应于所述第二图像的第二特征矩阵；
所述差分计算模块，用于将每一层输出对应的所述第一特征矩阵和所述第二特征矩阵进行差分，得到多个特征差分矩阵；
所述融合模块，用于将所述多个特征差分矩阵进行融合得到融合矩阵；
所述相似度模块，用于根据所述融合矩阵计算所述第一图像与所述第二图像之间的相似度。
9.根据权利要求8所述的装置，其特征在于，
所述融合模块，用于将所述多个特征差分矩阵进行加权求和，得到所述融合矩阵。
10.根据权利要求9所述的装置，其特征在于，
所述多个特征差分矩阵的权值之和为1，其中，所述权值通过指数形式来表示。
11.根据权利要求9所述的装置，其特征在于，所述多个特征差分矩阵的权值通过具有以下性质的函数来定义：首先在第一取值范围为所述多个特征差分矩阵定义初始权值，然后通过一个函数将初始权值映射到(a,b)，同时保证所述一个函数在第一取值范围单调递增，其中，(a,b)可作为所述多个特征差分矩阵的权值范围，并且0＜a＜b。
12.根据权利要求8所述的装置，其特征在于，所述融合模块包括池化单元和融合单元；
所述池化单元，用于对所述多个特征差分矩阵进行池化得到至少一个池化后的特征差分矩阵；
所述融合单元，用于将所述至少一个池化后的特征差分矩阵进行融合得到所述融合矩阵。
13.根据权利要求8所述的装置，其特征在于，
所述相似度模块，用于将所述融合矩阵输入到单层线性神经网络或多层神经网络，计算得到所述第一图像与所述第二图像之间的相似度。
14.根据权利要求8所述的装置，其特征在于，所述相似度模块包括：激活单元和计算单元；
所述激活单元，用于将所述融合矩阵输入到激活函数计算得到输出矩阵；
所述计算单元，用于根据所述输出矩阵计算所述第一图像与所述第二图像之间的相似度。
15.一种图像相似度计算装置，其特征在于，包括：
至少一个处理器；
存储装置，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行时，使得所述至少一个处理器实现如权利要求1-7任一项所述的方法。
16.一种计算机可读存储介质，其存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-7任一项所述的方法。
CN201910706688.8A 2019-08-01 2019-08-01 图像相似度计算方法、计算装置及存储介质 Active CN112308102B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910706688.8A CN112308102B (zh) 2019-08-01 2019-08-01 图像相似度计算方法、计算装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910706688.8A CN112308102B (zh) 2019-08-01 2019-08-01 图像相似度计算方法、计算装置及存储介质

Publications (2)

Publication Number Publication Date
CN112308102A CN112308102A (zh) 2021-02-02
CN112308102B true CN112308102B (zh) 2022-05-17

Family

ID=74485175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910706688.8A Active CN112308102B (zh) 2019-08-01 2019-08-01 图像相似度计算方法、计算装置及存储介质

Country Status (1)

Country Link
CN (1) CN112308102B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113343017B (zh) * 2021-06-10 2022-12-02 浙江大华技术股份有限公司 图像特征点相似度的确定方法及装置
CN116307446B (zh) * 2022-12-05 2023-10-27 浙江型相网络科技有限公司 服装供应链管理系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103236068B (zh) * 2013-05-14 2015-12-23 中国科学院自动化研究所 一种局部图像匹配方法
US9600738B2 (en) * 2015-04-07 2017-03-21 Xerox Corporation Discriminative embedding of local color names for object retrieval and classification
CN105243395B (zh) * 2015-11-04 2018-10-19 东方网力科技股份有限公司 一种人体图像比对方法和装置
CN109214238B (zh) * 2017-06-30 2022-06-28 阿波罗智能技术(北京)有限公司 多目标跟踪方法、装置、设备及存储介质
CN108090888B (zh) * 2018-01-04 2020-11-13 北京环境特性研究所 基于视觉注意模型的红外图像和可见光图像的融合检测方法
CN108280187B (zh) * 2018-01-24 2021-06-01 湖南省瞬渺通信技术有限公司 一种基于卷积神经网络深度特征的分级图像检索方法
CN109472267A (zh) * 2018-03-23 2019-03-15 苏州诺登德智能科技有限公司 图片相似度比对算法
CN109460719A (zh) * 2018-10-24 2019-03-12 四川阿泰因机器人智能装备有限公司 一种电力作业安全识别方法
CN109409296B (zh) * 2018-10-30 2020-12-01 河北工业大学 将人脸表情识别和语音情感识别融合的视频情感识别方法
CN109583375B (zh) * 2018-11-30 2021-04-06 中山大学 一种多特征融合的人脸图像光照识别方法及系统

Also Published As

Publication number Publication date
CN112308102A (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
US11640518B2 (en) Method and apparatus for training a neural network using modality signals of different domains
US20190377985A1 (en) Image classification neural networks
US20200342643A1 (en) Semantically-consistent image style transfer
US11651214B2 (en) Multimodal data learning method and device
CN108076154A (zh) 应用信息推荐方法、装置及存储介质和服务器
CN111275784B (zh) 生成图像的方法和装置
CN112016315B (zh) 模型训练、文本识别方法及装置、电子设备、存储介质
CN111274994B (zh) 漫画人脸检测方法、装置、电子设备及计算机可读介质
CN109712043A (zh) 一种答案批改方法及装置
CN113704531A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN112308102B (zh) 图像相似度计算方法、计算装置及存储介质
CN111754546A (zh) 一种基于多特征图融合的目标跟踪方法、系统及存储介质
CN107832794A (zh) 一种卷积神经网络生成方法、车系识别方法及计算设备
CN111782840A (zh) 图像问答方法、装置、计算机设备和介质
CN112927209A (zh) 一种基于cnn的显著性检测系统和方法
CN112132118B (zh) 人物关系识别方法、装置、电子设备及计算机存储介质
CN111639523B (zh) 目标检测方法、装置、计算机设备和存储介质
CN111507250B (zh) 图像识别方法、设备及存储介质
CN113762062A (zh) 专注度评估方法、装置、计算机设备和存储介质
CN115760641B (zh) 基于多尺度特征注意力网络的遥感影像去云雾方法和设备
CN111914809A (zh) 目标对象定位方法、图像处理方法、装置和计算机设备
US20190311302A1 (en) Electronic apparatus and control method thereof
CN112907004B (zh) 学习规划方法、装置及计算机存储介质
CN114863257A (zh) 图像处理方法、装置、设备及存储介质
CN110598028B (zh) 图像分类方法、装置及存储介质、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant