CN109740646B - 一种图像差异比对方法及其系统、电子装置 - Google Patents

Abstract

本发明涉及一种图像差异比对方法及其系统，电子装置，其基于卷积神经网络选取其中一像素点与待差异比对的图像全局所有像素点建立函数f(x_i,x_j)后，基于函数f(x_i,x_j)获知该像素点在待差异比对的图像全局中的权重；进一步选取至少一特征像素点的特征向量g(x_j)并与上述多个函数相乘，以输出对应的特征图。基于上述方法，可使所输出的特征图中更能体现全局信息，并实现自学习，由于不同像素点基于待差异比对的图像的全局信息而获得不同的权重值，从而可提高基于特征图获得两个待差异比对的图像的差别信息的准确率及鲁棒性。

Description

一种图像差异比对方法及其系统、电子装置

【技术领域】

本发明涉及人工智能领域，其特别涉及一种图像差异比对方法及其系统、电子装置。

【背景技术】

现有的求图像差异的比对方法都是基于传统的图像方法，根据滤波变换等图片处理方法，基于两张图像像素变化的区域，找出两张图像之间的差异性，并不能完全正确识别出差异区域，此外，由于现有图片特征提取更侧重于像素的变化，而往往容易由于图片拍摄角度差异、位置或形态简单变化而导致判断比对出错，因此，现有的图像比对方法的鲁棒性(Robustness)不好、准确率不好，亟待提供一种新型的图像差异比对技术方案。

【发明内容】

为解决现有技术中图像比对方法的鲁棒性及准确率不好的技术问题，本发明提供一种新型的图像差异比对方法及其系统、电子装置。

本发明为解决上述技术问题，提供如下的技术方案：一种图像差异比对方法，用于比对两个图像之间的差异，所述图像差异比对方法包括以下步骤：步骤S1，获取两个待差异比对的图像；步骤S2，选取其中任一个待差异比对的图像，基于卷积神经网络(Convolutional Neural Networks,CNN)选取其中一像素点与两个待差异比对的图像全局所有像素点建立函数f(x_i,x_j)后，基于函数f(x_i,x_j)获知该像素点在两个待差异比对的图像全局中的权重(weight)，以此类推，直至两个待差异比对的图像中的所有像素点均分别完成权重分析，并获得多个函数f(x_i,x_j)，其中，i表示在对应待差异比对的图像中任意选取的一个像素点，j表示待差异比对的图像全局所有像素点；及步骤S3，选取至少一特征像素点的特征向量g(x_j)并与上述多个函数f(x_i,x_j)相乘，以输出对应的特征图(feature map)；由于函数f(x_i,x_j)表示第i个像素点和两个待差异比对的图像全局中所有像素点的相互关系，在与特征向量g(x_j)点乘获得特征图后体现出不同像素点占两个待差异比对的图像全局的权重；其中，特征向量g(x_j)表示第j个像素点的特征向量；函数f(x_i,x_j)与特征向量g(x_j)之间的函数关系为：

,yi表示为第i个像素点相对于待差异比对的图像全局的权重值；C(x)表示为第i个像素点与待差异比对的图像的全局像素点的归一化关系；及步骤S4，将步骤S3输出的特征图输入差别信息生成网络中，以对两个待差异比对的图像进行标注，获得两个待差异比对的图像中对应的差别信息。

优选地，上述步骤S2中进一步包括以下步骤：步骤S21，获取待差异比对的图像全局所有像素点；步骤S22，将与第i个像素点匹配的f(x_i)与待差异比对的图像全局所有像素点匹配的多个f(x_j)函数矩阵相乘后，以获得函数f(x_i,x_j)；及步骤S23，将函数f(x_i,x_j)经过激活函数后提取出来第i个像素点在待差异比对的图像全局中的权重；其中，在待差异比对的图像全局所有像素点中，不同像素点所匹配的f(x_j)函数也不相同。

优选地，在上述步骤S23中，所述激活函数为softmax函数，其对函数f(x_i,x_j)做归一化处理。

优选地，在上述步骤S4中还包括：步骤S4，将步骤S3输出的特征图输入差别信息生成网络中，以对两个待差异比对的图像进行标注，获得两个待差异比对的图像中对应的差别信息；其中，所述差别信息包括两个待差异比对的图像比对中的差别分类、差别个数、差别位置信息、差别形态变化信息中一种或任意几种的组合。

优选地，上述步骤S2中，所述卷积神经网络选定1×1卷积运算，分别获得任一个待差异比对的图像中与第i个像素点匹配的f(x_i)及与第j个像素点匹配的f(x_j)。

本发明为解决上述技术问题，提供又一的技术方案：一种图像差异比对系统，用于无人零售领域比对两个图像之间的差异，其包括：获取图像模块，用于获取两个待差异比对的图像；像素点权重分析模块，用于选取其中任一个待差异比对的图像，基于卷积神经网络逐一将其中的像素点与待差异比对的图像全局所有像素点建立函数f(x_i,x_j)后，基于函数f(x_i,x_j)获知该像素点在待差异比对的图像全局中的权重，以此类推，直至两个待差异比对的图像中的所有像素点均分别完成权重分析，并获得多个函数f(x_i,x_j)，其中，i表示在对应待差异比对的图像中任意选取的一个像素点，j表示待差异比对的图像全局所有像素点；特征图输出模块，用于选取至少一特征像素点的特征向量g(x_j)并与上述函数f(x_i,x_j)与特征像素点的特征向量相乘，以输出对应的特征图占两个待差异比对的图像全局的权重；其中，特征向量g(x_j)表示第j个像素点的特征向量；函数f(x_i,x_j)与特征向量g(x_j)之间的函数关系为：

,yi表示为第i个像素点相对于待差异比对的图像全局的权重值；C(x)表示为第i个像素点与待差异比对的图像的全局像素点的归一化关系；及标注模块，用于基于输出的特征图，对两个待差异比对的图像进行标注，以获得两个待差异比对的图像中对应的差别信息。

优选地，所述像素点权重分析模块进一步包括以下的模块：像素点获取模块，用于获取待差异比对的图像全局所有像素点；矩阵相乘模块，用于将与第i个像素点匹配的f(x_i)与第j个像素点匹配的f(x_j)两个函数矩阵相乘后，以获得函数f(x_i,x_j)及激活函数模块，用于将函数f(x_i,x_j)经过激活函数后提取出来第i个像素点在待差异比对的图像全局中的权重。

本发明为解决上述技术问题，提供又一的技术方案：一种电子装置，其包括存储单元和处理单元，所述存储单元用于存储计算机程序，所述处理单元用于通过所述存储单元存储的计算机程序执行如上所述图像差异比对方法中的步骤。

与现有技术相比，本发明所提供的图像差异比对方法及其系统、电子装置具有如下的有益效果：

本发明所提供的图像差异比对方法及其系统，可基于卷积神经网络逐一将其中的像素点与待差异比对的图像全局所有像素点建立函数f(x_i,x_j)后，基于函数f(x_i,x_j)获知该像素点在待差异比对的图像全局中的权重，以此类推，直至两个待差异比对的图像中的所有像素点均分别完成权重分析；进一步选取至少一特征像素点的特征向量g(x_j)并与上述函数f(x_i,x_j)与特征像素点的特征向量相乘，以输出对应的特征图。基于上述方法，可使所输出的特征图中更能体现全局信息，并实现自学习，由于不同像素点基于待差异比对的图像的全局信息而获得不同的权重值，基于权重值做进一步的分析，以提高基于特征图获得两个待差异比对的图像的差别信息的准确率及鲁棒性。

上述方法可适用于无人零售领域，尤其适合于对待售商品的差异比对，从而减少人工标注量，并可提高待差异比对的图像物体细粒度分类的速度及精准度。

相比传统图像的粗粒度的图像差异比对方法和两阶段的深度学习的检测加识别的方法，本发明首先是解决了两阶段的学习方法，使用一个模型解决两个模型所解决的问题，鲁棒性强，速度快。还充分利用和优化了卷积神经网络的网络结构，能够最大化发挥卷积神经网络的能力。

本发明所提供的电子装置，其具有处理单元可执行存储在存储单元中的上述图像差异比对方法的相关步骤，其具体与上述图像差异比对方法及其系统相同的有益效果，所述电子装置可为无人售货柜机、智能货柜、智能手持设备，或其他需要差异比对的电子设备。本发明所提供的电子设备具有较广的适用范围。

【附图说明】

图1是本发明第一实施例所提供的图像差异比对方法的步骤流程示意图。

图2是图1中所示图像差异比对方法的流程模块图。

图3是图1中所示步骤S2的具体流程步骤示意图。

图4A是待差异比对的图像的示意图之一。

图4B是待差异比对的图像的示意图之二。

图5是本发明第二实施例所提供的图像差异比对系统的模块示意图。

图6是图5中所示像素点权重分析模块的具体功能模块示意图。

图7是本发明第三实施例所提供的电子装置的模块示意图。

附图标注说明：

1、2、3、4：待分析的物体；P1、待差异比对的图像的P1区域；P2、待差异比对的图像的P2区域；P3、表示为待差异比对的图像的P3区域；

20、图像差异比对系统；21、获取图像模块；22、像素点权重分析模块；23、特征图输出模块；24、标注模块；221、像素点获取模块；222、矩阵相乘模块；223、激活函数模块；

30、电子装置；31、存储单元；32、处理单元。

【具体实施方式】

为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图及实施实例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参阅图1，本发明的第一实施例提供一图像差异比对方法，该图像差异比对方法包括如下的步骤：

步骤S1，获取待差异比对的两个待差异比对的图像；

步骤S2，选取其中任一个待差异比对的图像，基于卷积神经网络选取其中一的像素点与待差异比对的图像全局所有像素点建立函数f(x_i,x_j)后，基于函数f(x_i,x_j)获知该像素点在待差异比对的图像全局中的权重，以此类推，直至两个待差异比对的图像中的所有像素点均分别完成权重分析，并获得多个函数；

步骤S3，选取至少一特征像素点的特征向量g(x_j)并与上述多个函数相乘，以输出对应的特征图。

所述图像差异比对方法还可进一步包括：

步骤S4，将步骤S3输出两个待差异比对的图像的特征图输入差别信息生成网络中，以对两个待差异比对的图像进行标注，获得两个待差异比对的图像中对应的差别信息。

上述图像差异比对方法可分为两个主要的阶段，其中步骤S1-步骤S3为获取可体现全局信息的特征图，而步骤S4为获取两个待差异比对的图像的差别信息。

本实施例所提供的图像差异比对方法可以基于端到端的卷积神经网络求出两个待差异比对的图像具体差异，其可涉及到机器学习、深度学习及计算机视觉等技术。在本发明一些特殊的实施例中，所述图像差异比对方法可适用于无人零售领域，尤其适合于对待售商品的差异比对，从而减少人工标注量，并可提高待差异比对的图像物体细粒度分类的速度及精准度。

在上述步骤S2中，请参阅图2，利用卷积神经网络，选定1×1卷积运算(convolution)(如图2中所示1×1conv)，分别获得任一个待差异比对的图像中与第i个像素点匹配的f(x_i)，及与待差异比对的图像全局所有像素点匹配的多个f(x_j)函数，其中，第i个像素点为在对应待差异比对的图像中任意选取的一个像素点；此处及以下待差异比对的图像全局所有像素点用第j个像素点表示，其中，在一些特殊的关系中，第j个像素点与第i个像素点可为相同的像素点。

可选地，在其他的实施例中，也可选用其他类型的卷积核来进行卷积处理，如选用3×3卷积、5×5卷积或者其它。

结合图2及图3中所示，在上述步骤S2中，包括如下步骤：

步骤S21，获取待差异比对的图像全局所有像素点；

步骤S22，将与第i个像素点匹配的f(x_i)与待差异比对的图像全局所有像素点匹配的多个f(x_j)函数矩阵相乘后，以获得函数f(x_i,x_j)；其中，在待差异比对的图像全局所有像素点中，不同像素点所匹配的f(x_j)函数也不相同。

步骤S23，将函数f(x_i,x_j)经过激活函数后可以提取出来第i个像素点在待差异比对的图像中的权重。

可见，基于上述的步骤，通过将函数f(x_i)以及多个函数f(x_j)矩阵相乘以获得函数f(x_i,x_j)，进一步经过激活函数可以提取出来，从而可基于待差异比对的图像中的除第i个像素点之外的实现自提取注意力，从而可提取对应的第i个像素点的重要性。

需要特别说明的是，在上述步骤S21-步骤S23中，假如当前像素点的权值是x_i，第i个像素点在待差异比对的图像全局的权重是由待差异比对的图像全局所有像素点赋予，并与其相关。因此，通过这样的组合方式，可以使两个待比较差异的图像中的每个像素点i对应的特征与第i个像素点本身相关，同时也与待差异比对的图像全局的其他除第i个像素点之外的所有像素点相关。

可选地，在本发明中，在上述步骤S23中，激活函数可为softmax函数，其可对函数f(x_i,x_j)做归一化处理，以实现注意力机制的建立。

上述方法中采用的自提取注意力机制能够使神经网络自己学习注意全局信息，从而能够更好地学习全局的信息并进行判断。本发明所提供的图像差异比对方法基于卷积神经网络及自提取注意力机制的结合，有效解决了人工标注成本问题和耗时问题。

继续如图2中所示，在上述步骤S3中，第j个像素点可为待差异比对的图像全局的所有像素点中的任意像素点，第j个像素点的特征向量g(x_j)可以为f(x_j)提供对应的特征。

在本发明中，对应第j个像素点的特征向量g(x_j)对f(x_j)进行赋值，然后多个x_j对x_i进行赋值，从而可实现数学模型的自动学习，并可自动做出对应的特征图(featuremap)。

利用上述步骤获得的两个待差异比对的图像的特征图能够学习到更好的全局信息，其可使卷积神经网络更加关注两个待差异比对的图像的全局信息，而不会局限于局部特征，而做出有误差的判断。

在本发明中上述步骤S4中，所述差别信息生成网络可基于输入的的特征图，输出对应两个待差异比对的图像的差别信息。所述差别信息包括两个待差异比对的图像比对中的差别分类、差别个数、差别位置信息、差别形态变化信息等中一种或任意几种的组合。

基于上述步骤S1-步骤S4所获得的差别信息属于与待差异比对的图像全局相关的High level feature的语义信息。

在本发明中，由于在上述步骤S1-步骤S3中已经基于卷积神经网络及注意力机制，对两个待差异比对的图像的像素点在待差异比对的图像全局的权重，因此，基于上述步骤S1-S3所获得更能体现出待差异比对的图像全局信息的特征图。

本实施例所提供的图像差异比对方法，其关注权重比较大的像素点，权重还体现在所有的像素点对选定的当前像素点的赋值，也即，每个像素点所对应的重要性是由整张图像全局所有像素点学习以获得当前像素点的重要性。

在本发明一些更为具体的实施例中，为了更进一步地对本发明所提供的方法进行说明，提供一自提取注意力机制能够提取全局信息的数据基础，具体如式(1)中所示：

其中，y_i表示为第i个像素点相对于待差异比对的图像全局的权重值，在使用时，可将权重值和输入值x_i进行求和，以获得最终的像素值。f(x_i,x_j)表示的是第i个像素点和全局所有像素点的相互关系，g(x_j)表示的是第j个像素点的特征向量。进一步地，f(x_i,x_j)、g(x_j)及C(x)的函数关系可做如下说明：

基于1×1卷积运算(convolution)，f(x_i,x_j)的关系可如下式(2)中所示：

其中，第i个像素点与第j个像素点表示为在卷积神经网络中以1×1卷积核进行卷积的像素点，C(x)表示为第i个像素点与待差异比对的图像的全局像素点的归一化关系。

基于式(2)，则f(x_i，x_j)的关系可进一步表示为：

其中，θ(x_i)表示为第i个像素点的特征函数，

表示为第j个像素点的特征函数。

为了获得第i个像素点相对于待差异比对的图像的重要性，进而获得重要性高的语义信息，进而组成特征图，还可包括将f(x_i，x_j)与选定的第j个像素点的特征向量进行点乘，具体如下：

Dot Product：f(x_i，x_j)＝θ(x_i)^T·φ(x_j)，C(x)＝|{i|i is a valid index of x}| (4)；

如上述式(4)中所示，将g(x_j)与f(x_i，x_j)进行点乘，代表第j个像素点中的特征向量对相应位置的像素点进行作用。

为了进一步提高端到端的卷积神经网络的表达能力，基于式(4)可进一步变形为：

在上述式(5)中，采用ReLU(Rectified linear units，线性修正单元)激活函数，整个过程的计算量节省很多，增加的速度，鲁棒性强。

结合图2及式(1)-(5)，可获得对应的特征图；由于f(x_i，x_j)可表示第i个像素点和待差异比对的待差异比对的图像全局中所有像素点的相互关系，因此，在进行点乘后所获得的特征图可体现出不同像素点占待差异比对的图像全局的权重，因为在利用所获得的特征图进行分析获取图片区别时，可以获得与权重大小相关的High level feature的语义信息，从而可提高图像差异比对的准确度和可信度。

为了更好地说明本发明所提供的图像差异比对方法的步骤及其效果，提供如下的具体的实施例：

提供如图4A及图4B中所示的两个待差异比对的图像，基于上述图像差异比对方法，则需要分别对两个待差异比对的图像进行卷积神经网络的分析，将对应的待差异比对的图像像素化，以分出多个像素点，并逐一建立当前像素点与待差异比对的图像全局所有像素点的函数f(x_i,x_j)。

例如针对其中一个待差异比对的图像的第1个像素点，具体的函数为f(x₁,x₂)，f(x₁,x₃)……f(x₁,x_j)，而针对第2个像素点，其具体的函数为f(x₁,x₁)，f(x₁,x₃)……f(x₁,x_j)。

而针对另一张待差异比对的图像的第1个像素点，则其具体的函数为f(x_1’,x_2’)，f(x_1’,x_3’)……f(x_1’,x_j’)。

将函数f(x_i,x_j)经过激活函数softmax后可以提取出来当前像素点在待差异比对的图像全局中的权重。进一步选取一个像素点的特征向量g(x_j)并与上述函数f(x_i,x_j)与特征像素点的特征向量相乘，以输出对应的特征图(feature map)。

结合图4A及图4B中所示，其两张待差异比对的图像的差异区域包括P1区域、P2区域及P3区域，其中，在P1区域内，图4A与图4B中所示两个待差异比对的图像中物体1与物体2仅为位置偏移；在P2区域中，图4A与图4B中所示两个待差异比对的图像中两个物体3之间为图案区别，以使物体3部分被遮挡而显示不全；在P3区域中，图4A中有物体4，而在图4B中未出现物体4。

基于上述图像差异比对方法可以获知上述P3区域为权重最大的区域，而P1区域与P2区域的权重较小，因此，在输出特征图时会有所偏重。而且，由于P1区域、P2区域中被判定为差异较小，则不会仅仅有与物体形态、位置的细微变化，就判定为两个待差异比对的图像有较大的差异。

基于本发明上述提供的图像差异比对方法，可使所输出的特征图中体现全局信息，并实现自学习，由于不同像素点基于待差异比对的图像的全局信息而获得不同的权重值，从而可提高基于特征图获得两个待差异比对的图像的差别信息的准确率及鲁棒性。

本发明所提供的图像差异比对方法，提出了一个从全局考虑待差异比对的图像的全局像素点所有信息的机制，所述图像差异比对方法可利用在所有卷积神经网络的深度学习网络中，以判断图像之间的相似性、相关性。

请参阅图5，本发明的第二实施例提供一图像差异比对系统20，其包括：

获取图像模块21，用于获取待差异比对的两个待差异比对的图像；

像素点权重分析模块22，用于选取其中任一个待差异比对的图像，基于卷积神经网络逐一将其中的像素点与待差异比对的图像全局所有像素点建立函数f(x_i,x_j)后，基于函数f(x_i,x_j)获知该像素点在待差异比对的图像全局中的权重，以此类推，直至两个待差异比对的图像中的所有像素点均分别完成权重分析，并获得多个函数。

特征图输出模块23，选取至少一特征像素点的特征向量g(x_j)并与上述多个函数相乘，以输出对应的特征图；

标注模块24，用于基于输出的特征图，对两个待差异比对的图像进行标注，以获得两个待差异比对的图像中对应的差别信息。

所述图像差异比对方法的执行主体是图像差异比对系统，这一图像差异比对系统可以为一个实体的电子设备，也可以为采用软件集成的装置。

在本实施例中，结合图2及图6，上述像素点权重分析模块22可进一步细分为如下的模块：

像素点获取模块221，用于获取第i个像素点及其待差异比对的图像全局所有像素点；

矩阵相乘模块222，用于将与第i个像素点匹配的f(x_i)与第j个像素点匹配的f(x_j)两个函数矩阵相乘后，以获得函数f(x_i,x_j)；及

激活函数模块223，用于将函数f(x_i,x_j)经过激活函数后可以提取出来第i个像素点在待差异比对的图像全局中的权重。

假如当前像素点的权值是xi，第i个像素点在待差异比对的图像全局中的权重是由待差异比对的图像全局所有像素点赋予，并与其相关。通过这样的组合方式，可以使两个待比较差异的图像中的每个像素点i对应的特征与第i个像素点本身相关，同时也与待差异比对的图像全局的其他除第i个像素点之外的所有像素点相关。

进一步地，在上述像素点权重分析模块22中所采用的卷积神经网络可包括输入层、卷积层、池化层(pooling layer)、全连接层和输出层。可选地，所述输入层用于输入待识别的图片；所述卷积层用于利用卷积核提取待识别的图片的局部特征。有关在卷积神经网路中加入自提取注意力机制以提取待差异比对的图像全局信息的数据基础与上述第一实施例中所列举的一致，因此在此不再赘述。

需要特别说明的是，上述功能模块可以基于需要继承在一个处理单元中，也可以是各个功能模块的单独物理存在，也可为其中以任意组合方式将上述功能模块进行组合，并集成在一个单元中。所述集成的单元可以硬件的形式存在，也可以硬件加软件功能模块的形式存在。

根据本发明实施例的第三实施例中，还提供了一种用于实施上述数据处理方法的电子装置30。图7是所述电子装置30的结构框图，如图7中所示，所述电子装置30可包括存储单元31和处理单元32，所述存储单元31用于存储计算机程序，所述处理单元32用于通过所述存储单元31存储的计算机程序执行上述第一实施例所提供的图像差异比对方法中的具体步骤。

可选地，在本实施例中，所述电子装置30可以位于计算机网络的多个网络设备中的至少一个网络设备。

所述存储单元31不受限于油性存储介质，还可以直接从网络下载，还可以采用一个或多个计算机可读的介质的任意组合。其中，计算机可读的介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质可以具体为电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)等。在本发明中，所述计算机可读存储介质还可以为任何包含或存储程序的有形介质，该程序可以被指令执行系统，装置或者器件使用或者与其结合使用。

具体地，所述处理单元32可以被设置为通过计算机程执行以下步骤：

获取两个待差异比对的图像；

选取其中任一个待差异比对的图像，基于卷积神经网络逐一将其中的像素点与待差异比对的图像全局所有像素点建立函数f(x_i,x_j)后，基于待差异比对的图像全局所有像素点获知该像素点在待差异比对的图像全局中的权重(weight)，以此类推，直至两个待差异比对的图像中的所有像素点均分别完成权重分析；

选取至少一特征像素点的特征向量g(x_j)并与上述多个函数与特征像素点的特征向量相乘，以输出与对应的特征图(feature map)。

进一步地，所述处理单元32还可进一步执行以下步骤：

基于输出的特征图，对两个待差异比对的图像进行标注，以获得两个待差异比对的图像中对应的差别信息。

所述处理单元32还被用于执行下述步骤：

获取第i个像素点及其待差异比对的图像全局所有像素点；将与第i个像素点匹配的f(x_i)与第j个像素点匹配的f(x_j)两个函数矩阵相乘后，以获得函数f(x_i,x_j)；将函数f(x_i,x_j)经过激活函数后可以提取出来第i个像素点在待差异比对的图像全局中的权重。

在本实施例中，所述电子装置30可为无人售货柜机，智能货柜、智能手持设备，或其他需要差异比对的电子设备。

所述电子装置30中所执行的程序可以实现对待差异比对的图像的差别部分进行比对，从而可提高比对的准确性及其速度，因此，相比于现有技术，可具有更优的鲁棒性。

与现有技术相比，本发明所提供的图像差异比对方法及其系统，电子装置具有如下的有益效果：

本发明所提供的图像差异比对方法及其系统，可基于卷积神经网络逐一将其中的像素点与待差异比对的图像全局所有像素点建立函数f(x_i,x_j)后，基于函数f(x_i,x_j)获知该像素点在待差异比对的图像全局中的权重，以此类推，直至两个待差异比对的图像中的所有像素点均分别完成权重分析；进一步选取至少一特征像素点的特征向量g(x_j)并与上述函数f(x_i,x_j)与特征像素点的特征向量相乘，以输出对应的特征图。基于上述方法，可使所输出的特征图中更能体现全局信息，并实现自学习，由于不同像素点基于待差异比对的待差异比对的图像的全局信息而获得不同的权重值，基于权重值做进一步的分析，以提高基于特征图获得两个待差异比对的图像的差别信息的准确率及鲁棒性。

上述方法可适用于无人零售领域，尤其适合于对待售商品的差异比对，从而减少人工标注量，并可提高待差异比对的图像物体细粒度分类的速度及精准度。

本发明所提供的电子装置，其具有处理单元可执行存储在存储单元中的上述图像差异比对方法的相关步骤，所述电子装置可为无人售货柜机，智能货柜、智能手持设备，或其他需要差异比对的电子设备。本发明所提供的电子设备具有较广的适用范围。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的原则之内所作的任何修改，等同替换和改进等均应包含本发明的保护范围之内。

Claims (8)

1.一种图像差异比对方法，用于无人零售领域比对两个图像之间的差异，其特征在于：所述图像差异比对方法包括以下步骤：

步骤S1，获取两个待差异比对的图像；

步骤S2，选取其中任一个待差异比对的图像，基于卷积神经网络选取其中一像素点与两个待差异比对的图像全局所有像素点建立函数f(x_i,x_j)后，基于函数f(x_i,x_j)获知该像素点在两个待差异比对的图像全局中的权重，以此类推，直至两个待差异比对的图像中的所有像素点均分别完成权重分析，并获得多个函数f(x_i,x_j)，其中，i表示在对应待差异比对的图像中任意选取的一个像素点，j表示待差异比对的图像全局所有像素点；及

步骤S3，选取至少一特征像素点的特征向量g(x_j)并与上述多个函数f(x_i,x_j)相乘，以输出对应的特征图；由于函数f(x_i,x_j)表示第i个像素点和两个待差异比对的图像全局中所有像素点的相互关系，在与特征向量g(x_j)点乘获得特征图后体现出不同像素点占两个待差异比对的图像全局的权重；其中，特征向量g(x_j)表示第j个像素点的特征向量；函数f(x_i,x_j)与特征向量g(x_j)之间的函数关系为：

yi表示为第i个像素点相对于待差异比对的图像全局的权重值；C(x)表示为第i个像素点与待差异比对的图像的全局像素点的归一化关系；及

步骤S4，将步骤S3输出的特征图输入差别信息生成网络中，以对两个待差异比对的图像进行标注，获得两个待差异比对的图像中对应的差别信息。

2.如权利要求1所述图像差异比对方法，其特征在于：上述步骤S2中进一步包括以下步骤：

步骤S21，获取待差异比对的图像的所有像素点；

步骤S22，将与第i个像素点匹配的f(x_i)与待差异比对的图像全局所有像素点匹配的多个f(x_j)函数矩阵相乘后，以获得函数f(x_i,x_j)；及

步骤S23，将函数f(x_i,x_j)经过激活函数后提取出来第i个像素点在待差异比对的图像中的权重；

其中，在待差异比对的图像全局所有像素点中，不同像素点所匹配的f(x_j)函数也不相同。

3.如权利要求2所述图像差异比对方法，其特征在于：在上述步骤S23中，所述激活函数为softmax函数，其对函数f(x_i,x_j)做归一化处理。

4.如权利要求1所述图像差异比对方法，其特征在于：在上述步骤S4中还包括：所述差别信息包括两个待差异比对的图像比对中的差别分类、差别个数、差别位置信息、差别形态变化信息中一种或任意几种的组合。

5.如权利要求1所述图像差异比对方法，其特征在于：上述步骤S2中，所述卷积神经网络选定1×1卷积运算，分别获得任一个待差异比对的图像中与第i个像素点匹配的f(x_i)及与第j个像素点匹配的f(x_j)。

6.一种图像差异比对系统，用于无人零售领域比对两个图像之间的差异，其特征在于：其包括：

获取图像模块，用于获取两个差异比对的图像；

像素点权重分析模块，用于选取其中任一个待差异比对的图像，基于卷积神经网络选取其中一像素点与待差异比对的图像全局的所有像素点建立函数f(x_i,x_j)后，基于函数f(x_i,x_j)获知该像素点在待差异比对的图像全局中的权重，以此类推，直至两个待差异比对的图像中的所有像素点均分别完成权重分析，并获得多个函数f(x_i,x_j)，其中，i表示在对应待差异比对的图像中任意选取的一个像素点，j表示待差异比对的图像全局所有像素点；

特征图输出模块，用于选取至少一特征像素点的特征向量g(x_j)并与上述多个函数相乘，以输出对应的特征图；由于函数f(x_i,x_j)表示第i个像素点和两个待差异比对的图像全局中所有像素点的相互关系，在与特征向量g(x_j)点乘获得特征图后体现出不同像素点占两个待差异比对的图像全局的权重；其中，特征向量g(x_j)表示第j个像素点的特征向量；函数f(x_i,x_j)与特征向量g(x_j)之间的函数关系为：

yi表示为第i个像素点相对于待差异比对的图像全局的权重值；C(x)表示为第i个像素点与待差异比对的图像的全局像素点的归一化关系；及

标注模块，用于基于输出的特征图，对两个待差异比对的图像进行标注，以获得两个待差异比对的图像中对应的差别信息。

7.如权利要求6所述图像差异比对系统，其特征在于：所述像素点权重分析模块进一步包括以下的模块：

像素点获取模块，用于获取第i个像素点及其待差异比对的图像全局所有像素点；

矩阵相乘模块，用于将与第i个像素点匹配的f(x_i)与第j个像素点匹配的f(x_j)两个函数矩阵相乘后，以获得函数f(x_i,x_j)；及

激活函数模块，用于将函数f(x_i,x_j)经过激活函数后提取出来第i个像素点在待差异比对的图像全局中的权重。

8.一种电子装置，其特征在于：所述电子装置包括存储单元和处理单元，所述存储单元用于存储计算机程序，所述处理单元用于通过所述存储单元存储的计算机程序执行所述权利要求1-5中任一项所述图像差异比对方法中的步骤。

Images