CN112464803A - 图像比较方法和装置 - Google Patents
图像比较方法和装置 Download PDFInfo
- Publication number
- CN112464803A CN112464803A CN202011348972.1A CN202011348972A CN112464803A CN 112464803 A CN112464803 A CN 112464803A CN 202011348972 A CN202011348972 A CN 202011348972A CN 112464803 A CN112464803 A CN 112464803A
- Authority
- CN
- China
- Prior art keywords
- pixel
- image
- images
- difference
- compared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 239000013598 vector Substances 0.000 claims abstract description 83
- 238000012549 training Methods 0.000 claims description 63
- 230000008859 change Effects 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 14
- 238000010276 construction Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 11
- 230000009467 reduction Effects 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 16
- 238000010606 normalization Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005311 nuclear magnetism Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图像比较方法和装置，涉及计算机技术领域。图像比较方法的一具体实施方式包括：获取待比较的两幅图像的差异图像；对于所述差异图像中的每一像素，根据该像素预设邻域内各像素的像素值构建特征向量；将每一像素的特征向量输入预先训练的像素差异判别模型，得到每一像素对应的判别结果；依据每一像素对应的判别结果确定待比较的两幅图像的比较结果。该实施方式能够从像素级别检测两幅图像之间的差异，从而大幅提高图像比较准确性。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种图像比较方法和装置。
背景技术
随着图像处理技术的发展，很多应用领域使用图像比较的方法实现业务目的。例如，在艺术品鉴定领域，通过比较艺术品的图像与相应的真品图像进行真伪鉴别；在医疗影像领域，通过比较同一患者在不同时期的医疗影像来判断病情变化。在现有的图像比较技术中，一般使用图像局部或全局的颜色、线条、纹理等特征进行判断，无法从更细粒度检测两幅图像的差异，导致准确性较低。
发明内容
有鉴于此，本发明实施例提供一种图像比较方法和装置，能够从像素级别检测两幅图像之间的差异，从而大幅提高图像比较准确性。
为实现上述目的，根据本发明的一个方面，提供了一种图像比较方法。
本发明实施例的图像比较方法包括：获取待比较的两幅图像的差异图像；对于所述差异图像中的每一像素，根据该像素预设邻域内各像素的像素值构建特征向量；将每一像素的特征向量输入预先训练的像素差异判别模型，得到每一像素对应的判别结果；依据每一像素对应的判别结果确定待比较的两幅图像的比较结果。
可选地，所述获取待比较的两幅图像的差异图像，包括：确定待比较的两幅图像的对数图像；将两幅对数图像相减，得到所述差异图像。
可选地，所述根据该像素预设邻域内各像素的像素值构建特征向量，包括：对于所述差异图像中的任一像素，将该像素预设邻域内各像素的像素值按照预设顺序排列，得到所述任一像素的特征向量。
可选地，所述像素差异判别模型通过以下步骤进行训练：获取多组训练数据以及每组训练数据对应的标签值；其中，任一组训练数据包括预先获得比较结果的两幅图像的级联特征，所述级联特征是由该两幅图像的同维度尺度不变特征转换SIFT特征拼接并经降维处理后形成的，该组训练数据对应的标签值为预先获得的该比较结果；将所述多组训练数据输入所述像素差异判别模型，并基于所述标签值最小化为所述像素差异判别模型预设的损失函数。
可选地，所述判别结果包括：存在差异和不存在差异；以及，所述依据每一像素对应的判别结果确定待比较的两幅图像的比较结果，包括：在判别结果为存在差异的像素占比大于预设比例时，将待比较的两幅图像确定为有差异图像，将该占比确定为待比较的两幅图像的像素级差异程度；在判别结果为存在差异的像素占比不大于该比例时，将待比较的两幅图像确定为无差异图像。
可选地，所述方法进一步包括：在将待比较的两幅图像确定为有差异图像后，获取判别结果为存在差异的像素的空间分布信息，结合该两幅图像的像素级差异程度和所述空间分布信息确定该两幅图像的综合差异程度。
可选地，所述方法进一步包括：在获取所述差异图像之前，获取待比较的两幅图像的全局颜色特征和纹理特征，根据所述全局颜色特征确定待比较的两幅图像的颜色相似度，根据所述纹理特征确定待比较的两幅图像的纹理相似度；在所述颜色相似度小于预设的第一相似度阈值并且所述纹理相似度小于预设的第二相似度阈值时，将待比较的两幅图像确定为有差异图像。
可选地，所述方法进一步包括：在所述颜色相似度不小于预设的第一相似度阈值或所述纹理相似度不小于预设的第二相似度阈值时，获取待比较的两幅图像的尺度不变特征转换SIFT特征点；利用所述SIFT特征点确定待比较的两幅图像之间的空间关系变换矩阵，基于所述空间关系变换矩阵将待比较的两幅图像中的一幅图像配准到另一幅图像上。
可选地，所述方法进一步包括：对配准后的两幅图像执行最大最小值归一化处理。
可选地，所述待比较的两幅图像包括：待鉴定的艺术品图像与相应的真品图像；以及，所述方法进一步包括：依据所述每一像素对应的判别结果确定所述艺术品的鉴定结果。
可选地，所述判别结果包括：存在差异和不存在差异；以及，所述依据每一像素对应的判别结果确定所述艺术品的鉴定结果，包括：在判别结果为存在差异的像素占比大于预设比例时，将所述艺术品确定为赝品，将该占比确定为所述艺术品的像素级风险概率值；在判别结果为存在差异的像素占比不大于该比例时，将所述艺术品确定为真品。
可选地，所述方法进一步包括：在将所述艺术品确定为赝品后，获取判别结果为存在差异的像素的空间分布信息，结合所述艺术品的像素级风险概率值和所述空间分布信息确定所述艺术品的综合风险概率值。
可选地，所述待比较的两幅图像包括：同一患者的待判读影像和相应的历史时期影像；以及，所述方法进一步包括：依据所述每一像素对应的判别结果判断所述待判读影像相对于所述历史时期影像是否提示病情变化。
可选地，所述判别结果包括：存在差异和不存在差异；以及，所述依据每一像素对应的判别结果判断待判读影像相对于所述历史时期影像是否提示病情变化，包括：在判别结果为存在差异的像素占比大于预设比例时，判断待判读影像相对于所述历史时期影像提示病情变化，将该占比确定为像素级变化程度；在判别结果为存在差异的像素占比不大于该比例时，判断待判读影像相对于所述历史时期影像未提示病情变化。
可选地，所述方法进一步包括：在判断待判读影像相对于所述历史时期影像提示病情变化后，获取判别结果为存在差异的像素的空间分布信息，结合所述像素级变化程度和所述空间分布信息确定待判读影像相对于所述历史时期影像提示的综合变化程度。
可选地，所述待比较的两幅图像包括：获取检索输入图像与图像库中任一本地图像；以及，所述方法进一步包括：依据所述每一像素对应的判别结果确定检索输入图像与该本地图像的像素级差异程度；将与检索输入图像的像素级差异程度符合预设条件的本地图像确定为检索输入图像对应的检索结果。
可选地，所述判别结果包括：存在差异和不存在差异；以及，所述依据每一像素对应的判别结果确定检索输入图像与该本地图像的像素级差异程度，包括：将判别结果为存在差异的像素占比确定为检索输入图像与该本地图像的像素级差异程度。
可选地，所述将与检索输入图像的像素级差异程度符合预设条件的本地图像确定为检索输入图像对应的检索结果，包括：将本地图像按照与检索输入图像的像素级差异程度从小到大的顺序排列；将排列在前的预设数量的本地图像确定为检索输入图像对应的检索结果。
为实现上述目的，根据本发明的另一方面，提供了一种图像比较装置。
本发明实施例的图像比较装置包括：第一差异图像获取单元，用于获取待比较的两幅图像的差异图像；第一特征向量构建单元，用于：对于所述差异图像中的每一像素，根据该像素预设邻域内各像素的像素值构建特征向量；第一像素判别单元，用于将每一像素的特征向量输入预先训练的像素差异判别模型，得到每一像素对应的判别结果；图像比较单元，用于依据每一像素对应的判别结果确定待比较的两幅图像的比较结果。
为实现上述目的，根据本发明的又一方面，提供了一种电子设备。
本发明的一种电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明所提供的图像比较方法。
为实现上述目的，根据本发明的再一方面，提供了一种计算机可读存储介质。
本发明的一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明所提供的图像比较方法。
根据本发明的技术方案，上述发明中的实施例具有如下优点或有益效果：首先获取待比较的两幅图像的差异图像，根据邻域的像素值构建差异图像中每一像素的特征向量，接着将每一像素的特征向量输入预先训练的像素差异判别模型，从而得到每一像素对应的判别结果，此后依据每一像素对应的判别结果确定待比较的两幅图像的比较结果。通过以上步骤，本发明能够基于深度学习技术从像素级别检测图像差异，从而大幅提高图像比较准确性。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是本发明实施例中图像比较方法的主要步骤示意图；
图2是本发明实施例中图像比较方法的具体实现示意图；
图3是本发明实施例中图像比较方法的系统架构示意图；
图4是本发明实施例中图像比较装置的组成部分示意图；
图5是本发明实施例中艺术品鉴定装置的组成部分示意图；
图6是本发明实施例中医疗影像判读装置的组成部分示意图；
图7是本发明实施例中图像检索装置的组成部分示意图；
图8是根据本发明实施例可以应用于其中的示例性系统架构图；
图9是用来实现本发明实施例中图像比较方法的电子设备结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
需要指出的是，在不冲突的情况下，本发明的实施例以及实施例中的技术特征可以相互结合。
图1是根据本发明第一实施例中图像比较方法的主要步骤示意图。
如图1所示，本发明实施例的图像比较方法可具体按照如下步骤执行：
步骤S101：获取待比较的两幅图像的差异图像。
在本发明实施例中，可以使用以下步骤获取上述差异图像：首先，将待比较的两幅图像转换为灰度图像后，分别确定两幅图像的对数图像。例如，如果待比较的图像为I、J，则二者的对数图像可以是log(I+1)、log(J+1)。可以理解，二者的对数图像也可以是log(I)、log(J)。此后，将两幅对数图像相减，从而得到上述差异图像。例如，将log(I+1)与log(J+1)相减之后取绝对值，即可得到差异图像D＝|log(I+1)-log(J+1)|。具体应用中，也可以使用其它适用方法获取差异图像，例如直接将待比较的两幅图像相减。
在执行步骤S101之前，可以首先执行以下预处理和预先判别步骤。
图像一致性初判：获取待比较的两幅图像的全局颜色特征(如颜色直方图、颜色矩等)和纹理特征，根据全局颜色特征确定待比较的两幅图像的颜色相似度，根据纹理特征确定待比较的两幅图像的纹理相似度。如果颜色相似度小于预设的第一相似度阈值并且纹理相似度小于预设的第二相似度阈值，则将待比较的两幅图像确定为有差异图像；如果颜色相似度不小于第一相似度阈值或者纹理相似度不小于第二相似度阈值，执行后续预处理步骤。以上的全局颜色特征和纹理特征提取可以使用已知技术实现，颜色相似度和纹理相似度均可以是余弦相似度。
图像配准：由于待比较图像可以是不同时间、不同传感器在不同地方采集的，图像之间的空间关系可以是刚性、仿射或单应性，因此可以通过图像配准确定一幅图像像素到另一幅图像像素之间的空间映射关系。在本发明实施例中，当两幅图像的颜色相似度不小于第一相似度阈值或纹理相似度不小于第二相似度阈值时，获取待比较的两幅图像的SIFT(Scale-Invariant Feature Transform，尺度不变特征转换)特征点，利用SIFT特征点确定待比较的两幅图像之间的空间关系变换矩阵(用于描述两个图像空间变换关系的矩阵)，并基于空间关系变换矩阵将待比较的两幅图像中的一幅图像配准到另一幅图像上。其中，SIFT算法是一种计算机视觉中的特征提取算法，用来检测和描述图像局部特征，在多尺度中寻找极值点，并提取出其位置、尺度、旋转不变量，该算法具有对旋转、尺度变化、光照变化等保持不变性，辨别能力强，特征点数量多，可扩展性强等优点。实际应用中，还可以使用深度学习等方法实现图像配准。配准之后，可以对两幅图像进行矩形裁剪，得到大小相同的图像。
归一化：配准完成后，对两幅图像进行归一化以便于后续处理。归一化的方法可以是最大最小值归一化方法(Min-Max Normalization)，即对于任一图像I，将[I-MIN(I)]/[MAX(I)-MIN(I)]作为归一化后的图像，也可以将[I-MIN(I)]/MAX(I)作为归一化后的图像。归一化处理之后，可以执行步骤S101获取上述差异图像。
步骤S102：对于差异图像中的每一像素，根据该像素预设邻域内各像素的像素值构建特征向量。
本步骤用于以特征强化的方式提取差异图像中每一像素的特征向量。具体地，对于差异图像中的任一像素，可以将该像素预设邻域内各像素的像素值按照预设顺序排列为一行，即可得到该任一像素的特征向量。示例性地，上述邻域是n×n像素大小的正方形区域(n为正整数)，预设顺序可以是：首先按照像素所在的行序号递增、在同一行内按照像素所在的列序号递增，这样每一像素的特征向量为1*N维度(N＝n2)。可以理解，对于图像边缘的像素，可以首先将邻域内的空白位置以零像素值点代替，之后再计算特征向量。
实际应用中，可以通过以下方式获取差异图像中每一像素的特征向量：首先选取n×n像素大小的滑动窗口，将窗口内所有像素点拉伸拼接为一个1×N维的特征向量。接着从左到右、从上至下滑动窗口，得到差异图像上所有像素点的特征向量。此后，将差异图像上所有像素点的特征向量组成一个M×N维的特征矩阵，其中M表示差异图像中所有像素点的总数。
步骤S103：将每一像素的特征向量输入预先训练的像素差异判别模型，得到每一像素对应的判别结果。
在本步骤中，可以将步骤S102中获得的特征矩阵输入预先训练的像素差异判别模型，从而得到差异图像中每一像素的判别结果。上述像素差异判别模型可以基于受限玻尔兹曼机(Restricted Boltzmann Machine，RBM)、深度置信网络(Deep Belief Networks，DBN)或卷积神经网络(Convolutional Neural Networks，CNN)等深度学习算法实现，以下以RBM为例进行说明。
上述像素差异判别模型可以通过以下步骤进行训练：首先获取多组训练数据以及每组训练数据对应的标签值。具体地，任一组训练数据包括预先获得比较结果的两幅图像的级联特征，上述比较结果包括：这两幅图像为有差异图像还是无差异图像，上述级联特征通过以下方式确定：首先分别对两幅图像分别执行前述配准、归一化等步骤，之后确定每幅图像的多个SIFT特征点进而将SIFT特征点的向量(该向量可以是32维或128维)组合为图像的SIFT特征。需要说明的是，上述步骤可以在每幅图像中确定相同数量的SIFT特征点，从而使两幅图像的SIFT特征具有点数层面的相同维度。此后，将两幅图像的SIFT特征拼接，并使用主成分分析方法执行降维处理，得到上述级联特征。
此后，将多组训练数据输入像素差异判别模型，并基于相应的标签值最小化为像素差异判别模型预设的损失函数。示例性地，首先初始化RBM参数，设置4个隐含层，每一层节点数目分别为250、150、100、2，每个隐含层为一个RBM，每一层训练50代。接着，使用多组训练数据进行训练，得到模型的权重和偏置。此后，使用最小交叉熵的BP(BackPropagation，前馈)网络对RBM训练网络进行微调，训练代数为50代，最后即可得到训练好的像素差异判别模型。在步骤S103中，将差异图像中每一像素的特征向量输入训练好的像素差异判别模型之后，即可得到每一像素对应的判别结果，即该像素对应的两幅待比较图像中的两个像素存在差异或不存在差异。
步骤S104：依据每一像素对应的判别结果确定待比较的两幅图像的比较结果。
在本发明实施例中，如果判别结果为存在差异的像素在差异图像所有像素中的占比大于预设比例，则将待比较的两幅图像确定为有差异图像，并将该占比确定为待比较的两幅图像的像素级差异程度；如果判别结果为存在差异的像素在差异图像所有像素中的占比不大于该比例，则将待比较的两幅图像确定为无差异图像。
作为一个优选方案，在将待比较的两幅图像确定为有差异图像后，可以获取判别结果为存在差异的像素的空间分布信息，并结合该两幅图像的像素级差异程度和空间分布信息来确定该两幅图像的综合差异程度。例如，如果待比较的两幅图像的像素级差异程度为5％，同时判别结果为存在差异的像素的空间分布信息显示这些像素形成预设形状(如圆形)，则可以根据预设策略将两幅图像的综合差异程度确定为15％。
图2是本发明实施例中图像比较方法的具体实现示意图，如图2所示，外部的各种客户端系统(如各种APP、微信、Web网站)可以直接使用本发明相关系统提供的服务接口，通过HTTP(HyperText Transfer Protocol，超文本传输协议)服务进行交互。客户端上传待比较的两幅图像之后，首先基于颜色特征和纹理特征进行一致性初判，当判断为不一致时，确定两幅图像为有差异图像并执行下一次图像比较；当判断为一致时，执行后续流程。之后，对两幅图像进行配准、校正(包括裁剪为相同大小的图像)以及归一化。接着，获取两幅图像的差异图像，并通过特征变换提取差异图像中每一像素的特征向量输入图像判别模型(即像素差异判别模型)，得到每一像素的类别(即判别结果)，最终得到两幅图像的比较结果反馈给客户端。
图3是本发明实施例中图像比较方法的系统架构示意图。如图3所示，客户前端系统用于收集用户上传的两幅待比较图像；后台鉴定系统用于整体负责图像比较任务和流程控制；图像预处理引擎用于完成图像的一致性初判、配准、校正等预处理操作；图像鉴定引擎用于完成像素的差异性判定进而获得最终的图像比较结果；运维管理系统负责日志管理、服务鉴权管理等功能。通过以上设置，本发明能够使图像比较基于手机等终端随时随地进行，从而降低相关成本，实现实时比较。由于在前述提取像素的特征向量时执行了特征强化，因此本发明能够适用于手机拍照件、扫描件等不同质量的图像的比较。
在本发明实施例的技术方案中，首先获取待比较的两幅图像的差异图像，根据邻域的像素值构建差异图像中每一像素的特征向量，接着将每一像素的特征向量输入预先训练的像素差异判别模型，从而得到每一像素对应的判别结果，此后依据每一像素对应的判别结果确定待比较的两幅图像的比较结果。通过以上步骤，本发明能够基于深度学习技术从像素级别检测图像差异，从而大幅提高图像比较准确性。本发明提出的图像比较方法，可以应用在视频目标检测(例如将不同图像帧进行比较从而发现目标)、安防入侵检测(例如将正常图像与待判别图像进行比较从而判断是否发生入侵)、图像语义分割(例如将图像中的像素根据像素级差异程度进行分割)、指纹鉴定(对指纹图像进行比较)等场景，以下将以不同的实施例分别说明上述图像比较方法在艺术品鉴定领域、医疗影像判读领域、图像检索领域的应用。
实施例二
本实施例应用在艺术品鉴定领域。字画等艺术品通常具有很高的单价，因此，对其真伪的鉴定对于避免客户和拍卖行的损失具有非常重要的意义。目前对于艺术品鉴定的方式主要依靠专家的经验、历史溯源、附属品(使用的纸张、附属的挂件等)等综合评估的方式实现。但是，随着材料、工程等工艺的进步，赝品造假的逼真度和细粒度可以骗过人眼，达到以假乱真。在本实施例中，可以根据前述图像比较方法从像素级别对艺术品的真伪进行鉴定。
本发明实施例的艺术品鉴定方法可以包括以下步骤：
第一，获取待鉴定的艺术品图像与相应的真品图像的差异图像。实际应用中，可以首先确定艺术品图像和真品图像的对数图像，之后将两幅对数图像相减从而得到差异图像。可以理解，在执行本步骤之前，可以对艺术品图像和真品图像执行前述一致性初判、图像配准、归一化等步骤。
第二，对于差异图像中的每一像素，根据该像素预设邻域内各像素的像素值构建特征向量。具体地，对于差异图像中的任一像素，将该像素预设邻域内各像素的像素值按照预设顺序排列为一维，即可得到任一像素的特征向量。由于特征变换的相关内容已在前文说明，此处不再重复。
第三，将每一像素的特征向量输入预先训练的像素差异判别模型，得到每一像素对应的判别结果。像素差异判别模型的实现方式已在前文说明，此处不再重复。
像素差异判别模型可以通过以下步骤进行训练：首先获取多组训练数据以及每组训练数据对应的标签值。其中，任一组训练数据包括预先获得鉴定结果(即真品或赝品)的艺术品图像与相应的真品图像的级联特征，上述级联特征是由该艺术品图像和该真品图像的同维度SIFT特征(即两幅图像具有相同的SIFT特征点)拼接并经降维处理后形成的，该组训练数据对应的标签值为预先获得的该鉴定结果。此后，将多组训练数据输入像素差异判别模型，并基于相应的标签值最小化为像素差异判别模型预设的损失函数。
第四，依据每一像素对应的判别结果(即存在差异或不存在差异)确定艺术品的鉴定结果。具体地，在判别结果为存在差异的像素占比大于预设比例时，将艺术品确定为赝品，将该占比确定为艺术品的像素级风险概率值；在判别结果为存在差异的像素占比不大于该比例时，将艺术品确定为真品。特别地，在将艺术品确定为赝品后，可以获取判别结果为存在差异的像素的空间分布信息，结合艺术品的像素级风险概率值和空间分布信息确定艺术品的综合风险概率值。例如，如果某艺术品的像素级风险概率值为5％，同时判别结果为存在差异的像素的空间分布信息显示这些像素形成预设形状(如花瓣形)，则说明该花瓣可能是被人伪造的、差异较为明显的部分，由此可以根据预设策略将艺术品的综合风险概率值确定为30％。
以上艺术品鉴定方法可通过相应接口向APP、微信、Web网站等各种外部系统开放，从而使艺术品鉴定可以基于手机等移动终端随时随地进行，由此降低鉴定成本，实现实时鉴定。
实施例三
本实施例应用在医疗影像判读领域。目前，医疗影像一般由医生进行人工判读，据统计误判率高达40％，因此本发明提出一种基于深度学习的医疗影像判读方法，执行步骤如下：
第一，获取同一患者的待判读影像(可以是当前时期影像，也可以是历史时期影像)和相应的历史时期影像的差异图像。具体地，首先确定待判读影像和历史时期影像的对数图像，接着将两幅对数图像相减，从而得到差异图像。可以理解，在执行本步骤之前，可以对待判读影像和历史时期影像执行前述一致性初判、图像配准、归一化等步骤。
第二，对于差异图像中的每一像素，根据该像素预设邻域内各像素的像素值构建特征向量。具体地，对于差异图像中的任一像素，将该像素预设邻域内各像素的像素值按照预设顺序排列为一维，即可得到任一像素的特征向量。由于特征变换的相关内容已在前文说明，此处不再重复。
第三，将每一像素的特征向量输入预先训练的像素差异判别模型，得到每一像素对应的判别结果。像素差异判别模型的实现方式已在前文说明，此处不再重复。
像素差异判别模型可以通过以下步骤进行训练：首先获取多组训练数据以及每组训练数据对应的标签值。其中，任一组训练数据包括预先获得判断结果(即一幅影像相对于另一幅影像是否提示病情变化)的两幅影像的级联特征，上述级联特征是由该两幅影像的同维度SIFT特征拼接并经降维处理后形成的，该组训练数据对应的标签值为预先获得的该判断结果。此后，将多组训练数据输入像素差异判别模型，并基于标签值最小化为像素差异判别模型预设的损失函数。
第四，依据每一像素对应的判别结果(即存在差异或不存在差异)判断待判读影像相对于历史时期影像是否提示病情变化。实际应用中，如果判别结果为存在差异的像素占比大于预设比例时，则判断待判读影像相对于历史时期影像提示病情变化，并将该占比确定为像素级变化程度；如果判别结果为存在差异的像素占比不大于该比例，则判断待判读影像相对于历史时期影像未提示病情变化。较佳地，如果判断待判读影像相对于历史时期影像提示病情变化，可以获取判别结果为存在差异的像素的空间分布信息，结合像素级变化程度和空间分布信息确定待判读影像相对于历史时期影像提示的综合变化程度。例如，如果待判读影像的像素级变化程度为2％，同时判别结果为存在差异的像素的空间分布信息显示这些像素形成预设形状(如结节)，则可将待判读影像相对于历史时期影像提示的综合变化程度确定为5％，并在待判读影像上展示上述结节。
本发明实施例的医疗影像判读方法能够适用于CT(计算机断层扫描)、核磁、X光等各种影像，从而使病变的微观鉴定成为可能。
实施例四
本实施例的图像检索方法应用在以图搜图领域，其具体执行以下步骤：
第一，获取检索输入图像与图像库中任一本地图像的差异图像。具体地，首先确定检索输入图像与任一本地图像的对数图像，此后将两幅对数图像相减，以得到差异图像。可以理解，在执行本步骤之前，可以对检索输入图像和本地图像执行前述一致性初判、图像配准、归一化等步骤。
第二，对于差异图像中的每一像素，根据该像素预设邻域内各像素的像素值构建特征向量。具体地，对于差异图像中的任一像素，将该像素预设邻域内各像素的像素值按照预设顺序排列为一维，即可得到任一像素的特征向量。由于特征变换的相关内容已在前文说明，此处不再重复。
第三，将每一像素的特征向量输入预先训练的像素差异判别模型，得到每一像素对应的判别结果。像素差异判别模型的实现方式已在前文说明，此处不再重复。
像素差异判别模型可以通过以下步骤进行训练：首先获取多组训练数据以及每组训练数据对应的标签值。其中，任一组训练数据包括预先获得比较结果的两幅图像的级联特征，上述级联特征是由该两幅图像的同维度SIFT特征拼接并经降维处理后形成的，该组训练数据对应的标签值为预先获得的该比较结果，该比较结果是该两幅图像为有差异图像或无差异图像；之后将多组训练数据输入像素差异判别模型，并基于相应的标签值最小化为像素差异判别模型预设的损失函数。
第四，依据每一像素对应的判别结果(即存在差异和不存在差异)确定检索输入图像与该本地图像的像素级差异程度。具体地，将判别结果为存在差异的像素占比确定为检索输入图像与该本地图像的像素级差异程度。
第五，将与检索输入图像的像素级差异程度符合预设条件的本地图像确定为检索输入图像对应的检索结果。具体应用中，可以将本地图像按照与检索输入图像的像素级差异程度从小到大的顺序排列，并将排列在前的预设数量的本地图像确定为检索输入图像对应的检索结果；也可以根据需要将像素级差异程度最小的本地图像直接确定为检索输入图像对应的检索结果。
需要说明的是，对于前述的各方法实施例，为了便于描述，将其表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，某些步骤事实上可以采用其它顺序进行或者同时进行。此外，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是实现本发明所必须的。
为便于更好的实施本发明实施例的上述方案，下面还提供用于实施上述方案的相关装置。
请参阅图4所示，本发明实施例提供的图像比较装置400可以包括：第一差异图像获取单元401、第一特征向量构建单元402、第一像素判别单元403和图像比较单元404。
其中，第一差异图像获取单元401可用于获取待比较的两幅图像的差异图像；第一特征向量构建单元402可用于：对于所述差异图像中的每一像素，根据该像素预设邻域内各像素的像素值构建特征向量；第一像素判别单元403可用于将每一像素的特征向量输入预先训练的像素差异判别模型，得到每一像素对应的判别结果；图像比较单元404可用于依据每一像素对应的判别结果确定待比较的两幅图像的比较结果。
在本发明实施例中，第一差异图像获取单元401可进一步用于：确定待比较的两幅图像的对数图像；将两幅对数图像相减，以得到所述差异图像。
具体应用中，第一特征向量构建单元402可进一步用于：对于所述差异图像中的任一像素，将该像素预设邻域内各像素的像素值按照预设顺序排列，得到所述任一像素的特征向量。
在一些实施例中，所述像素差异判别模型通过以下步骤进行训练：获取多组训练数据以及每组训练数据对应的标签值；其中，任一组训练数据包括预先获得比较结果的两幅图像的级联特征，所述级联特征是由该两幅图像的同维度尺度不变特征转换SIFT特征拼接并经降维处理后形成的，该组训练数据对应的标签值为预先获得的该比较结果；将所述多组训练数据输入所述像素差异判别模型，并基于所述标签值最小化为所述像素差异判别模型预设的损失函数。
作为一个优选方案，所述判别结果包括：存在差异和不存在差异；图像比较单元404可进一步用于：在判别结果为存在差异的像素占比大于预设比例时，将待比较的两幅图像确定为有差异图像，将该占比确定为待比较的两幅图像的像素级差异程度；在判别结果为存在差异的像素占比不大于该比例时，将待比较的两幅图像确定为无差异图像。
较佳地，图像比较单元404可进一步用于：在将待比较的两幅图像确定为有差异图像后，获取判别结果为存在差异的像素的空间分布信息，结合该两幅图像的像素级差异程度和所述空间分布信息确定该两幅图像的综合差异程度。
实际应用中，所述装置400可进一步包括预处理单元，其用于：在获取所述差异图像之前，获取待比较的两幅图像的全局颜色特征和纹理特征，根据所述全局颜色特征确定待比较的两幅图像的颜色相似度，根据所述纹理特征确定待比较的两幅图像的纹理相似度；在所述颜色相似度小于预设的第一相似度阈值并且所述纹理相似度小于预设的第二相似度阈值时，将待比较的两幅图像确定为有差异图像。
在一可选实现方式中，预处理单元可进一步用于：在所述颜色相似度不小于预设的第一相似度阈值或所述纹理相似度不小于预设的第二相似度阈值时，获取待比较的两幅图像的尺度不变特征转换SIFT特征点；利用所述SIFT特征点确定待比较的两幅图像之间的空间关系变换矩阵，基于所述空间关系变换矩阵将待比较的两幅图像中的一幅图像配准到另一幅图像上。
此外，在本发明实施例中，预处理单元可进一步用于：对配准后的两幅图像执行最大最小值归一化处理。
图5是本发明实施例中艺术品鉴定装置的组成部分示意图，如图5所述，本发明实施例的艺术品鉴定装置500可以包括：第二差异图像获取单元501、第二特征向量构建单元502、第二像素判别单元503、和鉴定单元504。
其中，第二差异图像获取单元501可用于获取待鉴定的艺术品图像与相应的真品图像的差异图像；第二特征向量构建单元502可用于：对于所述差异图像中的每一像素，根据该像素预设邻域内各像素的像素值构建特征向量；第二像素判别单元503可用于将每一像素的特征向量输入预先训练的像素差异判别模型，得到每一像素对应的判别结果；鉴定单元504可用于依据每一像素对应的判别结果确定所述艺术品的鉴定结果。
在本发明实施例中，第二差异图像获取单元501可进一步用于：确定所述艺术品图像和所述真品图像的对数图像；将两幅对数图像相减，以得到所述差异图像。
作为一个优选方案，第二特征向量构建单元502可进一步用于：对于所述差异图像中的任一像素，将该像素预设邻域内各像素的像素值按照预设顺序排列，得到所述任一像素的特征向量。
较佳地，所述像素差异判别模型可以通过以下步骤进行训练：获取多组训练数据以及每组训练数据对应的标签值；其中，任一组训练数据包括预先获得鉴定结果的艺术品图像与相应的真品图像的级联特征，所述级联特征是由该艺术品图像和该真品图像的同维度尺度不变特征转换SIFT特征拼接并经降维处理后形成的，该组训练数据对应的标签值为预先获得的该鉴定结果；将所述多组训练数据输入所述像素差异判别模型，并基于所述标签值最小化为所述像素差异判别模型预设的损失函数。
具体应用中，所述判别结果包括：存在差异和不存在差异；鉴定单元504可进一步用于：在判别结果为存在差异的像素占比大于预设比例时，将所述艺术品确定为赝品，将该占比确定为所述艺术品的像素级风险概率值；在判别结果为存在差异的像素占比不大于该比例时，将所述艺术品确定为真品。
此外，在本发明实施例中，鉴定单元504可进一步用于：在将所述艺术品确定为赝品后，获取判别结果为存在差异的像素的空间分布信息，结合所述艺术品的像素级风险概率值和所述空间分布信息确定所述艺术品的综合风险概率值。
图6是本发明实施例中医疗影像判读装置的组成部分示意图，如图6所示，本发明实施例的医疗影像判读装置600可以包括：第三差异图像获取单元601、第三特征向量构建单元602、第三像素判别单元603和判读单元604。
其中，第三差异图像获取单元601可用于获取同一患者的待判读影像和相应的历史时期影像的差异图像；第三特征向量构建单元602可用于：对于所述差异图像中的每一像素，根据该像素预设邻域内各像素的像素值构建特征向量；第三像素判别单元603可用于将每一像素的特征向量输入预先训练的像素差异判别模型，得到每一像素对应的判别结果；判读单元604可用于依据每一像素对应的判别结果判断待判读影像相对于所述历史时期影像是否提示病情变化。
在本发明实施例中，第三差异图像获取单元601可进一步用于：确定所述待判读影像和所述历史时期影像的对数图像；将两幅对数图像相减，以得到所述差异图像。
具体应用中，第三特征向量构建单元602可进一步用于：对于所述差异图像中的任一像素，将该像素预设邻域内各像素的像素值按照预设顺序排列，得到所述任一像素的特征向量。
实际应用中，所述像素差异判别模型可以通过以下步骤进行训练：获取多组训练数据以及每组训练数据对应的标签值；其中，任一组训练数据包括预先获得判断结果的两幅影像的级联特征，所述级联特征是由该两幅影像的同维度尺度不变特征转换SIFT特征拼接并经降维处理后形成的，该组训练数据对应的标签值为预先获得的该判断结果；将所述多组训练数据输入所述像素差异判别模型，并基于所述标签值最小化为所述像素差异判别模型预设的损失函数。
作为一个优选方案，所述判别结果包括：存在差异和不存在差异；判读单元604可进一步用于：在判别结果为存在差异的像素占比大于预设比例时，判断待判读影像相对于所述历史时期影像提示病情变化，将该占比确定为像素级变化程度；在判别结果为存在差异的像素占比不大于该比例时，判断待判读影像相对于所述历史时期影像未提示病情变化。
较佳地，判读单元604可进一步用于：在判断待判读影像相对于所述历史时期影像提示病情变化后，获取判别结果为存在差异的像素的空间分布信息，结合所述像素级变化程度和所述空间分布信息确定待判读影像相对于所述历史时期影像提示的综合变化程度。
图7是本发明实施例中图像检索装置的组成部分示意图，如图7所示，本发明实施例的图像检索装置700可以包括：第四差异图像获取单元701、第四特征向量构建单元702、第四像素判别单元703、差异程度计算单元704和检索结果匹配单元705。
其中，第四差异图像获取单元701可用于获取检索输入图像与图像库中任一本地图像的差异图像；第四特征向量构建单元702可用于：对于所述差异图像中的每一像素，根据该像素预设邻域内各像素的像素值构建特征向量；第四像素判别单元703可用于将每一像素的特征向量输入预先训练的像素差异判别模型，得到每一像素对应的判别结果；差异程度计算单元704可用于依据每一像素对应的判别结果确定检索输入图像与该本地图像的像素级差异程度；检索结果匹配单元705可用于将与检索输入图像的像素级差异程度符合预设条件的本地图像确定为检索输入图像对应的检索结果。
在本发明实施例中，第四差异图像获取单元701可进一步用于：确定检索输入图像与所述任一本地图像的对数图像；将两幅对数图像相减，以得到所述差异图像。
具体应用中，第四特征向量构建单元702可进一步用于：对于所述差异图像中的任一像素，将该像素预设邻域内各像素的像素值按照预设顺序排列，得到所述任一像素的特征向量。
实际应用中，所述像素差异判别模型可以通过以下步骤进行训练：获取多组训练数据以及每组训练数据对应的标签值；其中，任一组训练数据包括预先获得比较结果的两幅图像的级联特征，所述级联特征是由该两幅图像的同维度尺度不变特征转换SIFT特征拼接并经降维处理后形成的，该组训练数据对应的标签值为预先获得的该比较结果，该比较结果是该两幅图像为有差异图像或无差异图像；将所述多组训练数据输入所述像素差异判别模型，并基于所述标签值最小化为所述像素差异判别模型预设的损失函数。
作为一个优选方案，所述判别结果包括：存在差异和不存在差异；差异程度计算单元704可进一步用于：将判别结果为存在差异的像素占比确定为检索输入图像与该本地图像的像素级差异程度。
较佳地，检索结果匹配单元705可进一步用于：将本地图像按照与检索输入图像的像素级差异程度从小到大的顺序排列；将排列在前的预设数量的本地图像确定为检索输入图像对应的检索结果。
在本发明实施例的技术方案中，首先获取待比较的两幅图像的差异图像，根据邻域的像素值构建差异图像中每一像素的特征向量，接着将每一像素的特征向量输入预先训练的像素差异判别模型，从而得到每一像素对应的判别结果，此后依据每一像素对应的判别结果确定待比较的两幅图像的比较结果。通过以上步骤，本发明能够基于深度学习技术从像素级别检测图像差异，从而大幅提高图像比较准确性。
图8示出了可以应用本发明实施例的图像比较方法或装置的示例性系统架构800。
如图8所示，系统架构800可以包括终端设备801、802、803，网络804和服务器805(此架构仅仅是示例，具体架构中包含的组件可以根据申请具体情况调整)。网络804用以在终端设备801、802、803和服务器805之间提供通信链路的介质。网络804可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等。
用户可以使用终端设备801、802、803通过网络804与服务器805交互，以接收或发送消息等。终端设备801、802、803上可以安装有各种客户端应用，例如用于图像比较的应用(仅为示例)。
终端设备801、802、803可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器805可以是提供各种服务的服务器，例如对用户利用终端设备801、802、803所操作的用于图像比较的应用提供支持的图像比较服务器(仅为示例)。图像比较服务器可以对接收到的图像比较请求进行处理，并将处理结果(例如图像比较结果--仅为示例)反馈给终端设备801、802、803。
需要说明的是，本发明实施例所提供的图像比较方法一般由服务器805执行，相应地，图像比较装置一般设置于服务器805中。
应该理解，图8中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。图8所展示的系统架构也可以应用于本发明实施例的艺术品鉴定方法或装置、医疗影像判读方法或装置、图像检索方法或装置。
本发明还提供了一种电子设备。本发明实施例的电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明所提供的图像比较方法、艺术品鉴定方法、医疗影像判读方法或图像检索方法。
下面参考图9，其示出了适于用来实现本发明实施例的电子设备的计算机系统900的结构示意图。图9示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图9所示，计算机系统900包括中央处理单元(CPU)901，其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。在RAM903中，还存储有计算机系统900操作所需的各种程序和数据。CPU901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
以下部件连接至I/O接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便从其上读出的计算机程序根据需要被安装入存储部分908。
特别地，根据本发明公开的实施例，上文的主要步骤图描述的过程可以被实现为计算机软件程序。例如，本发明实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行主要步骤图所示的方法的程序代码。在上述实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元901执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。在本发明中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这根据所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括第一差异图像获取单元、第一特征向量构建单元、第一像素判别单元和图像比较单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一差异图像获取单元还可以被描述为“向第一特征向量构建单元提供差异图像的单元”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中的。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该设备执行时，使得该设备执行的步骤包括：获取待比较的两幅图像的差异图像；对于所述差异图像中的每一像素，根据该像素预设邻域内各像素的像素值构建特征向量；将每一像素的特征向量输入预先训练的像素差异判别模型，得到每一像素对应的判别结果；依据每一像素对应的判别结果确定待比较的两幅图像的比较结果；或者，获取待鉴定的艺术品图像与相应的真品图像的差异图像；对于所述差异图像中的每一像素，根据该像素预设邻域内各像素的像素值构建特征向量；将每一像素的特征向量输入预先训练的像素差异判别模型，得到每一像素对应的判别结果；依据每一像素对应的判别结果确定所述艺术品的鉴定结果；或者，获取同一患者的待判读影像和相应的历史时期影像的差异图像；对于所述差异图像中的每一像素，根据该像素预设邻域内各像素的像素值构建特征向量；将每一像素的特征向量输入预先训练的像素差异判别模型，得到每一像素对应的判别结果；依据每一像素对应的判别结果判断待判读影像相对于所述历史时期影像是否提示病情变化；或者，获取检索输入图像与图像库中任一本地图像的差异图像；对于所述差异图像中的每一像素，根据该像素预设邻域内各像素的像素值构建特征向量；将每一像素的特征向量输入预先训练的像素差异判别模型，得到每一像素对应的判别结果；依据每一像素对应的判别结果确定检索输入图像与该本地图像的像素级差异程度；将与检索输入图像的像素级差异程度符合预设条件的本地图像确定为检索输入图像对应的检索结果。
在本发明实施例的技术方案中，首先获取待比较的两幅图像的差异图像，根据邻域的像素值构建差异图像中每一像素的特征向量，接着将每一像素的特征向量输入预先训练的像素差异判别模型，从而得到每一像素对应的判别结果，此后依据每一像素对应的判别结果确定待比较的两幅图像的比较结果。通过以上步骤，本发明能够基于深度学习技术从像素级别检测图像差异，从而大幅提高图像比较准确性。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (12)
1.一种图像比较方法，其特征在于，包括：
获取待比较的两幅图像的差异图像；
对于所述差异图像中的每一像素，根据该像素预设邻域内各像素的像素值构建特征向量；
将每一像素的特征向量输入预先训练的像素差异判别模型，得到每一像素对应的判别结果；
依据每一像素对应的判别结果确定待比较的两幅图像的比较结果。
2.根据权利要求1所述的方法，其特征在于，所述获取待比较的两幅图像的差异图像，包括：
将待比较的两幅图像转换为灰度图像后，分别确定两幅灰度图像的对数图像；
将两幅对数图像相减之后取绝对值，得到所述差异图像。
3.根据权利要求1所述的方法，其特征在于，所述根据该像素预设邻域内各像素的像素值构建特征向量，包括：
对于所述差异图像中的任一像素，将该像素预设邻域内各像素的像素值按照预设顺序排列，得到所述任一像素的特征向量。
4.根据权利要求1所述的方法，其特征在于，所述像素差异判别模型通过以下步骤进行训练：
获取多组训练数据以及每组训练数据对应的标签值；其中，任一组训练数据包括预先获得比较结果的两幅图像的级联特征，所述级联特征是由该两幅图像的同维度尺度不变特征转换SIFT特征拼接并经降维处理后形成的，该组训练数据对应的标签值为预先获得的该比较结果；
将所述多组训练数据输入所述像素差异判别模型，并基于所述标签值最小化为所述像素差异判别模型预设的损失函数。
5.根据权利要求1所述的方法，其特征在于，所述判别结果包括：存在差异和不存在差异；以及，所述依据每一像素对应的判别结果确定待比较的两幅图像的比较结果，包括：
在判别结果为存在差异的像素占比大于预设比例时，将待比较的两幅图像确定为有差异图像，将该占比确定为待比较的两幅图像的像素级差异程度；
在判别结果为存在差异的像素占比不大于该比例时，将待比较的两幅图像确定为无差异图像。
6.根据权利要求5所述的方法，其特征在于，所述方法进一步包括：
在将待比较的两幅图像确定为有差异图像后，获取判别结果为存在差异的像素的空间分布信息，结合该两幅图像的像素级差异程度和所述空间分布信息确定该两幅图像的综合差异程度。
7.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：
在获取所述差异图像之前，获取待比较的两幅图像的全局颜色特征和纹理特征，根据所述全局颜色特征确定待比较的两幅图像的颜色相似度，根据所述纹理特征确定待比较的两幅图像的纹理相似度；
在所述颜色相似度小于预设的第一相似度阈值并且所述纹理相似度小于预设的第二相似度阈值时，将待比较的两幅图像确定为有差异图像。
8.根据权利要求7所述的方法，其特征在于，所述方法进一步包括：
在所述颜色相似度不小于预设的第一相似度阈值或所述纹理相似度不小于预设的第二相似度阈值时，获取待比较的两幅图像的尺度不变特征转换SIFT特征点；
利用所述SIFT特征点确定待比较的两幅图像之间的空间关系变换矩阵，基于所述空间关系变换矩阵将待比较的两幅图像中的一幅图像配准到另一幅图像上。
9.根据权利要求1-8任一项所述的方法，其特征在于，所述待比较的两幅图像包括：待鉴定的艺术品图像与相应的真品图像，所述判别结果包括：存在差异和不存在差异；以及，所述方法进一步包括：
在判别结果为存在差异的像素占比大于预设比例时，将所述艺术品确定为赝品，将该占比确定为所述艺术品的像素级风险概率值；
在判别结果为存在差异的像素占比不大于该比例时，将所述艺术品确定为真品；
在将所述艺术品确定为赝品后，获取判别结果为存在差异的像素的空间分布信息，结合所述艺术品的像素级风险概率值和所述空间分布信息确定所述艺术品的综合风险概率值；
或者
所述待比较的两幅图像包括：同一患者的待判读影像和相应的历史时期影像；所述判别结果包括：存在差异和不存在差异；以及，所述方法进一步包括：
在判别结果为存在差异的像素占比大于预设比例时，判断待判读影像相对于所述历史时期影像提示病情变化，将该占比确定为像素级变化程度；
在判别结果为存在差异的像素占比不大于该比例时，判断待判读影像相对于所述历史时期影像未提示病情变化；
在判断待判读影像相对于所述历史时期影像提示病情变化后，获取判别结果为存在差异的像素的空间分布信息，结合所述像素级变化程度和所述空间分布信息确定待判读影像相对于所述历史时期影像提示的综合变化程度。
10.根据权利要求1-8任一项所述的方法，其特征在于，所述待比较的两幅图像包括：获取检索输入图像与图像库中任一本地图像；所述判别结果包括：存在差异和不存在差异；以及，所述方法进一步包括：
将判别结果为存在差异的像素占比确定为检索输入图像与该本地图像的像素级差异程度；
将本地图像按照与检索输入图像的像素级差异程度从小到大的顺序排列；
将排列在前的预设数量的本地图像确定为检索输入图像对应的检索结果。
11.一种图像比较装置，其特征在于，包括：
第一差异图像获取单元，用于获取待比较的两幅图像的差异图像；
第一特征向量构建单元，用于：对于所述差异图像中的每一像素，根据该像素预设邻域内各像素的像素值构建特征向量；
第一像素判别单元，用于将每一像素的特征向量输入预先训练的像素差异判别模型，得到每一像素对应的判别结果；
图像比较单元，用于依据每一像素对应的判别结果确定待比较的两幅图像的比较结果。
12.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-10中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011348972.1A CN112464803A (zh) | 2020-11-26 | 2020-11-26 | 图像比较方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011348972.1A CN112464803A (zh) | 2020-11-26 | 2020-11-26 | 图像比较方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112464803A true CN112464803A (zh) | 2021-03-09 |
Family
ID=74808642
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011348972.1A Pending CN112464803A (zh) | 2020-11-26 | 2020-11-26 | 图像比较方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112464803A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108205810A (zh) * | 2016-12-16 | 2018-06-26 | 富士通株式会社 | 图像比较装置及方法、电子设备 |
| CN114004852A (zh) * | 2021-10-15 | 2022-02-01 | 深圳市亚略特生物识别科技有限公司 | 一种指纹生成方法、装置、电子设备及存储介质 |
| CN114419349A (zh) * | 2022-03-30 | 2022-04-29 | 中国科学技术大学 | 一种图像匹配方法和装置 |
| CN114841785A (zh) * | 2022-05-17 | 2022-08-02 | 青海师范大学 | 一种基于图像特征对比和区块链的画作拍卖方法 |
| CN117346657A (zh) * | 2023-10-07 | 2024-01-05 | 上海勃傲自动化系统有限公司 | 一种基于5g相机的事件触发方法和系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103353989A (zh) * | 2013-06-18 | 2013-10-16 | 西安电子科技大学 | 基于先验和融合灰度与纹理特征的sar图像变化检测方法 |
| CN103456020A (zh) * | 2013-09-08 | 2013-12-18 | 西安电子科技大学 | 基于treelet特征融合的遥感图像变化检测方法 |
| CN104809732A (zh) * | 2015-05-07 | 2015-07-29 | 山东鲁能智能技术有限公司 | 一种基于图像比对的电力设备外观异常检测方法 |
| CN105844279A (zh) * | 2016-03-22 | 2016-08-10 | 西安电子科技大学 | 基于深度学习和sift特征的sar图像变化检测方法 |
| WO2020015075A1 (zh) * | 2018-07-18 | 2020-01-23 | 平安科技（深圳）有限公司 | 人脸图像比对方法、装置、计算机设备及存储介质 |
| CN111179230A (zh) * | 2019-12-18 | 2020-05-19 | 星际空间（天津）科技发展有限公司 | 遥感影像对比变化检测方法、装置、存储介质及电子设备 |
-
2020
- 2020-11-26 CN CN202011348972.1A patent/CN112464803A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103353989A (zh) * | 2013-06-18 | 2013-10-16 | 西安电子科技大学 | 基于先验和融合灰度与纹理特征的sar图像变化检测方法 |
| CN103456020A (zh) * | 2013-09-08 | 2013-12-18 | 西安电子科技大学 | 基于treelet特征融合的遥感图像变化检测方法 |
| CN104809732A (zh) * | 2015-05-07 | 2015-07-29 | 山东鲁能智能技术有限公司 | 一种基于图像比对的电力设备外观异常检测方法 |
| CN105844279A (zh) * | 2016-03-22 | 2016-08-10 | 西安电子科技大学 | 基于深度学习和sift特征的sar图像变化检测方法 |
| WO2020015075A1 (zh) * | 2018-07-18 | 2020-01-23 | 平安科技（深圳）有限公司 | 人脸图像比对方法、装置、计算机设备及存储介质 |
| CN111179230A (zh) * | 2019-12-18 | 2020-05-19 | 星际空间（天津）科技发展有限公司 | 遥感影像对比变化检测方法、装置、存储介质及电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| 张海波 著, 河北科学技术出版社 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108205810A (zh) * | 2016-12-16 | 2018-06-26 | 富士通株式会社 | 图像比较装置及方法、电子设备 |
| CN114004852A (zh) * | 2021-10-15 | 2022-02-01 | 深圳市亚略特生物识别科技有限公司 | 一种指纹生成方法、装置、电子设备及存储介质 |
| CN114419349A (zh) * | 2022-03-30 | 2022-04-29 | 中国科学技术大学 | 一种图像匹配方法和装置 |
| CN114419349B (zh) * | 2022-03-30 | 2022-07-15 | 中国科学技术大学 | 一种图像匹配方法和装置 |
| CN114841785A (zh) * | 2022-05-17 | 2022-08-02 | 青海师范大学 | 一种基于图像特征对比和区块链的画作拍卖方法 |
| CN117346657A (zh) * | 2023-10-07 | 2024-01-05 | 上海勃傲自动化系统有限公司 | 一种基于5g相机的事件触发方法和系统 |
| CN117346657B (zh) * | 2023-10-07 | 2024-03-19 | 上海勃傲自动化系统有限公司 | 一种基于5g相机的事件触发方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112464803A (zh) | 图像比较方法和装置 | |
| CN108446390B (zh) | 用于推送信息的方法和装置 | |
| CN108875522B (zh) | 人脸聚类方法、装置和系统及存储介质 | |
| WO2020006961A1 (zh) | 用于提取图像的方法和装置 | |
| US8750573B2 (en) | Hand gesture detection | |
| WO2021139324A1 (zh) | 图像识别方法、装置、计算机可读存储介质及电子设备 | |
| CN106408037B (zh) | 图像识别方法及装置 | |
| CN108229418B (zh) | 人体关键点检测方法和装置、电子设备、存储介质和程序 | |
| CN111597884A (zh) | 面部动作单元识别方法、装置、电子设备及存储介质 | |
| CN108985190B (zh) | 目标识别方法和装置、电子设备、存储介质 | |
| CN112528866A (zh) | 跨模态人脸识别方法、装置、设备及存储介质 | |
| US20100092026A1 (en) | Method, apparatus and computer program product for providing pattern detection with unknown noise levels | |
| CN111814821A (zh) | 深度学习模型的建立方法、样本处理方法及装置 | |
| CN108399401B (zh) | 用于检测人脸图像的方法和装置 | |
| CN112507897A (zh) | 跨模态人脸识别方法、装置、设备及存储介质 | |
| CN112766284A (zh) | 图像识别方法和装置、存储介质和电子设备 | |
| CN113642639A (zh) | 活体检测方法、装置、设备和存储介质 | |
| CN111340213A (zh) | 神经网络的训练方法、电子设备、存储介质 | |
| KR101961462B1 (ko) | 객체 인식 방법 및 장치 | |
| CN111461152B (zh) | 货物检测方法及装置、电子设备和计算机可读介质 | |
| CN108921792B (zh) | 用于处理图片的方法和装置 | |
| CN108446737B (zh) | 用于识别对象的方法和装置 | |
| CN111402177A (zh) | 一种清晰度检测方法、系统、设备和介质 | |
| CN115631370A (zh) | 一种基于卷积神经网络的mri序列类别的识别方法及装置 | |
| KR102342495B1 (ko) | 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |