CN109598299A - 一种图像相似度确定方法、装置及电子设备 - Google Patents

一种图像相似度确定方法、装置及电子设备 Download PDF

Info

Publication number
CN109598299A
CN109598299A CN201811446134.0A CN201811446134A CN109598299A CN 109598299 A CN109598299 A CN 109598299A CN 201811446134 A CN201811446134 A CN 201811446134A CN 109598299 A CN109598299 A CN 109598299A
Authority
CN
China
Prior art keywords
image
determined
similarity
standard picture
psnr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811446134.0A
Other languages
English (en)
Inventor
张永杰
毛也
宁德金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Weimeng Chuangke Network Technology China Co Ltd
Original Assignee
Weimeng Chuangke Network Technology China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Weimeng Chuangke Network Technology China Co Ltd filed Critical Weimeng Chuangke Network Technology China Co Ltd
Priority to CN201811446134.0A priority Critical patent/CN109598299A/zh
Publication of CN109598299A publication Critical patent/CN109598299A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像相似度确定方法、装置及电子设备,该方法包括:根据待确定图像和标准图像的均方误差,计算所述待确定图像的峰值信噪比;若所述待确定图像的峰值信噪比小于峰值信噪比阈值,根据所述待确定图像相对于所述标准图像的亮度相似度、对比度相似度以及构图相似度的至少一个确定所述待确定图像相对于所述标准图像的相似度。

Description

一种图像相似度确定方法、装置及电子设备
技术领域
本申请涉及计算机技术领域,尤其涉及一种图像相似度确定方法、装置及电子设备。
背景技术
互联网技术的发展使图像数据实现了海量传播,在图像数据海量传播过程中,容易形成大量相同图像,相同图像过多造成了存储空间的浪费,准确识别相同图像有利于图像后续处理。
目前,可通过比对两个图像文件的MD5值或者二进制值是否一致来判断两个图像文件是否一致,但当图像文件仅格式发生变化时,会造成MD5值和二进制值发生变化,最终造成图像相似度判定准确率低。
发明内容
本申请实施例提供了一种图像相似度确定方法、装置及电子设备,可以提高图像相似度比对的准确率。
为解决上述技术问题,本申请实施例是这样实现的:
第一方面,提出了一种图像相似度确定方法,所述方法包括:
根据待确定图像和标准图像的均方误差,计算所述待确定图像的峰值信噪比;
若所述待确定图像的峰值信噪比小于峰值信噪比阈值,根据所述待确定图像相对于所述标准图像的亮度相似度、对比度相似度以及构图相似度的至少一个确定所述待确定图像相对于所述标准图像的相似度。
第二方面,提出了一种图像相似度确定装置,所述装置包括:
计算模块,用于根据待确定图像和标准图像的均方误差,计算所述待确定图像的峰值信噪比;
确定模块,用于若所述待确定图像的峰值信噪比小于峰值信噪比阈值,根据所述待确定图像相对于所述标准图像的亮度相似度、对比度相似度以及构图相似度的至少一个确定所述待确定图像相对于所述标准图像的相似度。
第三方面,提出了一种电子设备,包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使用所述处理器执行以下操作:
根据待确定图像和标准图像的均方误差,计算所述待确定图像的峰值信噪比;
若所述待确定图像的峰值信噪比小于峰值信噪比阈值,根据所述待确定图像相对于所述标准图像的亮度相似度、对比度相似度以及构图相似度的至少一个确定所述待确定图像相对于所述标准图像的相似度。
第四方面,提出了一种计算机可读存储介质,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被包括多个应用程序的电子设备执行时,使得所述电子设备执行以下操作:
根据待确定图像和标准图像的均方误差,计算所述待确定图像的峰值信噪比;
若所述待确定图像的峰值信噪比小于峰值信噪比阈值,根据所述待确定图像相对于所述标准图像的亮度相似度、对比度相似度以及构图相似度的至少一个确定所述待确定图像相对于所述标准图像的相似度。
由以上本申请实施例提供的技术方案可见,本申请实施例提供的方案至少具备如下一种技术效果:首先通过计算待确定图像的峰值信噪比获得待确定图像相对于标准图像的细节相似度,随后通过计算待确定图像相对于所述标准图像的亮度相似度、对比度相似度以及构图相似度获得待确定图像相对于标准图像的结构属性相似度,将细节相似度和表征主观感受的结构属性相似度相结合,可更好的模拟人眼进行比对的特点,避免通过文件格式数值判断相似度造成的准确率低的问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是本申请实施例提供的一种图像相似度确定方法的流程示意图;
图2是本申请实施例中通过计算结构相似度SSIM值确定图像相似度的方法的详细流程示意图;
图3是本申请实施例提供的一种电子设备的结构示意图;
图4是本申请实施例提供的一种图像相似度确定装置的结构示意图;
图5是本申请实施例中通过计算结构相似度SSIM值确定图像相似度的装置的详细结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为了解决图像相似度确定过程的比对准确率低的问题,本说明书实施例提供一种图像相似度确定方法及装置,该方法和装置的执行主体可以是终端设备也可以是服务器。
作为一个例子,本说明书实施例提供的一种图像相似度确定方法及装置的应用场景,可以是针对相似图像的判定和去重,也可以是相同图像不同格式转码质量的评价,其应用对象可以是互联网中传输的海量图片文件,也可以是将视频解码拆帧的图像帧。
如前所述,现有技术判断图像的相似度,通常首先获取图像文件的MD5值、SHA-1值或者二进制值,随后比对两个图像以上各值是否一致,从而判断它们之间的相似度。如图像文件经过格式转换,文件的二进制值等会发生变化,相似度判断的准确率降低。鉴于此,本说明书提供了一种图像相似度确定方法及装置以解决该问题。
下面结合附图1至图2对本说明书实施例提供的一种图像相似度确定方法进行详细的说明。
如图1所示,本说明书实施例提供的一种图像相似度确定方法,可以包括如下步骤:
步骤102、根据待确定图像和标准图像的均方误差,计算所述待确定图像的峰值信噪比。
其中,待确定图像是需要确定其相似度的图像,标准图像是参考图像,待确定图像的相似度即是相对于标准图像的相似度。本步骤中,首先计算待确定图像和标准图像的均方误差,随后,通过待确定图像和标准图像的均方误差进一步计算待确定图像的峰值信噪比PSNR值。
具体的,待确定图像和标准图像的均方误差是基于待确定图像和标准图像同一位置像素的像素值的差别,经统计计算获得的待确定图像和标准图像基于像素值的均方误差,待确定图像和标准图像的均方误差(Mean-Square Error,MSE)可以通过以下公式进行计算:
其中,X为待确定图像,Y为标准图像,H、W分别为图像在高度和宽度方向的像素个数。i和j为像素点在图像高度和宽度坐标系的位置,X(i,j)表示待确定图像X在(i,j)位置的像素值,Y(i,j)表示标准图像Y在(i,j)位置的像素值。MSE表征了图像在像素层次的细节相似度,其对比的基础是两个图像同一位置像素的像素值。
需要说明的是,像素值可以是该像素的灰度值,也可以是该像素在三个基色分量的像素值。
根据待确定图像和标准图像的均方误差,计算待确定图像的峰值信噪比(PeakSignal to Noise Ratio,PSNR),具体可以通过以下公式进行计算:
其中,PSNR是标准图像与待确定图像之间的均方误差相对于(2^n-1)^2的对数值(信号最大值的平方,n是每个采样值的比特数),它的单位是dB。在本发明中,PSNR为待确定图像的峰值信噪比,n为每像素的比特数。通常来说,峰值信噪比的数值越大,则代表待确定图像和标准图像的差别越小,相似度越高;峰值信噪比的数值越小,则代表待确定图像和标准图像的差别越大,相似度越低。
在一个例子中,步骤102中的待确定图像和标准图像的均方误差以及待确定图像的峰值信噪比PSNR均是基于图像的灰度值计算获得,具体可以包括:
首先将待确定图像和标准图像转换为灰度图像,灰度图像通常显示为从最暗黑色到最亮的白色的灰度,理论上这个采样可以任何颜色的不同深浅,甚至可以是不同亮度上的不同颜色。灰度图像的转换方法通常有平均值法、整数方法、移位方法、浮点算法等,本示例中采用浮点算法将每一个像素的RGB(R,G,B)转换为Gray,浮点算法的公式为:
Gray=R*0.3+G*0.59+B*0.11
通过浮点算法获得像素灰度值后,将像素灰度值代入公式:
通过对待确定图像和标准图像同一位置像素的灰度值进行计算,可以获得待确定图像和标准图像基于像素灰度值的均方误差MSEgray,将MSEgray代入峰值信噪比公式:
在本公式中n(像素的比特数)取8,即像素灰阶数为256,经公式计算获得PSNRgray,即待确定图像和标准图像基于像素灰度值的峰值信噪比。
在另一个例子中,步骤102中的待确定图像和标准图像的均方误差以及待确定图像的峰值信噪比PSNR均是基于图像RGB三个基色分量,最终获得的PSNR可以是基于三个基色分量中的任意一个基色分量计算的峰值信噪比,也可以是三个基色分量的峰值信噪比的均值,以下具体说明:
其中,基于三个基色分量中的任意一个基色分量,计算获得峰值信噪比的具体过程可以包括:
计算待确定图像和标准图像在基色R分量的均方误差,经以下公式:
将待确定图像和标准图像同一位置像素在基色R的像素值代入以上公式,计算获得待确定图像和标准图像基于基色R像素值的均方误差MSER,随后可以将MSER代入峰值信噪比公式:
经公式计算获得待确定图像和标准图像基于基色R像素值的峰值信噪比PSNRR,将PSNRR作为待确定图像的峰值信噪比PSNR。同样的方式,可以计算获得待确定图像和标准图像基于基色G或B像素值的峰值信噪比PSNRG和PSNRB,PSNRG和PSNRB均可以作为待确定图像的峰值信噪比PSNR。
另外,基于三个基色分量的峰值信噪比的均值,计算获得峰值信噪比的具体过程可以包括:
分别计算待确定图像和标准图像在RGB三个基色分量的均方误差,经以下公式:
分别计算获得待确定图像和标准图像基于三个基色分量像素值的均方误差MSER、MSEG和MSEB,随后三个基色分量的均方误差MSER、MSEG和MSEB分别代入峰值信噪比公式:
经公式计算分别获得待确定图像和标准图像基于三个基色分量像素值的峰值信噪比PSNRR、PSNRG和PSNRB,随后通过以下公式可以计算PSNRR、PSNRG和PSNRB的均值:
PSNR=(PSNRR+PSNRG+PSNRB)/3
将经上述公式计算获得的峰值信噪比均值作为待确定图像的PSNR。
可以理解,无论是转换为像素灰度值,还是直接采用像素三个基色分量值进行计算,峰值信噪比PSNR都是基于对应像素点间的误差,即基于误差敏感的相似度评价方法,采用计算峰值信噪比的方式进行初步比对,可以较为准确的获得待确定图像和标准图像在细节层次的相似度对比结果,获取峰值信噪比PSNR对于最终判定图像相似度具有重要意义。
步骤104、若所述待确定图像的峰值信噪比小于峰值信噪比阈值,根据所述待确定图像相对于所述标准图像的亮度相似度、对比度相似度以及构图相似度的至少一个确定所述待确定图像相对于所述标准图像的相似度。
判断待确定图像的峰值信噪比PSNR是否小于峰值信噪比阈值,其中,峰值信噪比阈值可以为30~50数值范围中的任意值,具体的取值通常根据图像相似度判断场景来确定,当对图像相似度判断的要求较高时,如刑侦方面需求,则选取较高的数值作为峰值信噪比阈值,当对图像相似度判断的要求较低时,如娱乐图片去重需求,则选取较低的数值作为峰值信噪比阈值。
当待确定图像的峰值信噪比PSNR小于峰值信噪比阈值时,说明从图像的像素层次初步判断出待确定图像与标准图像相似度较低。此时,还可以结合待确定图像相对于标准图像的亮度、对比度和/或结构的相似度来进一步判断它们之间是否相似,通过这种两步判断的方式可以进一步提高识别的准确性。
此处需要说明的是,由于在实际应用中,通常PSNR低于20dB即可以表示待确定图像和标准图像差别较大,PSNR高于40说明待确定图像和标准图像相似度较高。因此,本发明的判断步骤中,若待确定图像的峰值信噪比PSNR不仅小于峰值信噪比阈值(比如30),而且还小于峰值信噪比第二阈值(比如20),则确定待确定图像和标准图像差别较大,从而不进行下一步计算。其中,峰值信噪比第二阈值小于峰值信噪比阈值,并且PSNR小于峰值信噪比第二阈值通常反映出待确定图像和标准图像差别较大。
可以理解,该步骤主要考虑模拟人眼的视觉特性,比如人眼对空间频率较低的对比差异敏感度较高,人眼对亮度对比差异的敏感度较色度高,人眼对一个区域的感知结果会受到其周围邻近区域的影响等。因此,在待确定图像相对于标准图像的像素层次的细节相似度不够高时,需要结合模拟人眼视觉特性的亮度、对比度和构图相似度综合判断。将细节相似度和人眼视觉特性结合考虑,可以提高图像相似度确定的准确率。
作为一个例子,步骤104具体可以包括:若所述待确定图像的峰值信噪比小于峰值信噪比阈值,则可以根据以下方式计算待确定图像相对于所述标准图像的亮度相似度、对比度相似度以及构图相似度,将待确定图像相对于所述标准图像的亮度相似度、对比度相似度和/或构图相似度作为待确定图像相对于所述标准图像的相似度,比如可以有如下几种方式确定待确定图像相对于标准图像的相似度。
方式一:将待确定图像相对于标准图像的亮度相似度,作为待确定图像相对于标准图像的相似度。
通过以下公式,可以计算待确定图像X所有像素的像素值的均值μx
同理可以计算出标准图像Y所有像素的像素值的均值μy,将μx、μy代入以下公式,可以计算待确定图像相对于所述标准图像的亮度相似度l(X,Y):
其中,C1为常数,通常可以取C1=(K1×L)^2,一般地K1=0.01,L=255。通常来说,像素值的均值可以体现图像亮度的明暗,因此,通过以上公式可以计算待确定图像相对于所述标准图像的亮度相似度,可以表示待确定图像和标准图像在亮度上是否相似。可以将待确定图像相对于所述标准图像的亮度相似度作为所述待确定图像相对于所述标准图像的相似度。
方式二:将待确定图像相对于标准图像的对比度相似度,作为待确定图像相对于标准图像的相似度。
通过以下公式,可以计算待确定图像X所有像素的像素值的方差σX
同理可以计算出标准图像Y所有像素的像素值的均值σY,将σX、σY代入以下公式,可以计算待确定图像相对于所述标准图像的对比度相似度C(X,Y):
其中,C2为常数,通常取C2=(K2×L)^2,一般地K2=0.03,L=255。通常来说,像素值的方差可以体现图像对比度的高低,因此,通过以上公式可以计算待确定图像相对于所述标准图像的对比度相似度,可以表示待确定图像和标准图像在对比度上是否相似。可以将待确定图像相对于所述标准图像的对比度相似度作为所述待确定图像相对于所述标准图像的相似度。
方式三:将待确定图像相对于标准图像的构图相似度,作为待确定图像相对于标准图像的相似度。
通过以下公式,可以计算待确定图像X和标准图像Y所有像素的像素值的协方差σXY
将σXY代入以下公式,可以计算待确定图像相对于所述标准图像的构图相似度S(X,Y):
其中,C3为常数,通常取C3==(K2×L)^2/2,一般地K2=0.03,L=255。通常来说,像素值的方差和协方差的结合,可以体现图像构图相似度的高低,因此,通过以上公式可以计算待确定图像相对于所述标准图像的构图相似度,可以表示待确定图像和标准图像在结构上是否相似。可以将待确定图像相对于所述标准图像的构图相似度作为所述待确定图像相对于所述标准图像的相似度。除以上三种方式外,还可以将方式一获得的亮度相似度、方式二获得的对比度相似度以及方式三获得的构图相似度中的任意两个,经过计算作为所述待确定图像相对于所述标准图像的相似度;还可以将方式一获得的亮度相似度、方式二获得的对比度相似度以及方式三获得的构图相似度相结合,经计算获得的结果作为所述待确定图像相对于所述标准图像的相似度。具体的结合计算方式可以是将任意两种相似度或三种相似度相乘、加权求和或者求取均值。
需要说明的是,以上各个方式中计算相似度的数值可以是图像像素灰度值,也可以是图像像素在三个基色分量的像素值,以下对亮度相似度、对比度相似度以及构图相似度三者相结合进行计算,最终获取相似度的方式进行详细阐述。
在一个例子中,步骤104中的待确定图像相对于所述标准图像三个基色分量的亮度相似度、对比度相似度以及构图相似度是基于图像的灰度计算获得,具体可以包括:首先判断待确定图像的峰值信噪比是否小于峰值信噪比阈值,若待确定图像的峰值信噪比小于峰值信噪比阈值,则将待确定图像和标准图像转换为灰度图像,本示例中采用浮点算法将每一个像素的RGB(R,G,B)转换为Gray,浮点算法的公式为:
Gray=R*0.3+G*0.59+B*0.11
通过浮点算法获得像素灰度值后,将像素灰度值代入公式:
经计算获得待确定图像相对于标准图像基于像素灰度值的亮度相似度lgray(X,Y)、对比度相似度Cgray(X,Y)以及构图相似度Sgray(X,Y),三种相似度选择至少一种作为待确定图像相对于标准图像的相似度。除此之外,还可以将亮度相似度lgray(X,Y)、对比度相似度Cgray(X,Y)和构图相似度Sgray(X,Y)中任意两个相乘的结果作为待确定图像相对于标准图像的相似度,或者lgray(X,Y)、对比度相似度Cgray(X,Y)和构图相似度Sgray(X,Y)三者相乘的结果作为待确定图像相对于标准图像的相似度。
在另一个例子中,步骤104中的待确定图像相对于所述标准图像三个基色分量的亮度相似度、对比度相似度以及构图相似度是基于图像RGB三个基色分量进行的分别计算,具体可以包括:首先判断待确定图像的峰值信噪比是否小于峰值信噪比阈值,若待确定图像的峰值信噪比小于峰值信噪比阈值,随后按照以下公式进行计算:
通过以上公式,分别计算待确定图像X相对于所述标准图像Y在三个基色分量R、G、B的亮度相似度、对比度相似度以及构图相似度。可以选择其中至少一种作为待确定图像相对于标准图像的相似度。
更为具体的,如图2所示,步骤104可以包括如下子步骤:
子步骤201、若所述待确定图像的峰值信噪比小于峰值信噪比阈值,计算所述待确定图像相对于所述标准图像三个基色分量的亮度相似度、对比度相似度以及构图相似度。
具体的,首先判断待确定图像的峰值信噪比是否小于峰值信噪比阈值,若待确定图像的峰值信噪比小于峰值信噪比阈值,随后经公式分别计算待确定图像X相对于所述标准图像Y在三个基色分量RGB的亮度相似度lR(X,Y)、lG(X,Y)、lB(X,Y),对比度相似度CR(X,Y)、CG(X,Y)、CB(X,Y),以及构图相似度SR(X,Y)、SG(X,Y)、SB(X,Y)。
子步骤203、根据所述待确定图像相对于所述标准图像三个基色分量的亮度相似度、对比度相似度以及构图相似度,分别计算所述待确定图像所述三个基色分量的结构相似度SSIM值。
具体的,根据待确定图像X相对于所述标准图像Y在三个基色分量RGB的亮度相似度lR(X,Y)、lG(X,Y)、lB(X,Y),对比度相似度CR(X,Y)、CG(X,Y)、CB(X,Y),以及构图相似度SR(X,Y)、SG(X,Y)、SB(X,Y),计算待确定图像所述三个基色分量的结构相似度SSIM值:
SSIMR(X,Y)=lR(X,Y)CR(X,Y)SR(X,Y)
SSIMG(X,Y)=lG(X,Y)CG(X,Y)SG(X,Y)
SSIMB(X,Y)=lB(X,Y)CB(X,Y)SB(X,Y)
需要说明的是,结构相似度SSIM参数可以衡量两幅图像相似度,其值越大越好,最大为1。结构相似性理论认为,自然图像信号是高度结构化的,即像素间有很强的相关性,特别是空域中最接近的像素,这种相关性蕴含着视觉场景中物体结构的重要信息。作为结构相似性理论的实现,结构相似度指数从图像组成的角度将结构信息定义为独立于亮度、对比度的,反映场景中物体结构的属性,并将失真建模为亮度、对比度和结构三个不同因素的组合。
子步骤205、计算所述三个基色分量的结构相似度SSIM值的均值,作为所述待确定图像相对于所述标准图像的相似度。
具体的,通过公式SSIM=(SSIMR+SSIMG+SSIMB)/3计算三个基色分量的结构相似度SSIM值的均值,该均值作为待确定图像相对于标准图像的相似度。
可以理解,通过上述方法计算获得的结构相似度SSIM值是结合了亮度相似度、对比度相似度和构图相似度三个角度的属性相似度,充分考虑了人眼的视觉特征,最大程度上模拟了人眼进行图像相似度确定的原理,并且计算过程是基于三个基色分量分别计算后合并获得,图像相似度确定的准确率高。
在一个例子中,在步骤104获得待确定图像相对于标准图像的相似度后,判断待确定图像相对于标准图像的相似度是否高于相似度阈值,若待确定图像相对于标准图像的相似度高于相似度阈值,则判定所述待确定图像和所述标准图像一致。其中,相似度阈值可以为0.9~1.0数值范围中的任意数值。具体的取值通常根据图像相似度判断场景来确定,当对图像相似度判断的要求较高时,如刑侦方面需求,则选取较高的数值作为相似度阈值,当对图像相似度判断的要求较低时,如娱乐图片去重需求,则选取较低的数值作为相似度阈值。
在另一个例子中,在步骤102根据待确定图像和标准图像的均方误差之前,分别从待确定视频和标准视频任意提取同一时刻对应图像帧,作为所述待确定图像和所述标准图像。其中,待确定视频和标准视频可以为任意的两个视频,也可以为来源自同一视频文件的不同视频质量的两个视频,可以理解为同一视频经不同转码策略形成的分辨率、码率、帧率或格式不同的两个视频文件。具体的,首先将待确定视频和标准视频进行解码拆帧,随后按照时间轴提取同一时刻待确定视频和标准视频对应的图像帧,将其作为待确定图像和标准图像。
需要说明的是,判断待确定视频和标准视频的相似度时,可以逐帧进行比对,若所有对应图像帧均判定一致,则可以判断待确定视频和标准视频一致;也可以在时间轴随机提取预定数量的同一时刻图像帧,若预定数量的图像帧均判定一致,则可以判断待确定视频和标准视频一致;还可以首先提取待确定视频和标准视频的关键帧,若同一时刻对应的关键帧判定一致,则可以判断待确定视频和标准视频一致。
此处举例进行说明,在实际的视频比对场景下,以实际使用场景中的200个视频文件(该200个文件已通过人眼一对一比对均一致),视频总大小1.5G作为测试样本。分别采用本说明书实施例、对比图像文件二进制值以及对比图像文件MD5值三种方法进行视频一致性比对。
具体的,方法一采用本说明书实施例:将待确定视频和标准视频拆解为图像帧,根据时间轴选取同一时刻图像帧作为待确定图像和标准图像;分别计算待确定图像和标准图像在RGB三个基色分量的均方误差,并根据三个基色的均方误差计算对应的峰值信噪比;计算三个基色分量的峰值信噪比的均值,作为待确定图像的峰值信噪比;若待确定图像的峰值信噪比小于峰值信噪比阈值,分别计算待确定图像相对于标准图像在三个基色分量RGB的亮度相似度、对比度相似度以及构图相似度;根据待确定图像相对于标准图像三个基色分量的亮度相似度、对比度相似度以及构图相似度,分别计算待确定图像三个基色分量的结构相似度SSIM值;计算所述三个基色分量的结构相似度SSIM值的均值,作为所述待确定图像相对于所述标准图像的相似度;若待确定图像相对于标准图像的相似度高于相似度阈值,则判定所述待确定图像和所述标准图像一致;若待确定视频和标准视频的所有同一时刻对应图像帧均一致,则判定待确定视频和标准视频一致。
方法二为对比图像文件二进制值:计算获得待确定视频和标准视频的二进制值,若待确定视频和标准视频的二进制值一致,则判定待确定视频和标准视频一致。
方法三为对比图像文件MD5值:计算获得待确定视频和标准视频的MD5值,若待确定视频和标准视频的MD5值一致,则判定待确定视频和标准视频一致。
按照以上三种方法对视频一致性进行比对,过程中记录各个方法各自的一致性比对成功率,结果显示,本说明书实施例的视频一致性比对准确率明显高于对比图像文件二进制值以及对比图像文件MD5值两种方法。
可以理解,无论是对比视频文件的MD5值还是二进制值,当待确定视频视频文件仅仅是格式发生变化时,其MD5值和二进制值也会相应发生变化,在判断视频一致性时,会由于MD5值或者二进制值不一致而判定待确定视频和标准视频不一致,最终造成通过对比视频文件的MD5值或二进制值判定视频一致的准确率低。而本说明书实施例的方法,是基于视频文件的图像帧的像素值进行计算,即便视频文件格式发生变化,但图像帧的像素值并未改变,同时,本说明书实施例的方法,通过峰值信噪比和结构相似度结合来确定图像相似度,即综合考虑了图像在细节上和模拟人眼主观感受两方面因素的影响,判定结果的准确率高。
以上是对本说明书提供一种图像相似度确定方法的说明,下面对本说明书提供的电子设备进行介绍。
图3是本说明书的一个实施例提供的电子设备的结构示意图。请参考图3,在硬件层面,该电子设备包括处理器,可选地还包括内部总线、网络接口、存储器。其中,存储器可能包含内存,例如高速随机存取存储器(Random-Access Memory,RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少1个磁盘存储器等。当然,该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接,该内部总线可以是ISA(Industry Standard Architecture,工业标准体系结构)总线、PCI(PeripheralComponent Interconnect,外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture,扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图3中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
存储器,用于存放程序。具体地,程序可以包括程序代码,所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器,并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,在逻辑层面上形成图像相似度确定装置。处理器,执行存储器所存放的程序,并具体用于执行以下操作:
根据待确定图像和标准图像的均方误差,计算所述待确定图像的峰值信噪比;
若所述待确定图像的峰值信噪比小于峰值信噪比阈值,根据所述待确定图像相对于所述标准图像的亮度相似度、对比度相似度以及构图相似度的至少一个确定所述待确定图像相对于所述标准图像的相似度。
上述如本说明书图1所示实施例揭示的图像相似度确定方法可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书一个或多个实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书一个或多个实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
该电子设备还可执行图1的图像相似度确定方法,本说明书在此不再赘述。
当然,除了软件实现方式之外,本说明书的电子设备并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
本说明书实施例还提出了一种计算机可读存储介质,该计算机可读存储介质存储一个或多个程序,该一个或多个程序包括指令,该指令当被包括多个应用程序的便携式电子设备执行时,能够使该便携式电子设备执行图1所示实施例的方法,并具体用于执行以下操作:
根据待确定图像和标准图像的均方误差,计算所述待确定图像的峰值信噪比;
若所述待确定图像的峰值信噪比小于峰值信噪比阈值,根据所述待确定图像相对于所述标准图像的亮度相似度、对比度相似度以及构图相似度的至少一个确定所述待确定图像相对于所述标准图像的相似度。
下面对本说明书提供的一种图像相似度确定装置进行说明。
图4是本说明书提供的图像相似度确定装置400的结构示意图。请参考图4,在一种软件实施方式中,图像相似度确定装置400可包括:计算模块401和确定模块402。
计算模块401,用于根据待确定图像和标准图像的均方误差,计算所述待确定图像的峰值信噪比;
确定模块402,用于若所述待确定图像的峰值信噪比小于峰值信噪比阈值,根据所述待确定图像相对于所述标准图像的亮度相似度、对比度相似度以及构图相似度的至少一个确定所述待确定图像相对于所述标准图像的相似度。
可以理解,本说明书实施例的装置,可以基于视频文件的图像帧的像素值进行计算,即便视频文件格式发生变化,也不会影响判断结果,同时,本说明书实施例的装置,通过峰值信噪比和结构相似度结合来确定图像相似度,即综合考虑了图像在细节上和模拟人眼主观感受两方面因素的影响,判定结果的准确率高。
具体的,计算模块401,可以根据所述待确定图像和所述标准图像三个基色分量的均方误差,分别计算所述待确定图像所述三个基色分量的峰值信噪比;计算所述三个基色分量的峰值信噪比的均值,作为所述待确定图像的峰值信噪比。
更为具体的,如图5所示,确定模块402可以包括:第一判断子模块501、第一计算子模块502、第一确定子模块503。
第一判断子模块501,可用于判断所述待确定图像的峰值信噪比是否小于峰值信噪比阈值;若符合,第一计算子模块502;否则,不做任何处理。
第一计算子模块502,用于计算所述待确定图像相对于所述标准图像三个基色分量的亮度相似度、对比度相似度以及构图相似度,并根据所述待确定图像相对于所述标准图像三个基色分量的亮度相似度、对比度相似度以及构图相似度,分别计算所述待确定图像所述三个基色分量的结构相似度SSIM值。
第一确定子模块503,用于确定所述三个基色分量的结构相似度SSIM值的均值为所述待确定图像相对于所述标准图像的相似度。
也即在该具体实施方式中,计算待确定图像所述三个基色分量的结构相似度SSIM值的平均值,将结构相似度SSIM值的均值作为所述待确定图像相对于所述标准图像的相似度。
作为一个例子,图像相似度确定装置400还包括:判定模块403,用于若所述待确定图像相对于所述标准图像的相似度高于相似度阈值,判定所述待确定图像和所述标准图像一致。
作为另一个例子,图像相似度确定装置400还包括:提取模块404,用于分别从待确定视频和标准视频任意提取同一时刻对应图像帧,作为所述待确定图像和所述标准图像。
也即在该具体实施方式中,先将待确定视频和标准视频进行解码拆帧,随后按照时间轴提取同一时刻待确定视频和标准视频对应的图像帧,将其作为待确定图像和标准图像。
可以理解,在待确定图像相对于标准图像的像素层次的细节相似度不够高时,需要结合模拟人眼视觉特性的亮度、对比度和构图相似度综合判断。因此,将细节相似度和人眼视觉特性结合考虑,可以提高图像相似度确定的准确率。
需要说明的是,图像相似度确定装置400能够实现图1的方法实施例的方法,具体可参考图1所示实施例的图像相似度确定方法,不再赘述。
总之,以上所述仅为本说明书的较佳实施例而已,并非用于限定本说明书的保护范围。凡在本说明书一个或多个实施例的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本说明书一个或多个实施例的保护范围之内。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制时,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

Claims (10)

1.一种图像相似度确定方法,其特征在于,所述方法包括:
根据待确定图像和标准图像的均方误差,计算所述待确定图像的峰值信噪比;
若所述待确定图像的峰值信噪比小于峰值信噪比阈值,根据所述待确定图像相对于所述标准图像的亮度相似度、对比度相似度以及构图相似度的至少一个确定所述待确定图像相对于所述标准图像的相似度。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若所述待确定图像相对于所述标准图像的相似度高于相似度阈值,判定所述待确定图像和所述标准图像一致。
3.根据权利要求1所述的方法,其特征在于,所述根据待确定图像和标准图像的均方误差,计算所述待确定图像的峰值信噪比,包括:
根据所述待确定图像和所述标准图像三个基色分量的均方误差,分别计算所述待确定图像所述三个基色分量的峰值信噪比;
计算所述三个基色分量的峰值信噪比的均值,作为所述待确定图像的峰值信噪比。
4.根据权利要求1所述的方法,其特征在于,所述根据所述待确定图像相对于所述标准图像的亮度相似度、对比度相似度以及构图相似度的至少一个确定所述待确定图像相对于所述标准图像的相似度,包括:
当根据所述待确定图像相对于所述标准图像的亮度相似度、对比度相似度以及构图相似度确定所述待确定图像相对于所述标准图像的相似度时,根据所述待确定图像相对于所述标准图像三个基色分量的亮度相似度、对比度相似度以及构图相似度,分别计算所述待确定图像三个基色分量的结构相似度SSIM值;
计算所述三个基色分量的结构相似度SSIM值的均值,作为所述待确定图像相对于所述标准图像的相似度。
5.根据权利要求1所述的方法,其特征在于,所述根据待确定图像和标准图像的均方误差之前,还包括:
分别从待确定视频和标准视频任意提取同一时刻对应图像帧,作为所述待确定图像和所述标准图像。
6.一种图像相似度确定装置,包括:
计算模块,用于根据待确定图像和标准图像的均方误差,计算所述待确定图像的峰值信噪比;
确定模块,用于若所述待确定图像的峰值信噪比小于峰值信噪比阈值,根据所述待确定图像相对于所述标准图像的亮度相似度、对比度相似度以及构图相似度的至少一个确定所述待确定图像相对于所述标准图像的相似度。
7.根据权利要求6所述的装置,其特征在于,还包括:
判定模块,用于若所述待确定图像相对于所述标准图像的相似度高于相似度阈值,判定所述待确定图像和所述标准图像一致。
8.根据权利要求6所述的装置,其特征在于,还包括:
提取模块,用于分别从待确定视频和标准视频任意提取同一时刻对应图像帧,作为所述待确定图像和所述标准图像。
9.一种电子设备,包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使用所述处理器执行以下操作:
根据待确定图像和标准图像的均方误差,计算所述待确定图像的峰值信噪比;
若所述待确定图像的峰值信噪比小于峰值信噪比阈值,根据所述待确定图像相对于所述标准图像的亮度相似度、对比度相似度以及构图相似度的至少一个确定所述待确定图像相对于所述标准图像的相似度。
10.一种计算机可读介质,所述计算机可读介质存储一个或多个程序,所述一个或多个程序当被包括多个应用程序的电子设备执行时,使得所述电子设备执行以下操作:
根据待确定图像和标准图像的均方误差,计算所述待确定图像的峰值信噪比;
若所述待确定图像的峰值信噪比小于峰值信噪比阈值,根据所述待确定图像相对于所述标准图像的亮度相似度、对比度相似度以及构图相似度的至少一个确定所述待确定图像相对于所述标准图像的相似度。
CN201811446134.0A 2018-11-29 2018-11-29 一种图像相似度确定方法、装置及电子设备 Pending CN109598299A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811446134.0A CN109598299A (zh) 2018-11-29 2018-11-29 一种图像相似度确定方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811446134.0A CN109598299A (zh) 2018-11-29 2018-11-29 一种图像相似度确定方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN109598299A true CN109598299A (zh) 2019-04-09

Family

ID=65959764

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811446134.0A Pending CN109598299A (zh) 2018-11-29 2018-11-29 一种图像相似度确定方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN109598299A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111079793A (zh) * 2019-11-21 2020-04-28 北京云聚智慧科技有限公司 图标相似度的确定方法和电子设备
CN111091146A (zh) * 2019-12-10 2020-05-01 广州品唯软件有限公司 图片相似度获取方法、装置、计算机设备及存储介质
CN111260623A (zh) * 2020-01-14 2020-06-09 广东小天才科技有限公司 图片评价方法、装置、设备及存储介质
CN112528937A (zh) * 2020-12-22 2021-03-19 嘉洋智慧安全生产科技发展(北京)有限公司 一种视频抽油机启停的检测方法
CN113283332A (zh) * 2021-05-20 2021-08-20 国电南瑞科技股份有限公司 一种消防机器人火焰识别方法、设备及存储介质
CN113807389A (zh) * 2021-08-03 2021-12-17 嘉洋智慧安全生产科技发展(北京)有限公司 一种确定目标对象动态的方法、装置及电子设备
CN113852800A (zh) * 2020-06-28 2021-12-28 深圳Tcl新技术有限公司 一种显示画面的测试方法、终端及存储介质
CN115033740A (zh) * 2022-08-09 2022-09-09 杭州实在智能科技有限公司 一种rpa流程视频关键帧抽取和元素定位方法
CN115190359A (zh) * 2022-05-12 2022-10-14 南京奥拓电子科技有限公司 一种视频播放格式自动转换方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982535A (zh) * 2012-11-02 2013-03-20 天津大学 基于psnr和ssim的立体图像质量评价方法
CN105528776A (zh) * 2015-08-07 2016-04-27 上海仙梦软件技术有限公司 针对jpeg图像格式的显著性细节保持的质量评价方法
CN106170087A (zh) * 2015-05-22 2016-11-30 特克特朗尼克公司 异常像素检测
CN107767350A (zh) * 2017-10-17 2018-03-06 青岛海信医疗设备股份有限公司 视频图像还原方法及装置
CN108230409A (zh) * 2018-03-28 2018-06-29 南京大学 基于颜色和内容多因素综合的图像相似性定量分析方法
CN108876756A (zh) * 2017-05-09 2018-11-23 普天信息技术有限公司 图像相似性的度量方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982535A (zh) * 2012-11-02 2013-03-20 天津大学 基于psnr和ssim的立体图像质量评价方法
CN106170087A (zh) * 2015-05-22 2016-11-30 特克特朗尼克公司 异常像素检测
CN105528776A (zh) * 2015-08-07 2016-04-27 上海仙梦软件技术有限公司 针对jpeg图像格式的显著性细节保持的质量评价方法
CN108876756A (zh) * 2017-05-09 2018-11-23 普天信息技术有限公司 图像相似性的度量方法和装置
CN107767350A (zh) * 2017-10-17 2018-03-06 青岛海信医疗设备股份有限公司 视频图像还原方法及装置
CN108230409A (zh) * 2018-03-28 2018-06-29 南京大学 基于颜色和内容多因素综合的图像相似性定量分析方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王鑫等: "基于冗余字典学习的图像修补算法", 《计算机工程与应用》 *
黄晓生等: "基于小波高频结构相似的无参考高斯图像质量评价", 《计算机应用》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111079793A (zh) * 2019-11-21 2020-04-28 北京云聚智慧科技有限公司 图标相似度的确定方法和电子设备
CN111091146A (zh) * 2019-12-10 2020-05-01 广州品唯软件有限公司 图片相似度获取方法、装置、计算机设备及存储介质
CN111091146B (zh) * 2019-12-10 2024-02-02 广州品唯软件有限公司 图片相似度获取方法、装置、计算机设备及存储介质
CN111260623A (zh) * 2020-01-14 2020-06-09 广东小天才科技有限公司 图片评价方法、装置、设备及存储介质
CN113852800A (zh) * 2020-06-28 2021-12-28 深圳Tcl新技术有限公司 一种显示画面的测试方法、终端及存储介质
CN112528937A (zh) * 2020-12-22 2021-03-19 嘉洋智慧安全生产科技发展(北京)有限公司 一种视频抽油机启停的检测方法
CN113283332A (zh) * 2021-05-20 2021-08-20 国电南瑞科技股份有限公司 一种消防机器人火焰识别方法、设备及存储介质
CN113807389A (zh) * 2021-08-03 2021-12-17 嘉洋智慧安全生产科技发展(北京)有限公司 一种确定目标对象动态的方法、装置及电子设备
CN115190359A (zh) * 2022-05-12 2022-10-14 南京奥拓电子科技有限公司 一种视频播放格式自动转换方法及系统
CN115033740A (zh) * 2022-08-09 2022-09-09 杭州实在智能科技有限公司 一种rpa流程视频关键帧抽取和元素定位方法

Similar Documents

Publication Publication Date Title
CN109598299A (zh) 一种图像相似度确定方法、装置及电子设备
Liu et al. Image retargeting quality assessment
CN111193923B (zh) 视频质量评估方法、装置、电子设备及计算机存储介质
Gu et al. Saliency-guided quality assessment of screen content images
CN109118470B (zh) 一种图像质量评价方法、装置、终端和服务器
Li et al. Content-partitioned structural similarity index for image quality assessment
Wang et al. Video quality assessment using a statistical model of human visual speed perception
Wang et al. Multiscale structural similarity for image quality assessment
CN108228463B (zh) 用于检测首屏时间的方法和装置
Chen et al. Reference-free quality assessment of sonar images via contour degradation measurement
CN108876756A (zh) 图像相似性的度量方法和装置
CN108230325A (zh) 基于卡通纹理分解的复合降质图像质量评价方法及系统
CN111339884B (zh) 图像识别方法以及相关设备、装置
CN112950579B (zh) 图像质量评价方法、装置和电子设备
Kottayil et al. Blind quality estimation by disentangling perceptual and noisy features in high dynamic range images
CN112906671B (zh) 面审虚假图片识别方法、装置、电子设备及存储介质
CN112132774A (zh) 一种色调映射图像的质量评价方法
CN111311584B (zh) 视频质量评估方法及装置、电子设备、可读介质
CN106686371A (zh) 一种帧率测试方法、装置、设备及系统
CN111914850B (zh) 图片特征提取方法、装置、服务器和介质
Regis et al. Video quality assessment based on the effect of the estimation of the spatial perceptual information
Gao et al. Spatio-temporal salience based video quality assessment
CN109982069B (zh) 呼吸效应的测量方法及系统
Gibson et al. A perceptual based contrast enhancement metric using AdaBoost
CN109840903A (zh) 基于独立成分分析的无参考图像质量评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190409

RJ01 Rejection of invention patent application after publication