CN111695643B - 图像处理方法、装置和电子设备 - Google Patents

图像处理方法、装置和电子设备 Download PDF

Info

Publication number
CN111695643B
CN111695643B CN202010594550.6A CN202010594550A CN111695643B CN 111695643 B CN111695643 B CN 111695643B CN 202010594550 A CN202010594550 A CN 202010594550A CN 111695643 B CN111695643 B CN 111695643B
Authority
CN
China
Prior art keywords
image
evaluation result
images
correlation
repeated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010594550.6A
Other languages
English (en)
Other versions
CN111695643A (zh
Inventor
袁田
李果
樊鸿飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN202010594550.6A priority Critical patent/CN111695643B/zh
Publication of CN111695643A publication Critical patent/CN111695643A/zh
Application granted granted Critical
Publication of CN111695643B publication Critical patent/CN111695643B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种图像处理方法、装置和电子设备,该方法包括:分别对待比较的第一图像和第二图像进行质量评价,得到第一评价结果和第二评价结果;判断第一评价结果和第二评价结果是否满足预设条件;如果满足预设条件,则根据第一图像和第二图像的相关性,确定第一图像和第二图像是否重复。本发明通过评价图像质量的方式初步判断第一图像和第二图像是否重复,如果初步判定重复再根据图像之间的相关性确定图像的重复性,该方式可以发现图像内容之间的较小差异,且该方式计算量较小,因此该方式可以更加快速、准确地确定重复的图像。

Description

图像处理方法、装置和电子设备
技术领域
本发明涉及图像处理技术领域,尤其是涉及一种图像处理方法、装置和电子设备。
背景技术
图像去重是指,对于一个包含有一定数量图像的图像集合,需要检测出图像集合中重复的图像,并从中删除重复的图像,相同或者十分类似的图像只保留一张。
相关技术中,图像去重的方式主要采用PSNR(Peak Signal to Noise Ratio,峰值信噪比)、SSIM(Structural SIMilarity,结构相似性)等方法计算两张图像的相似度,并删除相似度高的两张图像中的任意一张。该方式虽然操作简单,但由于PSNR和SSIM的公式较为复杂,导致该方式的计算量大,且该方式难以发现图像内容之间的较小差异,容易出现误判的现象,影响图像去重的准确度。
发明内容
本发明的目的在于提供一种图像处理方法、装置和电子设备和机器可读存储介质,以减少计算量,并提高图像去重的准确度。
第一方面,本发明实施例提供一种图像处理方法,该方法包括:分别对待比较的第一图像和第二图像进行质量评价,得到第一评价结果和第二评价结果;判断第一评价结果和第二评价结果是否满足预设条件;如果满足预设条件,则根据第一图像和第二图像的相关性,确定第一图像和第二图像是否重复。
在可选的实施方式中,上述方法还包括:如果第一评价结果和第二评价结果不满足预设条件,则确定第一图像和第二图像不重复。
在可选的实施方式中,上述分别对待比较的第一图像和第二图像进行质量评价,得到第一评价结果和第二评价结果的步骤,包括:将第一图像和第二图像输入至图像质量评价模型中;通过图像质量评价模型分别对第一图像和第二图像进行打分处理,得到第一图像的第一评价结果和第二图像的第二评价结果。
在可选的实施方式中,上述预设条件包括:上述判断第一评价结果和第二评价结果是否满足预设条件的步骤,包括:判断第一评价结果和第二评价结果是否相同;如果相同,则确定所述第一评价结果和所述第二评价结果满足所述预设条件。
在可选的实施方式中,上述根据第一图像和第二图像的相关性,确定第一图像和第二图像是否重复的步骤,包括:计算第一图像和第二图像之间的相关系数;判断相关系数是否大于预设阈值;如果大于,确定第一图像和第二图像互相重复。
在可选的实施方式中,上述方法还包括:如果相关系数小于或等于预设阈值,确定第一图像和第二图像不重复。
在可选的实施方式中,上述计算第一图像和第二图像之间的相关系数的步骤,包括:根据第一图像中每个像素点的像素值,以及第二图像中每个像素点的像素值,计算第一图像和第二图像之间的相关系数;其中,相关系数包括:SROCC系数和/或PLCC系数。
在可选的实施方式中,上述根据第一图像中每个像素点的像素值,以及第二图像中每个像素点的像素值,计算第一图像和第二图像之间的相关系数的步骤,包括:将第一图像中每个像素点的像素值排列成一维像素序列,得到第一像素序列;将第二图像中每个像素点的像素值排列成一维像素序列,得到第二像素序列;计算第一像素序列与第二像素序列之间的相关系数。
第二方面,本发明实施例提供一种图像处理装置,该装置包括:质量评价模块,用于分别对待比较的第一图像和第二图像进行质量评价,得到第一评价结果和第二评价结果;条件判断模块,用于判断第一评价结果和第二评价结果是否满足预设条件;重复图像确定模块,用于如果满足预设条件,则根据第一图像和第二图像的相关性,确定第一图像和第二图像是否重复。
第三方面,本发明实施例提供一种电子设备,该电子设备包括处理器和存储器,存储器存储有能够被处理器执行的机器可执行指令,处理器执行机器可执行指令以实现前述实施方式任一项的图像处理方法。
第四方面,本发明实施例提供一种机器可读存储介质,该机器可读存储介质存储有机器可执行指令,该机器可执行指令在被处理器调用和执行时,该机器可执行指令促使处理器实现上述图像处理方法。
本发明实施例带来了以下有益效果:
本发明提供的一种图像处理方法、装置和电子设备,首先分别对待比较的第一图像和第二图像进行质量评价,得到第一评价结果和第二评价结果;再判断第一评价结果和第二评价结果是否满足预设条件;如果满足预设条件,则根据第一图像和第二图像的相关性,确定第一图像和第二图像是否重复。该方式采用图像质量评价的方式,得到第一图像和第二图像的评价结果,基于该评价结果可初步判断第一图像和第二图像是否重复,如果评价结果满足预设条件,初步判定两张图像可能重复,再根据图像之间的相关性确定图像是否重复,从而可以发现图像内容之间的较小差异,提高了图像去重的准确度,同时由于该方式计算量较小,因此该方式可以更加快速、准确地确定重复的图像。
本发明的其他特征和优点将在随后的说明书中阐述,或者,部分特征和优点可以从说明书推知或毫无疑义地确定,或者通过实施本发明的上述技术即可得知。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施方式,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图像处理方法的流程图;
图2为本发明实施例提供的另一种图像处理方法的流程图;
图3为本发明实施例提供的另一种图像处理方法的流程图;
图4为本发明实施例提供的一种图像处理装置的结构示意图;
图5为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
相关技术中采用PSNR和SSIM进行图像去重的方式,存在计算量大且难以发现图像内容之间的较小差异,容易出现误判的现象,影响图像去重的准确度的技术问题。基于此,本发明实施例提供了一种图像处理方法、装置和电子设备,该技术可以应用于各种图像的图像处理场景中,尤其是图像筛选、图像去重的场景中。
为便于对本实施例进行理解,首先对本发明实施例所公开的一种图像处理方法进行详细介绍,如图1所示,该方法包括如下步骤:
步骤S102,分别对待比较的第一图像和第二图像进行质量评价,得到第一评价结果和第二评价结果。
上述第一图像和第二图像均可以是通过照相机或者摄像机拍摄的照片,也可以是从视频文件或者直播视频中截取的视频帧,还可以是用户对原始图像修改后的图像,该修改可以是对原始图像进行涂鸦、马赛克、填充文字等处理。在具体实现时,用户可以通过USB(Universal Serial Bus,通用串行总线)接口、蓝牙、wifi(无线网络)或者局域网等,将需要去重筛选的(相当于上述待比较的)图像上传至电子设备,以使电子设备对获取到的图像进行质量评价。
上述质量评价可以称为图像质量评价(Image Quality Assessment,简称IQA),该图像质量评价主要是通过对图像进行特性分析研究,然后评估出图像优劣(也可以是图像失真程度)。随着对数字图像领域的广泛研究,研究者提出并完善了许多图像质量评价的指标和方法,目前图像质量评价可分为全参考(Full-Reference,简称FR)、部分参考(Reduced-Reference,简称RR)和无参考(No-Reference,简称NR)三种类型。
由于全参考图像质量评价和部分参考图像质量评价的方式均需要有理想图像作为参考图像,在待评价图像没有参考图像的情况下,无法对待评价图像进行评价;因此,为了适用更多场景且简化计算,本发明实施例可以采用无参考图像质量评价,该方式无需参考图像,可以根据待评价图像的自身特征来估计图像的质量,该方式可以是面向特定失真类型的,如针对模糊、噪声、块状效应的严重程度进行评价;可以是先进行失真原因分类,再进行定量评价的方式;也可以同时评价不同失真类型的方式。
在具体实现时,可以采用无参考质量评价的方式,对第一图像和第二图像进行质量评价,得到第一图像对应的第一评价结果和第二图像对应的第二评价结果。该无参考质量评价的方式可以采用基于边缘分析的方法、基于变换域的方法、或者基于像素统计信息的方法,也可以使用神经网络或者深度学习模型来进行无参考图像质量评价,还可以使用其他未列举的现有技术中的图像质量评价方式,在此不作具体的限定。
步骤S104,判断第一评价结果和第二评价结果是否满足预设条件;如果满足预设条件,则根据第一图像和第二图像的相关性,确定第一图像和第二图像是否重复。
上述预设条件可以是第一评价结果与第二评价结果是相同的,也可以是第一评价结果与第二评价结果的差值在预设的差值范围内等,在此不做具体限定,可以根据用户需求设定。
在具体实现时,当第一评价结果和第二评价结果满足预设条件时,可以初步判定第一图像和第二图像可能互相重复,为了保证判定的准确性,且为了防止评价结果相同的图像的图像内容不同或者图像内容有小的差异,还需要对第一图像和第二图像的重复性进一步地判定。在一些实施例中,为了加快图像判断去重的速度,可以直接判定评价结果相同的图像为互相重复的图像。
上述第一图像和第二图像的相关性可以是图像之间的相似度,也可以是图像的像素值之间的相似度或者关联度等。在具体实现时,如果第一图像和第二图像的相关性高于指定数值,确定第一图像和第二图像为互相重复的图像;如果该相关性低于指定数值,确定第一图像和第二图像不重复。
本发明提供的一种图像处理方法,首先分别对待比较的第一图像和第二图像进行质量评价,得到第一评价结果和第二评价结果;再判断第一评价结果和第二评价结果是否满足预设条件;如果满足预设条件,则根据第一图像和第二图像的相关性,确定第一图像和第二图像是否重复。该方式采用图像质量评价的方式,得到第一图像和第二图像的评价结果,基于该评价结果可初步判断第一图像和第二图像是否重复,如果评价结果满足预设条件,初步判定两张图像可能重复,再根据图像之间的相关性确定图像是否重复,从而可以发现图像内容之间的较小差异,提高了图像去重的准确度,同时由于该方式计算量较小,因此该方式可以更加快速、准确地确定重复的图像。
本发明实施例还提供另一种图像处理方法,该方法在上述实施例所述方法的基础上实现;该方法重点描述分别对待比较的第一图像和第二图像进行质量评价,得到第一评价结果和第二评价结果的具体过程(通过下述步骤S202-S204实现),以及判断第一评价结果和第二评价结果是否满足预设条件;如果满足预设条件,则根据第一图像和第二图像的相关性,确定第一图像和第二图像是否重复的具体过程(具体通过下述步骤S206-S214);如图2所示,该方法包括如下具体步骤:
步骤S202,将待比较的第一图像和第二图像输入至图像质量评价模型中。
上述图像质量评价模型可以是预先训练完成的神经网络模型或者深度学习模型,在此不做具体的限定。例如,该图像质量评价模型可以采用无参考图像质量评价对应的深度学习模型,该深度学习模型可以是基于监督学习的无参考图像质量评价模型,也可以是基于无监督学习的无参考图像质量评价模型。
步骤S204,通过图像质量评价模型分别对第一图像和第二图像进行打分处理,得到第一图像的第一评价结果和第二图像的第二评价结果。
在具体实现时,将第一图像和第二图像依次输入到图像质量评价模型中,该图像质量评价模型可以依次对输入的第一图像和第二图像进行质量评价,也即是对输入的图像进行打分,并输出每个输入的图像的评价结果,该评价结果的取值范围可以是0-120分,通常评价结果对应的分值越高代表该图像的质量越高。
步骤S206,判断第一评价结果和第二评价结果是否相同;如果相同,执行步骤S208;否则,执行步骤S214。
步骤S208,计算第一图像和第二图像之间的相关系数;执行步骤S210。
如果第一评价结果和第二评价结果相同,则确定第一评价结果和第二评价结果满足预设条件,则需要计算第一图像和第二图像之间的相关系数。在具体实现时,可以根据第一图像中每个像素点的像素值,以及第二图像中每个像素点的像素值,计算第一图像和第二图像之间的相关系数。该相关系数可以是SROCC(the Spearman Rank-OrderCorrelation Coefficient,斯皮尔曼秩序相关系数)系数和/或PLCC(Pearson LinearCorrelation Coefficient,皮尔森线性相关系数)系数,也即是该相关系数可以仅包括SROCC系数,可以仅包括PLCC系数,也可以既包括SROCC系数又包括PLCC系数。
上述SROCC系数通常是用来评价两组序列的等级相关性的,该SROCC系数与序列中元素的排序有关,因此即使两个序列中的任意一个序列被任何单调非线性变换作用(如对数变换、指数变换),都不会对SROCC系数造成任何影响,因为不会影响元素的排序。上述PLCC系数通常是来评价两组序列的线性相关关系的,该PLCC系数的绝对值越接近于1,则两个序列之间的关系就越可以用一个线性直线方程来表示。
具体地,上述根据第一图像中每个像素点的像素值以及第二图像中每个像素点的像素值,计算第一图像和第二图像之间的相关系数的步骤,可以通过下述步骤10-11实现:
步骤10,将第一图像中每个像素点的像素值排列成一维像素序列,得到第一像素序列;将第二图像中每个像素点的像素值排列成一维像素序列,得到第二像素序列。
在具体实现时,如果第一图像和第二图像为灰度图像,可以从第一图像中提取每个像素点的灰度值(相当于上述像素值),并按照每个像素点的位置,将灰度值排列成一维像素序列。例如,可以按照行的顺序,将第一图像中每行像素点的像素值依次进行排列,得到一维像素序列;也可以是按照列的顺序,将第一图像中的每列像素点的像素值依次进行排列,得到一维像素序列。同样地,第二图像按照与第一图像相同的排列方式,得到第二图像对应的一维像素序列。
如果第一图像和第二图像为彩色图像,也即是第一图像和第二图像有R(Red,红色)、G(Green,绿色)、B(Blue,蓝色)三个通道的图像数据,需要分别将每一个通道的图像数据排列为一维像素序列,然后再将三个通道的一维像素序列进行拼接,得到最终的一维像素序列。其中,每个通道的图像数据的排列方式可以参考灰度图像的排列方式。
步骤11,计算第一像素序列与第二像素序列之间的相关系数。
根据第一像素序列和第二像素序列,计算SROCC系数或者PLCC系数。在计算SROCC系数时,可以根据第一像素序列中每个元素的排序等级和第二像素序列中每个元素的排序等级,得到SROCC系数(该系数的取值范围为0~1),通常第一像素序列与第二像素序列对应的排序等级相似度越高,SROCC系数越接近于1。在计算PLCC系数时,可以通过下述公式计算:
其中,上述X表示第一像素序列,Y表示第二像素序列,COV(X,Y)表示序列X和序列Y的协方差,δX、δY分别表示序列X的标准差和序列Y的标准差。其中,该PLCC系数的取值范围为0~1,序列X与序列Y越相似,该PLCC系数的值越接近于1。
上述计算第一图像和第二图像的相关性的目的是:为了判断评价结果相同的两张图像的图像内容是否不同或者图像内容有小的差异。在具体实现时,该方式可以通过检测图像的像素点的像素值是否完全一样来判定评价结果相同的两张图像是否完全一样。
步骤S210,判断上述相关系数是否大于预设阈值;如果是,执行步骤S212;否则,执行步骤S214。
上述预设阈值为用户根据去重精度设置的数值,可以为任意值。
步骤S212,确定第一图像和第二图像重复。
步骤S214,确定第一图像和第二图像不重复。
上述图像处理方法,首先将待比较的第一图像和第二图像输入至图像质量评价模型中,以通过图像质量评价模型分别对第一图像和第二图像进行打分处理,得到第一图像的第一评价结果和第二图像的第二评价结果;进而判断第一评价结果和第二评价结果是否相同;如果相同,计算第一图像和第二图像之间的相关系数,并判断该相关系数是否大于预设阈值;如果是确定第一图像和第二图像重复,如果不是,确定第一图像和第二图像不重复。该方式直接采用图像质量评价模型来对图像进行打分处理,并计算图像组中的图像之间的相关性,可以发现图像内容不同或者内容有小的差异的图像,避免了重复图像的误判现象。
本发明实施例还提供另一种图像处理方法,该方法在上述实施例所述方法的基础上实现;该方法重点描述第一图像和第二图像为预设的图像集合中的图像时,判定图像集合中的第一图像和第二图像是否重复的具体过程;如图3所示,该方法包括如下步骤:
步骤S302,获取包含有多张图像的图像集合。
上述图像集合中包含有多张图像,该图像集合中的每张图像可以是用户预先准备好的需要进行去重筛选的图像,该图像通常是用户认为较相似的图像。
步骤S304,将图像集合中的所有图像均输入至图像质量评价模型中,以通过图像质量评价模型对图像进行打分处理,得到图像集合中每张图像的评价结果。
步骤S306,根据图像集合中每张图像的评价结果,确定每种评价结果对应的图像的数量。
对每张图像进行质量评价后,可能会得到多种评价结果,该评价结果的种类数与评价结果对应的打分值的大小有关,也即是一个打分值的分数对应评价结果的一个种类,例如,图像集合中所有图像的评价结果对应的打分值有:10、19、49、42和50这5个分数,那么评价结果的种类数为5。
从图像集合中的所有图像的评价结果中,计算每种评价结果对应的图像的数量,从而可以得到针对于每种评价结果,评价结果相同的图像的数量;例如,评价结果为49分的图像共有20张,评价结果为50分的图像共有3张等等。
步骤S308,针对每种评价结果,将图像的数量大于一的评价结果所对应的图像,划分为一个图像组,得到多个图像组。
在具体实现时,同一图像组中的图像的评价结果相同,且每一个图像组中包含的图像数量至少为两张,因此,需要将图像集合中评价结果相同的、评价结果相同的图像的数量大于一的图像,划分到同一个图像组;将图像评价结果相同的图像的数量为一的图像,继续保留在图像集合中,不做任何划分,确定该图像与其他图像不重复。
如果与某一图像的评价结果相同的图像数量为1,也即是图像集合中不存在与该图像的评价结果相同的其他图像,则确定图像集合中不存在与该图像互相重复的图像;如果与某一图像的评价结果相同的图像的数量大于1,将该图像与其评价结果相同的图像共同放入同一图像组中,此时,初步判定图像组中的图像可能是互相重复的图像,为了保证判定的准确性,且为了防止评价结果相同的图像的图像内容不同或者图像内容有小的差异,还需要对图像组中的图像进行进一步判定。
步骤S310,从多个图像组中,确定需要去重的当前图像组。
在具体实现时,可以按照预设顺序从多个图像组中,确定需要去重的图像组,也可以从多个图像组中随机确定出需要去重的当前图像组,且保证已经被确定过的当前图像组,不会重复被确定。
步骤S312,从上述当前图像组中确定第一图像和第二图像。
上述第一图像和第二图像可以是当前图像组中的任意两张图像。
步骤S314,计算第一图像和第二图像之间的相关系数。
步骤S316,判断上述相关系数是否大于预设阈值;如果大于,执行步骤S318;否则,执行步骤S326。
步骤S318,确定第一图像和第二图像互相重复;从当前图像组中删除第一图像或者第二图像;执行步骤S320。
如果第一图像和第二图像的相关系数大于预设阈值,确定第一图像和第二图像互相重复,此时需要从当前图像组中删除第一图像和第二图像中的任意一张,然后保留的一张图像继续用来与当前图像组中未与该图像计算相关系数的图像进行比较,直到当前图像组中的所有图像均比较完毕。
步骤S320,判断当前图像组中剩余的图像中的每两张图像是否均已计算相关系数;如果是,执行步骤S322;否则,执行步骤S324。
步骤S322,判断多个图像组是否均已删除相互重复的图像中除保留的图像以外的图像;如果是,结束;否则,执行步骤S310。
在具体实现时,如果当前图像组中剩余的图像中的每两张图像均已计算相关系数,说明该当前图像组中已经保留了互相重复的图像的一张,且所有的需要删除的互相重复的图像均已删除。此时,需要判断多个图像组中是否存在没有做去重处理的图像组;如果有,将该图像组作为新的当前图像组,继续从新的当前图像组中确定第一图像和第二图像,并删除该当前图像组中需要删除的互相重复的图像,直到多个图像组中的所有图像组都去重完毕。
步骤S324,将保留的图像确定为新的第一图像,从当前图像组中确定新的第二图像,执行步骤S314。
步骤S326,确定第一图像和第二图像不重复,将第一图像或者第二图像放回当前图像组;执行步骤S320。
如果第一图像和第二图像的相关系数小于或者等于预设阈值,确定第一图像和第二图像互相不重复,将第一图像或者第二图像中的任意一张图像重新放回到当前图像组中,然后将未放回的图像(相当于上述保留的图像)确定为新的第一图像,从当前图像组中确定新的第二图像,计算新的第一图像和新的第二图像的相关系数,直到当前图像组中剩余的图像中的每两张图像均已计算相关系数。
为了便于对本发明实施例进行理解,以相关性包括SROCC系数和PLCC系数为例对图像去重的方式进行详细介绍。首先利用无参考图像质量评价模型,对图像集合中的每张图像进行打分处理,得到每张图像的打分值(相当于上述评价结果);对于打分值相同的图像进行整理归类,如打分值为65.8分的图像共有20张,放入一个图像组中,打分值为35分的图像共有两张,放入另一个图像组中,等等。
每个图像组中至少包含有两张图像,针对每个图像组,从该图像组中获取任意两张图像,计算这两张图像之间的SROCC系数和PLCC系数;然后判断SROCC系数是否大于设置的第一阈值,PLCC系数是否大于设置的第二阈值;如果SROCC系数大于第一阈值且PLCC系数大于第二阈值,确定这两张图像完全一致或者极为相似(相当于上述互相重复),则删除这两张图像中的任意一张图像,另一张图像继续用来比较,直到图像组中没有图像用来比较为止;如果SROCC系数大于或者等于第一阈值,或者PLCC系数大于或者等于第二阈值,则确定这两张图像不重复,将这两张图像中的任意一张图像放回图像组中,继续从该图像组中选择其他图像与未放回的图像进行比较,直到图像组中没有图像用来比较为止。其中,第一阈值和第二阈值可能相同,也可能不同,具体可以根据实际需求而定。
上述图像处理方法,采用图像质量评价模型对图像集合中的每张图像进行质量打分,得到每张图像的评价结果,然后将评价结果相同且相同的数量大于一张的图像,划分到同一个图像组中,并通过计算图像组中每两张图像的SROCC系数或者PLCC系数来衡量两张图像的相似性,从而使得该方式可以更加快速,且准确地得到两张图像的相似性,有利于提高图像去重的效率。
对应于上述方法实施例,本发明实施例还提供了一种图像处理装置,如图4所示,该装置包括:
质量评价模块40,用于分别对待比较的第一图像和第二图像进行质量评价,得到第一评价结果和第二评价结果。
条件判断模块41,用于判断第一评价结果和第二评价结果是否满足预设条件。
重复图像确定模块42,用于如果满足预设条件,则根据第一图像和第二图像的相关性,确定第一图像和第二图像是否重复。
上述图像处理装置,首先分别对待比较的第一图像和第二图像进行质量评价,得到第一评价结果和第二评价结果;再判断第一评价结果和第二评价结果是否满足预设条件;如果满足预设条件,则根据第一图像和第二图像的相关性,确定第一图像和第二图像是否重复。该方式采用图像质量评价的方式,得到第一图像和第二图像的评价结果,基于该评价结果可初步判断第一图像和第二图像是否重复,如果评价结果满足预设条件,初步判定两张图像可能重复,再根据图像之间的相关性确定图像是否重复,从而可以发现图像内容之间的较小差异,提高了图像去重的准确度,同时由于该方式计算量较小,因此该方式可以更加快速、准确地确定重复的图像。
进一步地,上述重复图像确定模块42,还用于:如果第一评价结果和第二评价结果不满足预设条件,则确定第一图像和第二图像不重复。
进一步地,上述质量评价模块40,用于:将第一图像和第二图像输入至图像质量评价模型中;通过图像质量评价模型分别对第一图像和第二图像进行打分处理,得到第一图像的第一评价结果和第二图像的第二评价结果。
在具体实现时,上述条件判断模块41,用于:判断第一评价结果和第二评价结果是否相同;如果相同,则确定第一评价结果和第二评价结果满足预设条件。
进一步地,上述重复图像确定模块42,用于:计算第一图像和第二图像之间的相关系数;判断相关系数是否大于预设阈值;如果大于,确定第一图像和第二图像重复。
进一步地,上述重复图像确定模块42,还用于:如果相关系数小于或者等于预设阈值,确定第一图像和第二图像不重复。
进一步地,上述重复图像确定模块42,还用于:根据第一图像中每个像素点的像素值,以及第二图像中每个像素点的像素值,计算第一图像和第二图像之间的相关系数;该相关系数包括:SROCC系数和/或PLCC系数。
在具体实现时,上述重复图像确定模块42,还用于将第一图像中每个像素点的像素值排列成一维像素序列,得到第一像素序列;将第二图像中每个像素点的像素值排列成一维像素序列,得到第二像素序列;计算第一像素序列与第二像素序列之间的相关系数。
本发明实施例所提供的图像处理装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
本发明实施例还提供了一种电子设备,参见图5所示,该电子设备包括处理器101和存储器100,该存储器100存储有能够被处理器101执行的机器可执行指令,该处理器101执行机器可执行指令以实现上述图像处理方法。
进一步地,图5所示的电子设备还包括总线102和通信接口103,处理器101、通信接口103和存储器100通过总线102连接。
其中,存储器100可能包含高速随机存取存储器(RAM,RandomAccessMemory),也可能还包括非不稳定的存储器(non-volatilememory),例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。总线102可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
处理器101可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器,包括中央处理器(CentralProcessingUnit,简称CPU)、网络处理器(NetworkProcessor,简称NP)等;还可以是数字信号处理器(Digital SignalProcessor,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器100,处理器101读取存储器100中的信息,结合其硬件完成前述实施例的方法的步骤。
本发明实施例还提供一种机器可读存储介质,该机器可读存储介质存储有机器可执行指令,该机器可执行指令在被处理器调用和执行时,该机器可执行指令促使处理器实现上述图像处理方法,具体实现可参见方法实施例,在此不再赘述。
本发明实施例所提供的图像处理方法、装置和电子设备的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,电子设备,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种图像处理方法,其特征在于,所述方法包括:
分别对待比较的第一图像和第二图像进行质量评价,得到第一评价结果和第二评价结果;其中,所述质量评价用于表征图像失真程度;
判断所述第一评价结果和所述第二评价结果是否满足预设条件;其中,所述判断所述第一评价结果和所述第二评价结果是否满足预设条件的步骤,包括:判断所述第一评价结果和所述第二评价结果是否相同;如果相同,则确定所述第一评价结果和所述第二评价结果满足所述预设条件;
如果满足所述预设条件,则根据所述第一图像和所述第二图像的相关性,确定所述第一图像和所述第二图像是否重复;
其中,所述第一图像和所述第二图像的相关性用于表征图像之间的相似度,或者,图像的像素值之间的相似度或者关联度,并且,如果所述第一图像和所述第二图像的相关性高于指定数值,确定所述第一图像和所述第二图像为互相重复的图像;如果相关性低于指定数值,确定所述第一图像和所述第二图像不重复。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
如果所述第一评价结果和所述第二评价结果不满足所述预设条件,则确定所述第一图像和所述第二图像不重复。
3.根据权利要求1所述的方法,其特征在于,所述分别对待比较的第一图像和第二图像进行质量评价,得到第一评价结果和第二评价结果的步骤,包括:
将所述第一图像和所述第二图像输入至图像质量评价模型中;
通过所述图像质量评价模型分别对所述第一图像和所述第二图像进行打分处理,得到所述第一图像的第一评价结果和所述第二图像的第二评价结果。
4.根据权利要求1所述的方法,其特征在于,根据所述第一图像和所述第二图像的相关性,确定所述第一图像和所述第二图像是否重复的步骤,包括:
计算所述第一图像和所述第二图像之间的相关系数;
判断所述相关系数是否大于预设阈值;
如果大于,确定所述第一图像和所述第二图像重复。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
如果所述相关系数小于或等于所述预设阈值,确定所述第一图像和所述第二图像不重复。
6.根据权利要求4所述的方法,其特征在于,所述计算所述第一图像和所述第二图像之间的相关系数的步骤,包括:
根据所述第一图像中每个像素点的像素值,以及所述第二图像中每个像素点的像素值,计算所述第一图像和所述第二图像之间的相关系数;其中,所述相关系数包括:SROCC系数和/或PLCC系数。
7.根据权利要求6所述的方法,其特征在于,根据所述第一图像中每个像素点的像素值,以及所述第二图像中每个像素点的像素值,计算所述第一图像和所述第二图像之间的相关系数的步骤,包括:
将所述第一图像中每个像素点的像素值排列成一维像素序列,得到第一像素序列;将所述第二图像中每个像素点的像素值排列成一维像素序列,得到第二像素序列;
计算所述第一像素序列与所述第二像素序列之间的相关系数。
8.一种图像处理装置,其特征在于,所述装置包括:
质量评价模块,用于分别对待比较的第一图像和第二图像进行质量评价,得到第一评价结果和第二评价结果;其中,所述质量评价用于表征图像失真程度;
条件判断模块,用于判断所述第一评价结果和所述第二评价结果是否满足预设条件;其中,所述判断所述第一评价结果和所述第二评价结果是否满足预设条件的步骤,包括:判断所述第一评价结果和所述第二评价结果是否相同;如果相同,则确定所述第一评价结果和所述第二评价结果满足所述预设条件;
重复图像确定模块,用于如果满足所述预设条件,则根据所述第一图像和所述第二图像的相关性,确定所述第一图像和所述第二图像是否重复;
其中,所述第一图像和所述第二图像的相关性用于表征图像之间的相似度,或者,图像的像素值之间的相似度或者关联度,并且,如果所述第一图像和所述第二图像的相关性高于指定数值,确定所述第一图像和所述第二图像为互相重复的图像;如果相关性低于指定数值,确定所述第一图像和所述第二图像不重复。
9.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器执行所述机器可执行指令以实现权利要求1至7任一项所述的图像处理方法。
10.一种机器可读存储介质,其特征在于,所述机器可读存储介质存储有机器可执行指令,所述机器可执行指令在被处理器调用和执行时,所述机器可执行指令促使处理器实现权利要求1至7任一项所述的图像处理方法。
CN202010594550.6A 2020-06-24 2020-06-24 图像处理方法、装置和电子设备 Active CN111695643B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010594550.6A CN111695643B (zh) 2020-06-24 2020-06-24 图像处理方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010594550.6A CN111695643B (zh) 2020-06-24 2020-06-24 图像处理方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN111695643A CN111695643A (zh) 2020-09-22
CN111695643B true CN111695643B (zh) 2023-07-25

Family

ID=72484074

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010594550.6A Active CN111695643B (zh) 2020-06-24 2020-06-24 图像处理方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN111695643B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111696105B (zh) * 2020-06-24 2023-05-23 北京金山云网络技术有限公司 视频处理方法、装置和电子设备
CN113658093A (zh) * 2021-06-30 2021-11-16 浙江大华技术股份有限公司 图像质量评估方法、装置、设备及计算机存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006023976A (ja) * 2004-07-08 2006-01-26 Nippon Telegr & Teleph Corp <Ntt> パラメータ設定方法、画像パターン抽出方法、パラメータ設定装置、画像パターン抽出装置、およびこれら方法のプログラム
EP1770638A2 (en) * 2005-09-30 2007-04-04 FUJIFILM Corporation Displaying images according to an image evaluation value
JP2016133576A (ja) * 2015-01-17 2016-07-25 株式会社エクシング カラオケ装置、及び、カラオケ用表示制御プログラム
CN106023152A (zh) * 2016-05-09 2016-10-12 浙江科技学院 一种无参考立体图像质量客观评价方法
CN106570110A (zh) * 2016-10-25 2017-04-19 北京小米移动软件有限公司 图像去重方法及装置
CN106708951A (zh) * 2016-11-25 2017-05-24 西安电子科技大学 支持所有权认证的客户端图像模糊去重方法
CN108228872A (zh) * 2017-07-21 2018-06-29 北京市商汤科技开发有限公司 人脸图像去重方法和装置、电子设备、存储介质、程序
CN110188633A (zh) * 2019-05-14 2019-08-30 广州虎牙信息科技有限公司 人体体态指标预测方法、装置、电子设备及存储介质
CN111160133A (zh) * 2019-12-12 2020-05-15 佛山科学技术学院 一种字帖文字相似度评价方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3214555B2 (ja) * 1998-05-06 2001-10-02 日本電気株式会社 電子透かし挿入装置
US8171030B2 (en) * 2007-06-18 2012-05-01 Zeitera, Llc Method and apparatus for multi-dimensional content search and video identification
CN102880726B (zh) * 2012-10-23 2015-08-05 深圳市宜搜科技发展有限公司 一种图像过滤方法及系统
CN106327426A (zh) * 2016-08-19 2017-01-11 携程计算机技术(上海)有限公司 图像去重方法及系统
CN110287161B (zh) * 2019-07-02 2022-09-23 北京字节跳动网络技术有限公司 图像处理方法和装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006023976A (ja) * 2004-07-08 2006-01-26 Nippon Telegr & Teleph Corp <Ntt> パラメータ設定方法、画像パターン抽出方法、パラメータ設定装置、画像パターン抽出装置、およびこれら方法のプログラム
EP1770638A2 (en) * 2005-09-30 2007-04-04 FUJIFILM Corporation Displaying images according to an image evaluation value
JP2016133576A (ja) * 2015-01-17 2016-07-25 株式会社エクシング カラオケ装置、及び、カラオケ用表示制御プログラム
CN106023152A (zh) * 2016-05-09 2016-10-12 浙江科技学院 一种无参考立体图像质量客观评价方法
CN106570110A (zh) * 2016-10-25 2017-04-19 北京小米移动软件有限公司 图像去重方法及装置
CN106708951A (zh) * 2016-11-25 2017-05-24 西安电子科技大学 支持所有权认证的客户端图像模糊去重方法
CN108228872A (zh) * 2017-07-21 2018-06-29 北京市商汤科技开发有限公司 人脸图像去重方法和装置、电子设备、存储介质、程序
WO2019015684A1 (zh) * 2017-07-21 2019-01-24 北京市商汤科技开发有限公司 人脸图像去重方法和装置、电子设备、存储介质、程序
CN110188633A (zh) * 2019-05-14 2019-08-30 广州虎牙信息科技有限公司 人体体态指标预测方法、装置、电子设备及存储介质
CN111160133A (zh) * 2019-12-12 2020-05-15 佛山科学技术学院 一种字帖文字相似度评价方法及装置

Also Published As

Publication number Publication date
CN111695643A (zh) 2020-09-22

Similar Documents

Publication Publication Date Title
CN111696105B (zh) 视频处理方法、装置和电子设备
CN109886928B (zh) 一种目标细胞标记方法、装置、存储介质及终端设备
CN111695643B (zh) 图像处理方法、装置和电子设备
CN110211119B (zh) 图像质量评估方法、装置、电子设备及可读存储介质
CN108805180B (zh) 目标对象的检测方法及装置
CN110378893B (zh) 图像质量评价方法、装置和电子设备
CN111899243A (zh) 一种图像清晰度评价方法、设备和计算机可读存储介质
CN113379680A (zh) 缺陷检测方法、装置、电子设备和计算机可读存储介质
CN109685805B (zh) 一种图像分割方法及装置
US20220222799A1 (en) Method for detecting defect in products and electronic device using method
CN111199186A (zh) 图像质量评分模型训练方法、装置、设备及存储介质
CN114494775A (zh) 视频切分方法、装置、设备及存储介质
CN117094975A (zh) 钢铁表面缺陷检测方法、装置及电子设备
CN117173172B (zh) 一种基于机器视觉的硅胶成型效果检测方法及系统
CN113918744A (zh) 相似图像检索方法、装置、存储介质及计算机程序产品
CN111738272A (zh) 一种目标特征提取方法、装置及电子设备
CN116137061B (zh) 数量统计模型的训练方法、装置、电子设备及存储介质
CN106971386B (zh) 判断图像完整度及页面加载度的方法、装置和客户端设备
CN109685757B (zh) 一种基于灰度差分统计的无参考图像质量评价方法及系统
CN111814820A (zh) 图像处理方法及装置
CN111612766B (zh) 图像质量评价方法、装置和电子设备
CN113177603B (zh) 分类模型的训练方法、视频分类方法及相关设备
CN113435464B (zh) 异常数据检测方法、装置、电子设备及计算机存储介质
CN111966674A (zh) 标注数据的合格性判断方法、装置和电子设备
CN112950579B (zh) 图像质量评价方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant