CN112070739A - 图像处理方法、装置、电子设备及存储介质 - Google Patents
图像处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112070739A CN112070739A CN202010917916.9A CN202010917916A CN112070739A CN 112070739 A CN112070739 A CN 112070739A CN 202010917916 A CN202010917916 A CN 202010917916A CN 112070739 A CN112070739 A CN 112070739A
- Authority
- CN
- China
- Prior art keywords
- image
- parameter
- quality
- target
- evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 56
- 238000003672 processing method Methods 0.000 title claims abstract description 32
- 238000011156 evaluation Methods 0.000 claims abstract description 238
- 238000013441 quality evaluation Methods 0.000 claims abstract description 70
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000010606 normalization Methods 0.000 claims description 34
- 238000001303 quality assessment method Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 abstract description 5
- 210000000744 eyelid Anatomy 0.000 description 17
- 230000002159 abnormal effect Effects 0.000 description 7
- 238000007726 management method Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000000903 blocking effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种图像处理方法、装置、电子设备及存储介质。该图像处理方法包括:获取待处理的图像集;获取所述图像集中的每张图像的多类评估值,其中,所述多类评估值为多类质量指标对应的评估值,所述多类评估值与所述多类质量指标一一对应;根据所述每张图像的多类评估值,确定所述图像集对应的多类质量指标的权重;根据所述多类质量指标的权重以及所述每张图像的多类评估值,获取所述每张图像的质量评估值;基于所述质量评估值,对所述图像集进行预设处理。本方法可实现更综合性的图像质量评估,以提供更加高效的图像处理效果。
Description
技术领域
本申请涉及图像处理技术领域,更具体地,涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
随着科技的发展,生活水平的提高,越来越多的用户喜欢用电子设备进行拍照,将生活中的一些事物记录下来。电子设备中存储了大量的用户图像数据,为了有效的管理这些图像数据,使得大量的利用新技术的相册管理软件涌现出来。但是,相关的管理软件的图像管理方式通常比较简单,图像管理效果不佳。
发明内容
鉴于上述问题,本申请提出了一种图像处理方法、装置、电子设备及存储介质,可改善上述问题。
第一方面,本申请实施例提供了一种图像处理方法,所述方法包括:获取待处理的图像集;获取所述图像集中的每张图像的多类评估值,其中,所述多类评估值为多类质量指标对应的评估值,所述多类评估值与所述多类质量指标一一对应;根据所述每张图像的多类评估值,确定所述图像集对应的多类质量指标的权重;根据所述多类质量指标的权重以及所述每张图像的多类评估值,获取所述每张图像的质量评估值;基于所述质量评估值,对所述图像集进行预设处理。
第二方面,本申请实施例提供了一种图像处理装置,所述装置包括:图像获取模块,用于获取待处理的图像集;指标评估获取模块,用于获取所述图像集中的每张图像的多类评估值,其中,所述多类评估值为多类质量指标对应的评估值,所述多类评估值与所述多类质量指标一一对应;指标权重获取模块,用于根据所述每张图像的多类评估值,确定所述图像集对应的多类质量指标的权重;质量评估获取模块,用于根据所述多类质量指标的权重以及所述每张图像的多类评估值,获取所述每张图像的质量评估值;图像处理模块,用于基于所述质量评估值,对所述图像集进行预设处理。
第三方面,本申请实施例提供了一种电子设备,包括:一个或多个处理器;存储器;一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个应用程序配置用于执行上述第一方面提供的图像处理方法。
第四方面,本申请实施例提供了一种计算机可读取存储介质,所述计算机可读取存储介质中存储有程序代码,所述程序代码可被处理器调用执行上述第一方面提供的图像处理方法。
本申请提供的方案,通过获取待处理的图像集,并获取该图像集中的每张图像的多类评估值,其中,该多类评估值为多类质量指标对应的评估值,多类评估值与多类质量指标一一对应,使得电子设备可根据图像集中每张图像的多类评估值,确定该图像集对应的多类质量指标的权重,并可根据该多类质量指标的权重以及每张图像的多类评估值,获取每张图像的质量评估值,从而得到更加综合性的图像质量评估结果,进而电子设备可基于该质量评估值,对图像集进行预设处理。如此,通过图像集中每张图像的多类评估值,来确定该图像集对应的多类质量指标的权重,从而可实现不同的图像集,其对应的多类质量指标的权重也不同。然后再通过该图像集对应的多类质量指标的权重,来确定该图像集中每张图像的质量评估值,从而可以图像集的综合质量情况为基准,来对应评估该图像集中每张图像的质量情况,实现了更综合性的图像质量评估。进而电子设备可根据该综合性的质量评估值,对该图像集进行精准高效地管理。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请一个实施例提供的图像处理方法的流程示意图。
图2示出了本申请另一个实施例提供的图像处理方法的流程示意图。
图3示出了本申请另一个实施例提供的图像处理方法中步骤S220的流程示意图。
图4示出了本申请另一个实施例提供的图像处理方法中步骤S223的一种流程示意图。
图5示出了本申请另一个实施例提供的图像处理方法中步骤S223的另一种流程示意图。
图6示出了本申请另一个实施例提供的图像处理方法中步骤S240的流程示意图。
图7示出了本申请另一个实施例提供的图像处理方法中步骤S260的流程示意图。
图8示出了本申请另一个实施例提供的图像处理方法中步骤S270的流程示意图。
图9示出了本申请一个实施例的图像处理装置的一种框图。
图10示出了本申请实施例的用于执行根据本申请实施例的图像处理方法的电子设备的框图。
图11示出了本申请实施例的用于保存或者携带实现根据本申请实施例的图像处理方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
随着科技的发展,生活水平的提高,越来越多的用户喜欢用电子设备进行拍照,将生活中的一些事物记录下来。从而使得电子设备中存储了大量的用户图像数据。为了有效的管理这些图像数据,大量的利用新技术的相册管理软件涌现,以帮助用户智能和有效的管理自己的相册图集。
而发明人在对相关的图像处理方法的研究中发现,相关的管理软件的图像管理方式单一,例如,仅是对相册中的图像进行聚类,得到不同类别的图像组。然而,因拍摄设备、拍摄环境、拍摄手法、存储方式等因素的影响,相册中的图像质量通常参差不齐,往往需要用户自己判断图像质量的优劣,再确定是否将其删除,造成用户体验较差,图像管理效果不佳。
因此,发明人经过长期的研究发现并提出了本申请实施例提供的图像处理方法、装置、电子设备以及存储介质,可综合多类质量指标,来对图像集中的每张图像进行质量评估,然后电子设备可根据该综合性的质量评估值,对图像集进行精准高效地管理。具体的图像处理方法在后续的实施例中进行详细的说明。
请参阅图1,图1示出了本申请一个实施例提供的图像处理方法的流程示意图。在具体的实施例中,该图像处理方法可应用于如图9所示的图像处理装置700以及配置有所述图像处理装置700的电子设备(图10)。下面将针对图1所示的流程进行详细的阐述,所示图像处理方法具体可以包括以下步骤:
步骤S110:获取待处理的图像集。
在本申请实施例中,电子设备可以对待处理的图像集进行图像质量评估,以便电子设备根据该图像集的质量评估结果,对该图像集进行适当处理,提升了对电子设备存储的图像的管理效果。具体地,电子设备可以先获取到待处理的图像集。
在一些实施例中,待处理的图像集可以理解为需要进行处理的图像集合,例如,可以是需要进行图像质量检测的图像集合,也可以是需要进行图像质量归类的图像集合,可以是需要进行整体质量检测的图像集合,也可以是需要进行局部质量检测的图像集合,此处不作限定。
在一些实施例中,电子设备可以是从用于管理摄像头所采集图片的相册管理软件中获取到待处理的图像集,也可以是从网络端或者其他电子设备接收到待处理的图像集,具体的获取方式在本申请实施例中不作限定。其中,电子设备获取的待处理的图像集可以是一个图像集或者多个图像集。具体的图像集数量在本申请实施例中并不限定。若是一个图像集,电子设备可以直接对该图像集进行处理,若是多个图像集,电子设备可以是对该多个图像集进行并行处理,也可以是对该多个图像集进行逐一处理,具体的图像集处理方式在本申请实施例中并不作限定。
其中,一个图像集可以由多个图像组合得到,且该多个图像相互之间具有关联关系。可选的,该关联关系可以是指图像集中的多个图像为同一个类别的图像。其中,同一类别可以是同一人物,也可以是同一地点、同一时间,具体类别并不作限定。作为一种方式,电子设备可以对存储的多张图像进行人脸识别,进而可以将同一人物的图像可以划分到一个图像集合,从而电子设备可以得到对应的人物图像集。作为另一种方式,电子设备可以获取存储的多张图像对应的拍摄地点,进而可以将拍摄地点具有关联关系的图像划分到一个图像集合,从而电子设备可以得到对应的环境图像集。具体的图像集生成方式在本申请实施例中并不作限定,进行图像集中的多个图像之间存在关联即可。
步骤S120:获取所述图像集中的每张图像的多类评估值。
在本申请实施例中,可以通过多类质量指标对图像集中的每张图像的质量进行评估,从而可以得到每张图像的多类评估值。进而可实现从不同评估角度对图像的质量进行综合评估,避免了质量评估的片面性,提高了图像质量评估的准确性。其中,一张图像的多类评估值为一张图像于多类质量指标下对应的评估值集合,多类评估值与多类质量指标一一对应。也就是说,多类评估值中包括多类质量指标下各类质量指标对应的评估值。
在一些实施例中,上述多类质量指标可以包括姿态指标、遮挡度指标以及清晰度指标中的至少两种。其中,姿态指标可用于评估图像中物体角度是否异常,遮挡度指标可用于评估图像中物体的遮挡状态是否异常,清晰度指标可用于评估图像中物体的清晰度是否异常。具体的质量指标类型在本申请实施例中并不作限定。例如,当图像集为人物图像集时,上述多类质量指标也可以是至少包括人脸姿态指标,人眼状态指标、人脸遮挡度指标以及人脸清晰度指标中的两种。其中,人脸姿态指标可用于评估图像中人脸角度是否异常,人眼状态指标可用于评估图像中人眼的睁开状态是否异常,人脸遮挡度指标可用于评估图像中人脸的遮挡状态是否异常,人脸清晰度指标可用于评估图像中人脸的清晰度是否异常。
在一些实施例中,可以是由电子设备按照多类质量指标,对图像集中的每张图像进行评估。具体地,电子设备可以采用多类质量指标对应的评估算法,依次对图像集中的每张图像进行各类质量指标的评估,从而电子设备可以获取到图像集中的每张图像的多类评估值。在另一些实施例中,也可以是由服务器或其他电子设备按照多类质量指标,对图像集中的每张图像进行进行各类质量指标的评估,然后再将图像集中的每张图像的多类评估值发送给电子设备,从而电子设备可以直接获取到图像集中的每张图像的多类评估值。具体的多类评估值获取方式在本申请实施例中并不作限定。
步骤S130:根据所述每张图像的多类评估值,确定所述图像集对应的多类质量指标的权重。
在本申请实施例中,电子设备在获取到图像集中的每张图像的多类评估值后,可以根据每张图像的多类评估值,确定该图像集对应的多类质量指标的权重。从而可根据该图像集中所有图像的整体评估情况,具体确定多类质量指标在该图像集中的权重分布情况。也就是说,针对同样的多类质量指标,在不同的图像集中,各类质量指标的权重分布不同。
在一些实施例中,电子设备可以根据图像集中的每张图像的多类评估值,确定出该图像集整体于各类质量指标下的评估结果,以根据各类质量指标对应的整体评估结果,确定各类质量指标之间的整体评估结果高低情况,从而可根据该高低情况,确定各类质量指标对应的权重值大小。
作为一种方式,电子设备可以根据图像集中的每张图像的多类评估值,确定出该图像集整体于各类质量指标下的评估值总和,然后电子设备可以根据各类质量指标下的评估值总和的大小,确定各类质量指标对应的权重值大小。其中,可以是评估值总和越大,对应的质量指标的权重就越高,评估值总和越小,对应的质量指标的权重就越低。
作为另一种方式,电子设备也可以根据图像集中的每张图像的多类评估值,确定出各类质量指标下该图像集的评估平均值,然后电子设备可以根据各类质量指标下的评估平均值的大小,确定各类质量指标对应的权重值大小。其中,可以是评估平均值越大,对应的质量指标的权重就越高,评估平均值越小,对应的质量指标的权重就越低。
可以理解的是,在本申请实施例中,并非是对多类质量指标采用固定绝对的权重,而是通过根据图像集中每张图像的多类评估值,来确定该图像集对应的多类质量指标的权重,使得多类质量指标的权重可根据不同的图像集做出自适应性调整,从而使得多类质量指标的权重以及评估结果更贴合该图像集的实际情况,提高了图像质量评估的准确性。
步骤S140:根据所述多类质量指标的权重以及所述每张图像的多类评估值,获取所述每张图像的质量评估值。
在本申请实施例中,电子设备在确定出该图像集对应的多类质量指标的权重后,可以根据当前确定出的多类质量指标的权重以及上述该图像集中每张图像的多类评估值,来获取每张图像的质量评估值。其中,该质量评估值可用于保证每张图像的图像质量在多类质量指标下的综合评估情况。这样,通过多方面对图像质量进行评估,可以使得到的质量评估结果更加客观,有效的提高了图像评估的准确性。
在一些实施例中,电子设备可以根据多类质量指标的权重,具体得到各类质量指标的权重,并可根据每张图像的多类评估值,具体得到每张图像于各类质量指标下的评估值,然后电子设备可根据该各类质量指标的权重,对每张图像于各类质量指标下的评估值进行加权计算,从而得到每张图像的质量评估值。
步骤S150:基于所述质量评估值,对所述图像集进行预设处理。
在本申请实施例中,电子设备在获取到图像集中每张图像的质量评估值后,可以基于该质量评估值,对图像集进行预设处理。
在一些实施例中,上述预设处理可以是将图像集中质量评估值较低的图像进行归类,以在用户查看电子设备存储的图像时,将该归类后的图像进行优先显示或者弹出显示,以向用户确认是否移除。在另一些实施例中,上述预设处理也可以是将图像集中质量评估值较高的图像进行归类,以在用户配置电子设备的主界面背景图片时,可将该归类后的图像进行优先显示。具体的预设处理方式在本申请实施例中并不作限定,仅需预设处理方式需要根据质量评估值来确定即可,例如,还可以是对图像集中质量评估值较低的图像进行质量优化。
本申请实施例提供的图像处理方法,通过获取待处理的图像集,并获取该图像集中的每张图像的多类评估值,其中,该多类评估值为多类质量指标对应的评估值,多类评估值与多类质量指标一一对应,使得电子设备可根据图像集中每张图像的多类评估值,确定该图像集对应的多类质量指标的权重,并可根据该多类质量指标的权重以及每张图像的多类评估值,获取每张图像的质量评估值,从而得到更加综合性的图像质量评估结果,进而电子设备可基于该质量评估值,对图像集进行预设处理。如此,通过图像集中每张图像的多类评估值,来确定该图像集对应的多类质量指标的权重,从而可实现不同的图像集,其对应的多类质量指标的权重也不同。然后再通过该图像集对应的多类质量指标的权重,来确定该图像集中每张图像的质量评估值,从而可以图像集的综合质量情况为基准,来对应评估该图像集中每张图像的质量情况,实现了更综合性的图像质量评估。进而电子设备可根据该综合性的质量评估值,对该图像集进行精准高效地管理。
请参阅图2,图2示出了本申请另一个实施例提供的图像处理方法的流程示意图。下面将针对图2所示的流程进行详细的阐述,所示图像处理方法具体可以包括以下步骤:
步骤S210:获取待处理的图像集。
在一些实施例中,上述待处理的图像集可以是人物图像集,该人物图像集中的所有图像都包含同一人物。在另一些实施例中,也可以从该人物图像集中,将同一人物的人脸图像提取出,从而得到人脸图像集,该人脸图像集中的所有人脸图像为同一人。可选的,该人脸图像集也可作为待处理的图像集进行获取。
在一些实施例中,上述待处理的图像集也可以是从视频中提取多帧视频图像组合得到的视频图像集。其中,提取出的视频图像集中的每张视频图像可以包含同一人物,也即电子设备可以从视频中将出现了同一人物的视频图像帧进行提取,从而得到该人物对应的视频图像集。从而可通过对提取出视频图像集的每张视频图像进行质量评估,来确定该视频的视频质量。
步骤S220:获取所述图像集中的每张图像的多类评估值。
在一些实施例中,可以是由电子设备按照多类质量指标,对图像集中的每张图像进行评估,从而电子设备可以获取到图像集中的每张图像的多类评估值。
作为一种方式,当多类质量指标包括目标质量指标时,电子设备可以按照目标质量指标,对图像集中的每张图像进行评估。具体地,请参阅图3,步骤S220可以包括:
步骤S221:获取所述图像集中的每张图像的目标参数,所述目标参数为用于表征图像于所述目标质量指标下的真实状态的参数。
在一些实施例中,电子设备可以获取图像集中的每张图像的目标参数,该目标参数为用于表征图像于目标质量指标下的真实状态的参数。
其中,目标参数的类型与目标质量指标具有对应关系,也即不同的质量指标可对于不同的目标参数类型。可选的,当目标质量指标为人脸姿态指标时,目标参数可以是人脸姿态参数;当目标质量指标为人眼状态指标时,目标参数可以是人眼状态参数;当目标质量指标为人脸遮挡度时,目标参数可以是遮挡度参数;当目标质量指标为人脸清晰度时,目标参数可以是人脸图像的模糊度参数或者清晰度参数。具体的目标参数的类型与目标质量指标在此并不作限定。
在一些实施例中,不同的质量指标可对应不同的目标参数获取方式。电子设备可以根据目标质量指标对应的目标参数获取方式,来对应获取图像集中的每张图像于该目标质量指标的目标参数。
在一些实施方式中,当目标质量指标为人脸姿态指标时,目标参数获取方式可以是人脸姿态参数的获取方式。作为一种方式电子设备可以通过人脸检测算法检测出图像中的人脸区域,然后通过头部姿态估计算法,获取图像中人脸的俯仰角pitch、偏航角yaw和翻滚角roll,作为图像的人脸姿态参数。
在另一些实施方式中,当目标质量指标为人眼状态指标时,目标参数的获取方式可以是人眼状态参数的获取方式。作为一种方式,电子设备可以根据图像中的人脸特征点,分别计算左眼和右眼的上眼睑与下眼睑之间的眼睑距离,作为图像的人眼状态参数。其中,可以是仅将左眼的眼睑距离,作为图像的人眼状态参数,也可以是仅将右眼的眼睑距离,作为图像的人眼状态参数,还可以是获取左眼的眼睑距离和右眼的眼睑距离的平均值,作为图像的人眼状态参数。
在又一些实施方式中,当目标质量指标为人脸遮挡度时,目标参数的获取方式可以是遮挡度参数的获取方式。作为一种方式,电子设备可以获取图像中的人脸图像,然后获取人眼图像中肤色像素个数的占比参数或者非肤色像素个数的占比参数,作为遮挡度参数,其中,电子设备可将人脸图像从RGB颜色空间转换到YCbCr颜色空间,然后根据人脸图像中各个像素于YCbCr颜色空间的像素值,来获取肤色像素的个数,记为C。例如,可以是当像素值中的红色色度值Cr满足133<Cr<173,且蓝色色度值Cb满足77<Cb<124条件时,该像素值对应的像素即为肤色像素。然后电子设备可以获取人脸图像的总像素个数,并获取肤色像素的个数与总像素个数的比值,记为P,作为遮挡度参数。用公式(1)表示为:
其中,NC为非肤色像素个数。可以理解的是,肤色像素的个数的占比越低时,人脸遮挡现象越严重。
当然,电子设备也可以通过获取人脸图像中的非肤色像素个数,并获取非肤色像素个数与总像素个数的比值,作为遮挡度参数。可以理解的是,非肤色像素的个数的占比越高时,人脸遮挡现象越严重。
在再一些实施方式中,当目标质量指标为人脸清晰度时,目标参数的获取方式可以是人脸图像的模糊度参数或者清晰度参数的获取方式。作为一种方式,电子设备可通过拉普拉斯方差计算图像的模糊度参数或者清晰度参数。在一些情况下,可以是模糊度参数越高,人脸图像的模糊程度越高。也可以是清晰度参数越高,人脸图像的清晰程度越高。
步骤S222:将所述目标参数与指定参数进行匹配,获得参数匹配结果。
在本申请实施例中,电子设备在获取到图像集中的每张图像的目标参数后,可以将该目标参数与指定参数进行匹配,并获得参数匹配结果。其中,参数匹配结果可以是目标参数大于指定参数,也可以是目标参数不大于指定参数,还可以是目标参数与指定参数的具体差值。在此并不作限定。
其中,指定参数可以是用来衡量图像于目标质量指标下的基准质量,通过将目标参数与指定参数进行匹配,可以确定图像集中每张图像于目标质量指标下的质量与该基准质量之前的差异,从而可根据该差异,确定图像集中每张图像于目标质量指标下的评估值。
在一些实施例中,指定参数可以是固定参数,也可以根据不同的图像集进行自适应调整的变动参数。其可根据具体的质量指标合理设置,在此并不作限定。
作为一种方式,当指定参数为根据不同的图像集进行自适应调整的变动参数时,可以是将图像集中的所有图像的目标参数的中间标准,作为指定参数。具体地,在步骤S222之前,本申请的图像处理方法还可以包括:根据所述每张图像的目标参数,获取所述图像集中所有目标参数的中间值,作为指定参数。
可以理解的是,由于电子设备获取了图像集中每张图像于目标质量指标下的目标参数,相当于,电子设备获取到图像集的所有图像于目标质量指标下的所有目标参数,因此,电子设备可以获取所有目标参数中的最大目标参数和最小目标参数,此时,相当于获取到了图像集中目标参数所能达到的参数上下限,从而电子设备可以获取最大目标参数和最小目标参数的中间值,作为用于衡量目标质量指标下的基准质量的指定参数,也即用于衡量目标质量指标下的基准质量的是图像集中目标参数能达到的中间水平线。从而电子设备可根据每张图像的具体的目标参数,与上述图像集中目标参数的中间值进行比较,来确定每张图像于目标质量指标下的质量情况。
作为一种实施方式,当目标质量指标为人眼状态指标时,目标参数为图像的眼睑距离时,指定参数可以是图像集中所有眼睑距离的中间值。作为一种方式,当将图像中左眼的眼睑距离和右眼的眼睑距离的平均值,作为该图像最终的眼睑距离(即目标参数)时,电子设备可以对获取到图像集中的每张图像都计算该最终的眼睑距离,然后获取这个图像集中眼睑距离的最大值,记为Dmax,获取这个图像集中眼睑距离的最小值,记为Dmin,最后获取最大值与最小值的中间值,记为Dmid,作为该图像集对应的指定参数。用公式(2)表示为:
作为另一种实施方式,当目标质量指标为人脸遮挡度时,目标参数可以为人脸图像中肤色像素个数于总像素个数中的肤色占比参数,指定参数可以是图像集中所有肤色占比参数的中间值。电子设备可以对获取到图像集中的每张图像都计算肤色占比参数,然后获取这个图像集中肤色占比参数的最大值,记为Pmax,获取这个图像集中肤色占比参数的最小值,记为Pmin,最后获取最大值与最小值的中间值,记为Pmid,作为该图像集对应的指定参数。用公式(3)表示为:
作为另一种方式,当指定参数为固定参数时,可以是目标质量指标下的标准参数,作为指定参数。
作为一种实施方式,当目标质量指标为人脸姿态指标时,目标参数可以为人脸姿态参数,上述指定参数可以为预设的标准姿态参数。具体地,上述将所述目标参数与指定参数进行匹配,可以是将所述人脸姿态参数与所述标准姿态参数进行比对,从而电子设备可获得所述每张图像中人脸的姿态旋转参数作为参数匹配结果。
其中,预设的标准姿态参数可以预先存储于电子设备,可以由用户设置,在此并不作限定。例如,预设的标准姿态参数可以是人脸的正面与电子设备的屏幕平面平行时,得到的姿态参数。电子设备可通过将图像中的人脸姿态参数与标准姿态参数比对,可以获得人脸的姿态旋转参数。可以理解的是,当人脸姿态参数与标准姿态参数比对不一致时,可认为相对于标准姿态而言,待处理的图像中的人脸发生偏转。当人脸姿态参数与标准姿态参数比对一致时,可认为相对于标准姿态而言,待处理的图像中的人脸未发生偏转。
在一些实施例中,人脸姿态参数可以包括人脸的俯仰角、偏航角和翻滚角,相应的,人脸的姿态旋转参数也可以包括人脸的俯仰角旋转参数、偏航角旋转参数和翻滚角旋转参数。
作为另一种实施方式,当目标质量指标为人脸清晰度时,目标参数可以为模糊度参数或者清晰度参数,上述指定参数可以为预设的模糊度阈值或者清晰度阈值。具体地,上述将所述目标参数与指定参数进行匹配,可以是将模糊度参数与模糊度阈值进行比对,也可以是将清晰度参数与清晰度阈值进行比对,从而电子设备可获得参数匹配结果。示例性的,通过对大量不同模糊程度的人脸图像进行观察,可发现当图像的模糊度参数大于800时,人脸图像模糊程度较为严重,因此可将模糊度阈值设置为800。
步骤S223:根据所述参数匹配结果,获得所述每张图像于所述目标质量指标下的目标评估值。
在一些实施例中,当指定参数为上述图像集中所有目标参数的中间值时,可以根据目标参数与指定参数的大小关系,确定每张图像于所述目标质量指标下的目标评估值。
作为一种实施方式,当图像集中存在一张图像的目标参数小于该图像集对应的指定参数时,可认为该图像未达到该目标质量指标下的基准质量,该图像于目标质量指标下的质量较低。当图像集中存在一张图像的目标参数大于该图像集对应的指定参数时,可认为该图像达到该目标质量指标下的基准质量,该图像于目标质量指标下的质量不会低。
作为一种方式,若评估的分数值区间为[0-100],则电子设备可以直接将目标参数小于指定参数的图像的评估值确定为一个较小值,可以是0、1、10等。
作为另一种方式,当目标参数越大,该图像于目标目标质量指标下的质量就越高时,可以根据该图像的目标参数值,在该图像集对应的目标参数的上下限值范围内的具体位置,来确定该图像于目标质量指标下的目标评估值。具体地,电子设备可以获取该图像集中的最大目标参数和最大目标参数之间的第一差值,该差值即为目标参数的上下限值范围,然后可以获取该图像的目标参数值与最小目标参数之间的第二差值,该差值即为该图像的目标参数值于上述上下限值范围的相对位置,电子设备通过获取第二差值与第一差值的比值,作为该图像于目标质量指标下的目标评估值。当评估的分数值区间为[0-100],可以将该比值乘上100,以将该比值映射于该分数值区间。
在一些实施例中,也可以是仅在目标参数大于指定参数时,才根据该图像的目标参数值,在该图像集对应的目标参数的上下限值范围内的具体位置,来确定该图像于目标质量指标下的目标评估值。而在目标参数小于指定参数时,电子设备可以直接将目标参数小于指定参数的图像的评估值确定为一个较小值。如1。具体地,请参阅图4,步骤S223可以包括:
步骤S2231a:若所述目标参数大于所述指定参数,则获取所述所有目标参数中的最大目标参数与最小目标参数。
步骤S2232a:获取所述目标参数与所述最小目标参数的第一差值。
步骤S2233a:获取所述最大目标参数与所述最小目标参数的第二差值。
步骤S2234a:获取所述第一差值与所述第二差值的比值,作为所述每张图像于所述目标质量指标下的目标评估值。
电子设备可以在目标参数大于所述指定参数时,才获取图像集中所有目标参数中的最大目标参数与最小目标参数,该最大目标参数与最小目标参数可用于表征目标参数的上限阈值与下限阈值,然后电子设备可以获取目标参数与最小目标参数的第一差值,并获取最大目标参数与最小目标参数的第二差值。其中,第二差值可以用于表征图像集中目标参数的区间范围,第一差值可以用于表征该图像的目标参数于该区间范围中的具体位置,电子设备可获取第一差值与所述第二差值的比值,作为该图像于目标质量指标下的目标评估值。该比值可以用于表征该图像的目标参数与该区间区间范围的上限的差距大小,也就是说,当比值越大时,说明该图像的目标参数越靠近该区间区间范围的上限,也即,该图像于目标质量指标下的目标评估值越高,越接近于满分。
作为一种实施方式,当目标质量指标为人眼状态指标时,目标参数为图像的眼睑距离时,指定参数可以是图像集中所有眼睑距离的中间值Dmid。图像集中每张图像于人眼状态指标下的人眼状态评估值Escore,用公式(4)表示为:
其中,在图像的目标参数D小于Dmid时,电子设备可以该图像的人眼状态评估值Escore确定为1,在图像的目标参数D不小于Dmid时,电子设备可以该图像的人眼状态评估值Escore确定为上述第一差值D-Dmin与第二差值Dmax-Dmin的比值,再通过乘上100以标准化至[0,100]。
作为另一种实施方式,当目标质量指标为人脸遮挡度时,目标参数可以为人脸图像中肤色像素个数于总像素个数中的肤色占比参数,指定参数可以是图像集中所有肤色占比参数的中间值Pmid。图像集中每张图像于人脸遮挡度下的遮挡度评估值Cscore,用公式(5)表示为:
其中,在图像的目标参数P小于Pmid时,可认为发生了严重遮挡,电子设备可以该图像的遮挡度评估值Cscore确定为1,在图像的目标参数P不小于Pmid时,电子设备可以该图像的遮挡度评估值Cscore确定为上述第一差值P-Pmin与第二差值Pmax-Pmin的比值,再通过乘上100以标准化至[0,100]。
作为又一种方式,当目标参数越大,该图像于目标目标质量指标下的质量就越低时,也可以根据该图像的目标参数值,在该图像集对应的目标参数的上下限值范围内的具体位置,来确定该图像于目标质量指标下的目标评估值。具体地,电子设备可以获取该图像集中的最大目标参数和最小目标参数之间的第一差值,该差值即为目标参数的上下限值范围,然后可以获取该图像的目标参数值与最大目标参数之间的第二差值,该差值即为该图像的目标参数值于上述上下限值范围的相对位置,电子设备通过获取第二差值与第一差值的比值,作为该图像于目标质量指标下的目标评估值。当评估的分数值区间为[0-100],可以将该比值乘上100,以将该比值映射于该分数值区间。从而实现目标评估值越大,该图像于目标目标质量指标下的质量就越高。
在一些实施例中,当指定参数为上述固定参数时,也可以根据目标参数与指定参数的大小差异关系,确定每张图像于所述目标质量指标下的目标评估值。
作为一种方式,当目标参数为人脸姿态参数,其中人脸姿态参数可以包括人脸的俯仰角、偏航角和翻滚角时,上述指定参数可以为预设的标准姿态参数,其中标准姿态参数可以包括人脸的标准俯仰角、标准偏航角和标准翻滚角。将目标参数与指定参数进行匹配,得到的参数匹配结果可以是人脸的姿态旋转参数,其中,人脸的姿态旋转参数可以包括人脸的俯仰角旋转参数、偏航角旋转参数和翻滚角旋转参数。从而电子设备可以根据具体的各个角度的匹配结果,确定图像于人脸姿态指标下的人脸姿态评估值。
具体地,请参阅图5,步骤S223可以包括:
步骤S2231b:分别对所述俯仰角旋转参数、偏航角旋转参数和翻滚角旋转参数进行归一化处理,获得各旋转参数对应的归一化数据。
在一些实施例中,电子设备将一个图像的人脸姿态参数与预设的标准姿态参数进行比对后,可以得到人脸的俯仰角、偏航角和翻滚角的旋转参数。从而电子设备可以根据各个角旋转参数,确定该图像于人脸姿态指标下的人脸姿态评估值。具体地,电子设备可分别对俯仰角旋转参数、偏航角旋转参数和翻滚角旋转参数进行归一化处理,以获得各旋转参数对应的归一化数据。
作为一种方式,电子设备可以先获取俯仰角旋转参数、偏航角旋转参数和翻滚角旋转参数的旋转参数总值,然后再分别获取俯仰角旋转参数与旋转参数总值的第一比值,获取偏航角旋转参数与旋转参数总值的第二比值,获取翻滚角旋转参数与旋转参数总值的第三比值。其中,第一比值可作为俯仰角旋转参数对应的归一化数据,第二比值可作为偏航角旋转参数对应的归一化数据,第三比值可作为翻滚角旋转参数对应的归一化数据。
示例性地,若预设的标准姿态参数中,标准俯仰角=180°,标准偏航角=0°,标准翻滚角=0°,则电子设备将一个图像的人脸姿态参数中的俯仰角pitch、偏航角yaw和翻滚角roll,与标准姿态参数中的标准俯仰角、标准偏航角、标准翻滚角比对,得到的俯仰角旋转参数为180-|pitch|、偏航角旋转参数为|yaw|,翻滚角旋转参数为|roll|。然后电子设备可分别对俯仰角旋转参数、偏航角旋转参数和翻滚角旋转参数进行归一化处理,以获得各旋转参数对应的归一化数据。用公式(6)表示为:
其中,w1为俯仰角旋转参数对应的归一化数据,w2为偏航角旋转参数对应的归一化数据,w3为翻滚角旋转参数对应的归一化数据。
步骤S2232b:根据所述各旋转参数对应的归一化数据,确定所述各旋转参数对应的的权重。
步骤S2233b:根据所述各旋转参数对应的的权重,对所述俯仰角旋转参数、偏航角旋转参数和翻滚角旋转参数进行加权计算,获得所述每张图像于所述人脸姿态指标下的人脸姿态评估值。
在一些实施例中,由于归一化数据的数值范围为[0-1],权重的数值范围也为[0-1],因此,可以直接将各旋转参数对应的归一化数据,作为各旋转参数对应的的权重。从而电子设备可根据各旋转参数对应的的权重,对俯仰角旋转参数、偏航角旋转参数和翻滚角旋转参数进行加权计算,获得每张图像于人脸姿态指标下的人脸姿态评估值。
例如,可以将上述例子中的w1作为俯仰角旋转参数对应的权重系数,w2作为偏航角旋转参数对应的权重系数,w3作为翻滚角旋转参数对应的权重系数。电子设备可以获取每张图像于所述人脸姿态指标下的人脸姿态评估值R,用公式(7)表示为:
R=w1(180-|pitch|)+w2|yaw|+w3|roll| (7)
在一些实施例中,因人脸的各种旋转角度均不可能大于90°,因此可通过公式(8)将人脸姿态评估值R标准化至[0,100],从而可以获取到标准化后的人脸姿态评估值Rscore,并作为图像于所述人脸姿态指标下的人脸姿态评估值。其中,公式(8)可以表示为:
Rscore=100-R (8)
可以理解的是,当人脸的各种旋转角度越大时,人脸姿态评估值R就越大,从而标准化后的人脸姿态评估值Rscore就越小。也就是说,图像中的人脸姿态偏离标准姿态越严重,图像于人脸姿态指标下的人脸姿态评估值就越低。
作为另一种方式,当目标质量指标为人脸清晰度,目标参数为模糊度参数时,上述指定参数可以为预设的模糊度阈值。将目标参数与指定参数进行匹配,得到的参数匹配结果可以是模糊度参数与模糊度阈值的关系,也可以是模糊度参数与模糊度阈值的差值。电子设备也可以根据具体的参数匹配结果,确定图像于人脸清晰度下的清晰度评估值。
在一些实施例中,由于模糊度参数越大,人脸图像模糊程度就越严重,也即该图像于人脸清晰度下的质量就越低,而若人脸图像的模糊度参数达到模糊度阈值,人脸图像模糊就比较严重时,因此,可以通过判断图像的模糊度参数与模糊度阈值的大小,来确定图像于人脸清晰度下的清晰度评估值。
作为一种实施方式,当图像集中存在一张图像的模糊度参数小于预设的模糊度阈值时,可认为该图像未达到人脸清晰度指标下的基准质量,该图像模糊较为严重,此时电子设备可以直接将模糊度参数小于模糊度阈值的图像的清晰度评估值确定为一个较小值。当图像集中存在一张图像的模糊度参数小于预设的模糊度阈值时,可认为该图像达到人脸清晰度指标下的基准质量,该图像模糊不是很严重。此时电子设备可根据该图像的模糊度参数,与模糊度阈值的差值大小,来确定该图像于人脸清晰度指标下的清晰度评估值。
可以理解的是,一张图像的模糊度参数小于模糊度阈值时,若模糊度参数与模糊度阈值的差值越小,可表明模糊度参数越趋近于模糊度阈值,也即该图像的模糊度逐级开始加深,则该图像于人脸清晰度指标下的清晰度评估值就会越低。相反的,若模糊度参数与模糊度阈值的差值越大,可表明模糊度参数越远离于模糊度阈值,也即该图像的模糊度逐级开始减弱,清晰度越来越高,则该图像于人脸清晰度指标下的清晰度评估值就会越高。
作为一种方式,电子设备可以在图像的模糊度参数小于模糊度阈值时,获取模糊度参数与模糊度阈值的第三差值,并获取该第三差值与模糊度阈值的比值,作为该图像于人脸清晰度指标下的清晰度评估值。其中,该比值可以用于表征模糊度参数与模糊度阈值之间的差距大小。该比值越大时,模糊度参数与模糊度阈值的差值越大,该图像的清晰度越来越高,则该图像于人脸清晰度指标下的清晰度评估值就会越高。
示例性地,若模糊度阈值设为800,电子设备可以获取图像于人脸清晰度指标下的清晰度评估值Bscore,用公式(9)表示为:
其中,在图像的模糊度参数B不小于800时,电子设备可以直接将该图像的清晰度评估值Bscore确定为1,在图像的模糊度参数B小于800时,电子设备可以将该图像的清晰度评估值Bscore确定为上述第三差值800-B与800的比值,再通过乘上100以标准化至[0,100]。
步骤S230:根据所述每张图像的多类评估值,获取所述图像集对应的每类质量指标的评估均值。
在本申请实施例中,电子设备在获取到图像集中每张图像的多类评估值,可以获取图像集对应的每类质量指标的评估均值,以根据该每类质量指标的评估均值,确定该图像集对应的每类质量指标的权重。具体地,电子设备可以获取图像集中每张图像于目标质量指标下的目标评估值,然后求和,可以获取到图像集中所有图像于目标质量指标下的目标评估值总和。然后电子设备获取图像集中的图像个数,并获取目标评估值总和与图像个数的比值,即可得到图像集于目标质量指标下的评估均值。其中,目标质量指标为多类质量指标中的任一质量指标。电子设备对多类质量指标中的每类质量指标都重复上述方式,既可获取到图像集对应的每类质量指标的评估均值。
示例性地,当多类质量指标为上述人脸姿态指标,人眼状态指标、人脸遮挡度指标以及人脸清晰度指标时,电子设备可以获取图像集于人脸姿态指标下的评估均值为Rmean,于人眼状态指标下的评估均值为Emean、于人脸遮挡度指标下的评估均值为Cmean,于人脸清晰度指标下的评估均值为Bmean。
步骤S240:分别对所述每类质量指标的评估均值进行归一化处理,获得所述每类质量指标的评估均值对应的归一化数据。
在本申请实施例中,电子设备在获取到图像集对应的每类质量指标的评估均值后,可以分别对每类质量指标的评估均值进行归一化处理,从而获得每类质量指标的评估均值对应的归一化数据。
在一些实施例中,当各类质量指标的评估值的取值范围不一致时,可将各类质量指标的评估值映射到同一取值范围,以便后续对各类质量指标进行综合性处理(如归一化处理,综合评估的求取等涉及到多类质量指标的评估值之间的计算处理)时,提取处理的准确性。例如,质量指标A的评估值的取值范围为[0,1],质量指标B的评估值的取值范围为[0,100]时,可将质量指标A和B的评估值的取值范围都映射为同一取值范围[0,100],也即质量指标A的评估值需乘上10,而质量指标B的评估值可维持原样不变。
具体的,请参阅图6,步骤S240可以包括:
步骤S241:获取所述每类质量指标的评估均值的总值。
步骤S242:分别获取所述每类质量指标的评估均值与所述总值的比值,作为所述每类质量指标的评估均值对应的归一化数据。
在本申请实施例中,电子设备可以通过获取每类质量指标的评估均值的总值,并分别获取每类质量指标的评估均值与总值的比值,作为每类质量指标的评估均值对应的归一化数据。其中,每类质量指标的评估均值与总值的比值也可以理解为每类质量指标的评估的占比情况。
可以理解的是,当一个质量指标的评估均值越高,该质量指标的评估均值与总值的比值就越高,该质量指标的评估占比就越高,该质量指标的重要程度就越高。
示例性地,当多类质量指标为上述人脸姿态指标,人眼状态指标、人脸遮挡度指标以及人脸清晰度指标时,图像集于人脸姿态指标下的评估均值为Rmean,于人眼状态指标下的评估均值为Emean、于人脸遮挡度指标下的评估均值为Cmean,于人脸清晰度指标下的评估均值为Bmean。电子设备可以分别对每类质量指标的评估均值进行归一化处理,用公式(10)和(11)可以表示为:
Sum_mean=Rmean+Emean+Cmean+Bmean (10)
其中,Sum_mean为每类质量指标的评估均值的总值,WR为人脸姿态指标对应的归一化数据,WE为人眼状态指标对应的归一化数据,WC为人脸遮挡度指标对应的归一化数据,WB为人脸清晰度指标对应的归一化数据。
步骤S250:根据所述每类质量指标对应的归一化数据,确定所述图像集对应的每类质量指标的权重。
在一些实施例中,由于归一化数据的数值范围为[0-1],权重的数值范围也为[0-1],因此,可以直接将每类质量指标对应的归一化数据,作为图像集对应的每类质量指标的权重。从而电子设备可根据图像集对应的每类质量指标的权重,获得每张图像于多类质量指标下的综合质量评估值。从而通过每个图像集中各类质量指标的评估情况,来确定每个图像集对应的每类质量指标的权重。实现多类质量指标权重的自适应调整,根据该自适应调整的权重更能准确反映图像集的质量情况。
步骤S260:根据所述多类质量指标的权重以及所述每张图像的多类评估值,获取所述每张图像的质量评估值。
电子设备可以根据多类质量指标的权重以及每张图像的多类评估值,获取到每张图像的质量评估值。具体地,在一些实施例中,请参阅图7,步骤S260可以包括:
步骤S261:获取所述多类质量指标中各类质量指标的权重。
步骤S262:根据所述各类质量指标的权重,对所述各类质量指标对应的评估值进行加权计算,获得所述每张图像的质量评估值。
电子设备可以获取多类质量指标中各类质量指标的权重,然后根据多类质量指标的权重以及每张图像的多类评估值,获取到每张图像的质量评估值。从而实现根据该图像集对应的各类质量指标的权重,依次对图像集中的每张图像进行综合质量评估,更能准确反映图像集的质量情况,提高了质量评估的准确性。
示例性地,当多类质量指标为上述人脸姿态指标,人眼状态指标、人脸遮挡度指标以及人脸清晰度指标时,电子设备获取每张图像的质量评估值,可以用公式(12)表示:
Qface=WRRscore+WEEscore+WcCscore+WBBscore (12)
其中,Qface为综合了多类质量指标后,对每张图像的质量评估值。如此,结合图像集对应的人脸姿态指标,人眼状态指标、人脸遮挡度指标以及人脸清晰度指标,来计算该图像集对应的线性加权系数,再根据该图像集对应的线性加权系数,对该图像集中的每张图像进行综合评估,最终得到每张图像的图像质量综合指标,提高了质量评估的准确性,进而提升了图像管理效果。
步骤S270:基于所述质量评估值,对所述图像集进行预设处理。
在一些实施例中,电子设备可以是基于图像集中每张图像的质量评估值,筛选出该图像集中质量不好的图像,并提醒用户。具体地,请参阅图8,步骤S270可以包括:
步骤S271:基于所述质量评估值,获取所述图像集中所述质量评估值小于预设评估值的目标图像。
步骤S272:根据所述目标图像,生成图像提示信息,所述图像提示信息用于提示是否删除所述目标图像。
其中,预设评估值可以是用于衡量图像的综合质量优劣的评估标准值,可以由用户设置,也可以是出厂默认设置,此处不作限定。
可以理解的是当图像集中存在一张图像的质量评估值小于预设评估值,可以认为该图像在综合考虑了多类质量指标以及该图像集的整体评估值的情况下,图像质量比较低。当图像集中存在一张图像的质量评估值大于预设评估值,可以认为该图像在综合考虑了多类质量指标以及该图像集的整体评估值的情况下,图像质量比较高。因此,在一些实施例中,电子设备可以自动将质量比较低的图像进行归类,以提示用户是否进行删除,减少用户用人眼判断出图像质量低的图像的此时,提升用户的图像管理体验。
具体地,电子设备可以基于质量评估值,获取所图像集中质量评估值小于预设评估值的所有目标图像,然后根据该目标图像,生成图像提示信息,该图像提示信息用于提示用户是否删除所述目标图像。
本申请实施例提供的图像处理方法,通过获取待处理的图像集,并获取该图像集中的每张图像的多类评估值,使得电子设备可根据图像集中每张图像的多类评估值,获取图像集对应的每类质量指标的评估均值,并分别对每类质量指标的评估均值进行归一化处理,以获得每类质量指标的评估均值对应的归一化数据,从而电子设备可根据每类质量指标对应的归一化数据,确定该图像集对应的多类质量指标的权重,并可根据该多类质量指标的权重以及每张图像的多类评估值,获取每张图像的质量评估值,从而得到更加综合性的图像质量评估结果,进而电子设备可基于该质量评估值,对图像集进行预设处理。如此实现了多类质量指标的权重的自适应调整,并可通过该自适应调整的多类质量指标的权重,来确定该图像集中每张图像的质量评估值,从而可以图像集的综合质量情况为基准,来对应评估该图像集中每张图像的质量情况,实现了更综合性的图像质量评估。进而电子设备可根据该综合性的质量评估值,对该图像集进行精准高效地管理。另外,通过综合考虑了人脸姿态指标,人眼状态指标、人脸遮挡度指标以及人脸清晰度指标等多类质量指标,也提高了图像质量评估的准确性和完善性。
请参阅图9,其示出了本申请实施例提供的一种图像处理装置700的结构框图,该图像处理装置700包括:图像获取模块710、指标评估获取模块720、指标权重获取模块730、质量评估获取模块740以及图像处理模块750。其中,图像获取模块710用于获取待处理的图像集;指标评估获取模块720用于获取所述图像集中的每张图像的多类评估值,其中,所述多类评估值为多类质量指标对应的评估值,所述多类评估值与所述多类质量指标一一对应;指标权重获取模块730用于根据所述每张图像的多类评估值,确定所述图像集对应的多类质量指标的权重;质量评估获取模块740用于根据所述多类质量指标的权重以及所述每张图像的多类评估值,获取所述每张图像的质量评估值;图像处理模块750用于基于所述质量评估值,对所述图像集进行预设处理。
在一些实施例中,指标权重获取模块730可以包括:均值获取模块,用于根据所述每张图像的多类评估值,获取所述图像集对应的每类质量指标的评估均值;均值归一化模块,用于分别对所述每类质量指标的评估均值进行归一化处理,获得所述每类质量指标的评估均值对应的归一化数据;指标权重确定模块,用于根据所述每类质量指标对应的归一化数据,确定所述图像集对应的每类质量指标的权重。
在一些实施例中,上述均值归一化模块可以具体用于:获取所述每类质量指标的评估均值的总值;分别获取所述每类质量指标的评估均值与所述总值的比值,作为所述每类质量指标的评估均值对应的归一化数据。
在一些实施例中,上述多类质量指标包括目标质量指标时,指标评估获取模块720可以包括:参数获取单元,用于获取所述图像集中的每张图像的目标参数,所述目标参数为用于表征图像于所述目标质量指标下的真实状态的参数;参数匹配单元,用于将所述目标参数与指定参数进行匹配,获得参数匹配结果;目标值获取单元,用于根据所述参数匹配结果,获得所述每张图像于所述目标质量指标下的目标评估值。
在一些实施例中,该图像处理装置700还可以包括:指定参数获取模块,用于根据所述每张图像的目标参数,获取所述图像集中所有目标参数的中间值,作为指定参数。
在一些实施例中,上述目标值获取单元可以具体用于:若所述目标参数大于所述指定参数,则获取所述所有目标参数中的最大目标参数与最小目标参数获取所述目标参数与所述最小目标参数的第一差值;获取所述最大目标参数与所述最小目标参数的第二差值;获取所述第一差值与所述第二差值的比值,作为所述每张图像于所述目标质量指标下的目标评估值。
在一些实施例中,上述目标质量指标为人脸姿态指标时,上述目标参数为人脸姿态参数,上述指定参数为预设的标准姿态参数,上述参数匹配单元也可以具体用于:将所述人脸姿态参数与所述标准姿态参数进行比对,获得所述每张图像中人脸的姿态旋转参数作为参数匹配结果。
在一些实施例中,上述人脸姿态参数包括人脸的俯仰角、偏航角和翻滚角时,上述人脸的姿态旋转参数可以包括人脸的俯仰角旋转参数、偏航角旋转参数和翻滚角旋转参数。上述目标值获取单元可以具体用于:分别对所述俯仰角旋转参数、偏航角旋转参数和翻滚角旋转参数进行归一化处理,获得各旋转参数对应的归一化数据;根据所述各旋转参数对应的归一化数据,确定所述各旋转参数对应的的权重;根据所述各旋转参数对应的的权重,对所述俯仰角旋转参数、偏航角旋转参数和翻滚角旋转参数进行加权计算,获得所述每张图像于所述人脸姿态指标下的人脸姿态评估值
在一些实施例中,上述质量评估获取模块740可以具体用于:获取所述多类质量指标中各类质量指标的权重;根据所述各类质量指标的权重,对所述各类质量指标对应的评估值进行加权计算,获得所述每张图像的质量评估值。
在一些实施例中,上述图像处理模块750可以包括:基于所述质量评估值,获取所述图像集中所述质量评估值小于预设评估值的目标图像;根据所述目标图像,生成图像提示信息,所述图像提示信息用于提示是否删除所述目标图像。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,模块相互之间的耦合可以是电性,机械或其它形式的耦合。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
综上所述,本申请实施例提供的图像处理装置用于实现前述方法实施例中相应的图像处理方法,并具有相应的方法实施例的有益效果,在此不再赘述。
请参考图10,其示出了本申请实施例提供的一种电子设备的结构框图。该电子设备100可以是PC电脑、移动终端等能够运行应用程序的终端设备。本申请中的电子设备100可以包括一个或多个如下部件:处理器110、存储器120以及一个或多个应用程序,其中,一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行,一个或多个应用程序配置用于执行如前述方法实施例所描述的方法。
处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个电子设备100内的各个部分,通过运行或执行存储在存储器120内的指令、程序、代码集或指令集,以及调用存储在存储器120内的数据,执行电子设备100的各种功能和处理数据。可选地,处理器110可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器110中,单独通过一块通信芯片进行实现。
存储器120可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
可以理解,图10所示结构仅为示例,电子设备100还可以包括比图10所示更多或更少的组件,或是具有与图10所示完全不同的配置。本申请实施例对此没有限制。
请参考图11,其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质800中存储有程序代码,所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地,计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (13)
1.一种图像处理方法,其特征在于,应用于电子设备,所述方法包括:
获取待处理的图像集;
获取所述图像集中的每张图像的多类评估值,其中,所述多类评估值为多类质量指标对应的评估值,所述多类评估值与所述多类质量指标一一对应;
根据所述每张图像的多类评估值,确定所述图像集对应的多类质量指标的权重;
根据所述多类质量指标的权重以及所述每张图像的多类评估值,获取所述每张图像的质量评估值;
基于所述质量评估值,对所述图像集进行预设处理。
2.根据权利要求1所述的方法,其特征在于,所述根据所述每张图像的多类评估值,确定所述图像集对应的多类质量指标的权重,包括:
根据所述每张图像的多类评估值,获取所述图像集对应的每类质量指标的评估均值;
分别对所述每类质量指标的评估均值进行归一化处理,获得所述每类质量指标的评估均值对应的归一化数据;
根据所述每类质量指标对应的归一化数据,确定所述图像集对应的每类质量指标的权重。
3.根据权利要求2所述的方法,其特征在于,所述分别对所述每类质量指标的评估均值进行归一化处理,获得所述每类质量指标的评估均值对应的归一化数据,包括:
获取所述每类质量指标的评估均值的总值;
分别获取所述每类质量指标的评估均值与所述总值的比值,作为所述每类质量指标的评估均值对应的归一化数据。
4.根据权利要求1所述的方法,其特征在于,所述多类质量指标包括目标质量指标时,所述获取所述图像集中的每张图像的多类评估值,包括:
获取所述图像集中的每张图像的目标参数,所述目标参数为用于表征图像于所述目标质量指标下的真实状态的参数;
将所述目标参数与指定参数进行匹配,获得参数匹配结果;
根据所述参数匹配结果,获得所述每张图像于所述目标质量指标下的目标评估值。
5.根据权利要求4所述的方法,其特征在于,在所述将所述目标参数与指定参数进行匹配,获得参数匹配结果之前,所述方法还包括:
根据所述每张图像的目标参数,获取所述图像集中所有目标参数的中间值,作为指定参数。
6.根据权利要求5所述的方法,其特征在于,所述根据所述参数匹配结果,获得所述每张图像于所述目标质量指标下的目标评估值,包括:
若所述目标参数大于所述指定参数,则获取所述所有目标参数中的最大目标参数与最小目标参数;
获取所述目标参数与所述最小目标参数的第一差值;
获取所述最大目标参数与所述最小目标参数的第二差值;
获取所述第一差值与所述第二差值的比值,作为所述每张图像于所述目标质量指标下的目标评估值。
7.根据权利要求4所述的方法,其特征在于,所述目标质量指标为人脸姿态指标时,所述目标参数为人脸姿态参数,所述指定参数为预设的标准姿态参数,所述将所述目标参数与指定参数进行匹配,获得参数匹配结果,包括:
将所述人脸姿态参数与所述标准姿态参数进行比对,获得所述每张图像中人脸的姿态旋转参数作为参数匹配结果。
8.根据权利要求7所述的方法,其特征在于,所述人脸姿态参数包括人脸的俯仰角、偏航角和翻滚角时,所述人脸的姿态旋转参数包括人脸的俯仰角旋转参数、偏航角旋转参数和翻滚角旋转参数,所述根据所述参数匹配结果,获得所述每张图像于所述目标质量指标下的目标评估值,包括:
分别对所述俯仰角旋转参数、偏航角旋转参数和翻滚角旋转参数进行归一化处理,获得各旋转参数对应的归一化数据;
根据所述各旋转参数对应的归一化数据,确定所述各旋转参数对应的的权重;
根据所述各旋转参数对应的的权重,对所述俯仰角旋转参数、偏航角旋转参数和翻滚角旋转参数进行加权计算,获得所述每张图像于所述人脸姿态指标下的人脸姿态评估值。
9.根据权利要求1-8任一项所述的方法,其特征在于,所述根据所述多类质量指标的权重以及所述每张图像的多类评估值,获取所述每张图像的质量评估值,包括:
获取所述多类质量指标中各类质量指标的权重;
根据所述各类质量指标的权重,对所述各类质量指标对应的评估值进行加权计算,获得所述每张图像的质量评估值。
10.根据权利要求1-8任一项所述的方法,其特征在于,所述基于所述质量评估值,对所述图像集进行预设处理,包括:
基于所述质量评估值,获取所述图像集中所述质量评估值小于预设评估值的目标图像;
根据所述目标图像,生成图像提示信息,所述图像提示信息用于提示是否删除所述目标图像。
11.一种图像处理装置,其特征在于,应用于电子设备,所述装置包括:
图像获取模块,用于获取待处理的图像集;
指标评估获取模块,用于获取所述图像集中的每张图像的多类评估值,其中,所述多类评估值为多类质量指标对应的评估值,所述多类评估值与所述多类质量指标一一对应;
指标权重获取模块,用于根据所述每张图像的多类评估值,确定所述图像集对应的多类质量指标的权重;
质量评估获取模块,用于根据所述多类质量指标的权重以及所述每张图像的多类评估值,获取所述每张图像的质量评估值;
图像处理模块,用于基于所述质量评估值,对所述图像集进行预设处理。
12.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个应用程序配置用于执行如权利要求1-10任一项所述的方法。
13.一种计算机可读取存储介质,其特征在于,所述计算机可读取存储介质中存储有程序代码,所述程序代码可被处理器调用执行如权利要求1-10任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010917916.9A CN112070739A (zh) | 2020-09-03 | 2020-09-03 | 图像处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010917916.9A CN112070739A (zh) | 2020-09-03 | 2020-09-03 | 图像处理方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112070739A true CN112070739A (zh) | 2020-12-11 |
Family
ID=73666609
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010917916.9A Pending CN112070739A (zh) | 2020-09-03 | 2020-09-03 | 图像处理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112070739A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112967273A (zh) * | 2021-03-25 | 2021-06-15 | 北京的卢深视科技有限公司 | 图像处理方法、电子设备及存储介质 |
CN113315995A (zh) * | 2021-05-06 | 2021-08-27 | 北京智通东方软件科技有限公司 | 提高视频质量的方法、装置、可读存储介质及电子设备 |
CN113538368A (zh) * | 2021-07-14 | 2021-10-22 | Oppo广东移动通信有限公司 | 图像选择方法、图像选择装置、存储介质与电子设备 |
CN113658093A (zh) * | 2021-06-30 | 2021-11-16 | 浙江大华技术股份有限公司 | 图像质量评估方法、装置、设备及计算机存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109034013A (zh) * | 2018-07-10 | 2018-12-18 | 腾讯科技(深圳)有限公司 | 一种人脸图像识别方法、装置及存储介质 |
CN110895802A (zh) * | 2018-08-23 | 2020-03-20 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法及装置 |
CN111160284A (zh) * | 2019-12-31 | 2020-05-15 | 苏州纳智天地智能科技有限公司 | 人脸照片质量评估方法、系统、设备及存储介质 |
-
2020
- 2020-09-03 CN CN202010917916.9A patent/CN112070739A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109034013A (zh) * | 2018-07-10 | 2018-12-18 | 腾讯科技(深圳)有限公司 | 一种人脸图像识别方法、装置及存储介质 |
CN110895802A (zh) * | 2018-08-23 | 2020-03-20 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法及装置 |
CN111160284A (zh) * | 2019-12-31 | 2020-05-15 | 苏州纳智天地智能科技有限公司 | 人脸照片质量评估方法、系统、设备及存储介质 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112967273A (zh) * | 2021-03-25 | 2021-06-15 | 北京的卢深视科技有限公司 | 图像处理方法、电子设备及存储介质 |
CN112967273B (zh) * | 2021-03-25 | 2021-11-16 | 北京的卢深视科技有限公司 | 图像处理方法、电子设备及存储介质 |
CN113315995A (zh) * | 2021-05-06 | 2021-08-27 | 北京智通东方软件科技有限公司 | 提高视频质量的方法、装置、可读存储介质及电子设备 |
CN113658093A (zh) * | 2021-06-30 | 2021-11-16 | 浙江大华技术股份有限公司 | 图像质量评估方法、装置、设备及计算机存储介质 |
CN113538368A (zh) * | 2021-07-14 | 2021-10-22 | Oppo广东移动通信有限公司 | 图像选择方法、图像选择装置、存储介质与电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112070739A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
JP7413400B2 (ja) | 肌質測定方法、肌質等級分類方法、肌質測定装置、電子機器及び記憶媒体 | |
US8983152B2 (en) | Image masks for face-related selection and processing in images | |
US8983202B2 (en) | Smile detection systems and methods | |
CN105243371A (zh) | 一种人脸美颜程度的检测方法、系统及拍摄终端 | |
CN111127476B (zh) | 一种图像处理方法、装置、设备及存储介质 | |
US20210334998A1 (en) | Image processing method, apparatus, device and medium for locating center of target object region | |
US9881202B2 (en) | Providing visual effects for images | |
CN112669197A (zh) | 图像处理方法、装置、移动终端及存储介质 | |
CN111915541B (zh) | 基于人工智能的图像增强处理方法、装置、设备及介质 | |
WO2022116104A1 (zh) | 图像处理方法、装置、设备及存储介质 | |
CN110310231B (zh) | 一种将第一动态范围视频转换为第二动态范围视频的设备及其方法 | |
CN111369478A (zh) | 人脸图像增强方法、装置、计算机设备和存储介质 | |
CN113344796A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
CN113436081A (zh) | 数据处理方法、图像增强方法及其模型训练方法 | |
CN112333468B (zh) | 图像处理方法、装置、设备及存储介质 | |
CN113989127A (zh) | 一种图像对比度调整方法、系统、设备及计算机存储介质 | |
CN110766631A (zh) | 人脸图像的修饰方法、装置、电子设备和计算机可读介质 | |
CN113610723B (zh) | 图像处理方法及相关装置 | |
CN111524152B (zh) | 一种基于深度估计的水下图像复原计算效率提升方法及系统 | |
US11182634B2 (en) | Systems and methods for modifying labeled content | |
WO2022036338A2 (en) | System and methods for depth-aware video processing and depth perception enhancement | |
CN113781330A (zh) | 图像处理方法、装置及电子系统 | |
CN112183383A (zh) | 一种复杂化环境下测量人脸图像的信息处理方法和装置 | |
US20240065542A1 (en) | Method for monitoring eye strain, electronic device, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |