CN113395440A - 一种图像处理方法及电子设备 - Google Patents
一种图像处理方法及电子设备 Download PDFInfo
- Publication number
- CN113395440A CN113395440A CN202010179848.0A CN202010179848A CN113395440A CN 113395440 A CN113395440 A CN 113395440A CN 202010179848 A CN202010179848 A CN 202010179848A CN 113395440 A CN113395440 A CN 113395440A
- Authority
- CN
- China
- Prior art keywords
- image
- quality evaluation
- evaluation information
- image quality
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 86
- 238000013441 quality evaluation Methods 0.000 claims abstract description 1163
- 238000012545 processing Methods 0.000 claims abstract description 305
- 238000000034 method Methods 0.000 claims abstract description 143
- 238000012549 training Methods 0.000 claims description 195
- 230000008569 process Effects 0.000 claims description 94
- 238000011156 evaluation Methods 0.000 claims description 78
- 238000007499 fusion processing Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 17
- 238000004891 communication Methods 0.000 abstract description 3
- 238000012360 testing method Methods 0.000 description 62
- 230000000694 effects Effects 0.000 description 44
- 230000006870 function Effects 0.000 description 41
- 238000004422 calculation algorithm Methods 0.000 description 34
- 239000011521 glass Substances 0.000 description 25
- 238000010586 diagram Methods 0.000 description 20
- 238000001514 detection method Methods 0.000 description 13
- 230000007547 defect Effects 0.000 description 9
- 239000000284 extract Substances 0.000 description 9
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 8
- 230000001413 cellular effect Effects 0.000 description 8
- 238000003708 edge detection Methods 0.000 description 8
- 230000004927 fusion Effects 0.000 description 8
- 230000004044 response Effects 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- 238000006731 degradation reaction Methods 0.000 description 7
- 230000015556 catabolic process Effects 0.000 description 6
- 210000000697 sensory organ Anatomy 0.000 description 6
- 230000001960 triggered effect Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 238000013210 evaluation model Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000004313 glare Effects 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012854 evaluation process Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005562 fading Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000001303 quality assessment method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000006223 plastic coating Substances 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请适用于通信技术领域,提供了一种图像处理方法及电子设备。该方法包括:获取待处理的第一图像,将第一图像输入图像增强模型进行处理,得到第二图像;将第二图像,或将第一图像和第二图像,输入质量评价模型进行处理,获得图像质量评价信息;根据获得的图像质量评价信息确定第一图像和第二图像中图像质量较好的目标图像,并输出目标图像。本方案中,由第一图像处理后得到的第二图像的图像质量变差时,电子设备最终输出第一图像给用户查看,可提高输出图像的质量,减少输出质量差的图像的概率,以提高用户体验。
Description
技术领域
本申请属于图像处理技术领域,尤其涉及图像处理方法及电子设备。
背景技术
由于拍摄环境、拍摄设备的硬件条件、图像压缩等因素的影响,拍摄到的图像往往存在视觉效果较差、分辨率较低、含有噪声或反光等情况,因此需要进行图像质量增强。当前智能手机等拍摄设备可以利用场景识别算法自动识别出图像的拍摄场景,进而使用该拍摄场景对应的图像增强算法或模型对图像进行处理,以增强图像质量。
然而,现有技术存在一个问题,当使用图像增强算法或模型对图像进行处理后,处理后的图像质量可能会更差,而智能手机依然会将处理后的图像作为最终的图像输出,严重影响了图像处理的效果及用户体验。
发明内容
本申请提供了一种图像处理方法及电子设备,可以解决电子设备最终输出的图像的图像质量比处理前的图像的图像质量更差的问题。
第一方面,本申请提供了一种图像处理方法,包括:
获取第一图像和N个第二图像,所述N个第二图像中的每一个第二图像是通过M个图像增强模型中的至少一个图像增强模型对所述第一图像进行处理后获得的;其中,N和M为大于零的整数,所述M个图像增强模型中的每个图像增强模型均不同,所述N个第二图像也存在不同;
将输入图像输入质量评价模型进行处理,获得图像质量评价信息,所述输入图像包括所述N个第二图像,或者包括所述第一图像以及所述N个第二图像;
根据所获得的所述图像质量评价信息输出目标图像,所述目标图像是所述第一图像和所述N个第二图像中的至少一个图像。
本实现方式中,由于采用图像增强模型对第一图像进行处理后得到的第二图像的图像质量可能比第一图像的图像质量更差,例如,第二图像中包括人脸图像,且人脸图像中的眼睛、鼻子、眼镜框等出现变形等情况、第二图像的边缘出现紫边、第二图像中存在叠影、色彩混叠、拉链效应等瑕疵,因此,通过质量评价模型评价第二图像的图像质量,或者评价第一图像和第二图像的图像质量,并根据评价结果最终从第一图像和第二图像中输出图像质量较好图像给用户查看。也就是说,处理后的第二图像的图像质量变差时,电子设备最终输出第一图像给用户查看,以解决现有技术中将经过图像增强模型处理后得到的图像质量变差的图像输出给用户的问题,能够提高输出图像的质量,可以减少输出质量差的图像的概率,以提高用户的视觉体验。
结合第一方面,在第一方面的第一种可能的实现方式中,所述质量评价模型是基于多个训练样本训练得到,每个训练样本包括样本图像以及用户对所述样本图像的图像质量评价信息。
本实现方式中,在训练质量评价模型的过程中所采用的样本图像,与应用训练后的质量评价模型评价图像质量时所采用的输入图像相对应。由于质量评价模型是采用多个样本图像训练得到,因此,采用训练后的质量评价模型评价输入图像的图像质量时,获得的图像质量评价结果的准确度较高。
结合第一方面或第一方面的第一种可能的实现方式,在第一方面的第二种可能的实现方式中,所述目标图像包括:
根据所获得的所述图像质量评价信息和评价规则确定的目标图像,所述评价规则是图像质量评价信息为预定数字,或,图像质量评价信息对应的分数大于或等于预定分值阈值。
在本实现方式中,由于当图像质量评价信息为预定数字,或者,图像质量评价信息对应的分数大于或等于预定分值阈值时,表示该图像质量评价信息对应的图像的图像质量较好,因此,根据图像质量评价信息和评价规则确定的目标图像是第一图像和N个第二图像中,图像质量较好的图像,电子设备可以输出图像质量较好的目标图像给用户查看,减少输出质量差的图像的概率。
结合第一方面或第一方面的上述任一种可能的实现方式,在第一方面的第三种可能的实现方式中,所述图像质量评价信息为数字或分数。
结合第一方面的第三种可能的实现方式,在第一方面的第四种可能的实现方式中,当所述图像质量评价信息为数字,且所述输入图像为N个第二图像,或者所述第一图像以及所述N个第二图像时,所述图像质量评价信息为对所述N个第二图像中每一个第二图像的图像质量评价信息;
相应的,根据所获得的所述图像质量评价信息输出目标图像,包括:
判断所述N个第二图像中是否存在图像质量评价信息为预定数字的目标第二图像;
若所述N个第二图像中存在图像质量评价信息为预定数字的目标第二图像,则确定所述图像质量评价信息为预定数字的目标第二图像为图像质量最好的图像,并输出所述图像质量评价信息为预定数字的目标第二图像。
在本实现方式中,电子设备可以通过质量评价模型对输入图像的图像质量进行二分类,从而判断输入图像是属于图像质量好的一类,还是属于图像质量差的一类。当输入图像是属于图像质量好的一类时,输出的图像质量评价信息为预定数字;当输入图像是属于图像质量差的一类时,输出的图像质量评价信息不是预定数字。对输入图像的图像质量进行二分类,计算开销较小,可以较快的得到图像质量评价结果。
结合第一方面的第四种可能的实现方式,在第一方面的第五种可能的实现方式中,在判断所述N个第二图像中是否存在图像质量评价信息为预定数字的目标第二图像之后,还包括:
若所述N个第二图像中不存在图像质量评价信息为预定数字的目标第二图像,则确定所述第一图像为图像质量最好的图像,输出所述第一图像。
结合第一方面的第四种可能的实现方式,在第一方面的第六种可能的实现方式中,所述根据所获得的所述图像质量评价信息输出目标图像,还包括:
若所述N个第二图像中存在多个图像质量评价信息为预定数字的目标第二图像,则选择任一目标第二图像输出。
结合第一方面的第三种可能的实现方式,在第一方面的第七种可能的实现方式中,若所述图像质量评价信息为分数,且所述输入图像为N个第二图像,或者所述第一图像以及所述N个第二图像时,所述图像质量评价信息为对所述N个第二图像中每一个第二图像的图像质量评价信息;
相应的,根据所获得的所述图像质量评价信息输出目标图像,包括:
判断所述N个第二图像中是否存在分数大于预定分数阈值的目标第二图像;
若所述N个第二图像中存在分数大于预定分数阈值的目标第二图像,则确定所述分数最高的目标第二图像为图像质量最好的图像,并输出所述分数最高的目标第二图像。
在本实现方式中,可以通过第一图像的特征信息辅助评价第二图像的图像质量,由于电子设备可以将第一图像作为参考图像,获取第二图像的特征信息于第一图像的特征信息之间的差异特征信息,根据差异特征信息评价第二图像的图像质量,可以提高第二图像的图像质量评价信息的准确度。另外,图像质量评价信息通过分数来表示,可以更准确地描述图像质量的好坏程度。电子设备可以通过每个第二图像对应的分数,确定N个第二图像中图像质量最好的目标图像,从而输出图像质量最好的图像给用户查看。
结合第一方面的第七种可能的实现方式,在第一方面的第八种可能的实现方式中,在判断所述N个第二图像中是否存在分数大于预定分数阈值的目标第二图像之后,还包括:
若所述N个第二图像中不存在分数大于预定分数阈值的目标第二图像,则确定所述第一图像为图像质量最好的图像,输出所述第一图像。
结合第一方面的第三种可能的实现方式,在第一方面的第九种可能的实现方式中,所述根据所获得的所述图像质量评价信息输出目标图像,包括:
若所述N个第二图像中不存在图像质量评价信息为预定数字的目标第二图像,或者所述N个第二图像中不存在分数大于预定分数阈值的目标第二图像,则获取新的图像增强模型,采用获取的所述新的图像增强模型对所述第一图像进行处理,获得新的第二图像,并将所述新的第二图像作为输入图像输入所述质量评价模型进行处理,获得新的图像质量评价信息;其中,所述新的图像增强模型为未对所述第一图像进行处理过的图像增强模型;
若确定所述新的图像质量评价信息为所述预定数字,或者所述分数大于所述预定分数阈值,则输出新的第二图像,否则返回执行获取新的图像增强模型步骤以及后续步骤,直到返回执行的次数达到预设的次数阈值,输出所述第一图像。
在本实现方式中,电子设备可以优先采用图像处理效果最优的图像增强模型1对第一图像进行处理,如果处理后的图像的图像质量较差,那么采用图像处理效果次优的图像增强模型2对第一图像进行处理,如果处理后的图像的图像质量还是较差,再从可选的图像增强模型中选择最优的图像增强模型3对第一图像进行处理,可选的图像增强模型是指除前面已使用的图像增强模型(如图像处理效果最优以及次优的图像增强模型)之外的图像增强模型。由于优先采用图像处理效果最优的图像增强模型对第一图像进行处理,有些情况不需要使用到N个图像增强模型,就可以获得图像质量较好的第二图像。相对于采用N个图像增强模型对第一图像并行处理的情况而言,可以节省部分系统资源,可以缩短获取到图像质量较好的第二图像所需的时间,以提高输出图像的效率。
结合第一方面的第三种可能的实现方式,在第一方面的第十种可能的实现方式中,当所述图像质量评价信息为数字,且所述输入图像为第一图像和N个第二图像时,所述图像质量评价信息为对所述第一图像和N个第二图像中每一个第二图像的图像质量评价信息;
相应的,根据所获得的所述图像质量评价信息输出目标图像,包括:
判断所述第一图像和N个第二图像中是否存在图像质量评价信息为预定数字的图像;
若所述第一图像的图像质量评价信息为预定数字,且所述N个第二图像中存在至少一个图像质量评价信息为预定数字的目标第二图像,则从所述第一图像和所述目标第二图像中选择任一图像输出。
在本实现方式中,可以评价第一图像和第二图像的图像质量,得到针对第一图像以及第二图像的图像质量评价信息,可以通过图像质量评价信息,来判断第二图像的图像质量是否比第一图像的图像质量好,能够更准确地获知由第一图像经过图像增强模型处理后得到的第二图像的图像质量是否变差。
结合第一方面的第十种可能的实现方式,在第一方面的第十一种可能的实现方式中,在判断所述第一图像和N个第二图像中是否存在图像质量评价信息为预定数字的目标第二图像之后,还包括:
若所述第一图像的图像质量评价信息不是预定数字,且所述N个第二图像中存在至少一个图像质量评价信息为预定数字的目标第二图像,则从所述目标第二图像中选择任一图像输出。
结合第一方面的第十种可能的实现方式,在第一方面的第十二种可能的实现方式中,在判断所述第一图像和N个第二图像中是否存在图像质量评价信息为预定数字的目标第二图像之后,还包括:
若所述第一图像的图像质量评价信息不是预定数字,且所述N个第二图像中不存在图像质量评价信息为所述预定数字的目标第二图像,则输出所述第一图像。
结合第一方面的第三种可能的实现方式,在第一方面的第十三种可能的实现方式中,当所述图像质量评价信息为分数,且所述输入图像为第一图像和N个第二图像时,所述图像质量评价信息为对所述第一图像和N个第二图像中每一个第二图像的图像质量评价信息;
相应的,根据所获得的所述图像质量评价信息输出目标图像,包括:
根据第一图像的分数和所述N个第二图像的分数,从所述第一图像和所述N个第二图像中,确定分数最高的图像为所述图像质量最好的图像,并输出所述分数最高的图像。
本实现方式,电子设备可以直接比较第一图像和N个第二图像各自对应的分数,筛选出分数最高的图像,进而确定图像质量最好的图像,这样可以更准确的确定图像质量最好的图像。
结合第一方面,或者,第一方面的第一种至第八种、第十种至第十二种任一种可能的实现方式,在第一方面的第十四种可能的实现方式中,所述获取第一图像包括:
获取多帧RAW图像;
对所述多帧RAW图像进行图像融合处理,得到第一图像。
结合第一方面的第十四种可能的实现方式,在第一方面的第十五种可能的实现方式中,所述对所述多帧RAW图像进行图像融合处理,得到第一图像,包括:
将所述多帧RAW图像划分为至少两组,对每组RAW图像进行图像融合处理得到至少两个第一图像。
本实现方式,可以对获取到的RAW图像进行图像融合处理得到第一图像,采用图像增强模型对第一图像进行处理后得到的第二图像,通过质量评价模型评价第二图像的图像质量,或者评价第一图像和第二图像的图像质量,并根据评价结果最终从第一图像和第二图像中输出图像质量较好图像给用户查看,能够提高输出的图像的图像质量。
结合第一方面,在第一方面的第十六种可能的实现方式中,
当N=M=1,所述图像质量评价信息为所述第二图像的图像质量评价信息时,若所述图像质量评价信息为预定数字,或者所述图像质量评价信息对应的分数大于或等于预定分数阈值,则所述目标图像为所述第二图像;若所述图像质量评价信息不是预定数字,或者所述图像质量评价信息对应的分数小于预定分数阈值,则所述目标图像为所述第一图像;
当N=M=1,所述图像质量评价信息为针对所述第一图像和所述第二图像的图像质量评价信息,所述图像质量评价信息用于表示所述第二图像的图像质量是否比所述第一图像的图像质量好时,若所述图像质量评价信息为预定数字,则所述目标图像为所述第二图像;若所述图像质量评价信息不是预定数字,则所述目标图像为所述第一图像;
当N=M=1,所述图像质量评价信息包括所述第一图像和所述第二图像各自对应的图像质量评价信息时,若所述第一图像的图像质量评价信息为预定数字,且所述第二图像的图像质量评价信息为预定数字,则所述目标图像为所述第二图像和所述第一图像中的任一图像;若所述第一图像的图像质量评价信息不是预定数字,且所述第二图像的图像质量评价信息为预定数字,则所述目标图像为所述第二图像;若所述第一图像的图像质量评价信息为预定数字,且所述第二图像的图像质量评价信息不是预定数字,则所述目标图像为所述第一图像;或者
若所述第二图像的图像质量评价信息对应的分数大于所述第一图像的图像质量评价信息对应的分数,则所述目标图像为所述第二图像;若所述第二图像的图像质量评价信息对应的分数小于所述第一图像的图像质量评价信息对应的分数,则所述目标图像为所述第一图像;若所述第二图像的图像质量评价信息对应的分数等于所述第一图像的图像质量评价信息对应的分数,则所述目标图像为所述第二图像和所述第一图像中的任一图像;
当N=M≥2,所述图像质量评价信息为所述N个第二图像中每一个第二图像的第二图像的图像质量评价信息时,若所述N个第二图像中存在图像质量评价信息为预定数字的目标第二图像,则所述目标图像为至少一个所述目标第二图像;若所述N个第二图像中不存在图像质量评价信息为预定数字的目标第二图像,则所述目标图像为所述第一图像;或者,
若所述N个第二图像中存在图像质量评价信息对应的分数大于或等于预定分值阈值的目标第二图像,则所述目标图像为至少一个所述目标第二图像;若所述N个第二图像中不存在图像质量评价信息对应的分数大于或等于预定分值阈值的目标第二图像,则所述目标图像为所述第一图像;
当N=M≥2,所述图像质量评价信息为针对第一图像和所述N个第二图像中每一个第二图像的第二图像的图像质量评价信息时,所述目标图像为所述第一图像和所述N个第二图像中图像质量评价信息为预定数字的任一图像,或者,所述目标图像为所述第一图像和所述N个第二图像中图像质量评价信息对应的分数大于或等于预定分值阈值的任一图像,或者,所述目标图像为所述第一图像和所述N个第二图像中图像质量评价信息对应的分数最高的图像。
本实现方式,可以通过预定数字或预定分数阈值,从第一图像和N个第二图像中筛选出图像质量较好的图像进行输出。
第二方面,本申请提供了一种图像处理方法,包括:
获取第一图像;
将所述第一图像输入质量评价模型进行处理,得到第一图像质量评价信息;
当根据所述第一图像质量评价信息确定所述第一图像的图像质量符合要求时,将所述第一图像输入M个图像增强模型进行处理,得到N个第二图像,并显示或保存所述N个第二图像中的一个或者多个;其中,N和M为正整数,所述M个图像增强模型中的每个图像增强模型均不同,所述N个第二图像也存在不同。
在本实现方式中,先采用图像质量评价模型评价获取到的第一图像的图像质量,根据评价结果确定是否对第一图像进行处理。其中,当第一图像的图像质量较好时,采用图像增强模型对第一图像进行处理,输出第二图像;当第一图像的图像质量较差时,输出第一图像给用户查看,以减少因处理图像所占用的资源的消耗,可以提高手机的数据处理速度。
结合第二方面,在第二方面的第一种可能的实现方式中,当根据所述第一图像质量评价信息确定所述第一图像的图像质量不符合要求时,显示或保存所述第一图像。
结合第二方面或第二方面的第一种可能的实现方式,在第二方面的第二种可能的实现方式中,所述第一图像质量评价信息为数字或分数。
结合第二方面的第二种可能的实现方式,在第二方面的第三种可能的实现方式中,当所述第一图像质量评价信息为数字时,所述第一图像的图像质量符合要求是指所述第一图像质量评价信息为预定数字。
在本实现方式中,电子设备可以通过质量评价模型对第一图像的图像质量进行二分类,从而判断第一图像是属于图像质量好的一类,还是属于图像质量差的一类。当第一图像是属于图像质量好的一类时,输出的图像质量评价信息为预定数字;当第一图像是属于图像质量差的一类时,输出的图像质量评价信息不是预定数字。对第一图像的图像质量进行二分类,计算开销较小,可以较快的得到第一图像的图像质量评价结果。
结合第二方面的第二种可能的实现方式,在第二方面的第四种可能的实现方式中,当所述第一图像质量评价信息为分数时,所述第一图像的图像质量符合要求是指所述第一图像的分数大于或等于预设阈值。
结合第二方面或第二方面的上述任一种可能的实现方式,在第二方面的第五种可能的实现方式中,所述第一图像由电子设备在高倍变焦拍照模式下获取得到。
本实现方式中,由于电子设备在高倍变焦模式下拍摄人像照片时,获取到的第一图像,可能会因抖动而导致图像失真、图像中的人像的眼睛等五官变形或者图像较模糊(例如,较难辨认被拍摄对象)等,因此,需要评价第一图像的图像质量。如果第一图像的图像质量较差,那么将第一图像显示给用户查看,或将第一图像保存至图库;如果第一图像的图像质量较好,那么对第一图像进行处理得到N个第二图像,并显示或保存N个第二图像中的至少一个图像。通过节省因处理图像质量差的第一图像而消耗的资源,可以提高电子设备的数据处理速度。
结合第二方面或第二方面的上述任一种可能的实现方式,在第二方面的第六种可能的实现方式中,所述预设阈值为0.25,M和N均为1。
结合第二方面或第二方面的第一种至第四种任一可能的实现方式,在第二方面的第六种可能的实现方式中,所述得到所述N个第二图像之后,还包括:
将所述N个第二图像,或者所述第一图像以及所述N个第二图像作为输入图像输入所述质量评价模型进行处理待处理图像输入质量评价模型进行处理,得到第二图像质量评价信息;
根据所述第二图像质量评价信息输出目标图像,所述目标图像是所述第一图像和所述N个第二图像中的至少一个图像。
结合第二方面的第六种可能的实现方式,在第二方面的第七种可能的实现方式中,所述第二图像质量评价信息为数字或分数。
结合第二方面的第七种可能的实现方式,在第二方面的第八种可能的实现方式中,所述目标图像是所述第一图像和所述N个第二图像中,所述第二图像质量评价信息为预定数字的图像,或者所述第二图像质量评价信息对应的分数大于预定分数阈值的图像。
第三方面,本申请提供了一种图像处理方法,包括:
获取第一图像和N个第二图像,所述N个第二图像中的每一个第二图像是通过M个图像增强模型中的至少一个图像增强模型对所述第一图像进行处理后获得的;其中,N和M为大于零的整数,所述M个图像增强模型中的每个图像增强模型均不同,所述N个第二图像也存在不同;
将输入图像输入质量评价模型进行处理,获得图像质量评价信息,所述输入图像包括所述N个第二图像,或者包括所述第一图像以及所述N个第二图像;
根据所获得的所述图像质量评价信息输出目标图像,所述目标图像是所述第一图像和所述N个第二图像中的至少一个图像。
其中,一个图像增强模型对第一图像进程处理后,可以得到一个第二图像,也可以得到至少两个第二图像,此处不做限制。也就是说,M可以与N相等,M也可以大于N。
图像质量评价信息可以是针对N个第二图像的图像质量评价信息,也可以是针对第一图像和N个第二图像的图像质量评价信息。其中,当质量评价模型的输入图像为N个第二图像时,质量评价模型用于评价N个第二图像的图像质量,获得的图像质量评价信息是N个第二图像的图像质量评价信息。当质量评价模型的输入图像为第一图像和N个第二图像时,质量评价模型可以用于通过第一图像辅助评价N个第二图像的图像质量图像质量,获得的图像质量评价信息是N个第二图像的图像质量评价信息;通过第一图像辅助评价第二图像的图像质量,可以提高第二图像的评价结果的准确度。当质量评价模型的输入图像为第一图像和N个第二图像时,质量评价模型还可以用于评价第一图像和N个第二图像的图像质量,获得的图像质量评价信息是针对第一图像和N个第二图像的图像质量评价信息;电子设备可以通过图像质量评价信息,来判断第二图像的图像质量是否比第一图像的图像质量好,能够更准确地获知由第一图像经过图像增强模型处理后得到的第二图像的图像质量是否变差。
目标图像可以为第一图像和N个第二图像中图像质量最好的图像,图像质量最好的图像是指第一图像和N个第二图像中,图像质量评价信息为预定数字的图像,或者图像质量评价信息对应的分数大于预定分数阈值的图像。
输出目标图像的方式可以是显示目标图像,也可以是将目标图像保存至图库。
本实现方式中,由于采用图像增强模型对第一图像进行处理后得到的第二图像的图像质量可能比第一图像的图像质量更差,例如,第二图像中包括人脸图像,且人脸图像中的眼睛、鼻子、眼镜框等出现变形等情况、第二图像的边缘出现紫边、第二图像中存在叠影、色彩混叠、拉链效应等瑕疵,因此,通过质量评价模型评价第二图像的图像质量,或者评价第一图像和第二图像的图像质量,并根据评价结果最终从第一图像和第二图像中输出图像质量较好图像给用户查看。也就是说,处理后的第二图像的图像质量变差时,电子设备最终输出第一图像给用户查看,以解决现有技术中将经过图像增强模型处理后得到的图像质量变差的图像输出给用户的问题,能够提高输出图像的质量,可以减少输出质量差的图像的概率,以提高用户的视觉体验。
在第三方面的一种可能的实现方式中,所述质量评价模型是基于多个训练样本训练得到,每个训练样本包括样本图像以及用户对所述样本图像的图像质量评价信息。
需要说明的是,当质量评价模型的输入图像为第二图像,质量评价模型用于评价第二图像的图像质量时,质量评价模型的训练样本可以包括图像增强模型对原始图像进行处理后输出的样本图像、以及用户对样本图像标记的图像质量评价信息。
当质量评价模型的输入图像为第一图像和第二图像,质量评价模型可以用于通过第一图像辅助评价第二图像的图像质量图像质量,以输出第二图像的图像质量评价信息时,质量评价模型的训练样本可以包括原始图像、图像增强模型对原始图像进行处理后输出的样本图像、以及用户对样本图像标记的图像质量评价信息。
当质量评价模型的输入图像为第一图像和第二图像时,质量评价模型用于评价第一图像和第二图像的图像质量时,质量评价模型的训练样本可以包括原始图像、图像增强模型对原始图像进行处理后输出的样本图像、用户对原始图像标记的图像质量评价信息以及用户对样本图像标记的图像质量评价信息。
本实现方式中,在训练质量评价模型的过程中所采用的样本图像,与应用训练后的质量评价模型评价图像质量时所采用的输入图像相对应。由于质量评价模型是采用多个样本图像训练得到,因此,采用训练后的质量评价模型评价输入图像的图像质量时,获得的图像质量评价结果的准确度较高。
在第三方面的一种可能的实现方式中,所述目标图像包括根据所获得的所述图像质量评价信息和评价规则确定的目标图像,所述评价规则是所述图像质量评价信息为预定数字,或,图像质量评价信息对应的分数大于或等于预定分值阈值。
在本实现方式中,由于当图像质量评价信息为预定数字,或者,图像质量评价信息对应的分数大于或等于预定分值阈值时,表示该图像质量评价信息对应的图像的图像质量较好,因此,根据图像质量评价信息和评价规则确定的目标图像是第一图像和N个第二图像中,图像质量较好的图像,电子设备可以输出图像质量较好的目标图像给用户查看,减少输出质量差的图像的概率。
在第三方面的一种可能的实现方式中,图像质量评价信息可以为用于表示图像质量的数字或分数。
需要说明的是,图像质量评价信息还可以通过字母或文字来表示,此处不做限制。例如,图像质量评价信息可以是“0”或1“、“YES”或“NO”,“是”或“否”。
示例性的,本实施例中的图像处理方法可以包括以下三种方案,下面以第一图像为图像A,第二图像为图像B,N=M=1为例进行说明。
具体的,方案一,当质量评价模型的输入图像为图像B时,质量评价模型用于评价图像B的图像质量,若电子设备根据质量评价模型输出的图像质量评价信息确定图像B的图像质量最好,则输出图像B,否则输出图像A。
方案二,当质量评价模型的输入图像为图像A和图像B时,质量评价模型可以用于通过图像A辅助评价图像B的图像质量图像质量,若电子设备根据质量评价模型输出的图像质量评价信息确定图像B的图像质量最好,则输出图像B,否则输出图像A。
方案三,当质量评价模型的输入图像为图像A和图像B时,质量评价模型用于评价图像A和图像B的图像质量,若电子设备根据质量评价模型输出的图像质量评价信息确定图像B的图像质量比图像A的图像质量好,则输出图像B;若电子设备根据质量评价模型输出的图像质量评价信息确定图像B的图像质量比图像A的图像质量差,则输出图像A;若电子设备根据质量评价模型输出的图像质量评价信息确定图像B的图像质量与图像A的图像质量相同,则从图像A和图像B中选择任一图像输出。
示例性的,图像质量评价信息可以通过标识信息表示,标识信息可以是数字、字母、文字等,电子设备可以根据预先建立的对应关系或规则确定标识信息中的数字、文字或字母所表示的含义,从而输出图像A或图像B。例如,针对方案一和方案二,用“0”表示图像B的图像质量差,用“1”表示图像B的图像质量好。当图像质量评价信息为1时,电子设备确定图像质量评价信息对应的图像质量评价结果为图像B的图像质量最好,图像B为目标图像,输出图像B;当图像质量评价信息为0时,电子设备确定图像质量评价信息对应的图像质量评价结果为图像A的图像质量最好,图像A为目标图像,输出图像A。针对方案三,用“0”表示图像B的图像质量比图像A的图像质量差,用“1”表示图像B的图像质量比图像A的图像质量好,其它数字表示图像B的图像质量与图像A的图像质量相同。当图像质量评价信息为1时,电子设备根据图像质量评价信息确定图像B的图像质量比图像A的图像质量好,图像B为目标图像,输出图像B;当图像质量评价信息为0时,电子设备根据图像质量评价信息确定图像B的图像质量比图像A的图像质量差,图像A为目标图像,输出图像A;当图像质量评价信息为2时,电子设备根据图像质量评价信息确定图像B的图像质量与图像A的图像质量相同,图像A和图像B均为目标图像,可以从图像A和图像B中选择任一图像输出。
示例性的,图像质量评价信息可以通过分数表示。例如,针对方案一和方案二,图像质量评价信息是图像B对应的分数,电子设备将图像B对应的分数与预定分数阈值进行比较,当图像B对应的分数小于或等于预定分数阈值时,表示图像B的图像质量差,图像A为目标图像,电子设备输出图像A,当图像B对应的分数大于预定分数阈值时,表示图像B的图像质量好,图像B为目标图像,电子设备输出图像B。针对方案三,图像质量评价信息包括图像A的分数A和图像B的分数B,电子设备将图像B对应的分数A与图像B对应的分数B进行比较,当分数B大于分数A时,表示图像B的图像质量比图像A的图像质量好,图像B为目标图像,电子设备输出图像B;当分数B小于分数A时,表示图像B的图像质量比图像A的图像质量差,图像A为目标图像,电子设备输出图像A,当分数B等于分数A时,表示图像B的图像质量与图像A的图像质量相同,图像A和图像B均为目标图像,电子设备从图像A和图像B中选择任一图像输出。
在实现方式中,图像质量评价信息可以通过数字“0”或“1”来表示,或者,图像质量评价信息可以通过分数来表示,图像质量评价信息表示方式较灵活,可以直观的体现图像质量。
在第三方面的一种可能的实现方式中,当所述图像质量评价信息为数字,且所述输入图像为N个第二图像,或者所述第一图像以及所述N个第二图像时,所述图像质量评价信息为对所述N个第二图像中每一个第二图像的图像质量评价信息;
相应的,根据所获得的所述图像质量评价信息输出目标图像,包括:
判断所述N个第二图像中是否存在图像质量评价信息为预定数字的目标第二图像;
若所述N个第二图像中存在图像质量评价信息为预定数字的目标第二图像,则确定所述图像质量评价信息为预定数字的目标第二图像为图像质量最好的图像,并输出所述图像质量评价信息为预定数字的目标第二图像。
其中,预定数字可以为“1”。
在本实现方式中,电子设备可以通过质量评价模型对输入图像的图像质量进行二分类,从而判断输入图像是属于图像质量好的一类,还是属于图像质量差的一类。当输入图像是属于图像质量好的一类时,输出的图像质量评价信息为预定数字;当输入图像是属于图像质量差的一类时,输出的图像质量评价信息不是预定数字。对输入图像的图像质量进行二分类,计算开销较小,可以较快的得到图像质量评价结果。
在第三方面的一种可能的实现方式中,在判断所述N个第二图像中是否存在图像质量评价信息为预定数字的目标第二图像之后,还包括:
若所述N个第二图像中不存在图像质量评价信息为预定数字的目标第二图像,则确定所述第一图像为图像质量最好的图像,输出所述第一图像。
在本实现方式中,N个第二图像的图像质量评价信息都不是预定数字,说明N个第二图像的图像质量均比第一图像的图像质量差,此时输出第一图像给用户查看。也就是说,第一图像经过图像增强模型处理后得到的N个第二图像的图像质量变差时,可以输出图像质量较好的第一图像给用户查看,提高输出的图像的图像质量。在第一方面的一种可能的实现方式中,所述根据所述图像质量评价信息确定所述第一图像和所述N个第二图像中图像质量最好的图像,并输出所述质量最好的图像,还包括:
若所述N个第二图像中存在多个图像质量评价信息为预定数字的目标第二图像,则选择任一目标第二图像输出。
在本实现方式中,当N个第二图像中存在至少两个图像质量较好的图像时,可以输出任一个图像质量较好的图像。
在第三方面的一种可能的实现方式中,若所述图像质量评价信息为分数,且所述输入图像为N个第二图像,或者所述第一图像以及所述N个第二图像时,所述图像质量评价信息为对所述N个第二图像中每一个第二图像的图像质量评价信息;
相应的,根据所获得的所述图像质量评价信息输出目标图像,包括:
判断所述N个第二图像中是否存在分数大于预定分数阈值的目标第二图像;
若所述N个第二图像中存在分数大于预定分数阈值的目标第二图像,则确定所述分数最高的目标第二图像为图像质量最好的图像,并输出所述分数最高的目标第二图像。
在本实现方式中,可以通过第一图像的特征信息辅助评价第二图像的图像质量,由于电子设备可以将第一图像作为参考图像,获取第二图像的特征信息于第一图像的特征信息之间的差异特征信息,根据差异特征信息评价第二图像的图像质量,可以提高第二图像的图像质量评价信息的准确度。另外,图像质量评价信息通过分数来表示,可以更准确地描述图像质量的好坏程度。电子设备可以通过每个第二图像对应的分数,确定N个第二图像中图像质量最好的目标图像,从而输出图像质量最好的图像给用户查看。
在第三方面的一种可能的实现方式中,在判断所述N个第二图像中是否存在分数大于预定分数阈值的目标第二图像之后,还包括:
若所述N个第二图像中不存在分数大于预定分数阈值的目标第二图像,则确定所述第一图像为图像质量最好的图像,输出所述第一图像。
在本实现方式中,由于分数大于预定分数阈值的图像为图像质量较好的图像,当N个第二图像中不存在分数大于预定分数阈值的目标第二图像时,说明N个第二图像的图像质量比第一图像的图像质量差,此时,电子设备输出第一图像给用户查看。
在第三方面的一种可能的实现方式中,所述根据所获得的所述图像质量评价信息输出目标图像,包括:
若所述N个第二图像中不存在图像质量评价信息为预定数字的目标第二图像,或者所述N个第二图像中不存在分数大于预定分数阈值的目标第二图像,则获取新的图像增强模型,采用获取的所述新的图像增强模型对所述第一图像进行处理,获得新的第二图像,并将所述新的第二图像作为输入图像输入所述质量评价模型进行处理,获得新的图像质量评价信息;其中,所述新的图像增强模型为未对所述第一图像进行处理过的图像增强模型;
若确定所述新的图像质量评价信息为所述预定数字,或者所述分数大于所述预定分数阈值,则输出新的第二图像,否则返回执行获取新的图像增强模型步骤以及后续步骤,直到返回执行的次数达到预设的次数阈值,输出所述第一图像。
预设的次数阈值根据电子设备内的图像增强模型的总数量设置。预设的次数阈值可以等于图像增强模型的总数量减一。例如,当图像增强模型的总数量为3时,预设的次数阈值可以为2。
在本实现方式中,电子设备可以优先采用图像处理效果最优的图像增强模型1对第一图像进行处理,如果处理后的图像的图像质量较差,那么采用图像处理效果次优的图像增强模型2对第一图像进行处理,如果处理后的图像的图像质量还是较差,再从可选的图像增强模型中选择最优的图像增强模型3对第一图像进行处理,可选的图像增强模型是指除前面已使用的图像增强模型(如图像处理效果最优以及次优的图像增强模型)之外的图像增强模型。由于优先采用图像处理效果最优的图像增强模型对第一图像进行处理,有些情况不需要使用到N个图像增强模型,就可以获得图像质量较好的第二图像。相对于采用N个图像增强模型对第一图像并行处理的情况而言,可以节省部分系统资源,可以缩短获取到图像质量较好的第二图像所需的时间,以提高输出图像的效率。
在第三方面的一种可能的实现方式中,当所述图像质量评价信息为数字,且所述输入图像为第一图像和N个第二图像时,所述图像质量评价信息为对所述第一图像和N个第二图像中每一个第二图像的图像质量评价信息;
相应的,根据所获得的所述图像质量评价信息输出目标图像,包括:
判断所述第一图像和N个第二图像中是否存在图像质量评价信息为预定数字的图像;
若所述第一图像的图像质量评价信息为预定数字,且所述N个第二图像中存在至少一个图像质量评价信息为预定数字的目标第二图像,则从所述第一图像和所述目标第二图像中选择任一图像输出。
在本实现方式中,可以评价第一图像和第二图像的图像质量,得到针对第一图像以及第二图像的图像质量评价信息,可以通过图像质量评价信息,来判断第二图像的图像质量是否比第一图像的图像质量好,能够更准确地获知由第一图像经过图像增强模型处理后得到的第二图像的图像质量是否变差。
在第三方面的一种可能的实现方式中,在判断所述第一图像和N个第二图像中是否存在图像质量评价信息为预定数字的目标第二图像之后,还包括:
若所述第一图像的图像质量评价信息不是预定数字,且所述N个第二图像中存在至少一个图像质量评价信息为预定数字的目标第二图像,则从所述目标第二图像中选择任一图像输出。
本实现方式中,由于图像质量评价信息为预定数字,表示图像质量较好,因此,当第一图像的图像质量评价信息不是预定数字,且N个第二图像中存在至少一个图像质量评价信息为预定数字的目标第二图像时,说明,第一图像的图像质量较差,并且N个第二图像中存在至少一个图像质量较好的目标第二图像,此时,电子设备可以输出任一个目标第二图像给用户查看。
在第三方面的一种可能的实现方式中,在判断所述第一图像和N个第二图像中是否存在图像质量评价信息为预定数字的目标第二图像之后,还包括:
若所述第一图像的图像质量评价信息不是预定数字,且所述N个第二图像中不存在图像质量评价信息为所述预定数字的目标第二图像,则输出所述第一图像。
本实现方式中,N个第二图像中不存在图像质量评价信息为预定数字的目标第二图像,说明,由第一图像处理得到的N个第二图像的图像质量变差了,此时,电子设备输出第一图像给用户查看。
在第三方面的一种可能的实现方式中,当所述图像质量评价信息为分数,且所述输入图像为第一图像和N个第二图像时,所述图像质量评价信息为对所述第一图像和N个第二图像中每一个第二图像的图像质量评价信息;
相应的,根据所获得的所述图像质量评价信息输出目标图像,包括:
根据第一图像的分数和所述N个第二图像的分数,从所述第一图像和所述N个第二图像中,确定分数最高的图像为所述图像质量最好的图像,并输出所述分数最高的图像。
由于分数越高表示图像质量越好,因此,第一图像和N个第二图像中分数最高的图像,即为图像质量最好的图像。
本实现方式,电子设备可以直接比较第一图像和N个第二图像各自对应的分数,筛选出分数最高的图像,进而确定图像质量最好的图像,这样可以更准确的确定图像质量最好的图像。
在第三方面的一种可能的实现方式中,所述获取第一图像包括:
获取多帧RAW图像;
对所述多帧RAW图像进行图像融合处理,得到第一图像。
RAW图像是RAW格式的图像。RAW是未经处理、也未经压缩的格式,可以把RAW概念化为“原始图像编码数据”或更形象的称为“数字底片”。可以理解为:RAW图像就是图像传感器将捕捉到的光源信号转化为数字信号的原始数据。图像传感器可以包括互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor,CMOS)图像传感器,电荷耦合器件(Charge Coupled Device,CCD)图像传感器。
本实现方式,可以对获取到的RAW图像进行图像融合处理得到第一图像,采用图像增强模型对第一图像进行处理后得到的第二图像,通过质量评价模型评价第二图像的图像质量,或者评价第一图像和第二图像的图像质量,并根据评价结果最终从第一图像和第二图像中输出图像质量较好图像给用户查看,能够提高输出的图像的图像质量。
在第三方面的一种可能的实现方式中,所述对所述多帧RAW图像进行图像融合处理,得到第一图像,包括:
将所述多帧RAW图像划分为至少两组,对每组RAW图像进行图像融合处理得到至少两个第一图像。
其中,一组RAW图像对应一个第一图像。
本实施例中,可以将多帧RAW图像进行分组,并对分组后的RAW图像进行图像融合处理得到第一图像,并增强融合图像的图像质量得到第二图像,之后,评价第二图像的图像质量,或者评价第一图像的图像质量以及第二图像的图像质量,根据评价结果输出图像质量最好的目标图像,可以拍出图像质量较好的照片。目标图像可以是第二图像,或者第一图像。由于手机始终输出图像质量较好的图像,因此,手机中存储图像质量较差的图像的可能性较低,用户查看到图像质量较差的图像的可能性变小,可以提高用户视觉体验。
在第三方面的一种可能的实现方式中,当N=M=1,所述图像质量评价信息为所述第二图像的图像质量评价信息时,若所述图像质量评价信息为预定数字,或者所述图像质量评价信息对应的分数大于或等于预定分数阈值,则所述目标图像为所述第二图像;若所述图像质量评价信息不是预定数字,或者所述图像质量评价信息对应的分数小于预定分数阈值,则所述目标图像为所述第一图像;
当N=M=1,所述图像质量评价信息为针对所述第一图像和所述第二图像的图像质量评价信息,所述图像质量评价信息用于表示所述第二图像的图像质量是否比所述第一图像的图像质量好时,若所述图像质量评价信息为预定数字,则所述目标图像为所述第二图像;若所述图像质量评价信息不是预定数字,则所述目标图像为所述第一图像;
当N=M=1,所述图像质量评价信息包括所述第一图像和所述第二图像各自对应的图像质量评价信息时,若所述第一图像的图像质量评价信息为预定数字,且所述第二图像的图像质量评价信息为预定数字,则所述目标图像为所述第二图像和所述第一图像中的任一图像;若所述第一图像的图像质量评价信息不是预定数字,且所述第二图像的图像质量评价信息为预定数字,则所述目标图像为所述第二图像;若所述第一图像的图像质量评价信息为预定数字,且所述第二图像的图像质量评价信息不是预定数字,则所述目标图像为所述第一图像;或者
若所述第二图像的图像质量评价信息对应的分数大于所述第一图像的图像质量评价信息对应的分数,则所述目标图像为所述第二图像;若所述第二图像的图像质量评价信息对应的分数小于所述第一图像的图像质量评价信息对应的分数,则所述目标图像为所述第一图像;若所述第二图像的图像质量评价信息对应的分数等于所述第一图像的图像质量评价信息对应的分数,则所述目标图像为所述第二图像和所述第一图像中的任一图像;
当N=M≥2,所述图像质量评价信息为所述N个第二图像中每一个第二图像的第二图像的图像质量评价信息时,若所述N个第二图像中存在图像质量评价信息为预定数字的目标第二图像,则所述目标图像为至少一个所述目标第二图像;若所述N个第二图像中不存在图像质量评价信息为预定数字的目标第二图像,则所述目标图像为所述第一图像;或者,
若所述N个第二图像中存在图像质量评价信息对应的分数大于或等于预定分值阈值的目标第二图像,则所述目标图像为至少一个所述目标第二图像;若所述N个第二图像中不存在图像质量评价信息对应的分数大于或等于预定分值阈值的目标第二图像,则所述目标图像为所述第一图像;
当N=M≥2,所述图像质量评价信息为针对第一图像和所述N个第二图像中每一个第二图像的第二图像的图像质量评价信息时,所述目标图像为所述第一图像和所述N个第二图像中图像质量评价信息为预定数字的任一图像,或者,所述目标图像为所述第一图像和所述N个第二图像中图像质量评价信息对应的分数大于或等于预定分值阈值的任一图像,或者,所述目标图像为所述第一图像和所述N个第二图像中图像质量评价信息对应的分数最高的图像。
本实现方式,可以通过预定数字或预定分数阈值,从第一图像和N个第二图像中筛选出图像质量较好的图像进行输出。
第四方面,本申请提供了一种图像处理方法,包括:
获取第一图像;
将所述第一图像输入质量评价模型进行处理,得到第一图像质量评价信息;
当根据所述第一图像质量评价信息确定所述第一图像的图像质量符合要求时,将所述第一图像输入M个图像增强模型进行处理,得到N个第二图像,并显示或保存所述N个第二图像中的一个或者多个;其中,N和M为正整数,所述M个图像增强模型中的每个图像增强模型均不同,所述N个第二图像也存在不同。
其中,电子设备在人像模式下、景色模式、室内模式、长焦模式(下面称为高倍变焦模式)等等下获取第一图像。第一图像可以是预览图像,也可以是拍摄的照片。
在本实现方式中,先采用图像质量评价模型评价获取到的第一图像的图像质量,根据评价结果确定是否对第一图像进行处理。其中,当第一图像的图像质量较好时,采用图像增强模型对第一图像进行处理,输出第二图像;当第一图像的图像质量较差时,输出第一图像给用户查看,以减少因处理图像所占用的资源的消耗,可以提高手机的数据处理速度。
在第四方面的一种可能的实现方式中,当根据所述第一图像质量评价信息确定所述第一图像的图像质量不符合要求时,显示或保存所述第一图像。
在第四方面的一种可能的实现方式中,所述第一图像质量评价信息为数字或分数。
在本实现方式中,图像质量评价信息可以通过数字“0”或“1”来表示,或者,图像质量评价信息可以通过分数来表示,图像质量评价信息表示方式较灵活,可以更直观的体现图像质量。
在第四方面的一种可能的实现方式中,当所述第一图像质量评价信息为数字时,所述第一图像的图像质量符合要求是指所述第一图像质量评价信息为预定数字。
在本实现方式中,电子设备可以通过质量评价模型对第一图像的图像质量进行二分类,从而判断第一图像是属于图像质量好的一类,还是属于图像质量差的一类。当第一图像是属于图像质量好的一类时,输出的图像质量评价信息为预定数字;当第一图像是属于图像质量差的一类时,输出的图像质量评价信息不是预定数字。对第一图像的图像质量进行二分类,计算开销较小,可以较快的得到第一图像的图像质量评价结果。
在第四方面的一种可能的实现方式中,当所述第一图像质量评价信息为分数时,所述第一图像的图像质量符合要求是指所述第一图像的分数大于或等于预设阈值。
本实现方式中,图像质量评价信息通过分数来表示,而分数可以更准确地描述第一图像的图像质量的好坏程度。电子设备将第一图像的分数与预设阈值进行比较,可以更准确地确定第一图像的图像质量是否符合要求。
在第四方面的一种可能的实现方式中,所述第一图像由电子设备在高倍变焦拍照模式下获取得到。
本实现方式中,由于电子设备在高倍变焦模式下拍摄人像照片时,获取到的第一图像,可能会因抖动而导致图像失真、图像中的人像的眼睛等五官变形或者图像较模糊(例如,较难辨认被拍摄对象)等,因此,需要评价第一图像的图像质量。如果第一图像的图像质量较差,那么将第一图像显示给用户查看,或将第一图像保存至图库;如果第一图像的图像质量较好,那么对第一图像进行处理得到N个第二图像,并显示或保存N个第二图像中的至少一个图像。通过节省因处理图像质量差的第一图像而消耗的资源,可以提高电子设备的数据处理速度。
在第四方面的一种可能的实现方式中,所述预设阈值为0.25,M和N均为1。
本实现方式中,电子设备获取到一个第一图像,采用质量评价模型评价第一图像的图像质量,得到第一图像对应的分数。当第一图像的分数小于0.25时,表示第一图像的图像质量不符合要求,保存第一图像;当第一图像的分数大于或等于0.25时,表示第一图像的图像质量符合要求,将第一图像输入图像增强模型处理后得到一个第二图像,显示或保存第二图像。由于第一图像不符合要求时,不输入图像增强模型处理,这样可以节省一部分资源,提高电子设备的数据处理速度。
在第四方面的一种可能的实现方式中,所述得到所述N个第二图像之后,还包括:
将所述N个第二图像,或者所述第一图像以及所述N个第二图像作为输入图像输入所述质量评价模型进行处理待处理图像输入质量评价模型进行处理,得到第二图像质量评价信息;
根据所述第二图像质量评价信息显示或保存目标图像,所述目标图像是所述第一图像和所述N个第二图像中的至少一个图像。
目标图像可以为第一图像和N个第二图像中图像质量最好的图像,图像质量最好的图像是指第一图像和N个第二图像中,第二图像质量评价信息为预定数字的图像,或者第二图像质量评价信息对应的分数大于预定分数阈值的图像。
本实现方式中,在采用图像增强模型对第一图像处理前,采用质量评价模型评价第一图像的图像质量;当第一图像的图像质量较差时,输出第一图像给用户查看;当第一图像的图像质量较好时,将第一图像输入图像增强模型进行处理得到第二图像,采用质量评价模型评价第二图像的图像质量,如果第二图像的图像质量好,输出第二图像给用户查看,如果第二图像的图像质量差,输出第一图像给用户查看。这种方式,可以减少输出质量差的图像的概率,提高用户体验。
在第四方面的一种可能的实现方式中,所述第二图像质量评价信息为数字或分数。
在第四方面的一种可能的实现方式中,所述目标图像是所述第一图像和所述N个第二图像中,所述第二图像质量评价信息为预定数字的图像,或者所述第二图像质量评价信息对应的分数大于预定分数阈值的图像。
本实现方式中,由于当图像质量评价信息为预定数字,或者,图像质量评价信息对应的分数大于或等于预定分值阈值时,表示该图像质量评价信息对应的图像的图像质量较好,因此,电子设备可以根据第二图像质量评价信息,从第一图像和N个第二图像中,确定图像质量较好的目标图像,并输出图像质量较好的目标图像给用户查看,减少输出质量差的图像的概率。
第五方面,本申请提供了一种图像处理装置,包括:
获取单元,用于获取第一图像和N个第二图像,所述N个第二图像中的每一个第二图像是通过M个图像增强模型中的至少一个图像增强模型对所述第一图像进行处理后获得的;其中,N和M为大于零的整数,所述M个图像增强模型中的每个图像增强模型均不同,所述N个第二图像也存在不同;
图像质量评价单元,用于将输入图像输入质量评价模型进行处理,获得图像质量评价信息,所述输入图像包括所述N个第二图像,或者包括所述第一图像以及所述N个第二图像;
图像输出单元,用于根据所获得的所述图像质量评价信息输出目标图像,所述目标图像是所述第一图像和所述N个第二图像中的至少一个图像。
其中,一个图像增强模型对第一图像进程处理后,可以得到一个第二图像,也可以得到至少两个第二图像,此处不做限制。也就是说,M可以与N相等,M也可以大于N。
第五方面提供的图像处理装置对应的有益效果与第一方面、第三方面的图像处理方法的有益效果相同,此处不赘述。
在第五方面的一种可能的实现方式中,所述质量评价模型是基于多个训练样本训练得到,每个训练样本包括样本图像以及用户对所述样本图像的图像质量评价信息。
在第五方面的一种可能的实现方式中,所述目标图像包括根据所获得的所述图像质量评价信息和评价规则确定的目标图像,所述评价规则是所述图像质量评价信息为预定数字,或,图像质量评价信息对应的分数大于或等于预定分值阈值。
在第五方面的一种可能的实现方式中,图像质量评价信息可以为用于表示图像质量的数字或分数。
需要说明的是,图像质量评价信息还可以通过字母或文字来表示,此处不做限制。例如,图像质量评价信息可以是“0”或1“、“YES”或“NO”,“是”或“否”。
在第五方面的一种可能的实现方式中,当所述图像质量评价信息为数字,且所述输入图像为N个第二图像,或者所述第一图像以及所述N个第二图像时,所述图像质量评价信息为对所述N个第二图像中每一个第二图像的图像质量评价信息;
相应的,所述图像输出单元具体用于:
判断所述N个第二图像中是否存在图像质量评价信息为预定数字的目标第二图像;
若所述N个第二图像中存在图像质量评价信息为预定数字的目标第二图像,则确定所述图像质量评价信息为预定数字的目标第二图像为图像质量最好的图像,并输出所述图像质量评价信息为预定数字的目标第二图像。
其中,预定数字可以为“1”。
在第五方面的一种可能的实现方式中,所述图像输出单元,在判断所述N个第二图像中是否存在图像质量评价信息为预定数字的目标第二图像之后,还用于:若所述N个第二图像中不存在图像质量评价信息为预定数字的目标第二图像,则确定所述第一图像为图像质量最好的图像,输出所述第一图像。
在第五方面的一种可能的实现方式中,所述图像输出单元还用于:
若所述N个第二图像中存在多个图像质量评价信息为预定数字的目标第二图像,则选择任一目标第二图像输出。
在第五方面的一种可能的实现方式中,若所述图像质量评价信息为分数,且所述输入图像为N个第二图像,或者所述第一图像以及所述N个第二图像时,所述图像质量评价信息为对所述N个第二图像中每一个第二图像的图像质量评价信息;
相应的,所述图像输出单元具体用于:
判断所述N个第二图像中是否存在分数大于预定分数阈值的目标第二图像;
若所述N个第二图像中存在分数大于预定分数阈值的目标第二图像,则确定所述分数最高的目标第二图像为图像质量最好的图像,并输出所述分数最高的目标第二图像。
在五方面的一种可能的实现方式中,所述图像输出单元还用于,在判断所述N个第二图像中是否存在分数大于预定分数阈值的目标第二图像之后,若所述N个第二图像中不存在分数大于预定分数阈值的目标第二图像,则确定所述第一图像为图像质量最好的图像,输出所述第一图像。
在第五方面的一种可能的实现方式中,所述所述图像输出单元还用于:
若所述N个第二图像中不存在图像质量评价信息为预定数字的目标第二图像,或者所述N个第二图像中不存在分数大于预定分数阈值的目标第二图像,则获取新的图像增强模型,采用获取的所述新的图像增强模型对所述第一图像进行处理,获得新的第二图像,并将所述新的第二图像作为输入图像输入所述质量评价模型进行处理,获得新的图像质量评价信息;其中,所述新的图像增强模型为未对所述第一图像进行处理过的图像增强模型;
若确定所述新的图像质量评价信息为所述预定数字,或者所述分数大于所述预定分数阈值,则输出新的第二图像,否则返回执行获取新的图像增强模型步骤以及后续步骤,直到返回执行的次数达到预设的次数阈值,输出所述第一图像。
在第五方面的一种可能的实现方式中,当所述图像质量评价信息为数字,且所述输入图像为第一图像和N个第二图像时,所述图像质量评价信息为对所述第一图像和N个第二图像中每一个第二图像的图像质量评价信息;
相应的,所述图像输出单元具体用于:
判断所述第一图像和N个第二图像中是否存在图像质量评价信息为预定数字的图像;
若所述第一图像的图像质量评价信息为预定数字,且所述N个第二图像中存在至少一个图像质量评价信息为预定数字的目标第二图像,则从所述第一图像和所述目标第二图像中选择任一图像输出。
在第五方面的一种可能的实现方式中,所述图像输出单元在判断所述第一图像和N个第二图像中是否存在图像质量评价信息为预定数字的目标第二图像之后,还用于:
若所述第一图像的图像质量评价信息不是预定数字,且所述N个第二图像中存在至少一个图像质量评价信息为预定数字的目标第二图像,则从所述目标第二图像中选择任一图像输出。
在第五方面的一种可能的实现方式中,所述图像输出单元还用于:
若所述第一图像的图像质量评价信息不是预定数字,且所述N个第二图像中不存在图像质量评价信息为所述预定数字的目标第二图像,则输出所述第一图像。
在第五方面的一种可能的实现方式中,当所述图像质量评价信息为分数,且所述输入图像为第一图像和N个第二图像时,所述图像质量评价信息为对所述第一图像和N个第二图像中每一个第二图像的图像质量评价信息;
相应的,所述图像输出单元还用于:
根据第一图像的分数和所述N个第二图像的分数,从所述第一图像和所述N个第二图像中,确定分数最高的图像为所述图像质量最好的图像,并输出所述分数最高的图像。
在第五方面的一种可能的实现方式中,获取单元包括:
RAW图像获取单元,用于获取多帧RAW图像;
图像融合单元,用于对所述多帧RAW图像进行图像融合处理,得到第一图像。
在该实现方式中,可以将RAW图像对应的融合图像作为参考图像,通过每组RAW图像对应的融合图像辅助评价该组RAW图像对应的增强图像的图像质量,可以提高增强图像的图像质量评价信息的准确度。
在第五方面的一种可能的实现方式中,所述图像融合单元具体用于:
将所述多帧RAW图像划分为至少两组,对每组RAW图像进行图像融合处理得到至少两个第一图像。
在第五方面的一种可能的实现方式中,当N=M=1,所述图像质量评价信息为所述第二图像的图像质量评价信息时,若所述图像质量评价信息为预定数字,或者所述图像质量评价信息对应的分数大于或等于预定分数阈值,则所述目标图像为所述第二图像;若所述图像质量评价信息不是预定数字,或者所述图像质量评价信息对应的分数小于预定分数阈值,则所述目标图像为所述第一图像;
当N=M=1,所述图像质量评价信息为针对所述第一图像和所述第二图像的图像质量评价信息,所述图像质量评价信息用于表示所述第二图像的图像质量是否比所述第一图像的图像质量好时,若所述图像质量评价信息为预定数字,则所述目标图像为所述第二图像;若所述图像质量评价信息不是预定数字,则所述目标图像为所述第一图像;
当N=M=1,所述图像质量评价信息包括所述第一图像和所述第二图像各自对应的图像质量评价信息时,若所述第一图像的图像质量评价信息为预定数字,且所述第二图像的图像质量评价信息为预定数字,则所述目标图像为所述第二图像和所述第一图像中的任一图像;若所述第一图像的图像质量评价信息不是预定数字,且所述第二图像的图像质量评价信息为预定数字,则所述目标图像为所述第二图像;若所述第一图像的图像质量评价信息为预定数字,且所述第二图像的图像质量评价信息不是预定数字,则所述目标图像为所述第一图像;或者
若所述第二图像的图像质量评价信息对应的分数大于所述第一图像的图像质量评价信息对应的分数,则所述目标图像为所述第二图像;若所述第二图像的图像质量评价信息对应的分数小于所述第一图像的图像质量评价信息对应的分数,则所述目标图像为所述第一图像;若所述第二图像的图像质量评价信息对应的分数等于所述第一图像的图像质量评价信息对应的分数,则所述目标图像为所述第二图像和所述第一图像中的任一图像;
当N=M≥2,所述图像质量评价信息为所述N个第二图像中每一个第二图像的第二图像的图像质量评价信息时,若所述N个第二图像中存在图像质量评价信息为预定数字的目标第二图像,则所述目标图像为至少一个所述目标第二图像;若所述N个第二图像中不存在图像质量评价信息为预定数字的目标第二图像,则所述目标图像为所述第一图像;或者,
若所述N个第二图像中存在图像质量评价信息对应的分数大于或等于预定分值阈值的目标第二图像,则所述目标图像为至少一个所述目标第二图像;若所述N个第二图像中不存在图像质量评价信息对应的分数大于或等于预定分值阈值的目标第二图像,则所述目标图像为所述第一图像;
当N=M≥2,所述图像质量评价信息为针对第一图像和所述N个第二图像中每一个第二图像的第二图像的图像质量评价信息时,所述目标图像为所述第一图像和所述N个第二图像中图像质量评价信息为预定数字的任一图像,或者,所述目标图像为所述第一图像和所述N个第二图像中图像质量评价信息对应的分数大于或等于预定分值阈值的任一图像,或者,所述目标图像为所述第一图像和所述N个第二图像中图像质量评价信息对应的分数最高的图像。
第六方面,本申请提供了一种图像处理装置,包括:
获取单元,用于获取第一图像;
第一评价单元,用于将所述第一图像输入质量评价模型进行处理,得到第一图像质量评价信息;
图像处理单元,用于当根据所述第一图像质量评价信息确定所述第一图像的图像质量符合要求时,将所述第一图像输入M个图像增强模型进行处理,得到N个第二图像,并显示或保存所述N个第二图像中的一个或者多个;其中,N和M为正整数,所述M个图像增强模型中的每个图像增强模型均不同,所述N个第二图像也存在不同。
其中,电子设备在人像模式下、景色模式、室内模式、长焦模式(下面称为高倍变焦模式)等等下获取第一图像。第一图像可以是预览图像,也可以是拍摄的照片。
第六方面提供的图像处理装置对应的有益效果与第二方面、第四方面的图像处理方法的有益效果相同,此处不赘述。
在第六方面的一种可能的实现方式中,当根据所述第一图像质量评价信息确定所述第一图像的图像质量不符合要求时,显示或保存所述第一图像。
在第六方面的一种可能的实现方式中,所述第一图像质量评价信息为数字或分数。
在第六方面的一种可能的实现方式中,当所述第一图像质量评价信息为数字时,所述第一图像的图像质量符合要求是指所述第一图像质量评价信息为预定数字。
在第六方面的一种可能的实现方式中,当所述第一图像质量评价信息为分数时,所述第一图像的图像质量符合要求是指所述第一图像的分数大于或等于预设阈值。
在第六方面的一种可能的实现方式中,所述第一图像由电子设备在高倍变焦拍照模式下获取得到。
在第六方面的一种可能的实现方式中,所述预设阈值为0.25,M和N均为1。
在第六方面的一种可能的实现方式中,所述图像处理装置还包括:
第二评价单元,用于在所述图像处理单元得到所述N个第二图像之后,将所述N个第二图像,或者所述第一图像以及所述N个第二图像作为输入图像输入所述质量评价模型进行处理待处理图像输入质量评价模型进行处理,得到第二图像质量评价信息;
输出单元,用于根据所述第二图像质量评价信息显示或保存目标图像,所述目标图像是所述第一图像和所述N个第二图像中的至少一个图像。
在第六方面的一种可能的实现方式中,所述第二图像质量评价信息为数字或分数。
在第六方面的一种可能的实现方式中,所述目标图像是所述第一图像和所述N个第二图像中,所述第二图像质量评价信息为预定数字的图像,或者所述第二图像质量评价信息对应的分数大于预定分数阈值的图像。
第七方面,本申请提供了一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时使所述电子设备执行上述第一方面或第三方面的任一种可能的实现方式的图像处理方法,或者执行上述第二方面或第四方面的任一种可能的实现方式的图像处理方法。
第八方面,本申请提供了一种电子设备,包括存储模块、处理模块以及存储在所述存储模块中并可在所述处理模块上运行的计算机程序,所述处理模块执行所述计算机程序时使所述电子设备执行上述第一方面或第三方面的任一种可能的实现方式的图像处理方法,或者执行上述第二方面或第四方面的任一种可能的实现方式的图像处理方法。第九方面,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使得电子设备执行上述第一方面或第三方面的任一种可能的实现方式的图像处理方法,或者执行上述第二方面或第四方面的任一种可能的实现方式的图像处理方法。
第十方面,本申请提供了一种计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备执行上述第一方面或第三方面中任一种可能的实现方式的图像处理方法,或者执行上述第二方面或第四方面中的任一种可能的实现方式的图像处理方法。
本申请与现有技术相比存在的有益效果是:
本方案中,在通过图像增强模型对第一图像进行处理,得到第二图像之后,通过质量评价模型评价第二图像的图像质量,或者评价第一图像和第二图像的图像质量,并根据评价结果最终输出第一图像和第二图像中图像质量较好的图像给用户查看。也就是说,由第一图像处理后得到的第二图像的图像质量变差时,电子设备最终输出图像A给用户查看,以解决现有技术中将经过图像增强模型处理后得到的图像质量变差的图像输出给用户的问题,能够提高输出的图像的图像质量,可以减少输出质量差的图像的概率,以提高用户的视觉体验。
附图说明
图1是本申请一实施例提供的一种场景图;
图2是本申请第一实施例提供的一种图像处理方法的示意性流程图;
图3是本申请一实施例提供的一种带噪图像;
图4是本申请一实施例提供的对图3中的带噪图像进行去噪后得到的图像;
图5是本申请一实施例提供的一种存在色彩混叠的图像;
图6是本申请一实施例提供的一种用户界面的示意图;
图7是本申请第二实施例提供的一种图像处理方法的示意性流程图;
图8是本申请第三实施例提供的一种图像处理方法的示意性流程图;
图9是本申请第四实施例提供的一种图像处理方法的示意性流程图;
图10是本申请第五实施例提供的一种图像处理方法的示意性流程图;
图11是本申请实施例提供的一种训练质量评价模型的示意性流程图;
图12是本申请第六实施例提供的一种图像处理方法的示意性流程图;
图13a~图13d是本申请另一实施例提供的一种用户界面的示意图;
图14是本申请再一实施例提供的一种用户界面的示意图;
图15是本申请又一实施例提供的一种用户界面的示意图;
图16是本申请再一实施例提供的一种用户界面的示意图;
图17是本申请第七实施例提供的一种图像处理方法的示意性流程图;
图18是本申请第八实施例提供的一种图像处理方法的示意性流程图;
图19是本申请第九实施例提供的一种图像处理方法的示意性流程图;
图20是本申请第十实施例提供的一种图像处理方法的示意性流程图;
图21是本申请第十一实施例提供的一种图像处理方法的示意性流程图;
图22是本申请第十二实施例提供的一种图像处理方法的示意性流程图;
图23是本申请一实施例提供的一种处理多帧RAW图像的方法的示意图;
图24是本申请另一实施例提供的一种处理多帧RAW图像的方法的示意图;
图25是本申请再一实施例提供的一种处理多帧RAW图像的方法的示意图。
图26是本申请实一施例提供的一种图像处理装置的结构示意图;
图27是本申请实另一施例提供的一种图像处理装置的结构示意图;
图28是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
目前智能手机等拍摄设备通常利用场景识别算法自动识别出图像的拍摄场景,进而使用该拍摄场景对应的图像增强算法或模型对图像进行处理,以增强图像质量。
例如,智能手机获取到图像A,如果利用场景识别算法识别出月亮,那么图像A的拍摄场景为拍月亮,可以采用月亮增强算法或月亮增强模型对图像A中的月亮进行处理,以增强月亮细节的清晰度,得到月亮轮廓清晰的图像B,并将图像B作为最终的图像输出,供用户查看;如果利用场景识别算法识别出人脸,那么图像A的拍摄场景为拍人像可以采用人脸超分辨率算法或人脸超分辨率模型对人脸图像进行超分辨处理,以增强人脸的清晰度,得到图像B,并将图像B作为最终的图像输出,供用户查看。
目前的图像处理方法,虽然可以识别图像A对应的拍摄场景,但无法预测处理后最终输出的图像B相对于图像A是否存在图像质量变差的问题。
另外,由于图像处理主要关注底层(low level)图像信息的处理,而底层图像信息很难量化,因此,场景识别算法通常是基于深度学习的场景识别算法。由于基于深度学习的场景识别算法通常需要人工标注大量的场景进行训练得到,而处理场景可能因区分度不明显或场景复杂度较高等原因而无法准确标注,也很难覆盖所有的场景,一旦场景识别算法没有覆盖到某场景下的月亮或人脸,处理后输出的图像可能会存在瑕疵(artifacts)。
其中,low level图像信息是相对于high level图像信息而言的。high level图像信息主要包括图像的语义(场景、目标间的相互关系)描述,low level图像信息主要包括图像的像素、图像块、边缘、角点、纹理等。图像的纹理是与物体表面结构和材质有关的图像的内在特征,反映出来的是图像的全局特征。图像的纹理可以描述为:一个邻域内像素的灰度级发生变化的空间分布规律,包括表面组织结构、与周围环境关系等许多重要的图像信息。
图像去雨、去雾、与图像去噪、去模糊、超分辨等都属于low level的图像处理问题。简单来说,图像去雨的目的是将有雨图像中雨线(雨点)去除,同时保留图像原有的结构特征。去雾的目的是去除有雾图像中的雾,同时保留图像原有的结构特征。
其中,artifacts包括但不限于伪影、亮斑、棋盘效应(check board artifacts)、锐化造成的亮边、毛刺、散粒噪声、锯齿效应等。伪影包括条纹、色度噪声和稀疏数据噪声。棋盘效应通常是指图像中尤其是深色部分常出现的“棋盘格子状伪影”。锯齿效应也称拉链效应,是指在图像的边缘交界或颜色突变区域,例如呈阶梯状。
综上所述,现有技术存在一个问题,当使用图像增强算法或模型对图像进行处理后,得到的图像质量可能会更差,而智能手机依然会将处理后的图像作为最终的图像输出,严重影响了图像处理的效果及用户体验图像处理。
为解决上述问题,本申请提供一种low level的图像处理方法。参见图1,图1是本申请一实施例提供的一种场景图。如图1所示用户A可以用电子设备(例如,手机、平板电脑等)对用户B或对周围环境进行拍照,得到图像A。用户也可以通过电子设备从互联网下载图像A,例如下载通过社交应用分享的图像A,还可以从电子设备的图库或相册中选择图像A。由于图像A可能会存在分辨率较低、含有图像噪声、眼镜反光、眼睛反光中的至少任一种情况,因此需要对图像A进行图像处理。图像处理方法可以为:电子设备获取待处理的图像A,将图像A输入M个图像增强模型,通过M个图像增强模型对图像A进行处理后获得N个图像B;将N个图像B,或者将图像A和N个图像B输入训练后的质量评价模型进行处理,获得质量评价模型输出的图像质量评价信息,根据图像质量评价信息输出图像A和N个图像B中图像质量最好的图像。其中,质量评价模型采用多个训练样本训练得到,每个训练样本包括样本图像以及用户对样本图像标记的图像质量评价信息。N和M为大于零的整数,所述M个图像增强模型中的每个图像增强模型均不同,所述N个第二图像也存在不同。
具体的,方案一,当质量评价模型的输入图像为图像B时,质量评价模型用于评价图像B的图像质量,若电子设备根据质量评价模型输出的图像质量评价信息确定图像B的图像质量最好,则输出图像B,否则输出图像A;
其中,针对方案一,质量评价模型的训练样本可以包括图像增强模型对原始图像进行处理后输出的样本图像、以及用户对样本图像标记的图像质量评价信息。
方案二,当质量评价模型的输入图像为图像A和图像B时,质量评价模型可以用于通过图像A辅助评价图像B的图像质量图像质量,若电子设备根据质量评价模型输出的图像质量评价信息确定图像B的图像质量最好,则输出图像B,否则输出图像A;
其中,针对方案二,质量评价模型的训练样本可以包括原始图像、图像增强模型对原始图像进行处理后输出的样本图像、以及用户对样本图像标记的图像质量评价信息。方案三,当质量评价模型的输入图像为图像A和图像B时,质量评价模型用于评价图像A和图像B的图像质量,若电子设备根据质量评价模型输出的图像质量评价信息确定图像B的图像质量比图像A的图像质量好,则输出图像B;若电子设备根据质量评价模型输出的图像质量评价信息确定图像B的图像质量比图像A的图像质量差,则输出图像A;若电子设备根据质量评价模型输出的图像质量评价信息确定图像B的图像质量与图像A的图像质量相同,则从图像A和图像B中选择任一图像输出。
其中,针对方案三,质量评价模型的训练样本可以包括原始图像、图像增强模型对原始图像进行处理后输出的样本图像、用户对原始图像标记的图像质量评价信息以及用户对样本图像标记的图像质量评价信息。
示例性的,图像质量评价信息可以通过标识信息表示,标识信息可以是数字、字母、文字等,电子设备可以根据预先建立的对应关系或规则确定标识信息中的数字、文字或字母所表示的含义,从而输出图像A或图像B。例如,针对方案一和方案二,用“0”表示图像B的图像质量差,用“1”表示图像B的图像质量好。当图像质量评价信息为1时,电子设备确定图像质量评价信息对应的图像质量评价结果为图像B的图像质量最好,输出图像B;当图像质量评价信息为0时,电子设备确定图像质量评价信息对应的图像质量评价结果为图像A的图像质量最好,输出图像A。针对方案三,用“0”表示图像B的图像质量比图像A的图像质量差,用“1”表示图像B的图像质量比图像A的图像质量好,其它数字表示图像B的图像质量与图像A的图像质量相同。当图像质量评价信息为1时,电子设备根据图像质量评价信息确定图像B的图像质量比图像A的图像质量好,输出图像B;当图像质量评价信息为0时,电子设备根据图像质量评价信息确定图像B的图像质量比图像A的图像质量差,输出图像A;当图像质量评价信息为2时,电子设备根据图像质量评价信息确定图像B的图像质量与图像A的图像质量相同,从图像A和图像B中选择任一图像输出。
示例性的,图像质量评价信息可以通过分数表示,例如,针对方案一和方案二,图像质量评价信息是图像B对应的分数,电子设备将图像B对应的分数与预定分数阈值进行比较,当图像B对应的分数小于或等于预定分数阈值时,表示图像B的图像质量差,电子设备输出图像A,当图像B对应的分数大于预定分数阈值时,表示图像B的图像质量好,电子设备输出图像B。针对方案三,图像质量评价信息包括图像A的分数A和图像B的分数B,电子设备将图像B对应的分数A与图像B对应的分数B进行比较,当分数B大于分数A时,表示图像B的图像质量比图像A的图像质量好,电子设备输出图像B;当分数B小于分数A时,表示图像B的图像质量比图像A的图像质量差,电子设备输出图像A,当分数B等于分数A时,表示图像B的图像质量与图像A的图像质量相同,电子设备从图像A和图像B中选择任一图像输出。
本方案中,由于采用图像增强模型对图像A进行处理后得到的图像B的图像质量可能比图像A的图像质量更差,例如,图像B中包括人脸图像,且人脸图像中的眼睛、鼻子、眼镜框等出现变形等情况、图像B的边缘出现紫边、图像B中存在叠影、色彩混叠、拉链效应等瑕疵,因此,通过质量评价模型评价图像B的图像质量,或者评价图像A和图像B的图像质量,并根据评价结果最终从图像A和图像B中输出图像质量较好的那一个给用户查看。也就是说,处理后的图像B的图像质量变差时,电子设备最终输出图像A给用户查看,以解决现有技术中将经过图像增强模型处理后得到的图像质量变差的图像输出给用户的问题,能够提高输出的图像的图像质量,可以减少输出质量差的图像的概率,以提高用户的视觉体验。
图像处理
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请的图像处理方法的具体实现方式作进一步地详细描述。
请参阅图2,图2是本申请第一实施例提供的一种图像处理方法的示意性流程图。图像处理方法的执行主体为电子设备。电子设备包括但不限于手机、笔记本电脑、平板电脑、可穿戴设备(包括手表)、个人数字助理(Personal Digital Assistant,PDA)、车机、虚拟现实(Virtual Reality,VR)设备等。其中,车机指的是安装在汽车里面的车载信息娱乐产品的简称。在本实施例中,输入质量评价模型的图像为采用图像增强模型对第一图像进行图像质量增强后得到的第二图像,质量评价模型用于评价第二图像的图像质量;电子设备根据第二图像的图像质量评价信息判断第二图像的图像质量是好还是差;如果第二图像的图像质量好,输出第二图像给用户查看;如果第二图像的图像质量差,输出第一图像给用户查看。下面以手机为例进行说明,图像处理方法包括以下步骤:
S101、获取待处理的第一图像。
手机可以在启动拍照应用之后,响应于用户触发的拍照指令,获取待处理的第一图像。
手机也可以在启动图像处理应用时,获取用户选择的待处理的第一图像。第一图像可以是用户从手机的图库或相册中选择的图像。图库或相册中的图像可以是手机用户拍摄并保存的照片,也可以是其他用户拍摄并分享给手机用户的图像。
S102、采用图像增强模型对所述第一图像进行处理,得到第二图像。
手机将第一图像输入图像增强模型进行图像增强处理,以增强第一图像的图像质量,得到第二图像。图像增强是指:对原始图像附加一些信息或特征,有选择性突出图像中感兴趣的特征,抑制或掩盖图像中某些不需要的特征。例如提高原始图像的清晰度,降低图像噪点和伪色等。伪色是指照片暗部出现的彩色条纹及噪点。
采用同一个图像增强模型对第一图像进行处理时,可以获得一个第二图像,也可以获得至少两个第二图像,此处不做限制。例如,当采用图像增强模型对第一图像处理至少两次时,可以得到至少两个第二图像。至少两个第二图像也可以存在不同。
图像增强处理包括但不限于超分辨率、去噪、去马赛克、图像复原。通常情况下,图像复原与超分辨率、去噪、去马赛克这三种处理是独立的。即,在一种示例中,手机对第一图像进行图像复原处理后,执行S103;或者手机可以对第一图像进行以下至少两种处理:超分辨率、去噪、去马赛克,然后执行S103。当然,在另一种示例中,手机对第一图像进行图像复原处理后,还可以执行超分辨率、去噪、去马赛克中的至少任一种,再执行S103;手机也可以先执行超分辨率、去噪、去马赛克中的至少任一种后,再对第一图像进行图像复原处理,然后执行S103。其中,图像复原的处理场景可以包括但不限于:对老照片进行复原、对隔着栅栏或围栏拍摄的照片去除栅栏或围栏、对有雨图像去除雨线(雨点)、对有雾图像去除雾、对隔着玻璃拍摄的图像去除玻璃等。
需要说明的是,对第一图像执行的图像处理类型可以根据第一图像的图像特征确定、也可以根据用户触发的指令,或用户选择的图像处理功能来确定。
例如,手机可以在检测到第一图像的分辨率小于或等于预设分辨率阈值,或者检测到用户触发用于表示图像超分辨率的指令时,采用图像增强模型对第一图像进行超分辨率处理得到第二图像,第二图像的分辨率大于第一图像的分辨率;在检测到第一图像中存在图像噪声(例如,如图3所示),或者检测到去噪指令时,采用图像增强模型对第一图像进行去噪处理得到第二图像,如图4所示,第二图像的图像噪声比第一图像的图像噪声少;在检测到第一图像中存在马赛克,或检测到去马赛克指令时,采用图像增强模型对第一图像进行去马赛克处理;在检测到第一图像中存在图像模糊的区域,或检测到图像复原的指令时,采用图像增强模型对第一图像进行复原处理,比如,第一图像可以是翻拍的老照片、有雨线(雨点)图像、有雾图像,第一图像可能会因色彩褪色、损坏、有雨点或雾等原因导致图像模糊。预设分辨率阈值、灰度值差值阈值可以根据实际情况进行设置,此处不做限制。
超分辨率在本方案中是指通过软件的方法提高原有图像的分辨率。去噪是指减少数字图像中噪声的过程。
去马赛克(demosaicing)是一种数位影像处理算法,目的是从覆有滤色阵列(Color filter array,CFA)的感光元件所输出的不完全色彩取样中,重建出全彩影像,即重建出各像素完整的红绿蓝(red green blue,RGB)三原色组合。去马赛克也称为滤色阵列内插法(CFA interpolation)或色彩重建法(Color reconstruction)。去马赛克具备以下特点:避免错误颜色噪声(False color artifacts)产生,例如色彩混叠(Aliases)或出现拉链状(Zippering,即邻近像素出现突兀且不自然的强度改变,有一种拉链状纹路的感觉)以及紫边(Purple fringe)噪声;尽量保留影像分辨率;在相机内的硬件限制下,以较低计算复杂度(Computational complexity)实现快速有效的运算处理;算法易于分析,以使降噪(Noise reduction)更精确。
图像复原(image restoration)即利用退化过程的先验知识,去恢复已被退化图像的本来面目,以提高图像的整体质量。图像模糊是图像退化的表现之一。
图像增强模型可以是现有技术中已训练的图像处理模型。图像增强模型可以是具有单一图像处理功能的图像处理模型,也可以是具有至少两种图像处理功能的图像处理模型。单一图像处理功能是指实现超分辨率、去噪、去马赛克或图像复原。
当图像增强模型是具有单一图像处理功能的图像处理模型时,图像增强模型可以是超分辨率模型、去噪模型、去马赛克模型或图像复原模型。此时,当需要实现至少两种图像处理时,可以采用至少两种图像处理模型来实现。例如,当需要对第一图像进行去噪、超分辨率、去马赛克三种处理时,可以采用去噪模型对第一图像进行处理,得到去噪后的图像P1,将图像P1输入超分辨率模型进行处理,得到图像P2,之后,将图像P2输入去马赛克模型进行处理,得到第二图像。
当图像增强模型具有至少两种图像处理功能的图像处理模型时,同一个图像增强模型可以实现超分辨率、去噪、去马赛克、图像复原中的至少两种。图像增强模型可以由一个图像处理模型构成,也可以由至少两个具有不同的图像处理功能的子模型串接而成。例如,当需要对第一图像进行去噪、超分辨率、去马赛克三种处理时,选择的图像增强模型可以是由去噪模型、超分辨率模型、以及去马赛克模型串接而成,从而能够依次对第一图像进行去噪、超分辨率以及去马赛克。
超分辨率模型包括但不限于:超分辨率卷积神经网络(Super-ResolutionConvolutional Neural Networks,SRCNN)、快速超分辨率卷积神经网络(Fast Super-Resolution Convolutional Neural Networks,FSRCNN)、有效亚像素卷积神经网络(Efficient Sub-Pixel Convolutional Neural Network,ESPCN)、超分辨率生成对抗网络(Super-Resolution Generative Adversarial Network,SRGAN),增强型超分辨率生成对抗网络(Enhanced Super-Resolution Generative Adversarial Networks,ESRGAN)等。
去噪模型包括但不限于:基于深度神经网络的去噪模型。
去马赛克模型包括但不限于:交替方向乘子法(Alternating Direction Methodof Multipliers,ADMM)、基于深度神经网络的去马赛克模型等。
图像复原模型包括但不限于:基于深度神经网络的图像复原模型等。
由于第一图像在经过图像增强模型处理后得到第二图像,虽然第二图像的分辨率变高了、图像噪声变少了、或者去除了第二图像中的马赛克、去除了第二图像中的雨点、雾等,但是,第二图像中可能存在artifacts,例如,第二图像中存在色彩混叠(如图5所示),因此,为了减少输出质量差的图像供用户查看的情况,以提高用户的视觉体验,需要评价第二图像的图像质量,以根据评价结果输出第一图像或第二图像给用户查看。
S103、将所述第二图像输入质量评价模型进行处理,得到所述第二图像对应的图像质量评价信息。
手机可以将第二图像输入质量评价模型,通过质量评价模型提取第二图像对应的用于衡量图像质量的特征信息,对提取到的特征信息进行处理,以评价第二图像的图像质量,获取质量评价模型输出的第二图像对应的图像质量评价信息。
其中,如果在S102中获得N个第二图像,S103可以为:将所述N个第二图像输入质量评价模型进行处理,得到所述第二图像对应的图像质量评价信息。所述图像质量评价信息为对所述N个第二图像中每一个第二图像的图像质量评价信息。
图像质量评价信息可以是图像质量分数,图像质量评价信息也可以是用于表示第二图像的图像质量好或差的标识信息,标识信息可以是数字、字母、文字等。例如,标识信息可以是“0”或“1”,“0”表示第二图像的图像质量差,“1”表示第二图像的图像质量好。再例如,标识信息也可以是“YES”或“NO”,“YES”表示第二图像的图像质量好,“NO”表示第二图像的图像质量差;标识信息也可以是“是”或“否”,“是”表示第二图像的图像质量好,“否”表示第二图像的图像质量差。
当图像质量评价信息是图像质量分数时,图像质量分数可以是0-100中的任一整数,也可以是0、1以及0-1之间的任一数值,当图像质量分数为0-1之间的任意小数时,可以保留一位小数,也可以保留2位小数,此处不做限制。当图像质量分数大于或等于预定分数阈值时,表示第二图像的图像质量好;当图像质量分数小于预定分数阈值时,表示第二图像的图像质量差;当图像质量分数等于预定分数阈值时,表示第二图像的图像质量与第一图像的图像质量相同。预定分数阈值例如75或80等,可以根据具体情况设置,此处不做限定。质量评价模型可以是采用机器学习算法基于多个训练样本对深度学习网络训练得到。一个训练样本包括一个样本图像及用户对其标记的图像质量评价信息。深度学习网络可以是卷积神经网络、对抗网络,在此,对深度学习网络的网络类型及网络结构不做限定。在训练的过程中,质量评价模型的输入为样本图像以及样本图像对应的标记的图像质量评价信息,质量评价模型的输出为样本图像对应的预测的图像质量评价信息。
质量评价模型也可以是基于图像质量评价(Natural Image Quality Evaluator,NIQE)算法构建得到。NIQE算法是从自然图像中获取一些统计数据(natural scenestatistic,NSS),用来刻画图像质量。
多个样本图像可以是多个原始图像输入图像增强模型进行处理后得到的图像,多个样本图像也可以由原始图像、对原始图像做退化处理后的图像组成。多个样本图像各自对应的图像质量评价信息可以部分相同,也可以完全不同。标记的图像质量评价信息可以是用于表示图像质量好或坏的信息,也可以是图像质量等级。例如,多个样本图像可以包括图像质量好的样本图像以及图像质量差的样本图像。多个样本图像也可以包括多个属于不同图像质量等级的样本图像。
可以理解的是,在训练质量评价模型时,图像质量的评价因子与图像增强模型的图像处理功能相对应,可以从样本图像中提取与图像质量的评价因子相对应的特征信息,根据提取到的特征信息评价样本图像的图像质量,并输出样本图像对应的预测的图像质量评价信息。
当图像增强模型的图像处理功能为超分辨率时,在训练质量评价模型时,图像质量的评价因子可以为图像的清晰度,可以采用清晰度评价函数评价图像质量。由于相对于模糊图像而言,清晰图像的灰度差异更大,因此,清晰度评价函数的评价因子可以为灰度值,相邻像素点的灰度值差值越大,表示图像的清晰度越高,图像质量越好。
当图像增强模型的图像处理功能为图像去噪时,在训练质量评价模型时,图像质量的评价因子可以为图像噪声,可以采用现有的图像噪声估计算法估计样本图像中的图像噪声,估计出的图像噪声的值越小,表示图像质量越好。
当图像增强模型的图像处理功能为去马赛克时,在训练质量评价模型时,图像质量的评价因子可以为每个像素点的各种色彩的色阶,色阶是表示图像亮度强弱的指数标准,每个颜色的色阶的取值范围都是[0,255];由于邻近像素出现突兀且不自然的强度改变时,意味着图像中存在色彩混叠或拉链效应等,因此,图像中邻近像素点的色阶值的差值越小,表示图像质量越好。
当图像增强模型的图像处理功能为图像复原时,在训练质量评价模型时,图像质量的评价因子可以为图像可见度或清晰度;相邻像素点的灰度值差值越大,表示图像可见度越高或清晰度越高,图像质量越好。例如,对老照片复原时,相邻像素点的灰度值差值越大,清晰度越高;对于去除图像中的雨点或雾的场景,相邻像素点的灰度值差值越大,可见度越高。再例如,对于图像中存在眼镜反光或眼睛反光时,如果相邻像素点的灰度值差值越大,意味着眼镜或眼睛的反光程度越小,眼镜或眼睛对应的图像越清晰,并且五官图像的形变越小,表示图像质量越好。
当图像增强模型的图像处理功能包括去噪、超分辨率、去马赛克中的至少两种时,图像质量的评价因子可以为至少两种图像处理功能各自对应的评价因子的组合。例如,当图像增强模型的图像处理功能为去噪以及超分辨率时,在训练质量评价模型时,图像质量的评价因子可以为图像噪声以及图像的清晰度。
需要说明的是,由于手机在执行S101所获得的第一图像可能存在马赛克、图像噪声、分辨率较低、图像模糊等任一种缺陷,或者至少两种缺陷,因此,手机在执行S102时,可以采用图像检测算法,确定第一图像存在的缺陷,针对第一图像中存在的缺陷,采用相应的图像增强模型对第一图像进行处理,获得第二图像;在执行S103采用质量评价模型对第二图像进行处理时,可以通过与第一图像存在的缺陷相对应的评价因子来评价第二图像的图像质量,得到第二图像的图像质量评价信息。其中,图像检测算法可以用于检测第一图像种是否存在图像噪声、马赛克、模糊区域、图像分辨率差等至少任一种。该图像检测算法可以分别检测图像中是否存在的图像噪声、马赛克、模糊区域或者图像分辨率差的问题,也可以同时检测出图像中是否存在的图像噪声、马赛克、模糊区域和图像分辨率差的问题。
为了便于描述,针对第一图像存在一种问题的情况以第一图像存在马赛克为例进行说明,针对第一图像存在至少两种问题的情况以第一图像存在马赛克和图像噪声为例进行说明。具体如下:
针对第一图像存在马赛克的情况:手机可以通过马赛克检测算法检测第一图像种是否存在马赛克;在检测到第一图像中存在马赛克时,采用图像增强模型对第一图像进行去马赛克处理,得到第二图像,之后,将第二图像输入质量评价模型进行处理,提取第二图像中的每个像素点的所有色彩的色阶值,根据每个像素点的所有色彩的色阶值确定相邻两个像素点的色阶值的差值,并根据相邻两个像素点的色阶值的差值确定第二图像的图像质量评价信息。
相邻两个像素点的色阶值的差值越小,表示图像质量越好。示例性的,当图像质量评价信息为用于表示图像质量的标识信息时,若相邻两个像素点的色阶值的平均差值小于或等于预定的色阶值的差值阈值,则质量评价模型输出的图像质量评价信息为“1”,若相邻两个像素点的色阶值的平均差值大于预定的色阶值的差值阈值,则质量评价模型输出的图像质量评价信息为“0”。当图像质量评价信息为用于表示图像质量分数时,可以针对相邻两个像素点的色阶值的平均差值设置至少两个差值区间,并为每个差值区间设置相应的分值,从而使得手机能够根据第二图像对应的相邻两个像素点的色阶值的平均差值所属的差值区间,确定第二图像对应的图像质量分数。
其中,马赛克检测算法可以包括但不限于Canny边缘检测算法、基于模板匹配的马赛克检测算法等。
Canny边缘检测算法检测马赛克的原理大致为:采用Canny边缘检测算法对第一图像进行Canny边缘检测,以检测第一图像中的边缘,得到第一图像对应的梯度模图或二值图。由于马赛克区域经过边缘检测后,通常呈现一堆方块状或类方块状的区域,方块和类方块大体可以分为完备的正方形、分别缺一边的不完备正方形,因此,手机可以检测第一图像对应的梯度模图或二值图种是否存在方块状或类方块状的区域,即可确定第一图像是否存在马赛克。
基于模板匹配的马赛克检测算法的原理大致为:采用Canny边缘检测算子对第一图像进行边缘检测,得到第一图像对应的梯度模图或二值图,基于马赛克图像边缘模板来确定第一图像对应的梯度模图或二值图是否存在马赛克,其中,第一图像对应的梯度模图或二值图中任一边缘的形状与马赛克图像边缘模板相匹配,那么存在马赛克。马赛克图像边缘模板可以基于马赛克区域经过边缘检测后,边缘通常呈现规则的正方形这一特点而设置。
针对第一图像存在马赛克和图像噪声的情况:手机可以采用图像噪声检测方法来检测第一图像中存在图像噪声,以及采用马赛克检测算法检测第一图像种是否存在马赛克,在确定第一图像存在图像噪声和马赛克时,通过图像增强模型对第一图像进行去噪处理和去马塞克处理,得到第二图像,采用质量评价模型对第二图像进行处理,提取第二图像对应的用于衡量图像质量的特征信息,对提取到的特征信息进行处理,以评价第二图像的图像质量,获取质量评价模型输出的第二图像对应的图像质量评价信息。第二图像对应的用于衡量图像质量的特征信息包括图像噪声特征信息以及每个像素点的所有色彩的色阶值。此时,第二图像的图像质量的评价因子包括图像噪声的值以及相邻两个像素点的色阶值的差值,图像噪声的值是根据图像噪声特征信息确定的,相邻两个像素点的色阶值的差值是根据每个像素点的所有色彩的色阶值确定的。图像噪声的值越小且相邻两个像素点的色阶值的差值越小,表示图像质量越好。
需要说明的是,示例性的,当图像质量评价信息为用于表示图像质量的标识信息时,若图像噪声的值小于或等于预定的图像噪声阈值,且相邻两个像素点的色阶值的平均差值小于或等于预定的色阶值的差值阈值,则质量评价模型输出的图像质量评价信息为“1”;若图像噪声的值大于预定的图像噪声阈值,或,相邻两个像素点的色阶值的平均差值大于预定的色阶值的差值阈值,则质量评价模型输出的图像质量评价信息为“0”。
示例性的,当图像质量评价信息为图像质量分数,第二图像的图像质量的评价因子包括至少两个时,手机在根据评价因子评价第二图像的图像质量时,可以设置每个评价因子对应的权重值,以及针对每个平均因子对应的值设置不同的区间,并为每个区间设置相应的分数。例如,针对相邻两个像素点的色阶值的平均差值设置至少两个差值区间,并为每个差值区间设置相应的分值;针对图像噪声的值设置至少两个噪声值区间,并为每个噪声值区间设置相应的分值。手机可以根据每个评价因子对应的值所属的区间,确定每个平均因子对应的分数,根据每个平均因子对应的分数以及每个评价因子的权重值确定第二图像对应的图像质量分数。其中,所有所有评价因子对应的权重值之和为1,每个评价因子对应的权重值可以相同,也可以不同。权重值大的评价因子,表示对图像质量的影响较大。
图像噪声检测方法可以包括基于主成分分析(Principal Component Analysis,PCA)的高斯噪声检测方法、基于信号相关噪声(signal dependent noise,SDN)模型的噪声检测方法等。
可以理解的是,手机在检测到第一图像的分辨率小于或等于预设分辨率阈值,采用图像增强模型对第一图像进行超分辨率处理,得到第二图像之后,将第二图像输入质量评价模型进行处理,提取第二图像对应的用于衡量图像质量的清晰度特征信息,清晰度特征信息可以为像素点的灰度值;手机可以根据每个像素点的灰度值计算相邻两个像素点的灰度值的差值,根据相邻两个像素点的灰度值的差值确定第二图像的图像质量评价信息。例如,可以计算相邻两个像素点的灰度值的平均差值确定第二图像的图像质量评价信息,或通过计算相邻两个像素点的灰度值的平方确定第二图像的图像质量评价信息。其中,相邻两个像素点的灰度值的平均差值越大,或相邻两个像素点的灰度值的平方越大,表示图像质量越好。
手机可以在检测到第一图像中存在图像模糊的区域,采用图像增强模型对第一图像进行图像复原处理之后,将第二图像输入质量评价模型进行处理,提取第二图像中每个像素点的灰度值,并根据每个像素点的灰度值计算相邻两个像素点之间的灰度值的差值,根据相邻两个像素点的灰度值的差值确定第二图像的图像质量评价信息。灰度值的差值越大,表示图像质量越好。
S104、根据所述图像质量评价信息确定输出所述第二图像或者所述第一图像。
图像质量评价信息用于指示第二图像的图像质量。手机可以根据图像质量评价信息判断第二图像是否为第一图像和第二图像中图像质量最好的图像,如果判断结果为第二图像是第一图像和第二图像中图像质量最好的图像,那么手机输出第二图像。如果判断结果为第二图像不是第一图像和第二图像中图像质量最好的图像,那么手机输出第一图像。其中,由于图像质量评价信息可以是用于表示图像质量的标识信息或图像质量分数,因此,当第二图像的图像质量信息为预定标识,或者,第二图像的图像质量分数大于预定分数阈值时,第二图像为第一图像和第二图像中图像质量最好的图像。预定标识可以为“1”、“YES”或“是”。
具体的,在一种可能的实现方式中,当图像质量评价信息是用于表示第二图像的图像质量好或差的标识信息,标识信息可以是数字、文字或字母时,手机可以根据预先建立的对应关系或规则确定第二图像的标识信息所对应的数字、文字或字母所表示的含义,并根据具体含义判断第二图像是否为第一图像和第二图像中图像质量最好的图像,进而根据判断结果输出图像质量最好的图像,以供用户查看。其中,当第二图像的图像质量评价信息为“1”、“YES”或“是”时,表示第二图像的图像质量好,第二图像为第一图像和第二图像中图像质量最好的图像,那么手机输出第二图像;当第二图像的图像质量评价信息为“0”或“NO”或“否”时,表示第二图像的图像质量差,第一图像为第一图像和第二图像中图像质量最好的图像,手机输出第一图像。
需要说明的是,在S102中获得N个第二图像,图像质量评价信息为对N个第二图像中每一个第二图像的图像质量评价信息,当N≥2,图像质量评价信息是用于表示第二图像的图像质量好或差的标识信息时,手机可以判断N个第二图像中是否存在图像质量评价信息为预定标识的目标第二图像,根据判断结果从第一图像和第二图像中确定图像质量最好的图像,预定标识可以为“1”或“YES”或“是”。若N个第二图像中存在图像质量评价信息为预定标识的目标第二图像,则确定图像质量评价信息为预定标识的目标第二图像为图像质量最好的图像,并输出图像质量评价信息为预定标识的目标第二图像。若N个第二图像中存在多个图像质量评价信息为预定标识的目标第二图像,则选择任一目标第二图像输出。若N个第二图像中不存在图像质量评价信息为预定标识的目标第二图像,则确定第一图像为图像质量最好的图像,输出第一图像。
在另一种可能的实现方式中,当图像质量评价信息是图像质量分数时,手机将第二图像对应的图像质量分数与预定分数阈值进行比较,从而判断第二图像的图像质量是好还是差,根据判断结果从第一图像和第二图像中确定图像质量最好的图像。如果第二图像的图像质量分数大于或等于预定分数阈值,表示第一图像和第二图像中,图像质量最好的图像为第二图像,那么输出第二图像;如果图像质量分数小于预定分数阈值,表示第一图像和第二图像中,图像质量最好的图像为第一图像,那么输出第一图像。当图像质量分数可以是0-100中的任一整数时,预定分数阈值可以是70、75或80,当图像质量分数可以是0-1中的任一整数或者小数时,预定分数阈值可以0.7、0.75或0.8,但并不限于此,也可以根据实际需要设置预定分数阈值。
需要说明的是,在S102中获得N个第二图像,图像质量评价信息为对N个第二图像中每一个第二图像的图像质量评价信息,当N≥2,图像质量评价信息是图像质量分数时,手机可以判断N个第二图像中是否存在图像质量分数大于预定分数阈值的目标第二图像,根据判断结果从第一图像和第二图像中确定图像质量最好的图像。若N个第二图像中存在图像质量分数大于或等于预定分数阈值的目标第二图像,则确定目标第二图像为图像质量最好的图像,输出目标第二图像;若N个第二图像中不存在图像质量分数大于或等于预定分数阈值的目标第二图像,则确定第一图像为图像质量最好的图像,输出第一图像。其中,若N个第二图像中存在至少两个目标第二图像,则选择任一目标第二图像输出,或者输出分数最高的目标第二图像。
下面结合具体的应用场景说明图像处理过程。请一并参阅图6,图6是本申请一实施例提供的一种用户界面的示意图。
如图6所示,用户点击手机中的拍照应用的图标,手机启动拍照应用,用户可以将手机的摄像头对准被拍摄对象所在的位置,并点击拍照按钮触发拍照指令。手机响应于用户触发的拍照指令,获取到图像A,该图像A中眼镜存在反光。手机可以采用图像增强模型对图像A进行处理,比如,对图像A进行超分辨率以及去除反光处理。其中,手机的拍照模式可以为高倍变焦模式。
如果采用图像增强模型对图像A处理后得到图像B1,那么采用图像评价模型对图像B1进行处理,以评价图像B1的图像质量,得到图像B1的图像质量评价信息,根据图像B1的图像质量评价信息从图像A和图像B1中图像质量最好的图像,并输出图像质量最好的图像。当图像质量评价信息通过图像质量分数表示时,手机可以将图像B1的图像质量分数与预定分数阈值进行比较,如果得到的比较结果为图像B1的图像质量分数大于或等于预定分数阈值,那么图像B1为图像A和图像B1中图像质量最好的图像,手机输出图像B1,用户可以看到的图像B1中眼镜没有反光,并且图像B1中的人像的五官或眼镜没有变形。当图像质量评价信息通过“0”或“1”表示时,如果图像B1的图像质量评价信息为“1”,那么图像B1为图像A和图像B1中图像质量最好的图像,手机输出图像B1。具体的,手机输出图像B1的方式可以是将图像B1保存到图库中,还可以在显示界面显示图像B1。
如果采用图像增强模型对图像A处理后得到图像B2,那么采用图像评价模型对图像B2进行处理,以评价图像B2的图像质量,得到图像B2的图像质量评价信息,根据图像B2的图像质量评价信息从图像A和图像B2中图像质量最好的图像,并输出图像质量最好的图像。由于图像B2中眼镜虽然没有反光,但眼镜变形了,当图像质量评价信息通过图像质量分数表示时,手机将图像B2的图像质量分数与预定分数阈值进行比较,得到的比较结果为图像B2的图像质量分数小于预定分数阈值,因此,图像A为图像A和图像B1中图像质量最好的图像,将图像B2丢弃,手机输出图像A。当图像质量评价信息通过“0”或“1”表示时,图像B2的图像质量评价信息为“0”,图像A为图像A和图像B1中图像质量最好的图像,手机输出图像A。具体的,手机输出图像A的方式可以为将图像A保存到图库中,还可以在显示界面显示图像A。
本申请实施例中,手机对获取到的第一图像进行处理之后,得到第二图像,并评价第二图像的图像质量,如果第二图像的图像质量差,输出第一图像给用户;如果第二图像的图像质量好,输出第二图像给用户。通过输出图像质量好的图像给用户查看,图像质量差的图像不会输出给用户,可以减少输出质量差的图像的概率,提高用户体验。
上面介绍了一种评价第二图像的图像质量的图像处理流程,下面将介绍另一种评价第二图像的图像质量的图像处理流程。参见图7,图7是本申请第二实施例提供的一种图像处理方法的示意性流程图。图2以及图7中,质量评价模型用于评价第二图像的图像质量。图2与图7的区别在于,输入质量评价模型的图像不同,以及质量评价模型评价第二图像的图像质量的方法不同。图2的S103中,质量评价模型的输入为第二图像,质量评价模型用于基于第二图像的图像特征信息评价第二图像的图像质量;而图7的S203中,质量评价模型的输入为第一图像以及第二图像,质量评价模型用于基于第一图像的特征信息以及第二图像的特征信息评价第二图像的图像质量。也就是说,图7是将第一图像作为参考图像,获取第二图像的特征信息于第一图像的特征信息之间的差异特征信息,根据差异特征信息评价第二图像的图像质量,这样可以提高第二图像的评价结果的准确度。具体的,图7对应的实施例与图2对应的实施例的区别在于S203,具体如下:
S203、将所述第一图像以及所述第二图像输入质量评价模型进行处理,得到所述第二图像对应的图像质量评价信息。
手机可以采用质量评价模型从第一图像中提取用于衡量图像质量的第一特征信息,从第二图像中提取用于衡量图像质量的第二特征信息,对第一特征信息以及第二特征信息进行处理,得到第二图像对应的图像质量评价信息,从而实现通过第一特征信息辅助评价第二图像的图像质量。对第一特征信息以及第二特征信息进行处理可以包括:比较第一特征信息以及第二特征信息,得到差异特征信息,根据差异特征信息评价第二图像的图像质量,从而得到第二图像对应的图像质量评价信息。第一特征信息可以是第一图像的全部特征信息,也可以是第一图像的部分特征信息。全部特征信息是第一图像中每个像素点的特征信息;部分特征信息可以是第一图像中的部分像素点的特征信息,例如第一图像中可以反映或代表第一图像的图像质量的像素点。
例如,手机在检测到第一图像的分辨率小于或等于预设分辨率阈值,采用图像增强模型对第一图像进行超分辨率处理,得到第二图像之后,将第一图像以及第二图像输入质量评价模型,可以通过质量评价模型提取第一图像对应的第一清晰度特征信息,以及第二图像对应的第二清晰度特征信息,对第一清晰度特征信息以及第二清晰度特征信息进行处理,得到第二图像的图像质量评价信息。
手机在检测到第一图像中存在图像噪声,采用图像增强模型对第一图像进行去噪处理,得到第二图像之后,将第一图像以及第二图像输入质量评价模型,可以通过质量评价模型提取第一图像对应的第一图像噪声特征信息,以及第二图像对应的第二图像噪声特征信息,对第一图像噪声特征信息以及第二图像噪声特征信息进行处理,得到第二图像的图像质量评价信息。
手机在检测到第一图像中存在马赛克,采用图像增强模型对第一图像进行去马赛克处理,得到第二图像之后,将第一图像以及第二图像输入质量评价模型,可以通过质量评价模型提取第一图像对应的第一色阶特征信息,以及第二图像对应的第二色阶特征信息,对第一色阶特征信息以及第二色阶特征信息进行处理,得到第二图像的图像质量评价信息。
手机可以在检测到第一图像中存在图像模糊的区域,采用图像增强模型进行图像复原处理,得到第二图像之后,将第一图像以及第二图像输入质量评价模型,可以通过质量评价模型提取第一图像对应的第一清晰度特征信息,以及第二图像的第二清晰度特征信息,对第一清晰度特征信息以及第二清晰度特性信息进行处理,得到第二图像的图像质量评价信息。
在S203中,图像质量评价信息可以是图像质量分数,图像质量评价信息也可以是用于表示第二图像的图像质量好或差的标识信息,例如,“0”、或“1”,“0”表示第二图像的图像质量差,“1”表示第二图像的图像质量好;标识信息也可以是“是”或“否”,“是”表示第二图像的图像质量好,“否”表示第二图像的图像质量差。标识信息也可以是“YES”或“NO”,“YES”表示第二图像的图像质量好,“NO”表示第二图像的图像质量差。
当图像质量评价信息是图像质量分数时,图像质量分数可以是0-100中的任一整数,也可以是0、1以及0-1之间的任一数值。当图像质量分数大于或等于预定分数阈值时,表示图像质量好;当图像质量分数大于或等于预定分数阈值小于预定分数阈值时,表示图像质量差。其中,S203中的质量评价模型的输入为原始图像,原始图像对应的样本图像、样本图像对应的标记的图像质量评价信息,质量评价模型的输出为样本图像对应的预测的图像质量评价信息。原始图像对应的样本图像可以是原始图像经过图像增强模型处理后输出的图像,也可以是对原始图像进行退化处理后得到的图像,此处不做限制。
需要说明的是,如果在S202中获得N个第二图像,S203具体为:将所述第一图像以及所述N个第二图像输入质量评价模型进行处理,得到所述第二图像对应的图像质量评价信息。所述图像质量评价信息为对所述N个第二图像中每一个第二图像的图像质量评价信息。
本实施例,可以通过第一图像的特征信息辅助评价第二图像的图像质量,由于手机可以将第一图像作为参考图像,获取第二图像的特征信息于第一图像的特征信息之间的差异特征信息,根据差异特征信息评价第二图像的图像质量,可以提高第二图像的图像质量评价信息的准确度。
在图2以及图7中,介绍了通过质量评价模型评价第二图像的图像质量的方案;下面介绍通过质量评价模型评价第一图像以及第二图像的图像质量的方案。参见图8,图8是本申请第三实施例提供的一种图像处理方法的示意性流程图。图7与图8中,质量评价模型的输入均为第一图像以及第二图像。图8与图7的区别在于,图7中质量评价模型用于评价第二图像的图像质量,而图8中的质量评价模型用于评价第一图像以及第二图像的图像质量。具体的,图8对应的实施例与图7对应的实施例的区别在于S303~S306,具体如下:
S303、将所述第一图像以及所述第二图像输入质量评价模型进行处理,得到针对所述第一图像以及所述第二图像的图像质量评价信息。
具体的,可以采用质量评价模型提取到第一图像对应的第一特征信息,以及第二图像对应的第二特征信息,对第一特征信息以及第二特征信息进行处理,得到针对第一图像以及第二图像的图像质量评价信息。对第一特征信息以及第二特征信息进行处理可以包括:比较第一特征信息以及第二特征信息,得到差异特征信息,根据差异特征信息评价第二图像的图像质量,从而得到第二图像对应的图像质量评价信息。第一特征信息可以是第一图像的全部特征信息,也可以是第一图像的部分特征信息。全部特征信息是第一图像中每个像素点的特征信息;部分特征信息可以是第一图像中的部分像素点的特征信息,例如第一图像中可以反映或代表第一图像的图像质量的像素点。
图像质量评价信息可以是用于表示第二图像的图像质量是否比第一图像的图像质量好的标识信息,标识信息可以是数字、字母、文字等。图像质量评价信息也可以包括:所述第一图像对应的第一图像质量评价信息,以及所述第二图像对应的第二图像质量评价信息。例如,图像质量评价信息可以包括用于表示第一图像的图像质量是好还是差的第一标识以及用于表示第二图像的图像质量是好还是差的第二标识;还可以包括第一图像对应的第一图像质量分数以及第二图像对应的第二图像质量分数。
其中,当图像质量评价信息是用于表示第二图像的图像质量是否比第一图像的图像质量好的标识信息时,图像质量评价信息可以是通过比较第一特征信息以及第二特征信息得到差异特征信息,根据差异特征信息而确定;第一特征信息可以是第一图像的全部特征信息,也可以是第一图像的部分特征信息。可以用“0”、“NO”或“否”,表示图像第二的图像质量比第一图像的图像质量差,用“1”、“YES”或“是”,表示第二图像的图像质量比第一图像的图像质量好,其它数字(例如,数字2)表示第二图像的图像质量与第一图像的图像质量相同。
当图像质量评价信息包括:第一图像对应的第一图像质量评价信息,以及第二图像对应的第二图像质量评价信息时,第一图像质量评价信息可以由第一图像的第一图像质量评价信息确定;第二图像质量评价信息可以由第二图像的第二特征信息确定,也可以通过比较第一特征信息以及第二特征信息得到差异特征信息,根据差异特征信息而确定。第一图像质量评价信息以及第二图像质量评价信息,可以为图像质量分数。图像质量分数可以是0-100中的任一整数,也可以是0-1中的任一数值。
在S303中的质量评价模型的输入为:原始图像、原始图像对应的标记的图像质量评价信息,原始图像对应的样本图像,以及样本图像对应的标记的图像质量评价信息,质量评价模型的输出为原始图像对应的预测的第一图像质量评价信息,样本图像对应的预测的第二图像质量评价信息。原始图像对应的样本图像可以是原始图像经过图像增强模型处理后输出的图像,也可以是对原始图像进行退化处理后得到的图像,此处不做限制。
需要说明的是,如果在S302中获得N个第二图像,S303具体为:将所述第一图像以及所述N个第二图像输入质量评价模型进行处理,得到所述第二图像对应的图像质量评价信息。所述图像质量评价信息为对所述第一图像和N个第二图像中每一个第二图像的图像质量评价信息。
S304、根据所述图像质量评价信息确定输出所述第二图像或者所述第一图像。
手机可以根据图像质量评价信息判断第二图像是否为第一图像和第二图像中图像质量最好的图像,如果判断结果为第二图像是第一图像和第二图像中图像质量最好的图像,那么输出第二图像。如果判断结果为第二图像不是第一图像和第二图像中图像质量最好的图像,那么输出第一图像。由于图像质量评价信息可以是用于表示图像质量的标识信息或图像质量分数,因此,图像质量最好的图像可以是图像质量评价信息为预定标识的图像,或者图像质量最好的图像也可以是图像质量分数大于或等于预定分值阈值的图像,或者图像质量最好的图像还可以是第一图像和第二图像中图像质量分数最高的图像。
当图像质量评价信息是用于表示第二图像的图像质量是否比第一图像的图像质量好的标识信息时,手机可以根据预先建立的对应关系或规则确定标识信息中的数字、文字或字母所表示的含义,判断第二图像的图像质量是否比第一图像的图像质量好,从而确定第一图像和第二图像中图像质量最好的图像,以输出图像质量最好的图像。当图像质量评价信息为“1”、“YES”或“是”时,表示第二图像的图像质量比第一图像的图像质量好,第二图像为第一图像和第二图像中图像质量最好的图像,那么输出第二图像;当图像质量评价信息为“0”、“NO”或“否”时,表示第二图像的图像质量比第一图像的图像质量差,第一图像为第一图像和第二图像中图像质量最好的图像,那么输出第一图像;当图像质量评价信息为2时,表示第二图像的图像质量与第一图像的图像质量相同,从第一图像和第二图像中选择任一图像输出。
需要说明的是,如果在S302中获得N个第二图像,图像质量评价信息为对第一图像和N个第二图像中每一个第二图像的图像质量评价信息,那么当N≥1,图像质量评价信息通过标识信息表示时,图像质量评价信息可以包括用于表示第一图像的图像质量的第一标识以及用于分别表示第二图像的图像质量的第二标识,第二标识的数量为N个。手机可以判断第一图像和N个第二图像中是否存在图像质量评价信息为预定标识的图像,根据判断结果从第一图像和第二图像中确定图像质量最好的图像。预定标识可以为“1”或“YES”或“是”。其中,若第一图像的图像质量评价信息为预定标识,且N个第二图像中存在至少一个图像质量评价信息为预定标识的目标第二图像,则从第一图像和目标第二图像中选择任一图像输出。若第一图像的图像质量评价信息不是预定标识,且N个第二图像中存在至少一个图像质量评价信息为预定标识的目标第二图像,则从目标第二图像中选择任一图像输出。若第一图像的图像质量评价信息不是预定标识,且N个第二图像中不存在图像质量评价信息为预定标识的目标第二图像,则输出第一图像。
当图像质量评价信息为分数,图像质量评价信息包括:第一图像对应的第一图像质量分数以及N个第二图像各自对应的第二图像质量分数,N≥1时,手机可以根据第一图像的第一图像质量分数和N个第二图像的第二图像质量分数,从第一图像和N个第二图像中,确定图像质量分数最高的图像为第一图像和N个第二图像中图像质量最好的图像,以输出分数最高的图像。手机还可以判断第一图像和N个第二图像中是否存在图像质量分数大于预定分数阈值的图像,根据判断结果从第一图像和第二图像中确定图像质量最好的图像。若低于图像和N个第二图像中存在图像质量分数大于或等于预定分数阈值的图像,输出图像质量分数大于或等于预定分数阈值的图像。当图像质量分数大于或等于预定分数阈值的图像的数量为至少两个时,可以从中选择任一个进行输出。
例如,手机可以将第一图像对应的第一图像质量分数以及N个第二图像对应的第二图像质量分数进行比较,筛选出图像质量分数最高的图像,从而得到图像质量最好的图像。当任一第二图像的图像质量分数最高时,输出第二图像,当第一图像的图像质量分数最高时,输出第一图像。当图像质量分数最高的第二图像至少有2个时,从中选择任一个第二图像进行输出。需要说明的是,当第一图像和任一第二图像的图像质量分数并列第一时,可以从图像质量分数并列第一的第一图像和第二图像中选择任一个输出。
再例如,当图像质量信息通过图像质量分数来表示,通过至少两个不同的分数区间表示不同的图像质量时,手机可以将第一图像对应的第一图像质量分数、第二图像对应的第二图像质量分数,与分数区间的阈值进行比较,从而确定第一图像质量分数所属的分数区间和第二图像质量分数所属的分数区间。如果第一图像质量分数和第二图像质量分数属于相同的分数区间,表示第二图像的图像质量与第一图像的图像质量相同,手机可以从第一图像和第二图像中选择任一图像输出。如果第一图像质量分数和第二图像质量分数所属的分数区间不同时,再通过比较第一图像质量分数和第二图像质量分数,来确定第一图像和第二图像中哪个图像的图像质量最好。其中,属于分数高的分数区间的图像的图像质量最好。具体的,如果根据比较结果确定第一图像质量分数和第二图像质量分数属于不同的分数区间,并且第二图像质量分数大于第一图像质量分数时,表示第二图像的图像质量比第一图像的图像质量好,那么输出第二图像;如果根据比较结果确定第一图像质量分数和第二图像质量分数属于不同的分数区间,并且第二图像质量分数小于第一图像质量分数时,表示第二图像的图像质量比第一图像的图像质量差,输出第一图像。
需要说明的是,当第二图像的数量为N个,第一图像属于第一分数区间,N个第二图像属于第二分数区间时,如果第一图像的第一图像质量分数小于第二图像的第二图像质量分数,那么手机可以确定属于第二区间的N个第二图像均为第一图像和N第二图像中图像质量最好的图像,输出任一第二图像,或者输出图像质量分数最高的第二图像。如果如果第一图像的第一图像质量分数大于第二图像的第二图像质量分数,那么第一图像是图像质量最好的图像,输出第一图像。
当第二图像的数量为N个,部分第二图像和第一图像属于第一分数区间,部分第二图像属于第二分数区间时,手机可以将第一分数区间的阈值以及第二分数区间的阈值进行比较,如果第一分数区间的最大阈值小于或等于第二分数区间的最小阈值,那么属于第二分数区间的第二图像为图像质量最好的图像,可以输出属于第二分数区间的任一第二图像;如果第一分数区间的最小阈值大于第二分数区间的最大阈值,那么属于第一分数区间的第一图像以及第二图像为图像质量最好的图像,可以输出属于第一分数区间的任一第二图像或第一图像。
示例性的,如果在S302中对图6中的图像A处理,获得的第二图像为图6中的图像B1。图6中,图像A中存在眼镜反光,眼镜所在区域的部分图像比较模糊;图像B1中的眼镜不存在反光,图像的清晰度较高。手机将图6中的图像A以及图像B1输入图像质量模型进行处理,得到图像A的图像质量分数以及图像B1的图像质量分数。手机比较图像B的图像质量分数与图像A的图像质量分数,得到的比较结果为图像B的图像质量分数大于图像A的图像质量分数,因此,手机输出图像B1。此时,用户看到得图像中眼镜不存在反光,图像的清晰度较高。
如果在S302中对图6中的图像A处理,获得的第二图像为图6中的图像B2,图6中,图像A中存在眼镜反光,眼镜所在区域的部分图像比较模糊;图像B2中的眼镜不存在反光,图像的清晰度较高,但是图像B2中的眼镜发生变形了。手机将图6中的图像A以及图像B2输入图像质量模型进行处理,得到图像A的图像质量分数以及图像B2的图像质量分数,手机比较图像B的图像质量分数与图像A的图像质量分数,得到的比较结果为图像A的图像质量分数大于图像B的图像质量分数。因此,图像A的图像质量高于图像B2的图像质量,手机输出图像A。此时,用户看到得图像中存在眼镜反光,眼镜所在区域的部分图像比较模糊。
本实施例,可以评价第一图像和第二图像的图像质量,得到针对第一图像以及第二图像的图像质量评价信息,可以通过图像质量评价信息,来判断第二图像的图像质量是否比第一图像的图像质量好,能够更准确地获知由第一图像经过图像增强模型处理后得到的第二图像的图像质量是否变差。
上面在图2、图7~图8对应的实施例中,介绍了第一图像经过图像增强模型处理得到第二图像,并采用质量评价模型评价第二图像的图像质量。下面介绍另一种方案:先采用质量评价模型评价第一图像的图像质量,根据评价结果确定是否对第一图像进行处理。其中,当第一图像的图像质量较好时,采用图像增强模型对第一图像进行处理,输出第二图像;当第一图像的图像质量较差时,输出第一图像给用户查看,以减少因处理图像所占用的资源的消耗,可以提高手机的数据处理速度。参见图9,图9是本申请第四实施例提供的一种图像处理方法的示意性流程图。具体包括以下步骤:
S401、获取第一图像。
手机获取第一图像,可以在人像模式下、景色模式、室内模式、长焦模式(下面称为高倍变焦模式)等等下获取该第一图像。为了便于说明,下面以在高倍变焦模式下进行拍照为例进行说明。用户启动手机中的拍照应用,可以控制手机进入高倍变焦模式或长焦拍摄状态,拍摄人像。高倍变焦模式包括但不限于3倍变焦、5倍变焦、10倍变焦、30倍变焦或50倍变焦等。变焦的倍数具体可以根据高倍变焦摄像头的变焦能力而定。
第一图像可以是手机在高倍变焦模式下获取到的预览图像,也可以是手机在高倍变焦模式下响应于用户的拍照质量而获取到的照片。
由于在高倍变焦模式下拍摄人像照片时,获取到的第一图像,可能会因抖动而导致图像失真、图像中的人像的眼睛等五官变形或者图像较模糊(例如,较难辨认被拍摄对象)等,因此,需要评价第一图像的图像质量。
S402、将所述第一图像输入质量评价模型进行处理,得到所述第一图像的图像质量分数。
手机将第一图像输入质量评价模型进行处理,从第一图像中提取用于衡量图像质量的特征信息,并对第一图像的特征信息进行处理,得到第一图像对应的图像质量分数。图像质量分数用于表示第一图像的图像质量。
S403、判断所述第一图像的图像质量分数是否大于或等于预设阈值。
预设阈值可以为0.25,但并不限于此,还可以根据实际情况设置其他值,此处不做限制。手机将第一图像的图像质量分数与预设阈值进行比较,从而根据比较结果判断第一图像是否符合要求。当图像质量分数大于或等于预设阈值时,表示第一图像的图像质量较好,第一图像符合要求,可以继续对第一图像进行处理,执行S404。当图像质量分数小于预设阈值时,表示第一图像的图像质量较差,第一图像不符合要求,大多数情况下即使对第一图像进行处理也无法提高图像质量,为了节省手机的资源,执行S405。
S404、当所述第一图像的图像质量分数大于或等于预设阈值时,将所述第一图像输入图像增强模型进行处理,得到第二图像,显示或保存所述第二图像。
当图像质量分数大于或等于预设阈值时,手机将第一图像输入图像增强模型进行处理,得到第二图像,并显示或保存第二图像。
示例性的,当图像质量分数大于或等于预设阈值时,手机可以采用人脸识别算法检测第一图像中是否包括人脸图像,如果第一图像中包括人脸图像,手机将第一图像输入图像增强模型,通过图像增强模型对人脸图像进行超分辨率处理,增强第一图像中的人脸图像的清晰度,得到第二图像,并显示或保存第二图像。当然,还可以通过图像增强模型对进行超分辨率处理,增强除人脸之外的图像的清晰度,得到第二图像,然后显示或保存第二图像以供用户查看;除人脸之外的图像可以是人像中除了脸部的其他身体部位的图像,比如,人的肢体、头发、发饰、着装等,还可以是第一图像中除了人像之外的其他景物、建筑物等的图像。或者,如果第一图像中不包括人脸图像,手机可以通过图像增强模型对第一图像进行超分辨率处理,增强第一图像的整体的清晰度得到第二图像,然后显示或保存第二图像,以供用户查看。
在一种可能的实现方式中,手机可以在检测到第一图像的分辨率小于或等于预设分辨率阈值时,采用图像增强模型对第一图像进行超分辨率处理得到第二图像,第二图像的分辨率大于第一图像的分辨率;在检测到第一图像中存在图像噪声时,采用图像增强模型对第一图像进行去噪处理得到第二图像;在检测到第一图像中存在图像模糊的区域时,采用图像增强模型对第一图像进行复原处理,比如,第一图像可以是翻拍的老照片、有雨线(雨点)图像、有雾图像,第一图像可能会因色彩褪色、损坏、有雨点或雾等原因导致图像模糊。
需要说明的是,在一种可能的实现方式中,当所述第一图像的图像质量分数大于或等于预设阈值时,还可以将第一图像输入M个图像增强模型进行处理,得到N个第二图像,并显示或保存N个第二图像。N和M为正整数,M个图像增强模型中的每个图像增强模型均不同,N个第二图像也存在不同。采用同一个图像增强模型对第一图像进行处理时,可以获得一个第二图像,也可以获得至少两个第二图像,此处不做限制。例如,当采用图像增强模型对第一图像处理至少两次时,可以得到至少两个第二图像。此时,手机可以保存N个第二图像,也可以显示N个第二图像,以便用户选择需要保存的图像。显示N个第二图像的方式不做限制。
S405、当所述第一图像的图像质量分数小于预设阈值时,显示或保存第一图像。
下面结合具体场景说明对本实施例的图像处理过程。
例如,手机启动拍照应用,如果检测到进入高倍变焦模式时,可以采集第一预览图像;通过质量评价模型评价第一预览图像的图像质量,得到第一预览图像的图像质量分数;手机将第一预览图像的图像质量分数与预设阈值进行比较,如果第一预览图像的图像质量分数大于或等于预设阈值,表示第一预览图像的图像质量较好。手机检测第一照片中是否包括人脸图像,如果手机在第一预览图像中检测到人脸图像,那么通过图像增强模型对第一预览图像中的人脸图像进行超分辨率处理,以增强第一预览图像中的人脸图像的清晰度,得到第二预览图像,并在预览界面显示第二预览图像。如果第一预览图像的图像质量分数小于预设阈值,表示第一预览图像的图像较差,不再对第一预览图像做处理,在预览界面显示第一预览图像,以减少因处理图像而消耗的资源,提高手机的处理速度。
再例如,手机启动拍照应用,进入高倍变焦模式之后,如果检测到用户触发的拍照指令,那么响应于该拍照指令获取第一照片,通过质量评价模型评价第一照片的图像质量,得到第一照片的图像质量分数;手机将第一照片的图像质量分数与预设阈值进行比较,如果第一照片的图像质量分数大于或等于预设阈值,表示第一照片的图像质量较好。手机检测第一照片中是否包括人脸图像,如果在第一照片中检测到人脸图像,那么通过图像增强模型对第一照片中的人脸图像进行超分辨率处理,以增强第一照片中的人脸图像的清晰度,得到第二照片,并将第二照片保存至图库以供用户查看。如果第一照片的图像质量分数小于预设阈值,表示第一照片的图像较差,不再对第一照片做处理,将第一照片保存至图库以供用户查看,以减少因处理图像而消耗的资源,提高手机的数据处理速度。
可以理解的是,本实施例在S401~S405中是以图像质量分数表示第一图像的图像质量为例进行说明,在一种可能的实现方式中,也可以用“0”或“1”来表示第一图像的图像质量。其中,可以用“0”表示第一图像的图像质量差,第一图像不符合要求;用“1”表示第一图像的图像质量好,第一图像符合要求。当通过质量评价模型评价第一图像的图像质量时,如果手机检测到质量评价模型输出“1”,将第一图像输入图像增强模型进行处理,得到第二图像,并输出第二图像;如果手机检测到质量评价模型输出“0”时,输出第一图像。
本实施例中,获取到第一图像时,先评价第一图像的图像质量,如果第一图像的图像质量较差,那么将第一图像显示给用户查看,或将第一图像保存至图库;如果第一图像的图像质量较好,那么对第一图像进行处理得到第二图像,并将第二图像显示给用户查看,或将第二图像保存至图库。通过节省因处理图像质量差的图像而消耗的资源,可以提高手机的数据处理速度。
参见图10,图10是本申请第五实施例提供的一种图像处理方法的示意性流程图。图10与图9的区别在于,图10中在得到第二图像之后,还采用质量评价模型评价第二图像的图像质量,如果第二图像的图像质量分数大于或等于预定分数阈值,输出第二图像;如果第二图像的图像质量分数小于预定分数阈值,输出第一图像。具体的,图10与图9的区别在于S406~S407,具体如下:
S406、将所述第二图像输入质量评价模型进行处理,得到所述第二图像的图像质量分数。
S406中评价第二图像的图像质量的方法,与S402中评价第一图像的图像质量的方法相同,此处不赘述。
需要说明的是,如果在S404中获取到N个第二图像且N≥2,那么,在S406中,输入质量评价模型的第二图像的数量为N。
S407、判断所述第二图像的图像质量分数是否大于或等于预定分数阈值。
当采用0-100之间的数值来表示图像质量分数时,预定分数阈值可以为75,但并不限于此,也可以为70、80、85或其他值,具体可以根据实际应用过程中,图像质量较好时对应的分数进行设置,此处不做限制。
当采用0-1之间的数值来表示图像质量分数时,预定分数阈值可以为0.75。
S408、当第二图像的图像质量分数大于或等于预定分数阈值时,显示或保存第二图像。
S409、当第二图像的图像质量分数小于预定分数阈值时,显示或保存第一图像。
需要说明的是,在本实施例中,以质量评价模型的输入图像为第二图像,质量评价模型的输出为第二图像对应的图像质量分数为例,说明如何输出第一图像和第二图像中图像质量最好的图像的实现方式。在一种可能的实现方式中,当质量评价模型的输入图像为第二图像时,质量评价模型的输出也可以为用于表示第二图像的图像质量的标识信息,手机可以根据第二图像对应的标识信息显示或保存第一图像和第二图像中图像质量最好的图像,标识信息可以是数字、字母、文字等。具体实现方法参见图6对应的实施例中S103~S104的相关描述,此处不赘述。在另一种可能的实现方式中,质量评价模型的输入图像可以为第一图像以及N个第二图像,质量评价模型的输出为N个第二图像各自对应的图像质量分数或用于表示图像质量的标识信息,N为正整数;手机可以根据N个第二图像各自对应的图像质量分数或用于表示图像质量的标识信息,输出第一图像和N个第二图像中图像质量最好的图像。具体实现方法参见图7对应的实施例中S203~S204的相关描述,此处不赘述。在另一种可能的实现方式中,质量评价模型的输入图像为第一图像以及N个第二图像时,质量评价模型的输出还可以为第一图像和N个第二图像,各自对应的图像质量分数或用于表示图像质量的标识信息,手机可以根据第一图像和N个第二图像,各自对应的图像质量分数或用于表示图像质量的标识信息,输出第一图像和N个第二图像中图像质量最好的图像。具体实现方法参见图8对应的实施例中S303~S304的相关描述,此处不赘述。图像质量最好的图像是第一图像和N个第二图像中,图像质量评价信息为预定标识的图像,或者图像质量评价信息对应的分数大于预定分数阈值的图像。预定标识可以为“1”、“Y”或“是”。
本实施例中,在采用图像增强模型对第一图像处理前,采用质量评价模型评价第一图像的图像质量;当第一图像的图像质量较差时,输出第一图像给用户查看;当第一图像的图像质量较好时,将第一图像输入图像增强模型进行处理得到第二图像,采用质量评价模型评价第二图像的图像质量,如果第二图像的图像质量好,输出第二图像给用户查看,如果第二图像的图像质量差,输出第一图像给用户查看。这种方式,可以减少输出质量差的图像的概率,提高用户体验。
可选的,本申请列举了一种训练质量评价模型的流程,参见图11,图11是本申请实施例提供的一种训练质量评价模型的示意性流程图。质量评价模型可以通过以下步骤训练得到:
S001、获取训练样本集,所述训练样本集包括多个训练样本,每个训练样本具有标记的图像质量评价信息。
可选的,当需要采用测试样本集对训练后的质量评价模型进行测试时,在S006之前还包括:获取测试样本集,所述测试样本集包括多个测试样本,每个测试样本具有标记的图像质量评价信息。
多个训练样本对应的标记的图像质量评价信息不完全相同,多个测试样本对应的标记的图像质量评价信息不完全相同。也就是说,训练样本集中包括图像质量不同的训练样本,测试样本集中包括图像质量不同的测试样本。
在一种可能的实现方式中,例如,在训练如图2、图9和图10中的质量评价模型时,一个训练样本包括一个训练样本图像以及训练样本图像对应的标记的图像质量评价信息;一个测试样本包括一个测试样本图像以及测试样本图像对应的标记的图像质量评价信息。在训练过程中,需要评价训练样本图像的图像质量;在测试过程中,需要评价测试样本图像的图像质量。图2中的质量评价模型在采用训练后的质量评价模型评价图像质量时,输入质量评价模型的图像为第一图像输入图像增强模型进行处理后得到的第二图像。图9和图10中的质量评价模型在采用训练后的质量评价模型评价图像质量时,输入质量评价模型的图像是没有经过图像增强模型处理的图像。
在另一种可能的实现方式中,例如,在训练如图7中的质量评价模型时,一个训练样本包括一个原始训练图像、至少一个对原始训练图像处理后得到的训练样本图像,训练样本图像具有标记的图像质量评价信息。一个测试样本包括一个原始测试图像、至少一个对原始测试图像处理后得到的测试样本图像,测试样本图像具有标记的图像质量评价信息。原始训练图像用于辅助评价训练样本图像的图像质量。原始测试图像用于辅助评价测试样本图像的图像质量。在采用训练后的质量评价模型评价图像质量时,输入质量评价模型的图像包括输入图像增强模型的第一图像以及图像增强模型输出的第二图像,质量评价模型输出第二图像对应的图像质量评价信息,第一图像用于辅助评价第二图像的图像质量。
其中,训练样本图像可以采用图像增强模型对原始训练图像处理后得到,测试样本图像可以采用图像增强模型对原始测试图像处理后得到。
训练样本图像也可以对原始训练图像进行退化处理后得到,测试样本图像也可以是拍摄的图片或从互联网下载的图片。例如,采用单反相机拍摄多张图像质量较好的原始训练图像,对原始训练图像进行模糊处理、加噪处理或加马赛克处理,得到训练样本图像,不同的训练样本图像可以由同一张原始训练图像得到,也可以由不同的原始训练图像得到,此处不做限制。将手机拍摄的图片作为原始测试样本,对原始测试样本退化处理后得到测试样本图像。
在另一种可能的实现方式中,例如,在训练如图8中的质量评价模型时,训练样本中的原始训练图像还可以具有标记的图像质量评价信息,测试样本中的原始测试图像还可以具有标记的图像质量评价信息。在训练过程中,需要评价原始训练图像以及训练样本图像各自的图像质量;在测试过程中,需要评价原始测试图像以及测试样本图像各自的图像质量。在采用训练后的质量评价模型评价图像质量时,输入质量评价模型的图像包括输入图像增强模型的第一图像以及图像增强模型输出的第二图像,质量评价模型输出第一图像以及第二图像各自对应的图像质量评价信息。
可以理解的是,多个训练样本图像对应的标记的图像质量评价信息不完全相同,也就是说,训练样本集中包括图像质量不同的训练样本图像。多个测试样本图像对应的标记的图像质量评价信息不完全相同。训练样本图像与测试样本图像不同。
S002、将训练样本输入初始的质量评价模型进行处理,得到每个训练样本对应的预测的图像质量评价信息。
将训练样本输入初始的质量评价模型,采用初始的质量评价模型从训练样本中提取用于衡量图像质量的特征信息,分析提取到的特征信息,得到训练样本对应的预测的图像质量评价信息。
在一种可能的实现方式中,当一个训练样本包括一个训练样本图像以及训练样本图像对应的标记的图像质量评价信息时,用于衡量图像质量的特征信息从训练样本图像中提取得到,训练样本对应的预测的图像质量评价信息,为训练样本图像对应的预测的图像质量评价信息。
在另一种可能的实现方式中,当一个训练样本包括一个原始训练图像、至少一个对原始训练图像处理后得到的训练样本图像,训练样本图像具有标记的图像质量评价信息时,可以采用初始的质量评价模型处理训练样本的原始训练图像以及训练样本图像,确定训练样本图像对应的预测的图像质量评价信息。具体的,可以采用初始的质量评价模型从原始训练图像中提取用于衡量图像质量的第一特征信息,从训练样本图像中提取用于衡量图像质量的第二特征信息,分析同一个训练样本对应的第一特征信息以及第二特征信息,确定该训练样本中的训练样本图像对应的预测的图像质量评价信息。由于这种方式可以通过原始训练图像的特征信息辅助评价训练样本图像的图像质量,可以更准确地评价训练样本图像相对于原始训练图像而言,图像质量变得更好还是更差,可以提高训练样本图像的预测的图像质量评价信息的准确度。
在另一种可能的实现方式中,当训练样本中的原始训练图像也具有标记的图像质量评价信息时,可以采用初始的质量评价模型分别对训练样本的原始训练图像和样本训练图像进行处理,确定原始训练图像对应的预测的第一图像质量评价信息,以及确定样本训练图像对应的预测的第二图像质量评价信息。具体的,可以采用初始的质量评价模型提取到同一个训练样本的原始训练图像对应的第一特征信息,以及训练样本图像对应的第二特征信息,分析第一特征信息得到原始训练图像对应的预测的第一图像质量评价信息,分析第二特征信息得到样本训练图像对应的预测的第二图像质量评价信息。
S003、根据训练样本对应的标记的图像质量评价信息以及预测的图像质量评价信息,确定初始的质量评价模型的第一评价准确度。
可以比较训练样本对应的标记的图像质量评价信息以及预测的图像质量评价信息,根据各训练样本对应的比较结果确定初始的质量评价模型的第一评价准确率。例如,根据各训练样本对应的比较结果,筛选出标记的图像质量评价信息以及预测的图像质量评价信息相同或匹配的目标训练样本,并计算目标训练样本的数量与参与训练的训练样本的总数的比值,得到初始的质量评价模型的第一评价准确度。其中,第一评价准确度=L/K,L≤K。L表示:在本次训练中,标记的图像质量评价信息以及预测的图像质量评价信息相同或匹配的目标训练样本的数量;K表示参与本次训练的训练样本的总数。
在一种可能的实现方式中,当一个训练样本包括一个训练样本图像以及训练样本图像对应的标记的图像质量评价信息时,在根据训练样本图像确定训练样本图像对应的预测的图像质量评价信息之后,可以比较训练样本图像对应的标记的图像质量评价信息以及预测的图像质量评价信息,得到训练样本对应的比较结果。
在另一种可能的实现方式中,当一个训练样本包括一个原始训练图像、至少一个对原始训练图像处理后得到的训练样本图像,训练样本图像具有标记的图像质量评价信息时,在根据原始训练图像以及训练样本图像确定训练样本图像对应的预测的图像质量评价信息之后,可以比较训练样本图像对应的标记的图像质量评价信息以及预测的图像质量评价信息,得到训练样本对应的比较结果。
在另一种可能的实现方式中,当训练样本中的原始训练图像也具有标记的图像质量评价信息时,在确定训练样本的原始训练图像对应的预测的第一图像质量评价信息,以及确定训练样本的样本训练图像对应的预测的第二图像质量评价信息之后,比较原始训练图像对应的标记的图像质量评价信息以及预测的第一图像质量评价信息,得到第一比较结果,以及比较训练样本图像对应的标记的图像质量评价信息以及预测的第二图像质量评价信息,得到第二比较结果;根据同一个训练样本的第一比较结果以及第二比较结果得到该训练样本对应的比较结果。其中,当第一比较结果与第二比较结果均为相同或匹配时,该训练样本对应的比较结果为相同或匹配。当第一比较结果或第二比较结果为不相同或不匹配时,该训练样本对应的比较结果为不相同或不匹配。
示例性地,还可以采用预设的损失函数计算训练样本对应的标记的图像质量评价信息以及预测的图像质量评价信息之间的损失值,可以通过损失值表示初始的质量评价模型的评价准确度。损失值越小,初始的质量评价模型的评价准确度越高。可以理解的是,当计算得到同一训练样本的原始训练图像对应的第一损失值和样本训练图像对应的第二损失值时,以较大的损失值作为该训练样本的损失值。损失函数包括但不限于交叉熵损失函数。
S004、判断所述第一评价准确度是否大于或等于第一准确度阈值。
第一准确度阈值用于衡量初始的质量评价模型的评价准确率是否符合要求。第一评价准确度小于第一准确度阈值时,初始的质量评价模型的评价准确度不符合要求,执行S005。第一评价准确度大于或等于第一准确度阈值时,初始的质量评价模型的评价准确度已符合要求,可以执行S006,也可以跳转至S008,结束训练。
第一准确度阈值可以为85%、90%或95%等,但并不限于此,可以根据实际要求进行设置,此处不做限制。
可以理解的是,当通过损失值表示初始的质量评价模型的第一评价准确度时,可以设置第一准确度阈值对应的损失值阈值,当损失值大于损失值阈值时,初始的质量评价模型的评价准确度不符合要求,执行S005;当损失值小于或等于损失值阈值时,初始的质量评价模型的评价准确度已符合要求,可以执行S006,也可以跳转至S008,结束训练。
S005、调整初始的质量评价模型的参数,返回S002。
当第一评价准确度小于第一准确度阈值时,调整初始的质量评价模型的参数,之后,跳转至S002,继续执行S002~S004,以继续训练初始的质量评价模型。
调整参数的方法包括但不限于随机梯度下降算法、动力更新算法等。
可以理解的是,当第N次执行S002采用的训练样本,与第N+1次执行S002采用的训练样本可以相同,也可以不同。例如,在第一次执行S002时采用训练样本1~500进行训练,第二次执行S002时采用样本501~1000进行训练。
可选的,为了验证质量评价模型的准确度,还可以采用测试集对经过训练的质量评价模型进行测试。当S004中的判断结果为第一评价准确度大于或等于第一准确度阈值时,还可以执行S006~S008。需要说明的是,S006~S007为可选的步骤,也就是说在一种可能的实现方式中,训练质量评价模型的流程可以包括S001~S005、S008;在另一种可能的实现方式中,训练质量评价模型的流程可以包括S001~S008。S006~S008具体如下:
S006、采用所述测试集对初始的质量评价模型进行测试,得到初始的质量评价模型的第二评价准确度。
可以比较测试样本对应的标记的图像质量评价信息以及预测的图像质量评价信息,根据各测试样本对应的比较结果确定初始的质量评价模型的第二评价准确度。计算第二评价准确度的方法与S003中计算第一评价准确度的方法相同,请见S003中的相关描述,此处不做限制。
其中,测试过程中采用的测试样本与训练过程中采用的训练样本相对应。例如,当一个训练样本包括一个训练样本图像以及训练样本图像对应的标记的图像质量评价信息时;一个测试样本包括一个测试样本图像以及测试样本图像对应的标记的图像质量评价信息。
再例如,当一个训练样本包括一个原始训练图像、至少一个对原始训练图像处理后得到的训练样本图像,训练样本图像具有标记的图像质量评价信息时,一个测试样本包括一个原始测试图像、至少一个对原始测试图像处理后得到的测试样本图像,测试样本图像具有标记的图像质量评价信息。
再例如,当训练样本中的原始训练图像还可以具有标记的图像质量评价信息,在训练过程中,需要评价原始训练图像以及训练样本图像各自的图像质量时,测试样本中的原始测试图像还可以具有标记的图像质量评价信息;在测试过程中,需要评价原始测试图像以及测试样本图像各自的图像质量。
S007、判断所述第二评价准确度是否大于或等于第二准确度阈值。
第二准确度阈值用于衡量测试结果是否达标。当第二评价准确度小于第二准确度阈值时,测试不达标,执行S005,需要继续训练初始的质量评价模型。当第二评价准确率大于或等于第二准确度阈值时,测试达标,执行S008。
第二准确度阈值可以与第一准确度阈值相同,也可以不同,此处不做限制。
其中,为了提高图像质量模型的评价图像质量的准确度,在执行S007之后,可以跳转至S005,微调初始的质量评价模型的参数,之后,跳转至S002,继续执行S002~S004,以继续训练初始的质量评价模型。
S008、停止训练初始的质量评价模型,得到训练后的所述质量评价模型。
本申请实施例,在采用训练集中的训练样本训练初始的质量评价模型的过程中,当初始的质量评价模型的准确度符合要求时,采用测试集中的测试样本测试经过训练的质量评价模型的准确度,以验证质量评价模型输出的结果的准确度及可靠性,如果测试不通过,微调质量评价模型的参数,继续训练;如果测试通过,停止训练,得到训练后的质量评价模型。由于训练后的质量评价模型的准确度是测试达标的,采用该质量评价模型评价图像质量时,可以提高质量评价模型输出的结果的准确度及可靠性。
上面介绍了采用一个图像增强模型对第一图像进行处理后,评价图像质量的方案;下面介绍采用至少两个图像增强模型对第一图像进行处理得到至少两个第二图像,并评价至少两个第二图像的图像质量,以输出图像质量最好的图像的方案。
参见图12,图12是本申请第六实施例提供的一种图像处理方法的示意性流程图。图像处理方法包括以下步骤:
S501、获取待处理的第一图像。
S501与S101相同,具体参见S101中的相关描述,此处不赘述。
S502、采用至少两个图像增强模型对所述第一图像进行处理,得到至少两个第二图像。
至少两个图像增强模型对第一图像执行相同的处理。
在一种可能的实现方式中,至少两个图像增强模型均用于实现同一种图像处理功能,例如,至少两个图像增强模型均用于实现超分辨率、去噪、去马赛克或图像复原。即,至少两个图像增强模型可以都为超分辨率模型、去噪模型、去马赛克模型或图像复原模型。
在另一种可能的实现方式中,一个图像增强模型也可以实现超分辨率、图像去噪、去马赛克、图像复原中的至少两种的任意组合。训练该图像增强模型所采用的样本图像可以存在以下至少两种情况:分辨率小于预设分辨率阈值、图像噪声、马赛克、图像模糊的区域等。
预设分辨率阈值在另一种可能的实现方式中,一个图像增强模型可以由至少两个子模型串接得到,至少两个子模型的图像处理功能各不相同。即,一个图像增强模型可以由超分辨率模型、去噪模型、去马赛克模型、图像复原模型中的至少两个串接而成;这样该图像增强模型就可以执行超分辨率、图像去噪、去马赛克、图像复原中的至少两种。其中,子模型的串接顺序可以根据图像处理优先级来确定。例如,图像处理优先级可以为:去噪>超分辨率>去马赛克。一个图像增强模型可以由一个去噪模型、一个超分辨率模型、以及一个去马赛克模型顺序串接而成。
手机可以将第一图像分别输入至少两个图像增强模型,至少两个图像增强模型采用并行处理方式对第一图像进行处理,获取每个图像增强模型输出的第二图像。
在一种可能的实现方式中,用户可以打开图像处理应用,加载待处理的第一图像,用户可以从图像处理应用的用户界面(User Interface,UI)中显示的图像处理功能选项中选择目标图像处理功能选项。图像处理功能选项包括但不限于:瘦脸、瘦腿、图像复原、超分辨率、去噪、去马赛克等。手机获取用户选中的至少一个目标图像处理功能选项,并调用目标图像处理功能选项对应的至少两个图像增强模型对第一图像进行处理。“瘦脸”以及“瘦腿”可以对应于具有图像复原功能的图像增强模型。
在另一种可能的实现方式中,手机可以在获取到待处理的第一图像时,可以获取第一图像中的图像特征,根据图像特征选择至少两个图像增强模型对第一图像进行处理。例如,用户启动手机中的拍照应用进行拍照,手机采集到第一图像时,根据第一图像的图像特征选择至少两个图像增强模型对第一图像进行处理。
示例性的,手机可以在检测到第一图像的分辨率小于或等于预设分辨率阈值时,分别采用至少两个超分辨率模型对第一图像进行超分辨率处理,得到每个超分辨率模型各自输出的第二图像。预设分辨率阈值可以根据实际情况进行设置。
手机可以在检测到第一图像中存在图像噪声时,分别采用至少两个去噪模型对第一图像进行去噪处理,得到每个去噪模型各自输出的第二图像,第二图像的图像噪声比第一图像的图像噪声少。
手机可以在检测到第一图像中存在马赛克时,采用至少两个去马赛克模型分别对第一图像进行去马赛克处理,得到每个去马赛克模型各自输出的第二图像。
手机可以在检测到第一图像中存在图像模糊的区域时,例如,检测到第一图像是翻拍的老照片、第一图像因存在雨线(雨点)、雾、镜面等导致图像模糊,采用至少两个图像复原模型分别对第一图像进行复原处理,得到每个图像复原模型各自输出的第二图像。第二图像的清晰度(或可见度)大于第一图像的清晰度(或可见度)。
可以理解的是,第一图像中也可以存在以下至少两种情况:分辨率小于预设分辨率阈值、存在图像噪声、存在马赛克、存在图像模糊的区域等。
示例性的,当一个图像增强模型可以实现超分辨率、图像去噪、去马赛克中的至少两种时,手机在检测到第一图像的分辨率小于预设分辨率阈值、第一图像中存在图像噪声以及第一图像中存在马赛克时,采用至少两个均可以实现超分辨率、图像去噪以及去马赛克的图像增强模型对第一图像进行并行处理,得到每个图像增强模型输出的第二图像。例如,图像增强模型的总数为N,N>1,可以通过第一图像增强模型对第一图像A进行图像去噪、超分辨率以及去马赛克处理,得到第二图像B1;通过第二图像增强模型对第一图像A进行图像去噪、超分辨率以及去马赛克处理,得到第二图像B2;通过第N图像增强模型对第一图像A进行图像去噪、超分辨率以及去马赛克处理,得到第二图像BN。
当一个图像增强模型可以由超分辨率模型、去噪模型、去马赛克模型中的至少两个串接得到时,手机在检测到第一图像的分辨率小于预设分辨率阈值以及第一图像中存在图像噪声时,选取至少两个由一个去噪模型以及一个超分辨率模型串接得到的图像增强模型,对第一图像进行并行处理,得到每个图像增强模型输出的第二图像。其中,可以采用每个图像增强模型中的去噪模型对第一图像进行去噪处理,以及采用每个图像增强模型中的超分辨率模型对去噪处理后的图像进行超分辨率处理,得到一个第二图像。
例如,图像增强模型的总数为N,N>1,采用第一图像增强模型中的去噪模型1对第一图像进行去噪处理得到图像1,将图像1输入第一图像增强模型中的超分辨率模型1进行超分辨率处理,得到第二图像B1。采用第N图像增强模型中的去噪模型N对第一图像进行去噪处理得到图像N,将图像N输入第N图像增强模型中的超分辨率模型N进行超分辨率处理,得到第二图像BN。
S503、将所述至少两个第二图像输入质量评价模型进行处理,得到每个所述第二图像对应的图像质量评价信息。
例如,当S502中输出的第二图像包括B1、B2、……、BN时,手机可以采用质量评价模型对图像B1进行处理,得到图像B1对应的图像质量评价信息;采用质量评价模型对图像B2进行处理,得到图像B2对应的图像质量评价信息;……;采用质量评价模型对图像BN进行处理,得到图像BN对应的图像质量评价信息。
在S503中,图像质量评价信息可以是图像质量分数,图像质量分数可以是0-100中的任一整数,也可以是0-1中的任一数值。图像质量评价信息也可以是图像质量分类信息,图像质量分类信息可以用0-1中的整数或小数来标识。可选的,采用质量评价模型评价第二图像的图像质量的方法可以参见图2对应的实施例中S103的相关描述。S504和S505是并列步骤,手机在执行S503之后,可以执行S504或S505。S504和S505的区别在于,S504中,手机可以直接显示至少两个第二图像种图像质量最好的图像;S505中,手机可以显示第一图像和至少两个第二图像中,图像质量最好的图像。
S504、根据每个第二图像对应的所述图像质量评价信息,从至少两个第二图像中选择图像质量最好的图像,输出所述图像质量最好的图像。
由于图像质量评价信息用于标识第二图像的图像质量的好坏程度,因此,手机可以通过比较所有第一图像的图像质量评价信息,从至少两个第二图像中确定图像质量最好的目标第二图像。例如,当图像质量评价信息为图像质量分数时,手机可以将每个第二图像的图像质量分数进行比较,从至少两个第二图像中筛选出图像质量分数最高的目标第二图像,并输出图像质量分数最高的第二图像。输出图像质量分数最高的第二图像的方式可以是显示图像质量分数最高的第二图像,也可以是将图像质量分数最高的第二图像保存至图库。
或者,手机也可以将每个第二图像的图像质量分数与预定分数阈值进行比较,筛选出图像质量分数大于或等于预定分数阈值的目标第二图像,并输出目标第二图像。例如,假设第二图像的数量为3个,分别为图像B1、图像B2以及图像B3,如果图像B1的图像质量分数为0.8、图像B2的图像质量分数为0.7、图像B3的图像质量分数为0.5,预定分数阈值为0.7。由于图像B1的图像质量分数和图像B2的图像质量分数大于或等于0.7,因此,图像B1以及图像B2均为目标第二图像,如图13a~图13c所示,手机可以在显示界面上同时显示图像B1以及图像B2,还可以显示提示信息,以便用户选择需要保存的图像。其中,如图13a所示,用户可以通过对话框中来选中并保存图像B1、图像B2,或者保存图像B1和图像B2。如图13b所示,用户可以通过点击图像B1来选中图像B1并进行保存,图像B1呈淡灰色。如果用户选中图像B1和图像B2,那么手机保存图像B1和图像B2,图像B1和图像B2都呈淡灰色。如图13c所示,用户可以点击图像B1左侧的方框,该方框中显示“√”,在图像B1的右侧显示“保存”,标识用户已选中图像B1,手机保存图像B1。
需要说明的是,如果目标第二图像的数量较多,可以显示所有的目标第二图像;也可以显示部分目标第二图像时,例如,可以优先显示图像质量分数较高的目标第二图像。
示例性的,当目标第二图像的数量较多(比如,大于或等于3个)时,显示所有目标第二图像的方法可以是:手机在UI界面中显示由多个目标第二图像组成的图像序列,用户可以向左滑动或向右滑动查看图像序列中的任一目标第二图像,从而能够从多个目标第二图像中选择想要保存的图像。如图13d所示,用户点击“拍照按钮”触发拍照指令进行拍照,手机响应于用户触发的拍照指令得到第一图像,通过M个图像增强模型对第一图像进行处理得到N个第二图像;将N个第二图像输入质量评价模型进行处理,或者将第一图像和N个第二图像输入质量评价模型进行处理,得到图像质量评价信息,根据获得的图像质量评价信息确定图像B1~图像Bi为第一图像和N个第二图像中图像质量最好的图像;当用户点击“拍照按钮”左边的图标时,手机显示图像B1~图像Bi。其中,手机可以在主显示区域显示图像B1,在图像B1下方显示由图像B1~图像Bi组成的图像序列。用户点击显示于图像B1右下角的“选择图标”可以选中图像B1进行保存。用户也可以在触摸屏的任意位置通过向左滑动触摸手势触发手机根据滑动距离向左移动图像序列,以便用户查看排在图像B1之后的任一图像,例如图像B3;用户还可以通过向右滑动触摸手势触发手机根据滑动距离向右移动图像序列,以便用户根据需要查看图像,并选中需要保存的图像。
需要说明的是,手机也可以根据每个第二图像各自对应的图像质量分数,将图像质量分数最高的第二图像识别为图像质量最好的目标图像,并输出图像质量分数最高的第二图像。例如,假设第二图像的数量为3个,分别为图像B1、图像B2以及图像B3,如果图像B1的图像质量分数为0.8、图像B2的图像质量分数为0.7、图像B3的图像质量分数为0.5,那么,手机根据图像B1~图像B3的图像质量分数确定图像B1为图像质量最好的图像,输出图像B1。当图像质量分数最高的第二图像的数量为至少两个时,可以显示任一个,也可以显示至少两个,以供用户选择。例如,当图像B1的图像质量分数和图像B2的图像质量分数并列第一时,如图13所示,手机可以在显示界面上同时显示图像B1以及图像B2,还可以显示提示信息,以便用户选择需要保存的图像。
请一并参见图14,图14是本申请再一实施例提供的一种用户界面的示意图。如图14所示,图像B1消除了眼镜反光,且人像的五官以及眼镜均没有变形;图像B2消除了眼镜反光,且图像中眼镜发生变形,图像B3消除了部分眼镜反光,且人像的五官变形。手机将图像B1~图像B3各自对应的图像质量分数进行比较,得到的比较结果为:图像B1的图像质量分数>图像B2的图像质量分数>图像B3的图像质量分数,表示图像B1的图像质量>图像B2的图像质量>图像B3的图像质量,手机显示图像B1。
示例性的,手机通过图像质量分数从至少两个第二图像中,筛选出来的目标图像可以是清晰度最高且不存在artifacts的图像,也可以是清晰度较高且artifacts最少的图像。目标图像可以是图像噪声最少(或没有图像噪声)且不存在artifacts的图像,也可以是图像噪声较少且artifacts最少的图像。目标图像可以是图像噪声最少(或没有图像噪声)且不存在散粒噪声的图像,也可以是图像噪声较少且散粒噪声最少的图像。目标图像可以是不存在色彩混叠以及拉链效应的图像,也可以是色彩混叠以及拉链效应最少的图像。
S505、根据每个第二图像对应的所述图像质量评价信息,从第一图像和至少两个第二图像中确定图像质量最好的图像,并输出所述图像质量最好的的图像。
由于图像质量评价信息用于标识第二图像的图像质量的好坏程度,因此,手机可以通过比较所有第二图像的图像质量评价信息,从第一图像和至少两个第二图像中确定图像质量最好的目标图像,并输出图像质量最好的图像。图像质量最好的图像可以是第二图像,也可以是第一图像。输出图像质量最好的图像的方式可以是显示图像质量最好的图像,也可以是将图像质量最好的图像保存至图库。图像质量评价信息可以为用于表示图像质量的标识信息或分数。
例如,假设在S502中获得N个第二图像,N≥2,图像质量评价信息为对N个第二图像中每一个第二图像的图像质量评价信息。
当图像质量评价信息是用于表示第二图像的图像质量好或差的标识信息时,手机可以判断N个第二图像中是否存在图像质量评价信息为预定标识的目标第二图像,根据判断结果从第一图像和N个第二图像中确定图像质量最好的图像。其中,若N个第二图像中存在图像质量评价信息为预定标识的目标第二图像,则确定图像质量评价信息为预定标识的目标第二图像为图像质量最好的图像,并输出目标第二图像。若N个第二图像中存在至少两个图像质量评价信息为预定标识的目标第二图像,则选择任一目标第二图像输出,或者输出所有目标第二图像。若N个第二图像中不存在图像质量评价信息为预定标识的目标第二图像,则确定第一图像为图像质量最好的图像,输出第一图像。
当图像质量评价信息是图像质量分数时,手机可以判断N个第二图像中是否存在图像质量分数大于预定分数阈值的目标第二图像,根据判断结果从第一图像和第二图像中确定图像质量最好的图像。若N个第二图像中存在图像质量分数大于或等于预定分数阈值的目标第二图像,则确定目标第二图像为图像质量最好的图像,输出目标第二图像;若N个第二图像中不存在图像质量分数大于或等于预定分数阈值的目标第二图像,则确定第一图像为图像质量最好的图像,输出第一图像。若N个第二图像中存在至少两个目标第二图像,可以选择任一目标第二图像输出,可以输出全部目标第二图像,也可以输出部分目标第二图像。当输出部分目标第二图像时,可以优先显示图像质量分数较高的目标图像,例如,输出分数最高的目标第二图像,当存在至少两个目标第二图像的图像质量分数并列第一时,可以输出任一个目标第二图像。需要说明的是,手机可以在检测到任一第二图像的图像质量分数大于或等于预定分数阈值时,输出该第二图像,结束图像处理流程,这样可以更快地输出图像质量较好的第二图像。
可以理解的是,当N个第二图像中存在至少两个目标第二图像时,手机也可以在显示界面显示全部目标第二图像,以供用户从中选择需要的选择。当目标第二图像的数量较多(比如,3个或3个以上)时,可以生成目标第二图像对应的缩略图,并在显示界面显示该缩略图,用户可以浏览该缩略图中包括的所有目标第二图像,选择需要保存的图像。
例如,第二图像的数量为3个,分别为图像B1、图像B2以及图像B3,如果图像B1的图像质量分数为0.8、图像B2的图像质量分数为0.7、图像B3的图像分数为0.5,预定分数阈值为0.7;那么手机根据所有第二图像的图像质量分数,筛选出的图像质量分数大于或等于0.7的目标第二图像包括图像B1和图像B2,并在显示界面同时显示图像B1和图像B2,以供用户选择。
再例如,第二图像的数量为5个,分别为图像B1、图像B2、图像B3、图像B4以及图像B5,如果图像B1的图像质量分数为0.6、图像B2的图像质量分数为0.5、图像B3的图像分数为0.8,图像B4的图像质量分数为0.8、图像B5的图像质量分数为0.7,预定分数阈值为0.7;那么手机筛选出的图像质量分数大于或等于0.7的目标第二图像包括图像B3、图像B4以及图像B5,生成由图像B3、图像B4以及图像B5组成的缩略图,并在显示界面显示该缩略图,以便用户浏览该缩略图中包括的图像B3、图像B4以及图像B5,从而选择需要保存的图像。其中,缩略图的大小可以根据手机显示屏的尺寸进行调整。缩略图中各图像的排列方式和排列顺序不做限制。
为了减少用户从目标第二图像中挑选图像所花费的时间,当目标第二图像的数量为至少两个时,可以将至少两个目标第二图像按图像质量分数进行排序后进行显示。
例如,假设目标第二图像包括图像B2以及图像B3,图像B2的图像质量分数小于图像B3的图像质量分数;手机可以将图像B3放在图像B2之前进行显示,也可以将图像B3显示于较大的显示区域。比如,将显示屏分为第一显示区域以及第二显示区域,第一显示区域可以在第二显示区域的上方或左边,第一显示区域的面积可以大于第二显示区域的面积(例如,第一显示区域与第二显示区域的面积比例为2:1),图像B3显示在第一显示区域,图像B2显示在第二显示区域。如图15所示,手机显示界面中显示的图像B3的尺寸大于图像B2的尺寸。需要说明的是,用户基于如图15所示的UI界面选择需要的图像的方法类似于图13中的选择方式,此处不赘述。
再例如,假设目标第二图像包括图像B3、图像B4以及图像B5,图像B3的图像质量分数>图像B4的图像质量分数>图像B5的图像质量分数;将图像B3、图像B4以及图像B5按图像质量分数从高到低的顺序进行排序,之后,生成相应的图像列表或缩略图。图像列表或缩略图中图像的排列方式为:图像B3-图像B4-图像B5。如图16所示,图像B3、图像B4以及图像B5呈纵向排列,并且图像B3显示在最前面。需要说明的是,用户基于如图16所示的UI界面选择需要的图像的方法类似于图13中的选择方式,此处不赘述。
本申请实施例中,可以采用至少两个图像增强模型对第一图像进行处理,从而得到至少两个第二图像,可以从至少两个第二图像中选择图像质量最好的目标图像,并将图像质量最好的目标图像显示给用户查看或者,可以从第一图像和至少两个第二图像中确定图像质量最好的图像,并输出图像质量最好的图像。当图像质量最好的图像为至少两个时,可以对其进行排序后再显示给用户,用户可以快速地了解到各图像的图像质量,从而能够快速的选择需要的图像。
为了提高第二图像的图像质量评价信息的准确度,可以通过第一图像辅助评价第二图像的图像质量。参见图17,图17是本申请第七实施例提供的一种图像处理方法的示意性流程图。图17对应的实施例与图12对应的实施例的区别在于S603,输入质量评价模型的图像不同,以及质量评价模型评价第二图像的图像质量的方法不同。图12的S503中,质量评价模型的输入为第二图像,质量评价模型用于基于第二图像的图像特征信息评价第二图像的图像质量;而图17的S603中,质量评价模型的输入为第一图像以及第二图像,质量评价模型用于基于第一图像的特征信息以及第二图像的特征信息评价第二图像的图像质量。S603具体如下:
S603、将所述第一图像以及所述至少两个第二图像输入质量评价模型进行处理,每个所述第二图像对应的图像质量评价信息。
例如,当S602中输出的第二图像包括B1、B2、……、BN时,手机采用质量评价模型基于图像A以及图像B1确定图像B1对应的图像质量评价信息;采用质量评价模型基于图像A以及图像B2确定图像B2对应的图像质量评价信息;……;采用质量评价模型基于图像A以及图像BN确定图像BN对应的图像质量评价信息。
第一图像(例如:图像A)用于辅助评价每个第二图像的图像质量。借助第一图像评价第二图像的图像质量的具体实现方式参见图7对应的实施例中S203的相关描述,此处不赘述。
本实施例中,通过第一图像的特征信息辅助评价第二图像的图像质量,由于手机可以以第一图像为参考图像,来评价第二图像的图像质量,可以更准确地评价第二图像的图像质量,可以提高第二图像的图像质量评价信息的准确度。
参见图18,图18是本申请第八实施例提供的一种图像处理方法的示意性流程图。图18与图12的区别在于S703~S704,图17的S703中增加了采用质量评价模型评价第一图像的步骤,图12中是从至少两个第二图像中选择图像质量最好的样本图像进行输出,图17中是从至少两个第二图像以及第一图像中,选择图像质量最好的样本图像进行输出。具体如下:
S703、将所述第一图像以及所述至少两个第二图像输入质量评价模型进行处理,得到所述第一图像对应的第一图像质量评价信息,以及每个所述第二图像对应的第二图像质量评价信息。.
例如,当S702中输出的第二图像包括B1、B2、……、BN时,手机可以采用质量评价模型对图像A进行处理,得到图像A对应的图像质量评价信息;手机可以采用质量评价模型对图像B1进行处理,得到图像B1对应的图像质量评价信息;采用质量评价模型对图像B2进行处理,得到图像B2对应的图像质量评价信息;……;采用质量评价模型对图像BN进行处理,得到图像BN对应的图像质量评价信息。
再例如,当S702中输出的第二图像包括B1、B2、……、BN时,手机可以采用质量评价模型对图像A进行处理,得到图像A对应的图像质量评价信息;手机可以采用质量评价模型对图像A和图像B1进行处理,得到图像B1对应的图像质量评价信息;采用质量评价模型对图像A和图像B2进行处理,得到图像B2对应的图像质量评价信息;……;采用质量评价模型对图像A和图像BN进行处理,得到图像BN对应的图像质量评价信息。
其中,图像A对应的图像质量评价信息可以由图像A的第一图像质量评价信息确定;图像B1~图像BN的图像质量评价信息可以分别由图像B1~图像BN的第二特征信息确定,也可以通过比较第一特征信息以及第二特征信息得到差异特征信息,根据差异特征信息而确定。
第一特征信息可以是图像A的全部特征信息,也可以是图像A的部分特征信息。全部特征信息是图像A中每个像素点的特征信息,部分特征信息是图像A中的部分像素点的特征信息,例如第一图像中可以反映或代表第一图像的图像质量的像素点。本实施例中,获得第一图像对应的第一图像质量评价信息,以及每个第二图像对应的第二图像质量评价信息的具体实现方式,参见图8对应的实施例中S303的相关描述,此处不赘述。S704和S705是并列步骤,手机在执行S703之后,可以执行S704或S705。
S704、根据所述第一图像对应的第一图像质量评价信息,以及每个所述第二图像对应的第二图像质量评价信息,从第一图像和至少两个第二图像中确定图像质量最好的图像,输出所述图像质量最好的图像。
在S704中,可以基于第一图像质量评价信息以及所有的第二图像质量评价信息,从第一图像以及所有的第二图像中确定图像质量最好的图像。其中,图像质量最好的图像可以是第一图像和至少两个第二图像中,图像质量评价信息为预定标识的图像,或者图像质量分数大于或等于预定分数阈值的图像,还可以是图像质量分数大于或等于预定分数阈值,且图像质量分数最高的图像。预定标识可以为“1”或“YES”或“是”。图像质量最好的图像可能是第一图像,也可能是第二图像。
例如,假设在S502中获得N个第二图像,N≥2,当第一图像质量评价信息和第一图像质量评价信息均为用于表示图像质量的标识信息时,手机可以判断第一图像和N个第二图像中是否存在图像质量评价信息为预定标识的图像,根据判断结果从第一图像和第二图像中确定图像质量最好的图像。其中,若第一图像的图像质量评价信息为预定标识,且N个第二图像中存在至少一个图像质量评价信息为预定标识的目标第二图像,则从第一图像和目标第二图像中选择任一图像输出。若第一图像的图像质量评价信息不是预定标识,且N个第二图像中存在至少一个图像质量评价信息为预定标识的目标第二图像,则从目标第二图像中选择任一图像输出。若第一图像的图像质量评价信息不是预定标识,且N个第二图像中不存在图像质量评价信息为预定标识的目标第二图像,则输出第一图像。
当第一图像质量评价信息和第二图像质量评价信息均为图像质量分数时,手机可以根据第一图像的第一图像质量分数和N个第二图像的第二图像质量分数,从第一图像和N个第二图像中,确定图像质量分数最高的图像为第一图像和N个第二图像中图像质量最好的图像,输出分数最高的图像。手机还可以判断第一图像和N个第二图像中是否存在图像质量分数大于预定分数阈值的图像,根据判断结果从第一图像和第二图像中确定图像质量最好的图像。若第一图像和N个第二图像中存在图像质量分数大于或等于预定分数阈值的图像,输出图像质量分数大于或等于预定分数阈值的图像。当图像质量分数大于或等于预定分数阈值的图像的数量为至少两个时,可以从中选择任一个进行输出,也可以显示所有图像质量分数大于或等于预定分数阈值的图像,以便用户从中选择需要保存的图像。
为了减少用户从挑选图像所花费的时间,当目标第二图像的数量为至少两个时,可以将所有图像质量分数大于或等于预定分数阈值的图像按图像质量分数进行排序后进行显示。
本实施例,可以分别评价第一图像与第二图像的图像质量,得到第一图像对应的第一图像质量评价信息,以及第二图像对应的第二图像质量评价信息,可以直接比较第一图像质量评价信息以及第二图像质量评价信息,从而从第一图像以及第二图像中选择图像质量最好的图像,并将图像质量最好的图像显示给用户。
上面描述了通过至少两个图像增强模型并行处理第一图像的方案,下面介绍采用至少两个图像增强模型串行处理第一图像的方案。
参见图19,图19是本申请第九实施例提供的一种图像处理方法的示意性流程图。图19所示的图像处理方法包括以下步骤:
S801、获取待处理的图像A。
S801与S101相同,具体参见S101中的相关描述,此处不赘述。
S802、采用图像增强模型1对图像A进行处理,得到图像增强模型1输出的图像B1。
S803、将图像B1输入质量评价模型进行处理,得到图像B1对应的图像质量评价信息。
S804、根据图像B1对应的图像质量评价信息确定图像B1是否为目标图像。
S804与S104基本相同,参见S104中的相关描述,此处不赘述。
其中,目标图像是指图像质量符合要求的图像。当图像B1的图像质量评价信息为预定标识,或者图像B1的图像质量评价信息对应的图像质量分数大于或等于预定分数阈值时,表示图像B1是目标图像,执行S805,以输出图像B1;当图像B1的图像质量评价信息不是预定标识,或者图像B1的图像质量评价信息对应的图像质量分数小于预定分数阈值时,表示图像B1不是目标图像,此时,不输出图像B1,且不输出图像A,执行S806。预定标识可以为“1”、“YES”或“是”。
S805、当图像B1是目标图像时,输出图像B1。
S806、当图像B1不是目标图像时,采用图像增强模型2对图像A进行处理,得到图像增强模型2输出的图像B2。
S807、将图像B2输入质量评价模型进行处理,得到图像B2对应的图像质量评价信息。
S808、根据图像B2对应的图像质量评价信息确定图像B2是否为目标图像。
其中,当图像B2的图像质量评价信息为预定标识,或者图像B2的图像质量评价信息对应的图像质量分数大于或等于预定分数阈值时,表示图像B2是目标图像,执行S809,以输出输出图像B2;当图像B2的图像质量评价信息不是预定标识,或者图像B2的图像质量评价信息对应的图像质量分数小于预定分数阈值时,表示图像B2不是目标图像,不输出图像B2。如果图像增强模型的数量为2时,手机在执行S808确定图像B2不是目标图像后,输出图像A。如果图像增强模型的数量大于2,手机在执行S808确定图像B2不是目标图像后,执行S810。
S809、当图像B2是目标图像时,输出图像B2。
S810、当图像B2不是目标图像时,采用图像增强模型N对图像A进行处理,得到图像增强模型N输出的图像BN。
N为整数且N≥3。
S811、将图像BN输入质量评价模型进行处理,得到图像BN对应的图像质量评价信息。
S812、根据图像BN对应的图像质量评价信息确定图像BN是否为目标图像。
其中,当图像BN的图像质量评价信息为预定标识,或者图像BN的图像质量评价信息对应的图像质量分数大于或等于预定分数阈值时,表示图像BN是目标图像,执行S813,以输出图像BN;当图像BN的图像质量评价信息不是预定标识,或者图像BN的图像质量评价信息对应的图像质量分数小于预定分数阈值时,表示图像BN不是目标图像,不输出图像BN。
需要说明的是,如果图像增强模型N不是手机内预置的N个图像增强模型中的最后一个,手机在执行完S812确定图像BN不是目标图像之后,N递增1,返回执行步骤810中的采用图像增强模型N对图像A进行处理,得到图像增强模型N输出的图像BN。如果图像增强模型N是手机内预置的N个图像增强模型中的最后一个,那么在执行完S812确定图像BN不是目标图像之后,执行S814。
S813、当图像BN是目标图像时,输出图像BN。
S814、当图像BN不是目标图像时,输出图像A。
可以理解的是,图像增强模型可以根据用户选择的图像处理功能来确定,也可以由图像A的图像特征来确定,此处不做限制。
N个图像增强模型可以用于实现同一种图像处理功能,即N个图像增强模型可以用于实现去噪、超分辨率、去马赛克或图像复原。N个图像增强模型中每个图像增强模型也可以用于实现至少两种图像处理功能。N个图像增强模型可以按模型对应的图像处理效果的优劣程度来排序,即从备选的图像增强模型中优先选用图像处理效果最优的模型对图像A进行处理。N个图像增强模型还可以用于实现不同的图像处理功能。
示例性的,当N个图像增强模型用于实现同一种图像处理功能时,例如,图像增强模型1可以为去噪效果最好、超分辨率效果最好或去马赛克效果最好的图像增强模型。
示例性的,当N个图像增强模型中每个图像增强模型用于实现至少两种图像处理功能时,假设如果图像A中存在以下至少两种情况:分辨率小于预设分辨率阈值、图像噪声、马赛克,那么,N个图像增强模型中的每个模型均用于对图像A执行去噪、超分辨率以及去马赛克。图像增强模型1可以为去噪效果最好、超分辨率效果最好以及去马赛克效果最好的图像增强模型。
示例性的,当N个图像增强模型用于实现不同的图像处理功能时,用于实现同一种图像处理功能的图像增强模型的数量可以为一个,也可以为至少两个。如果图像A中存在以下至少两种情况:分辨率小于预设分辨率阈值、图像噪声、马赛克时,可以按照图像处理优先级对图像A做相应的处理,图像处理优先级可以为:去噪>超分辨率>去马赛克。如果N=3,那么图像增强模型1可以为去噪模型、图像增强模型2可以为超分辨率模型、图像增强模型3可以为去马赛克模型。如果N=6,那么图像增强模型1以及图像增强模型2可以为去噪模型、图像增强模型3以及图像增强模型4可以为超分辨率模型、图像增强模型5以及图像增强模型6可以为去马赛克模型。图像增强模型1可以为去噪效果最好的图像增强模型,图像增强模型3可以为超分辨率效果最好的图像增强模型,图像增强模型5可以为去马赛克效果最好的增强模型。
由于图像增强模型的特性决定了:同种类型的不同的图像增强模型的图像处理效果可能不同,经过模型处理后的图像存在artifacts的严重程度可能不同,而输出给用户看的图像需要平衡artifacts以及图像处理效果,因此,需要采用质量评价模型评价图像增强模型对第一图像进行处理后得到的第二图像的图像质量,以根据图像质量评价结果来确定是否需要采用其他的图像增强模型对第一图像进行处理,从而尽可能输出图像质量较好的第二图像给用户查看。
由于对于训练后的图像增强模型而言,图像增强模型具有一定的稳定性,其图像增强效果是可预见的,而图像增强模型处理后得到的图像是否可能会存在artifacts这个是不确定的,也不可预见的,这样一来,通过图像增强效果较好的图像增强模型对图像A进行处理,获得图像质量较好的图像B的概率较大,因此,在本实施例中,手机优先选择图像增强效果较好的图像增强模型对图像A进行处理,这样可以获取到图像质量较好的图像B的概率较大,可以缩短获取到图像质量较好的图像B所需的时间,以提高输出图像的效率。
示例性的,假设,已知超分辨率模型1的图像增强效果比超分辨率模型2的图像增强效果好,但经过超分辨率模型处理后的图像存在的artifacts可能比经过超分辨率模型处理后的图像存在的artifacts严重。手机在检测到图像A的分辨率小于预设分辨率阈值时,可以采用超分辨率模型1对图像A进行处理得到图像B1,然后采用质量评价模型评价图像B1的图像质量,得到图像B1的图像质量分数。手机判断图像B1的图像质量分数是否大于或等于预定分数阈值,如果图像B1的图像质量分数大于或等于预定分数阈值,那么输出图像B1给用户查看,这种情况反映出虽然图像B1的清晰度大于图像B2的清晰度,但是图像B1存在的artifacts可能比图像B2存在的artifacts更严重。如果图像B1的图像质量分数小于预定分数阈值,那么输出图像A给用户查看;这种情况反映出图像B1以及图像B种均存在的artifacts,且B1存在的artifacts可能比B2存在的artifacts更严重。
示例性的,手机在检测到图像A的分辨率低于分辨率阈值时,获取至少两个超分辨率模型,例如,超分辨率模型1、超分辨率模型2以及超分辨率模型3,假设已知超分辨率模型1处理后的图像的清晰度>超分辨率模型2处理后的图像的清晰度>超分辨率模型3处理后的图像的清晰度;手机采用超分辨率模型1对图像A进行超分辨率处理,得到图像B1。手机采用图像评价模型对图像B1进行处理,得到图像B1对应的图像质量评价信息;根据图像B1对应的图像质量分数判断是否输出图像B1。如果图像B1对应的图像质量分数大于或等于预定分数阈值,手机输出图像B1给用户查看,结束图像处理流程。用户可以看到图像B1的清晰度较好,并且图像B1中没有artifacts或者存在少量的artifacts,例如,图像B1中的景、物、人眼、鼻子或眼镜框等不存在明显的变形或错位。如果图像B1对应的图像质量分数小于预定分数阈值,说明图像B1较模糊,或者图像B1中存在较严重的artifacts;手机采用超分辨率模型2对图像A进行超分辨率处理,得到图像B2。手机采用图像评价模型对图像B2进行处理,得到图像B2对应的图像质量分数;根据图像B2对应的图像质量分数判断是否输出图像B2。如果图像B2对应的图像质量分数大于或等于预定分数阈值,手机输出图像B2给用户查看,结束图像处理流程。用户可以看到的图像B2的清晰度较好,并且图像B2中没有artifacts或者存在少量的artifacts。
如果图像B2对应的图像质量分数小于预定分数阈值,说明图像B2较模糊,或者图像B2中存在较严重的artifacts。手机采用超分辨率模型3对图像A进行超分辨率处理,得到图像B3。手机采用图像评价模型对图像B3进行处理,得到图像B3对应的图像质量分数;可以将图像B3对应的图像质量分数与预定分数阈值进行比较,根据比较结果判断是否输出图像B3。如果比较结果为图像B3对应的图像质量分数大于或等于预定分数阈值,手机输出图像B3给用户查看,结束图像处理流程。如果比较结果为图像B3对应的图像质量分数小于预定分数阈值,说明图像B3较模糊,或者图像B3中存在较严重的artifacts,输出图像A给用户查看。
在本实施例中,手机可以优先采用图像处理效果最优的图像增强模型1对图像A进行处理,如果处理后的图像的图像质量较差,那么采用图像处理效果次优的图像增强模型2对图像A进行处理,如果处理后的图像的图像质量还是较差,再从可选的图像增强模型中选择最优的图像增强模型3对图像A进行处理,可选的图像增强模型是指除前面已使用的图像增强模型(如图像处理效果最优以及次优的图像增强模型)之外的图像增强模型。由于优先采用图像处理效果最优的图像增强模型对图像A进行处理,有些情况不需要使用到N个图像增强模型,就可以获得图像质量较好的图像B。相对于采用N个图像增强模型对图像A并行处理的情况,可以节省部分系统资源,可以缩短获取到图像质量较好的图像B所需的时间,以提高输出图像的效率。
基于图20,在另一种实施例中,可以通过图像A辅助评价第二图像(例如:B1~BN)的图像质量,具体地,如图20所示,在S803中,“将图像B1输入质量评价模型进行处理,得到图像B1对应的图像质量评价信息”替换为“将图像A以及图像B1输入质量评价模型进行处理,得到图像B1对应的图像质量评价信息”。在S807中,“将图像B2输入质量评价模型进行处理,得到图像B2对应的图像质量评价信息”替换为“将图像A以及图像B2输入质量评价模型进行处理,得到图像B2对应的图像质量评价信息”。在S811中,“将图像BN输入质量评价模型进行处理,得到图像BN对应的图像质量评价信息”替换为“将图像A以及图像BN输入质量评价模型进行处理,得到图像BN对应的图像质量评价信息”。
具体实现方式参见图7对应的实施例中S203的相关描述,此处不赘述。
基于图19,区别于图19中,将由图像A处理的到的第二图像输入质量评价模型,采用质量评价模型评价第二图像的图像质量的方案,在另一种实施例,可以采用质量评价模型确定针对图像A和第二图像(例如:B1~BN)的图像质量评价信息,根据针对图像A和第二图像的图像质量评价信息确定目标图像,并输出目标图像。
参见图21,图21是本申请第十一实施例提供的一种图像处理方法的示意性流程图。与图19的区别在于S903~S904、S907~S908以及S911~S912、S914。具体如下:
S903、将图像A以及图像B1输入质量评价模型进行处理,得到针对图像A和图像B1的图像质量评价信息。
具体实现方式参见图8对应的实施例中S303的相关描述,此处不赘述。
S904、根据所述针对图像A和图像B1的图像质量评价信息,确定图像B1是否为目标图像。
示例性的,当图像质量评价信息为用于表示图像B1的图像质量是否比图像A的图像质量好的标识信息时,如果图像B1的图像质量评价信息为预定标识,表示图像B1的图像质量比图像A的图像质量好,图像B1为目标图像,那么执行S905,以输出图像B1;如果图像B1的图像质量评价信息不是预定标识,表示图像B1的图像质量比图像A的图像质量差,图像B1不是目标图像,那么不输出图像B1,执行S906。预定标识可以为“1”、“YES”或“是”。
示例性的,当图像质量评价信息包括图像A的图像质量分数A和图像B1的图像质量分数B时,如果图像质量分数B>图像质量分数A,表示图像B1的图像质量比图像A的图像质量好,图像B1为目标图像,那么执行S905,以输出图像B1;如果图像质量分数B≤图像质量分数A,表示图像B1的图像质量比图像A的图像质量差,或者,图像B1和图像A的图像质量相同,图像B1不是目标图像,那么确定不输出图像B1,执行S906。S907、将图像A以及图像B2输入质量评价模型进行处理,得到针对图像A和图像B2的图像质量评价信息。
S908、根据针对图像A和图像B2的图像质量评价信息,确定图像B2是否为目标图像。
S908的实现方式参见S904中的描述,此处不赘述。
需要说明的是,如果图像增强模型的数量为2时,手机在执行S908确定图像B2不是目标图像后,输出图像A。如果图像增强模型的数量大于2,手机在执行S908确定图像B2不是目标图像后,执行S910。
S911、将图像A以及图像BN输入质量评价模型进行处理,得到针对图像A和图像BN的图像质量评价信息。
S912、根据针对图像A和图像BN的图像质量评价信息,确定图像BN是否为目标图像。
S912的实现方式参见S904中的描述,此处不赘述。
S914、当图像BN不是目标图像时,输出图像A。
本实施例,可以分别评价第一图像与第二图像的图像质量,可以针对第一图像和第二图像的质量评价信息,来判断第二图像的图像质量是否比第一图像的图像质量好,能够更准确地获知第一图像经过图像增强模型处理后,图像质量是否变差。
需要说明的是,图12、图17-图21中,先采用图像增强模型对第一图像进行图像处理,得到第二图像,将第二图像,或者将第一图像和第二图像同时输入训练后的质量评价模型进行处理,获得质量评价模型输出的图像质量评价信息,根据图像质量评价信息确定输出第一图像或第二图像。在一种可能的实现方式中,也可以参照图9的处理逻辑,将图12、图17-图21对应的实施例变形为如下处理逻辑:先采用质量评价模型评价第一图像的图像质量,如果第一图像的图像质量评价信息表示第一图像的图像质量好,采用图像增强模型对第一图像进行图像处理,得到第二图像,并将第二图像输出给用户;如果第一图像的图像质量评价信息表示第一图像的图像质量差,输出第一图像给用户。
参见图22,图22是本申请第十二实施例提供的一种图像处理方法的示意性流程图。
S1001、获取多帧RAW图像。
多帧RAW图像的内容可以不完全相同。RAW图像是RAW格式的图像。RAW格式是未经处理、也未经压缩的格式,可以把RAW概念化为“原始图像编码数据”或更形象的称为“数字底片”。RAW图像就是图像感应器将捕捉到的光源信号转化为数字信号的原始数据。图像传感器可以包括互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor,CMOS)图像传感器,电荷耦合器件(Charge Coupled Device,CCD)图像传感器。上述RAW图像是本领域现有的概念,也可以理解为未经处理、也未经压缩的图像,在此不再进行赘述。
例如,用户开启手机中的拍照应用,手机响应于用户触发的拍照指令,获取多帧待RAW图像。图像的曝光程度跟拍照环境的明亮程度有关,例如,环境光线的强弱程度、拍摄环境亮度等。根据曝光程度,可以将图像分为长曝光图像、中曝光图像以及短曝光图像。长曝光图像对应的曝光程度>中曝光图像对应的曝光程度>短曝光图像对应的曝光程度。多帧第一图像对应的曝光程度可以相同,也可以不同。多帧RAW图像可以均为长曝光图像、中曝光图像或短曝光图像,多帧图像中也可以包括长曝光图像、中曝光图像以及短曝光图像中的至少两种。
示例性的,在光线充足的环境中(如白天)拍照时,在响应于拍照指令时,获取到的多帧RAW图像可以均为短曝光图像,也可以包括少量的中曝光图像或长曝光图像。即获取到的短曝光图像的数量大于长曝光图像的数量。例如,获取到6帧RAW图像,其中包括1帧长曝光图像、3帧短曝光图像以及2帧中曝光图像,或者,包括5帧短曝光图像以及1帧长曝光图像。
在光线较暗的环境中(比如,晚上)拍照时,获取到的多帧RAW图像可以均为长曝光图像,也可以包括少量的中曝光图像或短曝光图像。获取到的长曝光图像的数量大于短曝光图像的数量。例如,获取到6帧RAW图像,其中包括5帧长曝光图像以及1帧短曝光图像,或者,6帧RAW图像均为长曝光图像。
在高亮环境中(比如,聚光灯下)拍照或者逆光拍照时,可以获取到的多帧RAW图像可以均为短曝光图像,也可以包括少量的中曝光图像或长曝光图像。即获取到的短曝光图像的数量大于长曝光图像的数量。例如,获取到的6帧RAW图像,包括1帧长曝光图像、2帧中曝光图像,3帧短曝光图像。
S1002、将所述多帧RAW图像进行分组,得到至少两组RAW图像。
每组RAW图像所包含的图像数量可以相同,也可以不同。一组RAW图像可以包括至少两帧RAW图像。
例如,在S1001中获取到6帧RAW图像,可以分成2组,也可以分成3组。
比如,RAW图像1、RAW图像3以及RAW图像5为一组,RAW图像2、RAW图像4以及RAW图像6为一组。或者,RAW图像1以及RAW图像2为一组,RAW图像3、RAW图像4、RAW图像5以及RAW图像6为一组。或者,RAW图像1以及RAW图像3为一组、RAW图像2以及RAW图像4为一组,RAW图像5以及RAW图像6为一组。
S1003、将每组所述RAW图像进行图像融合处理,得到每组所述RAW图像对应的融合图像。
手机将每组RAW图像中包含的所有图像融合成一张图像。具体的,可以采用图像配准技术对每组RAW图像进行图像融合处理,得到一张融合图像,可以将关于同一目标的图像数据的相关信息融合到一起,以扩大图像所含有的时间空间信息,减少不确定性,增加可靠性。图像配准方法包括但不限于光流配准法。
图像配准(Image registration)就是将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程。具体流程如下:首先对两幅图像进行特征提取得到特征点;通过进行相似性度量找到匹配的特征点对;然后通过匹配的特征点对得到图像空间坐标变换参数;最后由坐标变换参数进行图像配准。
S1004、对每个所述融合图像进行处理,得到每个所述融合图像对应的增强图像。
可以对融合图像进行图像增强处理,以增强融合图像的图像质量,得到融合图像对应的增强图像。具体可以对融合图像进行超分辨率、去噪、去马赛克以及图像复原处理中的任一种或者至少两种的任意组合。
其中,当检测到以下场景为:透过玻璃拍照、拍摄已过塑的照片、融合图像中存在雨滴、雾时,对融合图像进行图像复原处理。
在S1004中,可以采用图像增强模型对融合图像进行处理。对融合图像进行处理的具体实现方法可以参见图2对应的实施例中的S102中对第一图像进行处理的相关描述,此处不赘述。
S1005、将每个所述增强图像输入质量评价模型进行处理,得到每个所述增强图像对应的图像质量评价信息。
S1005的具体实现方法参见图2对应的实施例中S103的相关描述,此处不赘述。
S1006、根据每个所述增强图像对应的图像质量评价信息,从所有的所述增强图像中确定图像质量最好的目标图像。
具体实现方式参见图12对应的实施例中的S504的相关描述,此处不赘述。其中,目标图像是可以给用户查看的图像,目标图像的图像格式可以是RGB图像。
S1007、输出图像质量最好的目标图像。
示例性的,请一并参见图23,图23是本申请实施例提供的一种处理多帧RAW图像的方法的示意图。手机在S1001中获取到N帧RAW图像,并将其分成2组。可以将奇数帧归为一组,偶数帧归为一组。
手机对第一组RAW图像进行图像融合处理,得到一张融合图像1;并对融合图像1进行处理,得到增强图像1。手机对第二组RAW图像进行图像融合处理,得到一张融合图像2;并对融合图像2进行处理,得到增强图像2。
手机将增强图像1以及增强图像2输入质量评价模型进行处理,得到增强图像1的图像质量评价信息以及增强图像2的图像质量评价信息。根据增强图像1的图像质量评价信息以及增强图像2的图像质量评价信息,从增强图像1和增强图像2中确定图像质量最好的目标图像。其中,图像质量评价信息为图像质量分数,手机将增强图像1的图像质量分数与增强图像2的图像质量分数进行比较,当增强图像1的图像质量分数大于增强图像2的图像质量分数时,目标图像为增强图像1,输出增强图像1;当增强图像1的图像质量分数小于增强图像2的图像质量分数时,目标图像为增强图像2,输出增强图像2;当增强图像1的图像质量分数等于增强图像2的图像质量分数时,增强图像1和增强图像2的图像质量相同,增强图像1和增强图像2均为目标图像,从增强图像1和增强图像2中选择任一图像输出。
可以理解的是,如图24所示,在另一实施例中,也可以将每组RAW图像对应的融合图像以及增强图像输入质量评价模型进行处理,得到每个增强图像对应的图像质量评价信息,手机将增强图像1的图像质量分数与增强图像2的图像质量分数进行比较,当增强图像1的图像质量分数大于增强图像2的图像质量分数时,目标图像为增强图像1,输出增强图像1;当增强图像1的图像质量分数小于增强图像2的图像质量分数时,目标图像为增强图像2,输出增强图像2;当增强图像1的图像质量分数等于增强图像2的图像质量分数时,增强图像1和增强图像2的图像质量相同,增强图像1和增强图像2均为目标图像,从增强图像1和增强图像2中选择任一图像输出。
本实施例可以将RAW图像对应的融合图像作为参考图像,通过每组RAW图像对应的融合图像辅助评价该组RAW图像对应的增强图像的图像质量,可以提高增强图像的图像质量评价信息的准确度。
如图25所示,在一种实施例中,还可以将每组RAW图像对应的融合图像以及增强图像输入质量评价模型进行处理,得到每个融合图像对应的图像质量评价信息以及每个增强图像对应的图像质量评价信息,并根据所有的图像质量评价信息,从融合图像以及增强图像中确定图像质量最好的目标图像,并输出目标图像。目标图像可以是任一融合图像,也可以是任一增强图像。具体实现方法参见前文从第一图像以及第二图像中确定图像质量最好的目标图像的相关描述,此处不赘述。
本实施例中,可以将多帧RAW图像进行分组,并对分组后的RAW图像进行图像融合处理得到融合图像,并增强融合图像的图像质量得到增强图像,之后,评价增强图像的图像质量,或者评价融合图像的图像质量以及增强图像的图像质量,根据评价结果输出图像质量最好的目标图像,可以拍出图像质量较好的照片。目标图像可以是增强图像,或者融合图像。由于手机始终输出图像质量较好的图像,因此,手机中存储图像质量较差的图像的可能性较低,用户查看到图像质量较差的图像的可能性变小,可以提高用户视觉体验。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例应用于电子设备的图像处理方法,图26示出了本申请一实施例提供的图像处理装置的结构示意框图,为了便于说明,仅示出了与本申请实施例相关的部分。本实施例中,图像处理装置包括的各单元用于执行图2、图7、图8、图12、以及图17~图25对应的实施例中的各步骤,具体参见上文的相关描述,此处不赘述。图像处理装置1可以包括:
获取单元110,用于获取第一图像和N个第二图像,所述N个第二图像中的每一个第二图像是通过M个图像增强模型中的至少一个图像增强模型对所述第一图像进行处理后获得的;其中,N和M为大于零的整数,所述M个图像增强模型中的每个图像增强模型均不同,所述N个第二图像也存在不同;
图像质量评价单元120,用于将输入图像输入质量评价模型进行处理,获得图像质量评价信息,所述输入图像包括所述N个第二图像,或者包括所述第一图像以及所述N个第二图像;
图像输出单元130,用于根据所获得的所述图像质量评价信息输出目标图像,所述目标图像是所述第一图像和所述N个第二图像中的至少一个图像。
其中,一个图像增强模型对第一图像进程处理后,可以得到一个第二图像,也可以得到至少两个第二图像,此处不做限制。也就是说,M可以与N相等,M也可以大于N。
在一种可能的实现方式中,所述质量评价模型是基于多个训练样本训练得到,每个训练样本包括样本图像以及用户对所述样本图像的图像质量评价信息。
在一种可能的实现方式中,所述目标图像包括根据所获得的所述图像质量评价信息和评价规则确定的目标图像,所述评价规则是所述图像质量评价信息为预定数字,或,图像质量评价信息对应的分数大于或等于预定分值阈值。
在一种可能的实现方式中,图像质量评价信息可以为用于表示图像质量的数字或分数。
需要说明的是,图像质量评价信息还可以通过字母或文字来表示,此处不做限制。例如,图像质量评价信息可以是“0”或1“、“YES”或“NO”,“是”或“否”。
在一种可能的实现方式中,当所述图像质量评价信息为数字,且所述输入图像为N个第二图像,或者所述第一图像以及所述N个第二图像时,所述图像质量评价信息为对所述N个第二图像中每一个第二图像的图像质量评价信息;
相应的,所述图像输出单元130具体用于:
判断所述N个第二图像中是否存在图像质量评价信息为预定数字的目标第二图像;
若所述N个第二图像中存在图像质量评价信息为预定数字的目标第二图像,则确定所述图像质量评价信息为预定数字的目标第二图像为图像质量最好的图像,并输出所述图像质量评价信息为预定数字的目标第二图像。
其中,预定数字可以为“1”。
在一种可能的实现方式中,所述图像输出单元,在判断所述N个第二图像中是否存在图像质量评价信息为预定数字的目标第二图像之后,还用于:若所述N个第二图像中不存在图像质量评价信息为预定数字的目标第二图像,则确定所述第一图像为图像质量最好的图像,输出所述第一图像。
在一种可能的实现方式中,所述图像输出单元130还用于:
若所述N个第二图像中存在多个图像质量评价信息为预定数字的目标第二图像,则选择任一目标第二图像输出。
在一种可能的实现方式中,若所述图像质量评价信息为分数,且所述输入图像为N个第二图像,或者所述第一图像以及所述N个第二图像时,所述图像质量评价信息为对所述N个第二图像中每一个第二图像的图像质量评价信息;
相应的,所述图像输出单元130具体用于:
判断所述N个第二图像中是否存在分数大于预定分数阈值的目标第二图像;
若所述N个第二图像中存在分数大于预定分数阈值的目标第二图像,则确定所述分数最高的目标第二图像为图像质量最好的图像,并输出所述分数最高的目标第二图像。
在一种可能的实现方式中,所述图像输出单元130还用于,在判断所述N个第二图像中是否存在分数大于预定分数阈值的目标第二图像之后,若所述N个第二图像中不存在分数大于预定分数阈值的目标第二图像,则确定所述第一图像为图像质量最好的图像,输出所述第一图像。
在一种可能的实现方式中,所述所述图像输出单元130还用于:
若所述N个第二图像中不存在图像质量评价信息为预定数字的目标第二图像,或者所述N个第二图像中不存在分数大于预定分数阈值的目标第二图像,则获取新的图像增强模型,采用获取的所述新的图像增强模型对所述第一图像进行处理,获得新的第二图像,并将所述新的第二图像作为输入图像输入所述质量评价模型进行处理,获得新的图像质量评价信息;其中,所述新的图像增强模型为未对所述第一图像进行处理过的图像增强模型;
若确定所述新的图像质量评价信息为所述预定数字,或者所述分数大于所述预定分数阈值,则输出新的第二图像,否则返回执行获取新的图像增强模型步骤以及后续步骤,直到返回执行的次数达到预设的次数阈值,输出所述第一图像。
在一种可能的实现方式中,当所述图像质量评价信息为数字,且所述输入图像为第一图像和N个第二图像时,所述图像质量评价信息为对所述第一图像和N个第二图像中每一个第二图像的图像质量评价信息;
相应的,所述图像输出单元130具体用于:
判断所述第一图像和N个第二图像中是否存在图像质量评价信息为预定数字的图像;
若所述第一图像的图像质量评价信息为预定数字,且所述N个第二图像中存在至少一个图像质量评价信息为预定数字的目标第二图像,则从所述第一图像和所述目标第二图像中选择任一图像输出。
在一种可能的实现方式中,所述图像输出单元在判断所述第一图像和N个第二图像中是否存在图像质量评价信息为预定数字的目标第二图像之后,还用于:
若所述第一图像的图像质量评价信息不是预定数字,且所述N个第二图像中存在至少一个图像质量评价信息为预定数字的目标第二图像,则从所述目标第二图像中选择任一图像输出。
在的一种可能的实现方式中,所述图像输出单元130还用于:
若所述第一图像的图像质量评价信息不是预定数字,且所述N个第二图像中不存在图像质量评价信息为所述预定数字的目标第二图像,则输出所述第一图像。
在的一种可能的实现方式中,当所述图像质量评价信息为分数,且所述输入图像为第一图像和N个第二图像时,所述图像质量评价信息为对所述第一图像和N个第二图像中每一个第二图像的图像质量评价信息;
相应的,所述图像输出单元130还用于:
根据第一图像的分数和所述N个第二图像的分数,从所述第一图像和所述N个第二图像中,确定分数最高的图像为所述图像质量最好的图像,并输出所述分数最高的图像。
在第三方面的一种可能的实现方式中,获取单元包括:
RAW图像获取单元,用于获取多帧RAW图像;
图像融合单元,用于对所述多帧RAW图像进行图像融合处理,得到第一图像。
本实施例中,可以将RAW图像对应的融合图像作为参考图像,通过每组RAW图像对应的融合图像辅助评价该组RAW图像对应的增强图像的图像质量,可以提高增强图像的图像质量评价信息的准确度。
在一种可能的实现方式中,所述图像融合单元具体用于:
将所述多帧RAW图像划分为至少两组,对每组RAW图像进行图像融合处理得到至少两个第一图像。
在一种可能的实现方式中,当N=M=1,所述图像质量评价信息为所述第二图像的图像质量评价信息时,若所述图像质量评价信息为预定数字,或者所述图像质量评价信息对应的分数大于或等于预定分数阈值,则所述目标图像为所述第二图像;若所述图像质量评价信息不是预定数字,或者所述图像质量评价信息对应的分数小于预定分数阈值,则所述目标图像为所述第一图像;
当N=M=1,所述图像质量评价信息为针对所述第一图像和所述第二图像的图像质量评价信息,所述图像质量评价信息用于表示所述第二图像的图像质量是否比所述第一图像的图像质量好时,若所述图像质量评价信息为预定数字,则所述目标图像为所述第二图像;若所述图像质量评价信息不是预定数字,则所述目标图像为所述第一图像;
当N=M=1,所述图像质量评价信息包括所述第一图像和所述第二图像各自对应的图像质量评价信息时,若所述第一图像的图像质量评价信息为预定数字,且所述第二图像的图像质量评价信息为预定数字,则所述目标图像为所述第二图像和所述第一图像中的任一图像;若所述第一图像的图像质量评价信息不是预定数字,且所述第二图像的图像质量评价信息为预定数字,则所述目标图像为所述第二图像;若所述第一图像的图像质量评价信息为预定数字,且所述第二图像的图像质量评价信息不是预定数字,则所述目标图像为所述第一图像;或者
若所述第二图像的图像质量评价信息对应的分数大于所述第一图像的图像质量评价信息对应的分数,则所述目标图像为所述第二图像;若所述第二图像的图像质量评价信息对应的分数小于所述第一图像的图像质量评价信息对应的分数,则所述目标图像为所述第一图像;若所述第二图像的图像质量评价信息对应的分数等于所述第一图像的图像质量评价信息对应的分数,则所述目标图像为所述第二图像和所述第一图像中的任一图像;
当N=M≥2,所述图像质量评价信息为所述N个第二图像中每一个第二图像的第二图像的图像质量评价信息时,若所述N个第二图像中存在图像质量评价信息为预定数字的目标第二图像,则所述目标图像为至少一个所述目标第二图像;若所述N个第二图像中不存在图像质量评价信息为预定数字的目标第二图像,则所述目标图像为所述第一图像;或者,
若所述N个第二图像中存在图像质量评价信息对应的分数大于或等于预定分值阈值的目标第二图像,则所述目标图像为至少一个所述目标第二图像;若所述N个第二图像中不存在图像质量评价信息对应的分数大于或等于预定分值阈值的目标第二图像,则所述目标图像为所述第一图像;
当N=M≥2,所述图像质量评价信息为针对第一图像和所述N个第二图像中每一个第二图像的第二图像的图像质量评价信息时,所述目标图像为所述第一图像和所述N个第二图像中图像质量评价信息为预定数字的任一图像,或者,所述目标图像为所述第一图像和所述N个第二图像中图像质量评价信息对应的分数大于或等于预定分值阈值的任一图像,或者,所述目标图像为所述第一图像和所述N个第二图像中图像质量评价信息对应的分数最高的图像。
在本实施例中,图像处理装置可以是电子设备,例如手机,或者是电子设备中的芯片,或者是集成在电子设备中的功能模块。其中,该芯片或者该功能模块可以位于用户终端的控制中心(例如,控制台),控制用户终端实现本申请提供的图像处理方法。
需要说明的是,上述装置/单元之间的信息交互、执行过程等内容,由于与本申请的图像处理方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见前文的图像处理方法的实施例部分,此处不再赘述。
对应于上文实施例应用于电子设备的图像处理方法,图27示出了本申请另一实施例提供的图像处理装置的结构示意框图,为了便于说明,仅示出了与本申请实施例相关的部分。本实施例中,图像处理装置包括的各单元用于执行图9以及图10对应的实施例中的各步骤,具体参见上文的相关描述,此处不赘述。图像处理装置2可以包括:
获取单元210,用于获取第一图像;
第一评价单元220,用于将所述第一图像输入质量评价模型进行处理,得到第一图像质量评价信息;
图像处理单元230,用于当根据所述第一图像质量评价信息确定所述第一图像的图像质量符合要求时,将所述第一图像输入M个图像增强模型进行处理,得到N个第二图像,并显示或保存所述N个第二图像中的至少一个或多个;其中,N和M为正整数,所述M个图像增强模型中的每个图像增强模型均不同,所述N个第二图像也存在不同。
其中,电子设备在人像模式下、景色模式、室内模式、长焦模式(下面称为高倍变焦模式)等等下获取第一图像。第一图像可以是预览图像,也可以是拍摄的照片。
在一种可能的实现方式中,当根据所述第一图像质量评价信息确定所述第一图像的图像质量不符合要求时,显示或保存所述第一图像。
在一种可能的实现方式中,所述第一图像质量评价信息为数字或分数。
在一种可能的实现方式中,当所述第一图像质量评价信息为数字时,所述第一图像的图像质量符合要求是指所述第一图像质量评价信息为预定数字。
在一种可能的实现方式中,当所述第一图像质量评价信息为分数时,所述第一图像的图像质量符合要求是指所述第一图像的分数大于或等于预设阈值。
在一种可能的实现方式中,所述第一图像由电子设备在高倍变焦拍照模式下获取得到。
在一种可能的实现方式中,所述预设阈值为0.25,M和N均为1。
在一种可能的实现方式中,图像处理装置还包括:
第二评价单元,用于在图像处理单元230得到所述N个第二图像之后,将所述N个第二图像,或者所述第一图像以及所述N个第二图像作为输入图像输入所述质量评价模型进行处理待处理图像输入质量评价模型进行处理,得到第二图像质量评价信息;
输出单元,用于根据所述第二图像质量评价信息显示或保存目标图像,所述目标图像是所述第一图像和所述N个第二图像中的至少一个图像。
在一种可能的实现方式中,所述第二图像质量评价信息为数字或分数。
在一种可能的实现方式中,所述目标图像是所述第一图像和所述N个第二图像中,所述第二图像质量评价信息为预定数字的图像,或者所述第二图像质量评价信息对应的分数大于预定分数阈值的图像。
在本实施例中,图像处理装置可以是电子设备,例如手机,或者是电子设备中的芯片,或者是集成在电子设备中的功能模块。其中,该芯片或者该功能模块可以位于用户终端的控制中心(例如,控制台),控制用户终端实现本申请提供的图像处理方法。
需要说明的是,上述装置/单元之间的信息交互、执行过程等内容,由于与本申请的图像处理方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见前文的图像处理方法的实施例部分,此处不再赘述。
参见图28,图28为本申请一实施例提供的电子设备的结构示意图。如图28所示,该电子设备的28包括:至少一个处理器310(图28中仅示出一个)、存储器320存储在所述存储器320中并可在所述至少一个处理器310上运行的计算机程序321、以及显示设备330,显示设备330可以是触摸显示屏,所述处理器310执行所述计算机程序321时实现上述任意图像处理方法实施例中的各步骤。
电子设备3可包括,但不仅限于,处理器310、存储器320以及显示设备330。本领域技术人员可以理解,图28仅仅是电子设备3的举例,并不构成对电子设备3的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如还可以包括输入输出设备、网络接入设备、摄像头等。
所称处理器310可以是中央处理单元(Central Processing Unit,CPU),该处理器310还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器320在一些实施例中可以是电子设备3的内部存储单元,例如电子设备3的硬盘或内存。存储器320在另一些实施例中也可以是电子设备3的外部存储设备,例如电子设备3上的智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器320还可以既包括电子设备3的内部存储单元也包括外部存储设备。存储器320用于存储操作系统、应用程序、引导装载程序(Boot Loader)、数据以及其他程序等,例如所述计算机程序的程序代码等。所述存储器320还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的系统实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个图像处理方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可包括:能够将计算机程序代码携带到电子设备3的任何实体或装置、记录介质、计算机存储器、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random AccessMemory,RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (23)
1.一种图像处理方法,其特征在于,包括:
获取第一图像和N个第二图像,所述N个第二图像中的每一个第二图像是通过M个图像增强模型中的至少一个图像增强模型对所述第一图像进行处理后获得的;其中,N和M为大于零的整数,所述M个图像增强模型中的每个图像增强模型均不同,所述N个第二图像也存在不同;
将输入图像输入质量评价模型进行处理,获得图像质量评价信息,所述输入图像包括所述N个第二图像,或者包括所述第一图像以及所述N个第二图像;
根据所获得的所述图像质量评价信息输出目标图像,所述目标图像是所述第一图像和所述N个第二图像中的至少一个图像。
2.根据权利要求1所述的图像处理方法,其特征在于,其中,所述质量评价模型是基于多个训练样本训练得到,每个训练样本包括样本图像以及用户对所述样本图像的图像质量评价信息。
3.根据权利要求1或2所述的图像处理方法,其特征在于,所述目标图像包括:
根据所获得的所述图像质量评价信息和评价规则确定的目标图像,所述评价规则是图像质量评价信息为预定数字,或,图像质量评价信息对应的分数大于或等于预定分值阈值。
4.根据权利要求1-3任一项所述的图像处理方法,其特征在于,所述图像质量评价信息为数字或分数。
5.根据权利要求4所述的图像处理方法,其特征在于,当所述图像质量评价信息为数字,且所述输入图像为N个第二图像,或者所述第一图像以及所述N个第二图像时,所述图像质量评价信息为对所述N个第二图像中每一个第二图像的图像质量评价信息;
相应的,根据所获得的所述图像质量评价信息输出目标图像,包括:
判断所述N个第二图像中是否存在图像质量评价信息为预定数字的目标第二图像;
若所述N个第二图像中存在图像质量评价信息为预定数字的目标第二图像,则确定所述图像质量评价信息为预定数字的目标第二图像为图像质量最好的图像,并输出所述图像质量评价信息为预定数字的目标第二图像。
6.根据权利要求5所述的图像处理方法,其特征在于,在判断所述N个第二图像中是否存在图像质量评价信息为预定数字的目标第二图像之后,还包括:
若所述N个第二图像中不存在图像质量评价信息为预定数字的目标第二图像,则确定所述第一图像为图像质量最好的图像,输出所述第一图像。
7.根据权利要求5所述的图像处理方法,其特征在于,所述根据所获得的所述图像质量评价信息输出目标图像,还包括:
若所述N个第二图像中存在多个图像质量评价信息为预定数字的目标第二图像,则选择任一目标第二图像输出。
8.根据权利要求4所述的图像处理方法,其特征在于,若所述图像质量评价信息为分数,且所述输入图像为N个第二图像,或者所述第一图像以及所述N个第二图像时,所述图像质量评价信息为对所述N个第二图像中每一个第二图像的图像质量评价信息;
相应的,根据所获得的所述图像质量评价信息输出目标图像,包括:
判断所述N个第二图像中是否存在分数大于预定分数阈值的目标第二图像;
若所述N个第二图像中存在分数大于预定分数阈值的目标第二图像,则确定所述分数最高的目标第二图像为图像质量最好的图像,并输出所述分数最高的目标第二图像。
9.根据权利要求8所述的图像处理方法,其特征在于,在判断所述N个第二图像中是否存在分数大于预定分数阈值的目标第二图像之后,还包括:
若所述N个第二图像中不存在分数大于预定分数阈值的目标第二图像,则确定所述第一图像为图像质量最好的图像,输出所述第一图像。
10.根据权利要求4所述的图像处理方法,其特征在于,所述根据所获得的所述图像质量评价信息输出目标图像,包括:
若所述N个第二图像中不存在图像质量评价信息为预定数字的目标第二图像,或者所述N个第二图像中不存在分数大于预定分数阈值的目标第二图像,则获取新的图像增强模型,采用获取的所述新的图像增强模型对所述第一图像进行处理,获得新的第二图像,并将所述新的第二图像作为输入图像输入所述质量评价模型进行处理,获得新的图像质量评价信息;其中,所述新的图像增强模型为未对所述第一图像进行处理过的图像增强模型;
若确定所述新的图像质量评价信息为所述预定数字,或者所述分数大于所述预定分数阈值,则输出新的第二图像,否则返回执行获取新的图像增强模型步骤以及后续步骤,直到返回执行的次数达到预设的次数阈值,输出所述第一图像。
11.根据权利要求4所述的图像处理方法,其特征在于,当所述图像质量评价信息为数字,且所述输入图像为第一图像和N个第二图像时,所述图像质量评价信息为对所述第一图像和N个第二图像中每一个第二图像的图像质量评价信息;
相应的,根据所获得的所述图像质量评价信息输出目标图像,包括:
判断所述第一图像和N个第二图像中是否存在图像质量评价信息为预定数字的图像;
若所述第一图像的图像质量评价信息为预定数字,且所述N个第二图像中存在至少一个图像质量评价信息为预定数字的目标第二图像,则从所述第一图像和所述目标第二图像中选择任一图像输出。
12.根据权利要求11所述的图像处理方法,其特征在于,在判断所述第一图像和N个第二图像中是否存在图像质量评价信息为预定数字的目标第二图像之后,还包括:
若所述第一图像的图像质量评价信息不是预定数字,且所述N个第二图像中存在至少一个图像质量评价信息为预定数字的目标第二图像,则从所述目标第二图像中选择任一图像输出;或者,
若所述第一图像的图像质量评价信息不是预定数字,且所述N个第二图像中不存在图像质量评价信息为所述预定数字的目标第二图像,则输出所述第一图像。
13.根据权利要求4所述的图像处理方法,其特征在于,当所述图像质量评价信息为分数,且所述输入图像为第一图像和N个第二图像时,所述图像质量评价信息为对所述第一图像和N个第二图像中每一个第二图像的图像质量评价信息;
相应的,根据所获得的所述图像质量评价信息输出目标图像,包括:
根据第一图像的分数和所述N个第二图像的分数,从所述第一图像和所述N个第二图像中,确定分数最高的图像为所述图像质量最好的图像,并输出所述分数最高的图像。
14.根据权利要求1-2、5-13任一项所述的图像处理方法,其特征在于,所述获取第一图像包括:
获取多帧RAW图像;
对所述多帧RAW图像进行图像融合处理,得到第一图像。
15.根据权利要求14所述的图像处理方法,其特征在于,所述对所述多帧RAW图像进行图像融合处理,得到第一图像,包括:
将所述多帧RAW图像划分为至少两组,对每组RAW图像进行图像融合处理得到至少两个第一图像。
16.根据权利要求1所述的图像处理方法,其特征在于,
当N=M=1,所述图像质量评价信息为所述第二图像的图像质量评价信息时,若所述图像质量评价信息为预定数字,或者所述图像质量评价信息对应的分数大于或等于预定分数阈值,则所述目标图像为所述第二图像;若所述图像质量评价信息不是预定数字,或者所述图像质量评价信息对应的分数小于预定分数阈值,则所述目标图像为所述第一图像;
当N=M=1,所述图像质量评价信息为针对所述第一图像和所述第二图像的图像质量评价信息,所述图像质量评价信息用于表示所述第二图像的图像质量是否比所述第一图像的图像质量好时,若所述图像质量评价信息为预定数字,则所述目标图像为所述第二图像;若所述图像质量评价信息不是预定数字,则所述目标图像为所述第一图像;
当N=M=1,所述图像质量评价信息包括所述第一图像和所述第二图像各自对应的图像质量评价信息时,若所述第一图像的图像质量评价信息为预定数字,且所述第二图像的图像质量评价信息为预定数字,则所述目标图像为所述第二图像和所述第一图像中的任一图像;若所述第一图像的图像质量评价信息不是预定数字,且所述第二图像的图像质量评价信息为预定数字,则所述目标图像为所述第二图像;若所述第一图像的图像质量评价信息为预定数字,且所述第二图像的图像质量评价信息不是预定数字,则所述目标图像为所述第一图像;或者
若所述第二图像的图像质量评价信息对应的分数大于所述第一图像的图像质量评价信息对应的分数,则所述目标图像为所述第二图像;若所述第二图像的图像质量评价信息对应的分数小于所述第一图像的图像质量评价信息对应的分数,则所述目标图像为所述第一图像;若所述第二图像的图像质量评价信息对应的分数等于所述第一图像的图像质量评价信息对应的分数,则所述目标图像为所述第二图像和所述第一图像中的任一图像;
当N=M≥2,所述图像质量评价信息为所述N个第二图像中每一个第二图像的第二图像的图像质量评价信息时,若所述N个第二图像中存在图像质量评价信息为预定数字的目标第二图像,则所述目标图像为至少一个所述目标第二图像;若所述N个第二图像中不存在图像质量评价信息为预定数字的目标第二图像,则所述目标图像为所述第一图像;或者,
若所述N个第二图像中存在图像质量评价信息对应的分数大于或等于预定分值阈值的目标第二图像,则所述目标图像为至少一个所述目标第二图像;若所述N个第二图像中不存在图像质量评价信息对应的分数大于或等于预定分值阈值的目标第二图像,则所述目标图像为所述第一图像;
当N=M≥2,所述图像质量评价信息为针对第一图像和所述N个第二图像中每一个第二图像的第二图像的图像质量评价信息时,所述目标图像为所述第一图像和所述N个第二图像中图像质量评价信息为预定数字的任一图像,或者,所述目标图像为所述第一图像和所述N个第二图像中图像质量评价信息对应的分数大于或等于预定分值阈值的任一图像,或者,所述目标图像为所述第一图像和所述N个第二图像中图像质量评价信息对应的分数最高的图像。
17.一种图像处理方法,其特征在于,包括:
获取第一图像;
将所述第一图像输入质量评价模型进行处理,得到第一图像质量评价信息;
当根据所述第一图像质量评价信息确定所述第一图像的图像质量符合要求时,将所述第一图像输入M个图像增强模型进行处理,得到N个第二图像,并显示或保存所述N个第二图像中的一个或者多个;其中,N和M为正整数,所述M个图像增强模型中的每个图像增强模型均不同,所述N个第二图像也存在不同。
18.根据权利要求17所述的图像处理方法,其特征在于,当根据所述第一图像质量评价信息确定所述第一图像的图像质量不符合要求时,显示或保存所述第一图像;或者所述第一图像由电子设备在高倍变焦拍照模式下获取得到。
19.根据权利要求17或18所述的图像处理方法,其特征在于,所述第一图像质量评价信息为数字或分数,
当所述第一图像质量评价信息为数字时,所述第一图像的图像质量符合要求是指所述第一图像质量评价信息为预定数字;或者,
当所述第一图像质量评价信息为分数时,所述第一图像的图像质量符合要求是指所述第一图像的分数大于或等于预设阈值。
20.根据权利要求19所述的图像处理方法,其特征在于,所述预设阈值为0.25,M和N均为1。
21.根据权利要求17-18、20任一项所述的图像处理方法,其特征在于,所述得到N个第二图像之后,还包括:
将所述N个第二图像,或者所述第一图像以及所述N个第二图像作为输入图像输入所述质量评价模型进行处理待处理图像输入质量评价模型进行处理,得到第二图像质量评价信息;
根据所述第二图像质量评价信息输出目标图像,所述目标图像是所述第一图像和所述N个第二图像中的至少一个图像。
22.一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时使得所述电子设备执行如权利要求1至16任一项所述的图像处理方法,或如权利要求17至21任一项所述的图像处理方法。
23.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时使得电子设备执行如权利要求1至16任一项所述的图像处理方法,或如权利要求17至21任一项所述的图像处理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010179848.0A CN113395440A (zh) | 2020-03-13 | 2020-03-13 | 一种图像处理方法及电子设备 |
PCT/CN2021/080027 WO2021180131A1 (zh) | 2020-03-13 | 2021-03-10 | 一种图像处理方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010179848.0A CN113395440A (zh) | 2020-03-13 | 2020-03-13 | 一种图像处理方法及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113395440A true CN113395440A (zh) | 2021-09-14 |
Family
ID=77616279
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010179848.0A Pending CN113395440A (zh) | 2020-03-13 | 2020-03-13 | 一种图像处理方法及电子设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113395440A (zh) |
WO (1) | WO2021180131A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116029951A (zh) * | 2022-05-27 | 2023-04-28 | 荣耀终端有限公司 | 图像处理方法与电子设备 |
CN116684687A (zh) * | 2023-08-01 | 2023-09-01 | 蓝舰信息科技南京有限公司 | 基于数字孪生技术的增强可视化教学方法 |
CN116916151A (zh) * | 2023-09-12 | 2023-10-20 | 荣耀终端有限公司 | 拍摄方法、电子设备和存储介质 |
CN117333733A (zh) * | 2023-09-06 | 2024-01-02 | 中移数智科技有限公司 | 裂缝检测模型训练方法、装置、电子设备及存储介质 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113962965B (zh) * | 2021-10-26 | 2023-06-09 | 腾讯科技(深圳)有限公司 | 图像质量评价方法、装置、设备以及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101901482A (zh) * | 2009-05-31 | 2010-12-01 | 汉王科技股份有限公司 | 判断去雾增强图像质量效果的方法 |
CN109191382A (zh) * | 2018-10-18 | 2019-01-11 | 京东方科技集团股份有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
CN109934776A (zh) * | 2018-12-25 | 2019-06-25 | 北京奇艺世纪科技有限公司 | 模型生成方法、视频增强方法、装置及计算机可读存储介质 |
CN109949250A (zh) * | 2019-03-29 | 2019-06-28 | 北京奇艺世纪科技有限公司 | 一种图像处理方法及装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100772373B1 (ko) * | 2005-02-07 | 2007-11-01 | 삼성전자주식회사 | 복수개의 데이터 처리 장치를 이용한 데이터 처리 장치 및그 방법과, 이를 구현하기 위한 프로그램이 기록된 기록매체 |
CN110738611B (zh) * | 2019-09-20 | 2022-08-16 | 网宿科技股份有限公司 | 一种视频画质增强方法、系统及设备 |
-
2020
- 2020-03-13 CN CN202010179848.0A patent/CN113395440A/zh active Pending
-
2021
- 2021-03-10 WO PCT/CN2021/080027 patent/WO2021180131A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101901482A (zh) * | 2009-05-31 | 2010-12-01 | 汉王科技股份有限公司 | 判断去雾增强图像质量效果的方法 |
CN109191382A (zh) * | 2018-10-18 | 2019-01-11 | 京东方科技集团股份有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
CN109934776A (zh) * | 2018-12-25 | 2019-06-25 | 北京奇艺世纪科技有限公司 | 模型生成方法、视频增强方法、装置及计算机可读存储介质 |
CN109949250A (zh) * | 2019-03-29 | 2019-06-28 | 北京奇艺世纪科技有限公司 | 一种图像处理方法及装置 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116029951A (zh) * | 2022-05-27 | 2023-04-28 | 荣耀终端有限公司 | 图像处理方法与电子设备 |
CN116029951B (zh) * | 2022-05-27 | 2024-06-07 | 荣耀终端有限公司 | 图像处理方法与电子设备 |
CN116684687A (zh) * | 2023-08-01 | 2023-09-01 | 蓝舰信息科技南京有限公司 | 基于数字孪生技术的增强可视化教学方法 |
CN116684687B (zh) * | 2023-08-01 | 2023-10-24 | 蓝舰信息科技南京有限公司 | 基于数字孪生技术的增强可视化教学方法 |
CN117333733A (zh) * | 2023-09-06 | 2024-01-02 | 中移数智科技有限公司 | 裂缝检测模型训练方法、装置、电子设备及存储介质 |
CN117333733B (zh) * | 2023-09-06 | 2024-09-17 | 中移数智科技有限公司 | 裂缝检测模型训练方法、装置、电子设备及存储介质 |
CN116916151A (zh) * | 2023-09-12 | 2023-10-20 | 荣耀终端有限公司 | 拍摄方法、电子设备和存储介质 |
CN116916151B (zh) * | 2023-09-12 | 2023-12-08 | 荣耀终端有限公司 | 拍摄方法、电子设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2021180131A1 (zh) | 2021-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113395440A (zh) | 一种图像处理方法及电子设备 | |
CN111353948B (zh) | 一种图像降噪方法、装置及设备 | |
CN113992861B (zh) | 一种图像处理方法及图像处理装置 | |
CN105574866A (zh) | 一种实现图像处理的方法及装置 | |
CN105049718A (zh) | 一种图像处理方法及终端 | |
US20090161982A1 (en) | Restoring images | |
CN110324532B (zh) | 一种图像虚化方法、装置、存储介质及电子设备 | |
US20190253593A1 (en) | Photographing Method for Terminal and Terminal | |
CN111131688B (zh) | 一种图像处理方法、装置及移动终端 | |
CN108259770B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN107395991B (zh) | 图像合成方法、装置、计算机可读存储介质和计算机设备 | |
CN109040596B (zh) | 一种调整摄像头的方法、移动终端及存储介质 | |
CN112258404B (zh) | 图像处理方法、装置、电子设备和存储介质 | |
CN104486552A (zh) | 一种获取图像的方法及电子设备 | |
CN108805838B (zh) | 一种图像处理方法、移动终端及计算机可读存储介质 | |
CN109286758B (zh) | 一种高动态范围图像的生成方法、移动终端及存储介质 | |
CN111311482A (zh) | 背景虚化方法、装置、终端设备及存储介质 | |
CN109005367B (zh) | 一种高动态范围图像的生成方法、移动终端及存储介质 | |
JP2009500977A (ja) | ファインダー上に画像焦点情報を表示するための改善されたシステム及び方法 | |
CN112770042B (zh) | 图像处理方法及装置、计算机可读介质、无线通信终端 | |
US20220398704A1 (en) | Intelligent Portrait Photography Enhancement System | |
US20230033956A1 (en) | Estimating depth based on iris size | |
CN111724448A (zh) | 一种图像超分辨重建方法、装置和终端设备 | |
CN111311481A (zh) | 背景虚化方法、装置、终端设备及存储介质 | |
CN111127367A (zh) | 人脸图像处理的方法、装置及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210914 |
|
RJ01 | Rejection of invention patent application after publication |