CN108198130B - 图像处理方法、装置、存储介质及电子设备 - Google Patents
图像处理方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN108198130B CN108198130B CN201711461451.5A CN201711461451A CN108198130B CN 108198130 B CN108198130 B CN 108198130B CN 201711461451 A CN201711461451 A CN 201711461451A CN 108198130 B CN108198130 B CN 108198130B
- Authority
- CN
- China
- Prior art keywords
- image
- target
- images
- algorithm model
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 29
- 238000012545 processing Methods 0.000 title claims abstract description 27
- 238000012549 training Methods 0.000 claims description 27
- 238000000034 method Methods 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 3
- 210000001508 eye Anatomy 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 210000004709 eyebrow Anatomy 0.000 description 9
- 210000001331 nose Anatomy 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 230000004927 fusion Effects 0.000 description 6
- 210000005069 ears Anatomy 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 210000000214 mouth Anatomy 0.000 description 4
- 210000000697 sensory organ Anatomy 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000013508 migration Methods 0.000 description 3
- 230000005012 migration Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明实施例公开了一种图像处理方法、装置、存储介质及电子设备。该图像处理方法，通过获取多幅待处理的原始图像；基于目标算法模型从多幅原始图像中选取目标图像，该目标算法模型通过对历史图像及其对应的质量分数进行学习而得到；从剩余原始图像中确定质量分数满足预设条件的目标区域图像；根据目标区域图像对目标图像进行调整。该方案可从多幅原始图像中提取质量分数高的区域对目标图像进行调整，提升了目标图像的画质，同时还提升了原始图像的利用率。
Description
技术领域
本发明涉及电子设备技术领域，尤其涉及一种图像处理方法、装置、存储介质及电子设备。
背景技术
现有的电子设备一般具有拍照、摄影功能。随着智能电子设备和计算机视觉技术的高速发展，用户对于智能电子设备的摄像头的需求不仅仅局限在简单的拍照、摄影，而更多倾向于图像处理功能，如智能美颜、风格迁移等技术被越来越多的智能电子设备所普及。
发明内容
本发明实施例提供一种图像处理方法、装置、存储介质及电子设备，可以提升图像画质。
第一方面，本发明实施例提供一种图像处理方法，应用于电子设备，包括：
获取多幅待处理的原始图像；
基于目标算法模型从多幅原始图像中选取目标图像，所述目标算法模型通过对历史图像及其对应的质量分数进行学习而得到；
从剩余原始图像中确定质量分数满足预设条件的目标区域图像；
根据所述目标区域图像对所述目标图像进行调整。
第二方面，本发明实施例提供了一种图像处理装置，应用于电子设备，包括：
第一获取模块，用于获取多幅待处理的原始图像；
选取模块，用于基于目标算法模型从多幅原始图像中选取目标图像，所述目标算法模型通过对历史图像及其对应的质量分数进行学习而得到；
确定模块，用于从剩余原始图像中确定质量分数满足预设条件的目标区域图像；
调整模块，用于根据所述目标区域图像对所述目标图像进行调整。
第三方面，本发明实施例还提供了一种存储介质，所述存储介质中存储有多条指令，所述指令适于由处理器加载以执行上述的图像处理方法。
第四方面，本发明实施例还提供了一种电子设备，包括处理器、存储器，所述处理器与所述存储器电性连接，所述存储器用于存储指令和数据；处理器用于执行上述的图像处理方法。
本发明实施例公开了一种图像处理方法、装置、存储介质及电子设备。该图像处理方法，获取多幅待处理的原始图像；基于目标算法模型从多幅原始图像中选取目标图像，该目标算法模型通过对历史图像及其对应的质量分数进行学习而得到；从剩余原始图像中确定质量分数满足预设条件的目标区域图像；根据目标区域图像对目标图像进行调整。该方案可从多幅原始图像中提取质量分数高的区域对目标图像进行调整，提升了目标图像的拍摄质量，同时使得所拍摄的原始图像都得到了使用价值。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的电子设备实现深度学习的场景构架示意图。
图2是本发明实施例提供的图像处理方法的一种流程示意图。
图3是本发明实施例提供的图像处理方法的一种应用场景图。
图4是本发明实施例提供的图像处理方法的另一种应用场景图。
图5是本发明实施例提供的图像处理装置的另一种流程示意图。
图6是本发明实施例提供的图像处理装置的一种结构示意图。
图7是本发明实施例提供的图像处理装置的另一种结构示意图。
图8是本发明实施例提供的图像处理装置的又另一种结构示意图。
图9是本发明实施例提供的图像处理装置的再一种结构示意图。
图10是本发明实施例提供的电子设备的一种结构示意图。
图11是本发明实施例提供的电子设备的另一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种图像处理方法、装置、存储介质及电子设备。以下将分别进行详细说明。
请参阅图1，图1为本发明实施例提供的电子设备实现深度学习的场景示意图。
当用户通过电子设备中的图像处理功能对图像进行处理时，电子设备可记录处理过程中的输入输出数据。其中，电子设备中可以包括数据采集统计系统与带回馈调整的预测系统。电子设备可通过数据采集系统获取用户大量的图像分类结果数据，并作出相应的统计，并提取图像的图像特征，基于机器深度学习对所提取到的图像特征进行分析处理。在输入图像时，电子设备通过预测系统预测图像的分类结果。在用户做出最终选择行为后，所述预测系统根据用户行为的最终结果，反向回馈调整各权重项的权值。经过多次的迭代更正以后，使得所述预测系统的各个权重项的权值最终收敛，形成学习得到的数据库。
电子设备可以为移动终端，如手机、平板电脑等，也可以为传统的PC(PersonalComputer，个人电脑)等，本发明实施例对此不进行限定。
在一实施例中，提供一种图像处理方法，如图2所示，流程可以如下：
101、获取多幅待处理的原始图像。
其中，原始图像中包括有一个或多个人物图像，且至少存在一个可识别到的人脸图像。另外，该原始图像中还可进一步包括景物图像，如建筑物、动植物等。
在一些实施例中，该原始图像具体可以为电子设备通过摄像头采集的图像，如使用电子设备的连拍功能所获取的多幅原始图像(可参考图3所示的多张连拍图像)。该摄像头可以为数字摄像头，也可为模拟摄像头。数字摄像头可以将图像采集设备产生的模拟图像信号转换成数字信号，进而将其储存在计算机里。模拟摄像头捕捉到的图像信号必须经过特定的图像捕捉卡将模拟信号转换成数字模式，并加以压缩后才可以转换到计算机上运用。数字摄像头可以直接捕捉影像，然后通过串、并口或者USB接口传到计算机里。
本申请实施例所提供的图像处理方法，主要针对同一背景同一人物的拍摄场景，尤其是在使用电子设备的连拍功能所捕捉到人物在动作、姿态上差异较小的多幅图像的场景下。
102、基于目标算法模型从多幅原始图像中选取目标图像，该目标算法模型通过对历史图像及其对应的质量分数进行学习而得到。
其中，目标图像为多幅原始图像中质量分数最高的图像。本申请实施例中，质量分数具体可以是人工对该历史图像的打分数值，不同质量分数代表不同的图像品质。在一些实施例中，质量分数越大，对应的图像品质越好、越符合用户的审美。
在本申请实施例中，需要预先构建出合适的算法模型，如神经网络模型、卷积神经网络模型等。而构建算法模型的方式可以有多种，比如，首先可以采集大量的人物图像，并人工对所采集到的人物图像进行打分后标记，并将每一人物图像及其对应的打分作为训练样本，基于得到的训练样本对预设的算法模型进行训练，从而得到训练后合适的目标算法模型。
也即，在步骤“获取多幅待处理的原始图像”之前，还可以包括以下流程：
获取历史图像及其对应的质量分数；
根据历史图像及其对应的质量分数生成对应的训练样本；
基于训练样本对预设算法模型进行训练，得到训练后的目标算法模型。
在训练模型的过程中，对每一历史图像进行分析，提取图像特征(包括人物表情、神态，人物的轮廓角度，画面中背景与人物的位置关系，画面的清晰程度等，整体色调等)，对所提取到的多个图像特征进行深度学习，以作为图像质量分数的评判基准的样本图像特征。最终训练处一个目标算法模型，将该人物的测试图像作为输入信息输入至该目标算法模型后，可计算输出该幅测试图像的质量分数。
103、从剩余原始图像中确定质量分数满足预设条件的目标区域图像。
在一些实施例中，该目标区域图像为原始图像中质量分数满足某些条件的区域。剩余原始图像指上述多幅原始图像中除目标图像之外的其他原始图像。
在一些实施例中，可以对每一原始图像进行区域划分，再从中筛选出满足条件的区域图像。也即，步骤“从剩余原始图像中确定质量分数满足预设条件的目标区域图像”可以包括以下流程：
从剩余原始图像中确定质量分数满足预设条件的目标区域图像的步骤，包括：
按照人体结构对剩余原始图像进行区域划分，得到多个区域图像；
基于目标算法模型计算多个区域图像对应的质量分数；
根据质量分数从多个区域图像中选取满足预设条件的目标区域图像。
具体地，大体的人体结构可以划分为头部、颈部、躯干、手部、腿部等。进一步的，头部可以划分为脑部和脸部，脸部可以细分为五官：眉、眼、耳、鼻、口。实际应用中，可以根据用户需求选择结构的维度大小。
在一些实施例中，可针对人脸部分进行处理，按照眉、眼、耳、鼻、口这一层维度，对剩余原始图像进行区域划分，得到多个区域图像，比如可参考图4所示的脸部区域图像划分示意图，虚线所围成的最小区域为一个区域图像。然后，将各个区域图像作为输入信息，利用目标算法模型针对每一区域图像执行质量分数的计算，以获取多个区域图像各自对应的质量分数。最后，根据所计算出的质量分数，从多个区域图像中选取满足条件的目标区域图像。
在一些实施例中，步骤“根据质量分数从多个区域图像中选取满足预设条件的目标区域图像”可以包括以下流程：
将不同原始图像中相同人体结构所在的区域图像添加至同一集合内，得到多个图像集合；
从每一图像集合中确定质量分数最高的候选区域图像；
判断候选区域图像的质量分数，是否高于目标图像中相同结构所在区域图像的质量分数；
若是，则将候选区域图像作为满足预设条件的目标区域图像。
比如，仍旧以人脸图像为例，假设存在人脸图像A、人脸图像B以及人脸图像C，若图像A被划分为a1(左眼部分)、a2(右眼部分)、a3(嘴巴部分)、a4(鼻子部分)、a5(眉毛部分)，图像B被划分为b1(左眼部分)、b2(右眼部分)、b3(嘴巴部分)、b4(鼻子部分)、b5(眉毛部分)，图像C被划分为c1(左眼部分)、c2(右眼部分)、c3(嘴巴部分)、c4(鼻子部分)、c5(眉毛部分)。则，可将a1、b1、c1划分为一个图像集合，a2、b2、c2划分为一个图像集合、a3、b3、c3划分为一个图像集合、a4、b4、c4划分为一个图像集合、以及a5、b5、c5划分为一个图像集合。
然后从每一图像集合中选取质量分数最高的区域图像，如选定为a1、b2、c3、b4、a5，并作为候选区域图像。期间需要获取目标图像中相同结构所在区域图像的质量分数，也即将目标图像也划分为多个标准区域图像，分别获取各个标准区域图像对应的质量分数。最后，将每一候选区域图像与标准区域图像一一对应匹配，并进行质量分数的比较。将质量分数高于对应标准区域图像的质量分数的候选区域图像，确定为满足预设条件的目标区域图像。
在一些实施例中，进行区域划分时，需识别人体的各个结构，如识别出人脸的五官，诸如眼睛、嘴巴、鼻子、眉毛、耳朵等。然后，基于识别出的结构执行图像的区域划分。
104、根据目标区域图像对目标图像进行调整。
在一些实施例中，步骤“根据目标区域图像对目标图像进行调整”可以包括以下流程：
提取目标区域图像的图像特征；
根据图像特征获取对应的图像调整参数；
根据图像调整参数对目标图像进行调整。
在一些实施例中，可以提取目标区域的图像特征，如颜色特征、纹理特征、形状特征、空间关系特征。其中，颜色特征是一种全局特征，描述了图像或图像区域所对应的景物的表面性质。纹理特征也是一种全局特征，也描述了图像或图像区域所对应景物的表面性质。形状特征是一种局部特征，有两类表示方法，一类是轮廓特征，主要针对物体的外边界；另一类是区域特征，其关系到整个形状区域。空间关系特征，指图像中分割出来的多个目标之间的相互的空间位置或相对方向关系，这些关系也可分为连接/邻接关系、交叠/重叠关系和包含/包容关系等。
具体实施过程中，可利用傅立叶变换法、窗口傅立叶变换法、小波变换法、最小二乘法、边界方向直方图法、基于Tamura纹理特征的纹理特征提取等，提取人脸图像的图像特征。
然后，将所提取的图像特征与目标图像中对应的标准区域图像的图像特征进行比较，根据比较结果计算得到相应的图像调整参数。最后根据所得到的图像调整参数对目标图像进行调整，以将目标图像中相应的标准区域图像调整为与目标区域图像相同。
实际应用中，可以利用图像迁移技术将目标区域图像迁移到目标图像的相应位置，并保持原目标图像中的整体基调不变。通过图像的仿射变换将目标区域图像映射到目标图像中的相应标准区域图像位置，并采用相关算法保持目标图像中的色调、平滑程度等不变。在执行图像融合时，可通基于泊松融合技术，将目标区域图像与目标图像融合，以覆盖相应的标准区域图像。其中，泊松融合技术可以较好地消除目标人脸图像与目标画面的交界，使得画面更加自然且不突兀，实现无缝拼接。
由上可知，本发明实施例提供了一种图像处理方法，通过获取多幅待处理的原始图像；基于目标算法模型从多幅原始图像中选取目标图像，该目标算法模型通过对历史图像及其对应的质量分数进行学习而得到；从剩余原始图像中确定质量分数满足预设条件的目标区域图像；根据目标区域图像对目标图像进行调整。该方案可从多幅原始图像中提取质量分数高的区域对目标图像进行调整，提升了目标图像的画质，同时使得所有拍摄的图像都得到了使用价值，提升了原始图像的利用率。
在一实施例中，还提供另一种图像处理方法，如图5所示，流程可以如下：
201、获取历史图像及其对应的质量分数，并生成相应的训练样本。
其中，历史图像中包括有一个或多个人物图像，且至少存在一个可识别到的人脸图像。具体地，可以采集大量的人物图像，并人工对所采集到的人物图像进行打分后标记，将每一人物图像及其对应的打分作为训练样本。其中，该历史图像具体可以为电子设备通过摄像头采集的图像，如使用电子设备的连拍功能所获取的多幅图像，每张图像中的人物在动作、姿态上差异都较小。
202、基于训练样本对预设算法模型进行训练，得到训练后的目标算法模型。
在本申请实施例中，需要预先构建出合适的算法模型，如神经网络模型、卷积神经网络模型等。
在训练模型的过程中，对每一历史图像进行分析，提取图像特征(包括人物表情、神态，人物的轮廓角度，画面中背景与人物的位置关系，画面的清晰程度等，整体色调等)，对所提取到的多个图像特征进行深度学习，以作为图像质量分数的评判基准的样本图像特征。最终训练处一个目标算法模型，将该人物的测试图像作为输入信息输入至该目标算法模型后，可计算输出该幅测试图像的质量分数。
203、获取多幅待处理的原始图像。
其中，原始图像中包括有一个或多个人物图像，且至少存在一个可识别到的人脸图像。另外，该原始图像中还可进一步包括景物图像，如建筑物、动植物等。
在一些实施例中，该原始图像具体可以为电子设备通过摄像头采集的图像，如使用电子设备的连拍功能所获取的多幅原始图像。该摄像头可以为数字摄像头，也可为模拟摄像头。数字摄像头可以将图像采集设备产生的模拟图像信号转换成数字信号，进而将其储存在计算机里。模拟摄像头捕捉到的图像信号必须经过特定的图像捕捉卡将模拟信号转换成数字模式，并加以压缩后才可以转换到计算机上运用。数字摄像头可以直接捕捉影像，然后通过串、并口或者USB接口传到计算机里。
本申请实施例所提供的图像处理方法，主要针对同一背景同一人物的拍摄场景，尤其是在使用电子设备的连拍功能所捕捉到人物在动作、姿态上差异较小的多幅图像的场景下。
204、基于目标算法模型从多幅原始图像中选取目标图像。
具体地，将该多幅原始图像作为输入信息，经目标算法模型计算得到各自对应的质量分数。从多幅原始图像中筛选出质量分数最大的原始图像作为该目标图像。
205、按照人体结构对剩余原始图像进行区域划分，得到多个区域图像。
具体地，大体的人体结构可以划分为头部、颈部、躯干、手部、腿部等。进一步的，头部可以划分为脑部和脸部，脸部可以细分为五官：眉、眼、耳、鼻、口。实际应用中，可以根据用户需求选择结构的维度大小。
比如，可针对人脸部分进行处理，按照眉、眼、耳、鼻、口这一层维度，对剩余原始图像进行区域划分，得到多个区域图像。
在一些实施例中，进行区域划分时，需识别人体的各个结构，如识别出人脸的五官，诸如眼睛、嘴巴、鼻子、眉毛、耳朵等。然后，基于识别出的结构执行图像的区域划分。
206、基于目标算法模型计算多个区域图像对应的质量分数。
具体地，将上述各个区域图像作为输入信息，利用目标算法模型针对每一区域图像执行质量分数的计算，以获取多个区域图像各自对应的质量分数。207、根据质量分数从多个区域图像中选取满足预设条件的目标区域图像。
在一夕而实施例中，该目标区域图像为原始图像中质量分数满足某些条件的区域。
具体地，可以将不同原始图像中相同人体结构所在的区域图像添加至同一集合内，得到多个图像集合。然后从每一图像集合中确定质量分数最高的候选区域图像。期间需要获取目标图像中相同结构所在区域图像的质量分数，也即将目标图像也划分为多个标准区域图像，分别获取各个标准区域图像对应的质量分数。将每一候选区域图像与标准区域图像一一对应匹配，并进行质量分数的比较，判断候选区域图像的质量分数，是否高于目标图像中相同结构所在区域图像的质量分数。将质量分数高于目标图像中相同结构所在区域图像的质量分数的候选区域图像，作为满足预设条件的目标区域图像。
208、根据目标区域图像对目标图像进行调整。
在一些实施例中，可以提取目标区域图像的图像特征，如如颜色特征、纹理特征、形状特征、空间关系特征等。然后，将所提取的图像特征与目标图像中对应的标准区域图像的图像特征进行比较，根据比较结果计算得到相应的图像调整参数。最后根据所得到的图像调整参数对目标图像进行调整，以将目标图像中相应的标准区域图像调整为与目标区域图像相同。
实际应用中，可以利用图像迁移技术将目标区域图像迁移到目标图像的相应位置，并保持原目标图像中的整体基调不变。通过图像的仿射变换将目标区域图像映射到目标图像中的相应标准区域图像位置，并采用相关算法保持目标图像中的色调、平滑程度等不变。在执行图像融合时，可通基于泊松融合技术，将目标区域图像与目标图像融合，以覆盖相应的标准区域图像。其中，泊松融合技术可以较好地消除目标人脸图像与目标画面的交界，使得画面更加自然且不突兀，实现无缝拼接。
由上可知，本发明实施例提供的图像处理方法，预先构建并训练好计算图像质量分数的算法模型，然后基于该算法模型从多幅待处理的原始图像中选取质量分数最高的目标图像；从剩余原始图像中确定质量分数满足预设条件的目标区域图像，最后根据目标区域图像对目标图像进行调整。该方案可从多幅原始图像中提取质量分数高的区域对目标图像进行调整，提升了目标图像的画质，同时使得所有拍摄的图像都得到了使用价值，提升了原始图像的利用率。
在本发明又一实施例中，还提供一种图像处理装置，该图像处理装置可以软件或硬件的形式集成在电子设备中，该电子设备具体可以包括手机、平板电脑、笔记本电脑等设备。如图6所示，该图像处理装置30可以包括第一获取模块31、选取模块32、确定模块33、以及调整模块34，其中：
第一获取模块31，用于获取多幅待处理的原始图像；
选取模块32，用于基于目标算法模型从多幅原始图像中选取目标图像，该目标算法模型通过对历史图像及其对应的质量分数进行学习而得到；
确定模块33，用于从剩余原始图像中确定质量分数满足预设条件的目标区域图像；
调整模块34，用于根据该目标区域图像对该目标图像进行调整。
在一些实施例中，参考图7，确定模块32可以包括：
划分子模块331，用于按照人体结构对剩余原始图像进行区域划分，得到多个区域图像；
计算子模块332，用于基于该目标算法模型计算多个区域图像对应的质量分数；
选取子模块333，用于根据该质量分数从多个区域图像中选取满足预设条件的目标区域图像。
在一些实施例中，选取子模块333用于：
将不同原始图像中相同人体结构所在的区域图像添加至同一集合内，得到多个图像集合；
从每一图像集合中确定质量分数最高的候选区域图像；
判断该候选区域图像的质量分数，是否高于目标图像中相同结构所在区域图像的质量分数；
若是，则将该候选区域图像作为满足预设条件的目标区域图像。
在一些实施例中，参考图8，调整模块34可以包括：
提取子模块341，用于提取该目标区域图像的图像特征；
获取子模块342，用于根据该图像特征获取对应的图像调整参数；
调整子模块343，用于根据该图像调整参数对目标图像进行调整。
在一些实施例中，参考图9，图像处理装置30还可以包括:
第二获取模块35，用于在获取多幅待处理的原始图像之前，获取历史图像及其对应的质量分数；
生成模块36，用于根据该历史图像及其对应的质量分数生成对应的训练样本；
训练模块37，用于基于该训练样本对预设算法模型进行训练，得到训练后的目标算法模型。
由上可知，本发明实施例提供的图像处理装置，通过获取多幅待处理的原始图像；基于目标算法模型从多幅原始图像中选取目标图像，该目标算法模型通过对历史图像及其对应的质量分数进行学习而得到；从剩余原始图像中确定质量分数满足预设条件的目标区域图像；根据目标区域图像对目标图像进行调整。该方案可从多幅原始图像中提取质量分数高的区域对目标图像进行调整，提升了目标图像的画质，同时使得所有拍摄的图像都得到了使用价值，提升了原始图像的利用率。
在本发明又一实施例中还提供一种电子设备，该电子设备可以是智能手机、平板电脑等设备。如图10所示，电子设备400包括处理器401、存储器402。其中，处理器401与存储器402电性连接。
处理器401是电子设备400的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或加载存储在存储器402内的应用程序，以及调用存储在存储器402内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。
在本实施例中，电子设备400中的处理器401会按照如下的步骤，将一个或一个以上的应用程序的进程对应的指令加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能：
获取多幅待处理的原始图像；
基于目标算法模型从多幅原始图像中选取目标图像，该目标算法模型通过对历史图像及其对应的质量分数进行学习而得到；
从剩余原始图像中确定质量分数满足预设条件的目标区域图像；
根据该目标区域图像对该目标图像进行调整。
在一些实施例中，处理器401还用于执行以下步骤：
按照人体结构对剩余原始图像进行区域划分，得到多个区域图像；
基于该目标算法模型计算多个区域图像对应的质量分数；
根据该质量分数从多个区域图像中选取满足预设条件的目标区域图像。
在一些实施例中，处理器401还用于执行以下步骤：
将不同原始图像中相同人体结构所在的区域图像添加至同一集合内，得到多个图像集合；
从每一图像集合中确定质量分数最高的候选区域图像；
判断该候选区域图像的质量分数，是否高于目标图像中相同结构所在区域图像的质量分数；
若是，则将该候选区域图像作为满足预设条件的目标区域图像。
在一些实施例中，该姿态信息包括偏转角度和表情特征，处理器401还用于执行以下步骤：
提取该目标区域图像的图像特征；
根据该图像特征获取对应的图像调整参数；
根据该图像调整参数对目标图像进行调整。
在一些实施例中，在获取多幅待处理的原始图像之前，处理器401还可用于执行以下步骤：
获取历史图像及其对应的质量分数；
根据该历史图像及其对应的质量分数生成对应的训练样本；
基于该训练样本对预设算法模型进行训练，得到训练后的目标算法模型。
存储器402可用于存储应用程序和数据。存储器402存储的应用程序中包含有可在处理器中执行的指令。应用程序可以组成各种功能模块。处理器401通过运行存储在存储器402的应用程序，从而执行各种功能应用以及数据处理。
在一些实施例中，如图11所示，电子设备400还包括：显示屏403、控制电路404、射频电路405、输入单元406、音频电路407、传感器408以及电源409。其中，处理器401分别与显示屏403、控制电路404、射频电路405、输入单元406、音频电路407、传感器408以及电源409电性连接。
显示屏403可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口，这些图形用户接口可以由图像、文本、图标、视频和其任意组合来构成。其中，该显示屏403可以作为本发明实施例中的屏幕，用于显示信息。
控制电路404与显示屏403电性连接，用于控制显示屏403显示信息。
射频电路405用于收发射频信号，以通过无线通信与网络设备或其他电子设备建立无线通讯，与网络设备或其他电子设备之间收发信号。
输入单元406可用于接收输入的数字、字符信息或用户特征信息(例如指纹)，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。其中，输入单元406可以包括指纹识别模组。
音频电路407可通过扬声器、传声器提供用户与电子设备之间的音频接口。
传感器408用于采集外部环境信息。传感器408可以包括环境亮度传感器、加速度传感器、光传感器、运动传感器、以及其他传感器。
电源409用于给电子设备400的各个部件供电。在一些实施例中，电源409可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
摄像头410用于采集外界画面，可以使数字摄像头，也可以为模拟摄像头。在一些实施例中，摄像头410可将采集到的外界画面转换成数据发送给处理器401以执行图像处理操作。
尽管图11中未示出，电子设备400还可以包括蓝牙模块等，在此不再赘述。
由上可知，本发明实施例提供的电子设备，通过获取多幅待处理的原始图像；基于目标算法模型从多幅原始图像中选取目标图像，该目标算法模型通过对历史图像及其对应的质量分数进行学习而得到；从剩余原始图像中确定质量分数满足预设条件的目标区域图像；根据目标区域图像对目标图像进行调整。该方案可从多幅原始图像中提取质量分数高的区域对目标图像进行调整，提升了目标图像的画质，同时使得所有拍摄的图像都得到了使用价值，提升了原始图像的利用率。
本发明又一实施例中还提供一种存储介质，该存储介质中存储有多条指令，该指令适于由处理器加载以执行上述任一图像处理方法的步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，RandomAccess Memory)、磁盘或光盘等。
在描述本发明的概念的过程中使用了术语“一”和“所述”以及类似的词语(尤其是在所附的权利要求书中)，应该将这些术语解释为既涵盖单数又涵盖复数。此外，除非本文中另有说明，否则在本文中叙述数值范围时仅仅是通过快捷方法来指代属于相关范围的每个独立的值，而每个独立的值都并入本说明书中，就像这些值在本文中单独进行了陈述一样。另外，除非本文中另有指明或上下文有明确的相反提示，否则本文中所述的所有方法的步骤都可以按任何适当次序加以执行。本发明的改变并不限于描述的步骤顺序。除非另外主张，否则使用本文中所提供的任何以及所有实例或示例性语言(例如，“例如”)都仅仅为了更好地说明本发明的概念，而并非对本发明的概念的范围加以限制。在不脱离精神和范围的情况下，所属领域的技术人员将易于明白多种修改和适应。
以上对本发明实施例所提供的一种图像处理方法、装置、存储介质及电子设备进行了详细介绍，本文中应用程序了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用程序范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种图像处理方法，其特征在于，包括：
获取多幅待处理的原始图像；
基于目标算法模型从多幅原始图像中选取目标图像，所述目标算法模型通过对历史图像及其对应的质量分数进行学习而得到；
将不同原始图像中相同人体结构所在的区域图像添加至同一集合内，得到多个图像集合；
从每一图像集合中确定质量分数最高的候选区域图像；
判断所述候选区域图像的质量分数，是否高于目标图像中相同结构所在区域图像的质量分数；
若是，则将所述候选区域图像作为满足预设条件的目标区域图像；
根据所述目标区域图像对所述目标图像进行调整。
2.如权利要求1所述的图像处理方法，其特征在于，在将不同原始图像中相同人体结构所在的区域图像添加至同一集合内，得到多个图像集合之前，所述方法还包括：
按照人体结构对剩余原始图像进行区域划分，得到多个区域图像；
基于所述目标算法模型计算多个区域图像对应的质量分数。
3.如权利要求1或2所述的图像处理方法，其特征在于，所述根据所述目标区域图像对所述目标图像进行调整的步骤，包括：
提取所述目标区域图像的图像特征；
根据所述图像特征获取对应的图像调整参数；
根据所述图像调整参数对目标图像进行调整。
4.如权利要求1所述的图像处理方法，其特征在于，在获取多幅待处理的原始图像之前，所述方法还包括：
获取历史图像及其对应的质量分数；
根据所述历史图像及其对应的质量分数生成对应的训练样本；
基于所述训练样本对预设算法模型进行训练，得到训练后的目标算法模型。
5.一种图像处理装置，其特征在于，包括：
第一获取模块，用于获取多幅待处理的原始图像；
选取模块，用于基于目标算法模型从多幅原始图像中选取目标图像，所述目标算法模型通过对历史图像及其对应的质量分数进行学习而得到；
确定模块，用于将不同原始图像中相同人体结构所在的区域图像添加至同一集合内，得到多个图像集合，从每一图像集合中确定质量分数最高的候选区域图像，判断所述候选区域图像的质量分数，是否高于目标图像中相同结构所在区域图像的质量分数，若是，则将所述候选区域图像作为满足预设条件的目标区域图像；
调整模块，用于根据所述目标区域图像对所述目标图像进行调整。
6.如权利要求5所述的图像处理装置，其特征在于，所述确定模块包括：
划分子模块，用于按照人体结构对剩余原始图像进行区域划分，得到多个区域图像；
计算子模块，用于基于所述目标算法模型计算多个区域图像对应的质量分数。
7.如权利要求5或6所述的图像处理装置，其特征在于，所述调整模块包括：
提取子模块，用于提取所述目标区域图像的图像特征；
获取子模块，用于根据所述图像特征获取对应的图像调整参数；
调整子模块，用于根据所述图像调整参数对目标图像进行调整。
8.如权利要求5所述的图像处理装置，其特征在于，所述装置还包括:
第二获取模块，用于在获取多幅待处理的原始图像之前，获取历史图像及其对应的质量分数；
生成模块，用于根据所述历史图像及其对应的质量分数生成对应的训练样本；
训练模块，用于基于所述训练样本对预设算法模型进行训练，得到训练后的目标算法模型。
9.一种存储介质，其特征在于，所述存储介质中存储有多条指令，所述指令适于由处理器加载以执行如权利要求1-4中任一项所述的图像处理方法。
10.一种电子设备，其特征在于，包括处理器和存储器，所述处理器与所述存储器电性连接，所述存储器用于存储指令和数据；所述处理器用于执行如权利要求1-4中任一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711461451.5A CN108198130B (zh) | 2017-12-28 | 2017-12-28 | 图像处理方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711461451.5A CN108198130B (zh) | 2017-12-28 | 2017-12-28 | 图像处理方法、装置、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108198130A CN108198130A (zh) | 2018-06-22 |
| CN108198130B true CN108198130B (zh) | 2021-09-28 |
Family
ID=62585707
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711461451.5A Active CN108198130B (zh) | 2017-12-28 | 2017-12-28 | 图像处理方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108198130B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110738715B (zh) * | 2018-07-19 | 2021-07-09 | 北京大学 | 一种基于样例的动态文本特效的自动迁移方法 |
| CN109544503B (zh) * | 2018-10-15 | 2020-12-01 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN110046596B (zh) * | 2019-04-23 | 2021-06-15 | 王雪燕 | 一种图像模块化处理及多图像模块自定义组合的方法、移动终端与可读存储介质 |
| CN110766611A (zh) * | 2019-10-31 | 2020-02-07 | 北京沃东天骏信息技术有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN111340140A (zh) * | 2020-03-30 | 2020-06-26 | 北京金山云网络技术有限公司 | 图像数据集的获取方法、装置、电子设备及存储介质 |
| CN111462069B (zh) * | 2020-03-30 | 2023-09-01 | 北京金山云网络技术有限公司 | 目标对象检测模型训练方法、装置、电子设备及存储介质 |
| CN113808066A (zh) * | 2020-05-29 | 2021-12-17 | Oppo广东移动通信有限公司 | 图像选取方法、装置、存储介质及电子设备 |
| CN112351195B (zh) * | 2020-09-22 | 2022-09-30 | 北京迈格威科技有限公司 | 图像处理方法、装置和电子系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105528757A (zh) * | 2015-12-08 | 2016-04-27 | 华南理工大学 | 一种基于内容的图像美学质量提升方法 |
| CN105528786A (zh) * | 2015-12-04 | 2016-04-27 | 小米科技有限责任公司 | 图像处理方法及装置 |
| EP3109795A1 (en) * | 2015-06-23 | 2016-12-28 | Fujitsu Limited | Detection method and system |
| CN106548184A (zh) * | 2016-11-07 | 2017-03-29 | 乐视控股（北京）有限公司 | 一种调整光照平衡的方法和装置 |
| CN106599817A (zh) * | 2016-12-07 | 2017-04-26 | 腾讯科技（深圳）有限公司 | 一种人脸替换方法及装置 |
| CN107273510A (zh) * | 2017-06-20 | 2017-10-20 | 广东欧珀移动通信有限公司 | 照片推荐方法及相关产品 |
-
2017
- 2017-12-28 CN CN201711461451.5A patent/CN108198130B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3109795A1 (en) * | 2015-06-23 | 2016-12-28 | Fujitsu Limited | Detection method and system |
| CN105528786A (zh) * | 2015-12-04 | 2016-04-27 | 小米科技有限责任公司 | 图像处理方法及装置 |
| CN105528757A (zh) * | 2015-12-08 | 2016-04-27 | 华南理工大学 | 一种基于内容的图像美学质量提升方法 |
| CN106548184A (zh) * | 2016-11-07 | 2017-03-29 | 乐视控股（北京）有限公司 | 一种调整光照平衡的方法和装置 |
| CN106599817A (zh) * | 2016-12-07 | 2017-04-26 | 腾讯科技（深圳）有限公司 | 一种人脸替换方法及装置 |
| CN107273510A (zh) * | 2017-06-20 | 2017-10-20 | 广东欧珀移动通信有限公司 | 照片推荐方法及相关产品 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108198130A (zh) | 2018-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108198130B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN108229369B (zh) | 图像拍摄方法、装置、存储介质及电子设备 | |
| WO2019128507A1 (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| WO2019128508A1 (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN107358241B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| JP6636154B2 (ja) | 顔画像処理方法および装置、ならびに記憶媒体 | |
| US11386699B2 (en) | Image processing method, apparatus, storage medium, and electronic device | |
| JP7413400B2 (ja) | 肌質測定方法、肌質等級分類方法、肌質測定装置、電子機器及び記憶媒体 | |
| US11163978B2 (en) | Method and device for face image processing, storage medium, and electronic device | |
| KR102174595B1 (ko) | 비제약형 매체에 있어서 얼굴을 식별하는 시스템 및 방법 | |
| CN108712603B (zh) | 一种图像处理方法及移动终端 | |
| CN108200334B (zh) | 图像拍摄方法、装置、存储介质及电子设备 | |
| CN108076290B (zh) | 一种图像处理方法及移动终端 | |
| CN108259758B (zh) | 图像处理方法、装置、存储介质和电子设备 | |
| CN111008935B (zh) | 一种人脸图像增强方法、装置、系统及存储介质 | |
| WO2021098338A1 (zh) | 一种模型训练的方法、媒体信息合成的方法及相关装置 | |
| CN111967319B (zh) | 基于红外和可见光的活体检测方法、装置、设备和存储介质 | |
| CN111028216A (zh) | 图像评分方法、装置、存储介质及电子设备 | |
| CN108701355A (zh) | Gpu优化和在线基于单高斯的皮肤似然估计 | |
| CN112489036A (zh) | 图像评价方法、图像评价装置、存储介质与电子设备 | |
| CN114241379A (zh) | 一种乘客异常行为识别方法、装置、设备及乘客监控系统 | |
| CN117036583A (zh) | 视频生成方法、装置、存储介质及计算机设备 | |
| CN109986553B (zh) | 一种主动交互的机器人、系统、方法及存储装置 | |
| CN114187166A (zh) | 图像处理方法、智能终端及存储介质 | |
| US10917721B1 (en) | Device and method of performing automatic audio focusing on multiple objects |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant after: OPPO Guangdong Mobile Communications Co.,Ltd. Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant before: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |