CN115423823A - 图像处理方法及其装置 - Google Patents
图像处理方法及其装置 Download PDFInfo
- Publication number
- CN115423823A CN115423823A CN202211017623.0A CN202211017623A CN115423823A CN 115423823 A CN115423823 A CN 115423823A CN 202211017623 A CN202211017623 A CN 202211017623A CN 115423823 A CN115423823 A CN 115423823A
- Authority
- CN
- China
- Prior art keywords
- image
- segmentation
- target
- enhanced
- fused
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 37
- 230000011218 segmentation Effects 0.000 claims description 125
- 238000001514 detection method Methods 0.000 claims description 43
- 238000000034 method Methods 0.000 claims description 27
- 230000004927 fusion Effects 0.000 claims description 18
- 230000002708 enhancing effect Effects 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000011731 head segmentation Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T5/77—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Abstract
本申请公开了一种图像处理方法及其装置,属于图像处理技术领域。该方法包括在第一图像中包括目标对象的情况下,从所述第一图像中分割出所述目标对象对应的目标区域,对所述目标区域进行增强处理,得到增强图像;将所述增强图像融合至所述第一图像中,得到融合后的第二图像。
Description
技术领域
本申请属于图像处理技术领域,具体涉及一种图像处理方法及其装置。
背景技术
为了满足人们的拍摄需求,移动终端如手机、智能手表等大多具有拍摄功能。受限于移动终端的成像器件的性能、拍摄环境的光线、以及拍摄时的运动、抖动等因素,拍摄的图片会存在模糊等质量问题。
深度学习可以联合图像的语义信息对画质进行增强,改善图像质量。然而,手机等移动终端的硬件计算能力有限,不能支持复杂的深度学习模型,而传统的增强算法对图片质量的提升非常有限,因此移动终端的图像增强技术仍然有待改进。
发明内容
本申请实施例的目的是提供一种图像处理方法及其装置,能够解决移动终端图像增强效果差的问题。
第一方面,本申请实施例提供了一种图像处理方法,该方法包括:在第一图像中包括目标对象的情况下,从所述第一图像中分割出所述目标对象对应的目标区域,对所述目标区域进行增强处理,得到增强图像;将所述增强图像融合至所述第一图像中,得到融合后的第二图像。
第二方面,本申请实施例提供了一种图像处理装置,该装置包括:第一增强模块,用于在第一图像中包括目标对象的情况下,从所述第一图像中分割出所述目标对象对应的目标区域,对所述目标区域进行增强处理,得到增强图像;第一融合模块,用于将所述增强图像融合至所述第一图像中,得到融合后的第二图像。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的图像处理方法。
第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的图像处理方法。
第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的图像处理方法。
第六方面,本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如第一方面所述的图像处理方法。
在本申请实施例中,在第一图像中存在目标对象的情况下,从第一图像中分割出目标对象所在的目标区域,然后对目标区域进行增强处理。相比对第一图像整体进行增强处理,对第一图像中目标对象所在的局部进行增强处理,能够减小增强处理的图像尺寸,降低增强处理的复杂度,使得增强处理能适用于移动终端。并且,将增强后的增强图像融合至原始的第一图像中,恢复图像的原始尺寸,使得图像增强前后尺寸保持不变,目标更加清晰,能够提高移动终端的图片质量。
附图说明
图1是本申请实施例提供的图像处理方法的流程图之一;
图2是本申请实施例提供的图像处理方法中图像的示意图之一;
图3是本申请实施例提供的图像处理方法中图像的示意图之二;
图4是本申请实施例提供的图像处理方法中图像的示意图之三;
图5是本申请实施例提供的图像处理方法中图像的示意图之四;
图6是本申请实施例提供的图像处理方法的流程图之二;
图7是本申请实施例提供的图像处理装置的结构示意图;
图8是本申请实施例提供的电子设备的结构示意图之一;
图9是本申请实施例提供的电子设备的结构示意图之二。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法、图像处理装置和电子设备进行详细地说明。
本申请实施例首先提供一种图像处理方法,该图像处理方法可应用于手机、平板电脑、笔记本电脑、可穿戴智能设备(如智能手表)、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、等移动终端中,本申请实施例对此不作任何限制。
图1示出了本申请实施例提供的图像处理方法的一种流程图。如图1所示,该图像处理方法包括以下步骤:
步骤10:在第一图像中包括目标对象的情况下,从第一图像中分割出目标对象对应的目标区域,对目标区域进行增强处理,得到增强图像。
在本申请实施例中,第一图像可以是移动终端实时拍摄的图像,也可以是移动终端上保存或者接收到的图像。示例性的,在移动终端开启拍摄功能时,可以将当前拍摄的图像作为第一图像,进而对当前拍摄的图像执行图1中的步骤。或者,移动终端可以根据用户的操作,将用户指定的图像作为第一图像,执行图1中的步骤。
目标对象指的是图像中用户感兴趣的对象,通常用户感兴趣的对象为前景,因此目标对象可以是第一图像的前景对象,例如人脸、车辆、景物等,本实施方式不限于此。通过目标检测算法如基于深度学习的目标检测模型等,可以确定第一图像中是否包括目标对象,以及目标对象所在的位置。
下面,以目标对象为人脸举例,说明本实施方式的处理过程。
先对第一图像进行人脸检测,得到第一图像的目标检测结果。示例性的,目标检测算法可以包括R-CNN算法、YOLO算法等,本实施方式不限于此。目标检测算法能够识别出第一图像中的人脸,输出人脸所在矩形框的坐标。目标检测结果中包括第一图像中人脸所在的矩形框的坐标。
根据第一图像的目标检测结果可以确定第一图像中是否包括人脸。如果第一图像中不存在人脸,则移动终端可以继续拍摄下一张图像,或者等待用户的下一次操作,从而对下一张图像进行检测。示例性的,在多人合影的场景中,移动终端拍摄得到的第一图像中可以包括多个人脸。如果第一图像中存在至少一个人脸时,移动终端可以根据第一图像的目标检测结果从第一图像中分割出目标区域。
目标区域是第一图像中目标对象如人脸所在的区域。根据目标检测结果中矩形框的坐标,可以从第一图像中提取该坐标对应的矩形区域,即得到目标区域。在第一图像中存在多个目标对象时,可以提取得到多个目标区域。
举例来说,如图2所示,图像201为第一图像。对图像201进行人脸检测后,可以得到对应的目标检测结果。该目标检测结果中可以包括图像201中人脸所在的区域202、区域203和区域204的坐标。根据图像201的目标检测结果中的坐标,可以从图像201中分割出区域202、区域203和区域204,即目标区域。
然后,利用图像增强算法对每个目标区域进行增强处理,得到处理后的增强图像。图像增强算法是通过预设的映射函数对目标区域进行映射变换的方法,可以包括人工智能(Artificial Intelligence,AI)模型,也可以包括其他算法,例如对目标区域添加特定的滤镜效果等。AI模型能够取得优于其他算法的增强效果,因此本实施方式中采用AI模型对目标区域进行增强处理。
为了便于表述,将针对人脸的AI模型记为第一模型。示例性的,采用生成式对抗网络(Generative Adversarial Networks,GAN)架构和Unet网络结构构建用于进行人脸增强的第一模型,然后利用深度学习技术对该第一模型进行训练,通过训练好的第一模型对上述目标区域进行增强处理。
具体的,预先获取用于训练模型的测试数据集,该测试数据集中包括多对数据对,每对数据对包含一张理想图像和退化后的图像。将该数据对中退化后的图像输入到构建好的第一模型中,通过训练,让第一模型输出的结果不断逼近对应的理想图像,直到输出结果与理想图像之间差异满足要求为止,训练完成。其中,理想图像指的是质量较好、分辨率较高的图像。利用分辨率较高的成像器件拍摄人脸,可得到理想图像。然后对理想图像进行退化处理,得到处理后图像质量下降的退化图像。
此外,采用其他测试数据集训练得到的模型,可以对其他目标对象对应的目标区域进行增强。例如,采用包括车辆的理想图像和退化图像,对上述第一模型进行训练,训练后的第一模型可以对第一图像中车辆区域进行增强。
Unet网络也称U型网络,是一种轻量级的网络结构,能够在移动终端应用。GAN架构是一种生成式模型,能够提高图像的分辨率,生成更加清晰、真实的图像。可选的,第一模型也可以采用其他网络结构,例如深度可分离卷积网络等,本实施方式不限于此。
将每个目标对象对应的目标区域输入到训练好的第一模型中,第一模型可以对目标区域进行增强处理,输出对应的增强图像。增强后的图像与原始的目标区域相比,图像质量更好,更加清晰。目标区域的尺寸小于第一图像,并且第一图像中包含的目标对象越多,每个目标对象对应的目标区域的尺寸则越小。采用增强处理算法对较小尺寸的目标区域进行处理时,所需的计算量较少,对计算能力的要求较低,可适应于计算能力较低的移动终端。
步骤20:将增强图像与第一图像进行融合,得到融合后的第二图像。
需要说明的是,增强图像与目标区域的尺寸相同,将第一图像中的目标区域替换为对应的增强图像,可以将增强图像与第一图像融合,得到第二图像。与第一图像相比,第二图像中用户感兴趣的目标区域更加清晰,能够提高用户的视觉体验。
为了使得融合后的第二图像中增强图像与未进行增强处理的背景部分之间的过渡更加精确,融合效果更好,可以采用目标分割算法确定精确的目标对象的位置,进而提高融合的精确性。具体的,先对第一图像进行目标分割,得到第一分割图像,然后根据目标检测结果从第一分割图像中分割出每个目标区域对应的第二分割图像,利用该第二分割图像将增强图像与第一图像进行融合。
在本申请实施例中,目标分割指的是确定图像中每个像素的标签的过程,标签相同的像素具有共同的特性。目标分割可以包括前景分割、人像/人脸分割、肤色分割、头发分割等算法,本实施方式不限于此。举例来说,可采用前景分割对第一图像进行识别,得到第一图像中前景所在的区域,即第一分割图像。第一分割图像为二值图像,其中每个像素点的取值为0或1。该取值可以表征目标区域中每个像素点所属的特定标签。示例性的,在第一图像中可以存在两种标签,一种为前景对象,即人体,另一种则为背景。假设前景的标签为0,背景的标签为1,通过前景分割算法可以预测第一图像中每个像素点属于前景或背景的概率,进而确定每个像素点的标签。将该标签作为亮度(alpha,A)通道的值,得到alpha通道的图像,即第一分割图像。
如图3所示,图像301为第一图像进行前景分割后得到的第一分割图像。在多人合影的场景中,前景分割可以为人像分割算法。结合图2,对第一图像201进行人像分割后可以得到第一分割图像301,其中属于人体的像素点的值为0,属于背景的像素点的值为1。
然后,根据目标检测结果从第一分割图像中分割出每个目标区域对应的第二分割图像。目标检测结果中包括每个目标区域的坐标,按照该坐标从第一分割图像中划分出对应的矩形区域,即第二分割图像。如图4所示,第二分割图像可以为图像301中的子区域401、子区域402和子区域403。
从第一分割图像中划分出多个第二分割图像,可以得到目标对象对应的分割图像,进一步精确目标对象的位置,以便于对目标对象的增强图像进行融合。具体的,将第二分割图像中每个像素点的取值作为系数,按比例将增强图像和原始的第一图像进行融合。假设第二分割图像中属于前景的像素点值为0,属于背景的像素点的值为1。将第二分割图像中的alpha值作为原始图像的系数,将alpha值的反值,即1-alpha作为增强图像的系数,然后按系数融合原始图像和第二分割图像。例如,第二分割图像中像素点(x,y)处的alpha值为1,增强图像中相同像素点的值为(R1,G1,B1),第一图像中相同像素点处的值为(R2,G2,B2)则融合后的结果为:1×(R2,G2,B2)+(1-1)×(R1,G1,B1),即融合后该像素点的值与第一图像相同。也就是说,对于第二分割图像中alpha值为1的像素点,即背景像素点,融合后该点处的值为第一图像中对应的值,而对于alpha值为0的像素点,即前景像素点,融合后该点处的值为增强图像中对应的值。融合后的第二图像中即保留了增强后的目标对象,也保留未增强的背景,目标对象与背景各自具有统一的风格,避免增强溢出到背景,导致边界过于明显造成不好的视觉体验,能够保证第二图像的图像质量。
总的来说,根据第二分割图像先确定属于目标对象的前景像素点,和不属于目标对象的背景像素点,然后保留增强图像中的前景像素点和原始的第一图像中的背景像素点,由增强图像中的前景像素点和原始的第一图像中的背景像素点构成的图像为第二图像。通过目标分割算法可以将目标对象的位置精确到像素点,从而保留这些像素点增强后的效果,可以使得增强与未增强之间的边界更加精确。
在第一图像中存在多个目标对象时,为了避免目标分割漏检,在得到第一分割图像后,可以先验证第一分割图像是否漏检,在第一分割图像漏检的情况下,确定漏检区域,然后采用目标分割蒙版替换掉漏检区域对应的第二分割图像。
漏检指的是没有正确检测出目标对象,即前景的区域。例如,结合图4,原本子区域401中存在前景对象,如果目标分割算法得到的第一分割图像中子区域401中所有像素点均为1,则第一分割图像存在漏检。确定第一分割图像是否存在漏检的过程如下:
根据目标检测结果确定每个目标区域对应的第二分割图像中前景区域的占比是否小于第一预设值,如果前景区域的占比小于第一预设值,则该第二分割图像为漏检区域。前景区域的占比指的是前景像素点在第二分割图像中所有像素点所占的比例。第一预设值可以根据实际需求设置,例如0.5、0.4等等,本实施方式不以此为限。根据目标检测结果可以确定目标区域是存在目标对象的区域,如果在目标分割时,得到的该目标区域的分割图像(即第二分割图像)中没有前景对象,或者前景对象的占比较小,则可以确定目标分割对该区域的计算并不准确,即漏检。
如果第一分割图像中存在漏检的第二分割图像时,则采用预设的目标分割蒙版替换漏检的第二分割图像。在目标对象为人脸的情况下,目标分割蒙版可以包括边缘渐变的圆形、椭圆形等。如图5所示,图像501可以作为替换第二分割图像的目标分割蒙版。目标分割蒙版中形状的边缘处从0逐渐过渡到1,在进行融合时,该边缘处以一定的比例将增强图像和第一图像的像素值进行融合,能使得融合后第二图像中从增强区域到未增强区域的过渡更加平滑。例如,在目标分割蒙版中灰度值为0.5的一个边缘的像素点,融合的结果是:0.5×(R2,G2,B2)+0.5×(R1,G1,B1)。即,将增强图像与第一图像的平均值作为该点处融合后的值。其中,(R1,G1,B1)为增强图像中相同像素点的值,(R2,G2,B2)为第一图像中相同像素点处的值。
目标分割蒙版可以根据实际的目标对象来确定,例如,当目标对象为车辆时,目标分割蒙版可以为边缘渐变的矩形等,本实施方式对此不作特殊限定。
示例性的,为了避免漏检的问题,还可以在目标区域上进行目标分割。也就是说,从第一图像中裁剪出目标区域之后,对目标区域进行目标分割,得到对应分割图像。便于区分,将对目标区域进行目标分割后得到的分割图像可以记为第三分割图像。本实施方式中,目标分割可以为人脸分割、人头分割等,结合图2,对目标区域202采用人脸分割,得到的第三分割图像可以如图4中子区域401所示。第三分割图像可以与第二分割图像相同,都是目标对象对应的分割结果。利用该第三分割图像也可以将增强图像与第一图像进行融合。
示例性的,为了避免第三分割图像存在分割不准确的问题,也可以对第三分割图像进行验证。如果第三分割图像中前景所占的比例小于第一预设值,那么也可以采用预设的分割蒙版替换该第三分割图像,进一步保证分割的准确性。
在多人合影的场景下,直接对第一图像进行目标分割,得到的第一分割图像中包括多个人脸的分割结果,只需要进行一次目标分割,分割效率更高,能够减少分割的资源消耗。从第一图像中裁剪出每个人脸对应的目标区域之后,再对每个目标区域分别进行目标分割,可以提高分割的精确度,减少漏检的问题。
图6示出了本实施方式中图像处理方法的另一种流程图。参考图6,图像处理方法还可以包括如下:
步骤61:获取第一图像。例如,移动终端可以根据用户在相册中的选择操作获取用户选中的图像为第一图像。再例如,移动终端可以将相机当前拍摄的图像作为第一图像等。步骤62:对第一图像进行人脸检测与人像分割。人脸检测可以确定第一图像中人脸所在的区域,即目标区域的坐标。目标区域为矩形区域,人脸检测结果可以为该矩形区域的顶点的坐标,例如,该矩形区域的左上角与右下角的坐标。人像分割可以将第一图像中的像素点划分为前景像素点和背景像素点两类,前景像素点的值为1,背景像素点的值为0。将每个像素点的标签保存在alpha通道,可以得到一张包括每个像素点alpha值的图像,即人像分割结果。步骤63:根据人脸检测结果,从第一图像中裁剪出目标区域。步骤64:根据人像分割结果裁剪出目标区域对应的分割图像。步骤65:对漏检的分割图像进行调整。即,用目标分割蒙版替换漏检的分割图像。步骤66:对目标区域进行人脸增强。步骤67:根据分割图像将增强后的图像与第一图像进行融合,得到第二图像。
第二图像中人脸部分经过增强处理,比原始的第一图像中的人脸部分更加清晰,图像质量更高。并且,人脸部分与第一图像整体相比,尺寸较小,能够降低计算量,降低对移动终端计算能力的要求,使得图像增强能够适应于移动终端。
进一步的,本申请实施例还提供一种图像处理装置,可用于执行上述图像处理方法。下面,介绍本申请实施例提供的图像处理装置。
如图7所示,本申请实施例提供的图像处理装置70可以包括:第一增强模块71,用于在第一图像中包括目标对象的情况下,从第一图像中分割出目标对象对应的目标区域,对目标区域进行增强处理,得到增强图像;第一融合模块72,用于将增强图像与第一图像进行融合,得到融合后的第二图像。
在本实施例提供的图像处理装置70中,通过从第一图像中分割出目标对象所在的目标区域,然后对目标区域进行增强处理。相比对第一图像整体进行增强处理,对第一图像中目标对象所在的局部进行增强处理,能够减小增强处理的图像尺寸,降低增强处理的复杂度,使得增强处理能适用于移动终端。并且,将增强后的增强图像融合至原始的第一图像中,恢复图像的原始尺寸,使得图像增强前后尺寸保持不变,目标更加清晰,能够提高移动终端的图片质量。
示例性的实施方式中,上述第一融合模块72具体包括:第一分割模块,用于对第一图像进行目标分割,得到第一分割图像;第二分割模块,用于从第一分割图像中分割出每个目标区域对应的第二分割图像;第二融合模块,用于根据第二分割图像将增强图像与第一图像进行融合,得到融合后的第二图像。
示例性的实施方式中,该图像处理装置70还可以包括:第一确定模块,用于确定第一分割图像是否漏检,在第一分割图像漏检的情况下,确定漏检区域;第一替换模块,用于采用目标分割蒙版替换漏检区域对应的第二分割图像。
示例性的实施方式中,上述第一确定模块可用于:确定第二分割图像中前景区域的占比是否小于第一预设值,在第二分割图像中前景区域的占比小于第一预设值的情况下,确定第二分割图像为漏检区域。
示例性的实施方式中,上述第一融合模块72可以包括:第三分割模块,用于对目标区域进行目标分割,得到第三分割图像;第三融合模块,用于根据第三分割图像将增强图像与第一图像进行融合,得到融合后的第二图像。
本申请实施例中的图像处理装置可以是电子设备,也可以是电子设备中的部件,例如集成电路或芯片。该电子设备可以是终端,也可以为除终端之外的其他设备。示例性的,电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device,MID)、增强现实(augmented reality,AR)/虚拟现实(virtualreality,VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personalcomputer,UMPC)、上网本或者个人数字助理(personal digital assistant,PDA)等,还可以为服务器、网络附属存储器(Network Attached Storage,NAS)、个人计算机(personalcomputer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的图像处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
本申请实施例提供的图像处理装置能够实现图1至图6中的方法实施例实现的各个过程,为避免重复,这里不再赘述。
可选地,如图8所示,本申请实施例还提供一种电子设备800,包括处理器801和存储器802。存储器802上存储有可在所述处理器801上运行的程序或指令,该程序或指令被处理器801执行时实现上述图像处理方法实施例的各个步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图9为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备900包括但不限于:射频单元901、网络模块9102、音频输出单元903、输入单元904、传感器905、显示单元906、用户输入单元907、接口单元908、存储器909、以及处理器910等部件。
本领域技术人员可以理解,电子设备900还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器910逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图9中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
其中,处理器910用于:在第一图像中包括目标对象的情况下,从所述第一图像中分割出所述目标对象对应的目标区域,对所述目标区域进行增强处理,得到增强图像;将所述增强图像与所述第一图像进行融合,得到融合后的第二图像。
输入单元904可以包括图形处理器(Graphics Processing Unit,GPU)1041和麦克风9042,图形处理器9041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元906可包括显示面板9061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板9061。用户输入单元907包括触控面板9071以及其他输入设备9072中的至少一种。触控面板9071,也称为触摸屏。触控面板9071可包括触摸检测装置和触摸控制器两个部分。其他输入设备9072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
存储器909可用于存储软件程序以及各种数据。存储器909可主要包括存储程序或指令的第一存储区和存储数据的第二存储区,其中,第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外,存储器909可以包括易失性存储器或非易失性存储器,或者,存储器909可以包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DRRAM)。本申请实施例中的存储器909包括但不限于这些和任意其它适合类型的存储器。
处理器910可包括一个或多个处理单元;可选的,处理器910集成应用处理器和调制解调处理器,其中,应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作,调制解调处理器主要处理无线通信信号,如基带处理器。可以理解的是,上述调制解调处理器也可以不集成到处理器910中。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
Claims (10)
1.一种图像处理方法,其特征在于,包括:
在第一图像中包括目标对象的情况下,从所述第一图像中分割出所述目标对象对应的目标区域,对所述目标区域进行增强处理,得到增强图像;
将所述增强图像与所述第一图像进行融合,得到融合后的第二图像。
2.根据权利要求1所述的图像处理方法,其特征在于,所述将所述增强图像与所述第一图像进行融合,得到融合后的第二图像,包括:
对所述第一图像进行目标分割,得到第一分割图像;
从所述第一分割图像中分割出每个所述目标区域对应的第二分割图像;
根据所述第二分割图像将所述增强图像与所述第一图像进行融合,得到融合后的第二图像。
3.根据权利要求2所述的图像处理方法,其特征在于,所述得到第一分割图像之后,还包括:
确定所述第一分割图像是否漏检,在所述第一分割图像漏检的情况下,确定漏检区域;
采用目标分割蒙版替换所述漏检区域对应的第二分割图像。
4.根据权利要求3所述的图像处理方法,其特征在于,所述确定所述分割图像是否漏检,包括:
确定所述第二分割图像中前景区域的占比是否小于第一预设值,在所述第二分割图像中前景区域的占比小于第一预设值的情况下,确定所述第二分割图像为漏检区域。
5.根据权利要求1所述的图像处理方法,其特征在于,所述将所述增强图像与所述第一图像进行融合,包括:
对所述目标区域进行目标分割,得到第三分割图像;
根据所述第三分割图像将所述增强图像与所述第一图像进行融合,得到融合后的第二图像。
6.一种图像处理装置,其特征在于,包括:
第一增强模块,用于在第一图像中包括目标对象的情况下,从所述第一图像中分割出所述目标对象对应的目标区域,对所述目标区域进行增强处理,得到增强图像;
第一融合模块,用于将所述增强图像与所述第一图像进行融合,得到融合后的第二图像。
7.根据权利要求6所述的图像处理装置,其特征在于,所述第一融合模块包括:
第一分割模块,用于对所述第一图像进行目标分割,得到第一分割图像;
第二分割模块,用于从所述第一分割图像中分割出每个所述目标区域对应的第二分割图像;
第二融合模块,用于根据所述第二分割图像将所述增强图像与所述第一图像进行融合,得到融合后的第二图像。
8.根据权利要求7所述的图像处理装置,其特征在于,还包括:
第一确定模块,用于确定所述第一分割图像是否漏检,在所述第一分割图像漏检的情况下,确定漏检区域;
第一替换模块,用于采用目标分割蒙版替换所述漏检区域对应的第二分割图像。
9.根据权利要求8所述的图像处理装置,其特征在于,所述第一确定模块用于:确定所述第二分割图像中前景区域的占比是否小于第一预设值,在所述第二分割图像中前景区域的占比小于第一预设值的情况下,确定所述第二分割图像为漏检区域。
10.根据权利要求6所述的图像处理装置,其特征在于,所述第一融合模块包括:
第三分割模块,用于对所述目标区域进行目标分割,得到第三分割图像;
第三融合模块,用于根据所述第三分割图像将所述增强图像与所述第一图像进行融合,得到融合后的第二图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211017623.0A CN115423823A (zh) | 2022-08-23 | 2022-08-23 | 图像处理方法及其装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211017623.0A CN115423823A (zh) | 2022-08-23 | 2022-08-23 | 图像处理方法及其装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115423823A true CN115423823A (zh) | 2022-12-02 |
Family
ID=84197933
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211017623.0A Pending CN115423823A (zh) | 2022-08-23 | 2022-08-23 | 图像处理方法及其装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115423823A (zh) |
-
2022
- 2022-08-23 CN CN202211017623.0A patent/CN115423823A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110176027B (zh) | 视频目标跟踪方法、装置、设备及存储介质 | |
CN108401112B (zh) | 图像处理方法、装置、终端及存储介质 | |
CN111556336B (zh) | 一种多媒体文件处理方法、装置、终端设备及介质 | |
CN110062157B (zh) | 渲染图像的方法、装置、电子设备和计算机可读存储介质 | |
CN114096994A (zh) | 图像对齐方法及装置、电子设备、存储介质 | |
CN112532881A (zh) | 图像处理方法、装置和电子设备 | |
CN114390201A (zh) | 对焦方法及其装置 | |
CN115294055A (zh) | 图像处理方法、装置、电子设备和可读存储介质 | |
CN112906553B (zh) | 图像处理方法、装置、设备及介质 | |
CN110047126B (zh) | 渲染图像的方法、装置、电子设备和计算机可读存储介质 | |
CN115908120B (zh) | 图像处理方法和电子设备 | |
CN115115552B (zh) | 图像矫正模型训练及图像矫正方法、装置和计算机设备 | |
CN115049572A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
WO2022206679A1 (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
CN113393391B (zh) | 图像增强方法、图像增强装置、电子设备和存储介质 | |
CN115439386A (zh) | 图像融合方法、装置、电子设备和存储介质 | |
CN115660969A (zh) | 图像处理方法、模型训练方法、装置、设备和存储介质 | |
CN115423823A (zh) | 图像处理方法及其装置 | |
CN111080543B (zh) | 图像处理方法及装置、电子设备及计算机可读存储介质 | |
CN112887611A (zh) | 图像处理方法、装置、设备和存储介质 | |
CN112446848A (zh) | 图像处理方法、装置及电子设备 | |
CN113012085A (zh) | 图像处理方法和装置 | |
CN116320740A (zh) | 拍摄对焦方法、装置、电子设备和存储介质 | |
CN115514887A (zh) | 视频采集的控制方法、装置、计算机设备和存储介质 | |
CN115883986A (zh) | 图像处理方法及其装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |