CN110956592B - 图像处理方法、装置、电子设备和存储介质 - Google Patents

图像处理方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN110956592B
CN110956592B CN201911113803.7A CN201911113803A CN110956592B CN 110956592 B CN110956592 B CN 110956592B CN 201911113803 A CN201911113803 A CN 201911113803A CN 110956592 B CN110956592 B CN 110956592B
Authority
CN
China
Prior art keywords
fusion
result
image
mask
fusion result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911113803.7A
Other languages
English (en)
Other versions
CN110956592A (zh
Inventor
秦文煜
郑文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN201911113803.7A priority Critical patent/CN110956592B/zh
Publication of CN110956592A publication Critical patent/CN110956592A/zh
Application granted granted Critical
Publication of CN110956592B publication Critical patent/CN110956592B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/77—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本公开关于图像处理方法、装置、电子设备和存储介质，方法包括：按照p个降采样系数ni分别对原始图像S进行降采样，得到p个降采样图像si；从i＝1开始，确定降采样图像si的融合掩膜vi，通过滤波核ki对降采样图像si进行磨皮，得到图像磨皮结果bi，基于所述融合掩膜vi对融合结果b'i和图像磨皮结果bi+1进行融合，得到融合结果b'i+1，直至到i＝p‑1结束，得到融合结果b'p；基于融合掩膜vp对融合结果b'p和原始图像S进行融合，得到融合结果S'。根据本公开的实施例，由于融合结果包含的噪声在多次融合过程中得到了一定程度的覆盖，所以与原始图像融合时噪声较少，使得融合后的图像不会过度地体现原始图像中的内容，从而减少了美颜后图像中瑕疵的出现。

Description

图像处理方法、装置、电子设备和存储介质
技术领域
本公开涉及图像处理技术领域，尤其涉及图像处理方法、图像处理装置、电子设备和存储介质。
背景技术
在图像处理应用中，美颜已经成为一项必不可少技术，通过对图像进行美颜，可以使得图像中人物的皮肤更加光滑，瑕疵更少。
目前的美颜方法，首先对原始图像降采样，在降采样后的图像上进行滤波，以实现磨皮的效果，对于滤波后的图像，再升采样到与原始图像相同的分辨率后，与原始图像进行融合。可是按照目前的美颜方法处理图像，会导致强边缘区域的美颜效果较差，具体体现是强边缘区域中存在较多的瑕疵，皮肤光滑度较低，视觉效果就是强边缘区域相对其他区域较“脏”。
例如图1为原始图像，图2是按照目前的美颜方法对原始图像美颜后的效果，强边缘区域主要为镜框附近的区域，以图2标注的两个强边缘区域为例，其中的皮肤存在较多瑕疵，而且也不是非常光滑。
造成上述问题的原因在于，目前的美颜方法，需要保证面部器官、眼镜、头发的清晰度，因此在这些区域主要需要参考原始图像，而面部器官、眼镜、头发所在的区域正是强边缘区域，因此在将升采样后的图像与原始图像融合时，强边缘区域中的像素主要是参考原始图像中的像素进行设置。
并且融合过程所使用的mask(掩膜)，是针对降采样后的图像计算的，例如图3所示，针对图1中左侧眼部降采样后的图像计算的掩膜，图像上涂黑的区域表示这部分区域在融合时参考磨皮后的图像，图像上未涂黑的区域表示这部分区域在融合时参考原始图像，而融合还需要对降采样后的图像进行升采样，这就使得未涂黑的区域显著地增大了，例如图4所示，升采样后未涂黑的区域相对升采样前未涂黑的区域，面积显著地增大了，从而需要参考原始图像的像素数也就增多了。而原始图像中的像素并未经过美颜处理，所以并不足够光滑，并可能存在瑕疵，从而导致融合后的图像强边缘区域中存在较多的瑕疵，皮肤光滑度较低。
发明内容
本公开提供图像处理方法、图像处理装置、电子设备和存储介质，以至少解决相关技术中确定的环境光信息不包含环境光的颜色，照射方向等信息的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提出一种图像处理方法，包括：
按照p个降采样系数ni分别对原始图像S进行降采样，得到p个降采样图像si，其中，1≤i≤p-1，p≥2，ni<ni-1；
从i＝1开始，确定所述降采样图像si的融合掩膜vi，通过滤波核ki对所述降采样图像si进行磨皮，得到图像磨皮结果bi，基于所述融合掩膜vi对融合结果b'i和图像磨皮结果bi+1进行融合，得到融合结果b'i+1，直至到i＝p-1结束，得到融合结果b'p，其中，所述融合结果b'i为基于融合掩膜vi-1对融合结果b'i-1和图像磨皮结果bi进行融合得到的，b'1＝0；
基于融合掩膜vp对融合结果b'p和所述原始图像S进行融合，得到融合结果S'。
可选地，所述基于融合掩膜vi对融合结果b'i和图像磨皮结果bi+1进行融合，得到融合结果b'i+1包括：
根据公式b'i+1＝b'i*(1-vi)+bi+1*vi计算得到所述融合结果b'i+1。
可选地，所述基于融合掩膜vp对融合结果b'p和所述原始图像S进行融合，得到融合结果S'包括：
根据公式S'＝S*(1-vp)+b'p*vp计算得到所述融合结果S'。
可选地，在所述在基于融合掩膜vi对融合结果b'i和图像磨皮结果bi+1进行融合，得到融合结果b'i+1步骤之前，所述方法还包括：
通过所述滤波核ki对所述融合掩膜vi进行模糊，得到掩膜模糊结果vbi；
所述基于融合掩膜vi对融合结果b'i和图像磨皮结果bi+1进行融合，得到融合结果b'i+1包括：
基于所述掩膜模糊结果vbi对融合结果b'i和图像磨皮结果bi+1进行融合，得到融合结果b'i+1；以及
所述基于融合掩膜vp对融合结果b'p和所述原始图像S进行融合，得到融合结果S'包括：
基于掩膜模糊结果vbp对融合结果b'p和所述原始图像S进行融合，得到融合结果S'。
可选地，所述基于所述掩膜模糊结果vbi对融合结果b'i和图像磨皮结果bi+1进行融合，得到融合结果b'i+1包括：
根据公式b'i+1＝b'i*(1-vbi)+bi+1*vbi计算得到所述融合结果b'i+1。
可选地，所述基于掩膜模糊结果vbp对融合结果b'p和所述原始图像S进行融合，得到融合结果S'包括：
根据公式S'＝S*(1-vbp)+b'p*vbp计算得到所述融合结果S'。
可选地，所述降采样系数ni与所述滤波核ki反相关。
可选地，在通过滤波核ki对所述采样图像si进行磨皮之前，所述方法还包括：
根据滤波核ki-1以及所述滤波核ki-1与所述滤波核ki的预设关系确定所述滤波核ki，其中，所述预设关系为ki＝αki-1+β，α和β以及k1为预先设定的常数。
根据本公开实施例的第二方面，提出一种图像处理装置，包括：
采样模块，被配置为执行按照p个降采样系数ni分别对原始图像S进行降采样，得到p个降采样图像si，其中，1≤i≤p-1，p≥2，ni<ni-1；
融合模块，被配置为执行从i＝1开始，确定所述降采样图像si的融合掩膜vi，通过滤波核ki对所述降采样图像si进行磨皮，得到图像磨皮结果bi，基于所述融合掩膜vi对融合结果b'i和图像磨皮结果bi+1进行融合，得到融合结果b'i+1，直至到i＝p-1结束，得到融合结果b'p，其中，所述融合结果b'i为基于融合掩膜vi-1对融合结果b'i-1和图像磨皮结果bi进行融合得到的，b'1＝0；以及基于融合掩膜vp对融合结果b'p和所述原始图像S进行融合，得到融合结果S'。
可选地，所述融合模块，被配置为执行根据公式b'i+1＝b'i*(1-vi)+bi+1*vi计算得到所述融合结果b'i+1。
可选地，所述融合模块，被配置为执行根据公式S'＝S*(1-vp)+b'p*vp计算得到所述融合结果S'。
可选地，所述装置还包括：
模糊模块，被配置为执行，通过所述滤波核ki对所述融合掩膜vi进行模糊，得到掩膜模糊结果vbi；
其中，所述融合模块，被配置为执行基于所述掩膜模糊结果vbi对融合结果b'i和图像磨皮结果bi+1进行融合，得到融合结果b'i+1；以及基于掩膜模糊结果vbp对融合结果b'p和所述原始图像S进行融合，得到融合结果S'。
可选地，所述融合模块，被配置为执行根据公式b'i+1＝b'i*(1-vbi)+bi+1*vbi计算得到所述融合结果b'i+1。
可选地，所述融合模块，被配置为执行根据公式S'＝S*(1-vbp)+b'p*vbp计算得到所述融合结果S'。
可选地，所述降采样系数ni与所述滤波核ki反相关。
可选地，所述装置还包括：
滤波核确定模块，被配置为执行根据滤波核ki-1以及所述滤波核ki-1与所述滤波核ki的预设关系确定所述滤波核ki，其中，所述预设关系为ki＝αki-1+β，α和β以及k1为预先设定的常数。
根据本公开实施例的第三方面，提出一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如上述任一实施例所述的图像处理方法。
根据本公开实施例的第四方面，提出一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述任一实施例所述的图像处理方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，所述计算机程序产品被配置为执行上述任一实施例所述的图像处理方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
根据本公开的实施例，可以对原始图像进行多次降采样，从而得到具有不同分辨率的降采样图像，进而得到的多个图像磨皮结果和多个掩膜模糊结果，也是具有不同分辨率的，在此基础上按照迭代的方式，对前一次的融合结果和本次的图像磨皮结果进行融合，就实现了对磨皮后的不同分辨率的图像融合，而不同分辨率的图像在融合前需要进行上采样，由于分辨率不同，上采样的系数也是不同的，因此插入噪声的位置也是不同的，例如在某个分辨率的图像中对应噪声的像素，在另一个分辨率的图像中对应非噪声的像素，将两者融合可以在一定程度上覆盖噪声，使得该位置能够更准确地体现磨皮后的像素值。
进而再将融合结果与原始图像进行融合，由于融合结果包含的噪声已经在多次融合过程中得到了一定程度的覆盖，所以与原始图像融合时，由于噪声较少，噪声对应的像素也就较少，使得融合后的图像中，绝大部分像素可以准确地体现磨皮图像中和原始图像中的内容，而不会过度地体现原始图像中的内容，从而减少了美颜后图像中瑕疵的出现。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是一种原始图像的示意图。
图2是相关技术中对原始图像处理后的效果示意图。
图3是相关技术中掩膜的示意图。
图4是相关技术中上采样后掩膜的示意图。
图5是根据本公开的实施例示出的一种图像处理方法的示意流程图。
图6是根据本公开的实施例示出的另一种图像处理方法的示意流程图。
图7是根据本公开的实施例示出的一种确定图像磨皮结果以及掩膜模糊结果的示意流程图。
图8是根据本公开的实施例示出的一种对融合结果和图像磨皮结果进行融合的示意流程图。
图9是根据本公开的实施例示出的图像处理方法对图1所示的原始图像进行处理的效果示意图。
图10是根据本公开的实施例示出的又一种图像处理方法的示意流程图。
图11是根据本公开的实施例示出的又一种图像处理方法的示意流程图。
图12是根据本公开的实施例示出的又一种图像处理方法的示意流程图。
图13是根据本公开的实施例示出的图像处理装置所在设备的一种硬件结构图。
图14是根据本公开的实施例示出的一种图像处理装置的示意框图。
图15是根据本公开的实施例示出的另一种图像处理装置的示意框图。
图16是根据本公开的实施例示出的又一种图像处理装置的示意框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图5是根据本公开的实施例示出的一种图像处理方法的示意流程图。本实施例所示的图像处理方法可以适用于终端，也可以是适用于服务器，所述终端包括但不限于手机、平板电脑、可穿戴设备等电子设备，所述服务器可以是云端服务器。
如图5所示，本实施例提出的图像处理方法可以包括以下步骤：
在步骤S1中，按照p个降采样系数ni分别对原始图像S进行降采样，得到p个降采样图像si，其中，1≤i≤p-1，p≥2，ni<ni-1；
在步骤S2中，从i＝1开始，确定所述降采样图像si的融合掩膜vi，通过滤波核ki对所述降采样图像si进行磨皮，得到图像磨皮结果bi，基于所述融合掩膜vi对融合结果b'i和图像磨皮结果bi+1进行融合，得到融合结果b'i+1，直至到i＝p-1结束，得到融合结果b'p，其中，所述融合结果b'i为基于融合掩膜vi-1对融合结果b'i-1和图像磨皮结果bi进行融合得到的，b'1＝0；
在步骤S3中，基于融合掩膜vp对融合结果b'p和所述原始图像S进行融合，得到融合结果S'。
对原始图像S降采样得到降采样图像si后，可以确定降采样图像si的融合掩膜vi，其中，可以通过边缘检测、计算像素值方差等方式来确定降采样图像si的融合掩膜vi。融合掩膜vi可以理解为与降采样图像si相同分辨率的二值图像，每个像素上标记0或1，表示该像素的权值。
通过滤波核ki对降采样图像si进行磨皮，得到图像磨皮结果bi，从而实现对降采样图像si的磨皮。其中，滤波核可以理解为滤波窗口，而滤波方式包括但不限于双边滤波、导向滤波、均值滤波、高斯滤波等。
关于滤波核ki，可以是预先设定的，例如用户预先设定p个ki。也可以是自适应得到的，例如预先设置滤波核ki-1与滤波核ki的预设关系(以及k1)，那么当需要使用滤波核ki时，可以根据滤波核ki-1以及该预设关系计算ki，例如预设关系为ki＝αki-1+β，α和β为预先设定的常数，而在使用滤波核ki时，滤波核ki-1是已经确定的(例如根据该预设关系和ki-2确定的)，那么就可以根据该预设关系和滤波核ki-1计算ki，据此，可以自适应地计算ki，减少用户所需设置的内容。
在一个实施例中，通过滤波核ki对降采样图像si进行磨皮，得到图像磨皮结果bi，以及基于融合掩膜vi对融合结果b'i和图像磨皮结果bi+1进行融合，得到融合结果b'i+1，可以是一个迭代过程，具体可以从i＝1开始，执行上述过程，直到i＝p-1结束，可以得到融合结果b'p，而融合结果b'i则是基于融合掩膜vi-1对融合结果b'i-1和图像磨皮结果bi进行融合得到的。
在i＝1时，由于并不存在b'1，可以设定b'1＝0，然后确定融合掩膜v1和图像磨皮结果b1；在i＝2时，对于b2，可以基于融合掩膜v1对图像滤波结果b1和图像磨皮结果b2进行融合，得到融合结果b'2＝b1*(1-v1)+b2*v1；在i＝3时，而对于b3，可以基于融合掩膜v2对融合结果b'2和图像磨皮结果b3进行融合，得到融合结果b'3＝b'2*(1-v2)+b3*v2；按照b'i+1＝b'i*(1-vi)+bi+1*vi类推，直至计算到i＝p，对于bp，可以基于融合掩膜vp对融合结果b'p-1和图像磨皮结果bp行融合，得到融合结果b'p＝b'p-1*(1-v p-1)+b p*vp-1。
最后基于融合掩膜vp对融合结果b'p和所述原始图像S进行融合，得到融合结果S'＝S*(1-vp)+b'p*vp。
需要说明的是，本公开所述实施例中的融合操作，需要将图像的分辨率调整为相同的分辨率再融合，例如上述步骤中基于融合掩膜vi对融合结果b'i和图像磨皮结果bi+1进行融合，可以将融合结果b'i和图像磨皮结果bi+1调整为相同的分辨率再进行融合；例如上述步骤中基于融合掩膜vp对融合结果b'p和原始图像S进行融合，可以将融合结果b'p调整为原始图像S的分辨率后再与原始图像S进行融合。
在相关技术中，只对对原始图像进行一次降采样，并仅得到一个图像磨皮结果和融合掩膜，然后基于融合掩膜对图像磨皮结果和原始图像进行融合，由于融合之前需要对图像磨皮结果进行上采样，这就在图像磨皮结果中插入了很多不是非常精准的像素值，可以近似理解为噪声，而噪声并不能良好地反应图像磨皮结果中对应位置的像素值，因此在融合后，虽然对强边缘区域进行了磨皮，但是由于融合时强边缘区域的像素值主要依据原始图像中像素值来设置，导致噪声对应的像素过多地体现了原始图像中的内容，使得强边缘区域存在瑕疵。
根据本公开的实施例，可以对原始图像进行多次降采样，从而得到具有不同分辨率的降采样图像，进而得到的多个图像磨皮结果和多个融合掩膜，也是具有不同分辨率的，在此基础上按照迭代的方式，对前一次的融合结果和本次的图像磨皮结果进行融合，就实现了对磨皮后的不同分辨率的图像融合，而不同分辨率的图像在融合前需要进行上采样，由于分辨率不同，上采样的系数也是不同的，因此插入噪声的位置也是不同的，例如在某个分辨率的图像中对应噪声的像素，在另一个分辨率的图像中对应非噪声的像素，将两者融合可以在一定程度上覆盖噪声，使得该位置能够更准确地体现磨皮后的像素值。
进而再将融合结果与原始图像进行融合，由于融合结果包含的噪声已经在多次融合过程中得到了一定程度的覆盖，所以与原始图像融合时，由于噪声较少，噪声对应的像素也就较少，使得融合后的图像中，绝大部分像素可以准确地体现磨皮图像中和原始图像中的内容，而不会过度地体现原始图像中的内容，从而减少了美颜后图像中瑕疵的出现。
另外，由于ni<ni-1，降采样图像s i-1的分辨率小于降采样图像s i的分辨率，那么融合结果b'i的分辨率小于图像磨皮结果bi+1的分辨率，从而在将i较小的融合结果与i较大的图像磨皮结果融合时，都可以先对i较小的融合结果进行上采样，而不会进行下采样，以便电子设备按照相对固定的上采样趋势对融合结果进行上采样，直至与原始图像融合。
可选地，所述基于融合掩膜vi对融合结果b'i和图像磨皮结果bi+1进行融合，得到融合结果b'i+1包括：
根据公式b'i+1＝b'i*(1-vi)+bi+1*vi计算得到所述融合结果b'i+1。
在一个实施例中，对融合结果b'i和图像磨皮结果bi+1进行融合的方式，可以是通过vi对融合结果b'i和图像磨皮结果bi+1进行加权求和。而融合的方式并不限于本实施例中的公式，例如可以根据需要调整权值，将权值乘以设定系数。
可选地，所述基于融合掩膜vp对融合结果b'p和所述原始图像S进行融合，得到融合结果S'包括：
根据公式S'＝S*(1-vp)+b'p*vp计算得到所述融合结果S'。
在一个实施例中，对融合结果b'p和所述原始图像S进行融合的方式，可以是通过vp对融合结果b'p和所述原始图像S进行加权求和。而融合的方式并不限于本实施例中的公式，例如可以根据需要调整权值，将权值乘以设定系数。
图6是根据本公开的实施例示出的另一种图像处理方法的示意流程图。如图6所示，在所述在基于融合掩膜vi对融合结果b'i和图像磨皮结果bi+1进行融合，得到融合结果b'i+1步骤之前，所述方法还包括：
在步骤S4中，通过所述滤波核ki对所述融合掩膜vi进行模糊，得到掩膜模糊结果vbi；
所述基于融合掩膜vi对融合结果b'i和图像磨皮结果bi+1进行融合，得到融合结果b'i+1包括：
在步骤S21中，基于所述掩膜模糊结果vbi对融合结果b'i和图像磨皮结果bi+1进行融合，得到融合结果b'i+1；以及
所述基于融合掩膜vp对融合结果b'p和所述原始图像S进行融合，得到融合结果S'包括：
在步骤S31中，基于掩膜模糊结果vbp对融合结果b'p和所述原始图像S进行融合，得到融合结果S'。
在一个实施例中，对于融合掩膜vi，可以先通过滤波核ki对融合掩膜vi进行模糊，得到掩膜模糊结果vbi，从而可以对融合掩膜vi进行优化，得到的掩膜模糊结果vbi一方面可以体现融合掩膜vi本身的特点，另一方面在掩膜模糊结果vbi可以对应0至1之间的数值，相对于融合掩膜vi仅对应0和1两种数值，在后续对融合结果b'i和图像磨皮结果bi+1进行融合时，可以丰富融合过程中权值的数值，从而使得融合结果b'i+1的边界和非边界之间的过渡更加自然。
在得到掩膜模糊结果vbi后，可以通过滤波核ki对降采样图像si进行磨皮，得到图像磨皮结果bi，以及基于掩膜模糊结果vbi对融合结果b'i和图像磨皮结果bi+1进行融合，得到融合结果b'i+1，具体可以从i＝1开始，执行该过程，直到i＝p-1结束，可以得到融合结果b'p，而融合结果b'i则是基于掩膜模糊结果vbi-1对融合结果b'i-1和图像磨皮结果bi进行融合得到的。
图7是根据本公开的实施例示出的一种确定图像磨皮结果以及掩膜模糊结果的示意流程图。
在一个实施例中，如图7所示，可以按照p个降采样系数ni分别对原始图像S进行降采样，其中，p为大于1的整数，也即至少为2，每个采样系数可以不同，采样系数的具体值和采样系数的数量可以根据需要进行设置。
图8是根据本公开的实施例示出的一种对融合结果和图像磨皮结果进行融合的示意流程图。
例如图8所示，在i＝1时，由于并不存在b'1，那么计算出vb1和b1即可；在i＝2时，对于b2，可以基于掩膜模糊结果vb1对图像滤波结果b1和图像磨皮结果b2进行融合，得到融合结果b'2＝b1*(1-vb1)+b2*vb1；在i＝3时，而对于b3，可以基于掩膜模糊结果vb2对融合结果b'2和图像磨皮结果b3进行融合，得到融合结果b'3＝b'2*(1-vb2)+b3*vb2；按照b'i+1＝b'i*(1-vbi)+bi+1*vbi类推，直至计算到i＝p，对于bp，可以基于掩膜模糊结果vbp对融合结果b'p-1和图像磨皮结果bp行融合，得到融合结果b'p＝b'p-1*(1-vb p-1)+b p*vbp-1。
图9是根据本公开的实施例示出的图像处理方法对图1所示的原始图像进行处理的效果示意图。如图9所示，在强边缘区域，瑕疵相对图2较少，美颜效果更佳。
可选地，所述基于所述掩膜模糊结果vbi对融合结果b'i和图像磨皮结果bi+1进行融合，得到融合结果b'i+1包括：
根据公式b'i+1＝b'i*(1-vbi)+bi+1*vbi计算得到所述融合结果b'i+1。
在一个实施例中，对融合结果b'i和图像磨皮结果bi+1进行融合的方式，可以是通过vbi对融合结果b'i和图像磨皮结果bi+1进行加权求和。而融合的方式并不限于本实施例中的公式，例如可以根据需要调整权值，将权值乘以设定系数。
可选地，所述基于掩膜模糊结果vbp对融合结果b'p和所述原始图像S进行融合，得到融合结果S'包括：
根据公式S'＝S*(1-vbp)+b'p*vbp计算得到所述融合结果S'。
在一个实施例中，对融合结果b'p和所述原始图像S进行融合的方式，可以是通过vbp对融合结果b'p和所述原始图像S进行加权求和。而融合的方式并不限于本实施例中的公式，例如可以根据需要调整权值，将权值乘以设定系数。
可选地，所述降采样系数ni与所述滤波核ki反相关。
在一个实施例中，在对图像滤波时，虽然采用的滤波核越大，滤波效果越好，但是所采用的滤波核越大，滤波的时延也越长，而当图像分辨率较低时，这种时延并不明显，而在图像分辨率较大时，这种时延会急剧增加。
那么可以设置降采样系数ni与所述滤波核ki反相关，从而对于按照较大采样系数降采样后的图像，其分辨率较大，那么能够按照较小的滤波核滤波，以免造成过多时延，对于按照较小采样系数降采样后的图像，其分辨率较小，能够按照较大的滤波核滤波，以便在不造成过多时延的基础上，能够具有较高的滤波效果。
可选地，ni和ni-1的比值为常数，
在一个实施例中，还可以进一步设置ni和ni-1的比值为常数，据此，可以使得融合结果b'i的分辨率与图像磨皮结果bi+1的分辨率的比值为常数，那么后续在将i较小的融合结果与i较大的图像磨皮结果融合时，可以采用相同的上采样系数进行上采用，不必变换上采样系数，便于电子设备执行。
图10是根据本公开的实施例示出的又一种图像处理方法的示意流程图。如图9所示，在基于掩膜模糊结果vbp对融合结果b'p和所述原始图像S进行融合之前，所述方法还包括：
在步骤S5中，对融合结果b'p进行滤波。
在一个实施例中，由于融合结果b'p是基于多个不同分辨率的图像多次融合得到的，融合的边界可能存在明显的痕迹，那么可以对融合结果b'p进行滤波，以便消除融合的痕迹，进而保证后续与原始图像融合能够得到良好的融合结果。
其中，对融合结果b'p进行滤波所选用的滤波核可以根据需要设置，例如可以设置为3，也即通过3×3的窗口对融合结果b'p进行滤波。
图11是根据本公开的实施例示出的又一种图像处理方法的示意流程图。如图10所示，所述方法还包括：
在步骤S6中，对融合结果S'进行锐化处理。
在一个实施例中，由于融合结果b'p是基于磨皮后的图像融合得到的，由于与原始图像的差异性，其与原始图像融合的融合结果S'或多或少会存在轮廓清晰的问题，而通过对融合结果S'进行锐化处理，则可以增强融合结果S'的边缘及灰度跳变的部分，使得融合结果S'的轮廓变得清晰。
图12是根据本公开的实施例示出的又一种图像处理方法的示意流程图。如图11所示，在通过滤波核ki对所述采样图像si进行磨皮之前，所述方法还包括：
在步骤S7中，根据滤波核ki-1以及所述滤波核ki-1与所述滤波核ki的预设关系确定所述滤波核ki，其中，所述预设关系为ki＝αki-1+β，α和β以及k1为预先设定的常数。
在一个实施例中，可以自适应得到滤波核ki，例如预先设置滤波核ki-1与滤波核ki的预设关系(以及k1)，那么当需要使用滤波核ki时，可以根据滤波核ki-1以及该预设关系计算ki，例如预设关系为ki＝αki-1+β，α和β为预先设定的常数，而在使用滤波核ki时，滤波核ki-1是已经确定的(例如根据该预设关系和ki-2确定的)，那么就可以根据该预设关系和滤波核ki-1计算ki，据此，可以自适应地计算ki，减少用户所需设置的内容。
本公开实施例示出的图像处理装置的实施例可以应用在终端或服务器等电子设备上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图13所示，为根据本公开的实施例示出的图像处理装置所在设备的一种硬件结构图，除了图13所示的处理器、网络接口、内存以及非易失性存储器之外，实施例中装置所在的设备通常还可以包括其他硬件，如负责处理报文的转发芯片等等；从硬件结构上来讲该设备还可能是分布式的设备，可能包括多个接口卡，以便在硬件层面进行报文处理的扩展。
与前述图像处理方法的实施例相对应地，本公开还提出了图像处理装置的实施例。
图14是根据本公开的实施例示出的一种图像处理装置的示意框图。本实施例所示的图像处理装置可以适用于终端，也可以是适用于服务器，所述终端包括但不限于手机、平板电脑、可穿戴设备等电子设备，所述服务器可以是云端服务器。
如图14所示，本实施例提出的图像处理装置可以包括：
采样模块1，被配置为执行按照p个降采样系数ni分别对原始图像S进行降采样，得到p个降采样图像si，其中，1≤i≤p-1，p≥2，ni<ni-1；
融合模块2，被配置为执行从i＝1开始，确定所述降采样图像si的融合掩膜vi，通过滤波核ki对所述降采样图像si进行磨皮，得到图像磨皮结果bi，基于所述融合掩膜vi对融合结果b'i和图像磨皮结果bi+1进行融合，得到融合结果b'i+1，直至到i＝p-1结束，得到融合结果b'p，其中，所述融合结果b'i为基于融合掩膜vi-1对融合结果b'i-1和图像磨皮结果bi进行融合得到的，b'1＝0；以及基于融合掩膜vp对融合结果b'p和所述原始图像S进行融合，得到融合结果S'。
可选地，所述融合模块，被配置为执行根据公式b'i+1＝b'i*(1-vi)+bi+1*vi计算得到所述融合结果b'i+1。
可选地，所述融合模块，被配置为执行根据公式S'＝S*(1-vp)+b'p*vp计算得到所述融合结果S'。
图15是根据本公开的实施例示出的另一种图像处理装置的示意框图。如图15所示，所述装置还包括：
模糊模块3，被配置为执行，通过所述滤波核ki对所述融合掩膜vi进行模糊，得到掩膜模糊结果vbi；
其中，所述融合模块，被配置为执行基于所述掩膜模糊结果vbi对融合结果b'i和图像磨皮结果bi+1进行融合，得到融合结果b'i+1；以及基于掩膜模糊结果vbp对融合结果b'p和所述原始图像S进行融合，得到融合结果S'。
可选地，所述融合模块，被配置为执行根据公式b'i+1＝b'i*(1-vbi)+bi+1*vbi计算得到所述融合结果b'i+1。
可选地，所述融合模块，被配置为执行根据公式S'＝S*(1-vbp)+b'p*vbp计算得到所述融合结果S'。
可选地，所述降采样系数ni与所述滤波核ki反相关。
图16是根据本公开的实施例示出的又一种图像处理装置的示意框图。如图16所示，所述装置还包括：
滤波核确定模块4，被配置为执行根据滤波核ki-1以及所述滤波核ki-1与所述滤波核ki的预设关系确定所述滤波核ki，其中，所述预设关系为ki＝αki-1+β，α和β以及k1为预先设定的常数。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开的实施例还提出一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现上述任一实施例所述的图像处理方法。
本公开的实施例还提出一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述任一实施例所述的图像处理方法。
本公开的实施例还提出一种计算机程序产品，所述计算机程序产品被配置为执行上述任一实施例所述的图像处理方法。
可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本公开的实施例还提出一种计算机程序产品，所述计算机程序产品被配置为执行上述任一实施例所述的图像处理方法。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本公开实施例所提供的方法和装置进行了详细介绍，本文中应用了具体个例对本公开的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本公开的方法及其核心思想；同时，对于本领域的一般技术人员，依据本公开的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本公开的限制。

Claims (14)

1.一种图像处理方法，其特征在于，包括：
按照p个降采样系数ni分别对原始图像S进行降采样，得到p个降采样图像si，其中，1≤i≤p-1，p≥2，ni<ni-1；
从i＝1开始，确定所述降采样图像si的融合掩膜vi，通过滤波核ki对所述降采样图像si进行磨皮，得到图像磨皮结果bi，基于所述融合掩膜vi对融合结果b'i和图像磨皮结果bi+1进行融合，得到融合结果b'i+1，直至到i＝p-1结束，得到融合结果b'p，其中，所述融合结果b'i为基于融合掩膜vi-1对融合结果b'i-1和图像磨皮结果bi进行融合得到的，b'1＝0，所述基于所述融合掩膜vi对融合结果b'i和图像磨皮结果bi+1进行融合，得到融合结果b'i+1包括：根据公式b'i+1＝b'i*(1-vi)+bi+1*vi计算得到所述融合结果b'i+1；
基于融合掩膜vp对融合结果b'p和所述原始图像S进行融合，得到融合结果S'，包括：根据公式S'＝S*(1-vp)+b'p*vp计算得到所述融合结果S'。
2.根据权利要求1所述的方法，其特征在于，在所述基于所述融合掩膜vi对融合结果b'i和图像磨皮结果bi+1进行融合，得到融合结果b'i+1步骤之前，所述方法还包括：
通过所述滤波核ki对所述融合掩膜vi进行模糊，得到掩膜模糊结果vbi；
所述基于所述融合掩膜vi对融合结果b'i和图像磨皮结果bi+1进行融合，得到融合结果b'i+1包括：
基于所述掩膜模糊结果vbi对融合结果b'i和图像磨皮结果bi+1进行融合，得到融合结果b'i+1；以及
所述基于融合掩膜vp对融合结果b'p和所述原始图像S进行融合，得到融合结果S'包括：
基于掩膜模糊结果vbp对融合结果b'p和所述原始图像S进行融合，得到融合结果S'。
3.根据权利要求2所述的方法，其特征在于，所述基于所述掩膜模糊结果vbi对融合结果b'i和图像磨皮结果bi+1进行融合，得到融合结果b'i+1包括：
根据公式b'i+1＝b'i*(1-vbi)+bi+1*vbi计算得到所述融合结果b'i+1。
4.根据权利要求2所述的方法，其特征在于，所述基于掩膜模糊结果vbp对融合结果b'p和所述原始图像S进行融合，得到融合结果S'包括：
根据公式S'＝S*(1-vbp)+b'p*vbp计算得到所述融合结果S'。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述降采样系数ni与所述滤波核ki反相关。
6.根据权利要求1至4中任一项所述的方法，其特征在于，在通过滤波核ki对所述采样图像si进行磨皮之前，所述方法还包括：
根据滤波核ki-1以及所述滤波核ki-1与所述滤波核ki的预设关系确定所述滤波核ki，其中，所述预设关系为ki＝αki-1+β，α和β以及k1为预先设定的常数。
7.一种图像处理装置，其特征在于，包括：
采样模块，被配置为执行按照p个降采样系数ni分别对原始图像S进行降采样，得到p个降采样图像si，其中，1≤i≤p-1，p≥2，ni<ni-1；
融合模块，被配置为执行从i＝1开始，确定所述降采样图像si的融合掩膜vi，通过滤波核ki对所述降采样图像si进行磨皮，得到图像磨皮结果bi，基于所述融合掩膜vi对融合结果b'i和图像磨皮结果bi+1进行融合，得到融合结果b'i+1，直至到i＝p-1结束，得到融合结果b'p，其中，所述融合结果b'i为基于融合掩膜vi-1对融合结果b'i-1和图像磨皮结果bi进行融合得到的，b'1＝0；以及基于融合掩膜vp对融合结果b'p和所述原始图像S进行融合，得到融合结果S'；
其中，所述融合模块，被配置为执行根据公式b'i+1＝b'i*(1-vi)+bi+1*vi计算得到所述融合结果b'i+1，以及，根据公式S'＝S*(1-vp)+b'p*vp计算得到所述融合结果S'。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
模糊模块，被配置为执行，通过所述滤波核ki对所述融合掩膜vi进行模糊，得到掩膜模糊结果vbi；
其中，所述融合模块，被配置为执行基于所述掩膜模糊结果vbi对融合结果b'i和图像磨皮结果bi+1进行融合，得到融合结果b'i+1；以及基于掩膜模糊结果vbp对融合结果b'p和所述原始图像S进行融合，得到融合结果S'。
9.根据权利要求8所述的装置，其特征在于，所述融合模块，被配置为执行根据公式b'i+1＝b'i*(1-vbi)+bi+1*vbi计算得到所述融合结果b'i+1。
10.根据权利要求8所述的装置，其特征在于，所述融合模块，被配置为执行根据公式S'＝S*(1-vbp)+b'p*vbp计算得到所述融合结果S'。
11.根据权利要求7至10中任一项所述的装置，其特征在于，所述降采样系数ni与所述滤波核ki反相关。
12.根据权利要求7至10中任一项所述的装置，其特征在于，所述装置还包括：
滤波核确定模块，被配置为执行根据滤波核ki-1以及所述滤波核ki-1与所述滤波核ki的预设关系确定所述滤波核ki，其中，所述预设关系为ki＝αki-1+β，α和β以及k1为预先设定的常数。
13.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至6中任一项所述的图像处理方法。
14.一种存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至6中任一项所述的图像处理方法。
CN201911113803.7A 2019-11-14 2019-11-14 图像处理方法、装置、电子设备和存储介质 Active CN110956592B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911113803.7A CN110956592B (zh) 2019-11-14 2019-11-14 图像处理方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911113803.7A CN110956592B (zh) 2019-11-14 2019-11-14 图像处理方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN110956592A CN110956592A (zh) 2020-04-03
CN110956592B true CN110956592B (zh) 2023-07-04

Family

ID=69977314

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911113803.7A Active CN110956592B (zh) 2019-11-14 2019-11-14 图像处理方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN110956592B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112561822B (zh) * 2020-12-17 2022-07-01 苏州科达科技股份有限公司 美颜方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105023260A (zh) * 2014-04-22 2015-11-04 Tcl集团股份有限公司 一种全景图像融合方法及融合装置
CN107230182A (zh) * 2017-08-03 2017-10-03 腾讯科技（深圳）有限公司 一种图像的处理方法、装置以及存储介质
CN107945135A (zh) * 2017-11-30 2018-04-20 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质和电子设备
CN108205804A (zh) * 2016-12-16 2018-06-26 阿里巴巴集团控股有限公司 图像处理方法、装置及电子设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104952036B (zh) * 2015-06-18 2018-11-06 福州瑞芯微电子股份有限公司 一种即时视频中的人脸美化方法和电子设备
CN106846241B (zh) * 2015-12-03 2020-06-02 阿里巴巴集团控股有限公司 一种图像融合的方法、装置和设备
CN105913376A (zh) * 2016-04-14 2016-08-31 北京奇艺世纪科技有限公司 快速美颜处理的方法和装置
CN107169944B (zh) * 2017-04-21 2020-09-04 北京理工大学 一种基于多尺度对比度的红外与可见光图像融合方法
CN107705274B (zh) * 2017-08-21 2022-04-19 中国核电工程有限公司 一种基于数学形态学多尺度的微光与红外图像融合方法
CN107689038A (zh) * 2017-08-22 2018-02-13 电子科技大学 一种基于稀疏表示和循环引导滤波的图像融合方法
CN107798654B (zh) * 2017-11-13 2022-04-26 北京小米移动软件有限公司 图像磨皮方法及装置、存储介质
CN108171679B (zh) * 2017-12-27 2022-07-22 合肥君正科技有限公司 一种图像融合方法、系统及设备
CN108399612B (zh) * 2018-02-06 2022-04-05 江苏宇特光电科技股份有限公司 基于双边滤波金字塔的三光图像智能融合方法
CN109741269B (zh) * 2018-12-07 2020-11-24 广州华多网络科技有限公司 图像处理方法、装置、计算机设备和存储介质
CN110047058B (zh) * 2019-03-25 2021-04-30 杭州电子科技大学 一种基于残差金字塔的图像融合方法
CN110189248B (zh) * 2019-05-16 2023-05-02 腾讯科技（深圳）有限公司 图像融合方法及装置、存储介质、电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105023260A (zh) * 2014-04-22 2015-11-04 Tcl集团股份有限公司 一种全景图像融合方法及融合装置
CN108205804A (zh) * 2016-12-16 2018-06-26 阿里巴巴集团控股有限公司 图像处理方法、装置及电子设备
CN107230182A (zh) * 2017-08-03 2017-10-03 腾讯科技（深圳）有限公司 一种图像的处理方法、装置以及存储介质
CN107945135A (zh) * 2017-11-30 2018-04-20 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质和电子设备

Also Published As

Publication number Publication date
CN110956592A (zh) 2020-04-03

Similar Documents

Publication Publication Date Title
Li et al. Fast multi-scale structural patch decomposition for multi-exposure image fusion
Li et al. Weighted guided image filtering
Choudhury et al. The trilateral filter for high contrast images and meshes
CN108205804B (zh) 图像处理方法、装置及电子设备
Han et al. A novel image interpolation method using the bilateral filter
Ye et al. Blurriness-guided unsharp masking
US9569684B2 (en) Image enhancement using self-examples and external examples
CN110503617B (zh) 一种基于高、低频信息融合的水下图像增强方法
CN112258440B (zh) 图像处理方法、装置、电子设备及存储介质
US20140050417A1 (en) Image filtering based on structural information
You et al. Anisotropic blind image restoration
Sakai et al. Hybrid method for multi-exposure image fusion based on weighted mean and sparse representation
CN110956592B (zh) 图像处理方法、装置、电子设备和存储介质
Lee et al. An edge-guided image interpolation method using Taylor series approximation
Motohashi et al. A study on blind image restoration of blurred images using R-map
CN108346128B (zh) 一种美颜磨皮的方法和装置
CN116612263B (zh) 一种感知潜视觉合成一致性动态拟合的方法及装置
CN114862729A (zh) 图像处理方法、装置、计算机设备和存储介质
CN112001940A (zh) 图像处理方法及装置、终端及可读存储介质
Mahesh et al. Adaptive estimators for filtering noisy images
GUAN et al. A dual-tree complex wavelet transform-based model for low-illumination image enhancement
CN114331939A (zh) 同态滤波的细节增强多曝光图像融合方法及可存储介质
RU2383924C2 (ru) Способ адаптивного повышения резкости цифровых фотографий в процессе печати
Pavan Kumar et al. HDR and image abstraction framework for dirt free line drawing to convey the shapes from blatant range images
CN110503603B (zh) 一种基于引导上采样获得光场重对焦图像的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant