CN109146823A - 基于高反差保留的图像处理方法、装置、设备及存储介质 - Google Patents

基于高反差保留的图像处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN109146823A
CN109146823A CN201811116424.9A CN201811116424A CN109146823A CN 109146823 A CN109146823 A CN 109146823A CN 201811116424 A CN201811116424 A CN 201811116424A CN 109146823 A CN109146823 A CN 109146823A
Authority
CN
China
Prior art keywords
image
processed
pixel
color
high contrast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811116424.9A
Other languages
English (en)
Inventor
宁华龙
程彧
徐青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Cubesili Information Technology Co Ltd
Original Assignee
Guangzhou Huaduo Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huaduo Network Technology Co Ltd filed Critical Guangzhou Huaduo Network Technology Co Ltd
Priority to CN201811116424.9A priority Critical patent/CN109146823A/zh
Publication of CN109146823A publication Critical patent/CN109146823A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了基于高反差保留的图像处理方法、装置、设备及存储介质，所述方法包括如下步骤：对待处理图像进行模糊处理得到第一图像；将所述待处理图像与所述第一图像进行高反差保留处理得到第二图像；对所述第二图像进行结果加强处理得到第三图像；将所述第三图像与待处理图像进行高反差保留处理得到第四图像；将所述第四图像与所述待处理图像进行线性融合得到第五图像。旨在解决现有技术中，磨皮处理后的图像丢失皮肤纹理及发丝等细节，产生的图像模糊的技术问题。

Description

基于高反差保留的图像处理方法、装置、设备及存储介质
技术领域
本申请涉及互联网领域，尤其涉及图像处理领域。
背景技术
美颜是图像处理中的广受欢迎的方式，对于人像美颜，一般包括磨皮、美白等处理。其中，磨皮是通过消除图像中人物脸上斑点、瑕疵及杂色等，使人物脸部更加细腻。一般图像会包括边缘部分和非边缘部分，以面部图像为例，边缘部分包括人的面部轮廓、五官轮廓、头发以及皮肤纹理等，非边缘部分可以是除边缘轮廓外的其他部分。目前磨皮处理后的图像丢失皮肤纹理及发丝等细节，导致图像模糊，并给人一种不真实的显示效果。
发明内容
本申请提供基于高反差保留的图像处理方法、装置、设备及存储介质，旨在解决现有技术中，磨皮处理后的图像丢失皮肤纹理及发丝等细节，产生的图像模糊的技术问题。
在本申请的第一方面，提供一种基于高反差保留的图像处理方法，包括如下步骤：
对待处理图像进行模糊处理得到第一图像；
将所述待处理图像与所述第一图像进行高反差保留处理得到第二图像；
对所述第二图像进行结果加强处理得到第三图像；
将所述第三图像与待处理图像进行高反差保留处理得到第四图像；
将所述第四图像与所述待处理图像进行线性融合得到第五图像。
在一些例子中，所述对所述第二图像进行结果加强处理得到第三图像，通过如下公式得到：
其中，所述β是系统预设常数；
所述α是预设常数；
d(i,j)1为第二图像中像素点(i，j)的颜色值；
d(i,j)2为第三图像中像素点(i，j)的颜色值。
在一些例子中，所述对待处理图像进行模糊处理得到第一图像，包括：
对所述待处理图像进行保边模糊处理后得到第一图像。
在一些例子中，所述保边模糊处理包括改进的导向滤波处理；其中，所述改进的导向滤波处理包括：
根据高斯一阶段算法获取待处理图像各像素点的权重值；
根据所述各像素点的权重值，得到待处理图像各像素点的颜色加权平均值以及颜色平方和加权平均值；
根据所述待处理图像的颜色加权平均值、颜色平方和加权平均值以及调整参数，得到导向滤波处理后第一图像。
在一些例子中，所述根据所述各像素点的权重值，得到待处理图像各像素点的颜色加权平均值以及颜色平方和加权平均值，包括：
根据所述各像素点的权重值，获得待处理图像各像素点在第一方向上的颜色加权平均值以及颜色平方和加权平均值；
根据所述各像素点在第一方向上的颜色加权平均值以及颜色平方和加权平均值，以及所述各像素点的权重值，得到待处理图像各像素点在第二方向上的颜色加权平均值以及颜色平方和加权平均值，其中第一方向与第二方向垂直。
在一些例子中，所述将所述第四图像与所述待处理图像进行线性融合得到第五图像，包括：
将所述第四图像进行高斯模糊处理得到第六图像；
将所述第六图像与所述待处理图像进行线性融合得到第五图像。
在一些例子中，所述方法还包括步骤：
对待处理图像进行提亮处理得到第七图像；
将所述第七图像与所述第五图像线性融合处理得到第八图像。
在一些例子中，所述待处理图像包括直播视频流中的各帧直播图像帧，所述方法运用于互联网直播的主播客户端。
本申请的第二方面，提供一种直播方法，所述方法包括步骤：
从主播客户端获取待处理的直播视频流，所述直播视频流包括若干直播图像帧；
将所述直播图像帧进行模糊处理得到第一图像；
将所述直播图像帧与所述第一图像进行高反差保留处理得到第二图像；
对所述第二图像进行结果加强处理得到第三图像；
将所述第三图像与待处理图像进行高反差保留处理得到第四图像；
将所述第四像与所述待处理图像进行线性融合得到第五图像；
将所第五图像发送给所述主播客户端以及指定观众客户端进行显示。
本申请的第三方面，提供一种基于高反差保留的图像处理装置，所述装置包括：
处理模块，用于对待处理图像进行模糊处理得到第一图像；将所述待处理图像与所述第一图像进行高反差保留处理得到第二图像；对所述第二图像进行结果加强处理得到第三图像；将所述第三图像与待处理图像进行高反差保留处理得到第四图像；
融合模块，用于将所述第四图像与所述待处理图像进行线性融合得到第五图像。
本申请的第四方面，提供一种直播装置，所述装置包括：
获取模块，用于从主播客户端获取待处理的直播视频流，所述直播视频流包括若干直播图像帧；
处理模块，用于将所述直播图像帧与所述第一图像进行高反差保留处理得到第二图像；对所述第二图像进行结果加强处理得到第三图像；将所述第三图像与待处理图像进行高反差保留处理得到第四图像；将所述第四像与所述待处理图像进行线性融合得到第五图像；
分发模块，用于将所第五图像发送给所述主播客户端以及指定观众客户端进行显示。
本申请的第五方面，提供一种电子设备，包括：
存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如所述第一方面和第二方面任一项方法所述的操作。
本申请的第六方面，提供一种存储介质，其上存储有程序，所述程序被处理器执行时实现如所述第一方面和第二方面任意一项所述方法的步骤。
本申请通过对待处理图像进行模糊处理，以去除图像中的噪点，例如面部的斑点和痘痘等皮肤瑕疵，但是简单的模糊处理可能丢失待处理图像中的边缘区域，如面部五官及头发等，这并不是“人像美颜”所需的结果，在传统的方法中，常采用高反差保留的方式来获得边缘区域，但是传统的高反差保留还是会丢失一些细节信息，例如发丝和皮肤纹理等，为了保留图像中的细节信息，本申请实施例通过将所述待处理图像与所述第一图像进行高反差保留处理得到第二图像；再对所述第二图像进行结果加强处理得到第三图像；接着将所述第三图像与待处理图像进行高反差保留处理，得到的第四图像是保留了如发丝及皮肤纹理等细节信息的非常清晰的边缘区域，接着将第四图像与第一图像进行线性融合，使得到的第五图像不仅去除了图像上的噪点，如皮肤瑕疵，而且很好地保留了边缘区域中的细节信息，例如肤质及发丝等，可以给人以真实自然的效果。
附图说明
图1为本申请实施例中示意性示出的一种基于高反差保留的图像处理方法的流程图；
图2为本申请实施例中示意性示出的一种S110的具体流程图；
图3为本申请实施例示意性示出的一种获得待处理图像中各像素点的权重值的示意图；
图4为本申请实施例示意性示出的一种获得像素点(i，j)的颜色加权平均值的示意图；
图5为本申请实施例示意性示出的一种S150的具体流程图；
图6为本申请实施例示意性示出的另一种基于高反差保留的图像处理方法的示意图；
图7a为本申请实施例示意性示出的另一种基于高反差保留的图像处理的流程图；
图7b为本申请实施例示意性示出的另一种基于高反差保留的图像处理的示意图；
图8为本申请实施例示意性示出的一个直播场景的示意图；
图9为本申请实施例中的一种直播方法的流程图；
图10为本申请实施例中的另一种直播方法的流程图；
图11为本申请实施例中的一个电子设备的示意图；
图12为本申请实施例中的一基于高反差保留的图像处理装置的示意图；
图13为本申请实施例中的一服务器设备的示意图；
图14为本申请实施例中的一直播装置的示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
美颜是图像处理中的广受欢迎的方式，对于人像美颜，一般包括磨皮、美白等处理。其中，磨皮是通过消除图像中人物脸上斑点、瑕疵及杂色等，使得人物脸部更加细腻。但是，目前磨皮处理后的图像丢失皮肤纹理及发丝等细节，导致图像模糊，并给人一种不真实的显示效果。
为了解决上述技术问题，本申请实施例提供一种基于高反差保留的图像处理方法、装置、设备及存储介质。
参照图1为本申请实施例示意性示出的一种基于高反差保留的图像处理方法的流程图，所述方法包括步骤：
S110：对待处理图像进行模糊处理得到第一图像；
S120：将所述待处理图像与所述第一图像进行高反差保留处理得到第二图像；
S130：对所述第二图像进行结果加强处理得到第三图像；
S140：将所述第三图像与待处理图像进行高反差保留处理得到第四图像；
S150：将所述第四图像与所述待处理图像进行线性融合得到第五图像。
一般图像会包括边缘区域和非边缘区域，以面部图像为例，本申请实施例提出的边缘区域包括人的面部轮廓、五官轮廓、头发以及皮肤纹理等，非边缘区域可以是除边缘轮廓外的其他部分。
本申请通过对待处理图像进行模糊处理，以去除图像中的噪点，例如面部的斑点和痘痘等皮肤瑕疵，但是简单的模糊处理可能丢失待处理图像中的边缘区域，如面部五官及头发等，这并不是“人像美颜”所需的结果，在传统的方法中，常采用高反差保留的方式来获得边缘区域，但是传统的高反差保留还是会丢失一些细节信息，例如发丝和皮肤纹理等，为了保留图像中的细节信息，本申请实施例通过将所述待处理图像与所述第一图像进行高反差保留处理得到第二图像；再对所述第二图像进行结果加强处理得到第三图像；接着将所述第三图像与待处理图像进行高反差保留处理，得到的第四图像是保留了如发丝及皮肤纹理等细节信息的非常清晰的边缘区域，接着将第四图像与第一图像进行线性融合，使得到的第五图像不仅去除了图像上的噪点，如皮肤瑕疵，而且很好地保留了边缘区域中的细节信息，例如肤质及发丝等，可以给人以真实自然的效果。
在一些例子中，所述S110，具体可以是：对待处理图像经过保边模糊处理得到第一图像。所述保边模糊处理可以包括表面模糊处理、双边滤波处理或导向滤波处理等。
在一些例子中，所述保边模糊可以是改进的导向滤波，参照图2，所述改进的导向滤波处理的流程如下：
S210：利用高斯一阶段算法获取待处理图像各像素点的权重值。
可以理解，本步骤也可以采用其他算法得到各像素点的权重值。
所述改进的导向滤波与传统的导向滤波处理中权重值分配机制不同，在本实施例中，各像素点的权重值根据高斯一阶算法得到。具体的，各像素点的权重值可以根据如下公式计算得到：
其中，x为窗口中待计算的像素点与中心像素点的距离；
weightx为距离窗口中心点距离为x的像素点的权重值。
例如，像素点可以用(i，j)表征其唯一性，其中i和j分别代表所述像素点为图像中第i排第j列的像素点。以简单的一维窗口为例，参数图3，预设窗口的窗口半径(例如为r)，待处理图像300中，窗口310的中心像素点311为像素点(i，j)，所述窗口310中的像素点312(i，j0)与所述中心像素点311的距离x为|j-j0|，利用距离x及公式(1)可以得到窗口中像素点312(i，j0)的权重值，窗口中每个像素点的权重值均可用公式(1)计算得到。
传统的导向滤波处理，通过均值的方式获得各像素点的权重值，即若窗口中有n个像素点，则各像素点的权重值均为1/n，本实施例通过高斯一阶算法获得窗口中各像素点的权重值，使距离中心越近的像素点权重值越大，距离中心越远的像素点权重值越小，利用上述权重分配机制得到的导向滤波后的第一图像，可以更好的实现在“磨皮”的同时，保留边缘区域，例如发丝和皮肤纹理。
S220：根据所述各像素点的权重值，得到待处理图像各像素点的颜色加权平均值以及颜色平方和加权平均值。
一个例子中，通过高斯一阶算法或其他方式得到窗口中各像素点的权重值后，根据各像素点的所述权重值，计算所述窗口中所有的像素点的颜色加权平均值以及平方和加权平均值。需要说明的是，所述颜色值可以包括灰度值、RGB值或YUV值；当颜色值为灰度值时，每个窗口仅计算一次颜色加权平均值以及颜色平方和加权平均值；当颜色值为RGB值或YUV值，由于每个像素点都由三个分量表征，所以每个窗口计算分别针对每个分量计算颜色加权平均值以及颜色平方和加权平均值。
一些例子中，可以按照如下公式实现S220，其中以待处理图像为导向滤波的引导图:
其中，所述r为窗口半径；
(i，j)表征所述窗口的中心像素点；
p(x,j)、p(i,j)及p(i,y)分别为待处理图像中像素点(x，j)、(i，j)及(i，y)的颜色值；
weightx为在第一方向上距离像素点(i，j)距离为x的像素点的权重值；
weighty为在第二方向上距离像素点(i，j)距离为y的像素点的权重值；
meanI1(i,j)及meanI1(i,y)分别为像素点(i，j)及(i，y)在第一方向上的颜色加权平均值；
meanI2(i,j)为像素点(i，j)在第二方向上的颜色加权平均值，即像素点(i，j)最终的颜色加权平均值。
meanII1(i,j)及meanII1(i,y)分别为像素点(i，j)及(i，y)在第一方向上的颜色平方和加权平均值；
meanII2(i,j)为像素点(i，j)在第二方向上的颜色平方和加权平均值，即像素点(i，j)最终的颜色平方和加权平均值。
在一个例子中，参照图4，以计算待处理图像400中像素点411(i，j)颜色加权平均值为例，首先参照图4的左图，根据高斯一阶算法得到在第一方向(例如横向)的一维窗口410中各像素点的权重值，根据所述权重值，利用公式(2)，计算所述一维窗口410的中心像素点411的meanI1(i,j)，以r＝1为例，中心像素点411在第一方向上的颜色加权平均值如下：
meanI1(i,j)＝weighti-1*p(i-1,j)+weighti*p(i,j)+weighti+1*p(i+1,j)；
接着参照图4的右图，根据高斯一阶算法得到在第二方向(例如竖向)的一维窗口420中各像素点的权重值以及上述meanI1(i,j)，利用公式(3)，计算所述一维窗口420的中心像素点411的meanI2(i,j)，以r＝1为例，中心像素点411在第二方向上的颜色加权平均值如下：
meanI2(i,j)＝weightj-1*meanI1(i,j-1)+weightj*meanI1(i,j)+weightj+1*meanI1(i,j+1)。
需要说明的是：一些例子中可以先竖向再横向，本申请不限制具体的第一方向和第二方向的具体方向，除了横向和纵向外，也可以是其他任意方向，一些例子中，所述第一方向和第二方向相互垂直。
一些例子中，可以通过预设的第一步长(每移动一步，窗口按第一方向移动预设步长)，遍历整幅待处理图像，得到待处理图像中各像素点的meanI1(i,j)及meanII1(i,j)，再通过预设的第二步长(窗口按第二方向移动预设步长)，遍历整幅待处理图像，得到待处理图像中各像素点的meanI2(i,j)及meanII2(i,j)。
通过上述实施例，可以较大的减少加权平均值及平方和加权平均值的计算量，以计算颜色加权平均值为例，不同于传统的保边模糊处理中，对一个半径为r的矩形窗口的(2r+1)*(2r+1)个像素点求颜色加权平均值，本申请先在第一方向(例如横向)半径为r的一阶窗口的2r+1个像素点求颜色加权平均值meanI1(i,j)，再以meanI1(i,j)为基础，在与第一方向垂直的第二方向(例如纵向)半径为r的一阶窗口的2r+1个像素点求颜色加权平均值meanI2(i,j)，使得计算量由传统技术中的(2r+1)*(2r+1)减小到2*(2r+1)。
S230：根据所述待处理图像的加权平均值、平方和加权平均值以及调整参数，得到第一图像。
一些例子里，可以通过如下公式实现本步骤，公式如下：
var＝meanII2(i j)-meanI2(i j)*meanI2(i j) (6)
μA＝var/(var+δ) (7)
μB＝meanI2(i,j)-μA*meanI2(i,j) (8)
q(i,j)＝μA*p(i,j)+μB (9)
其中，δ为调整参数；
p(i,j)为待处理图像中的像素点(i，j)的颜色值；
meanI1(i,j)为所述像素点(i，j)在第一方向上的颜色加权平均值；
meanI2(i,j)为所述像素点(i，j)在第二方向上的颜色加权平均值，即所述像素点(i，j)的最终颜色加权平均值；
meanII1(i,j)为所述像素点(i，j)在第一方向上的颜色平方和加权平均值；
meanII2(i,j)为所述像素点(i，j)在第二方向上的颜色平方和加权平均值，即所述像素点(i，j)的最终颜色平方和加权平均值；
q(i,j)为第一图像中所述像素点(i，j)的颜色值。
在一些例子中，所述S120：对所述待处理图像与所述第一图像进行高反差保留处理得到第二图像。可以通过如下公式得到：
d(i,j)1＝p(i,j)-q(i,j)+α (10)
其中，d(i,j)1为第二图像中像素点(i，j)的颜色值；
p(i,j)为待处理图像中像素点(i，j)的颜色值；
q(i,j)为第一图像中像素点(i，j)的颜色值；
α为系统预设的系数，本申请实施例所有的公式中，当步骤S120为GPU执行时，所述α可以是0.5；当步骤S120为GPU执行时，所述α为128。
步骤S130：对所述第二图像进行结果加强处理得到第三图像，可以通过如下公式得到：
其中，所述β是系统预设常数，当步骤S120为CPU执行时，所述β是255；当步骤S120为GPU执行时，所述β是1；
α为系统预设的系数，本申请实施例所有的公式中，当步骤S120为GPU执行时，所述α可以是0.5；当步骤S120为GPU执行时，所述α为128；
d(i,j)1为第二图像中像素点(i，j)的颜色值；
d(i,j)2为第三图像中像素点(i，j)的颜色值。
步骤S140：对所述第三图像以及所述待处理图像进行高反差保留处理，得到第四图像，可以根据如下公式得到：
d(i，,j)3＝d(i,j)2-p(i,j)+α (12)
其中，p(i,j)为待处理图像中像素点(i，j)的颜色值；
d(i,j)2为第三图像中像素点(i，j)的颜色值；
d(i，,j)3为第四图像中像素点(i，j)的颜色值。
上述步骤S120、S130及S140可以被称为改进的高反差保留。
在一些例子中，本申请实施例S150中所述线性融合的算法可以是通过如下公式得到：
dest(i,j)＝p((i,j)+λd(i,j)3-η (13)
其中，p(i,j)为待处理图像中像素点(i，j)的颜色值；
dest(i,j)为第五图像中像素点(i，j)的颜色值；
d(i,j)3为第四图像中像素点(i，j)的颜色值；
λ及η为预设的系数。
实际应用中，通过前述各实施例所述方法获得的第五图像可能还是存在在一些瑕疵，例如：经过图1所述的实施例得到的第五图像虽然也很好的保留皮肤纹理及发丝等边缘的细节区域，但是可能会存在边缘区域与非边缘区域对比度过大造成的不真实感等问题。再例如：通过前述图2所述的实施例得到的第五图像虽然很好的保留皮肤纹理及发丝等边缘的细节区域，但是在大量的实验中发现，存在一些第五图像中存在一些/少量绿色斑点；再为了解决上述问题，参照图5，在一些例子中，所述S150还可以是：
S510：将所述第四图像进行高斯模糊后得到第六图像；
S520：将所述第六图像与所述待处理图像线性融合得到第五图像。
具体的，一个具体的例子中，参照图6，对待处理图像执行改进的导向滤波处理得到第一图像；对第一图像执行改进的高反差保留得到第四图像；对所述第四图像执行高斯模糊处理得到第六图像；将所述第六图像与所述待处理图像线性融合得到第五图像。
我们知道传统技术中，对图像的边缘区域进行加强处理的目的是为了得到边缘区域被加强的图像，例如高反差保留处理，为了不削弱高反差保留处理的所述目的，一般情况下，高斯模糊均在高反差保留处理之前，不会在高反差保留之后，但是，本实施例打破传统思维，通过对图像的边缘区域进行加强处理得到的第二图像，再进行一次高斯模糊处理，使得不仅消除了图像的部分瑕疵，而且增加了图像中边缘区域与非边缘区域过渡的柔和性，使得处理得到的第三图像更加真实自然。
在一些例子中，参照图7a，本申请实施例所述基于高反差保留的图像处理方法还包括步骤步骤：
S710：对待处理图像进行提亮处理得到第七图像；
S720：将所述处理后的图像与所述第七图像融合处理后，得到第八图像。
具体的，可以是用户触发“美白”的指令后，执行上述步骤S710及所述步骤S720，所述图像融合处理可以参照上述步骤S150中的图像融合处理的实施例，在此不再赘述。
具体的，一个具体的例子中，参照图7b，具体的图像处理方法的过程可以是：检测到用户触发的“磨皮”指令后，对待处理图像执行改进的导向滤波处理得到第一图像；对第一图像执行改进的高反差保留得到第四图像；对所述第四图像执行高斯模糊处理得到第六图像；将所述第六图像与所述待处理图像线性融合得到第五图像；检测到用户触发“美白”的指令后，对待处理图像进行提亮处理得到第七图像；将所述处理后的图像与所述第七图像融合处理后，得到第八图像。
在一些例子中，所述方法可以运用在直播领域，参照图8，未申请实施例示出的直播场景示意图，第一观众客户端及第二观众客户端及主播客户端分别被安装在电子设备810、820及830上，主播客户端可以调用摄像头录制视频、拍摄照片、或/和通过屏幕捕捉等其他方式制作直播视频流，然后通过网络发送给服务器800。服务器800用于提供互联网直播的后台服务，例如保存各主播客户端与观众客户端的对应关系，进行直播视频流的分发，以及互动消息的分发等，当第一观众客户端及第二观众客户端与主播客户端在同一直播间内，主播客户端可以将想要展示的直播视频流分享给在同一直播间的第一观众客户端及第二观众客户端，以供第一观众客户端及第二观众客户端的用户观看。所述直播视频流包括音频数据及若干帧直播图像。
本申请实施例提出的“主播客户端”“观众客户端”可以指安装在电子设备上的软件，在某些情况下，所述直播客户端与观众客户端集成在一个软件上，当用户的身份为主播时，该客户端可以被称为主播客户端，当用户的身份是观众时，该客户端被称为观众客户端。
若所述图像处理方法由主播客户端执行，一种直播方法的实现步骤参照图9，部分步骤如下：
S910：主播客户端将待处理的直播视频流中的直播图像帧进行模糊处理得到第一图像；
S920：主播客户端将所述待处理图像与所述第一图像进行高反差保留处理得到第二图像；
S930：主播客户端对所述第二图像进行结果加强处理得到第三图像；
S940：主播客户端将所述第三图像与待处理图像进行高反差保留处理得到第四图像；
S950：主播客户端将所述第四图像与所述待处理图像进行线性融合得到第五图像；
S960：主播客户端将所述第五图像发送给服务器，以使所述服务器将所述第五图像分发给对应的观众客户端。
需要说明的是：主播客户端通过步骤S910、S920、S930、S940及S950将待处理的直播视频流中的各直播图像帧处理成第五图像，并将由若干帧不同时间戳的第五图像组成的视频流发送给服务器。
需要说明的是，图9中各步骤的具体实现可以参照前述实施例，此处不再赘述。
在实际应用中，由于某些主播客户端所在的设备性能较差，在主播客户端所在设备上执行所述图像处理的方法可能造成由于对CPU的占用过大产生的所在设备反应速度较慢及发热等问题，为了解决上述问题，在一些例子中，由直播中的服务器执行所述图像处理的方法，参照图10，为本申请实施例提出的一种直播流程图：
S1010：服务器从主播客户端获取待处理的直播视频流；
S1020：服务器将待处理的直播视频流中的各帧图像进行模糊处理得到第一图像；
S1030：服务器将所述待处理图像与所述第一图像进行高反差保留处理得到第二图像；
S1040：服务器对所述第二图像进行结果加强处理得到第三图像；
S1050：服务器将所述第三图像与待处理图像进行高反差保留处理得到第四图像；
S1060：服务器将所述第四图像与所述待处理图像进行线性融合得到第五图像。
S1070：服务器将所述第五图像发送给指定的观众客户端和所述主播客户端；
S1080：所述主播客户端将获取所述第五图像并展示在所在设备的屏幕上。
本步骤中，所述第三图像被覆盖在待处理的直播视频流中的直播图像帧之上，以使主播客户端的用户可以看见图像处理后的第三图像。
通过图10所述的直播方法，可以减少主播客户端所在设备的计算量。
需要说明的是，图10中各步骤的具体实现可以参照前述实施例，此处不再赘述。
在一些例子中，在确定本申请实施例提出的图像处理方法的执行主体时，由主播客户端判断自身所在设备的性能，若性能超过预设条件，通过服务器执行所述图像处理方法，具体方式可以参照图10所述的步骤；若性能未超过预设条件，则由主播客户端执行所述图像处理方法，具体方式可以参照图9所述的步骤。
本申请图像处理方法实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在客户端设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图11所示，为本申请图像处理装置所在电子设备的一种硬件结构图，除了图11所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的电子设备通常根据该设备的实际功能，还可以包括其他硬件，例如摄像头、麦克风等，对此不再赘述。所述处理器被用于执行如下操作：
对待处理图像进行模糊处理得到第一图像；
将所述待处理图像与所述第一图像进行高反差保留处理得到第二图像；
对所述第二图像进行结果加强处理得到第三图像；
将所述第三图像与待处理图像进行高反差保留处理得到第四图像；
将所述第四图像与所述待处理图像进行线性融合得到第五图像。
需要说明的是，一些所述待处理图像包括直播视频流中的各帧直播图像帧，也可以是任意图像，所述电子设备是主播客户端所在的电子设备，所述电子设备可以是智能手机、智能平板、笔记本电脑、台式电脑及车载终端设备等，本申请不限制电子设备的类型。
参见图12，本申请实施例示意性示出的一种基于高反差保留的图像处理装置1200的框架图，所述基于高反差保留的图像处理装置1200包括：
处理模块1210，用于对待处理图像进行模糊处理得到第一图像；将所述待处理图像与所述第一图像进行高反差保留处理得到第二图像；对所述第二图像进行结果加强处理得到第三图像；将所述第三图像与待处理图像进行高反差保留处理得到第四图像；
融合装置1220，用于将所述第四图像与所述待处理图像进行线性融合得到第五图像。
如图13所示，为本申请直播装置所在服务器设备的一种硬件结构图，除了图13所示的处理器、内存、网络接口、以及非易失性存储器，还可以包括其他硬件。所述处理器被用于执行如下操作：
从主播客户端获取待处理的直播视频流，所述直播视频流包括若干直播图像帧；
将所述直播图像帧进行模糊处理得到第一图像；
将所述直播图像帧与所述第一图像进行高反差保留处理得到第二图像；
对所述第二图像进行结果加强处理得到第三图像；
将所述第三图像与待处理图像进行高反差保留处理得到第四图像；
将所述第四像与所述待处理图像进行线性融合得到第五图像；
将所第五图像发送给所述主播客户端以及指定观众客户端进行显示。
参见图14，本申请实施例示意性示出的一种直播装置1400的框架图，所述图像处理装置1400包括：
获取模块1410，用于从主播客户端获取待处理的直播视频流，所述直播视频流包括若干直播图像帧；
处理模块1420，用于将所述直播图像帧与所述第一图像进行高反差保留处理得到第二图像；对所述第二图像进行结果加强处理得到第三图像；将所述第三图像与待处理图像进行高反差保留处理得到第四图像；将所述第四像与所述待处理图像进行线性融合得到第五图像；
分发模块1430，用于将所第五图像发送给所述主播客户端以及指定观众客户端进行显示。
在本申请实施例中，计算机可读存储介质可以是多种形式，比如，在不同的例子中，所述机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。特殊的，所述的计算机可读介质还可以是纸张或者其他合适的能够打印程序的介质。使用这些介质，这些程序可以被通过电学的方式获取到(例如，光学扫描)、可以被以合适的方式编译、解释和处理，然后可以被存储到计算机介质中。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (13)

1.一种基于高反差保留的图像处理方法，其特征在于，包括如下步骤：
对待处理图像进行模糊处理得到第一图像；
将所述待处理图像与所述第一图像进行高反差保留处理得到第二图像；
对所述第二图像进行结果加强处理得到第三图像；
将所述第三图像与待处理图像进行高反差保留处理得到第四图像；
将所述第四图像与所述待处理图像进行线性融合得到第五图像。
2.根据权利要求1所述的方法，其特征在于，所述对所述第二图像进行结果加强处理得到第三图像，通过如下公式得到：
其中，所述β是系统预设常数；
所述α是预设常数；
d(i,j)1为第二图像中像素点(i，j)的颜色值；
d(i,j)2为第三图像中像素点(i，j)的颜色值。
3.根据权利要求1所述的方法，其特征在于，所述对待处理图像进行模糊处理得到第一图像，包括：
对所述待处理图像进行保边模糊处理后得到第一图像。
4.根据权利要求3所述的方法，其特征在于，所述保边模糊处理包括改进的导向滤波处理；其中，所述改进的导向滤波处理包括：
根据高斯一阶段算法获取待处理图像各像素点的权重值；
根据所述各像素点的权重值，得到待处理图像各像素点的颜色加权平均值以及颜色平方和加权平均值；
根据所述待处理图像的颜色加权平均值、颜色平方和加权平均值以及调整参数，得到导向滤波处理后第一图像。
5.根据权利要求4所述的方法，其特征在于，所述根据所述各像素点的权重值，得到待处理图像各像素点的颜色加权平均值以及颜色平方和加权平均值，包括：
根据所述各像素点的权重值，获得待处理图像各像素点在第一方向上的颜色加权平均值以及颜色平方和加权平均值；
根据所述各像素点在第一方向上的颜色加权平均值以及颜色平方和加权平均值，以及所述各像素点的权重值，得到待处理图像各像素点在第二方向上的颜色加权平均值以及颜色平方和加权平均值，其中第一方向与第二方向垂直。
6.根据权利要求1所述的方法，其特征在于，所述将所述第四图像与所述待处理图像进行线性融合得到第五图像，包括：
将所述第四图像进行高斯模糊处理得到第六图像；
将所述第六图像与所述待处理图像进行线性融合得到第五图像。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括步骤：
对待处理图像进行提亮处理得到第七图像；
将所述第七图像与所述第五图像线性融合处理得到第八图像。
8.根据权利要求1至7任一项所述的方法，其特征在于，所述待处理图像包括直播视频流中的各帧直播图像帧，所述方法运用于互联网直播的主播客户端。
9.一种直播方法，其特征在于，所述方法包括步骤：
从主播客户端获取待处理的直播视频流，所述直播视频流包括若干直播图像帧；
将所述直播图像帧进行模糊处理得到第一图像；
将所述直播图像帧与所述第一图像进行高反差保留处理得到第二图像；
对所述第二图像进行结果加强处理得到第三图像；
将所述第三图像与待处理图像进行高反差保留处理得到第四图像；
将所述第四像与所述待处理图像进行线性融合得到第五图像；
将所第五图像发送给所述主播客户端以及指定观众客户端进行显示。
10.一种基于高反差保留的图像处理装置，其特征在于，所述装置包括：
处理模块，用于对待处理图像进行模糊处理得到第一图像；将所述待处理图像与所述第一图像进行高反差保留处理得到第二图像；对所述第二图像进行结果加强处理得到第三图像；将所述第三图像与待处理图像进行高反差保留处理得到第四图像；
融合模块，用于将所述第四图像与所述待处理图像进行线性融合得到第五图像。
11.一种直播装置，其特征在于，所述装置包括：
获取模块，用于从主播客户端获取待处理的直播视频流，所述直播视频流包括若干直播图像帧；
处理模块，用于将所述直播图像帧与所述第一图像进行高反差保留处理得到第二图像；对所述第二图像进行结果加强处理得到第三图像；将所述第三图像与待处理图像进行高反差保留处理得到第四图像；将所述第四像与所述待处理图像进行线性融合得到第五图像；
分发模块，用于将所第五图像发送给所述主播客户端以及指定观众客户端进行显示。
12.一种电子设备，其特征在于，包括：
存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如权利要求1至10任意一项方法所述的操作。
13.一种存储介质，其特征在于，其上存储有程序，所述程序被处理器执行时实现权利要求1至10任意一项所述方法的步骤。
CN201811116424.9A 2018-09-25 2018-09-25 基于高反差保留的图像处理方法、装置、设备及存储介质 Pending CN109146823A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811116424.9A CN109146823A (zh) 2018-09-25 2018-09-25 基于高反差保留的图像处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811116424.9A CN109146823A (zh) 2018-09-25 2018-09-25 基于高反差保留的图像处理方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN109146823A true CN109146823A (zh) 2019-01-04

Family

ID=64823562

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811116424.9A Pending CN109146823A (zh) 2018-09-25 2018-09-25 基于高反差保留的图像处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN109146823A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110177287A (zh) * 2019-06-11 2019-08-27 广州虎牙科技有限公司 一种图像处理和直播方法、装置、设备和存储介质
CN110796617A (zh) * 2019-10-24 2020-02-14 北京小米智能科技有限公司 面部图像的增强方法及装置、电子设备
CN111915478A (zh) * 2020-07-14 2020-11-10 厦门真景科技有限公司 一种基于保边模糊的美颜方法、装置、设备及计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2372638A1 (en) * 2010-03-04 2011-10-05 Vestel Elektronik Sanayi ve Ticaret A.S. A black and white stretch method for dynamic range extension
CN104809694A (zh) * 2014-01-23 2015-07-29 腾讯科技（深圳）有限公司 一种数字图像处理方法和装置
CN105430231A (zh) * 2015-11-24 2016-03-23 努比亚技术有限公司 图像处理装置和方法
CN106169177A (zh) * 2016-06-27 2016-11-30 北京金山安全软件有限公司 一种图像磨皮方法、装置及电子设备
CN106228516A (zh) * 2016-07-14 2016-12-14 脸萌技术（深圳）有限公司 一种高自然度的实时美颜方法、装置
CN106341696A (zh) * 2016-09-28 2017-01-18 北京奇虎科技有限公司 一种直播视频流处理方法和装置
CN106600556A (zh) * 2016-12-16 2017-04-26 合网络技术（北京）有限公司 图像处理方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2372638A1 (en) * 2010-03-04 2011-10-05 Vestel Elektronik Sanayi ve Ticaret A.S. A black and white stretch method for dynamic range extension
CN104809694A (zh) * 2014-01-23 2015-07-29 腾讯科技（深圳）有限公司 一种数字图像处理方法和装置
CN105430231A (zh) * 2015-11-24 2016-03-23 努比亚技术有限公司 图像处理装置和方法
CN106169177A (zh) * 2016-06-27 2016-11-30 北京金山安全软件有限公司 一种图像磨皮方法、装置及电子设备
CN106228516A (zh) * 2016-07-14 2016-12-14 脸萌技术（深圳）有限公司 一种高自然度的实时美颜方法、装置
CN106341696A (zh) * 2016-09-28 2017-01-18 北京奇虎科技有限公司 一种直播视频流处理方法和装置
CN106600556A (zh) * 2016-12-16 2017-04-26 合网络技术（北京）有限公司 图像处理方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KAIMING HE等: "Guided Image Filtering", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
詹小英等: "一种新型三维条纹图像滤波算法", 《科技通报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110177287A (zh) * 2019-06-11 2019-08-27 广州虎牙科技有限公司 一种图像处理和直播方法、装置、设备和存储介质
CN110796617A (zh) * 2019-10-24 2020-02-14 北京小米智能科技有限公司 面部图像的增强方法及装置、电子设备
US11250547B2 (en) 2019-10-24 2022-02-15 Beijing Xiaomi Intelligent Technology Co., Ltd. Facial image enhancement method, device and electronic device
CN110796617B (zh) * 2019-10-24 2022-09-02 北京小米智能科技有限公司 面部图像的增强方法及装置、电子设备
CN111915478A (zh) * 2020-07-14 2020-11-10 厦门真景科技有限公司 一种基于保边模糊的美颜方法、装置、设备及计算机可读存储介质
CN111915478B (zh) * 2020-07-14 2023-06-23 厦门真景科技有限公司 一种基于保边模糊的美颜方法、装置、设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN109377454A (zh) 一种图像处理方法、装置、设备、存储介质及直播方法
US9197789B2 (en) Method and system for removal of fog, mist, or haze from images and videos
Li et al. Weighted guided image filtering
US8983236B1 (en) Methods and systems for up-scaling a standard definition (SD) video to high definition (HD) quality
Wang et al. Spatially and temporally optimized video stabilization
US11100613B2 (en) Systems and methods for enhancing edges in images
CN109146823A (zh) 基于高反差保留的图像处理方法、装置、设备及存储介质
AU2006252195B8 (en) MPEG noise reduction
CN109767408B (zh) 图像处理方法、装置、存储介质及计算机设备
US20110026808A1 (en) Apparatus, method and computer-readable medium generating depth map
US20130169760A1 (en) Image Enhancement Methods And Systems
EP1793345A1 (en) Method of emendation for attention trajectory in video content analysis
US20140079319A1 (en) Methods for enhancing images and apparatuses using the same
CN110620924B (zh) 编码数据的处理方法、装置、计算机设备及存储介质
WO2013135067A1 (zh) 一种使视频中目标物体图像稳定的方法及装置
JP2014011807A (ja) ビデオシーケンスのイメージをリフレーミングする方法及び装置
CN110766637A (zh) 一种视频处理方法、处理装置、电子设备及存储介质
CN112348736B (zh) 一种去除黑眼圈的方法、存储介质、设备及系统
CN113253890B (zh) 视频人像抠图方法、系统和介质
US8629883B2 (en) Method and system for generating online cartoon outputs
CN110570441B (zh) 一种超高清低延时视频控制方法及系统
Florea et al. Facial enhancement and beautification for HD video cameras
CN114584831B (zh) 提高视频清晰度的视频优化处理方法、装置、设备和存储介质
Guo et al. No-reference omnidirectional video quality assessment based on generative adversarial networks
CN113744145A (zh) 提升图像清晰度的方法、存储介质、电子设备及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210114

Address after: 511442 3108, 79 Wanbo 2nd Road, Nancun Town, Panyu District, Guangzhou City, Guangdong Province

Applicant after: GUANGZHOU CUBESILI INFORMATION TECHNOLOGY Co.,Ltd.

Address before: 511442 24 floors, B-1 Building, Wanda Commercial Square North District, Wanbo Business District, 79 Wanbo Second Road, Nancun Town, Panyu District, Guangzhou City, Guangdong Province

Applicant before: GUANGZHOU HUADUO NETWORK TECHNOLOGY Co.,Ltd.

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20190104

Assignee: GUANGZHOU HUADUO NETWORK TECHNOLOGY Co.,Ltd.

Assignor: GUANGZHOU CUBESILI INFORMATION TECHNOLOGY Co.,Ltd.

Contract record no.: X2021440000052

Denomination of invention: Image processing method, apparatus, apparatus and storage medium based on high contrast preservation

License type: Common License

Record date: 20210222

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190104