CN111275729A - 精分割天空区域的方法及系统、图像换天的方法及系统 - Google Patents

Abstract

本发明公开一种精分割天空区域的方法及系统、图像换天的方法及系统，其中精分割天空区域的方法包括以下步骤：获取待分割图像中每个像素点属于天空的置信度；根据所述置信度生成与所述待分割图像相对应的第一掩膜图像和第一张三分图；对所述第一掩膜图像进行形态学处理，生成第二张三分图；将所述第一张三分图和所述第二张三分图进行合成，生成第三张三分图，基于第三张三分图对待分割图像进行分割，输出分割结果。本发明能够对天空与非天空的边界进行精细抠图，实现对天空区域的精分割。

Description

精分割天空区域的方法及系统、图像换天的方法及系统

技术领域

本发明涉及图像处理领域，尤其涉及一种精分割天空区域的方法及系统、图像换天的方法及系统。

背景技术

现今天空区域识别技术通常根据天空场景颜色等特征、以及预设的阈值对天空区域进行提取，天空分割一般采用边缘检测算法检测图像中天空区域边界，或采用基于深度学习的语义分割模型将图像分割为天空区域和非天空区域。但上述方法所提取的天空区域边界都比较粗糙，并且上述方法都无法处理树、建筑等非天空区域缝隙间的天空，使提取的天空区域/非天空区域不完整，应用所提取的天空区域/非天空区域合成图像时易出现瑕疵。

故需要对现有技术做进一步改进。

发明内容

本发明针对现有技术中的缺点，提供了一种精分割天空区域的方法及系统、还提供一种图像换天的方法及系统。

为了解决上述技术问题，本发明通过下述技术方案得以解决：

一种精分割天空区域的方法，包括以下步骤：

获取待分割图像中每个像素点属于天空的置信度；

根据所述置信度生成与所述待分割图像相对应的第一掩膜图像和第一张三分图；

对所述第一掩膜图像进行形态学处理，生成第二张三分图；

将所述第一张三分图和所述第二张三分图进行合成，生成第三张三分图，基于第三张三分图对待分割图像进行分割，输出分割结果。

作为一种可实施方式，对所述第一掩膜图像进行形态学处理，生成第二张三分图的具体步骤为：

对所述第一掩膜图像进行腐蚀操作，获得第二掩膜图像，对所述第一掩膜图像进行膨胀操作，获得第三掩膜图像，将所述第二掩膜图像和所述第三掩膜图像进行合成，生成第二张三分图。

作为一种可实施方式，将所述第一张三分图和所述第二张三分图进行合成，生成第三张三分图，基于第三张三分图对待分割图像进行分割，输出分割结果具体步骤为：

所述第一张三分图、所述第二张三分图和所述第三张三分图均包括非天空的前景区域、天空背景区域和待抠图区域；将所述第一张三分图和所述第二张三分图中非天空的前景区域的交集作为第三张三分图的非天空的前景区域，将所述第一张三分图和所述第二张三分图中天空背景区域的交集作为第三张三分图的天空背景区域，其余部分均作为第三张三分图的待抠图区域；

采用图像抠取算法，基于所述第三张三分图对待分割图像进行分割，输出分割结果。

本发明还提出一种精分割天空区域的系统，包括：

置信度获取模块，用于获取待分割图像中每个像素点属于天空的置信度；

预分割模块，用于根据所述置信度生成与所述待分割图像相对应的第一掩膜图像和第一张三分图；

形态学处理模块，用于对所述第一掩膜图像进行形态学处理，生成第二张三分图；

精分割模块，用于将所述第一张三分图和所述第二张三分图进行合成，生成第三张三分图，基于第三张三分图对待分割图像进行分割，输出分割结果。

作为一种可实施方式，所述形态学处理模块被配置为：

对所述第一掩膜图像进行腐蚀操作，获得第二掩膜图像，对所述第一掩膜图像进行膨胀操作，获得第三掩膜图像，将所述第二掩膜图像和所述第三掩膜图像进行合成，生成第二张三分图。

作为一种可实施方式，所述精分割模块被配置为：

所述第一张三分图、所述第二张三分图和所述第三张三分图均包括非天空的前景区域、天空背景区域和待抠图区域；将所述第一张三分图和所述第二张三分图中非天空的前景区域的交集作为第三张三分图的非天空的前景区域，将所述第一张三分图和所述第二张三分图中天空背景区域的交集作为第三张三分图的天空背景区域，其余部分均作为第三张三分图的待抠图区域；

采用图像抠取算法，基于所述第三张三分图对待分割图像进行分割，输出分割结果。

本发明由于采用了以上技术方案，具有显著的技术效果：

本发明通过根据所述置信度生成第一掩膜图像和第一张三分图，再对第一掩膜图像进行形态学处理，生成第二张三分图，将两张三分图进行融合，从而可使用现有的抠图算法对天空与非天空的边界进行精细抠图，实现对天空区域的精分割，能够处理树、建筑等非天空区域缝隙间的天空，能够有效避免后续应用所提取的天空区域/非天空区域合成图像时产生瑕疵。

本发明还提出一种图像换天的方法，包括以下步骤：

获取天空背景图像和原始图像；

利用上述任意一项所述的方法对所述原始图像进行精分割，获得所述原始图像的非天空区域的透明度图；

根据所述透明度图、所述天空背景图像和所述原始图像生成换天后的图像。

作为一种可实施方式，根据所述透明度图、所述天空背景图像和所述原始图像生成换天后的图像的具体步骤为：

分别计算所述原始图像和所述天空背景图像的亮度，根据计算结果对所述原始图像进行亮度调节，获得亮度调整图像；

基于所述原始图像的色温对所述亮度调整图像的色温进行调节，生成待换天图像；

根据所述透明度图将所述天空背景图像与所述待换天图像进行合成，生成换天后的图像。

作为一种可实施方式，基于所述原始图像的色温对所述亮度调整图像的色温进行调节，生成待换天图像的具体步骤为：

计算所述天空背景图像的蓝色通道均值和红色通道均值，以及所述亮度调整图像的蓝色通道均值和红色通道均值，根据所得结果计算色温调节量；

基于所述色温调节量对所述亮度调整图像的进行色温调整，生成待换天图像。

作为一种可实施方式，利用上述任意一项所述的方法对所述原始图像进行精分割，获得所述原始图像的非天空区域的透明度图前还包括复杂度判断步骤，具体步骤为：

对所述原始图像进行语义分割，获得所述原始图像中每个像素点属于天空的置信度；

统计置信度位于预设的置信度区间的像素点个数，计算统计所得像素点个数在总像素点个数中的占比，获得复杂度；

将所述复杂度与预设的复杂度阈值进行判断，当复杂度大于等于预设的复杂度阈值时，利用上述任意一项所述的方法对所述原始图像进行精分割，否则直接基于所述置信度对所述原始图像进行分割。

本发明还提出一种图像换天的系统，包括：

图像获取模块，用于获取天空背景图像和原始图像；

分割模块，采用上述任意一项所述的系统，用于对原始图像进行精分割，获得所述原始图像的非天空区域的透明度图；

换天合成模块，用于根据所述透明度图、所述天空背景图像和所述原始图像生成换天后的图像。

作为一种可实施方式，换天合成模块包括亮度调节单元、色温调节单元和换天合成单元：

所述亮度调节单元，用于分别计算所述原始图像和所述天空背景图像的亮度，根据计算结果对所述原始图像进行亮度调节，获得亮度调整图像；

所述色温调节单元，用于基于所述原始图像的色温对所述亮度调整图像的色温进行调节，生成待换天图像；

所述换天合成单元，用于根据所述透明度图将所述天空背景图像与所述待换天图像进行合成，生成换天后的图像。

作为一种可实施方式，所述色温调节单元被配置为：

计算所述天空背景图像的蓝色通道均值和红色通道均值，以及所述亮度调整图像的蓝色通道均值和红色通道均值，根据所得结果计算色温调节量；

基于所述色温调节量对所述亮度调整图像的进行色温调整，生成待换天图像。

作为一种可实施方式，还包括复杂度判断模块，所述复杂度判断模块被配置为：

对所述原始图像进行语义分割，获得所述原始图像中每个像素点属于天空的置信度；

统计置信度位于预设的置信度区间的像素点个数，计算统计所得像素点个数在总像素点个数中的占比，获得复杂度；

将所述复杂度与预设的复杂度阈值进行比较，当复杂度大于等于预设的复杂度阈值时，利用所述分割模块对所述原始图像进行精分割，否则直接利用所述分割模块基于所述置信度对所述原始图像进行分割。

本发明由于采用了以上技术方案，具有显著的技术效果：

1、现今图像换天技术由于其识别/分割提取的天空区域边界比较粗糙，并且对于树、建筑等的缝隙间的天空无法处理，使换天合成的图像出现瑕疵。本发明对原始图像进行精分割，从而消除现有换天技术中天空区域识别/分割粗糙所造成的瑕疵；且由于现有技术直接将识别或分割得到的天空区域直接用其他天空背景进行替换，导致合成后的图像会在天空与非天空的分界处形成锐利的边界，天空和非天空区域过渡不自然，本发明通过获取非天空区域的透明度图，使所得换天后的图像中天空和非天空区域过渡自然。

2、由于原始图像非天空区域与替换后的天空背景色调通常不一致，使换天后的图片色调不统一、不和谐，故本发明基于天空背景图像对原始图像的亮度和色温进行调整，从而使换天后的图像中天空和非天空区域色调统一，图像色彩自然、和谐。

3、由于原始图像中天空和非天空区域的边界明显，可直接按照现有技术对其进行分割获得非天空区域的透明度图，故本发明基于原始图像各像素点置信度的统计结果自动判断图像是否需要进行精分割，根据原始图像的复杂度进行相对应的处理。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一种精分割天空区域的方法的流程示意图；

图2是实施例1中的待分割图像的灰度示意图，以及实施例3中的原始图像灰度示意图；

图3是图2的置信度α_ij图；

图4是图2的第一掩膜图像；

图5是图2的第三张三分图；

图6是图2的非天空区域的透明度图；

图7是本发明一种精分割天空区域的系统的模块连接示意图；

图8是本发明一种图像换天的方法的流程示意图；

图9是实施例3中天空背景图像的灰度示意图；

图10是实施例3中换天后的图像的灰度示意图；

图11是实施例4中图像换天的方法的流程示意图；

图12是实施例5中图像换天的系统的模块连接示意图；

图13是实施例6中图像换天的系统的模块连接示意图。

具体实施方式

下面结合实施例对本发明做进一步的详细说明，以下实施例是对本发明的解释而本发明并不局限于以下实施例。

实施例1、一种精分割天空区域的方法，如图1所示，包括以下步骤：

S110、获取待分割图像中每个像素点属于天空的置信度；

S120、根据所述置信度生成与所述待分割图像相对应的第一掩膜图像和第一张三分图；

S130、对所述第一掩膜图像进行形态学处理，生成第二张三分图；

S140、将所述第一张三分图和所述第二张三分图进行合成，生成第三张三分图，基于第三张三分图对待分割图像进行分割，输出分割结果。

现有技术中，根据待分割图像中每个像素点属于天空的置信度直接对所述待分割图像进行天空分割，获得天空区域和非天空区域，但此种方法所提取的天空区域边界比较粗糙，本实施例通过根据所述置信度生成第一掩膜图像和第一张三分图，再对第一掩膜图像进行形态学处理，生成第二张三分图，将两张三分图进行融合，从而可使用现有的抠图算法对天空与非天空的边界进行精细抠图，实现对天空区域的精分割。

步骤S110中获取待分割图像中每个像素点属于天空的置信度的方法为：

待分割图像S_ij如图2所示，本实施例中采用基于深度学习的图像语义分割模型对待分割图像S_ij(0≤i≤H-1，0≤j≤W-1)进行语义分割，得到待分割图像中每个像素点属于天空的置信度α_ij(0≤i≤H-1，0≤j≤W-1)，其中H为待分割图像的高度，W为待分割图像的宽度，且0≤α_ij≤1，所得置信度α_ij图如图3所示。

上述基于深度学习的图像语义分割模型可采用现有的Deeplab、RefineNet等语义分割模型。

参照图4，步骤S120中，第一掩膜图像为根据α_ij所得到的天空分割结果，如下所示：

其中，mask_ij＝-1表示该像素点属于天空背景区域，mask_ij＝1表示该像素点属于非天空区域；

步骤S120中第一张三分图，如下所示：

其中，trimap_1_ij＝1表示该像素点属于非天空的前景区域，trimap_1_ij＝-1表示该像素点属于天空背景区域，trimap_1_ij＝0表示表示该像素点属于待抠图区域。

注，相关领域技术人员可自行根据实际需要，按照置信度α_ij对待分割图像中各像素点的像素点值进行标记，以生成掩膜图像/三分图，故本发明不对其标记条件进行限制。

所述步骤S130中，对所述第一掩膜图像进行形态学处理，生成第二张三分图的具体步骤为：

S131、对所述第一掩膜图像(mask)进行腐蚀操作，获得第二掩膜图像(mask_erode)，所用公式为：

mask_erode＝erode(mask，kernel_size_erode)；

式中，erode(·)表示形态学的腐蚀操作，kernel_size_erode为腐蚀的半径；

S132、对所述第一掩膜图像进行膨胀操作，获得第三掩膜图像(mask_dilate)，所用公式为：

mask_dilate＝dilate(mask，kernel_size_dilate)；

式中，dilate(·)表示形态学的膨胀操作，kernel_size_dilate为膨胀的半径，本实施例中kernel_size-erode＝kernel-size-dilate＝min(H，W)/30。

S133、将所述第二掩膜图像和所述第三掩膜图像进行合成，生成第二张三分图。

所述第二张三分图为：

同上，trimap_2_ij＝1表示该像素点属于非天空的前景区域，trimap_2_ij＝-1表示该像素点属于天空背景区域，trimap_2_ii＝0表示表示该像素点属于待抠图区域。

步骤S140中将所述第一张三分图和所述第二张三分图进行合成，生成第三张三分图，基于第三张三分图对待分割图像进行分割，输出分割结果的具体步骤为：

S141、将所述第一张三分图和所述第二张三分图中非天空的前景区域的交集作为第三张三分图的非天空的前景区域，将所述第一张三分图和所述第二张三分图中天空背景区域的交集作为第三张三分图的天空背景区域，其余部分均作为第三张三分图的待抠图区域，如图5所示；

所述第三张三分图为：

同上，trimap_ij＝1表示该像素点属于非天空的前景区域，trimap_ij＝-1表示该像素点属于天空背景区域，trimap_ij＝0表示表示该像素点属于待抠图区域。

S142、采用图像抠取算法，基于所述第三张三分图对待分割图像进行分割，输出分割结果。

注，图像抠取算法采用现有已公开的任意图像抠取算法均可实现本实施例，故不在本说明书中对图像抠取算法进行详细介绍。

相关领域技术人员亦可根据实际需要自行设置分割结果，如，天空区域、非天空区域、天空区域/非天空区域的透明度图，本实施例中分割结果为如图6所示的非天空区域的透明度图。

图6与图4对比可知，本实施例通过对第三张三分图的设计，能够在天空区域和非天空区域边界和缝隙间进行精细抠图，避免后续应用分割获得的天空区域、非天空区域、天空区域/非天空区域的透明度图合成图像时出现瑕疵，例如应用与图像换天时，能够避免换天合成的图像因分割粗糙造成的瑕疵。

实施例2、一种精分割天空区域的系统，如图7所示，包括置信度获取模块110、预分割模块120、形态学处理模块130和精分割模块140，其中：

置信度获取模块110，用于获取待分割图像中每个像素点属于天空的置信度；

预分割模块120，用于根据所述置信度生成与所述待分割图像相对应的第一掩膜图像和第一张三分图；

形态学处理模块130，用于对所述第一掩膜图像进行形态学处理，生成第二张三分图；

精分割模块140，用于将所述第一张三分图和所述第二张三分图进行合成，生成第三张三分图，基于第三张三分图对待分割图像进行分割，输出分割结果。

进一步地，所述形态学处理模块130被配置为：

对所述第一掩膜图像进行腐蚀操作，获得第二掩膜图像，对所述第一掩膜图像进行膨胀操作，获得第三掩膜图像，将所述第二掩膜图像和所述第三掩膜图像进行合成，生成第二张三分图。

进一步地，所述精分割模块140被配置为：

所述第一张三分图、所述第二张三分图和所述第三张三分图均包括非天空的前景区域、天空背景区域和待抠图区域；将所述第一张三分图和所述第二张三分图中非天空的前景区域的交集作为第三张三分图的非天空的前景区域，将所述第一张三分图和所述第二张三分图中天空背景区域的交集作为第三张三分图的天空背景区域，其余部分均作为第三张三分图的待抠图区域；

采用图像抠取算法，基于所述第三张三分图对待分割图像进行分割，输出分割结果。

本实施例是与实施例1相对应的装置实施例，由于其与实施例1(方法实施例)基本相似，所以描述的比较简单，相关之处参见实施例1(方法实施例)的部分说明即可。

实施例3、一种图像换天的方法，如图8所示，包括以下步骤：

S210、获取天空背景图像和原始图像；

本实施例中天空背景图像如图9所示，原始图像如图2所示；

S220、利用实施例1所述的方法对所述原始图像进行精分割，获得所述原始图像的非天空区域的透明度图；

即，利用实施例1所述的方法进行精分割，本实施例中所得到的分割结果为所述原始图像的非天空区域的透明度图(alpha_ij)，如图6所示，故本实施例中不对精分割的步骤进行详细介绍。

S230、根据所述透明度图、所述天空背景图像和所述原始图像生成换天后的图像。

天空是图像中的一种常见背景，而图像换天则是要将原始图像中的天空区域更换为其他天空背景，目前的图像换天技术主要基于天空区域识别或天空分割，然后与新的背景天空图像进行合成，从而将识别或分割出的天空区域替换为其他天空背景。上述图像换天技术由于其识别/分割提取的天空区域边界比较粗糙，并且对于树、建筑等的缝隙间的天空无法处理，使换天合成的图像出现瑕疵，且由于直接分割时，导致换天合成的图像会形成锐利的边界。由于现有技术直接将识别或分割得到的天空区域直接用其他天空背景进行替换，导致合成后的图像会在天空与非天空的分界处形成锐利的边界(天空区域和非天空区域边界处的取值为1或-1)，天空和非天空区域过渡不自然。

本实施例按照实施例1中精分割的方法进行精细抠图，从而消除现有换天技术中天空区域识别/分割粗糙所造成的瑕疵，且本实施例获取非天空区域的透明度图，该透明度图在边界处的取值是0-1之间连续变化的，从而不会使换天合成的图像中出现锐利的边界，天空区域和非天空区域之间过渡自然。

步骤S230具体包括以下步骤：

S231、分别计算所述原始图像和所述天空背景图像的亮度，根据计算结果对所述原始图像进行亮度调节，获得亮度调整图像，具体步骤如下：

(1.1)、计算天空背景图像的亮度(B_T)，计算公式如下：

其中，T_r_ij、T-g_ij、T_b_ij为所述天空背景图像按RGB通道分解后获得的三个通道值，T_r_ij表示红色通道值、T-g_ij表示绿色通道值、T_b_ij表示蓝色通道值；H′为天空背景图像的高度，W′为天空背景图像的宽度；

(1.2)、计算原始图像的亮度(B_S)，计算公式如下：

其中，S_r_ij、S_g_ij、S_b_ij为所述原始图像按RGB通道分解后获得的三个通道值，S_r_ij表示红色通道值、S_g_ij表示绿色通道值、S_b_ij表示蓝色通道值；H为原始图像的高度，W为原始图像的宽度；

(1.2)、基于天空背景图像的亮度(B_T)对所述原始图像进行亮度调节，公式如下：

其中，S_ij为原始图像，

为亮度调整图像，γ为亮度调整系数，本实施例中，γ＝3。

S232、基于所述原始图像的色温对所述亮度调整图像的色温进行调节，生成待换天图像；

首先计算所述天空背景图像的蓝色通道均值和红色通道均值，以及所述亮度调整图像的蓝色通道均值和红色通道均值，根据所得结果计算色温调节量；

其次基于所述色温调节量对所述亮度调整图像的进行色温调整，生成待换天图像。

具体步骤如下：

(2.1)、计算所述天空背景图像的蓝色通道均值和红色通道均值；

天空背景图像的蓝色通道均值(b_T)的计算公式为：

天空背景图像的红色通道均值(r_T)的计算公式为：

(2.2)、计算所述亮度调整图像的蓝色通道均值和红色通道均值；

首先将亮度调整图像

按RGB通道分解分别得到三个通道值

计算亮度调整图像

的蓝色通道均值

和红色通道均值

上述亮度调整图像的蓝色通道均值

的计算公式为：

上述亮度调整图像的红色通道均值

的计算公式为：

(2.3)、基于所述天空背景图像的蓝色通道均值(b_T)和红色通道均值(r_T)，以及所述亮度调整图像的蓝色通道均值

和红色通道均值

计算参数k，计算公式为：

(2.4)、根据参数k计算色温调节量(Δt)，计算公式为：

其中，β为色温调整系数，本实施例中β＝4。

(2.5)、按照色温调节量对所述亮度调整图像的蓝色通道值

进行更新，获得更新蓝色通道值S′-b_ij，更新公式如下：

(2.6)、按照色温调节量对所述亮度调整图像的红色通道值S-r_ij进行更新，获得更新红色通道值S′-r_ij，更新公式如下：

(2.7)、由更新蓝色通道值S′_b_ij、更新红色通道值S′-r_ij和所述亮度调整图像的绿色通道值

作为RGB三通道值合成得到待换天图像S′_ij。

由于原始图像非天空区域与替换后的天空背景色调通常不一致，使换天后的图片色调不统一、不和谐，故本实施例基于天空背景图像对原始图像的亮度和色温进行调整，从而使换天后的图像中天空和非天空区域色调统一，图像色彩自然、和谐。

S233、根据所述透明度图将所述天空背景图像与所述待换天图像进行合成，生成换天后的图像，具体步骤为：

首先将所述天空背景图像(T_ij)进行尺寸变化，使其与待换天图像(S′_ij)尺寸一致，得到待替换背景图像(T′_ij)，T′_ij(0≤i≤H-1，0≤j≤W-1)，按下式计算得到换天后的图像，所得换天后的图像如图10所示：

I_ij＝alpha_ij*S′_ij+(1-alpha_ij)*T′_ij(0≤i≤H-1，0≤j≤W-1)；

注，上式中的alpha_ii为步骤S220中所得的所述原始图像的非天空区域的透明度图。

实施例4、于实施例3步骤S220之前，增加复杂度判断步骤，其余均等同于实施例3，参照图11，所述复杂度判断步骤具体包括以下步骤：

①、对所述原始图像进行语义分割，获得所述原始图像中每个像素点属于天空的置信度；

本实施例利用现有的图像语义分割模型(如Deeplab、RefineNet等语义分割模型)对原始图像进行语义分割。

②、统计置信度位于预设的置信度区间的像素点个数，计算统计所得像素点个数在总像素点个数中的占比，获得复杂度；

本实施例中，统计置信度α_ij中满足0.1≤α_ij≤0.9的像素点个数N，按照以下公式计算复杂度complexity：

其中，H为原始图像的高度，W为原始图像的宽度。

注，相关领域的技术人员可根据实际需要自行设定置信度区间。

③、将所述复杂度与预设的复杂度阈值进行比较，当复杂度大于等于预设的复杂度阈值时，利用实施例1所述的方法对所述原始图像进行精分割，否则直接基于所述置信度对所述原始图像进行分割，获得所述原始图像非天空区域的透明度图alpha_ij。

本实施例中，复杂度阈值ths的取值为0.05，相关领域的技术人员可根据实际需要自行设定复杂度阈值ths的取值。

当复杂度小于复杂度阈值时，采用现有天空分割技术，根据置信度直接生成所述原始图像非天空区域的透明度图alpha_ij，即，alpha_ij＝α_ij(0≤i≤H-1，0≤j≤W-1)。

由于原始图像中天空和非天空区域的边界明显，可直接按照现有技术对其进行分割获得非天空区域的透明度图，故本发明基于原始图像各像素点置信度的统计结果自动判断图像是否需要进行精分割，根据原始图像的复杂度进行相对应的处理。

实施例5、一种图像换天的系统，如图12所示，包括图像获取模块210、分割模块220和换天合成模块230：

所述图像获取模块210，用于获取天空背景图像和原始图像；

所述分割模块220，采用实施例2所述的系统，用于对原始图像进行精分割，获得所述原始图像的非天空区域的透明度图；

所述换天合成模块230，用于根据所述透明度图、所述天空背景图像和所述原始图像生成换天后的图像。

所述换天合成模块230包括亮度调节单元231、色温调节单元232和换天合成单元233：

所述亮度调节单元231，用于分别计算所述原始图像和所述天空背景图像的亮度，根据计算结果对所述原始图像进行亮度调节，获得亮度调整图像；

所述色温调节单元232，用于基于所述原始图像的色温对所述亮度调整图像的色温进行调节，生成待换天图像；

所述换天合成单元233，用于根据所述透明度图将所述天空背景图像与所述待换天图像进行合成，生成换天后的图像。

所述色温调节单元232被配置为：

计算所述天空背景图像的蓝色通道均值和红色通道均值，以及所述亮度调整图像的蓝色通道均值和红色通道均值，根据所得结果计算色温调节量；

基于所述色温调节量对所述亮度调整图像的进行色温调整，生成待换天图像。

本实施例是与实施例3相对应的装置实施例，由于其与实施例3(方法实施例)基本相似，所以描述的比较简单，相关之处参见实施例3(方法实施例)的部分说明即可。

实施例6、如图13所示，于实施例5中增加复杂度判断模块240，所述复杂度判断模块240分别与图像获取模块210和所述分割模块220相连，其余均等同于实施例5，所述复杂度判断模块240被配置为：

对所述原始图像进行语义分割，获得所述原始图像中每个像素点属于天空的置信度；

统计置信度位于预设的置信度区间的像素点个数，计算统计所得像素点个数在总像素点个数中的占比，获得复杂度；

将所述复杂度与预设的复杂度阈值进行比较，当复杂度大于等于预设的复杂度阈值时，利用实施例2所述的系统对所述原始图像进行精分割，即，令分割模块220执行实施例1所述的方法，精分割所述原始图像，否则令分割模块220直接基于所述置信度对所述原始图像进行分割。

本实施例是与实施例4相对应的装置实施例，由于其与实施例4(方法实施例)基本相似，所以描述的比较简单，相关之处参见实施例4(方法实施例)的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

需要说明的是：

说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

此外，需要说明的是，本说明书中所描述的具体实施例，其零、部件的形状、所取名称等可以不同。凡依本发明专利构思所述的构造、特征及原理所做的等效或简单变化，均包括于本发明专利的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离本发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (14)

1.一种精分割天空区域的方法，其特征在于包括以下步骤：

获取待分割图像中每个像素点属于天空的置信度；

根据所述置信度生成与所述待分割图像相对应的第一掩膜图像和第一张三分图；

对所述第一掩膜图像进行形态学处理，生成第二张三分图；

将所述第一张三分图和所述第二张三分图进行合成，生成第三张三分图，基于第三张三分图对待分割图像进行分割，输出分割结果。

2.根据权利要求1所述的精分割天空区域的方法，其特征在于，对所述第一掩膜图像进行形态学处理，生成第二张三分图的具体步骤为：

对所述第一掩膜图像进行腐蚀操作，获得第二掩膜图像，对所述第一掩膜图像进行膨胀操作，获得第三掩膜图像，将所述第二掩膜图像和所述第三掩膜图像进行合成，生成第二张三分图。

3.根据权利要求1所述的精分割天空区域的方法，其特征在于，将所述第一张三分图和所述第二张三分图进行合成，生成第三张三分图，基于第三张三分图对待分割图像进行分割，输出分割结果具体步骤为：

所述第一张三分图、所述第二张三分图和所述第三张三分图均包括非天空的前景区域、天空背景区域和待抠图区域；将所述第一张三分图和所述第二张三分图中非天空的前景区域的交集作为第三张三分图的非天空的前景区域，将所述第一张三分图和所述第二张三分图中天空背景区域的交集作为第三张三分图的天空背景区域，其余部分均作为第三张三分图的待抠图区域；

采用图像抠取算法，基于所述第三张三分图对待分割图像进行分割，输出分割结果。

4.一种精分割天空区域的系统，其特征在于，包括：

置信度获取模块，用于获取待分割图像中每个像素点属于天空的置信度；

预分割模块，用于根据所述置信度生成与所述待分割图像相对应的第一掩膜图像和第一张三分图；

形态学处理模块，用于对所述第一掩膜图像进行形态学处理，生成第二张三分图；

精分割模块，用于将所述第一张三分图和所述第二张三分图进行合成，生成第三张三分图，基于第三张三分图对待分割图像进行分割，输出分割结果。

5.根据权利要求4所述的精分割天空区域的系统，其特征在于，所述形态学处理模块被配置为：

对所述第一掩膜图像进行腐蚀操作，获得第二掩膜图像，对所述第一掩膜图像进行膨胀操作，获得第三掩膜图像，将所述第二掩膜图像和所述第三掩膜图像进行合成，生成第二张三分图。

6.根据权利要求4所述的精分割天空区域的系统，其特征在于，所述精分割模块被配置为：

所述第一张三分图、所述第二张三分图和所述第三张三分图均包括非天空的前景区域、天空背景区域和待抠图区域；将所述第一张三分图和所述第二张三分图中非天空的前景区域的交集作为第三张三分图的非天空的前景区域，将所述第一张三分图和所述第二张三分图中天空背景区域的交集作为第三张三分图的天空背景区域，其余部分均作为第三张三分图的待抠图区域；

采用图像抠取算法，基于所述第三张三分图对待分割图像进行分割，输出分割结果。

7.一种图像换天的方法，其特征在于，包括以下步骤：

获取天空背景图像和原始图像；

利用权利要求1至3任意一项所述的方法对所述原始图像进行精分割，获得所述原始图像的非天空区域的透明度图；

根据所述透明度图、所述天空背景图像和所述原始图像生成换天后的图像。

8.根据权利要求7所述的图像换天的方法，其特征在于，根据所述透明度图、所述天空背景图像和所述原始图像生成换天后的图像的具体步骤为：

分别计算所述原始图像和所述天空背景图像的亮度，根据计算结果对所述原始图像进行亮度调节，获得亮度调整图像；

基于所述原始图像的色温对所述亮度调整图像的色温进行调节，生成待换天图像；

根据所述透明度图将所述天空背景图像与所述待换天图像进行合成，生成换天后的图像。

9.根据权利要求8所述的图像换天的方法，其特征在于，基于所述原始图像的色温对所述亮度调整图像的色温进行调节，生成待换天图像的具体步骤为：

计算所述天空背景图像的蓝色通道均值和红色通道均值，以及所述亮度调整图像的蓝色通道均值和红色通道均值，根据所得结果计算色温调节量；

基于所述色温调节量对所述亮度调整图像的进行色温调整，生成待换天图像。

10.根据权利要求7所述的图像换天的方法，其特征在于，所述利用权利要求1至3任意一项所述的方法对所述原始图像进行精分割，获得所述原始图像的非天空区域的透明度图前还包括复杂度判断步骤，具体步骤为：

对所述原始图像进行语义分割，获得所述原始图像中每个像素点属于天空的置信度；

统计置信度位于预设的置信度区间的像素点个数，计算统计所得像素点个数在总像素点个数中的占比，获得复杂度；

将所述复杂度与预设的复杂度阈值进行判断，当复杂度大于等于预设的复杂度阈值时，对所述原始图像进行精分割，否则直接基于所述置信度对所述原始图像进行分割。

11.一种图像换天的系统，其特征在于，包括：

图像获取模块，用于获取天空背景图像和原始图像；

分割模块，采用如权利要求4至6任意一项所述的系统，用于对原始图像进行精分割，获得所述原始图像的非天空区域的透明度图；

换天合成模块，用于根据所述透明度图、所述天空背景图像和所述原始图像生成换天后的图像。

12.根据权利要求11所述的图像换天的系统，其特征在于，换天合成模块包括亮度调节单元、色温调节单元和换天合成单元：

所述亮度调节单元，用于分别计算所述原始图像和所述天空背景图像的亮度，根据计算结果对所述原始图像进行亮度调节，获得亮度调整图像；

所述色温调节单元，用于基于所述原始图像的色温对所述亮度调整图像的色温进行调节，生成待换天图像；

所述换天合成单元，用于根据所述透明度图将所述天空背景图像与所述待换天图像进行合成，生成换天后的图像。

13.根据权利要求12所述的图像换天的系统，其特征在于，所述色温调节单元被配置为：

计算所述天空背景图像的蓝色通道均值和红色通道均值，以及所述亮度调整图像的蓝色通道均值和红色通道均值，根据所得结果计算色温调节量；

基于所述色温调节量对所述亮度调整图像的进行色温调整，生成待换天图像。

14.根据权利要求11所述的图像换天的系统，其特征在于，还包括复杂度判断模块，所述复杂度判断模块被配置为：

对所述原始图像进行语义分割，获得所述原始图像中每个像素点属于天空的置信度；

统计置信度位于预设的置信度区间的像素点个数，计算统计所得像素点个数在总像素点个数中的占比，获得复杂度；

将所述复杂度与预设的复杂度阈值进行比较，当复杂度大于等于预设的复杂度阈值时，利用所述分割模块对所述原始图像进行精分割，否则直接利用所述分割模块基于所述置信度对所述原始图像进行分割。

Images