CN112116620A - 一种室内图像语义分割与涂装展示的方法 - Google Patents

Abstract

本发明提供了一种室内图像语义分割与涂装展示的方法，获取一张包含目标墙体的室内家居图像并发送给服务器，通过服务器软件接收图像数据并且使用基于神经网络算法的语义分割处理程序获得图像数据的特征，根据用户设定的RGB参数值对图像数据中所获得的目标墙体像素进行颜色涂装。涂装完成的室内家居图像数据，由服务器软件发送给Android手机客户端软件，并展示在客户端软件上。本发明提供的方法使用了卷积神经网络算法来进行墙体语义标签的像素级预测，通过卷积神经网络算法，对目标图像数据进行像素级预测，调用OpenCV函数库对包含墙体语义标签的像素进行颜色自动填充，最终获得目标墙体颜色涂装后结果图，无需大量人力物力参与复杂的建模过程。

Description

一种室内图像语义分割与涂装展示的方法

技术领域

本发明涉及图像信号处理、深度学习技术领域，尤其涉及一种室内图像语义分割与涂装展示的方法。

背景技术

深度学习首次在计算机视觉领域的应用推动了图像语义分割的发展进程。在此之后，基于深度学习的语义分割算法从精度和效率两个方面不断地进行优化。

图像语义分割通过将图像中的每个像素点进行分类与标注，使得图像转化为带有标注信息的图像。带标注信息的像素位于图像中的不同位置，但标注信息相同的像素点表示为同一类物体。在对图像的分割问题上，相对于传统的图像分割，图像语义分割提出了更高的要求，除了要识别出图像的边界，还要根据分割出来的图形类别给出相应的类别标签。

由于现在中国经济的快速成长以及年轻人们思想变得开放前卫，未来室内装修市场需求将会以庞大的规模快速的发展。但是其快速发展难免会产生许多的问题，例如装修需求者无法准确了解装修后效果、难以进行装修决策、装修失败后进行重复装修浪费资源等等。例如，装修需求者需要对室内某个墙体进行颜色涂装，却无法直接快速地对墙体装修后颜色与周围环境进行对比，造成决策困难并增加装修失败风险。因此，为室内装修需求者提供一种墙体涂装展示系统具有重要的社会和经济意义。然而，传统的装修效果建模预览软件需要专业的家装设计知识以及丰富的软件操作经验，才能发挥预览软件的全部性能，工作量大，人力成本高，不利于大规模推广。随着互联网和深度学习技术的发展，语义分割在室内装修领域的应用也越来越得到关注。通过结合互联网和语义分割技术，能够根据手机拍摄的室内家居影像自动判断可能需要进行装修颜色涂装的目标墙体区域，完成对海量室内家居影像数据的自动筛查，对装修目标进行装修后效果预览，帮助装修者进行装修决策，从根本上解决因用户无装修经验导致装修配色不符合预期后重复装修造成的资源浪费问题。因此，通过互联网结合语义分割算法实现自动筛查室内目标墙体区域并进行用户指定的颜色涂装展示显得十分重要。

发明内容

本发明的实施例提供了一种室内图像语义分割与涂装展示的方法，用于解决现有技术中存在的技术问题。

为了实现上述目的，本发明采取了如下技术方案。

一种室内图像语义分割与涂装展示的方法，包括：

基于目标室内场景，获取用户拍摄的图像数据、输入的RGB参数和数据隔离标志位；

根据所获取的数据隔离标志位，通过基于神经网络的语义分割处理模型处理所述图像数据，获得分割掩膜图像；

结合所获取的RGB参数，对该分割掩膜图像进行颜色调节操作，获得结果图像；

所述基于神经网络的语义分割处理模型包括边缘检测模块、语义分割模块和交叉熵损失函数；所述语义分割模块对所述图像数据进行多级卷积操作，所述边缘检测模块在所述语义分割模块的处理过程中对所述图像数据进行拼接操作。

优选地，所述语义分割模块包括7级卷积层，和语义分割损失函数；所述边缘检测模块具有边缘损失函数；所述语义分割损失函数与边缘损失函数通过加和再取最小值获得所述交叉熵损失函数；

所述边缘检测模块的处理过程包括：

获取所述语义分割模块中第4级和第5级卷积层的特征图进行拼接操作，获得边缘预测置信图；

将该边缘预测置信图融合到所述语义分割模块的第7级卷积层处理过程中，获得所述分割掩膜图像。

优选地，所述边缘损失函数通过式

获得；

所述语义分割损失函数通过式

(6)获得；

所述交叉熵损失函数通过式

获得；

式中，L_edge(f(I；θ))为边缘损失函数，L_seg(f(I；θ))语义分割损失函数，|E₀|为非边缘像素个数，|E₁|为边缘像素个数，

为非边缘敏感置信图，

为边缘敏感置信图，|S_c|表示6类语义中各类的像素个数。

优选地，所述的获取所述语义分割模块中第4级和第5级卷积层的特征图进行拼接操作，获得边缘预测置信图包括：

在所述语义分割模块中设置两个卷积核，分别对所述语义分割模块中第4级和第5级卷积层的特征图进行卷积操作，再对该卷积操作后特征图进行拼接操作，获得所述边缘预测置信图。

优选地，还具有在执行第三个步骤之前，通过alpha matting全局采样方法对所述分割掩膜图像中的区域边缘进行优化的过程，具体包括：

基于所述分割掩膜图像，提取某区域的二进制掩膜，并通过转换获得该区域的三元图trimap；

将所述分割掩膜图像的RGB空间转换为HSV颜色空间；

将该区域边缘附近的像素设置为未知像素，将所述分割掩膜图像其它区域的像素设置为前景像素或背景像素；

上述第一和第二个子步骤的执行顺序不分先后。

优选地，所述的对该分割掩膜图像进行颜色调节操作，获得结果图像包括：

通过HSV颜色空间，对所述分割掩膜图像中的一个或多个区域的颜色进行替换，还对所述分割掩膜图像进行色调、饱和度和明度调节。

优选地，还包括在对该分割掩膜图像进行颜色调节操作的过程中，对HSV颜色空间中的亮度通道进行单独控制。

优选地，还包括在获取图像数据、RGB参数和数据隔离标志位之前通过最近邻插值法调整所述目标图像的分辨率的过程。

由上述本发明的实施例提供的技术方案可以看出，本发明提供的一种室内图像语义分割与涂装展示的方法，获取一张包含目标墙体的室内家居图像并发送给服务器，通过服务器软件接收图像数据并且使用基于神经网络算法的语义分割处理程序获得图像数据的特征，根据用户设定的RGB参数值对图像数据中所获得的目标墙体像素进行颜色涂装。涂装完成的室内家居图像数据，由服务器软件发送给Android手机客户端软件，并展示在客户端软件上。本发明提供的方法，和传统的装修建模展示软件相比，区别在于使用了卷积神经网络算法来进行墙体语义标签的像素级预测。在传统的装修建模展示软件中，装修设计经验丰富的设计师通过装修需求者的要求描述以及人工精密计算来对装修环境进行建模。而在本发明中，通过卷积神经网络算法，对目标图像数据进行像素级预测，调用OpenCV函数库对包含墙体语义标签的像素进行颜色自动填充，最终获得目标墙体颜色涂装后结果图，无需大量人力物力参与复杂的建模过程。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种室内图像语义分割与涂装展示的方法的处理流程图；

图2为本发明提供的一种室内图像语义分割与涂装展示的方法的基于神经网络的语义分割处理模型的示意图；

图3为本发明提供的一种室内图像语义分割与涂装展示的方法的一个优选实施例的处理流程图。

图中：

2.边缘与非边缘的置信图6.语义的置信图。

具体实施方式

下面详细描述本发明的实施方式，实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。

参见图1，本发明提供一种室内图像语义分割与涂装展示的方法，包括如下步骤：

基于目标室内场景，获取用户拍摄的图像数据、输入的RGB参数和数据隔离标志位；

根据所获取的数据隔离标志位，通过基于神经网络的语义分割处理模型处理图像数据，获得分割掩膜图像；

结合所获取的RGB参数，对该分割掩膜图像进行颜色调节操作，获得结果图像；

在本实施例中，基于神经网络的语义分割处理模型包括边缘检测模块、语义分割模块和交叉熵损失函数；语义分割模块对图像数据进行多级卷积操作，边缘检测模块在语义分割模块的处理过程中对图像数据进行拼接操作。

在本发明提供的实施例中，基于神经网络的语义分割处理模型采用边缘敏感的全卷积神经网络模型，如图2所示，语义分割模块包括7级卷积层，和语义分割损失函数；边缘检测模块具有边缘损失函数；语义分割损失函数与边缘损失函数通过加和再取最小值获得交叉熵损失函数；

边缘检测模块的处理过程包括：

获取语义分割模块中第4级和第5级卷积层的特征图进行拼接操作，获得边缘预测置信图，并且能够增加边缘预测的准确度；

将该边缘预测置信图融合到语义分割模块的第7级卷积层处理过程中，获得分割掩膜图像。

为了利用边缘敏感特征图来改善预测分割置信图的质量，在一些优选实施例中，上述第一个子步骤具体包括：

在语义分割模块中设置两个大小为1×1卷积核，分别对语义分割模块中第4级和第5级卷积层的特征图进行卷积操作，再对该卷积操作后特征图进行拼接操作，建立边缘敏感特征表达式，获得边缘预测置信图。设I为数据集I中的其中一张图片，S是对应的像素级掩膜。基于掩膜S，进一步产生图片I的边缘掩膜E。当其作为两个语义之间的边缘像素点时，边缘掩膜E的值为1。当其不是作为两个语义之间的边缘像素点时，边缘掩膜E的值为0。假设所有的语义标签都存在于训练数据集I的每一张图片I中，分别用C_edge和C_seg代表边缘预测和语义预测的边缘标签和语义标签集合。训练的语义分割网络f(I；θ)参数为θ，用于预测在每个图像平面位置u的标签c∈C_seg或者c∈C_edge的边缘标签与语义标签的概率f_u，c(I；θ)卷积神经网络的交叉熵损失函数表达式如公式(1)：

其中L_edge(f(I；θ))和L_seg(f(I；θ))分别是边缘预测与像素级语义分割预测的损失函数。认为边缘敏感特征图F_{e_i}是由第4，5层1×1卷积层的特征图生成的，进一步用于预测边缘的置信图。为了提升边缘预测的准确性，在本实施例中首先使用1×1卷积核进行卷积，再融合单独两个置信图到最后一个置信图P_e中，如图2所示。基于所产生的P_e预测图片I的边缘特征图的损失函数可以表达为公式(2)：

由于L_edge损失函数是针对每一个像素进行计算的，大量的像素点不属于两个语义之间的边缘，因此为了平衡交叉熵损失函数的计算，引入λ₀以及λ₁作为非边缘像素以及边缘像素的权重，|E₀|和|E₁|分别代表非边缘像素个数以及边缘像素个数。公式(2)进一步表示为：

如图2所示，在本实施例中使用了两个优化项来进行密集像素级预测，其中包括一个非边缘敏感项

和一个边缘敏感项

因此，像素级语义分割的损失函数可以表达为公式(4)：

在conv7层(表示为F_{c_7})采用

来促进特征图获取高层次的室内场景语义信息。对应的非边缘敏感置信图

由第七卷积层F_{c_7}的特征图进行卷积核大小为1×1的卷积操作产生。同时，为了利用边缘敏感的特征图来改善语义置信图的预测质量，将F_{c_7}和边缘预测分支的F_{e_i}进行拼接操作，生成边缘敏感特征表达F_{c_7+e}，再由F_{c_7+e}计算获得边缘敏感置信图

|S_c|表示6类语义中各类的像素个数。预测图片I的语义掩膜损失函数可以表示为公式(5)：

由于目标是准确定位属于墙壁的像素进行颜色替换，因此需要语义分割算法在墙壁语义上产生更准确的分割结果。为了实现这一目标，在本实施例中对属于墙壁语义的像素采用了比其他语义更大的优化权重，并引入墙壁语义像素与非墙壁语义像素的权重η_w和η_nw，公式(5)重新表达为公式(6)：

通过语义分割算法，可以获得输入图像的语义分割掩模，通过提取出属于墙壁语义的像素区域，进行后续的自定义颜色替换工作。

在本发明提供的优选实施例中，语义分割模块采用两个优化项来做密集像素级预测，包括一个非边缘敏感的项以及一个边缘敏感的项。因此，像素级语义分割的损失函数可以由边缘敏感分割项损失函数加和非边缘敏感分割项损失函数来表示。在该实施例中采用非边缘敏感分割项的损失函数来激励第七级卷积层的置信图(特征图)，用于感知室内景象的高等级语义，其相应的置信图通过第七卷积层的特征图进行卷积核大小为1×1的卷积操作产生。

发明人在试验中发现，直接由全卷积网络得到的边界分割结果是粗糙的，因此在本发明提供的优选实施例中，采用alpha matting全局采样法对分割结果进行细化。其应用在执行上述第三个步骤之前，通过alpha matting全局采样方法对分割掩膜图像中的区域边缘进行优化，具体包括如下过程：

基于分割掩膜图像，提取某区域的二进制掩膜，并通过转换获得该区域的三元图(trimap)；

将分割掩膜图像的RGB空间转换为HSV颜色空间；

将该区域边缘附近的像素设置为未知像素，将分割掩膜图像其它区域的像素设置为前景像素或背景像素；

上述第一和第二个子步骤的执行顺序不分先后。

在一个具体示例中，获得一张室内景象图片时，先提取墙体掩膜，该墙体掩膜为二进制掩膜，同时转换RGB颜色空间为HSV颜色空间。为了确保所获得的墙体边缘平滑，根据二进制掩膜生成一个三元图。特别的，墙体边缘附近的像素设置为未知像素，其他像素设置为前景或者背景像素。根据全局采样法，输入像素的色调、饱和度以及明度通过alphamatting计算，可以获得输出像素的色调、饱和度以及明度。获取分割掩膜后，保存到服务器软件本地。同时，使用alpha matting对分割结果进行细化微调。根据用户所设定的RGB值，在HSV空间中，对微调后的室内景象图片结果中的目标墙体像素进行色调与饱和度的替换，亮度信息保持不变。最终获得基于神经网络算法的语义分割程序处理后，进行的用户所指定颜色替换后的室内景象图片结果。

在本发明提供的优选实施例中，还包括在获取图像数据、RGB参数和数据隔离标志位之前对目标图像进行预处理的过程。具体可以是，将一张含有目标墙体的图片数据输入基于神经网络算法的语义分割处理程序时，对其进行大小进行重新调整，使用最近邻插值法将其裁剪为513×513。重新调整大小后的图像作为输入图像数据。

在本发明提供的优选实施例中，还采用两个优化项来做密集像素级预测，包括一个非边缘敏感的项以及一个边缘敏感的项。因此，像素级语义分割的损失函数可以由边缘敏感分割项损失函数加和非边缘敏感分割项损失函数来表示。在该实施例中采用非边缘敏感分割项的损失函数来激励第七卷积层的特征图，用于感知室内景象的高等级语义，其相应的置信图通过第七卷积层的特征图进行卷积核大小为1×1的卷积操作产生。

本发明还提供一个实施例，用于示例性地展示本发明的应用过程，在本实施例中，将本方法应用在一种室内装潢展示系统中，其包括Android手机客户端、服务器软件，服务器软件中具有基于神经网络算法的语义分割处理模型。如图3所示，一个针对含有目标墙体颜色的涂装过程包括：

通过Android手机客户端的手机摄像头获取一张含目标墙体的室内景象图片后，获取服务器软件的IP地址建立链接，并按顺序发送用户设定的RGB参数、数据隔离标志位以及图片数据到服务器软件上。

服务器软件与Android手机客户端建立链接后，按顺序接收由客户端发送的RGB参数、数据隔离标志位以及图片数据。服务器软件根据数据隔离标志位，还原出RGB参数以及图片数据。同时，调用基于神经网络算法的语义分割处理程序进行图片数据的语义分割和颜色涂装处理。还将还原的图片数据保存到服务器指定地址，作为基于神经网络算法的语义分割处理程序的输入数据。

当服务器调用语义分割处理程序并将一张含有目标墙体的图片数据输入语义分割处理程序时，先对其进行大小进行重新调整，使用最近邻插值法将其裁剪为513×513。重新调整大小后的图像作为输入图像数据。对调整大小后的图片数据进行语义分割处理，获得语义分割掩膜。为了确保所获得的墙体边缘平滑，根据二进制掩膜生成一个三元图。然后，使用alpha matting对分割结果进行微调。根据用户所设定的RGB值，在HSV空间中，对微调后的室内景象图片结果中的目标墙体像素(通过调用OpenCV函数库)进行色调与饱和度的替换，亮度信息保持不变。最终获得基于神经网络算法的语义分割程序处理后，进行的用户所指定颜色替换后的室内景象图片结果。涂装完成的室内家居图像数据，由服务器软件发送给Android手机客户端软件，并展示在客户端软件上。

综上所述，本发明提供的一种室内图像语义分割与涂装展示的方法，获取一张包含目标墙体的室内家居图像并发送给服务器，通过服务器软件接收图像数据并且使用基于神经网络算法的语义分割处理程序获得图像数据的特征，根据用户设定的RGB参数值对图像数据中所获得的目标墙体像素进行颜色涂装。涂装完成的室内家居图像数据，由服务器软件发送给Android手机客户端软件，并展示在客户端软件上。本发明提供的方法，和传统的装修建模展示软件相比，区别在于使用了卷积神经网络算法来进行墙体语义标签的像素级预测。在传统的装修建模展示软件中，装修设计经验丰富的设计师通过装修需求者的要求描述以及人工精密计算来对装修环境进行建模。而在本发明中，通过卷积神经网络算法，对目标图像数据进行像素级预测，调用OpenCV函数库对包含墙体语义标签的像素进行颜色自动填充，最终获得目标墙体颜色涂装后结果图，无需大量人力物力参与复杂的建模过程。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (8)

1.一种室内图像语义分割与涂装展示的方法，其特征在于，包括：

基于目标室内场景，获取用户拍摄的图像数据、输入的RGB参数和数据隔离标志位；

根据所获取的数据隔离标志位，通过基于神经网络的语义分割处理模型处理所述图像数据，获得分割掩膜图像；

结合所获取的RGB参数，对该分割掩膜图像进行颜色调节操作，获得结果图像；

所述基于神经网络的语义分割处理模型包括边缘检测模块、语义分割模块和交叉熵损失函数；所述语义分割模块对所述图像数据进行多级卷积操作，所述边缘检测模块在所述语义分割模块的处理过程中对所述图像数据进行拼接操作。

2.根据权利要求1所述的方法，其特征在于，所述语义分割模块包括7级卷积层，和语义分割损失函数；所述边缘检测模块具有边缘损失函数；所述语义分割损失函数与边缘损失函数通过加和再取最小值获得所述交叉熵损失函数；

所述边缘检测模块的处理过程包括：

获取所述语义分割模块中第4级和第5级卷积层的特征图进行拼接操作，获得边缘预测置信图；

将该边缘预测置信图融合到所述语义分割模块的第7级卷积层处理过程中，获得所述分割掩膜图像。

3.根据权利要求2所述的方法，其特征在于，所述边缘损失函数通过式

获得；

所述语义分割损失函数通过式

(6)获得；

所述交叉熵损失函数通过式

获得；

式中，L_edge(f(I；θ))为边缘损失函数，L_seg(f(I；θ))语义分割损失函数，|E₀|为非边缘像素个数，|E₁|为边缘像素个数，

为非边缘敏感置信图，

为边缘敏感置信图，|S_c|表示6类语义中各类的像素个数。

4.根据权利要求2所述的方法，其特征在于，所述的获取所述语义分割模块中第4级和第5级卷积层的特征图进行拼接操作，获得边缘预测置信图包括：

在所述语义分割模块中设置两个卷积核，分别对所述语义分割模块中第4级和第5级卷积层的特征图进行卷积操作，再对该卷积操作后特征图进行拼接操作，获得所述边缘预测置信图。

5.根据权利要求1所述的方法，其特征在于，还具有在执行第三个步骤之前，通过alphamatting全局采样方法对所述分割掩膜图像中的区域边缘进行优化的过程，具体包括：

基于所述分割掩膜图像，提取某区域的二进制掩膜，并通过转换获得该区域的三元图trimap；

将所述分割掩膜图像的RGB空间转换为HSV颜色空间；

将该区域边缘附近的像素设置为未知像素，将所述分割掩膜图像其它区域的像素设置为前景像素或背景像素；

上述第一和第二个子步骤的执行顺序不分先后。

6.根据权利要求1所述的方法，其特征在于，所述的对该分割掩膜图像进行颜色调节操作，获得结果图像包括：

通过HSV颜色空间，对所述分割掩膜图像中的一个或多个区域的颜色进行替换，还对所述分割掩膜图像进行色调、饱和度和明度调节。

7.根据权利要求6所述的方法，其特征在于，还包括在对该分割掩膜图像进行颜色调节操作的过程中，对HSV颜色空间中的亮度通道进行单独控制。

8.根据权利要求1至7任一所述的方法，其特征在于，还包括在获取图像数据、RGB参数和数据隔离标志位之前通过最近邻插值法调整所述目标图像的分辨率的过程。

Images