CN104794695B - 基于拍照的用于处理三维房屋装修材质的方法 - Google Patents

Abstract

本发明提供了一种基于拍照的用于处理三维房屋装修材质的方法，涉及图像处理和智能装修技术领域。本方法从拍照装修材质图片中裁切出待处理图像，对待处理图像进行亮度校正，对亮度校正后的图像采用所涉及的方法进行色差补偿，以在保证亮度得到校正的情况下，尽量还原出原始图像的颜色；然后根据需要进行常规图像处理，最后将得到的图片用于三维虚拟空间中铺贴。本发明方法使得拍照装修材质图片在三维模拟装修中的应用更加符合实际，以提供给用户更加客观的感受，且不需用户手动操作或仅需用户简单手动操作。

Description

基于拍照的用于处理三维房屋装修材质的方法

技术领域

本发明涉及图像处理和智能装修的技术领域，具体涉及对拍照装修材质图片进行处理。

背景技术

当用户去建材城选装修材料(地板，壁纸，瓷砖等等)或家具的时候，可拿出智能手机或PAD等任何带有摄像头的移动终端，利用它的摄像头对感兴趣的装修材料或家具表面材质进行拍照。对拍照图片进行特殊处理后，就可直接对运行在移动终端的虚拟现实的三维房间进行装修，或更换三维房间里的家具模型的表面材质，用户可根据该材质在三维房间里的展示效果来考虑是否要购买该装修材料或家具。

目前对拍照装修材质图片处理的方式分手动和自动两种处理方式。手动处理方式需要借助专业的图像处理软件由专业人员做修图处理，难度高，效率低下，一般人员无法完成。自动处理方式只能进行一些独立的处理，达到一些独立的效果，例如：对比度增强，锐化，直方图均衡化，亮度校正等等，但是并不能把这些效果针对装修材质很好的融合在一起，即并不能把这些独立的处理形成一条针对装修材质行之有效的处理流程。并且，原始图像在经过传统的亮度校正处理完后，都会跟原始图像有比较大的色差，如果再进行二次亮度校正，则色差更明显。

发明内容

本发明的目的提供一种对拍照装修材质图片进行特殊处理的方法，在一些传统图像处理方法的基础上，加入所提供的色差补偿方法，在保证亮度得到校正的情况下，尽量还原出原始图像的颜色，并且实现了自动处理流程，以使得用户能简单操作即获得一个用于虚拟装修的图片。

本发明提供了一种基于拍照的用于处理三维房屋装修材质的方法，具体步骤为：

步骤1：用户从拍照装修材质图片中裁切出待处理图像；

步骤2：对待处理图像进行亮度校正；

步骤3：对亮度校正后的图像进行色差补偿；

步骤4：将步骤3处理后的图像进一步进行处理，包括锐化、对比度增强、色调调整以及亮度调整；

步骤5：将步骤4处理得到的材质图像用于在三维房屋中进行铺贴展示。

所述的步骤3具体实现方法是：

步骤3.1，设步骤1获得的待处理图像为S，经步骤2亮度校正后的图像为C，将图像S和C都分割为n个m*m像素大小的子图像，n和m均为正整数；

步骤3.2，将图像S和C分别进行局部二值模式特征提取，得到各自的特征图像sLBP和cLBP；对应于步骤3.1划分的子图像，图像cLBP的特征子图像为cLBP_r1,cLBP_r2,…,cLBP_rn，图像sLBP的子图像为sLBP_r1,sLBP_r2,…,sLBP_rn；

步骤3.3，对特征图像sLBP和cLBP的n对子图像进行匹配度计算，找出LBP特征匹配度最大的子图像对，设第i对子图像的匹配度最大；

步骤3.4，将图像S和图像C分别变换到各自的HSV颜色空间中，取图像S在HSV颜色空间的S分量的第i个子图像sHSV[1]_ri，取图像C在HSV颜色空间的S分量的第i个子图像cHSV[1]_ri，根据公式sHSV[1]_ri＝cHSV[1]_ri*T确定变换矩阵T；

步骤3.5，利用变换矩阵T获取色差补偿后的图像，具体是：

设图像D由n个m*m像素的子图像组成，获取图像D在HSV颜色空间的S分量的第x个子图像dHSV[1]_rx＝cHSV[1]_rx*T，x＝1,2,…,n；cHSV[1]_rx为图像C在HSV颜色空间的S分量的第x个子图像；

利用图像C在HSV颜色空间的H分量的第x个子图像和V分量的第x个子图像，以及图像D在HSV颜色空间的S分量的第x个子图像，进行HSV反变换，得到图像D的第x个子图像，x＝1,2,…,n；在获取图像D的第1个子图像到第n个子图像后，将n个子图像组合得到最终图像D。

利用本发明方法，可在保证装修材质图片亮度得到校正的情况下，可更加接近原始图像的颜色，以使得拍照装修材质图片在三维模拟装修中的应用更加符合实际，以提供给用户更加客观的感受。在本发明方法过程中，用户所需要做得操作简单，甚至不需要用户进行手动操作，就能实现用户在一个虚拟现实的三维房间里进行装修并达到一个很好装修效果的目的。

附图说明

图1是本发明基于拍照的用于处理三维房屋装修材质的方法流程示意图；

图2是本发明实施例的裁切出来的材质图像的灰度图；

图3是本发明实施例将图2进行平铺的灰度示意图；

图4是本发明实施例对图2经Retinex增强方法进行亮度校正的灰度图；

图5是采用本发明色差补偿方法对图4处理后的灰度图；

图6是本发明色差补偿方法的流程示意图；

图7是本发明实施例对亮度校正后的图像C进行分割的示意图；

图8是本发明实施例色差补偿后图像D的分割子图像示意图；

图9是本发明实施例对图5进行锐化等经一步处理后的图像；

图10是本发明实施例平铺图9的示意图。

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

装修材料或家具跟其他商品最大区别在于是否是所见即所得，即在购买其他商品的时候主要在意它的功能，并且在购买的时候和放到家里的时候呈现在眼前的商品是一样的，而在购买装修材料的时候，更在意它的体验效果，由于装修材料或家具的颜色和材质种类繁多，受到商品展示场地的限制，无法看到所有颜色和材质的装修材料实际铺贴出来的效果和样子，也无法看到所有颜色和材质的家具，只能看到一小块各种颜色和材质装修材料或家具表面材质。用户只能靠想象它在家里铺贴出来会是什么样子。智能手机或PAD等移动终端已经是每个人的标配，如果能利用每个人随时携带的移动终端把装修材料的实际铺贴效果展示出来必将增强用户的购买欲望和减少用户购买后的失望率，在增强用户的购买体验的同时也必然会大大增加商家的销售量，这对我们国家装修建材行业的发展也会有一个很好的促进作用。

基于上述应用需求，本发明提供了一种基于拍照的用于处理三维房屋装修材质的方法，整体流程如图1所示，下面具体说明各个步骤。

步骤1：用户从拍照装修材质图片中裁切出待处理图像。

用户通过摄像头拍照获取图片，把感兴趣的材质通过手动裁切的方式把它从原始图片中裁出来，在裁切的过程中，用户应尽量选择光照均匀的区域把材质裁切出来。裁切出的图片就是待处理的图片。

但是受用户视觉能力的限制，无法察觉出比较轻微的光照不均现象，即使很轻微的光照不均现象，在把这样的材质大量铺贴到虚拟的三维房间的墙上或地上的时候，也会产生比较明显的暗纹/亮纹现象。实际中不能保证用户是如何裁切的，如果用户比较随意地进行裁切，那么光照不均现象将更加严重，铺贴的时候产生的暗纹/亮纹现象将非常严重。

图2为一幅裁切出来的材质图像。可以看出由于光照不均导致该材质图像的左上角区域有些泛白。图3显示了该材质图在水平方向和垂直方向各平铺八次后的图像，从图上可看出有很多亮纹区域，可以想象出大量铺贴到地板上将会是一个什么样的效果。

步骤2：对待处理图像进行亮度校正。

常见亮度校正方法包括以直方图均衡化法为代表的灰度变换法，梯度域增强方法，基于照明—反射模型的同态滤波法，Retinex增强方法等等。设LightnessCorrect表示亮度校正方法，对待处理图像S处理后得到图像C，公式表示如下：

C＝LightnessCorrect(S) (1)

不管经过何种亮度校正方法处理后，得到的图像与原始图像都会有一定的色差。例如对图2经过Retinex增强方法进行亮度校正后得到图像如图4所示。

步骤3：对亮度校正后的图像进行色差补偿。

为了在亮度校正后的图像中尽量真实地还原出原始图像的颜色，本发明提出一种全新的色差补偿方法。使用色差补偿方法对图4处理，得到如图5所示图片。

本发明的色差补偿方法，实现流程如图6所示，具体实现步骤如下。

步骤3.1，设步骤1获得的待处理图像为S，经步骤2亮度校正后的图像为C，将图像S和C都分割为n个m*m像素大小的子图像，n和m均为正整数。

设图像S分割后得到子图像S_r1～S_rn，图像C分割后得到子图像C_r1～C_rn。如图7所示，为将图像C进行分割的示意图，得到子图像C_r1,C_r2,…,C_rn。图像中子图像的编号方式一致，例如图7，从左上角开始为编号1，从左到右，逐行编号。

步骤3.2，将图像S和C分别进行LBP(Local Binary Pattern，局部二值模式)特征提取，得到各自的特征图像sLBP和cLBP。

对应于步骤3.1划分的子图像，图像cLBP的特征子图像为cLBP_r1,cLBP_r2,…,cLBP_rn，图像sLBP的子图像为sLBP_r1,sLBP_r2,…,sLBP_rn。

步骤3.3，对特征图像sLBP和cLBP的n对子图像进行匹配度计算，找出LBP特征匹配度最大的子图像对。

匹配度的计算公式有很多种，本发明实施例中采用归一化平方差匹配法。

MatchDegree(sLBP_rx,cLBP_rx),x＝1,2,…,n (2)

MatchDegree表示图像匹配度算法，sLBP_rx表示特征图像sLBP的第x个子图像，cLBP_rx表示特征图像cLBP的第x个子图像，x＝1,2,…,n。设经过计算得到第i对子图像的匹配度最大，i为1到n的某个数值。

步骤3.4，确定变换矩阵T。

首先，将待处理图像S和亮度校正后图像C分别进行RGB到HSV的变换，变换到各自的HSV颜色空间，HSV颜色空间的分量包括色调H、饱和度S和亮度V。RGB颜色空间的分量包括红(R)、绿(G)和蓝(B)。

图像S在HSV颜色空间中，H分量的子图像为sHSV[0]_r1～sHSV[0]_rn，S分量的子图像为sHSV[1]_r1～sHSV[1]_rn，V分量的子图像为sHSV[2]_r1～sHSV[2]_rn。同理，图像C在HSV颜色空间，H分量的子图像为cHSV[0]_r1～cHSV[0]_rn，S分量的子图像为cHSV[1]_r1～cHSV[1]_rn，V分量的子图像为cHSV[2]_r1～cHSV[2]_rn。

根据步骤3.3，第i对子图像的匹配度最大，取图像S在HSV颜色空间的S分量的第i个子图像sHSV[1]_ri，取图像C在HSV颜色空间的S分量的第i个子图像cHSV[1]_ri，带入公式(3)利用线性方程组的求解方法或最小二乘法计算出m*m大小的变化矩阵T。

sHSV[1]_ri＝cHSV[1]_ri*T (3)

步骤3.5，利用变换矩阵T获取色差补偿后的图像。

设色差补偿后的图像是D，图像D相应被分解为n个子图像D_r1～D_rn，每个子图像的大小为m*m像素，如图8所示。

设图像D在HSV颜色空间中，H分量的子图像为dHSV[0]_r1～dHSV[0]_rn，S分量的子图像为dHSV[1]_r1～dHSV[1]_rn，V分量的子图像为dHSV[2]_r1～dHSV[2]_rn。

根据公式(4)把T带入，可获得图像D在HSV颜色空间的S分量的n个子图像。

dHSV[1]_rx＝cHSV[1]_rx*T,x＝1,2,…,n (4)

利用图像C在HSV颜色空间的H分量的第一个子图像和V分量的第一个子图像，以及图像D在HSV颜色空间的S分量的第一个子图像，进行HSV反变换，从HSV转换到RGB，得到色差补偿后的图像D的第一个子图像。依次循环，利用图像C在HSV颜色空间的H分量的第x个子图像和V分量的第x个子图像，以及图像D在HSV颜色空间的S分量的第x个子图像，进行HSV到RGB的转换，得到色差补偿后的图像D的第x个子图像。直到得到图像D的第n个子图像后，将得到的图像D的n个子图像组合得到最终图像D。

对比图5和图2、图4，可见图5得到的图像更加接近实际图像。

步骤4：将步骤3处理后的图像进一步进行图像常规处理，包括锐化、对比度增强、色调调整以及亮度调整。

将经过色差补偿后的图像再经过常用的锐化，对比度增强处理后，若需要，再稍微手动调整一下色调和亮度，就可得到很接近原始颜色并具有更加清晰纹理的图像，如图9所示。

步骤5：将步骤4处理得到的材质图像用于在三维房屋中进行铺贴展示。

把图片9在水平方向和垂直方向各平铺八次后得到如图10的图片。对比图10与图3可见，图10所示图像更接近原始图像颜色。

Claims (1)

1.一种基于拍照的用于处理三维房屋装修材质的方法，其特征在于，实现步骤如下：

步骤1：用户从拍照装修材质图片中裁切出待处理图像；

步骤2：对待处理图像进行亮度校正；

步骤3：对亮度校正后的图像进行色差补偿；

步骤4：将步骤3处理后的图像进一步进行处理，包括锐化、对比度增强、色调调整以及亮度调整；

步骤5：将步骤4处理得到的材质图像用于在三维房屋中进行铺贴展示；

所述的步骤3包括步骤3.1～步骤3.5，如下：

步骤3.1，设步骤1获得的待处理图像为S，经步骤2亮度校正后的图像为C，将图像S和C都分割为n个m*m像素大小的子图像，n和m均为正整数；

步骤3.2，将图像S和C分别进行局部二值模式特征提取，得到各自的特征图像sLBP和cLBP；对应于步骤3.1划分的子图像，图像cLBP的特征子图像为cLBP_r1,cLBP_r2,…,cLBP_rn，图像sLBP的子图像为sLBP_r1,sLBP_r2,…,sLBP_rn；

步骤3.3，对特征图像sLBP和cLBP的n对子图像进行匹配度计算，找出LBP特征匹配度最大的子图像对，设第i对子图像的匹配度最大；

利用归一化平方差匹配法计算子图像对的匹配度：

MatchDegree(sLBP_rx,cLBP_rx)，x＝1,2,…,n；

MatchDegree表示图像匹配度算法，sLBP_rx表示特征图像sLBP的第x个子图像，cLBP_rx表示特征图像cLBP的第x个子图像，x＝1,2,…,n；

步骤3.4，将图像S和图像C分别变换到各自的HSV颜色空间中，取图像S在HSV颜色空间的S分量的第i个子图像sHSV[1]_ri，取图像C在HSV颜色空间的S分量的第i个子图像cHSV[1]_ri，根据公式sHSV[1]_ri＝cHSV[1]_ri*T确定变换矩阵T；

步骤3.5，利用变换矩阵T获取色差补偿后的图像D，具体是：

设图像D由n个m*m像素的子图像组成，获取图像D在HSV颜色空间的S分量的第x个子图像dHSV[1]_rx＝cHSV[1]_rx*T，x＝1,2,…,n；cHSV[1]_rx为图像C在HSV颜色空间的S分量的第x个子图像；

利用图像C在HSV颜色空间的H分量的第x个子图像和V分量的第x个子图像，以及图像D在HSV颜色空间的S分量的第x个子图像，进行HSV反变换，得到图像D的第x个子图像，x＝1,2,…,n；在获取图像D的第1个子图像到第n个子图像后，将n个子图像组合得到最终图像D。