CN104050722A - 一种图像内容驱动的室内三维场景布局与颜色迁移生成方法 - Google Patents

Abstract

一种图像内容驱动的室内三维场景布局与颜色迁移生成方法，它有五大步骤：一、对室内图像场景数据集中的图像进行预处理，得到每张图像的语义标记图和布局俯视图；二、定义四种布局规则和四种颜色规则，以及布局-颜色规则之间的关联关系；三、对输入图像进行语义分割处理，通过语义标记将输入图像与输入室内三维场景建立关联关系；四、根据布局规则的分布，结合输入图像的布局约束，对室内三维场景进行布局迁移的生成；五、在经过布局迁移的室内三维场景上，根据在颜色规则的分布、布局-颜色规则之间的关联关系，结合输入图像的布局和颜色约束，得到与输入图像颜色风格相似的室内三维场景。它广泛应用于计算机视觉和计算机图形学领域的场景生成。

Description

一种图像内容驱动的室内三维场景布局与颜色迁移生成方法

技术领域

本发明涉及计算机视觉和计算机图形学领域，具体地说是涉及一种图像内容驱动的室内三维场景布局与颜色迁移生成方法。

背景技术

三维场景建模与生成一直是计算机图形学领域的重要问题，它具有广泛的应用背景，如动画生成、电影制作、室内设计、军事仿真等。其中将三维场景建模与变形技术应用于室内设计领域，对当前社会产生了不容忽视的经济效益和社会效益，为人们的生活带来了更快更便捷的信息和更加丰富多彩的精神享受。例如，人们在购置家居时，希望能装修出满足自己喜好的室内风格效果。对于非室内设计专业的人士来说，描述一种具体的室内风格显然是有些困难的，但是人们可以在网络的海量图像数据中，选择自己喜欢的室内风格，借助于三维场景建模与变形技术，生成一个具有这种风格的三维场景。这种基于图像的三维场景风格建模既可以更快的满足人们的需求，同时又能更便捷的满足人们提出的各种修改意见，它与基于图像的三维场景建模非常类似。基于图像的三维场景建模是计算机视觉和计算机图形学领域基础而重要的问题。目前很多学者致力于该领域的研究，如2009年香港科技大学的Xiao等人提出了街景建筑的建模，2011年国防科技大学的Xu等人提出了对称性物体的建模，2012年中科院深圳先进技术研究院的Nan等人提出了室内场景的建模。虽然基于图像的三维场景建模已经取得了相当的进展，但是本发明涉及的是室内场景风格的变形，是一种风格的建模而不是场景的建模，传统的基于图像的三维场景建模不能解决本发明所涉及的问题。

为了进行室内场景风格的变形，本发明首先需要明确什么是室内场景的风格。在计算机领域，目前还没有学者对室内场景风格进行描述和量化。根据室内设计人员的专业建议，室内场景的风格主要包括两个组成部分，即场景中的家具布局和场景的颜色搭配。本发明从这两个方面着手进行室内场景风格的研究。2011年加州大学洛杉矶分校的Yu等人提出了一种三维场景中家具自动摆放的算法，2011年斯坦福大学的Merrell等人提出了一种室内设计规则指导下的交互式家具摆放系统，2012年斯坦福大学的Fisher等人提出了一种基于样例的物体摆放生成系统。这些布局方面的工作，均需要一个三维的室内场景数据库作为训练集，而搭建这样的数据库是非常耗时耗力的。在颜色学习方面，2011年多伦多大学的O’Donovan等人提出了一种颜色兼容性理论，对颜色的各个参数进行了详细的分析；2012年，北京航空航天大学的Chen等人提出了一种基于结构特征保持的编辑传播方法，该方法能够根据参考图像对目标图像进行颜色转换，使得目标图像具有和参考图像一致的颜色特征。这些工作虽然涉及到了颜色的转换，但是没有涉及到颜色与室内场景风格的关系。

以上这些研究现状表明，目前对于室内布局或者颜色的研究，都没有涉及到场景风格，并且这两个方面的研究没有统一到一个框架下，而是单纯的某一个方面的研究，同时三维数据库的构建不是一件轻松的任务。由此本发明利用网络上的海量图像数据作为训练数据集，学习得到室内风格的布局和颜色规则，利用这些规则，将一个给定的室内三维场景风格变形，使得变形后的三维场景具有和输入图像相似的场景风格。

发明内容

1)目的：根据上述需求，为了克服现有技术的不足，本发明的目的在于提供一种图像内容驱动的室内三维场景布局与颜色迁移生成方法，它是利用图像数据集，学习室内场景风格规则，从布局和颜色两个方面，将给定的室内三维场景风格变形为输入图像的场景风格。

2)技术方案：为完成发明目的，本发明采用的技术方案是：

一种图像内容驱动的室内三维场景布局与颜色迁移生成方法，该方法包含以下步骤：

步骤一：对室内图像场景数据集中的图像进行预处理，包括：人工标注语义信息，得到每张图像的语义标记图；人工标注布局信息，得到每张图像的布局俯视图。

步骤二：定义四种布局规则和四种颜色规则，在训练图像数据集上学习得到四种布局规则的分布和四种颜色规则的分布，以及布局-颜色规则之间的关联关系。

步骤三：对输入图像进行语义分割处理，通过语义标记将输入图像与输入室内三维场景建立关联关系；提取输入图像自身的布局约束和颜色约束，作为室内三维场景布局和颜色迁移时的先验约束。

步骤四：根据布局规则的分布，结合输入图像的布局约束，对室内三维场景进行布局迁移的生成，使得室内三维场景具有与输入图像相似的布局风格。

步骤五：在经过布局迁移的室内三维场景上，根据在颜色规则的分布、布局-颜色规则之间的关联关系，结合输入图像的布局和颜色约束，对室内三维场景进行颜色迁移，得到与输入图像颜色风格相似的室内三维场景。

其中，步骤二中所述的“在训练图像数据集上学习得到四种布局规则”，分别是：第一项是室内物体的位置关系，第二项是室内物体对之间的相互关系，第三项是室内物体朝向关系，第四项是室内物体可接触关系。在训练数据集中每一张训练图像有两种基准图，一张语义标记图和一张布局标记俯视图。利用布局标记俯视图学习得到室内场景布局分布的四项规则。由于语义标记图是侧视图，可以辅助布局规则的学习。

其中，步骤二中所述的“在训练图像数据集上学习得到四种颜色规则”，分别是：单一颜色风格分布规则、类似颜色风格分布规则、对比颜色风格分布规则、黑白灰颜色风格分布规则。由专业室内设计人员将训练数据集中的图像进行这四类颜色风格的划分，构成四个颜色风格的集合。在每个集合上，学习该类的色调、亮度的参数分布规律，形成该类颜色风格的模板。

其中，步骤二中所述的“布局-颜色规则之间的关联关系”是利用训练图像的语义标记图和布局标记俯视图，学习布局-颜色规则，具体来说，是布局-单一颜色风格规则，布局-类似颜色风格规则，布局-对比颜色风格规则，布局-黑白灰颜色风格规则。

其中，步骤三中所述的“对输入图像进行语义分割处理”,是本发明针对室内场景图像而提出的一种语义标记算法。具体实现过程是：从训练图像数据集中提取出每种语义类别的形状模板。每一类模板具有自己的由伽波滤波器响应值构成的特征向量。对输入的室内场景图像，本发明对图像进行过分割处理得到超像素集合，将图像分成N*M个小方块构成块集合，利用目前较成熟的室内平面朝向估计算法得到图像每个像素的平面朝向标记。选择语义类别模板，计算模板的特征向量和图像方块特征向量的差异值，取差异值最小的方块作为最显著区域。结合超像素边界和朝向标记，得到语义类别的准确标记。

其中，步骤三中所述的“通过语义标记将输入图像与输入室内三维场景建立关联关系”是指根据图像的语义标记得知图像中的语义类别，给定的室内三维场景中存在各种语义类别已知的物体，由此可知输入图像和三维场景的语义类别对应关系。同时由图像的语义标记还可得知对象的轮廓边界，为三维场景布局风格变形做准备。

其中，步骤三中所述的输入图像自身的布局约束，是指提取图像场景中显著物体的距离约束，如柜子在床的左边相距3米处；所述的输入图像自身的颜色约束，是指在HSV颜色空间中，提取图像所有像素H通道的颜色值，利用K聚类算法得到图像H通道的颜色类别，由此得到图像自身的主色调分布，为三维场景颜色风格变形做准备。

其中，步骤四中所述的室内三维场景布局的迁移，是指将输入图像的布局风格迁移到室内三维场景上。其过程如下，首先构建布局风格的能量函数，能量项由布局的四项规则构成；在此函数模型上，利用马尔科夫链蒙特卡洛采样算法在解空间中进行采样，根据Metropolis-Hastings规则，依概率地接受布局状态的变化,直到得到布局最优解，即三维场景中每个物体的布局位置。

其中，步骤五中所述的“对室内三维场景进行颜色迁移”，是指将输入图像的颜色风格迁移到三维场景上。其过程如下，建立图像和三维场景的语义对应关系，构建颜色风格的能量函数，能量项包括图像和三维场景中相同语义类别的颜色一致性，三维场景整体颜色分布的一致性，三维场景颜色分布与颜色风格模板的一致性，三维场景物体颜色分布与布局的关联关系；在此函数模型上，利用共轭梯度算法求解得到三维场景中每一个物体的颜色值。

3)优点及功效：与现有的技术相比，本发明有益的特点是：

1、本发明首次定义了室内场景风格，包括布局风格和颜色风格。

2、本发明以专业的室内场景图像数据集做训练集，学习布局规则、颜色规则和布局-颜色规则。

3、本发明是一种利用输入图像风格特征作为约束，结合学习得到的规则，对室内三维场景进行风格迁移的方法。

4、本发明提出了一种新颖的室内场景风格颜色迁移算法。

附图说明：

图1是整体流程说明图；

图2是本发明的语义标记算法说明图；

图3是训练图像的语义标记图和布局标记俯视图；

图4是布局规则示意图；

图5是四种颜色风格色调分布示意图；

图6是四种颜色风格下布局-颜色分布示意图。

图中符号说明如下：

O_i：对象i的中心点；

O_j：对象j的中心点；

d_i：对象i的对角线距离；

Oa_i1：可接触空间的中心点；

Oa_j1：可接触空间的中心点；

da_j1：可接触空间的对角线距离。

具体实施方式：

下面结合附图对本发明作详细说明。

见图1，一种图像内容驱动的室内三维场景布局与颜色迁移生成方法，该方法包含以下步骤：

步骤一：对室内图像场景数据集中的图像进行预处理，包括：人工标注语义信息，得到每张图像的语义标记图；人工标注布局信息，得到每张图像的布局俯视图。

步骤二：定义四种布局规则和四种颜色规则，在训练图像数据集上学习得到四种布局规则的分布和四种颜色规则的分布，以及布局-颜色规则之间的关联关系。

步骤三：对输入图像进行语义分割处理，通过语义标记将输入图像与输入室内三维场景建立关联关系；提取输入图像自身的布局约束和颜色约束，作为室内三维场景布局和颜色迁移时的先验约束。

步骤四：根据布局规则的分布，结合输入图像的布局约束，对室内三维场景进行布局迁移的生成，使得室内三维场景具有与输入图像相似的布局风格。

步骤五：在经过布局迁移的室内三维场景上，根据在颜色规则的分布、布局-颜色规则之间的关联关系，结合输入图像的布局和颜色约束，对室内三维场景进行颜色迁移，得到与输入图像颜色风格相似的室内三维场景。

本发明提供了一种图像内容驱动的室内三维场景布局与颜色迁移生成方法，该方法根据图像数据集，学习室内场景风格规则，从布局和颜色两个方面，将输入图像场景的布局和颜色风格迁移到室内三维场景上，使得室内三维场景具有与输入参考图像相似的风格。总体流程如图1所示：对输入图像进行语义分割处理，通过语义标记将输入图像与输入室内三维场景建立关联关系，其中室内三维场景中的物体是任意摆放的；提取输入图像自身的布局约束和颜色约束，作为室内三维场景风格迁移时的先验约束；根据在训练图像数据集上学习得到室内场景的布局分布规则，结合输入图像的布局约束，对三维场景进行布局风格迁移，使得室内三维场景具有输入图像的布局风格；在布局迁移后的三维场景上，根据在训练图像数据集上学习得到室内场景的颜色分布规则、布局与颜色之间的规则，结合输入图像的布局和颜色约束，对三维场景进行颜色风格的迁移，最终得到的具有输入图像布局和颜色风格的室内三维场景。

根据上述总体流程，本发明首先对输入图像进行语义标记处理，为了与三维场景中的物体建立起对应语义关系。由于目前现有的语义标记算法主要是针对室外场景图像的，没有适用于室内场景图像的，因此本发明提出了一种针对室内场景图像的语义标记算法。对于室内场景的物体来说，物体形状对物体类别的识别是一个非常重要的特征。本发明对于输入图像进行三种处理，将图像分为N*M个小长方块即块集合，其中N为35，M为50，用过分割算法将图像分解成超像素集合，利用现有的算法估计图像每个像素的平面朝向，如所图2所示。在平面朝向标记图中，箭头的方向代表了该区域的朝向。然后对每一语义类别，例如床这一类别，利用该类别的形状模板，在图像的块集合中匹配床的最显著区域，显著区域包含若干块。本发明利用伽波滤波器响应值构成的特征向量，形状模板和每个块区域都具有自己的特征向量，计算特征向量的欧氏距离，具有最小距离的即最显著区域。在该区域中，利用超像素边界和像素的朝向标记，进一步优化该区域的范围，形成床的粗略轮廓区域，以此轮廓区域再次在整个图像上匹配最显著区域，以特征向量差值最小的区域作为最终的床区域，该区域的像素标记为床。当所有类别都执行此操作之后，即得到图像的语义标记结果。

在训练数据集中，本发明为每一张训练图像人工标记了两种基准图，一张语义标记图和一张布局标记俯视图，如图3所示。语义标记图不仅能用来提取语义类别的形状模板，而且由于语义标记图是侧视图，可以辅助布局规则的学习，能够体现出室内布局中上下位置对象之间的相对关系。俯视图能够呈现出物体之间的前后左右位置关系，是本发明的布局规则学习最重要的依据。在人手标定俯视图时，为了方便布局规则的学习，默认将俯视图标定为800*600像素大小，在此分辨率级别上，根据专业人员知识来标定场景中的物体位置。语义标记图和布局标记俯视图中，相同的语义类别用相同的颜色来可视化，由此建立这两张基准图的语义对应关系。

利用布局标记俯视图来学习室内场景布局分布规则。根据室内设计人员的专业知识，本发明定义了四项规则，第一项是室内物体的位置关系。室内物体的摆放不是任意的，它们的位置都有一定的关系，例如，床一般摆放在室内中部位置，而柜子一般摆放在室内靠边的位置。因此本发明在布局标记俯视图上统计不同类别物体的位置分布，以此作为位置先验值。将布局标记俯视图分为24*32大小的块集合，学习每一类语义对象其中心点位置在每一个块区域里的分布频率，如图4所示的中心点位置频率可视化结果，这里只显示了4种语义类别的位置分布，区域颜色越深表明该类物体中心点在此区域内的频率越大。可以看到，床的中心位置分布尤其明显。根据以下公式计算每一类别对象的位置先验值，其中k是布局标记俯视图中块的数量，f(patch_i)是该类对象中心点位置在每一个块i中的频率。ε是频率阈值，在实际操作中，大于该阈值的频率才被计算在内，否则，认为是零。

$T_{\mathrm{mean}}=\frac{1}{k}\underset{1}{\overset{k}{\mathrm{\Σ}}}f\left({\mathrm{patch}}_i\right),f\left({\mathrm{patch}}_i\right)>\mathrm{\ϵ}$

布局分布规则第二项为室内物体对之间的相互关系。室内场景中的物体，其语义关联关系非常密切，例如，床旁边经常会摆放床头柜，桌子的旁边一般会摆放椅子。因此，这种语义关联关系，能够对布局起到一定的辅助作用。不失一般性的，本发明统计7种语义类别对之间的位置分布规律，这7种语义类别对代表了室内场景中主要的语义关联关系，分别是床和床头柜的关系，床和柜子的关系，床和电视机的关系，床头柜和床头灯的关系，桌子和椅子的关系，桌子和沙发的关系，桌子和镜子的关系，如图4所示。本发明统计语义关系对的对象之间中间点位置的距离，利用这种距离来表示语义类别对的关联关系。在一张布局标记俯视图中，同一个语义类别有可能存在多个对象，例如，一张图像中存在两个椅子和两个桌子，椅子A和桌子A是一对，椅子B和桌子B是一对。这时候仅根据语义类别来统计他们的关系会造成误差，因为椅子A和桌子B在语义上是有关系的，但是它们的距离关系却不是本发明想统计的。因此本发明使用了k聚类算法，将相同的语义类别对的多个样本做聚类，以聚类的中心点作为该语义类别对C_i和C_j相互关系的均值T_dis(C_i,C_j)，这样就能够将上述这种情况分为两种，即椅子A和桌子A，椅子B和桌子B。

布局分布规则第三项为室内物体朝向关系，即统计单个物体的朝向分布规律。由于提取图像中对象的朝向角度是非常难的一个工作，而室内场景中的物体多数是靠在墙边紧贴着墙，或者面对着墙与墙呈现90°的夹角，因此本发明计算物体与四面墙的距离，以物体到距它最近的一面墙的距离作为它的朝向。对于经常紧贴着墙的语义类别，如床，本发明统计床的哪一边是靠着墙的；对于在室内场景中位置较随意的语义类别，如椅子，本发明则不仅统计哪一边靠近墙还要统计这个边到墙的距离。这第三项规则也存在着和第二项规则一样的问题，即多个相同语义类别的对象引起的样本数据噪声，本发明仍然利用k聚类算法，得到聚类中心点作为语义类别C的朝向均值T_wall(C)。

布局分布规则第四项为室内物体可接触关系。两个物体的布局需要满足空间约束，即两个物体的中心距离差要大于这两个物体对角线距离之和。在实际中，不同物体之间需要预留出一定的空间，例如，沙发和茶几之间，桌子和椅子之间需要一定的距离，否则这种摆放就是不合理的。本发明在一个物体的四周预留出可接触的空间距离，空间距离定义为一个人的空间宽度。以O_i表示对象i的中心点，对象对角线距离为d_i，以Oa_i表示可接触空间的中心点，可接触空间的对角线距离为da_i，如图4所示，以O_i到边的距离中心点作为Oa_i,每个物体都有四个可接触空间中心点，每个Oa_i到其对应可接触空间的对角直线距离作为da_i，以虚线表示。当两个物体最大限度的接近时，d_i，da_j1和||Oa_i1-Oa_j1||构成一个三角形。由此，空间约束条件转化为两个物体的可接触空间中心距离差要大于这两个物体可接触空间对角线之和。

在统计学习得到布局规则后，本发明根据输入图像的布局约束，对三维场景做布局风格迁移。本发明根据室内设计人员的专业知识，人为指定输入图像中的显著物体的位置和距离，以此作为先验布局约束，由于场景内每个物体都有很多种布局的可能性，因此造成了布局的解具有多样性。为了求解最优的布局解，本发明采用了一种基于马尔科夫链蒙特卡洛采样算子的随机优化方法，建立布局概率模型，根据Metropolis-Hastings规则最小化能量函数。能量函数的定义如下，其中S是当前布局状态,是三维场景中每个物体的位置坐标集合，x_i和y_i是物体i的坐标，t是场景中物体的个数。本发明只考虑水平面的坐标，对于空间中的垂直位置关系没有考虑，因此默认z轴坐标为0，即所有物体都摆放在地面上。

P(S)＝exp(-βE(S))，S＝{(x_i,y_i)|i＝1...t}

P(S)是当前状态的概率值，E(S)是当前状态的能量。根据Metropolis-Hastings规则，每次迭代都会从当前状态依概率产生一个新的状态，对这种可能的状态变化，依概率的确定是否接受或者拒绝，接受概率为α(S→S^*)。每次接受新状态时都将新状态保存在解集合中，直到迭代终止，取解集合中的最优解作为最终布局解。

$\mathrm{\α}(S\→S^{*})=\min (1,\frac{P\left(S^{*}\right)}{P\left(S\right)})$

本发明定义E(S)由四项布局规则对应的能量项构成，

$E\left(S\right)={\mathrm{\λ}}_1\underset{i}{\mathrm{\Σ}}{E}_{\mathrm{pl}}\left(i\right)+{\mathrm{\λ}}_2\underset{i,j}{\mathrm{\Σ}}{E}_{\mathrm{pr}}(i,j)+{\mathrm{\λ}}_3\underset{i}{\mathrm{\Σ}}{E}_{\mathrm{or}}\left(i\right)+{\mathrm{\λ}}_4\underset{i,j,k}{\mathrm{\Σ}}{E}_{\mathrm{acc}}(i,j),$

$E_{\mathrm{pl}}\left(i\right)=\underset{i}{\mathrm{\Σ}}\max (0,T_{\mathrm{mean}}-\mathrm{mean}\left(i\right))$

$E_{\mathrm{pr}}(i,j)=\underset{i,j}{\mathrm{\Σ}}\left|\right|\mathrm{dis}(i,j)-T_{\mathrm{dis}}(i,j)\left|\right|$

$E_{\mathrm{or}}\left(i\right)=\underset{i}{\mathrm{\Σ}}\left|\right|{\mathrm{dis}}_{\mathrm{wall}}\left(i\right)-T_{\mathrm{wall}}\left(i\right)\left|\right|$

$E_{\mathrm{acc}}(i,j)=\underset{i}{\mathrm{\Σ}}\underset{j}{\overset{t}{\mathrm{\Σ}}}\underset{k}{\mathrm{\Σ}}\max (\mathrm{0,1}-\frac{\left|\right|O_i-O{a}_{\mathrm{jk}}\left|\right|}{d_i+d{a}_{\mathrm{jk}}})$

E_pl是位置关系的能量项，E_pr是语义类别对关系的能量项，E_or是朝向关系能量项，E_acc是可接触关系能量项。在E_pl中，是对象i在当前状态S下所在位置的概率值，k是对象i所占的块个数。T_mean是对象i所属语义类别的位置先验值，是在训练集布局标记俯视图上统计学习得到的。在E_pl中，T_dis(i,j)是对象i和对象j所属语义类别对的距离先验值，dis(i,j)是当前状态下i和j的欧式距离，根据它们中心点的坐标来计算。在E_or中，dis_wall(i)是i的中心点到它最近墙的垂直直线距离，T_wall(i)是i所属语义类别的朝向均值。E_acc作为一个惩罚项，用来惩罚对象i和对象j距离太过于接近的情况，其中k＝4，是可接触空间中心点的个数。在当前状态下，随机选择对象并变动对象的布局来产生新的状态。随机变动物体的布局，包括物体坐标的平移、交换两个物体的位置两种情况。其中坐标的平移根据以下公式来计算，正负号是随机选择的，增量参数△服从正态分布，步伐调节参数δ根据当前状态的能量值而确定，起到加快迭代收敛的作用，β₁和β₂是阈值。

(x_i,y_i)→(x_i±δ△x,y_i±δ△y)，△x,△y～N(0,σ²)

$\mathrm{\&delta;}=\left\{\begin{array}{c}\mathrm{\&delta;},E\left(S\right)>{\mathrm{\&beta;}}_1\\ 0.5\mathrm{\&delta;},{\mathrm{\&beta;}}_2\&le;E\left(S\right)\&le;{\mathrm{\&beta;}}_1\\ 0.25\mathrm{\&delta;},E\left(S\right)<{\mathrm{\&beta;}}_2\end{array}\right.$

在颜色风格方面，本发明首先请室内设计专业人员将训练图像数据集划分为四种颜色风格子集，即单一颜色风格、类似颜色风格、对比颜色风格和黑白灰颜色风格。从色调、饱和度、亮度、色温四个参数上来统计学习每一类的规则。由于在饱和度、色温属性上没有什么明显的规律，本发明主要针对色调和亮度两个参数来统计学习。

本发明学习了四种颜色风格的色调模板，每一种色调模板必须满足这样的约束条件，即每一张训练图像的色调分布至少占色调模板扇形区域的80％，才能认为该色调模板具有该类颜色风格的代表性。如图5所示，单一颜色风格训练图像的H通道颜色在色调环上的分布是一个紧凑的小扇形区域，呈“i”型；与单一颜色风格的分布相比，类似颜色风格的分布呈现一个角度较大的扇形区域，记作“V”型；对比颜色风格中，H通道的颜色分布呈现角度相对的两个区域，并且这两个区域之间的角度有多种类型，本发明将其归为“I”、“Y”、“L”和“X”型。在黑白灰颜色风格中，其色调分布非常接近于色调环的中心。本发明提取色调环扇形区域的角度来作为每种颜色风格的色调模板。“i”型扇形区域的角度占整个色调环的5.4％，即19.5°；“V”型扇形区域的角度占整个色调环的12％，即43.16°；“X”型扇形区域的角度占整个色调环的14％，即50.48°，且它的两个区域的夹角为157.35°；在“Y”型扇形区域中，较大的那个扇形占14％，为51.79°，较小的那个扇形占6.7％，为24.09°，这两个扇形区域之间的夹角为158.46°；“I”占6％，为21.82°，两个扇形区域之间的夹角为165.46°；“L”占13.7％，为49.14°，两个扇形区域之间的夹角为93.6°。

根据室内设计人员的专业知识，在室内场景中亮度的分布呈现区域阶梯式变化，例如从天花板到墙面到地板，亮度递增或递减。因此本发明在语义标记图的基础上，统计训练集图像四个区域的亮度分布，分别是天花板区域、墙面区域、家具区域和地板区域。由于四种颜色风格的亮度分布基本上没有差异，因此在亮度上，只按照区域来统计。根据统计，本发明发现了这样的亮度分布规则，即天花板亮度最大，地板亮度最小，墙的亮度大于家具的亮度，即I_ceiling>I_wall>I_furniture>I_floor。对于每一个区域，本发明统计每个区域在LAB颜色空间中的亮度均值，得到I_ceiling:I_wall:I_furniture:I_floor＝61:53:41:30

在各自获得布局规则和颜色规则之后，本发明还将布局和颜色联合起来考虑，学习布局-颜色的分布规则。根据室内设计人员的专业知识，布局安排和颜色分布是具有一定的相关性。本发明利用语义标记图和布局标记俯视图，来学习布局-颜色规则，具体来说，是布局-单一颜色风格规则，布局-类似颜色风格规则，布局-对比颜色风格规则，布局-黑白灰颜色风格规则。在每一类中，统计任意两个类别的对象之间距离差异和颜色差异。如图6所示,以布局-对比颜色风格为例，横轴表示两个对象中心点的距离差值，纵轴表示两个对象在色调环上的角度差，即它们在颜色分布上的差异。对于对象i和对象j，距离差值是根据max((x_i-x_j)/W,(y_i-y_j)/H)计算的，其中W和H是房间的宽度和长度。对于对象i和墙，对象i到四面墙的距离均以它到最近墙的距离来代表。颜色角度差是根据(h_i-h_j)/360°计算的，其中h是对象的颜色均值在色调环上的角度。由于色调环是连续的圆环，颜色角度差为0.2和颜色角度差为-0.8是相同的，所以本发明对于负数角度差都加1。在纵轴上，0和1表示同样的颜色差，0.5表示差异很大的颜色差。本发明将可视化图分为15个区域(纵轴三等分，横轴五等分)，统计每种语义类别对(C_i,C_j)在每个区域r中的分布频率P_r(C_i,C_j)。在中，本发明只可视化了四种语义类别对的布局-颜色分布，这四类的分布分别体现了距离近且颜色差异小(床，墙)，距离近而颜色差异大(墙，门窗)，距离远而颜色差异小(床头柜，桌子)，距离远且颜色差异大(椅子，镜子)的规则。

在布局风格迁移后的三维场景上，根据输入图像的颜色风格对三维场景进行颜色风格迁移。对于参考图像，提取它的颜色风格作为约束，以m₁表示输入图像img中的物体个数，以m₂表示三维场景3D中的物体个数。三维场景的重着色是利用优化算法为场景中的每个物体选择一个合适的颜色，使得三维的颜色风格即满足输入图像的颜色约束，又能保持其原本的颜色局部关系，同时还能满足学习得到的颜色规则。本发明定义能量函数如以下公式所示，其中E₁是图像和三维场景中语义对应关系的能量项，尽量使得三维场景中的物体与图像中的对应物体颜色相似，i是在输入图像和三维场景中共同存在的物体，h_i是三维场景中对象的色调均值，C_i是输入图像中对应对象的色调均值。E₂是用来保持整个三维场景色调分布协调的能量项，即保持对象i与其邻居j之间的色调局部线性关系，w_ij是邻居j在局部线性关系中的权重。E₃是最小二乘能量项，用来调整三维场景中每个对象的色调，使得三维场景颜色分布的色调环扇形符合颜色风格模板的扇形区域，s是扇形区域边的数量。对于颜色风格模板，本发明首先将它旋转，使得它的扇形区域能够尽可能的覆盖住三维场景的色调扇形区域。然后将三维场景的扇形区域边与模板扇形区域的边做对应，调整三维场景扇形区域的边使其旋转至模板扇形区域边的位置。当存在没有建立对应关系的物体时，即某个三维场景中的物体类别不存在于输入图像中时，由于该类物体没有参考的颜色，根据E₄来调整该类物体的色调。例如，对于三维场景中没有参考颜色的对象i，根据布局-颜色规则和对象i的位置，选取三维场景中具有参考颜色的对象j₁,j₂...j_k，并且对象i和对象j在布局-颜色规则中具有较高的频率。对于每一种组合(i,j_k),根据这组对象在三维场景中的距离差确定它们的色调差异值△h(i,j_k)，由此确定在这种组合下对象i的参考颜色H_i为(h(j_k)+△h(i,j_k))％360°。

E＝α₁E₁+α₂E₂+α₃E₃+α₄E₄

$E_1=\underset{i\&Element;\mathrm{img}\&cap;3D}{\mathrm{\&Sigma;}}{(h_i-C_i)}^2$

$E_2=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{(h_i-\underset{j\&Element;N_i}{\mathrm{\&Sigma;}}{w}_{\mathrm{ij}}{h}_j)}^2$

$E_3=\underset{i=1}{\overset{s}{\mathrm{\&Sigma;}}}{(h_i^l-H_t^{\mathrm{edge}})}^2$

$E_4=\underset{i\&Element;3D-\mathrm{img}}{\mathrm{\&Sigma;}}{(h_i-H_i)}^2$

α₁、α₂、α₃和α₄是各能量项的调节系数，在本发明中分别为0.5、0.8、4.5和0.7。当构建颜色风格的能量函数后，利用共轭梯度算法求解得到每一个物体的颜色值。至此，即得到了具有输入图像风格特征的室内三维场景。

以上所述仅为本发明的一些基本说明，依据本发明的技术方案所做的任何等效变换，均应属于本发明的保护范围。

Claims (9)

1.一种图像内容驱动的室内三维场景布局与颜色迁移生成方法，其特征在于：该方法包含以下步骤：

步骤一：对室内图像场景数据集中的图像进行预处理，包括：人工标注语义信息，得到每张图像的语义标记图；人工标注布局信息，得到每张图像的布局俯视图；

步骤二：定义四种布局规则和四种颜色规则，在训练图像数据集上学习得到四种布局规则的分布和四种颜色规则的分布，以及布局-颜色规则之间的关联关系；

步骤三：对输入图像进行语义分割处理，通过语义标记将输入图像与输入室内三维场景建立关联关系；提取输入图像自身的布局约束和颜色约束，作为室内三维场景布局和颜色迁移时的先验约束；

步骤四：根据布局规则的分布，结合输入图像的布局约束，对室内三维场景进行布局迁移的生成，使得室内三维场景具有与输入图像相似的布局风格；

步骤五：在经过布局迁移的室内三维场景上，根据在颜色规则的分布、布局-颜色规则之间的关联关系，结合输入图像的布局和颜色约束，对室内三维场景进行颜色迁移，得到与输入图像颜色风格相似的室内三维场景。

2.根据权利要求1所述的一种图像内容驱动的室内三维场景布局与颜色迁移生成方法，其特征在于：步骤二中所述的“在训练图像数据集上学习得到四种布局规则”，分别是：第一项是室内物体的位置关系，第二项是室内物体对之间的相互关系，第三项是室内物体朝向关系，第四项是室内物体可接触关系；在训练数据集中每一张训练图像有两种基准图，一张语义标记图和一张布局标记俯视图，利用布局标记俯视图学习得到室内场景布局分布的四项规则，语义标记图是侧视图，辅助布局规则的学习。

3.根据权利要求1所述的一种图像内容驱动的室内三维场景布局与颜色迁移生成方法，其特征在于：步骤二中所述的“在训练图像数据集上学习得到四种颜色规则”，分别是：单一颜色风格分布规则、类似颜色风格分布规则、对比颜色风格分布规则、黑白灰颜色风格分布规则；由专业室内设计人员将训练数据集中的图像进行这四类颜色风格的划分，构成四个颜色风格的集合；在每个集合上，学习该类的色调、亮度的参数分布规律，形成该类颜色风格的模板。

4.根据权利要求1所述的一种图像内容驱动的室内三维场景布局与颜色迁移生成方法，其特征在于：其中，步骤二中所述的“布局-颜色规则之间的关联关系”，是利用训练图像的语义标记图和布局标记俯视图，学习布局-颜色规则，具体来说，是布局-单一颜色风格规则，布局-类似颜色风格规则，布局-对比颜色风格规则，布局-黑白灰颜色风格规则。

5.根据权利要求1所述的一种图像内容驱动的室内三维场景布局与颜色迁移生成方法，其特征在于：步骤三中所述的“对输入图像进行语义分割处理”,是针对室内场景图像而提出的一种语义标记算法；具体实现过程是：从训练图像数据集中提取出每种语义类别的形状模板，每一类模板具有自己的由伽波滤波器响应值构成的特征向量，对输入的室内场景图像进行过分割处理得到超像素集合，将图像分成N*M个小方块构成块集合，利用室内平面朝向估计算法得到图像每个像素的平面朝向标记；选择语义类别模板，计算模板的特征向量和图像方块特征向量的差异值，取差异值最小的方块作为最显著区域，结合超像素边界和朝向标记，得到语义类别的准确标记。

6.根据权利要求1所述的一种图像内容驱动的室内三维场景布局与颜色迁移生成方法，其特征在于：步骤三中所述的“通过语义标记将输入图像与输入室内三维场景建立关联关系”是指根据图像的语义标记得知图像中的语义类别，给定的室内三维场景中存在各种语义类别已知的物体，由此可知输入图像和三维场景的语义类别对应关系，同时由图像的语义标记还得知对象的轮廓边界，为三维场景布局风格变形做准备。

7.根据权利要求1所述的一种图像内容驱动的室内三维场景布局与颜色迁移生成方法，其特征在于：步骤三中所述的输入图像自身的布局约束，是指提取图像场景中显著物体的距离约束；所述的输入图像自身的颜色约束，是指在HSV颜色空间中，提取图像所有像素H通道的颜色值，利用K聚类算法得到图像H通道的颜色类别，由此得到图像自身的主色调分布，为三维场景颜色风格变形做准备。

8.根据权利要求1所述的一种图像内容驱动的室内三维场景布局与颜色迁移生成方法，其特征在于：步骤四中所述的室内三维场景布局的迁移，是指将输入图像的布局风格迁移到室内三维场景上；其过程如下，首先构建布局风格的能量函数，能量项由布局的四项规则构成；在此函数模型上，利用马尔科夫链蒙特卡洛采样算法在解空间中进行采样，根据Metropolis-Hastings规则，依概率地接受布局状态的变化,直到得到布局最优解，即三维场景中每个物体的布局位置。

9.根据权利要求1所述的一种图像内容驱动的室内三维场景布局与颜色迁移生成方法，其特征在于：步骤五中所述的“对室内三维场景进行颜色迁移”，是指将输入图像的颜色风格迁移到三维场景上；其过程如下，建立图像和三维场景的语义对应关系，构建颜色风格的能量函数，能量项包括图像和三维场景中相同语义类别的颜色一致性，三维场景整体颜色分布的一致性，三维场景颜色分布与颜色风格模板的一致性，三维场景物体颜色分布与布局的关联关系；在此函数模型上，利用共轭梯度算法求解得到三维场景中每一个物体的颜色值。