CN105809742B - 一种数据驱动的室内场景着色方法 - Google Patents
一种数据驱动的室内场景着色方法 Download PDFInfo
- Publication number
- CN105809742B CN105809742B CN201610139954.XA CN201610139954A CN105809742B CN 105809742 B CN105809742 B CN 105809742B CN 201610139954 A CN201610139954 A CN 201610139954A CN 105809742 B CN105809742 B CN 105809742B
- Authority
- CN
- China
- Prior art keywords
- furniture
- model
- image
- database
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 239000000463 material Substances 0.000 claims abstract description 59
- 238000012549 training Methods 0.000 claims abstract description 19
- 238000009877 rendering Methods 0.000 claims abstract description 7
- 238000004040 coloring Methods 0.000 claims description 47
- 239000003086 colorant Substances 0.000 claims description 19
- 230000011218 segmentation Effects 0.000 claims description 17
- 239000000203 mixture Substances 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 7
- 238000009499 grossing Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 4
- 238000000513 principal component analysis Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 239000003550 marker Substances 0.000 claims description 3
- 239000004576 sand Substances 0.000 claims description 3
- 230000018109 developmental process Effects 0.000 claims 1
- 238000003064 k means clustering Methods 0.000 claims 1
- 238000005303 weighing Methods 0.000 claims 1
- 239000000284 extract Substances 0.000 abstract 1
- 238000002372 labelling Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000008685 targeting Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010230 functional analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Architecture (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种数据驱动的室内场景着色方法，包括建立图像‑模型数据库与纹理数据库；对图像‑模型数据库中每一类家具的3D模型训练模型分类器；提取图像‑模型数据库中家具的颜色主题并建立概率模型；根据建立好的概率模型以及用户输入的颜色主题求解出最优着色方案；使用相应的分类器对输入场景中的每个3D模型进行分割；最后根据得到的着色方案为输入场景中的每个家具赋予相应的材质。
Description
技术领域
本发明属于计算机图形学领域，涉及一种数据驱动的室内场景着色方法。
背景技术
对于一个由多个家具模型组成的室内场景，目前关于模型的布局摆放等问题的研究已经相对成熟，但关于模型家具以及场景的自动着色还没有很好的进展。而一个场景给人最直观的感觉就来源于颜色，因此模型着色对于构建一个美观和谐的三维场景而言是至关重要的。但是对于一般人而言要选择出组合在一起视觉上和谐的颜色是一个繁琐且耗时的任务，就算是专业的室内装饰设计师或艺术家可以根据其丰富的经验以及直觉来选择配色，为模型一个个上色也是件麻烦的事情。
但事实上网络中有着很多设计师设计或摄影师拍摄出来的大量室内场景图像，因此如果能够通过数据驱动的方式，让机器从这些已有的图像中学习，再加上一些用户的指导，就可以为整个场景自动生成赏心悦目且符合用户需求的颜色风格，并自动为模型着色。这样一套方法不仅可以用来模拟生成逼真的室内场景，为装饰设计提供参考，也可以用于游戏场景构建，现实场景模拟等图形方面的应用。
发明内容
发明目的：本发明所要解决的问题是针对现有技术的不足，提供一种数据驱动的室内场景着色方法，从而自动地为室内场景及其中的模型家具进行着色。
技术方案：本发明公开了一种数据驱动的室内场景着色方法，其核心在于为场景中的每个家具求解最优的着色方案，并根据图像对家具网格进行分割，从而给各部分赋予相应的材质，包括以下步骤：
步骤1，建立数据库：收集不同场景的图像、家具3D模型以及材质样本，对收集到的数据进行处理，建立图像-模型数据库与材质数据库；
步骤2，训练分类器：对图像-模型数据库中的每一类家具的3D模型进行特征提取并训练分类器；
步骤3，建立颜色分布概率模型：对图像-模型数据库中的每一类家具的3D模型建立颜色分布概率模型；
步骤4，求解最优着色方案：根据颜色分布概率模型以及用户输入的场景，通过最优化相应能量方程求解最佳着色方案；
步骤5，分割家具3D模型：使用相应类别的分类器对输入场景中的每个家具3D模型进行分割；
步骤6，添加材质：根据最佳着色方案，为每个家具3D模型赋予相应的材质。
其中，步骤1包括以下步骤：
步骤1-1，收集不同场景的图像，将图像分为3个层次：
第1层次为图像所属的场景类别层次，包括客厅，卧室，餐厅，办公室和会议室；
第2层次为家具类别层次，即图像中的每个家具所属类别，如沙发，椅子，桌子，床等等；
第3层次为家具组件层次，对于图像中每个家具因为颜色和材质的不同而分为两个以上部分，如一个椅子可能分为木质的椅子框架和布的坐垫，用不同的标识标记这些部分并记录其材质类别。以上过程通过使用自行编写的软件实现，保存3个层次的图像数据并构建图像数据库；
步骤1-2，收集家具3D模型，将每个家具3D模型与不同场景的图像中相同类别的家具对应起来，构建层级间的关系，对于不同场景的图像中每类家具的每一种分割，所述分割即不同图片中对同一类家具在家具组件层次上的标记结果也可能不同，相同类别的每一个家具3D模型也进行一次相应的标记，即为模型中与图片标记对应的部分的所有三角形赋予相应的标签，完成图像-模型数据库的构建；
步骤1-3，收集材质样本，每个材质样本对应一种材质类别，与图像标记的第3个层次中的材质类别相对应，完成材质数据库的构建。
步骤2包括以下步骤：
步骤2-1，对图像-模型数据库中的每个家具3D模型的每个三角形网格提取局部特征：首先计算曲率(此处曲率指一个三角形网格的两个主曲率，这两个主曲率的乘积为高斯曲率)、PCA特征(Principal Component Analysis，主成分分析，参考文章Learning3d meshsegmentation and labeling)、SDF特征(shape diameter function，形状直径函数，参考文章Consistent mesh partitioning and skeletonisation using the shape diameterfunction)、AGD特征(average geodesic distance，平均测地线距离，参考文章Topologymatching for fully automatic similarity estimation of 3d shapes)、SC特征(shapecontexts，形状脉络，参考文章Shape matching and object recognition using shapecontexts)和spin image特征(旋转图像特征，参考文章Using spin images forefficient object recognition in cluttered 3d scenes)，再以单个三角形的面积作为权重，通过所有三角形的面积之和进行归一化，即：
f为计算出的一种特征，s为该三角形的面积，sum为所有三角形的面积之和，F为归一化后的特征，将上述这些特征组成一个特征向量得到最终的局部特征；
步骤2-2，每个家具3D模型由一系列不连通的组件组成，比如一个椅子的模型通常是由几个组件组成，可以分为椅子背，椅子扶手，椅子座和椅子腿，这些不同的组件相互之间是不连通的，但并不知道每一个组件究竟是什么。使用高斯曲率、SDF特征和AGD特征对每个组件提取全局特征：首先对每个组件的所有三角形计算高斯曲率、SDF特征和AGD特征，然后计算其加权平均值，中位数，方差，偏斜度，峰度，和直方图一起组成特征向量作为衡量该组件的全局特征，其中加权平均值用三角形面积加权。
步骤2-3，根据得到的局部特征和全局特征，以及步骤1-2标记的模型分割结果，使用JointBoost算法(参考文章Sharing Visual Features for Multiclass and MultiviewObject Detection)进行训练，得到图像-模型数据库中对应于每一类家具的用于3D模型分割的分类器。
步骤3包括以下步骤：
步骤3-1，对于图像-模型数据库中标记的每个图像中的家具3D模型，通过k-means(k-均值算法，k取值为50)聚类得到图像的50个颜色，选取最多的5个颜色，使用由这5个颜色组成的集合作为颜色主题来衡量该家具在图像中对应区域的颜色；
步骤3-2，根据图像-模型数据库中的标记的每一类家具的颜色主题，使用高斯混合模型(GMM，Gaussian Mixture Model)构建该类家具的颜色分布概率模型。因单一的GMM不足以表示颜色分布，所以采用5个GMM，每个GMM表示颜色主题5个颜色其中的一项的分布，颜色主题的概率为5个GMM之积。对于在至少一张图像中同时出现的每两个类别不同的家具，构建一个高斯混合模型GMM来描述这两类家具的颜色主题之间的关联关系。该高斯混合模型GMM的输入包含了两类家具的各自颜色主题中的一项。
步骤4包括以下步骤：
步骤4-1，为用户输入的场景构建一个马尔科夫随机场MRF(Markov RandomField)模型，将每个家具3D模型看作该MRF模型的一个节点，图像-模型数据库中相同类别家具的图像的颜色主题则为该节点可能的颜色主题，如果数据库中有图像同时包含输入场景中的两个家具，则这两个家具对应的节点之间有一条边，能量方程表示为：
E＝ED+βES+γEC，
其中ED、ES和EC为三个能量项(下标D、S和C分别表示英文单词data、smooth和constrain)，分别代表数据项、平滑项和用户约束项，β和γ为用于平衡这三项的权重，
数据项ED用于衡量每个家具3D模型的着色方案是否正确，即是否常见，越不常见的颜色主题对应的概率值越小，其计算公式为：
其中Mi表示第i个家具3D模型，i取值为自然数，代表用户输入的场景中的第i个家具3D模型的颜色主题，为该颜色主题输入高斯混合模型得到的概率值；
平滑项ES用于衡量第i个和第j个家具的着色方案的组合是否正确，计算公式为：
其中，代表第j个家具3D模型的颜色主题，为将两个颜色主题和输入描述颜色主题之间关联关系的高斯混合模型得到的概率值；
用户约束项EC用于使整个场景的着色方案与用户输入的颜色主题CU接近，其计算公式为：
Z为归一化因子，用于使用户约束项EC与数据项ED有相同的量级，CUk为颜色主题CU的第k项，CMiq为用户输入的场景中的第i个家具3D模型的颜色主题CMi的第q项。
对于上述能量方程，要求出使其最大化的解是一个高维度，非凸组合优化的问题。这里使用了马尔科夫链蒙特卡洛(MCMC)采样法来得到整个场景的全局最优解。
步骤5包括以下步骤：
步骤5-1，对于用户输入场景中的每一个家具3D模型，根据求解着色方案时得到的家具对应的图像标记结果(求解出的一个模型的着色方案是数据库中对应的某张图片中的一个物体的颜色，按照这个物体的标记选择对应的分类器对模型分割)，使用步骤2训练得到的相应的分类器进行分割；
步骤5-2，采用投票策略来最终决定家具3D模型包含的每个组件对应的标签，对于家具3D模型(一个模型可以分成多个组件，一个组件又可以分为多个三角形，根本上讲模型由多边形组成，就是一个多边形网格，组件和模型都是由三角形组成的)的每个三角形网格训练一个局部分类器Jl(下标l表示局部分类器local)，对于家具3D模型包含的每个组件训练一个全局分类器Jg(全局分类器的输入为组件的全局特征，分类器的输出为每一个标签的概率值)，则对于组件C其标签为a概率为：
其中tn表示组件的第i个三角形，area(tn)表示第n个三角形的面积，S作为归一化因子为组件的面积，λ是决定局部分类器和全局分类器相关重要性的参数。每个组件的最终分割结果为概率最高的标签。
步骤6包括以下步骤：
步骤6-1，对于分割好的家具3D模型中的任意组件部分，根据距离度量D从材质数据库中的相应类型材质中选取前N个最相似的材质，N一般取值为10。该距离度量公式如下：
其中CO和CT分别表示家具3D模型中的组件的颜色主题和材质数据库中材质的颜色主题，COk和CTy分别表示CO中的第k项和CT中的第y项，，表示。从得到的N个材质中随机选取一个赋予相应的家具3D模型对应的组件部分。
有益效果：
1)本发明提出的一种数据驱动的室内场景着色方法具有高度的自动性，整个生成着色方案的过程中无需用户进行手动交互。
3)本发明实现了着色的有效性。本发明采用数据驱动的方法，利用大量专业设计师设计出来的室内场景图像进行学习，确保了能够生成和谐的颜色方案。
2)本发明实现了模型的准确分割和着色的多样性。对于一个家具模型不仅可以分割成多个不同部分赋予不同的颜色和相应的材质，也可以根据目标颜色方案的不同而产生不同的分割方案，大大丰富了着色结果的多样性。
附图说明
图1为本发明方法的基本流程图。
图2为颜色主题示意图。
图3为一个简单室内场景的MRF模型示意图。
图4a为一个输入场景。
图4b为根据一个着色方案着色的效果图。
图5a～图5c为对不同场景使用不同着色方案着色的效果图。
具体实施方式
实施例1
本方法的流程图如图1所示，分为六大过程：首先是建立图像-模型数据库与纹理数据库；然后是对图像-模型数据库中每一类家具的3D模型训练模型分类器；然后是提取图像-模型数据库中家具的颜色主题并建立概率模型；然后是根据建立好的概率模型以及用户输入的颜色主题求解出最优着色方案；然后是使用相应的分类器对输入场景中的每个3D模型进行分割；最后是根据得到的着色方案为输入场景中的每个家具赋予相应的材质。
具体地说，如图1所示，本发明公开了一种数据驱动的室内场景着色方法，主要包括以下几个步骤：步骤1，建立数据库：收集不同场景的图像、家具3D模型以及材质样本，对收集到的数据进行处理，建立图像-模型数据库与材质数据库；
步骤2，训练分类器：对图像-模型数据库中的每一类家具的3D模型进行特征提取并训练分类器；
步骤3，建立颜色分布概率模型：对图像-模型数据库中的每一类家具的3D模型建立颜色分布概率模型；
步骤4，求解最优着色方案：根据颜色分布概率模型以及用户输入的场景，通过最优化相应能量方程求解最佳着色方案；
步骤5，分割家具3D模型：使用相应类别的分类器对输入场景中的每个家具3D模型进行分割；
步骤6，添加材质：根据最佳着色方案，为每个家具3D模型赋予相应的材质。
其中，步骤1包括以下步骤：
步骤1-1，收集不同场景的图像，将图像分为3个层次：
第1层次为图像所属的场景类别层次，包括客厅，卧室，餐厅，办公室和会议室；
第2层次为家具类别层次，即图像中的每个家具所属类别，如沙发，椅子，桌子，床等等；
第3层次为家具组件层次，对于图像中每个家具因为颜色和材质的不同而分为两个以上部分，如一个椅子可能分为木质的椅子框架和布的坐垫，用不同的标识标记这些部分并记录其材质类别。以上过程通过使用自行编写的软件实现，保存3个层次的图像数据并构建图像数据库；
步骤1-2，收集家具3D模型，将每个家具3D模型与不同场景的图像中相同类别的家具对应起来，构建层级间的关系，对于不同场景的图像中每类家具的每一种分割，即不同图片中对同一类家具在家具组件层次上的标记结果也可能不同，相同类别的每一个家具3D模型也进行一次相应的标记，即为模型中与图片标记对应的部分的所有三角形赋予相应的标签，完成图像-模型数据库的构建；
步骤1-3，收集材质样本，每个材质样本对应一种材质类别，与图像标记的第3个层次中的材质类别相对应，完成材质数据库的构建。
步骤2包括以下步骤：
步骤2-1，对图像-模型数据库中的每个家具3D模型的每个三角形网格提取局部特征：首先计算曲率、PCA特征(Principal Component Analysis，主成分分析，参考文章Learning 3d mesh segmentation and labeling)、SDF特征(shape diameter function，形状直径函数，参考文章Consistent mesh partitioning and skeletonisation usingthe shape diameter function)、AGD特征(average geodesic distance，平均测地线距离，参考文章Topology matching for fully automatic similarity estimation of 3dshapes)、SC特征(shape contexts，形状脉络，参考文章Shape matching and objectrecognition using shape contexts)和spin image特征(旋转图像特征，参考文章Usingspin images for efficient object recognition in cluttered 3d scenes)，再以单个三角形的面积作为权重，通过所有三角形的面积之和进行归一化，即
f为计算出的一种特征，s为该三角形的面积，sum为所有三角形的面积之和，F为归一化后的特征，将上述这些特征组成一个特征向量得到最终的局部特征；
步骤2-2，每个家具3D模型由一系列不连通的组件组成，比如一个椅子的模型通常是由几个组件组成，可以分为椅子背，椅子扶手，椅子座和椅子腿，这些不同的组件相互之间是不连通的，但并不知道每一个组件究竟是什么。使用高斯曲率、SDF特征和AGD特征对每个组件提取全局特征：首先对每个组件的所有三角形计算高斯曲率、SDF特征和AGD特征，然后计算其加权平均值，中位数，方差，偏斜度，峰度，和直方图一起组成特征向量作为衡量该组件的全局特征，其中加权平均值用三角形面积加权；
步骤2-3，根据得到的局部特征和全局特征，以及步骤1-2标记的模型分割结果，使用JointBoost算法(参考文章Sharing Visual Features for Multiclass and MultiviewObject Detection)进行训练，得到图像-模型数据库中对应于每一类家具的用于3D模型分割的分类器。
步骤3包括以下步骤：
步骤3-1，对于图像-模型数据库中标记的每个图像中的家具3D模型，通过k-means(k-均值算法，k取值为50)聚类得到图像的50个颜色，选取最多的5个颜色，使用由这5个颜色组成的集合作为颜色主题来衡量该家具在图像中对应区域的颜色；如图2所示，由左至右RGB三个通道的值依次为195，190，172；90，61，42；30，29，31；96，52，22；166，136，106(由于本发明的特性，该附图只能以图片形式提供)。
步骤3-2，根据图像-模型数据库中的标记的每一类家具的颜色主题，使用高斯混合模型(GMM，Gaussian Mixture Model)构建该类家具的颜色分布概率模型。因单一的GMM不足以表示颜色分布，所以采用5个GMM，每个GMM表示颜色主题5个颜色其中的一项的分布，颜色主题的概率为5个GMM之积。对于在至少一张图像中同时出现的每两个类别不同的家具，构建一个高斯混合模型GMM来描述这两类家具的颜色主题之间的关联关系。该高斯混合模型GMM的输入包含了两类家具的各自颜色主题中的一项。
步骤4包括以下步骤：
步骤4-1，为用户输入的场景构建一个马尔科夫随机场MRF(Markov RandomField)模型，将每个家具3D模型看作该MRF模型的一个节点，图像-模型数据库中相同类别家具的图像的颜色主题则为该节点可能的颜色主题，如果数据库中有图像同时包含输入场景中的两个家具，则这两个家具对应的节点之间有一条边，如图3所示，假设用户输入的场景中有墙，地板，桌子，椅子和地毯这5种物体，则图模型中的每一个节点代表这些物体，并且在数据库中有图片同时出现了这些物体中任何两种物体的组合，因此这5个节点互相连接。能量方程表示为：
E＝ED+βES+γEC，
其中ED、ES和EC为三个能量项(下标D、S和C分别表示英文单词data、smooth和constrain)，分别代表数据项、平滑项和用户约束项，β和γ为用于平衡这三项的权重，数据项ED用于衡量每个家具3D模型的着色方案是否正确，即是否常见，越不常见的颜色主题对应的概率值越小，其计算公式为：
其中Mi表示第i个家具3D模型，i取值为自然数，代表用户输入的场景中的第i个家具3D模型的颜色主题，为该颜色主题输入高斯混合模型得到的概率值；即平滑项ES用于衡量第i个和第j个家具的着色方案的组合是否正确，计算公式为：
其中，代表第j个家具3D模型的颜色主题，为将两个颜色主题和输入描述颜色主题之间关联关系的高斯混合模型得到的概率值，
用户约束项EC用于使整个场景的着色方案与用户输入的颜色主题CU接近，其计算公式为：
Z为归一化因子，用于使用户约束项EC与数据项ED有相同的量级，CUk为颜色主题CU的第k项，CMiq为用户输入的场景中的第i个家具3D模型的颜色主题CMi的第q项。
对于上述能量方程，要求出使其最大化的解是一个高维度，非凸组合优化的问题。这里使用了马尔科夫链蒙特卡洛(MCMC)采样法来得到整个场景的全局最优解。
步骤5包括以下步骤：
步骤5-1，对于用户输入场景中的每一个家具3D模型，根据求解着色方案时得到的家具对应的图像标记结果，使用步骤2训练得到的相应的分类器进行分割；
步骤5-2，采用投票策略来最终决定家具3D模型包含的每个组件对应的标签，对于家具3D模型的每个三角形网格训练一个局部分类器Jl，对于家具3D模型包含的每个组件训练一个全局分类器Jg，则对于组件C其标签为a概率为：
其中tn表示组件的第i个三角形，area(tn)表示第n个三角形的面积，S作为归一化因子为组件的面积，λ是决定局部分类器和全局分类器相关重要性的参数。每个组件的最终分割结果为概率最高的标签。
步骤6包括以下步骤：
步骤6-1，对于分割好的家具3D模型中的任意组件部分，根据距离度量D从材质数据库中的相应类型材质中选取前N个最相似的材质，N一般取值为10。该距离度量公式如下：
其中CO和CT分别表示家具3D模型中的组件的颜色主题和材质数据库中材质的颜色主题，COk和CTy分别表示CO中的第k项和CT中的第y项，从得到的N个材质中随机选取一个赋予相应的家具3D模型对应的组件部分。
实施例2
本实施例的实施硬件环境是：Intel酷睿i5-4590 3.3GHz，8G内存，软件环境是MicrosoftVisual Studio2010、MicrosoftWindows7Professional和3ds max2012。输入模型来源于网络。
本发明公开了一种数据驱动的室内场景着色方法，其核心在于为场景中的每个家具求解最优的着色方案，并根据图像对家具网格进行分割，从而给各部分赋予相应的材质，包括以下步骤：
步骤1，数据库建立：从网络上收集图像、模型以及材质样本，对收集到的数据进行处理建立起图像-模型数据库与纹理数据库；
步骤2，训练模型分类器：对图像-模型数据库中的每一类家具的3D模型进行特征提取并训练分类器；
步骤3，建立图像家具概率模型：根据从图像中提取出的颜色主题，对图像-模型数据库中的每一类家具建立颜色主题的分布概率模型；
步骤4，最优着色方案求解：根据由图像-模型数据库建立起的概率模型以及用户输入通过最优化相应能量方程求解最佳着色方案；
步骤5，3D模型分割：使用相应类别的分类器对输入场景中的每个3D模型进行分割；
步骤6，家具材质添加：根据求解得到的着色方案，为每个家具赋予相应的材质。
输入的三维模型室内场景如图4a所示，模型分割过程中λ取值为0.4，β和γ的取值在1～10之间。用户输入的颜色主题以及着色以及渲染之后的结果如图4b所示，可以看出整个场景的颜色与用户输入的颜色主题十分接近，整个场景的颜色也显得自然和谐。图5a、图5b和图5c为其他场景的着色结果。
本发明提供了一种数据驱动的室内场景着色方法，通过数据驱动的方式，构建了图像-模型数据库，以家具为单位对模型进行分割，构建MRF模型求出最优解。具有自动化，模型分割准确，模型分割和着色多样化的特点，并能保证生成视觉上和谐的配色方案。
Claims (7)
1.一种数据驱动的室内场景着色方法，其特征在于，包括以下步骤：
步骤1，建立数据库：收集不同场景的图像、家具3D模型以及材质样本，对收集到的数据进行处理，建立图像-模型数据库与材质数据库；
步骤2，训练分类器：对图像-模型数据库中的每一类家具的3D模型进行特征提取并训练分类器；
步骤3，建立颜色分布概率模型：对图像-模型数据库中的每一类家具的3D模型建立颜色分布概率模型；
步骤4，求解最优着色方案：根据颜色分布概率模型以及用户输入的场景，通过最优化相应能量方程求解最佳着色方案；
步骤5，分割家具3D模型：使用相应类别的分类器对输入场景中的每个家具3D模型进行分割；
步骤6，添加材质：根据最佳着色方案，为每个家具3D模型赋予相应的材质。
2.如权利要求1所述的一种数据驱动的室内场景着色方法，其特征在于，步骤1包括以下步骤：
步骤1-1，收集不同场景的图像，将图像分为3个层次：
第1层次为图像所属的场景类别层次，包括客厅，卧室，餐厅，办公室和会议室；
第2层次为家具类别层次，即图像中的每个家具所属类别；
第3层次为家具组件层次，对于图像中每个家具因为颜色和材质的不同而分为两个以上部分，用不同的标识标记这些部分并记录其材质类别；
保存3个层次的图像数据并构建图像数据库；
步骤1-2，收集家具3D模型，将每个家具3D模型与不同场景的图像中相同类别的家具对应起来，构建层级间的关系，对于不同场景的图像中每类家具的每一种分割，相同类别的每一个家具3D模型进行一次相应的标记，完成图像-模型数据库的构建；
步骤1-3，收集材质样本，每个材质样本对应一种材质类别，与图像标记的第3层次中的材质类别相对应，完成材质数据库的构建。
3.如权利要求2所述的一种数据驱动的室内场景着色方法，其特征在于，步骤2包括以下步骤：
步骤2-1，对图像-模型数据库中的每个家具3D模型的每个三角形网格提取局部特征：首先计算曲率、PCA特征、SDF特征、AGD特征、SC特征和spin image特征，再以单个三角形的面积作为权重，通过所有三角形的面积之和进行归一化，将这些特征组成一个特征向量得到最终的局部特征；
步骤2-2，每个家具3D模型由一系列不连通的组件组成，使用高斯曲率、SDF特征和AGD特征对每个组件提取全局特征：首先对每个组件的所有三角形计算高斯曲率、SDF特征和AGD特征，然后计算其加权平均值，中位数，方差，偏斜度，峰度，和直方图一起组成特征向量作为衡量该组件的全局特征，其中加权平均值用三角形面积加权；
步骤2-3，根据得到的局部特征和全局特征，以及步骤1-2标记的模型分割结果，使用JointBoost算法进行训练，得到图像-模型数据库中对应于每一类家具的用于3D模型分割的分类器。
4.如权利要求3所述的一种数据驱动的室内场景着色方法，其特征在于，步骤3包括以下步骤：
步骤3-1，对于图像-模型数据库中标记的每个图像中的家具3D模型，通过k-means聚类得到图像中的50个颜色，选取最多的5个颜色，使用由这5个颜色组成的集合作为颜色主题；
步骤3-2，根据图像-模型数据库中的标记的每一类家具的颜色主题，使用高斯混合模型构建该类家具的颜色分布概率模型；对于在至少一张图像中同时出现的每两个类别不同的家具，构建一个高斯混合模型来描述这两类家具的颜色主题之间的关联关系，该高斯混合模型的输入包含了两类家具的各自颜色主题中的一项。
5.如权利要求4所述的一种数据驱动的室内场景着色方法，其特征在于，步骤4包括以下步骤：
步骤4-1，为用户输入的场景构建一个马尔科夫随机场MRF模型，将每个家具3D模型看作该MRF模型的一个节点，图像-模型数据库中相同类别家具的图像的颜色主题则为该节点可能的颜色主题，如果数据库中有图像同时包含输入场景中的两个家具，则这两个家具对应的节点之间有一条边，能量方程表示为：
E＝ED+βES+γEC，
其中ED、ES和EC为三个能量项，分别代表数据项、平滑项和用户约束项，β和γ为用于平衡这三项的权重，
数据项ED用于衡量每个家具3D模型的着色方案是否正确，其计算公式为：
其中Mi表示第i个家具3D模型，i取值为自然数，代表用户输入的场景中的第i个家具3D模型的颜色主题，为该颜色主题输入高斯混合模型得到的概率值；
平滑项ES用于衡量第i个和第j个家具的着色方案的组合是否正确，计算公式为：
其中，代表第j个家具3D模型的颜色主题，为将两个颜色主题和输入描述颜色主题之间关联关系的高斯混合模型得到的概率值；
用户约束项EC用于使整个场景的着色方案与用户输入的颜色主题CU接近，其计算公式为：
Z为归一化因子，用于使用户约束项EC与数据项ED有相同的量级，CUK为颜色主题CU的第K项，CMiq为用户输入的场景中的第i个家具3D模型的颜色主题CMi的第q项。
6.如权利要求5所述的一种数据驱动的室内场景着色方法，其特征在于，步骤5包括以下步骤：
步骤5-1，对于用户输入场景中的每一个家具3D模型，根据求解着色方案时得到的家具对应的图像标记结果，使用步骤2训练得到的相应的分类器进行分割；
步骤5-2，采用投票策略来最终决定家具3D模型包含的每个组件对应的标签，对于家具3D模型的每个三角形网格训练一个局部分类器Jl，对于家具3D模型包含的每个组件训练一个全局分类器Jg，则对于组件C其标签为a概率为：
其中tn表示组件的第n个三角形，area(tn)表示第n个三角形的面积，S作为归一化因子为组件的面积，λ是决定局部分类器和全局分类器相对重要性的参数，每个组件的最终分割结果为概率最高的标签。
7.如权利要求6所述的一种数据驱动的室内场景着色方法，其特征在于，步骤6包括以下步骤：
步骤6-1，对于分割好的家具3D模型中的任意组件部分，根据距离度量D从材质数据库中的相应类型材质中选取前N个最相似的材质，该距离度量公式如下：
其中CO和CT分别表示家具3D模型中的组件的颜色主题和材质数据库中材质的颜色主题，COk和CTy分别表示CO中的第k项和CT中的第y项，从得到的N个材质中随机选取一个赋予相应的家具3D模型对应的组件部分。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610139954.XA CN105809742B (zh) | 2016-03-11 | 2016-03-11 | 一种数据驱动的室内场景着色方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610139954.XA CN105809742B (zh) | 2016-03-11 | 2016-03-11 | 一种数据驱动的室内场景着色方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105809742A CN105809742A (zh) | 2016-07-27 |
| CN105809742B true CN105809742B (zh) | 2018-08-21 |
Family
ID=56467274
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610139954.XA Active CN105809742B (zh) | 2016-03-11 | 2016-03-11 | 一种数据驱动的室内场景着色方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105809742B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112052507B (zh) * | 2020-09-16 | 2022-08-26 | 同济大学 | 一种房屋腰线设计系统 |
| CN115063568A (zh) * | 2022-04-22 | 2022-09-16 | 深圳市其域创新科技有限公司 | 三维模型分割方法、装置、计算设备及计算机可读存储介质 |
| CN115273645B (zh) * | 2022-08-09 | 2024-04-09 | 南京大学 | 一种室内面要素自动聚类的地图制图方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1330335A (zh) * | 2001-08-03 | 2002-01-09 | 杜凤祥 | 双向互动式多媒体电子租售房屋及建筑空间服务系统 |
| CN102402749A (zh) * | 2010-09-17 | 2012-04-04 | 北京市崇文区综合信息中心 | 基于3d的虚拟购物街应用技术 |
| CN104050722A (zh) * | 2014-06-06 | 2014-09-17 | 北京航空航天大学 | 一种图像内容驱动的室内三维场景布局与颜色迁移生成方法 |
-
2016
- 2016-03-11 CN CN201610139954.XA patent/CN105809742B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1330335A (zh) * | 2001-08-03 | 2002-01-09 | 杜凤祥 | 双向互动式多媒体电子租售房屋及建筑空间服务系统 |
| CN102402749A (zh) * | 2010-09-17 | 2012-04-04 | 北京市崇文区综合信息中心 | 基于3d的虚拟购物街应用技术 |
| CN104050722A (zh) * | 2014-06-06 | 2014-09-17 | 北京航空航天大学 | 一种图像内容驱动的室内三维场景布局与颜色迁移生成方法 |
Non-Patent Citations (3)
| Title |
|---|
| "Data-Driven Image Color Theme Enhancement";Baoyuan Wang et al;《ACM Transactions On Graphics》;20101231;第29卷(第6期);1-10 * |
| "Magic Decorator: Automatic Material Suggestion for Indoor Digital Scenes";Kang Chen et al;《ACM Transactions on Graphics》;20151130;第34卷(第6期);232:1-232:11 * |
| "居室环境色彩分析与设计";蔺倞;《山西建筑》;20100630;第36卷(第17期);219-220 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105809742A (zh) | 2016-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11393163B2 (en) | Method and system for remote clothing selection | |
| US20200380333A1 (en) | System and method for body scanning and avatar creation | |
| US11640672B2 (en) | Method and system for wireless ultra-low footprint body scanning | |
| CN104123753B (zh) | 基于服装图片的三维虚拟试衣方法 | |
| Zhu et al. | An efficient human model customization method based on orthogonal-view monocular photos | |
| US20110298897A1 (en) | System and method for 3d virtual try-on of apparel on an avatar | |
| CN108596329A (zh) | 基于端到端深度集成学习网络的三维模型分类方法 | |
| CN109800653A (zh) | 一种基于图像分析的人体特征参数提取方法及系统 | |
| KR20140142470A (ko) | 나무 모델과 숲 모델 생성 방법 및 장치 | |
| CN105809742B (zh) | 一种数据驱动的室内场景着色方法 | |
| Ishikawa et al. | Semantic segmentation of 3D point cloud to virtually manipulate real living space | |
| CN101017575A (zh) | 基于人体部件模板和体形轮廓的三维虚拟人体自动生成方法 | |
| CN108416397A (zh) | 一种基于ResNet-GCN网络的图像情感分类方法 | |
| Kozaki et al. | Automatic generation of LEGO building instructions from multiple photographic images of real objects | |
| Peng | Machines' perception of space | |
| Tang et al. | Animated construction of Chinese brush paintings | |
| Ting-Ting et al. | Interest points guided convolution neural network for furniture styles classification | |
| Kenkare | Three dimensional modeling of garment drape | |
| JP5973823B2 (ja) | 質感定量化装置、質感定量化方法、及び質感定量化プログラム | |
| Chen | Application of Particle Swarm Optimization Algorithms in Landscape Architecture Planning and Layout Design | |
| Tewari et al. | Virtual Campus Walkthrough | |
| Wang | Application of traditional cultural elements in modern interior design in the era of artificial intelligence | |
| Shi et al. | Skeleton modulated topological perception map for rapid viewpoint selection | |
| Gai et al. | Digital Art Creation and Visual Communication Design Driven by Internet of Things Algorithm | |
| Liu et al. | Image Feature Extraction and Interactive Design of Cultural and Creative Products Based on Deep Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |