CN107871338B - 基于场景装饰的实时交互渲染方法 - Google Patents
基于场景装饰的实时交互渲染方法 Download PDFInfo
- Publication number
- CN107871338B CN107871338B CN201610856078.2A CN201610856078A CN107871338B CN 107871338 B CN107871338 B CN 107871338B CN 201610856078 A CN201610856078 A CN 201610856078A CN 107871338 B CN107871338 B CN 107871338B
- Authority
- CN
- China
- Prior art keywords
- scene
- model
- image
- component
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 19
- 238000005034 decoration Methods 0.000 title claims abstract description 18
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 28
- 239000000463 material Substances 0.000 claims abstract description 25
- 230000005540 biological transmission Effects 0.000 claims abstract description 15
- 230000000694 effects Effects 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 230000000007 visual effect Effects 0.000 claims description 17
- 238000003709 image segmentation Methods 0.000 claims description 13
- 230000011218 segmentation Effects 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 12
- 238000005381 potential energy Methods 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 6
- 238000007635 classification algorithm Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 238000007670 refining Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 2
- 238000003860 storage Methods 0.000 claims description 2
- 230000001429 stepping effect Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 13
- 241001122767 Theaceae Species 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 230000003993 interaction Effects 0.000 description 7
- 238000009795 derivation Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000004040 coloring Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供了一种基于场景装饰的实时交互渲染方法，包括以下步骤：构建后模型导出、模型预处理、模型场景化、关键模型标注、模型数据流传输、WebGL流式渲染与本地缓存；在空间环境中心放置一拍摄镜头，拍摄镜头依次以30度步进作为拍摄点在空间环境内360度旋转连续拍摄出多个场景图片，将拍摄出每个场景图片进行保存；对于多个场景图片采用上下文的多核SVM场景识别算法；采用标准的Web流传输方式；先传输送配置文件，然后整个空间环境材质信息和光源数据信息，再次依据部件关键性从大到小传输空间环境中各部件模型及次要模型；接下来传送该初始场景相邻场景数据，最后传送剩余数据。以上方法显著减少实时渲染的等待时间；提高实时渲染的效率和效果。
Description
技术领域
本发明涉及3D场景渲染技术领域，特别涉及一种基于场景装饰的实时交互渲染方法。
背景技术
随着计算机技术和多媒体技术的迅猛发展，图像处理与展示已经从2D时代跨越到了3D时代。3D电影、虚拟现实、3D游戏等，都是3D技术在人们日常生活环境中的广泛应用。而在家装领域，人们也从传统的2D效果图迈向了3D效果图，越来越多的装修软件和装修企业，都开始应用3D渲染技术，来给用户展现一个更为真实的装修后体验。
在这些3D应用中，技术实现方式主要还是通过渲染服务器，依托主流的渲染软件，实现对3D模型的渲染，然后再将渲染效果以视频、图片或者多张图片组合后通过类似three.js技术的方式予以Web展现。即使在这样的Web展现过程中，虽然实现了3D交互效果，但其交互主要是对于360度角度上的交互，而无法实现径深路径上的交互，也不能解决实时局部放大、缩小等高级功能。因此，这样的3D实时交互，并不是真正意义的3D实时渲染。随着HTML5技术的进一步推广，WebGL技术的提出，解决了3D实时渲染的Web实现技术展现问题。但是，按照WebGL技术的实现方案，3D交互依赖obj文件和材质渲染，如果0bj文件过大，则在网络传输上要花费较多的预下载时间，基于Web的3D实时渲染等待时间过长。
3D渲染大体上分为两个关键过程，即建模过程和渲染过程。建模负责创建描述渲染场景中特定对象，并且尽可能的符合部件对象的几何形状和外观。渲染过程负责通过输入的模型数据确定最终图像的像素颜色信息。最终形成外部可见可操作的3D场景以及场景中的部件。在建模方法中，比较常见的建模方式是通过Sketchup软件或3DMax软件完成3D模型的Obj文件制作，而这样的Obj文件往往很大(包括其配套的mtl文件)，虽然当前国内的网络带宽已经很快(在10M以上)，但对于一个部件模型就超过80M，整个场景模型量超过20个3D环境，10M+的网络环境仍然无法满足实时交互渲染的需要，如何减小模型数据量，满足模型渲染数据的实时传输，降低渲染等待时间，是当前3D实时渲染技术及应用中都面临的问题和研发的重点。
发明内容
针对现有技术中所存在的不足，本发明的目的在于提供一种基于场景装饰实时交互渲染技术，通过步骤模型预处理、模型场景化、重复部件标记、模型数据流传输，解决了在家居场景中3D实时交互渲染时间长的技术问题，大大降低了渲染时延，提高了3D交互体验感，取得了较好的效果。
为实现上述目的，本发明采用了如下的技术方案：
一种基于场景装饰的实时交互渲染方法，包括以下步骤：
S1、模型导出，将空间环境及其内部各个部件建模、贴材质和渲染效果预览后的3D模型导出；首先导出整个3D模型所在的整个文件，然后分别导出空间环境中的各个部件模型和材质图片，同时每个部件模型的坐标原点定位于其自身；
S2、模型预处理，将步骤S1导出的各个部件模型中的各类信息分别单独存储在数据库及配置文件中；
S3、模型场景化，在空间环境中心放置一个拍摄镜头，拍摄镜头位置固定，依次以30度旋转步进在空间环境内360度旋转连续拍摄出多个场景图片，拍摄出每个场景图片进行保存；
对于多个场景图片采用上下文的多核SVM场景识别算法，该算法以0度视角保存的场景图片作为初始场景，使每个场景图片存在显式的上下文关系，通过马尔可夫模型建立起多个场景图片的上下文关系；再通过整个场景中上下文的贝叶斯分类算法提取不同角度拍摄的场景中的部件并进行识别和标记；
S4、模型标注，将步骤S3中识别的部件与步骤S1中导出的独立部件模型之间建立对应关系，再将提取的部件与独立部件模型比对，从而得出重复部件并在关键的独立部件模型上进行模型标注；
S5、模型数据流传输，采用标准的Web流传输方式；
用户通过web发送对整个空间环境的3D渲染预览请求，服务端调出该空间环境的所有模型文件和该空间环境的配置文件集；然后通过网络传送到前端；
先传输配置文件，然后传输整个空间环境材质信息和光源数据信息，再次依据部件关键性从大到小传输空间环境中各部件模型及次要模型；接下来再传送该初始场景相邻场景数据，最后传送剩余数据；
S6、WebGL流式渲染与本地缓存
Web前端接收到配置文件数据和材质数据后，首先通过3D渲染代码在前端重构空间环境；接下来渲染初始场景的关键模型和次要模型及初始模型邻接的其它场景角落；然后，WebGL流式渲染开始初始场景细节化和精细化；后台继续接受模型数据缓存。
其中，所述的多个场景的上下文关系在建立时，先根据场景类别和图像特征建立一阶马尔可夫公式：P(Qt|Q1：t-1)＝P(Qt|Qt-1)；其中Qt和xt分别代表t角度时图像对应的场景类别和特征，Qt和Qt-1之间是相差30°的镜头视角；
根据以上关系建立了多个场景上下文关系公式：
其中，是马尔可夫概率矩阵，P(xt|Qt)是观测率。
具体地，所述场景中部件的识别采用基于图像分割的物体识别算法。
进一步地，所述的基于图像分割的物体识别算法；其中，图像的像素集合为x，所有相邻像素的集合为N，设C＝(C1，….，Ct，…，Cx)是该图像的一个分割，Ci＝xB表示第i个像素属于背景，Ci＝xF表示第i个像素属于前景；该图像分割的总势能E(x)、单元势能U(x)、点对势能V(x)分别表述如下：
E(x)＝U(x)+λV(x)
其中，U(x)代表单元势能，每个像素i分割为xi所花费的代价；V(x)代表点对势能，反映像素集中任意两个相邻像素i和j，当分割不连续，即xi≠xj时所花费的代价；i和j越相似，则V(i，j)越小；反之，则V(i，j)越大。
再有，所述的基于图像分割的物体识别算法在进行图像分割时，分割步骤如下：
a.初始化，取整图区域作为初始区域，生成第一个初始分割，其前景部分为未知，背景像素点为背景；
b.前景和背景通过K-均值的高斯混合建模，构建一个图用以找到一致的前景和背景像素点：
c.定义背景控制阈值和最大循环次数，再逐步减小方框区域直至识别出部件。
进一步地，所述的重复部件标记，采用以下方法：
a.当两个部件存在上下关系时，下部部件为重复部件；
b.当一部件在两个场景甚至多个连续场景中出现时，该部件是重复部件，在不同场景中出现频率越高，则关键值越大；
c.部件的关键值具有场景标签，即Ki m代表部件m在第i个场景中的关键值。
更进一步地，将步骤S3识别的部件图片进一步处理使获得部件图片与空间环境内单独部件匹配，以自动识别部件的具体品名，首先对每个具体部件建立视觉直方图，然后对步骤S3中获得的处理后的图像也建立视觉直方图；最后再通过比对判断步骤S3中提取的部件图像确定具体部件。
更进一步地，所述特征采用以下方法表示整幅图像：
(1)首先定义全局图像的BoW特征；
(2)将图像按照空间金字塔形式划分为子图像并计算BoW特征；
(3)最后拼接金字塔各层的所有BoW特征来表示整幅图像。
设定图像数据集D＝Dtrain∪Dtest，其中图像子集Dtrain用来训练分类集，图像子集Dtest用作测试，通过规则网格法进行特征检测，用均匀间隔水平和垂直的直线划分图像，对形成的局部区域进行特征检测；完成特征检测之后，图像被抽象成为了若干个局部区域，并对形成的局部区域加以特征描述，将其转换为数值向量；每幅图像可以用维数相同的向量的集合来表示；
对于图像子集经特征检测和描述后得到一个描述符的集合，记作Sm；随后，基于欧氏距离，利用K-Means算法把集合Sm聚成一个Vm类，每个聚类中心相当于一个视觉单词，而所有的聚类中心构成一个视觉字典，记作Wm；然后计算训练图像的金字塔单词直方图；
其中的维数大小是 和分别表示图像I和图像J第m通道的特征，则可以通过直方图交叉距离计算图像I和图像J的相似度
其中，是特征向量或的长度，Vm和Dm分别表示第m通道字典的大小和金字塔的深度。
相比于现有技术，本发明具有如下有益效果：
1、在导出时，每个部件模型的原点定位于其自身，环境模型中保存每个部件模型在该环境中的坐标信息，环境模型单独定位原点。这一模型导出的方法确保了远端实时重建环境时的部件定位准确，同时，也实现了部件模型的独立，提高了同一部件在不同环境中的应用可能性；同时，多核SVM场景识别算法，实现了空间中场景的定义、上下文关系的建立及场景中部件的自动识别和提取；
重复部件标记采用改进的图形切算法，将得到的抽象图形与单独部件建立对应关系，并判断是否为重复部件；根据流式数据传输优先顺序和WebGL实时渲染优先顺序，关键性越高的部件提前渲染，对于减小Web实时渲染的延迟。
4、优先传送配置文件，然后是材质数据和光源数据信息，再次传送初始场景中的关键模型以及其他模型，再传送该初始场景相邻场景数据，最后传送剩余数据。采用这一方式，可以显著减少实时渲染的等待时间；用延迟着色技术，提高实时渲染的效率和效果。
附图说明
图1为本发明的流程图；
图2为本发明导出模型的流程图。
具体实施方式
本发明的为实现上述目的，本发明采用了如下的技术方案：
参见图1、图2；本发明提出一种基于场景装饰的实时交互渲染方法，包括以下步骤：
S1、将完成的空间环境及其内部各个部件建模、贴材质和渲染效果预览后的3D模型导出；首先导出整个3D模型所在的整个文件，然后分别导出空间环境中的各个部件模型和材质图片，在导出时每个部件的原点定位于自身。
如图2所示，在客厅家居设计与3D实时展现中，使用三维软件，比如3DMax制作客厅环境以及客厅中的每个家具模型，在3DMax软件中查看整个客厅环境的家具实景效果。使用3DMax软件分别导出客厅中的每个家具模型以及整个客厅环境；当用3Dmax导出时，首先导出的是整个3Dmax的文件，然后分别导出该空间环境中的各个部件，包括(1)地面obj模型和材质图片(2)天蓬obj模型和材质图片(3)房间内各个墙体的obj模型和材质图片(4)房间内所有家具的obj模型和材质图片。本发明在3DMax模型导出时，每个部件模型的原点定位于其自身，空间环境模型中保存每个部件模型在该环境中的坐标信息，空间环境模型单独定位原点；将原点根据家具特点设置到该家具的特定位置，不是整个客厅环境中的统一原点位置。比如，沙发模型的原点坐标位于沙发模型的背侧中间；茶几模型的原点坐标位于茶几模型的左下角。该导出方法确保了远端实时重建环境时部件定位准确，同时，也实现了部件模型的独立，提高了同一部件在不同环境中的应用可能性。
S2、模型预处理，将步骤S1导出的空间环境中的各个部件模型中的各类信息分别单独提取出来存储在数据库及配置文件中。
3DMax对整套模型进行预处理，从客厅环境模型中读取每个家具模型在客厅环境中的坐标位置，从客厅环境模型中分析出每面墙的模型信息和坐标信息，对于两面墙交界区域进行标记，从客厅环境模型中读取地板模型信息和天花板模型信息。上述信息不光存储在数据库中，同时也存储在配置文件中。该步骤本发明中的特点在于：(1)实现了从3DMax模型中读取信息，识别模型组件；(2)实现了对于模型组件在3DMax模型中的具体坐标的识别和读取；(3)识别了各个墙体交接处存在的家具组件(这些家具组件在实时交互渲染时会成为移动交互过程中的重要节点，因此，其也是下一步的重复部件之一)。
S3、模型场景化，模型场景化，在空间环境中心放置一个拍摄镜头，拍摄镜头位置固定，依次以30度旋转步进在空间环境内360度旋转连续拍摄出多个场景图片，拍摄出每个场景图片进行保存。
对于多个场景图片采用上下文的多核SVM场景识别算法，该算法以0度视角保存的场景图片作为初始场景，使每个场景图片存在显式的上下文关系，通过马尔可夫模型建立起多个场景图片的上下文关系；再通过整个场景中上下文的贝叶斯提取进行场景中部件并进行识别和标记。
在空间环境中心放置一镜头，镜头以30度偏移为间距旋转进行取景保存12张场景图片，基于这12张图片本发明采用基于上下文的多核SVM场景识别算法，该算法首先定义0度视角保存的房间图片为初始场景；由于本发明应用的特定性及镜头30度偏移使得12张图片存在显示上的上下文关系，即可通过马尔可夫模型建立图像的上下文关系并进行识别；然后再通过整个场景中上下文的贝叶斯分类算法提取进行场景中部件识别和标记；多核SVM场景识别算法，首先，上下文关系的建立，由于镜头以30度偏移为间距旋转，而整个房间的布局在镜头360度旋转过程中并没有任何的改变，因此，每30度的偏移获取的场景图像之间存在关联，可以视为隐马尔可夫模型中一个状态到另一个状态的转换，进而可以将图像所属场景类别视为潜在变量，将图像特征向量视为观测变量，进而建立一阶马尔可夫公式：P(Qt|Q1：t-1)＝P(Qt|Qt-1)；其中Qt和xt分别代表t角度时图像对应的场景类别和特征，Qt和Qt-1之间是相差30°的镜头视角；
根据以上关系建立了多个场景上下文关系公式：
其中，是马尔可夫概率矩阵，P(xt|Qt)是观测率。通过求取P的最大值q，则可以获得该图像对应的场景。
通过以上算法，实现房屋空间中的场景定义，以房屋中心的镜头旋转30度为一个渲染来获取场景；同时，建立场景中上下文关系；并且实现场景中部件的自动识别和提取。
另外，所述的基于图像分割的物体识别算法；其中，图像的像素集合为x，所有相邻像素的集合为N，设C＝(C1，….，Ct，…，Cx)是该图像的一个分割，Ci＝xB表示第i个像素属于背景，Ci＝xF表示第i个像素属于前景；该图像分割的总势能E(x)、单元势能U(x)、点对势能V(x)分别表述如下：
E(x)＝U(x)+λV(x)
其中，U(x)代表单元势能，每个像素i分割为xi所花费的代价；V(x)代表点对势能，反映像素集中任意两个相邻像素i和j，当分割不连续，即xi≠xj时所花费的代价；i和j越相似，则V(i，j)越小；反之，则V(i，j)越大。
所述的基于图像分割的物体识别算法在进行图像分割时，分割步骤如下：
a.初始化，取整图区域作为初始区域，生成第一个初始分割，其前景部分为未知，背景像素点为背景；
b.前景和背景通过K-均值的高斯混合建模，构建一个图用以找到一致的前景和背景像素点；
c.定义背景控制阈值和最大循环次数，再逐步减小方框区域直至识别出部件。
S4、关键模型标注，将步骤S3中识别的部件自动与步骤S1中导出的部件建立关联关系，并在步骤S1中导出的部件基础上进行关键模型标注；
这一算法解决的是从第2步提取的部件，怎样自动识别为该场景中的某个具体部件。因为步骤2得到是一个相对抽象的图像，而其需要与某个单独部件建立对应关系后，才能够根据规则判定该单独部件是否为重复部件。因此，建立对应关系的算法(即部件标注算法)很重要。
根据步骤S3的算法，提取出的部件其实对应了各自独立的家具部件，下面再根据提取的部件，以及单独家具模型的部件比对，从而比较出重复部件。经过反复实验，本发明在标注重复部件时采用以下方法：
a.当两个部件存在上下关系时，下部部件为重复部件；
b.当一部件在两个场景甚至多个连续场景中出现时，该部件是重复部件，在不同场景中出现频率越高，则关键值越大；
c.部件的关键值具有场景标签，即Ki m代表部件m在第i个场景中的关键值。
所述特征采用以下方法表示整幅图像：
(1)首先定义全局图像的BoW特征；
(2)将图像按照空间金字塔形式划分为子图像并计算BoW特征；
(3)最后拼接金字塔各层的所有BoW特征来表示整幅图像。
设定图像数据集D＝Dtrain∪Dtest，其中图像子集Dtrain用来训练分类集，图像子集Dtest用作测试，通过规则网格法进行特征检测，用均匀间隔水平和垂直的直线划分图像，对形成的局部区域进行特征检测；完成特征检测之后，图像被抽象成为了若干个局部区域，并对形成的局部区域加以特征描述，将其转换为数值向量；每幅图像可以用维数相同的向量的集合来表示；
对于图像子集经特征检测和描述后得到一个描述符的集合，记作Sm；随后，基于欧氏距离，利用K-Means算法把集合Sm聚成一个Vm类，每个聚类中心相当于一个视觉单词，而所有的聚类中心构成一个视觉字典，记作Wm；然后计算训练图像的金字塔单词直方图；
其中的维数大小是 和分别表示图像I和图像J第m通道的特征，则可以通过直方图交叉距离计算图像I和图像J的相似度
其中，是特征向量或的长度，Vm和Dm分别表示第m通道字典的大小和金字塔的深度。
在客厅环境中，主要的模型是各个家具部件，各面墙的材质以及地板和天花板的材质。对各个家具部件，虽然都可能是客厅环境中不可或缺的，但是其重要性还是存在差异。比如，茶几上放了一套茶具。这是两个不同的家具部件，但茶几是关键模型，而茶具不是。因为茶几的位置、高度都会直接影响到茶具。而茶具的不同，对茶几的环境因素没有影响；所以，在客厅环境中，需要标注出关键模型，这些关键模型在未来远端Web重建还原时，需要优先考虑。
S5、模型数据流传输，采用标准的Web流传输方式
用户通过web发送对整个空间环境的3D渲染预览请求，服务端调出该空间环境的所有模型文件和该空间环境的配置文件集；然后通过网络传送到前端。
先传输配置文件，然后整个空间环境材质信息和光源数据信息，再次依据部件关键性从大到小传输空间环境中各部件模型及次要模型；接下来传送该初始场景相邻场景数据，最后传送剩余数据。
当用户通过Web发送对该房间的3D渲染预览请求后，服务端调出该客厅的所有模型文件和该房间的配置文件集。然后通过网络传送到前端，供前端WebGL渲染时调用。但是，由于一个客厅房间的所有模型文件很大(通常在800M以上)，如果不加限制的任其自由传送，则在带宽较小时Web渲染的时延较长。因此，本发明制定了数据流传输的规则：优先传送配置文件，然后是四面墙的材质数据和两路光源数据信息，再次传送初始场景中的关键模型以及其他模型，接下来传送该初始场景相邻场景数据，最后传送剩余数据。
本发明制定了数据流传输的规则，即优先传送配置文件，然后是4面墙的材质数据和2路光源数据信息，再次传送初始场景中的关键模型，以及其他模型，接下来传送该初始场景相邻场景数据，最后传送剩余数据。采用这一方式，可以显著减少实时渲染的等待时间。
S6、WebGL流式渲染与本地缓存，
Web前端接收到配置文件数据和材质数据后，首先通过3D渲染代码在前端重构了空间环境；接下来渲染初始场景的关键模型和次要模型及初始模型邻接的其他其它场景角落；然后，WebGL流式渲染会开始初始场景细节化和精细化；后续传输的模型数据在后台继续接受缓存。
Web前端接收到配置文件数据和4面墙的材质数据后，首先通过3D渲染代码在前端重构了客厅的4面墙和天花板以及地面(含材质)；接下来渲染初始场景的关键模型和次要模型。以及初始模型邻接的场景角落。然后，WebGL流式渲染会开始初始场景细节化(后台继续接收缓存模型数据)和精细化。在此过程中，将用到延迟着色技术，来提高实时渲染的效率和效果。
本发明结合家居设计的具体应用以分场景、分模型、分优先次序的方式，在客户端重构场景，通过优先级控制的网络数据传输，解决了实时交互渲染的等待时延问题。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于场景装饰的实时交互渲染方法，其特征在于，包括以下步骤：
S1、模型导出，将空间环境及其内部各个部件建模、贴材质和渲染效果预览后的3D模型导出；首先导出整个3D模型所在的整个文件，然后分别导出空间环境中的各个部件模型和材质图片，同时每个部件模型的坐标原点定位于其自身；
S2、模型预处理，将步骤S1导出的各个部件模型中的各类信息分别单独存储在数据库及配置文件中；
S3、模型场景化，在空间环境中心放置一个拍摄镜头，拍摄镜头位置固定，依次以30度旋转步进在空间环境内360度旋转连续拍摄出多个场景图片，拍摄出每个场景图片进行保存；
对于多个场景图片采用上下文的多核SVM场景识别算法，该算法以0度视角保存的场景图片作为初始场景，使每个场景图片存在显式的上下文关系，通过马尔可夫模型建立起多个场景图片的上下文关系；再通过整个场景中上下文的贝叶斯分类算法提取不同角度拍摄的场景中的部件并进行识别和标记；
S4、模型标注，将步骤S3中识别的部件与步骤S1中导出的独立部件模型之间建立对应关系，再将提取的部件与独立部件模型比对，从而得出重复部件并在关键的独立部件模型上进行模型标注；
S5、模型数据流传输，采用标准的Web流传输方式；
用户通过web发送对整个空间环境的3D渲染预览请求，服务端调出该空间环境的所有模型文件和该空间环境的配置文件集；然后通过网络传送到前端；
先传输配置文件，然后传输整个空间环境材质信息和光源数据信息，再次依据部件关键性从大到小传输空间环境中各部件模型及次要模型；接下来再传送该初始场景相邻场景数据，最后传送剩余数据；
S6、WebGL流式渲染与本地缓存
Web前端接收到配置文件数据和材质数据后，首先通过3D渲染代码在前端重构空间环境；接下来渲染初始场景的关键模型和次要模型及初始模型邻接的其它场景角落；然后，WebGL流式渲染开始初始场景细节化和精细化；后台继续接受模型数据缓存。
2.根据权利要求1中所述的基于场景装饰的实时交互渲染方法，其特征在于：所述的多个场景的上下文关系在建立时，先根据场景类别和图像特征建立一阶马尔可夫公式：P(Qt|Q1：t-1)＝P(Qt|Qt-1)；其中Qt和xt分别代表t角度时图像对应的场景类别和特征，Qt和Qt-1之间是相差30°的镜头视角；
根据以上关系建立了多个场景上下文关系公式：
其中，是马尔可夫概率矩阵，P(xt|Qt)是观测率。
3.根据权利要求2所述的基于场景装饰的实时交互渲染方法，其特征在于：所述场景中部件的识别采用基于图像分割的物体识别算法。
4.根据权利要求3所述的基于场景装饰的实时交互渲染方法，其特征在于：所述的基于图像分割的物体识别算法；其中，图像的像素集合为x，所有相邻像素的集合为N，设C＝(Ci，….，Ct，…，Cx)是该图像的一个分割，Ci＝xB表示第i个像素属于背景，Ci＝xF表示第i个像素属于前景；该图像分割的总势能E(x)、单元势能U(x)、点对势能V(x)分别表述如下：
E(x)＝U(x)+λV(x)
其中，U(x) 代表单元势能，每个像素i分割为xi所花费的代价；V(x)代表点对势能，反映像素集中任意两个相邻像素i和j，当分割不连续，即xi≠xj时所花费的代价；i和j越相似，则V(i，j)越小；反之，则V(i，j)越大。
5.根据权利要求4所述的基于场景装饰的实时交互渲染方法，其特征在于：所述的基于图像分割的物体识别算法在进行图像分割时，采用以下方法：
a.初始化，取整图区域作为初始区域，生成第一个初始分割，其前景部分为未知，背景像素点为背景；
b.前景和背景通过K-均值的高斯混合建模，构建一个图用以找到一致的前景和背景像素点；
c.定义背景控制阈值和最大循环次数，再逐步减小方框区域直至识别出部件。
6.根据权利要求5所述的基于场景装饰的实时交互渲染方法，其特征在于：所述的重复部件标注，采用以下方法：
a.当两个部件存在上下关系时，下部部件为重复部件；
b.当一部件在两个场景甚至多个连续场景中出现时，该部件是重复部件，在不同场景中出现频率越高，则关键值越大；
c.部件的关键值具有场景标签，即Ki m代表部件m在第i个场景中的关键值。
7.根据权利要求6所述的基于场景装饰的实时交互渲染方法，其特征在于：将步骤S3识别的部件图片进一步处理使获得部件图片与空间环境内单独部件匹配，以自动识别部件的具体品名，首先对每个具体部件建立视觉直方图，然后对步骤S3中获得的处理后的图像也建立视觉直方图；最后再通过比对判断步骤S3中提取的部件图像确定具体部件。
8.根据权利要求7所述的基于场景装饰的实时交互渲染方法，其特征在于：所述特征采用以下方法表示整幅图像：
(1)首先定义全局图像的BoW特征；
(2)将图像按照空间金字塔形式划分为子图像并计算BoW特征；
(3)最后拼接金字塔各层的所有BoW特征来表示整幅图像；
设定图像数据集D＝Dtrain∪Dtest，其中图像子集Dtrain用来训练分类集，图像子集Dtest用作测试，通过规则网格法进行特征检测，用均匀间隔水平和垂直的直线划分图像，对形成的局部区域进行特征检测；完成特征检测之后，图像被抽象成为了若干个局部区域，并对形成的局部区域加以特征描述，将其转换为数值向量；每幅图像用维数相同的向量的集合来表示；
对于图像子集经特征检测和描述后得到一个描述符的集合，记作Sm；随后，基于欧氏距离，利用K-Means算法把集合Sm聚成一个Vm类，每个聚类中心相当于一个视觉单词，而所有的聚类中心构成一个视觉字典，记作Wm；然后计算训练图像的金字塔单词直方图；
其中的维数大小是 和分别表示图像I和图像J第m通道的特征，则通过直方图交叉距离计算图像I和图像J的相似度
其中，是特征向量或的长度，Vm和Dm分别表示第m通道字典的大小和金字塔的深度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610856078.2A CN107871338B (zh) | 2016-09-27 | 2016-09-27 | 基于场景装饰的实时交互渲染方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610856078.2A CN107871338B (zh) | 2016-09-27 | 2016-09-27 | 基于场景装饰的实时交互渲染方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107871338A CN107871338A (zh) | 2018-04-03 |
| CN107871338B true CN107871338B (zh) | 2019-12-03 |
Family
ID=61751283
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610856078.2A Active CN107871338B (zh) | 2016-09-27 | 2016-09-27 | 基于场景装饰的实时交互渲染方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107871338B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111640174B (zh) * | 2020-05-09 | 2023-04-21 | 杭州群核信息技术有限公司 | 一种基于固定视角的家具生长动画云渲染方法及系统 |
| CN114092637A (zh) * | 2021-11-05 | 2022-02-25 | 河北微笑之路动画设计有限公司 | 一种3d辅助的图片场景制作方法和装置 |
| CN115423920B (zh) * | 2022-09-16 | 2024-01-30 | 如你所视(北京)科技有限公司 | Vr场景的处理方法、装置和存储介质 |
| CN116127587B (zh) * | 2023-04-17 | 2023-06-16 | 矩阵纵横设计股份有限公司 | 室内设计中的渲染方法和系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9754416B2 (en) * | 2014-12-23 | 2017-09-05 | Intel Corporation | Systems and methods for contextually augmented video creation and sharing |
| CN104778466B (zh) * | 2015-04-16 | 2018-02-02 | 北京航空航天大学 | 一种联合多种上下文线索的图像关注区域检测方法 |
| CN105389846B (zh) * | 2015-10-21 | 2018-07-06 | 北京雅昌文化发展有限公司 | 一种三维模型的展示方法 |
-
2016
- 2016-09-27 CN CN201610856078.2A patent/CN107871338B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN107871338A (zh) | 2018-04-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020207512A1 (zh) | 三维对象建模方法、图像处理方法、图像处理装置 | |
| Niklaus et al. | 3d ken burns effect from a single image | |
| US12051160B2 (en) | Tagging virtualized content | |
| US10977818B2 (en) | Machine learning based model localization system | |
| Nishida et al. | Procedural modeling of a building from a single image | |
| WO2021175050A1 (zh) | 三维重建方法和三维重建装置 | |
| Yang et al. | Automatic 3d indoor scene modeling from single panorama | |
| Liu et al. | A systematic approach for 2D-image to 3D-range registration in urban environments | |
| WO2024032464A1 (zh) | 三维人脸重建方法及其装置、设备、介质、产品 | |
| CN107871338B (zh) | 基于场景装饰的实时交互渲染方法 | |
| WO2017020467A1 (zh) | 场景重建方法、装置、终端设备及存储介质 | |
| Pan et al. | Rapid scene reconstruction on mobile phones from panoramic images | |
| CN112598780B (zh) | 实例对象模型构建方法及装置、可读介质和电子设备 | |
| Wang et al. | Instance shadow detection with a single-stage detector | |
| CN111754622B (zh) | 脸部三维图像生成方法及相关设备 | |
| Min et al. | Mobile landmark search with 3D models | |
| Xu | The research on applying artificial intelligence technology to virtual youtuber | |
| WO2023236815A1 (zh) | 三维模型传输方法及其装置、存储介质、程序产品 | |
| Kim et al. | Multimodal visual data registration for web-based visualization in media production | |
| CN116708862A (zh) | 直播间的虚拟背景生成方法、计算机设备及存储介质 | |
| Comino Trinidad et al. | Easy authoring of image-supported short stories for 3d scanned cultural heritage | |
| Saran et al. | Augmented annotations: Indoor dataset generation with augmented reality | |
| Yang et al. | Learning to reconstruct and understand indoor scenes from sparse views | |
| Aleksandrova et al. | 3D face model reconstructing from its 2D images using neural networks | |
| Kim et al. | Digilog miniature: real-time, immersive, and interactive AR on miniatures |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220209 Address after: 430070 No. 1705, 17th floor, tower office building, central creative building, No. 33, Luoyu Road, Hongshan District, Wuhan City, Hubei Province Patentee after: Wuhan Zhizhu perfect home Technology Co.,Ltd. Address before: 400043 unit 2, floor 19, No. 56-2, Ruitian Road, Yuzhong District, Chongqing Patentee before: CHONGQING WANMEI KONGJIAN TECHNOLOGY CO.,LTD. |
|
| TR01 | Transfer of patent right |