CN114581608A - 基于云平台的三维模型智能构建系统及方法 - Google Patents

Abstract

本发明属于虚拟现实技术领域，具体涉及基于云平台的三维模型智能构建系统及方法。所述系统包括：云端、图像采集装置和本地端；所述图像采集装置在采集到图像后，将图像进行复制，得到两幅源图像，对这两幅源图像建立同步连接，将其中一幅源图像发送至本地端，另一幅图像发送至云端；所述本地端获取云端的图像三维映射的结果后，以和云端进行三维模型生成的相反的方向进行三维模型生成，同时实时获取云端的三维模型生成的结果，与本地端的三维模型生成的结果进行三维模型拼接，得到最终的构建的三维模型。其通过将云端和本地端的同时进行一部分三维模型生成，提升了生成的效率。

Description

基于云平台的三维模型智能构建系统及方法

技术领域

本发明属于三维建模技术领域，具体涉及基于云平台的三维模型智能构建系统及方法。

背景技术

立体图像通俗的讲就是利用人们两眼视觉差别和光学折射原理在一个平面内使人们可直接看到一幅三维立体图,画中事物既可以凸出于画面之外,也可以深藏其中，活灵活现，栩栩如生,给人们以很强的视觉冲击力。它与平面图像有着本质的区别,平面图像反映了物体上下、左右二维关系，人们看到的平面图也有立体感。

如果将二维图画做成三维图像需要添加大量信息，那么将三维静态图像做成能够逼真移动的图像，所需信息量就更大了。问题的一部分在于，我们的要求越来越高了。我们希望自己看到的所有东西都具有高度的真实性。二十世纪七十年代中期，像Pong这样的游戏的屏幕图形就能给人们留下深刻的印象。如今，我们将游戏屏幕与DVD电影进行比较，希望游戏的画面可以像影院的电影一样流畅、清晰。这是对PC、Macintosh以及日益增多的游戏机(如Dreamcast和PlaystationII)上的三维图形一次很大的挑战。

现有的三维模型构建大多依赖于人工建模，同时需要计算机耗费大量的资源进行处理。使得三维图像的呈现出现效率低和效果较差的缺点。

申请号为CN200480010332A的专利文献公开了一种三维图像生成装置，其将由一序列帧组成的图像信号逐帧输入到三维图像生成装置。控制器指定缩小的有/无，结合的有/无以及2D选择。图像转换器按由缩小的有/无和结合的有/无指定的格式生成图像数据。3D信息生成器通过格式化缩小的有/无，结合的有/无以及2D选择来生成用于显示作为三维图像的图像所需的3D信息。多路复用器按预定格式转换图像数据和3D信息，并向外部输出。以这种方式，能够使图像数据通用于三维显示，并且有效地选择任意视点图像。

其采用双目视差的方法来实现立体图的生成，但其效率依然较低，且双目视差的方法在某些情况下一样有失真的情况出现。

发明内容

有鉴于此，本发明的主要目的在于虚拟现实失真补齐方法，其通过将云端和本地端的同时进行一部分三维模型生成，提升了生成的效率。

为达到上述目的，本发明的技术方案是这样实现的：

基于云平台的三维模型智能构建系统，所述系统包括：云端、图像采集装置和本地端；所述图像采集装置在采集到图像后，将图像进行复制，得到两幅源图像，对这两幅源图像建立同步连接，将其中一幅源图像发送至本地端，另一幅图像发送至云端；所述云端对接收到的源图像依次进行图像三维剖分，图像三维映射和三维模型生成；所述本地端获取云端的图像三维映射的结果后，以和云端进行三维模型生成的相反的方向进行三维模型生成，同时实时获取云端的三维模型生成的结果，与本地端的三维模型生成的结果进行三维模型拼接，得到最终构建的三维模型。

进一步的，设定本地端在开始进行三维模型生成时，云端已经进行三维模型生成的时间为T；同时，设定本地端进行三维模型生成的速率为V₁；云端进行三维模型生成的速率为V₂；通过如下公式计算得到本地端与云端所生成的三维模型在最终构建的三维模型的比率为：

其中，t为生成最终构建的三维模型的时间，L为比率，a为基于本地端与云端的延迟生成的调整系数，取值范围为：0.2～1。

进一步的，所述云端包括：图像三维剖分单元、图像三维映射单元和云端三维模型生成单元；所述图像三维剖分单元，配置用于对源图像进行三维剖分，得到源图像的三维立体数据；所述图像三维映射单元，配置用于基于得到的三维立体数据对源图像进行图像分割，得到多个子图像，每个子图像对应一个三维立体数据，再基于三维立体数据，对子图像进行三维图像映射，将每个子图像映射到空间立体坐标中；所述云端三维模型生成单元，配置用于对空间立体坐标中的子图像进行三维合成，以完成云端的三维模型生成。

进一步的，所述云端三维模型生成单元使用如下方法进行云端的三维模型生成：对获取到的每个子图像进行图像识别，获得用于表征每个子图像中各个特征部位的特征信息；根据获得的子图像中各个特征部位的特征信息，重构子图像的三维图像；并根据子图像对应的三维立体数据对所述子图像三维图像的各个特征部位进行变形处理，完成云端的三维模型生成。

进一步的，所述图像采集装置在采集源图像时，使用基于对象的图像采集方式，具体包括：在采集源图像时，设定一个对象者，以该对象者为参照物，基于该对象者的坐标参数，得到源图像的坐标参数，并以对象者的坐标参数，建立用于进行三维模型创建的空间立体坐标系。

进一步的，所述图像三维剖分单元，对源图像进行三维剖分，得到源图像的三维立体数据的方法包括：基于对象者的坐标参数，使用如下公式，计算得到源图像中每个像素的三维立体数据：

其中，S为以对象者为中心，以对象者与图像获取装置的距离为半径形成的圆的曲率半径，Q为对象者与图像获取装置的垂直高度差，

为对象者的地理经度，λ为对象者的地理纬度，X,Y和Z为源图像的每个像素的三维立体数据；F为每个像素的像素深度值。

进一步的，所述图像三维映射单元包括：分割单元和映射单元；所述分割单元，配置用于基于得到的三维立体数据对源图像进行图像分割，得到多个子图像，每个子图像对应一个三维立体数据；所述映射单元，配置用于基于三维立体数据，对子图像进行三维图像映射，将每个子图像映射到空间立体坐标中。

进一步的，所述分割单元，进行图像分割的方法包括：获取源图像的像素均值和深度值；基于源图像的深度值，对源图像进行粗略分割以获得初始三色图；将该初始三色图的未知区域划分为多个局部区域；对于每一局部区域，判断其中的像素均值是否满足预定条件，如果不满足则对该局部区域进行腐蚀或膨胀直到该局部区域的像素均值满足该预定条件，以获得优化的三色图；以及根据优化的三色图进行分割，得到子图像。

进一步的，所述映射单元，基于三维立体数据，对子图像进行三维图像映射，将每个子图像映射到空间立体坐标中的方法包括：对每个子图像中的每个像素点，使用如下公式，基于三维立体数据进行映射，得到每个像素点在的空间立体坐标系中的映射点：X′＝|X|+x；Y′＝|Y|+y；Z′＝|Z|+z；其中，X′，Y′和Z′为像素点在空间立体坐标系中的映射点的坐标值；x，y和z为每个像素点的坐标值。

一种三维模型智能构建方法，所述方法执行以下步骤：

步骤1：采集图像，将图像进行复制，得到两幅源图像，对这两幅源图像建立同步连接:；

步骤2：对接收到的其中一幅源图像依次进行图像三维剖分，图像三维映射和三维模型生成；

步骤3：获取步骤2中的图像三维映射的结果后，以和步骤2中进行三维模型生成的相反的方向进行三维模型生成，同时实时获取步骤2中的三维模型生成的结果，与三维模型生成的结果进行三维模型拼接，得到最终的构建的三维模型。

本发明的虚拟现实失真补齐方法，具有如下有益效果：

1.效率高：本发明在进行三维模型创建时，是通过本地端和云端进行合作的方式来完成的。传统的方式要么本地端直接进行三维模型创建，要么云端合成了直接发送至本地端；而在实际情况中，如果本地端直接进行合成，容易导致本地资源占用率更高，对硬件的要求也很高；如果通过云端合成，本地端进行获取，延迟性也很高；在本发明中，通过本地端和云端结合，云端完成部分工作，本地端完成部分工作，以降低三维模型合成的延迟，在三维模型合成过程中，本地端完成的部分，用户就可以马上看到，而云端完成的部分，则可以在后获取，提升用户体验。同时本地端的负载也降低了。

2.图像效果好：本发明在进行三维模型创建时，是基于图像获取的物理位置来实现的，而非传统的针对图像进行单纯的模型创建。基于位置的三维模型创建有两个优点：一是合成时，基于位置的关系，不容易出错，提升合成的模型的质量；二是基于位置的合成，计算量也较小，不需要对每个像素点进行弯曲和计算。

附图说明

图1为本发明实施例提供的基于云平台的三维模型智能构建系统的系统结构示意图；

图2为本发明实施例提供的基于云平台的三维模型智能构建系统及方法的对象者的示意图；

图3为本发明实施例提供的基于云平台的三维模型智能构建系统及方法的进行三维模型创建的原理示意图。

具体实施方式

下面结合附图及本发明的实施例对本发明的方法作进一步详细的说明。

实施例1

如图1所示，基于云平台的三维模型智能构建系统，所述系统包括：云端、图像采集装置和本地端；所述图像采集装置在采集到图像后，将图像进行复制，得到两幅源图像，对这两幅源图像建立同步连接，将其中一幅源图像发送至本地端，另一幅图像发送至云端；所述云端对接收到的源图像依次进行图像三维剖分，图像三维映射和三维模型生成；所述本地端获取云端的图像三维映射的结果后，以和云端进行三维模型生成的相反的方向进行三维模型生成，同时实时获取云端的三维模型生成的结果，与本地端的三维模型生成的结果进行三维模型拼接，得到最终构建的三维模型。

具体的，在本发明中源图像的获取时基于对象者的。在对象者的基础上，图像获取后本身就带有一定的信息，基于这些相对于对象者的位置信息，可以对图像进行后续的映射和三维模型的创建操作。

实施例2

在上一实施例的基础上，设定本地端在开始进行三维模型生成时，云端已经进行三维模型生成的时间为T；同时，设定本地端进行三维模型生成的速率为V₁；云端进行三维模型生成的速率为V₂；通过如下公式计算得到本地端与云端所生成的三维模型在最终构建的三维模型的比率为：

其中，t为生成最终构建的三维模型的时间，L为比率，a为基于本地端与云端的延迟生成的调整系数，取值范围为：0.2～1。

具体的，该比率是最后将云端合成的三维模型和本地端合成的三维模型进行拼接的关键。

实施例3

在上一实施例的基础上，所述云端包括：图像三维剖分单元、图像三维映射单元和云端三维模型生成单元；所述图像三维剖分单元，配置用于对源图像进行三维剖分，得到源图像的三维立体数据；所述图像三维映射单元，配置用于，基于得到的三维立体数据对源图像进行图像分割，得到多个子图像，每个子图像对应一个三维立体数据，再基于三维立体数据，对子图像进行三维图像映射，将每个子图像映射到空间立体坐标中；所述云端三维模型生成单元，配置用于对空间立体坐标中的子图像进行三维合成，以完成云端的三维模型生成。

具体的，参考图3，图3中的A表示获取到的源图像。B表示对源图像进行复制，在这个时候，对获取到的模拟的源图像进行了数字化，得到了数字化的图像，再对数字化的图像进行复制，得到复制的源图像B和源图像C。针对源图像B和源图像C分别在云端和本地端进行操作，得到最终的合成的三维模型。

实施例4

在上一实施例的基础上，所述云端三维模型生成单元使用如下方法进行云端的三维模型生成：对获取到的每个子图像进行图像识别，获得用于表征每个子图像中各个特征部位的特征信息；根据获得的子图像中各个特征部位的特征信息，重构子图像的三维图像；并根据子图像对应的三维立体数据对所述子图像三维图像的各个特征部位进行变形处理，完成云端的三维模型生成。

具体的，像素深度和图像深度是两个相互关联但又有所不同的两个概念。像素深度是指存储每个像素所需要的比特数。假定存储每个像素需要8bit，则图像的像素深度为8。图像深度是指像素深度中实际用于存储图像的灰度或色彩所需要的比特位数。假定图像的像素深度为16bit，但用于表示图像的灰度或色彩的位数只有15位，则图像的图像深度为15。图像深度决定了图像的每个像素可能的颜色数，或可能的灰度级数。例如，彩色图像每个像素用R,G,B三个分量表示,每个分量用8位，像素深度为24位。

实施例5

在上一实施例的基础上，所述图像采集装置在采集源图像时，使用基于对象的图像采集方式，具体包括：在采集源图像时，设定一个对象者，以该对象者为参照物，基于该对象者的坐标参数，得到源图像的坐标参数，并以对象者的坐标参数，建立用于进行三维模型创建的空间立体坐标系。

实施例6

在上一实施例的基础上，所述图像三维剖分单元，对源图像进行三维剖分，得到源图像的三维立体数据的方法包括：基于对象者的坐标参数，使用如下公式，计算得到源图像中每个像素的三维立体数据：

其中，S为以对象者为中心，以对象者与图像获取装置的距离为半径形成的圆的曲率半径，Q为对象者与图像获取装置的垂直高度差，

为对象者的地理经度，λ为对象者的地理纬度，X,Y和Z为源图像的每个像素的三维立体数据；F为每个像素的像素深度值。

参考图2，图2中的VO代表图像获取装置，基于图像获取装置与对象者的位置关系，可以进行图像三维映射，在进行图像三维映射时，只需要对图像获取装置与对象者之间的关系进行计算，然后对图像获取本身的深度值进行获取，就可以进行映射，以完成像素点的三维映射，为三维模型生成做准备。

实施例7

在上一实施例的基础上，所述图像三维映射单元包括：分割单元和映射单元；所述分割单元，配置用于基于得到的三维立体数据对源图像进行图像分割，得到多个子图像，每个子图像对应一个三维立体数据；所述映射单元，配置用于基于三维立体数据，对子图像进行三维图像映射，将每个子图像映射到空间立体坐标中。

具体的，将图像进行映射后，图像中的每个像素点就进行了空间化，这个时候再进行三维合成，就可以得到三维模型。

实施例8

在上一实施例的基础上，所述分割单元，进行图像分割的方法包括：获取源图像的像素均值和深度值；基于源图像的深度值，对源图像进行粗略分割以获得初始三色图；将该初始三色图的未知区域划分为多个局部区域；对于每一局部区域，判断其中的像素均值是否满足预定条件，如果不满足则对该局部区域进行腐蚀或膨胀直到该局部区域的像素均值满足该预定条件，以获得优化的三色图；以及根据优化的三色图进行分割，得到子图像。

具体的，本发明的图像分割方法，也可以使用基于显著性的图像分割方法，具体包括：利用预定过分割算法对图像进行过分割，得到至少一个区域，同一个所述区域中各个像素点的像素均值相同；确定每个所述区域的像素均值和质心；根据各个区域所对应的像素均值以及各个区域的质心，建立显著性模型；根据所述显著性模型获取所述图像中的前景样本点和背景样本点；根据所述显著性模型以及所述前景样本点和所述背景样本点，建立前背景分类模型；根据预定图割算法对所述图像进行分割，所述预定图割算法利用所述前背景分类模型以及像素点之间的边缘信息对所述图像进行分割；其中，所述前背景分类模型包括前景分类模型和背景分类模型，所述根据所述显著性模型以及所述前景样本点和所述背景样本点，建立前背景分类模型，包括：根据所述前景样本点建立前景像素均值似然模型；根据所述背景样本点建立背景像素均值似然模型；将所述显著性模型与所述前景像素均值似然模型相乘，得到所述前景分类模型，所述前景分类模型用于表征像素点为前景的概率；将所述显著性模型与所述背景像素均值似然模型相乘，得到所述背景分类模型，所述背景分类模型用于表征像素点为背景的概率。

实施例9

在上一实施例的基础上，所述映射单元，基于三维立体数据，对子图像进行三维图像映射，将每个子图像映射到空间立体坐标中的方法包括：对每个子图像中的每个像素点，使用如下公式，基于三维立体数据进行映射，得到每个像素点在的空间立体坐标系中的映射点：X′＝|X|+x；Y′＝|Y|+y；Z′＝|Z|+z；其中，X′，Y′和Z′为像素点在空间立体坐标系中的映射点的坐标值；x，y和z为每个像素点的坐标值。

实施例10

一种三维模型智能构建方法，所述方法执行以下步骤：

步骤1：采集图像，将图像进行复制，得到两幅源图像，对这两幅源图像建立同步连接:；

步骤2：对接收到的其中一幅源图像依次进行图像三维剖分，图像三维映射和三维模型生成；

步骤3：获取步骤2中的图像三维映射的结果后，以和步骤2中进行三维模型生成的相反的方向进行三维模型生成，同时实时获取步骤2中的三维模型生成的结果，与三维模型生成的结果进行三维模型拼接，得到最终的构建的三维模型。

需要说明的是，上述实施例提供的系统，仅以上述各功能单元的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能单元来完成，即将本发明实施例中的单元或者步骤再分解或者组合，例如，上述实施例的单元可以合并为一个单元，也可以进一步拆分成多个子单元，以完成以上描述的全部或者单元功能。对于本发明实施例中涉及的单元、步骤的名称，仅仅是为了区分各个单元或者步骤，不视为对本发明的不当限定。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域技术人员应能够意识到，结合本文中所公开的实施例描述的各示例的单元、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件单元、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

术语“第一”、“另一部分”等是配置用于区别类似的对象，而不是配置用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者单元/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者单元/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术标记作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

以上所述，仅为本发明的较佳实施例而已，并非配置用于限定本发明的保护范围。

Claims (10)

1.基于云平台的三维模型智能构建系统，其特征在于，所述系统包括：云端、图像采集装置和本地端；所述图像采集装置在采集到图像后，将图像进行复制，得到两幅源图像，对这两幅源图像建立同步连接，将其中一幅源图像发送至本地端，另一幅图像发送至云端；所述云端对接收到的源图像依次进行图像三维剖分，图像三维映射和三维模型生成；所述本地端获取云端的图像三维映射的结果后，以和云端进行三维模型生成的相反的方向进行三维模型生成，同时实时获取云端的三维模型生成的结果，与本地端的三维模型生成的结果进行三维模型拼接，得到最终构建的三维模型。

2.如权利要求1所述的系统，其特征在于，设定本地端在开始进行三维模型生成时，云端已经进行三维模型生成的时间为T；同时，设定本地端进行三维模型生成的速率为V₁；云端进行三维模型生成的速率为V₂；通过如下公式计算得到本地端与云端所生成的三维模型在最终构建的三维模型的比率为：

其中，t为生成最终构建的三维模型的时间，L为比率，a为基于本地端与云端的延迟生成的调整系数，取值范围为：0.2～1。

3.如权利要求2所述的系统，其特征在于，所述云端包括：图像三维剖分单元、图像三维映射单元和云端三维模型生成单元；所述图像三维剖分单元，配置用于对源图像进行三维剖分，得到源图像的三维立体数据；所述图像三维映射单元，配置用于基于得到的三维立体数据对源图像进行图像分割，得到多个子图像，每个子图像对应一个三维立体数据，再基于三维立体数据，对子图像进行三维图像映射，将每个子图像映射到空间立体坐标中；所述云端三维模型生成单元，配置用于对空间立体坐标中的子图像进行三维合成，以完成云端的三维模型生成。

4.如权利要求3所述的系统，其特征在于，所述云端三维模型生成单元使用如下方法进行云端的三维模型生成：对获取到的每个子图像进行图像识别，获得用于表征每个子图像中各个特征部位的特征信息；根据获得的子图像中各个特征部位的特征信息，重构子图像的三维图像；并根据子图像对应的三维立体数据对所述子图像三维图像的各个特征部位进行变形处理，完成云端的三维模型生成。

5.权利要求4所述的系统，其特征在于，所述图像采集装置在采集源图像时，使用基于对象的图像采集方式，具体包括：在采集源图像时，设定一个对象者，以该对象者为参照物，基于该对象者的坐标参数，得到源图像的坐标参数，并以对象者的坐标参数，建立用于进行三维模型创建的空间立体坐标系。

6.如权利要求5所述的系统，其特征在于，所述图像三维剖分单元，对源图像进行三维剖分，得到源图像的三维立体数据的方法包括：基于对象者的坐标参数，使用如下公式，计算得到源图像中每个像素的三维立体数据：

其中，S为以对象者为中心，以对象者与图像获取装置的距离为半径形成的圆的曲率半径，Q为对象者与图像获取装置的垂直高度差，

为对象者的地理经度，λ为对象者的地理纬度，X,Y和Z为源图像的每个像素的三维立体数据；F为每个像素的像素深度值。

7.如权利要求6所述的系统，其特征在于，所述图像三维映射单元包括：分割单元和映射单元；所述分割单元，配置用于基于得到的三维立体数据对源图像进行图像分割，得到多个子图像，每个子图像对应一个三维立体数据；所述映射单元，配置用于基于三维立体数据，对子图像进行三维图像映射，将每个子图像映射到空间立体坐标中。

8.如权利要求7所述的系统，其特征在于，所述分割单元，进行图像分割的方法包括：获取源图像的像素均值和深度值；基于源图像的深度值，对源图像进行粗略分割以获得初始三色图；将该初始三色图的未知区域划分为多个局部区域；对于每一局部区域，判断其中的像素均值是否满足预定条件，如果不满足则对该局部区域进行腐蚀或膨胀直到该局部区域的像素均值满足该预定条件，以获得优化的三色图；以及根据优化的三色图进行分割，得到子图像。

9.如权利要求8所述的系统，其特征在于，所述映射单元，基于三维立体数据，对子图像进行三维图像映射，将每个子图像映射到空间立体坐标中的方法包括：对每个子图像中的每个像素点，使用如下公式，基于三维立体数据进行映射，得到每个像素点在的空间立体坐标系中的映射点：

X′＝|X|+x；Y′＝|Y|+y；Z′＝|Z|+z；其中，X′，Y′和Z′为像素点在空间立体坐标系中的映射点的坐标值；x，y和z为每个像素点的坐标值。

10.一种基于权利要求1至9之一所述系统的三维模型智能构建方法，其特征在于，所述方法执行以下步骤：

步骤1：采集图像，将图像进行复制，得到两幅源图像，对这两幅源图像建立同步连接:；

步骤2：对接收到的其中一幅源图像依次进行图像三维剖分，图像三维映射和三维模型生成；

步骤3：获取步骤2中的图像三维映射的结果后，以和步骤2中进行三维模型生成的相反的方向进行三维模型生成，同时实时获取步骤2中的三维模型生成的结果，与三维模型生成的结果进行三维模型拼接，得到最终的构建的三维模型。

Images