CN109767488A - 基于人工智能的三维建模方法及系统 - Google Patents

Abstract

本发明公开了一种基于人工智能的三维建模方法及系统，方法包括：获取对象的三维数据；采用人工智能算法对对象的三维数据进行智能处理，得到对象的三维模型和对应的链接，所述智能处理包括去噪、去锯齿、锐化、平滑、饱和度优化、着色、模型修复、贴图处理、超分辨率处理、语义分割、渲染和压缩。本发明通过采用人工智能算法对对象的三维数据进行去噪、去锯齿、锐化、平滑、饱和度优化、着色、模型修复、贴图处理、超分辨率处理、语义分割、渲染和压缩等智能处理，实现了3D模型的自动化生成，无需人工的参与，速度快且智能化程度高。本发明可广泛应用于三维成像与建模领域。

Description

基于人工智能的三维建模方法及系统

技术领域

本发明涉及三维成像与建模技术，尤其是一种基于人工智能的三维建模方法及系统。

背景技术

随着物联网、人工智能、GPU/FPGA、边缘技计算、云存储等技术的快速发展，我们可能在不久的将来就从互联网时代走向更加充满个性化和“视觉智能可视化”的新一代互联网时代。在这个过程中，需要大量的3D模型，而目前3D模型的生成方法主要是人工使用专业的3D建模软件去修复修饰，这需要专业技术人员花费大量时间和精力才能完成。

发明内容

为解决上述技术问题，本发明的目的在于：提供一种速度快的基于人工智能的三维建模方法及系统。

本发明一方面所采取的技术方案是：

基于人工智能的三维建模方法，包括以下步骤：

获取对象的三维数据；

采用人工智能算法对对象的三维数据进行智能处理，得到对象的三维模型和对应的链接，所述智能处理包括去噪、去锯齿、锐化、平滑、饱和度优化、着色、模型修复、贴图处理、超分辨率处理、语义分割、渲染和压缩。

进一步，所述获取对象的三维数据这一步骤，具体包括：

通过扫描设备采集对象的图片和深度信息，所述扫描设备包括航拍扫描仪、室内扫描仪、室外扫描模仪、物体扫描仪和人体扫描仪中的至少一种；

对采集的图片和深度信息进行本地预处理；

将本地预处理后的图片和深度信息上传给后台服务器。

进一步，所述采用人工智能算法对对象的三维数据进行智能处理，得到对象的三维模型和对应的链接这一步骤，具体包括：

根据对象的三维数据执行第一处理操作，所述第一处理操作包括去噪、UV优化和去锯齿处理；

根据第一处理操作的结果执行第二处理操作，得到对象的原始三维模型，所述第二处理操作包括锐化、去噪点、饱和度优化、图片HDR优化、着色、模型修复和渲染优化，所述第二处理操作还采用人工智能算法和超像素算法进行图像处理；

对对象的原始三维模型进行压缩，得到压缩后的三维模型；

根据压缩后的三维模型生成对应的链接；

存储压缩后的三维模型和对应的链接。

进一步，还包括以下步骤：

根据压缩后的三维模型和/或对应的链接进行三维模型展示，以通过智能显示屏、AR设备、VR设备和浏览器中的至少一种来展示对象压缩后的三维模型，所述智能显示屏包括空气成像装置、空气屏、移动终端、平板电脑端、PC电脑端、LED显示屏、LCD显示屏、OLED显示屏和点阵显示屏。

进一步，所述人工智能算法包括深度学习算法，所述深度学习算法采用生成对抗网络模型。

本发明另一方面所采取的技术方案是：

基于人工智能的三维建模系统，包括：

获取模块，用于获取对象的三维数据；

智能处理模块，用于采用人工智能算法对对象的三维数据进行智能处理，得到对象的三维模型和对应的链接，所述智能处理包括去噪、去锯齿、锐化、平滑、饱和度优化、着色、模型修复、贴图处理、超分辨率处理、语义分割、渲染和压缩。

进一步，所述获取模块包括：

采集单元，用于通过扫描设备采集对象的图片和深度信息，所述扫描设备包括航拍扫描仪、室内扫描仪、室外扫描模仪、物体扫描仪和人体扫描仪中的至少一种；

本地预处理单元，用于对采集的图片和深度信息进行本地预处理；

上传单元，用于将本地预处理后的图片和深度信息上传给后台服务器。

进一步，所述智能处理模块包括：

第一处理单元，用于根据对象的三维数据执行第一处理操作，所述第一处理操作包括去噪、贴图优化和去锯齿处理；

第二处理单元，用于根据第一处理操作的结果执行第二处理操作，得到对象的原始三维模型，所述第二处理操作包括锐化、去噪点、饱和度优化、图片HDR优化、着色、模型修复和渲染优化，所述第二处理操作还采用人工智能算法和超像素算法进行图像处理；

压缩单元，用于对对象的原始三维模型进行压缩，得到压缩后的三维模型；

链接生成单元，用于根据压缩后的三维模型生成对应的链接；

存储单元，用于存储压缩后的三维模型和对应的链接。

进一步，还包括以下模块：

展示模块，用于根据压缩后的三维模型和/或对应的链接进行三维模型展示，以通过智能显示屏、AR设备、VR设备和浏览器中的至少一种来展示对象压缩后的三维模型，所述智能显示屏包括空气成像装置、空气屏、移动终端、平板电脑端、PC电脑端、LED显示屏、LCD显示屏、OLED显示屏和点阵显示屏。

本发明另一方面所采取的技术方案是：

基于人工智能的三维建模系统，包括：

至少一个存储器，用于存储程序；

至少一个处理器，用于执行所述程序以实现本发明所述的基于人工智能的三维建模方法。

本发明的有益效果是：本发明基于人工智能的三维建模方法及系统，通过采用人工智能算法对对象的三维数据进行去噪、去锯齿、锐化、平滑、饱和度优化、着色、模型修复、贴图处理、超分辨率处理、语义分割、渲染和压缩等智能处理，实现了3D模型的自动化生成，无需人工的参与，速度快且智能化程度高。

附图说明

图1为本发明的三维建模方案所采用的软件架构图；

图2为本发明实施例提供的基于人工智能的三维建模方法流程图。

具体实施方式

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。

需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。此外，本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本文说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本公开范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。本文所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。

首先对本发明的三维建模方案所采用的软件架构进行说明。如图1所示，该架构主要包括底层、图片处理引擎、模型压缩层、应用层和展示层。

其中，底层为基础支撑层，用于为上层(包括图片处理引擎、应用层等)提供计算支撑(如CUDA等)、应用程序接口API(如Vulkan、OpenGL等)、对高级程序中间表示进行低级抽象(如WebAssembly等)和提供编程语言(如Halide、Rust等)。

图片处理引擎，三维建模的核心，主要通过人工智能算法和图形图像算法(如超像素算法等)对扫描等方法获取的图片和深度信息进行自动化智能建模和图像增强等处理，以得到对象的三维模型和对应的链接。如图1所示，图片处理引擎主要具有以下功能：

1)图像增强：锐化、平滑、饱和度优化、去噪、着色、语义分割、HDR(高动态范围成像)优化和超分辨率处理。

2)着色库：提供各种颜色供着色时选取。

3)自动化智能建模：采用人工智能结合图形图像算法(如超像素算法)来进行自动化建模，得到对象的三维模型和对应的链接，完全不需要用人工，能用最少的计算能力，来达到最高质量的展示效果。

4)渲染。为提供更逼真的渲染效果，可采用PBR渲染技术。

5)后处理过滤：通过滤波等后续处理手段进一步提升处理效果。

6)存储：存储对象的三维模型和对应的链接。

7)发布：将对象的三维模型和对应的链接发布出去，可发布给上层(如模型压缩层)或通过社交媒体接口发布到微博、朋友圈、博客等社交媒体。

模型压缩层，主要负责对图片处理引擎生成的对象的三维模型进行压缩，以进一步降低占用的空间或内存，便于通过链接对模型进行快速访问。

应用层，主要负责调用模型压缩层生成的三维模型进行三维应用，如提供模型内的物品智能语音解说、三维实景监控、沉浸式三维漫游等服务。

展示层，用于对模型压缩层生成的三维模型进行跨平台展示，可支持线上线下各种屏，如空气成像装置、空气屏、移动终端、平板电脑端、PC电脑端、LED显示屏、LCD显示屏、OLED显示屏和点阵显示屏。

基于图1的框架，如图2所示，本发明实施例提供了一种基于人工智能的三维建模方法，包括以下步骤：

获取对象的三维数据；

采用人工智能算法对对象的三维数据进行智能处理，得到对象的三维模型和对应的链接，所述智能处理包括去噪、去锯齿、锐化、平滑、饱和度优化、着色、模型修复、贴图处理、超分辨率处理、语义分割、渲染和压缩。

具体地，对象包括物品(如商品)和环境(如博物馆的室内环境)等。对象的三维数据可以是二维的图片或照片、对象的点云数据等，其可通过各手动或自动的扫描设备(如相机、航拍无人机、自动扫描机器人等)来采集。

模型修复，主要是修复生成的模型中所存在的孔洞等影响展示效果的结构。贴图处理，主要是进行UV优化，并根据扫描设备等获取的二维图片和深度信息等进行图片贴合，以将二维图片按照深度信息贴合在三维模型上。超分辨率处理，主要通过超分辨率算法来提升图片的分辨率。语义分割是为了符合人工智能算法的要求。

对象的三维模型是虚拟的3D模型，可供用户通过浏览器链接(如URL链接)访问的方式进行360度无死角的浏览或观看，而且可以通过空气成像装置、空气屏、移动终端、平板电脑端、PC电脑端、LED显示屏、LCD显示屏、OLED显示屏和点阵显示屏等与用户的交互实现模型的放大、缩小、颜色变换和视觉切换，满足了不同观看者的个性化需求。本发明支持空气成像装置、空气屏、移动终端、平板电脑端、PC电脑端、LED显示屏、LCD显示屏、OLED显示屏和点阵显示屏等不同的智能终端、设备来进行三维模型访问与展示，功能更加丰富。

采用人工智能算法对对象的三维数据进行智能处理这一过程可通过调用图1的底层、图片处理引擎和模型压缩层来实现。

进一步作为优选的实施方式，所述获取对象的三维数据这一步骤，具体包括：

通过扫描设备采集对象的图片和深度信息，所述扫描设备包括航拍扫描仪、室内扫描仪、室外扫描模仪、物体扫描仪和人体扫描仪中的至少一种；

对采集的图片和深度信息进行本地预处理；

将本地预处理后的图片和深度信息上传给后台服务器。

具体地，航拍扫描仪可采用带有摄像头的无人机或其他空中扫描设备，其能通过航拍扫描的方式获取某个特定区域(如某个城市)的扫描数据。

室内扫描仪，可以是手持扫描设备(如带支撑架的相机)或其他自动扫描设备(如自动扫描机器人)，能扫描室内的空间数据。

室外扫描仪，可以是手持扫描设备(如带支撑架的相机)或其他自动扫描设备(如自动扫描机器人)，能扫描室外的空间数据。

物体扫描仪，可以是手持的扫描设备(如带支撑架的RGB-D摄像机等)，能扫描物体的结构数据。

人体扫描仪，可以是现有专门针对人体建模的人体扫描仪，能扫描人体的三维数据。

上述扫描设备都具备边缘计算的能力，均集成有GPU芯片，能在本地对采集的二维图片等数据进行初步的处理(如将二维图片按深度信息进行初步拼接等)，减轻了后台服务器的处理负担。扫描设备应用光学原理，使用RGB或深度相机、激光雷达、结构光等方式对物体、室内外空间、航测地理信息等进行测距，并对物体结构进行数据模型采集，边扫描边计算，然后上传给后台服务器智能优化、自动化建模和数据还原。

进一步作为优选的实施方式，所述采用人工智能算法对对象的三维数据进行智能处理，得到对象的三维模型和对应的链接这一步骤，具体包括：

根据对象的三维数据执行第一处理操作，所述第一处理操作包括去噪、UV优化和去锯齿处理；

根据第一处理操作的结果执行第二处理操作，得到对象的原始三维模型，所述第二处理操作包括锐化、去噪点、饱和度优化、图片HDR优化、着色、模型修复和渲染优化，所述第二处理操作还采用人工智能算法和超像素算法进行图像处理；

对对象的原始三维模型进行压缩，得到压缩后的三维模型；

根据压缩后的三维模型生成对应的链接；

存储压缩后的三维模型和对应的链接。

具体地，扫描设备采集的图片和深度信息后上传至后台服务器处理，后台服务器调用图1的底层、图片处理引擎和模型压缩层来生成三维立体模型，自动化建模。

其中，后台服务器可采用云端集群GPU服务器(包含有若干个GPU)，配合人工智能算法和图形图像算法来实现快速计算、全自动的三维建模与优化，无需人工干预。

模型数据(如点云数据和照片)被采集后，会上传到后台服务器，后台服务器算法会为模型数据进行如下处理：

1)模型(主要是点云数据)去噪Denoise；

2)模型UV优化；

3)模型去锯齿Remove Compression Artefacts。

模型经上述处理后，对采集的照片还要做以下处理：

1)图片锐化；

2)图片去噪点；

3)图片Saturation(饱和度)优化；

4)图片HDR+优化；

5)AI(人工智能)+超像素算法处理。

一个模型的展示效果关键在于模型质量还有图片质量，传统的方式一般通过人工去修复修饰，本实施例通过用AI+算法来升级模型和图片的质量，用最少的计算能力，来达到最高质量的展示效果，完全不需要用人工，通过人工智能结合图形图像算法实现了AI+3D自动化智能建模。

进一步作为优选的实施方式，还包括以下步骤：

根据压缩后的三维模型和/或对应的链接进行三维模型展示，以通过智能显示屏、AR设备、VR设备和浏览器中的至少一种来展示对象压缩后的三维模型，所述智能显示屏包括空气成像装置、空气屏、移动终端、平板电脑端、PC电脑端、LED显示屏、LCD显示屏、OLED显示屏和点阵显示屏。

具体地，本实施例对象压缩后的三维模型可支持线上线下各种屏的展示或跨平台展示，如可展示在空气成像装置、空气屏、移动终端、平板电脑端、PC电脑端、LED显示屏、LCD显示屏、OLED显示屏和点阵显示屏上，用户只需通过相应的链接(如URL链接)进行访问即可，省去了装载APP的过程，效率更高且更加方便。

进一步作为优选的实施方式，所述人工智能算法包括深度学习算法，所述深度学习算法采用生成对抗网络模型。

具体地，本实施例应用GANs(生成对抗网络)模型来进行图片生成、图像修补、图片去噪、图片超分辨、草稿图复原、图片上色等，实现无需人工，完全自动化的智能模型和图片优化。生成对抗网络模型是非监督学习中重要的方法之一，其相对于自动编码器和自回归模型等非监督学习方法具有能充分拟合数据、速度较快、生成样本更锐利等优点。

与图2的方法相对应，本发明实施例还提供了一种基于人工智能的三维建模系统，包括：

获取模块，用于获取对象的三维数据；

智能处理模块，用于采用人工智能算法对对象的三维数据进行智能处理，得到对象的三维模型和对应的链接，所述智能处理包括去噪、去锯齿、锐化、平滑、饱和度优化、着色、模型修复、贴图处理、超分辨率处理、语义分割、渲染和压缩。

上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

进一步作为优选的实施方式，所述获取模块包括：

采集单元，用于通过扫描设备采集对象的图片和深度信息，所述扫描设备包括航拍扫描仪、室内扫描仪、室外扫描模仪、物体扫描仪和人体扫描仪中的至少一种；

本地预处理单元，用于对采集的图片和深度信息进行本地预处理；

上传单元，用于将本地预处理后的图片和深度信息上传给后台服务器。

进一步作为优选的实施方式，所述智能处理模块包括：

第一处理单元，用于根据对象的三维数据执行第一处理操作，所述第一处理操作包括去噪、贴图优化和去锯齿处理；

第二处理单元，用于根据第一处理操作的结果执行第二处理操作，得到对象的原始三维模型，所述第二处理操作包括锐化、去噪点、饱和度优化、图片HDR优化、着色、模型修复和渲染优化，所述第二处理操作还采用人工智能算法和超像素算法进行图像处理；

压缩单元，用于对对象的原始三维模型进行压缩，得到压缩后的三维模型；

链接生成单元，用于根据压缩后的三维模型生成对应的链接；

存储单元，用于存储压缩后的三维模型和对应的链接。

进一步作为优选的实施方式，还包括以下模块：

展示模块，用于根据压缩后的三维模型和/或对应的链接进行三维模型展示，以通过智能显示屏、AR设备、VR设备和浏览器中的至少一种来展示对象压缩后的三维模型，所述智能显示屏包括空气成像装置、空气屏、移动终端、平板电脑端、PC电脑端、LED显示屏、LCD显示屏、OLED显示屏和点阵显示屏。

与图2的方法相对应，本发明实施例还提供了一种基于人工智能的三维建模系统，包括：

至少一个存储器，用于存储程序；

至少一个处理器，用于执行所述程序以实现本发明所述的基于人工智能的三维建模方法。

上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.基于人工智能的三维建模方法，其特征在于：包括以下步骤：

获取对象的三维数据；

采用人工智能算法对对象的三维数据进行智能处理，得到对象的三维模型和对应的链接，所述智能处理包括去噪、去锯齿、锐化、平滑、饱和度优化、着色、模型修复、贴图处理、超分辨率处理、语义分割、渲染和压缩。

2.根据权利要求1所述的基于人工智能的三维建模方法，其特征在于：所述获取对象的三维数据这一步骤，具体包括：

通过扫描设备采集对象的图片和深度信息，所述扫描设备包括航拍扫描仪、室内扫描仪、室外扫描模仪、物体扫描仪和人体扫描仪中的至少一种；

对采集的图片和深度信息进行本地预处理；

将本地预处理后的图片和深度信息上传给后台服务器。

3.根据权利要求1所述的基于人工智能的三维建模方法，其特征在于：所述采用人工智能算法对对象的三维数据进行智能处理，得到对象的三维模型和对应的链接这一步骤，具体包括：

根据对象的三维数据执行第一处理操作，所述第一处理操作包括去噪、UV优化和去锯齿处理；

根据第一处理操作的结果执行第二处理操作，得到对象的原始三维模型，所述第二处理操作包括锐化、去噪点、饱和度优化、图片HDR优化、着色、模型修复和渲染优化，所述第二处理操作还采用人工智能算法和超像素算法进行图像处理；

对对象的原始三维模型进行压缩，得到压缩后的三维模型；

根据压缩后的三维模型生成对应的链接；

存储压缩后的三维模型和对应的链接。

4.根据权利要求3所述的基于人工智能的三维建模方法，其特征在于：还包括以下步骤：

根据压缩后的三维模型和/或对应的链接进行三维模型展示，以通过智能显示屏、AR设备、VR设备和浏览器中的至少一种来展示对象压缩后的三维模型，所述智能显示屏包括空气成像装置、空气屏、移动终端、平板电脑端、PC电脑端、LED显示屏、LCD显示屏、OLED显示屏和点阵显示屏。

5.根据权利要求1所述的基于人工智能的三维建模方法，其特征在于：所述人工智能算法包括深度学习算法，所述深度学习算法采用生成对抗网络模型。

6.基于人工智能的三维建模系统，其特征在于：包括：

获取模块，用于获取对象的三维数据；

智能处理模块，用于采用人工智能算法对对象的三维数据进行智能处理，得到对象的三维模型和对应的链接，所述智能处理包括去噪、去锯齿、锐化、平滑、饱和度优化、着色、模型修复、贴图处理、超分辨率处理、语义分割、渲染和压缩。

7.根据权利要求6所述的基于人工智能的三维建模系统，其特征在于：所述获取模块包括：采集单元，用于通过扫描设备采集对象的图片和深度信息，所述扫描设备包括航拍扫描仪、室内扫描仪、室外扫描模仪、物体扫描仪和人体扫描仪中的至少一种；

本地预处理单元，用于对采集的图片和深度信息进行本地预处理；

上传单元，用于将本地预处理后的图片和深度信息上传给后台服务器。

8.根据权利要求6所述的基于人工智能的三维建模系统，其特征在于：所述智能处理模块包括：

第一处理单元，用于根据对象的三维数据执行第一处理操作，所述第一处理操作包括去噪、贴图优化和去锯齿处理；

第二处理单元，用于根据第一处理操作的结果执行第二处理操作，得到对象的原始三维模型，所述第二处理操作包括锐化、去噪点、饱和度优化、图片HDR优化、着色、模型修复和渲染优化，所述第二处理操作还采用人工智能算法和超像素算法进行图像处理；

压缩单元，用于对对象的原始三维模型进行压缩，得到压缩后的三维模型；

链接生成单元，用于根据压缩后的三维模型生成对应的链接；

存储单元，用于存储压缩后的三维模型和对应的链接。

9.根据权利要求8所述的基于人工智能的三维建模方法，其特征在于：还包括以下模块：

展示模块，用于根据压缩后的三维模型和/或对应的链接进行三维模型展示，以通过智能显示屏、AR设备、VR设备和浏览器中的至少一种来展示对象压缩后的三维模型，所述智能显示屏包括空气成像装置、空气屏、移动终端、平板电脑端、PC电脑端、LED显示屏、LCD显示屏、OLED显示屏和点阵显示屏。

10.基于人工智能的三维建模系统，其特征在于：包括：

至少一个存储器，用于存储程序；

至少一个处理器，用于执行所述程序以实现如权利要求1-5任一项所述的基于人工智能的三维建模方法。