CN115359163A - 三维模型生成系统、三维模型生成方法以及装置 - Google Patents

三维模型生成系统、三维模型生成方法以及装置 Download PDF

Info

Publication number
CN115359163A
CN115359163A CN202210933109.5A CN202210933109A CN115359163A CN 115359163 A CN115359163 A CN 115359163A CN 202210933109 A CN202210933109 A CN 202210933109A CN 115359163 A CN115359163 A CN 115359163A
Authority
CN
China
Prior art keywords
scanning
dimensional model
data
initial
cloud server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210933109.5A
Other languages
English (en)
Inventor
吕万洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Alibaba China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba China Co Ltd filed Critical Alibaba China Co Ltd
Priority to CN202210933109.5A priority Critical patent/CN115359163A/zh
Publication of CN115359163A publication Critical patent/CN115359163A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本说明书实施例提供三维模型生成系统、三维模型生成方法以及装置,其中三维模型生成系统包括:扫描设备,用于从第一视角扫描目标物体,生成第一扫描数据,并将第一扫描数据发送至云端服务器;云端服务器,用于利用第一扫描数据,确定初始三维模型,并将初始三维模型发送至显示设备;显示设备,用于显示初始三维模型;扫描设备,还用于接收补充扫描指令,根据补充扫描指令中携带的第二视角扫描目标物体,生成第二扫描数据,并将第二扫描数据发送至云端服务器;云端服务器,还用于基于第二扫描数据对初始三维模型进行调整,生成目标三维模型。本说明书提供的三维模型生成系统,应用于三维建模领域,提高三维模型的准确性,降低建模成本与使用门槛。

Description

三维模型生成系统、三维模型生成方法以及装置
技术领域
本说明书实施例涉及计算机技术领域,特别涉及三维模型生成系统。
背景技术
随着计算机技术的发展,三维渲染相关应用和产品等受到了越来越多的关注,而三维模型是三维渲染的基础。三维模型是物体的多边形表示,通常用计算机或者其它视频设备进行显示。显示的物体可以是现实世界的实体,也可以是虚构的物体。任何物理自然界存在的东西都可以用三维模型表示。
目前,通常手工进行三维建模。但是,上述手工建模的方式,由于建模对象复杂度高,手工建模需要几天甚至几十天的时间,费用为数百到数千元,即使是花费巨大的时间和成本,建模对象的准确度依然不高,因此,亟需一种使用门槛低、准确度高的三维模型生成方案。
发明内容
有鉴于此,本说明书实施例提供了三维模型生成系统。本说明书一个或者多个实施例同时涉及三维模型生成方法,三维模型生成装置,一种计算设备,一种计算机可读存储介质以及一种计算机程序,以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面,提供了一种三维模型生成系统,包括扫描设备、云端服务器以及显示设备;
扫描设备,用于从第一视角扫描目标物体,生成第一扫描数据,并将第一扫描数据发送至云端服务器;
云端服务器,用于接收第一扫描数据,利用第一扫描数据,确定初始三维模型,并将初始三维模型发送至显示设备;
显示设备,用于显示初始三维模型;
扫描设备,还用于接收补充扫描指令,根据补充扫描指令中携带的第二视角扫描目标物体,生成第二扫描数据,并将第二扫描数据发送至云端服务器;
云端服务器,还用于接收第二扫描数据,基于第二扫描数据对初始三维模型进行调整,生成目标三维模型。
根据本说明书实施例的第二方面,提供了一种三维模型生成系统,包括扫描设备、云端服务器、显示设备以及虚拟现实显示设备;
扫描设备,用于从第一视角扫描目标物体,生成第一扫描数据,并将第一扫描数据发送至云端服务器;
云端服务器,用于接收第一扫描数据,利用第一扫描数据,确定初始三维模型,并将初始三维模型发送至显示设备;
显示设备,用于显示初始三维模型;
扫描设备,还用于接收补充扫描指令,根据补充扫描指令中携带的第二视角扫描目标物体,生成第二扫描数据,并将第二扫描数据发送至云端服务器;
云端服务器,还用于接收第二扫描数据,基于第二扫描数据对初始三维模型进行调整,生成目标三维模型,并将目标三维模型发送至虚拟现实显示设备,以使虚拟现实显示设备对目标三维模型进行显示。
根据本说明书实施例的第三方面,提供了一种三维模型生成方法,应用于三维模型生成系统中的云端服务器,三维模型生成系统包括云端服务器、扫描设备以及显示设备,三维模型生成方法包括:
接收扫描设备发送的第一扫描数据,其中,第一扫描数据是扫描设备从第一视角扫描目标物体生成的;
利用第一扫描数据,确定初始三维模型,并将初始三维模型发送至显示设备,以使显示设备显示初始三维模型;
接收扫描设备发送的第二扫描数据,其中,第二扫描数据是扫描设备接收补充扫描指令,根据补充扫描指令中携带的第二视角扫描目标物体生成的;
基于第二扫描数据对初始三维模型进行调整,生成目标三维模型。
根据本说明书实施例的第四方面,提供了一种三维模型生成方法,应用于三维模型生成系统,三维模型生成系统包括云端服务器、扫描设备以及显示设备,三维模型生成方法包括:
扫描设备,从第一视角扫描目标物体,生成第一扫描数据,并将第一扫描数据发送至云端服务器;
云端服务器,接收第一扫描数据,利用第一扫描数据,确定初始三维模型,并将初始三维模型发送至显示设备;
显示设备,显示初始三维模型;
扫描设备,接收补充扫描指令,根据补充扫描指令中携带的第二视角扫描目标物体,生成第二扫描数据,并将第二扫描数据发送至云端服务器;
云端服务器,接收第二扫描数据,基于第二扫描数据对初始三维模型进行调整,生成目标三维模型。
根据本说明书实施例的第五方面,提供了一种三维模型生成装置,应用于三维模型生成系统中的云端服务器,三维模型生成系统包括云端服务器、扫描设备以及显示设备,三维模型生成装置包括:
第一接收模块,被配置为接收扫描设备发送的第一扫描数据,其中,第一扫描数据是扫描设备从第一视角扫描目标物体生成的;
确定模块,被配置为利用第一扫描数据,确定初始三维模型,并将初始三维模型发送至显示设备,以使显示设备显示初始三维模型;
第二接收模块,被配置为接收扫描设备发送的第二扫描数据,其中,第二扫描数据是扫描设备接收补充扫描指令,根据补充扫描指令中携带的第二视角扫描目标物体生成的;
生成模块,被配置为基于第二扫描数据对初始三维模型进行调整,生成目标三维模型。
根据本说明书实施例的第六方面,提供了一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现上述三维模型生成方法的步骤。
根据本说明书实施例的第七方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现上述三维模型生成方法的步骤。
根据本说明书实施例的第八方面,提供了一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述三维模型生成方法的步骤。
本说明书一个实施例提供的三维模型生成系统,包括扫描设备、云端服务器以及显示设备;扫描设备,用于从第一视角扫描目标物体,生成第一扫描数据,并将第一扫描数据发送至云端服务器;云端服务器,用于接收第一扫描数据,利用第一扫描数据,确定初始三维模型,并将初始三维模型发送至显示设备;显示设备,用于显示初始三维模型;扫描设备,还用于接收补充扫描指令,根据补充扫描指令中携带的第二视角扫描目标物体,生成第二扫描数据,并将第二扫描数据发送至云端服务器;云端服务器,还用于接收第二扫描数据,基于第二扫描数据对初始三维模型进行调整,生成目标三维模型。本说明书提供的三维模型生成系统,应用于三维建模领域,通过利用云端服务器生成三维模型,无需设置高配置的建模终端,降低了三维建模的成本与使用门槛,并且,利用扫描数据生成三维模型,提高了三维模型的准确性,进一步提高了用户体验度。
附图说明
图1是本说明书一个实施例提供的第一种三维模型生成系统的架构图;
图2a是本说明书一个实施例提供的一种初始三维模型的生成流程图;
图2b是本说明书一个实施例提供的另一种初始三维模型的生成流程图;
图3是本说明书一个实施例提供的第二种三维模型生成系统的架构图;
图4是本说明书一个实施例提供的第一种三维模型生成系统下的时序图;
图5是本说明书一个实施例提供的第三种三维模型生成系统的架构图;
图6是本说明书一个实施例提供的一种应用于云端服务器的三维模型生成方法的流程图;
图7是本说明书一个实施例提供的第二种三维模型生成系统下的时序图;
图8是本说明书一个实施例提供的第三种三维模型生成系统下的时序图;
图9是本说明书一个实施例提供的第四种三维模型生成系统的架构图;
图10是本说明书一个实施例提供的一种三维模型生成装置的结构示意图;
图11是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先,对本说明书一个或多个实施例涉及的名词术语进行解释。
三维扫描仪:三维扫描仪是指集光、机、电、软件建模技术于一体的设备,主要用于对物体空间外形和结构及色彩进行扫描,以获得物体表面的空间坐标信息。通常,三维扫描仪包括工业级扫描仪、专业级扫描仪以及消费级扫描仪。
工业级扫描仪:工业级扫描仪的扫描精度在25-500微米,价格在几十万甚至上百万,适用于工业设计、逆向工程、工件三维检测、精细物件扫描、检测工件缺失、隧道、地下空间、汽车、航空航天、工业精密零件制造、数字博物馆等领域。工业级扫描仪包括具有高度便携性和灵活性的手持式激光3D扫描仪以及具有高分辨率、高细节度、高保真、高还原的拍照式3D扫描仪,能够实现精度要求极高的扫描建模以及对三维数据的采集分析。
专业级扫描仪:专业级扫描仪的扫描精度≤0.1mm,价格在5-20万,适用于广泛与居家生活紧密关联的物品(泛家居)、文博工艺品、电商、医疗卫生、教育科研、人体扫描等领域。专业级扫描仪带多帧彩色纹理、支持自动拼接、数据采集、模型优化、纹理映射、模型发布、断点记忆扫描。
消费级扫描仪:消费级扫描仪扫描精度在±0.2mm/15fps,点云数量为2M/S,视场角(FOV)为34*26°。价格在0.4-2万,适用于泛家居、文博工艺品、电商、医疗卫生、教育科研、人体扫描、DIY创意设计、小型场景搭建等领域。消费级扫描仪是高性价比、操作简便的扫描仪,包括手持模式、转台模式,可以实现自动拼接,无需特定经验、预热、校准,节约时间。
扫描光学参数:扫描光学参数包括扫描帧率、扫描分辨率(scan resolution)、扫描精度等,其中,扫描帧率也即每秒传输帧数(FPS:Frames Per Second)。
扫描参数:扫描参数包括扫描区域(长*宽,单位为米)、扫描距离、扫描范围。其中,扫描范围包括手持扫描范围、扫描仪转台范围等。
三维重建:三维重建(3D Reconstruction)能够建立适合计算机显示和处理的三维物体数学模型,在计算机环境下,可以视为对三维物体进行操作、处理和分析其性质的基础,作为在计算机中建立表达虚拟现实的关键技术。由于点云具有获取便利、表示简单、灵活等优点,因此,点云逐步成为较常用的三维模型表示方法之一。
物体三维重建算法:常规的物体三维重建算法有四种:深度图(depth)算法、点云(point cloud)算法、体素(voxel)算法、网格(mesh)算法。
点云数据处理:对点云数据的处理,一般可以分为两种,第一种是建立数字高程模型,另一种是建立点云三维模型。
三维模型拍立得:用户只需要环绕目标物体进行视频/图片拍摄,云端推荐引擎会给出与该目标物体高度吻合的三维模型。
3D编辑器:3D编辑器包括扩展现实(XR,Extended Reality)编辑器,可以是部署在本地电脑上的PC工具,也可以是部署在手机上的APP,还可以是XR头显设备上的3D应用程序。
基于物理的渲染:基于物理的渲染(PBR,Physically Based Rendering)是一种着色和渲染技术,用于更精确地描述光与物体表面的互动,由于其高度的易用性以及方便的工作流,已经被电影和游戏业界广泛使用。PBR的优势在于其通过精确的物理计算公式,可以准确的得到各种光照环境下的效果,为不同的3D设计提供统一的工作流程。PBR的工作流程主要分为两种,一种是基于金属的工作流,一种是基于镜面反射的工作流,它们都遵循着PBR的核心原理,最大的区别是如何识别反射与漫反射。两种工作流传统材质的贴图为法线(Normal)、环境光遮蔽(Ambient Occlusion)、高度(Height)贴图。
3D建模:3D建模方式包括以下几种:采用几何建模、照相建模的方式对高纹理、不透明且不反光的物体进行建模,如服饰,采集设备包括手机、单反、手机+轻量级扫描配件;采用Nerf建模、几何建模的方式对低纹理、不透明且反光的物体进行建模,如工艺品、电子产品,采集设备包括消费级扫描仪、手机和单反。
神经辐射场:神经辐射场(NERF,Neural Radiance Field),其核心点在于非显式地将一个复杂的静态场景用一个神经网络来建模。在网络训练完成后,可以从任意角度渲染出清晰的场景图片。NERF的核心就是,原本需要手绘的3D模型,用拍照的方式就可以实现出来。
在本说明书中,提供了三维模型生成系统,本说明书同时涉及三维模型生成方法,三维模型生成装置,一种计算设备,以及一种计算机可读存储介质,在下面的实施例中逐一进行详细说明。
随着计算机技术的发展,三维渲染相关应用和产品等受到了越来越多的关注,而三维模型是三维渲染的基础。传统的自动三维建模技术,需要对目标商品的形状、纹理、材质进行还原。为了提升建模成功率,建模产品对于建模环境、拍摄设备提出了许多要求,需要利用价格昂贵的扫描设备,在扫描过程中还需要一台高配置的电脑连接扫描设备,以接收扫描设备扫描的数据,通过运行在本地PC上的3D编辑器进行建模。即使是这样的前提下,自动建模的三维模型还原度依然存在严重问题,弱纹理物体比如鞋、瓷壶等无法很好的重建,需要人工修复。同时,高精度材质还原,也需要人工进行大量的工作。因此,亟需一种使用门槛低、准确度高的三维模型生成方案。
为了降低三维建模的成本与使用门槛,准确生成三维模型,本说明书实施例提供了一种采用端云架构设计的三维模型生成系统,包括扫描设备、云端服务器以及显示设备。扫描设备,用于从第一视角扫描目标物体,生成第一扫描数据,并将第一扫描数据发送至云端服务器;云端服务器,用于接收第一扫描数据,利用第一扫描数据,确定初始三维模型,并将初始三维模型发送至显示设备;显示设备,用于显示初始三维模型;扫描设备,还用于接收补充扫描指令,根据补充扫描指令中携带的第二视角扫描目标物体,生成第二扫描数据,并将第二扫描数据发送至云端服务器;云端服务器,还用于接收第二扫描数据,基于第二扫描数据对初始三维模型进行调整,生成目标三维模型。通过利用云端服务器生成三维模型,无需设置高配置的建模终端,降低了三维建模的成本与使用门槛,并且,利用扫描数据生成三维模型,提高了三维模型的准确性,进一步提高了用户体验度。
参见图1,图1示出了本说明书一个实施例提供的第一种三维模型生成系统的架构图,三维模型生成方法应用在三维建模领域,三维模型生成系统包括扫描设备102、云端服务器104以及显示设备106;
扫描设备102,用于从第一视角扫描目标物体,生成第一扫描数据,并将第一扫描数据发送至云端服务器104。
本说明书一个或多个实施例中,可以利用扫描设备扫描目标物体,将扫描获得的扫描数据发送至云端服务器,以使云端服务器对扫描数据进行处理。
具体地,扫描设备是指可以对目标物体进行扫描的设备,本说明书实施例中,扫描设备可以理解为三维扫描仪,其类型如图1所示。扫描设备利用光感器件,将检测到的光信号转换成电信号,再将电信号通过模拟/数字转换器转化为数字信号,获得扫描数据。以三维激光扫描仪为例,三维激光扫描仪可以直接获取数字信号来采集数据,因此,三维激光扫描仪具有全数字特征,便于进行后期处理和输出。第一视角是指扫描设备扫描目标物体的视角。目标物体也可以理解为待扫描物体,是指具有几何结构的实物,包括但不限于商品,具体根据实际情况进行选择,本说明书实施例对此不作任何限定。
实际应用中,扫描设备扫描目标物体的方式有多种,具体根据实际情况进行选择,本说明书实施例对此不作任何限定。
本说明书一种可能的实现方式中,可以利用接触式扫描方法实现扫描,接触式扫描是指扫描设备与被扫描物体直接接触的扫描方法。接触式扫描包括三坐标测量、激光接触式测量。
本说明书另一种可能的实现方式中,为了降低异形建筑、高空、电厂、辐射等场景的测量风险,为扫描设备的扫描提供安全的测量环境,可以利用非接触式扫描方法实现扫描。非接触式扫描是指扫描设备无需与被扫描物体直接接触,即可直接采集物体表面的三维数据。非接触扫描依靠激光或辐射(如X光或超声波)来搜集被扫描物体的信息,包括光学测量、激光测量。
本说明书一种可选的实施例中,扫描设备包括扫描单元、存储单元以及第一通信单元;
扫描单元,用于扫描目标物体,生成原始扫描数据;
存储单元,用于存储原始扫描数据;
第一通信单元,用于压缩原始扫描数据,生成第一扫描数据,并将第一扫描数据发送至云端服务器。
具体地,原始扫描数据是指扫描设备扫描获得的数据,包括目标物体表面点的三维坐标(x,y,z)点的信息、R、G、B颜色信息、物体反射率信息、扫描距离等。
实际应用中,扫描设备中的扫描单元扫描目标物体,生成原始扫描数据之后,可以将扫描获得的原始扫描数据存储至存储单元,等扫描完成后通过第一通信单元将原始扫描数据发送至云端服务器。
进一步地,为了减少数据传输量,提高数据传输的效率,扫描设备中的第一通信单元可以对原始数据进行处理,如压缩原始数据,生成第一扫描数据,将第一扫描数据发送至云端服务器。需要说明的是,原始扫描数据中包括原始图像数据以及原始位姿数据,可以采用分层策略对原始扫描数据进行压缩:
首先,利用成对的共可见性信息对扫描获得的原始图像数据进行聚类。
具体地,由于三维模型通常使用三角网格进行表示,各三角网格之间存在共同的顶点或共同的边或共同的面,因此,可以利用这些成对的共可见性信息对扫描获得的原始图像数据进行聚类,其中,成对的共可见性信息是指扫描获得的点云数据中共同的顶点、共同的边、共同的面中的至少一种。对原始图像数据进行聚类也可以理解为识别原始图像数据,根据识别结果划分原始图像数据集。实际应用中,对原始图像数据进行聚类的方式包括但不限于K-means聚类算法、层次聚类算法、谱聚类算法,具体根据实际情况进行选择,本说明书实施例对此不作任何限定。
进一步地,若目标物体为高频出现在某一场景的物品,则可以根据扫描获得的原始图像数据的场景,进行场景分割压缩。也即根据原始图像数据的场景将扫描获得的原始扫描数据划分为多个集群分别压缩。其中,原始图像数据的场景是指一类物品会高频出现的场景,例如桌子、杯子、沙发等物品高频出现的场景为卧室。场景分割针对场景图像,场景图像是指面向某个空间的图像,通常具有一定的透视形变,且包括较多的视觉要素。场景分割的目标是对于场景图像中的每个像素判断其所属类别。
其次,基于原始位姿数据估计扫描精度,学习扫描获得的每个原始图像数据的特征点。
具体地,由于获得的原始扫描数据中包括了部分与建模无关的数据,因此,可以从扫描获得的关键帧中找到目标数据,舍弃与建模无关的数据,估计扫描精度。进一步地,由于原始图像数据中的图像特征点能够反映图像的本质特征,可以标识图像中的目标物体,因此,可以利用特征点匹配完成图像匹配,其中,特征点是指图像数据中图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点(即两个边缘的交点)。
最后,通过特征向量化方法压缩对特征点的描述,获得第一扫描数据。
值得说明的是,由于点云有共同的面、顶点、边、时序等,导致数据采集过程中会有大量的重复数据,因此可以对原始扫描数据进行去重,减少点云的面、顶点数等。并且,还可以对数据传输的文件格式进行压缩,如采用.xyz格式的进行压缩。实际应用中,由于动态物体的原始扫描数据有时序上的对应关系,因此,也可以根据原始扫描数据的时序关系实现数据压缩。
实际应用中,为了解决内存、带宽问题和缓存问题,可以通过固定速率纹理压缩的方式对原始扫描数据进行压缩。具体地,通过硬件解码压缩纹理,使得纹理占用更少的纹理内存,从而增加有效的高速缓存大小。由于访问压缩后的纹理消耗的内存带宽较少,因此使用起来更高效。
本说明书一种可选的实现方式中,为了保证第一扫描数据的安全性,可以对第一扫描数据进行加密处理,如非对称加密和对称加密,具体根据实际情况进行选择,本说明书实施例对此不作任何限定。
应用本说明书实施例的方案,扫描设备中的扫描单元扫描目标物体,生成原始数据,存储单元存储扫描获得的原始数据,第一通信单元压缩获得的原始数据,生成第一扫描数据,并将第一扫描数据发生至云端服务器,在保证视觉定位精度的前提下,压缩减少端侧扫描设备上传至云侧的数据量,减少了资源消耗,提高了数据传输效率。
云端服务器104,用于接收第一扫描数据,利用第一扫描数据,确定初始三维模型,并将初始三维模型发送至显示设备106。
本说明书一个或多个实施例中,云端服务器可以接收扫描设备从第一视角扫描目标物体,生成的第一扫描数据,进一步利用第一扫描数据确定初始三维模型,并将初始三维模型发送至显示设备。
需要说明的是,由于扫描设备从第一视角扫描目标物体生成的第一扫描数据并不是目标物体的所有数据,因此,云端服务器根据第一扫描数据确定的初始三维模型准确度不高,为3D粗模。此时,可以将初始三维模型发送至显示设备,端侧的显示设备能够预览该初始三维模型,用户可以及时指定扫描是否完整、哪些地方需要补扫、扫描角度是否正确等信息,进一步使扫描设备对目标物体补充扫描,获得精准的目标三维模型。
实际应用中,云端服务器利用第一扫描数据,确定初始三维模型的方式有多种,具体根据实际情况进行选择,本说明书实施例对此不作任何限定。
本说明书一种可能的实现方式中,云端服务器中包括一个云端模型库,该云端模型库中包括了大量三维模型,因此,云端服务器可以通过匹配模块,利用第一扫描数据在云端模型库中查找与第一扫描数据相匹配的初始三维模型,也即,云端服务器包括匹配模块以及云端模型库;
匹配模块,用于根据第一扫描数据,在云端模型库中匹配获得初始三维模型。
具体地,云端模型库中存储的三维模型可以携带其扫描数据标签,匹配模块比较云端模型库中各三维模型的扫描数据标签与第一扫描数据,获得与第一扫描数据相同的三维模型,则可以将该三维模型作为初始三维模型。
实际应用中,云端模型库中可能并没有与第一扫描数据相匹配的三维模型,此时,可以计算各扫描数据标签与第一扫描数据的相似度,根据相似度计算结果,确定初始三维模型。例如,可以对相似度计算结果进行大小排序,将相似度最高的扫描数据标签对应的三维模型作为初始三维模型。还可以预先设置相似度阈值,将相似度计算结果大于相似度阈值的扫描数据标签对应的三维模型作为初始三维模型。
应用本说明书实施例的方案,云端服务器中的匹配模块根据第一扫描数据,在云端模型库中匹配获得初始三维模型,能够实现三维模型拍立得的效果,提高了三维模型的生成效率。
本说明书另一种可能的实现方式中,云端服务器还可以根据第一扫描数据,及时生成初始三维模型,也即,云端服务器还包括模型生成模块;
模型生成模块,用于根据第一扫描数据,生成初始三维模型,其中,第一扫描数据包括图像数据以及位姿数据。
实际应用中,可以根据目标物体的图像数据和位姿数据进行稠密重建、点云融合、初始化网格模型重建、网格模型简化、纹理贴图,生成初始三维模型。
参见图2a,图2a示出了本说明书一个实施例提供的一种初始三维模型的生成流程图,云端服务器获得第一扫描数据之后,可以根据目标物体的图像数据和位姿数据进行稠密重建、点云融合、初始化网格模型重建、网格模型简化、纹理贴图,生成初始三维模型。
具体地,稠密重建可以理解为稀疏重建,点云融合可以理解为生成稠密点云数据,初始化网格模型重建可以理解为生成网格模型。三维模型通常使用三角网格进行表示,三维模型中的三角网格越多,模型的细节就越精细。在实际应用中,由于三维模型通常包括几十万甚至几百万级别的三角网格,为了提高三维模型的渲染效率的同时兼顾渲染质量,可以对网格模型简化,在不损失模型精细程度的情况下,尽可能减少使用的三角网格的个数,生成不同细节程度(LOD,Level Of Detail)的模型,从而达到渲染效率与渲染质量的均衡。
需要说明的是,LOD算法分为离散LOD和连续LOD。离散LOD离线地存储若干个不同精细度的一系列的LOD模型,然后在渲染时根据需要实时地选择对应的模型,按“对外观的贡献程度”删除三角形,直至精度达到给定要求时停止,并且呈现渲染效果。连续LOD则可以连续地变化物体的几何结构,这样可以更平滑地简化模型。从精细度评估上,LOD算法还可以分为局部简化和全局简化。局部简化即在简化时只考虑局部优化;全局简化则考虑全局优化。通常,在同样的简化率下,全局简化方法会带来更准确的模型。
应用本说明书实施例的方案,根据第一扫描数据,生成初始三维模型,保证生成的初始三维模型更符合目标物体,提高了三维模型生成的准确性。
进一步地,由于上述纹理贴图过程需要同时加载网格模型、彩色图等,导致三维模型生成效率低。其次,扫描设备扫描目标物体,生成扫描数据之后,需要将扫描数据缓存在本地,等待生成目标物体的所有扫描数据之后,再将这些扫描数据全部发送至云端服务器。由于扫描设备的本地内存不足以容纳大规模的扫描数据,容易导致数据丢失,模型生成失败。此外,生成三维模型之后,由于显示设备加载格式以及加载精度的限制,导致完整的三维模型发送至显示设备时,加载速度低且加载精度差。
因此,本说明书实施例可以分块生成三维模型,对分块生成的三维模型进行处理,生成初始三维模型。也即,上述模型生成模块,还用于根据第一扫描数据,生成多个三维分块模型;基于多个三维分块模型,生成初始三维模型。
参见图2b,图2b示出了本说明书一个实施例提供的另一种初始三维模型的生成流程图,本说明书实施例中,根据目标物体的第一扫描数据进行稠密重建、点云融合之后,可以分块生成网格模型,进一步实现分块纹理贴图,对分块生成的网格模型逐层简化、纹理迁移,最终自定义模型数据,输出初始三维模型。
具体地,“网络模型逐层简化”是指先将一个结构复杂的物体(比如:飞机模型),进行“分块生成网格模型”(比如:飞机头模型、左翼模型、右翼模型、机身模型、尾翼模型)等,然后利用上述LOD算法对这些分块的网格模型进行简化。
“纹理贴图”是指使用图像、函数或其他数据源来改变物体表面外观。纹理贴图可以将一个二维图像文件应用于三维模型表面,以对三维模型添加颜色、纹理或其他表面细节(如光泽度,反射率或透明度)。
“纹理迁移”是指将完成纹理贴图的网格模型上纹理风格一样的图,快速复制给其他网格使用。具体可以输入素材语义图、素材风格图及目标语义图,对这些图进行显著结构信息提取,并进行轮廓关键点匹配与稠密映射,进行引导性的纹理迁移,生成具有目标语义和素材风格的目标风格图。
“自定义模型数据”的组成文件包括:描述文件、数据文件、索引树文件和属性文件。描述文件和数据文件是基础组成部分。描述文件包含整个数据(TileTreeSet)的描述信息,如版本号、数据的地理范围以及字典树(TileTree)的根节点路径等,存储为一个.scp文件;数据文件包含Tile的数据信息,通过TileTree组织,TileTree中每个Tile对应一个.s3mb文件;索引树文件是对TileTree中各Tile的描述,包含各Tile的包围盒、LOD切换信息、挂接的子节点文件路径等,对应一个.json文件;属性文件包括属性描述文件和属性数据文件,对应于一个.s3md文件。
应用本说明书实施例的方案,根据第一扫描数据,生成多个三维分块模型;基于多个三维分块模型,生成初始三维模型,实现了分块生成三维模型。扫描设备扫描目标物体,生成扫描数据之后,分批将扫描数据发送至云端服务器,提高了模型生成效率。生成三维模型之后,将分块生成的三维模型分别发送至显示设备,提高了初始三维模型的生成效率、加载精度以及加载效率。
本说明书一种可选的实现方式中,云端服务器利用第一扫描数据,确定初始三维模型之后,可以通过第二通信模块,直接将初始三维模型发送至显示设备,进一步地,为了降低数据传输量,可以将初始三维模型进行压缩之后发送至显示设备,也即云端服务器还包括第二通信模块;
第二通信模块,用于压缩初始三维模型,将压缩后的初始三维模型发送至显示设备。
实际应用中,压缩初始三维模型的方式有多种,具体根据实际情况进行选择,本说明书实施例对此不作任何限定。本说明书一种可能的实现方式中,可以利用三维模型压缩工具实现对初始三维模型的压缩。本说明书另一种可能的实现方式中,可以将初始三维模型进行拆分,生成初始三维模型对应的初始图片序列,并将初始图片序列发送至显示设备,以使显示设备根据初始图像序列进行初始三维模型预览。
应用本说明书实施例的方案,压缩初始三维模型,将压缩后的初始三维模型发送至显示设备,压缩减少云端服务器向端侧发送的数据量,减少了资源消耗,提高了数据传输效率。
显示设备106,用于显示初始三维模型。
本说明书一个或多个实施例中,显示设备接收云端服务器确定的初始三维模型之后,可以对初始三维模型进行预览,以使用户根据初始三维模型调整扫描设备或者目标物体,对初始三维模型做补充扫描。
需要说明的是,显示设备接收到云端服务器发送的初始三维模型的初始图片序列之后,可以将初始图片序列按照顺序组合播放,即可产生三维动画效果,降低对端侧运算能力的要求。
扫描设备102,还用于接收补充扫描指令,根据补充扫描指令中携带的第二视角扫描目标物体,生成第二扫描数据,并将第二扫描数据发送至云端服务器104。
本说明书一个或多个实施例中,扫描设备从第一视角扫描目标物体,生成第一扫描数据,并将第一扫描数据发送至云端服务器之后,进一步地,还可以接收补充扫描指令,根据补充扫描指令中携带的第二视角,对目标物体进行扫描,生成第二扫描数据,并将第二扫描数据发送至云端服务器。
需要说明的是,扫描设备生成第二扫描数据的具体方式与上述生成第一扫描数据的方式相同,本实施例便不再进行赘述。
具体地,补充扫描指令中携带了扫描设备再次扫描目标物体的第二视角,第二视角与第一视角不同,通过第二视角扫描目标物体,可以对初始三维模型进行完善。
本说明书一种可能的实现方式中,用户通过显示设备预览初始三维模型之后,可以通过显示设备输入补充扫描指令,显示设备将补充扫描指令发送至扫描设备,以使扫描设备根据补充扫描指令中携带的第二视角扫描目标物体,生成第二扫描数据,并将第二扫描数据发送至云端服务器。
本说明书另一种可能的实现方式中,若初始三维模型中包括了通用模型,如球体、立方体,认为该通用模型可能不准确,因此,显示设备可以识别初始三维模型中的通用模型,对通用模型进行标记,在显示界面显示提示消息“请确认标记部分是否正确”,在接收到用户发送的通用模型不正确的指令后,显示设备可以进一步生成补充扫描指令,发送补充扫描指令至扫描设备,以使扫描设备根据补充扫描指令中携带的第二视角扫描目标物体,生成第二扫描数据,并将第二扫描数据发送至云端服务器。进一步地,显示设备生成补充扫描指令之后,可以在显示界面显示补充扫描指令,以使用户可以根据补充扫描指令中的第二视角对目标物体进行调整,使得扫描设备可以通过第二视角扫描目标物体,生成第二扫描数据。
值得说明的是,扫描设备接收补充扫描指令之后,可以对补充扫描指令进行解析,获得第二视角,根据第二视角调整扫描设备中放置目标物体的扫描台,以使目标物体以第二视角面对扫描仪,实现从第二视角扫描目标物体,生成第二扫描数据。当然,扫描设备还可以根据第二视角直接调整扫描仪,使得可以通过第二视角扫描目标物体。
云端服务器104,还用于接收第二扫描数据,基于第二扫描数据对初始三维模型进行调整,生成目标三维模型。
本说明书一个或多个实施例中,云端服务器在接收第一扫描数据,利用第一扫描数据,确定初始三维模型,并将初始三维模型发送至显示设备之后,进一步可以接收扫描设备发送的第二扫描数据,根据第二扫描数据对初始三维模型进行调整,生成目标三维模型。
实际应用中,基于第二扫描数据对初始三维模型进行调整,生成目标三维模型的方式有多种,具体根据实际情况进行选择,本说明书实施例对此不作任何限定。
本说明书一种可能实现的方式中,云端服务器接收到第二扫描数据之后,可以根据第二扫描数据,生成参考三维模型,将初始三维模型中第二视角对应的部分模型替换为参考三维模型中第二视角对应的部分模型。
示例性地,初始三维模型A包括A1和A2两部分,其中,A2部分是不准确的,需要对A2进行调整。在初始三维模型A中,第二视角对应的部分模型为A2。根据第二扫描数据生成参考三维模型B,其中,参考三维模型包括B1和B2,在参考三维模型B中,第二视角对应的部分模型为B1,因此,可以将初始三维模型A中的A2替换为参考三维模型中的B1,生成由B1和A2构成的目标三维模型。
本说明书另一种可能实现的方式中,将第二视角对应的第一扫描数据替换为第二视角对应的第二扫描数据,生成更新扫描数据,进一步根据更新扫描数据生成目标三维模型。
应用本说明书实施例的方案,扫描设备,用于从第一视角扫描目标物体,生成第一扫描数据,并将第一扫描数据发送至云端服务器;云端服务器,用于接收第一扫描数据,利用第一扫描数据,确定初始三维模型,并将初始三维模型发送至显示设备;显示设备,用于显示初始三维模型;扫描设备,还用于接收补充扫描指令,根据补充扫描指令中携带的第二视角扫描目标物体,生成第二扫描数据,并将第二扫描数据发送至云端服务器;云端服务器,还用于接收第二扫描数据,基于第二扫描数据对初始三维模型进行调整,生成目标三维模型。通过利用云端服务器生成三维模型,无需设置高配置的建模终端,降低了三维建模的成本与使用门槛,并且,利用扫描数据生成三维模型,提高了三维模型的准确性,进一步提高了用户体验度。
本说明书一种可选的实现方式中,云端服务器生成目标三维模型之后,可以将目标三维模型发送至显示设备,以使显示设备显示目标三维模型。
实际应用中,云端服务器可以直接将目标三维模型发送至显示设备,进一步地,还可以将目标三维模型进行拆分成目标图片序列,也即,上述云端服务器,还用于对目标三维模型进行拆分,生成目标三维模型对应的目标图片序列,并将目标图片序列发送至显示设备,以使显示设备根据目标图片序列进行模型预览。
具体地,云端服务器生成目标三维模型之后,可以利用模型拆分工具对目标三维模型进行拆分,获得包括多张图片的图片序列,如{name001.png、name002.png、name003.png、name004.png、……、namennn.png},显示设备接收目标图片序列之后,可以按照目标图片序列中的顺序连续播放图片,即可对目标三维模型进行预览。
应用本说明书实施例的方案,对目标三维模型进行拆分,生成目标三维模型对应的目标图片序列,并将目标图片序列发送至显示设备,以使显示设备根据目标图片序列进行模型预览,降低了对端侧的显示设备的配置要求,减少了资源消耗,提高了数据传输效率。
本说明书另一种可选的实现方式中,云端服务器在生成目标三维模型之后,还可以将目标三维模型添加至云端模型库,也即,上述云端服务器,还用于将目标三维模型添加至云端模型库。
应用本说明书实施例的方案,将目标三维模型添加至云端模型库中,可以实现目标三维模型的共享、共创,提高了用户体验度。
值得说明的是,云端服务器还可以将目标三维模型在多个显示设备中同步显示,如同时在电脑、手机、虚拟现实显示设备中多屏分享,实现通过分享的统一资源定位符(URL,Universal Resource Locator)或XR应用接口轻松访问XR内容并进行交互体验,一次发布,多终端访问,方便及时处理项目或者与各地伙伴共享该项目。
本说明书一个或多个实施例提供的方案,可以应用于各种场景下的三维模型生成,如文博工艺品、电商、医疗卫生、教育科研等场景,具体根据实际情况进行选择,本说明书实施例对此不作任何限定。
以XR电商场景为例,商家为了降低三维模型生产门槛,需要高性价比的物体三维建模方案,既可以实现商品逆向扫描建模,又可以通过交互配件在XR头显中创建和编辑自己的XR店铺并更新商品3D模型,还可以实时在XR头显上实现完全沉浸式和交互式的XR购物体验。因此,本说明书实施例提供的三维模型生成系统还可以包括虚拟现实显示设备,在下面的实施例中进行详细说明。
参见图3,图3示出了本说明书一个实施例提供的第二种三维模型生成系统的架构图,三维模型生成系统包括扫描设备302、云端服务器304、显示设备306以及虚拟现实显示设备308;
扫描设备302,用于从第一视角扫描目标物体,生成第一扫描数据,并将第一扫描数据发送至云端服务器304;
云端服务器304,用于接收第一扫描数据,利用第一扫描数据,确定初始三维模型,并将初始三维模型发送至显示设备306;
显示设备306,用于显示初始三维模型;
扫描设备302,还用于接收补充扫描指令,根据补充扫描指令中携带的第二视角扫描目标物体,生成第二扫描数据,并将第二扫描数据发送至云端服务器304;
云端服务器304,还用于接收第二扫描数据,基于第二扫描数据对初始三维模型进行调整,生成目标三维模型,并将目标三维模型发送至虚拟现实显示设备308,以使虚拟现实显示设备308对目标三维模型进行显示。
需要说明的是,虚拟现实显示设备也可以理解为XR设备,包括增强现实显示设备(AR,Augmented Reality)、虚拟现实显示设备(VR,Virtual Reality)、混合现实显示设备(MR,Mediated Reality)等,具体根据实际情况进行选择,本说明书实施例对此不作任何限定。
应用本说明书实施例的方案,扫描设备,用于从第一视角扫描目标物体,生成第一扫描数据,并将第一扫描数据发送至云端服务器;云端服务器,用于接收第一扫描数据,利用第一扫描数据,确定初始三维模型,并将初始三维模型发送至显示设备;显示设备,用于显示初始三维模型;扫描设备,还用于接收补充扫描指令,根据补充扫描指令中携带的第二视角扫描目标物体,生成第二扫描数据,并将第二扫描数据发送至云端服务器;云端服务器,还用于接收第二扫描数据,基于第二扫描数据对初始三维模型进行调整,生成目标三维模型,并将目标三维模型发送至虚拟现实显示设备,以使虚拟现实显示设备对目标三维模型进行显示。通过利用云端服务器生成三维模型,无需设置高配置的建模终端,降低了三维建模的成本与使用门槛,并且,利用扫描数据生成三维模型,提高了三维模型的准确性,进一步提高了用户体验度。
参见图4,图4示出了本说明书一个实施例提供的第一种三维模型生成系统下的时序图,其中,三维模型生成系统包括端侧和云侧,端侧包括实物商品厂家、XR商家、XR应用底座、XR电商平台以及XR头显;云侧包括云端服务器,云端服务器中包括XR内容生产工具;
实物商品厂家:向XR商家进行商品供货,同时还可以提供商品的CAD版型的三维模型。
XR商家:商品入库后,XR商家可以将CAD版型的三维模型直接上传至云端模型库,还可以利用扫描设备进行商品扫描、拍照,生成建模数据。实际应用中,XR商家还可以对CAD版型的三维模型进行解析,获得包括图片、视频、模型、CAD的源素材,将源素材添加至建模数据中。
XR内容生产工具:云端服务器中的XR内容生产工具可以根据建模数据生成三维粗模,对三维模型进行三维精修,也即对粗模进行调整,生成目标三维模型。之后,对目标三维模型的分辨率、精度、文件大小、兼容格式等技术指标进行调整,也即三维模型品控调整,生成3D商品模型。
XR应用底座:生成3D商品模型之后,可以进行模型上线,将3D商品模型添加至标准商品3D模型库中,进一步可以从电商提供的3D电商模板的XR编辑器中调取标准商品3D模型进行上架、摆放、陈列,从而构建出一个3D店铺。例如,电商模板中可以包括户外用品类、时尚女装类、儿童玩具类、体育用品类、消费电子类等等。其中,XR编辑器可以是运行在XR头显上的应用程序。
XR电商平台:构建3D店铺之后,即可进行电商上线,在XR头显中根据场景对电商3D店铺发布运营。
应用本说明书实施例的方案,通过XR编辑器加载商品3D模型并创建和编辑XR店铺,发布后在XR电商应用上看到构建的XR店铺渲染效果,实现商品逆向扫描建模,又通过交互配件在XR头显中创建和编辑XR店铺并更新商品3D模型,还可以实时在XR头显上实现完全沉浸式和交互式的XR购物体验。
参见图5,图5示出了本说明书一个实施例提供的第三种三维模型生成系统的架构图,三维模型生成系统采用端云协同的架构,也即云上训练+端上推断:移动端上传数据,云侧聚焦海量数据,训练产出模型,通过模型压缩将模型小型化后部署到端侧运行。
实际应用中,端侧在数据采集过程中,对扫描获得的原始数据进行压缩,将压缩后的扫描数据上传给云端服务器中包括的建模算法引擎进行处理,云侧的建模算法引擎处理数据,生成三维模型之后将三维模型发送至XR头显设备,XR头显设备做推流显示三维模型,节省掉端侧的高配电脑,降低对端侧算力要求和存储要求,从而大大地降低三维模型重建的成本。
参见图6,图6示出了本说明书一个实施例提供的一种应用于云端服务器的三维模型生成方法的流程图,具体包括以下步骤:
步骤602:接收扫描设备发送的第一扫描数据,其中,第一扫描数据是扫描设备从第一视角扫描目标物体生成的。
步骤604:利用第一扫描数据,确定初始三维模型,并将初始三维模型发送至显示设备,以使显示设备显示初始三维模型。
步骤606:接收扫描设备发送的第二扫描数据,其中,第二扫描数据是扫描设备接收补充扫描指令,根据补充扫描指令中携带的第二视角扫描目标物体生成的。
步骤608:基于第二扫描数据对初始三维模型进行调整,生成目标三维模型。
需要说明的是,步骤602、步骤604、步骤606、步骤608的具体实现方式可以参见图1所述的内容,本说明书实施例便不再进行赘述。
应用本说明书实施例的方案,接收扫描设备发送的第一扫描数据,其中,第一扫描数据是扫描设备从第一视角扫描目标物体生成的;利用第一扫描数据,确定初始三维模型,并将初始三维模型发送至显示设备,以使显示设备显示初始三维模型;接收扫描设备发送的第二扫描数据,其中,第二扫描数据是扫描设备接收补充扫描指令,根据补充扫描指令中携带的第二视角扫描目标物体生成的;基于第二扫描数据对初始三维模型进行调整,生成目标三维模型,无需设置高配置的建模终端,降低了三维建模的成本与使用门槛,并且,利用扫描数据生成三维模型,提高了三维模型的准确性,进一步提高了用户体验度。
参见图7,图7示出了本说明书一个实施例提供的第二种三维模型生成系统下的时序图,三维模型生成方法应用于三维模型生成系统,具体包括以下步骤:
扫描设备,从第一视角扫描目标物体,生成第一扫描数据,并将第一扫描数据发送至云端服务器。
云端服务器,接收第一扫描数据,利用第一扫描数据,确定初始三维模型,并将初始三维模型发送至显示设备。
显示设备,显示初始三维模型。
扫描设备,接收补充扫描指令,根据补充扫描指令中携带的第二视角扫描目标物体,生成第二扫描数据,并将第二扫描数据发送至云端服务器。
云端服务器,接收第二扫描数据,基于第二扫描数据对初始三维模型进行调整,生成目标三维模型。
需要说明的是,图7所提供的三维模型生成方法的具体实现方式可以参见图1所述的内容,本说明书实施例便不再进行赘述。
应用本说明书实施例的方案,扫描设备,从第一视角扫描目标物体,生成第一扫描数据,并将第一扫描数据发送至云端服务器;云端服务器,接收第一扫描数据,利用第一扫描数据,确定初始三维模型,并将初始三维模型发送至显示设备;显示设备,显示初始三维模型;扫描设备,接收补充扫描指令,根据补充扫描指令中携带的第二视角扫描目标物体,生成第二扫描数据,并将第二扫描数据发送至云端服务器;云端服务器,接收第二扫描数据,基于第二扫描数据对初始三维模型进行调整,生成目标三维模型。通过利用云端服务器生成三维模型,无需设置高配置的建模终端,降低了三维建模的成本与使用门槛,并且,利用扫描数据生成三维模型,提高了三维模型的准确性,进一步提高了用户体验度。
参见图8,图8示出了本说明书一个实施例提供的第三种三维模型生成系统下的时序图,三维模型生成系统包括扫描设备、云端服务器(云侧三维建模平台)、显示设备;
扫描设备生成扫描物体的点云数据,对点云数据进行非均匀简化处理,压缩处理后的点云数据。
具体地,由于点云数据是无序且不规则的数据,无法利用现有的卷积神经网络进行计算和训练,因此,可以将规则化处理和卷积处理相结合,实现对点云数据的处理,这个过程也称非均匀简化处理,可以理解为规则化处理结合一般的神经网络进行端对端的学习和训练。
需要说明的是,对点云数据进行非均匀简化处理之前,可以对点云数据进行分类,如将建筑、道路、路灯、绿化等不同的点云数据进行分类识别。实际应用中,对点云数据可以利用以下流程进行处理:点云预处理成果;噪声点滤除;坐标转换;点云自动分类;根据实测点检查合格;人工编辑分类结果;地面点;构建数字高程模型(DEM,Digital ElevationModel);等高线、高程点成果。
扫描设备将压缩后的点云数据上传至云端服务器。
云端服务器利用建模算法引擎的预处理模块对压缩后的点云数据进行预处理,构建3D粗模;利用建模算法引擎的三维重建模块对粗模数据进行处理,构建3D精模;利用建模工具对3D精模进行纹理和图像的处理,构建目标三维模型。
具体地,由于对于三维模型而言,纹理细节还原度非常重要,因此,可以通过物体三维重建技术高清还原物体面上的花纹或线条,生成高还原度的目标三维模型。
云端服务器通过渲染引擎对目标三维模型进行处理后,将处理后的目标三维模型呈现至显示设备。
显示设备对处理后的目标三维模型进行渲染显示。
将处理后的目标三维模型上线至云端模型库。
应用本说明书实施例的方案,端侧将采集数据压缩后直接上传给云端三维建模算法平台进行建模,3D模型生成后上传到标准3D模型库服务后台,从而极大地降低3D商品建模的成本和使用门槛。
参见图9,图9示出了本说明书一个实施例提供的第四种三维模型生成系统的架构图,该三维模型生成系统包括三维重建设备、云端三维建模平台、显示终端以及3D连接器。其中,三维重建设备也即上述扫描设备,云端三维建模平台也即上述云端服务器,显示终端也即上述显示设备;
三维重建设备:三维重建设备由激光雷达传感器、RGB相机、深度(ToF,Time ofFlight)相机构成,包括手机app、手机app+扫描配件、中精度3D扫描仪、高精度3D扫描仪以及相机阵列等。三维重建设备对目标物体扫描,可以生成图像数据、视频数据、激光雷达数据、结构光数据、校准数据、点云数据以及传感器数据等等。
云端三维建模平台:云端三维建模平台中包括渲染引擎、建模算法引擎以及配套工具箱。其中,渲染引擎实现对数据的统一管理、集中存储、更新等操作。由于三维空间数字化渲染引擎无冗余的点云LOD分层技术,可以提升静态场景同屏点云数量,降低CPU端遍历超大场景树的性能损耗,因此,可以利用三维空间数字化渲染引擎实现对数据的统一管理、集中存储、更新等操作。建模算法引擎用于生成三维模型,配套工具箱包括图像处理工具、纹理处理工具、基于物理的渲染(PBR,Physically Based Rendering)工具、标准商品3D模型库等。云端三维建模平台能够生成低精度3D模型(厘米级别),也即粗模、中精度3D模型(毫米级别)、高精度3D模型(亚毫米级别)、超高精度3D模型(0.01mm级别),并且,还可以对生成的模型进行效果评估以及修复。其中,建模算法引擎用于对云端三维建模平台的建模质量进行评估,确定三维模型的精度。
显示终端:显示终端包括PC电脑、智能手机、PAD、VR设备、AR设备等,用于显示云端三维建模平台生成的三维模型。
3D连接器:为第三方扫描设备生成的模型提供数据链路,实现扫描数据上云,提供后台数据接口实现三维模型同步至云端标准商品3D模型库(云端模型库),让更多的用户参与三维模型共创、共建、共享。其中,3D连接器中携带模型规范,定义能够接入到三维建模平台API的模型数据规范,比如:大小、分辨率、精度等。并且,各第三方扫描设备与三维模型生成系统需要格式兼容,三维扫描设备按照平台接入的规范要求,集成开发工具包SDK后将模型数据对接到平台。
本说明书实施例提供的三维模型生成系统,适用于简单刚体,如高纹理、不透明不反光的物体、低纹理、不透明反光的物体、透明物体、形状琐碎镂空结构的物体、服装鞋子等商品、室内空间等等领域的三维建模。
需要说明的是,三维重建设备与云端三维建模平台之间可以通过有线、5G、WIFI等方式连接,云端三维建模平台与显示终端通过数据流(Streaming)的方式进行通信。
应用本说明书实施例的方案,不仅支持高纹理、不透明,不反光物体三维重建,还能支持低纹理、不透明、反光物体三维重建,利用数据流的方式将三维模型高速并低延迟推送到终端,终端用户可随时随地交互式访问各种XR应用,更具沉浸式和可访问性。并且,通过3D连接器打通与第三方扫描设备生成模型的数据链路,实现扫描数据上云,提供后台数据接口实现一键同步至云端标准商品3D模型库,实现三维模型共享、共建。
与上述三维模型生成方法实施例相对应,本说明书还提供了三维模型生成装置实施例,图10示出了本说明书一个实施例提供的一种三维模型生成装置的结构示意图。如图10所示,该装置应用于三维模型生成系统中的云端服务器,三维模型生成系统包括云端服务器、扫描设备以及显示设备,包括:
第一接收模块1002,被配置为接收扫描设备发送的第一扫描数据,其中,第一扫描数据是扫描设备从第一视角扫描目标物体生成的;
确定模块1004,被配置为利用第一扫描数据,确定初始三维模型,并将初始三维模型发送至显示设备,以使显示设备显示初始三维模型;
第二接收模块1006,被配置为接收扫描设备发送的第二扫描数据,其中,第二扫描数据是扫描设备接收补充扫描指令,根据补充扫描指令中携带的第二视角扫描目标物体生成的;
生成模块1008,被配置为基于第二扫描数据对初始三维模型进行调整,生成目标三维模型。
应用本说明书实施例的方案,接收扫描设备发送的第一扫描数据,其中,第一扫描数据是扫描设备从第一视角扫描目标物体生成的;利用第一扫描数据,确定初始三维模型,并将初始三维模型发送至显示设备,以使显示设备显示初始三维模型;接收扫描设备发送的第二扫描数据,其中,第二扫描数据是扫描设备接收补充扫描指令,根据补充扫描指令中携带的第二视角扫描目标物体生成的;基于第二扫描数据对初始三维模型进行调整,生成目标三维模型,无需设置高配置的建模终端,降低了三维建模的成本与使用门槛,并且,利用扫描数据生成三维模型,提高了三维模型的准确性,进一步提高了用户体验度。
上述为本实施例的一种三维模型生成装置的示意性方案。需要说明的是,该三维模型生成装置的技术方案与上述图6所示的三维模型生成方法的技术方案属于同一构思,三维模型生成装置的技术方案未详细描述的细节内容,均可以参见上述图6所示的三维模型生成方法的技术方案的描述。
图11示出了本说明书一个实施例提供的一种计算设备的结构框图。该计算设备1100的部件包括但不限于存储器1110和处理器1120。处理器1120与存储器1110通过总线1130相连接,数据库1150用于保存数据。
计算设备1100还包括接入设备1140,接入设备1140使得计算设备1100能够经由一个或多个网络1160通信。这些网络的示例包括公用交换电话网(PSTN,Public SwitchedTelephone Network)、局域网(LAN,Local Area Network)、广域网(WAN,Wide AreaNetwork)、个域网(PAN,Personal Area Network)或诸如因特网的通信网络的组合。接入设备1140可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC,NetworkInterface Card))中的一个或多个,诸如IEEE802.11无线局域网(WLAN,Wireless LocalArea Networks)无线接口、全球微波互联接入(Wi-MAX,World Interoperability forMicrowave Access)接口、以太网接口、通用串行总线(USB,Universal Serial Bus)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC,Near Field Communication)接口,等等。
在本说明书的一个实施例中,计算设备1100的上述部件以及图11中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图11所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
计算设备1100可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或PC的静止计算设备。计算设备1100还可以是移动式或静止式的服务器。
其中,处理器1120用于执行如下计算机可执行指令,该计算机可执行指令被处理器执行时实现上述图6所示的三维模型生成方法的步骤。
上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述图6所示的三维模型生成方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述图6所示的三维模型生成方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现上述图6所示的三维模型生成方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述图6所示的三维模型生成方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述图6所示的三维模型生成方法的技术方案的描述。
本说明书一实施例还提供一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述图6所示的三维模型生成方法的步骤。
上述为本实施例的一种计算机程序的示意性方案。需要说明的是,该计算机程序的技术方案与上述图6所示的三维模型生成方法的技术方案属于同一构思,计算机程序的技术方案未详细描述的细节内容,均可以参见上述图6所示的三维模型生成方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本说明书实施例并不受所描述的动作顺序的限制,因为依据本说明书实施例,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本说明书实施例所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书实施例的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本说明书实施例的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

Claims (14)

1.一种三维模型生成系统,包括扫描设备、云端服务器以及显示设备;
所述扫描设备,用于从第一视角扫描目标物体,生成第一扫描数据,并将所述第一扫描数据发送至所述云端服务器;
所述云端服务器,用于接收所述第一扫描数据,利用所述第一扫描数据,确定初始三维模型,并将所述初始三维模型发送至所述显示设备;
所述显示设备,用于显示所述初始三维模型;
所述扫描设备,还用于接收补充扫描指令,根据所述补充扫描指令中携带的第二视角扫描所述目标物体,生成第二扫描数据,并将所述第二扫描数据发送至所述云端服务器;
所述云端服务器,还用于接收所述第二扫描数据,基于所述第二扫描数据对所述初始三维模型进行调整,生成目标三维模型。
2.根据权利要求1所述的系统,所述扫描设备包括扫描单元、存储单元以及第一通信单元;
所述扫描单元,用于扫描所述目标物体,生成原始扫描数据;
所述存储单元,用于存储所述原始扫描数据;
所述第一通信单元,用于压缩所述原始扫描数据,生成第一扫描数据,并将所述第一扫描数据发送至所述云端服务器。
3.根据权利要求1所述的系统,所述云端服务器包括匹配模块以及云端模型库;
所述匹配模块,用于根据所述第一扫描数据,在所述云端模型库中匹配获得所述初始三维模型。
4.根据权利要求1所述的系统,所述云端服务器还包括模型生成模块;
所述模型生成模块,用于根据所述第一扫描数据,生成所述初始三维模型,其中,所述第一扫描数据包括图像数据以及位姿数据。
5.根据权利要求4所述的系统,所述模型生成模块,还用于根据所述第一扫描数据,生成多个三维分块模型;基于所述多个三维分块模型,生成所述初始三维模型。
6.根据权利要求1-5任一项所述的系统,所述云端服务器还包括第二通信模块;
所述第二通信模块,用于压缩所述初始三维模型,将压缩后的所述初始三维模型发送至所述显示设备。
7.根据权利要求1所述的系统,所述云端服务器,还用于对所述目标三维模型进行拆分,生成所述目标三维模型对应的目标图片序列,并将所述目标图片序列发送至所述显示设备,以使所述显示设备根据所述目标图片序列进行模型预览。
8.根据权利要求1所述的系统,所述云端服务器,还用于将所述目标三维模型添加至云端模型库。
9.一种三维模型生成系统,包括扫描设备、云端服务器、显示设备以及虚拟现实显示设备;
所述扫描设备,用于从第一视角扫描目标物体,生成第一扫描数据,并将所述第一扫描数据发送至所述云端服务器;
所述云端服务器,用于接收所述第一扫描数据,利用所述第一扫描数据,确定初始三维模型,并将所述初始三维模型发送至所述显示设备;
所述显示设备,用于显示所述初始三维模型;
所述扫描设备,还用于接收补充扫描指令,根据所述补充扫描指令中携带的第二视角扫描所述目标物体,生成第二扫描数据,并将所述第二扫描数据发送至所述云端服务器;
所述云端服务器,还用于接收所述第二扫描数据,基于所述第二扫描数据对所述初始三维模型进行调整,生成目标三维模型,并将所述目标三维模型发送至所述虚拟现实显示设备,以使所述虚拟现实显示设备对所述目标三维模型进行显示。
10.一种三维模型生成方法,应用于三维模型生成系统中的云端服务器,所述三维模型生成系统包括云端服务器、扫描设备以及显示设备,所述方法包括:
接收扫描设备发送的第一扫描数据,其中,所述第一扫描数据是所述扫描设备从第一视角扫描目标物体生成的;
利用所述第一扫描数据,确定初始三维模型,并将所述初始三维模型发送至所述显示设备,以使所述显示设备显示所述初始三维模型;
接收所述扫描设备发送的第二扫描数据,其中,所述第二扫描数据是所述扫描设备接收补充扫描指令,根据所述补充扫描指令中携带的第二视角扫描所述目标物体生成的;
基于所述第二扫描数据对所述初始三维模型进行调整,生成目标三维模型。
11.一种三维模型生成方法,应用于三维模型生成系统,所述三维模型生成系统包括云端服务器、扫描设备以及显示设备,所述方法包括:
所述扫描设备,从第一视角扫描目标物体,生成第一扫描数据,并将所述第一扫描数据发送至所述云端服务器;
所述云端服务器,接收所述第一扫描数据,利用所述第一扫描数据,确定初始三维模型,并将所述初始三维模型发送至所述显示设备;
所述显示设备,显示所述初始三维模型;
所述扫描设备,接收补充扫描指令,根据所述补充扫描指令中携带的第二视角扫描所述目标物体,生成第二扫描数据,并将所述第二扫描数据发送至所述云端服务器;
所述云端服务器,接收所述第二扫描数据,基于所述第二扫描数据对所述初始三维模型进行调整,生成目标三维模型。
12.一种三维模型生成装置,应用于三维模型生成系统中的云端服务器,所述三维模型生成系统包括云端服务器、扫描设备以及显示设备,所述装置包括:
第一接收模块,被配置为接收扫描设备发送的第一扫描数据,其中,所述第一扫描数据是所述扫描设备从第一视角扫描目标物体生成的;
确定模块,被配置为利用所述第一扫描数据,确定初始三维模型,并将所述初始三维模型发送至所述显示设备,以使所述显示设备显示所述初始三维模型;
第二接收模块,被配置为接收所述扫描设备发送的第二扫描数据,其中,所述第二扫描数据是所述扫描设备接收补充扫描指令,根据所述补充扫描指令中携带的第二视角扫描所述目标物体生成的;
生成模块,被配置为基于所述第二扫描数据对所述初始三维模型进行调整,生成目标三维模型。
13.一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求10所述三维模型生成方法的步骤。
14.一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求10所述三维模型生成方法的步骤。
CN202210933109.5A 2022-08-04 2022-08-04 三维模型生成系统、三维模型生成方法以及装置 Pending CN115359163A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210933109.5A CN115359163A (zh) 2022-08-04 2022-08-04 三维模型生成系统、三维模型生成方法以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210933109.5A CN115359163A (zh) 2022-08-04 2022-08-04 三维模型生成系统、三维模型生成方法以及装置

Publications (1)

Publication Number Publication Date
CN115359163A true CN115359163A (zh) 2022-11-18

Family

ID=84032929

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210933109.5A Pending CN115359163A (zh) 2022-08-04 2022-08-04 三维模型生成系统、三维模型生成方法以及装置

Country Status (1)

Country Link
CN (1) CN115359163A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704156A (zh) * 2023-04-28 2023-09-05 北京优酷科技有限公司 模型生成方法、电子设备及模型生成系统
CN117496092A (zh) * 2023-12-29 2024-02-02 先临三维科技股份有限公司 三维扫描重建方法、装置、设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704156A (zh) * 2023-04-28 2023-09-05 北京优酷科技有限公司 模型生成方法、电子设备及模型生成系统
CN117496092A (zh) * 2023-12-29 2024-02-02 先临三维科技股份有限公司 三维扫描重建方法、装置、设备及存储介质
CN117496092B (zh) * 2023-12-29 2024-04-19 先临三维科技股份有限公司 三维扫描重建方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN108573527B (zh) 一种表情图片生成方法及其设备、存储介质
CN114119839B (zh) 三维模型重建与图像生成方法、设备以及存储介质
CN115359163A (zh) 三维模型生成系统、三维模型生成方法以及装置
US9519999B1 (en) Methods and systems for providing a preloader animation for image viewers
Li et al. [Retracted] Multivisual Animation Character 3D Model Design Method Based on VR Technology
US20140340398A1 (en) Encoding and Compressing Three-Dimensional (3D) Object Data Models
CN104732585A (zh) 一种人体体型重构的方法及装置
Ratican et al. A proposed meta-reality immersive development pipeline: Generative ai models and extended reality (xr) content for the metaverse
De Paolis et al. Photogrammetric 3D reconstruction of small objects for a real-time fruition
CN111127658A (zh) 一种基于点云重建三角网格曲面的保特征曲面重建方法
CN103942795B (zh) 一种图像物体的结构化合成方法
Martin-Brualla et al. Gelato: Generative latent textured objects
Wu et al. [Retracted] 3D Film Animation Image Acquisition and Feature Processing Based on the Latest Virtual Reconstruction Technology
Mittal Neural radiance fields: Past, present, and future
Yin et al. [Retracted] Virtual Reconstruction Method of Regional 3D Image Based on Visual Transmission Effect
Lin et al. Visual saliency and quality evaluation for 3D point clouds and meshes: An overview
Liu et al. Neural impostor: Editing neural radiance fields with explicit shape manipulation
Dong et al. A time-critical adaptive approach for visualizing natural scenes on different devices
Phongthawee et al. Nex360: Real-time all-around view synthesis with neural basis expansion
JP2023178274A (ja) メッシュ頂点位置についての求根および反復を用いて表面を近似するポリゴンメッシュを生成する方法およびシステム
Sitnik et al. From cloud-of-point coordinates to three-dimensional virtual environment: the data conversion system
CN109166176A (zh) 三维人脸图像的生成方法与装置
Le Van et al. An effective RGB color selection for complex 3D object structure in scene graph systems
Pucihar et al. FUSE: Towards AI-Based Future Services for Generating Augmented Reality Experiences
Smith 3D data representation, storage and processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination