CN116704156A - 模型生成方法、电子设备及模型生成系统 - Google Patents
模型生成方法、电子设备及模型生成系统 Download PDFInfo
- Publication number
- CN116704156A CN116704156A CN202310484047.9A CN202310484047A CN116704156A CN 116704156 A CN116704156 A CN 116704156A CN 202310484047 A CN202310484047 A CN 202310484047A CN 116704156 A CN116704156 A CN 116704156A
- Authority
- CN
- China
- Prior art keywords
- model
- scanning
- party client
- generation method
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 239000004035 construction material Substances 0.000 claims abstract description 13
- 239000004566 building material Substances 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 7
- 238000012986 modification Methods 0.000 claims description 6
- 230000004048 modification Effects 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 2
- 230000002452 interceptive effect Effects 0.000 claims description 2
- 238000012372 quality testing Methods 0.000 claims description 2
- 238000004064 recycling Methods 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 description 21
- 241000220225 Malus Species 0.000 description 20
- 230000008439 repair process Effects 0.000 description 20
- 230000008569 process Effects 0.000 description 15
- 238000013473 artificial intelligence Methods 0.000 description 10
- 238000002372 labelling Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 230000003190 augmentative effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000007689 inspection Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000011084 recovery Methods 0.000 description 3
- 235000021016 apples Nutrition 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000012358 sourcing Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000002747 voluntary effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02W—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
- Y02W90/00—Enabling technologies or technologies with a potential or indirect contribution to greenhouse gas [GHG] emissions mitigation
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种模型生成方法,包括:响应于模型需求,发布基于所述模型需求的任务;接收基于所述任务的扫描结果,其中所述扫描结果是第三方客户端根据第一参数对物理世界的目标对象进行扫描获得的模型构建素材;以及根据扫描获得的模型构建素材生成第一模型。
Description
技术领域
本发明涉及计算机视觉技术领域,尤其涉及一种模型生成方法、一种电子设备、一种非瞬时性计算机可读存储介质,以及一种模型生成系统。
背景技术
随着元宇宙相关概念的逐渐兴起,需要大量由现实世界映射或超越现实世界的三维虚拟场景,从而带来大量三维模型的制作需求,但三维模型的数量和多样性远远无法满足元宇宙相关产业的发展需求。在现有技术中,来自现实世界的三维扫描重建是三维模型生产的一个重要来源,这些三维模型的制作都是由专业的美工团队在线下完成。传统生产流程环节多,技术门槛高,导致生产成本高;且各厂商的数据很难共享和流通,导致大量三维模型无法重复利用,造成资源浪费。
发明内容
有鉴于此,根据本发明的第一方面,提供了一种模型生成方法,应用于服务器端,包括:
响应于模型需求,发布基于所述模型需求的任务;
接收基于所述任务的扫描结果,其中所述扫描结果是第三方客户端根据第一参数对物理世界的目标对象进行扫描获得的模型构建素材;以及
根据扫描获得的模型构建素材生成第一模型。
根据一个实施方式,模型生成方法进一步包括:
将所述第一模型的数据发送至所述第三方客户端,以使所述第三方客户端能够修改所述第一模型,生成第二模型。
根据一个实施方式,所述第一参数包括:目标对象属性、扫描精度、模型构建素材格式、扫描工作的完成时间中的一种或多种;
卷号:230073CI
其中所述第一参数是模型需求方提供的,或者是所述服务器端响应于所述模型需求方的模型获取请求,向所述模型需求方提供的。
根据一个实施方式,所述根据扫描获得的模型构建素材生成第一模型包括:
通过三维重建算法,根据所述扫描获得的模型构建素材生成所述第一模型。
根据一个实施方式,模型生成方法进一步包括:
向所述第三方客户端提供辅助模型修改工具。
根据一个实施方式,模型生成方法进一步包括:
对所述第二模型进行回收和/或质量检测。
根据一个实施方式,模型生成方法进一步包括:
对于回收和/或经过质量检测的所述第二模型,提供预览、检索、下载、共享功能中的一种或多种。
根据本发明的第二方面,提供了一种模型生成方法,应用于第三方客户端,其特征在于,包括:
从服务器端接收扫描任务,所述扫描任务包括第一参数;
根据所述第一参数对物理世界的目标对象进行扫描,以获得模型构建素材;
接收第一模型并进行修改,生成第二模型,其中所述第一模型由所述服务器端根据所述模型构建素材生成。
根据一个实施方式,所述对物理世界的目标对象进行扫描包括:
所述第三方客户端通过本地扫描设备对所述目标对象进行扫描,其中所述本地扫描设备包括:激光雷达、无人机、全画幅相机、ITOF摄像装置、DTOF摄像装置、单目散斑结构光传感器、双目结构光传感器、手机中的一种或多种。
根据一个实施方式,所述第三方客户端部署于多个第三方处,所述接收第一模型并进行修改,生成第二模型包括:
所述第三方客户端根据所述物理世界的目标对象,修改所述第一模型;和/或
每个第三方客户端修改所述第一模型的一部分或修改所述第一模型中卷号:230073CI
一个或多个类型的错误。
根据本发明的第三方面,提供了一种模型生成系统,包括通信连接的服务器端及第三方客户端,所述服务器端和所述第三方客户端交互作业,
所述服务器端配置成响应于模型需求,发布基于所述模型需求的任务,其中所述任务包括第一参数;
所述第三方客户端配置成从所述服务器端接收所述任务,并根据所述第一参数对物理世界的目标对象进行扫描,以获得模型构建素材;
所述服务器端配置成从所述第三方客户端接收所述模型构建素材,并根据所述模型构建素材生成第一模型;
所述第三方客户端配置成接收所述第一模型并进行修改,生成第二模型。
根据本发明的第四方面,还提供一种电子设备,包括:
处理器;以及
存储器,存储有计算机程序,当所述计算机程序被所述处理器执行时,使得所述处理器执行如本发明的第一、二方面所述的模型生成方法。
根据本发明的第五方面,还提供一种非瞬时性计算机可读存储介质,其上存储有计算机可读指令,当所述指令被处理器执行时,使得所述处理器执行如本发明的第一、二方面所述的模型生成方法。
本发明所提供的模型生成方法,根据需求方或自驱创作者构建虚拟现实或增强现实或其他场景的需求,发布三维模型的扫描标准,由大众第三方完成扫描任务,再将扫描数据处理为三维模型,由大众第三方完成精修,该方法同时对接三维模型的需求方和生产者,实现需求的快速承接,数据的快速流通和积累,使非专业大众第三方能够以众包的形式参与进来,降低生产成本,提升生产效率。
进一步地,本发明所提供的模型生成方法及模型生成系统,引入了三维模型生产的线上操作全流程,同时对接模型资产的需求方,资源方,专业生产者,大众第三方,可以实现需求的快速承接,数据的快速流通和复用。将复杂的三维模型生产环节进行分解,引入AI辅助提效工具,卷号:230073CI
以众包的形式引入大量非专业第三方参与到三维模型的生产加工中来,降低生产成本,大幅提升产量。设计三维模型的精度等级和数据标准,指导数据扫描和修复,并在数据验收环节进行质检,以确保得到精度符合的三维模型,满足工业级的生产要求。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图,而并不超出本申请要求保护的范围。
图1示出了本发明的一个实施例所提供的模型生成方法;
图2示出了本发明的一个实施例所提供的模型生成方法中,服务器端和第三方客户端的协作流程;
图3示出了本发明的一个实施例所提供的模型生成方法;
图4示出了本发明的一个实施例所提供的模型生成方法;
图5示出了本发明的一个实施例所提供的模型生成方法;
图6示出了本发明的一个实施例所提供的模型生成方法;
图7示出了本发明的一个实施例所提供的模型生成方法;
图8示出了本发明的一个实施例所提供的模型生成系统;
图9示出了本发明的一个实施例所提供的模型生成方法中,以“苹果”模型为实例的服务器端和第三方客户端的协作流程。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的卷号:230073CI
数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。
随着相机及视频采集设备的不断升级,手机和家用摄影摄像设备已经可以在一定程度上完成三维数据采集的工作,从而降低了对专业扫描设备的依赖。AI算法的不断升级,也可以更好地替代人工或辅助人工进行三维重建和模型修复等工作。
在此背景下,本发明提出一种模型生成方法及系统,其可用于生成例如虚拟现实、增强现实或其他场景所需要的模型,包括任务发布,众包扫描,众包修模,数据回收,资产管理和交易等模块,系统可以同时对接三维模型资产的需求方,资源方和生产者,实现需求的快速承接,数据的快速流通和积累。在生产环节中引入AI辅助提效工具,使非专业大众第三方能够以众包的形式参与进来,降低生产成本,提升生产效率。
根据本发明的一个实施例,如图1所示,本发明提供一种模型生成方法10,该方法10可应用于服务器端,其包括:步骤S101至步骤S103。上述服务器端可作为对模型的需求收集和发布,以及对模型构建素材的收集、处理等操作的平台。
在步骤S101中,响应于模型需求,发布基于该模型需求的任务。
在此步骤中,模型需求可来自于具有诸如三维模型制作需求的实体或机构,或者也可来自于自驱创作者,在本申请中,均将其表述为模型需求方。模型需求方根据其对模型的具体需求,可向服务器端发送具体需求信息,该信息可包括具体的模型采集对象、精度目标、数据格式要求、时间要求、采买价格等。例如,具体的模型采集对象可以是一个苹果,精度目标可以是厘米级或毫米级,数据格式要求可以是obj或ply数据格式,时间要求可以是需要任务完成的时间,例如若干天,采买价格可以是模型需求方的出价,例如人民币若干元。
响应于模型需求方提出的该模型需求,服务器端可向公众网发布基卷号:230073CI
于该模型需求的任务,从而使大众第三方可以看到并承接该项任务,并且执行相应任务(在下文中进行具体描述)。
在步骤S102中,接收基于该任务的扫描结果。
如上所述,大众第三方在看到并承接任务后,会根据任务要求对模型采集对象进行扫描。在此步骤中,服务器端可接收到来自于第三方客户端的扫描结果,该扫描结果是第三方客户端根据第一参数对物理世界的目标对象(即,模型采集对象)进行扫描获得的模型构建素材,可以是二维或三维扫描数据,例如由相机拍摄的二维图像,或由激光雷达获取的三维点云数据。
该第一参数可包括如上所述的模型需求方的具体需求信息,例如目标对象属性、扫描精度、模型构建素材格式、扫描工作的完成时间中的一种或多种。该第一参数可以是模型需求方提供给服务器端,也可以是服务器端根据模型需求方的需求信息,提供给模型需求方一种或多种建议或选择,并由模型需求方确认。
在步骤S103中,根据扫描获得的模型构建素材生成第一模型。
在此步骤中,根据扫描获得的物理世界的目标对象的模型构建素材,生成模型需求方所需的模型,诸如虚拟现实或增强现实中所需的模型,即三维重建过程。根据一个实施例,可通过三维重建算法实施步骤S103,例如SfM算法、MVS算法、colmap算法、NeRF算法等。AI算法的不断升级,可以更好地替代人工或辅助人工进行三维重建等工作。
三维重建原理是指通过对现实世界中物体或场景的数字化采集,对其进行计算机处理,最终生成三维模型的过程。该过程的基本原理包括以下几点:
1、扫描:三维重建的第一步是通过各种技术采集被测物体或场景的表面形状和位置信息。这个过程可以用激光、光栅或纹理等不同的方法实现。最终产生一系列坐标点数据作为样本,用以后续的重建。
2、配准:当采集到坐标点数据后,需要将这些数据与一个参考坐标系进行配准。常见的方法是通过寻找特征点,如边缘、角点等,将数据与参考坐标系重合。
3、建模:在配准后,将通过三角形网格等方法对点数据进行建模。
卷号:230073CI
三角形建模是最常见的方法,它将点连接成一个个小三角形网格,形成一个表面模型,以模拟物体的真实形状。
4、纹理:在建模后,可以将彩色图片或者纹理贴图应用到模型表面上,增加模型的真实感和立体感。
图2示出了根据本发明一个实施例的模型生成方法的示意性流程图。需要说明的是,在图2中所示的各个操作中,其中一部分是可选的,在需要时可以省略。如图2所示,在三维重建过程中,可包括雷达重建、图片重建、模型配准等。其中,雷达重建是指扫描激光雷达信息,获取物体表面的点云,从而完成三维重建;图片重建是指采集多角度图片信息,通过多视图的三维重建建立三维点云信息,其方法是先对摄像机进行标定,即计算出摄像机的图象坐标系与世界坐标系的关系,然后利用多个二维图象中的信息重建出三维信息。模型配准指的是三维配准,其输入是不同数据来源的点云信息(例如一个是激光点云,另一个是图片点云,二者采集了同一个物体),或输入同一物体不同视角的点云(例如一个自上而下采集的3/4点云,另一个是自下而上采集的4/5点云),配准可以实现两个点云的匹配和对齐(即把不同的点云合并,对齐)。图2的其他操作过程,将在如下分别详细描述。
本发明的上述实施例所提供的模型生成方法,根据模型需求方构建诸如虚拟现实、增强现实或其他场景的需求,发布三维模型的扫描标准,由大众第三方完成扫描任务,再将扫描数据处理为三维模型,该方法同时对接三维模型的需求方和生产者,实现需求的快速承接,数据的快速流通和积累,使非专业大众第三方能够以众包的形式参与进来,降低生产成本,提升生产效率。
图3示出了根据本发明另一个实施例的模型生成方法的示意图。如图3所示,除了步骤S101至步骤S103之外,该方法10’还可包括步骤S104。为了简要起见,以下将仅描述图3所示实施方式与图1实施方式的不同之处,其相同之处将不再赘述。
在步骤S104中,将第一模型的数据发送至第三方客户端,以使第三方客户端能够修改第一模型,生成第二模型。
由于经由大众第三方生成的第一模型有时会具有一定的瑕疵,例如卷号:230073CI
与对应物理世界的目标对象具有差异,因此在本实施例中,服务器端可再次将任务下发,从而使第三方客户端能够对第一模型进行修改,修改为更加接近对应物理世界的目标对象的第二模型。AI算法的不断升级,也可以更好地替代人工或辅助人工进行模型修复等工作。需要说明的是,对第一模型进行修改以生成第二模型的第三方客户端,可以与承接扫描任务并向服务器端发送扫描结果的第三方客户端相同,也可不同。也就是说,可以由相同的第三方客户端来完成扫描任务和模型修复任务,也可由不同的第三方客户端来完成。
图4示出了根据本发明另一个实施例的模型生成方法的示意图。如图4所示,除了步骤S101至步骤S104之外,该方法10’还可包括步骤S105。为了简要起见,以下将仅描述图4所示实施方式与图3实施方式的不同之处,其相同之处将不再赘述。
在步骤S105中,可向第三方客户端提供辅助模型修改工具,以帮助第三方客户端完成对模型的修改。该操作通常是服务器端通过web工具来实现的。例如,服务器端可向第三方客户端展示模型修复任务列表,当第三方客户端承接了某个具体的任务后(比如领取了100条标注数据),可以进入到服务器端提供的任务的操作界面,看到推送给到用户界面的标注数据(比如1张图片),用户可通过第三方客户端用鼠标点击操作(比如勾选了一个类别标签,或标注了目标物体的位置框,或者拖动鼠标完成了一个不规则形状区域的标注),完成数据标注,然后点击提交,从而可以进入下一个条标注数据。全部提交可以完成整个标注任务,100条数据可以一次性完成标注和提交,也可以分阶段保存,之后一起提交。
由此,第三方客户端作为众包修复的执行主体,可以众包的形式完成模型的修复工作,从而提高生产效率。该过程还可将模型修复工作拆分成若干个独立的子任务,每个子任务只完成相对单一的功能。例如,每个子任务仅修改第一模型的一个部分或修改第一模型中一个类型的错误,例如图2中所示的数据标注任务、模型去噪任务、模型修复任务、材质加工任务等。
具体地,数据标注指的是:标注前景和背景信息(前景即是扫描的卷号:230073CI
主体,比如扫描一个杯子,杯子即是前景,屋子或桌子是背景);标注物体的类别和位置(用于获取标签信息);标注阴影区域(用于后续去除阴影)等。模型去噪指的是:去除几何结构上的一些噪声,如网格之间的细小间隔、非流行(Non-manifold)的边、自交多边形、不均匀的多边形等。模型修复指的是:去除颜色贴图上的阴影、高光、色差、模糊等问题,孔洞填充,几何结构缺失部分的补全,无颜色纹理贴图部分的补全等。材质加工指的是:PBR(英文全称为physically based rendering),它是指能够实现接近物理真实的整个渲染算法或过程,PBR材质常用的贴图有albedo、metalness、roughness、normal,它简化了材质的作法,并且得到接近物理正确的效果,重点是有了反射,一切都变得真实许多。由于三维重建过程只能获取物体的几何结构和颜色纹理,无法获得金属度、粗糙度等材质属性信息,因此这些需要后期通过手工或算法来添加,这个添加材质的过程即为材质加工。
可以理解,在某些实施例中,还可以跳过众包修复的过程,直接将未经修复的原始模型作为最终交付的成品模型使用,例如,在原始模型即可满足模型需求方的各项参数要求的情况下。
图5示出了根据本发明另一个实施例的模型生成方法的示意图。如图5所示,除了步骤S101至步骤S104之外,该方法10’还可包括步骤S106。为了简要起见,以下将仅描述图5所示实施方式与图3实施方式的不同之处,其相同之处将不再赘述。
在步骤S104完成了模型的修复工作后,在步骤S106中,对第二模型进行回收和/或质量检测。即,如图2中的数据验收过程所示的数据回收、模型质检。
具体地,当第三方客户端对第一模型进行修改,从而生成第二模型后,可将其发送回服务器端,以实现服务器端的数据回收。服务器端在收到第二模型(即,经过修复的模型)后,可以对数据的合法性进行自动化检测,如数据是否是要求的数据格式,数据字段是否完整,数据大小,贴图的分辨率,贴图数量,三维网格数量,是否提供不同分辨率等级的数据,网格结构是否有非流形区域或孤立的点等,从而实现模型质检。
卷号:230073CI
图6示出了根据本发明另一个实施例的模型生成方法的示意图。如图6所示,除了步骤S101至步骤S106之外,该方法10’还可包括步骤S107。为了简要起见,以下将仅描述图6所示实施方式与图5实施方式的不同之处,其相同之处将不再赘述。
在步骤S106完成了模型的数据验收工作后,在步骤S107中,对于回收和/或经过质量检测的第二模型,提供预览、检索、下载、共享功能中的一种或多种。即,如图2中的资产平台部分所示的资产预览、资产检索、资产交易、资产共享。
具体地,对于经过模型修复的第二模型,服务器端可将其作为成品模型资源保存在数据库中,以形成资产平台,用于后续其他模型需求方可能的模型需求。例如,当有模型需求方需要一项模型时,可先在服务器端提供的资源数据库(即,资产平台)中进行查找、检索,以确定资源数据库中是否已存在现成的、符合其要求的模型数据。当通过资产检索,检索到可能符合要求的模型数据时,服务器端可向模型需求方提供预览功能(即,资产预览),使其能够详细查看该模型数据的详细信息。如模型需求方确认该模型数据符合其要求,则服务器端可向其提供收费下载功能,以使其获取该模型数据(即,资产交易)。此外,服务器端还可将其资源数据库中的部分或全部资源共享至其他服务器或客户端(即,资产共享)。通过上述操作,可实现三维模型的流通和复用。
根据本发明的一个实施例,如图7所示,本发明提供一种模型生成方法20,该方法20可应用于第三方客户端,其包括:步骤S201至步骤S203。上述第三方客户端可以是任何具备图像采集设备,从而能够完成扫描任务的大众第三方用户所采用的客户端。根据采集对象的大小和精度等级要求,服务器端可以推荐扫描工具,大型物理场景扫描可以采用激光雷达、无人机、全画幅相机等专业设备进行采集,小型且精度等级要求不太高的任务,可以选择普通相机或手机进行采集,即图2中的众包扫描过程所示的雷达采集、相机采集、手机采集等。大众第三方可根据扫描任务的要求,选择适当的设备和数据采集方式,例如图2中所示的倾斜摄影。倾斜摄影技术通过从五个不同的视角(一个垂直、四个倾斜)同步采集影像,获取到丰富的物体顶面及侧视的高分辨率纹理。
卷号:230073CI
它不仅能够真实地反映物体或场景情况,高精度地获取物方纹理信息,还可通过先进的定位、融合、建模等技术,生成真实的三维模型。
在步骤S201中,从服务器端接收扫描任务,该扫描任务包括第一参数。当大众第三方用户确认承接扫描任务时,可从服务器端接收该扫描任务。如上所述,在该扫描任务中,第一参数可包含有模型需求方的具体需求信息,例如目标对象属性、扫描精度、模型构建素材格式、扫描工作的完成时间中的一种或多种。
在步骤S202中,根据第一参数对物理世界的目标对象进行扫描,以获得模型构建素材。具体地,第三方客户端可通过本地扫描设备对目标对象进行扫描,其中本地扫描设备可包括:激光雷达、无人机、全画幅相机、ITOF摄像装置、DTOF摄像装置、单目散斑结构光传感器、双目结构光传感器、手机中的一种或多种。随着相机及视频采集设备的不断升级,手机和家用摄影摄像设备进行数据采集已经可以在一定程度上完成三维扫描的工作,从而降低了专业扫描设备的依赖。因此,大众第三方能够参与到模型生成的过程中来。
在步骤S203中,接收第一模型并进行修改,生成第二模型,其中第一模型由服务器端根据上述步骤S202中获得的模型构建素材生成。如上所述,当第三方客户端采集到模型构建素材后,将由客户端完成三维重建的工作。当客户端通过三维重建获得第一模型后,将再次下发至第三方客户端来完成模型修复,即通过众包形式进行模型修复,从而生成第二模型。
由此,大众第三方可通过其具备的图像采集设备,以众包的形式参与到模型生成过程中来,可参与完成扫描任务和模型修复任务,降低了生产成本,提升了生产效率。
根据本发明的一个实施例,上述第三方客户端可部署于多个第三方处。也就是说,可由多个大众第三方同时参与到一项模型生成任务当中。特别是在步骤S203中,一方面,第三方客户端可根据物理世界的目标对象,修改第一模型,从而以众包形式完成模型修复工作。具体的修复过程已在上文中详细描述,此处不再赘述。另一方面,每个第三方客户端可仅修改第一模型的一部分或修改第一模型中一个或多个类型的错误,从而实现由多个大众第三方配合完成的众包修复工作。
卷号:230073CI
根据本发明的一个实施例,如图8所示,本发明还提供一种模型生成系统30,其包括通信连接的服务器端301及第三方客户端302,服务器端301和第三方客户端302交互作业。以下参见图2和图8进行详细描述。
在任务发布阶段,服务器端301配置成响应于模型需求,发布基于模型需求的任务,该任务包括第一参数。
在众包扫描阶段,第三方客户端302配置成从服务器端接收任务,并根据第一参数对物理世界的目标对象进行扫描,以获得模型构建素材。
在三维重建阶段,服务器端301配置成从第三方客户端接收模型构建素材,并根据模型构建素材生成第一模型。
在众包修复阶段,第三方客户端302配置成接收所述第一模型并进行修改,生成第二模型。
可选地,还可在数据验收阶段,由服务器端301配置成对第二模型进行回收和/或质量检测。
可选地,还可在资产利用阶段,由服务器端301配置成对于回收和/或经过质量检测的第二模型,提供预览、检索、下载、共享功能中的一种或多种。
根据本发明的一个实施例,如图9所示,例如模型需求方提出了对于物理世界中的“苹果”的扫描需求,并提供了扫描精度、二维或三维数据格式、扫描工作的完成时间等扫描标准。服务器端根据该需求发布该对于物理世界中的“苹果”扫描任务。至少一个第三方客户端向服务器领取扫描任务。所述至少一个第三方客户端根据诸如虚拟现实或增强现实中需要的“苹果”模型,对物理世界中的相同或相似的“苹果”进行扫描,获得二维或三维扫描数据。
所述至少一个第三方客户端将扫描获得的物理世界的“苹果”的二维或三维数据,回传至服务器端,服务器端通过AI三维重建算法,将输入的扫描获得的二维或三维数据输出为虚拟现实或增强现实中的“苹果”模型。该“苹果”模型与对应物理世界的“苹果”相同或相似。
之后,通过服务器端将修改“苹果”模型的任务下发,由至少一个第三方客户端对原始“苹果”模型进行修改,修改为更加接近对应物理卷号:230073CI
世界的“苹果”的第二模型。所述至少一个第三方客户端根据对应的物理世界的“苹果”,修改所述“苹果”模型;和/或每个第三方客户端修改所述“苹果”模型的一个部分或修改所述“苹果”模型中一个类型的错误。例如,图2中的“苹果”模型同时具有不平滑的“坏点”和形状失真,其中一部分第三方客户端修复“苹果”模型上的“坏点”,另一部分第三方客户端修复“苹果”模型的形状。可以理解,其他类型的建模错误,和其他对于修复任务的分配方式,也在本发明的保护范围之内。
其中,领取扫描任务的第三方客户端应具备符合扫描标准的扫描设备,领取修改任务的第三方客户端应具备模型修改能力,或能够使用辅助修改工具进行修改工作。
本发明的上述一个或多个实施例引入三维模型生产的全流程,同时对接模型资产的需求方,资源方,专业生产者,大众第三方,可以实现需求的快速承接,数据的快速流通和复用。将复杂的三维模型生产环节进行分解,引入AI辅助提效工具,以众包的形式引入大量非专业第三方参与到三维模型的生产加工中来,降低生产成本,大幅提升产量。设计三维模型的精度等级和数据标准,指导数据扫描和修复,并在数据验收环节进行质检,以确保得到精度符合的三维模型,满足工业级的生产要求。
本发明还提供一种电子设备,包括:
处理器;以及
存储器,存储有计算机程序,当所述计算机程序被所述处理器执行时,使得所述处理器执行如上文一个或多个实施例所介绍的模型生成方法10或20。
本发明还提供一种非瞬时性计算机可读存储介质,其上存储有计算机可读指令,当所述指令被处理器执行时,使得所述处理器执行如上文一个或多个实施例所介绍的模型生成方法10或20。
本发明中所涉及的三维模型是物体的多边形表示,通常用计算机或卷号:230073CI
者其它视频设备进行显示。显示的物体可以是现实世界的实体,也可以是虚构的物体。
本发明中所涉及的三维重建是指根据单视图或者多视图的图像重建三维信息的过程.
本发明中所涉及的元宇宙(Metaverse)是人类运用数字技术构建的,由现实世界映射或超越现实世界,可与现实世界交互的虚拟世界,具备新型社会体系的数字生活空间。
本发明中所涉及的众包指一个公司或机构把过去由员工执行的工作任务,以自由自愿的形式外包给非特定的(而且通常是大型的)大众第三方的做法。
本发明中所涉及的AI(Artificial intelligence)指人工智能。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明仅用于帮助理解本申请的方法及其核心思想。同时,本领域技术人员依据本申请的思想,基于本申请的具体实施方式及应用范围上做出的改变或变形之处,都属于本申请保护的范围。综上所述,本说明书内容不应理解为对本申请的限制。
Claims (13)
1.一种模型生成方法,应用于服务器端,其特征在于,包括:
响应于模型需求,发布基于所述模型需求的任务;
接收基于所述任务的扫描结果,其中所述扫描结果是第三方客户端根据第一参数对物理世界的目标对象进行扫描获得的模型构建素材;以及
根据扫描获得的模型构建素材生成第一模型。
2.如权利要求1所述的模型生成方法,进一步包括:
将所述第一模型的数据发送至所述第三方客户端,以使所述第三方客户端能够修改所述第一模型,生成第二模型。
3.如权利要求1所述的模型生成方法,其中所述第一参数包括:目标对象属性、扫描精度、模型构建素材格式、扫描工作的完成时间中的一种或多种;
其中所述第一参数是模型需求方提供的,或者是所述服务器端响应于所述模型需求方的模型获取请求,向所述模型需求方提供的。
4.如权利要求1或2所述的模型生成方法,其中所述根据扫描获得的模型构建素材生成第一模型包括:
通过三维重建算法,根据所述扫描获得的模型构建素材生成所述第一模型。
5.如权利要求1或2所述的模型生成方法,进一步包括:
向所述第三方客户端提供辅助模型修改工具。
6.如权利要求2所述的模型生成方法,进一步包括:
对所述第二模型进行回收和/或质量检测。
7.如权利要求6所述的模型生成方法,进一步包括:卷号:230073CI
对于回收和/或经过质量检测的所述第二模型,提供预览、检索、下载、共享功能中的一种或多种。
8.一种模型生成方法,应用于第三方客户端,其特征在于,包括:
从服务器端接收扫描任务,所述扫描任务包括第一参数;
根据所述第一参数对物理世界的目标对象进行扫描,以获得模型构建素材;
接收第一模型并进行修改,生成第二模型,其中所述第一模型由所述服务器端根据所述模型构建素材生成。
9.如权利要求8所述的模型生成方法,其中所述对物理世界的目标对象进行扫描包括:
所述第三方客户端通过本地扫描设备对所述目标对象进行扫描,其中所述本地扫描设备包括:激光雷达、无人机、全画幅相机、ITOF摄像装置、DTOF摄像装置、单目散斑结构光传感器、双目结构光传感器、手机中的一种或多种。
10.如权利要求8或9所述的模型生成方法,其中所述第三方客户端部署于多个第三方处,所述接收第一模型并进行修改,生成第二模型包括:
所述第三方客户端根据所述物理世界的目标对象,修改所述第一模型;和/或
每个第三方客户端修改所述第一模型的一部分或修改所述第一模型中一个或多个类型的错误。
11.一种模型生成系统,包括通信连接的服务器端及第三方客户端,所述服务器端和所述第三方客户端交互作业,其特征在于:
所述服务器端配置成响应于模型需求,发布基于所述模型需求的任务,其中所述任务包括第一参数;
所述第三方客户端配置成从所述服务器端接收所述任务,并根据所述第一参数对物理世界的目标对象进行扫描,以获得模型构建素材;卷号:230073CI
所述服务器端配置成从所述第三方客户端接收所述模型构建素材,并根据所述模型构建素材生成第一模型;
所述第三方客户端配置成接收所述第一模型并进行修改,生成第二模型。
12.一种电子设备,其特征在于,包括:
处理器;以及
存储器,存储有计算机程序,当所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1-10中任一项所述的模型生成方法。
13.一种非瞬时性计算机可读存储介质,其上存储有计算机可读指令,当所述指令被处理器执行时,使得所述处理器执行如权利要求1-10中任一项所述的模型生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310484047.9A CN116704156B (zh) | 2023-04-28 | 模型生成方法、电子设备及模型生成系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310484047.9A CN116704156B (zh) | 2023-04-28 | 模型生成方法、电子设备及模型生成系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116704156A true CN116704156A (zh) | 2023-09-05 |
CN116704156B CN116704156B (zh) | 2024-07-02 |
Family
ID=
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104589648A (zh) * | 2015-01-07 | 2015-05-06 | 林云帆 | 一种三维物体扫描打印方法及装置 |
CN106651097A (zh) * | 2016-09-30 | 2017-05-10 | 深圳市华傲数据技术有限公司 | 基于众包的数据采集方法、装置和服务器 |
CN108257205A (zh) * | 2016-12-29 | 2018-07-06 | 阿里巴巴集团控股有限公司 | 一种三维模型构建方法、装置及系统 |
CN108628267A (zh) * | 2018-04-26 | 2018-10-09 | 北京大学 | 一种物方扫描成像系统的分离式、分布式操控方法 |
CN113254840A (zh) * | 2021-06-22 | 2021-08-13 | 中电科新型智慧城市研究院有限公司 | 人工智能应用服务推送方法、推送平台及终端设备 |
CN113656359A (zh) * | 2021-08-03 | 2021-11-16 | 煤炭科学研究总院 | 三维模型的轻量化方法、装置、计算机设备及存储介质 |
WO2022116716A1 (zh) * | 2020-12-01 | 2022-06-09 | 达闼机器人股份有限公司 | 云端机器人系统、云服务器、机器人控制模块和机器人 |
CN114708391A (zh) * | 2022-06-06 | 2022-07-05 | 深圳思谋信息科技有限公司 | 三维建模方法、装置、计算机设备和存储介质 |
CN114758055A (zh) * | 2020-12-28 | 2022-07-15 | 中兴通讯股份有限公司 | 三维模型生成方法、xr设备及存储介质 |
CN115222896A (zh) * | 2022-09-20 | 2022-10-21 | 荣耀终端有限公司 | 三维重建方法、装置、电子设备及计算机可读存储介质 |
CN115359163A (zh) * | 2022-08-04 | 2022-11-18 | 阿里巴巴(中国)有限公司 | 三维模型生成系统、三维模型生成方法以及装置 |
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104589648A (zh) * | 2015-01-07 | 2015-05-06 | 林云帆 | 一种三维物体扫描打印方法及装置 |
CN106651097A (zh) * | 2016-09-30 | 2017-05-10 | 深圳市华傲数据技术有限公司 | 基于众包的数据采集方法、装置和服务器 |
CN108257205A (zh) * | 2016-12-29 | 2018-07-06 | 阿里巴巴集团控股有限公司 | 一种三维模型构建方法、装置及系统 |
CN108628267A (zh) * | 2018-04-26 | 2018-10-09 | 北京大学 | 一种物方扫描成像系统的分离式、分布式操控方法 |
WO2022116716A1 (zh) * | 2020-12-01 | 2022-06-09 | 达闼机器人股份有限公司 | 云端机器人系统、云服务器、机器人控制模块和机器人 |
CN114758055A (zh) * | 2020-12-28 | 2022-07-15 | 中兴通讯股份有限公司 | 三维模型生成方法、xr设备及存储介质 |
CN113254840A (zh) * | 2021-06-22 | 2021-08-13 | 中电科新型智慧城市研究院有限公司 | 人工智能应用服务推送方法、推送平台及终端设备 |
CN113656359A (zh) * | 2021-08-03 | 2021-11-16 | 煤炭科学研究总院 | 三维模型的轻量化方法、装置、计算机设备及存储介质 |
CN114708391A (zh) * | 2022-06-06 | 2022-07-05 | 深圳思谋信息科技有限公司 | 三维建模方法、装置、计算机设备和存储介质 |
CN115359163A (zh) * | 2022-08-04 | 2022-11-18 | 阿里巴巴(中国)有限公司 | 三维模型生成系统、三维模型生成方法以及装置 |
CN115222896A (zh) * | 2022-09-20 | 2022-10-21 | 荣耀终端有限公司 | 三维重建方法、装置、电子设备及计算机可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Fuhrmann et al. | Mve-a multi-view reconstruction environment. | |
CN111629193B (zh) | 一种实景三维重建方法及系统 | |
Remondino et al. | Image-based surface measurement for close-range heritage documentation | |
Murphy et al. | Developing historic building information modelling guidelines and procedures for architectural heritage in Ireland | |
Mahami et al. | Imaging network design to improve the automated construction progress monitoring process | |
Mousavi et al. | The performance evaluation of multi-image 3D reconstruction software with different sensors | |
Peña-Villasenín et al. | 3-D modeling of historic façades using SFM photogrammetry metric documentation of different building types of a historic center | |
Rüther et al. | From point cloud to textured model, the zamani laser scanning pipeline in heritage documentation | |
Bosch et al. | Metric evaluation pipeline for 3d modeling of urban scenes | |
CN114842139A (zh) | 一种基于空间分析的建筑三维数字化模型构建方法 | |
CN102202159A (zh) | 无人机航摄像片数字拼接方法 | |
Verykokou et al. | A Comparative analysis of different software packages for 3D Modelling of complex geometries | |
Rüther et al. | Challenges in heritage documentation with terrestrial laser scanning | |
CN116704156B (zh) | 模型生成方法、电子设备及模型生成系统 | |
CN116704156A (zh) | 模型生成方法、电子设备及模型生成系统 | |
Moore et al. | Who cares about 3D preservation? | |
Previtali et al. | Multi-step and multi-photo matching for accurate 3D reconstruction | |
CN115661364A (zh) | 一种用于文物古建筑群修复的三维仿真模型重建方法 | |
Wahbeh et al. | Toward the Interactive 3D Modelling Applied to Ponte Rotto in Rome | |
Caldera-Cordero et al. | Analysis of free image-based modelling systems applied to support topographic measurements | |
Potabatti | Photogrammetry for 3D Reconstruction in SOLIDWORKS and its Applications in Industry | |
Grammatikopoulos et al. | 3D city models completion by fusing lidar and image data | |
Zhou et al. | Construction method of multi-source Dougong point cloud dataset | |
Schindler et al. | Fast on-site reconstruction and visualization of archaeological finds | |
Thomas et al. | A study on close-range photogrammetry in image based modelling and rendering (imbr) approaches and post-processing analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |