CN115861572A - 一种三维建模方法、装置、设备及存储介质 - Google Patents

一种三维建模方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115861572A
CN115861572A CN202310161488.5A CN202310161488A CN115861572A CN 115861572 A CN115861572 A CN 115861572A CN 202310161488 A CN202310161488 A CN 202310161488A CN 115861572 A CN115861572 A CN 115861572A
Authority
CN
China
Prior art keywords
modeled
boundary
information
dimensional
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310161488.5A
Other languages
English (en)
Other versions
CN115861572B (zh
Inventor
林铖
杨帆
曾子骄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202310161488.5A priority Critical patent/CN115861572B/zh
Publication of CN115861572A publication Critical patent/CN115861572A/zh
Application granted granted Critical
Publication of CN115861572B publication Critical patent/CN115861572B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本申请实施例公开了一种三维建模方法、装置、设备及存储介质。其中方法包括:获取待建模对象的平面图像集合,平面图像集合包括待建模对象在不同视角下的平面图像,获取待建模对象的边界信息,边界信息用于指示待建模对象在平面图像中的实际边界,分别对平面图像集合中的平面图像进行深度预测处理,得到待建模对象的深度信息,根据待建模对象的边界信息,以及待建模对象的深度信息,对待建模对象进行建模,得到待建模对象的三维模型。可见,通过待建模对象的深度信息和待建模对象的边界信息对待建模对象的建模过程进行约束,可以提高待建模对象的三维模型的质量。

Description

一种三维建模方法、装置、设备及存储介质
技术领域
本申请涉及计算机技术领域,具体涉及一种三维建模方法、一种三维建模装置、一种计算机设备及一种计算机可读存储介质。
背景技术
随着科技研究的进步,三维模型被广泛应用在生活中的各个领域;例如,游戏领域、设计领域、视频领域等等。目标对象的三维模型的生成方式包括:通过目标对象的平面图像来生成该目标对象的三维模型。研究发现,直接根据目标对象的平面图像进行建模得到的三维模型质量较差(如还原度较低)。
发明内容
本申请实施例提供了一种三维建模方法、装置、设备及计算机可读存储介质,能够提高三维模型的质量。
一方面,本申请实施例提供了一种三维建模方法,包括:
获取待建模对象的平面图像集合,平面图像集合包括第一平面图像和第二平面图像;第一平面图像和第二平面图像是待建模对象在不同视角下的平面图像;
获取待建模对象的边界信息,边界信息包括第一几何边界标注信息和第二几何标注信息,第一几何标注信息用于指示待建模对象在第一平面图像中的实际边界,第二几何标注信息用于指示待建模对象在第二平面图像中的实际边界;
分别对平面图像集合中的平面图像进行深度预测处理,得到待建模对象的深度信息;
根据待建模对象的边界信息,以及待建模对象的深度信息,对待建模对象进行建模,得到待建模对象的三维模型。
一方面,本申请实施例提供了一种三维建模装置,该三维建模装置包括:
获取单元,用于获取待建模对象的平面图像集合,平面图像集合包括第一平面图像和第二平面图像;第一平面图像和第二平面图像是待建模对象在不同视角下的平面图像;
以及用于获取待建模对象的边界信息,边界信息包括第一几何边界标注信息和第二几何标注信息,第一几何标注信息用于指示待建模对象在第一平面图像中的实际边界,第二几何标注信息用于指示待建模对象在第二平面图像中的实际边界;
处理单元,用于分别对平面图像集合中的平面图像进行深度预测处理,得到待建模对象的深度信息;
以及用于根据待建模对象的边界信息,以及待建模对象的深度信息,对待建模对象进行建模,得到待建模对象的三维模型。
在一种实施方式中,待建模对象的深度信息包括待建模对象在平面图像集合的各个平面图像中关联的像素点的深度信息;处理单元用于,根据待建模对象的边界信息,以及待建模对象的深度信息,对待建模对象进行建模,得到待建模对象的三维模型,具体用于:
根据各个平面图像中待建模对象关联的像素点的深度信息,还原待建模对象关联的像素点在三维空间中的位置;
对第一几何边界标注信息和第二几何标注信息所指示的待建模对象的实际边界进行缝合处理,得到待建模对象的三维边界线;
通过待建模对象的三维边界线,生成待建模对象的三维模型。
在一种实施方式中,处理单元用于,通过待建模对象的三维边界线,生成待建模对象的三维模型,具体用于:
根据待建模对象的三维边界线的拓扑分类,确定待建模对象对应的网格模板;
基于待建模对象的三维边界线对待建模对象对应的网格模板进行裁切处理,得到待建模对象的三维模型。
在一种实施方式中,处理单元还用于:
获取待建模对象对应的网格模板的平滑约束条件和待建模对象的还原度约束条件;
根据待建模对象在三维空间中的位置,待建模对象对应的网格模板的平滑约束条件和待建模对象的还原度约束条件,预测待建模对象对应的网格形变参数;
按照待建模对象对应的网格形变参数,对待建模对象的三维模型进行模型优化处理,得到模型优化处理后的三维模型。
在一种实施方式中,述待建模对象由M个对象元素组成,平面图像集合包括每个对象元素在第一视角下的平面图像和在第二视角下的平面图像,M为大于1的整数;待建模对象的边界信息包括每个对象元素对应的几何边界标注信息;每个对象元素对应的几何边界标注信息用于指示该对象元素在第一视角下的平面图像和在第二视角下的平面图像中的实际边界;待建模对象的深度信息包括M个对象元素的深度信息;
处理单元用于,根据待建模对象的边界信息,以及待建模对象的深度信息,对待建模对象进行建模,得到待建模对象的三维模型,具体用于:
获取M个对象元素在第一视角下的平面图像与M个对象元素在第二视角下的平面图像之间的匹配关系;
根据M个对象元素在第一视角下的平面图像与M个对象元素在第二视角下的平面图像之间的匹配关系,确定每个对象元素对应的边界信息;
根据每个对象元素的边界信息,以及该对象元素的深度信息,对该对象元素进行建模,得到M个对象元素的三维模型;
对M个对象元素的三维模型进行堆叠处理,得到待建模对象的三维模型。
在一种实施方式中,第一平面图像为待建模对象的正视图和背视图中的任一个,第二平面图像为待建模对象的正视图和背视图中除第一平面图像外的另一个;处理单元用于,获取M个对象元素在第一视角下的平面图像与M个对象元素在第二视角下的平面图像之间的匹配关系,具体用于:
按照第二视角对M个对象元素在第一视角下的平面图像进行视图变换处理,得到M个变换视图;
通过每个变换视图中对象元素的边界与M个第二视角下的平面图像中对象元素的边界的相似度,确定M个对象元素在第一视角下的平面图像与M个对象元素在第二视角下的平面图像之间的匹配关系。
在一种实施方式中,每个对象元素关联一个图层标识,图层标识用于指示关联的对象元素的显示优先级;处理单元还用于:
若至少两个对象元素的三维模型存在重合区域,则通过至少两个对象元素关联的图层标识,确定至少两个对象元素的三维模型的显示优先级;
在重合区域中显示至少两个对象元素中三维模型的显示优先级最高的对象元素的三维模型。
在一种实施方式中,每个对象元素关联一个图层标识,图层标识用于指示关联的对象元素的显示优先级;若检测到待建模对象的三维模型中存在至少两个对象元素的三维模型之间相互穿插,则处理单元还用于:
按照至少两个对象元素关联的图层标识,对至少两个对象元素中至少一个对象元素的三维模型包含的网格进行网格优化处理,得到网格优化处理后待建模对象的三维模型;
其中,网格优化处理后待建模对象的三维模型中任意两个对象元素的三维模型之间相互不穿插。
在一种实施方式中,待建模对象的深度信息是采用深度预测模型分别对平面图像集合中的平面图像进行深度预测处理得到的;深度预测模型的训练过程包括:
采用深度预测模型对训练图像中目标对象关联的目标像素点进行深度预测处理,得到目标像素点对应的深度预测结果;
根据各个目标像素点的深度预测结果,预测每个目标像素点的法向量;
基于深度差异信息和法向量差异信息对深度预测模型进行联合优化,得到优化后的深度预测模型;
其中,深度差异信息是基于各个目标像素点的深度预测结果与训练图像对应的标注结果之间的差异得到的;法向量差异信息是基于每个目标像素点的预测法向量与该目标像素点的真实法向量之间的差异得到的。
在一种实施方式中,处理单元用于,获取待建模对象的边界信息,具体用于:
对待建模对象的平面图像集合中的平面图像分别进行边界检测,得到待建模对象在各个平面图像中的边界;
采用几何边界识别模型分别待建模对象在各个平面图像中的边界进行识别处理,得到各个平面图像对应的几何标注信息。
相应地,本申请提供了一种计算机设备,该计算机设备包括:
存储器,存储器中存储有计算机程序;
处理器,用于加载计算机程序实现上述三维建模方法。
相应地,本申请提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,该计算机程序适于由处理器加载并执行上述三维建模方法。
相应地,本申请提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述三维建模方法。
本申请实施例中,获取待建模对象的平面图像集合,平面图像集合包括待建模对象在不同视角下的平面图像,获取待建模对象的边界信息,边界信息用于指示待建模对象在平面图像中的实际边界,分别对平面图像集合中的平面图像进行深度预测处理,得到待建模对象的深度信息,根据待建模对象的边界信息,以及待建模对象的深度信息,对待建模对象进行建模,得到待建模对象的三维模型。可见,通过待建模对象的深度信息和待建模对象的边界信息对待建模对象的建模过程进行约束,可以提高待建模对象的三维模型的质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1 为本申请实施例提供的一种三维建模方案的示意图;
图2 为本申请实施例提供的一种三维建模方法的流程图;
图3为本申请实施例提供的一种待建模对象的正视图;
图4为本申请实施例提供的常见拓扑类型的示意图;
图5为本申请实施例提供的另一种三维建模方法的流程图;
图6 为本申请实施例提供的一种三维建模流程框架图;
图7为本申请实施例提供的一种三维建模插件的管理页面示意图;
图8为本申请实施例提供的一种三维建模装置的结构示意图;
图9为本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请涉及人工智能和计算机视觉技术,下面对人工智能和计算机视觉技术进行简单介绍:
人工智能(Artificial Intelligence,AI):所谓AI是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。本申请实施例主要涉及通过深度预测模型对包含待建模对象的平面图像进行深度预测处理,得到待建模对象的深度信息。
AI技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大应用程序的处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision, CV):计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、追随和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。本申请实施例中主要涉及通过待建模对象在不同视角下的平面图像,以及待建模对象在各个平面图像中的边界信息,构建待建模对象的三维模型。
基于人工智能和计算机视觉技术,本申请实施例提供了一种三维建模方案,以提高基于平面图像生成的三维模型的质量。图1为本申请实施例提供的一种三维建模方案的示意图,如图1所示,该三维建模方案可由计算机设备101执行,此处的计算机设备101可以是具有三维建模能力的终端或者服务器。其中,终端可以包括但不限于:智能手机(如Android手机、IOS手机等)、平板电脑、便携式个人计算机、移动互联网设备(MobileInternet Devices,简称MID)、车载终端、智能家电、无人飞行器、可穿戴设备等具有三维建模能力的设备,本申请实施例对此不做限定。服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(ContentDelivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器,本申请实施例对此不做限定。
需要说明的是,图1中计算机设备的数量仅用于举例,并不构成本申请的实际限定;例如,三维建模系统中还可以包括计算机设备102,或者终端设备103,或者服务器104等。
在具体实现中,该三维建模方案的大致原理如下:
(1)计算机设备101获取待建模对象的平面图像集合,平面图像集合包括第一平面图像和第二平面图像;第一平面图像和第二平面图像是待建模对象在不同视角下的平面图像。待建模对象具体可以是服装、饰品、日用品、游戏道具等等,本申请对此不作限制,在后续说明中,以待建模对象是服装为例进行说明。平面图像集合包括以下至少两种平面图像:待建模对象的正视图、待建模对象的背视图、待建模对象的俯视图、待建模对象的左视图、待建模对象的右视图。不同待建模对象建模所需的平面图像可以相同或者不同。举例来说,当待建模对象为衣服时,平面图像集合可以包括衣服的正视图和背视图;当待建模对象为水杯时,平面图像集合可以包括水杯的正视图和俯视图;当待建模对象为车辆时,平面图像集合可以包括车辆的正视图、俯视图、左视图、背视图。
(2)计算机设备101获取待建模对象的边界信息,边界信息包括第一几何边界标注信息和第二几何标注信息,第一几何标注信息用于指示待建模对象在第一平面图像中的实际边界,第二几何标注信息用于指示待建模对象在第二平面图像中的实际边界。
具体来说,待建模对象的在平面图像中的边界(轮廓)可以由视觉边界和实际边界共同组成。待建模对象的实际边界是指待建模对象(或待建模对象的三维模型)中客观存在的边界,该边界不受观察视角的影响;也就是说,无论从什么视角观察待建模对象(或待建模对象的三维模型),待建模对象的实际边界都是客观存在的;例如,对于衣服来说,实际边界包括领口,袖口等。待建模对象的视觉边界是指从一个视角对待建模对象(或待建模对象的三维模型)进行观察时,待建模对象在该视角下的平面图像中的边界(轮廓)中除实际边界以外的边界,待建模对象的视觉边界并不是客观存在的边界;也就是说,视觉边界会随着观察视角的变化而变化(如消失)。
(3)计算机设备101分别对平面图像集合中的平面图像进行深度预测处理,得到待建模对象的深度信息。待建模对象的深度信息由待建模对象在各个平面图像中关联的像素点的深度信息组成。在一种实施方式中,待建模对象的深度信息可以包括第一深度信息和第二深度信息,第一深度信息是计算机设备101对第一平面图像进行深度预测处理得到的,第二深度信息是计算机设备101对第二平面图像进行深度预测处理得到的。
在一个实施例中,计算机设备101可以通过深度预测模型分别对平面图像集合中的平面图像进行深度预测处理,得到深度预测模型输出的待建模对象的深度信息。
(4)计算机设备101根据待建模对象的边界信息,以及待建模对象的深度信息,对待建模对象进行建模,得到待建模对象的三维模型。在一种实施方式中,待建模对象的深度信息包括待建模对象在平面图像集合的各个平面图像中关联的像素点(如平面图像中用于表示待建模对象的像素点)的深度信息。计算机设备101根据各个平面图像中待建模对象关联的像素点的深度信息,还原待建模对象关联的像素点在三维空间中的位置。在得到待建模对象关联的像素点在三维空间中的位置后,计算机设备根据第一几何边界标注信息和第二几何标注信息对三维空间中的像素点进行缝合处理,得到待建模对象的三维边界线。待建模对象的三维边界线用于指示待建模对象在三维空间中的实际边界。在得到待建模对象的三维边界线后,计算机设备101可以通过待建模对象的三维边界线,生成待建模对象的三维模型。
本申请实施例中,获取待建模对象的平面图像集合,平面图像集合包括待建模对象在不同视角下的平面图像,获取待建模对象的边界信息,边界信息用于指示待建模对象在平面图像中的实际边界,分别对平面图像集合中的平面图像进行深度预测处理,得到待建模对象的深度信息,根据待建模对象的边界信息,以及待建模对象的深度信息,对待建模对象进行建模,得到待建模对象的三维模型。可见,通过待建模对象的深度信息和待建模对象的边界信息对待建模对象的建模过程进行约束,可以提高待建模对象的三维模型的质量。
基于上述三维建模方案,本申请实施例提出更为详细的三维建模方法,下面将结合附图对本申请实施例提出的三维建模方法进行详细介绍。
请参阅图2,图2为本申请实施例提供的一种三维建模方法的流程图,该三维建模方法可以由计算机设备执行,该计算机设备可以是终端设备或者服务器。如图2所示,该三维建模方法可包括如下步骤S201-S204:
S201、获取待建模对象的平面图像集合。
平面图像集合包括待建模对象的第一平面图像和第二平面图像,第一平面图像和第二平面图像是待建模对象在不同视角下的平面图像。可选的,平面图像集合中还可以包括待建模对象的第三平面图像,第三平面图像对应的观察视角与第一平面图像和第二平面图像对应的观察视角均不同。
在一种实施方式中,待建模对象由一个对象元素构成;也就是说,该对象元素即为待建模对象。在此情况下,平面图像集合包括对象元素的第一平面图像和第二平面图像。
在另一种实施方式中,待建模对象由M个对象元素构成,M为大于1的整数;例如,待建模对象由衬衣(第一对象元素)和外套(第二对象元素)构成。在此情况下,平面图像集合包括M个对象元素中,每个对象元素的第一平面图像和第二平面图像;例如,假设M=2,则待建模对象的平面图像集合包括第一对象元素的第一平面图像和第二平面图像,以及第二对象元素的第一平面图像和第二平面图像。
在一个实施例中,M个对象元素中,每个对象元素的第一平面图像对应的观察视角相同,且每个对象元素的第二平面图像对应的观察视角也相同;在此情况下,待建模对象的第一平面图像和第二平面图像可以是由M个对象元素的第一平面图像和第二平面图像,按照图层顺序堆叠得到的。
在另一个实施例中,M个对象元素中,可以存在至少一个对象元素的第一平面图像(或第二平面图像)对应的观察视角与其它对象元素的第一平面图像对应的观察视角不同,且与其它对象元素的第二平面图像对应的观察视角也不同;例如,设M个对象元素包括衬衣、外套、裤子和鞋子(即M=4),衬衣、外套和裤子的第一平面图像均为正视图,第二平面图像均为背视图;鞋子的第一平面图像为正视图,第二平面图像为俯视图。
S202、获取待建模对象的边界信息。
边界信息包括第一几何边界标注信息和第二几何标注信息,第一几何标注信息用于指示待建模对象在第一平面图像中的实际边界,第二几何标注信息用于指示待建模对象在第二平面图像中的实际边界。
具体来说,待建模对象的在平面图像中的边界(轮廓)可以由视觉边界和实际边界共同组成。待建模对象的实际边界是指待建模对象(或待建模对象的三维模型)中客观存在的边界;待建模对象的视觉边界是指从一个视角对待建模对象(或待建模对象的三维模型)进行观察时,待建模对象在该视角下的平面图像中的边界(轮廓)中除实际边界以外的边界。图3为本申请实施例提供的一种待建模对象的正视图。如图3所示,在短袖(待建模对象)的正视图(平面图像)中,短袖的边界(轮廓)由视觉边界和实际边界共同组成;其中,实线部分为视觉边界,虚线部分为实际边界。
在一种实施方式中,若待建模对象由M个对象元素构成,M为大于1的整数,平面图像集合包括M个对象元素中,每个对象元素的第一平面图像和第二平面图像;则待建模对象的边界信息还包括每个对象元素对应的几何标注信息,每个对象元素对应的几何标注信息用于指示该对象元素在第一视角下的平面图像(即该对象元素的第一平面图像)中的实际边界,以及指示该对象元素在第二视角下的平面图像(即该对象元素的第二平面图像)中的实际边界。
在一种实现方式中,计算机设备对平面图像集合中的平面图像(如通过图像二值化、拉普拉斯算法等)分别进行轮廓检测,得到待建模对象(或对象元素)在各个平面图像中的边界。进一步地,在得到待建模对象(或对象元素)在各个平面图像中的边界后,计算机设备还可以采用轨迹压缩算法(如Douglas-Peucker算法)对待建模对象(或对象元素)在各个平面图像中的边界进行边界优化处理,得到优化后的边界。计算机设备可以显示待建模对象(或对象元素)在各个平面图像中的边界,并基于建模人员的边界标记操作,生成待建模对象的边界信息。
在另一种实现方式中,计算机设备可以采用边界识别模型分别对平面图像集合中的平面图像进行边界识别处理,得到待建模对象的边界信息;其中,边界识别处理用于识别待建模对象(或对象元素)在各个平面图像中的实际边界和视觉边界;边界识别模型的训练过程包括:采用初始模型对边界训练数据进行边界识别处理,得到边界训练数据对应的识别结果;基于边界训练数据对应的识别结果与边界训练数据对应的校准数据之间的差异,对初始模型的相关参数进行优化(如调整网络层的数量、卷积核的尺度等),得到边界识别模型。可以理解的是,通过边界识别模型来确定待建模对象的边界信息,可以节省人工成本,进一步提高建模效率。
S203、分别对平面图像集合中的平面图像进行深度预测处理,得到待建模对象的深度信息。
待建模对象的深度信息由待建模对象在各个平面图像中关联的像素点(如平面图像中用于表示待建模对象的像素点)的深度信息组成。计算机设备可以通过深度预测模型分别对平面图像集合中的平面图像进行深度预测处理,得到待建模对象的深度信息。
在一种实施方式中,深度预测模型的训练过程包括:采用深度预测模型对训练图像中目标对象关联的目标像素点进行深度预测处理,得到目标像素点对应的深度预测结果。根据各个目标像素点的深度预测结果,预测每个目标像素点的法向量;具体来说,基于目标像素点的K(K为大于2的整数)个相邻像素点(与目标像素点之间间隔的像素点的数量小于阈值的像素点),确定目标像素点的至少一条候选法向量,并对目标像素点的至少一条候选法向量进行加权求和处理,得到目标像素点的法向量。在预测每个目标像素点的法向量后,基于深度差异信息和法向量差异信息对深度预测模型进行联合优化,得到优化后的深度预测模型。其中,深度差异信息是基于各个目标像素点的深度预测结果与训练图像对应的标注结果之间的差异得到的;法向量差异信息是基于每个目标像素点的预测法向量与该目标像素点的真实法向量之间的差异得到的。
需要说明的是,在深度预测模型的训练过程中,通过深度差异信息和法向量差异信息对深度预测模型进行联合优化,相较于仅通过深度差异信息对深度预测模型进行优化来说,可以提高优化后的深度预测模型的准确度。
S204、根据待建模对象的边界信息,以及待建模对象的深度信息,对待建模对象进行建模,得到待建模对象的三维模型。
在一种实施方式中,待建模对象的深度信息包括待建模对象在平面图像集合的各个平面图像中关联的像素点(如平面图像中用于表示待建模对象的像素点)的深度信息。计算机设备根据各个平面图像中待建模对象关联的像素点的深度信息,还原待建模对象关联的像素点在三维空间中的位置。在得到待建模对象关联的像素点在三维空间中的位置后,计算机设备根据第一几何边界标注信息和第二几何标注信息对三维空间中待建模对象关联的像素点进行缝合处理,得到待建模对象的三维边界线。待建模对象的三维边界线用于指示待建模对象在三维空间中的实际边界。
举例来说,假设第一几何边界标注信息指示的待建模对象在第一平面图像中的实际边界包括像素点1-像素点10,第二几何边界标注信息指示的待建模对象在第二平面图像中的实际边界包括像素点10-像素点20,则计算机设备根据第一几何边界标注信息和第二几何标注信息对三维空间中的像素点1-像素点20进行缝合处理(如串联三维空间中的像素点1-像素点20),得到待建模对象的三维边界线。
在得到待建模对象的三维边界线后,计算机设备可以通过待建模对象的三维边界线,生成待建模对象的三维模型。具体来说,计算机设备根据待建模对象的三维边界线的拓扑分类,确定待建模对象对应的网格(Mesh)模板,不同拓扑分类对应的网格模板不同。图4为本申请实施例提供的常见拓扑类型的示意图。如图4所示,常见的拓扑类型包括:T形拓扑、倒V形拓扑和人形拓扑。T形拓扑可以表示衬衫、西服、大衣、裙装等衣物;倒V形拓扑可以表示裤装类衣物;人形拓扑可以表示连体裤等。在确定待建模对象对应的网格模板后,计算机设备基于待建模对象的三维边界线对待建模对象对应的网格模板进行裁切处理(如去除网格模板中位于待建模对象的三维边界线以外的网格),得到待建模对象的三维模型。
可选的,计算机设备还可以获取待建模对象对应的网格模板的平滑约束条件和待建模对象的还原度约束条件,根据待建模对象在三维空间中的位置,待建模对象对应的网格模板的平滑约束条件和待建模对象的还原度约束条件,预测待建模对象对应的网格形变参数,并按照待建模对象对应的网格形变参数,对待建模对象的三维模型进行模型优化处理,得到模型优化处理后的三维模型。可以理解的是,基于待建模对象在三维空间中的位置,待建模对象对应的网格模板的平滑约束条件和待建模对象的还原度约束条件对待建模对象的三维模型进行模型优化处理,可以提高三维模型的细节(如衣服的褶皱等)还原度,进一步提高待建模对象的三维模型的质量。
本申请实施例中,获取待建模对象的平面图像集合,平面图像集合包括待建模对象在不同视角下的平面图像,获取待建模对象的边界信息,边界信息用于指示待建模对象在平面图像中的实际边界,分别对平面图像集合中的平面图像进行深度预测处理,得到待建模对象的深度信息,根据待建模对象的边界信息,以及待建模对象的深度信息,对待建模对象进行建模,得到待建模对象的三维模型。可见,通过待建模对象的深度信息和待建模对象的边界信息对待建模对象的建模过程进行约束,可以提高待建模对象的三维模型的质量。此外,在深度预测模型的训练过程中,通过深度差异信息和法向量差异信息对深度预测模型进行联合优化,可以提高优化后的深度预测模型的准确度。
请参阅图5,图5为本申请实施例提供的另一种三维建模方法的流程图,该三维建模方法可以由计算机设备执行,该计算机设备可以是终端设备或者服务器。如图5所示,该三维建模方法可包括如下步骤S501-S507:
S501、获取待建模对象的平面图像集合。
S502、获取待建模对象的边界信息。
S503、分别对平面图像集合中的平面图像进行深度预测处理,得到待建模对象的深度信息。
步骤S501-步骤S503的具体实施方式可参考图2中步骤S201-步骤S203中的实施方式,在此不再赘述。
S504、获取M个对象元素在第一视角下的平面图像与M个对象元素在第二视角下的平面图像之间的匹配关系。
在一种实施方式中,第一平面图像为待建模对象的正视图和背视图中的任一个,第二平面图像为待建模对象的正视图和背视图中除第一平面图像外的另一个。计算机设备按照第二视角对M个对象元素在第一视角下的平面图像(即第一平面图像)进行视图变换处理,得到M个变换视图。
在一种实现方式中,计算机设备可以通过变换视图中视觉边界上的采样点与第二视角下的平面图像中视觉边界上的采样点之间的倒角距离(Chamfer Distance)来确定变换视图与第二视角下的平面图像的匹配关系,进而确定第一视角下的平面图像与第二视角下的平面图像之间的匹配关系。每个视觉边界上包含的采样点的数量为多个(至少两个)。举例来说,若变换视图1中视觉边界上的采样点与第二视角下的平面图像2中视觉边界上的采样点的倒角距离小于距离阈值,则计算机设备判定变换视图1对应的第一视角下的平面图像1与第二视角下的平面图像2相匹配。
在另一种实现方式中,在得到M个变换视图后,计算机设备通过每个变换视图中对象元素的边界与M个第二视角下的平面图像中对象元素的边界的相似度,确定M个对象元素在第一视角下的平面图像与M个对象元素在第二视角下的平面图像之间的匹配关系。其中,边界的相似度可以通过变换视图中视觉边界上的采样点与第二视角下的平面图像中视觉边界上的采样点之间的倒角距离(Chamfer Distance)来确定,相似度与采样点之间的倒角距离成反比。举例来说,设M=3,第二个变换视图是对第二个第一视角下的平面图像进行视图变换处理得到的;且第二个变换视图中对象元素的边界与第一个第二视角下的平面图像中对象元素的边界的相似度为95%;第二个变换视图中对象元素的边界与第二个第二视角下的平面图像中对象元素的边界的相似度为25%;第二个变换视图中对象元素的边界与第三个第二视角下的平面图像中对象元素的边界的相似度为13%;则计算机设备判定第二个第一视角下的平面图像与第一个第二视角下的平面图像匹配(即属于同一个对象元素的平面图像)。
在另一种实施方式中,平面图像集合中的每个平面图像均关联有图层标识,计算机设备基于每个平面图像关联的图层标识,确定M个对象元素在第一视角下的平面图像与M个对象元素在第二视角下的平面图像之间的匹配关系;例如,若第一视角下的平面图像1关联的图层标识与第二视角下的平面图像3关联的图层标识相同,则判定第一视角下的平面图像1与第二视角下的平面图像3匹配(即属于同一个对象元素的平面图像)。
S505、根据M个对象元素在第一视角下的平面图像与M个对象元素在第二视角下的平面图像之间的匹配关系,确定每个对象元素对应的边界信息。
计算机设备通过目标对象元素在第一平面图像中的几何边界标注信息和目标对象元素在第二平面图像中的几何边界标注信息,可以得到该目标对象元素对应的完整边界信息;目标对象元素为M个对象元素中的任一个对象元素。
S506、根据每个对象元素的边界信息,以及该对象元素的深度信息,对该对象元素进行建模,得到M个对象元素的三维模型。
在一种实施方式中,目标对象元素的深度信息包括目标对象元素在平面图像集合中对应的第一平面图像和第二平面图像中关联的像素点(如第一平面图像和第二平面图像中用于表示目标对象元素的像素点)的深度信息。计算机设备根据第一平面图像和第二平面图像中目标对象元素关联的像素点的深度信息,还原目标对象元素关联的像素点在三维空间中的位置。在得到目标对象元素关联的像素点在三维空间中的位置后,计算机设备根据第一平面图像中的几何边界标注信息和第二平面图像中的几何标注信息对三维空间中目标对象元素关联的像素点进行缝合处理,得到目标对象元素的三维边界线。目标对象元素的三维边界线用于指示目标对象元素在三维空间中的实际边界。
在得到目标对象元素的三维边界线后,计算机设备可以通过目标对象元素的三维边界线,生成目标对象元素的三维模型。具体来说,计算机设备根据目标对象元素的三维边界线的拓扑分类,确定目标对象元素对应的网格(Mesh)模板,不同拓扑分类对应的网格模板不同。在确定目标对象元素对应的网格模板后,计算机设备基于目标对象元素的三维边界线对目标对象元素对应的网格模板进行裁切处理(如去除网格模板中位于目标对象元素的三维边界线以外的网格),得到目标对象元素的三维模型。
可选的,计算机设备还可以获取目标对象元素对应的网格模板的平滑约束条件和目标对象元素的还原度约束条件,根据目标对象元素在三维空间中的位置,目标对象元素对应的网格模板的平滑约束条件和目标对象元素的还原度约束条件,预测目标对象元素对应的网格形变参数,并按照目标对象元素对应的网格形变参数,对目标对象元素的三维模型进行模型优化处理,得到模型优化处理后的三维模型。可以理解的是,基于目标对象元素在三维空间中的位置,目标对象元素对应的网格模板的平滑约束条件和目标对象元素的还原度约束条件对目标对象元素的三维模型进行模型优化处理,可以提高三维模型的细节(如衣服的褶皱等)还原度,进一步提高目标对象元素的三维模型的质量。
按照上述实施方式,计算机设备可以得到待建模对象包含的M个对象元素的三维模型。
S507、对M个对象元素的三维模型进行堆叠处理,得到待建模对象的三维模型。
在一种实施方式中,每个对象元素关联一个图层标识,图层标识用于指示关联的对象元素的显示优先级。若至少两个对象元素的三维模型存在重合区域,则计算机设备通过至少两个对象元素关联的图层标识,确定至少两个对象元素的三维模型的显示优先级,在重合区域中显示至少两个对象元素中三维模型的显示优先级最高的对象元素的三维模型。举例来说,设图层标识的值与对象元素的三维模型的显示优先级成正比(即对象元素关联的图层标识的值越大,则该对象元素的三维模型的显示优先级越高),若对象元素1的三维模型与对象元素2的三维模型存在重合区域A,且对象元素1关联的图层标识的值为3,对象元素2关联的图层标识的值为7;则计算机设备在重合区域A显示对象元素2的三维模型。
在另一种实施方式中,若检测到待建模对象的三维模型中存在至少两个对象元素的三维模型之间相互穿插,则计算机设备按照至少两个对象元素关联的图层标识,对至少两个对象元素中至少一个对象元素的三维模型包含的网格进行网格优化处理(如调整对象元素的三维模型中部分网格在三维空间中的位置),得到网格优化处理后待建模对象的三维模型;其中,网格优化处理后待建模对象的三维模型中任意两个对象元素的三维模型之间相互不穿插;两个对象元素的三维模型之间相互穿插可以理解为:对象元素1的三维模型中存在至少一个面穿过了对象元素2的三维模型中的至少一个面。
可以理解的是,基于对象元素关联的图层标识对待建模对象的三维模型进行优化,可以进一步提高待建模对象的三维模型的质量。
图6为本申请实施例提供的一种三维建模流程框架图。如图6所示,本申请提供的三维建模方法可以由边界提取(Polygon)模块、边界标注(Boundary)模块、深度预测(DepthPrediction)模块、边界缝合(Stitch)模块、模板裁剪(BaseCut)模块、几何形变(Wrap)模块和后处理优化(Post-processing)模块协作实现。具体来说:
(1)边界提取(Polygon)模块用于对平面图像集合中各个平面图像进行边界检测,得到平面图像中对象元素的边界。可选的,还可以通过轨迹压缩算法(如Douglas-Peucker算法)对对象元素的边界进行简化,得到对象元素简化后的边界。
(2)边界标注(Boundary)模块用于对对象元素的边界进行进一步标注,以指示对象元素的边界中的实际边界和视觉边界。在一种实现方式中,各个平面图像中的实际边界可以基于建模人员针对对象元素的边界的标记操作确定。在另一种实现方式中,各个平面图像中的实际边界可以通过边界识别模型对对象元素的边界进行识别处理得到的。
(3)深度预测(DepthPrediction)模块用于对平面图像集合中的平面图像进行深度预测处理,得到平面图像中各个像素点的深度信息。在一种实现方式中,深度预测模块可以通过深度预测模型对平面图像集合中的平面图像进行深度预测处理,得到平面图像中各个像素点的深度信息。为了提高深度预测模型的准确度,在对深度预测模型进行训练的过程中可以通过监督像素点的深度和像素点的法向量来对深度预测模型进行联合优化。
(4)边界缝合(Stitch)模块用于确定各个对象元素的三维边界线。具体来说,边界缝合模块可以基于边界标注模块传递的平面图像中对象元素的边界标注信息,确定平面图像集合中各个平面图像与对象元素的匹配关系。接着通过每个对象元素对应的平面图像(第一平面图像和第二平面图像)中的边界标注信息,以及深度预测模块传递的各个像素点的深度信息,确定各个对象元素的三维边界线。具体实施方式可参考图5中步骤S506中的实施方式,在此不再赘述。
(5)模板裁剪(Base Cut)模块用于基于边界缝合模块传递的对象元素的三维边界线,得到对象元素的网格模型。具体来说,首先根据对象元素的三维边界线确定对应的拓扑类型,并基于该拓扑类型确定相应的网格模板,再通过对象元素的三维边界线,对相应的网格(Mesh)模板进行裁剪,得到对象元素的网格模型。
(6)几何形变(Wrap)模块用于对对象元素的细节部分(如衣服的褶皱等)进行恢复,以提高待建模对象的三维模型的质量。几何形变模块基于深度预测模块传递的各个像素点的深度信息,网格平滑度和还原度对网格形变参数进行约束求解,得到对象元素的网格模型对应的网格形变参数,并基于该网格形变参数对对象元素的网格模型进行网格优化,得到网格优化后的对象元素的网格模型。
(7)后处理优化(Post-processing)模块用于对对象元素的网格模型进行组合,得到待建模对象的三维模型。若在网格模型组合过程中检测到存在相互穿插的网格模型,则基于各个对象元素对应的图层标识对模型中的网格进行调整,以使调整后的待建模对象的三维模型中不存在相互穿插的网格模型。
本申请提供的三维建模方法可以应用在游戏角色衣物快速建模等涉及平面图像建模的相关领域。以游戏角色衣物快速建模为例,通过本申请提供的三维建模方法可以对游戏开发者设计的衣物的平面图像进行快速建模,得到较高质量的衣物三维模型,提高游戏开发效率。
在实际应用中,本申请提供的三维建模方案可以以插件的形式集成在三维建模软件中,建模人员可以调用集成了本申请提供的三维建模方案的插件来对待建模对象的平面图像集合进行三维建模,得到待建模对象的三维模型。具体过程如下:三维建模软件载入平面图像集合,载入完毕后可以获得图层列表和图层状态信息。建模人员选择目标图层,即可打开目标图层编辑界面。在目标图层编辑界面包括“边界提取”按钮,建模人员可以通过触发“边界提取”按钮对目标图层中的对象元素的边界进行自动提取。提取的边界可以以预设颜色的线段标识在目标图层中的平面图像上。建模人员可以对目标图层中对象元素的边界进行标记,以指示对象元素的边界中的实际边界。三维建模软件基于载入的平面图像集合和建模人员指示的对象元素的边界中的实际边界进行建模,得到建模结果。在建模过程中,建模人员可以选择对一个或多个对象元素进行建模,若对多个对象元素进行建模,则得到的建模结果为多个对象元素的三维模型组成的整体三维模型。
图7为本申请实施例提供的一种三维建模插件的管理页面示意图。如图7所示,三维建模插件的管理页面包括路径选择入口701,图层列表展示区域702,建模记录查看入口703,建模结果查看入口704和建模结果清除控件705。其中,路径选择入口701用于选择需要导入的平面图像的路径;图层列表展示区域702用于显示图层列表,图层列表中可以包括以下至少一项:图层选择框7021(用于选择图层,或用于取消已选中的图层)、图层标识7022(用于指示图层顺序,建模人员可以通过触发图层标识进入相应图层的编辑页面)、状态显示栏7023(用于显示该图层的建模状态)、图层名7024、视图7025(用于指示图层中平面图像对应的观察视角)、缩略图7026(用于显示图层中的对象元素的缩略图);建模记录查看入口703用于查看建模记录;建模结果查看入口704用于查看已完成的建模结果;建模结果清除控件705用于清除已完成的建模结果。
本申请实施例在图2实施例的基础上,基于待建模对象在三维空间中的位置,待建模对象对应的网格模板的平滑约束条件和待建模对象的还原度约束条件对待建模对象的三维模型进行模型优化处理,可以提高三维模型的细节(如衣服的褶皱等)还原度,进一步提高待建模对象的三维模型的质量。基于对象元素关联的图层标识对待建模对象的三维模型进行优化,可以进一步提高待建模对象的三维模型的质量。此外,将本申请提供的三维建模方案以插件的形式集成在三维建模软件中,可以简化图像建模过程,提高三维模型建模的效率。
上述详细阐述了本申请实施例的方法,为了便于更好地实施本申请实施例的上述方案,相应地,下面提供了本申请实施例的装置。
请参见图8,图8为本申请实施例提供的一种三维建模装置的结构示意图,图8所示的三维建模装置可以搭载在计算机设备中,该计算机设备具体可以是终端设备或者服务器。图8所示的三维建模装置可以用于执行上述图2和图5所描述的方法实施例中的部分或全部功能。请参见图8,该三维建模装置包括:
获取单元801,用于获取待建模对象的平面图像集合,平面图像集合包括第一平面图像和第二平面图像;第一平面图像和第二平面图像是待建模对象在不同视角下的平面图像;
以及用于获取待建模对象的边界信息,边界信息包括第一几何边界标注信息和第二几何标注信息,第一几何标注信息用于指示待建模对象在第一平面图像中的实际边界,第二几何标注信息用于指示待建模对象在第二平面图像中的实际边界;
处理单元,用于分别对平面图像集合中的平面图像进行深度预测处理,得到待建模对象的深度信息;
以及用于根据待建模对象的边界信息,以及待建模对象的深度信息,对待建模对象进行建模,得到待建模对象的三维模型。
在一种实施方式中,待建模对象的深度信息包括待建模对象在平面图像集合的各个平面图像中关联的像素点的深度信息;处理单元802用于,根据待建模对象的边界信息,以及待建模对象的深度信息,对待建模对象进行建模,得到待建模对象的三维模型,具体用于:
根据各个平面图像中待建模对象关联的像素点的深度信息,还原待建模对象关联的像素点在三维空间中的位置;
对第一几何边界标注信息和第二几何标注信息所指示的待建模对象的实际边界进行缝合处理,得到待建模对象的三维边界线;
通过待建模对象的三维边界线,生成待建模对象的三维模型。
在一种实施方式中,处理单元802用于,通过待建模对象的三维边界线,生成待建模对象的三维模型,具体用于:
根据待建模对象的三维边界线的拓扑分类,确定待建模对象对应的网格模板;
基于待建模对象的三维边界线对待建模对象对应的网格模板进行裁切处理,得到待建模对象的三维模型。
在一种实施方式中,处理单元802还用于:
获取待建模对象对应的网格模板的平滑约束条件和待建模对象的还原度约束条件;
根据待建模对象在三维空间中的位置,待建模对象对应的网格模板的平滑约束条件和待建模对象的还原度约束条件,预测待建模对象对应的网格形变参数;
按照待建模对象对应的网格形变参数,对待建模对象的三维模型进行模型优化处理,得到模型优化处理后的三维模型。
在一种实施方式中,待建模对象由M个对象元素组成,平面图像集合包括每个对象元素在第一视角下的平面图像和在第二视角下的平面图像,M为大于1的整数;待建模对象的边界信息包括每个对象元素对应的几何边界标注信息;每个对象元素对应的几何边界标注信息用于指示该对象元素在第一视角下的平面图像和在第二视角下的平面图像中的实际边界;待建模对象的深度信息包括M个对象元素的深度信息;
处理单元802用于,根据待建模对象的边界信息,以及待建模对象的深度信息,对待建模对象进行建模,得到待建模对象的三维模型,具体用于:
获取M个对象元素在第一视角下的平面图像与M个对象元素在第二视角下的平面图像之间的匹配关系;
根据M个对象元素在第一视角下的平面图像与M个对象元素在第二视角下的平面图像之间的匹配关系,确定每个对象元素对应的边界信息;
根据每个对象元素的边界信息,以及该对象元素的深度信息,对该对象元素进行建模,得到M个对象元素的三维模型;
对M个对象元素的三维模型进行堆叠处理,得到待建模对象的三维模型。
在一种实施方式中,第一平面图像为待建模对象的正视图和背视图中的任一个,第二平面图像为待建模对象的正视图和背视图中除第一平面图像外的另一个;处理单元802用于,获取M个对象元素在第一视角下的平面图像与M个对象元素在第二视角下的平面图像之间的匹配关系,具体用于:
按照第二视角对M个对象元素在第一视角下的平面图像进行视图变换处理,得到M个变换视图;
通过每个变换视图中对象元素的边界与M个第二视角下的平面图像中对象元素的边界的相似度,确定M个对象元素在第一视角下的平面图像与M个对象元素在第二视角下的平面图像之间的匹配关系。
在一种实施方式中,每个对象元素关联一个图层标识,图层标识用于指示关联的对象元素的显示优先级;处理单元802还用于:
若至少两个对象元素的三维模型存在重合区域,则通过至少两个对象元素关联的图层标识,确定至少两个对象元素的三维模型的显示优先级;
在重合区域中显示至少两个对象元素中三维模型的显示优先级最高的对象元素的三维模型。
在一种实施方式中,每个对象元素关联一个图层标识,图层标识用于指示关联的对象元素的显示优先级;若检测到待建模对象的三维模型中存在至少两个对象元素的三维模型之间相互穿插,则处理单元802还用于:
按照至少两个对象元素关联的图层标识,对至少两个对象元素中至少一个对象元素的三维模型包含的网格进行网格优化处理,得到网格优化处理后待建模对象的三维模型;
其中,网格优化处理后待建模对象的三维模型中任意两个对象元素的三维模型之间相互不穿插。
在一种实施方式中,待建模对象的深度信息是采用深度预测模型分别对平面图像集合中的平面图像进行深度预测处理得到的;深度预测模型的训练过程包括:
采用深度预测模型对训练图像中目标对象关联的目标像素点进行深度预测处理,得到目标像素点对应的深度预测结果;
根据各个目标像素点的深度预测结果,预测每个目标像素点的法向量;
基于深度差异信息和法向量差异信息对深度预测模型进行联合优化,得到优化后的深度预测模型;
其中,深度差异信息是基于各个目标像素点的深度预测结果与训练图像对应的标注结果之间的差异得到的;法向量差异信息是基于每个目标像素点的预测法向量与该目标像素点的真实法向量之间的差异得到的。
在一种实施方式中,处理单元802用于,获取待建模对象的边界信息,具体用于:
对待建模对象的平面图像集合中的平面图像分别进行边界检测,得到待建模对象在各个平面图像中的边界;
采用几何边界识别模型分别待建模对象在各个平面图像中的边界进行识别处理,得到各个平面图像对应的几何标注信息。
根据本申请的一个实施例,图2和图5所示的三维建模方法所涉及的部分步骤可由图8所示的三维建模装置中的各个单元来执行。例如,图2中所示的步骤S201和步骤S202可由图8所示的获取单元801执行,步骤S203和步骤S204可由图8所示的处理单元802执行;图5中所示的步骤S501,步骤S502和步骤S504可由图8所示的获取单元801执行,步骤S503 和步骤S505-步骤S507可由图8所示的处理单元802执行。图8所示的三维建模装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以由多个单元来实现,或者多个单元的功能由一个单元实现。在本申请的其它实施例中,三维建模装置也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。
根据本申请的另一个实施例,可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机设备的通用计算装置上运行能够执行如图2和图5中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码),来构造如图8中所示的三维建模装置,以及来实现本申请实施例的三维建模方法。计算机程序可以记载于例如计算机可读记录介质上,并通过计算机可读记录介质装载于上述计算装置中,并在其中运行。
基于同一发明构思,本申请实施例中提供的三维建模装置解决问题的原理与有益效果与本申请方法实施例中三维建模方法解决问题的原理和有益效果相似,可以参见方法的实施的原理和有益效果,为简洁描述,在这里不再赘述。
请参阅图9,图9为本申请实施例提供的一种计算机设备的结构示意图,该计算机设备可以终端设备或者服务器。如图9所示,计算机设备至少包括处理器901、通信接口902和存储器903。其中,处理器901、通信接口902和存储器903可通过总线或其他方式连接。其中,处理器901(或称中央处理器(Central Processing Unit,CPU))是计算机设备的计算核心以及控制核心,其可以解析计算机设备内的各类指令以及处理计算机设备的各类数据,例如:CPU可以用于解析对象向计算机设备所发出的开关机指令,并控制计算机设备进行开关机操作;再如:CPU可以在计算机设备内部结构之间传输各类交互数据,等等。通信接口902可选的可以包括标准的有线接口、无线接口(如WI-FI、移动通信接口等),受处理器901的控制可以用于收发数据;通信接口902还可以用于计算机设备内部数据的传输以及交互。存储器903(Memory)是计算机设备中的记忆设备,用于存放程序和数据。可以理解的是,此处的存储器903既可以包括计算机设备的内置存储器,当然也可以包括计算机设备所支持的扩展存储器。存储器903提供存储空间,该存储空间存储了计算机设备的操作系统,可包括但不限于:Android系统、iOS系统、Windows Phone系统等等,本申请对此并不作限定。
本申请实施例还提供了一种计算机可读存储介质(Memory),计算机可读存储介质是计算机设备中的记忆设备,用于存放程序和数据。可以理解的是,此处的计算机可读存储介质既可以包括计算机设备中的内置存储介质,当然也可以包括计算机设备所支持的扩展存储介质。计算机可读存储介质提供存储空间,该存储空间存储了计算机设备的处理系统。并且,在该存储空间中还存放了适于被处理器901加载并执行的计算机程序。需要说明的是,此处的计算机可读存储介质可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器;可选的,还可以是至少一个位于远离前述处理器的计算机可读存储介质。
在一个实施例中,处理器901通过运行存储器903中的计算机程序,执行如下操作:
获取待建模对象的平面图像集合,平面图像集合包括第一平面图像和第二平面图像;第一平面图像和第二平面图像是待建模对象在不同视角下的平面图像;
获取待建模对象的边界信息,边界信息包括第一几何边界标注信息和第二几何标注信息,第一几何标注信息用于指示待建模对象在第一平面图像中的实际边界,第二几何标注信息用于指示待建模对象在第二平面图像中的实际边界;
分别对平面图像集合中的平面图像进行深度预测处理,得到待建模对象的深度信息;
根据待建模对象的边界信息,以及待建模对象的深度信息,对待建模对象进行建模,得到待建模对象的三维模型。
作为一种可选的实施例,待建模对象的深度信息包括待建模对象在平面图像集合的各个平面图像中关联的像素点的深度信息;处理器901根据待建模对象的边界信息,以及待建模对象的深度信息,对待建模对象进行建模,得到待建模对象的三维模型的具体实施例为:
根据各个平面图像中待建模对象关联的像素点的深度信息,还原待建模对象关联的像素点在三维空间中的位置;
对第一几何边界标注信息和第二几何标注信息所指示的待建模对象的实际边界进行缝合处理,得到待建模对象的三维边界线;
通过待建模对象的三维边界线,生成待建模对象的三维模型。
作为一种可选的实施例,处理器901通过待建模对象的三维边界线,生成待建模对象的三维模型的具体实施例为:
根据待建模对象的三维边界线的拓扑分类,确定待建模对象对应的网格模板;
基于待建模对象的三维边界线对待建模对象对应的网格模板进行裁切处理,得到待建模对象的三维模型。
作为一种可选的实施例,处理器901通过运行存储器903中的计算机程序,还执行如下操作:
获取待建模对象对应的网格模板的平滑约束条件和待建模对象的还原度约束条件;
根据待建模对象在三维空间中的位置,待建模对象对应的网格模板的平滑约束条件和待建模对象的还原度约束条件,预测待建模对象对应的网格形变参数;
按照待建模对象对应的网格形变参数,对待建模对象的三维模型进行模型优化处理,得到模型优化处理后的三维模型。
作为一种可选的实施例,待建模对象由M个对象元素组成,平面图像集合包括每个对象元素在第一视角下的平面图像和在第二视角下的平面图像,M为大于1的整数;待建模对象的边界信息包括每个对象元素对应的几何边界标注信息;每个对象元素对应的几何边界标注信息用于指示该对象元素在第一视角下的平面图像和在第二视角下的平面图像中的实际边界;待建模对象的深度信息包括M个对象元素的深度信息;
处理器901根据待建模对象的边界信息,以及待建模对象的深度信息,对待建模对象进行建模,得到待建模对象的三维模型的具体实施例为:
获取M个对象元素在第一视角下的平面图像与M个对象元素在第二视角下的平面图像之间的匹配关系;
根据M个对象元素在第一视角下的平面图像与M个对象元素在第二视角下的平面图像之间的匹配关系,确定每个对象元素对应的边界信息;
根据每个对象元素的边界信息,以及该对象元素的深度信息,对该对象元素进行建模,得到M个对象元素的三维模型;
对M个对象元素的三维模型进行堆叠处理,得到待建模对象的三维模型。
作为一种可选的实施例,第一平面图像为待建模对象的正视图和背视图中的任一个,第二平面图像为待建模对象的正视图和背视图中除第一平面图像外的另一个;处理器901获取M个对象元素在第一视角下的平面图像与M个对象元素在第二视角下的平面图像之间的匹配关系的具体实施例为:
按照第二视角对M个对象元素在第一视角下的平面图像进行视图变换处理,得到M个变换视图;
通过每个变换视图中对象元素的边界与M个第二视角下的平面图像中对象元素的边界的相似度,确定M个对象元素在第一视角下的平面图像与M个对象元素在第二视角下的平面图像之间的匹配关系。
作为一种可选的实施例,每个对象元素关联一个图层标识,图层标识用于指示关联的对象元素的显示优先级;处理器901通过运行存储器903中的计算机程序,还执行如下操作:
若至少两个对象元素的三维模型存在重合区域,则通过至少两个对象元素关联的图层标识,确定至少两个对象元素的三维模型的显示优先级;
在重合区域中显示至少两个对象元素中三维模型的显示优先级最高的对象元素的三维模型。
作为一种可选的实施例,每个对象元素关联一个图层标识,图层标识用于指示关联的对象元素的显示优先级;若检测到待建模对象的三维模型中存在至少两个对象元素的三维模型之间相互穿插,则处理器901通过运行存储器903中的计算机程序,还执行如下操作:
按照至少两个对象元素关联的图层标识,对至少两个对象元素中至少一个对象元素的三维模型包含的网格进行网格优化处理,得到网格优化处理后待建模对象的三维模型;
其中,网格优化处理后待建模对象的三维模型中任意两个对象元素的三维模型之间相互不穿插。
作为一种可选的实施例,待建模对象的深度信息是采用深度预测模型分别对平面图像集合中的平面图像进行深度预测处理得到的;深度预测模型的训练过程包括:
采用深度预测模型对训练图像中目标对象关联的目标像素点进行深度预测处理,得到目标像素点对应的深度预测结果;
根据各个目标像素点的深度预测结果,预测每个目标像素点的法向量;
基于深度差异信息和法向量差异信息对深度预测模型进行联合优化,得到优化后的深度预测模型;
其中,深度差异信息是基于各个目标像素点的深度预测结果与训练图像对应的标注结果之间的差异得到的;法向量差异信息是基于每个目标像素点的预测法向量与该目标像素点的真实法向量之间的差异得到的。
作为一种可选的实施例,处理器901获取待建模对象的边界信息的具体实施例为:
对待建模对象的平面图像集合中的平面图像分别进行边界检测,得到待建模对象在各个平面图像中的边界;
采用几何边界识别模型分别待建模对象在各个平面图像中的边界进行识别处理,得到各个平面图像对应的几何标注信息。
基于同一发明构思,本申请实施例中提供的计算机设备解决问题的原理与有益效果与本申请方法实施例中三维建模方法解决问题的原理和有益效果相似,可以参见方法的实施的原理和有益效果,为简洁描述,在这里不再赘述。
本申请实施例还提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序适于被处理器加载并执行上述方法实施例的三维建模方法。
本申请实施例还提供一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述的三维建模方法。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,可读存储介质可以包括:闪存盘、只读存储器(Read-Only Memory ,ROM)、随机存取器(RandomAccess Memory,RAM)、磁盘或光盘等。
以上所揭露的仅为本申请一种较佳实施例而已,当然不能以此来限定本申请之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或部分流程,并依本申请权利要求所作的等同变化,仍属于申请所涵盖的范围。

Claims (13)

1.一种三维建模方法,其特征在于,所述方法包括:
获取待建模对象的平面图像集合,所述平面图像集合包括第一平面图像和第二平面图像;所述第一平面图像和所述第二平面图像是所述待建模对象在不同视角下的平面图像;
获取所述待建模对象的边界信息,所述边界信息包括第一几何边界标注信息和第二几何标注信息,所述第一几何标注信息用于指示所述待建模对象在所述第一平面图像中的实际边界,所述第二几何标注信息用于指示所述待建模对象在所述第二平面图像中的实际边界;
分别对所述平面图像集合中的平面图像进行深度预测处理,得到所述待建模对象的深度信息;
根据所述待建模对象的边界信息,以及所述待建模对象的深度信息,对所述待建模对象进行建模,得到所述待建模对象的三维模型。
2.如权利要求1所述的方法,其特征在于,所述待建模对象的深度信息包括所述待建模对象在所述平面图像集合的各个平面图像中关联的像素点的深度信息;所述根据所述待建模对象的边界信息,以及所述待建模对象的深度信息,对所述待建模对象进行建模,得到所述待建模对象的三维模型,包括:
根据各个平面图像中所述待建模对象关联的像素点的深度信息,还原所述待建模对象关联的像素点在三维空间中的位置;
对所述第一几何边界标注信息和所述第二几何标注信息所指示的所述待建模对象的实际边界进行缝合处理,得到所述待建模对象的三维边界线;
通过所述待建模对象的三维边界线,生成所述待建模对象的三维模型。
3.如权利要求2所述的方法,其特征在于,所述通过所述待建模对象的三维边界线,生成所述待建模对象的三维模型,包括:
根据所述待建模对象的三维边界线的拓扑分类,确定所述待建模对象对应的网格模板;
基于所述待建模对象的三维边界线对所述待建模对象对应的网格模板进行裁切处理,得到所述待建模对象的三维模型。
4.如权利要求3所述的方法,其特征在于,所述方法还包括:
获取所述待建模对象对应的网格模板的平滑约束条件和所述待建模对象的还原度约束条件;
根据所述待建模对象在三维空间中的位置,所述待建模对象对应的网格模板的平滑约束条件和所述待建模对象的还原度约束条件,预测所述待建模对象对应的网格形变参数;
按照所述待建模对象对应的网格形变参数,对所述待建模对象的三维模型进行模型优化处理,得到模型优化处理后的三维模型。
5.如权利要求1所述的方法,其特征在于,所述待建模对象由M个对象元素组成,所述平面图像集合包括每个对象元素在第一视角下的平面图像和在第二视角下的平面图像,M为大于1的整数;所述待建模对象的边界信息包括每个对象元素对应的几何边界标注信息;每个对象元素对应的几何边界标注信息用于指示该对象元素在第一视角下的平面图像和在第二视角下的平面图像中的实际边界;所述待建模对象的深度信息包括所述M个对象元素的深度信息;
所述根据所述待建模对象的边界信息,以及所述待建模对象的深度信息,对所述待建模对象进行建模,得到所述待建模对象的三维模型,包括:
获取所述M个对象元素在第一视角下的平面图像与所述M个对象元素在第二视角下的平面图像之间的匹配关系;
根据所述M个对象元素在第一视角下的平面图像与所述M个对象元素在第二视角下的平面图像之间的匹配关系,确定每个对象元素对应的边界信息;
根据每个对象元素的边界信息,以及该对象元素的深度信息,对该对象元素进行建模,得到所述M个对象元素的三维模型;
对所述M个对象元素的三维模型进行堆叠处理,得到所述待建模对象的三维模型。
6.如权利要求5所述的方法,其特征在于,所述第一平面图像为所述待建模对象的正视图和背视图中的任一个,所述第二平面图像为所述待建模对象的正视图和背视图中除所述第一平面图像外的另一个;所述获取所述M个对象元素在第一视角下的平面图像与所述M个对象元素在第二视角下的平面图像之间的匹配关系,包括:
按照所述第二视角对所述M个对象元素在第一视角下的平面图像进行视图变换处理,得到M个变换视图;
通过每个变换视图中对象元素的边界与M个第二视角下的平面图像中对象元素的边界的相似度,确定所述M个对象元素在第一视角下的平面图像与所述M个对象元素在第二视角下的平面图像之间的匹配关系。
7.如权利要求5所述的方法,其特征在于,每个对象元素关联一个图层标识,所述图层标识用于指示关联的对象元素的显示优先级;所述方法还包括:
若至少两个对象元素的三维模型存在重合区域,则通过所述至少两个对象元素关联的图层标识,确定所述至少两个对象元素的三维模型的显示优先级;
在所述重合区域中显示所述至少两个对象元素中三维模型的显示优先级最高的对象元素的三维模型。
8.如权利要求5所述的方法,其特征在于,每个对象元素关联一个图层标识,所述图层标识用于指示关联的对象元素的显示优先级;若检测到所述待建模对象的三维模型中存在至少两个对象元素的三维模型之间相互穿插,则所述方法还包括:
按照所述至少两个对象元素关联的图层标识,对所述至少两个对象元素中至少一个对象元素的三维模型包含的网格进行网格优化处理,得到网格优化处理后待建模对象的三维模型;
其中,所述网格优化处理后待建模对象的三维模型中任意两个对象元素的三维模型之间相互不穿插。
9.如权利要求1所述的方法,其特征在于,所述待建模对象的深度信息是采用深度预测模型分别对所述平面图像集合中的平面图像进行深度预测处理得到的;所述深度预测模型的训练过程包括:
采用深度预测模型对训练图像中目标对象关联的目标像素点进行深度预测处理,得到所述目标像素点对应的深度预测结果;
根据各个目标像素点的深度预测结果,预测每个目标像素点的法向量;
基于深度差异信息和法向量差异信息对所述深度预测模型进行联合优化,得到优化后的深度预测模型;
其中,所述深度差异信息是基于各个目标像素点的深度预测结果与所述训练图像对应的标注结果之间的差异得到的;所述法向量差异信息是基于每个目标像素点的预测法向量与该目标像素点的真实法向量之间的差异得到的。
10.如权利要求1所述的方法,其特征在于,所述获取所述待建模对象的边界信息,包括:
对所述待建模对象的平面图像集合中的平面图像分别进行边界检测,得到所述待建模对象在各个平面图像中的边界;
采用几何边界识别模型分别所述待建模对象在各个平面图像中的边界进行识别处理,得到各个平面图像对应的几何标注信息。
11.一种三维建模装置,其特征在于,所述三维建模装置包括:
获取单元,用于获取待建模对象的平面图像集合,所述平面图像集合包括第一平面图像和第二平面图像;所述第一平面图像和所述第二平面图像是所述待建模对象在不同视角下的平面图像;
以及用于获取所述待建模对象的边界信息,所述边界信息包括第一几何边界标注信息和第二几何标注信息,所述第一几何标注信息用于指示所述待建模对象在所述第一平面图像中的实际边界,所述第二几何标注信息用于指示所述待建模对象在所述第二平面图像中的实际边界;
处理单元,用于分别对所述平面图像集合中的平面图像进行深度预测处理,得到所述待建模对象的深度信息;
以及用于根据所述待建模对象的边界信息,以及所述待建模对象的深度信息,对所述待建模对象进行建模,得到所述待建模对象的三维模型。
12.一种计算机设备,其特征在于,包括:存储器和处理器;
存储器,所述存储器中存储有计算机程序;
处理器,用于加载所述计算机程序实现如权利要求1-10任一项所述的三维建模方法。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序适于被处理器加载并执行如权利要求1-10任一项所述的三维建模方法。
CN202310161488.5A 2023-02-24 2023-02-24 一种三维建模方法、装置、设备及存储介质 Active CN115861572B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310161488.5A CN115861572B (zh) 2023-02-24 2023-02-24 一种三维建模方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310161488.5A CN115861572B (zh) 2023-02-24 2023-02-24 一种三维建模方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN115861572A true CN115861572A (zh) 2023-03-28
CN115861572B CN115861572B (zh) 2023-05-23

Family

ID=85658863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310161488.5A Active CN115861572B (zh) 2023-02-24 2023-02-24 一种三维建模方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115861572B (zh)

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130124148A1 (en) * 2009-08-21 2013-05-16 Hailin Jin System and Method for Generating Editable Constraints for Image-based Models
US20140072170A1 (en) * 2012-09-12 2014-03-13 Objectvideo, Inc. 3d human pose and shape modeling
US20140229143A1 (en) * 2013-02-11 2014-08-14 Ramot At Tel-Aviv University Ltd. Three-dimensional modeling from single photographs
CN104134234A (zh) * 2014-07-16 2014-11-05 中国科学技术大学 一种全自动的基于单幅图像的三维场景构建方法
US20160071318A1 (en) * 2014-09-10 2016-03-10 Vangogh Imaging, Inc. Real-Time Dynamic Three-Dimensional Adaptive Object Recognition and Model Reconstruction
GB201706499D0 (en) * 2017-04-25 2017-06-07 Nokia Technologies Oy Three-dimensional scene reconstruction
US20180218535A1 (en) * 2017-02-02 2018-08-02 Adobe Systems Incorporated Generating a three-dimensional model from a scanned object
US20190026956A1 (en) * 2012-02-24 2019-01-24 Matterport, Inc. Employing three-dimensional (3d) data predicted from two-dimensional (2d) images using neural networks for 3d modeling applications and other applications
WO2019043734A1 (en) * 2017-09-02 2019-03-07 Fr Tech Innovations Private Limited SYSTEM AND METHOD FOR GENERATING A VIRTUAL 360 DEGREE VIEW OF A CLOTHING
CN110288642A (zh) * 2019-05-25 2019-09-27 西南电子技术研究所(中国电子科技集团公司第十研究所) 基于相机阵列的三维物体快速重建方法
CN110930503A (zh) * 2019-12-05 2020-03-27 武汉纺织大学 一种服装三维模型建立方法、系统、存储介质及电子设备
WO2020069049A1 (en) * 2018-09-25 2020-04-02 Matterport, Inc. Employing three-dimensional data predicted from two-dimensional images using neural networks for 3d modeling applications
CN111970503A (zh) * 2020-08-24 2020-11-20 腾讯科技(深圳)有限公司 二维图像的三维化方法、装置、设备及计算机可读存储介质
CN112818733A (zh) * 2020-08-24 2021-05-18 腾讯科技(深圳)有限公司 信息处理方法、装置、存储介质及终端
CN114494381A (zh) * 2022-01-21 2022-05-13 北京三快在线科技有限公司 模型训练及深度估计方法、装置、存储介质及电子设备
US20220198750A1 (en) * 2019-04-12 2022-06-23 Beijing Chengshi Wanglin Information Technology Co., Ltd. Three-dimensional object modeling method, image processing method, image processing device
CN114758044A (zh) * 2020-12-28 2022-07-15 北京陌陌信息技术有限公司 一种三维服装模型制作质量控制方法、设备和存储介质
CN115115805A (zh) * 2022-07-21 2022-09-27 深圳市腾讯计算机系统有限公司 三维重建模型的训练方法、装置、设备及存储介质
CN115147527A (zh) * 2021-03-31 2022-10-04 阿里巴巴新加坡控股有限公司 三维网格生成模型的构建方法、三维网格生成方法及装置
CN115222917A (zh) * 2022-07-19 2022-10-21 腾讯科技(深圳)有限公司 三维重建模型的训练方法、装置、设备及存储介质
WO2022227875A1 (zh) * 2021-04-29 2022-11-03 中兴通讯股份有限公司 三维成像方法、装置、设备及存储介质
CN115601511A (zh) * 2022-12-14 2023-01-13 深圳思谋信息科技有限公司(Cn) 三维重建方法、装置、计算机设备及计算机可读存储介质

Patent Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130124148A1 (en) * 2009-08-21 2013-05-16 Hailin Jin System and Method for Generating Editable Constraints for Image-based Models
US20190026956A1 (en) * 2012-02-24 2019-01-24 Matterport, Inc. Employing three-dimensional (3d) data predicted from two-dimensional (2d) images using neural networks for 3d modeling applications and other applications
US20140072170A1 (en) * 2012-09-12 2014-03-13 Objectvideo, Inc. 3d human pose and shape modeling
US20140229143A1 (en) * 2013-02-11 2014-08-14 Ramot At Tel-Aviv University Ltd. Three-dimensional modeling from single photographs
CN104134234A (zh) * 2014-07-16 2014-11-05 中国科学技术大学 一种全自动的基于单幅图像的三维场景构建方法
US20160071318A1 (en) * 2014-09-10 2016-03-10 Vangogh Imaging, Inc. Real-Time Dynamic Three-Dimensional Adaptive Object Recognition and Model Reconstruction
US20180218535A1 (en) * 2017-02-02 2018-08-02 Adobe Systems Incorporated Generating a three-dimensional model from a scanned object
GB201706499D0 (en) * 2017-04-25 2017-06-07 Nokia Technologies Oy Three-dimensional scene reconstruction
WO2019043734A1 (en) * 2017-09-02 2019-03-07 Fr Tech Innovations Private Limited SYSTEM AND METHOD FOR GENERATING A VIRTUAL 360 DEGREE VIEW OF A CLOTHING
CN112771539A (zh) * 2018-09-25 2021-05-07 马特波特公司 采用使用神经网络从二维图像预测的三维数据以用于3d建模应用
WO2020069049A1 (en) * 2018-09-25 2020-04-02 Matterport, Inc. Employing three-dimensional data predicted from two-dimensional images using neural networks for 3d modeling applications
US20220198750A1 (en) * 2019-04-12 2022-06-23 Beijing Chengshi Wanglin Information Technology Co., Ltd. Three-dimensional object modeling method, image processing method, image processing device
CN110288642A (zh) * 2019-05-25 2019-09-27 西南电子技术研究所(中国电子科技集团公司第十研究所) 基于相机阵列的三维物体快速重建方法
CN110930503A (zh) * 2019-12-05 2020-03-27 武汉纺织大学 一种服装三维模型建立方法、系统、存储介质及电子设备
CN112818733A (zh) * 2020-08-24 2021-05-18 腾讯科技(深圳)有限公司 信息处理方法、装置、存储介质及终端
CN111970503A (zh) * 2020-08-24 2020-11-20 腾讯科技(深圳)有限公司 二维图像的三维化方法、装置、设备及计算机可读存储介质
CN114758044A (zh) * 2020-12-28 2022-07-15 北京陌陌信息技术有限公司 一种三维服装模型制作质量控制方法、设备和存储介质
CN115147527A (zh) * 2021-03-31 2022-10-04 阿里巴巴新加坡控股有限公司 三维网格生成模型的构建方法、三维网格生成方法及装置
WO2022227875A1 (zh) * 2021-04-29 2022-11-03 中兴通讯股份有限公司 三维成像方法、装置、设备及存储介质
CN114494381A (zh) * 2022-01-21 2022-05-13 北京三快在线科技有限公司 模型训练及深度估计方法、装置、存储介质及电子设备
CN115222917A (zh) * 2022-07-19 2022-10-21 腾讯科技(深圳)有限公司 三维重建模型的训练方法、装置、设备及存储介质
CN115115805A (zh) * 2022-07-21 2022-09-27 深圳市腾讯计算机系统有限公司 三维重建模型的训练方法、装置、设备及存储介质
CN115601511A (zh) * 2022-12-14 2023-01-13 深圳思谋信息科技有限公司(Cn) 三维重建方法、装置、计算机设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN115861572B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
CN111754541B (zh) 目标跟踪方法、装置、设备及可读存储介质
CN111553267B (zh) 图像处理方法、图像处理模型训练方法及设备
CN111626218A (zh) 基于人工智能的图像生成方法、装置、设备及存储介质
CN111784845B (zh) 基于人工智能的虚拟试穿方法、装置、服务器及存储介质
CN111754396B (zh) 脸部图像处理方法、装置、计算机设备和存储介质
CN112232293A (zh) 图像处理模型训练、图像处理方法及相关设备
CN110555481A (zh) 一种人像风格识别方法、装置和计算机可读存储介质
CN109299658B (zh) 脸部检测方法、脸部图像渲染方法、装置及存储介质
TW201443807A (zh) 視覺化服飾檢索
WO2022135108A1 (zh) 图像信号处理方法、装置、电子设备及计算机可读存储介质
CN111914775B (zh) 活体检测方法、装置、电子设备及存储介质
CN113870401B (zh) 表情生成方法、装置、设备、介质和计算机程序产品
CN111652974A (zh) 三维人脸模型的构建方法、装置、设备及存储介质
CN113570684A (zh) 图像处理方法、装置、计算机设备和存储介质
CN114758362A (zh) 基于语义感知注意力和视觉屏蔽的换衣行人重识别方法
CN112419295A (zh) 医学图像处理方法、装置、计算机设备和存储介质
CN109670517A (zh) 目标检测方法、装置、电子设备和目标检测模型
CN111507285A (zh) 人脸属性识别方法、装置、计算机设备和存储介质
CN111950321A (zh) 步态识别方法、装置、计算机设备及存储介质
CN113593001A (zh) 目标对象三维重建方法、装置、计算机设备和存储介质
CN114937293A (zh) 基于gis的农业服务管理方法及系统
CN114764870A (zh) 对象定位模型处理、对象定位方法、装置及计算机设备
CN112381118B (zh) 一种大学舞蹈考试测评方法及装置
CN113570615A (zh) 一种基于深度学习的图像处理方法、电子设备及存储介质
CN112712051A (zh) 对象跟踪方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40083141

Country of ref document: HK