CN115294268A - 一种物体的三维模型重建方法及电子设备 - Google Patents

一种物体的三维模型重建方法及电子设备 Download PDF

Info

Publication number
CN115294268A
CN115294268A CN202210834155.XA CN202210834155A CN115294268A CN 115294268 A CN115294268 A CN 115294268A CN 202210834155 A CN202210834155 A CN 202210834155A CN 115294268 A CN115294268 A CN 115294268A
Authority
CN
China
Prior art keywords
target
dimensional model
value
image
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210834155.XA
Other languages
English (en)
Inventor
于芝涛
徐乐朗
刘烨斌
吴连朋
任子健
张富涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Hisense Visual Technology Co Ltd
Juhaokan Technology Co Ltd
Original Assignee
Tsinghua University
Hisense Visual Technology Co Ltd
Juhaokan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Hisense Visual Technology Co Ltd, Juhaokan Technology Co Ltd filed Critical Tsinghua University
Priority to CN202210834155.XA priority Critical patent/CN115294268A/zh
Publication of CN115294268A publication Critical patent/CN115294268A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请提供一种物体的三维模型重建方法及电子设备,用于提高重建的三维模型的准确率。包括:响应于用户触发的物体三维模型重建指令,获取与物体对应的多视角图像;对多视角图像分别进行分割,得到分割后的各图像;基于分割后的各图像和各图像对应的掩膜图像对所述物体的目标参数以及所述物体的类别对应的深度隐式模板DIT参数进行调整,得到调整后的目标参数和调整后的DIT参数;通过调整后的DIT参数对与所述物体的类别对应的初始三维模型的形状进行调整,得到候选三维模型,其中,所述初始三维模型为基于DIT参数以及所述物体对应的多视角图像得到的;利用调整后的目标参数对候选三维模型的颜色进行调整,得到所述物体的目标三维模型。

Description

一种物体的三维模型重建方法及电子设备
技术领域
本申请涉及物体三维重建技术领域,尤其涉及一种物体的三维模型重建方法及电子设备。
背景技术
目前,在多视点三维重建的技术领域中,三维重建方法通常分为两大类:其中,第一类是基于神经辐射场重建三维模型,其基本思想是通过构建神经网络拟合辐射场进而表示物体或场景,然后通过体渲染的方式来渲染RGB图片。第二类方法是基于隐式表面重建三维模型,其基本思想是通过构建神经网络拟合有符号距离场进而表示物体的表面,然后通过表面渲染的方式来渲染RGB图片。
但是,基于神经辐射场的重建算法,往往因为数据维度高,复杂度高,没有几何形状,因而需要大量的数据才可以表现良好,所以其在输入一般的稀疏视点图像的情况下,往往无法产生准确的三维模型。另外,基于隐式表面重建算法对于非常稀疏的视点图像(即相邻视角之间角度差大于60度的图像)容易产生错误的几何形状,难以完成好重建任务。所以,现有技术中的对稀疏视点图像进行重建的三维模型的准确率较低。
发明内容
本申请提供了一种物体的三维模型重建方法及电子设备,用于提高重建的三维模型的准确率。
第一方面,本申请实施例提供一种物体的三维模型重建方法,所述方法包括:
响应于用户触发的物体三维模型重建指令,获取与所述物体对应的多视角图像,其中,所述多视角图像为所述物体在不同角度下所拍摄的各图像;
对所述物体的多视角图像分别进行分割,得到分割后的各图像;并,
基于所述分割后的各图像和所述各图像对应的掩膜图像对所述物体的目标参数以及所述物体的类别对应的深度隐式模板DIT参数进行调整,得到调整后的目标参数和调整后的DIT参数;
通过所述调整后的DIT参数对与所述物体的类别对应的初始三维模型的形状进行调整,得到候选三维模型,其中,所述初始三维模型为基于所述DIT参数以及所述物体对应的多视角图像得到的;
利用所述调整后的目标参数对所述候选三维模型的颜色进行调整,得到所述物体的目标三维模型。
本申请第二方面提供一种电子设备,包括处理器和存储器,所述处理器和所述存储器通过总线连接;
所述存储器中存储有计算机程序,所述处理器被配置为基于所述计算机程序执行以下操作:
响应于用户触发的物体三维模型重建指令,获取与所述物体对应的多视角图像,其中,所述多视角图像为所述物体在不同角度下所拍摄的各图像;
对所述物体的多视角图像分别进行分割,得到分割后的各图像;并,
基于所述分割后的各图像和所述各图像对应的掩膜图像对所述物体的目标参数以及所述物体的类别对应的深度隐式模板DIT参数进行调整,得到调整后的目标参数和调整后的DIT参数;
通过所述调整后的DIT参数对与所述物体的类别对应的初始三维模型的形状进行调整,得到候选三维模型,其中,所述初始三维模型为基于所述DIT参数以及所述物体对应的多视角图像得到的;
利用所述调整后的目标参数对所述候选三维模型的颜色进行调整,得到所述物体的目标三维模型。
根据本发明实施例提供的第三方面,提供一种计算机存储介质,所述计算机存储介质存储有计算机程序,所述计算机程序用于执行如第一方面所述的方法。
本申请的上述实施例中,通过多视点图像来对物体的目标参数和与物体的类别对应的深度隐式模板DIT参数进行调整;然后通过所述调整后的DIT参数对与所述物体的类别对应的初始三维模型的形状进行调整,得到候选三维模型,最后利用调整后的目标参数对所述候选三维模型的颜色进行调整,得到所述物体的目标三维模型。由此,本实施例中通过物体的目标参数和深度隐式模板DIT参数来对与物体的类别对应的初始三维模型的形状和颜色进行调整,得到目标三维模型,所以本实施例中在对物体的三维重建的过程中结合物体的语义信息对与物体类别对应的初始三维模型进行调整,由此,使得确定出目标三维模型更加准确。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1示例性示出了本申请实施例提供的应用场景示意图;
图2示例性示出了本申请实施例提供的物体的三维模型重建方法的流程图之一;
图3示例性示出了本申请实施例提供的图像分割的示意图;
图4示例性示出了本申请实施例提供的确定图像的掩膜图像的流程示意图;
图5示例性示出了本申请实施例提供的对物体的目标参数和DIT参数的调整方法流程示意图;
图6示例性示出了本申请实施例提供的确定第一损失值的流程示意图;
图7示例性示出了本申请实施例提供的确定物体的目标三维模型的流程示意图;
图8示例性示出了本申请实施例提供的确定像素点的目标颜色值的流程示意图;
图9示例性示出了本申请实施例提供的确定候选三维模型与光线交点的位置坐标的流程示意图;
图10示例性示出了本申请实施例提供的确定采样点的目标位置坐标的流程示意图;
图11示例性示出了本申请实施例提供的对物体形状进行修改的示意图;
图12示例性示出了本申请实施例提供的物体的三维模型重建方法的流程图之二;
图13示例性示出了本申请实施例提供的物体的三维模型重建装置的结构示意图;
图14示例性示出了本申请实施例提供的标定设备的硬件结构图。
具体实施方式
为使本申请的目的、实施方式和优点更加清楚,下面将结合本申请示例性实施例中的附图,对本申请示例性实施方式进行清楚、完整地描述,显然,所描述的示例性实施例仅是本申请一部分实施例,而不是全部的实施例。
基于本申请描述的示例性实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请所附权利要求保护的范围。此外,虽然本申请中公开内容按照示范性一个或几个实例来介绍,但应理解,可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。
需要说明的是,本申请中对于术语的简要说明,仅是为了方便理解接下来描述的实施方式,而不是意图限定本申请的实施方式。除非另有说明,这些术语应当按照其普通和通常的含义理解。
本申请的说明书和权利要求书及上述附图中的术语″第一″、″第二″等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语″包括″和″具有″以及他们的任何变形,意图在于覆盖但不排他的包含,例如,包含了一系列组件的产品或设备不必限于清楚地列出的那些组件,而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
本申请中使用的术语″模块″,是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合,能够执行与该元件相关的功能。
下面对本申请实施例的思想进行概述。
目前的三维模型重建的相关技术中在输入一般的稀疏视点图像的情况下,往往无法产生准确的结果,所以导致对于稀疏视点图像重建的三维模型的准确率较低。
基于现有技术中存在的问题,本申请实施例提供了一种物体的三维模型重建方法,通过多视点图像来对物体的目标参数和与物体的类别对应的深度隐式模板DIT参数进行调整;然后通过所述调整后的DIT参数对与所述物体的类别对应的初始三维模型的形状进行调整,得到候选三维模型,最后利用调整后的目标参数对所述候选三维模型的颜色进行调整,得到所述物体的目标三维模型。由此,本发明通过物体的目标参数和深度隐式模板DIT参数来对与物体的类别对应的初始三维模型的形状和颜色进行调整,得到目标三维模型,所以本发明中在对物体的三维重建的过程中结合物体的语义信息对与物体类别对应的初始三维模型进行调整,由此,使得确定出目标三维模型更加准确。下面结合附图详细描述本申请的实施例。
图1示例性示出了本申请实施例提供的应用场景示意图;如图1所示,该应用场景中是以电子设备为服务器为例进行说明的。该应用场景中包括终端设备110、相机120和服务器130。服务器130可以通过单个服务器实现,也可以通过多个服务器实现。服务器130可以通过实体服务器实现,也可以通过虚拟服务器实现。
在一种可能的应用场景中,用户通过终端设备110触发物体三维模型重建指令,服务器130响应于用户触发的物体三维模型重建指令,获取相机120所拍摄的物体对应的多视角图像,并对所述物体的多视角图像分别进行分割,得到分割后的各图像;然后服务器130基于所述分割后的各图像和所述各图像对应的掩膜图像对所述物体的目标参数以及所述物体的类别对应的深度隐式模板DIT参数进行调整,得到调整后的目标参数和调整后的DIT参数;并通过所述调整后的DIT参数对与所述物体的类别对应的初始三维模型的形状进行调整,得到候选三维模型,其中,所述初始三维模型为基于所述DIT参数以及所述物体对应的多视角图像得到的;最后服务器130利用所述调整后的目标参数对所述候选三维模型的颜色进行调整,得到所述物体的目标三维模型,并将所述物体的目标三维模型通过终端设备110进行显示。
其中,图1中的服务器130与终端设备110之间可通过通信网络进行信息交互,其中,通信网络采用的通信方式可分为无线通信方式或有线通信方式。
示例性的,服务器130可通过蜂窝移动通信技术接入网络,与终端设备110进行通信,其中,所述蜂窝移动通信技术,比如,包括第五代移动通信(5th Generation MobileNetworks,5G)技术。
可选的,服务器130可通过短距离无线通信方式接入网络,与终端设备110进行通信,其中,所述短距离无线通信方式,比如,包括无线保真(Wireless Fidelity,Wi-Fi)技术。
并且,本申请中的描述中仅就单个终端设备110、四个相机120以及单个服务器130加以详述,但是本领域技术人员应当理解的是,示出的终端设备110、相机120以及服务器130旨在表示本申请的技术方案涉及的终端设备110、相机120和服务器130的操作。而非暗示对终端设备110、相机120和服务器130的数量、类型或是位置等具有限制。应当注意,如果向图示环境中添加附加模块或从其中去除个别模块,不会改变本申请的示例实施例的底层概念。
示例性的,终端设备110包括但不限于:可视化大屏、平板电脑、笔记本电脑、掌上电脑、移动互联网设备(Mobile Internet Device,MID)、可穿戴设备虚拟现实(VirtualReality,VR)设备、增强现实(Augmented Reality,AR)设备、工业控制中的无线终端设备、无人驾驶中的无线终端设备、智能电网中的无线终端设备、运输安全中的无线终端设备、智慧城市中的无线终端设备,或智慧家庭中的无线终端设备等设备;终端设备上可以安装有相关的客户端,该客户端可以是软件(例如,浏览器、短视频软件等),也可以是网页、小程序等。
需要说明的是,本申请提出的物体的三维模型重建方法不仅适用于图1所示的应用场景,还适用于任何有物体的三维模型重建的装置。
下面结合上述描述的应用场景,参考附图来描述本申请示例性实施方式物体的三维模型重建方法,需要注意的是,上述应用场景仅是为了便于理解本申请的方法和原理而示出,本申请的实施方式在此方面不受任何限制。
如图2所示,为物体的三维模型重建方法的流程示意图,可包括以下步骤:
步骤201:响应于用户触发的物体三维模型重建指令,获取与所述物体对应的多视角图像,其中,所述多视角图像为所述物体在不同角度下所拍摄的各图像;
需要说明的是:本实施中的物体的多视角图像是通过多个不同拍摄角度相机对物体进行拍摄得到,即物体放置在中央,相机分布环绕该物体一周对该物体进行拍摄。即多视角图像的数量和相机的数量是相同的。其中,相机的数量可根据实际情况来进行设置,本实施例在此并不对相机的数量进行限定。
步骤202:对所述物体的多视角图像分别进行分割,得到分割后的各图像;
例如,如图3所示,图3中左边的图像为物体的图像,右边的图像为分割后的图像。
其中,本实施例中使用的图像分割算法来实现的对物体的多视角图像进行分割的,且该图像分割算法可根据实际情况来进行设置,本实施例在此并不对图像分割算法的具体方式进行限定。
步骤203:基于所述分割后的各图像和所述各图像对应的掩膜图像对所述物体的目标参数以及所述物体的类别对应的深度隐式模板DIT参数进行调整,得到调整后的目标参数和调整后的DIT参数;
其中,本实施中的DIT参数使用高维向量来进行表示的,本实施例中使用的256维向量来表示DIT参数的。
下面,首先对确定各图像对应的掩膜图像的方式进行详细介绍,如图4所示,为确定图像的掩膜图像的流程示意图,包括以下步骤:
步骤401:针对任意一个图像中的任意一个像素点,从与所述图像对应的相机视角发射一条指向所述像素点的光线,并在所述光线上等距采样指定数量的采样点;
需要说明的是:本实施例中的指定数量可根据实际情况来进行设置,本实施例在此并不需要进行限定。
步骤402:针对任意一个采样点,基于所述采样点的位置坐标和所述目标参数,确定所述采样点的符号距离场sdf值,其中,所述sdf值用于表征所述采样点与所述物体的初始三维模型表面之间的距离;
其中,所述采样点的位置是基于与所述采样点对应相机的位置坐标、与所述采样点对应的光线方向以及所述采样点的标识来确定出的。其中,可通过公式(1)得到所述采样点的位置坐标:
xn=o+r×nt......(1);
其中,xn为所述采样点的位置坐标,o为所述采样点对应的相机的位置坐标,r为所述采样点对应的光线的方向,n为所述采样点的标识,t为采样间隔。
在一个实施例中,通过以下方式确定所述采样点的sdf值:
利用所述目标参数对所述采样点的位置坐标进行位置变换,得到所述采样点的目标位置坐标,其中,所述目标参数包括旋转参数、平移参数以及比例参数中的至少一种;将所述采样点的目标位置坐标输入至sdf函数中,得到所述采样点的sdf值。其中,公式(2)为基于sdf函数的表示方法:
sdf(xn)=T(W(C,S·R-1(xn-T)))......(2);
其中,sdf(xn)为采样点xn的sdf值,C为所述深度隐式模板DIT参数,S为所述比例参数,R为所述旋转参数,T为所述平移参数。T为sdf函数中的T函数,W为sdf函数中的W函数。
步骤403:将各采样点的sdf值中数值最小的sdf值确定为与所述像素点相对应的掩膜像素值;
步骤404:通过所述图像中的各像素点的掩膜像素值,得到与所述图像对应的掩膜图像。
在介绍完确定图像对应的掩膜图像的具体方式之后,下面对物体的目标参数和DIT参数的调整方式进行详细的介绍,如图5所示,包括以下步骤:
步骤501:基于所述分割后的各图像以及所述各图像对应的掩膜图像,得到第一损失值;在一个实施例中,如图6所示,为确定第一损失值的流程示意图,包括以下步骤:
步骤601:针对任意一个分割后的图像,将与所述分割后的图像对应的掩膜图像中的第一目标像素点的像素值相加,得到第一总像素值,其中,所述第一目标像素点为所述掩膜图像中像素值小于指定阈值的各像素点;
步骤602:将与所述分割后的图像对应的掩膜图像中的第二目标像素点的像素值相加,得到第二总像素值,其中,所述第二目标像素点为所述掩膜图像中像素值大于指定阈值的各像素点;
其中,分割图像中像素值等于1的各像素点与掩膜图像中像素值小于0的各像素相对应。而分割图像中像素值等于0的各像素点与掩膜图像中像素值大于0的各像素点相对应。本实施例中的指定阈值为0,但是指定阈值可根据实际情况来进行设置,本实施例在此并不进行限定。
步骤603:将所述第一总像素值和所述第二总像素值相加,得到所述分割后的图像对应的目标总像素值;
步骤604:将各分割后的图像对应的目标总像素值相加,得到所述第一损失值。其中,可通过公式(3)得到所述第一损失值:
Figure BDA0003746806020000081
其中,L1为所述第一损失值,Mp为分割后的图像中的像素点p的像素值,M′p为掩膜图像中像素点p的像素值。
步骤502:判断所述第一损失值是否满足第一预设条件,若是,则执行步骤504,若否,则执行步骤503;
其中,所述第一预设条件可包括以下几种预设条件中的一种:
条件1:第一损失值小于预设损失值。
条件2:第一损失值小于预设损失值,且调整次数大于预设次数。
条件3:第一损失值与预设损失值的误差小于预设值。
需要说明的是:前文所述第一预设条件仅用于举例说明,并不对第一预设条件的具体内容进行限定,且该第一预设条件可根据实际情况来进行限定。
步骤503按照预设规则分别对所述物体的目标参数以及所述物体类别对应的DIT参数进行调整,得到中间目标参数和中间DIT参数后,利用所述中间目标参数和所述中间DIT参数分别对各图像再次进行渲染,得到所述各图像更新后的掩膜图像,并将所述各图像更新后的掩膜图像确定为所述各图像对应的掩膜图像后,返回执行步骤501;
其中,预设规则可为每次调整时将目标参数以及DIT参数分别加上指定数值等。具体的预设规则可根据实际情况来进行设置,本实施例在此并不对预设规则的具体内容进行限定。
步骤504:将满足第一预设条件的第一损失值对应的中间目标参数确定为所述调整后的目标参数以及将满足所述预设条件的第一损失值对应的中间DIT参数确定为所述调整后的DIT参数。
由此,保证了确定出的调整后的目标参数以及调整后的DIT参数的准确率,以便于进一步提高三维模型重建的准确率。
步骤204通过所述调整后的DIT参数对与所述物体的类别对应的初始三维模型的形状进行调整,得到候选三维模型,其中,所述初始三维模型为基于所述DIT参数以及所述物体对应的多视角图像得到的;
需要说明的是:DIT参数为sdf函数中的参数,所以利用调整后的DIT参数对所述sdf函数中的原始DIT参数进行替换并利用所述视角图像各采样点的位置坐标输入至替换DIT参数后的sdf函数中,得到各采样点的sdf值,由此得到所述候选三维模型。
其中,本发明中是使用各采样点的sdf值来表示物体的形状的。
步骤205:利用所述调整后的目标参数对所述候选三维模型的颜色进行调整,得到所述物体的目标三维模型。
在一个实施例中,如图7所示,为确定物体的目标三维模型的流程示意图,包括以下步骤:
步骤701:针对所述多视角图像中的任意一个图像中的任一像素点,利用预设函数、所述调整后的目标参数以及所述调整后的DIT参数,确定所述像素点的目标颜色值;
其中,所述预设函数包括第一预设函数和第二预设函数。
下面,对步骤701中确定像素点的目标颜色值的具体方式进行介绍,如图8所示,为确定像素点的目标颜色值的流程示意图,包括以下步骤:
步骤801:针对所述多视角图像中的任意一个图像中的任意一个像素点,从与所述图像对应的相机视角发射一条指向所述像素点的光线;
步骤802:利用所述调整后的目标参数对所述光线中的各采样点的位置坐标进行位置变换,得到所述光线中各采样点变换后的位置坐标;
其中,可通过公式(4)得到所述光线中各采样点变换后的位置坐标:
xn′=S·R-1(xn-T)......(4);
其中,xn′为第n个采样点变换后的位置坐标,xn为第n个采样点变换前的位置坐标,S为调整后的目标参数中的比例参数、R为调整后的目标参数中的旋转参数,T为调整后的目标参数中的平移参数。
需要说明的是,确定采样点的位置坐标的方式在前文已经进行详细说明,本实施例在此不再进行赘述。
步骤803:利用所述光线中各采样点变换后的位置坐标、所述第一预设函数以及sdf函数,得到所述候选三维模型与所述光线的交点的位置坐标;
在一个实施例中,如图9所示,为确定候选三维模型与光线交点的位置坐标的流程示意图,包括以下步骤:
步骤901:按照指定顺序遍历所述光线中的各采样点,针对任意一个遍历到的采样点,将所述采样点的位置坐标分别输入至第一预设函数得到所述采样点的优化sdf值,以及将所述采样点输入至sdf函数中,得到所述采样点的sdf值;
其中,第一预设函数中得到的优化sdf值比sdf函数中得到的sdf值更加精确。
步骤902:将所述优化sdf值和所述sdf值相加,得到目标sdf值;
步骤903:若所述采样点的目标sdf值大于指定数值,则基于所述目标sdf值以及所述采样点的位置坐标,得到所述采样点的目标位置坐标,并将所述采样点确定为所述候选三维模型与所述光线的交点,并将所述目标位置坐标确定为所述交点的位置坐标;
在一个实施例中,如图10所示,为确定采样点的目标位置坐标的流程示意图,包括以下步骤:
步骤1001:将所述目标sdf值与指定倍数相乘,得到调整后的目标sdf值;
需要说明的是:本实施例中的指定倍数可根据实际情况来进行设置,本实施例在此不对指定倍数的具体数值进行限定。
步骤1002:将所述调整后的目标sdf值与拍摄所述采样点对应的图像的相机的深度相加,得到调整后的相机深度;
步骤1003:利用所述调整后的相机深度以及所述采样点的位置坐标,得到所述采样点的目标位置坐标。其中,可通过公式(5)得到所述采样点的目标位置坐标:
x″n=o+r·d......(5);
其中,x″n为第n个采样点的目标位置坐标,o为与所述采样点对应的相机的位置坐标,r为与所述采样点对应的光线的方向,d为所述调整后的相机深度。
步骤904:若所述采样点的目标sdf值不大于所述指定数值,则继续遍历所述光线中的其他各采样点,直至确定出所述候选三维模型与所述光线的交点的位置坐标。
需要说明的是:指定数值可根据实际情况来进行设置,本实施例在此不对指定数值的具体值进行限定。
步骤804:通过所述调整后的目标参数对所述交点的位置坐标进行位置变换,得到所述交点变换后的位置坐标;
其中,位置变换的方式可根据公式(4)中的方式来实现,本实施例在此不再进行赘述。
步骤805:将所述交点变换后的位置坐标输入至所述第二预设函数中,得到所述像素点的颜色值。
其中,本实施例中的第二预设函数是用于确定像素点的颜色值的函数。
步骤702:基于所述图像中各像素点的目标颜色值对所述图像进行面绘制,得到渲染图像;
使用确定出的各像素点的目标颜色值对所述图像中各像素点的当前颜色值进行替换,得到渲染图像。
步骤703:基于所述渲染图像和所述渲染图像对应的掩膜图像,得到第二损失值;
在一个实施例中,通过以下方式得到所述第二损失值:
针对所述多视角图像中的任意一个图像对应渲染图像中的任一像素点,基于所述像素点的像素值以及在掩膜图像中对应的像素点的像素值的差值的绝对值,得到第一中间损失值,基于所述渲染图像中各像素点的第一中间损失值的和,得到第二中间损失值,利用所述多视角图像对应的各第二中间损失值的和,得到第三中间损失值;以及基于所述各渲染图像以及所述各渲染图像对应的掩膜图像,得到第四中间损失值;以及利用候选三维模型中表面的点的优选sdf值得到第五中间损失值,将所述第三中间损失值、所述第四中间损失值和所述第五中间损失值相加,得到所述第四损失值。
其中,候选三维模型中表面的点的优选sdf值是基于第一预设函数得到的,且是将候选三维模型中表面的点的优选sdf值相加,得到优选sdf总值,并将所述优选sdf总值与预设权重相乘,得到所述第五中间损失值。
需要说明的是:确定第四中间损失值的方式与确定第一损失值的方式相同,本实施例在此不再进行赘述。
步骤704:判断所述第二损失值是否满足第二预设条件,若是,则执行步骤705,若否,则执行步骤706;
步骤705:对所述预设函数中的指定参数进行调整后,返回执行步骤701;
步骤706:基于满足所述第二预设条件的第二损失值所对应的目标颜色值对所述候选三维模型的颜色进行调整,得到所述物体的目标三维模型。
其中,对指定参数进行调整的方式可为每次将指定参数增加或减少指定数值。具体的调整方式可根据实际情况来进行设置,本实施例在此不再进行限定。
为了进一步提高三维模型重建的准确率,在一个实施例中,响应于用户触发的DIT参数修改指令,对所述深度隐式模板DIT参数进行修改,以修改所述物体的形状和/或表面纹理。
例如,如图11所示,为基于用户的修改指令将物体的形状进行对应修改的示意图,从图11中可以看出,基于DIT参数可以修改三维模型的大小以及高度等。
为了进一步连接本申请中的技术方案,下面结合图12进行详细的说明,可包括以下步骤:
步骤1201:响应于用户触发的物体三维模型重建指令,获取与所述物体对应的多视角图像,其中,所述多视角图像为所述物体在不同角度下所拍摄的各图像;
步骤1202:对所述物体的多视角图像分别进行分割,得到分割后的各图像;
步骤1203:基于所述分割后的各图像以及所述各图像对应的掩膜图像,得到第一损失值;
步骤1204:判断所述第一损失值是否满足第一预设条件,若否,则执行步骤1205,若是,则执行步骤1206;
步骤1205:按照预设规则分别对所述物体的目标参数以及所述物体类别对应的DIT参数进行调整,得到中间目标参数和中间DIT参数后,利用所述中间目标参数和所述中间DIT参数分别对各图像再次进行渲染,得到所述各图像更新后的掩膜图像,并将所述各图像更新后的掩膜图像确定为所述各图像对应的掩膜图像后,返回执行步骤1203;
步骤1206:将满足第一预设条件的第一损失值对应的中间目标参数确定为所述调整后的目标参数以及将满足所述预设条件的第一损失值对应的中间DIT参数确定为所述调整后的DIT参数;
步骤1207:通过所述调整后的DIT参数对与所述物体的类别对应的初始三维模型的形状进行调整,得到候选三维模型,其中,所述初始三维模型为基于所述DIT参数以及所述物体对应的多视角图像得到的;
步骤1208:针对所述多视角图像中的任意一个图像中的任一像素点,利用预设函数、所述调整后的目标参数以及所述调整后的DIT参数,确定所述像素点的目标颜色值;
步骤1209:基于所述图像中各像素点的目标颜色值对所述图像进行面绘制,得到渲染图像;
步骤1210:基于所述渲染图像和所述渲染图像对应的掩膜图像,得到第二损失值;
步骤1211:判断所述第二损失值是否满足第二预设条件,若否,则执行步骤1212,若是,则执行步骤1213;
步骤1212:对所述预设函数中的指定参数进行调整后,返回步骤1210;
步骤1213:基于满足所述第二预设条件的第二损失值所对应的目标颜色值对所述候选三维模型的颜色进行调整,得到所述物体的目标三维模型。
基于相同的发明构思,本公开如上所述的物体的三维模型重建方法还可以由一种物体的三维模型重建装置实现。该物体的三维模型重建的效果与前述方法的效果相似,在此不再赘述。
图13为根据本公开一个实施例的物体的三维模型重建装置的结构示意图。
如图13所示,本公开的物体的三维模型重建装置1300可以包括获取模块1310、图像分割模块1320、参数调整模块1330、候选三维模型确定模块1340和目标三维模型确定模块1350。
获取模块1310,用于响应于用户触发的物体三维模型重建指令,获取与所述物体对应的多视角图像,其中,所述多视角图像为所述物体在不同角度下所拍摄的各图像;
图像分割模块1320,用于对所述物体的多视角图像分别进行分割,得到分割后的各图像;
参数调整模块1330,用于基于所述分割后的各图像和所述各图像对应的掩膜图像对所述物体的目标参数以及所述物体的类别对应的深度隐式模板DIT参数进行调整,得到调整后的目标参数和调整后的DIT参数;
候选三维模型确定模块1340,用于通过所述调整后的DIT参数对与所述物体的类别对应的初始三维模型的形状进行调整,得到候选三维模型,其中,所述初始三维模型为基于所述DIT参数以及所述物体对应的多视角图像得到的;
目标三维模型确定模块1350,用于利用所述调整后的目标参数对所述候选三维模型的颜色进行调整,得到所述物体的目标三维模型。
在一个实施例中,所述装置还包括:
掩膜图像确定模块1360,用于通过以下方式得到所述各图像对应的掩膜图像:
针对任意一个图像中的任意一个像素点,从与所述图像对应的相机视角发射一条指向所述像素点的光线,并在所述光线上等距采样指定数量的采样点;
针对任意一个采样点,基于所述采样点的位置坐标和所述目标参数,确定所述采样点的符号距离场sdf值,其中,所述sdf值用于表征所述采样点与所述物体的初始三维模型表面之间的距离;
将各采样点的sdf值中数值最小的sdf值确定为与所述像素点相对应的掩膜像素值;通过所述图像中的各像素点的掩膜像素值,得到与所述图像对应的掩膜图像。
在一个实施例中,所述掩膜图像确定模块1360执行所述基于所述采样点的位置坐标和所述目标参数,确定所述采样点的sdf值,具体用于:
利用所述目标参数对所述采样点的位置坐标进行位置变换,得到所述采样点的目标位置坐标,其中,所述目标参数包括旋转参数、平移参数以及比例参数中的至少一种;
将所述采样点的目标位置坐标输入至sdf函数中,得到所述采样点的sdf值。
在一个实施例中,所述参数调整模块1330,具体用于:
基于所述分割后的各图像以及所述各图像对应的掩膜图像,得到第一损失值;
若所述第一损失值不满足第一预设条件,则按照预设规则分别对所述物体的目标参数以及所述物体类别对应的DIT参数进行调整,得到中间目标参数和中间DIT参数后,利用所述中间目标参数和所述中间DIT参数分别对各图像再次进行渲染,得到所述各图像更新后的掩膜图像,并将所述各图像更新后的掩膜图像确定为所述各图像对应的掩膜图像后,返回执行基于所述分割后的各图像以及所述各图像对应的掩膜图像,得到第一损失值的步骤,直至所述第一损失值满足所述第一预设条件,则将满足第一预设条件的第一损失值对应的中间目标参数确定为所述调整后的目标参数以及将满足所述预设条件的第一损失值对应的中间DIT参数确定为所述调整后的DIT参数。
在一个实施例中,所述参数调整模块1330执行所述基于所述分割后的各图像以及所述各图像对应的掩膜图像,得到第一损失值,具体用于:
针对任意一个分割后的图像,将与所述分割后的图像对应的掩膜图像中的第一目标像素点的像素值相加,得到第一总像素值,其中,所述第一目标像素点为所述掩膜图像中像素值小于指定阈值的各像素点;以及,
将与所述分割后的图像对应的掩膜图像中的第二目标像素点的像素值相加,得到第二总像素值,其中,所述第二目标像素点为所述掩膜图像中像素值大于指定阈值的各像素点;并,
将所述第一总像素值和所述第二总像素值相加,得到所述分割后的图像对应的目标总像素值;
将各分割后的图像对应的目标总像素值相加,得到所述第一损失值。
在一个实施例中,所述目标三维模型确定模块,具体用于:
针对所述多视角图像中的任意一个图像中的任一像素点,利用预设函数、所述调整后的目标参数以及所述调整后的DIT参数,确定所述像素点的目标颜色值;
基于所述图像中各像素点的目标颜色值对所述图像进行面绘制,得到渲染图像;
基于所述渲染图像和所述渲染图像对应的掩膜图像,得到第二损失值;
若所述第二损失值不满足第二预设条件,则对所述预设函数中的指定参数进行调整后,返回利用预设函数、所述调整后的目标参数以及所述调整后的DIT参数,确定所述像素点的目标颜色值的步骤,直至所述第二损失值满足所述第二预设条件,则基于满足所述第二预设条件的第二损失值所对应的目标颜色值对所述候选三维模型的颜色进行调整,得到所述物体的目标三维模型。
在一个实施例中,所述预设函数包括第一预设函数和第二预设函数;
所述目标三维模型确定模块1350执行所述利用预设函数、所述调整后的目标参数以及所述调整后的DIT参数,确定所述像素点的目标颜色值,具体用于:
针对所述多视角图像中的任意一个图像中的任意一个像素点,从与所述图像对应的相机视角发射一条指向所述像素点的光线;
利用所述调整后的目标参数对所述光线中的各采样点的位置坐标进行位置变换,得到所述光线中各采样点变换后的位置坐标;
利用所述光线中各采样点变换后的位置坐标、所述第一预设函数以及sdf函数,得到所述候选三维模型与所述光线的交点的位置坐标;
通过所述调整后的目标参数对所述交点的位置坐标进行位置变换,得到所述交点变换后的位置坐标;
将所述交点变换后的位置坐标输入至所述第二预设函数中,得到所述像素点的目标颜色值。
在一个实施例中,所述目标三维模型确定模块1350执行所述利用所述光线中各采样点变换后的位置坐标、所述第一预设函数以及sdf函数,得到所述候选三维模型与所述光线的交点的位置坐标,具体用于:
按照指定顺序遍历所述光线中的各采样点,针对任意一个遍历到的采样点,执行以下步骤:
将所述采样点的位置坐标分别输入至第一预设函数得到所述采样点的优化sdf值,以及将所述采样点输入至sdf函数中,得到所述采样点的sdf值;
将所述优化sdf值和所述sdf值相加,得到目标sdf值;
若所述采样点的目标sdf值大于指定数值,则基于所述目标sdf值以及所述采样点的位置坐标,得到所述采样点的目标位置坐标,并将所述采样点确定为所述候选三维模型与所述光线的交点,并将所述目标位置坐标确定为所述交点的位置坐标;
若所述采样点的目标sdf值不大于所述指定数值,则继续遍历所述光线中的其他各采样点,直至确定出所述候选三维模型与所述光线的交点的位置坐标。
在一个实施例中,所述目标三维模型确定模块1350执行所述基于所述目标sdf值以及所述采样点的位置坐标,得到所述采样点的目标位置坐标,具体用于:
将所述目标sdf值与指定倍数相乘,得到调整后的目标sdf值;
将所述调整后的目标sdf值与拍摄所述采样点对应的图像的相机的深度相加,得到调整后的相机深度;
利用所述调整后的相机深度以及所述采样点的位置坐标,得到所述采样点的目标位置坐标。
在介绍了本发明示例性实施方式的一种物体的三维模型重建方法及装置之后,接下来,介绍根据本发明的另一示例性实施方式的电子设备。
所属技术领域的技术人员能够理解,本发明的各个方面可以实现为系统、方法或程序产品。因此,本发明的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为″电路″、″模块″或″系统″。
在一些可能的实施方式中,根据本发明的电子设备可以至少包括至少一个处理器、以及至少一个计算机存储介质。其中,计算机存储介质存储有程序代码,当程序代码被处理器执行时,使得处理器执行本说明书上述描述的根据本发明各种示例性实施方式的物体的三维模型重建方法中的步骤。例如,处理器可以执行如图2中所示的步骤201-205。
下面参照图14来描述根据本发明的这种实施方式的电子设备1400。图14显示的电子设备1400仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图14所示,电子设备1400以通用电子设备的形式表现。电子设备1400的组件可以包括但不限于:上述至少一个处理器1401、上述至少一个计算机存储介质1402、连接不同系统组件(包括计算机存储介质1402和处理器1401)的总线1403。
总线1403表示几类总线结构中的一种或多种,包括计算机存储介质总线或者计算机存储介质控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
计算机存储介质1402可以包括易失性计算机存储介质形式的可读介质,例如随机存取计算机存储介质(RAM)1421和/或高速缓存存储介质1422,还可以进一步包括只读计算机存储介质(ROM)1423。
计算机存储介质1402还可以包括具有一组(至少一个)程序模块1424的程序/实用工具1425,这样的程序模块1424包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
电子设备1400也可以与一个或多个外部设备1404(例如键盘、指向设备等)通信,还可与一个或者多个使得用户能与电子设备1400交互的设备通信,和/或与使得该电子设备1400能与一个或多个其它电子设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1405进行。并且,电子设备1400还可以通过网络适配器1406与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器1406通过总线1403与用于电子设备1400的其它模块通信。应当理解,尽管图中未示出,可以结合电子设备1400使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
在一些可能的实施方式中,本发明提供的一种物体的三维模型重建方法的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在计算机设备上运行时,程序代码用于使计算机设备执行本说明书上述描述的根据本发明各种示例性实施方式的物体的三维模型重建方法中的步骤。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取计算机存储介质(RAM)、只读计算机存储介质(ROM)、可擦式可编程只读计算机存储介质(EPROM或闪存)、光纤、便携式紧凑盘只读计算机存储介质(CD-ROM)、光计算机存储介质件、磁计算机存储介质件、或者上述的任意合适的组合。
本发明的实施方式的物体的三维模型重建的程序产品可以采用便携式紧凑盘只读计算机存储介质(CD-ROM)并包括程序代码,并可以在电子设备上运行。然而,本发明的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,程序设计语言包括面向对象的程序设计语言一诸如Java、C++等,还包括常规的过程式程序设计语言一诸如″C″语言或类似的程序设计语言。程序代码可以完全地在用户电子设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户电子设备上部分在远程电子设备上执行、或者完全在远程电子设备或服务器上执行。在涉及远程电子设备的情形中,远程电子设备可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)连接到用户电子设备,或者,可以连接到外部电子设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意,尽管在上文详细描述中提及了装置的若干模块,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之,上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。
此外,尽管在附图中以特定顺序描述了本发明方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘计算机存储介质、CD-ROM、光学计算机存储介质等)上实施的计算机程序产品的形式。
本发明是参照根据本发明的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读计算机存储介质中,使得存储在该计算机可读计算机存储介质中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种物体的三维模型重建方法,其特征在于,所述方法包括:
响应于用户触发的物体三维模型重建指令,获取与所述物体对应的多视角图像,其中,所述多视角图像为所述物体在不同角度下所拍摄的各图像;
对所述物体的多视角图像分别进行分割,得到分割后的各图像;并,
基于所述分割后的各图像和所述各图像对应的掩膜图像对所述物体的目标参数以及所述物体的类别对应的深度隐式模板DIT参数进行调整,得到调整后的目标参数和调整后的DIT参数;
通过所述调整后的DIT参数对与所述物体的类别对应的初始三维模型的形状进行调整,得到候选三维模型,其中,所述初始三维模型为基于所述DIT参数以及所述物体对应的多视角图像得到的;
利用所述调整后的目标参数对所述候选三维模型的颜色进行调整,得到所述物体的目标三维模型。
2.根据权利要求1所述的方法,其特征在于,通过以下方式得到所述各图像对应的掩膜图像:
针对任意一个图像中的任意一个像素点,从与所述图像对应的相机视角发射一条指向所述像素点的光线,并在所述光线上等距采样指定数量的采样点;
针对任意一个采样点,基于所述采样点的位置坐标和所述目标参数,确定所述采样点的符号距离场sdf值,其中,所述sdf值用于表征所述采样点与所述物体的初始三维模型表面之间的距离;
将各采样点的sdf值中数值最小的sdf值确定为与所述像素点相对应的掩膜像素值;
通过所述图像中的各像素点的掩膜像素值,得到与所述图像对应的掩膜图像。
3.根据权利要求2所述的方法,其特征在于,所述基于所述采样点的位置坐标和所述目标参数,确定所述采样点的sdf值,包括:
利用所述目标参数对所述采样点的位置坐标进行位置变换,得到所述采样点的目标位置坐标,其中,所述目标参数包括旋转参数、平移参数以及比例参数中的至少一种;
将所述采样点的目标位置坐标输入至sdf函数中,得到所述采样点的sdf值。
4.根据权利要求1所述的方法,其特征在于,所述基于所述分割后的各图像和所述各图像对应的掩膜图像对所述物体的目标参数以及所述物体的类别对应的DIT参数进行调整,得到调整后的目标参数和调整后的DIT参数,包括:
基于所述分割后的各图像以及所述各图像对应的掩膜图像,得到第一损失值;
若所述第一损失值不满足第一预设条件,则按照预设规则分别对所述物体的目标参数以及所述物体类别对应的DIT参数进行调整,得到中间目标参数和中间DIT参数后,利用所述中间目标参数和所述中间DIT参数分别对各图像再次进行渲染,得到所述各图像更新后的掩膜图像,并将所述各图像更新后的掩膜图像确定为所述各图像对应的掩膜图像后,返回执行基于所述分割后的各图像以及所述各图像对应的掩膜图像,得到第一损失值的步骤,直至所述第一损失值满足所述第一预设条件,则将满足第一预设条件的第一损失值对应的中间目标参数确定为所述调整后的目标参数以及将满足所述预设条件的第一损失值对应的中间DIT参数确定为所述调整后的DIT参数。
5.根据权利要求4所述的方法,其特征在于,所述基于所述分割后的各图像以及所述各图像对应的掩膜图像,得到第一损失值,包括:
针对任意一个分割后的图像,将与所述分割后的图像对应的掩膜图像中的第一目标像素点的像素值相加,得到第一总像素值,其中,所述第一目标像素点为所述掩膜图像中像素值小于指定阈值的各像素点;以及,
将与所述分割后的图像对应的掩膜图像中的第二目标像素点的像素值相加,得到第二总像素值,其中,所述第二目标像素点为所述掩膜图像中像素值大于指定阈值的各像素点;并,
将所述第一总像素值和所述第二总像素值相加,得到所述分割后的图像对应的目标总像素值;
将各分割后的图像对应的目标总像素值相加,得到所述第一损失值。
6.根据权利要求1所述的方法,其特征在于,所述利用所述调整后的目标参数对所述候选三维模型的颜色进行调整,得到所述物体的目标三维模型,包括:
针对所述多视角图像中的任意一个图像中的任一像素点,利用预设函数、所述调整后的目标参数以及所述调整后的DIT参数,确定所述像素点的目标颜色值;
基于所述图像中各像素点的目标颜色值对所述图像进行面绘制,得到渲染图像;
基于所述渲染图像和所述渲染图像对应的掩膜图像,得到第二损失值;
若所述第二损失值不满足第二预设条件,则对所述预设函数中的指定参数进行调整后,返回利用预设函数、所述调整后的目标参数以及所述调整后的DIT参数,确定所述像素点的目标颜色值的步骤,直至所述第二损失值满足所述第二预设条件,则基于满足所述第二预设条件的第二损失值所对应的目标颜色值对所述候选三维模型的颜色进行调整,得到所述物体的目标三维模型。
7.根据权利要求6所述的方法,其特征在于,所述预设函数包括第一预设函数和第二预设函数;
所述利用预设函数、所述调整后的目标参数以及所述调整后的DIT参数,确定所述像素点的目标颜色值,包括:
针对所述多视角图像中的任意一个图像中的任意一个像素点,从与所述图像对应的相机视角发射一条指向所述像素点的光线;
利用所述调整后的目标参数对所述光线中的各采样点的位置坐标进行位置变换,得到所述光线中各采样点变换后的位置坐标;
利用所述光线中各采样点变换后的位置坐标、所述第一预设函数以及sdf函数,得到所述候选三维模型与所述光线的交点的位置坐标;
通过所述调整后的目标参数对所述交点的位置坐标进行位置变换,得到所述交点变换后的位置坐标;
将所述交点变换后的位置坐标输入至所述第二预设函数中,得到所述像素点的目标颜色值。
8.根据权利要求7所述的方法,其特征在于,所述利用所述光线中各采样点变换后的位置坐标、所述第一预设函数以及sdf函数,得到所述候选三维模型与所述光线的交点的位置坐标,包括:
按照指定顺序遍历所述光线中的各采样点,针对任意一个遍历到的采样点,执行以下步骤:
将所述采样点的位置坐标分别输入至第一预设函数得到所述采样点的优化sdf值,以及将所述采样点输入至sdf函数中,得到所述采样点的sdf值;
将所述优化sdf值和所述sdf值相加,得到目标sdf值;
若所述采样点的目标sdf值大于指定数值,则基于所述目标sdf值以及所述采样点的位置坐标,得到所述采样点的目标位置坐标,并将所述采样点确定为所述候选三维模型与所述光线的交点,并将所述目标位置坐标确定为所述交点的位置坐标;
若所述采样点的目标sdf值不大于所述指定数值,则继续遍历所述光线中的其他各采样点,直至确定出所述候选三维模型与所述光线的交点的位置坐标。
9.根据权利要求8所述的方法,其特征在于,所述基于所述目标sdf值以及所述采样点的位置坐标,得到所述采样点的目标位置坐标,包括:
将所述目标sdf值与指定倍数相乘,得到调整后的目标sdf值;
将所述调整后的目标sdf值与拍摄所述采样点对应的图像的相机的深度相加,得到调整后的相机深度;
利用所述调整后的相机深度以及所述采样点的位置坐标,得到所述采样点的目标位置坐标。
10.一种电子设备,其特征在于,包括处理器和存储器,所述处理器和所述存储器通过总线连接;
所述存储器中存储有计算机程序,所述处理器被配置为基于所述计算机程序执行以下操作:
响应于用户触发的物体三维模型重建指令,获取与所述物体对应的多视角图像,其中,所述多视角图像为所述物体在不同角度下所拍摄的各图像;
对所述物体的多视角图像分别进行分割,得到分割后的各图像;并,
基于所述分割后的各图像和所述各图像对应的掩膜图像对所述物体的目标参数以及所述物体的类别对应的深度隐式模板DIT参数进行调整,得到调整后的目标参数和调整后的DIT参数;
通过所述调整后的DIT参数对与所述物体的类别对应的初始三维模型的形状进行调整,得到候选三维模型,其中,所述初始三维模型为基于所述DIT参数以及所述物体对应的多视角图像得到的;
利用所述调整后的目标参数对所述候选三维模型的颜色进行调整,得到所述物体的目标三维模型。
CN202210834155.XA 2022-07-14 2022-07-14 一种物体的三维模型重建方法及电子设备 Pending CN115294268A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210834155.XA CN115294268A (zh) 2022-07-14 2022-07-14 一种物体的三维模型重建方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210834155.XA CN115294268A (zh) 2022-07-14 2022-07-14 一种物体的三维模型重建方法及电子设备

Publications (1)

Publication Number Publication Date
CN115294268A true CN115294268A (zh) 2022-11-04

Family

ID=83821760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210834155.XA Pending CN115294268A (zh) 2022-07-14 2022-07-14 一种物体的三维模型重建方法及电子设备

Country Status (1)

Country Link
CN (1) CN115294268A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116274170A (zh) * 2023-03-27 2023-06-23 中建三局第一建设工程有限责任公司 一种激光清洗设备的控制方法、系统及相关装置
CN117456097A (zh) * 2023-10-30 2024-01-26 南通海赛未来数字科技有限公司 一种三维模型构建方法及装置
CN117788703A (zh) * 2023-12-26 2024-03-29 中数科技(青岛)有限公司 一种基于机器视觉的港口三维模型构建方法和电子设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116274170A (zh) * 2023-03-27 2023-06-23 中建三局第一建设工程有限责任公司 一种激光清洗设备的控制方法、系统及相关装置
CN116274170B (zh) * 2023-03-27 2023-10-13 中建三局第一建设工程有限责任公司 一种激光清洗设备的控制方法、系统及相关装置
CN117456097A (zh) * 2023-10-30 2024-01-26 南通海赛未来数字科技有限公司 一种三维模型构建方法及装置
CN117456097B (zh) * 2023-10-30 2024-05-14 南通海赛未来数字科技有限公司 一种三维模型构建方法及装置
CN117788703A (zh) * 2023-12-26 2024-03-29 中数科技(青岛)有限公司 一种基于机器视觉的港口三维模型构建方法和电子设备

Similar Documents

Publication Publication Date Title
US20210004984A1 (en) Method and apparatus for training 6d pose estimation network based on deep learning iterative matching
CN115294268A (zh) 一种物体的三维模型重建方法及电子设备
CN115082639A (zh) 图像生成方法、装置、电子设备和存储介质
CN111739005B (zh) 图像检测方法、装置、电子设备及存储介质
US11915439B2 (en) Method and apparatus of training depth estimation network, and method and apparatus of estimating depth of image
CN114758337B (zh) 一种语义实例重建方法、装置、设备及介质
KR20220081261A (ko) 객체 포즈 추정 방법 및 장치
CN111027407B (zh) 针对遮挡情况的彩色图像手部姿态估计方法
CN115272565A (zh) 一种头部三维模型的重建方法及电子设备
CN115601511A (zh) 三维重建方法、装置、计算机设备及计算机可读存储介质
CN110827341A (zh) 一种图片深度估计方法、装置和存储介质
CN114792355A (zh) 虚拟形象生成方法、装置、电子设备和存储介质
CN113516697B (zh) 图像配准的方法、装置、电子设备及计算机可读存储介质
CN114998433A (zh) 位姿计算方法、装置、存储介质以及电子设备
CN113766117B (zh) 一种视频去抖动方法和装置
CN113781653B (zh) 对象模型生成方法、装置、电子设备及存储介质
US11836221B2 (en) Systems and methods for refined object estimation from image data
CN112862840B (zh) 图像分割方法、装置、设备及介质
CN114612976A (zh) 关键点检测方法及装置、计算机可读介质和电子设备
WO2019186833A1 (ja) 画像処理装置、画像処理方法、及び、コンピュータ読み取り可能な記録媒体
Liu et al. RGB-D depth-map restoration using smooth depth neighborhood supports
US20240161391A1 (en) Relightable neural radiance field model
EP3929866A2 (en) Inpainting method and apparatus for human image, and electronic device
US11562504B1 (en) System, apparatus and method for predicting lens attribute
CN113850900B (zh) 三维重建中基于图像和几何线索恢复深度图的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination