CN111524232A - 三维建模方法、装置和服务器 - Google Patents

三维建模方法、装置和服务器 Download PDF

Info

Publication number
CN111524232A
CN111524232A CN202010329846.5A CN202010329846A CN111524232A CN 111524232 A CN111524232 A CN 111524232A CN 202010329846 A CN202010329846 A CN 202010329846A CN 111524232 A CN111524232 A CN 111524232A
Authority
CN
China
Prior art keywords
points
point
feature
sampling
sampling points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010329846.5A
Other languages
English (en)
Other versions
CN111524232B (zh
Inventor
徐一凡
范天琪
袁燚
范长杰
胡志鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN202010329846.5A priority Critical patent/CN111524232B/zh
Publication of CN111524232A publication Critical patent/CN111524232A/zh
Application granted granted Critical
Publication of CN111524232B publication Critical patent/CN111524232B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/08Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种三维建模方法、装置和服务器,其中,该方法包括:获取包含有目标对象的单视角图像、以及预设三维空间中的采样点;从单视角图像中提取采样点和采样点的对称点的局部特征,基于局部特征输出采样点的有符号距离参数;其中,采样点和对称点基于三维空间中预设的基准面对称;根据采样点的有符号距离参数,建立目标对象的三维模型。该方式中的采样点的局部特征,不仅包含采样点本身的局部特征,还包括采样点的对称点的局部特征,使得采样点的局部特征更加准确、丰富,有利于提高三维模型的效果;同时,由于增加了采样点的对称点的局部特征,即使采样点被遮挡,也可以通过对称点得到采样点较为准确的局部特征,提高了三维模型的准确性。

Description

三维建模方法、装置和服务器
技术领域
本发明涉及三维建模技术领域,尤其是涉及一种三维建模方法、装置和服务器。
背景技术
三维重建是图形学的经典问题;其中,基于显式域的三维重建方法中,直接通过输入的单视角图像预测三维网格信息;而基于隐式域的三维重建方法中,则是通过输入的单视角图像和给定的采样点,让模型学习三维空间中采样点对应图像中物体三维模型的隐式的值,进而得到该物体三维模型的隐式域,最后通过隐式域得到最终重建的物体三维模型。
相关技术中,基于隐式域的三维重建方法,可以通过OccNet(OccupancyNetworks,占用网络)和DISN(Deep Implicit Surface Network,深隐面网络)实现;但是,受到视角局限性的影响,单视角图像中物体的形状表现具有歧义性,如,不同的形状在单视角图像中可能形状相同,相同的形状在不同视角下的单视角图像中,表现的形状可能不同;这些导致基于单视角图像重建出的三维模型效果较差;另外,单视角图像中物体存在自遮挡问题,如单视角图像中展示的是物体的正面,则该物体的正面就遮挡了物体的背面,因而单视角图像中无法同时展示物体的正面和背面;进而导致难以采集到被遮挡区域的准确的特征点,会导致三维模型的错误。
发明内容
有鉴于此,本发明的目的在于提供一种三维建模方法、装置和服务器,以提高三维模型的效果,同时提高三维模型的准确性。
第一方面,本发明实施例提供了一种三维建模方法,方法包括:获取包含有目标对象的单视角图像、以及预设三维空间中的采样点;从单视角图像中提取采样点和采样点的对称点的局部特征,基于局部特征输出采样点的有符号距离参数;其中,采样点和对称点基于三维空间中预设的基准面对称;有符号距离参数用于:指示采样点与待建立的目标对象的三维模型之间的位置关系;根据采样点的有符号距离参数,建立目标对象的三维模型。
进一步地,上述从单视角图像中提取采样点和采样点的对称点的局部特征的步骤,包括:获取单视角图像的相机参数;相机参数包括:目标对象在单视角图像中的姿态,相对于三维空间中标定姿态的映射关系;根据相机参数,确定采样点和采样点的对称点在单视角图像中的映射点;从单视角图像中提取映射点的局部特征,将映射点的局部特征确定为采样点和采样点的对称点的局部特征。
进一步地,上述获取单视角图像的相机参数的步骤,包括:将单视角图像输入至预先训练完成的相机参数预测网络,输出单视角图像的相机参数。
进一步地,上述根据相机参数,确定采样点和采样点的对称点在单视角图像中的映射点的步骤,包括:根据相机参数,将标定姿态对应的xy平面进行第一映射处理,得到基准面;确定采样点相对于基准面的对称点;根据相机参数,将采样点和对称点进行第二映射处理,得到采样点和对称点在单视角图像中的映射点。
进一步地,上述从单视角图像中提取映射点的局部特征的步骤,包括:通过预先训练完成的特征提取网络,提取单视角图像的特征数据;特征数据包括多通道下的特征矩阵;根据映射点在单视角图像中的位置,从每个通道对应的特征矩阵中提取映射点对应的特征点,得到映射点的局部特征;映射点的局部特征包括每个通道对应的特征点。
进一步地,上述根据映射点在单视角图像中的位置,从每个通道对应的特征矩阵中确定映射点对应的特征点的步骤之前,方法还包括:调整每个通道对应的特征矩阵的尺度,以使每个通道对应的特征矩阵的尺度与单视角图像的尺度相匹配。
进一步地,上述基于局部特征输出采样点的有符号距离参数的步骤,包括:根据采样点在三维空间中的位置,确定采样点的点特征;根据采样点的点特征和局部特征,确定采样点的有符号距离参数。
进一步地,上述根据采样点在三维空间中的位置,确定采样点的点特征的步骤,包括:将采样点在三维空间中的位置坐标,输入至预先训练完成的第一多层感知器中,以通过第一多层感知器对采样点对应的位置坐标进行体征编码,得到采样点的点特征。
进一步地,上述根据采样点的点特征和局部特征,确定采样点的有符号距离参数的步骤,包括:提取单视角图像的全局特征;根据单视角图像的全局特征、采样点的点特征和局部特征,确定采样点的有符号距离参数。
进一步地,上述提取单视角图像的全局特征的步骤,包括:通过预先训练完成的特征提取网络,提取单视角图像的特征数据;将特征数据中,特征提取网络的全连接层输出的特征向量,确定为单视角图像的全局特征。
进一步地,上述根据单视角图像的全局特征、采样点的点特征和局部特征,确定采样点的有符号距离参数的步骤,包括:将单视角图像的全局特征和采样点的点特征,确定为采样点的第一特征;将局部特征和采样点的点特征,确定为采样点的第二特征;基于第一特征和第二特征确定采样点的有符号距离参数。
进一步地,上述基于第一特征和第二特征确定采样点的有符号距离参数的步骤,包括:将第一特征输入至预先训练完成的第二多层感知器中,以通过第二多层感知器对第一特征进行第一解码处理,得到第一解码特征;将第二特征输入至预先训练完成的第三多层感知器中,以通过第三多层感知器对第二特征进行第二编码处理,得到第二解码特征;将第一解码特征和第二解码特征相加,得到采样点的有符号距离参数。
进一步地,上述有符号距离参数包括采样点的有符号距离;采样点包括多个;上述根据采样点的有符号距离参数,建立目标对象的三维模型的步骤,包括:从多个采样点中,确定有符号距离为零的目标采样点;根据目标采样点组成的平面,建立目标对象的三维模型。
第二方面,本发明实施例提供了一种三维建模装置,装置包括:数据获取模块,用于获取包含有目标对象的单视角图像、以及预设三维空间中的采样点;特征提取模块,用于从单视角图像中提取采样点和采样点的对称点的局部特征,基于局部特征输出采样点的有符号距离参数;其中,采样点和对称点基于三维空间中预设的基准面对称;有符号距离参数用于:指示采样点与待建立的目标对象的三维模型之间的位置关系;模型建立模块,用于根据采样点的有符号距离参数,建立目标对象的三维模型。
第三方面,本发明实施例提供了一种服务器,包括处理器和存储器,存储器存储有能够被处理器执行的机器可执行指令,处理器执行机器可执行指令以实现上述三维建模方法。
第四方面,本发明实施例提供了一种机器可读存储介质,机器可读存储介质存储有机器可执行指令,机器可执行指令在被处理器调用和执行时,机器可执行指令促使处理器实现上述三维建模方法。
本发明实施例带来了以下有益效果:
上述三维建模方法中,从单视角图像中提取采样点和采样点的对称点的局部特征,基于局部特征输出采样点的有符号距离参数;其中的采样点和对称点基于三维空间中预设的基准面对称;进而根据采样点的有符号距离参数,建立目标对象的三维模型。该方式中的采样点的局部特征,不仅包含采样点本身的局部特征,还包括采样点的对称点的局部特征,使得采样点的局部特征更加准确、丰富,有利于提高三维模型的效果;同时,由于增加了采样点的对称点的局部特征,即使采样点被遮挡,也可以通过对称点得到采样点较为准确的局部特征,提高了三维模型的准确性。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种三维建模方法的流程图;
图2为本发明实施例提供的另一种三维建模方法中,从单视角图像中提取采样点和采样点的对称点的局部特征的流程图;
图3为本发明实施例提供的一种网络模型的结构及数据流向示意图;
图4为本发明实施例提供的一种网络模型的训练流程图;
图5为本发明实施例提供的一种应用网络模型进行三维建模流程的流程图;
图6为本发明实施例提供的一种三维建模装置的结构示意图;
图7为本发明实施例提供的一种服务器的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
深度学习来源于人工神经网络。随着脑神经的相关研究越来越深入,对于人工神经网络的研究也越来越多。感知器的出现,让人工神经网络到来了第一波高潮。但是随着对感知器研究的深入,发现感知器只能学习出线性函数,却不能学习出非线性函数,无法解决真实情况中更常见的非线性问题。而且对于层数较多或者神经元较多的人工神经网络,感知器是没法进行训练的,因此人工神经网络也陷入了低谷。而反向传播算法的提出,让更多层数或更多神经元的人工神经网络可以被训练,使得人工神经网络又一次到达研究的高点。但是在研究一段时间后,发现对于较深的网络,训练过程中容易出现梯度爆炸和梯度消失,以及容易陷入局部最优,这些问题都难以解决,使人工神经网络再度遇冷。一段时间后,一种深层的自编码器神经网络的出现,能够有效地将高维特征自编码成低维特征,并通过权值逐层初始化来解决深层网络的梯度消失问题。卷积和池化等相关概念的提出,有了卷积神经网络的雏形,同时,卷积神经网络在图像分类等计算机视觉任务上获得了不错的效果。
三维重建是图形学的经典问题,生活中对于三维重建中的需求也很多。但是基于RGB图像等单视角图像的三维重建,由于信息的不足,往往无法用图形学的经典方法来解决。而深度学习在基于单视角图像的三维重建这一领域有着很好的效果。神经网络可以通过反复训练,以学习全局或局部的形状特征,在做三维重建的时候,可以从单视角图像中预测形状特征,进而进行三维模型的重建。
通过深度学习实现单视角图像的三维重建,通常包括两种具体方式。一种是基于显式域的三维重建方法,即直接通过输入的单视角图像预测三维网格信息;另一种是基于隐式域的三维重建方法,即通过输入的单视角图像和给定的采样点,让模型学习三维空间中采样点对应图像中物体三维模型的隐式的值,进而得到该物体三维模型的隐式域,最后通过隐式域得到最终重建的物体三维模型。
相关技术中,基于隐式域的三维重建方法,可以通过OccNet和DISN实现;其中,OccNet设计的隐式域是一个符号域,通过输入的单视角图像,和给定的采样点,学习三维空间中采样点是否在物体三维模型的内部,符号域中的符号正负代表采样点在物体的内部或者外部,相当于学习一个二值分类器。这个二值分类器具体包括一个图像到形状编码的编码器,以及形状编码到是否在物体内部的预测值的解码器。最后通过迭代的移动立方体算法,得到最终重建的物体三维网格模型。
上述DISN设计的隐式域是一个有符号距离域,通过输入的单视角图像,和给定的采样点,学习三维空间中采样点到物体三维模型的有符号距离,符号的正负代表采样点在物体的内部或者外部,相当于学习一个回归神经网络,这个回归神经网络具体包含一个编码器,用来提取全局特征和局部特征,还包括两个解码器,分别用来对全局特征和局部特征进行解码,预测采样点到三维网格模型的有符号距离的值,得到一个有符号距离域。最后通过移动立方体算法,得到物体三维网格模型。
但是,上面的基于隐式域的三维重建方法,输入的是单视角图像,受到视角局限性的影响,单视角图像中物体的形状表现具有歧义性,易导致基于单视角图像重建出的三维模型效果较差;另外,单视角图像中物体存在自遮挡问题,在利用局部特征进行重建时,被遮挡区域中的点的局部特征,只能采用投影方向上距离视角较近的点的特征作为局部特征,通过这种方式获取到的局部特征往往是错误的,因而难以采集到被遮挡区域的准确的特征点,会导致三维模型的错误。
基于上述问题,本发明实施例提供的一种三维建模方法、装置和服务器,该技术可以应用于基于单视角图像建立三维模型的场景中,也可以应用于结合神经网络的三维建模场景中。为便于对本实施例进行理解,首先对本发明实施例所公开的一种三维建模方法进行详细介绍。
如图1所示,该三维建模方法包括如下步骤:
步骤S102,获取包含有目标对象的单视角图像、以及预设三维空间中的采样点;
本实施例中的目标对象,可以是物体、动物、植物、人物等,不做具体限定。单视角图像具体可以为二维图像,如RGB图像等。在大多情况下,真实的目标对象是三维的,包含有宽度、高度和厚度,但是包含有目标对象的单视角图像,大多由摄像设备从一个特定视角拍摄得到,该单视角图像中包含目标对象在该特定视角下的姿态。
上述预设三维空间,可以理解为目标对象的待建立的三维模型所处的空间。该三维空间中包括多个采样点,每个采样点可以通过采样点所对应的位置坐标表达。该采样点具体可以为三维空间中的格点,这些格点按照预设的采样距离排列,进而共同组成特定的形状,如长方体。
步骤S104,从单视角图像中提取上述采样点和采样点的对称点的局部特征,基于该局部特征输出采样点的有符号距离参数;
其中,采样点和对称点基于三维空间中预设的基准面对称;在初始状态下,该三维空间中可以预设一个坐标系,该坐标系包括原点、x轴、y轴和z轴。其中,x轴和y轴、x轴和z轴、y轴和z轴均可以组成一个平面;上述基准面可以通过这些平面转换得到。
三维空间中的采样点和采样点的对称点,可以通过一定的映射关系,确定采样点和采样点的对称点在单视角图像中的映射点;该映射关系具体可以为相机参数,该相机参数用于表征单视角图像中各个点与三维空间中的各个点的映射关系;该映射关系具体可以包括平移关系、旋转关系等等。进而,再通过特征提取网络提取在单视角图像中的映射点的局部特征,即可得到采样点和采样点的对称点的局部特征。
基于局部特征输出采样点的有符号距离参数的过程,可以通过训练后的神经网络实现。例如,可以将各个采样点和采样点的对称点的局部特征输入至预先训练完成的神经网络中,输出该采样点的有符号距离参数。采样点的有符号距离参数用于:指示采样点与待建立的目标对象的三维模型之间的位置关系;该有符号距离参数可以表征该采样点距离目标对象的三维模型表面的距离。
另外,输出采样点的有符号距离参数时,通常不仅需要考虑局部特征,还可能要考虑单视角图像本身的全局特征,即,将局部特征和全局特征共同输入至上述神经网络中,输出该采样点的有符号距离参数。采样点的有符号距离参数,具体可以为采样点对应的有符号距离,该符号可以为正号和负号;该符号用于表征采样点与目标对象的三维模型的相对位置关系;例如,正号代表该采样点位于目标对象的三维模型的外部,负号代表该采样点位于目标对象的三维模型的内部;当然也可以为,正号代表该采样点位于目标对象的三维模型的内部,负号代表该采样点位于目标对象的三维模型的外部。
步骤S106,根据采样点的有符号距离参数,建立目标对象的三维模型。
多个采样点的有符号距离参数,可以组成有符号距离域,进而可以通过移动立方格算法,基于这些采样点以及组成的有符号距离域,建立目标对象的三维模型。
上述三维建模方法中,从单视角图像中提取采样点和采样点的对称点的局部特征,基于局部特征输出采样点的有符号距离参数;其中的采样点和对称点基于三维空间中预设的基准面对称;进而根据采样点的有符号距离参数,建立目标对象的三维模型。该方式中的采样点的局部特征,不仅包含采样点本身的局部特征,还包括采样点的对称点的局部特征,使得采样点的局部特征更加准确、丰富、有利于提高三维模型的效果;同时,由于增加了采样点的对称点的局部特征,即使采样点被遮挡,也可以通过对称点得到采样点较为准确的局部特征,提高了三维模型的准确性。
本实施例还提供另一种三维建模方法,本实施例重点描述从单视角图像中提取采样点和采样点的对称点的局部特征的具体实现过程;在提取采样点和采样点的对称点的局部特征时,需要参考单视角图像对应的相机参数;具体地,如图2所示,该过程包括如下步骤:
步骤S202,获取单视角图像的相机参数;该相机参数包括:目标对象在单视角图像中的姿态,相对于三维空间中标定姿态的映射关系;
假如知晓拍摄该单视角图像的摄像设备,可以基于该摄像设备确定该单视角的相机参数,通过该方式可以得到较为准确的相机参数;但是,如果不能知晓拍摄该单视角图像的摄像设备,则可以通过神经网络预测出该单视角图像的相机参数,该方式得到的是单视角图像的相机参数的估计值。具体地,该神经网络具体可以为预先训练完成的相机参数预测网络,将上述单视角图像输入至预先训练完成的相机参数预测网络,即可输出单视角图像的相机参数。
该相机参数预测网络,可以采用相关的相机网络实现,通过卷积神经网络训练得到该预测网络,该预测网络可以预测输入的单视角图像中目标对象的姿态的三维模型,与标定姿态的三维模型之间的旋转关系和平移关系,该平移关系和旋转关系即单视角图像和标定姿态之间的转换关系。
三维空间中的标定姿态,可以理解为对目标对象预先设定的一个初始姿态,通过对该初始姿态进行平移、旋转,得到单视角图像中目标对象的姿态;因而,相机参数中的映射关系,具体可以为标定姿态转换至单视角图像中的姿态的转换关系,该转换关系可以包括平移关系和旋转关系。在实际实现时,该映射关系可以通过矩阵的形式表达,此时,该映射关系可以包括目标对象在单视角图像中的姿态,相对于三维空间中标定姿态的平移矩阵和旋转矩阵。
步骤S204,根据相机参数,确定采样点和采样点的对称点在单视角图像中的映射点;
由于相机参数可以表征目标对象在单视角图像中的姿态,相对于三维空间中标定姿态的映射关系;且,采样点和采样点的对称点可以通过坐标点表达,将该坐标点通过相机参数进行计算,即可将采样点和采样点的对称点映射至单视角图像中,得到采样点和采样点的对称点在单视角图像中的映射点。
在实际实现时,确定采样点和采样点的对称点在单视角图像中的映射点的过程具体可以通过下述步骤12-16实现:
步骤12,根据相机参数,将标定姿态对应的xy平面进行第一映射处理,得到基准面;
步骤14,确定采样点相对于基准面的对称点;
步骤16,根据相机参数,将采样点和对称点进行第二映射处理,得到采样点和对称点在单视角图像中的映射点。
在三维空间中,初始化得到标定姿态后,标定姿态的x轴、y轴和z轴随之确定,由x轴、y轴组成的xy平面随之确定。上述相机参数可以对xy平面进行平移、旋转等映射处理,得到基准面;该基准面就是标定姿态对应的xy平面在单视角图像中的目标对象的姿态下的位置。相对于该基准面,即可得到采样点的对称点,通常,每个采样点相对于基准面具有一个对称点。
得到采样点和对称点后,即可通过相机参数对每个采样点和每个对称点进行平移、旋转等映射处理,将采样点和对称点映射至单视角图像中,得到每个采样点和每个对称点在单视角图像中映射点。
步骤S206,从单视角图像中提取映射点的局部特征,将映射点的局部特征确定为采样点和采样点的对称点的局部特征。
需要说明的是,针对于每个映射点,从单视角图像中提取该映射点的局部特征。该映射点可能是采样点的映射点,也可能是对称点的映射点;当映射点是采样点的映射点时,该映射点的局部特征即采样点本身的局部特征,当映射点是对称点的映射点时,该映射点的局部特征即该对称点所对应的采样点的局部特征。这时,每个采样点就拥有了两部分的局部特征,一部分是采样点本身的局部特征,另一部分是采样点的对称点的局部特征。
下面说明从单视角图像中提取映射点的局部特征的实现方式。
首先,通过预先训练完成的特征提取网络,提取单视角图像的特征数据;该特征数据包括多通道下的特征矩阵;每个特征矩阵具体可以是一个二维矩阵,每个通道的特征矩阵的尺度(包括长度和宽度)不同;通常,根据每个通道的特征矩阵的输出先后顺序,特征矩阵的尺度逐渐变化;例如,由特征提取网络中浅层卷积层输出的特征矩阵的尺度较大,特征矩阵中每个特征点对应的图像中的区域较小,因而特征矩阵中包含特征的局部属性较强,主要为纹理细节特征;由特征提取网络中深层卷积层输出的特征矩阵的尺度较小,特征矩阵中每个特征点对应的图像中的区域较大,因而特征矩阵中包含特征的全局属性越强,特征点代表的语义也更为抽象。
由于不同通道下的特征矩阵的尺度不同,为了便于提取映射点的局部特征,需要调整每个通道对应的特征矩阵的尺度,以使每个通道对应的特征矩阵的尺度与单视角图像的尺度相匹配。例如,可以以单视角图像的尺度为基准,将大于单视角图像的尺度的特征矩阵进行采样处理,以缩小尺度,使该特征矩阵的尺度与单视角图像的尺度相同;可以将小于单视角图像的尺度的特征矩阵进行插值处理,以扩大尺度,使该特征矩阵的尺度与单视角图像的尺度相同。
然后,根据映射点在单视角图像中的位置,从每个通道对应的特征矩阵中提取映射点对应的特征点,得到映射点的局部特征;该映射点的局部特征包括每个通道对应的特征点。
针对每个映射点,确定了该映射点在单视角图像中的位置后,从每个通道的特征矩阵中确定单视角图像中的位置所对应的位置,再从该位置上提取特征点,该特征点即该映射点的局部特征;当每个通道的特征矩阵的尺度与单视角图像的尺度相同时,可以从每个通道的特征矩阵中,映射点在单视角图像中的位置的相同位置上,提取该映射点的特征点。对于一个映射点,每个通道的特征矩阵中提取一个特征点,即可组成该映射点对应的多个特征点,多个特征点组成一个一维矩阵,该一维矩阵即该映射点的局部特征。
另外需要说明的是,采样点和对称点经相机参数计算得到的映射点,该映射点的点坐标有可能不是整数,例如映射点的点坐标可能是(3.5,4.3),此时,在单视角图像或者特征矩阵中找不到该点坐标所对应的点,因为单视角图像和特征矩阵中只有整数点的位置才有点值;此时,可以采用双线性插值或其他插值方式,通过映射点的点坐标周围的整数点的点坐标,估算得到映射点的点坐标所对应的点值。
具体地,在特征矩阵中,可以通过映射点的点坐标附近的整数点的特征点,估算得到该映射点的点坐标所对应的特征点。例如,映射点的点坐标是(3.5,4.3),此时,可以采用坐标值(3,4)、(4,4)、(3,5)和(4,5)位置上的特征点估算(3.5,4.3)位置上的特征点,得到映射点的特征点。
上述方式中,在提取采样点和采样点的对称点的局部特征时,参考了单视角图像对应的相机参数,基于该相机参数,确定每个采样点的对称点,同时,基于该相机参数将采样点和对称点映射至单视角图像中,从而得到采样点和对称点的局部特征。该方式中的采样点的局部特征,不仅包含采样点本身的局部特征,还包括采样点的对称点的局部特征,使得采样点的局部特征更加准确、丰富、有利于提高三维模型的效果;同时,由于增加了采样点的对称点的局部特征,即使采样点被遮挡,也可以通过对称点得到采样点较为准确的局部特征,提高了三维模型的准确性。
本实施例还提供另一种三维建模方法,本实施例重点描述基于局部特征输出采样点的有符号距离参数的具体实现过程;在输出采样点的有符号距离参数时,不仅需要考虑采样点的局部特征,通常还需要考虑其他因素。
首先,根据采样点在三维空间中的位置,确定采样点的点特征;根据采样点的点特征和局部特征,确定采样点的有符号距离参数。该采样点的点特征,通常与采样点在三维空间中的位置相关,由于不同的采样点在三维空间中的位置不同,因而不同采样点的点特征不同。通过引入采样点的点特征,基于点特征和局部特征,共同确定采样的有符号距离参数,可以提升特征的丰富程度,使采样点的有符号距离参数更准确。
在确定采样点的点特征的过程中,可以将采样点在三维空间中的位置坐标,输入至预先训练完成的第一多层感知器中,以通过第一多层感知器对采样点对应的位置坐标进行体征编码,得到采样点的点特征。其中,采样点在三维空间中的位置坐标通常是三维坐标;该第一多层感知器的神经元数目可以为64、256、512,通过该第一多层感知器,可以将采样点在三维空间中的三维坐标编码为512维特征。每个采样点均可以通过同一第一多层感知器进行编码,即每个采样点的第一多层感知器的参数是共享的。
除了考虑采样点的点特征,还需要考虑单视角图像的全局特征,具体的,可以先提取单视角图像的全局特征;再根据单视角图像的全局特征、采样点的点特征和局部特征,确定采样点的有符号距离参数。通过引入全局特征,基于全局特征、点特征和局部特征,共同确定采样的有符号距离参数,可以进一步提升特征的丰富程度,使采样点的有符号距离参数更准确。
具体而言,可以通过预先训练完成的特征提取网络,提取单视角图像的特征数据;将该特征数据中,特征提取网络的全连接层输出的特征向量,确定为单视角图像的全局特征。由上述实施例可知,单视角图像的特征数据中,包括多通道特征矩阵,特征矩阵的尺度越大,特征矩阵包含特征的局部属性越强,特征矩阵的尺度越小,特征矩阵包含特征的全局属性越强;在大多情况下,特征提取网络包括很多计算层,如卷积层、池化层、全连接层等;特征提取网络的全连接层为网络的最后一层,该全连接层输出的特征向量,可以代表整个单视角图像的特征,因而可以将特征提取网络的全连接层输出的特征向量,确定为单视角图像的全局特征。上述特征提取网络主要通过卷积来提取单视角图像的全局特征,可提取出单视角图像的1024维全局特征。
在根据单视角图像的全局特征、采样点的点特征和局部特征,确定采样点的有符号距离参数时,可以将单视角图像的全局特征和采样点的点特征,确定为采样点的第一特征;将局部特征和采样点的点特征,确定为采样点的第二特征;然后基于第一特征和第二特征确定采样点的有符号距离参数。
具体的,可以将第一特征输入至预先训练完成的第二多层感知器中,以通过第二多层感知器对第一特征进行第一解码处理,得到第一解码特征;将第二特征输入至预先训练完成的第三多层感知器中,以通过第三多层感知器对第二特征进行第二编码处理,得到第二解码特征;将第一解码特征和第二解码特征相加,得到采样点的有符号距离参数。
上述第二多层感知器与第三多层感知器可以相同,也可以不同,当二者相同时,第二多层感知器与第三多层感知器为同一感知器,参数共享。上述第二多层感知器与第三多层感知器的神经元数目可以为512、256、1;上述第一特征中包括全局特征和点特征,该第一特征的维度可以为1536维,其中,全局特征为1024维,点特征为512维,全局特征和点特征串联组合得到第一特征;将第一特征输入至第二多层感知器后,输出第一解码特征。上述第二特征中包括局部特征和点特征,该第二特征的维度可以为3456维,其中,局部特征为2944维,点特征为512维,局部特征和点特征串联组合得到第二特征;其中的局部特征中有一半维度的特征为采样点的局部特征,另一半维度的特征为采样点的对称点的局部特征,即2944维的局部特征中,包括1472维采样点的局部特征,以及1472维采样点的对称点的局部特征。将第二特征输入至第三多层感知器后,输出第二解码特征。上述采样点的有符号距离参数,具体可以为采样点的有符号距离的预测值。
在实际实现时,三维空间中的采样点通常为多个,可以理解,在建立三维模型时,采样点的数量越多,所建立的三维模型的精确度越高。每个采样点的有符号距离,代表该采样点距离待建立的三维模型表面的距离。基于此,可以从多个采样点中,确定有符号距离为零的目标采样点;根据目标采样点组成的平面,建立目标对象的三维模型。其中,有符号距离为零的采样点,可以理解为位于目标对象的三维模型表面的采样点,这些采样点所组成的平面,即可拼接成目标对象的三维模型。
本实施例还提供另一种三维建模方法,本实施例采用网络模型的形式,实现上述实施例的三维建模方法,该网络模型的输入包括单视角图像、预设三维空间中的采样点,以及该采样点的对称点,该网络模型的输出为采样点的有符号距离参数,即采样点的有符号距离。
如图3所示为该网络模型的结构及数据流向示意图;该网络模型包括特征提取网络、多层感知器1、多层感知器2、多层感知器3和多层感知器4;单视角图像输入至特征提取网络后,输出采样点的局部特征,以及单视角图像的全局特征;采样点和对称点输入至多层感知器1,得到点特征;采样点和对称点输入至多层感知器2,得到点特征;该多层感知器1和多层感知器2可以为相同的感知器,相当于上述实施例中的第一多层感知器,输出的点特征也相同。采样点的局部特征和点特征共同输入至多层感知器3,得到第一输出结果;全局特征和点特征共同输入至多层感知器4,得到第二输出结果;该第一输出结果和第二输出结果相加,即可得到采样点的有符号距离。
上述网络模型在训练过程中,采样点预设有标准的有符号距离,将网络模型输出的采样点的预测的有符号距离,和标准的有符号距离的差值的绝对值进行加权求和,得到损失值;其中,标准的有符号距离小于预设阈值δ的权重值为m1,大于δ的权重值为m2,m1大于m2。由于基于深度学习的网络模型往往有大量的权重参数,无法直接显示求解每个权重参数的最优值,所以需要通过损失值来判断权重的优化方向,在多次迭代过程中,沿着梯度方向优化权重之后,损失值如果收敛,则网络模型训练结束。
图4示出了上述网络模型的训练流程图;该训练流程包括下述步骤20-步骤28:
步骤20,输入图像、采样点和相机参数;该图像具体可以为单视角图像;
步骤21,对采样点通过点特征编码器进行特征编码,输出点特征编码;该点特征编码器即上述实施例中的第一多层感知器;该点特征编码即上述点特征;
步骤22,对图像通过图像特征编码器进行图像编码;该图像特征编码器相当于上述实施例中的特征提取网络;
步骤23,从图像特征编码器中得到图像全局特征编码;该图像全局特征编码即上述全局特征;
步骤24,根据相机参数得到采样点和采样点的对称点在图像中的对应位置,进而从图像特征编码器提取图像局部特征编码;该图像局部特征编码即上述局部特征;
步骤25,将点特征编码与图像局部特征编码,组成局部特征编码;将点特征编码与图像全局特征编码,组成全局特征编码;
步骤26,将局部特征编码和全局特征编码分别通过各自的特征解码器进行解码;
步骤27,将两个解码器解码的结果组合,预测出采样点的有符号距离;
步骤28,计算损失值,通过梯度下降进行训练,优化模型中的参数;重复步骤20至步骤28,直到损失收敛。
图5示出了应用上述网络模型进行三维建模流程的流程图;该三维建模流程包括下述步骤30-步骤39:
步骤30,输入图像和采样点;该图像具体可以为单视角图像;
步骤31,对采样点通过点特征编码器进行特征编码,输出点特征编码;该点特征编码器即上述实施例中的第一多层感知器;该点特征编码即上述点特征;
步骤32,对图像通过图像特征编码器进行图像编码;该图像特征编码器相当于上述实施例中的特征提取网络;
步骤33,通过相机网络,得到图像的估计相机参数;该相机网络相当于上述实施例中的相机参数预测网络;
步骤34,从图像特征编码器中得到全局特征编码;该图像全局特征编码即上述全局特征;
步骤35,根据相机参数得到采样点和采样点的对称点在图像中的对应位置,进而从图像特征编码器提取图像局部特征编码;该图像局部特征编码即上述局部特征;
步骤36,将点特征编码与图像局部特征编码,组成局部特征编码;将点特征编码与图像全局特征编码,组成全局特征编码;
步骤37,将局部特征编码和全局特征编码分别通过各自的特征解码器进行解码;
步骤38,将两个解码器解码的结果组合,预测出采样点的有符号距离,得到由多个采样点的有符号距离组成的有符号距离域;
步骤39,通过移动立方格算法,计算有符号距离域中的零等值面位置,得到三维模型。
上述三维建模方式中,通过已知或估计的相机参数,判断目标对象在三维空间中对称的两点在图像中的对应位置,然后,利用目标对象在三维空间中对称的两点在图像中的对应位置,分别提取对应位置的局部特征,共同作为该点的局部特征,再结合图像的全局特征,进行物体网格模型隐式域的预测,最后通过移动立方体算法进行三维网格模型的重建。
上述方式中,通过对称信息,解决了利用局部特征进行单视角图像的三维重建时的自遮挡问题,避免了采样局部特征时,只能用投影方向上距离视角更近的点的特征作为重建的局部特征的问题,能够显著的提高被自遮挡区域的重建效果,对于重建的整体效果也有提高。通过该方式对于不对称物体同样有较好的重建效果。经过实验验证,本实施例提出的三维建模方式,在单视角RGB物体重建问题上,重建的视觉效果和重建的评价指标均优于其他现有的三维重建方式。
对应于上述方法实施例,参见图6所示的一种三维建模装置的结构示意图,该装置包括:
数据获取模块60,用于获取包含有目标对象的单视角图像、以及预设三维空间中的采样点;
特征提取模块61,用于从单视角图像中提取采样点和采样点的对称点的局部特征,基于局部特征输出采样点的有符号距离参数;
其中,采样点和对称点基于三维空间中预设的基准面对称;有符号距离参数用于:指示采样点与待建立的目标对象的三维模型之间的位置关系;
模型建立模块62,用于根据采样点的有符号距离参数,建立目标对象的三维模型。
上述三维建模装置中,从单视角图像中提取采样点和采样点的对称点的局部特征,基于局部特征输出采样点的有符号距离参数;其中的采样点和对称点基于三维空间中预设的基准面对称;进而根据采样点的有符号距离参数,建立目标对象的三维模型。该方式中的采样点的局部特征,不仅包含采样点本身的局部特征,还包括采样点的对称点的局部特征,使得采样点的局部特征更加准确、丰富、有利于提高三维模型的效果;同时,由于增加了采样点的对称点的局部特征,即使采样点被遮挡,也可以通过对称点得到采样点较为准确的局部特征,提高了三维模型的准确性。
进一步地,上述特征提取模块还用于,获取单视角图像的相机参数;相机参数包括:目标对象在单视角图像中的姿态,相对于三维空间中标定姿态的映射关系;根据相机参数,确定采样点和采样点的对称点在单视角图像中的映射点;从单视角图像中提取映射点的局部特征,将映射点的局部特征确定为采样点和采样点的对称点的局部特征。
进一步地,上述特征提取模块还用于,将单视角图像输入至预先训练完成的相机参数预测网络,输出单视角图像的相机参数。
进一步地,上述特征提取模块还用于,根据相机参数,将标定姿态对应的xy平面进行第一映射处理,得到基准面;确定采样点相对于基准面的对称点;根据相机参数,将采样点和对称点进行第二映射处理,得到采样点和对称点在单视角图像中的映射点。
进一步地,上述特征提取模块还用于,通过预先训练完成的特征提取网络,提取单视角图像的特征数据;特征数据包括多通道下的特征矩阵;根据映射点在单视角图像中的位置,从每个通道对应的特征矩阵中提取映射点对应的特征点,得到映射点的局部特征;映射点的局部特征包括每个通道对应的特征点。
进一步地,上述装置还包括尺度调整模块,用于调整每个通道对应的特征矩阵的尺度,以使每个通道对应的特征矩阵的尺度与单视角图像的尺度相匹配。
进一步地,上述特征提取模块还用于,根据采样点在三维空间中的位置,确定采样点的点特征;根据采样点的点特征和局部特征,确定采样点的有符号距离参数。
进一步地,上述特征提取模块还用于,将采样点在三维空间中的位置坐标,输入至预先训练完成的第一多层感知器中,以通过第一多层感知器对采样点对应的位置坐标进行体征编码,得到采样点的点特征。
进一步地,上述特征提取模块还用于,提取单视角图像的全局特征;根据单视角图像的全局特征、采样点的点特征和局部特征,确定采样点的有符号距离参数。
进一步地,上述特征提取模块还用于,通过预先训练完成的特征提取网络,提取单视角图像的特征数据;将特征数据中,特征提取网络的全连接层输出的特征向量,确定为单视角图像的全局特征。
进一步地,上述特征提取模块还用于,将单视角图像的全局特征和采样点的点特征,确定为采样点的第一特征;将局部特征和采样点的点特征,确定为采样点的第二特征;基于第一特征和第二特征确定采样点的有符号距离参数。
进一步地,上述特征提取模块还用于,基于第一特征和第二特征确定采样点的有符号距离参数的步骤,包括:将第一特征输入至预先训练完成的第二多层感知器中,以通过第二多层感知器对第一特征进行第一解码处理,得到第一解码特征;将第二特征输入至预先训练完成的第三多层感知器中,以通过第三多层感知器对第二特征进行第二编码处理,得到第二解码特征;将第一解码特征和第二解码特征相加,得到采样点的有符号距离参数。
进一步地,上述有符号距离参数包括采样点的有符号距离;采样点包括多个;上述模型建立模块还用于,从多个采样点中,确定有符号距离为零的目标采样点;根据目标采样点组成的平面,建立目标对象的三维模型。
本实施例还提供一种服务器,包括处理器和存储器,存储器存储有能够被处理器执行的机器可执行指令,处理器执行机器可执行指令以实现上述三维建模方法。
参见图7所示,该服务器包括处理器100和存储器101,该存储器101存储有能够被处理器100执行的机器可执行指令,该处理器100执行机器可执行指令以实现上述三维建模方法。
进一步地,图7所示的服务器还包括总线102和通信接口103,处理器100、通信接口103和存储器101通过总线102连接。
其中,存储器101可能包含高速随机存取存储器(RAM,Random AccessMemory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。总线102可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图7中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
处理器100可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器100中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器100可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DigitalSignal Processor,简称DSP)、专用集成电路(Application Specific IntegratedCircuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器101,处理器100读取存储器101中的信息,结合其硬件完成前述实施例的方法的步骤。
本实施例还提供一种机器可读存储介质,机器可读存储介质存储有机器可执行指令,机器可执行指令在被处理器调用和执行时,机器可执行指令促使处理器实现上述三维建模方法。
本发明实施例所提供的三维建模方法、装置和服务器的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
另外,在本发明实施例的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (16)

1.一种三维建模方法,其特征在于,所述方法包括:
获取包含有目标对象的单视角图像、以及预设三维空间中的采样点;
从所述单视角图像中提取所述采样点和所述采样点的对称点的局部特征,基于所述局部特征输出所述采样点的有符号距离参数;
其中,所述采样点和所述对称点基于所述三维空间中预设的基准面对称;所述有符号距离参数用于:指示所述采样点与待建立的所述目标对象的三维模型之间的位置关系;
根据所述采样点的有符号距离参数,建立所述目标对象的三维模型。
2.根据权利要求1所述的方法,其特征在于,从所述单视角图像中提取所述采样点和所述采样点的对称点的局部特征的步骤,包括:
获取所述单视角图像的相机参数;所述相机参数包括:所述目标对象在所述单视角图像中的姿态,相对于所述三维空间中标定姿态的映射关系;
根据所述相机参数,确定所述采样点和所述采样点的对称点在所述单视角图像中的映射点;
从所述单视角图像中提取所述映射点的局部特征,将所述映射点的局部特征确定为所述采样点和所述采样点的对称点的局部特征。
3.根据权利要求2所述的方法,其特征在于,获取所述单视角图像的相机参数的步骤,包括:将所述单视角图像输入至预先训练完成的相机参数预测网络,输出所述单视角图像的相机参数。
4.根据权利要求2所述的方法,其特征在于,根据所述相机参数,确定所述采样点和所述采样点的对称点在所述单视角图像中的映射点的步骤,包括:
根据所述相机参数,将所述标定姿态对应的xy平面进行第一映射处理,得到所述基准面;
确定所述采样点相对于所述基准面的对称点;
根据所述相机参数,将所述采样点和所述对称点进行第二映射处理,得到所述采样点和所述对称点在所述单视角图像中的映射点。
5.根据权利要求2所述的方法,其特征在于,从所述单视角图像中提取所述映射点的局部特征的步骤,包括:
通过预先训练完成的特征提取网络,提取所述单视角图像的特征数据;所述特征数据包括多通道下的特征矩阵;
根据所述映射点在所述单视角图像中的位置,从每个通道对应的特征矩阵中提取所述映射点对应的特征点,得到所述映射点的局部特征;所述映射点的局部特征包括每个所述通道对应的特征点。
6.根据权利要求5所述的方法,其特征在于,根据所述映射点在所述单视角图像中的位置,从每个通道对应的特征矩阵中确定所述映射点对应的特征点的步骤之前,所述方法还包括:
调整每个通道对应的特征矩阵的尺度,以使每个通道对应的特征矩阵的尺度与所述单视角图像的尺度相匹配。
7.根据权利要求1所述的方法,其特征在于,基于所述局部特征输出所述采样点的有符号距离参数的步骤,包括:
根据所述采样点在所述三维空间中的位置,确定所述采样点的点特征;
根据所述采样点的点特征和所述局部特征,确定所述采样点的有符号距离参数。
8.根据权利要求7所述的方法,其特征在于,根据所述采样点在所述三维空间中的位置,确定所述采样点的点特征的步骤,包括:
将所述采样点在所述三维空间中的位置坐标,输入至预先训练完成的第一多层感知器中,以通过所述第一多层感知器对所述采样点对应的位置坐标进行体征编码,得到所述采样点的点特征。
9.根据权利要求7所述的方法,其特征在于,根据所述采样点的点特征和所述局部特征,确定所述采样点的有符号距离参数的步骤,包括:
提取所述单视角图像的全局特征;
根据所述单视角图像的全局特征、所述采样点的点特征和所述局部特征,确定所述采样点的有符号距离参数。
10.根据权利要求9所述的方法,其特征在于,提取所述单视角图像的全局特征的步骤,包括:
通过预先训练完成的特征提取网络,提取所述单视角图像的特征数据;
将所述特征数据中,所述特征提取网络的全连接层输出的特征向量,确定为所述单视角图像的全局特征。
11.根据权利要求9所述的方法,其特征在于,根据所述单视角图像的全局特征、所述采样点的点特征和所述局部特征,确定所述采样点的有符号距离参数的步骤,包括:
将所述单视角图像的全局特征和所述采样点的点特征,确定为所述采样点的第一特征;
将所述局部特征和所述采样点的点特征,确定为所述采样点的第二特征;
基于所述第一特征和所述第二特征确定所述采样点的有符号距离参数。
12.根据权利要求11所述的方法,其特征在于,基于所述第一特征和所述第二特征确定所述采样点的有符号距离参数的步骤,包括:
将所述第一特征输入至预先训练完成的第二多层感知器中,以通过所述第二多层感知器对所述第一特征进行第一解码处理,得到第一解码特征;
将所述第二特征输入至预先训练完成的第三多层感知器中,以通过所述第三多层感知器对所述第二特征进行第二编码处理,得到第二解码特征;
将所述第一解码特征和所述第二解码特征相加,得到所述采样点的有符号距离参数。
13.根据权利要求1所述的方法,其特征在于,所述有符号距离参数包括所述采样点的有符号距离;所述采样点包括多个;
所述根据所述采样点的有符号距离参数,建立所述目标对象的三维模型的步骤,包括:
从多个所述采样点中,确定有符号距离为零的目标采样点;
根据所述目标采样点组成的平面,建立所述目标对象的三维模型。
14.一种三维建模装置,其特征在于,所述装置包括:
数据获取模块,用于获取包含有目标对象的单视角图像、以及预设三维空间中的采样点;
特征提取模块,用于从所述单视角图像中提取所述采样点和所述采样点的对称点的局部特征,基于所述局部特征输出所述采样点的有符号距离参数;
其中,所述采样点和所述对称点基于所述三维空间中预设的基准面对称;所述有符号距离参数用于:指示所述采样点与待建立的所述目标对象的三维模型之间的位置关系;
模型建立模块,用于根据所述采样点的有符号距离参数,建立所述目标对象的三维模型。
15.一种服务器,其特征在于,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器执行所述机器可执行指令以实现权利要求1-13任一项所述的三维建模方法。
16.一种机器可读存储介质,其特征在于,所述机器可读存储介质存储有机器可执行指令,所述机器可执行指令在被处理器调用和执行时,所述机器可执行指令促使所述处理器实现权利要求1-13任一项所述的三维建模方法。
CN202010329846.5A 2020-04-23 2020-04-23 三维建模方法、装置和服务器 Active CN111524232B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010329846.5A CN111524232B (zh) 2020-04-23 2020-04-23 三维建模方法、装置和服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010329846.5A CN111524232B (zh) 2020-04-23 2020-04-23 三维建模方法、装置和服务器

Publications (2)

Publication Number Publication Date
CN111524232A true CN111524232A (zh) 2020-08-11
CN111524232B CN111524232B (zh) 2023-07-25

Family

ID=71902748

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010329846.5A Active CN111524232B (zh) 2020-04-23 2020-04-23 三维建模方法、装置和服务器

Country Status (1)

Country Link
CN (1) CN111524232B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785494A (zh) * 2021-01-26 2021-05-11 网易(杭州)网络有限公司 一种三维模型构建方法、装置、电子设备和存储介质
CN113009590A (zh) * 2021-02-01 2021-06-22 西南科技大学 一种车底安检系统中的异物三维检测系统及方法
CN113793422A (zh) * 2021-08-13 2021-12-14 深圳安泰创新科技股份有限公司 三维模型的显示控制方法、电子设备及可读存储介质
CN117541721A (zh) * 2023-11-16 2024-02-09 国网湖北省电力有限公司超高压公司 一种基于旋转对称性的变电设备三维模型构建方法与系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101303772A (zh) * 2008-06-20 2008-11-12 浙江大学 一种基于单幅图像的非线性三维人脸建模方法
CN109285215A (zh) * 2018-08-28 2019-01-29 腾讯科技(深圳)有限公司 一种人体三维模型重建方法、装置和存储介质
CN110044293A (zh) * 2018-01-17 2019-07-23 深圳中科飞测科技有限公司 一种三维重构系统及三维重构方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101303772A (zh) * 2008-06-20 2008-11-12 浙江大学 一种基于单幅图像的非线性三维人脸建模方法
CN110044293A (zh) * 2018-01-17 2019-07-23 深圳中科飞测科技有限公司 一种三维重构系统及三维重构方法
WO2019140778A1 (zh) * 2018-01-17 2019-07-25 深圳中科飞测科技有限公司 一种三维重构系统及三维重构方法
CN109285215A (zh) * 2018-08-28 2019-01-29 腾讯科技(深圳)有限公司 一种人体三维模型重建方法、装置和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王靖鑫: "基于单幅图像的三维重建技术研究" *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785494A (zh) * 2021-01-26 2021-05-11 网易(杭州)网络有限公司 一种三维模型构建方法、装置、电子设备和存储介质
CN112785494B (zh) * 2021-01-26 2023-06-16 网易(杭州)网络有限公司 一种三维模型构建方法、装置、电子设备和存储介质
CN113009590A (zh) * 2021-02-01 2021-06-22 西南科技大学 一种车底安检系统中的异物三维检测系统及方法
CN113009590B (zh) * 2021-02-01 2022-04-08 西南科技大学 一种车底安检系统中的异物三维检测系统及方法
CN113793422A (zh) * 2021-08-13 2021-12-14 深圳安泰创新科技股份有限公司 三维模型的显示控制方法、电子设备及可读存储介质
CN113793422B (zh) * 2021-08-13 2024-02-23 深圳安泰创新科技股份有限公司 三维模型的显示控制方法、电子设备及可读存储介质
CN117541721A (zh) * 2023-11-16 2024-02-09 国网湖北省电力有限公司超高压公司 一种基于旋转对称性的变电设备三维模型构建方法与系统
CN117541721B (zh) * 2023-11-16 2024-05-28 国网湖北省电力有限公司超高压公司 一种基于旋转对称性的变电设备三维模型构建方法与系统

Also Published As

Publication number Publication date
CN111524232B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
CN111047548B (zh) 姿态变换数据处理方法、装置、计算机设备和存储介质
CN111524232A (zh) 三维建模方法、装置和服务器
CN112396645B (zh) 一种基于卷积残差学习的单目图像深度估计方法和系统
CN111819568A (zh) 人脸旋转图像的生成方法及装置
CN112215050A (zh) 非线性3dmm人脸重建和姿态归一化方法、装置、介质及设备
CN112529015A (zh) 一种基于几何解缠的三维点云处理方法、装置及设备
CN111462124A (zh) 一种基于DeepLabV3+的遥感卫星云检测方法
CN114219855A (zh) 点云法向量的估计方法、装置、计算机设备和存储介质
CN112328715A (zh) 视觉定位方法及相关模型的训练方法及相关装置、设备
CN111488810A (zh) 人脸识别方法、装置、终端设备及计算机可读介质
CN112967327A (zh) 基于联合自注意力机制的单目深度方法
CN111862278B (zh) 一种动画获得方法、装置、电子设备及存储介质
CN116977674A (zh) 图像匹配方法、相关设备、存储介质及程序产品
CN113723294B (zh) 数据处理方法、装置及对象识别方法、装置
CN116958420A (zh) 一种数字人教师三维人脸的高精度建模方法
CN110659641B (zh) 一种文字识别的方法、装置及电子设备
CN117095132B (zh) 基于隐式函数的三维重建方法和系统
CN114266693A (zh) 图像处理方法、模型生成方法及设备
CN112329662B (zh) 基于无监督学习的多视角显著性估计方法
CN116758212A (zh) 基于自适应去噪算法的3d重建方法、装置、设备及介质
CN111860668A (zh) 一种针对原始3d点云处理的深度卷积网络的点云识别方法
WO2023071806A1 (zh) 先验空间的生成方法、装置、计算机设备、存储介质、计算机程序及计算机程序产品
CN116826734A (zh) 一种基于多输入模型的光伏发电功率预测方法及装置
CN116486038A (zh) 一种三维构建网络训练方法、三维模型生成方法以及装置
CN115861384A (zh) 基于生成对抗和注意力机制的光流估计方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant