CN115205494A - 对象建模方法、装置、计算机设备和存储介质 - Google Patents
对象建模方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN115205494A CN115205494A CN202210799536.9A CN202210799536A CN115205494A CN 115205494 A CN115205494 A CN 115205494A CN 202210799536 A CN202210799536 A CN 202210799536A CN 115205494 A CN115205494 A CN 115205494A
- Authority
- CN
- China
- Prior art keywords
- virtual model
- image
- processed
- image acquisition
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种对象建模方法、装置、计算机设备和存储介质。方法包括:获取待处理图像;待处理图像为至少两个图像采集设备对处于转动状态的目标对象进行拍摄得到;根据目标对象对应的第一虚拟模型、拍摄各待处理图像时对应的图像采集设备的位姿以及各图像采集设备间的可视关系,确定目标对象对应的第二虚拟模型;其中,组成第二虚拟模型的网格面片的精细程度高于组成第一虚拟模型的网格面片;根据第二虚拟模型对应的纹理贴图,对第二虚拟模型进行渲染,得到目标对象对应的目标虚拟模型。采用本方法能够可以减少第二虚拟模型建模过程中错误网格面片的产生,从而在根据第二虚拟模型得到渲染后的目标虚拟模型时,有效提升了目标虚拟模型的精度。
Description
技术领域
本申请涉及计算机视觉技术领域,特别是涉及一种对象建模方法、装置、计算机设备和存储介质。
背景技术
计算机视觉是使用计算机及相关设备对生物视觉的一种模拟。它的主要任务就是通过对采集的图片或视频进行处理以获得相应场景的三维信息。
然而,传统技术中,在对物体进行拍摄以实现三维信息获取并对物体进行三维建模的过程中,往往由于对物体进行拍摄得到的图像众多,难以对根据多张图像提取出的三维信息进行精确融合,导致最终得到的物体对应的三维模型与原始物体间的差别较大。
因此,传统技术中,存在着对象建模精度低的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高对象建模精度的对象建模方法、装置、计算机设备和计算机可读存储介质。
第一方面,本申请提供了一种对象建模方法。所述方法包括:
获取待处理图像;所述待处理图像为至少两个图像采集设备对处于转动状态的目标对象进行拍摄得到;
根据所述目标对象对应的第一虚拟模型、拍摄各所述待处理图像时对应的图像采集设备的位姿以及各所述图像采集设备间的可视关系,确定所述目标对象对应的第二虚拟模型;其中,组成所述第二虚拟模型的网格面片的精细程度高于组成所述第一虚拟模型的网格面片;
根据所述第二虚拟模型对应的纹理贴图,对所述第二虚拟模型进行渲染,得到所述目标对象对应的目标虚拟模型。
在其中一个实施例中,所述目标对象设置于处于转动状态的转台上;所述转台的形状为圆形;所述转台的表面包括有用于放置所述目标对象的预设区域;所述转台的表面在所述预设区域以外的区域设置有标记图像;各所述标记图像围绕着所述转台的旋转中心点阵列排布;所述方法还包括:
根据各所述待处理图像中的标记图像对应的角点平面坐标,按照预设标定算法确定拍摄各所述待处理图像时对应的图像采集设备的初始位姿;
根据预设优化算法,对所述对应的图像采集设备的初始位姿进行优化,得到所述拍摄各所述待处理图像时对应的图像采集设备的位姿。
在其中一个实施例中,所述获取待处理图像,包括:
控制各所述图像采集设备按照预设拍摄参数和预设拍摄频率,同时对所述目标对象进行拍摄,得到所述转台旋转至少一圈后各所述图像采集设备采集到的图像,作为所述待处理图像;
其中,各所述图像采集设备的拍摄镜头对准所述转台的旋转中心点;相邻的所述图像采集设备对应的拍摄视场部分重叠。
在其中一个实施例中,各所述标记图像的尺寸相同,形状为正方形;所述方法还包括:
在所述转台的表面所处的平面中建立直角坐标系;所述直角坐标系的坐标原点为所述转台的旋转中心点;所述直角坐标系的一坐标轴为所述转台的旋转中心点与其中一个所述标记图像的中心点的连线;
基于各所述标记图像在所述直角坐标系中的相对位置关系,确定各所述标记图像对应的角点平面坐标。
在其中一个实施例中,所述方法还包括:
将所述中心点在所述直角坐标系的一坐标轴上的标记图像作为目标标记图像,确定所述目标标记图像与所述旋转中心点之间的目标夹角;
根据所述目标夹角,确定目标标记数量;
根据所述目标标记数量,将各所述标记图像围绕着所述转台的旋转中心点阵列排布,组成形状为圆形的均匀标记图像阵列。
在其中一个实施例中,所述目标对象上方设置有环形光源;所述图像采集设备和所述环形光源设置于隔绝外部光源的箱体中;所述箱体的内壁具有漫反射层;所述根据所述目标对象对应的第一虚拟模型、拍摄各所述待处理图像时对应的图像采集设备的位姿以及各所述图像采集设备间的可视关系,确定所述目标对象对应的第二虚拟模型,包括:
根据所述第一虚拟模型、拍摄各所述待处理图像时对应的图像采集设备的位姿以及各所述图像采集设备间的可视关系,按照预设的多视角密集点云生成算法确定所述目标对象对应的点云;所述第一虚拟模型用于在确定所述点云的过程中减小深度采样范围;
根据所述点云、所述第一虚拟模型、拍摄各所述待处理图像时对应的图像采集设备的位姿以及各所述图像采集设备间的可视关系,按照基于神经辐射场渲染的几何重建算法确定所述第二虚拟模型。
在其中一个实施例中,所述根据所述点云、所述第一虚拟模型、拍摄各所述待处理图像时对应的图像采集设备的位姿以及各所述图像采集设备间的可视关系,按照基于神经辐射场渲染的几何重建算法确定所述第二虚拟模型,包括:
根据所述第一虚拟模型的表面与预设虚拟模型的网格顶点之间的距离,构造预设能量函数;
对所述预设能量函数进行优化,当所述预设能量函数趋于稳定时,得到目标优化结果;
根据所述目标优化结果、所述点云、拍摄各所述待处理图像时对应的图像采集设备的位姿以及各所述图像采集设备间的可视关系,按照所述几何重建算法,对所述预设虚拟模型进行优化,得到所述第二虚拟模型。
在其中一个实施例中,所述根据所述第二虚拟模型对应的纹理贴图,对所述第二虚拟模型进行渲染,得到所述目标对象对应的目标虚拟模型的步骤之前,所述方法还包括:
根据拍摄各所述待处理图像时对应的图像采集设备的位姿以及各所述图像采集设备间的可视关系,建立所述待处理图像对应的可见光数据与组成所述第二虚拟模型的网格面片之间的映射关系;
根据所述映射关系,确定所述第二虚拟模型对应的纹理贴图。
第二方面,本申请还提供了一种对象建模系统。所述系统包括:控制器和至少两个图像采集设备;
所述至少两个图像采集设备,用于对处于转动状态的目标对象进行拍摄,得到待处理图像;
所述控制器,用于根据所述目标对象对应的第一虚拟模型、拍摄各所述待处理图像时对应的图像采集设备的位姿以及各所述图像采集设备间的可视关系,确定所述目标对象对应的第二虚拟模型;其中,组成所述第二虚拟模型的网格面片的精细程度高于组成所述第一虚拟模型的网格面片;
所述控制器,还用于根据所述第二虚拟模型对应的纹理贴图,对所述第二虚拟模型进行渲染,得到所述目标对象对应的目标虚拟模型。
在其中一个实施例中,所述系统还包括隔绝外部光源且内壁具有漫反射层的箱体:所述箱体包括用于放置所述目标对象的转台、所述至少两个图像采集设备和设置于所述转台上方的环形光源。
第三方面,本申请还提供了一种对象建模装置。所述装置包括:
获取模块,用于获取待处理图像;所述待处理图像为至少两个图像采集设备对处于转动状态的目标对象进行拍摄得到;
确定模块,用于根据所述目标对象对应的第一虚拟模型、拍摄各所述待处理图像时对应的图像采集设备的位姿以及各所述图像采集设备间的可视关系,确定所述目标对象对应的第二虚拟模型;其中,组成所述第二虚拟模型的网格面片的精细程度高于组成所述第一虚拟模型的网格面片;
渲染模块,用于根据所述第二虚拟模型对应的纹理贴图,对所述第二虚拟模型进行渲染,得到所述目标对象对应的目标虚拟模型。
第四方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述的方法的步骤。
第五方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的方法的步骤。
上述对象建模方法、装置、计算机设备和存储介质,通过获取待处理图像;其中,待处理图像为至少两个图像采集设备对处于转动状态的目标对象进行拍摄得到;然后,根据目标对象对应的第一虚拟模型、拍摄各待处理图像时对应的图像采集设备的位姿以及各图像采集设备间的可视关系,确定目标对象对应的第二虚拟模型;其中,组成第二虚拟模型的网格面片的精细程度高于组成第一虚拟模型的网格面片;根据第二虚拟模型对应的纹理贴图,对第二虚拟模型进行渲染,得到目标对象对应的目标虚拟模型;如此,通过目标对象对应的网格面片精细程度较低的第一虚拟模型,拍摄各待处理图像时对应的图像采集设备的位姿以及各图像采集设备间的可视关系,计算目标对象对应的网格面片精细程度较高的第二虚拟模型,可以减少第二虚拟模型建模过程中错误网格面片的产生,提高第二虚拟模型的建模精度,并通过纹理贴图对第二虚拟模型进行渲染,提高目标对象对应的虚拟模型的真实感,使得最终得到的渲染后目标虚拟模型与目标对象间的差别较小,有效提升了目标对象对应的虚拟模型的精度。
附图说明
图1为一个实施例中一种对象建模方法的流程示意图;
图2为一个实施例中一种图像采集设备对应的拍摄视场的示意图;
图3为一个实施例中一种ArUco标记图像在圆形转台上的排布示意图;
图4为另一个实施例中一种对象建模方法的流程示意图;
图5为一个实施例中一种箱体内部各装置的结构平面示意图;
图6为一个实施例中一种对象建模装置的结构框图;
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在一个实施例中,如图1所示,提供了一种对象建模方法,可以应用于可以应用于服务器或终端,服务器可以是独立的服务器或者是多个服务器组成的服务器集群;终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。以该方法应用于服务器为例进行说明,方法包括:
步骤S110,获取待处理图像。
其中,待处理图像为至少两个图像采集设备对处于转动状态的目标对象进行拍摄得到。
其中,目标对象为待建模的对象。
具体实现中,目标对象开始转动后,服务器可以控制至少两个图像采集设备在不同拍摄视角下对处于转动状态的目标对象进行拍摄,得到各图像采集设备采集到的待处理图像。
步骤S120,根据目标对象对应的第一虚拟模型、拍摄各待处理图像时对应的图像采集设备的位姿以及各图像采集设备间的可视关系,确定目标对象对应的第二虚拟模型。
其中,各图像采集设备间的可视关系可以为各图像采集设备之间的相对位姿关系。
其中,组成第二虚拟模型的网格面片的精细程度高于组成第一虚拟模型的网格面片。
其中,网格面片可以是三角网格面片。
其中,第一虚拟模型在实际应用中也可以命名为粗糙表面三维模型,第二虚拟模型在实际应用中也可以命名为精细表面三维模型。
其中,服务器可以根据各待处理图像中目标对象对应的遮罩图像,以及拍摄各待处理图像时对应的图像采集设备的位姿,确定目标对象对应的第一虚拟模型。
其中,遮罩图像为目标对象对应的像素级别的掩码图像。
其中,转台的表面在放置目标对象的预设区域以外的区域设置有标记图像。
其中,待处理图像中包含标记图像。
其中,服务器可以对各待处理图像进行图像分割,以得到各待处理图像中目标对象对应的遮罩图像;同时,服务器可以根据各待处理图像中拍摄到的标记图像,对图像采集设备进行定位,确定拍摄各待处理图像时对应的图像采集设备的位姿。然后,服务器可以根据各待处理图像中目标对象对应的遮罩图像,以及拍摄各待处理图像时对应的图像采集设备的位姿,按照预设的算法,确定目标对象对应的第一虚拟模型。
具体来说,该预设的算法可以是Visual Hull(可见外壳)算法。可见外壳是由空间物体的所有已知侧影轮廓线决定的该物体的凸包,是一种由形状到轮廓的3D重建技术来构建几何对象。通过Visual Hull(可见外壳)算法,服务器可以根据各待处理图像中目标对象对应的遮罩图像,以及拍摄各待处理图像时对应的图像采集设备的位姿,得到目标对象在不同视角下对应的侧影轮廓线,通过目标对象在所有视角下的侧影轮廓线确定目标对象的凸包,得到目标对象对应的第一虚拟模型。
同时,服务器在根据各待处理图像中拍摄到的标记图像,对图像采集设备进行定位的过程中,可以根据相邻两张待处理图像是否出现了目标对象的相同特征点,确定相邻的待处理图像中目标对象的特征点间的对应关系,从而可以确定拍摄各待处理图像时,各图像采集设备之间的相对位姿关系,作为拍摄各待处理图像时各图像采集设备间的可视关系。
然后,服务器可以根据拍摄各待处理图像时对应的图像采集设备的位姿以及各图像采集设备间的可视关系,按照预设的点云生成算法,生成目标对象对应的点云,并利用第一虚拟模型加速点云的生成以及减少错误点的生成;之后,服务器可以根据目标对象对应的点云、拍摄各待处理图像时对应的图像采集设备的位姿以及各图像采集设备间的可视关系,按照预设的集合重建算法生成目标对象对应的第二虚拟模型;而第一虚拟模型在生成第二虚拟模型过程中,可以用于加速第二虚拟模型的生成并减少第二虚拟模型生成过程中错误网格面片的生成。
步骤S130,根据第二虚拟模型对应的纹理贴图,对第二虚拟模型进行渲染,得到目标对象对应的目标虚拟模型。
具体实现中,服务器可以根据拍摄各待处理图像时对应的图像采集设备的位姿以及各图像采集设备间的可视关系,将待处理图像对应的可见光数据与第二虚拟模型的表面相关联,以得到第二虚拟模型对应的纹理贴图,并根据该纹理贴图对第二虚拟模型进行渲染,得到目标对象对应的渲染后的目标虚拟模型。
上述对象建模方法,通过获取待处理图像;其中,待处理图像为至少两个图像采集设备对处于转动状态的目标对象进行拍摄得到;然后,根据目标对象对应的第一虚拟模型、拍摄各待处理图像时对应的图像采集设备的位姿以及各图像采集设备间的可视关系,确定目标对象对应的第二虚拟模型;其中,组成第二虚拟模型的网格面片的精细程度高于组成第一虚拟模型的网格面片;根据第二虚拟模型对应的纹理贴图,对第二虚拟模型进行渲染,得到目标对象对应的目标虚拟模型;如此,通过目标对象对应的网格面片精细程度较低的第一虚拟模型,拍摄各待处理图像时对应的图像采集设备的位姿以及各图像采集设备间的可视关系,计算目标对象对应的网格面片精细程度较高的第二虚拟模型,可以减少第二虚拟模型建模过程中错误网格面片的产生,提高第二虚拟模型的建模精度,并通过纹理贴图对第二虚拟模型进行渲染,提高目标对象对应的虚拟模型的真实感,使得最终得到的渲染后目标虚拟模型与目标对象间的差别较小,有效提升了目标对象对应的虚拟模型的精度。
在另一个实施例中,目标对象设置于处于转动状态的转台上;转台的形状为圆形;转台的表面包括有用于放置目标对象的预设区域;转台的表面在预设区域以外的区域设置有标记图像;各标记图像围绕着转台的旋转中心点阵列排布;方法还包括:根据各待处理图像中的标记图像对应的角点平面坐标,按照预设标定算法确定拍摄各待处理图像时对应的图像采集设备的初始位姿;根据预设优化算法,对对应的图像采集设备的初始位姿进行优化,得到拍摄各待处理图像时对应的图像采集设备的位姿。
其中,各标记图像围绕着转台的旋转中心点阵列均匀排布,组成形状为圆形的标记图像阵列。
其中,预设区域的中心点与转台的旋转中心点重合。
其中,预设标定算法可以为张正友平面标定法。
其中,预设优化算法可以为Bundle Adjustment(光束法平差)。
具体实现中,目标对象设置于处于转动状态的转台上,当转台开始转动后,目标对象处于转动状态;转台可以为圆形转台,转台的表面包括有用于放置目标对象的预设区域,且该预设区域的中心点与转台的旋转中心点重合,可以将目标对象放置于预设区域的中心点处;同时,转台的表面在预设区域以外的区域设置有标记图像,各标记图像围绕着转台的旋转中心点阵列均匀排布,组成形状为圆形的标记图像阵列,使得图像采集设备的拍摄镜头对准所述转台的旋转中心点对目标对象进行拍摄后,得到的待处理图像中包含标记图像。
然后,服务器可以对待处理图像中包含的标记图像进行识别,确定标记图像对应的角点平面坐标,并根据待处理图像中的标记图像对应的角点平面坐标,按照张正友平面标定法计算拍摄各待处理图像时对应的图像采集设备的初始位姿;之后,可以使用BundleAdjustment算法对拍摄各待处理图像时对应的图像采集设备的初始位姿进行优化,得到优化后的位姿,作为拍摄各待处理图像时对应的图像采集设备的位姿。
本实施例的技术方案,目标对象设置于处于转动状态的转台上;转台的形状为圆形;转台的表面包括有用于放置目标对象的预设区域;转台的表面在预设区域以外的区域设置有标记图像;各标记图像围绕着转台的旋转中心点阵列排布;通过根据各待处理图像中的标记图像对应的角点平面坐标,按照预设标定算法确定拍摄各待处理图像时对应的图像采集设备的初始位姿;根据预设优化算法,对对应的图像采集设备的初始位姿进行优化,得到拍摄各待处理图像时对应的图像采集设备的位姿;如此,可以准确得到各待处理图像对应的优化后位姿,从而可以根据不同拍摄视角、不同方向上的待处理图像对应的优化后位姿,准确恢复出目标对象对应的虚拟模型,实现对目标对象地精准建模。
在另一个实施例中,获取待处理图像,包括:控制各图像采集设备按照预设拍摄参数和预设拍摄频率,同时对目标对象进行拍摄,得到转台旋转至少一圈后各图像采集设备采集到的图像,作为待处理图像。
其中,各图像采集设备的拍摄镜头对准转台的旋转中心点;相邻的图像采集设备对应的拍摄视场部分重叠。
其中,预设拍摄参数可以包括但不限于为图像采集设备对应的快门参数、ISO(感光度)、光圈、焦距。
其中,各图像采集设备对应的预设拍摄频率相同。
具体实现中,各图像采集设备的拍摄镜头对准转台的旋转中心点,且相邻的图像采集设备对应的拍摄视场部分重叠;在转台开始转动后,服务器可以控制各图像采集设备按照预设拍摄参数和预设拍摄频率,同时对目标对象进行拍摄,得到转台旋转至少一圈后各图像采集设备采集到的图像,作为待处理图像。
优选地,可以将转台旋转一圈后各图像采集设备采集到的图像,作为待处理图像。
为了便于本领域技术人员理解,图2提供了一种图像采集设备对应的拍摄视场的示意图。如图2所示,转台表面放置有目标对象;图像采集设备1和图像采集设备2的拍摄镜头对准转台的旋转中心点,图像采集设备1对应的拍摄视场201和图像采集设备2对应的拍摄视场202部分重叠。
本实施例的技术方案,各图像采集设备的拍摄镜头对准转台的旋转中心点;相邻的图像采集设备对应的拍摄视场部分重叠,通过控制各图像采集设备按照预设拍摄参数和预设拍摄频率,同时对目标对象进行拍摄,得到转台旋转至少一圈后各图像采集设备采集到的图像,作为待处理图像;如此,各图像采集设备的拍摄镜头对准转台的旋转中心点,相邻的图像采集设备对应的拍摄视场部分重叠,从而在转台的旋转过程中,目标对象的同一特征点可以同时被不同拍摄视角下的至少两个图像采集设备采集到,进而在转台旋转至少一圈后,可以根据不同图像采集设备采集到的目标对象在不同拍摄视角、不同方向上对应的待处理图像,准确确定待处理图像中目标对象的特征点间的对应关系,以准确确定拍摄各待处理图像时,各图像采集设备之间的可视关系。
在另一个实施例中,方法还包括:在转台的表面所处的平面中建立直角坐标系;基于各标记图像在直角坐标系中的相对位置关系,确定各标记图像对应的角点平面坐标。
其中,各标记图像的尺寸相同,形状为正方形。
其中,标记图像可以为ArUco(一种二维基准标识码)标记图像。
其中,直角坐标系的坐标原点为转台的旋转中心点;直角坐标系的一坐标轴为转台的旋转中心点与其中一个标记图像的中心点的连线。
具体实现中,服务器在根据各待处理图像中的标记图像对应的角点平面坐标,按照预设标定算法确定拍摄各待处理图像时对应的图像采集设备的初始位姿的步骤之前,服务器还需要在该圆形转台的表面所处的平面中,以转台的旋转中心点为原点,以转台的旋转中心点与标记图像阵列中一个标记图像的中心点的连线建立直角坐标系,即该直角坐标系的坐标原点为转台的旋转中心点;直角坐标系的一坐标轴为转台的旋转中心点与其中一个标记图像的中心点的连线。
然后,服务器可以确定中心点在直角坐标系的坐标轴上的该标记图像的四个角点平面坐标,从而可以根据各标记图像在直角坐标系中的相对位置关系,以及该标记图像的四个角点平面坐标,确定各标记图像在该直角坐标系上对应的角点平面坐标。
本实施例的技术方案,通过各标记图像的尺寸相同,形状为正方形;通过在转台的表面所处的平面中建立直角坐标系;该直角坐标系的坐标原点为转台的旋转中心点;直角坐标系的一坐标轴为转台的旋转中心点与其中一个标记图像的中心点的连线;基于各标记图像在直角坐标系中的相对位置关系,确定各标记图像对应的角点平面坐标;如此,可以根据转台上各标记图像对应的角点平面坐标,以及对待处理图像中标记图像的识别,对图像采集设备进行标定,以准确确定拍摄各待处理图像时对应的图像采集设备的位姿。
在另一个实施例中,方法还包括:将中心点在直角坐标系的一坐标轴上的标记图像作为目标标记图像,确定目标标记图像与旋转中心点之间的目标夹角;根据目标夹角,确定目标标记数量;根据目标标记数量,将各标记图像围绕着转台的旋转中心点阵列排布,组成形状为圆形的均匀标记图像阵列。
其中,目标标记数量用于表征预设区域以外的区域所能设置的最多标记数量。
其中,最多标记数量为标记图像的数量。
具体实现中,服务器可以将中心点在直角坐标系的一坐标轴上的标记图像作为目标标记图像,确定目标标记图像与旋转中心点之间的目标夹角;根据该目标夹角,确定转台表面上预设区域以外的区域所能设置的最多标记数量,即标记图像的最多数量,得到目标标记数量;然后,根据该目标标记数量,将各标记图像围绕着转台的旋转中心点阵列排布,组成形状为圆形的均匀标记图像阵列。
为了便于本领域技术人员理解目标标记数量,以及各标记图像在该直角坐标系上对应的角点平面坐标的具体算法,图3提供了一种ArUco标记图像301在圆形转台上的排布示意图。可以看出,形状为圆形的转台表面包括有用于放置目标对象的预设区域303,该预设区域的形状为正方形;各ArUco标记图像围绕着转台的旋转中心点阵列均匀排布,组成形状为圆形的均匀ArUco标记图像阵列。如图3所示,在转台的表面所处的平面中建立了直角坐标系,确定了x坐标轴和y坐标轴的方向。
其中,圆形转台的直径尺寸为d,ArUco标记图像的边长尺寸为m;同时,为了保证各ArUco标记图像之间没有重叠,每个ArUco标记图像设置有对应的形状为正方形的扩增区域302。各扩增区域所围成的面积相等,且各扩增区域的中心点与对应的ArUco标记图像的中心点重合,且各扩增区域的各边与对应的ArUco标记图像相平行的边之间的距离相等;扩增区域的边长尺寸为m1;其中,旋转中心点与任意一个扩增区域的与旋转中心点距离较远的两个顶点之间的距离大小等于圆形转台的半径尺寸(1/2*d)。
如图3所示,可以根据扩增区域的边长尺寸m1,圆形转台的直径尺寸d,确定该中心点在y坐标轴上的ArUco目标标记图像对应的扩增区域距离旋转中心点较远的边(即与x坐标轴平行且距离x坐标轴较远的边),与旋转中心点形成的夹角;将对应的角度大小为该夹角的角度大小一半的夹角,作为A1,则A1=asin(0.5*m1/0.5*d)=asin(m1/d);然后,可以根据A1以及圆形转台的直径尺寸d,确定该扩增区域与x坐标轴平行且距离x坐标轴较远的边与旋转中心点之间的距离y1,y1=(0.5*d)*(cos(A1));然后,可以根据y1以及扩增区域的边长尺寸m1,确定该扩增区域与x坐标轴平行且距离x坐标轴较近的边与旋转中心点之间的距离y2,y2=y1-m1;然后,可以根据y2以及扩增区域的边长尺寸m1,确定该扩增区域距离旋转中心点较近的边(即与x坐标轴平行且距离x坐标轴较近的边)与旋转中心点形成的夹角A2’,将对应的角度大小为该夹角A2’的角度大小一半的夹角作为A2,则A2=[atan(0.5*m1/y2)],A2’=2*A2=2*[atan(0.5*m1/y2)],该夹角A2’作为目标标记图像与旋转中心点之间的目标夹角,从而可以根据目标夹角A2’确定转台表面上预设区域以外的区域所能设置的最多标记数量,即ArUco标记图像的最多数量,得到目标标记数量n,以根据该目标标记数量组成形状为圆形的均匀ArUco标记图像阵列,n=360°/A2’。
同时,可以计算该中心点在y坐标轴上的ArUco标记图像的四个角点的平面坐标,左上角对应的角点平面坐标i=(-0.5*m,y2+0.5*(m1-m));右上角对应的角点平面坐标r=(0.5*m,y2+0.5*(m1-m));左下角对应的角点平面坐标b=(-0.5*m,y1-0.5*(m1-m));右下角对应的角点平面坐标t=(0.5*m,y1-0.5*(m1-m)),如此可以确定中心点在直角坐标系的坐标轴上的该ArUco标记图像的四个角点平面坐标,作为该ArUco标记图像对应的角点平面坐标;然后,将该ArUco标记图像对应的角点平面坐标逐次旋转A2度,确定各标记图像在直角坐标系中对应的角点平面坐标。
本实施例的技术方案,通过将中心点在直角坐标系的一坐标轴上的标记图像作为目标标记图像,确定目标标记图像与旋转中心点之间的目标夹角;根据目标夹角,确定目标标记数量;根据目标标记数量,将各标记图像围绕着转台的旋转中心点阵列排布,组成形状为圆形的均匀标记图像阵列;如此,可以根据转台表面上预设区域以外的区域所能设置的目标标记数量,将各标记图像围绕着转台的旋转中心点阵列排布得到形状为圆形的均匀标记图像阵列,使得在转台旋转过程中,图像采集设备可以采集到足够多的标记图像,从而可以利用足够多的角点平面坐标,准确确定拍摄各待处理图像时对应的图像采集设备的位姿以及各图像采集设备间的可视关系。
在另一个实施例中,根据目标对象对应的第一虚拟模型、拍摄各待处理图像时对应的图像采集设备的位姿以及各图像采集设备间的可视关系,确定目标对象对应的第二虚拟模型,包括:根据第一虚拟模型、拍摄各待处理图像时对应的图像采集设备的位姿以及各图像采集设备间的可视关系,按照预设的多视角密集点云生成算法确定目标对象对应的点云;根据点云、第一虚拟模型、拍摄各待处理图像时对应的图像采集设备的位姿以及各图像采集设备间的可视关系,按照基于神经辐射场渲染的几何重建算法确定第二虚拟模型。
其中,目标对象上方设置有环形光源;图像采集设备和环形光源设置于隔绝外部光源的箱体中;箱体的内壁具有漫反射层。
其中,第一虚拟模型用于在确定点云的过程中减小深度采样范围。
其中,多视角密集点云生成算法可以包括但不限于为Patch Match(一种立体匹配算法)、Semi Global Matching(一种半全局匹配算法)、Plane Sweeping(平面扫描算法)、PatchmatchNet(一种基于学习的Patchmatch模块的的新型cascade(级联)网络,)、Vis-MVSNet(一种三维重建算法)。
其中,基于神经辐射场渲染的几何重建算法可以包括但不限于为nerf(NeuralRadiance Fields,神经辐射场),neural sdf(一种基于有向距离场的神经网络算法),nerfactor(Neural Radiance Factorization,基于神经网络的因式分解)
具体实现中,服务器在根据目标对象对应的第一虚拟模型、拍摄各待处理图像时对应的图像采集设备的位姿以及各图像采集设备间的可视关系,确定目标对象对应的第二虚拟模型的过程中,服务器可以据第一虚拟模型、拍摄各待处理图像时对应的图像采集设备的位姿以及各图像采集设备间的可视关系,按照预设的多视角密集点云生成算法确定目标对象对应的密集点云;其中,第一虚拟模型在生成密集点云的过程中,用于缩小深度采样范围,以加速点云的生成并减少错误点的生成。
然后,服务器可以根据目标对象对应的密集点云、第一虚拟模型、拍摄各待处理图像时对应的图像采集设备的位姿以及各图像采集设备间的可视关系,按照基于神经辐射场渲染的几何重建算法,确定目标对象对应的第二虚拟模型;其中,由于本方案通过设置于目标对象上方的环形光源对目标对象进行均匀照射,使得目标对象在各个方向上的照射光线均一致,并将图像采集设备环形光源都设置于隔绝外部光源的箱体,该箱体内壁的漫反射性质使得光线均匀反射到目标对象表面上;如此,通过内壁具有漫反射层的箱体以及环形光源的设置,使得目标对象在各个拍摄视角、各个方向上的光线表现均一致;从而在基于神经辐射场渲染的几何重建算法中,有利于神经网络训练时正确收敛,进而可以更加准确地生成与目标对象差别较小的第二虚拟模型。
本实施例的技术方案,通过根据第一虚拟模型、拍摄各待处理图像时对应的图像采集设备的位姿以及各图像采集设备间的可视关系,按照预设的多视角密集点云生成算法确定目标对象对应的点云;根据点云、第一虚拟模型、拍摄各待处理图像时对应的图像采集设备的位姿以及各图像采集设备间的可视关系,按照基于神经辐射场渲染的几何重建算法确定第二虚拟模型;如此,在生成点云的过程中,可以通过第一虚拟模型减小深度采样范围,以高效准确地生成目标对象对应的点云;且在后续生成第二虚拟模型的过程中,通过内壁具有漫反射层的箱体以及环形光源的设置,使得目标对象在各个拍摄视角、各个方向上的光线表现均一致,有利于神经网络训练时正确收敛,进而可以更加准确地生成与目标对象差别较小的第二虚拟模型,提高了目标对象的建模效果。
在另一个实施例中,根据点云、第一虚拟模型、拍摄各待处理图像时对应的图像采集设备的位姿以及各图像采集设备间的可视关系,按照基于神经辐射场渲染的几何重建算法确定第二虚拟模型,包括:根据第一虚拟模型的表面与预设虚拟模型的网格顶点之间的距离,构造预设能量函数;对预设能量函数进行优化,当预设能量函数趋于稳定时,得到目标优化结果;根据目标优化结果、点云、拍摄各待处理图像时对应的图像采集设备的位姿以及各图像采集设备间的可视关系,按照几何重建算法,对预设虚拟模型进行优化,得到第二虚拟模型。
其中,预设虚拟模型在实际应用中也可以命名为待恢复的精细表面三维模型。
具体实现中,服务器在根据点云、第一虚拟模型、拍摄各待处理图像时对应的图像采集设备的位姿以及各图像采集设备间的可视关系,按照基于神经辐射场渲染的几何重建算法确定第二虚拟模型的过程中,服务器可以根据第一虚拟模型的表面与待恢复的精细表面三维模型的三维网格顶点之间的距离,构造预设能量函数;然后,对对预设能量函数进行优化,当预设能量函数趋于稳定时,得到目标优化结果;最后,根据目标优化结果、目标对象对应的密集点云、拍摄各待处理图像时对应的图像采集设备的位姿以及各图像采集设备间的可视关系,按照基于神经辐射场渲染的几何重建算法,对待恢复的精细表面三维模型进行优化,得到完成恢复的精细表面三维模型,作为目标对象对应的第二虚拟模型。
本实施例的技术方案,在根据目标对象对应的点云、第一虚拟模型、拍摄各待处理图像时对应的图像采集设备的位姿以及各图像采集设备间的可视关系,按照基于神经辐射场渲染的几何重建算法确定第二虚拟模型的过程中,通过根据第一虚拟模型的表面与预设虚拟模型的网格顶点之间的距离,构造预设能量函数;对预设能量函数进行优化,当预设能量函数趋于稳定时,得到目标优化结果;根据目标优化结果、点云、拍摄各待处理图像时对应的图像采集设备的位姿以及各图像采集设备间的可视关系,按照几何重建算法,对预设虚拟模型进行优化,得到第二虚拟模型;如此,在生成网格面片复杂度较高的第二虚拟模型过程中,可以根据网格面片复杂度较低的第一虚拟模型,加速第二虚拟模型的生成并减少错误网格面片的生成,提升了目标对象的建模准确度。
在另一个实施例中,根据第二虚拟模型对应的纹理贴图,对第二虚拟模型进行渲染,得到目标对象对应的目标虚拟模型的步骤之前,方法还包括:根据拍摄各待处理图像时对应的图像采集设备的位姿以及各图像采集设备间的可视关系,建立待处理图像对应的可见光数据与组成第二虚拟模型的网格面片之间的映射关系;根据映射关系,确定第二虚拟模型对应的纹理贴图。
其中,可见光数据可以为RGB(三基色)可见光数据。
具体实现中,服务器在根据第二虚拟模型对应的纹理贴图,对第二虚拟模型进行渲染,得到目标对象对应的目标虚拟模型的步骤之前,服务器可以根据拍摄各待处理图像时对应的图像采集设备的位姿以及各图像采集设备间的可视关系,将待处理图像对应的可见光数据与第二虚拟模型的表面相关联,建立待处理图像对应的可见光数据与组成第二虚拟模型的网格面片之间的映射关系,并根据该映射关系确定第二虚拟模型对应的纹理贴图。
此外,服务器还可以根据Poisson Blending(泊松融合)算法对纹理贴图中明暗不一致的区域进行融合,得到融合后的纹理贴图,并根据融合后的纹理贴图对第二虚拟模型进行渲染。
本实施例的技术方案,通过根据拍摄各待处理图像时对应的图像采集设备的位姿以及各图像采集设备间的可视关系,建立待处理图像对应的可见光数据与组成第二虚拟模型的网格面片之间的映射关系;根据映射关系,确定第二虚拟模型对应的纹理贴图;如此,通过纹理贴图,对目标对象对应的第二虚拟模型进行渲染,可以增加虚拟模型的真实感,使得最终得到的渲染后目标虚拟模型与目标对象间的差别较小,有效提升了目标对象的建模准确度。
在另一个实施例中,如图4所示,提供了一种对象建模方法,以该方法应用于服务器为例进行说明,包括以下步骤:
步骤S402,控制各图像采集设备按照预设拍摄参数和预设拍摄频率,同时对目标对象进行拍摄,得到转台旋转至少一圈后各图像采集设备采集到的图像,作为待处理图像。
步骤S404,根据第一虚拟模型、拍摄各待处理图像时对应的图像采集设备的位姿以及各图像采集设备间的可视关系,按照预设的多视角密集点云生成算法确定目标对象对应的点云。
步骤S406,根据第一虚拟模型的表面与预设虚拟模型的网格顶点之间的距离,构造预设能量函数。
步骤S408,对预设能量函数进行优化,当预设能量函数趋于稳定时,得到目标优化结果。
步骤S410,根据目标优化结果、目标对象对应的点云、拍摄各待处理图像时对应的图像采集设备的位姿以及各图像采集设备间的可视关系,按照基于神经辐射场渲染的几何重建算法,对预设虚拟模型进行优化,得到第二虚拟模型。
步骤S412,根据拍摄各待处理图像时对应的图像采集设备的位姿以及各图像采集设备间的可视关系,建立待处理图像对应的可见光数据与组成第二虚拟模型的网格面片之间的映射关系。
步骤S414,根据映射关系,确定第二虚拟模型对应的纹理贴图。
步骤S416,根据第二虚拟模型对应的纹理贴图,对第二虚拟模型进行渲染,得到目标对象对应的目标虚拟模型。
需要说明的是,上述步骤的具体限定可以参见上文对一种对象建模方法的具体限定。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在另一实施例中,提供了一种对象建模系统。对象建模系统包括控制器和至少两个图像采集设备。
其中,至少两个图像采集设备,用于对处于转动状态的目标对象进行拍摄,得到待处理图像。
其中,控制器,用于根据目标对象对应的第一虚拟模型、拍摄各待处理图像时对应的图像采集设备的位姿以及各图像采集设备间的可视关系,确定目标对象对应的第二虚拟模型;其中,组成第二虚拟模型的网格面片的精细程度高于组成第一虚拟模型的网格面片;
其中,控制器,还用于根据第二虚拟模型对应的纹理贴图,对第二虚拟模型进行渲染,得到目标对象对应的目标虚拟模型。
其中,系统还包括隔绝外部光源且内壁具有漫反射层的箱体:箱体包括用于放置目标对象的转台、至少两个图像采集设备和设置于转台上方的环形光源。
在一应用实施例中,提供了另一种对象建模系统,该系统包括:显示单元、计算单元和隔绝外部光源且内壁具有漫反射层的箱体;箱体包括转台、至少两个图像采集设备和设置于转台上方的环形光源。
其中,转台的形状可以为圆形,可以匀速转动,旋转一圈的时间约为30秒至60秒;转台的表面包括有用于放置目标对象的预设区域;该预设区域的形状为正方形;转台的表面在预设区域以外的区域设置有ArUco标记图像;各ArUco标记图像围绕着转台的旋转中心点阵列排布,组成形状为圆形的均匀ArUco标记图像阵列;其中,转台的直径尺寸为预设区域的边长尺寸的1.5-2倍。
其中,转台的旋转中心点、预设区域的中心点与环形光源的中心点设置于同一直线上。
其中,至少两个图像采集设备的拍摄镜头对准转台的旋转中心点;相邻的图像采集设备对应的拍摄视场部分重叠;各图像采集设备通过支架固定于箱体中。
其中,环形光源的直径尺寸为预设区域的边长尺寸的1.5-2倍。
其中,至少两个图像采集设备,用于对设置于处于转动状态的转台上的目标对象进行拍摄,得到待处理图像。
其中,计算单元,用于获取待处理图像,根据目标对象对应的第一虚拟模型、拍摄各待处理图像时对应的图像采集设备的位姿以及各图像采集设备间的可视关系,确定目标对象对应的第二虚拟模型;其中,组成第二虚拟模型的网格面片的精细程度高于组成第一虚拟模型的网格面片;
其中,计算单元,还用于根据第二虚拟模型对应的纹理贴图,对第二虚拟模型进行渲染,得到目标对象对应的目标虚拟模型。
其中,显示单元,用于显示目标对象对应的目标虚拟模型。
为了便于本领域技术人员,图5提供了一种箱体内部各装置的结构平面示意图。如图5所示,转台上方设置有环形光源;图像采集设备1和图像采集设备2、转台和环形光源设置于隔绝外部光源的箱体50中;转台表面放置有目标对象;图像采集设备1和图像采集设备2的拍摄镜头对准转台的旋转中心点,通过支架503固定于箱体50中,且图像采集设备1对应的拍摄视场201和图像采集设备2对应的拍摄视场202部分重叠。
在另一应用实施例中,提供了与该对象建模系统对应的一种对象建模方法,以该方法应用于计算单元为例进行说明,该方法包括以下步骤:
步骤S501,当目标对象放置于预设区域的中心点处,转台开始转动且环形灯源开启后,控制单元控制各图像采集设备对应的预设拍摄参数和预设拍摄频率,同时对目标对象进行拍摄,得到转台旋转一圈后各图像采集设备采集到的图像,作为待处理图像。其中,图像采集设备的预设拍摄频率为1秒~2秒拍摄一次,各图像采集设备各采集30~60张待处理图像。
步骤S502,计算单元根据各待处理图像中的ArUco标记图像,对各图像采集设备进行标定,确定拍摄各待处理图像时对应的图像采集设备的位姿以及各图像采集设备间的可视关系。
步骤S503,计算单元对各待处理图像进行图像分割,以得到各待处理图像中目标对象对应的遮罩图像。
步骤S504,计算单元根据拍摄各待处理图像时对应的图像采集设备的位姿以及各待处理图像中目标对象对应的遮罩图像,使用Visual Hull算法计算目标对象对应的第一虚拟模型。
步骤S505,计算单元根据拍摄各待处理图像时对应的图像采集设备的位姿以及各图像采集设备间的可视关系,使用预设的多视角密集点云生成目标对象对应的密集点云。在此过程中利用第一虚拟模型加速密集点云的生成并减少错误点的生成。
步骤S506,计算单元根据目标对象对应的密集点云、拍摄各待处理图像时对应的图像采集设备的位姿以及各图像采集设备间的可视关系,按照基于神经辐射场渲染的几何重建算法确定目标对象对应的第二虚拟模型。并且可在此过程中利用第一虚拟模型加速第二虚拟模型的生成并减少错误三角网格片面的生成。
步骤S507,计算单元根据拍摄各待处理图像时对应的图像采集设备的位姿以及各图像采集设备间的可视关系,建立待处理图像对应的可见光数据与组成第二虚拟模型的网格面片之间的映射关系,根据该映射关系,确定第二虚拟模型对应的纹理贴图;并且,计算单元还可以根据Poisson Blending(泊松融合)算法对纹理贴图中明暗不一致的区域进行融合。
步骤S508,计算单元根据纹理贴图对第二虚拟模型进行渲染,得到转台在旋转过程中目标对象对应的每一帧的连续影像,并将连续影像发送至显示单元,以根据该连续影像动态显示出目标对象在转台旋转过程中对应的渲染后的目标虚拟模型。
步骤S509,计算单元根据第二虚拟模型以及目标对象对光照的折射及反射信息,加入所需的其他种类光源,渲染出目标对象在不同光照下的每一帧的连续影像,并传输至显示单元进行显示。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的对象建模方法的对象建模装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个对象建模装置实施例中的具体限定可以参见上文中对于一种对象建模方法的限定,在此不再赘述。
在一个实施例中,如图6所示,提供了一种对象建模装置,包括:获取模块610、确定模块620和渲染模块630,其中:
获取模块610,用于获取待处理图像;所述待处理图像为至少两个图像采集设备对处于转动状态的目标对象进行拍摄得到。
确定模块620,用于根据所述目标对象对应的第一虚拟模型、拍摄各所述待处理图像时对应的图像采集设备的位姿以及各所述图像采集设备间的可视关系,确定所述目标对象对应的第二虚拟模型;其中,组成所述第二虚拟模型的网格面片的精细程度高于组成所述第一虚拟模型的网格面片。
渲染模块630,用于根据所述第二虚拟模型对应的纹理贴图,对所述第二虚拟模型进行渲染,得到所述目标对象对应的目标虚拟模型。
在其中一个实施例中,所述目标对象设置于处于转动状态的转台上;所述转台的形状为圆形;所述转台的表面包括有用于放置所述目标对象的预设区域;所述转台的表面在所述预设区域以外的区域设置有标记图像;各所述标记图像围绕着所述转台的旋转中心点阵列排布;所述装置还包括:初始位姿确定模块,用于根据各所述待处理图像中的标记图像对应的角点平面坐标,按照预设标定算法确定拍摄各所述待处理图像时对应的图像采集设备的初始位姿;优化模块,用于根据预设优化算法,对所述对应的图像采集设备的初始位姿进行优化,得到所述拍摄各所述待处理图像时对应的图像采集设备的位姿。
在其中一个实施例中,所述获取模块610,具体用于控制各所述图像采集设备按照预设拍摄参数和预设拍摄频率,同时对所述目标对象进行拍摄,得到所述转台旋转至少一圈后各所述图像采集设备采集到的图像,作为所述待处理图像;其中,各所述图像采集设备的拍摄镜头对准所述转台的旋转中心点;相邻的所述图像采集设备对应的拍摄视场部分重叠。
在其中一个实施例中,各所述标记图像的尺寸相同,形状为正方形;所述装置还包括:坐标系建立模块,用于在所述转台的表面所处的平面中建立直角坐标系;所述直角坐标系的坐标原点为所述转台的旋转中心点;所述直角坐标系的一坐标轴为所述转台的旋转中心点与其中一个所述标记图像的中心点的连线;坐标确定模块,用于基于各所述标记图像在所述直角坐标系中的相对位置关系,确定各所述标记图像对应的角点平面坐标。
在其中一个实施例中,所述装置还包括:夹角确定模块,用于将所述中心点在所述直角坐标系的一坐标轴上的标记图像作为目标标记图像,确定所述目标标记图像与所述旋转中心点之间的目标夹角;数量确定模块,用于根据所述目标夹角,确定目标标记数量;阵列确定模块,用于根据所述目标标记数量,将各所述标记图像围绕着所述转台的旋转中心点阵列排布,组成形状为圆形的均匀标记图像阵列。
在其中一个实施例中,所述目标对象上方设置有环形光源;所述图像采集设备和所述环形光源设置于隔绝外部光源的箱体中;所述箱体的内壁具有漫反射层;所述确定模块620,具体用于根据所述第一虚拟模型、拍摄各所述待处理图像时对应的图像采集设备的位姿以及各所述图像采集设备间的可视关系,按照预设的多视角密集点云生成算法确定所述目标对象对应的点云;所述第一虚拟模型用于在确定所述点云的过程中减小深度采样范围;根据所述点云、所述第一虚拟模型、拍摄各所述待处理图像时对应的图像采集设备的位姿以及各所述图像采集设备间的可视关系,按照基于神经辐射场渲染的几何重建算法确定所述第二虚拟模型。
在其中一个实施例中,所述确定模块620,具体用于根据所述第一虚拟模型的表面与预设虚拟模型的网格顶点之间的距离,构造预设能量函数;对所述预设能量函数进行优化,当所述预设能量函数趋于稳定时,得到目标优化结果;根据所述目标优化结果、所述点云、拍摄各所述待处理图像时对应的图像采集设备的位姿以及各所述图像采集设备间的可视关系,按照所述几何重建算法,对所述预设虚拟模型进行优化,得到所述第二虚拟模型。
在其中一个实施例中,所述装置还包括:映射建立模块,用于根据拍摄各所述待处理图像时对应的图像采集设备的位姿以及各所述图像采集设备间的可视关系,建立所述待处理图像对应的可见光数据与组成所述第二虚拟模型的网格面片之间的映射关系;纹理贴图确定模块,用于根据所述映射关系,确定所述第二虚拟模型对应的纹理贴图。
上述一种对象建模装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储待处理图像数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种对象建模方法。
本领域技术人员可以理解,图7中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (13)
1.一种对象建模方法,其特征在于,所述方法包括:
获取待处理图像;所述待处理图像为至少两个图像采集设备对处于转动状态的目标对象进行拍摄得到;
根据所述目标对象对应的第一虚拟模型、拍摄各所述待处理图像时对应的图像采集设备的位姿以及各所述图像采集设备间的可视关系,确定所述目标对象对应的第二虚拟模型;其中,组成所述第二虚拟模型的网格面片的精细程度高于组成所述第一虚拟模型的网格面片;
根据所述第二虚拟模型对应的纹理贴图,对所述第二虚拟模型进行渲染,得到所述目标对象对应的目标虚拟模型。
2.根据权利要求1所述的方法,其特征在于,所述目标对象设置于处于转动状态的转台上;所述转台的形状为圆形;所述转台的表面包括有用于放置所述目标对象的预设区域;所述转台的表面在所述预设区域以外的区域设置有标记图像;各所述标记图像围绕着所述转台的旋转中心点阵列排布;所述方法还包括:
根据各所述待处理图像中的标记图像对应的角点平面坐标,按照预设标定算法确定拍摄各所述待处理图像时对应的图像采集设备的初始位姿;
根据预设优化算法,对所述对应的图像采集设备的初始位姿进行优化,得到所述拍摄各所述待处理图像时对应的图像采集设备的位姿。
3.根据权利要求2所述的方法,其特征在于,所述获取待处理图像,包括:
控制各所述图像采集设备按照预设拍摄参数和预设拍摄频率,同时对所述目标对象进行拍摄,得到所述转台旋转至少一圈后各所述图像采集设备采集到的图像,作为所述待处理图像;
其中,各所述图像采集设备的拍摄镜头对准所述转台的旋转中心点;相邻的所述图像采集设备对应的拍摄视场部分重叠。
4.根据权利要求2所述的方法,其特征在于,各所述标记图像的尺寸相同,形状为正方形;所述方法还包括:
在所述转台的表面所处的平面中建立直角坐标系;所述直角坐标系的坐标原点为所述转台的旋转中心点;所述直角坐标系的一坐标轴为所述转台的旋转中心点与其中一个所述标记图像的中心点的连线;
基于各所述标记图像在所述直角坐标系中的相对位置关系,确定各所述标记图像对应的角点平面坐标。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
将所述中心点在所述直角坐标系的一坐标轴上的标记图像作为目标标记图像,确定所述目标标记图像与所述旋转中心点之间的目标夹角;
根据所述目标夹角,确定目标标记数量;
根据所述目标标记数量,将各所述标记图像围绕着所述转台的旋转中心点阵列排布,组成形状为圆形的均匀标记图像阵列。
6.根据权利要求1所述的方法,其特征在于,所述目标对象上方设置有环形光源;所述图像采集设备和所述环形光源设置于隔绝外部光源的箱体中;所述箱体的内壁具有漫反射层;所述根据所述目标对象对应的第一虚拟模型、拍摄各所述待处理图像时对应的图像采集设备的位姿以及各所述图像采集设备间的可视关系,确定所述目标对象对应的第二虚拟模型,包括:
根据所述第一虚拟模型、拍摄各所述待处理图像时对应的图像采集设备的位姿以及各所述图像采集设备间的可视关系,按照预设的多视角密集点云生成算法确定所述目标对象对应的点云;所述第一虚拟模型用于在确定所述点云的过程中减小深度采样范围;
根据所述点云、所述第一虚拟模型、拍摄各所述待处理图像时对应的图像采集设备的位姿以及各所述图像采集设备间的可视关系,按照基于神经辐射场渲染的几何重建算法确定所述第二虚拟模型。
7.根据权利要求6所述的方法,其特征在于,所述根据所述点云、所述第一虚拟模型、拍摄各所述待处理图像时对应的图像采集设备的位姿以及各所述图像采集设备间的可视关系,按照基于神经辐射场渲染的几何重建算法确定所述第二虚拟模型,包括:
根据所述第一虚拟模型的表面与预设虚拟模型的网格顶点之间的距离,构造预设能量函数;
对所述预设能量函数进行优化,当所述预设能量函数趋于稳定时,得到目标优化结果;
根据所述目标优化结果、所述点云、拍摄各所述待处理图像时对应的图像采集设备的位姿以及各所述图像采集设备间的可视关系,按照所述几何重建算法,对所述预设虚拟模型进行优化,得到所述第二虚拟模型。
8.根据权利要求1所述的方法,其特征在于,所述根据所述第二虚拟模型对应的纹理贴图,对所述第二虚拟模型进行渲染,得到所述目标对象对应的目标虚拟模型的步骤之前,所述方法还包括:
根据拍摄各所述待处理图像时对应的图像采集设备的位姿以及各所述图像采集设备间的可视关系,建立所述待处理图像对应的可见光数据与组成所述第二虚拟模型的网格面片之间的映射关系;
根据所述映射关系,确定所述第二虚拟模型对应的纹理贴图。
9.一种对象建模系统,其特征在于,所述对象建模系统包括控制器和至少两个图像采集设备;
所述至少两个图像采集设备,用于对处于转动状态的目标对象进行拍摄,得到待处理图像;
所述控制器,用于根据所述目标对象对应的第一虚拟模型、拍摄各所述待处理图像时对应的图像采集设备的位姿以及各所述图像采集设备间的可视关系,确定所述目标对象对应的第二虚拟模型;其中,组成所述第二虚拟模型的网格面片的精细程度高于组成所述第一虚拟模型的网格面片;
所述控制器,还用于根据所述第二虚拟模型对应的纹理贴图,对所述第二虚拟模型进行渲染,得到所述目标对象对应的目标虚拟模型。
10.根据权利要求9所述的系统,其特征在于,所述系统还包括隔绝外部光源且内壁具有漫反射层的箱体:所述箱体包括用于放置所述目标对象的转台、所述至少两个图像采集设备和设置于所述转台上方的环形光源。
11.一种对象建模装置,其特征在于,所述装置包括:
获取模块,用于获取待处理图像;所述待处理图像为至少两个图像采集设备对处于转动状态的目标对象进行拍摄得到;
确定模块,用于根据所述目标对象对应的第一虚拟模型、拍摄各所述待处理图像时对应的图像采集设备的位姿以及各所述图像采集设备间的可视关系,确定所述目标对象对应的第二虚拟模型;其中,组成所述第二虚拟模型的网格面片的精细程度高于组成所述第一虚拟模型的网格面片;
渲染模块,用于根据所述第二虚拟模型对应的纹理贴图,对所述第二虚拟模型进行渲染,得到所述目标对象对应的目标虚拟模型。
12.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210799536.9A CN115205494A (zh) | 2022-07-08 | 2022-07-08 | 对象建模方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210799536.9A CN115205494A (zh) | 2022-07-08 | 2022-07-08 | 对象建模方法、装置、计算机设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115205494A true CN115205494A (zh) | 2022-10-18 |
Family
ID=83580643
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210799536.9A Pending CN115205494A (zh) | 2022-07-08 | 2022-07-08 | 对象建模方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115205494A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115761123A (zh) * | 2022-11-11 | 2023-03-07 | 北京百度网讯科技有限公司 | 三维模型处理方法、装置、电子设备以及存储介质 |
CN117765168A (zh) * | 2023-12-12 | 2024-03-26 | 之江实验室 | 一种卫星遥感图像的三维重建方法、装置及设备 |
-
2022
- 2022-07-08 CN CN202210799536.9A patent/CN115205494A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115761123A (zh) * | 2022-11-11 | 2023-03-07 | 北京百度网讯科技有限公司 | 三维模型处理方法、装置、电子设备以及存储介质 |
CN115761123B (zh) * | 2022-11-11 | 2024-03-12 | 北京百度网讯科技有限公司 | 三维模型处理方法、装置、电子设备以及存储介质 |
CN117765168A (zh) * | 2023-12-12 | 2024-03-26 | 之江实验室 | 一种卫星遥感图像的三维重建方法、装置及设备 |
CN117765168B (zh) * | 2023-12-12 | 2024-06-07 | 之江实验室 | 一种卫星遥感图像的三维重建方法、装置及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11410320B2 (en) | Image processing method, apparatus, and storage medium | |
US6954212B2 (en) | Three-dimensional computer modelling | |
CN115205494A (zh) | 对象建模方法、装置、计算机设备和存储介质 | |
CN105654547B (zh) | 三维重建方法 | |
CN109186551B (zh) | 倾斜摄影测量建筑物特征点提取方法、装置与存储介质 | |
US20160125638A1 (en) | Automated Texturing Mapping and Animation from Images | |
CN109269472B (zh) | 倾斜摄影测量建筑物特征线提取方法、装置与存储介质 | |
CN106611441B (zh) | 三维地图的处理方法和装置 | |
JP2024525703A (ja) | 三次元動的追跡方法、装置、電子機器及び記憶媒体 | |
Pagani et al. | Dense 3D Point Cloud Generation from Multiple High-resolution Spherical Images. | |
CN106326334A (zh) | 一种电子地图的显示、生成方法和装置 | |
CN114782646A (zh) | 房屋模型的建模方法、装置、电子设备和可读存储介质 | |
CN113706373A (zh) | 模型重建方法及相关装置、电子设备和存储介质 | |
CN111653175B (zh) | 一种虚拟沙盘展示方法及装置 | |
CN115409957A (zh) | 基于虚幻引擎的地图构建方法、电子设备和存储介质 | |
CN110738723A (zh) | 一种基于人脸网格模型的纹理贴图生成方法、系统及电子设备 | |
CN117579753A (zh) | 三维扫描方法、装置、计算机设备以及存储介质 | |
Draréni et al. | Methods for geometrical video projector calibration | |
CN110163922B (zh) | 鱼眼相机标定系统、方法、装置、电子设备及存储介质 | |
CN115409962B (zh) | 虚幻引擎内构建坐标系统的方法、电子设备和存储介质 | |
CN107534730A (zh) | 图像处理装置及图像处理方法 | |
CN115409960A (zh) | 基于虚幻引擎的模型构建方法、电子设备和存储介质 | |
CN115409958A (zh) | 基于虚幻引擎的平面构建方法、电子设备和存储介质 | |
CN112150621B (zh) | 基于正射投影的鸟瞰图生成方法、系统及存储介质 | |
CN114882194A (zh) | 房间点云数据的处理方法和装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |