CN116168163B - 三维模型构建方法、装置及存储介质 - Google Patents
三维模型构建方法、装置及存储介质 Download PDFInfo
- Publication number
- CN116168163B CN116168163B CN202310322278.XA CN202310322278A CN116168163B CN 116168163 B CN116168163 B CN 116168163B CN 202310322278 A CN202310322278 A CN 202310322278A CN 116168163 B CN116168163 B CN 116168163B
- Authority
- CN
- China
- Prior art keywords
- sampling points
- sampling
- dimensional model
- adjacent
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010276 construction Methods 0.000 title claims abstract description 21
- 238000005070 sampling Methods 0.000 claims abstract description 393
- 238000000034 method Methods 0.000 claims abstract description 21
- 238000004590 computer program Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Abstract
本发明公开了一种三维模型构建方法、装置及存储介质,涉及三维模型重建技术领域。该方法包括:获取待建模目标的灰度图像和RGB图像;对灰度图像中的像素点进行取样;基于灰度图像中各取样点的灰度值、光源的入射方向以RGB图像中与取样点对应位置的RGB值,确定出中各取样点所在位置的倾斜方向;基于倾斜方向以及相邻取样点之间的距离,确定出相邻取样点之间的深度变化曲线,并估算出相邻取样点之间的深度差;基于相邻取样点之间的深度差,以及相邻取样点之间的深度变化曲线构建待建模目标的三维模型。本发明公开的方法、装置及存储介质可构建出待建模目标三维的三维模型。
Description
技术领域
本发明属于三维模型重建技术领域,具体涉及一种三维模型构建方法、装置及存储介质。
背景技术
现有技术中,常常需要对一些目标的三维模型进行重建,以展示目标的立体结构。例如在产品制造中,需要对产品表面的纹理结构进行三维重建,又例如在口腔牙颌面的正畸时,需要对口腔牙颌面的结构进行三维重建以便制定相应的正畸策略。
目前,对目标的三维模型进行重建,较为常用的一种方式就是通过高精度的三维激光扫描仪对待三维建模的目标进行扫描,然后根据扫描获取到的点云数据进行建模,从而得到目标的三维模型。然而,采用这样的建模方式需要专门配置高精度的三维激光扫描仪,而高精度的三维激光扫描仪造价高昂,这样会大大增加三维建模的成本。
发明内容
本发明的目的是提供一种三维模型构建方法、装置及存储介质,用以解决现有技术中存在的上述问题。
为了实现上述目的,本发明采用以下技术方案:
第一方面,本发明提供了一种三维模型构建方法,包括:
获取在第一平行光源下所拍摄到的待建模目标的灰度图像和在自然光源下所拍摄到的待建模目标的RGB图像;
对所述灰度图像中的像素点进行取样,得到多个取样点,所述多个取样点在所述灰度图像中阵列分布;
基于所述灰度图像中各取样点的灰度值、所述第一平行光源的入射方向以及所述RGB图像中与所述多个取样点一一对应的多个位置的RGB值,确定出所述多个取样点中各取样点所在位置的倾斜方向;
基于所述多个取样点中各取样点所在位置的倾斜方向以及所述多个取样点中相邻取样点之间的距离,确定出所述多个取样点中相邻取样点之间的深度变化曲线,并估算出所述多个取样点中相邻取样点之间的深度差;
基于所述多个取样点中相邻取样点之间的深度差,以及所述多个取样点中相邻取样点之间的深度变化曲线构建待建模目标的三维模型。
在一个可能的设计中,基于所述多个取样点中各取样点所在位置的倾斜方向以及所述多个取样点中相邻取样点之间的距离,确定出所述多个取样点中相邻取样点之间的深度变化曲线,包括:
基于所述多个取样点中各取样点所在位置在像素坐标系下的u轴方向的倾斜方向,及所述多个取样点中相邻取样点之间在u轴方向上的距离,确定出像素坐标系下所述多个取样点中在u轴方向的相邻取样点之间的第一深度变化曲线;
基于所述多个取样点中各取样点所在位置在像素坐标系下的v轴方向的倾斜方向,及所述多个取样点中相邻取样点之间在v轴方向上的距离,确定出像素坐标系下所述多个取样点中在v轴方向的相邻取样点之间的第二深度变化曲线;
所述基于所述多个取样点中相邻取样点之间的深度差,以及所述多个取样点中相邻取样点之间的深度变化曲线构建待建模目标的三维模型,包括:
基于所述多个取样点中相邻取样点之间的深度差,以及像素坐标下所述多个取样点中在u轴方向的相邻取样点之间的第一深度变化曲线,构建待建模目标的第一三维模型;
基于所述多个取样点中相邻取样点之间的深度差,以及像素坐标下所述多个取样点中在v轴方向的相邻取样点之间的第二深度变化曲线,构建待建模目标的第二三维模型;
将所述第一三维模型与所述第二三维模型相叠加,得到所述待建模目标的三维模型。
在一个可能的设计中,所述方法还包括:
基于所述第一平行光源下之外的至少一个第二平行光源,构建所述待建模目标的至少一个第三三维模型;
计算所述三维模型与至少一个第三三维模型中每个第三三维模型的差异度;
当所述三维模型与至少一个第三三维模型中每个第三三维模型的差异度均低于预设阈值,则判定所述三维模型为有效的模型。
在一个可能的设计中,所述计算所述三维模型与至少一个第三三维模型中每个第三三维模型的差异度,包括:
对所述三维模型进行随机采样,得到多个采样点;
计算所述三维模型中各采样点所对应位置的深度,与每个第三三维模型在与各采样点相对应位置的深度的差异度。
在一个可能的设计中,所述差异度为平均误差或均方误差。
在一个可能的设计中,所述基于所述灰度图像中各取样点的灰度值、所述第一平行光源的入射方向以及所述RGB图像中与所述多个取样点一一对应的多个位置的RGB值,确定出所述多个取样点中各取样点所在位置的倾斜方向,包括:
基于所述灰度图像中各取样点的灰度值、所述第一平行光源的入射方向以及所述RGB图像中与所述多个取样点一一对应的多个位置的RGB值,确定出所述多个取样点中各取样点所在位置的单位法向量;
基于所述多个取样点中各取样点所在位置的单位法向量,确定出所述多个取样点中各取样点所在位置的倾斜方向。
在一个可能的设计中,基于所述灰度图像中各取样点的灰度值、所述第一平行光源的入射方向以及所述RGB图像中与所述多个取样点一一对应的多个位置的RGB值,确定出所述多个取样点中各取样点所在位置的单位法向量,包括:
基于朗伯体表面反射模型、所述灰度图像中各取样点的灰度值、所述第一平行光源的入射方向以及所述RGB图像中与所述多个取样点一一对应的多个位置的RGB值所对应的反射系数,确定出所述多个取样点中各取样点所在位置的单位法向量。
第二方面,本发明提供了一种三维模型构建装置,包括:
获取单元,用于获取在第一平行光源下所拍摄到的待建模目标的灰度图像和在自然光源下所拍摄到的待建模目标的RGB图像;
取样单元,用于对所述灰度图像中的像素点进行取样,得到多个取样点,所述多个取样点在所述灰度图像中阵列分布;
第一计算单元,用于基于所述灰度图像中各取样点的灰度值、所述第一平行光源的入射方向以及所述RGB图像中与所述多个取样点一一对应的多个位置的RGB值,确定出所述多个取样点中各取样点所在位置的倾斜方向;
第二计算单元,用于基于所述多个取样点中各取样点所在位置的倾斜方向以及所述多个取样点中相邻取样点之间的距离,确定出所述多个取样点中相邻取样点之间的深度变化曲线,并估算出所述多个取样点中相邻取样点之间的深度差;
构建单元,用于基于所述多个取样点中相邻取样点之间的深度差,以及所述多个取样点中相邻取样点之间的深度变化曲线构建待建模目标的三维模型。
第三方面,本发明提供了一种三维模型构建装置,包括依次通信相连的存储器、处理器和收发器,其中,所述存储器用于存储计算机程序,所述收发器用于收发消息,所述处理器用于读取所述计算机程序,执行如上述第一方面所述的三维模型构建方法。
第四方面,本发明提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,当所述指令在计算机上运行时,执行第一方面所述的三维模型构建方法。
第五方面,本发明提供了一种包含指令的计算机程序产品,当所述指令在计算机上运行时,使所述计算机执行如第一方面所述的三维模型构建方法。
有益效果:
本发明提供的三维模型构建方案,通过获取在第一平行光源下所拍摄到的待建模目标的灰度图像和在自然光源下所拍摄到的待建模目标的RGB图像;对灰度图像中的像素点进行取样,得到多个取样点;基于灰度图像中各取样点的灰度值、第一平行光源的入射方向以及RGB图像中与多个取样点一一对应的多个位置的RGB值,确定出多个取样点中各取样点所在位置的倾斜方向;基于多个取样点中各取样点所在位置的倾斜方向以及多个取样点中相邻取样点之间的距离,估算出多个取样点中相邻取样点之间的深度差,并确定出多个取样点中相邻取样点之间的深度变化曲线;最后基于多个取样点中相邻取样点之间的深度差,以及多个取样点中相邻取样点之间的深度变化曲线构建待建模目标的三维模型。如此,能够通过对常规的平面图像的分析处理,十分方便的构建出待建模目标的三维模型,从而展示待建模目标的立体结构,而不需要专门配置高精度的三维激光扫描仪,大大降低了三维建模的成本,便于实际应用和推广。
附图说明
图1为本申请实施例提供的三维模型构建方法的流程图;
图2为本申请实施例提供的三维模型构建装置的框图示意图;
图3为本申请实施例提供的另一三维模型构建装置的框图示意图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将结合附图和实施例或现有技术的描述对本发明作简单地介绍,显而易见地,下面关于附图结构的描述仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在此需要说明的是,对于这些实施例方式的说明用于帮助理解本发明,但并不构成对本发明的限定。
实施例:
本实施例第一方面提供了一种三维模型构建方法,可以但不限于由具有 一定计算资源的计算机设备执行,例如由个人计算机、智能手机、平板电脑或个人数字助理等电子设备执行,以便够通过对平面图像的分析处理,十分方便的构建出待建模目标的三维模型,降低三维建模成本。
如图1所示,本实施例第一方面提供的三维模型构建方法,可以但不限于包括有如下步骤:
步骤S101.获取在第一平行光源下所拍摄到的待建模目标的灰度图像和在自然光源下所拍摄到的待建模目标的RGB图像。
本申请实施例中,待建模目标的灰度图像和待建模目标的RGB图像以同一拍摄角度、同一焦距拍摄的图像为较佳,如此拍摄获得的两张图像除颜色外,所拍摄的图像内容及图像尺寸等完全一致,以方便后续的分析处理。
步骤S102.对灰度图像中的像素点进行取样,得到多个取样点。
其中,多个取样点在所述灰度图像中阵列分布。
本申请实施例中,为确保后续所建立的三维模型的精度,取样点之间的间距不宜过大,例如可以每间隔5个像素点可选取一个像素点作为取样点。
步骤S103.基于灰度图像中各取样点的灰度值、第一平行光源的入射方向以及RGB图像中与多个取样点一一对应的多个位置的RGB值,确定出多个取样点中各取样点所在位置的倾斜方向。
具体的,可以基于灰度图像中各取样点的灰度值、第一平行光源的入射方向以及RGB图像中与多个取样点一一对应的多个位置的RGB值,确定出多个取样点中各取样点所在位置的单位法向量。然后,基于多个取样点中各取样点所在位置的单位法向量,确定出多个取样点中各取样点所在位置(的表面)的倾斜方向。
更具体的,根据朗伯体表面反射模型,灰度图像中某一点的灰度值,与光源方向、该点所在位置表面的单位法向量以及该点所在位置表面的反射系数相关,朗伯体表面反射模型可表示为i=ηN*S,其中i表示灰度图像中某一点的灰度,η表示该点所在位置表面的反射系数,N表示该点所在位置表面的单位法向量,S表示光源方向。而反射系数与颜色相关,物体表面不同颜色,其反射系数也不相同。因此,本申请实施例中,可根据RGB图像中各与灰度图像中多个采样点一一对应的多个位置的RGB值,确定出该多个采样点所对应位置的反射系数,然后基于朗伯体表面反射模型、灰度图像中各取样点的灰度值、第一平行光源的入射方向以及RGB图像中与多个取样点一一对应的多个位置的RGB值所对应的反射系数,确定出多个取样点中各取样点所在位置的单位法向量。然后,基于多个取样点中各取样点所在位置的单位法向量,确定出多个取样点中各取样点所在位置的倾斜方向,该取样点所在位置的倾斜方向与取样点所在位置的单位法向量垂直。
步骤S104.基于多个取样点中各取样点所在位置的倾斜方向以及多个取样点中相邻取样点之间的距离,确定出多个取样点中相邻取样点之间的深度变化曲线,并估算出多个取样点中相邻取样点之间的深度差。
为方便构建待建模目标的三维模型,本申请实施例中针对灰度图像建立有像素坐标系,灰度图像中第i行第j列对应像素坐标系中的坐标(i,j),其中i和j均为大于等于1的整数。
某一取样点的相邻取样点包括u轴方向上的相邻取样点和v轴方向上的相邻取样点。因此,本申请实施例中,相邻取样点之间的深度变化曲线包括在像素坐标系下的u轴方向的深度变化曲线和在V轴方向的深度变化曲线。因此可将各取样点所在位置的倾斜方向分解为在u轴方向的倾斜方向和在v轴方向的倾斜方向。然后,基于多个取样点中各取样点所在位置在u轴方向的倾斜方向,及多个取样点中相邻取样点之间在u轴方向上的距离,确定出像素坐标系下多个取样点中在u轴方向的相邻取样点之间的第一深度变化曲线,并基于多个取样点中各取样点所在位置在v轴方向的倾斜方向,及多个取样点中相邻取样点之间在v轴方向上的距离,确定出像素坐标系下多个取样点中在v轴方向的相邻取样点之间的第二深度变化曲线。
相邻取样点之间的距离较近,因此可以将相邻取样点之间的深度变化曲线近似看着是一条均匀变化的曲线,基于这一条件可以将在u轴和v轴方向上的相邻取样点之间的深度变化曲线作为均匀变化的曲线,以此来确定出在u轴方向的相邻取样点之间的第一深度变化曲线以及在v轴方向的相邻取样点之间的第二深度变化曲线。
在确定出在u轴方向的相邻取样点之间的第一深度变化曲线以及在v轴方向的相邻取样点之间的第二深度变化曲线,即可根据在u轴方向的相邻取样点之间的第一深度变化曲线及相邻取样点之间在u轴方向的距离,确定出在u轴方向的相邻取样点之间的深度差,可根据在v轴方向的相邻取样点之间的第二深度变化曲线及相邻取样点之间在v轴方向的距离,确定出在v轴方向的相邻取样点之间的深度差。
本申请实施例中,每个取样点具有多个相邻的取样点,可能由于误差某一取样点根据不同的相邻取样点所计算出的深度差会存在矛盾的情况,基于此可综合与相邻的多个取样点之间的深度差,确定出该取样点与其相邻的多个取样点之间的深度差。举例取样点A分别与取样点B和取样点C相邻,而取样点D也分别与取样点B和取样点C相邻,取样点A、B、C和D刚好围成一矩形,假定取样点B与取样点A的深度差为-1,取样点C与取样点A的深度差为-1,取样点D与取样点B的深度差为0,那么理论上取样点D与取样点C的深度差也应该为0,而实际上算出来取样点D与取样点C的深度差为0.1,此时则可综合考虑取样点D分别与取样点B、C的深度差(0和0.1),将取样点D分别与取样点B、C的深度差设置为0.05。
步骤S105.基于多个取样点中相邻取样点之间的深度差,以及多个取样点中相邻取样点之间的深度变化曲线构建待建模目标的三维模型。
具体的,可设定多个取样点中其中一个取样点的深度,并基于多个取样点中相邻取样点之间的深度差,确定出每个取样点的深度。然后将取样点所对应的像素坐标和对应的深度确定出取样点的三维坐标,从而可得到所有取样点对应的三维坐标。举例某一取样点所对应的像素坐标(x,y),对应的深度为z,则该取样点对应的三维坐标可表示为(x,y,z)。
然后,基于多个取样点中各取样点的三维坐标以及像素坐标下多个取样点中在u轴方向(对应三维坐标系下的x轴方向)的相邻取样点之间的第一深度变化曲线,构建待建模目标的第一三维模型。并基于多个取样点中各取样点的三维坐标以及像素坐标下多个取样点中在v轴方向(对应三维坐标系下的y轴方向)的相邻取样点之间的第二深度变化曲线,构建待建模目标的第二三维模型。最后,将第一三维模型与第二三维模型相叠加,得到待建模目标的三维模型。
需要说明书的是,本申请实施例所构建的待建模目标的三维模型,是指摄像机所拍摄到的待建模目标的局部的三维模型,而并非整个待建模目标的三维模型。
由此通过前述步骤S101-S105所述的三维模型构建方法,通过获取在第一平行光源下所拍摄到的待建模目标的灰度图像和在自然光源下所拍摄到的待建模目标的RGB图像;对灰度图像中的像素点进行取样,得到多个取样点;基于灰度图像中各取样点的灰度值、第一平行光源的入射方向以及RGB图像中与多个取样点一一对应的多个位置的RGB值,确定出多个取样点中各取样点所在位置的倾斜方向;基于多个取样点中各取样点所在位置的倾斜方向以及多个取样点中相邻取样点之间的距离,估算出多个取样点中相邻取样点之间的深度差,并确定出多个取样点中相邻取样点之间的深度变化曲线;最后基于多个取样点中相邻取样点之间的深度差,以及多个取样点中相邻取样点之间的深度变化曲线构建待建模目标的三维模型。如此,能够通过对常规的平面图像的分析处理,即可十分方便的构建出待建模目标的三维模型,从而展示待建模目标的立体结构,而不需要专门配置高精度的三维激光扫描仪,大大降低了三维建模的成本,便于实际应用和推广。同时,在构建三维模型时,基于中各取样点的三维坐标以及像素坐标下在u轴方向的相邻取样点之间的第一深度变化曲线,构建待建模目标的第一三维模型,基于各取样点的三维坐标以及像素坐标下在v轴方向的相邻取样点之间的第二深度变化曲线,构建待建模目标的第二三维模型,然后将第一三维模型与第二三维模型相叠加,得到待建模目标的三维模型,如此在构建三维模型时充分考虑到了像素点在u轴(对应三维坐标系中的x轴)方向和v轴(对应三维坐标系中的y轴)方向的变化情况,从而使得构建的三维模型与待建模目标的结构更接近,确保待建模目标的三维模型的准确性。
本申请实施例在第一方面的基础上,还提供了一种校验所构建的三维模型是否为有效的模型的可能设计一,其可以但不限于包括如下步骤S106-S108。
步骤S106.基于第一平行光源下之外的至少一个第二平行光源,构建待建模目标的至少一个第三三维模型。
其中,构建第三三维模型的过程与前述步骤S101-S105的过程一致,本申请实施例中不再具体说明。
步骤S107.计算三维模型与至少一个第三三维模型中每个第三三维模型的差异度。
具体的,在计算三维模型与至少一个第三三维模型中每个第三三维模型的差异度时,可对三维模型进行随机采样,得到多个采样点。然后计算三维模型中各采样点所对应位置的深度,与每个第三三维模型在与各采样点相对应位置的深度的差异度。其中,所述差异度可以是但不限于平均误差或均方误差。
步骤S108.当三维模型与至少一个第三三维模型中每个第三三维模型的差异度均低于预设阈值,则判定三维模型为有效的模型。
当三维模型与至少一个第三三维模型中每个第三三维模型的差异度均低于预设阈值,则说明构建出的三维模型与构建出的每个第三三维模型十分相近,从而能够侧面反映构建的三维模型与待建模目标的结构十分相近,此时判定三维模型为有效的模型。如此,能够对所构建的三维模型的准确性进行校验,确保所构建的三维模型与待建模目标的结构一致。
请参阅图2,本申请实施例第二方面提供了一种三维模型构建装置,三维模型构建装置包括:
获取单元,用于获取在第一平行光源下所拍摄到的待建模目标的灰度图像和在自然光源下所拍摄到的待建模目标的RGB图像;
取样单元,用于对所述灰度图像中的像素点进行取样,得到多个取样点,所述多个取样点在所述灰度图像中阵列分布;
第一计算单元,用于基于所述灰度图像中各取样点的灰度值、所述第一平行光源的入射方向以及所述RGB图像中与所述多个取样点一一对应的多个位置的RGB值,确定出所述多个取样点中各取样点所在位置的倾斜方向;
第二计算单元,用于基于所述多个取样点中各取样点所在位置的倾斜方向以及所述多个取样点中相邻取样点之间的距离,确定出所述多个取样点中相邻取样点之间的深度变化曲线,并估算出所述多个取样点中相邻取样点之间的深度差;
构建单元,用于基于所述多个取样点中相邻取样点之间的深度差,以及所述多个取样点中相邻取样点之间的深度变化曲线构建待建模目标的三维模型。
本实施例第二方面提供的装置的工作过程、工作细节和技术效果,可以参见实施例第一方面,于此不再赘述。
如图3所示,本申请实施例第三方面提供了一种三维模型构建装置,包括依次通信相连的存储器、处理器和收发器,其中,所述存储器用于存储计算机程序,所述收发器用于收发消息,所述处理器用于读取所述计算机程序,执行如实施例第一方面所述的三维模型构建方法。
具体举例的,所述存储器可以但不限于包括随机存取存储器(RAM)、只读存储器(ROM)、闪存(Flash Memory)、先进先出存储器(FIFO)和/或先进后出存储器(FILO)等等;所述处理器可以不限于采用型号为STM32F105系列的微处理器、ARM(Advanced RISCMachines)、X86等架构处理器或集成NPU(neural-network processing units)的处理器;所述收发器可以但不限于为WiFi(无线保真)无线收发器、蓝牙无线收发器、通用分组无线服务技术(General Packet Radio Service,GPRS)无线收发器、紫蜂协议(基于IEEE802.15.4标准的低功耗局域网协议,ZigBee)无线收发器、3G收发器、4G收发器和/或5G收发器等。
本实施例第四方面提供了一种存储包含有实施例第一方面所述的三维模型构建方法的指令的计算机可读存储介质,即所述计算机可读存储介质上存储有指令,当所述指令在计算机上运行时,执行如第一方面所述的三维模型构建方法。其中,所述计算机可读存储介质是指存储数据的载体,可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(Memory Stick)等,所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
本实施例第五方面提供了一种包含指令的计算机程序产品,当所述指令在计算机上运行时,使所述计算机执行如实施例第一方面所述的三维模型构建方法,其中,所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种三维模型构建方法,其特征在于,包括:
获取在第一平行光源下所拍摄到的待建模目标的灰度图像和在自然光源下所拍摄到的待建模目标的RGB图像;
对所述灰度图像中的像素点进行取样,得到多个取样点,所述多个取样点在所述灰度图像中阵列分布;
基于所述灰度图像中各取样点的灰度值、所述第一平行光源的入射方向以及所述RGB图像中与所述多个取样点一一对应的多个位置的RGB值,确定出所述多个取样点中各取样点所在位置的倾斜方向;
基于所述多个取样点中各取样点所在位置的倾斜方向以及所述多个取样点中相邻取样点之间的距离,确定出所述多个取样点中相邻取样点之间的深度变化曲线,并估算出所述多个取样点中相邻取样点之间的深度差;
基于所述多个取样点中相邻取样点之间的深度差,以及所述多个取样点中相邻取样点之间的深度变化曲线构建待建模目标的三维模型;
所述基于所述多个取样点中各取样点所在位置的倾斜方向以及所述多个取样点中相邻取样点之间的距离,确定出所述多个取样点中相邻取样点之间的深度变化曲线,包括:
基于所述多个取样点中各取样点所在位置在像素坐标系下的u轴方向的倾斜方向,及所述多个取样点中相邻取样点之间在u轴方向上的距离,确定出像素坐标系下所述多个取样点中在u轴方向的相邻取样点之间的第一深度变化曲线;
基于所述多个取样点中各取样点所在位置在像素坐标系下的v轴方向的倾斜方向,及所述多个取样点中相邻取样点之间在v轴方向上的距离,确定出像素坐标系下所述多个取样点中在v轴方向的相邻取样点之间的第二深度变化曲线;
所述基于所述多个取样点中相邻取样点之间的深度差,以及所述多个取样点中相邻取样点之间的深度变化曲线构建待建模目标的三维模型,包括:
基于所述多个取样点中相邻取样点之间的深度差和所述多个取样点中各取样点的像素坐标,构建所述多个取样点中各取样点的三维坐标,基于所述多个取样点中各取样点的三维坐标以及像素坐标下所述多个取样点中在u轴方向的相邻取样点之间的第一深度变化曲线,构建待建模目标的第一三维模型;
基于所述多个取样点中相邻取样点之间的深度差和所述多个取样点中各取样点的像素坐标,构建所述多个取样点中各取样点的三维坐标,基于所述多个取样点中各取样点的三维坐标以及像素坐标下所述多个取样点中在v轴方向的相邻取样点之间的第二深度变化曲线,构建待建模目标的第二三维模型;
将所述第一三维模型与所述第二三维模型相叠加,得到所述待建模目标的三维模型。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
基于所述第一平行光源下之外的至少一个第二平行光源,构建所述待建模目标的至少一个第三三维模型;
计算所述三维模型与至少一个第三三维模型中每个第三三维模型的差异度;
当所述三维模型与至少一个第三三维模型中每个第三三维模型的差异度均低于预设阈值,则判定所述三维模型为有效的模型。
3.根据权利要求2所述的方法,其特征在于,所述计算所述三维模型与至少一个第三三维模型中每个第三三维模型的差异度,包括:
对所述三维模型进行随机采样,得到多个采样点;
计算所述三维模型中各采样点所对应位置的深度,与每个第三三维模型在与各采样点相对应位置的深度的差异度。
4.根据权利要求3所述的方法,其特征在于,所述差异度为平均误差或均方误差。
5.根据权利要求1所述的方法,其特征在于,所述基于所述灰度图像中各取样点的灰度值、所述第一平行光源的入射方向以及所述RGB图像中与所述多个取样点一一对应的多个位置的RGB值,确定出所述多个取样点中各取样点所在位置的倾斜方向,包括:
基于所述灰度图像中各取样点的灰度值、所述第一平行光源的入射方向以及所述RGB图像中与所述多个取样点一一对应的多个位置的RGB值,确定出所述多个取样点中各取样点所在位置的单位法向量;
基于所述多个取样点中各取样点所在位置的单位法向量,确定出所述多个取样点中各取样点所在位置的倾斜方向。
6.根据权利要求5所述的方法,其特征在于,基于所述灰度图像中各取样点的灰度值、所述第一平行光源的入射方向以及所述RGB图像中与所述多个取样点一一对应的多个位置的RGB值,确定出所述多个取样点中各取样点所在位置的单位法向量,包括:
基于朗伯体表面反射模型、所述灰度图像中各取样点的灰度值、所述第一平行光源的入射方向以及所述RGB图像中与所述多个取样点一一对应的多个位置的RGB值所对应的反射系数,确定出所述多个取样点中各取样点所在位置的单位法向量。
7.一种三维模型构建装置,其特征在于,包括:
获取单元,用于获取在第一平行光源下所拍摄到的待建模目标的灰度图像和在自然光源下所拍摄到的待建模目标的RGB图像;
取样单元,用于对所述灰度图像中的像素点进行取样,得到多个取样点,所述多个取样点在所述灰度图像中阵列分布;
第一计算单元,用于基于所述灰度图像中各取样点的灰度值、所述第一平行光源的入射方向以及所述RGB图像中与所述多个取样点一一对应的多个位置的RGB值,确定出所述多个取样点中各取样点所在位置的倾斜方向;
第二计算单元,用于基于所述多个取样点中各取样点所在位置的倾斜方向以及所述多个取样点中相邻取样点之间的距离,确定出所述多个取样点中相邻取样点之间的深度变化曲线,并估算出所述多个取样点中相邻取样点之间的深度差;
构建单元,用于基于所述多个取样点中相邻取样点之间的深度差,以及所述多个取样点中相邻取样点之间的深度变化曲线构建待建模目标的三维模型;
所述第二计算单元在用于基于所述多个取样点中各取样点所在位置的倾斜方向以及所述多个取样点中相邻取样点之间的距离,确定出所述多个取样点中相邻取样点之间的深度变化曲线时,具体用于:
基于所述多个取样点中各取样点所在位置在像素坐标系下的u轴方向的倾斜方向,及所述多个取样点中相邻取样点之间在u轴方向上的距离,确定出像素坐标系下所述多个取样点中在u轴方向的相邻取样点之间的第一深度变化曲线;
基于所述多个取样点中各取样点所在位置在像素坐标系下的v轴方向的倾斜方向,及所述多个取样点中相邻取样点之间在v轴方向上的距离,确定出像素坐标系下所述多个取样点中在v轴方向的相邻取样点之间的第二深度变化曲线;
所述构建单元在用于基于所述多个取样点中相邻取样点之间的深度差,以及所述多个取样点中相邻取样点之间的深度变化曲线构建待建模目标的三维模型时,具体用于:
基于所述多个取样点中相邻取样点之间的深度差和所述多个取样点中各取样点的像素坐标,构建所述多个取样点中各取样点的三维坐标,基于所述多个取样点中各取样点的三维坐标以及像素坐标下所述多个取样点中在u轴方向的相邻取样点之间的第一深度变化曲线,构建待建模目标的第一三维模型;
基于所述多个取样点中相邻取样点之间的深度差和所述多个取样点中各取样点的像素坐标,构建所述多个取样点中各取样点的三维坐标,基于所述多个取样点中各取样点的三维坐标以及像素坐标下所述多个取样点中在v轴方向的相邻取样点之间的第二深度变化曲线,构建待建模目标的第二三维模型;
将所述第一三维模型与所述第二三维模型相叠加,得到所述待建模目标的三维模型。
8.一种三维模型构建装置,其特征在于,包括依次通信相连的存储器、处理器和收发器,其中,所述存储器用于存储计算机程序,所述收发器用于收发消息,所述处理器用于读取所述计算机程序,执行如权利要求1~6任意一项所述的三维模型构建方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有指令,当所述指令在计算机上运行时,执行如权利要求1~6任意一项所述的三维模型构建计方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310322278.XA CN116168163B (zh) | 2023-03-29 | 2023-03-29 | 三维模型构建方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310322278.XA CN116168163B (zh) | 2023-03-29 | 2023-03-29 | 三维模型构建方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116168163A CN116168163A (zh) | 2023-05-26 |
CN116168163B true CN116168163B (zh) | 2023-11-17 |
Family
ID=86416493
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310322278.XA Active CN116168163B (zh) | 2023-03-29 | 2023-03-29 | 三维模型构建方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116168163B (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0674731A (ja) * | 1992-08-25 | 1994-03-18 | Sony Corp | 3次元形状の復元方法とその装置 |
CN101236659A (zh) * | 2008-02-26 | 2008-08-06 | 天津商业大学 | 基于相关识别的三维表面重建方法 |
WO2017198945A1 (fr) * | 2016-05-20 | 2017-11-23 | Safran | Procédé de reconstruction tridimensionnelle à l'aide d'une caméra plénoptique |
WO2018040099A1 (zh) * | 2016-08-31 | 2018-03-08 | 深圳市唯特视科技有限公司 | 一种基于灰度和深度信息的三维人脸重建方法 |
WO2020063139A1 (zh) * | 2018-09-26 | 2020-04-02 | 北京旷视科技有限公司 | 脸部建模方法、装置、电子设备和计算机可读介质 |
WO2021077720A1 (zh) * | 2019-10-25 | 2021-04-29 | 深圳奥比中光科技有限公司 | 获取对象三维模型的方法、装置、电子设备及系统 |
CN113112588A (zh) * | 2021-04-07 | 2021-07-13 | 中国电建集团贵州电力设计研究院有限公司 | 基于rgb-d深度相机重建的地下管井三维可视化方法 |
EP3866112A2 (en) * | 2020-11-30 | 2021-08-18 | Beijing Baidu Netcom Science And Technology Co. Ltd. | Method, apparatus, device, storage medium and program for three-dimensional reconstruction |
CN114049464A (zh) * | 2021-11-15 | 2022-02-15 | 聚好看科技股份有限公司 | 一种三维模型的重建方法及设备 |
CN114693779A (zh) * | 2022-04-02 | 2022-07-01 | 蔚来汽车科技(安徽)有限公司 | 用于确定手部三维关键点的方法及装置 |
CN115601511A (zh) * | 2022-12-14 | 2023-01-13 | 深圳思谋信息科技有限公司(Cn) | 三维重建方法、装置、计算机设备及计算机可读存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113119099A (zh) * | 2019-12-30 | 2021-07-16 | 深圳富泰宏精密工业有限公司 | 计算机装置、控制机械手臂夹取和放置物件的方法 |
-
2023
- 2023-03-29 CN CN202310322278.XA patent/CN116168163B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0674731A (ja) * | 1992-08-25 | 1994-03-18 | Sony Corp | 3次元形状の復元方法とその装置 |
CN101236659A (zh) * | 2008-02-26 | 2008-08-06 | 天津商业大学 | 基于相关识别的三维表面重建方法 |
WO2017198945A1 (fr) * | 2016-05-20 | 2017-11-23 | Safran | Procédé de reconstruction tridimensionnelle à l'aide d'une caméra plénoptique |
WO2018040099A1 (zh) * | 2016-08-31 | 2018-03-08 | 深圳市唯特视科技有限公司 | 一种基于灰度和深度信息的三维人脸重建方法 |
WO2020063139A1 (zh) * | 2018-09-26 | 2020-04-02 | 北京旷视科技有限公司 | 脸部建模方法、装置、电子设备和计算机可读介质 |
WO2021077720A1 (zh) * | 2019-10-25 | 2021-04-29 | 深圳奥比中光科技有限公司 | 获取对象三维模型的方法、装置、电子设备及系统 |
EP3866112A2 (en) * | 2020-11-30 | 2021-08-18 | Beijing Baidu Netcom Science And Technology Co. Ltd. | Method, apparatus, device, storage medium and program for three-dimensional reconstruction |
CN113112588A (zh) * | 2021-04-07 | 2021-07-13 | 中国电建集团贵州电力设计研究院有限公司 | 基于rgb-d深度相机重建的地下管井三维可视化方法 |
CN114049464A (zh) * | 2021-11-15 | 2022-02-15 | 聚好看科技股份有限公司 | 一种三维模型的重建方法及设备 |
CN114693779A (zh) * | 2022-04-02 | 2022-07-01 | 蔚来汽车科技(安徽)有限公司 | 用于确定手部三维关键点的方法及装置 |
CN115601511A (zh) * | 2022-12-14 | 2023-01-13 | 深圳思谋信息科技有限公司(Cn) | 三维重建方法、装置、计算机设备及计算机可读存储介质 |
Non-Patent Citations (2)
Title |
---|
基于单目视觉的大范围场景定位与建图技术研究;王烁;中国优秀硕士学位论文全文数据库信息科技辑;I138-1125 * |
王烁.基于单目视觉的大范围场景定位与建图技术研究.中国优秀硕士学位论文全文数据库信息科技辑.2022,I138-1125. * |
Also Published As
Publication number | Publication date |
---|---|
CN116168163A (zh) | 2023-05-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107223269B (zh) | 三维场景定位方法和装置 | |
CN113643378B (zh) | 多相机环境中主动式刚体的位姿定位方法及相关设备 | |
CN110230998B (zh) | 基于线激光和双目相机的快速精密三维测量方法和装置 | |
US8254723B2 (en) | System and method for extracting boundary elements of an object | |
CN101697233B (zh) | 一种基于结构光的三维物体表面重建方法 | |
CN111340864A (zh) | 基于单目估计的三维场景融合方法及装置 | |
US20190096092A1 (en) | Method and device for calibration | |
CN110942506B (zh) | 一种物体表面纹理重建方法、终端设备及系统 | |
WO2010133007A1 (en) | Techniques for rapid stereo reconstruction from images | |
CN109974623B (zh) | 基于线激光和双目视觉的三维信息获取方法和装置 | |
CN112686950B (zh) | 位姿估计方法、装置、终端设备及计算机可读存储介质 | |
CN110163087A (zh) | 一种人脸姿态识别方法及系统 | |
CN104794713A (zh) | 基于arm和双目视觉的温室作物数字化成像方法 | |
CN106097433A (zh) | 物体工业与影像模型的叠加方法及系统 | |
CN114494388B (zh) | 一种大视场环境下图像三维重建方法、装置、设备及介质 | |
CN112446927A (zh) | 激光雷达和相机的联合标定方法、装置、设备及存储介质 | |
CN113610933A (zh) | 一种基于双目区域视差的原木堆垛动态检尺系统和方法 | |
CN111383264B (zh) | 一种定位方法、装置、终端及计算机存储介质 | |
CN111047692A (zh) | 一种三维建模方法、装置、设备及可读取存储介质 | |
CN116168163B (zh) | 三维模型构建方法、装置及存储介质 | |
CN112002016B (zh) | 基于双目视觉的连续曲面重建方法、系统和装置 | |
CN117095002B (zh) | 轮毂缺陷的检测方法及装置、存储介质 | |
KR20090072030A (ko) | 항공용 라이다로부터 추출된 빌딩폴리곤의 내재적기하정규화 방법 | |
CN111023994B (zh) | 一种基于多重测量的光栅三维扫描方法及系统 | |
CN115294277B (zh) | 一种物体的三维重建方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |