CN113034684B - 三维重建方法、电子设备及计算机可读存储介质 - Google Patents

三维重建方法、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN113034684B
CN113034684B CN202110564127.6A CN202110564127A CN113034684B CN 113034684 B CN113034684 B CN 113034684B CN 202110564127 A CN202110564127 A CN 202110564127A CN 113034684 B CN113034684 B CN 113034684B
Authority
CN
China
Prior art keywords
sub
pixel
dimensional
laser
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110564127.6A
Other languages
English (en)
Other versions
CN113034684A (zh
Inventor
王凯
刘羽
周璐
李铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Huaray Technology Co Ltd
Original Assignee
Zhejiang Huaray Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Huaray Technology Co Ltd filed Critical Zhejiang Huaray Technology Co Ltd
Priority to CN202110564127.6A priority Critical patent/CN113034684B/zh
Publication of CN113034684A publication Critical patent/CN113034684A/zh
Application granted granted Critical
Publication of CN113034684B publication Critical patent/CN113034684B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请公开了一种三维重建方法、电子设备及计算机可读存储介质。该方法包括:获取目标对应的多张第一激光线图像,每张第一激光线图像对应目标表面的不同位置;提取每张第一激光线图像中的第一激光条纹中心,第一激光条纹中心包括多个第一亚像素点;确定每个第一亚像素点在映射表中对应的第二亚像素点,映射表记录有多个第二亚像素点与三维点的对应关系;基于每个第一亚像素点对应的第二亚像素点,确定每个第一亚像素点在映射表中对应的所述三维点,以得到目标的三维模型。通过上述方式,能够提高获取到的目标的三维模型的准确度。

Description

三维重建方法、电子设备及计算机可读存储介质
技术领域
本申请涉及计算机视觉领域,特别是涉及一种三维重建方法、电子设备及计算机可读存储介质。
背景技术
三维重建技术旨在将被测物刻画层符合计算机逻辑表达的三维模型,以应用于工艺、医疗、建筑等领域。
其中,三维重建可以被分为主动式三维重建和被动式三维重建。可以基于三角测量原理实现主动时三维重建。在此方式下,激光发射器以固定的发射角度向被测物体发射激光,激光遇到被测物后发生反射并被相机镜头所接收,通过透镜投影至相机传感器形成激光线图像,通过移动被测物便能获取被测物表面不同位置对应的激光线图像。进而基于三角测量原理获取激光线图像中的像素点对应的三维点,即被测物表面的三维点,以组成被测物的三维模型。但是,该方法获取的三维点的精度不高。
发明内容
本申请提供一种三维重建方法、电子设备及计算机可读存储介质,能够解决现有的三维重建方法中获取被测物表面的三维点的精度不高的问题。
为解决上述技术问题,本申请采用的一个技术方案是:提供一种三维重建方法。该方法包括:获取目标对应的多张第一激光线图像,每张第一激光线图像对应目标表面的不同位置;提取每张第一激光线图像中的第一激光条纹中心,第一激光条纹中心包括多个第一亚像素点;确定每个第一亚像素点在映射表中对应的第二亚像素点,映射表记录有多个第二亚像素点与三维点的对应关系;基于每个第一亚像素点对应的第二亚像素点,确定每个第一亚像素点在映射表中对应的所述三维点,以得到目标的三维模型。
为解决上述技术问题,本申请采用的另一个技术方案是:提供一种电子设备,该电子设备包括处理器、与处理器连接的存储器,其中,存储器存储有程序指令;处理器用于执行存储器存储的程序指令以实现上述方法。
为解决上述技术问题,本申请采用的又一个技术方案是:提供一种计算机可读存储介质,存储有程序指令,该程序指令被执行时能够实现上述方法。
通过上述方式,本申请通过预先设置记录有像素坐标(第二亚像素点)与三维坐标的对应关系的映射表,即预先知道了像素坐标与三维坐标的对应关系,从而在通过目标对应的激光线图像对目标进行三维重建时,可直接在映射表中查找激光线图像中的像素坐标(第一亚像素点)对应的目标表面的三维坐标,以得到目标的三维模型。故,即使U,V有误差,相机存在畸变,也不会影响得到的目标表面的三维点的准确度。换句话说,本申请提供的三维重建方法能够提高获取的三维点的准确度,进而能够提高获取的三维模型的准确度。
附图说明
图1是现有技术中基于三角测量原理获取被测物表面的三维坐标的结构示意图;
图2是本申请三维重建方法实施例一的流程示意图;
图3是本申请三维重建方法实施例二的流程示意图;
图4是图3中S23的具体流程示意图;
图5是本申请三维重建方法实施例三的流程示意图;
图6是本申请三维重建方法实施例四的流程示意图;
图7是本申请电子设备一实施例的结构示意图;
图8是本申请计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请中的术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,在不冲突的情况下,本文所描述的实施例可以与其它实施例相结合。
在介绍本申请提供的三维重建方法之前,先结合图1对现有技术中基于三角测量原理获取被测物表面的三维坐标的方法进行说明:
如图1所示,世界坐标系原点为O(0,0,0),图像坐标系原点为O’(0,0)。激光发射器(线激光器)以固定的发射角度向被测物发射激光,激光遇到被测物上的点P(x,y,z)后发生反射并被相机镜头(透镜Q)接收,通过透镜Q投影为相机传感器(图像传感器)上的点P’(x’,y’)。P的深度信息为h=z=|OP|,对应相机传感器上h’=|O’P’|。
在激光发射器和相机位置固定的情况下,可通过如下两种方式获取P(x,y,z)。
方法一:透镜Q中心点到原点O的距离u=|OQ|、透镜Q中心点到原点O’的距离v=|O’Q|以及OP与OQ的夹角θ固定,且P和h’已知。可以通过如下公式可求取P(x,y,z):
Figure DEST_PATH_IMAGE001
Figure DEST_PATH_IMAGE002
方法二:激光发射器发射的激光构成的激光三角平面固定,此平面方程为Lx+My+Nz=1。透镜Q的中心点是固定不变的,P’已知,QP’构成一条直线QP’,从而求解一下方程组可以得到P(x,y,z):
Figure DEST_PATH_IMAGE003
经本申请发明人长期研究发现,上述方法一和方法二存在如下缺陷:
方法一,过度依赖参数U、V,当U、V有误差时,影响得到的三维点精度。
方法二,相机镜头存在畸变影响直线QP’的精度;且激光发射器存在畸变导致发射的激光的直线度不好,影响激光三角平面的精度。故,影响得到的三维点精度。
为了提高得到的被测物的三维模型/表面的三维点的准确度,本申请提供的三维重建方法如下:
图2是本申请三维重建方法实施例一的流程示意图。需注意的是,若有实质上相同的结果,本实施例并不以图2所示的流程顺序为限。如图2所示,本实施例可以包括:
S11:获取目标对应的多张第一激光线图像,每张第一激光线图像对应目标表面的不同位置。
目标即为被测物。获取目标对应的第一激光线图像的器件包括相机和激光发射器。激光发射器向目标表面发射激光,激光遇到目标表面后反射并被相机所检测,从而形成第一激光线图像。在获取目标对应的第一激光线图像的过程中,激光发射器及其发射角度和相机的位置固定,目标是可以移动的,从而可以获取到目标表面的不同位置对应的第一激光线图像。
S12:提取每张第一激光线图像中的第一激光条纹中心。
第一激光条纹中心包括多个第一亚像素点。
本申请中提及的亚像素点/亚像素角点/像素点为图像坐标系下的坐标,三维点为世界坐标系下的三维坐标。
可以采用灰度重心法、阈值法、骨架中心提取法等提取第一激光线图像中的第一激光条纹中心。本申请以灰度重心法为例进行说明。
对于每张第一激光线图像而言,其中的每一列对应一个第一亚像素点,每一列对应的第一亚像素点组成其中的第一激光条纹中心。
列对应的第一亚像素点可以是基于该列中所有像素点的灰度值获取到的。具体而言,对于该列中的所有像素点,可以以对应的灰度值为权重,对所有像素点的纵坐标进行加权平均,得到该列对应的第一亚像素点的纵坐标,并以该列的列数作为该列对应的第一亚像素点的横坐标。其中,此方式获取第一亚像素点所依据的公式可以如下:
Figure DEST_PATH_IMAGE004
Figure DEST_PATH_IMAGE005
其中,
Figure DEST_PATH_IMAGE006
表示第
Figure DEST_PATH_IMAGE007
列对应的第一亚像素点的横坐标,
Figure DEST_PATH_IMAGE008
表示第
Figure 900891DEST_PATH_IMAGE007
列对应的第一亚像素点的纵坐标,
Figure DEST_PATH_IMAGE009
表示第
Figure 880348DEST_PATH_IMAGE007
列中第
Figure DEST_PATH_IMAGE010
个像素点的纵坐标,
Figure DEST_PATH_IMAGE011
表示第
Figure 300832DEST_PATH_IMAGE007
列中第
Figure DEST_PATH_IMAGE012
个像素点的灰度值。
出于准确性的考虑,列对应的第一亚像素点可以是基于该列中部分像素点的灰度值获取到的。此方式的具体说明请参见后面的实施例。
S13:确定每个第一亚像素点在映射表中对应的第二亚像素点。
映射表记录有多个第二亚像素点与三维点的对应关系。映射表中的第二亚像素点为后面提及的第二激光线图像中的第二亚像素点。
映射表的列数与第一激光线图像的列数相同,每一个第一亚像素点存在于激光线图像中的不同列,且分别对应映射表中的不同列。
对于每个第一亚像素点,确定第一亚像素点对应的第二亚像素点的方式至少包括两种。第一种是直接在映射表查找与其对应的一个第二亚像素点,即在映射表中查找到与其相同的一个像素坐标,作为与其对应的第二亚像素点。第二种是在映射表的对应列中查找与其最近的两个第二亚像素点(即距离最近的上下两个第二亚像素点),作为与其对应的第二亚像素点。
映射表记录的数据的丰富程度决定查找成功(在映射表查找到与第一亚像素点对应的一个第二亚像素点)的几率。也即在映射表中记录的数据足够丰富的情况下,直接在映射表中找到与其对应的一个第二亚像素点的几率较高。
因此在一具体实施方式中,若映射表记录的数据足够丰富,可以采取第一种确定方式,在第一种确定方式未查找成功的情况下,再采用第二种确定方式。也即先在映射表查找与其对应的一个第二亚像素点。若查找成功,则可以直接将与其对应的一个第二亚像素点作为与其对应的第二亚像素点。若查找失败,则在映射表的对应列中查找与其最近的两个第二亚像素点,作为与其对应的第二亚像素点。在映射表记录的数据较稀疏的情况下,可以直接采用第二种确定方式。即直接在映射表的对应列中查找与其最近的两个第二亚像素点,作为与其对应的第二亚像素点。
当然,在其他具体实施方式中,也可以选取其他确定第一亚像素点对应的第二亚像素点的方式。例如,无论映射表记录的数据丰富还是稀疏,都采用第二种确定方式。
S14:基于每个第一亚像素点对应的第二亚像素点,确定每个第一亚像素点在映射表中对应的三维点,以得到目标的三维模型。
可以确定第一亚像素点对应的第二亚像素点在映射表中对应的三维点,作为第一亚像素点对应的三维点。
若第一亚像素点对应的第二亚像素点是采用第一种确定方式确定的,则第一亚像素点对应一个三维点。在此情况下,第一亚像素点对应的三维点可以直接用于组成三维模型。
若第一亚像素点对应的第二亚像素点是采用第二种确定方式确定的,即第一亚像素点对应两个三维点。在此情况下,第一亚像素点对应的三维点需要进一步处理才能得到用于组成三维模型的三维点。具体处理的方式请参见后面实施例的说明。
通过本实施例的实施,本申请通过预先设置记录有像素坐标(第二亚像素点)与三维坐标的对应关系的映射表,即预先知道了像素坐标与三维坐标的对应关系,从而在通过目标对应的激光线图像对目标进行三维重建时,可直接在映射表中查找激光线图像中的像素坐标(第一亚像素点)对应的目标表面的三维坐标,以得到目标的三维模型。即使U,V有误差,相机/激光发射器存在畸变,也不会影响得到的目标表面的三维点的准确度。换句话说,相较于方法一和方法二,本申请提供的三维重建方法能够提高获取的三维点的准确度,进而能够提高获取的三维模型的准确度。
图3是本申请三维重建方法实施例二的流程示意图。需注意的是,若有实质上相同的结果,本实施例并不以图3所示的流程顺序为限。如图3所示,在上述S13之前,还可以通过如下步骤获取映射表:
S21:获取放置于不同高度的棋盘格对应的第二激光线图像。
可以将棋盘格放置在高度可调的平台上,从而可以通过调整平台的高度来调整棋盘格的高度,进而获取不同高度的棋盘格对应的第二激光线图像。第二激光线图像的获取方法请参考前面第一激光线图像的获取方法,在此不赘述。
其中,高度调整的间隔越小,后续获取到的映射表的数据越丰富。
S22:提取每张第二激光线图像中的第二激光条纹中心。
第二激光条纹中心包括对应的第二激光线图像中的多个第二亚像素点。
提取第二激光条纹中心的方法请参考后面介绍的提取第一激光条纹中心的方法,在此不赘述。
S23:获取第二激光线图像中的第二亚像素点对应的三维点,以形成映射表。
结合参阅图4,S23可以包括以下子步骤:
S231:利用相机对放置于不同高度的棋盘格拍摄,得到对应的棋盘格图像。
棋盘格图像与第二激光线图像一一对应。对应的棋盘格图像与第二激光线图像是在棋盘格处于同一高度下获取到的。从而,本步骤获取棋盘格图像和S21中获取第二激光线图像可以同步进行。即可以同步获取放置于同一高度的棋盘格对应的第二激光线图像和棋盘格图像。
S232:提取每张棋盘格图像中的亚像素角点,作为对应的棋盘格图像中的第二亚像素点。
S233:基于棋盘格的尺寸确定每张棋盘格图像中的第二亚像素点对应的三维点,以得到每张棋盘格图像中的第二亚像素点与三维点之间的转换关系。
可以理解的是,由于棋盘格图像中的第二亚像素点对应的三维点是基于棋盘格的尺寸确定的,故用于获取棋盘格图像的相机的畸变不会影响第二亚像素点对应的三维点的准确度,进而在相机存在畸变的情况下也能够获取到棋盘格图像中的第二亚像素点与三维点之间实际的转换关系。
第二亚像素点与三维点之间的转换关系也可以被称为单应性矩阵(Homography,简称hom矩阵),且每张棋盘格图像中具有对应的转换关系。
S234:基于对应的转换关系,确定每张第二激光线图像中的第二亚像素点对应的三维点。
可以理解的是,通过实际的转换关系,可直接确定第二亚像素点对应的实际的三维点。故即使激光发射器/相机存在畸变,导致第二激光线图像中某些第二亚像素点畸变,也能够得到第二激光线图像中的第二亚像素点对应的正确的三维点。
S235:对每张第二激光线图像对应的三维点进行统一,以使每张第二激光线图像对应的三维点处在同一世界坐标系。
每张第二激光线图像中的第二亚像素点与统一后三维点的对应关系组成映射表。
可以在本步骤之前,对相机进行标定以获取相机的内参,其中标定的方法包括但不限于张正友标定法;基于内参和对应的转换关系,获取每张第二激光线图像对应的相机的外参。在此基础上,本步骤中,可以基于对应的相机的外参,对每张第二激光线图像对应的三维点进行统一。
其中,对每张第二激光线图像对应的三维点进行统一可以理解为对每张第二激光线图像对应的三维点所处世界坐标系的统一,即将每张第二激光线图像对应的三维点统一到其中一张第一激光线图像所处的世界坐标系下。例如,将每张第二激光线图像对应的三维点统一到第一张第一激光线图像所处的世界坐标系下,那么对于第一张第一激光线图像之外的其他第二激光线图像,可以基于其对应的相机的外参,将其对应的三维点转换至图像坐标系;基于第一张第一激光线图像对应的相机的外参,将转换后的三维坐标进一步进行转换至世界坐标系。
图5是本申请三维重建方法实施例三的流程示意图。需注意的是,若有实质上相同的结果,本实施例并不以图5所示的流程顺序为限。如图5所示,在S12中列对应的第一亚像素点是基于该列中部分像素点的灰度值获取到的情况下,S12可以包括以下子步骤:
S31:对于每张第一激光线图像,获取第一激光线图像中每一列的激光条纹宽度。
每一列的激光条纹宽度即为对应列中受到激光作用的像素数量。
对于每一列,可以确定列中的最大灰度值像素点,其中,最大灰度值像素点即为该列中对应的灰度值最大的像素点;可以确定列中最大灰度值像素点周围(邻域内)的对应灰度值大于预设阈值的像素点数量,以得到列对应的激光条纹宽度。该激光条纹宽度内的像素点及其灰度值可以直接应用于S32中的处理。
由于后续S32中第一亚像素点的纵坐标是以激光条纹宽度内像素点对应的灰度值为权重获取到的,而如果该列中有多个最大灰度值像素点,或者说,该列中的激光条纹宽度内存在对应相同灰度值的像素点有多个,这就意味着存在激光条纹宽度内多个像素点对应的权重相同,会影响后续获取到的第一亚像素点的纵坐标的准确度。因此,在确定该列对应的激光条纹宽度后,还可以进一步基于该列对应的激光条纹宽度确定该列对应的卷积核,例如,激光条纹宽度为4,那么确定卷积核大小为1*4;基于对应的卷积核对该列进行卷积,以更新该列中的激光条纹宽度和像素点的灰度值。更新后的激光条纹宽度内的像素点及其灰度值用于S32中的处理,能够提高S32得到的第一亚像素点的纵坐标的准确度。
S32:以对应的灰度值作为权重,对每一列的激光条纹宽度内的像素点的纵坐标进行加权平均,得到第一亚像素点的纵坐标,并将对应的列数作为第一亚像素点的横坐标。
本步骤所依据的公式可以如下:
Figure 696041DEST_PATH_IMAGE004
Figure DEST_PATH_IMAGE013
其中,
Figure 572730DEST_PATH_IMAGE006
表示第
Figure 395193DEST_PATH_IMAGE007
列对应的第一亚像素点的横坐标,
Figure 724543DEST_PATH_IMAGE008
表示第
Figure 923443DEST_PATH_IMAGE007
列对应的第一亚像素点的纵坐标,
Figure 156104DEST_PATH_IMAGE009
表示第
Figure 149468DEST_PATH_IMAGE007
列的激光条纹宽度内第
Figure DEST_PATH_IMAGE014
个像素点的纵坐标,
Figure 966114DEST_PATH_IMAGE011
表示第
Figure 703126DEST_PATH_IMAGE007
列中第
Figure DEST_PATH_IMAGE015
个像素点的灰度值。
图6是本申请三维重建方法实施例四的流程示意图。需注意的是,若有实质上相同的结果,本实施例并不以图6所示的流程顺序为限。本实施例是对S14的进一步扩展。如图6所示,若采用第二种确定方式确定第一亚像素点对应的第二亚像素点,则S13可以扩展为S41,在此基础上S14可以扩展为S42-S43。具体如下:
S41:对于每个第一亚像素点,在映射表的对应列中查找与第一亚像素点最近的两个第二亚像素点,作为第一亚像素点对应的第二亚像素点。
S42:确定第一亚像素点对应的第二亚像素点在映射表中对应的两个三维点。
第一亚像素点对应的两个三维点形成第一直线,以及第一亚像素点与相机光心形成第二直线。
相机光心为相机镜头的中心,其为相机的内参之一。若第一亚像素点为(x,y),可以将第一亚像素点转换为三维坐标,例如转换为(x,y,1),以统一第一亚像素点与相机光心的维度。
下面对S41-S42的实现过程进行举例说明:
若第一激光条纹中心为:
Figure DEST_PATH_IMAGE016
且,映射表为:
Figure DEST_PATH_IMAGE017
其中,A、B、C、D、E表示第一亚像素点,
Figure DEST_PATH_IMAGE018
表示第二亚像素点,
Figure DEST_PATH_IMAGE019
表示
Figure DEST_PATH_IMAGE020
对应的三维点,
Figure DEST_PATH_IMAGE021
Figure DEST_PATH_IMAGE022
对于A而言,在
Figure DEST_PATH_IMAGE023
中查找与其对应的第二亚像素点。若查找到与其对应的第二亚像素点为
Figure DEST_PATH_IMAGE024
Figure DEST_PATH_IMAGE025
,则将
Figure 974314DEST_PATH_IMAGE024
对应的三维点
Figure DEST_PATH_IMAGE026
Figure 466475DEST_PATH_IMAGE025
对应的三维点
Figure DEST_PATH_IMAGE027
作为A对应的两个三维点。
S43:将第一直线上与第二直线最近的三维点,作为第一亚像素点对应的三维点。
图7是本申请电子设备一实施例的结构示意图。如图7所示,该电子设备可以包括处理器51、与处理器51耦接的存储器52。
其中,存储器52存储有用于实现上述任一实施例的方法的程序指令;处理器51用于执行存储器52存储的程序指令以实现上述方法实施例的步骤。其中,处理器51还可以称为CPU(Central Processing Unit,中央处理单元)。处理器51可能是一种集成电路芯片,具有信号的处理能力。处理器51还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器51也可以是任何常规的处理器等。
图8是本申请计算机可读存储介质一实施例的结构示意图。如图8所示,本申请实施例的计算机可读存储介质60存储有程序指令61,该程序指令61被执行时实现本申请上述实施例提供的方法。其中,该程序指令61可以形成程序文件以软件产品的形式存储在上述计算机可读存储介质60中,以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的计算机可读存储介质60包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质,或者是计算机、服务器、手机、平板等终端设备。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (9)

1.一种三维重建方法,其特征在于,包括:
获取目标对应的多张第一激光线图像,每张所述第一激光线图像对应所述目标表面的不同位置;
提取每张所述第一激光线图像中的第一激光条纹中心,所述第一激光条纹中心包括多个第一亚像素点;
对于每个所述第一亚像素点,在映射表的对应列中查找与所述第一亚像素点最近的两个第二亚像素点,作为所述第一亚像素点对应的所述第二亚像素点,所述映射表记录有多个所述第二亚像素点与三维点的对应关系;
确定所述第一亚像素点对应的所述第二亚像素点在所述映射表中对应的两个所述三维点,所述第一亚像素点对应的两个所述三维点形成第一直线,以及所述第一亚像素点与相机光心形成第二直线;
将所述第一直线上与所述第二直线最近的所述三维点,作为所述第一亚像素点对应的所述三维点,以得到所述目标的三维模型。
2.根据权利要求1所述的方法,其特征在于,在所述在映射表的对应所述列中查找与所述第一亚像素点最近的两个所述第二亚像素点之前,包括:
获取放置于不同高度的棋盘格对应的第二激光线图像;
提取每张所述第二激光线图像中的第二激光条纹中心,所述第二激光条纹中心包括对应的所述第二激光线图像中的多个所述第二亚像素点;
获取所述第二激光线图像中的所述第二亚像素点对应的所述三维点,以形成所述映射表。
3.根据权利要求2所述的方法,其特征在于,所述获取所述第二激光线图像中的所述第二亚像素点对应的所述三维点,以形成所述映射表,包括:
利用相机对放置于不同高度的所述棋盘格拍摄,得到棋盘格图像,所述棋盘格图像与所述第二激光线图像一一对应;
提取每张所述棋盘格图像中的亚像素角点,作为对应的所述棋盘格图像中的所述第二亚像素点;
基于所述棋盘格的尺寸确定每张所述棋盘格图像中的所述第二亚像素点对应的所述三维点,以得到每张所述棋盘格图像中的所述第二亚像素点与所述三维点之间的转换关系;
基于对应的所述转换关系,确定每张所述第二激光线图像中的所述第二亚像素点对应的所述三维点;
对每张所述第二激光线图像对应的所述三维点进行统一,以使每张所述第二激光线图像对应的所述三维点处在同一世界坐标系,每张所述第二激光线图像中的所述第二亚像素点与统一后所述三维点的对应关系组成所述映射表。
4.根据权利要求3所述的方法,其特征在于,在所述对每张所述第二激光线图像对应的所述三维点进行统一之前,包括:
对所述相机进行标定,以获取所述相机的内参;
基于所述内参和对应的所述转换关系,获取每张所述第二激光线图像对应的所述相机的外参;
所述对每张所述第二激光线图像对应的所述三维点进行统一,包括:
基于对应的所述相机的外参,对每张所述第二激光线图像对应的三维点进行统一。
5.根据权利要求1所述的方法,其特征在于,所述提取每张所述第一激光线图像中的第一激光条纹中心,包括:
对于每张所述第一激光线图像,获取所述第一激光线图像中每一列的激光条纹宽度;
以对应的灰度值作为权重,对每一所述列的激光条纹宽度内的像素点的纵坐标进行加权平均,得到所述第一亚像素点的纵坐标,并将对应的列数作为所述第一亚像素点的横坐标。
6.根据权利要求5所述的方法,其特征在于,所述获取所述激光线图像中每一列的激光条纹宽度,包括:
对于每一所述列,确定所述列中的最大灰度值像素点;
确定所述列中所述最大灰度值像素点周围的对应灰度值大于预设灰度阈值的像素点数量,以得到所述列对应的所述激光条纹宽度。
7.根据权利要求5所述的方法,其特征在于,在所述以对应的灰度值作为权重,对每一所述列的激光条纹宽度内的像素点的纵坐标进行加权平均,得到所述第一亚像素点的纵坐标,并将对应的列数作为所述第一亚像素点的横坐标之前,包括:
基于所述列对应的所述激光条纹宽度确定所述列对应的卷积核;
基于对应的所述卷积核对所述列进行卷积,以更新所述列中的所述激光条纹宽度和所述像素点的灰度值。
8.一种电子设备,其特征在于,包括处理器、与所述处理器连接的存储器,其中,
所述存储器存储有程序指令;
所述处理器用于执行所述存储器存储的所述程序指令以实现权利要求1-7中任一项所述的方法。
9.一种计算机可读存储介质,其特征在于,所述存储介质存储程序指令,所述程序指令被执行时实现如权利要求1-7中任一项所述的方法。
CN202110564127.6A 2021-05-24 2021-05-24 三维重建方法、电子设备及计算机可读存储介质 Active CN113034684B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110564127.6A CN113034684B (zh) 2021-05-24 2021-05-24 三维重建方法、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110564127.6A CN113034684B (zh) 2021-05-24 2021-05-24 三维重建方法、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113034684A CN113034684A (zh) 2021-06-25
CN113034684B true CN113034684B (zh) 2021-09-17

Family

ID=76455652

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110564127.6A Active CN113034684B (zh) 2021-05-24 2021-05-24 三维重建方法、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113034684B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113902700A (zh) * 2021-09-30 2022-01-07 北京博清科技有限公司 焊接过程中激光线质量的确定方法、确定装置与焊接装置
CN116664408B (zh) * 2023-07-31 2023-10-13 北京朗视仪器股份有限公司 一种彩色结构光的点云上采样方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105913488A (zh) * 2016-04-15 2016-08-31 长安大学 一种基于三维映射表的三维点云快速重建方法
CN107578464A (zh) * 2017-06-30 2018-01-12 长沙湘计海盾科技有限公司 一种基于线激光扫描的传送带工件三维轮廓测量方法
CN111750804A (zh) * 2020-06-19 2020-10-09 浙江华睿科技有限公司 一种物体测量的方法及设备
CN112797915A (zh) * 2020-12-29 2021-05-14 杭州海康机器人技术有限公司 一种线结构光测量系统的标定方法、标定装置、以及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106091984B (zh) * 2016-06-06 2019-01-25 中国人民解放军信息工程大学 一种基于线激光的三维点云数据获取方法
CN110470238A (zh) * 2019-07-02 2019-11-19 杭州非白三维科技有限公司 一种手持激光三维扫描仪、扫描方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105913488A (zh) * 2016-04-15 2016-08-31 长安大学 一种基于三维映射表的三维点云快速重建方法
CN107578464A (zh) * 2017-06-30 2018-01-12 长沙湘计海盾科技有限公司 一种基于线激光扫描的传送带工件三维轮廓测量方法
CN111750804A (zh) * 2020-06-19 2020-10-09 浙江华睿科技有限公司 一种物体测量的方法及设备
CN112797915A (zh) * 2020-12-29 2021-05-14 杭州海康机器人技术有限公司 一种线结构光测量系统的标定方法、标定装置、以及系统

Also Published As

Publication number Publication date
CN113034684A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
US20200128225A1 (en) Depth Information Acquisition Method and Device
CN113034684B (zh) 三维重建方法、电子设备及计算机可读存储介质
US20150381965A1 (en) Systems and methods for depth map extraction using a hybrid algorithm
US9210404B2 (en) Calibration and registration of camera arrays using a single circular grid optical target
CN111179358A (zh) 标定方法、装置、设备及存储介质
CN110163898B (zh) 深度信息配准方法、装置、系统、设备及存储介质
CN111210468A (zh) 一种图像深度信息获取方法及装置
US20230084728A1 (en) Systems and methods for object measurement
WO2020119467A1 (zh) 高精度稠密深度图像的生成方法和装置
US20230252666A1 (en) Systems and methods of measuring an object in a scene of a captured image
WO2021238070A1 (zh) 三维图像的生成方法、装置及计算机设备
CN111105467B (zh) 一种图像标定方法、装置及电子设备
CN113240736A (zh) 基于yolo6d改进网络的位姿估计方法及装置
WO2020224199A1 (zh) 鱼眼相机标定系统、方法、装置、电子设备及存储介质
CN108895979A (zh) 线段编码的结构光深度获取方法
CN110602486B (zh) 检测方法、装置、深度相机及计算机可读存储介质
CN117095038A (zh) 用于激光扫描仪的点云滤波方法及系统
CN117128870A (zh) 一种基于图像信息融合的结构动态位移测量方法和电子设备
CN114066992B (zh) 一种相机标定方法、系统、装置以及存储介质
US10339702B2 (en) Method for improving occluded edge quality in augmented reality based on depth camera
CN113723380B (zh) 基于雷达技术的人脸识别方法、装置、设备和存储介质
CN115797416A (zh) 基于点云图像的图像重建方法、装置、设备及存储介质
CN111260781A (zh) 一种生成图像信息的方法、装置和电子设备
CN114295071B (zh) 一种获取目标形态的多维测量方法
US20220254065A1 (en) Camera calibration method and apparatus and electronic device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 310051 8 / F, building a, 1181 Bin'an Road, Binjiang District, Hangzhou City, Zhejiang Province

Applicant after: Zhejiang Huarui Technology Co.,Ltd.

Address before: No. 1199, Bin'an Road, Binjiang District, Hangzhou City, Zhejiang Province, 310051

Applicant before: ZHEJIANG HUARAY TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant