CN110211225B - 基于双目视觉的三维重建方法及系统 - Google Patents

基于双目视觉的三维重建方法及系统 Download PDF

Info

Publication number
CN110211225B
CN110211225B CN201910486706.6A CN201910486706A CN110211225B CN 110211225 B CN110211225 B CN 110211225B CN 201910486706 A CN201910486706 A CN 201910486706A CN 110211225 B CN110211225 B CN 110211225B
Authority
CN
China
Prior art keywords
image
pixel
point
current sampling
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910486706.6A
Other languages
English (en)
Other versions
CN110211225A (zh
Inventor
许伟亮
王晗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201910486706.6A priority Critical patent/CN110211225B/zh
Publication of CN110211225A publication Critical patent/CN110211225A/zh
Application granted granted Critical
Publication of CN110211225B publication Critical patent/CN110211225B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Abstract

本发明公开了一种基于双目视觉的三维重建方法及系统，对应第一图像的像素点在第二图像中确定出与该像素点具有相同纵向位置的像素点；以第一预设步长对第一图像的像素点采样，在每一步采样之后在第二图像中与第一图像的当前采样点具有相同纵向位置的像素点中，寻找与当前采样点的横向位置信息相同的像素点；若存在，则在从第二图像中找出的对应像素点的预设领域内，找出与当前采样点的像素值差异量最小的像素点，作为与当前采样点匹配的像素点，并进入下一步采样；根据第一图像和第二图像中匹配成功的像素点构建三维模型。本发明基于双目视觉的三维重建方法及系统，能够提高匹配特征的准确性。

Description

基于双目视觉的三维重建方法及系统
技术领域
本发明涉及三维重建技术领域，特别是涉及一种基于双目视觉的三维重建方法及系统。
背景技术
三维模型重建是计算机视觉中一个非常重要的研究领域，三维模型重建是利用二维图像恢复物体三维信息的数学过程和计算机技术。当前，三维模型重建按照技术方法分为四大类：采用结构光重建方法、采用断层扫描的重建方法、采用飞行时间的重建方法、采用立体成像的重建方法。其中立体成像重建方法主要分为两类，即采用单幅图像的重建方法和采用多幅图像的重建方法，基于双目图像的三维模型重建方法属于采用多幅图像的重构方法，这种方法的基本过程包括：(1)图像采集；(2)特征提取；(3)特征匹配；(4)三维坐标计算。然而现有技术中，基于双目图像的三维模型重建方法匹配特征的匹配精度不高。
发明内容
有鉴于此，本发明提供一种基于双目视觉的三维重建方法及系统，能够提高匹配特征的准确性。
为实现上述目的，本发明提供如下技术方案：
一种基于双目视觉的三维重建方法，包括：
对由第一摄像装置拍摄获得的第一图像和由第二摄像装置拍摄获得的第二图像校正，对应所述第一图像的像素点在所述第二图像中确定出与该像素点具有相同纵向位置的像素点；
以第一预设步长对所述第一图像的像素点采样，在每一步采样之后在所述第二图像中与所述第一图像的当前采样点具有相同纵向位置的像素点中，寻找与当前采样点的横向位置信息相同的像素点，像素点的横向位置信息是指以预设方式获得的表征图像像素点的横向位置的信息；
若所述第二图像中与当前采样点具有相同纵向位置的像素点中不存在横向位置信息与当前采样点的横向位置信息相同的像素点，则对所述第一图像进行下一步采样，直至完成对所述第一图像的采样；
若所述第二图像中与当前采样点具有相同纵向位置的像素点中存在横向位置信息与当前采样点的横向位置信息相同的像素点，则根据当前采样点的像素值，在从所述第二图像中找出的对应像素点的预设领域内，找出与当前采样点的像素值差异量最小的像素点，作为所述第二图像中与当前采样点匹配的像素点，并进入对所述第一图像的下一步采样，直至完成对所述第一图像的采样；
根据所述第一图像和所述第二图像中匹配成功的像素点构建三维模型。
优选的，在所述第二图像中与所述第一图像的当前采样点具有相同纵向位置的像素点中，寻找与当前采样点的横向位置信息相同的像素点包括：
以第二预设步长对所述第二图像中与所述第一图像的当前采样点具有相同纵向位置的像素点搜索，判断当前搜索点的横向位置信息与所述第一图像当前采样点的横向位置信息是否相同；
若否，则对所述第二图像中与所述第一图像的当前采样点具有相同纵向位置的像素点进行下一步搜索，直至完成对所述第二图像中与所述第一图像的当前采样点具有相同纵向位置的像素点的搜索；
若是，则将当前搜索点作为横向位置信息与当前采样点相同的对应像素点，而后对所述第二图像中与所述第一图像的当前采样点具有相同纵向位置的像素点进行下一步搜索，直至完成对所述第二图像中与所述第一图像的当前采样点具有相同纵向位置的像素点的搜索。
优选的，若所述第二图像中与当前采样点具有相同纵向位置的像素点中存在横向位置信息与当前采样点的横向位置信息相同的像素点，则判断从所述第二图像中寻找出的对应像素点是否在所述第二图像的预设区域内；
若否，则在从所述第二图像中寻找出的对应像素点的预设领域内，找出与当前采样点的像素值差异量最小的像素点，作为所述第二图像中与当前采样点匹配的像素点。
优选的，若所述第二图像中与当前采样点具有相同纵向位置的像素点中存在横向位置信息与当前采样点的横向位置信息相同的像素点，则判断从所述第二图像中寻找出的对应像素点是否在所述第二图像的预设区域内；
若是，则获取在所述第一图像的当前采样点预设领域内的每一像素点的像素值，对于在所述第二图像中寻找出的对应像素点预设领域内的每一像素点，获取该像素点预设领域内的每一像素点的像素值，计算该像素点预设领域内的每一像素点与在所述第一图像的当前采样点预设领域内对应位置的像素点的像素值差异量，并计算对应该像素点计算得到的像素值差异量的总和，在所述第二图像中寻找出的对应像素点预设领域内选取出像素值差异量的总和最小的像素点，作为所述第二图像中与当前采样点匹配的像素点。
优选的，判断从所述第二图像中寻找出的对应像素点是否在所述第二图像的预设区域内包括：判断从所述第二图像中寻找出的对应像素点是否满足以下条件：像素点列坐标位于[x1，H-x1]，像素点行坐标位于[y1，W-y1]，其中x1和y1为预设常数，H表示第二图像的横向宽度，W表示第二图像的纵向长度。
优选的，根据所述第一图像和所述第二图像中匹配成功的像素点构建三维模型包括：
根据以下公式计算视差图，表示为：D＝b1-b2，D表示视差值，b1和b2分别表示第一图像和第二图像中找出的相匹配像素点的横向位置坐标值；
根据以下公式计算第一图像和第二图像中相匹配像素点的世界坐标，表示为：
Figure GDA0003527976000000041
其中，(x，y)表示像素点在视差图中的坐标，(X，Y、Z)表示像素点在世界坐标系中的坐标，Q表示所述第一摄像装置和所述第二摄像装置的重投影矩阵。
优选的，对由第一摄像装置拍摄获得的第一图像和由第二摄像装置拍摄获得的第二图像校正包括：
根据所述第一摄像装置和所述第二摄像装置的内参数、外参数以及所述第一摄像装置和所述第二摄像装置之间的旋转矩阵、平移矩阵和重投影矩阵，对由所述第一摄像装置拍摄获得的第一图像和由所述第二摄像装置拍摄获得的第二图像校正。
优选的，像素点的横向位置信息为使用结构光投射到场景而由摄像装置拍摄获得的图像像素点的编码值。
一种基于双目视觉的三维重建系统，用于执行以上所述的基于双目视觉的三维重建方法。
由上述技术方案可知，本发明所提供的基于双目视觉的三维重建方法及系统，首先对由第一摄像装置拍摄获得的第一图像和由第二摄像装置拍摄获得的第二图像校正，对应第一图像的像素点在第二图像中确定出与该像素点具有相同纵向位置的像素点，然后以第一预设步长对第一图像的像素点采样，在每一步采样之后在第二图像中与第一图像的当前采样点具有相同纵向位置的像素点中，寻找与当前采样点的横向位置信息相同的像素点，像素点的横向位置信息是指以预设方式获得的表征图像像素点的横向位置的信息，若第二图像中与当前采样点具有相同纵向位置的像素点中存在横向位置信息与当前采样点的横向位置信息相同的像素点，则在从第二图像中找出的对应像素点的预设领域内，找出与当前采样点的像素值差异量最小的像素点，作为第二图像中与当前采样点匹配的像素点，并进入对第一图像的下一步采样，直至完成对第一图像的采样，在第一图像和第二图像中找出匹配的像素点，进一步根据第一图像和第二图像中匹配成功的像素点构建三维模型。本发明基于双目视觉的三维重建方法及系统，能够提高匹配特征的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于双目视觉的三维重建方法流程图；
图2为本发明又一实施例提供的一种基于双目视觉的三维重建方法流程图；
图3(a)为本发明实施例中第一图像中当前采样点预设邻域内的各像素点；
图3(b)为本发明实施例中在第二图像中找出的对应像素点预设领域内的各像素点及各像素点预设领域内的像素点。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
请参考图1，图1为本发明实施例提供的一种基于双目视觉的三维重建方法的流程图，由图可看出，本实施例基于双目视觉的三维重建方法包括以下步骤：
S10：对由第一摄像装置拍摄获得的第一图像和由第二摄像装置拍摄获得的第二图像校正，对应所述第一图像的像素点在所述第二图像中确定出与该像素点具有相同纵向位置的像素点。
由第一摄像装置和第二摄像装置对同一场景拍摄图像，根据使用预先标定得到的第一摄像装置和第二摄像装置的内参数、外参数以及两个摄像装置之间的位置矩阵(包括平移矩阵、旋转矩阵)和重投影矩阵，对第一摄像装置拍摄获得的第一图像和由第二摄像装置拍摄获得的第二图像校正，使得对应第一图像的像素点在第二图像中确定出与该像素点具有相同纵向位置的像素点。
S11：以第一预设步长对所述第一图像的像素点采样，在每一步采样之后在所述第二图像中与所述第一图像的当前采样点具有相同纵向位置的像素点中，寻找与当前采样点的横向位置信息相同的像素点。
以第一预设步长对第一图像的像素点逐步采样，对于每一次得到的采样点，根据上步骤确定出的两幅图像中具有相同纵向位置的映射关系，在第二图像中与第一图像的当前采样点具有相同纵向位置的像素点中寻找与当前采样点的横向位置信息相同的像素点，像素点的横向位置信息是指以预设方式获得的表征图像像素点的横向位置的信息。
S12：若所述第二图像中与当前采样点具有相同纵向位置的像素点中不存在横向位置信息与当前采样点的横向位置信息相同的像素点，则对所述第一图像进行下一步采样，直至完成对所述第一图像的采样。
S13：若所述第二图像中与当前采样点具有相同纵向位置的像素点中存在横向位置信息与当前采样点的横向位置信息相同的像素点，则根据当前采样点的像素值，在从所述第二图像中找出的对应像素点的预设领域内，找出与当前采样点的像素值差异量最小的像素点，作为所述第二图像中与当前采样点匹配的像素点，并进入对所述第一图像的下一步采样，直至完成对所述第一图像的采样。
像素点像素值的差异量是表征两个像素点的像素值的差异大小的参数。若从第二图像中寻找出了与当前采样点具有相同纵向位置和相同横向位置信息的对应像素点，那么从第二图像中对应像素点的预设领域内，找出与当前采样点的像素值差异量最小的像素点，作为第二图像中与当前采样点匹配的像素点。
S14：根据所述第一图像和所述第二图像中匹配成功的像素点构建三维模型。
本实施例基于双目视觉的三维重建方法，利用图像中像素点像素值的近似关系进行匹配，能够提高匹配特征的准确性。
下面结合具体实施方式对本基于双目视觉的三维重建方法进行详细说明。请参考图2，本实施例基于双目视觉的三维重建方法包括以下步骤：
S20：对由第一摄像装置拍摄获得的第一图像和由第二摄像装置拍摄获得的第二图像校正，对应所述第一图像的像素点在所述第二图像中确定出与该像素点具有相同纵向位置的像素点。
在具体实施时，首先需要对第一摄像装置和第二摄像装置进行标定，首先分别对第一摄像装置和第二摄像装置单独标定以获得各摄像装置的内参数K1、K2以及外参数P1、P2，K1表示第一摄像装置的内参数矩阵，K2表示第二摄像装置的内参数矩阵。P1表示第一摄像装置的畸变系数矩阵，P2表示第二摄像装置的畸变系数矩阵。然后以其中一个摄像装置为基准，标定得到第一摄像装置和第二摄像装置之间的旋转矩阵R、平移矩阵T和重投影矩阵Q。在具体实施时可使用张正友棋盘标定法对摄像装置进行标定，但是不限于此，也可以使用其它标定方法对摄像装置标定，也都在本发明保护范围内。
对摄像装置标定完成后，第一摄像装置和第二摄像装置对场景拍摄图像，首先对第一摄像装置拍摄的第一图像和由第二摄像装置拍摄的第二图像校正，根据第一摄像装置和第二摄像装置的内参数、外参数以及第一摄像装置和第二摄像装置之间的旋转矩阵、平移矩阵和重投影矩阵，对由第一摄像装置拍摄获得的第一图像和由第二摄像装置拍摄获得的第二图像校正，实现对应第一图像的像素点在第二图像中确定出与该像素点具有相同纵向位置的像素点。在具体实例中，像素点的纵向位置为像素点的行坐标，像素点的横向位置为像素点的列坐标，纵向位置相同的像素点即行坐标相同的像素点。
S21：以第一预设步长对第一图像的像素点采样一步，获取当前采样点的纵向位置、横向位置信息和像素值。
在具体实施时，可以根据实际情况对运算时间和运算精度的要求设定第一预设步长λ1，设定的步长越小，精度越高，但时间越长。
像素点的横向位置信息是指以预设方式获得的表征图像像素点的横向位置的信息。可选的，像素点的横向位置信息可以是使用结构光投射到场景而由摄像装置拍摄获得的图像像素点的编码值。在第一摄像装置和第二摄像装置对场景拍摄图像过程中，使用结构光投射到场景，在拍摄获得的图像中包含了能够表征场景物点的空间位置的信息，即图像像素点的编码值，编码值可以反映像素点的横向位置信息。
S22：在第二图像中与第一图像当前采样点具有相同纵向位置的像素点中，寻找与当前采样点的横向位置信息相同的像素点。
根据前步骤确定出的第一图像像素点和第二图像像素点关于纵向位置的映射关系，根据当前采样点的横向位置信息，在第二图像中与第一图像当前采样点具有相同纵向位置的像素点中寻找与当前采样点的横向位置信息相同的像素点。该过程具体可包括以下步骤：
S220：以第二预设步长对所述第二图像中与所述第一图像的当前采样点具有相同纵向位置的像素点搜索。
在实际应用中，可以根据实际情况对运算时间和运算精度的要求来设定第二预设步长λ2，步长越小，精度越高，但时间越长。
S221：判断当前搜索点的横向位置信息与所述第一图像当前采样点的横向位置信息是否相同。
若否，则进入步骤S220，进行下一步搜索，直至完成对第二图像中与第一图像当前采样点具有相同纵向位置的像素点的搜索：若是，则进入步骤S222。
在具体实施时，在第二图像中进行每一步搜索之后，根据当前搜索点的横向位置判断当前搜索点是否超出了第二图像的范围，在具体实例中，像素点的横向位置为像素点的列坐标，通过判断当前搜索点的列坐标值b0是否满足b0＞H，H表示第二图像的横向宽度，若是表明对第二图像中与第一图像当前采样点具有相同纵向位置的像素点搜索完。
S222：将当前搜索点作为横向位置信息与当前采样点相同的对应像素点。而后进入步骤S220，对所述第二图像中与所述第一图像的当前采样点具有相同纵向位置的像素点进行下一步搜索，直至完成对所述第二图像中与所述第一图像的当前采样点具有相同纵向位置的像素点的搜索。
S23：第二图像中与当前采样点具有相同纵向位置的像素点中不存在横向位置信息与当前采样点的横向位置信息相同的像素点，则进入步骤S21，直至完成对第一图像的采样。
S24：第二图像中与当前采样点具有相同纵向位置的像素点中存在横向位置信息与当前采样点的横向位置信息相同的像素点，判断从所述第二图像中寻找出的对应像素点是否在所述第二图像的预设区域内。若否，则进入步骤S25；若是，则进入步骤S26。
第二图像的预设区域可以是第二图像的中部区域，可设置第二图像的预设区域为：像素点列坐标位于[x1，H-x1]，像素点行坐标位于[y1，W-y1]，其中x1和y1为预设常数，H表示第二图像的横向宽度，W表示第二图像的纵向长度。通过本步骤保证两幅图像中相匹配的特征点位于图像中部区域。
S25：在从所述第二图像中寻找出的对应像素点的预设领域内，找出与当前采样点的像素值差异量最小的像素点，作为所述第二图像中与当前采样点匹配的像素点。
具体过程为：在第二图像中，在找出的对应像素点的预设领域内，对于该像素点预设领域内的每一像素点，获取每一像素点的像素值，并计算该像素点预设领域内的每一像素点的像素值与当前采样点的像素值的差异量，找出其中与当前采样点的像素值差异量最小的像素点，作为第二图像中与当前采样点匹配的像素点。在具体实施时，两像素点像素值的差异量可以是将两像素点的像素值做差并取绝对值计算得到的结果。
在第二图像中找出的对应像素点的预设领域大小可以根据计算需求相应设置，可以是目标像素点的n×n邻域内的像素点，比如n可以取3，但不限于此，n也可以取其它数值。
然后进入步骤S21，对第一图像进行下一步采样，直至完成对第一图像的采样。
S26：获取在所述第一图像的当前采样点预设领域内的每一像素点的像素值，对于在所述第二图像中寻找出的对应像素点预设领域内的每一像素点，获取该像素点预设领域内的每一像素点的像素值，计算该像素点预设领域内的每一像素点与在所述第一图像的当前采样点预设领域内对应位置的像素点的像素值差异量，并计算对应该像素点计算得到的像素值差异量的总和，在所述第二图像中寻找出的对应像素点预设领域内选取出像素值差异量的总和最小的像素点，作为所述第二图像中与当前采样点匹配的像素点。
示例性的，请参考图3(a)和图3(b)，图3(a)表示第一图像中当前采样点预设邻域内的各像素点，图3(b)表示在第二图像中找出的对应像素点预设领域内的各像素点以及各像素点预设领域内的像素点。在第一图像中当前采样点P1预设领域内的像素点包括P2、P3、P4、P5、P6、P7、P8和P9，在第二图像中找出的对应像素点为Q1，对应像素点Q1预设领域内的各像素点为Q2、Q3、Q4、Q5、Q6、Q7、Q8和Q9。对于第二图像中对应像素点Q1预设领域内的每一像素点包括Q1、Q2、Q3、Q4、Q5、Q6、Q7、Q8和Q9，以像素点Q2为例，计算像素点Q2预设领域内的每一像素点(包括Q2、Q20、Q21、Q22、Q23、Q3、Q24、Q5和Q1)与在第一图像的当前采样点P1预设领域内对应位置的像素点的像素值差异量，即计算Q2与P1的像素值差异量、Q20与P2的像素值差异量、Q21与P3的像素值差异量、Q22与P4的像素值差异量、Q23与P5的像素值差异量、Q3与P6的像素值差异量、Q24与P7的像素值差异量、Q5与P8的像素值差异量以及Q1与P9的像素值差异量，然后计算各像素值差异量的总和，根据此方法分别计算出第二图像中Q1、Q2、Q3、Q4、Q5、Q6、Q7、Q8和Q9各自对应的像素值差异量的总和，得到九个数据，选取其中像素值差异量的总和最小的对应像素点，作为第二图像中与当前采样点P1匹配的像素点。
在第二图像中找出的对应像素点的预设领域大小可以根据计算需求相应设置，可以是目标像素点的n×n邻域内的像素点，比如n可以取3，但不限于此，n也可以取其它数值。
然后进入步骤S21，对第一图像进行下一步采样，直至完成对第一图像的采样。在具体实施时，可以通过以下方法判断是否完成对第一图像的采样，判断当前采样点的列坐标是否小于第一图像的横向宽度H，若是，则对第一图像进行下一步采样；若否，则对第一图像的采样点行坐标加一，并判断采样点行坐标是否小于第一图像的纵向长度W，若是，则对第一图像进行下一步采样；若否，则完成对第一图像的采样。
S27：根据所述第一图像和所述第二图像中匹配成功的像素点构建三维模型。
具体的，在得到第一图像和第二图像对应的匹配点之后，根据以下公式计算视差图，表示为：D＝b1-b2，D表示视差值，b1和b2分别表示第一图像和第二图像中找出的相匹配像素点的横向位置坐标值，
根据以下公式计算第一图像和第二图像中相匹配像素点的世界坐标，表示为：
Figure GDA0003527976000000111
其中，(x，y)表示像素点在视差图中的坐标，(X，Y、Z)表示像素点在世界坐标系中的坐标，Q表示所述第一摄像装置和所述第二摄像装置的重投影矩阵。
本实施例基于双目视觉的三维重建方法，利用图像中像素点像素值的近似关系进行匹配，能够提高匹配特征的准确性。
相应的，本发明实施例还提供一种基于双目视觉的三维重建系统，用于执行以上所述的基于双目视觉的三维重建方法。
本实施例提供的基于双目视觉的三维重建系统，首先对由第一摄像装置拍摄获得的第一图像和由第二摄像装置拍摄获得的第二图像校正，对应第一图像的像素点在第二图像中确定出与该像素点具有相同纵向位置的像素点，然后以第一预设步长对第一图像的像素点采样，在每一步采样之后在第二图像中与第一图像的当前采样点具有相同纵向位置的像素点中，寻找与当前采样点的横向位置信息相同的像素点，像素点的横向位置信息是指以预设方式获得的表征图像像素点的横向位置的信息，若第二图像中与当前采样点具有相同纵向位置的像素点中存在横向位置信息与当前采样点的横向位置信息相同的像素点，则在从第二图像中找出的对应像素点的预设领域内，找出与当前采样点的像素值差异量最小的像素点，作为第二图像中与当前采样点匹配的像素点，并进入对第一图像的下一步采样，直至完成对第一图像的采样，在第一图像和第二图像中找出匹配的像素点，进一步根据第一图像和第二图像中匹配成功的像素点构建三维模型。本实施例基于双目视觉的三维重建系统，能够提高匹配特征的准确性。
以上对本发明所提供的基于双目视觉的三维重建方法及系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (9)

1.一种基于双目视觉的三维重建方法，其特征在于，包括：
对由第一摄像装置拍摄获得的第一图像和由第二摄像装置拍摄获得的第二图像校正，对应所述第一图像的像素点在所述第二图像中确定出与该像素点具有相同纵向位置的像素点；
以第一预设步长对所述第一图像的像素点采样，在每一步采样之后在所述第二图像中与所述第一图像的当前采样点具有相同纵向位置的像素点中，寻找与当前采样点的横向位置信息相同的像素点，像素点的横向位置信息是指以预设方式获得的表征图像像素点的横向位置的信息，像素点的横向位置信息表征图像像素点对应的场景物点的空间位置；
若所述第二图像中与当前采样点具有相同纵向位置的像素点中不存在横向位置信息与当前采样点的横向位置信息相同的像素点，则对所述第一图像进行下一步采样，直至完成对所述第一图像的采样；
若所述第二图像中与当前采样点具有相同纵向位置的像素点中存在横向位置信息与当前采样点的横向位置信息相同的像素点，则根据当前采样点的像素值，在从所述第二图像中找出的对应像素点的预设领域内，找出与当前采样点的像素值差异量最小的像素点，作为所述第二图像中与当前采样点匹配的像素点，并进入对所述第一图像的下一步采样，直至完成对所述第一图像的采样；
根据所述第一图像和所述第二图像中匹配成功的像素点构建三维模型。
2.根据权利要求1所述的基于双目视觉的三维重建方法，其特征在于，在所述第二图像中与所述第一图像的当前采样点具有相同纵向位置的像素点中，寻找与当前采样点的横向位置信息相同的像素点包括：
以第二预设步长对所述第二图像中与所述第一图像的当前采样点具有相同纵向位置的像素点搜索，判断当前搜索点的横向位置信息与所述第一图像的当前采样点的横向位置信息是否相同；
若否，则对所述第二图像中与所述第一图像的当前采样点具有相同纵向位置的像素点进行下一步搜索，直至完成对所述第二图像中与所述第一图像的当前采样点具有相同纵向位置的像素点的搜索；
若是，则将当前搜索点作为横向位置信息与当前采样点相同的对应像素点，而后对所述第二图像中与所述第一图像的当前采样点具有相同纵向位置的像素点进行下一步搜索，直至完成对所述第二图像中与所述第一图像的当前采样点具有相同纵向位置的像素点的搜索。
3.根据权利要求1所述的基于双目视觉的三维重建方法，其特征在于，若所述第二图像中与当前采样点具有相同纵向位置的像素点中存在横向位置信息与当前采样点的横向位置信息相同的像素点，则判断从所述第二图像中寻找出的对应像素点是否在所述第二图像的预设区域内；
若否，则在从所述第二图像中寻找出的对应像素点的预设领域内，找出与当前采样点的像素值差异量最小的像素点，作为所述第二图像中与当前采样点匹配的像素点。
4.根据权利要求1所述的基于双目视觉的三维重建方法，其特征在于，若所述第二图像中与当前采样点具有相同纵向位置的像素点中存在横向位置信息与当前采样点的横向位置信息相同的像素点，则判断从所述第二图像中寻找出的对应像素点是否在所述第二图像的预设区域内；
若是，则获取在所述第一图像的当前采样点预设领域内的每一像素点的像素值，对于在所述第二图像中寻找出的对应像素点预设领域内的每一像素点，获取该像素点预设领域内的每一像素点的像素值，计算该像素点预设领域内的每一像素点与在所述第一图像的当前采样点预设领域内对应位置的像素点的像素值差异量，并计算对应该像素点计算得到的像素值差异量的总和，在所述第二图像中寻找出的对应像素点预设领域内选取出像素值差异量的总和最小的像素点，作为所述第二图像中与当前采样点匹配的像素点。
5.根据权利要求3或者4所述的基于双目视觉的三维重建方法，其特征在于，判断从所述第二图像中寻找出的对应像素点是否在所述第二图像的预设区域内包括：判断从所述第二图像中寻找出的对应像素点是否满足以下条件：像素点列坐标位于[x1，H-x1]，像素点行坐标位于[y1，W-y1]，其中x1和y1为预设常数，H表示第二图像的横向宽度，W表示第二图像的纵向长度。
6.根据权利要求1所述的基于双目视觉的三维重建方法，其特征在于，根据所述第一图像和所述第二图像中匹配成功的像素点构建三维模型包括：
根据以下公式计算视差图，表示为：D＝b1-b2，D表示视差值，b1和b2分别表示第一图像和第二图像中找出的相匹配像素点的横向位置坐标值；
根据以下公式计算第一图像和第二图像中相匹配像素点的世界坐标，表示为：
Figure FDA0003527975990000031
其中，(x，y)表示像素点在视差图中的坐标，(X，Y、Z)表示像素点在世界坐标系中的坐标，Q表示所述第一摄像装置和所述第二摄像装置的重投影矩阵。
7.根据权利要求1所述的基于双目视觉的三维重建方法，其特征在于，对由第一摄像装置拍摄获得的第一图像和由第二摄像装置拍摄获得的第二图像校正包括：
根据所述第一摄像装置和所述第二摄像装置的内参数、外参数以及所述第一摄像装置和所述第二摄像装置之间的旋转矩阵、平移矩阵和重投影矩阵，对由所述第一摄像装置拍摄获得的第一图像和由所述第二摄像装置拍摄获得的第二图像校正。
8.根据权利要求1所述的基于双目视觉的三维重建方法，其特征在于，像素点的横向位置信息为使用结构光投射到场景而由摄像装置拍摄获得的图像像素点的编码值。
9.一种基于双目视觉的三维重建系统，其特征在于，用于执行权利要求1-8任一项所述的基于双目视觉的三维重建方法。
CN201910486706.6A 2019-06-05 2019-06-05 基于双目视觉的三维重建方法及系统 Active CN110211225B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910486706.6A CN110211225B (zh) 2019-06-05 2019-06-05 基于双目视觉的三维重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910486706.6A CN110211225B (zh) 2019-06-05 2019-06-05 基于双目视觉的三维重建方法及系统

Publications (2)

Publication Number Publication Date
CN110211225A CN110211225A (zh) 2019-09-06
CN110211225B true CN110211225B (zh) 2022-04-19

Family

ID=67790998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910486706.6A Active CN110211225B (zh) 2019-06-05 2019-06-05 基于双目视觉的三维重建方法及系统

Country Status (1)

Country Link
CN (1) CN110211225B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101299270B (zh) * 2008-05-27 2010-06-02 东南大学 三维扫描系统中的多个摄像机同步快速标定方法
JP2013017577A (ja) * 2011-07-08 2013-01-31 Toshiba Corp 画像処理システム、装置、方法及び医用画像診断装置
AU2013206686A1 (en) * 2013-07-04 2015-01-22 Canon Kabushiki Kaisha Adaptive and passive calibration
US9430834B2 (en) * 2014-01-20 2016-08-30 Nokia Corporation Visual perception matching cost on binocular stereo images
CN105627926B (zh) * 2016-01-22 2017-02-08 尹兴 四像机组平面阵列特征点三维测量系统及测量方法

Also Published As

Publication number Publication date
CN110211225A (zh) 2019-09-06

Similar Documents

Publication Publication Date Title
CN107977997B (zh) 一种结合激光雷达三维点云数据的相机自标定方法
CN109118544B (zh) 基于透视变换的合成孔径成像方法
CN111950426A (zh) 目标检测方法、装置及运载工具
US20230252664A1 (en) Image Registration Method and Apparatus, Electronic Apparatus, and Storage Medium
WO2022135588A1 (zh) 图像校正方法、装置及系统、电子设备
CN106447602A (zh) 一种图像拼接方法及装置
WO2020119467A1 (zh) 高精度稠密深度图像的生成方法和装置
CN112509125A (zh) 一种基于人工标志物和立体视觉的三维重建方法
CN112381847B (zh) 管路端头空间位姿测量方法及系统
CN115035235A (zh) 三维重建方法及装置
WO2021195939A1 (zh) 一种双目拍摄装置的外参的标定方法、可移动平台及系统
CN111914913B (zh) 一种新型立体匹配优化方法
CN116029996A (zh) 立体匹配的方法、装置和电子设备
CN111383264B (zh) 一种定位方法、装置、终端及计算机存储介质
CN113610741A (zh) 基于激光线扫的点云处理方法及装置
CN109658451B (zh) 一种深度感知方法，装置和深度感知设备
CN111429571B (zh) 一种基于时空图像信息联合相关的快速立体匹配方法
CN110211225B (zh) 基于双目视觉的三维重建方法及系统
WO2018133027A1 (zh) 基于灰度约束的三维数字散斑的整像素搜索方法及装置
CN114693807B (zh) 一种输电线路图像与点云的映射数据重构方法及系统
CN115661258A (zh) 标定方法及装置、畸变校正方法及装置、存储介质、终端
CN112950698B (zh) 基于双目散焦图像的深度估计方法、装置、介质和设备
CN112233164B (zh) 一种视差图错误点识别与校正方法
CN111630569B (zh) 双目匹配的方法、视觉成像装置及具有存储功能的装置
CN113724311A (zh) 深度图获取方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant