CN109089100B - 一种双目立体视频的合成方法 - Google Patents
一种双目立体视频的合成方法 Download PDFInfo
- Publication number
- CN109089100B CN109089100B CN201810917339.6A CN201810917339A CN109089100B CN 109089100 B CN109089100 B CN 109089100B CN 201810917339 A CN201810917339 A CN 201810917339A CN 109089100 B CN109089100 B CN 109089100B
- Authority
- CN
- China
- Prior art keywords
- eye view
- gradient
- corrected
- left eye
- right eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种双目立体视频的合成方法，包括相机标定、图像矫正、视差图匹配和合成双目立体视频的过程，本发明一种双目立体视频的合成方改进了相机标定的方法，使得标定的参数更加精确，同时提供了一种SSE4.2指令集加速图像匹配过程，最终获取到完整的双目立体视频。
Description
技术领域
本发明属于计算机视觉技术领域，涉及一种双目立体视频的合成方法。
背景技术
计算机视觉是一门新兴的综合性学科，它的研究涉及到数学、计算机图形学、模式识别、数字图像处理和数字信号处理等领域。双目立体视觉就是根据人眼成像的特点来研究摄像头的三维成像技术。双目立体视觉作为计算机视觉的一个重要分支，通过模拟人的双眼来达到获取视觉信息的目的。双目立体视觉，就是通过两幅具有类似人类左右眼视觉功能的图像，以双目视差为原理基础，通过立体匹配，获取视差信息，从而获得到目标物体的三维信息。随着双目立体视觉的不断发展与改进，它可以应用到生活中的各个领域，如：近年来新兴的无人机产业、我国的探月工程、汽车导航功能等方面。
近些年中，国内外一直在推动着该方向的研究，逐步将平面成像通过立体视觉技术转变为三维立体视觉。Zhang等在2017年文化与计算国际会议中提出将双目立体视觉应用于博物馆的展览中；Li等在2017年第四届信息科学与控制工程国际会议中提出运用双目立体视觉技术获取玉兰花的三维立体模型；2017年Chen等在无人机避障技术中运用双目视觉技术，使得双目立体视觉技术得到了更广泛的应用。
但是对于立体匹配而言，由于硬件等技术原因，左右两个相机无法做到完全一致，因此会产生左右拍摄出的两幅图像在色彩饱和度或是光照条件无法做到完全统一，这样对于以颜色为匹配准则的匹配算法就会有明显的误差，为了减弱这些影响因素对最终匹配效果的影响，国内外研究者们在匹配精度方面苦寻思路，已经逐年在精确度方面有了质的提升。对于两类立体匹配算法而言，局部立体匹配算法在匹配效果上往往是低于全局匹配算法的，但在运行效率上，局部立体匹配算法由于其本身运算量比全局匹配算法小，因此往往在相同图像条件下，运行效率优于全局立体匹配算法，随着硬件科技的逐渐发展，越来越多的硬件双目设备在分辨率上也有了进一步的提升，并且更多的应用领域越来越关注实时性的问题，这就对匹配的效率提出了更高的要求。
发明内容
本发明的目的是提供一种双目立体视频的合成方法，能够快速合成三维点云视频。
本发明所采用的技术方案是，一种双目立体视频的合成方法，具体按照以下方法进行：
步骤1，相机标定
将双目摄像机进行标定，得到双目摄像机的内参数和外参数；
步骤2，图像矫正
将双目摄像机采集的视频分解为成多帧目标图像，将每帧目标图像均切割成左目视图和右目视图，对每帧目标图像的左目视图和右目视图均进行校正，得到每帧目标图像的校正左目视图和校正右目视图；
步骤3，视差图匹配
将每帧目标图像的校正左目视图和校正右目视图均进行基于SSE4.2指令集的立体匹配，得到多帧匹配视差图；
步骤4，合成双目立体视频。
本发明的特点还在于；
步骤1中具体按照下述步骤对双目摄像机进行标定：
步骤1.1，使用张正友标定法对双目摄像机进行标定，得到双目摄像机的初步内参数和初步外参数；
步骤1.2，将初步内参数和初步外参数作为参考，再次使用张正友标定法对双目摄像机进行标定，得到双目摄像机的内参数和外参数。
步骤2中具体按照下述步骤对每帧目标图像的左目视图和右目视图均进行校正：
步骤2.1，根据内参数和外参数,采用Bouguet的极线校正算法，对每帧目标图像的左目视图和右目视图均进行畸变校正和极线平行校正，得到每帧目标图像的初步校正的左目视图和右目视图；
步骤2.2，然后对每帧目标图像的初步校正的左目视图和右目视图均裁剪、去噪，得到每帧目标图像的校正左目视图和校正右目视图。
步骤3中具体按照下述方法将校正后的左目视图和右目视图进行立体匹配：
步骤3.1，将每帧目标图像的校正左目视图和校正右目视图均进行预处理，得到多帧包含左目视图梯度信息的梯度左目视图和包含右目视图梯度信息的梯度右目视图；
步骤3.2，计算梯度左目视图和梯度右目视图的梯度代价、校正左目视图和校正右目视图的SAD匹配代价；
步骤3.3，根据梯度左目视图和梯度右目视图的梯度代价和校正左目视图和校正右目视图的SAD匹配代价优化能量函数，得到初始视差图；
步骤3.4，将初始视差图使用加权中值滤波算法进行优化，得到匹配视差图。
步骤3.1具体按照下述方法将每帧目标图像的校正左目视图和校正右目视图均进行预处理：
步骤3.1.1，将校正左目视图和校正右目视图的像素点均进行16位地址对齐，然后将每一个像素点的左、右、左上、右上、左下和右下方向的像素点进行地址对齐并保存；
步骤3.1.2，将每个像素点的像素值中每四个元素进行组合数据返回，得到并联左目视图和并联右目视图；
步骤3.1.3，将并联左目视图和并联右目视图均使用水平Sobel算子进行算子处理，得到算子左目视图和算子右目视图；
步骤3.1.4，将算子左目视图和算子右目视图均进行灰度处理，得到包含左目视图梯度信息的梯度左目视图和包含右目视图梯度信息的梯度右目视图。
骤3.2中，计算梯度左目视图和梯度右目视图梯度代价以及校正左目视图和校正右目视图的的SAD匹配代价具体按照下述步骤进行：
步骤3.2.1，使用BT算法将梯度左目视图中每个像素点与梯度右目视图中像素点进行匹配，将梯度左目视图和梯度右目视图中能够进行匹配的像素点定义为梯度像素点；
使用BT算法将校正左目视图中每个像素点与校正右目视图中像素点进行匹配，将校正左目视图和校正右目视图中能够进行匹配的像素点定义为校正像素点；
步骤3.2.2，使用BT算法计算每个梯度像素点与其左边相邻像素点之间的左边线性插值强度、每个梯度像素点与其右边相邻像素点之间的右边线性插值强度和每个梯度像素点上的线性插值强度；
使用BT算法计算每个校正像素点与其左边相邻像素点之间的左边线性插值强度、每个校正像素点与其右边相邻像素点之间的右边线性插值强度和每个校正像素点上的线性插值强度；
步骤3.2.3，将梯度左目视图和梯度右目视图的梯度像素点均进行16位对齐并存储；
将校正左目视图和校正右目视图的校正像素点均进行16位对齐并存储；
步骤3.2.4，同时对四个梯度像素点进行筛选，得到四个梯度像素点中左边线性插值强度、右边线性插值强度和线性插值强度的最大值和最小值；
同时对四个校正像素点进行筛选，得到四个校正像素点中左边线性插值强度、右边线性插值强度和线性插值强度的最小值；
步骤3.2.5，重复步骤3.2.4，使得梯度左目视图和梯度右目视图中所有的梯度像素点和校正左目视图和校正右目视图的所有校正像素点均已经被筛选，得到梯度左目视图和梯度右目视图中梯度像素点中左边线性插值强度、右边线性插值强度和线性插值强度的最大值和最小值和校正像素点中左边线性插值强度、右边线性插值强度和线性插值强度的最小值；
步骤3.2.6，使用BT算法根据梯度左目视图和梯度右目视图中梯度像素点中左边线性插值强度、右边线性插值强度和线性插值强度的最大值和最小值得到梯度左目视图和梯度右目视图的梯度代价；
使用BT算法根据校正左目视图和校正右目视图的校正像素点中左边线性插值强度、右边线性插值强度和线性插值强度的最小值得到校正左目视图和校正右目视图的SAD匹配代价。
步骤3.3中具体按照下述步骤得到初始视差图：
步骤3.3.1，将梯度左目视图和梯度右目视图中每一个像素点的左边、左上方、上方、右上方、右边、右下方、下方，左下方的像素点均读取时进行地址对齐；
步骤3.3.2，利用梯度左目视图的梯度代价和校正左目视图和校正右目视图的SAD匹配代价计算梯度左目视图中每个像素点的代价聚合值；.
利用梯度右目视图的梯度代价和校正左目视图和校正右目视图的SAD匹配代价计算梯度右目视图中每个像素点的代价聚合值；.
步骤3.3.3，根据梯度左目视图中每个像素点的代价聚合值和梯度右目视图中每个像素点的代价聚合值得到每帧目标图像的初始视差图。
步骤4合成双目立体视频，具体按照下述步骤进行：
步骤4.1，将每帧匹配视差图均转换为点云模型
步骤4.1.1，建立坐标转化公式：
其中，x为匹配视差图中像素点的横坐标，y为匹配视差图中像素点的纵坐标，d为视差，cx为主点在校正左目视图上的x坐标，cy为主点在校正左目视图上的y坐标，f为焦距，c'x是主点在校正右目视图上的x坐标，Tx为基线，X为三维立体坐标的X轴，Y为三维立体坐标的Y轴，Z为三维立体坐标的Z轴，W为缩放因子；
步骤4.1.2，根据坐标转化公式将每帧匹配视差图中每个像素点的均转化为三维立体坐标；
步骤4.1.3，将每帧匹配视差图中每个像素点的三维立体坐标和RGB颜色信息输出为点云模型，得到多个点云模型；
步骤4.2，建立帧结构，具体按照下述步骤进行：
步骤4.2.1，构造ORB特征检测器，ORB描述子提取器；
步骤4.2.2，使用ORB特征检测器提取每帧目标图像中的校正左目视图和校正右目视图的特征点；并根据每帧目标图像中的校正左目视图和校正右目视图的特征点，使用ORB描述子提取器提取每帧目标图像中的校正左目视图和校正右目视图的描述子，建立每帧目标图像中的校正左目视图和校正右目视图的描述子矩阵；
步骤4.2.3，将每帧目标图像的校正左目视图、校正右目视图、匹配视差图、匹配视差图每个像素点的三维立体坐标、特征点和描述子矩阵组成一个帧结构，得到多个帧结构；
步骤4.3，生成双目立体视频
步骤4.3.1，相机位姿估计
步骤a，优秀匹配点提取
计算相邻两个帧结构中相对应的描述子之间的距离，得到最小描述子距离；将描述子之间的距离均与最小描述子距离进行比较；若有描述子之间的距离大于最小描述子距离的4倍，则剔除该描述子；剩余的描述子则为优秀匹配点；
步骤b，寻找每个帧结构中的每个优秀匹配点在校正左目视图和校正右目视图中的图像坐标，根据图像坐标得到每个优秀匹配点在匹配视差图中的视差信息，若视差信息为零时，则舍弃该优秀特征点；若视差信息不为零时，则在该帧结构中建立三维点集合，将该优秀特征点的图像坐标转化为三维立体坐标存储至该帧结构的三维点集合中，同时在下一个帧结构中建立图像点集合，将该优秀匹配点的图像坐标存储至下一个帧结构中的图像点集合中；
步骤c，根据每个帧结构中的三维点集合和下一个帧结构中的图像点集合，通过PnP算法，得到两个帧结构间的旋转矩阵R和平移矩阵t；
步骤4.3.2，依次读取每个帧结构，根据两个帧结构间旋转矩阵和平移矩阵计算两个帧结构中较后面的帧结构的运动范围，若较后面的帧结构的运动范围过大，则舍弃较后面的帧结构；
步骤4.3.3，将相邻的两个帧结构的点云模型拼接，得到双目立体视频。
步骤4.3.3中，具体按照是下述步骤将相邻的两个帧结构中的点云模型进行拼接：
通过变换矩阵将每帧匹配视差图的点云模型变换，得到多个变换点云模型；
变换矩阵表达式为：
其中，O为投影变换矩阵，R3x3为两个帧结构间的旋转矩阵R，t3x1为两个帧结构间的平移矩阵；
将每帧变换点云模型进行齐次变换；使用PCL库的TransformPointCloud函数将每帧齐次变换后的点云模型进行旋转缩放，将相邻的两个点云模型进行拼接。
本发明的有益效果是
本发明一种双目立体视频的合成方，标定的参数更加精确，能够更快速的合成双目立体点云视频。
附图说明
图1是本发明一种双目立体视频的合成方法的流程图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
一种双目立体视频的合成方法，如图1所示，具体按照以下步骤实施：
步骤1，相机标定
将双目摄像机进行标定，具体按照下述方法进行：
步骤1.1，使用张正友标定法对双目摄像机进行标定，得到双目摄像机的初步内参数和初步外参数；
步骤1.2，将初步内参数和初步外参数作为参考，再次使用张正友标定法对双目摄像机进行标定，得到双目摄像机的内参数和外参数。
步骤2，图像矫正
将双目摄像机采集的视频分解为成多帧目标图像，将每帧目标图像均切割成左目视图和右目视图，对每帧目标图像的左目视图和右目视图均进行校正，得到每帧目标图像的校正左目视图和校正右目视图；
对每帧目标图像的左目视图和右目视图均进行校正，具体按照下述步骤进行：
步骤2.1，根据内参数和外参数,采用Bouguet的极线校正算法，对每帧目标图像的左目视图和右目视图均进行畸变校正和极线平行校正，得到每帧目标图像的初步校正的左目视图和右目视图；
步骤2.2，然后对每帧目标图像的初步校正的左目视图和右目视图均裁剪、去噪，得到每帧目标图像的校正左目视图和校正右目视图。
步骤3，视差图匹配
将每帧目标图像的校正左目视图和校正右目视图均进行立体匹配，得到多帧匹配视差图，具体按照下述方法进行；
步骤3.1，将每帧目标图像的校正左目视图和校正右目视图均进行预处理，具体按照下述方法进行：
步骤3.1.1，将校正左目视图和校正右目视图的像素点均进行16位地址对齐，然后将每一个像素点的左、右、左上、右上、左下和右下方向的像素点进行地址对齐并保存；
步骤3.1.2，将每个像素点的像素值中每四个元素进行组合数据返回，得到并联左目视图和并联右目视图；
步骤3.1.3，将并联左目视图和并联右目视图均使用水平Sobel算子进行算子处理，得到算子左目视图和算子右目视图；
步骤3.1.4，将算子左目视图和算子右目视图均进行灰度处理，得到包含左目视图梯度信息的梯度左目视图和包含右目视图梯度信息的梯度右目视图。
步骤3.2，计算梯度左目视图和梯度右目视图的梯度代价、校正左目视图和校正右目视图的SAD匹配代价，具体按照下述步骤进行：
步骤3.2.1，使用BT算法将梯度左目视图中每个像素点与梯度右目视图中像素点进行匹配，将梯度左目视图和梯度右目视图中能够进行匹配的像素点定义为梯度像素点；
使用BT算法将校正左目视图中每个像素点与校正右目视图中像素点进行匹配，将校正左目视图和校正右目视图中能够进行匹配的像素点定义为校正像素点；
步骤3.2.2，使用BT算法计算每个梯度像素点与其左边相邻像素点之间的左边线性插值强度、每个梯度像素点与其右边相邻像素点之间的右边线性插值强度和每个梯度像素点上的线性插值强度；
使用BT算法计算每个校正像素点与其左边相邻像素点之间的左边线性插值强度、每个校正像素点与其右边相邻像素点之间的右边线性插值强度和每个校正像素点上的线性插值强度；
步骤3.2.3，将梯度左目视图和梯度右目视图的梯度像素点均进行16位对齐并存储；
将校正左目视图和校正右目视图的校正像素点均进行16位对齐并存储；
步骤3.2.4，同时对四个梯度像素点进行筛选，得到四个梯度像素点中左边线性插值强度、右边线性插值强度和线性插值强度的最大值和最小值
同时对四个校正像素点进行筛选，得到四个校正像素点中左边线性插值强度、右边线性插值强度和线性插值强度的最小值；
步骤3.2.5，重复步骤3.2.4，使得梯度左目视图和梯度右目视图中所有的梯度像素点和校正左目视图和校正右目视图的所有校正像素点均已经被筛选，得到梯度左目视图和梯度右目视图中梯度像素点中左边线性插值强度、右边线性插值强度和线性插值强度的最大值和最小值和校正像素点中左边线性插值强度、右边线性插值强度和线性插值强度的最小值；
步骤3.2.6，使用BT算法根据梯度左目视图和梯度右目视图中梯度像素点中左边线性插值强度、右边线性插值强度和线性插值强度的最大值和最小值得到梯度左目视图和梯度右目视图的梯度代价；
使用BT算法根据校正左目视图和校正右目视图的校正像素点中左边线性插值强度、右边线性插值强度和线性插值强度的最小值得到校正左目视图和校正右目视图的SAD匹配代价。
步骤3.3，根据梯度左目视图和梯度右目视图的梯度代价和校正左目视图和校正右目视图的SAD匹配代价优化能量函数，并计算能量函数最优解，具体按照下述步骤进行：
步骤3.3.1，将梯度左目视图和梯度右目视图中每一个像素点的左边、左上方、上方、右上方、右边、右下方、下方，左下方的像素点均读取时进行地址对齐；
步骤3.3.2，利用梯度左目视图的梯度代价和校正左目视图和校正右目视图的SAD匹配代价计算梯度左目视图中每个像素点的代价聚合值；.
利用梯度右目视图的梯度代价和校正左目视图和校正右目视图的SAD匹配代价计算梯度右目视图中每个像素点的代价聚合值；.
步骤3.3.3，根据梯度左目视图中每个像素点的代价聚合值和梯度右目视图中每个像素点的代价聚合值得到每帧目标图像的视差图；
步骤3.4，将视差图使用加权中值滤波算法进行优化，得到匹配视差图。
步骤4，合成双目立体视频，具体按照下述方法进行：
步骤4.1，将每帧匹配视差图均转换为点云模型
步骤4.1.1，建立坐标转化公式：
其中，x为匹配视差图中像素点的横坐标，y为匹配视差图中像素点的纵坐标，d为视差，cx为主点在校正左目视图上的x坐标，cy为主点在校正左目视图上的y坐标，f为焦距，c'x是主点在校正右目视图上的x坐标，Tx为基线，X为三维立体坐标的X轴，Y为三维立体坐标的Y轴，Z为三维立体坐标的Z轴，W为缩放因子；
步骤4.1.2，根据坐标转化公式将每帧匹配视差图中每个像素点的均转化为三维立体坐标；
步骤4.1.3，将每帧匹配视差图中每个像素点的三维立体坐标和RGB颜色信息输出为点云模型，得到多个点云模型；
步骤4.2，建立帧结构，具体按照下述步骤进行：
步骤4.2.1，构造ORB特征检测器，ORB描述子提取器；
步骤4.2.2，使用ORB特征检测器提取每帧目标图像中的校正左目视图和校正右目视图的特征点；并根据每帧目标图像中的校正左目视图和校正右目视图的特征点，使用ORB描述子提取器提取每帧目标图像中的校正左目视图和校正右目视图的描述子，建立每帧目标图像中的校正左目视图和校正右目视图的描述子矩阵；
步骤4.2.3，将每帧目标图像的校正左目视图、校正右目视图、匹配视差图、匹配视差图每个像素点的三维立体坐标、特征点和描述子矩阵组成一个帧结构，得到多个帧结构；
步骤4.3，生成双目立体视频
步骤4.3.1，相机位姿估计
步骤a，优秀匹配点提取
计算相邻两个帧结构中相对应的描述子之间的距离，得到最小描述子距离；将描述子之间的距离均与最小描述子距离进行比较；若有描述子之间的距离大于最小描述子距离的4倍，则剔除该描述子；剩余的描述子则为优秀匹配点；
步骤b，寻找每个帧结构中的每个优秀匹配点在校正左目视图和校正右目视图中的图像坐标，根据图像坐标得到每个优秀匹配点在匹配视差图中的视差信息，若视差信息为零时，则舍弃该优秀特征点；若视差信息不为零时，则在该帧结构中建立三维点集合，将该优秀特征点的图像坐标转化为三维立体坐标存储至该帧结构的三维点集合中，同时在下一个帧结构中建立图像点集合，将该优秀匹配点的图像坐标存储至下一个帧结构中的图像点集合中；
步骤c，根据每个帧结构中的三维点集合和下一个帧结构中的图像点集合，通过PnP算法，得到两个帧结构间的旋转矩阵R和平移矩阵t；
步骤4.3.2，依次读取每个帧结构，根据两个帧结构间旋转矩阵和平移矩阵计算两个帧结构中较后面的帧结构的运动范围，若较后面的帧结构的运动范围过大，则舍弃较后面的帧结构；
步骤4.3.3，将相邻的两个帧结构的点云模型拼接，得到双目立体视频。
具体按照下述步骤将相邻的两个帧结构中的点云模型进拼接：
通过变换矩阵将每帧匹配视差图的点云模型变换，得到多个变换点云模型；
变换矩阵表达式为：
其中，O为投影变换矩阵，R3x3为两个帧结构间的旋转矩阵R，t3x1为两个帧结构间的平移矩阵；
将每帧变换点云模型进行齐次变换；使用PCL库的TransformPointCloud函数将每帧齐次变换后的点云模型进行旋转缩放，将相邻的两个点云模型进行拼接。
本发明一种双目立体视频的合成方改进了相机标定的方法，使得标定的参数更加精确，同时提供了一种SSE4.2指令集加速图像匹配过程，最终获取到完整的双目立体视频。
Claims (3)
1.一种双目立体视频的合成方法，其特征在于，具体按照以下方法进行：
步骤1，相机标定
将双目摄像机进行标定，得到双目摄像机的内参数和外参数；
步骤2，图像矫正
将双目摄像机采集的视频分解为成多帧目标图像，将每帧目标图像均切割成左目视图和右目视图，对每帧目标图像的左目视图和右目视图均进行校正，得到每帧目标图像的校正左目视图和校正右目视图；
具体按照下述步骤对每帧目标图像的左目视图和右目视图均进行校正：
步骤2.1，根据所述内参数和外参数， 采用Bouguet的极线校正算法，对每帧目标图像的左目视图和右目视图均进行畸变校正和极线平行校正，得到每帧目标图像的初步校正的左目视图和右目视图；
步骤2.2，然后对每帧目标图像的初步校正的左目视图和右目视图均裁剪、去噪，得到每帧目标图像的校正左目视图和校正右目视图；
步骤3，视差图匹配
将每帧目标图像的校正左目视图和校正右目视图均进行立体匹配，得到多帧匹配视差图；
具体按照下述方法将校正后的左目视图和右目视图进行立体匹配：
步骤3.1，将每帧目标图像的校正左目视图和校正右目视图均进行预处理，得到多帧包含左目视图梯度信息的梯度左目视图和包含右目视图梯度信息的梯度右目视图；
具体按照下述方法将每帧目标图像的校正左目视图和校正右目视图均进行预处理：
步骤3.1.1，将校正左目视图和校正右目视图的像素点均进行16位地址对齐，然后将每一个像素点的左、右、左上、右上、左下和右下方向的像素点进行地址对齐并保存；
步骤3.1.2，将每个像素点的像素值中每四个元素进行组合数据返回，得到并联左目视图和并联右目视图；
步骤3.1.3，将并联左目视图和并联右目视图均使用水平Sobel算子进行算子处理，得到算子左目视图和算子右目视图；
步骤3.1.4，将算子左目视图和算子右目视图均进行灰度处理，得到包含左目视图梯度信息的梯度左目视图和包含右目视图梯度信息的梯度右目视图；
步骤3.2，计算梯度左目视图和梯度右目视图的梯度代价、校正左目视图和校正右目视图的SAD匹配代价；
计算梯度左目视图和梯度右目视图梯度代价以及校正左目视图和校正右目视图的SAD匹配代价具体按照下述步骤进行：
步骤3.2.1，使用BT算法将梯度左目视图中每个像素点与梯度右目视图中像素点进行匹配，将梯度左目视图和梯度右目视图中能够进行匹配的像素点定义为梯度像素点；
使用BT算法将校正左目视图中每个像素点与校正右目视图中像素点进行匹配，将校正左目视图和校正右目视图中能够进行匹配的像素点定义为校正像素点；
步骤3.2.2，使用BT算法计算每个梯度像素点与其左边相邻像素点之间的左边线性插值强度、每个梯度像素点与其右边相邻像素点之间的右边线性插值强度和每个梯度像素点上的线性插值强度；
使用BT算法计算每个校正像素点与其左边相邻像素点之间的左边线性插值强度、每个校正像素点与其右边相邻像素点之间的右边线性插值强度和每个校正像素点上的线性插值强度；
步骤3.2.3，将梯度左目视图和梯度右目视图的梯度像素点均进行16位对齐并存储；
将校正左目视图和校正右目视图的校正像素点均进行16位对齐并存储；
步骤3.2.4，同时对四个梯度像素点进行筛选，得到四个梯度像素点中左边线性插值强度、右边线性插值强度和线性插值强度的最大值和最小值
同时对四个校正像素点进行筛选，得到四个校正像素点中左边线性插值强度、右边线性插值强度和线性插值强度的最小值；
步骤3.2.5，重复步骤3.2.4，使得梯度左目视图和梯度右目视图中所有的梯度像素点和校正左目视图和校正右目视图的所有校正像素点均已经被筛选，得到梯度左目视图和梯度右目视图中梯度像素点中左边线性插值强度、右边线性插值强度和线性插值强度的最大值和最小值和校正像素点中左边线性插值强度、右边线性插值强度和线性插值强度的最小值；
步骤3.2.6，使用BT算法根据梯度左目视图和梯度右目视图中梯度像素点中左边线性插值强度、右边线性插值强度和线性插值强度的最大值和最小值得到梯度左目视图和梯度右目视图的梯度代价；
使用BT算法根据校正左目视图和校正右目视图的校正像素点中左边线性插值强度、右边线性插值强度和线性插值强度的最小值得到校正左目视图和校正右目视图的SAD匹配代价；
步骤3.3，根据所述梯度左目视图和梯度右目视图的梯度代价和校正左目视图和校正右目视图的SAD匹配代价优化能量函数，并计算能量函数最优解，得到初始视差图；
具体按照下述步骤得到初始视差图：
步骤3.3.1，将梯度左目视图和梯度右目视图中每一个像素点的左边、左上方、上方、右上方、右边、右下方、下方，左下方的像素点均读取时进行地址对齐；
步骤3.3.2，利用梯度左目视图的梯度代价和校正左目视图和校正右目视图的SAD匹配代价计算梯度左目视图中每个像素点的代价聚合值；.
利用梯度右目视图的梯度代价和校正左目视图和校正右目视图的SAD匹配代价计算梯度右目视图中每个像素点的代价聚合值；.
步骤3.3.3，根据梯度左目视图中每个像素点的代价聚合值和梯度右目视图中每个像素点的代价聚合值得到每帧目标图像的初始视差图；
步骤3.4，将所述初始视差图使用加权中值滤波算法进行优化，得到匹配视差图；
步骤4，合成双目立体视频；具体按照下述步骤进行：
步骤4.1，将每帧匹配视差图均转换为点云模型
步骤4.1.1，建立坐标转化公式：
其中，x为匹配视差图中像素点的横坐标，y为匹配视差图中像素点的纵坐标，d为视差，cx为主点在校正左目视图上的x坐标，cy为主点在校正左目视图上的y坐标，f为焦距，c'x是主点在校正右目视图上的x坐标，Tx为基线，X为三维立体坐标的X轴，Y为三维立体坐标的Y轴，Z为三维立体坐标的Z轴，W为缩放因子；
步骤4.1.2，根据所述坐标转化公式将每帧匹配视差图中每个像素点的均转化为三维立体坐标；
步骤4.1.3，将每帧匹配视差图中每个像素点的三维立体坐标和RGB颜色信息输出为点云模型，得到多个点云模型；
步骤4.2，建立帧结构，具体按照下述步骤进行：
步骤4.2.1，构造ORB特征检测器，ORB描述子提取器；
步骤4.2.2，使用所述ORB特征检测器提取每帧目标图像中的校正左目视图和校正右目视图的特征点；并根据每帧目标图像中的校正左目视图和校正右目视图的特征点，使用ORB描述子提取器提取每帧目标图像中的校正左目视图和校正右目视图的描述子，建立每帧目标图像中的校正左目视图和校正右目视图的描述子矩阵；
步骤4.2.3，将每帧目标图像的校正左目视图、校正右目视图、匹配视差图、匹配视差图每个像素点的三维立体坐标、特征点和描述子矩阵组成一个帧结构，得到多个帧结构；
步骤4.3，生成双目立体视频
步骤4.3.1，相机位姿估计
步骤a，优秀匹配点提取
计算相邻两个帧结构中相对应的描述子之间的距离，得到最小描述子距离；将描述子之间的距离均与最小描述子距离进行比较；若有描述子之间的距离大于最小描述子距离的4倍，则剔除该描述子；剩余的描述子则为优秀匹配点；
步骤b，寻找每个帧结构中的每个优秀匹配点在校正左目视图和校正右目视图中的图像坐标，根据所述图像坐标得到每个优秀匹配点在匹配视差图中的视差信息，若视差信息为零时，则舍弃该优秀匹配点；若视差信息不为零时，则在该帧结构中建立三维点集合，将该优秀匹配点的图像坐标转化为三维立体坐标存储至该帧结构的三维点集合中，同时在下一个帧结构中建立图像点集合，将该优秀匹配点的图像坐标存储至下一个帧结构中的图像点集合中；
步骤c，根据每个帧结构中的三维点集合和下一个帧结构中的图像点集合，通过PnP算法，得到两个帧结构间的旋转矩阵R和平移矩阵t；
4.3.2，依次读取每个帧结构，根据两个帧结构间旋转矩阵和平移矩阵计算两个帧结构中较后面的帧结构的运动范围，若较后面的帧结构的运动范围过大，则舍弃较后面的帧结构；
步骤4.3.3，将相邻的两个帧结构的点云模型拼接，得到双目立体视频。
2.根据权利要求1所述的一种双目立体视频的合成方法，其特征在于，所述步骤1中具体按照下述步骤对双目摄像机进行标定：
步骤1.1，使用张正友标定法对双目摄像机进行标定，得到双目摄像机的初步内参数和初步外参数；
步骤1.2，将所述初步内参数和初步外参数作为参考，再次使用张正友标定法对双目摄像机进行标定，得到双目摄像机的内参数和外参数。
3.根据权利要求1所述的一种双目立体视频的合成方法，其特征在于，所述步骤4.3.3中，具体按照是下述步骤将相邻的两个帧结构中的点云模型进行拼接：
通过变换矩阵将每帧匹配视差图的点云模型变换，得到多个变换点云模型；变换矩阵表达式为：
其中，O为投影变换矩阵，R3x3为两个帧结构间的旋转矩阵R，t3x1为两个帧结构间的平移矩阵；
将每帧变换点云模型进行齐次变换；使用PLC库的TransformPointCloud函数将每帧齐次变换后的点云模型进行旋转缩放，将相邻的两个点云模型进行拼接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810917339.6A CN109089100B (zh) | 2018-08-13 | 2018-08-13 | 一种双目立体视频的合成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810917339.6A CN109089100B (zh) | 2018-08-13 | 2018-08-13 | 一种双目立体视频的合成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109089100A CN109089100A (zh) | 2018-12-25 |
| CN109089100B true CN109089100B (zh) | 2020-10-23 |
Family
ID=64834250
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810917339.6A Active CN109089100B (zh) | 2018-08-13 | 2018-08-13 | 一种双目立体视频的合成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109089100B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230106278A1 (en) * | 2020-02-21 | 2023-04-06 | Harman International Industries, Incorporated | Image processing method, apparatus, device and medium |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103337094A (zh) * | 2013-06-14 | 2013-10-02 | 西安工业大学 | 一种应用双目摄像机实现运动三维重建的方法 |
| CN103996202A (zh) * | 2014-06-11 | 2014-08-20 | 北京航空航天大学 | 一种基于混合匹配代价和自适应窗口的立体匹配方法 |
| CN104778720A (zh) * | 2015-05-07 | 2015-07-15 | 东南大学 | 一种基于空间不变特性的快速体积测量方法 |
| US20160005234A1 (en) * | 2012-05-09 | 2016-01-07 | Ncam Technologies Limited | System for mixing or compositing in real-time, computer generated 3d objects and a video feed from a film camera |
| CN105894499A (zh) * | 2016-03-25 | 2016-08-24 | 华南理工大学 | 一种基于双目视觉的空间物体三维信息快速检测方法 |
| CN105953796A (zh) * | 2016-05-23 | 2016-09-21 | 北京暴风魔镜科技有限公司 | 智能手机单目和imu融合的稳定运动跟踪方法和装置 |
| CN106408596A (zh) * | 2016-09-06 | 2017-02-15 | 电子科技大学 | 基于边缘的局部立体匹配方法 |
| CN107481315A (zh) * | 2017-06-29 | 2017-12-15 | 重庆邮电大学 | 一种基于Harris‑SIFT‑BRIEF算法的单目视觉三维环境重建方法 |
| CN108171787A (zh) * | 2017-12-18 | 2018-06-15 | 桂林电子科技大学 | 一种基于orb特征检测的三维重建方法 |
-
2018
- 2018-08-13 CN CN201810917339.6A patent/CN109089100B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160005234A1 (en) * | 2012-05-09 | 2016-01-07 | Ncam Technologies Limited | System for mixing or compositing in real-time, computer generated 3d objects and a video feed from a film camera |
| CN103337094A (zh) * | 2013-06-14 | 2013-10-02 | 西安工业大学 | 一种应用双目摄像机实现运动三维重建的方法 |
| CN103996202A (zh) * | 2014-06-11 | 2014-08-20 | 北京航空航天大学 | 一种基于混合匹配代价和自适应窗口的立体匹配方法 |
| CN104778720A (zh) * | 2015-05-07 | 2015-07-15 | 东南大学 | 一种基于空间不变特性的快速体积测量方法 |
| CN105894499A (zh) * | 2016-03-25 | 2016-08-24 | 华南理工大学 | 一种基于双目视觉的空间物体三维信息快速检测方法 |
| CN105953796A (zh) * | 2016-05-23 | 2016-09-21 | 北京暴风魔镜科技有限公司 | 智能手机单目和imu融合的稳定运动跟踪方法和装置 |
| CN106408596A (zh) * | 2016-09-06 | 2017-02-15 | 电子科技大学 | 基于边缘的局部立体匹配方法 |
| CN107481315A (zh) * | 2017-06-29 | 2017-12-15 | 重庆邮电大学 | 一种基于Harris‑SIFT‑BRIEF算法的单目视觉三维环境重建方法 |
| CN108171787A (zh) * | 2017-12-18 | 2018-06-15 | 桂林电子科技大学 | 一种基于orb特征检测的三维重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| Three-dimensional reconstruction method of Tang Dynasty building based on point clouds;Yinghui Wang,et al;《Optical Engineering》;21051231;第52卷(第12期);全文 * |
| 三维重建中立体匹配算法的研究;孟奂;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140315(第03期);正文第17-18、55页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109089100A (zh) | 2018-12-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110363858B (zh) | 一种三维人脸重建方法及系统 | |
| CN109166077B (zh) | 图像对齐方法、装置、可读存储介质及计算机设备 | |
| US10194135B2 (en) | Three-dimensional depth perception apparatus and method | |
| US20200128225A1 (en) | Depth Information Acquisition Method and Device | |
| TWI555378B (zh) | 一種全景魚眼相機影像校正、合成與景深重建方法與其系統 | |
| CN111028155B (zh) | 一种基于多对双目相机的视差图像拼接方法 | |
| CN111062873A (zh) | 一种基于多对双目相机的视差图像拼接与可视化方法 | |
| CN109165680B (zh) | 基于视觉slam的室内场景下单一目标物体字典模型改进方法 | |
| CN111047510A (zh) | 一种基于标定的大视场角图像实时拼接方法 | |
| CN103345736A (zh) | 一种虚拟视点绘制方法 | |
| CN107767339B (zh) | 一种双目立体图像拼接方法 | |
| US8867826B2 (en) | Disparity estimation for misaligned stereo image pairs | |
| CN106683163B (zh) | 一种视频监控的成像方法及系统 | |
| CN115035235A (zh) | 三维重建方法及装置 | |
| CN111047636B (zh) | 基于主动红外双目视觉的避障系统和避障方法 | |
| CN115330594A (zh) | 一种基于无人机倾斜摄影3d模型的目标快速识别与标定方法 | |
| CN110517211B (zh) | 一种基于梯度域映射的图像融合方法 | |
| CN115082777A (zh) | 基于双目视觉的水下动态鱼类形态测量方法及装置 | |
| CN109089100B (zh) | 一种双目立体视频的合成方法 | |
| CN108307179A (zh) | 一种3d立体成像的方法 | |
| CN113706391B (zh) | 无人机航拍图像实时拼接方法、系统、设备及存储介质 | |
| CN110068308B (zh) | 一种基于多目相机的测距方法及测距系统 | |
| Howells et al. | Depth maps comparisons from monocular images by MiDaS convolutional neural networks and dense prediction transformers | |
| CN116129059B (zh) | 一种三维点云集生成及强化方法、装置、设备及存储介质 | |
| Cortinhal et al. | Semantics-aware LiDAR-Only Pseudo Point Cloud Generation for 3D Object Detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |