CN108259881A - 基于视差估算的3d合成方法及其系统 - Google Patents

Abstract

本发明涉及基于视差估算的3D合成方法及其系统，该方法包括立体标定双目摄像头，获取左眼图像以及右眼图像；将左眼图像以及右眼图像分为若干区域，并计算对应区域的视差，形成视差图；将区域的视差转化为全局视差；根据全局视差虚拟化视差图。本发明通过对双目摄像头进行立体标定，对左眼图像和右眼图像进行矫正和剪裁，将左眼图像和右眼图像进行拆分和视差的计算，根据视差转化而来的全局视差进行视差图的虚化，调整图像以适应播放屏幕分辨率，实现将左眼画面和右眼画面融合形成适合3D屏输入播放的画面，提高用户观看时的眼睛舒适度。

Description

基于视差估算的3D合成方法及其系统

技术领域

本发明涉及图像合成技术领域，更具体地说是指基于视差估算的3D合成方法及其系统。

背景技术

阿凡达的诞生为全世界带来了一阵3D热潮，也为3D技术的发展带来了无限的驱动力。3D是英文“3Dimensions”的简称，中文是指三维、三个维度、三个坐标，即有长、宽、高。换句话说，就是立体的，3D就是空间的概念也就是由X、Y、Z三个轴组成的空间，是相对于只有长和宽的平面(2D)，只有长度的线(1D)而言甚至更高维度(4D+)而言。

目前的3D一般是采用双摄像头，通过模拟人的眼睛，拍摄左眼和右眼的画面，在将画面进行合成，但是，在合成的过程中，由于左右眼画面的景深存在视差，视差是双目视觉产生近大远小的原因，导致左眼画面与右眼画面的差异，且不同颜色的图像无法做到3D合成，因此，无法真正做到将左眼画面和右眼画面融合形成适合3D屏输入播放的画面，导致用户在观看3D照片或者视频时存在眼睛不舒适的现象。

因此，有必要设计一种新的3D合成方法，实现将左眼画面和右眼画面融合形成适合3D屏输入播放的画面，提高用户观看时的眼睛舒适度。

发明内容

本发明的目的在于克服现有技术的缺陷，提供基于视差估算的3D合成方法及其系统。

为实现上述目的，本发明采用以下技术方案：基于视差估算的3D合成方法，所述方法包括：

立体标定双目摄像头，获取左眼图像以及右眼图像；

将左眼图像以及右眼图像分为若干区域，并计算对应区域的视差，形成视差图；

将区域的视差转化为全局视差；

根据全局视差虚拟化视差图。

其进一步技术方案为：立体标定双目摄像头，获取左眼图像以及右眼图像的步骤，包括以下具体步骤：

获取原始图像；

对双目摄像头进行矫正，并对原始图像内进行消除畸变；

对消除畸变后的图像进行矫正；

对矫正后的图像进行裁剪，形成左眼图像以及右眼图像。

其进一步技术方案为：将左眼图像以及右眼图像分为若干区域，并计算对应区域的视差，形成视差图的步骤，包括以下具体步骤：

将左眼图像以及右眼图像分为若干区域；

采用sobel算子计算每个区域的图像轮廓；

根据图像轮廓视差，采用峰值信噪比对区域的相似度进行评价，获取对应区域的视差；

集合每个区域的视差，形成视差图。

其进一步技术方案为：将区域的视差转化为全局视差的步骤，具体是采用插值法将区域的视差转化为全局视差。

本发明还提供了基于视差估算的3D合成系统，包括立体标定单元、区域视差计算单元、转化单元以及虚拟化单元；

所述立体标定单元，用于立体标定双目摄像头，获取左眼图像以及右眼图像；

所述区域视差计算单元，用于将左眼图像以及右眼图像分为若干区域，并计算对应区域的视差，形成视差图；

所述转化单元，用于将区域的视差转化为全局视差；

所述虚拟化单元，用于根据全局视差虚拟化视差图。

其进一步技术方案为：所述立体标定单元包括原始图像获取模块、畸变消除模块、图像矫正模块以及裁剪模块；

所述原始图像获取模块，用于获取原始图像；

所述畸变消除模块，用于对双目摄像头进行矫正，并对原始图像内进行消除畸变；

所述图像矫正模块，用于对消除畸变后的图像进行矫正；

所述裁剪模块，用于对矫正后的图像进行裁剪，形成左眼图像以及右眼图像。

其进一步技术方案为：所述区域视差计算单元包括拆分模块、轮廓计算模块、评价模块以及集成模块；

所述拆分模块，用于将左眼图像以及右眼图像分为若干区域；

所述轮廓计算模块，用于采用sobel算子计算每个区域的图像轮廓；

所述评价模块，用于根据图像轮廓视差，采用峰值信噪比对区域的相似度进行评价，获取对应区域的视差；

所述集成模块，用于集合每个区域的视差，形成视差图。

本发明与现有技术相比的有益效果是：本发明的基于视差估算的3D合成方法，通过对双目摄像头进行立体标定，对左眼图像和右眼图像进行矫正和剪裁，将左眼图像和右眼图像进行拆分和视差的计算，根据视差转化而来的全局视差进行视差图的虚化，调整图像以适应播放屏幕分辨率，实现将左眼画面和右眼画面融合形成适合3D屏输入播放的画面，提高用户观看时的眼睛舒适度。

下面结合附图和具体实施例对本发明作进一步描述。

附图说明

图1为本发明具体实施例提供的基于视差估算的3D合成方法的流程图；

图2为本发明具体实施例提供的立体标定双目摄像头的流程图；

图3为本发明具体实施例提供的将左眼图像以及右眼图像分为若干区域并计算对应区域的视差的流程图；

图4为本发明具体实施例提供的原始图像的示意图；

图5为本发明具体实施例提供的消除畸变的示意图；

图6为本发明具体实施例提供的矫正图像的示意图；

图7为本发明具体实施例提供的裁剪图像的示意图；

图8为本发明具体实施例提供的获取对应区域的视差的示意图；

图9为本发明具体实施例提供的全局视差的示意图；

图10为本发明具体实施例提供的最终3D合成的效果示意图；

图11为本发明具体实施例提供的基于视差估算的3D合成系统的结构示意图；

图12为本发明具体实施例提供的立体标定单元的结构示意图；

图13为本发明具体实施例提供的区域视差计算单元的结构示意图。

具体实施方式

为了更充分理解本发明的技术内容，下面结合具体实施例对本发明的技术方案进一步介绍和说明，但不局限于此。

如图1～13所示的具体实施例，本实施例提供的基于视差估算的3D合成方法，可以运用在彩色以及黑白图片合成3D图像、彩色以及彩色图片合成3D图像、彩色以及灰色图片合成3D图像的过程中，实现将左眼画面和右眼画面融合形成适合3D屏输入播放的画面，提高用户观看时的眼睛舒适度。

如图1所示，本实施例提供了基于视差估算的3D合成方法，该方法包括：

S1、立体标定双目摄像头，获取左眼图像以及右眼图像；

S2、将左眼图像以及右眼图像分为若干区域，并计算对应区域的视差，形成视差图；

S3、将区域的视差转化为全局视差；

S4、根据全局视差虚拟化视差图。

3D照片的左右眼画面由于景深存在视差，视差是双目视觉产生近大远小的原因，左眼画面与右眼画面差异由视差决定。先对双目摄像头进行灰度图校准，再通过轮廓对齐计算左右眼画面视差，根据已知视差估算未知视差，最后插值得到全像素视差，将原始彩色根据全像素视差值，虚拟一张视差彩色图形成3D图。

更进一步地，在某些实施例中，上述的S1步骤，立体标定双目摄像头，获取左眼图像以及右眼图像的步骤，包括以下具体步骤：

S11、获取原始图像；

S12、对双目摄像头进行矫正，并对原始图像内进行消除畸变；

S13、对消除畸变后的图像进行矫正；

S14、对矫正后的图像进行裁剪，形成左眼图像以及右眼图像。

在双目视觉系统中，为了建立两个摄像头之间的位置关系，可以对两个摄像头进行标定，得到二者之间的旋转矩阵和平移矩阵，获得这两个矩阵的过程就叫立体标定。

对于上述的S11步骤，具体是采用双目摄像头拍摄双目原始图像。

对于上述的S12步骤，如图5所示，具体是对相机进行标定，目的是建立摄像机图像像素位置与场景点位置之间的关系，即世界坐标系与图像坐标系之间的关系。具体可以采用利用张正友标定法，进行摄像机标定，获取内参矩阵、外参矩阵及畸变矩阵，以获取消除畸变后的图像。

对于上述的S13步骤，如图6所示，目的是把消除畸变后的两幅图像严格地对应起来，使得两幅图像恰好在同一水平线上，使得两幅图上的对应点有相同的行号，只需要在该行进行一维搜索即可匹配对应点，大大加快计算速度，减少匹配时间。具体利用OpenCV提供的stereoRectify得到矫正旋转矩阵R、投影矩阵P以及重投影矩阵Q。

对于上述的S14步骤，如图7所示，针对显示画面的尺寸要求，对图像进行裁剪，以使其满足3D屏的播放，且适应播放屏幕分辨率。

更进一步地，在某些实施例中，上述的S2步骤，将左眼图像以及右眼图像分为若干区域，并计算对应区域的视差，形成视差图的步骤，包括以下具体步骤：

S21、将左眼图像以及右眼图像分为若干区域；

S22、采用sobel算子计算每个区域的图像轮廓；

S23、根据图像轮廓视差，采用峰值信噪比对区域的相似度进行评价，获取对应区域的视差；

S24、集合每个区域的视差，形成视差图。

视差就是从有一定距离的两个点上观察同一个目标所产生的方向差异。从目标看两个点之间的夹角，叫做这两个点的视差，两点之间的距离称作基线。只要知道视差角度和基线长度，就可以计算出目标和观测者之间的距离。

将左右眼图像分为若干区域，对应区域模板匹配计算视差。

具体地，采用sobel算子计算图像轮廓，计算方法如下：

其中，上述的分别为横向及纵向的卷积核，A代表原始图像，Gx、Gy分别为横向及纵向边沿检测灰度值，G为边沿灰度值。

将双目图像分成X*Y大小的区块，如下图8所示，采用PSNR(峰值信噪比)对区域相似度进行评价，其中PSNR越大，则越相似，普遍基准为30dB，30dB以下图像伪化较为明显。根据轮廓计算视差公式如下：这里MAX表示图像颜色的最大数值，8bit图像取值为255。而MSE(均方差)是m×n单色图像I和K(原图像与处理图像)之间均方误差，定义为：

另外，对于灰色图像计算区域的视差，可以采用平均绝对差算法(MAD)、绝对误差和算法(SAD)、误差平方和算法(SSD)、平均误差平方和算法(MSD)、归一化积相关算法(NCC)、序贯相似性检测算法(SSDA)以及hadamard变换算法(SATD)进行计算。

如图9所示，对于上述的S3步骤，将区域的视差转化为全局视差的步骤，具体是采用插值法将区域的视差转化为全局视差。插值法计算公式如下：

F(i+u,j+v)＝(1-u)*(1-v)*F(i，j)+(1-u)*v*F(i，j+1)+u*(1-v)*F(i+1，j)+u*v*F(i+1，j+1)；其中：F(i，j)、F(i，j+1)、F(i+1，j)、F(i+1，j+1)为已知值，u,v为插值像素差值范围，F(i+u，j+v)为差值结果。

对于上述的S4步骤，已知全局像素视差F(u，v)及彩色图P(x，y，z)，则虚拟视差图Q(x，y，z)，Q(u，v，z)＝P(u+F(u，v)，v+F(u，v)，z)；最终3D拍照合成效果图如图10所示。

于其他实施例，上述的方法还可以通过计算对应棋盘格区域轮廓偏移量来计算视差，棋盘格大小不固定。

上述的基于视差估算的3D合成方法，通过对双目摄像头进行立体标定，对左眼图像和右眼图像进行矫正和剪裁，将左眼图像和右眼图像进行拆分和视差的计算，根据视差转化而来的全局视差进行视差图的虚化，调整图像以适应播放屏幕分辨率，实现将左眼画面和右眼画面融合形成适合3D屏输入播放的画面，提高用户观看时的眼睛舒适度。

如图11所示，本实施还提供了基于视差估算的3D合成系统，其包括立体标定单元1、区域视差计算单元2、转化单元3以及虚拟化单元4。

立体标定单元1，用于立体标定双目摄像头，获取左眼图像以及右眼图像。

区域视差计算单元2，用于将左眼图像以及右眼图像分为若干区域，并计算对应区域的视差，形成视差图。

转化单元3，用于将区域的视差转化为全局视差。

虚拟化单元4，用于根据全局视差虚拟化视差图。

3D照片的左右眼画面由于景深存在视差，视差是双目视觉产生近大远小的原因，左眼画面与右眼画面差异由视差决定。先对双目摄像头进行灰度图校准，再通过轮廓对齐计算左右眼画面视差，根据已知视差估算未知视差，最后插值得到全像素视差，将原始彩色根据全像素视差值，虚拟一张视差彩色图形成3D图。

更进一步地，在某些实施例中，上述的立体标定单元1包括原始图像获取模块11、畸变消除模块12、图像矫正模块13以及裁剪模块14。

原始图像获取模块11，用于获取原始图像。具体是采用双目摄像头拍摄双目原始图像。

畸变消除模块12，用于对双目摄像头进行矫正，并对原始图像内进行消除畸变。如图5所示，具体是对相机进行标定，目的是建立摄像机图像像素位置与场景点位置之间的关系，即世界坐标系与图像坐标系之间的关系。具体可以采用利用张正友标定法，进行摄像机标定，获取内参矩阵、外参矩阵及畸变矩阵，以获取消除畸变后的图像。

图像矫正模块13，用于对消除畸变后的图像进行矫正。如图6所示，目的是把消除畸变后的两幅图像严格地对应起来，使得两幅图像恰好在同一水平线上，使得两幅图上的对应点有相同的行号，只需要在该行进行一维搜索即可匹配对应点，大大加快计算速度，减少匹配时间。具体利用OpenCV提供的stereoRectify得到矫正旋转矩阵R、投影矩阵P以及重投影矩阵Q。

裁剪模块14，用于对矫正后的图像进行裁剪，形成左眼图像以及右眼图像。如图7所示，针对显示画面的尺寸要求，对图像进行裁剪，以使其满足3D屏的播放，且适应播放屏幕分辨率。

在双目视觉系统中，为了建立两个摄像头之间的位置关系，可以对两个摄像头进行标定，得到二者之间的旋转矩阵和平移矩阵，获得这两个矩阵的过程就叫立体标定。

更进一步地，在某些实施例中，上述的区域视差计算单元2包括拆分模块21、轮廓计算模块22、评价模块23以及集成模块24。

拆分模块21，用于将左眼图像以及右眼图像分为若干区域。

轮廓计算模块22，用于采用sobel算子计算每个区域的图像轮廓。

评价模块23，用于根据图像轮廓视差，采用峰值信噪比对区域的相似度进行评价，获取对应区域的视差。

集成模块24，用于集合每个区域的视差，形成视差图。

视差就是从有一定距离的两个点上观察同一个目标所产生的方向差异。从目标看两个点之间的夹角，叫做这两个点的视差，两点之间的距离称作基线。只要知道视差角度和基线长度，就可以计算出目标和观测者之间的距离。

将左右眼图像分为若干区域，对应区域模板匹配计算视差。

具体地，采用sobel算子计算图像轮廓，计算方法如下：

其中，上述的分别为横向及纵向的卷积核，A代表原始图像，Gx、Gy分别为横向及纵向边沿检测灰度值，G为边沿灰度值。

将双目图像分成X*Y大小的区块，如下图8所示，采用PSNR(峰值信噪比)对区域相似度进行评价，其中PSNR越大，则越相似，普遍基准为30dB，30dB以下图像伪化较为明显。根据轮廓计算视差公式如下：这里MAX表示图像颜色的最大数值，8bit图像取值为255。而MSE(均方差)是m×n单色图像I和K(原图像与处理图像)之间均方误差，定义为：

另外，对于灰色图像计算区域的视差，可以采用平均绝对差算法(MAD)、绝对误差和算法(SAD)、误差平方和算法(SSD)、平均误差平方和算法(MSD)、归一化积相关算法(NCC)、序贯相似性检测算法(SSDA)以及hadamard变换算法(SATD)进行计算。

如图9所示，上述的转化单元3具体是采用插值法将区域的视差转化为全局视差。插值法计算公式如下：

F(i+u,j+v)＝(1-u)*(1-v)*F(i，j)+(1-u)*v*F(i，j+1)+u*(1-v)*F(i+1，j)+u*v*F(i+1，j+1)；其中：F(i，j)、F(i，j+1)、F(i+1，j)、F(i+1，j+1)为已知值，u,v为插值像素差值范围，F(i+u，j+v)为差值结果。

对于上述的虚拟化单元4，已知全局像素视差F(u，v)及彩色图P(x，y，z)，则虚拟视差图Q(x，y，z)，Q(u，v，z)＝P(u+F(u，v)，v+F(u，v)，z)；最终3D拍照合成效果图如图10所示。

于其他实施例，上述的系统还可以通过计算对应棋盘格区域轮廓偏移量来计算视差，棋盘格大小不固定。

上述的基于视差估算的3D合成系统，通过对双目摄像头进行立体标定，对左眼图像和右眼图像进行矫正和剪裁，将左眼图像和右眼图像进行拆分和视差的计算，根据视差转化而来的全局视差进行视差图的虚化，调整图像以适应播放屏幕分辨率，实现将左眼画面和右眼画面融合形成适合3D屏输入播放的画面，提高用户观看时的眼睛舒适度。

上述仅以实施例来进一步说明本发明的技术内容，以便于读者更容易理解，但不代表本发明的实施方式仅限于此，任何依本发明所做的技术延伸或再创造，均受本发明的保护。本发明的保护范围以权利要求书为准。

Claims (7)

1.基于视差估算的3D合成方法，其特征在于，所述方法包括：

立体标定双目摄像头，获取左眼图像以及右眼图像；

将左眼图像以及右眼图像分为若干区域，并计算对应区域的视差，形成视差图；

将区域的视差转化为全局视差；

根据全局视差虚拟化视差图。

2.根据权利要求1所述的基于视差估算的3D合成方法，其特征在于，立体标定双目摄像头，获取左眼图像以及右眼图像的步骤，包括以下具体步骤：

获取原始图像；

对双目摄像头进行矫正，并对原始图像内进行消除畸变；

对消除畸变后的图像进行矫正；

对矫正后的图像进行裁剪，形成左眼图像以及右眼图像。

3.根据权利要求1所述的基于视差估算的3D合成方法，其特征在于，将左眼图像以及右眼图像分为若干区域，并计算对应区域的视差，形成视差图的步骤，包括以下具体步骤：

将左眼图像以及右眼图像分为若干区域；

采用sobel算子计算每个区域的图像轮廓；

根据图像轮廓视差，采用峰值信噪比对区域的相似度进行评价，获取对应区域的视差；

集合每个区域的视差，形成视差图。

4.根据权利要求1至3任一项所述的基于视差估算的3D合成方法，其特征在于，将区域的视差转化为全局视差的步骤，具体是采用插值法将区域的视差转化为全局视差。

5.基于视差估算的3D合成系统，其特征在于，包括立体标定单元、区域视差计算单元、转化单元以及虚拟化单元；

所述立体标定单元，用于立体标定双目摄像头，获取左眼图像以及右眼图像；

所述区域视差计算单元，用于将左眼图像以及右眼图像分为若干区域，并计算对应区域的视差，形成视差图；

所述转化单元，用于将区域的视差转化为全局视差；

所述虚拟化单元，用于根据全局视差虚拟化视差图。

6.根据权利要求5所述的基于视差估算的3D合成系统，其特征在于，所述立体标定单元包括原始图像获取模块、畸变消除模块、图像矫正模块以及裁剪模块；

所述原始图像获取模块，用于获取原始图像；

所述畸变消除模块，用于对双目摄像头进行矫正，并对原始图像内进行消除畸变；

所述图像矫正模块，用于对消除畸变后的图像进行矫正；

所述裁剪模块，用于对矫正后的图像进行裁剪，形成左眼图像以及右眼图像。

7.根据权利要求6所述的基于视差估算的3D合成系统，其特征在于，所述区域视差计算单元包括拆分模块、轮廓计算模块、评价模块以及集成模块；

所述拆分模块，用于将左眼图像以及右眼图像分为若干区域；

所述轮廓计算模块，用于采用sobel算子计算每个区域的图像轮廓；

所述评价模块，用于根据图像轮廓视差，采用峰值信噪比对区域的相似度进行评价，获取对应区域的视差；

所述集成模块，用于集合每个区域的视差，形成视差图。