CN106028018B - 面向裸眼3d显示的实拍双视点3d视频优化方法及系统 - Google Patents

Abstract

本发明揭示了一种面向裸眼3D显示的实拍双视点3D视频优化方法及系统，所述方法包括如下步骤：输入实拍双视点3D视频；选择左图或右图为第一视点图像，则相应的右图或左图为第二视点图像；将第一视点图像分割成基本计算单元；基于第一视点图像的基本计算单元在第二视点图像中搜索匹配单元，计算视差场；使用边缘指导的插值方法将基于基本计算单元的视差场转换为基于像素的视差场；将基于像素的视差场归一化，将第一视点图像与基于像素的视差场按图像及深度3D视频格式输出。本发明可避免复杂的后期处理以消除实拍双视点3D视频左右画面的差异；利用半自动视差计算方法可有效提取实拍双视点3D视频的深度信息或视差信息，保持实拍双视点3D视频的3D效果。

Description

面向裸眼3D显示的实拍双视点3D视频优化方法及系统

技术领域

本发明属于3D视频优化技术领域，涉及一种3D视频优化方法，尤其涉及一种面向裸眼3D显示的实拍双视点3D视频优化方法；同时，本发明还涉及一种面向裸眼3D显示的实拍双视点3D视频优化系统。

背景技术

双视点3D视频是通用3D视频格式，是3D影视内容的主要形式。双视点3D视频可以通过双摄像头3D摄像机拍摄，是3D影视内容获取的主要方式。但是，双摄像头3D摄像机使用双摄像头分别拍摄左右画面，导致实拍双视点3D视频的左右画面通常存在差异，如亮度不一致、颜色不一致、垂直视差等，会显著影响实拍双视点3D视频的3D显示效果，因此实拍双视点3D影视内容通常需要复杂的后期处理与优化以获得好的3D视觉效果。

一种裸眼3D显示设备，由显示装置与光栅装置组成，可让观看者无需任何辅助设备就可以感觉到3D效果。为解决多人多角度同时观看的问题，通常采用多视点显示方式，多视点立体图像经过合成后可以在该裸眼3D显示设备上观看到3D效果。这样双视点3D视频要在该裸眼3D显示设备上显示就需要实时提取双视点3D视频的深度信息或视差信息并实时渲染成多视点立体视频，实时提取深度信息或视差信息是个巨大的难题，尤其是实拍双视点3D视频，亮度不一致、颜色不一致、垂直视差等都是影响深度信息或视差信息实时提取的重要因素。

播放3D影视类等经过良好后期处理的双视点3D视频的裸眼3D显示设备已经出现并规模应用，但是直接播放实拍双视点3D视频在该裸眼3D显示设备上面临诸多问题：(1)实拍双视点3D视频左右画面存在亮度不一致、颜色不一致和垂直视差等显著影响3D效果的问题；(2)亮度不一致、颜色不一致和垂直视差等问题也是影响实时多视点转换的重要因素，使深度提取或视差提取不准确，导致3D图像扯动等严重问题。

随着多视点裸眼3D显示设备的普及，迫切需要一种面向裸眼3D显示的简单快速的实拍双视点3D视频优化方法与系统以优化其裸眼3D显示效果。

发明内容

本发明所要解决的技术问题是：提供一种面向裸眼3D显示的实拍双视点3D视频优化方法，避免实拍双视点3D视频左右画面不一致并保持深度信息或视差信息，提升3D显示效果。

此外，本发明还提供一种面向裸眼3D显示的实拍双视点3D视频优化系统，避免实拍双视点3D视频左右画面不一致并保持深度信息或视差信息，提升3D显示效果。

为解决上述技术问题，本发明采用如下技术方案：

一种面向裸眼3D显示的实拍双视点3D视频优化方法，所述方法包括如下步骤：

步骤S1.输入实拍双视点3D视频；

步骤S2.选择左图或右图为第一视点图像，则相应的右图或左图为第二视点图像；

步骤S3.将第一视点图像分割成基本计算单元；所述基本计算单元按照块的形式进行划分，优选块的大小为4x4或8x8或16x16；

步骤S4.基于第一视点图像的基本计算单元在第二视点图像中搜索匹配单元，计算视差场；

所述搜索匹配单元采用半自动方法；边缘块及其相邻块采用人工方式进行视差赋值，非边缘块根据空间相关性自动搜索匹配单元获取视差；

所述非边缘块的自动搜索方法中，其中D_m，n为基本计算单元视差，I₁、I₂分别为第一视点图像和第二视点图像，argmin为参数极小值计算；

步骤S5.使用边缘指导的插值方法将基于基本计算单元的视差场转换为基于像素的视差场；

所述边缘指导的插值方法中，垂直方向插值采用如下方式进行：

S_i，n＝((M-v)*D_m，n+v*D_m+1，n)/M，M为基本计算单元垂直方向大小，如果当前像素属于边缘块且位于边缘上方，则否则

水平方向插值采用如下方式进行：

d_i，j＝((N-h)*S_i，n+h*S_i，n+1)/N，d_i，j为像素视差，N为基本计算单元水平方向大小，如果当前像素属于边缘块且位于边缘左边，则否则

步骤S6.将基于像素的视差场归一化，将第一视点图像与基于像素的视差场按图像及深度3D视频格式输出；

其中，视差场归一化采用如下方式：x_i，j＝-k*d_i，j+b，k与b为常数，且最大负视差对应最大值，最大正视差对应零；

所述步骤S6中，将第一视点图像放在左边，对应的视差场放在右边形成图像及深度3D视频格式。

一种面向裸眼3D显示的实拍双视点3D视频优化方法，所述方法包括如下步骤：

步骤S1.输入实拍双视点3D视频；

步骤S2.选择左图或右图为第一视点图像，则相应的右图或左图为第二视点图像；

步骤S3.将第一视点图像分割成基本计算单元；

步骤S4.基于第一视点图像的基本计算单元在第二视点图像中搜索匹配单元，计算视差场；

步骤S5.使用边缘指导的插值方法将基于基本计算单元的视差场转换为基于像素的视差场；

步骤S6.将基于像素的视差场归一化，将第一视点图像与基于像素的视差场按图像及深度3D视频格式输出。

作为本发明的一种优选方案，所述基本计算单元按照块的形式进行划分，优选块的大小为4x4或8x8或16x16。

作为本发明的一种优选方案，所述搜索匹配单元采用半自动方法。

作为本发明的一种优选方案，所述搜索匹配单元采用的半自动方法中，边缘块及其相邻块采用人工方式进行视差赋值，非边缘块根据空间相关性自动搜索匹配单元获取视差。

作为本发明的一种优选方案，所述非边缘块的自动搜索方法中，其中D_m，n为基本计算单元视差，I₁、I₂分别为第一视点图像和第二视点图像，argmin为参数极小值计算。

作为本发明的一种优选方案，所述边缘指导的插值方法中，垂直方向插值采用如下方式进行：

S_i，n＝((M-v)*D_m，n+v*D_m+1，n)/M，M为基本计算单元垂直方向大小，如果当前像素属于边缘块且位于边缘上方，则否则

水平方向插值采用如下方式进行：

d_i，j＝((N-h)*S_i，n+h*S_i，n+1)/N，d_i，j为像素视差，N为基本计算单元水平方向大小，如果当前像素属于边缘块且位于边缘左边，则否则

作为本发明的一种优选方案，所述步骤S6中，视差场归一化采用如下方式：x_i，j＝-k*d_i，j+b，k与b为常数，且最大负视差对应最大值，最大正视差对应零。

作为本发明的一种优选方案，所述步骤S6中，将第一视点图像放在左边，对应的视差场放在右边形成图像及深度3D视频格式。

一种面向裸眼3D显示的实拍双视点3D视频优化系统，所述系统包括：

实拍双视点3D视频输入模块，用以输入实拍双视点3D视频；

视点图像选择模块，用以选择左图或右图为第一视点图像，则相应的右图或左图为第二视点图像；

第一视点图像分割模块，用以将第一视点图像分割成基本计算单元；

视差场计算模块，用以基于第一视点图像的基本计算单元在第二视点图像中搜索匹配单元，计算视差场；

视差场转换模块，用以使用边缘指导的插值方法将基于基本计算单元的视差场转换为基于像素的视差场；

3D视频格式输出模块，用以将基于像素的视差场归一化，将第一视点图像与基于像素的视差场按图像及深度3D视频格式输出。

本发明的有益效果在于：本发明提出的面向裸眼3D显示的实拍双视点3D视频优化方法及系统，可避免实拍双视点3D视频左右画面不一致，同时克服由于实时深度提取或视差提取不准确导致的3D视觉效果问题。

本发明将实拍双视点3D视频转换为图像及深度3D视频，可避免复杂的后期处理以消除实拍双视点3D视频左右画面的差异，如亮度差异、颜色差异和垂直视差等；利用半自动视差计算方法可有效提取实拍双视点3D视频的深度信息或视差信息，保持实拍双视点3D视频的3D效果。

附图说明

图1实拍双视点3D视频示例。

图2边缘基本计算单元示意图。

图3本发明技术方案流程图。

图4图像+深度3D视频示例。

具体实施方式

下面结合附图详细说明本发明的优选实施例。

实施例一

请参阅图3，本发明揭示了一种面向裸眼3D显示的实拍双视点3D视频优化方法，所述方法包括如下步骤：

步骤S1.输入实拍双视点3D视频，可参见图1；

步骤S2.选择左图或右图为第一视点图像，则相应的右图或左图为第二视点图像；

步骤S3.将第一视点图像分割成基本计算单元；所述基本计算单元按照块的形式进行划分(如图2所示)，优选块的大小为4x4或8x8或16x16；

步骤S4.基于第一视点图像的基本计算单元在第二视点图像中搜索匹配单元，计算视差场；

所述搜索匹配单元采用半自动方法；边缘块及其相邻块采用人工方式进行视差赋值，非边缘块根据空间相关性自动搜索匹配单元获取视差；

所述非边缘块的自动搜索方法中，其中D_m，n为基本计算单元视差，I₁、I₂分别为第一视点图像和第二视点图像，argmin为参数极小值计算；

步骤S5.使用边缘指导的插值方法将基于基本计算单元的视差场转换为基于像素的视差场；

所述边缘指导的插值方法中，垂直方向插值采用如下方式进行：

S_i，n＝((M-v)*D_m，n+v*D_m+1，n)/M，M为基本计算单元垂直方向大小，如果当前像素属于边缘块且位于边缘上方，则否则

水平方向插值采用如下方式进行：

d_i，j＝((N-h)*S_i，n+h*S_i，n+1)/N，d_i，j为像素视差，N为基本计算单元水平方向大小，如果当前像素属于边缘块且位于边缘左边，则否则

步骤S6.将基于像素的视差场归一化，将第一视点图像与基于像素的视差场按图像及深度3D视频格式输出(可参阅图4)；

其中，视差场归一化采用如下方式：x_i，j＝-k*d_i，j+b，k与b为常数，且最大负视差对应最大值，最大正视差对应零；

所述步骤S6中，将第一视点图像放在左边，对应的视差场放在右边形成图像及深度3D视频格式。

本发明还揭示一种面向裸眼3D显示的实拍双视点3D视频优化系统，所述系统包括：实拍双视点3D视频输入模块、视点图像选择模块、第一视点图像分割模块、视差场计算模块、视差场转换模块、3D视频格式输出模块。

实拍双视点3D视频输入模块用以输入实拍双视点3D视频；

视点图像选择模块用以选择左图或右图为第一视点图像，则相应的右图或左图为第二视点图像；

第一视点图像分割模块用以将第一视点图像分割成基本计算单元；

视差场计算模块用以基于第一视点图像的基本计算单元在第二视点图像中搜索匹配单元，计算视差场；

视差场转换模块用以使用边缘指导的插值方法将基于基本计算单元的视差场转换为基于像素的视差场；

3D视频格式输出模块用以将基于像素的视差场归一化，将第一视点图像与基于像素的视差场按图像及深度3D视频格式输出。

上述各个模块的具体功能可以参见上述方法的描述，这里不做赘述。

实施例二

一种面向裸眼3D显示的实拍双视点3D视频优化方法，所述方法包括如下步骤：

步骤S1.输入实拍双视点3D视频；

步骤S2.选择左图或右图为第一视点图像，则相应的右图或左图为第二视点图像；

步骤S3.将第一视点图像分割成基本计算单元；

步骤S4.基于第一视点图像的基本计算单元在第二视点图像中搜索匹配单元，计算视差场；

步骤S5.使用边缘指导的插值方法将基于基本计算单元的视差场转换为基于像素的视差场；

步骤S6.将基于像素的视差场归一化，将第一视点图像与基于像素的视差场按图像及深度3D视频格式输出。

综上所述，本发明提出的面向裸眼3D显示的实拍双视点3D视频优化方法及系统，可避免实拍双视点3D视频左右画面不一致，同时克服由于实时深度提取或视差提取不准确导致的3D视觉效果问题。

本发明将实拍双视点3D视频转换为图像及深度3D视频，可避免复杂的后期处理以消除实拍双视点3D视频左右画面的差异，如亮度差异、颜色差异和垂直视差等；利用半自动视差计算方法可有效提取实拍双视点3D视频的深度信息或视差信息，保持实拍双视点3D视频的3D效果。

这里本发明的描述和应用是说明性的，并非想将本发明的范围限制在上述实施例中。这里所披露的实施例的变形和改变是可能的，对于那些本领域的普通技术人员来说实施例的替换和等效的各种部件是公知的。本领域技术人员应该清楚的是，在不脱离本发明的精神或本质特征的情况下，本发明可以以其它形式、结构、布置、比例，以及用其它组件、材料和部件来实现。在不脱离本发明范围和精神的情况下，可以对这里所披露的实施例进行其它变形和改变。

Claims (7)

1.一种面向裸眼3D显示的实拍双视点3D视频优化方法，其特征在于，所述方法包括如下步骤：

步骤S1.输入实拍双视点3D视频；

步骤S2.选择左图或右图为第一视点图像，则相应的右图或左图为第二视点图像；

步骤S3.将第一视点图像分割成基本计算单元；所述基本计算单元按照块的形式进行划分，块的大小为4x4或8x8或16x16；

步骤S4.基于第一视点图像的基本计算单元在第二视点图像中搜索匹配单元，计算视差场；

所述搜索匹配单元采用半自动方法；边缘块及其相邻块采用人工方式进行视差赋值，非边缘块根据空间相关性自动搜索匹配单元获取视差；

所述非边缘块的自动搜索方法中，其中D_m，n为基本计算单元视差，I₁、I₂分别为第一视点图像和第二视点图像，argmin为参数极小值计算；

步骤S5.使用边缘指导的插值方法将基于基本计算单元的视差场转换为基于像素的视差场：

所述边缘指导的插值方法中，垂直方向插值S_i，n采用如下方式进行：

S_i，n＝((M-v)*D_m，n+v*D_m+1，n)/M，M为基本计算单元垂直方向大小，v＝i％M；如果当前像素属于边缘块且位于边缘上方，则v＝0，否则v＝0：

水平方向插值采用如下方式进行：

d_i，j＝((N-h)*S_i，n+h*S_i，n+1)/N，d_i，j为像素视差，N为基本计算单元水平方向大小，h＝j％N；如果当前像素属于边缘块且位于边缘左边，则h＝0，否则h＝0；

步骤S6.将基于像素的视差场归一化，将第一视点图像与基于像素的视差场按图像及深度3D视频格式输出；

其中，视差场归一化采用如下方式：x_i，j＝-k*d_i，j+b，k与b为常数，且最大负视差对应最大值，最大正视差对应零；

所述步骤S6中，将第一视点图像放在左边，对应的视差场放在右边形成图像及深度3D视频格式。

2.一种面向裸眼3D显示的实拍双视点3D视频优化方法，其特征在于，所述方法包括如下步骤：

步骤S1.输入实拍双视点3D视频；

步骤S2.选择左图或右图为第一视点图像，则相应的右图或左图为第二视点图像；

步骤S3.将第一视点图像分割成基本计算单元；

步骤S4.基于第一视点图像的基本计算单元在第二视点图像中搜索匹配单元，计算视差场；搜索匹配单元采用半自动方法；搜索匹配单元采用的半自动方法中，边缘块及其相邻块采用人工方式进行视差赋值，非边缘块根据空间相关性自动搜索匹配单元获取视差；所述非边缘块的自动搜索方法中，其中D_m，n为基本计算单元视差，I₁、I₂分别为第一视点图像和第二视点图像，argmin为参数极小值计算；

步骤S5.使用边缘指导的插值方法将基于基本计算单元的视差场转换为基于像素的视差场；

步骤S6.将基于像素的视差场归一化，将第一视点图像与基于像素的视差场按图像及深度3D视频格式输出。

3.根据权利要求2所述的面向裸眼3D显示的实拍双视点3D视频优化方法，其特征在于：

所述基本计算单元按照块的形式进行划分，块的大小为4x4或8x8或16x16。

4.根据权利要求2所述的面向裸眼3D显示的实拍双视点3D视频优化方法，其特征在于：

所述边缘指导的插值方法中，垂直方向插值S_i，n采用如下方式进行：

S_i，n＝((M-v)*D_m，n+v*D_m+1，n)/M，M为基本计算单元垂直方向大小，v＝i％M；如果当前像素属于边缘块且位于边缘上方，则v＝0，否则v＝0：

水平方向插值采用如下方式进行：

d_i，j＝((N-h)*S_i，n+h*S_i，n+1)/N，d_i，j为像素视差，N为基本计算单元水平方向大小，h＝j％N；如果当前像素属于边缘块且位于边缘左边，则h＝0，否则h＝0。

5.根据权利要求2所述的面向裸眼3D显示的实拍双视点3D视频优化方法，其特征在于：

所述步骤S6中，视差场归一化采用如下方式：x_i，j＝-k*d_i，j+b，k与b为常数，且最大负视差对应最大值，最大正视差对应零。

6.根据权利要求2所述的面向裸眼3D显示的实拍双视点3D视频优化方法，其特征在于：

所述步骤S6中，将第一视点图像放在左边，对应的视差场放在右边形成图像及深度3D视频格式。

7.一种面向裸眼3D显示的实拍双视点3D视频优化系统，其特征在于，所述系统包括：

实拍双视点3D视频输入模块，用以输入实拍双视点3D视频；

视点图像选择模块，用以选择左图或右图为第一视点图像，则相应的右图或左图为第二视点图像；

第一视点图像分割模块，用以将第一视点图像分割成基本计算单元；

视差场计算模块，用以基于第一视点图像的基本计算单元在第二视点图像中搜索匹配单元，计算视差场；搜索匹配单元采用半自动方法；搜索匹配单元采用的半自动方法中，边缘块及其相邻块采用人工方式进行视差赋值，非边缘块根据空间相关性自动搜索匹配单元获取视差；所述非边缘块的自动搜索方法中，其中D_m，n为基本计算单元视差，I₁、I₂分别为第一视点图像和第二视点图像，argmin为参数极小值计算；

视差场转换模块，用以使用边缘指导的插值方法将基于基本计算单元的视差场转换为基于像素的视差场；

3D视频格式输出模块，用以将基于像素的视差场归一化，将第一视点图像与基于像素的视差场按图像及深度3D视频格式输出。