CN105657401B

CN105657401B - 一种裸眼3d显示方法、系统及裸眼3d显示装置

Info

Publication number: CN105657401B
Application number: CN201610020011.5A
Authority: CN
Inventors: 徐遥令
Original assignee: Shenzhen Skyworth RGB Electronics Co Ltd
Current assignee: Shenzhen Skyworth RGB Electronics Co Ltd
Priority date: 2016-01-13
Filing date: 2016-01-13
Publication date: 2017-10-24
Anticipated expiration: 2036-01-13
Also published as: CN105657401A

Abstract

本发明公开一种裸眼3D显示方法、系统及裸眼3D显示装置。本发明通过将双视点图像转换成多视点图像，实现裸眼3D显示，本发明的方法其视点转换精度高、失真小，极大减少了裸眼3D显示的图像伪影、抖动等现象，且成本更低，具有较大的应用价值。

Description

一种裸眼3D显示方法、系统及裸眼3D显示装置

技术领域

本发明涉及3D显示领域，尤其涉及一种裸眼3D显示方法、系统及裸眼3D显示装置。

背景技术

裸眼3D显示技术，是指不通过任何工具就能让左右两只眼睛从显示屏幕上看到两幅具有视差的、有所区别的画面，将它们反射到大脑，从而产生立体感。裸眼3D显示技术也利用了人眼的视差原理，通过给观看者左右两眼分别送去不同的画面，从而达到立体的视觉效果。由于裸眼3D电视的观察者可以不佩戴眼镜实现3D显示体验，符合3D显示的市场需求，具有较大的市场和商机。目前3D信号源设备输出的3D视频信号一般都是左右（L/R）2视点图像，而裸眼3D电视需要较多视点以便在大范围进行3D体验，因此需要将2个视点转换成多个视点。目前常见的办法是从原有的L/R 2视点图像中提取深度信息、并基于原有L或R视点图像进行渲染来形成多视点图像，这种方法可能导致图像裂缝、伪影、失真抖动等问题。

因此，现有技术还有待于改进和发展。

发明内容

鉴于上述现有技术的不足，本发明的目的在于提供一种裸眼3D显示方法、系统及裸眼3D显示装置，旨在解决现有的多视点转换方法导致图像裂缝、伪影、失真抖动等问题。

本发明的技术方案如下：

一种裸眼3D显示方法，其中，包括步骤：

预处理：分别对RGB格式的L视点图像和R视点图像进行预处理，形成灰度格式的L’视点图像和R’视点图像；

视差估算：采用特征匹配获取L’视点图像和R’视点图像的相似对象区域，根据所述相似对象区域完成L’视点图像和R’视点图像的视差估算并输出视差数据表；

深度图形成：根据视差数据表计算出每一个像素的深度值，绘制和形成原始的深度图；

深度图矫正：采用L’视点图像和R’ 视点图像来对原始的深度图进行矫正，输出平滑和连续的深度图DP_M；

视点生成：通过L视点图像和DP_M来生成多个新视点的虚拟视点图像；

视点修正：通过R视点图像来修正生成的虚拟视点图像；

视点后处理：对虚拟视点图像、L视点图像和R视点图像进行存储以及排序，共输出N个视点图像；

视点交织：对N个视点图像进行交织处理后合成为一副多视点图像；

裸眼3D显示：输出多视点图像，实现裸眼3D显示。

所述的裸眼3D显示方法，其中，所述预处理的步骤具体包括：

降噪处理：采用低通滤波器来去除L视点图像和R视点图像的高频噪声；

锐化处理：采用拉普拉斯二阶微分算法来对降噪后的L视点图像和R视点图像进行锐化处理；

灰度转换处理：对锐化处理后的L视点图像和R视点图像进行格式转换，将其对应转换成HSI图像格式的L视点图像和R视点图像；然后分别提取L视点图像和R视点图像的I分量，形成灰度格式的L’ 视点图像和R’ 视点图像。

所述的裸眼3D显示方法，其中，所述视差估算的步骤具体包括：

对象匹配：分别分析L’ 视点图像和R’ 视点图像的几何特征信息，根据几何特征信息进行对象匹配，获取L’ 视点图像和R’ 视点图像中的相似对象区域；

像素位移计算：在L’ 视点图像的相似对象区域中选取像素点，在R’ 视点图像的相似对象区域中找到对应的匹配像素点，并进行像素位移计算得到像素视差值；

视差表形成：将像素视差值存储在二维数据表中形成像素视差表。

所述的裸眼3D显示方法，其中，所述深度图形成的步骤具体包括：

像素深度计算：根据像素视差表，计算出其中每一个像素的深度值；

深度图绘制：将像素深度值转换为像素空间坐标，将各个像素空间坐标连接起来形成一个整体，绘制出原始的深度图。

所述的裸眼3D显示方法，其中，所述深度图矫正的步骤具体包括：

基于L’视点图像和R’视点图像的矫正：由原始的深度图来生成某一角度的灰度图像a，并与L’ 视点图像进行比较和寻找差异、生成差异数据表Ta；同样由原始的深度图来生成另外某一角度的灰度图像b，并与R’ 视点图像进行比较和寻找差异、生成另外一个差异数据表Tb；

形成深度图DP_M:采用不同的权重系数对Ta和Tb进行混合，形成像素深度修正表；以及将像素深度修正表转化成像素空间坐标，对原始的深度图进行插值填充、叠加修正处理后，形成平滑、连续的深度图DP_M。

所述的裸眼3D显示方法，其中，所述视点生成的步骤具体包括：

灰度图生成：设定多个角度，根据深度图来生成多个新视点的灰度图；

虚拟视点图像输出：以L视点图像作为参考，根据新视点的灰度图与L视点图像间的位置差异，对新视点的灰度图进行颜色填充，输出多个新视点的虚拟视点图像。

所述的裸眼3D显示方法，其中，所述视点修正的步骤具体包括：

搜寻异常区域：判别虚拟视点图像是否存在颜色异常的区域，如有颜色异常区域则进行标注；

颜色修正：在R视点图像中找到与虚拟视点图像标注区域相对应的区域，根据R视点图像与虚拟视点图像间的距离差异、采用R视点图像相对应区域像素颜色的某一比重来修正虚拟视点图像中标注区域的像素颜色。

所述的裸眼3D显示方法，其中，所述视点后处理的步骤具体包括：

视点存储：存储修正后的多个虚拟视点图像、以及L视点图像和R视点图像，共有N个视点图像；

视点排序：在N个视点图像中，依据视点间的距离差异对N个视点图像进行排序，依次标注为1,2,...,n,...,N；

视点渲染：对各个视点图像进行渲染处理，然后同时输出N个视点图像。

一种裸眼3D显示系统，其中，其包括：

预处理模块：用于分别对RGB格式的L视点图像和R视点图像进行预处理，形成灰度格式的L’ 视点图像和R’ 视点图像；

视差估算模块：用于采用特征匹配获取L’ 视点图像和R’ 视点图像的相似对象区域，根据所述相似对象区域完成L’ 视点图像和R’ 视点图像的视差估算并输出视差数据表；

深度图形成模块：用于根据视差数据表计算出每一个像素的深度值，绘制和形成原始的深度图；

深度图矫正模块：用于采用L’ 视点图像和R’ 视点图像来对原始的深度图进行矫正，输出平滑和连续的深度图DP_M；

视点生成模块：用于通过L视点图像和DP_M来生成多个新视点的虚拟视点图像；

视点修正模块：用于通过R视点图像来修正生成的虚拟视点图像；

视点后处理模块：用于对虚拟视点图像、L视点图像和R视点图像进行存储以及排序，共输出N个视点图像；

视点交织模块：用于对N个视点图像进行交织处理后合成为一副多视点图像；

裸眼3D显示模块：用于输出多视点图像，实现裸眼3D显示。

一种裸眼3D显示装置，其中，包括如上所述的裸眼3D显示系统。

有益效果：本发明通过将双视点图像转换成多视点图像，实现裸眼3D显示，本发明的方法其视点转换精度高、失真小，极大减少了裸眼3D显示的图像伪影、抖动等现象，且成本更低，具有较大的应用价值。

附图说明

图1为本发明一种裸眼3D显示方法较佳实施例的流程图；

图2为本发明另一实施例的流程图；

图3为本发明中像素位移计算的原理图；

图4为本发明一种裸眼3D显示方法较佳实施例的结构框图。

具体实施方式

本发明提供一种裸眼3D显示方法、系统及裸眼3D显示装置，为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参阅图1，图1为本发明一种裸眼3D显示方法较佳实施例的流程图，如图所示，其包括步骤：

S1、预处理：分别对RGB格式的L视点图像和R视点图像进行预处理，形成灰度格式的L’ 视点图像和R’ 视点图像；

S2、视差估算：采用特征匹配获取L’ 视点图像和R’ 视点图像的相似对象区域，根据所述相似对象区域完成L’ 视点图像和R’ 视点图像的视差估算并输出视差数据表；

S3、深度图形成：根据视差数据表计算出每一个像素的深度值，绘制和形成原始的深度图；

S4、深度图矫正：采用L’ 视点图像和R’ 视点图像来对原始的深度图进行矫正，输出平滑和连续的深度图DP_M；

S5、视点生成：通过L视点图像和DP_M来生成多个新视点的虚拟视点图像；

S6、视点修正：通过R视点图像来修正生成的虚拟视点图像；

S7、视点后处理：对虚拟视点图像、L视点图像和R视点图像进行存储以及排序，共输出N个视点图像；

S8、视点交织：对N个视点图像进行交织处理后合成为一副多视点图像；

S9、裸眼3D显示：输出多视点图像，实现裸眼3D显示。

如图2所示，本发明的方法，其对L视点图像（图中简称为L图）和R视点图像（图中简称为R图）进行降噪、锐化和灰度处理等预处理后形成灰度格式的L’ 视点图像和R’ 视点图像，采用特征匹配获取L’ 视点图像（图中简称为L’图）和R’ 视点图像（图中简称为R’图）相似对象区域、并在相似对象区域进行像素位移计算、完成视差估算并输出视差数据表，根据视差数据表来计算出每一个像素的深度、绘制和形成原始深度图（或称为深度模型），然后分别采用L’ 视点图像和R’ 视点图像来对原始深度图进行矫正、输出平滑和连续的深度图DP_M，通过L视点图像和DP_M来生成虚拟视点图像、并通过R视点图像来修正虚拟视点图像，对虚拟视点图像、L视点图像和R视点图像进行存储、排序等视点后处理，同时输出视点1至N（即N个视点图像），进一步对N个视点图像进行视点交织、将N个视点图像混合成一幅多视点图像输出给裸眼3D屏幕（或称裸眼3D屏）、实现裸眼3D显示。

下面分别对每一步骤进行详细的说明。

进一步，所述步骤S1具体包括：

降噪处理：采用低通滤波器来去除L视点图像和R视点图像的高频噪声；降噪处理可避免噪声干扰。

锐化处理：采用拉普拉斯二阶微分算法来对降噪后的L视点图像和R视点图像进行锐化处理；锐化处理可提升L视点和R视点图像的对比度，使得图像中对象的边缘和轮廓线突出、细节变得清晰，以便后续在视差估算时更容易进行对象识别和匹配。

灰度转换处理：对锐化处理后的L视点图像和R视点图像进行格式转换，将其对应转换成HSI图像格式的L视点图像和R视点图像；然后分别提取L视点图像和R视点图像的I分量（即灰度分量），形成灰度格式的L’ 视点图像和R’ 视点图像。L视点图像和R视点图像的图像格式为RGB图像格式（即：每一个像素由R、G、B三个颜色分量组成），转换成HSI图像格式（即：每一个像素由H色度、S彩色饱和度、I灰度三个分量组成）。

进一步，所述步骤S2具体包括：

对象匹配：分别分析L’ 视点图像和R’ 视点图像的几何特征信息，根据几何特征信息进行对象匹配，获取L’ 视点图像和R’ 视点图像中的相似对象区域；所述的几何特征信息可指图像的轮廓、边沿、纹理、线等等。

像素位移计算：在L’ 视点图像的相似对象区域中选取像素点（也可称为像素，或选取一个像素点及其临近的像素点，将这些选取的像素点一起当成一个像素点），在R’ 视点图像的相似对象区域中找到对应的匹配像素点，并进行像素位移计算得到像素视差值；如图3所示，L’ 视点图像（图中简称为L’ 图像）相似对象区域（RS区域）的一个像素点（黑色点）的矢量坐标为dl，其在R’ 视点图像（图中简称为R’ 图像）相似对象区域中对应的匹配像素点的矢量坐标为dr，则像素点的像素视差值记做dr-dl、即匹配像素的矢量差。

视差表形成：将像素视差值存储在二维数据表中形成像素视差表。如果L’ 视点图像和R’ 视点图像的某些区域差异大而无法匹配到相似区域，则将像素视差表对应单元格标记为“NC”、即没有像素视差值。将L’ 视点图像（或R’ 视点图像）所有像素的像素视差值存储在二维数据表中，形成像素视差表。

进一步，所述步骤S3具体包括：

像素深度计算：根据像素视差表，计算出其中每一个像素的深度值；像素深度值计算算法为：Dp=(D*P)/(P-E)，其中D为观看距离（离裸眼3D屏幕的观看距离D可自由设定）、P为像素视差值、E为人的双眼间距。像素视差值为NC时，其像素深度值也为NC。

深度图绘制：将像素深度值转换为像素空间坐标，将各个像素空间坐标连接起来形成一个整体，绘制出原始的深度图。深度图可以体现对象的表面结构、形状等立体信息。由于存在一些像素深度值为NC，绘制出的是原始深度图，存在突变、不连续的情况。

进一步，所述步骤S4具体包括：

进一步，所述步骤S5具体包括：

虚拟视点图像输出：以L视点图像作为参考，根据新视点的灰度图与L视点图像间的位置差异，对新视点的灰度图进行颜色填充即着色处理，输出多个新视点的虚拟视点图像。

进一步，所述步骤S6具体包括：

搜寻异常区域：判别虚拟视点图像是否存在颜色异常的区域，例如无色、或颜色有突变的区域，如有颜色异常区域则进行标注；

颜色修正：在R视点图像中找到与虚拟视点图像标注区域相对应的区域，根据R视点图像与虚拟视点图像间的距离差异、采用R视点图像相对应区域像素颜色的某一比重来修正虚拟视点图像中标注区域的像素颜色。例如：R视点图像相对应区域某一像素的颜色为（R=50，G=80，B=70），则虚拟视点图像标注区域对应像素的颜色为（R=50*x，G=80*x，B=70*x）、x由R视点图像与虚拟视点图像间的距离差异来决定。修正后成为视点n图像，视点n为多视点中的一个视点。

进一步，所述步骤S7具体包括：

视点渲染：对各个视点图像进行渲染处理，包括降噪平滑、对象轮廓增强、颜色拉升等处理，然后同时输出N个视点图像。

然后根据裸眼3D屏的物理像素排列情况，对N个视点图像进行交织处理后合成为一副图像；通过视点交织后的图像是多视点图像，包含N个视点的图像信息。

最后由裸眼3D屏（软件上是裸眼3D显示模块）接收多视点图像，实现裸眼3D显示。

基于上述方法，本发明还提供一种裸眼3D显示系统较佳实施例，如图4所示，其包括：

预处理模块100：用于分别对RGB格式的L视点图像和R视点图像进行预处理，形成灰度格式的L’ 视点图像和R’ 视点图像；

视差估算模块200：用于采用特征匹配获取L’ 视点图像和R’ 视点图像的相似对象区域，根据所述相似对象区域完成L’ 视点图像和R’ 视点图像的视差估算并输出视差数据表；

深度图形成模块300：用于根据视差数据表计算出每一个像素的深度值，绘制和形成原始的深度图；

深度图矫正模块400：用于采用L’ 视点图像和R’ 视点图像来对原始的深度图进行矫正，输出平滑和连续的深度图DP_M；

视点生成模块500：用于通过L视点图像和DP_M来生成多个新视点的虚拟视点图像；

视点修正模块600：用于通过R视点图像来修正生成的虚拟视点图像；

视点后处理模块700：用于对虚拟视点图像、L视点图像和R视点图像进行存储以及排序，共输出N个视点图像；

视点交织模块800：用于对N个视点图像进行交织处理后合成为一副多视点图像；

裸眼3D显示模块900：用于输出多视点图像，实现裸眼3D显示。

其中，预处理模块100具体包括：

降噪处理单元，用于采用低通滤波器来去除L视点图像和R视点图像的高频噪声；

锐化处理单元，用于采用拉普拉斯二阶微分算法来对降噪后的L视点图像和R视点图像进行锐化处理；

灰度转换处理单元，用于对锐化处理后的L视点图像和R视点图像进行格式转换，将其对应转换成HSI图像格式的L视点图像和R视点图像；然后分别提取L视点图像和R视点图像的I分量，形成灰度格式的L’ 视点图像和R’ 视点图像。

其中，视差估算模块200具体包括：

对象匹配单元，用于分别分析L’ 视点图像和R’ 视点图像的几何特征信息，根据几何特征信息进行对象匹配，获取L’ 视点图像和R’ 视点图像中的相似对象区域；

像素位移计算单元，用于在L’ 视点图像的相似对象区域中选取像素点，在R’ 视点图像的相似对象区域中找到对应的匹配像素点，并进行像素位移计算得到像素视差值；

视差表形成单元，用于将像素视差值存储在二维数据表中形成像素视差表。

其中，深度图形成模块300具体包括：

像素深度计算单元，用于根据像素视差表，计算出其中每一个像素的深度值；

深度图绘制单元，用于将像素深度值转换为像素空间坐标，将各个像素空间坐标连接起来形成一个整体，绘制出原始的深度图。

其中，深度图矫正模块400具体包括：

基于L’视点图像和R’视点图像的矫正单元，用于由原始的深度图来生成某一角度的灰度图像a，并与L’ 视点图像进行比较和寻找差异、生成差异数据表Ta；同样由原始的深度图来生成另外某一角度的灰度图像b，并与R’ 视点图像进行比较和寻找差异、生成另外一个差异数据表Tb；

形成深度图DP_M单元，用于采用不同的权重系数对Ta和Tb进行混合，形成像素深度修正表；以及将像素深度修正表转化成像素空间坐标，对原始的深度图进行插值填充、叠加修正处理后，形成平滑、连续的深度图DP_M。

其中，视点生成模块500具体包括：

灰度图生成单元，用于设定多个角度，根据深度图来生成多个新视点的灰度图；

虚拟视点图像输出单元，用于以L视点图像作为参考，根据新视点的灰度图与L视点图像间的位置差异，对新视点的灰度图进行颜色填充，输出多个新视点的虚拟视点图像。

其中，视点修正模块600具体包括：

搜寻异常区域单元，用于判别虚拟视点图像是否存在颜色异常的区域，如有颜色异常区域则进行标注；

颜色修正单元，用于在R视点图像中找到与虚拟视点图像标注区域相对应的区域，根据R视点图像与虚拟视点图像间的距离差异、采用R视点图像相对应区域像素颜色的某一比重来修正虚拟视点图像中标注区域的像素颜色。

其中，视点后处理模块700具体包括：

视点存储单元，用于存储修正后的多个虚拟视点图像、以及L视点图像和R视点图像，共有N个视点图像；

视点排序单元，用于在N个视点图像中，依据视点间的距离差异对N个视点图像进行排序，依次标注为1,2,...,n,...,N；

视点渲染单元，用于对各个视点图像进行渲染处理，然后同时输出N个视点图像。

关于上述模块单元的技术细节在前面的方法中已有详述，故不再赘述。

基于上述系统，本发明还提供一种裸眼3D显示装置，其包括如上所述的裸眼3D显示系统。

综上所述，本发明通过将双视点图像转换成多视点图像，实现裸眼3D显示，本发明的方法其视点转换精度高、失真小，极大减少了裸眼3D显示的图像伪影、抖动等现象，且成本更低，具有较大的应用价值。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims

1.一种裸眼3D显示方法，其特征在于，包括步骤：

预处理：分别对RGB格式的L视点图像和R视点图像进行预处理，形成灰度格式的L’ 视点图像和R’ 视点图像；

视差估算：采用特征匹配获取L’ 视点图像和R’ 视点图像的相似对象区域，根据所述相似对象区域完成L’ 视点图像和R’ 视点图像的视差估算并输出视差数据表；

深度图矫正：采用L’ 视点图像和R’ 视点图像来对原始的深度图进行矫正，输出平滑和连续的深度图DP_M；

视点修正：通过R视点图像来修正生成的虚拟视点图像；

裸眼3D显示：输出多视点图像，实现裸眼3D显示；

所述深度图矫正的步骤具体包括：

2.根据权利要求1所述的裸眼3D显示方法，其特征在于，所述预处理的步骤具体包括：

3.根据权利要求1所述的裸眼3D显示方法，其特征在于，所述视差估算的步骤具体包括：

视差表形成：将像素视差值存储在二维数据表中形成视差数据表。

4.根据权利要求1所述的裸眼3D显示方法，其特征在于，所述深度图形成的步骤具体包括：

像素深度计算：根据视差数据表，计算出其中每一个像素的深度值；

5.根据权利要求1所述的裸眼3D显示方法，其特征在于，所述视点生成的步骤具体包括：

6.根据权利要求1所述的裸眼3D显示方法，其特征在于，所述视点修正的步骤具体包括：

7.根据权利要求1所述的裸眼3D显示方法，其特征在于，所述视点后处理的步骤具体包括：

8.一种裸眼3D显示系统，其特征在于，其包括：

深度图矫正模块：用于采用L’ 视点图像和R’ 视点图像来对原始的深度图进行矫正，输出平滑和连续的深度图DP_M，具体为基于L’视点图像和R’视点图像的矫正：由原始的深度图来生成某一角度的灰度图像a，并与L’ 视点图像进行比较和寻找差异、生成差异数据表Ta；同样由原始的深度图来生成另外某一角度的灰度图像b，并与R’ 视点图像进行比较和寻找差异、生成另外一个差异数据表Tb；

形成深度图DP_M单元，用于采用不同的权重系数对Ta和Tb进行混合，形成像素深度修正表；以及将像素深度修正表转化成像素空间坐标，对原始的深度图进行插值填充、叠加修正处理后，形成平滑、连续的深度图DP_M；

裸眼3D显示模块：用于输出多视点图像，实现裸眼3D显示。

9.一种裸眼3D显示装置，其特征在于，包括如权利要求8所述的裸眼3D显示系统。