CN104811686A - 一种浮点型多视点裸眼立体合成图像的硬件实现方法 - Google Patents

Abstract

本发明公开一种浮点型多视点裸眼立体合成图像的硬件实现方法，属于裸眼3D显示领域；在本发明中，首先通过对像素合成公式进行等价变换，将原本对浮点型变量的取余运算转化为对常量的取余运算，进而通过比较器转化为易于硬件实现的四则运算。本发明减小了浮点型多视点裸眼3D的图像合成硬件复杂程度，将硬件不易实现的对变量取余运算转化为四则运算，在保证计算结果准确性的基础上，同时提高了运算速度。通过改变相应参数，可适用于不同类型光栅或柱状透镜结构，同时能够兼容整型和浮点型视差图像合成方法。

Description

一种浮点型多视点裸眼立体合成图像的硬件实现方法

【技术领域】

本发明属于视频图像处理技术领域，具体涉及一种多视点裸眼立体合成图像的硬件实现方法。

【背景技术】

裸眼3D显示技术利用人眼的视觉生理特性，当略微呈现视差的图像分别进入到人的左右眼时，经过大脑的融合，可以带给观看者立体的视觉感受。目前市场上主流裸眼3D显示技术大都基于柱状透镜技术，其原理是通过在显示屏前装配由细长的半圆形透镜紧密排列而成的柱面透镜，当显示屏上的子像素光路通过透镜面板时由于存在光学折射会产生分光作用，在合适的观看距离和观看角度使得视差图像分别进入到人的左右眼产生立体感受。

多视点裸眼3D显示装置根据立体显示终端柱状透镜的光学特性，有选择性的从各个视场当中挑选所需要的子像素。通常情况下，最终合成的多视点立体图像中的每一个子像素值需要来自两个相邻视场同一位置的子像素值加权平均计算得到。特别地，整形光栅排布可以看成浮点型光栅排布的一个特例。

在浮点型多视点立体合成图中，最终子像素的选取是按照以下通用公式计算得出。

$N=\frac{(x-x_{\mathrm{off}}-3y*\tan \mathrm{\α})\%\mathrm{pitch}}{\mathrm{pitch}}*N_{\mathrm{tot}}---\left(1\right)$

其中x、y分别为最终合成立体图像中RGB子像素的横纵坐标，如图1所示，取每帧图像中的第一个子像素点为参考原点，则第一组RGB子像素分量的坐标分别可以表示为R(0,0)、G(1,0)、B(2,0)，同理，第二行第一组RGB子像素分量的坐标可以表示为R(0,1)、G(1,1)、B(2,1)；x_off为RGB子像素相对于透镜左边缘的水平位移(通常情况下取值为0)；α为透镜轴相对于立体显示屏垂直轴的夹角；％为取余运算；pitch为倾斜光栅或柱状透镜在水平方向上覆盖的RGB子像素个数；N_tot为多视点图像总的视点数。

N值为浮点数，和决定了合成像素点来源的两个视场，和决定了相应两子视场子像素对于该处合成像素点的权重，因此可通过下述公式来实现合成视场子像素值的计算。

其中H_x,y为合成视场中坐标为(x,y)子像素的值；表示视场和中坐标为(x,y)子像素的值；K表示总视场数，如图2所示。

近年来，多视点裸眼3D的应用与需求越来越大，视差图像合成作为多视点裸眼3D视频图像显示与处理中必不可少的重要组成部分，影响最终裸眼3D的观看效果，特别是随着视频分辨率的不断提升，图像合成过程中的计算量不断增加，同时还须兼顾显示精度的要求。考虑到浮点型光栅排布通用公式中存在浮点数求余运算，从硬件实现角度来看，由于浮点型求余运算实现比较困难，有待进行进一步的优化。

【发明内容】

本发明的目的在于提供一种浮点型多视点裸眼立体合成图像的硬件实现方法，以降低实现浮点型多视点立体图像合成运算复杂度和运算量。

为了实现上述目的，本发明采用如下技术方案：

一种浮点型多视点裸眼立体合成图像的硬件实现方法，包括以下步骤：

(1)将每一帧合成图像取其行方向的子像素记为横坐标x，列方向像素所在行记为纵坐标y，得到视频数据帧子像素的二维坐标系，同时记每一帧合成图像当中的第一个像素点所对应的RGB子分量坐标为R(0,0)、G(1,0)与B(2,0)；将每一帧合成图像的第一行第一组RGB子像素的F(0,0)、F(1,0)与F(2,0)函数值预先分别存入相应的寄存器；

(2)对于每一帧合成图像同一行当中其余的RGB子像素的F函数值，分别以前一组RGB子像素的F函数值为基础加上常数3％pitch得到同一行当中其他RGB子像素的F函数值；

(3)对于每一帧合成图像除第一行外的每一行第一组RGB子像素的F函数值，分别以前一行第一组RGB子像素的F函数值为基础减去常数3tanα％pitch得到该组RGB子像素的F函数值；

(4)将每个子像素的F函数值带回到公式(1)中，计算出每一帧中各RGB子像素对应的参数N值，从中分离出决定视场来源的整数部分与决定该视场对最终合成图像贡献大小的小数部分；

$N=\frac{(x-x_{\mathrm{off}}-3y*\tan \mathrm{\α})\%\mathrm{pitch}}{\mathrm{pitch}}*N_{\mathrm{tot}}---\left(1\right)$

其中x、y分别为最终合成立体图像中RGB子像素的横纵坐标，x_off为RGB子像素相对于透镜左边缘的水平位移，α为透镜轴相对于立体显示屏垂直轴的夹角；％为取余运算；pitch为倾斜光栅或柱状透镜在水平方向上覆盖的RGB子像素个数；N_tot为多视点图像总的视点数；

(5)将每一帧中各RGB子像素对应的参数N值带入公式(6)中计算合成视场子像素值：

其中H_x,y为合成视场中坐标为(x,y)子像素的值；表示视场和中坐标为(x,y)子像素的值；K表示总视场数。

优选的，每一帧合成图像中坐标为(x,y)的子像素的F函数值

F(x,y)＝(x-x_off-3ytanα)％pitch。

优选的，同一行当中相邻RGB子像素的F函数值F(x+3,y)和同一列当中相邻RGB子像素的F函数值F(x,y+1)的计算公式如下：

$\left\{\begin{array}{c}F(x+3,y)=[F(x,y)+3\%\mathrm{pitch}]\%\mathrm{pitch}\\ \text{F}(x,y+1)=[F(x,y)-3\tan \mathrm{\α}\%\mathrm{pitch}]\%\mathrm{ppitch}\end{array}\right.---\left(5\right).$

相对于现有技术，本发明具有以下有益效果：本发明一种浮点型多视点裸眼立体合成图像的硬件实现方法，区别于已有的裸眼3D图像子像素合成硬件解决方案对变量取余采用四舍五入的处理方法，通过对像素合成公式进行等价变换，将原本对浮点型变量的取余运算转化为对常量的取余运算，进而通过比较器转化为易于硬件实现的四则运算，在保证系统计算精度的前提下，同时巧妙高效地解决了硬件层面对于浮点数求余运算的实时性要求；本发明减小了浮点型多视点裸眼3D的图像合成硬件复杂程度，将硬件不易实现的对变量取余运算转化为四则运算，在保证计算结果准确性的基础上，同时提高了运算速度。通过改变相应参数，可适用于不同类型光栅或柱状透镜结构，同时能够兼容整型和浮点型视差图像合成方法。

【附图说明】

图1为多视点裸眼3D显示装置的子像素合成示意图；

图2为多视点裸眼3D显示装置的子像素排布及柱状透镜参数示意图；

图3为各RGB子像素F函数值的递推关系示意图。

【具体实施方式】

如图2所示，本发明的工作主要是如何将多个视场图像按照给定的子像素合成关系投影到LCD屏上，针对背景技术中提到的直接实现浮点型多视点立体图像合成运算复杂和运算量大的需求，本发明给出了一种基于浮点型光栅子像素排布的多视点裸眼3D图像合成的硬件电路的实现方法，具体包括以下内容：

1、由于公式(1)中涉及浮点型求余运算，考虑到多视点裸眼3D专用集成电路浮点型子像素的排布特点及关系，采用下述方法对公式(1)进行分解优化，进而便于用硬件电路来实现。

首先将公式(1)的分子部分定义为函数F(x,y)表达式如下：

F(x,y)＝(x-x_off-3ytanα)％pitch    (2)

进而浮点型通用子像素排布公式可等价于如下公式(3)：

N(x,y)＝F(x,y)*(N_tot/pitch)    (3)

接下来，对公式(2)做进一步的等价变换，可得

$\left\{\begin{array}{c}F(x+3,y)=[(x+3)-x_{\mathrm{off}}-3y\tan \mathrm{\α}]\%\mathrm{pitch}=F(x,y)+3\%\mathrm{pitch}\\ \text{F}(x,y+1)=[x-x_{\mathrm{off}}-3(y+1)\tan \mathrm{\α}]\%\mathrm{pitch}=F(x,y)-3\tan \mathrm{\α}\%\mathrm{pitch}\end{array}\right.---\left(4\right)$

在硬件实现过程中，按照公式(1)计算，需要4个乘法和1个加法运算。为了不引起系统工作频率的极速增加，本发明采取对最终合成视场的每一个像素的RGB分量所对应的参数N值进行并行同步计算，故在上述方程组中函数F(x,y)的横坐标x的变化量为3。对于确定的多视点裸眼3D显示装置，pitch和α为常量。这样，对于多视点裸眼3D显示装置子像素重组的每一帧图像而言，只要提前将每一帧图像的第一个像素的RGB分量所对应的参数值F(0,0)、F(1,0)与F(2,0)预先分别存储在一个寄存器当中，那么在该视频帧中的同一行中，如公式(4)所示，下一个分量的计算均只需在上一个所对应子像素分量参数的基础之上加减一个常量，如图3；同理，对于视频帧每一行(除第一行外)开始处第一个子像素的分量均以前一行第一个子像素的分量为参照，每一行第一个RGB分量的参数均是按照上一行处对应位置的RGB分量为参考加减一个特定的常数。只要我们保证足够的浮点数精度，进而可以消除由此所带来的累加误差。

通常，为防止公式(4)等式右边求和操作相对于pitch的溢出，需要对公式(4)的结果做进一步修正，得到如下公式，

$\left\{\begin{array}{c}F(x+3,y)=[F(x,y)+3\%\mathrm{pitch}]\%\mathrm{pitch}\\ \text{F}(x,y+1)=[F(x,y)-3\tan \mathrm{\α}\%\mathrm{pitch}]\%\mathrm{ppitch}\end{array}\right.---\left(5\right)$

至此，决定浮点型光栅子像素重组模块的参数N值的计算通过如上变化可以将原本包含浮点数的求余运算转化为易于硬件实现的浮点型四则运算。

相对于公式(1)，这样的处理方法在保证运算结果准确性的基础上极大地降低了电路的复杂程度，并且同时提高了运算速度、保持了运算精度，能够保证视频数据流的实时处理。通过对配置参数pitch、α、N_tot的寄存器进行调整，便可适用于基于不同柱状透镜结构的不同视点数的视差图像合成。

下面结合附图对本发明做进一步详细说明，对于基于浮点型光栅子像素排布的多视点裸眼立体合成图像，本发明主要包括以下步骤:

1)、将实时视频数据流以帧为单位，取其行方向的子像素记为横坐标x，列方向像素所在行记为纵坐标y，得到视频数据帧子像素的二维坐标系，同时记每一帧图像当中的第一个像素点所对应的RGB子分量坐标为R(0,0)、G(1,0)与B(2,0)；

2)、对于每一视频图像帧而言，取第一行第一组RGB子像素作为参考，将其各自所对应的函数值F(0,0)、F(1,0)与F(2,0)预先计算准备好分别存入寄存器；

3)、在行方向上，对于第一行当中其余像素点处的RGB分量的F函数值，分别以前一个同类分量的F函数值作为参考，在该基础上通过加上一个固定值3％pitch，进而对pitch取余即可得到该分量处的F函数值；

4)、在列方向上，对于其他行第一个像素点处的RGB分量的F函数值，分别是以前一行第一个点处的分量所对应的F函数值作为参考，在该基础上通过减去一个固定值3tanα％pitch，进而对pitch取余即可得到该分量处的F函数值；

5)、在行方向上，对于其余行(第一行除外)其余像素点(第一个像素点除外)处每一个像素点处的RGB分量的F函数值，分别是以该行前一个像素点子像素分量的F函数值作为参考，在该基础上通过加上一个特定的常数值3％pitch，进而对pitch取余即可得到该分量处的F函数值；

6)、以此类推，可计算出每一帧立体合成图像所对应的参数F，进而将所得到的各个F函数值分别带入到公式(1)中计算出该子像素处的N值；从中分离出决定视场来源的整数部分与决定该视场对最终合成图像贡献大小的小数部分；

7)将每一帧中各RGB子像素对应的参数N值带入公式(6)中计算合成视场子像素值。

本发明设计的优点在于对已有的浮点型光栅像素合成公式进行优化，完成了多视点裸眼3D视差图像合成的硬件电路设计。采用本发明，将硬件上不易实现的变量取余运算转化为常量的取余运算，进而通过比较器将常量的取余转化为硬件易于实现的四则运算。在保证计算结果准确性的基础上，降低了电路的复杂程度，提高了运算速度。通过改变参数pitch、α、N_tot，可以适用于不同光栅或柱状透镜结构和不同视点数的裸眼3D视差图像的合成，同时兼容整型和浮点型视差图像的合成。

Claims (3)

1.一种浮点型多视点裸眼立体合成图像的硬件实现方法，其特征在于，包括以下步骤：

(1)将每一帧合成图像取其行方向的子像素记为横坐标x，列方向像素所在行记为纵坐标y，得到视频数据帧子像素的二维坐标系，同时记每一帧合成图像当中的第一个像素点所对应的RGB子分量坐标为R(0,0)、G(1,0)与B(2,0)；将每一帧合成图像的第一行第一组RGB子像素的F(0,0)、F(1,0)与F(2,0)函数值预先分别存入相应的寄存器；

(2)对于每一帧合成图像同一行当中其余的RGB子像素的F函数值，分别以前一组RGB子像素的F函数值为基础加上常数3％pitch得到同一行当中其他RGB子像素的F函数值；

(3)对于每一帧合成图像除第一行外的每一行第一组RGB子像素的F函数值，分别以前一行第一组RGB子像素的F函数值为基础减去常数3tanα％pitch得到该组RGB子像素的F函数值；

(4)将每个子像素的F函数值带回到公式(1)中，计算出每一帧中各RGB子像素对应的参数N值，从中分离出决定视场来源的整数部分与决定该视场对最终合成图像贡献大小的小数部分；

$N=\frac{(x-x_{\mathrm{off}}-3y*\tan \mathrm{\α})\%\mathrm{pitch}}{\mathrm{pitch}}*N_{\mathrm{tot}}---\left(1\right)$

其中x、y分别为最终合成立体图像中RGB子像素的横纵坐标，x_off为RGB子像素相对于透镜左边缘的水平位移，α为透镜轴相对于立体显示屏垂直轴的夹角；％为取余运算；pitch为倾斜光栅或柱状透镜在水平方向上覆盖的RGB子像素个数；N_tot为多视点图像总的视点数；

(5)将每一帧中各RGB子像素对应的参数N值带入公式(6)中计算合成视场子像素值：

其中H_x,y为合成视场中坐标为(x,y)子像素的值；表示视场和中坐标为(x,y)子像素的值；K表示总视场数。

2.根据权利要求1所述的一种浮点型多视点裸眼立体合成图像的硬件实现方法，其特征在于，每一帧合成图像中坐标为(x,y)的子像素的F函数值F(x,y)＝(x-x_off-3ytanα)％pitch。

3.根据权利要求1所述的一种浮点型多视点裸眼立体合成图像的硬件实现方法，其特征在于，同一行当中相邻RGB子像素的F函数值F(x+3,y)和同一列当中相邻RGB子像素的F函数值F(x,y+1)的计算公式如下：

$\left\{\begin{array}{c}F(x+3,y)=[F(x,y)+3\%\mathrm{pitch}]\%\mathrm{pitch}\\ F(x,y+1)=[F(x,y)-3\tan \mathrm{\α}\%\mathrm{pitch}]\%\mathrm{pitch}\end{array}\right.---\left(5\right).$