CN102186091B - 一种基于光栅的多视点立体手机视频像素排布方法 - Google Patents

Abstract

本发明属于自由立体手机显示技术领域，涉及一种基于光栅的多视点立体手机视频像素排布方法，包括：确定光栅立体手机的屏幕分辨率和每个光栅单元下可容纳的子像素个数；对于原始的视频源的水平分辨率x₀和垂直分辨率y₀，将边缘截去；分别确定图像中的B，R，G子像素排列方式：当视点数n为9，8，7，6时，从每行的起始位置开始，以每n个子像素为一个基本的排列单元，将每个视点相应的子像素排列到同一个合成图像中，而当视点数n为3，4或5时，采用平衡图像横竖比的排列方式进行子像素排列合成；对合成排列后的立体图像进行非整分辨率处理。本发明能够较好地平衡图像的横竖比的变化，实现多分辨率自适应。

Description

一种基于光栅的多视点立体手机视频像素排布方法

技术领域

本发明属于自由立体手机显示技术领域，更具体地，涉及一种立体手机显示系统中多视点视频的像素排布方法。

背景技术

以平面图像描述的2D可视化技术远未满足人们日益增长的再现三维场景的更逼真、更自然的需求。立体视频技术被有效应用于立体数字电视(3DTV)、医疗三维显示、三维视频会议系统、虚拟现实系统等诸多领域。但是，现有的立体显示终端大部分是基于台式电脑监视器或大尺寸、高分辨率的平板显示器。

作为一种个人设备，移动终端--手机的功能越来越强大，是各类业务的综合操作平台和显示平台。在移动终端上实现立体显示，可以更方便的再现从自然界看到的真实三维景物，会给移动终端用户带来比平面显示更大的冲击感和震撼感，获得更强的表现力；可以使用户用三维信息描述周围的一切，并可以用这种新手段来与自然界进行交互，从而为用户提供一种全新的应用手段。

目前主流的在台式电脑监视器或大尺寸、高分辨率的平板显示器上采用的多视点立体图像合成算法中像素排列方式如图1所示，本图以九视点立体显示为例。

图1中，θ为光栅倾斜角，d为相邻两个像素中心间距，每个光栅之间可以容纳n个子像素，光栅间栅距为d。在每个子像素小格里面，第一排数字代表当前小格对应的视点数，第二排数字代表当前小格中对应单视点源图像中的第H行的第几个像素，第三排代表当前小格中放的R或G或B子像素，如图中加灰色部分代表当前子像素放置的是第二视点图像中第H行的第3个像素的G子像素。

这些参数满足关系公式(1)。

n＝(s/cosθ)/(d/3)(1)

在水平方向上的每一个光栅单元下能放置n个子像素，首先确定每行离图像最左边缘的平移距离lean[h]，每行(第h行)的平移距离以子像素为单位取值，由此可以确定每行的子像素排列的起始位置，由公式2计算。

lean[h]＝[3h·tanθ]％n  (2)

然后从每行的起始位置开始，以每n个子像素为一个基本的排列单元，将每个视点中有用的子像素依照排列规律填入同一个合成图像中。填充的过程中，以行为单位循环H次，最终生成一幅立体合成图像。

以上基于台式电脑监视器或大尺寸、高分辨率的平板显示器的立体图像合成算法有两个明显的缺陷：

A)单视点频源分辨率和最终的显示器的分辨率是一一对应的关系，当视频源分辨率变化或者显示器分辨率发生变化时，显示合成后的立体图像分辨率也随之发生变化，无法实现全屏显示，达不到最佳的立体显示效果。

B)在该合成算法中分辨率的计算公式为：

$x_1*\frac{n}{3}=\mathrm{WIDTH}---\left(3\right)$

y₁*3＝HEIGHT    (4)

式(3)、(4)中x₁，y₁为单视点水平和垂直分辨率，WIDTH和HEIGHT为合成后的立体图像分辨率，则有：

$\frac{\mathrm{WIDTH}}{\mathrm{HEIGHT}}:\frac{x_1}{y_1}=\frac{n}{9}---\left(5\right)$

由式(5)可知，当n远小于9时，合成后的立体图像横竖比发生变化，图像严重变型。

因此在基于光栅的立体手机显示平台上需要一种能适应手机终端资源有限的多视点通用像素排列方法。

发明目的

本发明提出一种能够较好地平衡图像的横竖比的变化，实现多分辨率自适应的一种基于光栅的多视点立体手机视频像素排布方法。这种通用的像素排布方法可以适用于各种基于光栅的立体手机，并能为未来兼容立体手机终端的产业化和推向市场做好准备。本发明的技术方案如下：

一种基于光栅的多视点立体手机视频像素排布方法，包括下列步骤：

第一步，设视点数为n，确定光栅立体手机的屏幕分辨率和每个光栅单元下可容纳的子像素个数，根据公式

和y₁*3＝HEIGHT确定手机显示所需的单视点视频源的水平分辨率x₁和垂直分辨率y₁，式中，WIDTH代表自由立体显示屏幕的宽，HEIGHT代表自由立体显示屏幕的高；

第二步，设K为x₀、y₀到x₁、y₁的映射系数，K满足公式对于原始的视频源水平分辨率x₀和垂直分辨率y₀，在竖直方向将x₀左右边缘剪切掉变为

分辨率，在水平方向将y₀上下方向剪切变为

分辨率，使单视点视频源的分辨率变换为x₁，y₁；

第三步，根据视点数n，确定图像中的B子像素排列方式：当视点数n为9，8，7，6时，从每行的起始位置开始，以每n个子像素为一个基本的排列单元，将每个视点相应的子像素排列到同一个合成图像中，而当视点数n为3，4或5时，采用平衡图像横竖比的排列方式进行子像素排列合成；

第四步，对于图像中的R或G子像素，按照与第三步相同的方法进行处理；

第五步，对合成排列后的立体图像进行非整分辨率处理：在各视点子像素排列合成时，超出手机分辨率的部分不再进行排列合成，使得处理后的显示分辨率达到全屏显示的要求。

作为优选实施方式，其中的第二步的变换方法如下：

A)若K＝1，则无需变化；

B)若K＞1，则对的视频源在水平和垂直方向上每相邻两个像素间平均插值或者复制出(K-1)个像素；

C)若K＜1，则对

的视频源在水平和垂直方向上每

个像素丢掉中间的

个像素。

其中的第三步的处理方法如下：

A)n＝3时，在相邻光栅单元中根据对应子像素数值线性插值出两个光栅单元的子像素数值；

B)n＝4或5时，在相邻光栅单元中根据对应子像素数值线性插值出一个光栅单元的子像素数值。

本发明能够较好地平衡图像的横竖比的变化，实现多分辨率自适应，对贴有光栅的立体手机视频显示具有普适性。利用本发明编写的播放器程序可以较大的拓展立体手机的业务范围，能为用户提供更加震撼、表现力更强的新业务，并能给用户提供全新的视觉体验，特别是能满足年轻用户标新立异的心理。由于新型立体手机视频播放器的新颖性和多功能兼容性，经后续产品化开发之后，再辅以丰富的三维游戏、立体图片和视频节目等，预计可以获得可观的市场份额，应用前景会很好。

附图说明

图1九视点立体图像子像素排列规律。

图2多视点立体手机视频像素排布方法。

图3维持图像横竖比的子像素排布规律。

图4λ＝3的子像素排布规律。

图5λ＝2，n＝4的子像素排布规律。

图6λ＝2，n＝5的子像素排布规律。

图7魅族M8SE八视点立体手机上子像素排列规律。

图8中兴N61三视点立体手机子像素排列规律。

具体实施方式

要在手机上实现立体视频显示，必须考虑以下三个问题：

A)手机显示屏的尺寸一般较小，通常不会大于3英寸。在这么小的显示屏上显示立体图像，要考虑到视差的特殊控制，以保证观察者可以看到明显的立体效果。

B)手机显示屏的分辨率通常不会太高，而自由立体业务通常需要用较高的分辨率来展现，因此必须特别针对移动终端上研究提高自由立体图像显示分辨率的方法。

C)目前市场上的手机类型非常多，相应的分辨率类型也很多。主要的显示分辨率类型包括：320*240，240*320，480*720，480*800等，这种多分辨率特点对多视点立体视频合成算法提出了更高的要求，要求合成算法能适应多种分辨率的显示。

针对以上三点，本发明提出了一种基于光栅的多视点立体手机视频像素排布方法，该方法先针对R、G、B子像素进行的处理，然后再显示，如图2所示。

1)解码

本发明可以支持YUV和H.264两种格式的视频源，在对视频源进行子像素处理之前必须对视频源进行解码从而转换为RGB格式的数据流。H.264格式的视频源通过H.264JMVC解码器解码为YUV数据流，YUV数据流通过ConvertYUV2RGB函数转化为RGB数据流。另外H.264编解码时要求视频源水平分辨率和垂直分辨率必须都为16的倍数，假设原有的YUV或264视频源分辨率为x₀、y₀，则解码完之后的RGB数据流分辨率仍然为x₀、y₀，且x₀、y₀表示H.264视频源时必须都为16的倍数。

2)多分辨率自适应

由式(1)和(2)中WIDTH和HEIGHT，就可以得到x₁和y₁，分别为：

$x_1=\mathrm{WIDTH}*\frac{3}{n}---\left(6\right)$

$y_1=\frac{\mathrm{HEIGHT}}{3}---\left(7\right)$

其中，x₁代表单视点视频水平分辨率，y₁代表单视点视频垂直分辨率，WIDTH代表自由立体显示屏幕的宽，HEIGHT代表自由立体显示屏幕的高。

由式(3)、(4)、(6)和(7)可知x₁、y₂、WIDTH和HEIGHT应满足一下规则：

A)x₁、y₁、WIDTH和HEIGHT均表示分辨率，应为整数。

B)x₁或n为3的倍数。

C)若n不为3的倍数，则x₁应为3的倍数，WIDTH应为n的倍数。

D)HEIGHT应为3的倍数。

E)若x₁、y₁都为16的倍数，则WIDTH和HEIGHT应该都为16的倍数。

由于手机型号的多样性，相应的手机显示分辨率就有很多，比如320*240，240320，480720，480800等，我们首先取同时符合A)和E)条件的最小x₁和y₁，并满足由公式(1)和(2)计算出的Width、Height不小于WIDTH和HEIGHT。由于x₁和y₁为整数且x₁没有要求为3的倍数，因此Width可能为非整数，为了达到全屏显示的分辨率WIDTH和HEIGHT，排列合成后还需要对Width、Heigh进行非整分辨率处理。

本发明对解码后的视频源分辨率x₀*y₀与x₁*y₁之间建立以下一种映射关系，使其变换后能够全屏显示，体现最佳立体显示效果。

设K为x₀、y₀到x₁、y₁的映射系数。K满足以下关系式：

$K=\max [\frac{x_1}{x_0},\frac{y_1}{y_0}]---\left(8\right)$

上式中K可小于1，可为1，可大于1，且可导出以下关系式：

$\frac{x_1}{K}\≤x_0---\left(9\right)$

$\frac{y_1}{K}\≤y_0---\left(10\right)$

对解码后的视频源在竖直方向将x₀左右边缘剪切掉变为

分辨率，在水平方向将y₀上下方向剪切变为

分辨率。针对K值不同，对变换后的视频源分辨率

做不同的变换使其变为x₁*y₁分辨率的视频源。

A)若K＝1，则无需变化。

B)若K＞1，则对

的视频源在水平和垂直方向上每相邻两个像素间平均插值或者复制出(K-1)个像素。

C)若K＜1，则对

的视频源在水平和垂直方向上每个像素丢掉中间的

个像素。

通过以上变换将视频源分辨率为x₀*y₀的变换为显示所需要的分辨率x₁*y₁，且保持了视频源横竖显示比例不变。

3)平衡图像横竖比的各视点子像素排列合成

由式(3)可得，若n远远小于9(n取3，4，5时)，则立体视频合成后的图像横竖比变化明显，图像变形很严重。针对视点数小于9的情况下，本发明提出的通用的立体视频像素排列算法，可以很好的处理图像变形问题，使可视范围和清晰度这一对矛盾所引起的问题得到缓解和改善。

取

当n＝3，4，5，时，λ＝3或2或1，λ＝1时横竖比变化在可允许的范围内。当λ＝2或者3时，水平方向变化不如垂直方向变化比例大，我们采取在水平方向做插值处理，使水平方向分辨率变为原来的λ倍。

图3中K为非负整数。如图所示，在第(K*λ+1)个光栅单元中分别排列n视点视频源第H行中的第K个像素，而在第(K*λ+1)个光栅单元和第((K+1)*λ+1)个光栅单元之间则需插值出来(λ-1)个光栅单元。

A)λ＝3时，即视点数n＝3时，新的子像素排列方式如图4所示。

如图4所示，加粗倾斜的子像素为相对应的子像素。其中B₁和B₂的子像素为单视点视频源中的子像素，而中间的子像素B₁₁和B₁₂是根据相邻两个子像素B₁和B₂插值生成的子像素。则B₁和B₂的数值分别为：

$B_{11}=\frac{2}{3}*B_1+\frac{1}{3}*B_2---\left(11\right)$

$B_{12}=\frac{1}{3}*B_1+\frac{2}{3}*B_2---\left(12\right)$

以此类推，中间两个光栅单元的子像素数值都可以由相邻两个光栅单元里的子像素插值出来。

B)λ＝2时，即视点数n＝4或5时，新的子像素排列方式如下图所示：

如图5所示，加粗倾斜的子像素为对应的子像素。其中B₁和B₂子像素来源于单视点视频源中的子像素，中间的子像素为要插值出来的子像素设数值为B₁₁，则：

$B_{11}=\frac{1}{2}*B_1+\frac{1}{2}*B_2---\left(13\right)$

以此类推，中间一个光栅单元的子像素数值都可以由相邻两个光栅单元里的子像素插值出来。同理n＝5时与此类似如图6所示。

4)非整数分辨率处理

为了适应屏幕分辨率，在分辨率自适应小节中，将x₀*y₀变换为x₁*y₁，合成之后图像分辨率为Width和Height，由于x₁*y₁都为正数，计算出来的Width和Height可能不是整数。由于显示屏的分辨率为WIDTH和HEIGHT，这就需要将Width和Height转换为WIDTH和HEIGHT，我们进行如下处理操作。

由于Width和Height不小于WIDTH和HEIGHT，则在各视点子像素排列合成时，超出WIDTH和HEIGHT的部分不再进行排列合成，使得排列合成后的显示分辨率达到全屏显示的要求。

下面通过在魅族M8SE手机上和中兴N61手机上的具体实施实例，说明本发明提出的一种基于光栅的的多视点立体手机视频像素排布方法的实施过程。

1)魅族M8SE手机分辨率为480*720，横向外贴狭缝光栅，支持八视点立体视频显示。根据多视点排列合成方法八视点合成后的显示分辨率720*480计算出单视点视频源分辨率为270*160，由于H.264进行压缩时视频源分辨率必须是16的倍数，因此取单视点视频源分辨率为272*160，按照这个分辨率合成后的八视点视频源分辨率为：725.33*480。因此由原始的分辨率为640*384的视频源变换为272*160，然后在最后合成时进行非整分辨率处理将超过720的部分舍弃掉，最后显示分辨率为720*480。

其中子像素排列规律如图7所示。

2)中兴N61手机分辨率为320*240，竖向外贴狭缝光栅，支持三视点立体视频显示。根据多视点排列合成方法三视点合成后的显示分辨率320*240，计算出单视点视频源分辨率为320*80，按照这种变化这样水平分辨率没有变化，垂直分辨率变为原来的3倍，视频变型严重，因此我们首先对原始分辨率为640*384的视频源在保持图像不变型的情况下变换为112*80(水平和垂直分辨率都为16的倍数)，然后通过插值方法将水平分辨率变为3倍变换为336*80。然后三视点视频源合成之后再通过非整分辨率处理变为320*240，实现全屏显示。其中子像素排列规律如图8所示。

在图8中，子像素B₁、B₂和B₃是单视点视频源中获取的已知的子像素，B₁₁，B₁₂，B₂₁，B₂₂是需要插值出来的子像素，我们采用以下计算规律。

$B_{11}=\frac{2}{3}*B_1+\frac{1}{3}*B_2---\left(14\right)$

$B_{12}=\frac{1}{3}*B_1+\frac{2}{3}*B_2---\left(15\right)$

$B_{21}=\frac{2}{3}*B_2+\frac{1}{3}*B_3---\left(16\right)$

$B_{22}=\frac{1}{3}*B_2+\frac{2}{3}*B_3---\left(17\right)$

实验证明，这样能够很好的平衡立体视频排列合成后显示的横竖比，立体显示效果明显。

Claims (3)

1.一种基于光栅的多视点立体手机视频像素排布方法，包括下列步骤：

第一步，设视点数为n，确定光栅立体手机的屏幕分辨率和每个光栅单元下可容纳的子像素个数，根据公式

和y₁*3=HEIGHT确定手机显示所需的单视点视频源的水平分辨率x₁和垂直分辨率y₁，式中，WIDTH代表自由立体显示屏幕的宽，HEIGHT代表自由立体显示屏幕的高；

第二步，设K为x₀、y₀到x₁、y₁的映射系数，K满足公式

对于原始的视频源水平分辨率x₀和垂直分辨率y₀，在竖直方向将x₀左右边缘剪切掉变为

分辨率，在水平方向将y₀上下方向剪切变为

分辨率，使单视点视频源的分辨率变换为x₁，y₁；

第三步，根据视点数n，确定图像中的B子像素排列方式：当视点数n为9，8，7，6时，从每行的起始位置开始，以每n个子像素为一个基本的排列单元，将每个视点相应的子像素排列到同一个合成图像中，而当视点数n为3，4或5时，采用平衡图像横竖比的排列方式进行子像素排列合成；

第四步，对于图像中的R或G子像素，按照与第三步相同的方法进行处理；

第五步，对合成排列后的立体图像进行非整分辨率处理：在各视点子像素排列合成时，超出手机分辨率的部分不再进行排列合成，使得处理后的显示分辨率达到全屏显示的要求。

2.根据权利要求1所述的多视点立体手机视频像素排布方法，其中的第二步的变换方法如下：

A）若K=1，则无需变化；

B）若K>1，则对

的视频源在水平和垂直方向上每相邻两个像素间平均插值或者复制出(K-1）个像素；

C）若K<1，则对

的视频源在水平和垂直方向上每

个像素丢掉中间的

个像素。

3.根据权利要求1所述的多视点立体手机视频像素排布方法，其中的第三步的处理方法如下：

A）n=3时，在相邻光栅单元中根据对应子像素数值线性插值出两个光栅单元的子像素数值；

B）n=4或5时，在相邻光栅单元中根据对应子像素数值线性插值出一个光栅单元的子像素数值。

Images