CN102143166A - 一种基于光栅的多视点立体手机视频处理方法 - Google Patents

Abstract

本发明属于立体视频技术领域，涉及一种基于光栅的多视点立体手机视频处理方法，包括：经过认证的手机客户端向服务器发送手机屏幕分辨率、手机相邻光栅单元下可容纳的子像素个数、获取平面视频或立体视频信息，服务器准备好相应的平面视频源或多视点立体视频源；对于立体视频，根据手机客户端发送的手机屏幕分辨率和手机相邻光栅单元下可容纳的子像素个数的信息，将现有的多视点立体视频进行子像素重新排列；视频转换和编码；视频传输；解码；立体视频播放。本发明能够实现通过无线网络较快地下载平面视频或者立体视频，同时实现在手机平台上平面视频与立体视频的兼容显示。

Description

一种基于光栅的多视点立体手机视频处理方法

技术领域

本发明属于立体视频处理技术领域，尤其涉及一种立体手机视频处理系统方法。

背景技术

立体成像技术是开发立体显示业务的关键技术。立体成像技术分为“自由立体成像技术”和“传统立体成像技术”两种。自由立体成像技术不需要观看者佩戴任何辅助视具，用裸眼就可以直接观看立体图像。这得益于平板显示技术的发展与成熟，是立体成像技术领域的重大突破，也是未来立体显示技术发展的必然趋势。

新一代宽带移动通信网络是融合多种宽带业务和通信传输技术的新型移动通信网络，旨在使用户能够在任何地点、任何时间根据需求在不同无线网络系统间以高速数据传输，实现个人通信和资源共享。基于人类视听的需求，2G移动通信网络很好的解决了音频传输问题，3G移动通信网络正在逐步解决高质量的平面视频/图像传输问题。然而，在终端上再现自然界中真实的三维景物一直是人类梦寐以求的理想。因此，基于立体显示的业务(视频，图像，游戏等)必将成为人类新的追求和需求，也必将成为移动终端显示技术的发展方向及新的业务生长点。

基于立体显示的业务需要更大的传输带宽，在尽可能低的存储情况下获得好的图像质量和低带宽图像快速传输已成为视频压缩的两大难题。新一代视频压缩标准H.264不仅有良好的压缩性能，而且还具有很好的网络亲和性。H.264和以前的标准一样，也是差值编码加变换编码的混合编码模式。但它采用“回归基本”的简洁设计，不用众多的选项，获得比MEPG-4好得多的压缩性能；H.264加强了对各种信道的适应能力，采用“网络友好”的结构和语法，有利于对误码和丢包的处理；H.264应用目标范围较宽，可以满足不同速率、不同解析度以及不同传输(存储)场合的需求，在混合编码的框架下引入了新的编码方式，提高了编码效率，在低码流下可达到优质图像质量。

发明内容

本发明的目的是提供一种基于光栅手机的立体视频处理系统，能够实现通过无线网络较快地下载平面视频或者立体视频，同时实现在手机平台上平面视频与立体视频的兼容显示。本发明采用如下的技术方案：

一种基于光栅的多视点立体手机视频处理方法，包括下列步骤：

第一步，手机客户端向服务器发送认证请求进行终端激活，服务器经过认证后，将认证结果返回给客户端，如果认证成功，手机客户端向服务器发送手机屏幕分辨率、手机相邻光栅单元下可容纳的子像素个数、获取平面视频或立体视频信息，服务器准备好相应的平面视频源或多视点立体视频源。

第二步，对于平面视频，将现有的平面视频源分辨率变换为手机显示屏幕的分辨率。对于立体视频，根据手机客户端发送的手机屏幕分辨率和手机相邻光栅单元下可容纳的子像素个数的信息，将现有的多视点立体视频进行子像素重新排列；

第三步，将平面视频或排列后的多视点立体视频转换为YUV格式的视频源；

第四步，对平面YUV视频源或立体YUV视频源进行H.264视频编码；

第五步，对编码后的H.264视频源进行传输；

第六步，手机客户端接收到H.264视频源，进行H.264解码，解码为YUV视频源；

第七步，YUV视频源转化为RGB数据流；

第八步，接收的为平面视频源，发送关闭光栅信号，光栅关闭，进行平面视频播放；接收的为立体视频源，发送开启光栅信号，光栅打开，进行立体视频播放。

作为优选实施方式，第二步中，对现有的多视点立体视频进行子像素重新排列的方法如下：

1)设手机相邻光栅单元下可容纳的子像素个数为n，根据公式

和y₁*3＝HEIGHT确定手机显示所需的单视点视频源的水平分辨率x₁和垂直分辨率y₁，式中，WIDTH代表自由立体显示屏幕的宽，HEIGHT代表自由立体显示屏幕的高；

2)设K为x₀、y₀到x₁、y₁的映射系数，K满足公式

对于原始的视频源分辨率水平分辨率x₀和垂直分辨率y₀，在竖直方向将x₀左右边缘剪切掉变为

分辨率，在水平方向将y₀上下方向剪切变为

分辨率，然后通过在水平和垂直方向上同时拉伸或压缩为原来的K倍使单视点视频源的分辨率变换为x₁，y₁；

3)从每行的起始位置开始，以每n个子像素为一个基本的排列单元，将每个视点相应的子像素排列到同一个合成图像中；

4)在各视点子像素排列合成时，超出手机分辨率的部分不再进行排列合成，使得处理后的显示分辨率达到全屏显示的要求。

第五步中，传输方法如下：对于立体H.264视频源，首先进行数据封装，加一层包头文件，实现立体视频传输的多路数据复用与同步；对平面和立体的H.264视频源传输时，参考帧的片，序列参数集，图像参数集这些重要的数据单位为高优先级的数据单元，采用TCP协议的同时进行基于SSL的加密连接，其余的数据单元为一般优先级的数据单元，采用UDP传输协议。

与基于平面显示的业务不同，基于立体显示的业务能给观众带来更大的冲击感和震撼感，有更强的表现力，但也需要更大的传输带宽。新一代无线移动网络在传输速率和带宽方面的优势，为在其终端上传输基于立体显示的宽带业务提供了可能性。因此将自由立体成像技术用于移动通信终端，能为新一代宽带移动通信网络的用户提供全新的视觉体验，同时还能大大地拓展新一代宽带移动通信网络上的应用，不但能实现客观世界逼真的再现，还能衍生出众多的与之相关的增值业务。

附图说明

图1基于光栅的多视点立体手机视频处理系统网络拓扑图。

图2基于光栅的多视点立体手机视频处理流程。

图3基于光栅的多视点立体手机视频处理系统服务器架构图。

图4服务器网络连接流程图。

图5手机客户端视频播放器软件流程图。

具体实施方式

基于光栅手机的多视点立体视频处理系统网络拓扑图如图1所示。该系统中的视频处理流程如图2所示。该系统中主要有服务器和客户端组成，服务器端实现多视点立体手机视频像素排列、H.264视频编解码、网络传输等功能，服务器架构图如图3所示，服务器端网络传输流程图如图4所示。客户端流程图如图5所示。

1、视频源准备

手机客户端首先向服务器端发送认证请求，而服务器端向TNC认证服务器发送access-request，TNC认证服务器向服务器返回access-response:access-accept或者access-reject。服务器跟TNC server的认证结果返回给客户端。如果认证通过，客户端下载唯一标识客户端的全局唯一的Terminal ID，同时向服务器发送手机屏幕分辨率、手机相邻光栅单元下可容纳的视点数、获取平面视频或立体视频信息，服务器根据客户端发送的信息准备好平面视频源或者立体视频源。

2、基于光栅的多视立体手机视频像素排列方法

平面视频源对图像进行拉伸或压缩转化为手机屏幕分辨率大小的视频源。立体视频源按照以下方式进行像素排列。在服务器端进行立体视频像素排列，可以大大缩短手机客户端的视频处理时间，提高手机客户端的视频播放速率。

1)设相邻光栅单元下可容纳的子像素个数为n，根据公式(1)和(2)确定手机显示所需的单视点视频源的水平分辨率x₁和垂直分辨率y₁，式中，WIDTH代表自由立体显示屏幕的宽，HEIGHT代表自由立体显示屏幕的高；

$x_1*\frac{n}{3}=\mathrm{WIDTH}---\left(1\right)$

y₁*3＝HEIGHT    (2)

2)设K为x₀、y₀到x₁、y₁的映射系数，K满足公式(3)，对于原始的视频源分辨率水平分辨率x₀和垂直分辨率y₀，在竖直方向将x₀左右边缘剪切掉变为

分辨率，在水平方向将y₀上下方向剪切变为

分辨率，使单视点视频源的分辨率变换为x₁，y₁，变换方法如下：

$K=\max [\frac{x_1}{x_0},\frac{y_1}{y_0}]---\left(3\right)$

A)若K＝1，则无需变化；

B)若K＞1，则对

的视频源在水平和垂直方向上每相邻两个像素间平均插值或者复制出(K-1)个像素；

C)若K＜1，则对

的视频源在水平和垂直方向上每

个像素丢掉中间的

个像素。

3)从每行的起始位置开始，以每n个子像素为一个基本的排列单元，将每个视点相应的子像素排列到同一个合成图像中。

4)对合成排列后的立体图像进行非整分辨率处理：在各视点子像素排列合成时，超出手机分辨率的部分不再进行排列合成，使得处理后的显示分辨率达到全屏显示的要求。

3、H.264视频编码

将处理后的平面视频或立体视频转化为YUV格式的视频，然后采用H.264JMVC模型进行视频的编解码，JMVC为多视点立体视频编码模型，同时支持平面视频编码。

1)根据手机平台显示需求确定平面视频或者立体视频的视点数，其中平面视频视点数为1，立体视频视点数等于光栅单元下可容纳的子像素个数n。

2)对立体视频的n个视频源按照0-2-1-4-3-6-5-7...的视点顺序分别进行H.264JMVC编码。然后将编码后的n个264视频合成为一个264视频。

3)平面视频源仅进行单视点的编码。

3、网络传输

1)对编码后的H.264立体视频首先进行数据封装，在普通H.264数据包的基础上外加一层包头文件。其包头格式如表1所示。

表1基于H.264的立体视频传输的包头格式

A)Byte 0：此字节用于描述该协议方法的版本。当前为第一个版本，所以设置为0x10：1.0；

B)Byte 1：这一个字节用来描述封装包采用的是哪一个传输通道。传输通道0为管理通道，用来实现服务器对客户端的接入管理与控制，服务器与客户端的交互信息使用此通道；1～9通道为视点通道，用于传输各个视点自己的视频序列；

C)Bytes 2-5：这四个字节用于描述整个封装包的字节数，包扩8个字节的头信息。在接收端可以根据这里所提供的字节数，从缓存中提取相应大小的数据，从而保证数据完整性；

D)Bytes 6-7：数据源标识。此处定义包的序号，与通道号配合可以确定NAL的等级，从而确定当前封装的包要采用的连接类型。当通道号为0时，这两个字节用来表示控制信息的类型；当通道号为1-9，也就是在传输视频NAL单元时，此处的序号从0-65536进行循环，这样在接收端，可以根据此处的序号，对视频NAL单元进行排序，保证接收文件的正确性。此标识与通道号一起来实现对多视点立体视频多路数据复用与同步。

E)Bytes 8及之后：实际载荷。对于传输通道0，负载部分为相应的交互信息；对于通道1-7，负载部分为一个完整的NAL单元的数据，也是说一个NAL单元被封装成一个数据包。

2)对平面H.264视频和数据封装后的立体H.264视频采用不同优先级的数据单元做不同类型的传输。

A)H.264NAL中的参考帧的片，序列参数集，图像参数集这些重要的数据单位为高优先级的数据单元，实现高可靠性的传输，采用TCP协议的同时进行基于SSL的加密连接。一旦鉴权完成，SSL连接能防止MITM的攻击。

B)其余的H.264NAL的数据单元为一般优先级的数据单元，采用一般的UDP传输协议，同时来保证其传输的实时性。在传输时要必须保证一些优先级高的相关数据，如序列参数集、图像参数集要在一般的片数据之前到达接收端。

3、手机平台上平面与立体视频兼容显示

立体成像要求显示屏能实现精确显示，不仅要实现全像素点对点显示，还要求子像素也实现点对点显示，这就需要在手机终端上开发特殊的驱动程序，同时也对手机的计算资源、控制资源提出了更高的要求。另外由于手机屏幕横向窄，竖向长，一部分手机的光栅按照横屏时进行贴的，这就需要针对手机光栅方向调整为横屏播放。

手机上视频播放主要有两种方式：DirectDraw和windows GDI系列函数。由于DirectDraw通常用于游戏开发，帧率要求高，适合于视频播放；而windows GDI通常用于画面的显示，对速度要求不高的场合使用，不适合视频播放。

手机客户端对接收到的H.264视频源首先解码为YUV数据流，然后通过ConvertYUV2RGB函数转化为RGB数据流。然后对RGB数据流采用DirectDraw方式播放。接收的为平面视频源，发送关闭光栅信号，光栅关闭，进行平面视频播放；接收的为立体视频源，发送开启光栅信号，光栅打开，按以下方式进行立体视频播放。

A)手机竖屏贴光栅：这种情况下的手机是竖屏写内存方式，DirectDraw系列函数在进行绘图时先创建一个绘图区域，创建主平面。首先获得主平面内存首地址，在内存上直接写入图像数据，rgb数据经888转565，变为16位数据显示，最后主平面显示。

B)手机横屏贴光栅：这种情况下的手机是横屏写内存方式，DirectDraw系列函数在进行绘图时先创建一个绘图区域，创建主平面和翻转平面。首先获得翻转平面内存首地址，在内存上直接写入图像数据，rgb数据经888转565，变为16位数据显示，最后翻转到主平面显示。

Claims (3)

1.一种基于光栅的多视点立体手机视频处理方法，其特征在于，包括下列步骤：

第一步，手机客户端向服务器发送认证请求进行终端激活，服务器经过认证后，将认证结果返回给客户端，如果认证成功，手机客户端向服务器发送手机屏幕分辨率、手机相邻光栅单元下可容纳的子像素个数、获取平面视频或立体视频信息，服务器准备好相应的平面视频源或多视点立体视频源。

第二步，对于平面视频，将现有的平面视频源分辨率变换为手机显示屏幕的分辨率。对于立体视频，根据手机客户端发送的手机屏幕分辨率和手机相邻光栅单元下可容纳的子像素个数的信息，将现有的多视点立体视频进行子像素重新排列；

第三步，将平面视频或排列后的多视点立体视频转换为YUV格式的视频源；

第四步，对平面YUV视频源或立体YUV视频源进行H.264视频编码；

第五步，对编码后的H.264视频源进行传输；

第六步，手机客户端接收到H.264视频源，进行H.264解码，解码为YUV视频源；

第七步，YUV视频源转化为RGB数据流；

第八步，接收的为平面视频源，发送关闭光栅信号，光栅关闭，进行平面视频播放；接收的为立体视频源，发送开启光栅信号，光栅打开，进行立体视频播放。

2.根据权利要求1所述的基于光栅的多视点立体手机视频处理方法，其特征在于，第二步中，对现有的多视点立体视频进行子像素重新排列的方法如下：

1)设手机相邻光栅单元下可容纳的子像素个数为n，根据公式

和y₁*3＝HEIGHT确定手机显示所需的单视点视频源的水平分辨率x₁和垂直分辨率y₁，式中，WIDTH代表自由立体显示屏幕的宽，HEIGHT代表自由立体显示屏幕的高；

2)设K为x₀、y₀到x₁、y₁的映射系数，K满足公式对于原始的视频源分辨率水平分辨率x₀和垂直分辨率y₀，在竖直方向将x₀左右边缘剪切掉变为分辨率，在水平方向将y₀上下方向剪切变为分辨率，然后通过在水平和垂直方向上同时拉伸或压缩为原来的K倍使单视点视频源的分辨率变换为x₁，y₁；

3)从每行的起始位置开始，以每n个子像素为一个基本的排列单元，将每个视点相应的子像素排列到同一个合成图像中；

4)在各视点子像素排列合成时，超出手机分辨率的部分不再进行排列合成，使得处理后的显示分辨率达到全屏显示的要求。

3.根据权利要求1所述的基于光栅的多视点立体手机视频处理方法，其特征在于，第五步中，传输方法如下：对于立体H.264视频源，首先进行数据封装，加一层包头文件，实现立体视频传输的多路数据复用与同步；对平面和立体的H.264视频源传输时，参考帧的片，序列参数集，图像参数集这些重要的数据单位为高优先级的数据单元，采用TCP协议的同时进行基于SSL的加密连接，其余的数据单元为一般优先级的数据单元，采用UDP传输协议。

Images