CN101540652A - 多视角视频码流的终端异构自匹配传输方法 - Google Patents

Abstract

一种图像通信领域的多视角视频码流的终端异构自匹配传输的方法，本发明包括以下步骤：第一步，设置流标签，即在IP层封装已经分离的多视角实时传输流的同时，启用流标签功能，将视角编号写入IPv6协议流标签(Flow label)；第二步，自匹配转发，即转发路由器接受终端请求，然后解析IPv6协议流标签(Flow label)获得视角信息，根据终端类型选择性转发数据包。本发明可以轻松的实现选择性转发，特别是针对向下兼容性问题时，具有部署成本低廉，适应性强的优点。同时本发明也完整地实现了终端异构自匹配传输，改善了多视角码流向下兼容时产生的巨大带宽浪费情况，做到按需发送，减少无意义的带宽占用。

Description

多视角视频码流的终端异构自匹配传输方法

技术领域

本发明涉及的是一种图像通信技术领域的自匹配传输方法，具体是一种多视角视频码流的终端异构自匹配传输的方法。

背景技术

网络立体电视系统除涉及到立体电视相关的节目制作、立体电视视频格式、立体视频压缩编码及码流的系统复用、立体电视视频码流的解码、立体电视显示、多视角码流同步等多个环节外，为了更好的适应复杂的网络带宽状况以及终端显示设备的多样性，还需要特别考虑到终端异构自匹配问题。

基于向下兼容性的考虑，即多视角立体视频不仅要能满足自由视立体显示终端的要求，同时也要满足戴眼镜的双视立体显示终端或传统平面电视终端的要求，同时考虑接入网络传输带宽的利用效率，多视角立体视频码流传输时必须做到传输带宽与各类异构终端的自匹配，即要求各个视角编码后的视频码流能够分离独立传输，终端可以选择性地接收单个视角、其中两个视角或者全部视角的视频码流。

在解决终端异构自匹配问题时，传统的多视角立体视频传输方法通过将不同视角码流分割到不同的实时传输流的方式来分离视角码流，根据终端特性选择性地传输部分视角或者全部视角实时传输流。这类方法的缺陷在于只能在实时传输流所依赖的UDP(User Datagram Protocol用户数据报协议)层即网络协议第四层或者以上才能区分码流视角信息，而常见的路由设备只能解析到网络协议第三层或以下。一种解决方法是升级为可以解析四层协议的路由设备，这种方法的优点在于可以通过路由设备选择性转发，降低网络带宽占用量，但缺点在于现有的只支持到三层协议的路由设备需要全部替换，成本高昂；另一种方法就是不通过路由设备的转发功能实现视角码流区分，而是不区分终端异构特性，将所有视角码流全部发送到每一个终端，由接收终端解析四层网络协议获得码流的视角信息，保留需要的码流，丢弃冗余的码流，这种做法的优点在于可以兼容现有网络路由设备，成本较低，但由于放弃了路由设备的作用，所有终端都接收到了全部视角的码流，这就对网络带宽造成了巨大浪费。

经对现有技术文献资料的检索发现，Jongryool Kim和JongWon Kim于2008年5月在IEEE Transactions on Consumer Electronics(IEEE消费电子学报)(vol.54，No.2)上发表的“Real-Time Synchronous Multi-View VideoTransport System”(实时多视角视频传输系统同步方法)一文，针对多视传输方案进行了探讨，该方案只能在四层协议以上才能区分视角，而一般的路由交换设备只能解析到三层协议，这对整个传输路径中的路由设备提高了要求。另外A.Aksay，S.Pehlivan，E.Kurutepe，C.Bilen，T.Ozcelebi，G.B.Akar，M.R.Civanlar，and A.M.Tekalp，于2007年2月在Signal Processing：ImageCommunication发表的“End-to-end stereoscopic video streaming withcontent-adaptive rate and format control”(具有内容自适应码率控制机制的端对端立体视频传输)一文提出将不同视角码流通过独立的实时传输流协议传输，结合SDP(Session Description Protocol会话描述协议)协议，由接收端自适应码流视角信息，选择性丢弃部分视角码流数据，保留与终端匹配的码流数据并解码播放。该方案中所有终端都接收到了全部视角的码流，对于不需要所有视角码流的终端的网络带宽造成了巨大浪费。

发明内容

本发明的目的在于克服现有技术的不足，提供一种多视角视频码流的终端异构自匹配传输方法。本发明在MVC(Multi-View-Coding多视视频编码)多视角码流分离编码的基础上，结合成熟的实时传输流协议，利用IPv6适合流媒体传输的特性为每个视点码流建立独立的传输信道，能够在网络协议第三层就实现视角区分，通过转发路由器自适应终端异构选择性转发多视角码流，达到终端异构自匹配并明显节约网络带宽的目的。

本发明是通过以下技术方案实现的，本发明包括以下步骤：

第一步：设置流标签，即在IP层封装已经分离的多视角实时传输流的同时，启用流标签功能，将视角编号写入IPv6协议流标签(Flow Label)；

第二步：自匹配转发，即转发路由器接受终端请求，然后解析IPv6协议流标签(Flow Label)获得视角信息，根据终端类型选择性转发数据包；

第三步，客户接收机接收与自己匹配的实时传输流数据，并解析出负载视频流供解码器解码。

第一步所述已经分离的多视角实时传输流是指将多视角视频码流已经通过某种策略封装到不同的实时传输流，并能够在网络协议第四层区分视角信息。所述IPv6协议的流标签指IPv6协议头部20字节的Flow Label字段，设置socket，启用流标签功能，设定流标签的特定字段用于写入视角信息，流标签其他剩余字段还可以用于其他控制功能。通过第二步的设计策略，在网络协议第三层即IP层就能够区分视角。

第二步所述的转发路由器同时具备接受终端请求和自匹配转发的功能。转发路由器一方面能够获得不同终端的接受类型，即自由视终端接受所有视角码流、双目终端接受主视角码流和一个辅视角码流、普通平面视终端只接收主视角码流。另一方面转发路由器解析IPv6协议的流标签字段获得IP数据包所述视角信息后选择将该数据包转发到哪些终端，从而实现自匹配传输。

与现有技术相比，本发明具有以下有益的效果：本发明将IPv6协议适应流媒体传输的特性与多视角视频传输结合起来，通过设计一套视角区分策略将多视角码流的视角信息写入IPv6头部的流标签字段，常见的支持IPv6的路由器都可以通过解析三层协议区分来自不同视角的码流数据包，可以轻松的实现选择性转发，特别是针对向下兼容性问题时，该方案具有部署成本低廉，适应性强的优点。同时该方法也完整的实现了终端异构自匹配传输，大大改善了多视角码流向下兼容时产生的巨大带宽浪费情况，真正做到按需发送，减少无意义的带宽占用。

附图说明

图1是本发明实施流程图；

图2是本发明的流标签扩展定义示意图。

其中，(a)是RFC 2460中定义的IPv6头格式示意图；(b)是IPv6流标签扩展定义示意图。

图3是本发明转发路由器功能示意图。

具体实现方式

下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，本实施例包括以下步骤：

第一步，设置流标签，即码流发送端首先获得已经分离的多视角实时传输流(RTP流)，即包括主视角、视角2(某一个辅视角)和其他视角在内的实时传输流，解析实时传输流头部标记获得码流视角编号(VIEW_ID)，视角编号(VIEW_ID)最多为20比特数，本实施例将视角编号设置为4比特，可以标记16个不同视角。然后在IP层封装实时传输流的同时将视角编号(VIEW_ID)写入IPv6协议头部流标签(Flow Label)字段，IPv6流标签扩展定义如图2(b)所示。

第二步，自匹配转发，即转发路由器解析IPv6数据包的流标签(Flow Label)字段获得视角信息，再根据终端类型选择将数据包转发到哪些终端，即向立体视用户转发多视TS流，向双目视用户转发双目TS流，向单视用户只转发主视TS流。

第三步，客户端接收机接收与自己匹配的实时传输流数据，并解析出负载视频码流供解码器解码。

如图2(a)所示，本实施例为区别不同视角视频码流，利用了IPv6数据包的流标签(Flow Label)字段，将视角编号(VIEW_ID)标记在该字段，以便在IP层就能够区分视角。IPv6数据包头部字段定义在RFC2460中。

Version版本：长度为4位，对于IPv6，该字段必须为6。

Traffic Class类别：长度为8位，指明为该包提供了某种“区分服务”。

Flow Label流标签：长度为20位，用于标识属于同一业务流的包。一个节点可以同时作为多个业务流的发送源。流标签和源节点地址唯一标识了一个业务流。

Payload Length净荷长度：长度为16位，其中包括包净荷的字节长度，即IPv6头后的包中包含的字节数。

Next Header下一个头：这个字段指出了IPv6头后所跟的头字段中的协议类型。

Hop Limit跳极限：长度为8位。每当一个节点对包进行一次转发之后，这个字段就会被减1。如果该字段达到0，这个包就将被丢弃。

Source Address源地址：长度为128位，指出了IPv6包的发送方地址。

Destination Address目的地址：长度为128位，指出了IPv6包的接收方地址。这个地址可以是一个单播、组播或任意点播地址。

如图2(b)所示，本实施例开辟20位流标签的低4位用于写入负载视角编号(VIEW_ID)。其余高16位是多视角字段定义标识，定义为某一固定值(如0X0000)，用于标识该IPv6包是多视角视频流数据包。此外也可以利用高16位中的一部分作为节目编号以支持多节目服务。

如图3所示，本实施例的转发路由器的工作过程如下：首先，由终端向转发路由器发出请求指令，其中包括终端类型以确定转发策略，即立体视用户接受所有视角码流、双目视用户接受主视角码流和一个辅视角码流、单视用户只接收主视角码流；然后，转发路由器解析接收到的每个IPv6数据包的流标签字段获得视角编号(VIEW_ID)；最后，根据获得的请求信息自匹配转发数据包到需要该数据包的用户终端，从而实现自匹配传输。

Claims (4)

1、一种多视角视频码流的终端异构自匹配传输方法，其特征在于，包括以下步骤：

第一步：设置流标签，即在IP层封装已经分离的多视角实时传输流的同时，启用流标签功能，将视角编号写入IPv6协议流标签；

第二步：自匹配转发，即转发路由器接受终端请求，然后解析IPv6协议流标签获得视角信息，根据终端类型选择性转发数据包；

第三步，客户接收机接收与自己匹配的实时传输流数据，并解析出负载视频流供解码器解码。

2、根据权利要求1所述的多视角视频码流的终端异构自匹配传输方法，其特征是，第一步所述的启用流标签功能，是指：设定流标签的特定字段用于写入视角信息。

3、根据权利要求1所述的多视角视频码流的终端异构自匹配传输方法，其特征是，第二步所述的接受终端请求，是指：转发路由器获取不同终端的接受类型，即自由视终端接受所有视角码流、双目终端接受主视角码流和一个辅视角码流、普通平面视终端只接收主视角码流。

4、根据权利要求1所述的多视角视频码流的终端异构自匹配传输方法，其特征是，第二步所述的选择性转发数据包，是指：转发路由器根据数据包中视角信息选择将该数据包转发到哪些终端。

Images