CN103024597A - 多视点视频流多速率组播传输的最优速率分配方法 - Google Patents

多视点视频流多速率组播传输的最优速率分配方法 Download PDF

Info

Publication number
CN103024597A
CN103024597A CN2012105711231A CN201210571123A CN103024597A CN 103024597 A CN103024597 A CN 103024597A CN 2012105711231 A CN2012105711231 A CN 2012105711231A CN 201210571123 A CN201210571123 A CN 201210571123A CN 103024597 A CN103024597 A CN 103024597A
Authority
CN
China
Prior art keywords
viewpoint
frame
transmission priority
transmission
expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012105711231A
Other languages
English (en)
Other versions
CN103024597B (zh
Inventor
邹君妮
石征
陈琳
谭冲
杨阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201210571123.1A priority Critical patent/CN103024597B/zh
Publication of CN103024597A publication Critical patent/CN103024597A/zh
Application granted granted Critical
Publication of CN103024597B publication Critical patent/CN103024597B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提出了一种多视点视频流多速率组播传输的最优速率分配方法，其构思是：将多视点视频流传输中多速率多径路由、中继节点的网络流量控制进行了联合优化，并且在选择最佳组播传输路径和分配各视点视频流传输速率时，兼顾了视点和帧的传输顺序问题，一方面，为每个视频流寻求合适的传输网络使所有需要该视点的用户节点的失真最小化；另一方面，同时满足用户对视点的请求度和帧之间解码依赖性的需求。此外，本发明还采用拉格朗日对偶方法对原始凸优化问题进行分解并求解，既实现了资源的最优分配，又便于分布式求解。该方法能有效地利用网络的带宽资源，实现异构网络环境中所有用户整体失真最小化，为用户端提供更佳的视频质量。

Description

多视点视频流多速率组播传输的最优速率分配方法
技术领域
本发明涉及一种多视点视频流多速率组播传输的最优速率分配方法，包括分发网络的构建、用户端视点的选择、视点和帧传输优先级的计算、链路速率的分配、多路径路由以及分布式算法设计等内容。为了实现异构网络环境中用户整体失真的最小化，结合多速率多径路由和网络流量控制，在分配流量不足时选择性传输视点和视点内的帧，为每个视点寻求合适的分发网络和传输流量。
技术背景
随着技术的发展和用户对视频质量要求的提高，多视点视频组播迅速发展。由于多视点视频的数据量比传统视频大许多，如何高效编码和传输是多视点视频广泛应用的关键。交互式多视点视频组播传输是根据用户的需求传输相应的视点，可以减少传输的数据量并且满足用户对视频质量的要求。这种传输系统具有传输视点数可伸缩的特点，可以根据用户的视点需求和用户可用的网络流量来确定传输的视点数。
交互式多视点视频组播传输对视频编码方式有不同的要求，多视点视频编码不仅要实现高效压缩，而且需要满足视点随机接入。若采用传统的编码技术对每一个视点进行单独编码（simulcast encoding）,虽然满足各视点随机接入，保证传输过程中的各视点任意切换，但没有消除各视点之间的冗余，编码效率不够高。多视点视频编码技术MVC（multi-view video coding）可以充分提取各视点之间的冗余，但是增加了各视点之间的解码依赖关系，无法实现视点的随机接入。采用KS-IPP预测结构的多视点视频编码技术只在视点的关键帧之间提取冗余，而每个视点的内部采用传统的编码方式，即可以提供较高的压缩效率，也可以满足视点的随机接入，保证交互式多视点视频组播传输过程中的视点任意切换。
组播技术因其能适应不同用户的需求以及时变的网络环境，成为了异构网络中视频内容分发的重要技术之一。交互式多视点视频组播传输可以根据用户的视点需求和用户可用的网络流量来灵活选择传输的视点数，这种灵活的传输方式在视频的重建质量上提供了多个接入点。在以多速率组播的方式传输多视点视频流时，由不同的IP组播组传递各个视点，每个接收节点按其不同的视点需求以及不同的链路容量加入一定数量的组播组，从而使不同的用户节点根据自身的需求和网络状况实现不同的视频质量。
现在的网络流量控制方案，往往基于架构确定的树状或网状分发网络，并且通过源点驱动进行拥塞控制，不适用于动态变化的异构网络结构。本发明对传输网络资源优化分配进行了研究，充分考虑用户对不同视点的需求程度，合理分配网络资源使网络环境中用户整体失真最小化，其中每个接收点均有多条路径可供选择。
现有的网络性能优化方案主要集中于端到端的网络资源分配，通过合理分配网络资源实现性能优化，但是这些方案主要关注整个网络吞吐量最大化或者接收的视点数量最大化，没有考虑在分配的资源不足以传输整个视点信息时如何进行选择性传输。本发明提出了一种视点和帧的传输优先级计算方法，在分配的网络资源不足时可以对视点和视点内的帧进行选择性传输。这种按照视点和帧的传输优先级来进行选择性传输的方式，有利于减小视频失真提高传输的质量。
发明内容
本发明的目的在于提供一种多视点视频流多速率组播传输的最优速率分配方法，同时在传输过程中考虑视点和帧的传输优先级，实现异构网络环境下的所有用户整体失真最小化，该传输方法能有效地利用了网络的带宽资源，为用户端提供了更佳的视频质量。
为达到上述目的，本发明的构思是：将多视点视频流传输中多速率多径路由、中继节点的网络流量控制进行了联合优化，并且在选择最佳组播传输路径和分配各视点视频流传输速率时，兼顾了视点和帧的传输顺序问题，一方面，为每个视频流寻求合适的传输网络使所有需要该视点的用户节点的失真最小化；另一方面，同时满足用户对视点的请求度和帧之间解码依赖性的需求，此外，本发明还采用拉格朗日对偶方法对原始凸优化问题进行分解并求解，既实现了资源的最优分配，又便于分布式求解。
一种多视点视频流多速率组播传输的最优速率分配方法，其特征在于根据上述发明构思，采用下述步骤实现异构网络环境中所有用户整体失真最小化，其步骤如下：
第一，将多视点视频流传输中的多速率多径路由、中继节点的网络流量控制进行联合优化；
第二，在选择最佳组播传输路径和分配各视点视频流传输速率时，兼顾视点和帧的传输优先级顺序，不仅为每个视频流寻求传输网络使所有需要该视点的用户节点的失真最小化，而且满足网络环境中所有用户对视点的请求度和帧之间解码依赖性的需求；
第三，采用分布式的速率分配算法，即采用拉格朗日对偶方法对原始凸优化问题进行分解和求解，既实现了资源的最优分配，又便于分布式求解；
上述第一步骤中的联合优化是：网络中每个接收节点在接收需要的视频流时，同时选用多条路由路径，基于这些路径，合理分配网络资源给各个视点，进一步提高网络的吞吐量；
上述第二步骤中的兼顾视点和帧的传输优先级顺序是：确定视点和帧的传输优先级计算方法，在选择路由和进行网络流量分配时，传输优先级较高的视点分配的网络流量较多，每个视点分配的网络流量首先用于传输优先级比较高的帧；
上述第三步骤中的分布式的速率分配算法是：利用拉格朗日对偶方法，对原始凸优化问题进行分解和求解，允许每个网络节点和每条链路利用本地局部信息进行速率的动态调整和更新，以分布式方式实现链路传输速率的全局最优化分配；以网络中所有用户整体失真最小化为目标函数，以链路容量限制、视点编码速率限制等为约束函数，建立多视点视频流多速率组播传输的资源分配凸优化数学模型，具体方法如下：
1．网络模型的建立
将网络抽象为有向图                                                
Figure 2012105711231100002DEST_PATH_IMAGE001
，其中
Figure 516628DEST_PATH_IMAGE002
是节点的集合，分为源节点集合、中间节点集合
Figure 997551DEST_PATH_IMAGE004
和接收节点集合
Figure 2012105711231100002DEST_PATH_IMAGE005
，
Figure 839605DEST_PATH_IMAGE006
是节点之间链路的集合；对于每条链路
Figure 2012105711231100002DEST_PATH_IMAGE007
对应有限的传输带宽
Figure 297131DEST_PATH_IMAGE008
；假定一个多视点视频包含
Figure 2012105711231100002DEST_PATH_IMAGE009
个视点
Figure 173820DEST_PATH_IMAGE010
，每一个视点的编码速率为
Figure 2012105711231100002DEST_PATH_IMAGE011
；假设从源节点到每个接收节点
Figure 557135DEST_PATH_IMAGE012
均有多条传输路径
Figure 2012105711231100002DEST_PATH_IMAGE013
，
Figure 886485DEST_PATH_IMAGE014
表示接收节点
Figure 2012105711231100002DEST_PATH_IMAGE015
在接收第
Figure 85385DEST_PATH_IMAGE016
个视点数据时，第条路径上分配的网络流量大小；矩阵
Figure 816580DEST_PATH_IMAGE018
表示链路和接收节点
Figure 872261DEST_PATH_IMAGE012
的传输路径之间的关系，其中
Figure DEST_PATH_IMAGE019
的元素
Figure 626591DEST_PATH_IMAGE020
表示链路包含于接收节点的第
Figure 880614DEST_PATH_IMAGE017
条传输路径中，
Figure DEST_PATH_IMAGE023
表示链路
Figure 184556DEST_PATH_IMAGE022
没有包含在接收节点的第
Figure 165467DEST_PATH_IMAGE017
条传输路径中；
2. 视点和帧的传输优先级的计算
在用户端，显示设备周期性检测用户的位置，假定用户端
Figure 500634DEST_PATH_IMAGE015
和视点的视角夹角为
Figure 370687DEST_PATH_IMAGE024
，用户端
Figure 429516DEST_PATH_IMAGE015
对视点
Figure 201163DEST_PATH_IMAGE016
的需求度为
Figure DEST_PATH_IMAGE025
，其计算方式为：
Figure 214119DEST_PATH_IMAGE026
，设置用户端视点的选择阈值为
Figure DEST_PATH_IMAGE027
，若视点的需求度大于视点选择阈值
Figure DEST_PATH_IMAGE029
，则用户端
Figure 573742DEST_PATH_IMAGE030
选择该视点，并向存储多视点视频数据的服务器发送该视点请求，否则用户端
Figure 516290DEST_PATH_IMAGE015
不选择该视点，不向服务器发送该视点请求，服务器收集所有用户的视点请求信息，并以此计算每个视点的传输优先级，即传输网络中所有用户对视点
Figure DEST_PATH_IMAGE031
的需求度之和作为视点
Figure 518006DEST_PATH_IMAGE016
的传输优先级
Figure 940DEST_PATH_IMAGE032
，其表达式为：               
Figure DEST_PATH_IMAGE033
；
在多视点视频编码KS-IPP结构中，视点的编码顺序按视点的传输优先级确定，将传输优先级最高的视点作为第一个视点
Figure 473510DEST_PATH_IMAGE034
，并根据视点传输优先级从高到低的顺序依次确定其他视点在KS-IPP编码结构中的顺序，
多视点视频中帧的传输优先级由该帧所在视点的传输优先级和该帧的类型确定，多视点视频编码KS-IPP结构中包含不同类型的帧，其具体如下：
Figure DEST_PATH_IMAGE035
帧、
Figure 649276DEST_PATH_IMAGE036
帧、
Figure DEST_PATH_IMAGE037
帧、
Figure 636824DEST_PATH_IMAGE038
帧、
Figure DEST_PATH_IMAGE039
帧，每一类帧丢失均导致一部分帧不能正常解码，若
Figure 421984DEST_PATH_IMAGE040
帧或者
Figure DEST_PATH_IMAGE041
帧丢失，则
Figure 545798DEST_PATH_IMAGE040
帧或者
Figure 830148DEST_PATH_IMAGE041
帧所在的视点和该视点外解码依赖
Figure 304992DEST_PATH_IMAGE040
帧或者
Figure 332991DEST_PATH_IMAGE041
帧的其他视点均不能正常解码，若
Figure 576890DEST_PATH_IMAGE042
帧丢失，则该
Figure 766563DEST_PATH_IMAGE042
帧所在视点内除 
Figure DEST_PATH_IMAGE043
 帧均不能正常解码，若
Figure 230168DEST_PATH_IMAGE038
帧丢失，则该
Figure 858595DEST_PATH_IMAGE038
帧的相邻帧不能正常解码，
Figure 160264DEST_PATH_IMAGE044
帧丢失不影响其他帧的正常解码，因此，设视点
Figure 583155DEST_PATH_IMAGE016
中的第
Figure 970274DEST_PATH_IMAGE046
个帧丢失所引起的不能正常解码的帧集合
Figure 402392DEST_PATH_IMAGE048
，其表达式为:
 
Figure DEST_PATH_IMAGE051
上述公式中，
Figure 650895DEST_PATH_IMAGE047
表示视点中的第
Figure 495540DEST_PATH_IMAGE046
个帧，
Figure 506221DEST_PATH_IMAGE009
表示多视点视频中的视点数，
Figure 536494DEST_PATH_IMAGE052
表示每个GOP(Group of Picture)中帧的数目，集合可分为两部分：只包含视点内帧的集合
Figure 406547DEST_PATH_IMAGE054
和包含视点
Figure 835516DEST_PATH_IMAGE031
以外帧的集合
Figure DEST_PATH_IMAGE055
，
在计算帧的传输优先级时，首先视点
Figure 36691DEST_PATH_IMAGE016
中的第个帧
Figure 932151DEST_PATH_IMAGE056
的传输优先级
Figure DEST_PATH_IMAGE057
等于该帧丢失时视点
Figure 979742DEST_PATH_IMAGE031
中不能正常解码的帧的传输优先级之和，即集合
Figure 289500DEST_PATH_IMAGE058
中帧的传输优先级之和，其计算表达式表示为：
 
Figure 921077DEST_PATH_IMAGE060
式中，表示视点
Figure 36800DEST_PATH_IMAGE016
中第个帧
Figure 876580DEST_PATH_IMAGE056
的传输优先级，表示视点
Figure 711998DEST_PATH_IMAGE016
中第个帧，
Figure 631413DEST_PATH_IMAGE064
表示帧
Figure 889481DEST_PATH_IMAGE062
的传输优先级，表示帧
Figure 541042DEST_PATH_IMAGE062
的丢失导致视点
Figure 648675DEST_PATH_IMAGE016
中不能正常解码的帧的集合，
Figure 43885DEST_PATH_IMAGE052
表示每个GOP(Group of Picture)中帧的数目，
当在编码
Figure 654994DEST_PATH_IMAGE044
帧时以其他帧为参考帧，其他帧的编码均不依赖于
Figure 743036DEST_PATH_IMAGE044
帧，则在每个视点内
Figure 10069DEST_PATH_IMAGE044
帧的传输优先级是最小的，
Figure 271286DEST_PATH_IMAGE044
帧的传输优先级是计算其他帧的传输优先级的基础，在每个视点中，设所有帧的传输优先级之和等于该视点的传输优先级，其计算表达式为：
Figure DEST_PATH_IMAGE065
  
Figure 235438DEST_PATH_IMAGE060
式中，表示第
Figure 556698DEST_PATH_IMAGE016
个视点的传输优先级，
Figure 311027DEST_PATH_IMAGE062
表示视点
Figure 110356DEST_PATH_IMAGE016
中第
Figure 633741DEST_PATH_IMAGE063
个帧，表示帧
Figure 63586DEST_PATH_IMAGE062
的传输优先级，
Figure 101949DEST_PATH_IMAGE066
表示视点
Figure 642652DEST_PATH_IMAGE016
的一个GOP(Group of Picture)内所包含帧的集合，
Figure 849904DEST_PATH_IMAGE052
表示每个GOP中帧的数目，
根据以上
Figure DEST_PATH_IMAGE067
计算表达式和
Figure 247388DEST_PATH_IMAGE068
计算表达式，即可得到每个视点中各个帧的传输优先级，
在多视点视频编码KS-IPP结构中，每个视点的关键帧
Figure 976309DEST_PATH_IMAGE040
帧或者
Figure 55124DEST_PATH_IMAGE041
帧采用视点内编码和视点间编码的方式，在计算
Figure 615418DEST_PATH_IMAGE040
帧或者帧的传输优先级时还要考虑视点间编码，一个
Figure 337703DEST_PATH_IMAGE040
帧或者
Figure 282526DEST_PATH_IMAGE041
帧
Figure DEST_PATH_IMAGE069
的传输优先级可以表示为该帧丢失而不能正常解码的所有关键帧的传输优先级之和，即集合
Figure 195862DEST_PATH_IMAGE070
中关键帧的传输优先级之和：
Figure DEST_PATH_IMAGE071
 
Figure 200727DEST_PATH_IMAGE072
式中，
Figure DEST_PATH_IMAGE073
表示视点中第0个帧
Figure 183912DEST_PATH_IMAGE074
的传输优先级，
Figure DEST_PATH_IMAGE075
表示视点
Figure 220263DEST_PATH_IMAGE076
中第0个帧，
Figure DEST_PATH_IMAGE077
表示帧
Figure 130451DEST_PATH_IMAGE075
的传输优先级，
Figure 55681DEST_PATH_IMAGE078
表示帧
Figure 342306DEST_PATH_IMAGE074
的丢失导致视点
Figure 669382DEST_PATH_IMAGE016
以外的视点中不能正常解码的帧的集合，
Figure 16050DEST_PATH_IMAGE009
表示多视点视频中视点的数目，
根据视点和帧的传输优先级，若在一个用户端的可用网络流量不足以传输所有选择的视点时，则按照传输优先级从高到低的顺序传输视点；若可用网络流量不足以传输一个视点中所有的帧，则按照传输优先级从高到低的顺序传输视点内的帧，这样可以提高用户端接收的视频质量，
3．建立凸优化数学模型
目标问题P:    min 
约束条件：
1)  
Figure 428577DEST_PATH_IMAGE080
     
Figure DEST_PATH_IMAGE081
；
2)  
Figure 837603DEST_PATH_IMAGE082
        ；
3)  
Figure 19185DEST_PATH_IMAGE084
                ；
优化目标：使异构网络环境中的所有用户失真总和最小化；其中
Figure 536754DEST_PATH_IMAGE086
为视点
Figure 498894DEST_PATH_IMAGE016
对与用户
Figure 65005DEST_PATH_IMAGE015
的重要性，
Figure DEST_PATH_IMAGE087
，
约束条件： 
1)  规定每条链路上的实际网络流量消耗量小于等于该链路的传输容量；
2)  对应于各个接收节点，用于接收每个视点的网络流量小于等于该视点的编码码率；
3)  规定各个接收节点在每条路径上的网络流量必须大于等于零；
4. 对原始凸优化问题分布式求解
目标问题P1:   
Figure DEST_PATH_IMAGE089
约束条件：
         
Figure 353346DEST_PATH_IMAGE090
  
Figure DEST_PATH_IMAGE091
；
步骤1：定义拉格朗日对偶：
      
Figure DEST_PATH_IMAGE093
    其中，
Figure 865099DEST_PATH_IMAGE094
是拉格朗日乘子；
步骤2：定义拉格朗日对偶函数： 
Figure DEST_PATH_IMAGE095
；
步骤3：定义对偶问题： 
Figure 530173DEST_PATH_IMAGE096
 
Figure DEST_PATH_IMAGE097
；
步骤4：采用原始-对偶算法，同时更新原始变量和对偶变量，逐步逼近最优点，其中和
Figure DEST_PATH_IMAGE099
是正的步长值，
Figure 545720DEST_PATH_IMAGE100
表示取正值的运算：
Figure 216872DEST_PATH_IMAGE102
Figure 390365DEST_PATH_IMAGE104
在以上更新过程中，
Figure DEST_PATH_IMAGE105
可视为拥塞代价，当总需求逼近可提供的网络流量上限
Figure DEST_PATH_IMAGE107
时，
Figure 431319DEST_PATH_IMAGE108
上升；反之，
Figure 527451DEST_PATH_IMAGE108
下降，定义
Figure DEST_PATH_IMAGE109
为满足目标问题P1中约束条件
Figure 537257DEST_PATH_IMAGE110
的最优化拉格朗日乘子，
Figure DEST_PATH_IMAGE111
是第
Figure 730341DEST_PATH_IMAGE022
条链路上总的拥塞代价，所有更新过程可以分布式实现，每条链路、每个节点只需要局部信息，就可完成更新。
本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：本发明提供了一种分布式的速率分配算法，有效地利用了网络的带宽资源，提高了网络整体吞吐量，并且提出视点和帧的传输优先级计算方式，在分配的网络资源不足以传输所有请求的视点时，可以选择性的传输优先级比较高的视点，同时若分配的网络资源不足以传输视点内所有的数据时，可以按照帧的传输优先级进行选择，实现异构网络环境中用户整体失真的最小化，为用户端提供更佳的视频质量。
附图说明   
图1是本发明的方法总流程图；
图2是传输网络拓扑结构；
图3是凸优化算法模块子流程图；
图4是视点编码顺序的影响；
图5是随着视点数的增加系统占用的带宽。
具体实施方式
下面结合附图对本发明的实施例作详细说明：
多视点视频流多速率组播传输的最优速率分配方法，其特征在于采用下述步骤实现异构网络环境中所有用户失真的最小化：
Figure 869199DEST_PATH_IMAGE112
将多视点视频流传输中的多速率多径路由、中继节点的网络流量控制进行联合优化；
Figure DEST_PATH_IMAGE113
对于每一个视点在选择最佳组播传输路径和分配各视点视频流传输速率时，兼顾视点和帧的传输顺序问题，一方面，为每个视频流寻求传输网络使所有需要该视点的用户节点的失真最小化；另一方面，满足网络环境中所有用户对视点的请求度和帧之间解码依赖性的需求；
Figure 452627DEST_PATH_IMAGE114
采用分布式的速率分配算法，既实现了资源的最优分配，又便于分布式求解。
本实施例在以本发明技术方案为前提下进行试验，如图1所示，给出了详细的实施方式和具体的操作过程，主要包括传输网络拓扑结构设定、视点和帧的传输优先级的计算、建立凸优化问题模型、优化问题的分布式求解算法介绍、算法的执行过程以及性能分析。
1、网络拓扑结构的设定
本发明对图2所示的网络结构进行实例分析。图中
Figure 764659DEST_PATH_IMAGE003
、
Figure DEST_PATH_IMAGE115
和
Figure 749933DEST_PATH_IMAGE116
分别代表源节点、中间节点和接收节点。假设多视点视频流中包含三个是视点
Figure DEST_PATH_IMAGE117
，视点的分辨率均为640*480，视频的帧率为
Figure 122008DEST_PATH_IMAGE118
且,每个
Figure 192733DEST_PATH_IMAGE120
的大小为16。图中，每个接收节点均有四条可选用的路径，每条路径的有不同的传输容量。
2. 视点和帧的传输优先级的计算
在用户端，显示设备周期性检测用户的位置，假定用户端
Figure 806991DEST_PATH_IMAGE015
和视点
Figure 646771DEST_PATH_IMAGE016
的视角夹角为
Figure DEST_PATH_IMAGE121
，用户端
Figure 189748DEST_PATH_IMAGE015
对视点
Figure 482189DEST_PATH_IMAGE016
的需求度为，其计算方式为：
Figure DEST_PATH_IMAGE123
，设置用户端视点的选择阈值为
Figure 95890DEST_PATH_IMAGE027
，若视点的需求度
Figure 747451DEST_PATH_IMAGE124
大于视点选择阈值，则用户端
Figure 250294DEST_PATH_IMAGE030
选择该视点，并向存储多视点视频数据的服务器发送该视点请求，否则用户端
Figure 799087DEST_PATH_IMAGE015
不选择该视点，不向服务器发送该视点请求。服务器收集所有用户的视点请求信息，并以此计算每个视点的传输优先级，即传输网络中所有用户对视点
Figure 887129DEST_PATH_IMAGE031
的需求度之和作为视点
Figure 717944DEST_PATH_IMAGE016
的传输优先级，其表达式为：               
Figure 651265DEST_PATH_IMAGE126
;
在多视点视频编码KS-IPP结构中，视点的编码顺序按视点的传输优先级确定，将传输优先级最高的视点作为第一个视点
Figure 320143DEST_PATH_IMAGE034
，并根据视点传输优先级从高到低的顺序依次确定其他视点在KS-IPP编码结构中的顺序，
多视点视频中帧的传输优先级由该帧所在视点的传输优先级和该帧的类型确定，多视点视频编码KS-IPP结构中包含不同类型的帧，其具体如下：帧、
Figure 130153DEST_PATH_IMAGE036
帧、
Figure 132745DEST_PATH_IMAGE037
帧、
Figure 718447DEST_PATH_IMAGE038
帧、
Figure 882712DEST_PATH_IMAGE039
帧，每一类帧丢失均导致一部分帧不能正常解码，若
Figure 124337DEST_PATH_IMAGE040
帧或者
Figure 727357DEST_PATH_IMAGE041
帧丢失，则
Figure 105249DEST_PATH_IMAGE040
帧或者
Figure 705994DEST_PATH_IMAGE041
帧所在的视点和该视点外解码依赖
Figure 169337DEST_PATH_IMAGE040
帧或者
Figure 74582DEST_PATH_IMAGE041
帧的其他视点均不能正常解码，若
Figure 572560DEST_PATH_IMAGE042
帧丢失，则该
Figure 78627DEST_PATH_IMAGE042
帧所在视点内除 
Figure 357162DEST_PATH_IMAGE043
 帧均不能正常解码，若帧丢失，则该
Figure 592151DEST_PATH_IMAGE038
帧的相邻帧不能正常解码，
Figure 269120DEST_PATH_IMAGE044
帧丢失不影响其他帧的正常解码，因此，设视点
Figure 769372DEST_PATH_IMAGE016
中的第
Figure DEST_PATH_IMAGE127
个帧
Figure 455568DEST_PATH_IMAGE047
丢失所引起的不能正常解码的帧集合
Figure 724875DEST_PATH_IMAGE048
，其表达式为:
Figure 838325DEST_PATH_IMAGE128
 
Figure 763556DEST_PATH_IMAGE051
上述公式中，
Figure 987864DEST_PATH_IMAGE047
表示视点
Figure 878721DEST_PATH_IMAGE016
中的第
Figure 163072DEST_PATH_IMAGE127
个帧，
Figure 310020DEST_PATH_IMAGE009
表示多视点视频中的视点数，
Figure 400336DEST_PATH_IMAGE052
表示每个GOP(Group of Picture)中帧的数目，集合
Figure 581918DEST_PATH_IMAGE053
可分为两部分：只包含视点
Figure 37170DEST_PATH_IMAGE016
内帧的集合
Figure 936993DEST_PATH_IMAGE054
和包含视点
Figure 565421DEST_PATH_IMAGE031
以外帧的集合。
在计算帧的传输优先级时，首先视点
Figure 227663DEST_PATH_IMAGE016
中的第
Figure 411520DEST_PATH_IMAGE127
个帧
Figure 781321DEST_PATH_IMAGE056
的传输优先级
Figure 937496DEST_PATH_IMAGE057
等于该帧丢失时视点
Figure 734551DEST_PATH_IMAGE031
中不能正常解码的帧的传输优先级之和，即集合
Figure 904239DEST_PATH_IMAGE058
中帧的传输优先级之和，其计算表达式表示为：
      
Figure 812152DEST_PATH_IMAGE060
式中，
Figure 885150DEST_PATH_IMAGE061
表示视点中第
Figure 949238DEST_PATH_IMAGE127
个帧
Figure 660842DEST_PATH_IMAGE056
的传输优先级，
Figure 853926DEST_PATH_IMAGE062
表示视点
Figure 992783DEST_PATH_IMAGE016
中第
Figure 310632DEST_PATH_IMAGE063
个帧，
Figure 888244DEST_PATH_IMAGE064
表示帧
Figure 873518DEST_PATH_IMAGE062
的传输优先级，表示帧
Figure 552203DEST_PATH_IMAGE062
的丢失导致视点中不能正常解码的帧的集合，
Figure 445390DEST_PATH_IMAGE052
表示每个GOP(Group of Picture)中帧的数目，
当在编码
Figure 926050DEST_PATH_IMAGE044
帧时以其他帧为参考帧，其他帧的编码均不依赖于
Figure 546387DEST_PATH_IMAGE044
帧，则在每个视点内帧的传输优先级是最小的，
Figure 97771DEST_PATH_IMAGE044
帧的传输优先级是计算其他帧的传输优先级的基础。在每个视点中，设所有帧的传输优先级之和等于该视点的传输优先级，其计算表达式为：
Figure 811649DEST_PATH_IMAGE132
           
Figure 591386DEST_PATH_IMAGE060
式中，
Figure DEST_PATH_IMAGE133
表示第
Figure 986595DEST_PATH_IMAGE016
个视点的传输优先级，
Figure 863285DEST_PATH_IMAGE062
表示视点
Figure 685747DEST_PATH_IMAGE016
中第
Figure 952780DEST_PATH_IMAGE063
个帧，
Figure 712533DEST_PATH_IMAGE064
表示帧
Figure 381411DEST_PATH_IMAGE062
的传输优先级，
Figure 374775DEST_PATH_IMAGE066
表示视点
Figure 129104DEST_PATH_IMAGE016
的一个GOP(Group of Picture)内所包含帧的集合，
Figure 194012DEST_PATH_IMAGE052
表示每个GOP中帧的数目，
根据以上计算表达式和
Figure 881663DEST_PATH_IMAGE133
计算表达式，即可得到每个视点中各个帧的传输优先级。
在多视点视频编码KS-IPP结构中，每个视点的关键帧
Figure 185605DEST_PATH_IMAGE040
帧或者
Figure 726308DEST_PATH_IMAGE041
帧采用视点内编码和视点间编码的方式，在计算
Figure 104200DEST_PATH_IMAGE040
帧或者
Figure 704945DEST_PATH_IMAGE041
帧的传输优先级时还要考虑视点间编码，一个
Figure 230604DEST_PATH_IMAGE040
帧或者
Figure 574998DEST_PATH_IMAGE041
帧
Figure 807396DEST_PATH_IMAGE069
的传输优先级可以表示为该帧丢失而不能正常解码的所有关键帧的传输优先级之和，即集合
Figure 142825DEST_PATH_IMAGE055
中关键帧的传输优先级之和：
             
Figure 975969DEST_PATH_IMAGE072
式中，
Figure DEST_PATH_IMAGE135
表示视点
Figure 390770DEST_PATH_IMAGE016
中第0个帧
Figure 333318DEST_PATH_IMAGE074
的传输优先级，表示视点
Figure 519766DEST_PATH_IMAGE076
中第0个帧，表示帧
Figure 840206DEST_PATH_IMAGE075
的传输优先级，表示帧
Figure 827753DEST_PATH_IMAGE074
的丢失导致视点
Figure 52061DEST_PATH_IMAGE016
以外的视点中不能正常解码的帧的集合，
Figure 379137DEST_PATH_IMAGE009
表示多视点视频中视点的数目，
根据视点和帧的传输优先级，若在一个用户端的可用网络流量不足以传输所有选择的视点时，则按照传输优先级从高到低的顺序传输视点；若可用网络流量不足以传输一个视点中所有的帧，则按照传输优先级从高到低的顺序传输视点内的帧，这样可以提高用户端接收的视频质量，
3、建立基于以上网络的凸优化计算方法
将网络抽象为有向图
Figure 958761DEST_PATH_IMAGE138
，其中是节点的集合，分为源节点集合、中间节点集合
Figure 643186DEST_PATH_IMAGE004
和接收节点集合
Figure DEST_PATH_IMAGE139
，
Figure 98438DEST_PATH_IMAGE006
是节点之间链路的集合；对于每条链路
Figure 732682DEST_PATH_IMAGE007
均对应有限的传输带宽
Figure 361109DEST_PATH_IMAGE140
；假定一个多视点视频包含
Figure 662778DEST_PATH_IMAGE009
个视点
Figure DEST_PATH_IMAGE141
，每一个视点的编码速率为；假设从源节点到每个接收节点
Figure 472788DEST_PATH_IMAGE012
均有多条传输路径
Figure 842589DEST_PATH_IMAGE013
，
Figure DEST_PATH_IMAGE143
表示接收节点
Figure 562546DEST_PATH_IMAGE015
在接收第
Figure 359600DEST_PATH_IMAGE016
个视点数据时，第条路径上分配的网络流量大小；矩阵
Figure 938666DEST_PATH_IMAGE019
表示链路和接收节点
Figure 949348DEST_PATH_IMAGE012
的传输路径之间的关系，其中
Figure 917304DEST_PATH_IMAGE019
的元素
Figure 13436DEST_PATH_IMAGE144
表示链路
Figure DEST_PATH_IMAGE145
包含于接收节点
Figure 787357DEST_PATH_IMAGE012
的第
Figure 652544DEST_PATH_IMAGE017
条传输路径中，
Figure 791402DEST_PATH_IMAGE146
表示链路
Figure 437147DEST_PATH_IMAGE145
没有包含在接收节点
Figure 952442DEST_PATH_IMAGE012
的第
Figure 672136DEST_PATH_IMAGE017
条传输路径中；原始凸优化问题可利用分布式求解的方法进行求解：
目标问题P:    min 
Figure DEST_PATH_IMAGE147
约束条件：
1)       
Figure 613471DEST_PATH_IMAGE081
；
2)          
Figure 568974DEST_PATH_IMAGE083
；
3)  
Figure 49634DEST_PATH_IMAGE148
                
Figure 607655DEST_PATH_IMAGE085
；
优化目标：使异构网络环境中的所有用户失真总和最小化；其中
Figure 261490DEST_PATH_IMAGE086
为视点
Figure 955776DEST_PATH_IMAGE016
对与用户
Figure 872917DEST_PATH_IMAGE015
的重要性，
Figure 714971DEST_PATH_IMAGE087
，
约束条件： 
1)  规定每条链路上的实际网络流量消耗量小于等于该链路的传输容量；
2)  对应于各个接收节点，用于接收每个视点的网络流量小于等于该视点的编码码率；
3)  规定各个接收节点在每条路径上的网络流量必须大于等于零；
4. 对原始凸优化问题分布式求解
目标问题P1:  
Figure 110180DEST_PATH_IMAGE088
 
Figure 924552DEST_PATH_IMAGE089
约束条件：
         
Figure 747015DEST_PATH_IMAGE090
  
Figure 577830DEST_PATH_IMAGE091
；
步骤1：定义拉格朗日对偶：
      
Figure DEST_PATH_IMAGE149
    其中，
Figure 776730DEST_PATH_IMAGE094
是拉格朗日乘子；
步骤2：定义拉格朗日对偶函数： 
Figure 445609DEST_PATH_IMAGE095
；
步骤3：定义对偶问题： 
Figure 501289DEST_PATH_IMAGE096
 
Figure 255619DEST_PATH_IMAGE097
；
步骤4：采用原始-对偶算法，同时更新原始变量和对偶变量，逐步逼近最优点，其中
Figure 992631DEST_PATH_IMAGE098
和
Figure 578333DEST_PATH_IMAGE099
是正的步长值，
Figure 8177DEST_PATH_IMAGE100
表示取正值的运算：
Figure 587243DEST_PATH_IMAGE104
在以上更新过程中，
Figure 230714DEST_PATH_IMAGE105
可视为拥塞代价，当总需求
Figure DEST_PATH_IMAGE151
逼近可提供的网络流量上限
Figure 565880DEST_PATH_IMAGE107
时，上升；反之，
Figure 770406DEST_PATH_IMAGE108
下降，定义
Figure 268383DEST_PATH_IMAGE109
为满足目标问题P1中约束条件
Figure 102347DEST_PATH_IMAGE152
的最优化拉格朗日乘子，是第
Figure 935491DEST_PATH_IMAGE022
条链路上总的拥塞代价，所有更新过程可以分布式实现，每条链路、每个节点只需要局部信息，就可完成更新。
5、分布式凸优化算法的执行，如图3所示，
(a)  初始化：设置
Figure DEST_PATH_IMAGE153
、
Figure 350292DEST_PATH_IMAGE154
，并且 对
Figure DEST_PATH_IMAGE155
,
Figure 292840DEST_PATH_IMAGE156
,
Figure 793092DEST_PATH_IMAGE145
和
Figure 213709DEST_PATH_IMAGE017
分别设置对应的非负值
Figure DEST_PATH_IMAGE157
,。
(b)  凸优化问题求解的执行
对于链路
Figure 363510DEST_PATH_IMAGE145
：
在时间，链路
Figure 288740DEST_PATH_IMAGE145
上：
① 接收所有使用链路
Figure 575365DEST_PATH_IMAGE145
的接收节点
Figure 636862DEST_PATH_IMAGE015
的值；
② 更新拥塞代价
Figure DEST_PATH_IMAGE161
；
③ 将新的
Figure 396056DEST_PATH_IMAGE161
广播到所有的接收节点
Figure 424055DEST_PATH_IMAGE162
。
对于接收节点
Figure 605638DEST_PATH_IMAGE015
：
在时间
Figure DEST_PATH_IMAGE163
，接收节点
Figure 857628DEST_PATH_IMAGE015
上：
① 接收到总的网络拥塞代价值；
② 更新分配的路径流量
Figure 757451DEST_PATH_IMAGE160
；
③ 将新的
Figure 323561DEST_PATH_IMAGE164
广播到所有的链路。
6. 采用上述算法后进行性能分析，实现多视点视频组播传输最优化
① 视点编码顺序的影响
图4是给出了多视点视频预测结构KS-IPP采用不同的视点编码顺序对传输质量的影响示意图，假设每个用户节点的视点请求度顺序为
Figure 186082DEST_PATH_IMAGE166
，且根据视点编码顺序的确定方法在KS-IPP结构中的编码顺序为，按照用户的请求状况对视点进行编码，可以保证大部分用户所需求的数据有较高的传输优先级，在网络流量有限的状况下优先传输需要的数据，且减少了传输参考的关键帧的数据量，可以看出，采用
Figure 996092DEST_PATH_IMAGE166
的编码结构时视频效果最好，采用的编码结构时视频效果最差；
② 随着视点数的增加系统占用的带宽
图5给出了在网络带宽状况充足的情况下随着视点数的增加系统所占用的带宽。在网络带宽状况充足的情况下，随着传输的视点数从一个增加到四个，采用MVC编码占用的带宽最小，每个视点单独编码时占用的带宽最多，图中的结果表明了三种编码方式的编码效率。

Claims (1)

1.一种多视点视频流多速率组播传输的最优速率分配方法，其特征在于根据上述发明构思，采用下述步骤实现异构网络环境中所有用户整体失真最小化，其步骤如下：
第一，将多视点视频流传输中的多速率多径路由、中继节点的网络流量控制进行联合优化；
第二，在选择最佳组播传输路径和分配各视点视频流传输速率时，兼顾视点和帧的传输优先级顺序，不仅为每个视频流寻求传输网络使所有需要该视点的用户节点的失真最小化，而且满足网络环境中所有用户对视点的请求度和帧之间解码依赖性的需求；
第三，采用分布式的速率分配算法，即采用拉格朗日对偶方法对原始凸优化问题进行分解和求解，既实现了资源的最优分配，又便于分布式求解；
上述第一步骤中的联合优化是：网络中每个接收节点在接收需要的视频流时，同时选用多条路由路径；基于这些路径，合理分配网络资源给各个视点，进一步提高网络的吞吐量；
上述第二步骤中的兼顾视点和帧的传输优先级顺序是：确定视点和帧的传输优先级计算方法，在选择路由和进行网络流量分配时，传输优先级较高的视点分配的网络流量较多，每个视点分配的网络流量首先用于传输优先级比较高的帧；
上述第三步骤中的分布式的速率分配算法是：利用拉格朗日对偶方法，对原始凸优化问题进行分解和求解，允许每个网络节点和每条链路利用本地局部信息进行速率的动态调整和更新，以分布式方式实现链路传输速率的全局最优化分配；以网络中所有用户整体失真最小化为目标函数，以链路容量限制、视点编码速率限制等为约束函数，建立多视点视频流多速率组播传输的资源分配凸优化数学模型；具体方法如下：
1．网络模型的建立
将网络抽象为有向图                                               
Figure 2012105711231100001DEST_PATH_IMAGE002
，其中
Figure 2012105711231100001DEST_PATH_IMAGE004
是节点的集合，分为源节点集合、中间节点集合
Figure 2012105711231100001DEST_PATH_IMAGE008
和接收节点集合
Figure 2012105711231100001DEST_PATH_IMAGE010
，
Figure 2012105711231100001DEST_PATH_IMAGE012
是节点之间链路的集合；对于每条链路
Figure 2012105711231100001DEST_PATH_IMAGE014
对应有限的传输带宽
Figure 2012105711231100001DEST_PATH_IMAGE016
；假定一个多视点视频包含
Figure 2012105711231100001DEST_PATH_IMAGE018
个视点，每一个视点的编码速率为
Figure 2012105711231100001DEST_PATH_IMAGE022
；假设从源节点到每个接收节点
Figure 2012105711231100001DEST_PATH_IMAGE024
均有多条传输路径
Figure 2012105711231100001DEST_PATH_IMAGE026
，
Figure 2012105711231100001DEST_PATH_IMAGE028
表示接收节点
Figure 2012105711231100001DEST_PATH_IMAGE030
在接收第
Figure 2012105711231100001DEST_PATH_IMAGE032
个视点数据时，第
Figure 2012105711231100001DEST_PATH_IMAGE034
条路径上分配的网络流量大小；矩阵
Figure 2012105711231100001DEST_PATH_IMAGE036
表示链路和接收节点
Figure 823174DEST_PATH_IMAGE024
的传输路径之间的关系，其中
Figure 577503DEST_PATH_IMAGE036
的元素
Figure 2012105711231100001DEST_PATH_IMAGE038
表示链路
Figure 2012105711231100001DEST_PATH_IMAGE040
包含于接收节点
Figure 940614DEST_PATH_IMAGE024
的第
Figure 463999DEST_PATH_IMAGE034
条传输路径中，
Figure 2012105711231100001DEST_PATH_IMAGE042
表示链路
Figure 893843DEST_PATH_IMAGE040
没有包含在接收节点
Figure 322419DEST_PATH_IMAGE024
的第
Figure 597543DEST_PATH_IMAGE034
条传输路径中；
2. 视点和帧的传输优先级的计算
在用户端，显示设备周期性检测用户的位置，假定用户端
Figure 241014DEST_PATH_IMAGE030
和视点
Figure 513863DEST_PATH_IMAGE032
的视角夹角为
Figure 2012105711231100001DEST_PATH_IMAGE044
，用户端
Figure 242785DEST_PATH_IMAGE030
对视点
Figure 7085DEST_PATH_IMAGE032
的需求度为
Figure 2012105711231100001DEST_PATH_IMAGE046
，其计算方式为：
Figure 2012105711231100001DEST_PATH_IMAGE048
，设置用户端视点的选择阈值为
Figure 2012105711231100001DEST_PATH_IMAGE050
，若视点的需求度
Figure 2012105711231100001DEST_PATH_IMAGE052
大于视点选择阈值，则用户端
Figure DEST_PATH_IMAGE056
选择该视点，并向存储多视点视频数据的服务器发送该视点请求，否则用户端
Figure 629696DEST_PATH_IMAGE030
不选择该视点，不向服务器发送该视点请求，服务器收集所有用户的视点请求信息，并以此计算每个视点的传输优先级，即传输网络中所有用户对视点
Figure DEST_PATH_IMAGE058
的需求度之和作为视点
Figure 401343DEST_PATH_IMAGE032
的传输优先级，其表达式为：                 
Figure DEST_PATH_IMAGE062
；
在多视点视频编码KS-IPP结构中，视点的编码顺序按视点的传输优先级确定，将传输优先级最高的视点作为第一个视点，并根据视点传输优先级从高到低的顺序依次确定其他视点在KS-IPP编码结构中的顺序，
多视点视频中帧的传输优先级由该帧所在视点的传输优先级和该帧的类型确定，多视点视频编码KS-IPP结构中包含不同类型的帧，其具体如下：帧、
Figure DEST_PATH_IMAGE068
帧、帧、
Figure DEST_PATH_IMAGE072
帧、
Figure DEST_PATH_IMAGE074
帧，每一类帧丢失均导致一部分帧不能正常解码，若
Figure DEST_PATH_IMAGE076
帧或者帧丢失，则帧或者
Figure 922903DEST_PATH_IMAGE078
帧所在的视点和该视点外解码依赖
Figure 275387DEST_PATH_IMAGE076
帧或者
Figure 217935DEST_PATH_IMAGE078
帧的其他视点均不能正常解码，若帧丢失，则该
Figure 341355DEST_PATH_IMAGE080
帧所在视点内除 
Figure DEST_PATH_IMAGE082
 帧均不能正常解码，若
Figure 761972DEST_PATH_IMAGE072
帧丢失，则该
Figure 172225DEST_PATH_IMAGE072
帧的相邻帧不能正常解码，
Figure DEST_PATH_IMAGE084
帧丢失不影响其他帧的正常解码，因此，设视点中的第
Figure DEST_PATH_IMAGE086
个帧
Figure DEST_PATH_IMAGE088
丢失所引起的不能正常解码的帧集合，其表达式为:
Figure DEST_PATH_IMAGE092
  
Figure DEST_PATH_IMAGE094
上述公式中，表示视点
Figure 185946DEST_PATH_IMAGE032
中的第
Figure 247442DEST_PATH_IMAGE086
个帧，
Figure 718744DEST_PATH_IMAGE018
表示多视点视频中的视点数，
Figure DEST_PATH_IMAGE096
表示每个GOP(Group of Picture)中帧的数目，集合
Figure DEST_PATH_IMAGE098
可分为两部分：只包含视点
Figure 68954DEST_PATH_IMAGE032
内帧的集合
Figure DEST_PATH_IMAGE100
和包含视点
Figure 782439DEST_PATH_IMAGE058
以外帧的集合
Figure DEST_PATH_IMAGE102
，
在计算帧的传输优先级时，首先视点
Figure 964021DEST_PATH_IMAGE032
中的第
Figure 91377DEST_PATH_IMAGE086
个帧的传输优先级
Figure DEST_PATH_IMAGE106
等于该帧丢失时视点
Figure 178151DEST_PATH_IMAGE058
中不能正常解码的帧的传输优先级之和，即集合中帧的传输优先级之和，其计算表达式表示为：
Figure DEST_PATH_IMAGE110
  
Figure DEST_PATH_IMAGE112
式中，
Figure DEST_PATH_IMAGE114
表示视点
Figure 681944DEST_PATH_IMAGE032
中第
Figure 672028DEST_PATH_IMAGE086
个帧
Figure 970286DEST_PATH_IMAGE104
的传输优先级，
Figure DEST_PATH_IMAGE116
表示视点
Figure 357405DEST_PATH_IMAGE032
中第
Figure DEST_PATH_IMAGE118
个帧，表示帧
Figure 914157DEST_PATH_IMAGE116
的传输优先级，
Figure DEST_PATH_IMAGE122
表示帧
Figure 742435DEST_PATH_IMAGE116
的丢失导致视点
Figure 539490DEST_PATH_IMAGE032
中不能正常解码的帧的集合，
Figure 148326DEST_PATH_IMAGE096
表示每个GOP(Group of Picture)中帧的数目，
当在编码
Figure 7304DEST_PATH_IMAGE084
帧时以其他帧为参考帧，其他帧的编码均不依赖于
Figure 17986DEST_PATH_IMAGE084
帧，则在每个视点内
Figure 985942DEST_PATH_IMAGE084
帧的传输优先级是最小的，
Figure 82074DEST_PATH_IMAGE084
帧的传输优先级是计算其他帧的传输优先级的基础，在每个视点中，设所有帧的传输优先级之和等于该视点的传输优先级，其计算表达式为：
Figure DEST_PATH_IMAGE124
   
式中，
Figure DEST_PATH_IMAGE126
表示第
Figure 783499DEST_PATH_IMAGE032
个视点的传输优先级，
Figure 922356DEST_PATH_IMAGE116
表示视点
Figure 505785DEST_PATH_IMAGE032
中第
Figure 755500DEST_PATH_IMAGE118
个帧，
Figure DEST_PATH_IMAGE128
表示帧
Figure 678457DEST_PATH_IMAGE116
的传输优先级，表示视点
Figure 676631DEST_PATH_IMAGE032
的一个GOP(Group of Picture)内所包含帧的集合，
Figure 747355DEST_PATH_IMAGE096
表示每个GOP中帧的数目，
根据以上
Figure DEST_PATH_IMAGE132
计算表达式和
Figure DEST_PATH_IMAGE134
计算表达式，即可得到每个视点中各个帧的传输优先级，
在多视点视频编码KS-IPP结构中，每个视点的关键帧
Figure 738445DEST_PATH_IMAGE076
帧或者
Figure 578225DEST_PATH_IMAGE078
帧采用视点内编码和视点间编码的方式，在计算
Figure 58885DEST_PATH_IMAGE076
帧或者
Figure 538277DEST_PATH_IMAGE078
帧的传输优先级时还要考虑视点间编码，一个
Figure 395374DEST_PATH_IMAGE076
帧或者
Figure 89661DEST_PATH_IMAGE078
帧
Figure DEST_PATH_IMAGE136
的传输优先级可以表示为该帧丢失而不能正常解码的所有关键帧的传输优先级之和，即集合
Figure 678905DEST_PATH_IMAGE102
中关键帧的传输优先级之和：
Figure DEST_PATH_IMAGE138
  
Figure DEST_PATH_IMAGE140
式中，
Figure DEST_PATH_IMAGE142
表示视点
Figure 409707DEST_PATH_IMAGE032
中第0个帧
Figure DEST_PATH_IMAGE144
的传输优先级，
Figure DEST_PATH_IMAGE146
表示视点中第0个帧，表示帧
Figure 742600DEST_PATH_IMAGE146
的传输优先级，
Figure DEST_PATH_IMAGE152
表示帧
Figure 478343DEST_PATH_IMAGE144
的丢失导致视点
Figure 566385DEST_PATH_IMAGE032
以外的视点中不能正常解码的帧的集合，
Figure 833418DEST_PATH_IMAGE018
表示多视点视频中视点的数目，
根据视点和帧的传输优先级，若在一个用户端的可用网络流量不足以传输所有选择的视点时，则按照传输优先级从高到低的顺序传输视点；若可用网络流量不足以传输一个视点中所有的帧，则按照传输优先级从高到低的顺序传输视点内的帧，这样可以提高用户端接收的视频质量，
3．建立凸优化数学模型
目标问题P:    min 
Figure DEST_PATH_IMAGE154
约束条件：
1)  
Figure DEST_PATH_IMAGE156
     
Figure DEST_PATH_IMAGE158
；
2)  
Figure DEST_PATH_IMAGE160
        
Figure DEST_PATH_IMAGE162
；
3)  
Figure DEST_PATH_IMAGE164
                
Figure DEST_PATH_IMAGE166
；
优化目标：使异构网络环境中的所有用户失真总和最小化；其中为视点
Figure 596100DEST_PATH_IMAGE032
对与用户
Figure 999400DEST_PATH_IMAGE030
的重要性，
Figure DEST_PATH_IMAGE170
，
约束条件： 
1)  规定每条链路上的实际网络流量消耗量小于等于该链路的传输容量；
2)  对应于各个接收节点，用于接收每个视点的网络流量小于等于该视点的编码码率；
3)  规定各个接收节点在每条路径上的网络流量必须大于等于零；
4. 对原始凸优化问题分布式求解
目标问题P1:  
Figure DEST_PATH_IMAGE172
 
约束条件：
         
Figure DEST_PATH_IMAGE176
  
Figure 382977DEST_PATH_IMAGE158
； 
步骤1：定义拉格朗日对偶：
      
Figure DEST_PATH_IMAGE178
    其中，
Figure DEST_PATH_IMAGE180
是拉格朗日乘子；
步骤2：定义拉格朗日对偶函数： 
Figure DEST_PATH_IMAGE182
；
步骤3：定义对偶问题： 
Figure DEST_PATH_IMAGE184
 ；
步骤4：采用原始-对偶算法，同时更新原始变量和对偶变量，逐步逼近最优点，其中
Figure DEST_PATH_IMAGE188
和
Figure DEST_PATH_IMAGE190
是正的步长值，
Figure DEST_PATH_IMAGE192
表示取正值的运算：
Figure DEST_PATH_IMAGE194
在以上更新过程中，可视为拥塞代价，当总需求逼近可提供的网络流量上限
Figure DEST_PATH_IMAGE202
时，
Figure DEST_PATH_IMAGE204
上升；反之，
Figure DEST_PATH_IMAGE206
下降，定义为满足目标问题P1中约束条件
Figure DEST_PATH_IMAGE210
的最优化拉格朗日乘子，
Figure DEST_PATH_IMAGE212
是第
Figure 573524DEST_PATH_IMAGE040
条链路上总的拥塞代价，所有更新过程可以分布式实现，每条链路、每个节点只需要局部信息，就可完成更新。
CN201210571123.1A 2012-12-26 2012-12-26 多视点视频流多速率组播传输的最优速率分配方法 Active CN103024597B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210571123.1A CN103024597B (zh) 2012-12-26 2012-12-26 多视点视频流多速率组播传输的最优速率分配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210571123.1A CN103024597B (zh) 2012-12-26 2012-12-26 多视点视频流多速率组播传输的最优速率分配方法

Publications (2)

Publication Number Publication Date
CN103024597A true CN103024597A (zh) 2013-04-03
CN103024597B CN103024597B (zh) 2015-07-29

Family

ID=47972648

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210571123.1A Active CN103024597B (zh) 2012-12-26 2012-12-26 多视点视频流多速率组播传输的最优速率分配方法

Country Status (1)

Country Link
CN (1) CN103024597B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104159110A (zh) * 2014-04-02 2014-11-19 上海大学 基于纳什议价的视频传输带宽优化分配方法
CN106454414A (zh) * 2015-08-06 2017-02-22 瞬已网络科技（上海）有限公司 一种多径网络实时视频传输方法
WO2019061169A1 (zh) * 2017-09-28 2019-04-04 深圳前海达闼云端智能科技有限公司 一种基于混合资源的路由选路方法、装置和服务器
CN110036644A (zh) * 2016-11-30 2019-07-19 松下电器（美国）知识产权公司 三维模型分发方法以及三维模型分发装置
CN111447511A (zh) * 2020-03-09 2020-07-24 重庆邮电大学 一种带有用户感知体验质量的带宽分配方法
CN111628942A (zh) * 2020-05-28 2020-09-04 燕山大学 时间敏感网络中的资源分配方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1694529A (zh) * 2005-06-28 2005-11-09 清华大学 交互式多视点视频系统中视频流的传输方法
CN102014280A (zh) * 2010-12-22 2011-04-13 Tcl集团股份有限公司 一种多视点视频节目传输方法及系统
CN102413353A (zh) * 2011-12-28 2012-04-11 清华大学 立体视频编码过程的多视点视频和深度图的码率分配方法
CN102572440A (zh) * 2012-03-15 2012-07-11 天津大学 一种基于深度图和分布式视频编码的多视点视频传输方法
US20120246670A1 (en) * 2007-12-21 2012-09-27 General Instrument Corporation Content distribution system and method for optimizing multiplexed transport channels
CN102740081A (zh) * 2012-06-21 2012-10-17 西南交通大学 一种基于分布式编码技术的多视点视频传输差错控制方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1694529A (zh) * 2005-06-28 2005-11-09 清华大学 交互式多视点视频系统中视频流的传输方法
US20120246670A1 (en) * 2007-12-21 2012-09-27 General Instrument Corporation Content distribution system and method for optimizing multiplexed transport channels
CN102014280A (zh) * 2010-12-22 2011-04-13 Tcl集团股份有限公司 一种多视点视频节目传输方法及系统
CN102413353A (zh) * 2011-12-28 2012-04-11 清华大学 立体视频编码过程的多视点视频和深度图的码率分配方法
CN102572440A (zh) * 2012-03-15 2012-07-11 天津大学 一种基于深度图和分布式视频编码的多视点视频传输方法
CN102740081A (zh) * 2012-06-21 2012-10-17 西南交通大学 一种基于分布式编码技术的多视点视频传输差错控制方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104159110A (zh) * 2014-04-02 2014-11-19 上海大学 基于纳什议价的视频传输带宽优化分配方法
CN104159110B (zh) * 2014-04-02 2018-07-10 上海大学 基于纳什议价的视频传输带宽优化分配方法
CN106454414A (zh) * 2015-08-06 2017-02-22 瞬已网络科技（上海）有限公司 一种多径网络实时视频传输方法
CN106454414B (zh) * 2015-08-06 2019-06-21 瞬已网络科技（上海）有限公司 一种多径网络实时视频传输方法
CN110036644A (zh) * 2016-11-30 2019-07-19 松下电器（美国）知识产权公司 三维模型分发方法以及三维模型分发装置
WO2019061169A1 (zh) * 2017-09-28 2019-04-04 深圳前海达闼云端智能科技有限公司 一种基于混合资源的路由选路方法、装置和服务器
US11082326B2 (en) 2017-09-28 2021-08-03 Cloudminds Robotics Co., Ltd. Route selection method and apparatus based on hybrid resource, and server thereof
CN111447511A (zh) * 2020-03-09 2020-07-24 重庆邮电大学 一种带有用户感知体验质量的带宽分配方法
CN111628942A (zh) * 2020-05-28 2020-09-04 燕山大学 时间敏感网络中的资源分配方法
CN111628942B (zh) * 2020-05-28 2022-03-25 燕山大学 时间敏感网络中的资源分配方法

Also Published As

Publication number Publication date
CN103024597B (zh) 2015-07-29

Similar Documents

Publication Publication Date Title
CN103024597B (zh) 多视点视频流多速率组播传输的最优速率分配方法
CN101568026B (zh) 可伸缩视频流多速率组播通信的最优速率分配方法
CN107005848B (zh) 用于针对移动性管理而布置虚拟服务网关的系统和方法
CN104767694B (zh) 一种面向Fat‑Tree数据中心网络架构的数据流转发方法
Dai et al. Correlation-aware QoS routing with differential coding for wireless video sensor networks
Tsirigos et al. Multipath routing in the presence of frequent topological changes
CN110932989B (zh) 一种基于sdn数据中心网络的大象流路径监控调度方法
CN101267450B (zh) 基于网络编码的分布式网络应用层组播路由方法
Almeida et al. Minimizing delivery cost in scalable streaming content distribution systems
CN102271368B (zh) 基于跨层资源优化的空天信息网络信息传输方法及系统
CN103650435A (zh) 路由流量调整方法、装置及控制器
WO2017078922A1 (en) Apparatus and method for network flow scheduling
CN101562568B (zh) 覆盖网备用路径生成方法和装置
CN106385641A (zh) 一种基于sdn的直播视频流媒体分发方法
CN102143566A (zh) 分布式无线视频传感器网络生存周期最大化方法
CN114640870A (zh) 一种QoE驱动的无线VR视频自适应传输优化方法及系统
CN103607745B (zh) 一种无线网络中联合机会路由选择和信道分配的方法
CN107483355B (zh) 面向数据中心的在线场景低带宽开销流量调度方案
CN105516109B (zh) 一种保证无线多跳网络视频传输服务质量的传输调度方法
KR20150080183A (ko) 데이터 센터 네트워크의 동적 트래픽 분배 방법 및 장치
CN108632066B (zh) 一种构建视频多播虚拟网的方法和装置
Behbehani et al. Energy efficient distributed processing in vehicular cloud architecture
Wu et al. A traffic-camera assisted cache-and-relay routing for live video stream delivery in vehicular ad hoc networks
CN114979089A (zh) 一种实时传输全景视频的系统和方法
Navda et al. Real-time video stream aggregation in wireless mesh network

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant