CN104137554A - 使用分组损耗检测的视频编码 - Google Patents

使用分组损耗检测的视频编码 Download PDF

Info

Publication number
CN104137554A
CN104137554A CN201380010653.1A CN201380010653A CN104137554A CN 104137554 A CN104137554 A CN 104137554A CN 201380010653 A CN201380010653 A CN 201380010653A CN 104137554 A CN104137554 A CN 104137554A
Authority
CN
China
Prior art keywords
data
base station
video
wtru
packet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380010653.1A
Other languages
English (en)
Inventor
P·瓦纳莫
刘为民
A·拉帕波尔
马良平
E·阿斯蓬
陈志峰
Y·雷兹尼克
A·泽拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vid Scale Inc
Original Assignee
Vid Scale Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vid Scale Inc filed Critical Vid Scale Inc
Publication of CN104137554A publication Critical patent/CN104137554A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823Errors, e.g. transmission errors
    • H04L43/0829Packet loss
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/764Media network packet handling at the destination 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6106Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6131Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6156Network physical structure; Signal processing specially adapted to the upstream path of the transmission network
    • H04N21/6181Network physical structure; Signal processing specially adapted to the upstream path of the transmission network involving transmission via a mobile phone network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637Control signals issued by the client directed to the server or network components
    • H04N21/6377Control signals issued by the client directed to the server or network components directed to server
    • H04N21/6379Control signals issued by the client directed to the server or network components directed to server directed to encoder, e.g. for requesting a lower encoding rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723Monitoring of network processes or resources, e.g. monitoring of network load

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Environmental & Geological Engineering (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

在视频数据编码中使用无线分组丢失数据。在一种实施方式中,该方法包括在无线发射接收单元(WTRU)处接收无线分组丢失数据;从所述无线分组丢失数据生成视频分组丢失数据,以及将所述视频分组丢失数据提供给在WTRU上运行的视频编码器应用以在编码视频数据中使用。所述视频编码器可以响应于所述视频分组丢失数据执行差错传播减少进程。所述差错传播减少进程包括生成即时解码刷新帧或者生成帧内刷新帧的一者或者多者。一些实施方式可以被描述为使用参考图片选择方法或者参考图片集选择方法。

Description

使用分组损耗检测的视频编码
相关申请
本申请为2012年2月24日提交的美国临时专利申请No 61/603,212的非临时申请,所述申请的全部内容通过引用结合于此。
背景技术
近些年,针对移动无线视频的需求已经稳步增加,并且其增长被预测为随LTE/LTE-高级网络的新架构而增加,所述LTE/LTE-高级网络提供了显著更高的用户数据速率。尽管当今无线网络已经增加了容量并且智能手机现在能够生成并显示视频,但在这些高级无线通信网络中实际传送视频已经变得具有挑战性。
发明内容
此处描述的实施方式包括用于在视频数据编码中使用无线分组丢失数据的方法。在一种实施方式中,该方法包括:在无线发射接收单元(WTRU)处接收无线分组丢失数据;由所述无线分组丢失数据生成视频分组丢失数据,以及将所述视频分组丢失数据提供给在该WTRU上运行的视频编码器应用以在编码视频数据中使用。所述视频编码器可以响应于所述视频分组丢失数据执行差错传播减少进程。所述差错传播减少进程可以包括生成即时解码刷新(IDR)帧或者生成帧内(Intra)刷新(I)帧中的一者或者多者。一些实施方式可以被描述为使用参考图片选择(RPS)方法或者图片选择参考集(RPSP)方法。
在一些实施方式中,基站提供无线分组丢失数据给无线发射接收单元(WTRU)。所述无线分组丢失数据可以在无线电链路控制(RLC)协议层处生成,以应答模式或者非应答模式进行操作。所述无线分组丢失数据可以包括或者由NACK消息生成。所述NACK消息可以与上行链路传输同步。在一些实施方式中,所述视频分组丢失数据是由使用分组数据会聚协议(PDCP)序列号和/或实时协议(RTP)序列号和/或无线电链路控制(RLC)序列号的映射生成。所述视频分组丢失数据可以使用从RLC分组至PDCP序列号至RTP序列号的映射生成。所述视频分组标识符可以是网络抽象层(NAL)单元。各种其它实施方式包括诸如被配置成实现此处所描述方法的WTRU或者基站之类的装置。
附图说明
从以下描述中可以更详细地理解本发明,这些描述是以结合附图的示例的方式给出的,其中:
图1为移动视频电话和视频流系统的示例;
图2为示例协议栈和传输模型;
图3描述了示出RLC、PDCP、IP、UDP和RTP头的RLC PDU分组结构;
图4描述了RLC AM模型中的基本操作/数据流;
图5描述了在PDCP子层处的基本操作和数据流;
图6说明了示例性SDU至PDU的映射;
图7为访问来自RLC、PDCP和应用层的信息的分组损耗检测方法的一种实施方式的流程图;
图8A和8B分别描述了两个预测性编码结构;
图9描述了IPPP预测性编码结构,在该结构中在传输期间丢失一个P帧;
图10A描述了用于减少差错传播的帧内刷新方法;
图10B描述了使用用于减少差错传播的参考图片选择(RPS)方法的实施方式;
图10C描述了使用用于减少差错传播的参考图片集选择(RSPS)方法的实施方式;
图11A-B示出了针对第一和第二延迟的帧内刷新和参考图片选择(RPS)的有效性比较;
图12示出了结合RPS的早期反馈和结合帧内刷新的后期反馈的有效性比较;
图13A-13G描述了可以在其中实现本发明实施方式的移动视频电话系统的各种可能的配置;
图14A和14B描述了使用基于DPI信令方法的实施方式;
图15A-15B描述了使用基于应用功能的方法的实施方式;
图16描述了使用本地链路上的RPS或者RSPS、远程链路处的RPS或者RSPS以及转码的移动视频电话系统。
图17示出了使用用于差错控制的转码和RPS或者RSPS的移动视频流系统;
图18A为可以在其中实现一个或多个所公开的实施方式的示例通信系统的系统图;
图18B为可以在如图18A所示的通信系统中使用的示例无线发射/接收单元(WTRU)的系统图;以及
图18C-18E为可以在如图18A所示的通信系统中使用的示例无线电接入网络和示例核心网络的系统图。
具体实施方式
这里描述的是用于在无线视频电话和视频流应用中由丢失分组引起的差错的早期检测和隐藏的方法和系统。在一些实施方式中,视频信息可以在RTP分组或者不能保证分组传递的任何其它标准或专有传输协议的分组中传载。早期分组损耗检测机制包括分析MAC和/或RLC层重传机制(包括HARQ)以识别数据分组未能在本地无线链路上成功传送的情况。用于阻止差错传播的机制包括对视频信息的自适应编码或转码,其中后续视频帧不参考已经受丢失分组影响的任何先前帧来进行编码。在编码或者转码操作中使用参考的先前帧包括使用他们来预测和预测性编码。建议的分组损耗检测和编码或转码逻辑可以存在于用户设备(移动终端设备)、基站或者回程网络服务器或网关中。附加的系统级优化技术,诸如分配不同的QoS等级给本地和远程链路也被描述。
图1中示出了以RTP传输和RTCP类型反馈操作的移动视频电话和视频流系统的示例。从进行发送的UE 18到进行接收的UE 24的视频传输涉及若干通信链路。第一或者“本地”链路是电话(UE)18和基站(eNB)20之间的无线链路15。在诸如LTE的现代无线系统中,UE和基站之间的分组传输延迟被限制,并且对于实时/VOIP业务通常在90ms左右。分组可能在本地链路15被成功传送或者丢失。在通过“远程”无线链路26从“远程”eNB22到UE 24的分组传输中包含类似延迟(和类似分组丢失可能性)。在两个eNB 20和22之间,分组可以通过因特网28从eNB 20传递到网关节点30,到另一网关节点32且随后到eNB 22。
当分组丢失时(例如在本地链路15处,在因特网28中,或者通过远程网络23在远程无线链路26处),这一丢失最终由用户B的应用注意到,并且通过RTCP接收方报告(RR)传送回用户A。在实际中,这种差错通知报告通常周期性地被发送,但是不频繁,例如以大约600ms-1s间隔。当差错通知到达发送方(用户A的应用)时,其可以被用于引导视频编码器插入帧内(或IDR)帧,或者使用其它编解码器级装置以在解码器处停止差错传播。然而,分组丢失和接收方报告之间的延迟越长,越多的视频序列帧将受到差错影响。实际上,视频解码器通常利用所谓的差错隐藏(EC)技术,但是即使是最新水平的隐藏,在刷新前一秒的延迟可能引起显著和可视的伪影(所谓的“重影”)。
在这里描述的实施方式中,由分组丢失引起的差错传播被减小。实施方式包括在本地链路15处提供早期分组丢失检测和通知功能和/或使用诸如参考图片选择(RPS)或参考图片集选择(RSPS)以停止差错传播的高级视频编解码器工具的方法和系统。与在本地链路处使用的这种技术相关联的信令在图1中一般由线16表示并在此处详细描述。如此处所描述的,可以使用包括帧内刷新(IF)、参考图片选择(RPS)和参考图片集选择(RSPS)的技术来阻止差错传播。还描述了LTE系统中的分组丢失的早期检测,尽管类似技术可以在诸如WCDMA、高级LTE等的其它无线基础结构系统中实施。
在一些实施方式中,使用了用于增强视频参考系统的技术,诸如在本地和远程链路处引入不同的QoS模式和在远程eNB处使用转码器和分组丢失检测逻辑。RTSP/RTP-类型视频流应用被作为使用这里描述的一些实施方式的示例描述。
现在将描述早期分组丢失检测技术和识别相应视频分组丢失。为了便于展示,关注集中在使用RTP传输和LTE堆栈的实施方式,但是替换实施方式也包括其它传输和链路层堆栈。
图2中示出了视频数据传输中涉及的层和协议的堆栈的示例,其中在网络抽象层(NAL)202单元203中初始封装的视频数据使用诸如实时传输协议(RTP)204的传输协议来传载。在最简单的情况下,每个NAL单元203被嵌入到单个RTP分组205的负载中。更概括地说,NAL单元203可以被分割和作为多个RTP分组205传载或者在单个RTP分组内以多种数值被聚合和传送。转而,RTP分组可以嵌入到UDP层206分组207,其转而嵌入在IP层208分组209中并且作为IP层208分组209通过系统传载。应用222还可以使用TCP 224用于发送会话相关信息或者必须以精确比特形式传递的数据的类型。如图2所示,LTE数据平面240包括4个子层:PDCP 210,RLC 212,MAC 214和PHY 216。他们存在于e节点B和UE两者处。
在这一实施方式中,还假设:
1、PHY/MAC支持多个无线电承载或者逻辑信道;
2、每个类别的视频业务具有其自身的无线电承载或者逻辑信道;以及
3、每个视频逻辑信道可以支持多种视频应用。
在LTE中,例如,RLC子层212基于与MAC层214的交流(exchange)感知到丢失分组。在丢失RLC层分组内包含的帧应当被确定以便应用前述差错传播减少技术。由此,必须确定那些丢失的RLC层212分组213内包含的NAL层202或者应用层222分组。由此,以上各个层中包括RLC层的分组内容可以彼此映射。
检测丢失无线分组和相应视频分组丢失的方法可以适应其中PDCP应用加密来保证来自较高层的数据安全的情况,如图3所示。负载加密程序使得不可能(和/或不合适)在RLC子层212处解析上层的报头。为了识别丢失的RTP分组215,在一些实施方式中PDCP子层210可以建立将RTP分组204映射至PDCP序列号的表。在一些实施方式中,这在执行加密之前,在PDCP层210处使用深度分组检查来完成。在识别出哪个RTP分组丢失之后,至丢失的视频NAL单元203的映射可以在应用层222,202处完成。当存在从NAL分组203至RTP分组205的一对一映射时,映射是不重要的。当存在分组的分片时,可以例如利用查表实现映射。
表1总结了在不同层/子层处执行的用以获取关于传输差错和其影响哪些NAL单元203的操作。
表1.使用协议层/子层用于识别传输差错
表2中总结了在各个层/子层处的分组映射
表2.分组映射(发射机)
协议层/子层 输入 输出 映射
RLC PDCP PDU RLC PDU 多对多
PDCP IP分组 PDCP PDU 一对一
IP UDP分组 IP分组 一对一
UDP RTP分组 UDP分组 一对一
应用(视频编码器) NAL分组 RTP分组 多对多
这里描述在每个层/子层处执行的动作的附加细节。
在RLC层,可以执行分组丢失检测和至PDCP序列号(SN)的映射。在LTE中,在RLC层处存在三种模式的操作(在3GPP TS 36.322中定义),如以下阐述的:
1、透明模式(TM):
-无RLC SDU的分割和重组(SAR)
-不添加RLC报头
-无传递的保证
-适于语音
2、非应答模式(UM):
-RLC SDU的分割和重组
-添加RLC报头
-无传递保证
-适于传载流业务
3、应答模式(AM):
-RLC SDU的分割和重组
-添加RLC报头
-可靠按序传递服务
-适于传载TCP业务
图4中示出了RLC AM模型中的基本操作/数据流。
如果与根据本发明的反馈和差错校正技术结合使用,诸如ARQ或HARQ的重传协议可能给视频传输带来反作用。因此,在一种实施方式中,可以在不调用ARQ重传的情况下获得分组丢失指示。在RLC子层处至少存在下列用于检测分组丢失的方法:
1、使用AM模式但是将参数maxRetxThreshold(ARQ重传的次数)设置为零,其可以由RRC配置。ACK/NACK信息可以从以下获得:
a.从对等端RLC接收机接收的RLC状态PDU,其指示哪些RLC PDU已经被正确接收以及哪些未被成功接收(这受LTE标准支持,但是延迟可能较大);
b.从MAC发射机本地生成的状态(RLC PDU对应的任何传输块上的HARQ失败被认为整个RLC PDU丢失)。这一方法的益处是延迟较小,但是需要从传输块到RLC PDU的映射,由于分割这种映射通常不是一对一的。
2、使用UM与如以上描述的从MAC发射机本地生成的状态组合。
一旦RLC分组具有失败的传输,相应的PDCP分组可以被识别出。从PDCP到RLC的分割是可能的,由此映射不必是一对一的。因为RLC SDU是PDCP SDU,可以由RLC ACK/NACK识别在传输中丢失的PDCP分组的PDCP SN(压缩报头中的序列号)。注意由于PDCP加密了其数据SDU,RLC子层不能识别RTP序列号。
在PDCP子层,可以识别丢失的RTP/UDP/IP分组。图5示出了在PDCP子层处的基本操作和数据流。当传输差错发生时,可以通过其序列号(SN)识别出相应的PDCP PDU。因为仅有效载荷数据被加密,RLC子层可以识别PDCP SN,但是进一步的检查是不可能的。因此,PDCP子层可能被涉及。PDCP SDU包含IP、UDP和RTP报头。深度分组检查可以被执行以提取IP地址、端口号和RTP序列号。注意PDCP PDU→RLC SDU映射不必是一对一的。当传输失败时,在一些实施方式中可以使用查找表以便识别相应的PDCP PDU。RTP→UDP→IP映射是一对一的。因此,从RTP分组提取IP地址和端口号是简单直接的。
在应用层202或222,可以识别丢失的NAL单元。在识别出失败的RTP分组之后,应用层被赋予识别使得传输失败的NAL分组的任务。如果NAL→RTP映射是一对一的,则识别NAL分组是简单直接的。如果映射不是一对一的,则可以使用诸如查找表之类的方法。
此处描述了示例查找表技术的细节。图6描述了通用SDU→PDU映射,其中存在PDU的分段或片断,并且SDU至PDU的映射不必是一对一的(尽管可能一些映射是一对一是的)。类似的映射可能存在于许多应用、传输和网络层和子层。在检测传输差错中,有必要设计用于将差错PDU映射到其相应的SDU的方法。一种直接方式是通过查找表识别错误的SDU。例如,在图6描述的情况中,可以建立以下示出的表。
表3.用于图6中描述的通用映射的查找表
PDU索引 SDU索引
j-1 i-2
J i-1
J i
J i+1
j+1 i+1
j+1 i+2
j+2 i+2
j+3 i+2
j+3 i+3
该表可以由RLC分割器建立和维护。其记录了哪写SDU被映射到哪些PDU并且反之亦然。例如,如果PDU,j,被认为使得传输失败,则查找表将识别SDU i-1,i和i+1为使得传输失败的哪些。
已知在RLC子层和应用层处存在分割,其中NAL分组被映射到RTP分组。类似方法可以在两个层中使用。
图7示出了一个分组丢失检测程序的整体图示。其利用来自RLC、PDCP和应用(视频)层的信息。程序在701处开始。在703处,程序根据诸如LTE之类的特定无线网络协议检查丢失的RLC层分组。在705处,确定RLC层分组是否已经丢失。如果没有,流程进行到707。在707处,进程检查来看是否被指示停止检查丢失的分组。例如,这种指示可以在确定包含在RLC分组中的数据不再是视频数据时被发起。如果这样指示,进程终止(709)。否则,流程返回703以便对丢失分组的检查继续。
如果,在705处,确定特定分组已经丢失,则流程进行到711。在711处,丢失的RLC层分组被映射到相应的PDCP层SN。随后PDCP SN被映射到相应RTP层SN、IP地址和端口号(713)。IP地址揭示了视频数据正发送至的用户,端口号揭示了视频数据正被发送至的应用。RTP SN随后被映射到相应的NAL分组(715)。NAL分组识别出RLC分组中已丢失的帧。流程随后返回703。
利用视频数据丢失的这种早期知识和丢失的特定帧的知识,UE中的视频编码器随后可以实施措施以减少解码器处的差错传播和/或恢复视频数据,包括此处详细描述的任何技术。
现在将描述标准预测结构。实时应用中的视频编码结构可以包括由后向预测帧(P帧)跟随的即时解码刷新(IDR)帧801。这一结构在图8A和图8B中进行说明。图8A说明了经典“IPPP”结构,其中每个P帧803由先前帧预测其是I帧还是P帧中的一者。较新的视频编码标准,诸如H.264,允许使用多个(例如在H.264中多达16)参考帧,以便P帧可以由多个先前帧中预测,由此提供预测结构中的灵活性。图8B说明了这一编码标准。
编码视频的预测性属性使其在信道差错的情况下易于受丢失传播影响。由此,如果在传输期间,一个P帧(诸如P帧803x)丢失,后续的P帧(诸如P帧803y)被损坏,如图9所示(典型地直到接收到下一I帧)。此处描述的早期无线分组丢失和视频分组丢失检测和对编码器的反馈被提供以限制差错传播。特别地,在接收到指示特定帧传输中的反馈时,编码器可以在接收分组丢失反馈之后改变其编码后续的帧的方式。反馈可以包括肯定应答(ACK)或否定应答(NACK),其中ACK被用于指示帧/片被正确接收,而NACK指示帧/片被丢失。在现存的现有技术的系统中,NACK/ACK反馈经常在作为报告传送到发送方之前在接收方处积累。在传送反馈报告中经常存在延迟。
在视频编码中,存在两种用于基于反馈阻止差错传播的方法:帧内刷新(IR)和参考图片选择(RPS)。两种方法均不给编码器增加延迟,并产生标准兼容比特流。这些方法可以与许多现有的视频编解码器相关联,包括H.263和H.264。在又一实施方式中,描述了特定于H.264和使用多个参考图片的未来编解码器的参考图片集选择(RSPS)。
在图10A示出的第一实施方式中,使用了帧内刷新机制。分组丢失反馈报告可以包括包括基于MB/片/帧级别的ACK/NACK。图10A说明了作为示例用于包含帧级别信息的报告的帧内刷新。让我们假设解码器检测到第k个帧803-k将要丢失,并传送影响编码器的反馈信息。进一步地,让我们假设编码器接收在第(k+n)th帧803-k+n之后的反馈信息,其将下一帧编码作为I帧或IDR帧801x,并将后续帧编码为P帧。通过使用IDR帧,过去的帧不被用于预测未来的帧,由此在帧801x(其是在错误帧803-k之后的n+1帧,其中n基本上包括传送错误帧和编码器接收到帧被错误接收的反馈之间的延迟)处终止了差错传播。使用帧内刷新的缺点是其使用IDR帧相对于P帧消耗了更多的比特。
在图10B示出的第二实施方式中,使用了参考图片选择方法。在RPS中,反馈报告包括帧/片的ACK/NACK信息。如在先前示例中,解码器在检测到丢失的第k个帧803-k之后传送反馈,编码器在第k+n和第k+n+1帧之间接收反馈。基于反馈报告,解码器找到在过去被成功传送的最近的帧,例如帧803-k-1,并且使用它来预测下一帧802-k+n+1。
RPS使用预测性P帧替代帧内(IDR)帧来停止差错传播。在大多数情况下,P帧比I帧使用更少的比特,这节省了容量。
在又一实施方式中,可以组合IR和RPS方法的方面。例如,编码器可以在IDR和P预测模式两者中对下一帧进行编码,并随后决定哪个通过信道发送。
在图10C示出的又一实施方式中,可以使用参考图片集选择(RSPS)方法。这一实施方式是RPS方法的概括,允许与多个参考图片预测一起使用。例如其可以与H.264编解码器一起使用。这一技术此处称作参考图片集选择(RSPS)。在RSPS方法中,在接收到NACK反馈报告之后,例如在编码器传送帧803-k+n和803-k+n+1之间接收的指示帧803-K丢失的NACK报告,使用过去传递且未损坏的帧的任何可能子集(例如帧803-k-1,803-k-2和803-k-3)来预测后续帧(例如帧803-k+n+2和803-k+n+3)。在一些实施方式中,诸如基于H.264编解码器实现的那些,可以加入进一步的限制,其中这种帧子集必须在H.264的解码器参考图片缓存中。
由于预测的灵活性,RSPS可以产生较好的预测并由此产生比IF和RPS方法更好的速率失真性能。
在一些编码技术中,每个帧可以进一步在空间上划分为多个区域,称作片。RSPS技术的一些实施方式可因此在片级上操作。换言之,可能仅帧的子集被从预测中移除。这种子集通过分析将受丢失传播影响的后续空间排列的片的链以及关于丢失的分组/片的信息来识别。
以上描述的实施方式的有效性使用模拟的信道以10e-2分组差错率(典型地在LTE中用于会话的/VOIP服务)进行测试,并且在编码器中使用通知和IR、RPS和RSPS机制。我们已经使用了H.264标准兼容的编码器并且使用内存管理控制操作(MMCO)指令实现RPS和RSPS方法。标准的视频测试序列“学生(Students)”(CIF分辨率,30fps)以先前-向后的方式循环从而生成针对实验的输入视频流。图11A和11B中分别示出了3帧(90ms)和14帧(420ms)的通知延迟的结果,所述结果示出了与使用完全无差错反馈(见线1105a和1105b)相比较的帧内刷新(见线1101a和1101b)和参考图片选择(RPS)(见线1103a和1103b)技术的有效性比较。使用标准“学生”测试序列(CIF,30fps)执行测试,使用H.264视频编码器对测试进行编码并且以10e-2分组差错率在系统上进行传送。
基于这些实验,支持以下观测:
1)与无反馈的编码视频传输相比,两种技术在质量上提供大量改进:观测到4-6dB增益。
2)RPS技术看起来比IR更有效:观测到0.2-0.6dB的附加增益。
3)当通知延迟较小时RPS技术更有效:在该实验中,与以3帧(90ms)延迟的IR技术相比较,我们观测到0.5-0.6dB的附加增益,并且当延迟增加到14帧(420ms)时仅观测到0.2-0.3dB的附加增益。
4)反馈延迟还影响到两种技术的质量/有效性:延迟越短,两种技术更有效。
此处描述的实施方式的一部分使用了两种技术的组合:(i)尽可能早地检测分组丢失,并且如果分组丢失在本地链路上发生-将其立即信号返回至应用/编解码器;以及(ii)通过使用RPS或者RSPS技术阻止由丢失的分组引起的差错传播。与常规方法相比使用组合的技术的增益,诸如结合帧内刷新的RTCP反馈,在图12中进行了分析,其示出了早期反馈组合的RPS与其它方法的有效性比较。在图12的数据中,我们假设分组在本地链路上丢失,并且概率为10e-2。线1201表示无反馈的基线PSNR数据,线1203表示3帧延迟(90ms)的用于使用具有本发明RPS的早期反馈技术的系统的数据,线1205表示14帧延迟(420ms)的用于使用具有本发明RPS的早期反馈技术的系统的数据,以及线1207表示33帧延迟(约1秒)的用于使用具有本发明RPS的早期反馈技术的系统的数据。
可以观测到,如果RTCP反馈延迟从30ms增加到420ms延迟,对于该实施方式的增益改善降低大约0.6-0.7dB增益。当RTCP反馈进一步增加至1秒,与30ms的延迟相比,PSNR降幅扩大至约1.0-1.2dB。
从以上描述的结果可以看出,此处描述的系统和方法在实际场景中可以在视觉质量上产生可感知的改进。在平均PSNR度量中,改进可以在0.5-1dB范围内。可理解地,改进将是明显的,因为早期反馈将阻止诸如“冻结”图片的伪影或者由在解码器中使用差错隐藏逻辑引起的不断增加的“重影”。
许多实施方式被描述用于提供有关在本地链路上的分组丢失的信息给编码器并且可以包括用于至编码器的用于有关分组丢失的信息通信的接口。在一种实施方式中,在对每帧编码之前,编码器可以调用返回以下信息的函数:(1)指示符,识别任何之前传送的NAL单元是否被成功发送(或者不被成功发送);以及(2)如果NAL单元不被成功发送,这些最近丢失的NAL单元的索引。编码器之后可以使用RPS或者RSPS产生待从在受分组丢失影响的第一帧之前发送的帧做出的预测。
在一种实施方式中,接口可以被提供作为Khronos的OpenMAX DL框架的一部分。在可替换的实施方式中,在RLC和应用层之间的信息交换集被标准化为3GPP/LTE中的标准扩展。
在又一实施方式中,RTCP中的定制消息(例如APP类型的消息)被用来信号发送本地链路分组丢失通知给编码器。所述通信过程可以在现有LETF协议中的框架中封装。
图13A-13G描述了移动视频电话的各种应用,其中示出了移动视频电话系统的七种可能的配置。大多数场景涉及多于一个无线链路。术语“本地”和“远程”被用来指视频编码器和考虑中的链路之间的距离。
在一些实施方式中,此处描述的反馈和丢失传播预防方法可以被应用到“本地链路”。在一些实施方式中,这些可以结合各种方法来减少“远程链路”上的差错效应。这些方法可以包括以下中的一者或者多者:(i)设置不同的QoS等级给远程和本地无线链路;以及(ii)使用在远程基站处与早期分组丢失检测和RPS或者RSPS技术耦合的视频的转码。
不同的QoS等级可以通过协商被设置并且确定,如在2012年2月17日提交的标题为“Video QOE Scheduling”的美国临时专利申请No 61/600,568中所描述,所述申请的内容全部通过引用结合于此。
在远程链路处使用更高的QoS将容易引起大部分传输差错发生在本地/更弱链路,从而使更远距离的远程链路处丢失的分组减到最少,其中丢失分组的传输和这种差错信息至编码器的反馈之间的延迟可能太长而无法允许差错传播减少技术来提供期望的图片质量。
针对本地链路和远程链路的QoS差异将参考图13A-13G中描述的场景进行讨论,并且评估通过分派不同的QoS给本地和远程链路的方式提高系统性能的可能性。
图13A描述了第一场景,其中在该示例中正在传送的节点1301中的编码器和在该示例中接收/解码节点的远程节点1303之间仅存在一个无线链路1302(即本地链路1302)。图13A的示例中的节点1301和1303之间的节点/元件包括基站1305,LTE/SAE网络架构1307,在LTE/SAE网络和因特网之间的网关1309以及因特网1311。该场景为微小的(trivial)因为不存在无线下行链路。
图13B中示出的场景2同样仅具有一个无线链路并且大体上与图13A的场景1相同,除了节点1301为接收/解码节点并且节点1303为发射/编码节点。在该示例中,也仅存在一个无线链路1304,但其为至接收机的远程下行链路。在上行链路和下行链路之间的差异是不需要(或者不适合)的因为仅存在一个无线链路。然而,仍然有助于确保针对无线下行链路1304的QoS等级具有足够的质量来使得分组丢失量最小化,因为无线下行链路可能离视频编码器较远并且任何反馈机制会引起大量的延迟。
在图13C中描述的场景3中,在发射节点1301和接收节点1313之间存在两个无线链路1306、1308。无线链路1306、1308两者在相同的小区内。在该情况中,由于下行链路接近视频编码器,反馈延迟将会较短并且用于上行链路的相同分组丢失检测方案和视频编码器调节方案也可以被用于此。
在图13D中描述的场景4中,再次存在两个无线链路,也就是(1)在发射节点1301和基站1305之间的本地上行链路1310和(2)在基站1315和接收节点1317之间的远程下行链路1312。然而,在该场景4中,发射和接收节点1301和1317位于相同LTE/SAE网络1307的不同小区中(分别由不同的基站1305和1315表示)。根据本发明,从无线下行链路到发射节点1301的视频编码器的延迟对于反馈和差错传播最小化的实际使用可能太长或者不太长。
在图13E中描述的场景5中,存在两个无线链路,也就是(1)在节点1301和基站1305之间的无线本地上行链路1314和(2)在基站1325和节点1327之间的无线远程下行链路1316,并且所述两个无线链路分别位于不同LTE/SAE网络中,也就是网络1307和1323。这两个网络通过它们各自的网关1309和1321经由通过因特网1311的隧道1319连接。在该场景中,由于场景4中相同的原因(在下行链路1316和发射节点1301中的编码器之间存在太大的延迟),可能不适于使用反馈机制来处理无线下行链路中的分组丢失。
图13F中描述的场景6绝大部分与图13E中描述的场景5相同,除了在两个LTE/SAE网络之间不存在隧道。特定地,存在两个无线链路,也就是分别位于不同的LTE/SAE网络1307和1323中的(1)节点1301和基站1305之间的无线本地上行链路1318和(2)基站1325和节点1327之间的无线远程下行链路1320。由于不存在可用的定制隧道分组格式,在LTE/SAE网络1307和1323之间的附加信令可以被需要用于无线下行链路1320中的QoS配置(provisioning)。
最后,图13G中描述的场景7为最普遍的场景。对于从节点1301通过上行链路1322至基站1305上传至第一LTE/SAE网络1307的每个视频分组存在多于一个目的地。所述目的地分布在多于一个LTE/SAE网络中。特定地,在该示例中,存在:(1)在第一网络1307中的基站1357和第一接收节点1337之间的第一下行链路1324;(2)在另一LTE/SAE网络1341(通过因特网1311经由合适的网关1309和1337连接到第一网络1307)中的基站1357和节点1359之间的第二下行链路1326。第二网络1341的不同小区中还有两个接收节点1349和1351分别通过无线下行链路1328和1330接收通过独立基站1345的视频数据。最后,第三网络1343(经由因特网1311和合适的网关1309和1339与第一网络1307进行通信)中还有两个接收机节点1353和1355通过在第三网络1343中与基站1347的又一无线下行链路1332和1334接收视频数据。在该场景中,除了在视频编码器(节点1301)和至少大部分各个无线下行链路之间的大延迟之外,由于存在多个无线下行链路并且各个无线下行链路会经历不同的分组丢失条件,通常不可能通过调节单个视频编码器的方式处理分组丢失。
总的来说,在无线下行链路和视频编码器之间的大延迟可以适用于图13D-13G的场景4-7。例如,在图13F的场景6中,反馈延迟过长,与上行链路情况中的90ms相比,大约在600ms。为了解决该问题,在一种实施方式中,可以将更高的QoS等级用于远程下行链路1320,这样会在远程下行链路处引起更为稳健(robust)的ARQ机制。这样的话,所述分组会被更好地保护而不引起大量的延迟。
参考启用无线上行链路和无线下行链路之间的QoS差异的两个示例性实施方式,描述了针对在LTE中设置不同的QoS等级的技术。每种方法涉及(或者不涉及)以下三种功能的任何一者:(i)网络确定针对上行链路的QoS等级;(ii)网络确定针对分组丢失检测的反馈机制是否将被用在上行链路和下行链路中;以及(iii)网络确定针对下行链路的QoS等级。对于上行链路,通常推荐反馈机制。
当前3GPP规范定义了九个QoS等级(QCI值)。每个QoS等级被推荐用于多种应用。简单地遵照3GPP规范中的建议,通过下行链路传送的视频分组将接收与通过上行链路的视频分组相同的QoS等级,因为这种应用在上行链路上和下行链路上是相同的。
然而,一些实施方式可以均衡(leverage)当前3GPP规范的PCC能力从而启用上行链路和下行链路之间的QoS差异。在一种这样的实施方式中,以下程序会被执行:
1.网络运营商上传策略至网络以指示哪种QoS等级将被用于针对一种视频应用(和可能的其它应用)的上行链路业务和下行链路业务;
2.所述网络检测视频业务流和确定其应用类型(视频流、视频会议等)以及上行链路/下行链路方向;
3.所述网络参考策略来确定哪种QoS等级将被适用于检测到的视频业务流。
一种实施方式可以使用深度分组检查(DPI)并且可替换的实施方式可以使用应用功能来确定应用类型,两者在以下更为详细地描述。
图14A和14B包括描述针对使用基于DPI方法的实施方式的信号流和操作的图例。可以理解的是整个方法以及特定步骤的多个改变是可能的。通过网络运营商将策略上传至PCRF不被描述,因为其不经常出现。这些策略可以包含关于以下信息:(1)针对用于每个订阅种类的上行链路业务和下行链路业务的期望的QoS等级和(2)在何种条件下反馈机制可以被用来提供有关分组丢失的信息。这些条件可以与发送方UE(视频编码器)和无线下行链路之间的延迟有关。
现在参考图14A和14B,进行传送的UE 1401发送视频分组,其中图14A和14B共同地包括根据一种基于DPI的示例性方法的信号流和操作图例。视频分组穿过从本地eNB 1403至本地网络的P-GW 1409的本地LTE网络。这样在图中以1-a表示。本地P-GW 1409通过因特网1410发送分组至远程网络的对应P-GW 1411,如1-b所示。远程网络的P-GW 1411通过下行链路方向中的远程LTE/SAE网络转发分组,如1-c所示。
在P-GW 1411或者上行链路处,DPI被执行成检测SDF,如2-a所示。类似地,DPI在下行链路的P-GW处使用,如2-b所示。
P-GW 1409和1411之后分别发送请求与SDF相关的PCC规则的消息3-a和3-b至PCRF 1405和1419。PCC规则可以包括QoS等级,是否拒绝SDF等。
PCRF 1405、1419联系其各自的SPR 1407和1417来获得与所检测的SDF的UE关联的订阅信息,如4-a和4-b所示。
SPR 1407和1417回复订阅信息,如5-a和5-b所示。
PCRF 1405、1419使用订阅信息以及由网络运营商上传的策略来推导用于其各自SDF的PCC规则,如6-a和6-b所示。然而,所推导的PCC规则在两个LTE/SAE网络中不同,因为针对上行链路和下行链路的期望QoS等级会不同。
PCRF 1405、1419发送PCC规则至其各自P-GW 1409、1411,如7-a和7-b所示。
然后,可以确定的是反馈机制是否被用于进行发送和进行接收的UE1401和1423之间的通信。这样会涉及如图14A和14B中所示的标号8-1至9-a的步骤的一部分或者全部。根据特定情况,并不是所有这些步骤必须被执行。
然而,在一种实施方式中,可能就是否简单地通过将考虑的场景分类成图13A-13G中描述的七个场景之一的方式使用上行链路和/或下行链路中的反馈做出决定,这样不会在所有情况下引起优化的操作。例如,在图13F中描述的场景6中,较为可能的是UE 1301接近P-GW 1309,P-GW 1309和P-GW 1313之间的路径较短,并且P-GW 1311可以接近UE 1327,因而可取的是在下行链路中使用反馈。因而,图14A和14B描述了更为稳健的实施方式。特定地,在该实施方式中,上行链路LTE/SAE网络中的P-GW 1409请求用于无线下行链路的eNB的地址(例如,IP地址),如8-1所示。该请求可以包括以下信息:(1)UE接收机1423的IP地址和(2)发送消息8-1的P-GW 1409的IP地址。
然后,下行链路LTE/SAE网络中的P-GW 1413可以转发请求至其自有的订阅服务(未示出)并且做出响应接收当前服务UE接收机1423的eNB1421的IP地址(也未示出),并且之后发送具有IP地址的消息8-2至进行请求的P-GW 1409。
然后,在上行链路LTE/SAE网络中,P-GW 1409发送请求消息8-3至上行链路eNB 1403以要求其发送延迟测试分组至下行链路网络中的eNB1421。该消息包含下行链路网络中的eNB 1421的地址。
作为响应,eNB 1403发送延迟测试分组8-4至下行链路eNB 1421。所述延迟测试分组至少包含:(1)其自有的地址,(2)下行链路eNB的地址,以及(3)时间戳。该测试分组可以为ICMP Ping消息。
下行链路eNB 1421发送回ACK 8-5。该ACK消息可以包含以下信息:(1)上行链路eNB的地址;(2)下行链路eNB的地址;(3)当生成ACK时的时间戳;以及(4)从延迟测试分组拷贝的时间戳。
然后,上行链路eNB 1403计算它自己和下行链路eNB 1421之间的延迟并且发送报告消息8-6至上行链路P-GW 1409。
上行链路P-GW 1409将ACK消息8-7发送回上行链路eNB 1403以确认接收延迟报告。该报告包含以下信息:(1)上行链路P-GW的地址;(2)上行链路eNB的地址;以及(3)下行链路eNB的地址。
上行链路P-GW 1409之后根据从上行链路eNB报告的延迟估计反馈延迟并且将该反馈延迟与PCC规则进行比较。上行链路P-GW 1409之后决定用于检测分组丢失的反馈机制是否应该用于上行链路和/或下行链路。
之后上行链路P-GW 1409将其是否在消息8-9中使用反馈机制的决定通知下行链路P-GW 1413。消息8-9可以具有以下信息:(1)上行链路P-GW的地址;(2)下行链路P-GW的地址;(3)上行链路eNB的地址;(4)下行链路eNB的地址;(5)UE发送方的地址;(6)UE接收方的地址;(7)应用类型;以及(8)消息ID。
下行链路P-GW 1413回复ACK 8-10,所述ACK 8-10可以包含与包含在消息8-9中相同的信息类型。附加地,其可以包含自有的消息ID。
注意到,在两个UE位于相同的LTE/SAE网络中的情况下,消息8-1、8-2、8-9和8-10将不被使用。
上行链路和下行链路P-GW 1409和1412可以分别发送消息9-a和9-b至进行发送和进行接收的eNB 1401和1423以指示用于检测在各自无线链路上的分组丢失的反馈机制是否将被启用。
在一种实施方式中,对于上行链路一直启用反馈。另一方面,对于下行链路,决定应该取决于考虑中的无线下行链路和发送方UE 1401(视频编码器位于的位置)之间的实际延迟。
然后,P-GW 1409、1413分别启动建立EPS承载,并且根据从PCRF接收到的PCC规则分派QoS等级至EPS承载。图14A和14B中将一系列事件分别标识为针对上行链路和下行链路网络的10-a和10-b。
最后,如果发送方UE 1401发送视频分组,该视频分组将在LTE/SAE网络中以新的QoS等级服务。图14A和14B中分别将这些事件标识为11-a和11-b。
可替换地,可以使用基于应用功能的方法。例如,在DPI方法中,使用加密可以使得其对于P-GW较为复杂地从传递视频分组中获得信息,所述视频分组需要来确定期望的QoS等级。在基于应用功能的方法中,P-GW不检查数据(视频)分组。相反,应用功能从由UE使用的应用提取必要的信息并且将该信息传送给PCRF。例如,应用功能可以为在IMS系统中使用的P-CSCF(代理呼叫服务控制功能)。应用信令可以由SIP传载。SIP INVITE(SIP邀请)分组(RFC 3261)载荷可以包含会话描述协议(SDP)(RFC 2327)分组,所述分组转而包含将由多媒体会话使用的参数。
在一些实施方式中,SDP分组的属性被定义成描述针对上行链路业务和下行链路业务的期望QoS等级以及用于触发分组丢失检测反馈机制的阈值。例如,根据SDP语法(RFC 2327):
a=uplinkLoss:2e-3
a=downlinkLoss:1e-3
a=maxFeedbackDelay:2e-1
以上意思为:
o可容忍的上行链路分组丢失为2x10-3。
o可容忍的下行链路分组丢失为1x10-3
o针对任何分组丢失检测的最大反馈延迟为2x10-1秒(sec)或者200ms。
图15A和15B中描述了根据基于应用功能的方法的一个示例性实施方式的信令和操作。许多变形为可能的。
上行链路UE 1501发送应用分组,所述应用分组可以为以上描述的具有由上行链路UE定义的属性的SIP INVITE分组。该分组通过LTE/SAE网络二者。这些事件分别在上行链路和下行链路网络中标识为21-a和21-b。
在上行链路和下行链路网络中的每一个的AF 1505和1521从应用分组提取应用信息以及可能的QoS参数。这些事件被分别标识为22-a和22-b。
AF 1505和1521分别发送所提取的应用信息以及QoS信息至其各自的PCRF 1507和1519,如23-a和23-b所示。
如在图14A和14B的基于DPI的实施方式中,PCRF 1507、1519联系其各自的SPR 1509和1517来获得与所检测的SDF的UE有关的订阅信息,如24-a和24-b所示,并且SPR 1509和1517回复订阅信息,如25-a和25-b所示。
然后,使用上行链路网络作为示例,如果QoS参数被指定,PCRF 1507将查找针对该SDF的匹配QoS等级(例如,QCI值),如26-1-a所示,并且可以发送消息26-2-a至UE 1501从而对其通知QoS请求的结果。否则,PCRF将推导QoS等级。
如由操作26-1-b所示,相同的发生在下行链路消息中,其中PCRF 1519查找匹配的QoS等级并且发送消息26-2-b至下行链路UE 1525以对其通知QoS请求的结果。
消息26-2-a和26-2-b可以具有以下信息:(1)UE地址;(2)SDF标识符,例如,目的IP地址、源端口号、目的端口号、协议号;(3)QoS请求是否被接受;以及(4)如果拒绝QoS请求,推荐使用的QoS。
剩余的信令和操作27-a,27-b,28-1,28-2,28-3,28-4,28-5,28-6,28-7,28-8,29-a,29-b,30-a,30-b,31-a和31-b主要与图14A-14B中对应的信令和操作(也就是分别为7-a,7-b,8-1,8-2,8-3,8-4,8-5,8-6,8-7,8-8,8-9-a,8-9-b,10-a,10-b,11-a和11-b)相同。
用于在远程链路处预防差错传播的转码还可以被用在一些实施方式中,包括在远程基站处的RPS或者RSPS操作。图16中说明了描述该方法的实施方式的系统图。
类似于图1中所示的系统,图16的系统中,从第一UE 1618至第二UE1624的视频的传输可以涉及一些通信链路,包括诸如,第一使用者的UE1618和本地基站(eNB)1620之间的第一或者“本地”无线链路1615,从eNB 1620至第一网络的无线网络网关1630的链路以及从eNB 1620至第一网络的无线网络网关1630的链路,以及由此经由因特网1628至远程网络的网关1632以及在该远程网络中至eNB 1622并且通过无线链路1623至第二使用者的UE 1624。
在上文中描述的用于分组丢失的早期检测和差错传播减少的技术可以如之上讨论的在本地无线链路1615处使用并且通常被图16中的线1626表示。然而,远程无线链路1623和源UE 1618之间的传输延迟在很多情况下太长而不能简单地扩展这些技术至远程链路。
在这些情况下,类似于以上描述的主要连接本地无线链路的早期分组丢失检测和差错传播减少技术可以应用在远程链路1623。然而,在这些实施方式中,远程基站将其接收的视频分组的转码执行为在远程基站1622和接收UE 2624之间执行输入并且编码操作。在图16中由线1626表示这些操作。
在一些实施方式中,只有如果以及当分组被丢失时,在远程基站1622处的转码可以被调用。在没有分组丢失的情况下,基站1622可以简单地通过无线链路1623发送RTP分组的进入序列至UE 1624。
然后,当检测到分组丢失时,基站可以通过开始转码的方式预防丢失传播。在一种实施方式中,当检测到分组丢失,基站1622通过使用RPS或者RSPS将下一个帧/分组转码为最近成功传送的帧。为了防止重影,参考之前被成功传送的帧,跟随丢失帧的帧(直到接收到下一个IDR帧)被转码为P图片。在该转码过程中,许多编码参数,诸如QP等级,宏块类型以及运动向量可以被保持完整或者被用作好的开始点来简化决定过程并且维护该过程中相对较低的复杂度。
与本地链路1615上的RPS/RSPS(见,诸如1616)耦合,该技术应该足以减少由无线链路引进的差错。整个RTCP反馈仍然可以被用来处理当分组被延迟或者由于在通信链的有线部分上的拥塞而丢失时的情况。
如以上所示,早期分组丢失检测方法可以被用作用于改进视频电话应用的传送质量的补充技术。其还可以被用作用于改进基于RTSP/RTP的流应用的性能的独立技术。图17中示出了一种这样的架构。在图17的示例中,数据在诸如视频摄像机1756处的源节点处生成。该数据在编码器1754处被编码并且上传至内容数据网络(CDN)1752。流服务器1750采用来自CDN 1752的数据并且通过因特网1728将该数据流送至LTE/SAE网络的网关1730。如之前所讨论,网关1730传送该数据至诸如eNB 1720的基站,所述基站通过无线链路1715传送该数据至进行接收的UE 1718。类似视频会议或者VoIP应用,RTSP流服务器通过RTP发送视频数据。此外,该数据会在远程基站1730和进行接收的设备1718之间的下行链路处丢失。如在图17中可以看出,通过RTCP的常规信令涉及多个网络和分段并且可以引起显著的延迟。在基站1720和接收机1718之间使用转码和分组丢失检测和RPS或者RSPS功能性(由线1718表示)应该减少由如上文描述的分组丢失引起的差错传播。
在许多情况下,基站1720中的转码器甚至不需要知道其处理的应用或者流的类型。该转码器可以仅解析报头来检测RTP和视频内容,并且检查其是否被成功传送。如果未被成功传送,其可以调用转码来使差错传播最小化而无需知道应用数据的类型。
不像视频会议或者VoIP,流系统可以容忍延迟并且从原理上,使用RTCP或者私有协议来实现应用层ARQ(以及丢失分组的附加重传)。为了防止该重传,转码器可以附加地生成并且发送具有对应于丢失分组的序列号的延迟的RTP分组。该分组可以不包含载荷或者包含透明的(所有跳跃模式)P帧。
图18A是可以在其中实施一个或者多个所公开的实施方式的示例通信系统100的图例。通信系统100可以是将诸如语音、数据、视频、消息、广播等之类的内容提供给多个无线用户的多接入系统。通信系统100可以通过系统资源(包括无线带宽)的共享使得多个无线用户能够访问这些内容。例如,通信系统100可以使用一个或多个信道接入方法,例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)等等。
如图18A所示,通信系统100可以包括无线发射/接收单元(WTRU)102a,102b,102c,102d、无线电接入网络(RAN)104、核心网络106、公共交换电话网(PSTN)108、因特网110和其他网络112,但可以理解的是所公开的实施方式可以涵盖任意数量的WTRU、基站、网络和/或网络元件。WTRU 102a,102b,102c,102d中的每一个可以是被配置成在无线通信中操作和/或通信的任何类型的装置。作为示例,WTRU 102a,102b,102c,102d可以被配置成发射和/或接收无线信号,并且可以包括用户设备(UE)、移动站、固定或移动订户单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、便携式电脑、上网本、个人计算机、无线传感器、消费电子产品等等。
通信系统100还可以包括基站114a和基站114b。基站114a,114b中的每一个可以是被配置成与WTRU 102a,102b,102c,102d中的至少一者无线交互,以便于接入一个或多个通信网络(例如核心网络106、因特网110和/或网络112)的任何类型的装置。例如,基站114a,114b可以是基站收发信站(BTS)、节点B、e节点B、家用节点B、家用e节点B、站点控制器、接入点(AP)、无线路由器等等。尽管基站114a,114b每个均被描述为单个元件,但是可以理解的是基站114a,114b可以包括任何数量的互联基站和/或网络元件。
基站114a可以是RAN 104的一部分,该RAN 104还可以包括诸如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等之类的其他基站和/或网络元件(未示出)。基站114a和/或基站114b可以被配置成发射和/或接收特定地理区域内的无线信号,该特定地理区域可以被称作小区(未示出)。小区还可以被划分成小区扇区。例如与基站114a相关联的小区可以被划分成三个扇区。由此,在一种实施方式中,基站114a可以包括三个收发信机,即针对所述小区的每个扇区都有一个收发信机。在另一实施方式中,基站114a可以使用多输入多输出(MIMO)技术,并且由此可以使用针对小区的每个扇区的多个收发信机。
基站114a,114b可以通过空中接口116与WTRU 102a,102b,102c,102d中的一者或多者通信,该空中接口116可以是任何合适的无线通信链路(例如无线电频率(RF)、微波、红外(IR)、紫外(UV)、可见光等)。空中接口116可以使用任何合适的无线电接入技术(RAT)来建立。
更为具体地,如前所述,通信系统100可以是多接入系统,并且可以使用一个或多个信道接入方案,例如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等等。例如,在RAN 104中的基站114a和WTRU 102a,102b,102c可以实施诸如通用移动电信系统(UMTS)陆地无线电接入(UTRA)之类的无线电技术,其可以使用宽带CDMA(WCDMA)来建立空中接口116。WCDMA可以包括诸如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)。HSPA可以包括高速下行链路分组接入(HSDPA)和/或高速上行链路分组接入(HSUPA)。
在另一实施方式中,基站114a和WTRU 102a,102b,102c可以实施诸如演进型UMTS陆地无线电接入(E-UTRA)之类的无线电技术,其可以使用长期演进(LTE)和/或高级LTE(LTE-A)来建立空中接口116。
在其他实施方式中,基站114a和WTRU 102a,102b,102c可以实施诸如IEEE 802.16(即全球微波互联接入(WiMAX))、CDMA2000、CDMA20001x、CDMA2000 EV-DO、临时标准2000(IS-2000)、临时标准95(IS-95)、临时标准856(IS-856)、全球移动通信系统(GSM)、增强型数据速率GSM演进(EDGE)、GSM EDGE(GERAN)等等之类的无线电技术。
举例来讲,图18A中的基站114b可以是无线路由器、家用节点B、家用e节点B或者接入点,并且可以使用任何合适的RAT,以用于促进在诸如公司、家庭、车辆、校园等等之类的局部区域的通信连接。在一种实施方式中,基站114b和WTRU 102c,102d可以实施诸如IEEE 802.11之类的无线电技术以建立无线局域网络(WLAN)。在另一实施方式中,基站114b和WTRU 102c,102d可以实施诸如IEEE 802.15之类的无线电技术以建立无线个人局域网络(WPAN)。在又一实施方式中,基站114b和WTRU 102c,102d可以使用基于蜂窝的RAT(例如WCDMA、CDMA2000、GSM、LTE、LTE-A等)以建立微微小区(picocell)和毫微微小区(femtocell)。如图18A所示,基站114b可以具有至因特网110的直接连接。由此,基站114b不必经由核心网络106来接入因特网110。
RAN 104可以与核心网络106通信,该核心网络可以是被配置成将语音、数据、应用和/或网际协议上的语音(VoIP)服务提供到WTRU 102a,102b,102c,102d中的一者或多者的任何类型的网络。例如,核心网络106可以提供呼叫控制、账单服务、基于移动位置的服务、预付费呼叫、网际互联、视频分配等,和/或执行高级安全性功能,例如用户验证。尽管图18A中未示出,需要理解的是RAN 104和/或核心网络106可以直接或间接地与其他RAN进行通信,这些其他RAT可以使用与RAN 104相同的RAT或者不同的RAT。例如,除了连接到可以采用E-UTRA无线电技术的RAN 104,核心网络106也可以与使用GSM无线电技术的其他RAN(未示出)通信。
核心网络106也可以用作WTRU 102a,102b,102c,102d接入PSTN 108、因特网110和/或其他网络112的网关。PSTN 108可以包括提供普通老式电话服务(POTS)的电路交换电话网络。因特网110可以包括互联计算机网络的全球系统以及使用公共通信协议的装置,所述公共通信协议例如传输控制协议(TCP)/网际协议(IP)因特网协议套件的中的TCP、用户数据报协议(UDP)和IP。网络112可以包括由其他服务提供方拥有和/或操作的无线或有线通信网络。例如,网络112可以包括连接到一个或多个RAN的另一核心网络,这些RAN可以使用与RAN 104相同的RAT或者不同的RAT。
通信系统100中的WTRU 102a,102b,102c,102d中的一些或者全部可以包括多模式能力,即WTRU 102a,102b,102c,102d可以包括用于通过多个通信链路与不同的无线网络进行通信的多个收发信机。例如,图18A中显示的WTRU 102c可以被配置成与使用基于蜂窝的无线电技术的基站114a进行通信,并且与使用IEEE 802无线电技术的基站114b进行通信。
图18B是示例WTRU 102的系统框图。如图18B所示,WTRU 102可以包括处理器118、收发信机120、发射/接收元件122、扬声器/麦克风124、键盘126、显示屏/触摸板128、不可移除存储器130、可移除存储器132、电源134、全球定位系统芯片组136和其他外围设备138。需要理解的是,在与以上实施方式一致的同时,WTRU 102可以包括上述元件的任何子组合。
处理器118可以是通用目的处理器、专用目的处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、其他任何类型的集成电路(IC)、状态机等。处理器118可以执行信号编码、数据处理、功率控制、输入/输出处理和/或使得WTRU 102能够操作在无线环境中的其他任何功能。处理器118可以耦合到收发信机120,该收发信机120可以耦合到发射/接收元件122。尽管图18B中将处理器118和收发信机120描述为独立的组件,但是可以理解的是处理器118和收发信机120可以被一起集成到电子封装或者芯片中。
发射/接收元件122可以被配置成通过空中接口116将信号发射到基站(例如基站114a),或者从基站(例如基站114a)接收信号。例如,在一种实施方式中,发射/接收元件122可以是被配置成发射和/或接收RF信号的天线。在另一实施方式中,发射/接收元件122可以是被配置成发射和/或接收例如IR、UV或者可见光信号的发射器/检测器。在又一实施方式中,发射/接收元件122可以被配置成发射和接收RF信号和光信号两者。需要理解的是发射/接收元件122可以被配置成发送和/或接收无线信号的任意组合。
此外,尽管发射/接收元件122在图18B中被描述为单个元件,但是WTRU 102可以包括任何数量的发射/接收元件122。更特别地,WTRU 102可以使用MIMO技术。由此,在一种实施方式中,WTRU 102可以包括两个或更多个发射/接收元件122(例如多个天线)以用于通过空中接口116发射和接收无线信号。
收发信机120可以被配置成对将由发射/接收元件122发送的信号进行调制,并且被配置成对由发射/接收元件122接收的信号进行解调。如上所述,WTRU 102可以具有多模式能力。由此,收发信机120可以包括多个收发信机以用于使得WTRU 102能够经由多RAT进行通信,例如UTRA和IEEE802.11。
WTRU 102的处理器118可以被耦合到扬声器/麦克风124、键盘126和/或显示屏/触摸板128(例如,液晶显示(LCD)单元或者有机发光二极管(OLED)显示单元),并且可以从上述装置接收用户输入数据。处理器118还可以向扬声器/麦克风124、键盘126和/或显示屏/触摸板128输出数据。此外,处理器118可以访问来自任何类型的合适的存储器中的信息,以及向任何类型的合适的存储器中存储数据,所述存储器例如可以是不可移除存储器130和/或可移除存储器132。不可移除存储器130可以包括随机接入存储器(RAM)、可读存储器(ROM)、硬盘或者任何其他类型的存储器存储装置。可移除存储器132可以包括用户标识模块(SIM)卡、记忆棒、安全数字(SD)存储卡等类似装置。在其他实施方式中,处理器118可以访问来自物理上未位于WTRU 102上而位于服务器或者家用计算机(未示出)上的存储器的数据,以及向上述存储器中存储数据。
处理器118可以从电源134接收功率,并且可以被配置成将功率分配给WTRU 102中的其他组件和/或对至WTRU 102中的其他组件的功率进行控制。电源134可以是任何适用于给WTRU 102加电的装置。例如,电源134可以包括一个或多个干电池(镍镉(NiCd)、镍锌(NiZn)、镍氢(NiMH)、锂离子(Li-ion)等)、太阳能电池、燃料电池等。
处理器118还可以耦合到GPS芯片组136,该GPS芯片组136可以被配置成提供关于WTRU 102的当前位置的位置信息(例如经度和纬度)。作为来自GPS芯片组136的信息的补充或者替代,WTRU可以通过空中接口116从基站(例如基站114a,114b)接收位置信息,和/或基于从两个或更多个相邻基站接收到的信号的定时来确定其位置。需要理解的是,在与实施方式一致的同时,WTRU可以通过任何合适的位置确定方法来获取位置信息。
处理器118还可以耦合到其他外围设备138,该外围设备138可以包括提供附加特征、功能性和/或无线或有线连接的一个或多个软件和/或硬件模块。例如,外围设备138可以包括加速度计、电子指南针(e-compass)、卫星收发信机、数码相机(用于照片或者视频)、通用串行总线(USB)端口、震动装置、电视收发信机、免持耳机、模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏播放器模块、因特网浏览器等等。
图18C为根据一种实施方式的RAN 104和核心网络106的系统框图。如上所述,RAN 104可以使用UTRA无线电技术通过空中接口116与WTRU102a、102b和102c通信。RAN 104还可以与核心网络106通信。如图18C所示,RAN 104可以包含节点B 140a、140b、140c,其中节点B 140a、140b、140c每个可以包含一个或多个收发信机,该收发信机通过空中接口116来与WTRU 102a、102b、102c通信。节点B 140a、140b、140c中的每个可以与RAN104范围内的特定单元(未示出)相关联。RAN 104还可以包括RNC142a、142b。应该理解的是RAN 104可以包含任意数量的节点B和RNC而仍然与实施方式保持一致。
如图18C所示,节点B 140a、140b可以与RNC 142a进行通信。此外,节点B 140c可以与RNC 142b进行通信。节点B 140a、140b、140c可以通过Iub接口与对应的RNC 142a、142b进行通信。RNC 142a、142b可以通过Iur接口相互进行通信。RNC 142a、142b可以分别被配置成控制与其连接的对应的节点B 140a、140b、140c。此外,RNC 142a、142b可以分别被配置成实施或者支持其它功能,诸如外环功率控制、负载控制、准许控制、分组调度、切换控制、宏分集、安全性功能、数据加密等等。
图18C中所示的核心网络106可以包括媒体网关(MGW)144、移动交换中心(MSC)146、服务GPRS支持节点(SGSN)148,和/或网关GPRS支持节点(GGSN)150。尽管上述元素中的每个被描述为核心网络106的一部分,但是应该理解的是这些元素中的任何一个可以被除了核心网络运营商以外的实体拥有和/或运营。
RAN 104中的RNC 142a可以通过IuCS接口被连接至核心网络106中的MSC 146。MSC 146可以被连接至MGW 144。MSC 146和MGW 144可以向WTRU 102a、102b、102c提供至电路交换网络(例如PSTN 108)的接入,从而便于WTRU 102a、102b、102c与传统陆线通信设备之间的通信。
RAN 104中的RNC 142a还可以通过IuPS接口被连接至核心网络106中的SGSN 148。SGSN 148可以被连接至GGSN 150中。SGSN 148和GGSN150可以向WTRU 102a、102b、102c提供至分组交换网络(例如因特网110)的接入,从而便于WTRU 102a、102b、102c与IP使能设备之间的通信。
如以上所述,核心网络106还可以连接至其它网络112,其中所述其它网络112可以包含被其他服务提供商拥有和/或运营的其他有线或无线网络。
图18D是根据另一实施方式的RAN 104和核心网络106的系统图。如上所述,RAN 104可以使用E-UTRA无线电技术通过空中接口116与WTRU102a、102b、102c进行通信。RAN 104还可以与核心网络106进行通信。
RAN 104可以包括e节点B 160a、160b、160c,尽管应该理解的是RAN104可以包含任意数量的e节点B而仍然与实施方式保持一致。e节点B 160a、160b、160c每个可以包含一个或多个收发信机,该收发信机通过空中接口116来与WTRU 102a、102b、102c通信。在一种实施方式中,e节点B 160a、160b、160c可以使用MIMO技术。由此,例如e节点B 160a可以使用多个天线来传送无线信号至WTRU 102a并且从WTRU 102a中接收无线信息。
e节点B 160a、160b、160c中的每个可以与特定单元(未示出)相关联并且可以被配置成在上行链路和/或下行链路中处理无线电资源管理决定、切换决定、用户调度等等。如图18D中所示,e节点B 160a、160b、160c可以通过X2接口彼此进行通信。
图18D中所示的核心网络106可以包括移动性管理网关(MME)162、服务网关164和分组数据网络(PDN)网关166。尽管上述元素中的每个被描述为核心网络106的一部分,但是应该理解的是这些元素中的任何一个可以被除了核心网络运营商以外的实体拥有和/或运营。
MME 162可以通过S1接口被连接到RAN 104中的e节点B 160a、160b、160c中的每个并且可以作为控制节点。例如,MME 162可以负责认证WTRU102a、102b、102c的用户、承载激活/去激活、在WTRU 102a、102b、102c的初始连接期间选择特定服务网关,等等。MME 162也可以为RAN 104与使用其他无线电技术(例如GSM或WCDMA)的RAN(未示出)之间的交换提供控制平面功能。
服务网关164可以通过S1接口被连接到RAN 104中的e节点B 160a、160b、160c的每个。服务网关164通常可以路由和转发用户数据分组至WTRU 102a、102b、102c,或者路由和转发来自WTRU 102a、102b、102c的用户数据分组。服务网关164也可以执行其他功能,例如在e节点B间切换期间锚定用户平面、当下行链路数据可用于WTRU 102a、102b、102c时触发寻呼、为WTRU 102a、102b、102c管理和存储上下文等等。
服务网关164也可以被连接到PDN网关166,该网关166可以向WTRU102a、102b、102c提供至分组交换网络(例如因特网110)的接入,从而便于WTRU 102a、102b、102c与IP使能设备之间的通信。
核心网络106可以促进与其他网络之间的通信。例如,核心网络106可以向WTRU 102a、102b、102c提供至电路交换网络(例如PSTN 108)的接入,从而便于WTRU 102a、102b、102c与传统陆线通信设备之间的通信。例如,核心网络106可以包括,或可以与下述通信:作为核心网络106和PSTN 108之间接口的IP网关(例如,IP多媒体子系统(IMS)服务)。另外,核心网络106可以向提供WTRU 102a、102b、102c至网络112的接入,该网络112可以包含被其他服务提供商拥有和/或运营的其他有线或无线网络。
图18E是根据另一实施方式的RAN 104和核心网络106的系统图例。RAN 104可以使用IEEE 802.16无线电技术通过空中接口116与WTRU102a、102b、102c进行通信。正如下文将继续讨论的,WTRU 102a、102b、102c、RAN 104和核心网络106的不同功能实体之间的通信线路可以被定义为参考点。
如图18E所示,RAN 104可以包括基站170a、170b、170c和ASN网关172,尽管应该理解的是RAN 104可以包含任意数量的基站和ASN网关而仍然与实施方式保持一致。基站170a、170b、170c分别与RAN 104中的特定单元(未示出)相关联,并且可以分别包括一个或多个收发信机,该收发信机通过空中接口116来与WTRU 102a、102b、102c通信。在一种实施方式中,基站170a、170b、170c可以使用MIMO技术。由此,例如基站170a可以使用多个天线来传送无线信号至WTRU 102a并且从WTRU 102a中接收无线信息。基站170a、170b、170c还可以提供移动性管理功能,例如越区切换触发、隧道建立、无线电资源管理、业务分类、服务质量(QoS)策略执行,等等。ASN网关172可以作为业务汇聚点且可以负责用户配置文件的寻呼、缓存、路由到核心网络106,等等。
WTRU 102a、102b、102c与RAN 104之间的空中接口116可以被定义为执行IEEE 802.16规范的R1参考点。另外,WTRU 102a、102b、102c中的每个可以建立与核心网络106间的逻辑接口(未示出)。WTRU 102a、102b、102c与核心网络106间的逻辑接口可以被定义为R2参考点,可以被用来认证、授权、IP主机配置管理、和/或移动管理。
基站170a、170b、170c中的每个之间的通信链路可以被定义为包括用于便于WTRU切换和基站之间的数据传输的协议的R8参考点。基站170a、170b、170c和ASN网关172之间的通信链路可以被定义为R6参考点。R6参考点可以包括用于便于基于与每个WTRU 102a、102b、102c相关的移动事件的移动管理的协议。
如图18E所示,RAN 104可以被连接到核心网络106。RAN 104和核心网络106之间的通信链路可以被定义为例如包括用于便于数据传输和移动管理能力的协议的R3参考点。核心网络106可以包括移动IP本地代理(MIP-HA)174,验证、授权、计费(AAA)服务176和网关178。尽管每个上述元素被描述为核心网络106的一部分,但是应该理解的是这些元素中的任意一个可以被除了核心网络运营商以外的实体拥有和/或运营。
MIP-HA 174可以负责IP地址管理,且可以使得WTRU 102a、102b、102c在不同的ASN和/或不同的核心网络之间漫游。MIP-HA 174可以向WTRU 102a、102b、102c提供至分组交换网络(例如因特网110)的接入,从而便于WTRU 102a、102b、102c和IP使能设备之间的通信。AAA服务器176可以负责用户认证和支持用户服务。网关178可以促进与其他网络之间的交互工作。例如,网关178可以向WTRU 102a、102b、102c提供至电路交换网络(例如PSTN 108)的接入,从而便于WTRU 102a、102b、102c与传统陆线通信设备之间的通信。另外,网关178可以向WTRU 102a、102b、102c提供至网络112的接入,该网络112可以包含被其他服务提供商拥有和/或运营的其他有线或无线网络。
虽然在图18E中未示出,应该理解的是RAN 104可以被连接到其他ASN且核心网络106可以被连接到其他核心网络。RAN 104和其他ASN之间的通信链路可以被定义为R4参考点,该R4参考点可以包括用于协调RAN 104和其他ASN之间的WTRU 102a、102b、102c移动性的协议。核心网络106和其他核心网络之间的通信链路可以被定义为R5参考点,该R5参考点可以包括用于便于本地核心网络和受访核心网络之间的交互工作的协议。
各种缩略词、术语和缩写词已经在此处使用并且可以包括以下中的一些:
ACK        应答
AF         应用功能
DPI        深度分组检查
AM         应答模式
DPI        深度分组检查
IP         网际协议
I-frame    帧内帧
IDR frame  即时解码刷新帧
LTE        长期演进,蜂窝系统标准
MAC        媒介接入控制,LTE PHY之上的子层
MB         宏块
MMCO       内存管理控制操作
NACK       否定应答
NAL        网络抽象层,视频编码器输出格式
PDCP       分组数据控制协议,LTE RLC之上的子层
PDU        协议数据单元
P-frame    预测帧
P-GW       PDN 网关
PHY        LTE物理层
PCC        LTE中的策略和收费控制
PCRF       策略收费和规则功能
PCEF       策略收费执行功能
PDN        分组数据网络(通常-通过P-GW连接到LTE的外部网络)
QCI        QoS类别标识符(9个值,在LTE中定义)
QoS         服务质量
RLC         无线电链路控制,LTE PDCP和MAC之间的子层
RPS         参考图片刷新
RTCP        实时控制协议
RTP         实时传输协议,应用层协议
SAE         系统架构演进
SDF         服务数据流
SDP         会话描述协议
SDU         服务数据单元
SIP         会话发起协议
SN          序列号
TCP         传输控制协议,传输层协议
TM          透明模式
UDP         用户数据报文协议,传输层协议
UM          非应答模式
实施例
在一种实施方式中,一种用于实现通过网络传送视频数据的方法,该方法包括:在无线发射接收单元(WTRU)处接收无线分组丢失数据;从所述无线分组丢失数据确定视频分组丢失数据;以及将所述视频分组丢失数据提供给在WTRU上运行的视频编码器应用以在编码视频数据中使用。
根据所述实施方式,所述方法还可以包括:所述视频编码器响应于所述视频分组丢失数据执行差错传播减少进程。
前述实施方式的一者或者多者还可以包括:其中所述差错传播减少进程包括生成即时解码刷新帧。
前述实施方式的一者或者多者还可以包括:其中所述差错传播减少进程包括生成帧内刷新帧。
前述实施方式的一者或者多者还可以包括:其中所述差错传播减少进程包括使用参考图片选择方法生成已编码视频。
前述实施方式的一者或者多者还可以包括:其中所述差错传播减少进程包括使用图片参考集选择方法生成已编码视频。
前述实施方式的一者或者多者还可以包括:其中所述差错传播减少进程包括使用基于所述分组丢失指示数据选择的一个或多个参考图片生成已编码视频。
前述实施方式的一者或者多者还可以包括:其中所述差错传播减少进程包括:生成帧内刷新帧或者即时解码刷新帧;使用P预测的编码方式生成已编码视频;以及一方面选择帧内刷新帧或者即时解码刷新帧的一者以及选择对于传输的使用P预测的编码方式的已编码视频。
前述实施方式的一者或者多者还可以包括:其中所述无线分组丢失数据由基站提供给无线发射接收单元(WTRU)。
前述实施方式的一者或者多者还可以包括:其中所述无线分组丢失数据在无线电链路控制(RLC)协议层处生成。
前述实施方式的一者或者多者还可以包括:其中将所述视频分组使用实时协议(RTP)传输。
前述实施方式的一者或者多者还可以包括:其中无线传输协议为LTE。
前述实施方式的一者或者多者还可以包括:其中所述RLC层以应答方式操作。
前述实施方式的一者或者多者还可以包括:其中在应答方式中所述ARQ重传数被设置为零。
前述实施方式的一者或者多者还可以包括:其中maxRetxThreshold被设置为零。
前述实施方式的一者或者多者还可以包括:其中从接收自基站的RLC状态PDU获得所述无线分组丢失数据。
前述实施方式的一者或者多者还可以包括:其中所述无线分组丢失数据被从MAC发射机本地生成。
前述实施方式的一者或者多者还可以包括:其中通过识别PDCP分组的报头中的PDCP序列号来确定所述视频分组丢失数据。
前述实施方式的一者或者多者还可以包括:其中所述RLC层以非应答方式进行操作。
前述实施方式的一者或者多者还可以包括:其中所述无线分组丢失数据包括NACK消息。
前述实施方式的一者或者多者还可以包括:其中所述NACK消息与上行链路传输同步。
前述实施方式的一者或者多者还可以包括:其中从使用分组数据会聚协议(PDCP)序列号的映射生成所述视频分组丢失数据。
前述实施方式的一者或者多者还可以包括:其中确定所述视频分组丢失数据包括使用从RLC中的实时协议(RTP)序列号到PDCP PDU序列号的映射。
前述实施方式的一者或者多者还可以包括:其中所述映射包括使用查表进程。
前述实施方式的一者或者多者还可以包括:其中确定所述视频分组丢失数据还包括将所述PDCP PDU序列号映射到IP地址、端口号和RTP序列号。
前述实施方式的一者或者多者还可以包括:其中确定所述视频分组丢失数据还包括在所述PDCP PDU上执行深度分组检查。
前述实施方式的一者或者多者还可以包括:其中将所述PDCP PDU序列号映射到IP地址、端口号和RTP序列号包括使用PDCP PDU序列号查找表。
前述实施方式的一者或者多者还可以包括:将所述RTP序列号映射至NAL分组标识符。
前述实施方式的一者或者多者还可以包括:其中将所述RTP序列号映射至NAL分组标识符包括使用RTP序列号至NAL分组标识符查找表。
前述实施方式的一者或者多者还可以包括:其中使用RLC分段器来建立所述PDCP PDU序列号查找表。
前述实施方式的一者或者多者还可以包括:其中确定视频分组丢失数据包括从RLC分组至PDCP序列号至RTP序列号至NAL的映射。
前述实施方式的一者或者多者还可以包括:其中使用从无线电链路控制(RLC)序列号的映射从所述无线分组丢失数据生成所述视频分组丢失数据。
前述实施方式的一者或者多者还可以包括:其中所述方法在网络环境中实施,该网络环境至少包括所述WTRU和所述视频数据的目的地之间的下行链路无线链路和上行链路无线链路,所述下行链路无线链路被安排的比所述上行链路无线链路离所述WTRU近,并且其中所述无线分组丢失数据属于所述下行链路无线链路,该方法还包括:在所述远程无线链路中实施比在所述本地无线链路中高的QoS。
前述实施方式的一者或者多者还可以包括:其中所述方法为所述网络确定针对远程无线链路的QoS等级。
前述实施方式的一者或者多者还可以包括:其中所述方法在网络环境中实施,该网络环境至少包括所述WTRU和上行链路基站之间的下行链路无线链路以及下行链路基站和视频数据的目的接收方之间的上行链路无线链路,所述下行链路无线链路被安排的比所述上行链路无线链路离所述WTRU近,并且其中所述无线分组丢失数据属于所述下行链路无线链路,该方法还包括:所述网络确定是否生成属于所述下行链路无线链路的附加无线分组丢失数据。
前述实施方式的一者或者多者还可以包括:其中确定是否生成属于远程无线链路的附加无线分组丢失数据包括确定所述WTRU和所述下行链路无线链路之间的数据传输延迟。
前述实施方式的一者或者多者还可以包括:其中确定是否生成属于下行链路无线链路的附加无线分组丢失数据还包括确定使用深度分组检查(DPI)的视频分组数据的应用类型。
前述实施方式的一者或者多者还可以包括:其中确定是否生成属于所述下行链路无线链路的附加无线分组丢失数据包括:所述WTRU通过所述网络发送视频分组;执行DPI以检测所述视频分组数据的服务数据流(SDF)从而确定与所述视频分组数据对应的应用类型;所述上行链路基站发送延迟测试分组至所述下行链路基站;所述下行链路基站响应于接收到所述延迟测试分组而发送ACK消息至所述上行链路基站;所述上行链路基站计算所述上行链路基站和所述下行链路基站之间的延迟;所述上行链路基站发送延迟报告消息至网络网关;所述网络网关至少部分基于所述延迟报告消息决定是否生成属于所述远程无线链路的无线分组丢失数据;以及所述网关发送指示是否生成属于所述远程无线链路的附加无线分组丢失数据的消息至所述下行链路基站。
前述实施方式的一者或者多者还可以包括:其中所述延迟测试分组至少包含:(1)上行链路基站的网络地址,(2)下行链路eNB的网络地址,和(3)时间戳。
前述实施方式的一者或者多者还可以包括:其中所述ACK消息包含:(1)上行链路基站的网络地址,(2)下行链路基站的网络地址,(3)当生成ACK时的时间戳以及(4)从延迟测试分组复制时间戳。
前述实施方式的一者或者多者还可以包括:在网络中的网关发送请求消息至上行链路基站以请求上行链路基站发送延迟测试分组至下行链路基站;以及其中所述通过上行链路基站发送延迟测试分组是响应于从网关中接收所述请求消息而被执行。
前述实施方式的一者或者多者还可以包括:其中所述延迟测试分组为ICMP Ping消息。
前述实施方式的一者或者多者还可以包括:其中所述确定是否生成属于下行链路无线链路的附加无线分组丢失数据还包括使用应用功能进程确定视频分组数据的应用类型。
前述实施方式的一者或者多者还可以包括:其中所述确定是否生成属于下行链路无线链路的附加无线分组丢失数据包括:WTRU通过网络发送应用分组至接收节点;在网络中的应用功能(AF)从应用分组提取应用信息;所述AF在网络中发送所提取的应用信息至策略收费和规则功能(PCRF);所述PCRF确定对应于视频数据的应用类型,根据应用类型确定针对视频的QoS参数并且发送QoS参数至在网络中的网关;所述上行链路基站发送延迟测试分组至下行链路基站;所述下行链路基站响应于接收延迟测试分组发送ACK消息至上行链路基站;所述上行链路基站计算上行链路基站和下行链路基站之间的延迟;所述上行链路基站发送延迟报告消息至网络网关;所述网络网关至少部分基于延迟报告和从PCRF中接收到的QoS参数确定是否生成属于远程无线链路的附加无线分组丢失数据并且所述网关发送消息至下行链路基站以指示是否生成属于远程无线链路的附加无线分组丢失数据。
前述实施方式的一者或者多者还可以包括:其中所述应用功能为P-CSCF(代理呼叫服务控制功能)。
前述实施方式的一者或者多者还可以包括:其中所述应用分组为会话发起协议(SIP)邀请(INVITE)分组。
前述实施方式的一者或者多者还可以包括:存储指示针对至少一种特定类型的应用将被用于上行链路业务和下行链路业务的QoS等级的策略;所述网络确定视频编码器的应用类型;以及所述网络根据策略和所述视频编码器的应用类型设置针对所述下行链路无线链路的QoS等级和针对所述上行链路无线链路的QoS等级。
前述实施方式的一者或者多者还可以包括:其中对于每个应用下行链路QoS高于上行链路QoS。
前述实施方式的一者或者多者还可以包括:其中所述至少一个应用为视频编码器。
前述实施方式的一者或者多者还可以包括:其中所述方法在网络环境中被实施,该网络环境至少包括所述WTRU和所述视频数据的目的接收方之间的下行链路无线链路和上行链路无线链路,所述下行链路无线链路被安排的比所述上行链路无线链路离所述WTRU近,并且其中所述无线分组丢失数据属于所述下行链路无线链路,该方法还包括:通过所述下行链路无线链路传送所述无线分组数据;在所述下行链路基站处从所述目的节点接收无线分组丢失数据;以及从在所述下行链路基站处接收到的无线分组丢失数据确定视频分组丢失数据。
前述实施方式的一者或者多者还可以包括:将在所述下行链路基站处接收到的视频分组丢失数据提供给下行链路基站中的转码器以用于编码所述视频数据;以及在通过所述下行链路无线链路至目的节点传递之前对在所述下行链路基站处的视频数据进行转码。
前述实施方式的一者或者多者还可以包括:其中所述转码器响应于所述无线分组丢失数据执行所述转码。
前述实施方式的一者或者多者还可以包括:其中所述转码器响应于所述视频分组丢失数据在所述视频数据上执行差错传播减少进程。
在另一实施方式中,WTRU包括处理器,该处理器被配置成通过网络传送视频数据,所述处理器还被配置成:接收无线分组丢失数据;从所述无线分组丢失数据确定视频分组丢失数据;以及将所述视频分组丢失数据提供给在所述WTRU上运行的视频编码器应用以用于对视频数据进行编码。
前述实施方式的一者或者多者还可以包括:其中所述编解码器被配置成响应于所述视频分组丢失数据而执行差错传播减少进程。
前述实施方式的一者或者多者还可以包括:其中所述差错传播减少进程包括以下中的至少一者:(a)生成即时解码刷新帧;(b)生成帧内刷新帧;(c)使用参考图片选择方法生成已编码视频;(d)使用参考图片集选择方法生成已编码视频;以及(e)使用基于分组丢失指示数据所选择的一个或者多个参考图片生成已编码视频。
前述实施方式的一者或者多者还可以包括:其中从基站接收所述无线分组丢失数据。
前述实施方式的一者或者多者还可以包括:其中所述无线分组丢失数据是在无线电链路控制(RLC)协议层。
前述实施方式的一者或者多者还可以包括:其中所述视频分组在实时协议(RTP)中。
前述实施方式的一者或者多者还可以包括:其中所述RLC层以应答模式进行操作。
前述实施方式的一者或者多者还可以包括:其中从接收到的RLC状态PDU中获得所述无线分组丢失数据。
前述实施方式的一者或者多者还可以包括:其中通过识别PDCP分组的报头中PDCP序列号来确定所述视频分组丢失数据。
前述实施方式的一者或者多者还可以包括:其中所述RLC层以非应答模式进行操作。
前述实施方式的一者或者多者还可以包括:其中所述无线分组丢失数据包括NACK消息。
前述实施方式的一者或者多者还可以包括:其中所述NACK消息与上行链路传输同步。
前述实施方式的一者或者多者还可以包括:其中所述处理器还被配置成从使用分组数据会聚协议(PDCP)序列号的映射生成视频分组丢失数据。
前述实施方式的一者或者多者还可以包括:其中所述处理器还被配置成从使用从RLC中的实时协议(RTP)序列号到PDCP PDU序列号的映射生成视频分组丢失数据。
前述实施方式的一者或者多者还可以包括:其中所述映射包括使用查表进程。
前述实施方式的一者或者多者还可以包括:其中所述处理器被配置成通过将所述PDCP PDU序列号映射到IP地址、端口号和RTP序列号来确定视频分组丢失数据。
前述实施方式的一者或者多者还可以包括:其中所述处理器还被配置成通过在所述PDCP PDU上执行深度分组检查来确定视频分组丢失数据。
前述实施方式的一者或者多者还可以包括:其中所述处理器还被配置成使用PDCP PDU序列号查找表将所述PDCP PDU序列号映射到IP地址、端口号和RTP序列号。
前述实施方式的一者或者多者还可以包括:其中所述处理器还被配置成将所述RTP序列号映射至NAL分组标识符。
前述实施方式的一者或者多者还可以包括:其中所述处理器还被配置成将所述RTP序列号映射至NAL分组标识符。
前述实施方式的一者或者多者还可以包括:其中所述处理器被配置成通过从RLC分组映射至PDCP序列号至RTP序列号至NAL的映射来确定视频分组丢失数据。
在另一实施方式中,网络环境中的基站包括处理器,该处理器被配置成:经由网络接收输入无线分组数据;通过无线链路将无线分组数据传送至目的节点;从目的节点中接收无线分组丢失数据;从无线分组丢失数据确定应用层分组丢失数据;以及提供应用分组丢失数据给基站中的转码器以在对无线分组数据中的应用层数据进行转码中使用。
前述实施方式的一者或者多者还可以包括:其中所述应用层数据为视频数据。
前述实施方式的一者或者多者还可以包括:其中所述转码器被配置成将所述无线分组数据转码成应用层数据并在通过所述下行链路无线链路传送传递至目的节点之前转码回应用层数据。
前述实施方式的一者或者多者还可以包括:其中所述处理器还被配置成响应于无线分组丢失数据使得转码器执行转码。
前述实施方式的一者或者多者还可以包括:其中所述处理器还被配置成响应于所述无线分组丢失数据使得所述转码器执行所述应用层数据上的差错传播减少进程。
在另一实施方式中,所述设备包括在其上具有指令的计算机可读存储介质,当由处理器执行所述指令时使得所述处理器提供无线分组丢失数据给视频编码器。
在另一实施方式中,设备包括在其上具有指令的计算机可读存储介质,当由处理器执行所述指令时使得所述处理器基于丢失的视频分组的指示来编码视频数据。
总结
虽然本发明的特征和元素以特定的组合在以上进行了描述,但本领域普通技术人员可以理解的是,每个特征或元素可以在没有其它特征和元素的情况下单独或与其它特征和元素组合的各种情况下使用。此外,本发明提供的实施方式可以在由计算机或处理器执行的计算机程序、软件或固件中实施,其中所述计算机程序、软件或固件被包含在计算机可读存储介质中。计算机可读存储介质的实例包括但不局限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储设备、磁介质(例如,内部硬盘或可移动磁盘)、磁光介质以及CD-ROM光盘和数字多功能光盘(DVD)之类的光介质。与软件有关的处理器可以被用于实施在WTRU、UE、终端、基站、RNC或者任何主计算机中使用的无线电频率收发信机。
对以上描述的方法、设备和系统进行更改是可能的而无需偏离本发明的范围。鉴于可应用的实施方式的广泛不同性,应该理解的是描述的实施方式仅为示例性的,并且不应该当作限制以下权利要求的范围。
此外,在以上描述的实施方式中,提到了处理平台、计算系统、控制器以及包含处理器的其它设备。这些设备至少包含一个中央处理单元(“CPU”)和存储器。根据在计算机编码领域的技术人员的实践,各种CPU和存储器可以执行对动作和操作或指令的符号表示的参考。这些动作和操作或者指令可以被称作为被“执行的”、“计算机执行的”或者“CPU执行的”。
本领域技术人员应该注意到该动作和符号表示的操作或者指令包括由CPU对与电有关的信号的操作。与电有关的系统表示数据比特,所述数据比特能够使得生成的变换或者与电有关的信号的减少以及在存储系统中的存储位置处的数据比特的维护重新配置或者否则改变CPU操作以及其它信号处理。数据比特被维护的存储位置为具有对应于数据比特或者表示数据比特的特定电的、磁的、光的或者有机的属性。应该理解的是所述示例性实施方式不限于以上提到的平台或者CPU并且其它平台和CPU可以支持以上描述的方法。
所述数据比特还可以由CPU在包括磁盘、光盘以及任何其它易失性(例如,随机存取存储器(“RAM”))或者非易失性(例如,只读存储器(“ROM”))大容量存储系统上维护。所述计算机可读介质包括协作的或者互联的计算机可读介质,其中所述协作的或者互联的计算机可读介质专门存在于处理系统上或者分布在对于处理系统为本地或者远程的多个互联处理系统中。应该理解的是所述示例性实施方式不限于以上提到的存储器并且其它平台和存储器可以支持以上描述的方法。
在本发明描述中使用的元素、动作或者指令不应该解释为对本发明关联或者必不可少,除非专门描述成这样。此外,如此处使用的量词“一(a)”意在包括一个或者多个事物。当意指仅一个事物时,术语“一个(one)”或者类似的语言被使用。此外,如此处使用的术语“任何(any of)”后面跟着多个事物的列表和/或多个类别的事物被意在包括“任何(any of)”、“任何组合(any combination of)”、“任何多个(any multiple of)”和/或"多个的任何组合(any combination of multiples of)"事物和/或事物类别,单独地或者结合其它事物和/或其它事物类别。此外,如此处使用的术语“组(set)”意在包括任意数量的事物,包括零。此外,如此处使用的术语“数量(number)”意在包括任意数字,包括零。
此外,权利要求不应该被解读为限于以上描述的顺序或者元素除非针对该效果进行了阐述。此外,任何权利要求中术语“装置(means)”的使用意在引用35 U.S.C.§112,,并且无词语“装置(means)”的任何权利要求并不意指此。

Claims (81)

1.一种用于通过网络传送视频数据的方法,该方法包括:
在无线发射接收单元(WTRU)处接收无线分组丢失数据;
从所述无线分组丢失数据确定视频分组丢失数据;以及
在编码视频数据中使用所述视频分组丢失数据。
2.根据权利要求1所述的方法,该方法还包括:响应于所述视频分组丢失数据执行差错传播减少进程。
3.根据权利要求2所述的方法,其中所述差错传播减少进程包括生成即时解码刷新帧。
4.根据权利要求2所述的方法,其中所述差错传播减少进程包括生成帧内刷新帧。
5.根据权利要求2所述的方法,其中所述差错传播减少进程包括使用参考图片选择方法生成已编码视频。
6.根据权利要求2所述的方法,其中所述差错传播减少进程包括使用图片参考集选择方法生成已编码视频。
7.根据权利要求2所述的方法,其中所述差错传播减少进程包括使用基于所述视频分组丢失数据选择的一个或多个参考图片生成已编码视频。
8.根据权利要求2所述的方法,其中所述差错传播减少进程包括:
生成帧内刷新帧或即时解码刷新帧;
生成使用P预测编码模式的已编码视频帧;以及
选择(1)所述帧内刷新帧或即时解码刷新帧和(2)所述使用P预测编码模式的已编码视频帧中的一者以用于传输。
9.根据权利要求1所述的方法,其中所述无线分组丢失数据由基站提供给所述无线发射接收单元(WTRU)。
10.根据权利要求9所述的方法,其中在无线电链路控制(RLC)协议层生成所述无线分组丢失数据。
11.根据权利要求10所述的方法,其中使用实时协议(RTP)传输所述视频分组。
12.根据权利要求10所述的方法,其中经由LTE无线传输协议传输所述视频数据。
13.根据权利要求9所述的方法,其中RLC层在应答模式中操作。
14.根据权利要求13所述的方法,其中ARQ重传的次数在应答模式中被设定为0。
15.根据权利要求14所述的方法,其中最大重传阈值被设定为0。
16.根据权利要求13所述的方法,其中从接收自基站的RLC状态PDU中获得所述无线分组丢失数据。
17.根据权利要求13所述的方法,其中从MAC发射机本地生成所述无线分组丢失数据。
18.根据权利要求13所述的方法,其中通过识别PDCP分组的头中的PDCP序列号来确定所述视频分组丢失数据。
19.根据权利要求9所述的方法,其中所述RLC层在非应答模式中操作。
20.根据权利要求1所述的方法,其中所述无线分组丢失数据包括NACK消息。
21.根据权利要求20所述的方法,其中所述NACK消息与上行链路传输同步。
22.根据权利要求1所述的方法,其中从使用分组数据会聚协议(PDCP)序列号的映射生成所述视频分组丢失数据。
23.根据权利要求1所述的方法,其中确定所述视频分组丢失数据包括使用从RLC中的实时协议(RTP)序列号到PDCP PDU序列号的映射。
24.根据权利要求23所述的方法,其中所述映射包括使用查表进程。
25.根据权利要求23所述的方法,其中确定所述视频分组丢失数据还包括将所述PDCP PDU序列号映射到IP地址、端口号和RTP序列号。
26.根据权利要求25所述的方法,其中确定所述视频分组丢失数据还包括在所述PDCP PDU上执行深度分组检查。
27.根据权利要求25所述的方法,其中将所述PDCP PDU序列号映射到IP地址、端口号和RTP序列号包括使用PDCP PDU序列号查找表。
28.根据权利要求27所述的方法,该方法还包括将所述RTP序列号映射至NAL分组标识符。
29.根据权利要求28所述的方法,其中将所述RTP序列号映射至NAL分组标识符包括使用RTP序列号至NAL分组标识符查找表。
30.根据权利要求27所述的方法,其中所述PDCP PDU序列号查找表是使用RLC分割器构建的。
31.根据权利要求1所述的方法,其中确定所述视频分组丢失数据包括从RLC分组至PDCP序列号至RTP序列号至NAL进行映射。
32.根据权利要求1所述的方法,其中使用从无线电链路控制(RLC)序列号的映射从所述无线分组丢失数据生成所述视频分组丢失数据。
33.根据权利要求1所述的方法,该方法在网络环境中实施,该网络环境至少包括在所述WTRU和所述视频数据的接收方之间的第一无线链路和第二无线链路,所述第一无线链路被安排得比所述第二无线链路距所述WTRU更近,并且其中所述无线分组丢失数据属于所述第一无线链路,该方法还包括:
在所述第二无线链路中实施比在所述第一无线链路中更高的QoS。
34.根据权利要求33所述的方法,该方法还包括:
所述网络确定所述第二无线链路的QoS等级。
35.根据权利要求1所述的方法,该方法在网络环境中实施,该网络环境至少包括在所述WTRU和第一基站之间的第一无线链路以及在第二基站和接收方之间的第二无线链路,所述第一无线链路被安排得比所述第二无线链路距所述WTRU更近,并且其中所述无线分组丢失数据属于所述第一无线链路,该方法还包括:
所述网络确定是否生成属于所述第二无线链路的附加无线分组丢失数据。
36.根据权利要求35所述的方法,其中确定是否生成属于所述远程无线链路的附加无线分组丢失数据包括确定所述WTRU和所述下行链路无线链路之间的数据传输延迟。
37.根据权利要求36所述的方法,其中确定是否生成属于所述第二无线链路的附加无线分组丢失数据还包括使用深度分组检查(DPI)确定所述视频分组数据的应用类型。
38.根据权利要求37所述的方法,其中确定是否生成属于所述第二无线链路的附加无线分组丢失数据包括:
所述WTRU通过所述网络发送视频分组;
执行DPI以检测所述视频分组数据的服务数据流(SDF)从而确定与所述视频分组数据对应的应用类型;
所述第一基站发送延迟测试分组至所述第二基站;
所述第二基站响应于接收到所述延迟测试分组发送ACK消息至所述第一基站;
所述第一基站计算所述第一基站和所述第二基站之间的延迟;
所述第一基站发送延迟报告消息至网络网关;
所述网络网关至少部分基于所述延迟报告消息决定是否有生成的无线分组丢失数据属于所述第二无线链路;以及
所述网关发送指示是否生成属于所述第二无线链路的附加无线分组丢失数据的消息至所述第二基站。
39.根据权利要求38所述的方法,其中所述延迟测试分组包含至少(1)所述第一基站的网络地址、(2)所述第二基站的网络地址、以及(3)时间戳。
40.根据权利要求39所述的方法,其中所述ACK消息包含(1)所述第一基站的网络地址、(2)所述第二基站的网络地址、(3)当生成所述ACK时的时间戳、以及(4)来自所述延迟测试分组的所述时间戳的副本。
41.根据权利要求17所述的方法,该方法还包括:
所述网络中的网关发送请求消息至所述第一基站,以请求所述第一基站发送所述延迟测试分组至所述第二基站;以及
其中响应于从所述网关接收到所述请求消息而执行所述第二基站发送所述延迟测试分组。
42.根据权利要求38所述的方法,其中所述延迟测试分组是ICMP Ping消息。
43.根据权利要求35所述的方法,其中确定是否生成属于所述第二无线链路的附加无线分组丢失数据还包括使用应用功能进程确定所述视频分组数据的应用类型。
44.根据权利要求43所述的方法,其中确定是否生成属于所述第二无线链路的附加无线分组丢失数据还包括:
所述WTRU通过所述网络向接收节点发送应用分组;
所述网络中的应用功能(AF)从所述应用分组提取应用信息;
所述AF发送所提取的应用信息至所述网络中的策略收费和规则功能(PCRF);
所述PCRF确定对应于所述视频数据的应用类型;
根据应用类型确定用于所述视频数据的QoS参数并发送所述QoS参数至所述网络中的网关;
所述第一基站发送延迟测试分组至所述第二基站;
所述第二基站响应于所述延迟测试分组的接收发送ACK消息至所述第一基站;
所述第一基站计算所述第一基站与所述第二基站之间的延迟;
所述第一基站发送延迟报告消息至网络网关;
所述网络网关至少部分基于所述延迟报告和从所述PCRF接收的所述QoS参数确定是否生成属于所述第二无线链路的附加无线分组丢失数据;以及
所述网关向所述第二基站发送消息,以指示是否生成属于所述第二无线链路的附加无线分组丢失数据。
45.根据权利要求44所述的方法,其中所述应用功能是P-CSCF(代理呼叫服务控制功能)。
46.根据权利要求45所述的方法,其中所述应用分组是会话发起协议(SIP)INVITE分组。
47.根据权利要求35所述的方法,该方法还包括:
存储指示针对至少一种特定类型的应用将被用于上行链路业务和下行链路业务的QoS等级的策略;
所述网络确定所述视频编码器的应用类型;以及
所述网络根据所述策略和所述视频编码器的应用类型来设置所述第一无线链路的QoS等级和所述第二无线链路的QoS等级。
48.根据权利要求47所述的方法,其中针对所述至少一个应用,所述下行链路QoS高于所述上行链路QoS。
49.根据权利要求48所述的方法,其中所述至少一个应用是视频编码器应用。
50.根据权利要求1所述的方法,该方法在网络环境中实施,该网络环境至少包括在所述WTRU和所述视频数据的接收方之间的第一无线链路和第二无线链路,所述第一无线链路被安排得比所述第二无线链路距所述WTRU更近,并且其中所述无线分组丢失数据属于所述第一无线链路,该方法还包括:
通过所述第二无线链路传送所述无线分组数据;
在所述第二基站处从所述接收方接收无线分组丢失数据;以及
从在所述第二基站处所接收的无线分组丢失数据中确定所述第二无线链路上的视频分组丢失数据。
51.根据权利要求50所述的方法,该方法还包括:
将在所述第二基站处接收到的视频分组丢失数据提供给所述第二基站中的转码器;以及
在通过所述第二无线链路传递之前在所述第二基站处对所述视频数据进行转码。
52.根据权利要求51所述的方法,其中所述转码器响应于所述无线分组丢失数据执行所述转码。
53.根据权利要求52所述的方法,其中所述转码器响应于所述视频分组丢失数据在所述视频数据上执行差错传播减少进程。
54.一种WTRU,包括被配置成通过网络传送视频数据的处理器,该处理器被配置成:
接收无线分组丢失数据;
从所述无线分组丢失数据确定视频分组丢失数据;以及
提供所述视频分组丢失数据给运行在所述WTRU上的视频编码器应用以在编码视频数据中使用。
55.根据权利要求54所述的WTRU,其中所述视频编码器被配置成响应于所述视频分组丢失数据执行差错传播减少进程。
56.根据权利要求55所述的WTRU,其中所述差错传播减少进程包括以下至少一者:
(a)生成即时解码刷新帧;
(b)生成帧内刷新帧;
(c)使用参考图片选择方法生成已编码视频;以及
(d)使用图片参考集选择方法生成已编码视频。
57.根据权利要求55所述的WTRU,其中所述无线分组丢失数据是从基站接收的。
58.根据权利要求55所述的WTRU,其中所述无线分组丢失数据在无线电链路控制(RLC)协议层中。
59.根据权利要求58所述的WTRU,其中所述视频分组是使用实时协议(RTP)被传输的。
60.根据权利要求58所述的WTRU,其中所述RLC层在应答模式中操作。
61.根据权利要求60所述的WTRU,其中所述无线分组丢失数据是从接收的RLC状态PDU中获得的。
62.根据权利要求60所述的WTRU,其中所述视频分组丢失数据是通过识别PDCP分组的头中的PDCP序列号来确定的。
63.根据权利要求54所述的WTRU,其中所述RLC层在非应答模式中操作。
64.根据权利要求54所述的WTRU,其中所述无线分组丢失数据包括NACK消息。
65.根据权利要求64所述的WTRU,其中所述NACK消息与上行链路传输同步。
66.根据权利要求54所述的WTRU,其中所述处理器还被配置成从使用分组数据会聚协议(PDCP)序列号的映射生成所述视频分组丢失数据。
67.根据权利要求54所述的WTRU,其中所述处理器还被配置成使用从RLC中的实时协议(RTP)序列号到PDCP PDU序列号的映射生成所述视频分组丢失数据。
68.根据权利要求67所述的WTRU,其中所述映射包括使用查表进程。
69.根据权利要求66所述的WTRU,其中所述处理器被配置成通过将所述PDCP PDU序列号映射到IP地址、端口号和RTP序列号确定所述视频分组丢失数据。
70.根据权利要求69所述的WTRU,其中所述处理器还被配置成通过在所述PDCP PDU上执行深度分组检查确定所述视频分组丢失数据。
71.根据权利要求69所述的WTRU,其中所述处理器还被配置成使用PDCP PDU序列号查找表将所述PDCP PDU序列号映射到IP地址、端口号和RTP序列号。
72.根据权利要求71所述的WTRU,其中所述处理器还被配置成将所述RTP序列号映射至NAL分组标识符。
73.根据权利要求72所述的WTRU,其中所述处理器还被配置成将所述RTP序列号映射至NAL分组标识符。
74.根据权利要求54所述的WTRU,其中所述处理器被配置成通过从RLC分组至PDCP序列号至RTP序列号至NAL的映射来确定所述视频分组丢失数据。
75.一种在网络环境中的基站,包括处理器,该处理器被配置成:
经由所述网络接收输入无线分组数据;
通过无线链路传送所述无线分组数据至接收方;
从所述接收方接收无线分组丢失数据;
从所述无线分组丢失数据确定应用层分组丢失数据;以及
将所述应用层分组丢失数据提供给所述基站中的转码器以在对所述无线分组数据中的应用层数据进行转码中使用。
76.根据权利要求75所述的基站,其中所述应用层数据是视频数据。
77.根据权利要求75所述的基站,其中所述转码器被配置成将所述无线分组数据转码成应用层数据并在通过所述无线链路传送所述无线分组数据至所述接收方之前转码回无线分组数据。
78.根据权利要求77所述的基站,其中所述处理器还被配置成响应于所述无线分组丢失数据使得所述转码器执行所述转码。
79.根据权利要求77所述的基站,其中所述处理器还被配置成响应于所述无线分组丢失数据使得所述转码器执行所述应用层数据上的差错传播减少进程。
80.一种包括计算机可读存储介质的设备,该计算机可读存储介质上具有指令,当该指令被处理器执行时使得该处理器提供无线分组丢失数据给视频编码器。
81.一种包括计算机可读存储介质的设备,该计算机可读存储介质上具有指令,当该指令被处理器执行时使得该处理器基于丢失视频分组的指示对视频数据进行编码。
CN201380010653.1A 2012-02-24 2013-02-15 使用分组损耗检测的视频编码 Pending CN104137554A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261603212P 2012-02-24 2012-02-24
US61/603,212 2012-02-24
PCT/US2013/026353 WO2013126284A2 (en) 2012-02-24 2013-02-15 Video coding using packet loss detection

Publications (1)

Publication Number Publication Date
CN104137554A true CN104137554A (zh) 2014-11-05

Family

ID=47884498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380010653.1A Pending CN104137554A (zh) 2012-02-24 2013-02-15 使用分组损耗检测的视频编码

Country Status (7)

Country Link
US (1) US20150264359A1 (zh)
EP (1) EP2817968A2 (zh)
JP (1) JP6242824B2 (zh)
KR (1) KR20140126762A (zh)
CN (1) CN104137554A (zh)
TW (1) TWI590654B (zh)
WO (1) WO2013126284A2 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105794207A (zh) * 2013-12-02 2016-07-20 高通股份有限公司 参考图片选择
CN107113423A (zh) * 2015-01-31 2017-08-29 英特尔公司 重放用于隐藏视频解码错误的旧分组和基于无线链路状况的视频解码等待时间调整
CN107925592A (zh) * 2015-08-11 2018-04-17 Lg 电子株式会社 在无线通信系统中执行上行链路分组延迟测量的方法及其设备
CN108183768A (zh) * 2017-12-26 2018-06-19 广东欧珀移动通信有限公司 数据传输方法及相关设备
WO2018170646A1 (zh) * 2017-03-19 2018-09-27 南通朗恒通信技术有限公司 一种用于下行传输的方法和装置
WO2023216803A1 (zh) * 2022-05-12 2023-11-16 大唐移动通信设备有限公司 数据流映射更新方法、装置及存储介质

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160143725A (ko) * 2014-04-04 2016-12-14 브이아이디 스케일, 인크. 네트워크-기반 조기 패킷 손실 검출
TWI549496B (zh) * 2014-05-08 2016-09-11 宏碁股份有限公司 行動電子裝置以及視訊補償方法
US10193955B2 (en) * 2014-10-14 2019-01-29 Huawei Technologies Co., Ltd. System and method for video communication
US10085173B2 (en) * 2015-02-06 2018-09-25 Telefonaktiebolaget Lm Ericsson (Publ) Method and network entity for QoS control
GB2536059B (en) 2015-03-06 2017-03-01 Garrison Tech Ltd Secure control of insecure device
CN106489254B (zh) * 2015-06-24 2020-02-28 海能达通信股份有限公司 宽带集群系统中的业务接入控制方法、装置及集群终端
US10313685B2 (en) 2015-09-08 2019-06-04 Microsoft Technology Licensing, Llc Video coding
US10009401B2 (en) * 2015-09-23 2018-06-26 Qualcomm Incorporated Call continuity in high uplink interference state
GB2545010B (en) 2015-12-03 2018-01-03 Garrison Tech Ltd Secure boot device
US10097608B2 (en) * 2015-12-26 2018-10-09 Intel Corporation Technologies for wireless transmission of digital media
US10218520B2 (en) * 2016-06-14 2019-02-26 Ofinno Technologies, Llc Wireless device video floor control
US11445223B2 (en) 2016-09-09 2022-09-13 Microsoft Technology Licensing, Llc Loss detection for encoded video transmission
KR102115218B1 (ko) * 2016-09-19 2020-05-26 에스케이텔레콤 주식회사 기지국장치 및 단말장치와, QoS 제어방법
US20180184101A1 (en) * 2016-12-23 2018-06-28 Apple Inc. Coding Mode Selection For Predictive Video Coder/Decoder Systems In Low-Latency Communication Environments
CN108419275B (zh) * 2017-02-10 2022-01-14 华为技术有限公司 一种数据传输方法、通信设备、终端和基站
CN109756468B (zh) * 2017-11-07 2021-08-17 中兴通讯股份有限公司 一种数据包的修复方法、基站及计算机可读存储介质
CN109995721B (zh) * 2017-12-29 2021-10-22 华为技术有限公司 业务请求处理方法、装置及通信系统
US11039309B2 (en) * 2018-02-15 2021-06-15 Huawei Technologies Co., Ltd. User plane security for disaggregated RAN nodes
JP7251935B2 (ja) * 2018-08-07 2023-04-04 シャープ株式会社 端末装置、基地局装置、方法、および、集積回路
JP2022500931A (ja) 2018-09-14 2022-01-04 華為技術有限公司Huawei Technologies Co., Ltd. ポイントクラウドコーディングにおける改善された属性レイヤとシグナリング
CN110166797B (zh) * 2019-05-17 2022-02-01 北京达佳互联信息技术有限公司 视频转码方法、装置、电子设备及存储介质
CN116489243A (zh) * 2020-04-30 2023-07-25 深圳硅基智控科技有限公司 基于信号强度接收数据包的通信装置
US11811541B2 (en) * 2020-09-08 2023-11-07 Qualcomm Incorporated Sending feedback at radio access network level
JP7264517B2 (ja) * 2021-03-12 2023-04-25 株式会社光電製作所 送信装置、受信装置、制御方法、およびプログラム
US20230291816A1 (en) * 2022-03-10 2023-09-14 Qualcomm Incorporated Protocol overhead reduction for packet data convergence protocol

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020116715A1 (en) * 2001-02-16 2002-08-22 Apostolopoulos John G. Video communication method and system employing multiple state encoding and path diversity
EP1725038A2 (en) * 2001-03-12 2006-11-22 Polycom, Inc. A low-delay video encoding method for concealing the effects of packet loss in multi-channel packet switched networks
CN101326829A (zh) * 2005-10-21 2008-12-17 高通股份有限公司 基于反向链路信息的视频差错控制
CN101371312A (zh) * 2005-12-08 2009-02-18 维德约股份有限公司 用于视频通信系统中的差错弹性和随机接入的系统和方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06237451A (ja) * 1993-02-10 1994-08-23 Hitachi Ltd 動画通信方式および端末装置
JP3068002B2 (ja) * 1995-09-18 2000-07-24 沖電気工業株式会社 画像符号化装置、画像復号化装置及び画像伝送システム
JP2003032689A (ja) * 2001-07-18 2003-01-31 Sharp Corp 画像符号化装置、画像復号化装置及び動画像伝送システム
EP1603339A1 (en) * 2004-06-01 2005-12-07 STMicroelectronics S.r.l. Method and system for communicating video data in a packet-switched network, related network and computer program product therefor
JP4659838B2 (ja) * 2005-01-10 2011-03-30 株式会社エヌ・ティ・ティ・ドコモ 一連のフレームを予測的にコード化する装置
US8514711B2 (en) * 2005-10-21 2013-08-20 Qualcomm Incorporated Reverse link lower layer assisted video error control
US20070169152A1 (en) * 2005-12-30 2007-07-19 Daniel Roodnick Data and wireless frame alignment for error reduction
FR2910211A1 (fr) * 2006-12-19 2008-06-20 Canon Kk Procedes et dispositifs pour re-synchroniser un flux video endommage.
AU2008204833A1 (en) * 2007-01-09 2008-07-17 Vidyo, Inc. Improved systems and methods for error resilience in video communication systems
WO2008126059A2 (en) * 2007-04-17 2008-10-23 Nokia Corporation Feedback based scalable video coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020116715A1 (en) * 2001-02-16 2002-08-22 Apostolopoulos John G. Video communication method and system employing multiple state encoding and path diversity
EP1725038A2 (en) * 2001-03-12 2006-11-22 Polycom, Inc. A low-delay video encoding method for concealing the effects of packet loss in multi-channel packet switched networks
CN101326829A (zh) * 2005-10-21 2008-12-17 高通股份有限公司 基于反向链路信息的视频差错控制
CN101371312A (zh) * 2005-12-08 2009-02-18 维德约股份有限公司 用于视频通信系统中的差错弹性和随机接入的系统和方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
IVAYLO HARATCHEREV等: ""Optimized Video Streaming over 802.11 by Cross-Layer Signaling"", 《IEEE COMMUNICATIONS MAGAZINE》 *
JEGADISH DEVADOSS: "Evaluation of Error Resilience Mechanisms for 3G Conversational Video", 《IEEE. INTERNAL SYMPOSIUM ON》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105794207A (zh) * 2013-12-02 2016-07-20 高通股份有限公司 参考图片选择
CN105794207B (zh) * 2013-12-02 2019-02-22 高通股份有限公司 参考图片选择
CN107113423A (zh) * 2015-01-31 2017-08-29 英特尔公司 重放用于隐藏视频解码错误的旧分组和基于无线链路状况的视频解码等待时间调整
CN107113423B (zh) * 2015-01-31 2020-06-26 英特尔公司 重放用于隐藏视频解码错误的旧分组和基于无线链路状况的视频解码等待时间调整
CN107925592A (zh) * 2015-08-11 2018-04-17 Lg 电子株式会社 在无线通信系统中执行上行链路分组延迟测量的方法及其设备
CN107925592B (zh) * 2015-08-11 2021-02-19 Lg 电子株式会社 在无线通信系统中执行上行链路分组延迟测量的方法及其设备
WO2018170646A1 (zh) * 2017-03-19 2018-09-27 南通朗恒通信技术有限公司 一种用于下行传输的方法和装置
CN108183768A (zh) * 2017-12-26 2018-06-19 广东欧珀移动通信有限公司 数据传输方法及相关设备
CN108183768B (zh) * 2017-12-26 2019-08-20 广东欧珀移动通信有限公司 数据传输方法及相关设备
WO2023216803A1 (zh) * 2022-05-12 2023-11-16 大唐移动通信设备有限公司 数据流映射更新方法、装置及存储介质

Also Published As

Publication number Publication date
KR20140126762A (ko) 2014-10-31
WO2013126284A3 (en) 2013-11-14
EP2817968A2 (en) 2014-12-31
TW201404121A (zh) 2014-01-16
WO2013126284A2 (en) 2013-08-29
US20150264359A1 (en) 2015-09-17
TWI590654B (zh) 2017-07-01
JP2015515768A (ja) 2015-05-28
JP6242824B2 (ja) 2017-12-06

Similar Documents

Publication Publication Date Title
CN104137554A (zh) 使用分组损耗检测的视频编码
JP6286588B2 (ja) ビデオアウェアの(video aware)ハイブリッド自動再送要求のための方法および装置
CN105075323B (zh) 早期分组丢失检测和反馈
US8625667B2 (en) Method of opportunity-based transmission of wireless video
CN105706415A (zh) 针对实时视频应用的用于路由器的基于体验质量的队列管理
US11870594B2 (en) Facilitating a group hybrid automatic repeat request procedure for sidelink group case in advanced networks
Santos et al. A novel QoE-aware multicast mechanism for video communications over IEEE 802.11 WLANs
CN107104908B (zh) 一种通信方法和装置
CN102342057A (zh) 用于可伸缩媒体的封装的方法和装置
US20150341594A1 (en) Systems and methods for implementing model-based qoe scheduling
US20210274367A1 (en) Facilitating automatic latency discovery and dynamic network selection using data analytics in advanced networks
US11576197B2 (en) Facilitating improved performance of multiple downlink control channels in advanced networks
US10243837B2 (en) Enabling split sessions across hybrid public safety and LTE networks
TW201737673A (zh) 聯合源及極編碼
US20220255657A1 (en) Facilitating outer loop link adaptation in advanced networks
Bacco et al. Air-to-ground real-time multimedia delivery: A multipath testbed
US20130229968A1 (en) Network coding in a cellular communications system
Bacco et al. Vehicular Communications
Ahmadein Dynamic Application-Aware Resource Allocation for LTE Networks

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20141105

WD01 Invention patent application deemed withdrawn after publication