CN101741752B - 视频流传输的方法、装置和系统 - Google Patents

视频流传输的方法、装置和系统 Download PDF

Info

Publication number
CN101741752B
CN101741752B CN200810176542.9A CN200810176542A CN101741752B CN 101741752 B CN101741752 B CN 101741752B CN 200810176542 A CN200810176542 A CN 200810176542A CN 101741752 B CN101741752 B CN 101741752B
Authority
CN
China
Prior art keywords
data
video
identification information
visual sensitivity
video packets
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200810176542.9A
Other languages
English (en)
Other versions
CN101741752A (zh
Inventor
荀永生
郑合文
秦霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN200810176542.9A priority Critical patent/CN101741752B/zh
Priority to PCT/CN2009/072190 priority patent/WO2010054551A1/zh
Priority to EP09825726.4A priority patent/EP2348730B1/en
Publication of CN101741752A publication Critical patent/CN101741752A/zh
Priority to US13/109,715 priority patent/US8730800B2/en
Application granted granted Critical
Publication of CN101741752B publication Critical patent/CN101741752B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2416—Real-time traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/32—Flow control; Congestion control by discarding or delaying data units, e.g. packets or frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load
    • H04N21/64738—Monitoring network characteristics, e.g. bandwidth, congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784—Data processing by the network
    • H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种视频流传输的方法、装置和系统，能够对不同编码和封装机制的视频流根据视觉敏感度进行智能化处理。视频流传输的方法包括：评估视频数据包，获得所述视频数据包的视觉敏感度标识信息；将所述视觉敏感度的标识信息携带在视频数据包中；将所述视频数据包进行传输，传输时根据所述视觉敏感度标识信息对所述视频数据包进行处理。视频流传输的网络设备包括：获取单元，用于评估视频数据包并获得所述视频数据包的视觉敏感度标识信息；携带单元，用于将所述视觉敏感度标识信息携带在视频数据包中；传输单元，用于传输所述视频数据包，传输时根据所述视觉敏感度标识信息对所述视频数据包进行处理。本发明还提供了视频流传输的系统。本发明适用于网络视频流传输。

Description

视频流传输的方法、装置和系统
技术领域
本发明涉及网络技术，尤其涉及一种视频流传输的方法、装置和系统。
背景技术
随着网络技术的快速发展，网络通信业务日益丰富，如VoIP(Voice over IP，基于IP的语音)、IPTV(Internet Protocol Television，IP电视)、HIS(High SpeedInternet，高速上网)等业务都在大规模开展。用户规模的迅速增加，带来了巨大的网络带宽需求，服务提供商的承载网特别是汇集网络，不可避免地出现拥塞。当前用于IP QoS(Quality of Service，服务质量)算法的丢弃机制采用随机丢弃方案，在选择丢弃哪些拥塞的报文时并不考虑丢弃的报文对接收端的具体影响。
对于部分数据传输协议，如TCP(Real-time Transport Protocol，实时传输协议)，丢弃报文将会导致接收端请求对丢失的报文进行重传，然而这种机制对于音频或视频这样的实时流进行多播的网络却不太可行，因为接收端的缓冲器空间有限，对于实时性很高的业务没有足够的时间用于请求和接受重传的分组。
在IPTV的视频传输中，不同IPTV数据包的丢失对用户视觉体验存在很大的差异，即不同IPTV数据包丢弃后，终端用户视觉敏感度差别非常大。有的IPTV数据包丢弃后，对画面冲击很小，终端用户不会感觉到差异；有的IPTV数据包丢失后，对画面冲击较大，比如出现花屏等异常现象，终端用户立即就能感受到。传统的网络设备拥塞处理时采用的随机丢弃方案没有考虑到不同的IPTV数据包对终端接收端画面的影响的差异。
一个视频流由一系列GOP(Group of Pictures，图像组)组成。一个GOP中，包含一个I帧、多个P帧以及多个B帧。针对基于H.264的IPTV系统，现有技术已经提出了基于业务感知的智能丢帧策略：在网络出现拥塞不得不丢弃部分数据包时，网络设备有选择性的丢弃不同帧类型的数据包。首先在DSLAM(Digital Subscriber Line Access Multiplexer，数字用户线路接入复用器)上检测H.264的NAL层(Network Abstraction Layer，网络提取层)报文头的字段NRI；然后基于NRI作出丢弃判断，若NRI为0时，表示视频帧为非参考帧，DSLAM网络节点在拥塞时，进行优先丢弃处理；丢弃时优先丢弃B帧，然后依次是P帧、I帧，若各帧中有一个对应的IP报文被丢弃，整个帧的IP报文都将丢弃。这种丢弃方案有如下缺点：
(1)受限于编码机制：必须使用H.264编码，不支持MPEG-2编码；
(2)受限于封装机制：只支持RTP封装的H.264视频流，不支持RTP封装MPEG2和MPEG2-TS封装的视频流；
(3)NRI标记的是帧类型，一个帧对应多个IP包，多个IP包中并不是每个包的丢失都会对终端画面有影响的，因此，根据NRI标记作为丢弃的判断依据时，丢弃时是将整个帧进行丢弃，不能满足网络设备逐包调度和转发的处理从而引起接收端的用户体验的下降。
发明内容
本发明的实施例提供一种视频流传输的方法，能够对不同编码和封装机制的视频流根据视觉敏感度进行差异化处理。
为达到上述目的，本发明的实施例采用如下技术方案：
一种视频流传输的方法，包括：
根据运动矢量、帧类型、视频数据包位于画面中的位置、以及色彩和亮度等中的一项或多项组合评估视频数据包，获得所述视频数据包的视觉敏感度标识信息；
将所述视觉敏感度的标识信息携带在视频数据包中；
将所述视频数据包进行传输，传输时根据所述视觉敏感度标识信息对所述视频数据包进行处理。
本发明的实施例视频流传输的方法通过评估视频数据包，获得所述视频数据包的视觉敏感度标识信息，将所述视觉敏感度的标识信息携带在视频数据包中，并将所述视频数据包进行传输，在传输时根据所述标识信息对所述视频数据包进行处理，从而能够实现对不同编码和封装机制的视频流根据视觉敏感度进行智能化处理。
本发明的另一实施例提供了一种视频流传输的网络设备，能够对不同编码和封装机制的视频流根据视觉敏感度进行差异化处理。
为达到上述目的，本发明的实施例采用如下技术方案：
一种视频流传输的网络设备，包括：
获取单元，用于根据运动矢量、帧类型、视频数据包位于画面中的位置、以及色彩和亮度等中的一项或多项组合评估视频数据包并获得所述视频数据包的视觉敏感度标识信息；
携带单元，用于将所述视觉敏感度标识信息携带在视频数据包中；
传输单元，用于传输所述视频数据包，传输时根据所述视觉敏感度标识信息对所述视频数据包进行处理。
本发明的实施例视频流传输的网络设备通过获取单元评估视频数据包并获得所述视频数据包的视觉敏感度标识信息，携带单元将所述视觉敏感度标识信息携带在视频数据包中，传输单元用于传输所述视频数据包，根据所述标识信息对所述视频数据包进行差异化处理，从而实现了在网络拥塞时能够对不同编码和封装机制的视频流根据视觉敏感度进行智能化处理。
本发明实施例还提供了一种视频流传输的系统，包括：
视频源端，用于根据运动矢量、帧类型、视频数据包位于画面中的位置、以及色彩和亮度等中的一项或多项组合评估视频数据包并获得所述视频数据包的视觉敏感度标识信息，将所述标识信息携带在视频流的视频数据包中并传输给网络设备；
网络设备，用于接收来自所述视频源端的视频数据包并根据所述视觉敏感度标识信息对所述视频数据包进行处理。
本发明的实施例还提供了另一种视频流传输的系统，包括：
视频源端，用于将视频数据包传输给网络设备；
网络设备，用于接收来自所述视频源端的视频数据包，根据运动矢量、帧类型、视频数据包位于画面中的位置、以及色彩和亮度等中的一项或多项组合评估视频数据包并获得所述视频数据包的视觉敏感度标识信息，将所述标识信息携带在视频流的视频数据包中并根据所述视觉敏感度标识信息对所述视频数据包进行处理。
本发明实施例提供的视频流传输的系统，通过设置视频源端和网络设备，由视频源端或网络评估视频数据包并获得所述视频数据包的视觉敏感度标识信息，将所述标识信息携带在视频流的视频数据包中，或者视频源端仅发布视频数据包，而由网络设备通过分析在所述视频数据包上携带视觉敏感度标识信息，网络设备再根据所述视觉敏感度标识信息对所述视频数据包进行处理，能够实现对不同编码和封装机制的视频流根据视觉敏感度进行智能化处理。
附图说明
图1为本发明实施例视频流传输的方法的流程图；
图2为本发明另一实施例视频流传输的方法的示意图；
图3为本发明再一实施例视频流传输的方法的示意图；
图4为本发明实施例一种标识信息携带示意图；
图5为本发明实施例一种标识信息携带示意图；
图6为本发明实施例一种标识信息携带示意图；
图7为本发明实施例一种标识信息携带示意图；
图8为本发明实施例一种标识信息携带示意图；
图9为本发明实施例视频流传输的网络设备的示意图；
图10为本发明另一实施例视频流传输的网络设备的示意图。
具体实施方式
下面结合附图对本发明实施例视频流传输的方法、装置和系统进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明的实施例视频流传输的方法，包括：
S101、评估视频数据包，获得所述视频数据包的视觉敏感度标识信息；
S102、将所述视觉敏感度的标识信息携带在视频数据包中；
S103、将所述视频数据包进行传输，传输时根据所述标识信息对所述视频数据包进行处理。
评估视频数据包具体为：根据视频画面的运动矢量、帧类型、所述视频数据包位于画面中的位置、以及色彩和亮度等中的一项或多项组合进行评估，根据评估的结果获得视频数据包的视觉敏感度标识信息。所述视觉敏感度标识信息用于标识该视频数据包丢失后对终端画面的影响程度。可以在视频源端，也可以在边缘网络设备上对视频数据包进行评估，并获得相应的视觉敏感度标识信息。
本发明的实施例视频流传输的方法通过评估视频数据包，获得所述视频数据包的视觉敏感度标识信息，将所述视觉敏感度的标识信息携带在视频数据包中，将所述视频数据包进行传输，在传输时根据所述标识信息对所述视频数据包进行差异化处理，从而实现了在传输时能够对不同编码和封装机制的视频流根据视觉敏感度进行智能化处理。
如图2、图3所示，在本发明另一实施例中，视频流传输的方法包括：
S201、在视频源端对视频数据流中的视频数据包逐包评估视觉敏感度，并将所述视觉敏感度标识信息携带在视频数据包中。
所述视觉敏感度标识信息标识该视频数据包丢失后对终端画面的影响程度。影响视觉敏感度因素包括视频画面的运动矢量、帧类型、所述视频数据包位于画面中的位置、以及色彩和亮度等。最重要的影响因素是视频画面的运动矢量，帧类型次之。
本发明并不局限于此，还可以在靠近视频源端的边缘网络设备上对视频数据流中的视频数据包逐包评估视觉敏感度并携带视觉敏感度标识信息。例如，先由视频源端把数据包传输到靠近视频源端的边缘网络设备，并在边缘网络设备上获取数据包的视觉敏感度标识信息并携带到视频数据包中。
把视觉敏感度标识信息通过以下任一种方式携带在视频数据包中：
(1)如图4所示，通过IPv4报文头中的TOS(Type of Service，服务类型)字段或IPv6报头中的TC(Traffic Class，通信级别)字段中未使用的字段携带所述标识信息。ToS字段为IPv4的服务类型字段，和IPv6中的TC字段代表着相同的功能。视频数据报文的视觉敏感度经过评估量化后，所述标识信息即可以携带在ToS和TC未使用的后两个比特字段中，网络节点在拥塞时，可以通过检查该字段携带的信息，进行选择性的丢弃处理，在缓解拥塞压力的同时，确保用户的视觉体验。其中标记为6、7的两位即为未使用的字段。
(2)如图5所示，通过DSCP(Differentiated Services Code Point，差分服务点)中未使用的两个比特位携带所述标识信息。将所述标识信息由IPv4或IPv6中的字段DSCP中未用的比特位携带，例如图5中，所述DSCP中后两个比特位，即，标记为6、7的两位。
DSCP是IETF(The Internet Engineering Task Force，互联网工程任务组)关于QoS的一个分类标准，DSCP利用了IPv4中的TOS字段或IPv6中的TC字段。这些字段目前只使用了前六位比特，后两位目前虽然在最新的IETF的拥塞通告中有定义使用，但是现网支持的网络设备很少，因而可以利用起来携带所述标识信息。
(3)如图6所示，通过IPv4新增选项头携带所述标识信息。在IPv4的报文头中有可变长度的选项字段，即图6中所示的options字段可以携带多个选项头。定义新的选项头，具体的选项头的格式可以是TLV格式，也可以是其他的数据格式。在新定义的选项头中携带所述视觉敏感度标识信息，任何支持该信息的网络节点，均可以在网络拥塞的时候，进行选择性的丢弃处理，或其他的差分服务处理。该选项头的内容作为一个灵活的定义，还可以在后续的视频处理中添加新的定义，如视频帧、视频流等标识信息，提高功能覆盖范围。
(4)如图7所示，通过定义新的IPv6的扩展头携带所述标识信息。
业务分类标识扩展头可以包含两个部分profile ID和profile内容，分类可以定义多个profile，每个profile是一个分类空间；不同的分类空间，编码可以重复；同一个分类空间，编码不可以重复；视频应用可以作为一个分类空间存在，又可以根据需要定义其他分类空间，提高扩展性。
具体为：定义新的IPv6扩展头，类型为Service Class，在该扩展头的内容中携带所述标识信息，网络节点在拥塞时，可以首先逐个检查IPv6报文头的下一个扩展头类型，若检查到类型为Service Class的扩展头，则获取该扩展头的内容，通过对内容的解析，得到数据包中携带的视觉敏感度标识信息，即可优先选择对用户视觉体验没有影响或影响小的数据包进行丢弃，缓解拥塞压力，网络节点还可以根据该信息进行其他的差分服务处理。
(5)如图8所示，通过RTP协议中的扩展头携带量化信息。
本实施例中的视觉敏感度标识信息也可以通过RTP协议中的扩展字段携带。如图8所示的RTP的报文头中的比特位X如果设置为1，表示RTP的固定头之后有且只有一个扩展头。
基于约定的信息，可以在RTP的扩展报头中携带所述标识信息，网络中任意可以解析该扩展报头的设备，均可以在网络出现拥塞时，根据该信息内容，对视频数据报文进行选择性的差异化处理。
S202、将携带标识信息的数据包从视频源端传输到网络设备1，这里的网络设备可以是任意支持网络拥塞管理的节点，如：核心网路由器、汇聚网路由器等。
S203、在网络拥塞时，网络设备1根据所述标识信息对所述视频数据包进行丢弃：遇到网络拥塞时，网络设备根据视频数据包中携带的标识信息，判断数据包的视觉敏感度程度，优先将低视觉敏感度数据包丢弃。设定视觉敏感度阈值，如果视觉敏感度低于阈值，则认为这样的数据包视觉敏感度过低，因而优先丢弃。可以根据视频源端在评估并获取视觉敏感度标识信息时，所定义的视觉敏感度阈值进行判断。
这样做，在缓解拥塞压力的同时，确保丢弃的数据包对用户的体验影响最小化或没有影响。
S204、将携带着标识信息、且部分丢弃的数据包从网络设备1传输到网络设备2。
S205、在网络拥塞时，网络设备2根据所述标识信息对所述视频数据包进行丢弃。遇到网络拥塞时，网络设备2将低视觉敏感度数据包优先丢弃，在缓解拥塞压力的同时，确保丢弃的数据包对用户的体验影响最小化或没有影响。
需要说明的是，步骤S204、S205应当依据网络中的网络设备的个数进行确定，因而为可选步骤。如果网络中有多个网络设备，并且这些设备都具有根据视频数据包的视觉敏感度标识信息进行选择性丢弃的功能，则重复执行这两个步骤。当然，如果网络中只有网络设备1，则跳过这些步骤执行以下步骤。
S206、将携带着标识信息、且部分丢弃的数据包从网络设备2传输到解码端。
S207、解码端对接收到的视频数据包进行解码。
S208、解码端发出重传请求。
具体为：解码端根据解码特性判断发现有一些报文丢失，因而向视频源端发出重传请求。在本实施例中视频源端为重传服务器。
在其它的实施例中，也可以是具有重传功能的网络设备作为重传服务器。如图3所示，网络设备2具有代理重传功能。
S209、图2中的视频源端接收到重传请求，判断请求重传数据包的视觉敏感度标识信息，选择出视觉敏感度高的重要数据包。
在本发明其它的实施例中，如图3所示，具有代理重传功能的网络设备2捕获解码端的重传请求，判断请求重传数据包的视觉敏感度标识信息，选择出视觉敏感度高的数据包，并将这些视觉敏感度高的视频数据包进行传输。
S210、图2为视频源端将在S209中得到的重要数据包重传给解码端；图3为网络设备2将S209中得到的重要数据包重传给解码端。
S211、接收端接收到重传的数据包后，继续进行解码播放。
以上步骤并不局限于上述实施例，在不同的情况下可以采用不同的顺序对视频数据包进行传输。本发明实施例视频流传输的方法可以由视频源端或网络设备来实现。
本发明的实施例视频流传输的方法在出现网络拥塞时根据视觉敏感度标识信息确定视频数据包对视觉敏感度重要性，采取智能化性丢弃，或者根据所述标识信息对请求重传的丢失的视频数据包进行选择性重传，从而实现了不同编码和封装机制的视频流根据视觉敏感度进行智能化处理。本发明实施例解决了通用性的问题，适用于MPEG-2编码格式、H.264甚至VC-1编码格式；适用于MPEG2-TS封装格式和H.264NAL over RTP封装格式。
本发明的实施例能够实现在缓解拥塞压力的同时，确保丢弃的数据包对用户的体验影响最小化或没有影响。
本发明实施例还提供了一种视频流传输的网络设备，能够对不同编码和封装机制的视频流根据视觉敏感度进行丢弃。
如图9所示，本发明实施例视频流传输的网络设备，包括：
获取单元100，用于评估视频数据包并获得所述视频数据包的视觉敏感度标识信息。具体可以根据运动矢量、帧类型、画面位置、色彩或亮度的一种或多种的任意组合评估视频数据包。
携带单元200，用于将所述视觉敏感度标识信息携带在视频数据包中。具体为：将视觉敏感度标识信息携带在与各个视频数据包相应的报文中的空余字段、未使用字段、新增选项头或扩展头的任意一种中。
传输单元300，用于传输所述视频数据包，传输时根据所述视觉敏感度标识信息对所述视频数据包进行处理。
本发明实施例视频流传输的网络设备可以应用于视频源端，也可以应用于边缘网络设备或其它网络设备。
本发明的实施例视频流传输的网络设备通过获取单元评估视频数据包并获得所述视频数据包的视觉敏感度标识信息，携带单元将所述视觉敏感度标识信息携带在视频数据包中，传输单元用于传输所述视频数据包，根据所述标识信息对所述视频数据包进行差异化处理，从而实现了在网络拥塞时能够对不同编码和封装机制的视频流根据视觉敏感度进行智能化处理。
如图10所示，在本发明一较佳实施例中视频流传输的网络设备包括：获取单元100、携带单元200和传输单元300。
获取单元100，用于评估视频数据包并获得所述视频数据包的视觉敏感度标识信息。
携带单元200，用于将所述视觉敏感度标识信息携带在视频数据包中。
所述获取单元100和携带单元200可以设置于视频源端，也可以设置于靠近视频源端的边缘网络设备上。
传输单元300包括：数据包传输模块310、丢弃模块320和选择性重传模块330。
数据包传输模块310，用于将视频数据包传输给丢弃模块320。
丢弃模块320，用于在网络拥塞时根据所述标识信息对视频数据包进行丢弃。丢弃模块通常设置于网络设备上，例如图2、图3中所示的网络设备1和网络设备2。
选择性重传模块330，用于在接收到重传请求时根据所述标识信息对视频数据包进行选择性重传。重传请求通常由解码端发出。
选择性重传模块一般设置于提供重传视频数据包功能的网络设备上，如视频服务器或一些特殊的网络设备，如代理服务器等。本实施例中选择性重传模块330可以设置于如图3所示的网络设备2，或者是图2中所示的视频源端。
本发明的实施例视频流传输的网络设备中也可以只包括丢弃模块320或重传模块330中的任一个。本发明实施例视频流传输的网络设备可以应用于视频源端。
本发明的实施例视频流传输的网络设备通过获取单元评估并获取视频数据包的视觉敏感度标识信息，携带单元将视觉敏感度标识信息携带在与各个视频数据包中，在传输过程中如果遇上网络拥塞，则通过网络设备对不同标识信息的数据包进行丢弃，如果网络设备接收到重传请求则根据视觉敏感度标识信息进行视频数据包的选择性重传，从而实现了不同编码和封装机制的视频流根据视觉敏感度进行差异化处理。
本发明实施例解决了通用性的问题，适用于MPEG-2编码格式和H.264甚至VC-1编码格式；同时还适用于MPEG2-TS封装格式和H.264NAL over RTP封装格式。
本发明的实施例能够实现在缓解拥塞压力的同时，确保丢弃的数据包对用户的体验影响最小化或没有影响。
本发明实施例还提供了一种视频流传输的系统，包括：
视频源端，用于评估视频数据包并获得所述视频数据包的视觉敏感度标识信息，将所述视觉敏感度标识信息携带在视频流的视频数据包中并传输给网络设备，参照图2所示的视频源端；
网络设备，用于接收来自所述视频源端的视频数据包并根据所述视觉敏感度标识信息对所述视频数据包进行处理。其中，网络设备包括：
第一网络设备，用于接收所述视频数据包并根据所述视觉敏感度标识信息对所述视频数据包进行丢弃，参照图2所示的网络设备1；和
第二网络设备，用于接收所述视频数据包，并在接收到重传请求时，根据所述标识信息对请求重传的视频数据包进行选择性重传，参照图3所示的网络设备2。
第一网络设备和第二网络设备还可以择一设置。另外，第一网络设备还可以有多个，那么在数据流传输时，多次根据视觉敏感度标识信息将视频数据包进行丢弃。并且，第二网络设备也可以设置于第一网络设备之前。
在本发明的较佳实施例中，视频源端也可以用于在接收到重传请求时，根据所述标识信息对请求重传的视频数据包进行选择性重传，参照图2所示的视频源端。
本发明的实施例还提供了另一种视频流传输的系统，包括：
视频源端，用于将视频数据包传输给网络设备；
网络设备，用于接收来自所述视频源端的视频数据包，评估视频数据包并获得所述视频数据包的视觉敏感度标识信息，将所述视觉敏感度标识信息携带在视频流的视频数据包中，并根据所述视觉敏感度标识信息对所述视频数据包进行处理。
其中网络设备包括：
第一网络设备，用于接收所述视频数据包，评估视频数据包并获得所述视频数据包的视觉敏感度标识信息，将所述标识信息携带在视频流的视频数据包中。在本发明的一较佳实施例中，第一网络设备还用于并根据所述视觉敏感度标识信息对所述视频数据包进行丢弃。第一网络设备可以不只一个。
第二网络设备，用于接收所述视频数据包，并在接收到重传请求时，根据所述视觉敏感度标识信息对请求重传的视频数据包进行选择性重传。
在本发明的另一较佳实施例中，视频源端也可以用于在接收到重传请求时，根据所述视觉敏感度标识信息对请求重传的视频数据包进行选择性重传。
本发明实施例提供的视频流传输的系统，通过设置视频源端和网络设备，能够实现对不同编码和封装机制的视频流根据视觉敏感度进行智能化处理。可以由视频源端或网络设备获取视觉敏感度标识信息并携带在视频数据包中，可以由网络设备根据所述标识信息对所述视频数据包进行丢弃，可以由网络设备或视频源端根据所述标识信息进行数据包的选择性重传，因而本发明的实施例能够实现对各种不同的编码和封装机制的视频数据包进行智能处理，并且将对接收端画面的影响降到最低或没有影响。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (7)

1.一种视频流传输的方法，其特征在于，包括：
根据运动矢量、帧类型、视频数据包位于画面中的位置逐包评估视频数据包，获得所述视频数据包的视觉敏感度标识信息，所述视觉敏感度标识信息用于标识该视频数据包丢失后对终端画面的影响程度；
将所述视觉敏感度标识信息携带在所述视频数据包中；
将所述视频数据包进行传输，在出现网络拥塞时，根据所述视觉敏感度标识信息对所述视频数据包进行选择性丢弃；
在接收到重传请求时，根据所述视觉敏感度标识信息对请求重传的视频数据包进行选择性重传；
所述根据所述视觉敏感度标识信息对请求重传的视频数据包进行选择性重传，包括：
判断请求重传数据包的视觉敏感度标识信息，选择出视觉敏感度高的数据包，并将这些视觉敏感度高的视频数据包进行传输。
2.根据权利要求1所述的视频流传输的方法，其特征在于，将所述视觉敏感度标识信息携带在视频数据包中的步骤具体为：
将视觉敏感度标识信息携带在与各个视频数据包相应的报文中的空余字段、未使用字段、新增选项头或扩展头的任意一种中。
3.根据权利要求1或2所述的视频流传输的方法，其特征在于，所述视频流传输的方法由视频源端或网络设备来实现。
4.一种视频流传输的网络设备，其特征在于，包括：
获取单元，用于根据运动矢量、帧类型、视频数据包位于画面中的位置逐包评估视频数据包，获得所述视频数据包的视觉敏感度标识信息，所述视觉敏感度标识信息用于标识该视频数据包丢失后对终端画面的影响程度；
携带单元，用于将所述视觉敏感度标识信息携带在所述视频数据包中；
传输单元，用于传输所述视频数据包，在网络拥塞时根据所述视觉敏感度标识信息对所述视频数据包进行选择性丢弃，在接收到重传请求时根据所述视觉敏感度标识信息对请求重传的视频数据包进行选择性重传；
所述传输单元，具体用于判断请求重传数据包的视觉敏感度标识信息，选 择出视觉敏感度高的数据包，并将这些视觉敏感度高的视频数据包进行传输。
5.根据权利要求4所述的视频流传输的网络设备，其特征在于，
所述视频流传输的网络设备应用于视频源端。
6.一种视频流传输的系统，其特征在于，包括：
视频源端，用于根据运动矢量、帧类型、视频数据包位于画面中的位置逐包评估视频数据包，获得所述视频数据包的视觉敏感度标识信息，所述视觉敏感度标识信息用于标识该视频数据包丢失后对终端画面的影响程度；将所述视觉敏感度标识信息携带在视频流的视频数据包中并传输给网络设备；
所述网络设备，用于接收来自视频源端的视频数据包，在网络拥塞时根据所述视觉敏感度标识信息对所述视频数据包进行选择性丢弃，并在接收到重传请求时判断请求重传数据包的视觉敏感度标识信息，选择出视觉敏感度高的数据包，并将这些视觉敏感度高的视频数据包进行传输；
所述视频源端，还用于在接收到重传请求时，判断请求重传数据包的视觉敏感度标识信息，选择出视觉敏感度高的数据包，并将这些视觉敏感度高的视频数据包进行传输。
7.一种视频流传输的系统，其特征在于，包括：
视频源端，用于将视频数据包传输给网络设备；
所述网络设备，用于接收所述视频数据包，根据运动矢量、帧类型、视频数据包位于画面中的位置逐包评估视频数据包，获得所述视频数据包的视觉敏感度标识信息，所述视觉敏感度标识信息用于标识该视频数据包丢失后对终端画面的影响程度；将所述视觉敏感度标识信息携带在视频流的视频数据包中，在网络拥塞时根据所述视觉敏感度标识信息对所述视频数据包进行选择性丢弃，并在接收到重传请求时判断请求重传数据包的视觉敏感度标识信息，选择出视觉敏感度高的数据包，并将这些视觉敏感度高的视频数据包进行传输；
所述视频源端，还用于在接收到重传请求时，判断请求重传数据包的视觉敏感度标识信息，选择出视觉敏感度高的数据包，并将这些视觉敏感度高的视频数据包进行传输。
CN200810176542.9A 2008-11-17 2008-11-17 视频流传输的方法、装置和系统 Active CN101741752B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN200810176542.9A CN101741752B (zh) 2008-11-17 2008-11-17 视频流传输的方法、装置和系统
PCT/CN2009/072190 WO2010054551A1 (zh) 2008-11-17 2009-06-09 视频流传输的方法、装置和系统
EP09825726.4A EP2348730B1 (en) 2008-11-17 2009-06-09 Method, device and system for video stream transmission
US13/109,715 US8730800B2 (en) 2008-11-17 2011-05-17 Method, apparatus, and system for transporting video streams

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN200810176542.9A CN101741752B (zh) 2008-11-17 2008-11-17 视频流传输的方法、装置和系统

Publications (2)

Publication Number Publication Date
CN101741752A CN101741752A (zh) 2010-06-16
CN101741752B true CN101741752B (zh) 2015-08-19

Family

ID=42169617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200810176542.9A Active CN101741752B (zh) 2008-11-17 2008-11-17 视频流传输的方法、装置和系统

Country Status (4)

Country Link
US (1) US8730800B2 (zh)
EP (1) EP2348730B1 (zh)
CN (1) CN101741752B (zh)
WO (1) WO2010054551A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9350657B2 (en) * 2013-07-08 2016-05-24 Nicira, Inc. Encapsulating data packets using an adaptive tunnelling protocol
CN106330714B (zh) * 2015-07-02 2020-05-29 中兴通讯股份有限公司 一种实现业务功能链的方法和装置
CN109151612B (zh) 2017-06-27 2020-10-16 华为技术有限公司 一种视频传输方法、设备及系统
WO2019081021A1 (en) 2017-10-26 2019-05-02 Huawei Technologies Co., Ltd. DEVICE AND METHOD FOR DETECTING AND MITIGATING DIGITAL DATA NETWORK CONGESTION
CN110211416B (zh) * 2019-06-06 2021-12-21 广域铭岛数字科技有限公司 物联网智能车库的信息传输方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1398089A (zh) * 2002-08-23 2003-02-19 清华大学 显式优先级信元中继方法和通信实现系统
CN1739101A (zh) * 2001-12-15 2006-02-22 汤姆森许可公司 用于以不同优先级传送多种数据类型的数据流的系统和方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5481312A (en) * 1994-09-12 1996-01-02 At&T Corp. Method of and apparatus for the transmission of high and low priority segments of a video bitstream over packet networks
US5510844A (en) 1994-11-18 1996-04-23 At&T Corp. Video bitstream regeneration using previously agreed to high priority segments
US6498865B1 (en) 1999-02-11 2002-12-24 Packetvideo Corp,. Method and device for control and compatible delivery of digitally compressed visual data in a heterogeneous communication network
US6728213B1 (en) * 2001-03-23 2004-04-27 Advanced Micro Devices, Inc. Selective admission control in a network device
GB0218961D0 (en) * 2002-08-15 2002-09-25 Koninkl Philips Electronics Nv Transmission method and system
CN101077010A (zh) * 2004-12-15 2007-11-21 皇家飞利浦电子股份有限公司 用于通过无线网络的数字视频传输的方法和系统
US20070201365A1 (en) 2006-01-23 2007-08-30 Frederick Skoog Video packet multiplexer with intelligent packet discard
US7609709B2 (en) 2006-01-23 2009-10-27 Alcatel-Lucent Usa Inc. Video aware traffic management
US9025673B2 (en) * 2006-04-05 2015-05-05 Qualcomm Incorporated Temporal quality metric for video coding
US7848237B2 (en) 2007-01-18 2010-12-07 Ineoquest Technologies, Inc. System and method for selective packet discard for the transport of multiple transportation streams of streaming media in packet-based networks

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1739101A (zh) * 2001-12-15 2006-02-22 汤姆森许可公司 用于以不同优先级传送多种数据类型的数据流的系统和方法
CN1398089A (zh) * 2002-08-23 2003-02-19 清华大学 显式优先级信元中继方法和通信实现系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
徐进等.《内容自适应的H.264视频冗余片编码算法》.《计算机辅助设计与图形学学报》.CNKI期刊全文数据库,2007,第19卷(第1期),84-89. *

Also Published As

Publication number Publication date
CN101741752A (zh) 2010-06-16
EP2348730A1 (en) 2011-07-27
WO2010054551A1 (zh) 2010-05-20
US20110274121A1 (en) 2011-11-10
EP2348730A4 (en) 2012-03-28
US8730800B2 (en) 2014-05-20
EP2348730B1 (en) 2014-04-30

Similar Documents

Publication Publication Date Title
EP1513301B1 (en) Method and device for delivering multimedia data using IETF QoS protocols
KR101757771B1 (ko) 상호 계층 최적화를 이용한 멀티미디어 데이터 패킷을 송신하는 방법 및 장치
US11316799B2 (en) Method and apparatus for transmitting a multimedia data packet using cross-layer optimization
KR20060063329A (ko) 네트워크를 통해 멀티미디어 컨텐츠를 전송하는 장치 및방법
CN108781139A (zh) 分组网络中的数据重传
CN101741752B (zh) 视频流传输的方法、装置和系统
CN103339930A (zh) 合作媒体系统中管理多个终端设备上内容分配的方法和装置
US8565083B2 (en) Thinning of packet-switched video data
EP1619839A1 (en) Method of and apparatus for scheduling transmission of multimedia streaming services over the radio channel of wireless communication systems
JP4744457B2 (ja) 通信方法および通信装置
KR102060410B1 (ko) 멀티미디어 데이터 패킷을 수신하는 방법 및 장치
Nagai et al. A Streaming Method for Efficient Bandwidth Utilization Using QoS Control Function of LTE
KR102014882B1 (ko) 멀티미디어 데이터 패킷을 송신하는 방법 및 장치
CN106100803A (zh) 用于作出重发决定的方法和装置
Ahmed et al. Delivering of MPEG-4 multimedia content over next generation Internet
Lissah et al. Rate Adaptive Congestion Control Using Lookup Table Scheme to Enhance Quality of Experience

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant