CN104904170B - 有效地对用于低带宽传送的视频流中的要素进行优先化的方法和装置 - Google Patents

有效地对用于低带宽传送的视频流中的要素进行优先化的方法和装置 Download PDF

Info

Publication number
CN104904170B
CN104904170B CN201380069108.XA CN201380069108A CN104904170B CN 104904170 B CN104904170 B CN 104904170B CN 201380069108 A CN201380069108 A CN 201380069108A CN 104904170 B CN104904170 B CN 104904170B
Authority
CN
China
Prior art keywords
content
bag
designator
video
content designator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201380069108.XA
Other languages
English (en)
Other versions
CN104904170A (zh
Inventor
B.K.内夫
F.阿戈达西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pelco Inc
Original Assignee
Pelco Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pelco Inc filed Critical Pelco Inc
Publication of CN104904170A publication Critical patent/CN104904170A/zh
Application granted granted Critical
Publication of CN104904170B publication Critical patent/CN104904170B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2416—Real-time traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/32—Flow control; Congestion control by discarding or delaying data units, e.g. packets or frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784—Data processing by the network
    • H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

处理用于低带宽传送的视频可能很复杂。在内容源处，在本文中所公开的方法的实施例可以包括逐个包地根据包流的包中的内容来分配内容标识符。该方法还包含转发关于包的内容标识符以使下游网络节点或设备能够实现包流内的包的优先化。下游网络节点或设备可以进行由内容标识符所指导的丢弃决定，内容标识符可以被映射到可选用于进行丢弃决定的优先化值。包含有用信息的包或视频帧可以被优先化并且具有更高的概率被递送。

Description

有效地对用于低带宽传送的视频流中的要素进行优先化的方 法和装置
相关申请
本申请是于2012年11月20日提交的第13/682,688号美国申请的继续。通过引用将上述申请的全部教导并入本文。
背景技术
网络中的流视频内容可能来自各种来源。例如，视频监视系统可以提供包括凡是在监视摄像机的镜头的视野内的图像的视频内容流。随着电影和其他视频节目已经日益变得可以经由网络在家中访问，网络上的视频内容也增加了。随着网络中的越来越多的应用流视频和其他内容，网络带宽需求继续增加。
发明内容
本发明的实施例提供一种用于对通信网络中的包进行优先化的方法、装置和对应的系统。根据一个实施例，对通信网络中的包进行优先化的方法可以包含将内容映射到内容标识符。在内容源处，该方法可以包含逐个包地根据包流的包中的内容来分配内容标识符。该方法还可以包含转发关于包的内容标识符以使下游网络节点能够实现包流内的包的优先化。
内容源可以是摄像机、录像机或网关。
内容可以包括在视频帧内。
内容可以包括真实世界物品的表示，可选地，可以包括计算机生成的图形指示器。
内容标识符可以将诸如视频内容这样的内容映射到实体对象标识符。实体对象标识符可以指示图像或音频记录中的场景内的脸、牌照、个性化标识符或者与被摄体(例如，人、动力或对象)关联的其他表示。
将内容映射到内容标识符可以包括利用标准内容映射表。下游节点可以使用标准内容映射表来分配优先化。
该方法还可以包括对内容标识符分配优先级。将内容映射到内容标识符以及对内容标识符分配优先级可以在内容源处进行。将内容映射到内容标识符可以在内容源处进行，并且对内容标识符分配优先级可以在与内容源分开的设备处进行。
根据一个实施例，转发关于包的内容标识符可以包含转发与包括内容的包关联的包中的内容标识符。转发关于包的内容标识符可以包括在实时协议(RTP)首部扩展中指定内容标识符。该方法还可以包含通过使用在实时协议(RTP)首部扩展中指定的内容标识符将视频内容映射到实体对象。
根据另一个实施例，在网络节点处对包进行优先化的方法可以包含访问多个内容标识符到多个优先化值的映射。该方法可以用包流中的多个内容标识符的内容标识符的集合对包进行优先化。内容标识符的集合可以根据包括在被优先化的包中的内容而变化。优先化可以基于内容标识符的集合以及基于所访问的映射的多个优先化值的优先化值的集合。
内容可以包含在视频帧内。
内容标识符可以将诸如视频内容这样的内容映射到实体对象标识符。实体对象标识符可以指示图像或音频记录中的场景内的脸、牌照、个性化标识符或者与被摄体(例如，人、动物或对象)关联的其他表示。内容标识符可以在视频源处被分配给每个包。
该方法还可以包括基于所包括的内容标识符和内容标识符到优先化值的映射来确定针对每个包的丢弃或转发动作。
根据另一个实施例，装置可以包含：视频内容分类器，被配置为逐个包地根据视频包流的包中的内容来分配内容标识符。该装置还可以包括：转发引擎，被配置为转发关于包的内容标识符以使下游网络节点能够实现对视频包流内的包的优先化。
根据又一个实施例，一种非临时性计算机可读介质，在其上存储指令序列，所述指令序列在被处理器载入和执行时可以使处理器处理视频场景并且生成包的表示视频场景的多个包的包流。还可以使处理器对多个包中的每个包分配内容标识符，每个包可以包括所分配的内容标识符，所分配的内容标识符可以根据由每个包所表示的视频内容来分配。
应当理解的是，本发明的实施例可以实现为方法、装置、系统或在其上实施程序代码的计算机可读介质的形式。一般地，应当理解到，如本领域的普通技术人员所理解的那样，在本文中所描述的方法、模块和流程图的要素可以实现为软件、硬件、固件。本发明的示例实施例可以包括包含可以被处理器载入并执行的指令的非临时性计算机可读介质，所述指令在被执行时可以使处理器完成在本文中所描述的方法。为了便于阅读，在描述的各个部分中使用术语“系统”，其可以表示本发明的一些或所有形式的实施例和实现方式，诸如系统、方法、装置、设备、计算机可读介质、网络节点和网络等。
附图说明
根据下面对本发明的示例实施例的更具体的描述，前述内容将是显而易见的，本发明的示例实施例如附图所示，其中相同的附图标记指代在不同的视图中的相同部件。附图未必是按比例的，而是在图示本发明的实施例时加以强调。
图1A图示用于对通信网络中的包进行优先化的系统的实施例。
图1B图示用于对通信网络中的包进行优先化的系统的另一实施例。
图2是图示用于对通信网络中的包进行优先化的方法的实施例的流程图。
图3是将内容类型映射到内容标识符和优先级的内容映射表300的实施例的示例。
图4是实时传输协议(RTP)首部格式的示例。
图5是用于对通信网络中的包进行优先化的方法的另一个实施例的流程图。
图6是用于在网络节点处对包进行优先化的方法的实施例的流程图。
图7是用于在网络节点处对包进行优先化的方法的另一个实施例。
图8是装置的实施例的框图。
图9是可以实现本发明的各个实施例的计算机的示例性内部结构的框图。
具体实施方式
下面是对本发明的示例性实施例的描述。
当在网络上递送视频或其他内容时，网络条件可能改变。例如，带宽的改变可能造成拥挤，导致传输网络中的视频或其他内容的网络设备丢失视频或其他内容。跨越低带宽链路或者甚至高饱和硬布线链路对视频内容或其他内容进行流化可能往往造成由于沿着路径的某处在介质中的拥挤而导致的丢弃帧。视频(或其他数据)的各个包可能被链路饱和的联网设备随机地丢弃以便降低总的带宽。
这样的被随机丢弃的包可能包括可能被分类为比未被丢弃的包中所包括的数据更有用的数据。例如，在监视的领域内，包括与感兴趣的对象有关的数据的包可能比包括与感兴趣的对象周围的背景有关的数据的包更有用。当存在拥挤时，网络设备的随机的包丢弃可能影响可能包括有用的、安全性有关的内容的视频内容的损失，同时传输包括不太有用的内容的包。
另外，网络传输包包括视频内容之外的数据的包。例如，包可以包括声音内容。在声音的情况下，包括对话的包可能比包括无声的包更有用。例如，911急救呼叫可能包括指定急救响应者应当到达的街道地址的对话。当存在拥挤时，网络设备的随机的包丢弃可能影响来自911急救呼叫的包括对话的包的损失。被丢弃的包可能包括诸如指定街道地址的对话之类的更有用的信息，而传输包包括诸如可能在呼叫期间存在的无声这样的不太有用的内容。
图1A图示用于对通信网络中的包进行优先化的系统100的实施例。在示例性实施例中，诸如摄像机102这样的源可以捕捉凡是在摄像机的镜头的视野内的图像。例如，摄像机102可以捕捉包括视频帧142的视频场景，视频帧包括诸如山脉140a、房屋140b、人140c、树140d、车道140e、卡车140h、牌照140g、卡车140f的司机的脸140f这样的内容。在示例性实施例中，摄像机102可以经由包括具有内容标识符的包106a发送所捕捉到的视频。内容标识符可以指示正在被传送的内容的实体类型，使得接收视频流的网络设备116或下游节点144的智能丢弃决定能够有效地降低带宽传送。
实体类型可以表示诸如脸104f、卡车140f、牌照140g、个性化标识符(未示出)等这样的真实世界物品。在示例性实施例中，视频帧142可以包括有用的视频监视信息。司机的脸140f可以是从房屋140b中偷走货物的入侵者的脸。人140c可以是入侵者的帮凶。司机的脸140f、人140c和牌照140g可以是用于标识在房屋140b处的盗窃的入侵者和帮凶的有用的信息。在示例性实施例中，从摄像机捕捉的视频通过网络108发送给网络设备116、下游网络节点144以及其他(未示出的)网络、节点或者其他设备，以便将所捕捉的视频递送给可以分析所捕捉的视频的终端用户(未示出)或设备(未示出)。在示例性实施例中，下游节点144检测到指示所接收的包应当被丢弃以便降低比特率的条件。
包括人140c’、脸140f’和牌照140g’的内容的包可以被认为是比包括山脉140a’、房屋140b’、树140d’和车道140e’的内容的包更有用。在视频源处，包括视频帧142的内容的包可以根据包中的内容而分配内容标识符。具有内容标识符的包160a可以被视频相机102发送。下游节点144可以利用内容映射表146来根据关于包的内容标识符而映射所接收的包中的内容。诸如人140c、脸140和牌照140g这样的内容可以具有映射到相对于被映射到与诸如山脉140a、房屋140b、树140d、车道140e等之类的其他内容关联的内容标识符的优先级更高的优先级的相应的关于包的内容标识符140c’、140f’和140g’。具有人140c’、脸140f’和牌照140g’的内容的包可以被下游节点144发送，而具有山脉140a’、房屋140b’、树140d’、车道140e等内容的包可以被丢弃。下游节点144可以包括优先化器(prioritizer)148，其访问内容映射表146以确定具有内容标识符106a的包的优先级，以便有效地对视频流中的要素进行优先化，从而降低带宽传送。
根据在本文中所公开的方法的实施例，当结合分析学时，可以将包标识为包含例如脸、牌照、个性化标识符、对话或其他有用内容，并且因此，包括更有用的内容的包不会为了降低传送带宽而被丢弃。根据在本文中所描述的方法的实施例，可以基于包的内容对包进行优先化。基于内容标识符，可以进行智能包丢弃决定，使被分类为有用的内容能够以更高的概率被递送。
在本文中所公开的方法的实施例可以被用于通过应用对网络中正在被传输的内容的分析理解来降比特率。以前的方法可能在存在拥挤时随机地丢弃包。例如，如果包比可以将它们安排在配线上更快地正在填充包桶(packet bucket)，则以前的方法是网络设备可以挑选随机的包并且将其丢弃。诸如译码这样的其他方法可能对视频进行译码以降低其比特率，但是代价是高的CPU负荷和增加的延迟。
图1B图示用于对通信网络中的包进行优先化的系统150的另一个实施例。源102a-e可以添加内容标识符以指示正在被传送的内容的实体类型，并且传输内容的网络设备可以基于从内容标识符得出的优先级来确定包处置动作(例如，丢弃或转发)。源可以是摄像机102a、网关102e、手机102d、因特网协议电话(未示出)、数字录像机(DVR)(未示出)、膝上型电脑102b、桌面计算机102c或者任何其他适合的源。源102a-e可以发送包106b以由通过网络108被通信地耦合的一个或多个目的地110a或110b接收。网络108可以诸如因特网这样的广域网(WAN)、无线网络、局域网(LAN)、蜂窝网络或其他类型的网络。
继续参考图1B，在沿着从源到一个或多个目的地的路径传输包106b时可以利用网络交换机116a、路由器116b或任何其他适合的一个或多个网络设备。例如，网络交换机116a可以被通信地耦合到源102a和路由器116b，以便经由网络108将包106b递送给目的地联网系统(未示出)或目的地网络设备110a或110b。目的地网络设备可以是任何适合的网络设备。在本文中所描述的源、网络和目的地设备可以是有线的或无线的。目的地网络设备110a和110b可以分别包括显示设备112和114和/或扬声器(未示出)，以便将所接收的包的内容(例如，视频或音频)递送给用户(未示出)。显示设备可以是单独的设备，或者被集成到目的地设备中。
沿着源和目的地之间的路径的交换机116a、路由器116b或其他适当的联网设备可以接收具有由源指定的内容标识符的包。沿着路径的网络设备可能需要降低比特率。沿着路径的交换机116a、路由器116b或其他适当的联网设备可以基于对关于包的内容标识符的优先级映射来决定是丢弃还是转发包。虽然仍然可能丢弃包，但是每个丢弃决定可以由内容标识符以及其对应的优先级来指导，使得丢弃决定能够基于指示包括在每个包中的内容是否有用的优先级。网络设备可以基于关于包的内容标识符对包进行优先化。
内容标识符可以将视频内容映射到实体对象标识符。例如，实体对象标识符可以指示脸118a、牌照118b或个性化标识符118c。内容标识符可以使能进行智能丢弃决定，因为可以逐个包地根据包流中的包的内容来分配内容标识符。根据在本文中所公开的方法的实施例，当结合分析时，可以将包标记为包含例如脸、牌照、个性化标识符、对话或其他有用的内容，因此，包括更有用的内容的包不会为了降低带宽而被丢弃。根据在本文中所描述的方法的实施例，可以基于包的内容对包进行优先化。基于内容标识符，可以进行智能包丢弃决定，使被分类为有用的内容能够以更大的概率被递送。
典型地，网络流量(traffic)(在本文中，在其他情况下被称为数据、包或包化数据)可以基于被分配给一种类型的流量的优先级而被丢弃。根据在本文中公开的方法的实施例，流量可以根据一种类型的流量内的内容而被丢弃。例如，在视频的背景下，提供视频帧的源可以将视频帧分割成多个包。视频帧的每个包可以由源基于包括在包中的视频帧的内容来分配内容标识符。网络设备可以基于关于包的内容标识符对包进行优先化。
图2是图示用于对通信网络中的包进行优先化的方法的实施例(200)的流程图。方法可以开始(202)并且将内容映射到内容标识符(204)。在内容源，方法可以逐个包地根据包流的包中的内容来分配内容标识符(206)。方法还可以转发关于包的内容标识符以使得下游网络节点能够实现对包流内的包的优先化(208)，并且方法然后在该示例性示例中结束(210)。内容标识符可以将视频内容映射到实体对象标识符。实体对象标识符可以指示脸、牌照或个性化标识符。因此，可以进行智能包丢弃决定，使得已经被分类为有用的视频内容能够以更高的概率被递送。例如，在监视系统中，视频内容可以是视频场景中的脸。诸如脸这样的对象可以被认为是有用的，因为脸可能是入侵者的脸。脸可以被分类为比视频场景中的其他视频内容更有用的实体对象。
图3是将内容类型302映射到内容标识符304和优先级306的内容映射表的实施例的示例300。在帧的包化期间，诸如相机/记录器这样的源设备可以使用分析来确定视频的内容(例如，内容类型)。内容标识符可以基于对应于所确定的内容类型的预先定义的值来分配。
通过包括关于包的内容标识，传输多个包的网络设备不需要对包的有效载荷进行解码以确定内容。网络设备可以从包流中提取内容标识符，并且基于关于包的内容标识符304和关联的优先级306来确定包的优先级。内容映射表300可以以任何适合的方式来实现，并且可以是一个或多个映射表。内容映射表300可以被分发给在网络中通信地耦合的设备。内容映射表可以包括版本信息以及版本转换信息以便于向后兼容性。
内容标识符可以包括已知或定制的标识符，并且内容标识符的集合可以增长。网络设备可以对内容标识符进行解码，并且将内容标识符映射到优先级值，以便确定包丢弃候选。
当结合分析学时，可以将包标记为包含例如脸、牌照，并且随后不应当为了降低带宽而被丢弃。在内容映射表300中示出的内容类型302、内容标识符304和属性是用于示例的目的，可以实现内容标识符、内容类型、属性的任何适合的值或其映射。另外，可以使用所示出的值和类型之间的任何适合的映射。映射表可以以任何适合的方式来实现，诸如通过指针、指针的指针等。映射表可以在网络设备或网络节点之间共享(例如，经由网络通信)以使得能够同步包括在映射表中的值以及值之间的映射。内容标识符可以包括一个或多个字段。内容标识符可以包括指定版本的字段。将内容标识符映射到优先级值可以包括对包括在内容标识符中的版本进行解码。
根据另一个实施例，可以基于距离对对象进行分类，以使得可以将更接近于相机的对象标记为更高的优先级，因为它们可能包含更有用的(更容易识别的)视频。根据另外的实施例，结合热感相机的深度传感器可以帮助对象分类。
根据一个实施例，在帧的包化期间，可以将内容标识符包括在实时传输协议(RTP)首部扩展中。RTP提供可以适于通过多播或单播网络服务来传送诸如音频、视频这样的实时数据或其他数据的应用的端到端网络传输功能。RTP是有意不完整的协议框架。与可以通过制定更一般的协议或者添加将需要解析的选项机制来提供另外的功能的传统协议不同，RTP旨在通过根据需要对首部进行修改和/或添加来改编。诸如内容标识符这样的标签可以被放置在RTP首部扩展字段中，以由网络设备用于标识包的优先级和确定是否可以“安全地”丢弃包。网络设备的底层媒体编码解码器的解码不是必需的。
图4是由RFC 3550第5.3.1节定义的RTP首部格式的示例(400)。根据RFC 3550第5.3.1节，RTP首部格式包括版本字段402(2比特)。版本字段402可以标识RTP的版本。首部格式还包括填充字段402(1比特)。如果设置填充字段，则包在末端包含不作为有效载荷的一部分的一个或多个另外的填充八位字节。首部格式还可以包括扩展字段406(1比特)。
根据在RFC 3550第5.3.1节中定义的格式，如果扩展比特被设置，则固定的首部必须继之以仅一个首部扩展。首部格式还包括贡献源计数408(4比特)。贡献源计数包含跟随固定首部的贡献源(CSRC)标识符的数量。首部格式还包括标记器字段410(1比特)。标记器的解释由配置文件(profile)定义。首部格式包括有效载荷类型字段412(7比特)。有效载荷类型字段412标识RTP有效载荷的格式，并且由应用确定其解释。
首部格式还包括序列号字段414(16比特)。序列号针对所发送的每个RTP数据包以一递增，并且可以由接收器使用以检测包损失以及恢复包序列。首部格式还可以包括时间戳字段416(32比特)。时间戳反映RTP数据包的第一八位字节的采样时刻。首部格式还包括同步源(SSRC)字段418(32比特)。SSRC字段418标识同步源。首部格式还包括CSRC列表420(0至15个项目，每个32比特)。CSRC列表420标识包含在包中的有效载荷的贡献源。
图示根据在本文中所公开的实施例可以使用的RTP扩展首部(430)。如在RFC 3550第5.3.1节中所定义的那样，RTP提供扩展机制，以允许各别实现方式实验需要在RTP数据包首部中携带的另外的信息的新的有效载荷格式无关的功能。设计该机制使得未被扩展的其他互操作实现方式可以忽略首部扩展。如果扩展字段406在RTP首部中被设置为1的X比特为1，则可变长度的首部扩展432必须在CSRC列表420之后被附加到RTP首部。
首部扩展432包含计数扩展中的32比特字的数量的16比特长度字段434；排除四个八字节比特扩展首部(因此，0为有效的长度)。只有单一扩展可以被附加到RTP数据首部。
为了与不同的首部扩展无关地允许对每个实验有多个互操作实现方式，或者为了允许对具有不止一种类型的首部扩展的实验有特定的实现方式，将首部扩展436的前16比特保留开放，以便区分标识符或参数。这些16比特的格式由实现方式进行操作所根据的配置文件规范来定义。该RTP规范本身未定义任何首部扩展。
根据一个实施例，可以将诸如内容标识符这样的标签放置在RTP首部扩展字段中，以便由网络设备使用来标识包的优先级以及确定是否可以“安全地”丢弃包。例如，首部扩展字段可以用来自诸如在图3A中图示的映射表这样的映射表的内容标识符来填充，在图3A中图示的映射表图示诸如对应于诸如脸这样的视频内容的0000000000000001b、对应于诸如牌照这样的视频内容的这样的0000000000000010b或者对应于诸如脸和牌照这样的视频内容的0000000000000011b的值。
为了降低比特率，网络设备可以被包括在RTP首部扩展字段中的内容标识符来指导，以便确定关于包的动作。根据在本文中所公开的方法的实施例，关于包处置的动作(例如，丢弃或转发)可以逐个包地基于包内容，例如脸或牌照。在接收网络设备处对包内容进行解码是不必要的，因为包内容由内容标识符来指示。内容标识符可以由内容的源来分配。例如，用于捕捉视频场景的设备或用于对语音呼叫数字化的设备可以逐个包地对包流的每个包分配内容标识符。
图5是用于在通信网络中对包进行优先化的方法的另一个实施例的流程图(500)。该方法可以开始(502)并且确定是否使用标准内容映射表(504)。如果是，则将内容映射到内容标识符可以包括利用标准内容映射表(506)。方法可以检查是否对内容标识符分配优先级(508)。如果否，则下游节点可以使用标准内容映射表来分配优先化(510)。方法可以将内容映射到内容标识符(512)。将内容映射到内容标识符可以在内容源处进行，并且对内容标识符分配优先级可以在与内容源分开的设备处进行。
方法可以检查是否在包中包括内容标识符(514)。如果是，则转发关于包的内容标识符可以包括与包括内容的包关联地转发包中的内容标识符(516)。如果否，则可以检查是否在实时协议(RTP)首部扩展中指定内容标识符(518)。如果是，则转发关于包的内容标识符可以包括在实时协议(RTP)首部扩展中指定内容标识符(520)。方法还可以转发关于包的内容标识符，以使下游网络节点能够实现对包流内的包的优先化(522)，方法然后在该示例性实施例中结束(524)。
图6是用于在网络节点处对包进行优先化的方法的实施例的流程图(600)。方法可以开始(602)并且访问多个内容标识符到多个优先化值的映射(606)。方法可以用包流中的多个内容标识符的内容标识符的集合对包进行优先化。内容标识符的集合可以根据包括在被优先化的包中的内容。优先化可以基于标识符集合以及基于所访问的映射的多个优先化值的优先化值的集合(608)，之后方法在该示例性实施例中结束(610)。
图7是用于在网络节点处对包进行优先化的方法的另一个实施例(700)。方法可以开始(702)并且接收包含多个包的包流，包流中的每个包可以包括根据每个包中的内容而不同的内容标识符(704)。方法可以检查内容是否包含在视频帧内(706)。如果是，则方法可以将视频内容映射到实体对象标识符(708)。方法可以访问多个内容标识符到多个优先化值的映射(710)。方法可以基于所包括的内容标识符以及基于所访问的映射的内容标识符到优先化值的映射对每个所接收的包进行优先化(712)。方法还可以包括基于所包括的内容标识符以及内容标识符到优先化值的映射确定针对每个包的丢弃或转发动作(714)。如果丢弃，则方法可以丢弃包(716)，然后方法在该示例性实施例中结束(722)。如果转发(718)，则方法可以转发包(720)，并且然后，方法在该示例性实施例中结束(722)。
图8是装置(800)的实施例的框图。装置可以包含：视频内分类器(802)，被配置为逐个包地根据视频包流的包中的内容来分配内容标识符。装置还可以包括：转发引擎(804)，被配置为转发关于包的内容标识符，以使下游网络节点能够实现对视频包流内的包的优先化。
从联网供应方的观点来看，视频仅是另一种类型的数据。可以基于一些预先定义的值对数据进行优先化，但是往往在链路饱和时，网络设备简单地基于静态的预先配置的值来丢弃低优先级的流量。网络设备不理解视频，因为它们关注联网的其他问题。视频帧/包优先级可以基于视频的实际内容而是动态的。根据在本文中所公开的技术，诸如交换机116a和路由器116b这样的联网设备不需要理解每个编码解码器(例如，MPEG-4、H.264、WebM等)以对每个包进行解码以便确定包内容。根据在本文中所公开的方法的实施例，可以提供定制的RTP首部扩展，其提供以编码解码器无关的格式的视频包的内容的对应的内容标识符。
根据在本文中所公开的技术可以解决多个问题。诸如交换机116a或路由器116b这样的网络设备不需要理解编码解码器类型以确定其对于丢弃包是否是“安全的”。网络设备可以做出由内容标识符所指导的丢弃决定。包含诸如入侵者的脸或车辆的牌照这样的有用信息的包或视频帧可以被优先化，并且可以具有被递送的更高的概率。另外，使用MPEG-4作为示例，根据在本文中所公开的方法的实施例，可以通过确定是否丢弃整个画面组(GOP)来降低带宽消耗。
处理用于低带宽传送的视频可能是复杂的，因为如果视频帧处于较低的帧速率或小分辨率，则其可能需要完整的解码/编码。编码/解码处理可能是CPU敏感的、编码解码器特定的，并且可能对媒体递送处理添加延迟。另外，简单的包丢弃决定机制可能在实质上使视频劣化，因为丢弃单个帧可能导致视频的严重劣化。例如，在MPEG-4的情况下，丢弃单个预测的(P)帧(P帧)可能导致视频的劣化，直至下一个内(I)帧(I帧)为止。丢弃I帧的单个包可能导致整个画面组(GOP)被丢弃。
在本文中所公开的方法的实施例不限于视频内容。通过网络传输的任何适合的内容可以受益于在本文中所公开的方法的实施例。例如，语音呼叫可以受益。语音呼叫可以被分割成多个包。可以基于包括在包中的语音呼叫的内容对语音呼叫的每个包分配内容标识符。在语音呼叫的情况下，具有指示无声的内容标识符的包可以被给予比具有指示声音的内容标识符的包更低的优先级。如果需要降低带宽，则可以在较高优先级的包之前丢弃具有较低优先级的包。因此，包括无声的包可以在包括声音内容的包之前被丢弃。
图9是可以实现本发明的各个实施例的计算机900的示例性内部结构的框图。计算机900包含系统总线902，其中总线是用于在计算机或处理系统的组件之间的数据传输的硬件线路的集合。总线902基本上是耦合计算机系统的不同要素(例如，处理器、盘存储、存储器、输入/输出端口、网络端口等)的共享管道，其使得能够在要素之间传输信息。I/O设备接口904耦合到系统总线902，用于将各种输入和输出设备(例如，键盘、鼠标、显示器、打印机、扬声器等)耦合到计算机900。网络接口906允许计算机900耦合到附加到网络的各种其他设备。存储器908提供针对可以用于实现本发明的实施例的计算机软件指令910和数据912的易失性存储。盘存储914提供针对可以被用于实现本发明的实施例的计算机软件指令910和数据912的非易失性存储。中央处理单元918也耦合到系统总线902，并且用于执行计算机指令。
可能使用计算机程序产品来配置本发明的示例性实施例；例如，控制可以被编程为用于实现本发明的示例性实施例的软件。本发明的另外的示例性实施例可以包括非临时性计算机可读介质，其包含可以由处理器执行的指令，并且在被执行时，使处理器完成在本文中所描述的方法。应当理解的是，在本文中所描述的框图和流程图的要素可以实现为软件、硬件、固件或者将来确定的其他类似的实现方式。另外，在本文中所描述的框图和流程图的要素可以以软件、硬件或固件以任何方式组合或划分。如果实现为软件，则可以以能够支持在本文中所公开的示例性实施例的任何语言来书写该软件。软件可以以任何形式的计算机可读介质来存储，诸如随机存取存储器(RAM)、只读存储器(ROM)、压缩盘只读存储器(CD-ROM)等。在操作时，通用或专用处理器以在本领域中公知的方式来载入并执行软件。还应当理解的是，框图和流程图可以包括更多的或更少的要素、不同地布置或朝向或者被不同地表示。应当理解的是，实现方式可以指示图示本发明的实施例的执行的框图、流程图和/或网络图以及多个框图和流程图。
虽然已经参照本发明的实施例具体地示出并描述了本发明，但是本领域的技术人员将理解到，可以对其中的形式和细节做出各种改变，而不脱离所附权利要求书所涵盖的本发明的范围。

Claims (18)

1.一种用于对通信网络中的包进行优先化的方法，该方法包含：
将内容映射到内容标识符；
在内容源处，逐个包地根据包流的包中的内容来分配内容标识符，内容映射表中包括的内容标识符包括内容类型、内容标识符和优先级之间的映射，并且所述内容映射表对于内容源和下游网络节点是已知的；以及
转发以编解码器无关的格式的、关于包的内容标识符以使接收所述包的下游网络节点通过从接收到的包中提取以所述编解码器无关的格式的、被转发的内容标识符以确定从所述内容映射表接收到的包的优先级，能够实现包流中的接收到的包的优先化而不考虑编解码器类型，其中，所述内容标识符以所述编解码器无关的格式被转发并且将所述包中的内容映射到实体对象标识符。
2.根据权利要求1所述的方法，其中，内容源是摄像机、录像机或网关。
3.根据权利要求1所述的方法，其中，内容包含在视频帧内。
4.根据权利要求1所述的方法，其中，实体对象标识符指示脸、牌照或个性化标识符。
5.根据权利要求1所述的方法，其中，将内容映射到内容标识符包括利用内容映射表，并且另外其中，内容映射表是标准内容映射表。
6.根据权利要求5所述的方法，其中，下游节点使用标准内容映射表来分配优先化。
7.根据权利要求1所述的方法，还包括对内容标识符分配优先级。
8.根据权利要求7所述的方法，其中，将内容映射到内容标识符以及对内容标识符分配优先级在内容源处进行。
9.根据权利要求7所述的方法，其中，将内容映射到内容标识符在内容源处进行，并且对内容标识符分配优先级在与内容源分开的设备处进行。
10.根据权利要求1所述的方法，其中，转发关于包的内容标识符包括转发与包括内容的包关联的包中的内容标识符。
11.根据权利要求1所述的方法，其中，转发关于包的内容标识符包括在实时传输协议(RTP)首部扩展中指定内容标识符。
12.根据权利要求11所述的方法，还包含通过使用在实时传输协议(RTP)首部扩展图中指定的内容标识符将视频内容映射到实体对象。
13.一种用于在网络节点处对包进行优先化的方法，该方法包含：
访问包括多个内容类型、内容和优先化值之间的映射的内容映射表；以及
用包流中的多个内容标识符的内容标识符的集合对接收到的包进行优先化，内容标识符的集合以编解码器无关的格式被转发并根据包括在接收到的包中的内容而变化，接收到的包的优先级通过从包流提取内容标识符确定并且使用以所述编解码器无关的格式被转发以确定从所访问的内容映射表的所述接收到的包的优先级的、所提取的内容标识符确定所述接收到的包的优先级而不考虑编解码器类型，其中，所述多个内容标识符以所述编解码器无关的格式被转发并且将包中的内容映射到实体对象标识符。
14.根据权利要求13所述的方法，其中，内容包含在视频帧内。
15.根据权利要求13所述的方法，还包括在视频源处分配内容标识符的集合。
16.根据权利要求13所述的方法，还包括针对基于优先化值的集合而被优先化的包确定丢弃或转发动作。
17.一种用于对通信网络中的包进行优先化的装置，所述装置包含：
视频内容分类器，被配置为逐个包地根据视频包流的包中的内容来分配内容标识符，内容映射表中包括的内容标识符包括内容类型、内容标识符和优先级之间的映射，并且所述内容映射表对于下游网络节点是已知的；以及
转发引擎，被配置为转发以编解码器无关的格式的、关于包的内容标识符以使得该下游网络节点通过提取以所述编解码器无关的格式被转发以确定从所述内容映射表的包的优先级，能够实现视频包流内的包的优先化而不考虑编解码器类型，其中，所述内容标识符以所述编解码器无关的格式被转发并且将所述包中的内容映射到实体对象标识符。
18.一种包括处理器的装置，所述处理器被配置为：
处理视频场景并且产生包括表示视频场景的多个包的包流；
对多个包中的每个包分配内容标识符，每个包包括所分配的内容标识符，内容标识符根据每个包所表示的视频内容来分配，内容映射表中包括的内容标识符包括内容类型、内容标识符和优先级之间的映射，并且所述内容映射表对于下游网络节点是已知的；以及
转发以编解码器无关的格式的、关于每个对应的包的每个所分配的内容标识符，以使下游网络通过提取以所述编解码器无关的格式被转发以确定从所述内容映射表的对应的包的优先级，能够实现包流内的对应的包的优先化而不考虑编解码器类型，其中，所述内容标识符以所述编解码器无关的格式被转发并且将包中的内容映射到实体对象标识符。
CN201380069108.XA 2012-11-20 2013-11-14 有效地对用于低带宽传送的视频流中的要素进行优先化的方法和装置 Expired - Fee Related CN104904170B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/682,688 2012-11-20
US13/682,688 US10511649B2 (en) 2012-11-20 2012-11-20 Method and apparatus for efficiently prioritizing elements in a video stream for low-bandwidth transmission
PCT/US2013/070069 WO2014081610A1 (en) 2012-11-20 2013-11-14 Method and apparatus for efficiently prioritizing elements in a video stream for low-bandwidth transmission

Publications (2)

Publication Number Publication Date
CN104904170A CN104904170A (zh) 2015-09-09
CN104904170B true CN104904170B (zh) 2018-03-27

Family

ID=49713462

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380069108.XA Expired - Fee Related CN104904170B (zh) 2012-11-20 2013-11-14 有效地对用于低带宽传送的视频流中的要素进行优先化的方法和装置

Country Status (4)

Country Link
US (2) US10511649B2 (zh)
EP (1) EP2923470A1 (zh)
CN (1) CN104904170B (zh)
WO (1) WO2014081610A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017196380A1 (en) * 2016-05-13 2017-11-16 Intel IP Corporation Avoiding discard of critical video data in modem long term evolution stack
EP3973677A4 (en) * 2019-05-21 2023-07-12 Genetec Inc. METHODS AND SYSTEMS FOR CODEC DETECTION IN VIDEO STREAMS
US11240540B2 (en) * 2020-06-11 2022-02-01 Western Digital Technologies, Inc. Storage system and method for frame trimming to optimize network bandwidth
CN116455880A (zh) * 2022-01-10 2023-07-18 腾讯科技（深圳）有限公司 流媒体传输方法及相关产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1246644A (zh) * 1998-08-24 2000-03-08 索尼公司 数字照相机装置及其记录方法
US6449251B1 (en) * 1999-04-02 2002-09-10 Nortel Networks Limited Packet mapper for dynamic data packet prioritization
US7630570B1 (en) * 1998-05-06 2009-12-08 At&T Intellectual Property Ii, L.P. Method and apparatus to prioritize video information during coding and decoding
CN102104538A (zh) * 2010-12-08 2011-06-22 浙江工业大学 一种映射参数动态自适应的无线流媒体传输控制方法
CN102148815A (zh) * 2010-10-26 2011-08-10 华为技术有限公司 一种视频流的调度方法及网络节点

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2683648B1 (fr) * 1991-11-12 1996-12-13 Apple Computer Procede de choix d'objets dans une sequence d'images mobiles et piste d'essai de reussite correspondante.
JP3193947B2 (ja) * 1997-01-08 2001-07-30 株式会社ディジタル・ビジョン・ラボラトリーズ データ送信システム及びデータ送信方法
US6538689B1 (en) * 1998-10-26 2003-03-25 Yu Wen Chang Multi-residence monitoring using centralized image content processing
US7000245B1 (en) * 1999-10-29 2006-02-14 Opentv, Inc. System and method for recording pushed data
US6999424B1 (en) * 2000-01-24 2006-02-14 Ati Technologies, Inc. Method for displaying data
WO2003021970A1 (en) 2001-09-04 2003-03-13 Faroudja Cognition Systems, Inc. Low bandwidth video compression
US7237108B2 (en) 2001-09-26 2007-06-26 General Instrument Corporation Encryption of streaming control protocols and their headers
US8140698B2 (en) 2003-04-30 2012-03-20 International Business Machines Corporation Method and system for efficient data transmission in interactive networked environments
US7773581B2 (en) 2004-03-19 2010-08-10 Ericsson Ab Method and apparatus for conferencing with bandwidth control
US20060002351A1 (en) 2004-07-01 2006-01-05 Telefonaktiebolaget L M Ericsson (Publ) IP address assignment in a telecommunications network using the protocol for carrying authentication for network access (PANA)
US8102776B2 (en) 2007-09-05 2012-01-24 Spirent Communications, Inc. Methods and apparatus for generating simulated network traffic
EP2091205A1 (en) * 2008-02-14 2009-08-19 NTT DoCoMo, Inc. Method and an apparatus for delivering a video stream
US8363548B1 (en) * 2008-12-12 2013-01-29 Rockstar Consortium Us Lp Method and system for packet discard precedence for video transport
US8010691B2 (en) * 2008-12-29 2011-08-30 Cisco Technology, Inc. Content tagging of media streams
US8903944B2 (en) * 2011-09-09 2014-12-02 Cable Television Laboratories, Inc. Version selective content delivery
KR20140102443A (ko) * 2013-02-14 2014-08-22 삼성전자주식회사 카메라를 이용한 물체 추적 방법 및 이를 위한 카메라 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7630570B1 (en) * 1998-05-06 2009-12-08 At&T Intellectual Property Ii, L.P. Method and apparatus to prioritize video information during coding and decoding
CN1246644A (zh) * 1998-08-24 2000-03-08 索尼公司 数字照相机装置及其记录方法
US6449251B1 (en) * 1999-04-02 2002-09-10 Nortel Networks Limited Packet mapper for dynamic data packet prioritization
CN102148815A (zh) * 2010-10-26 2011-08-10 华为技术有限公司 一种视频流的调度方法及网络节点
CN102104538A (zh) * 2010-12-08 2011-06-22 浙江工业大学 一种映射参数动态自适应的无线流媒体传输控制方法

Also Published As

Publication number Publication date
EP2923470A1 (en) 2015-09-30
US20140143385A1 (en) 2014-05-22
US20200036767A1 (en) 2020-01-30
CN104904170A (zh) 2015-09-09
US11165845B2 (en) 2021-11-02
US10511649B2 (en) 2019-12-17
WO2014081610A1 (en) 2014-05-30

Similar Documents

Publication Publication Date Title
KR100918327B1 (ko) 통신 네트워크에서 헤더를 생성하기 위한 방법 및 장치
US11070327B2 (en) Method and apparatus for re-transmitting MMT packet and method and apparatus for requesting MMT packet re-transmission
US11165845B2 (en) Method and apparatus for efficiently prioritizing elements in a video stream for low-bandwidth transmission
EP1601161A1 (en) Network interface card for supporting multi-streaming format and method thereof
US11153360B2 (en) Methods and systems for codec detection in video streams
US10862945B2 (en) Adaptive restful real-time live media streaming
CN111385221A (zh) 一种数据处理方法和通信设备
CN112787902B (zh) 报文封装方法及装置、报文解封装方法及装置
CN109889913B (zh) 一种网络环境中的数据丢包的分析方法
US20230269410A1 (en) Method, device and system for transmitting data stream and computer storage medium
CN103339930A (zh) 合作媒体系统中管理多个终端设备上内容分配的方法和装置
CN112565224A (zh) 一种视频处理方法及装置
US11057312B2 (en) Apparatus and method for configuring MMT payload header
CN113784094B (zh) 视频数据处理方法、网关、终端设备及存储介质
US10630745B2 (en) MMT apparatus and MMT method for processing media data
CN114679574B (zh) 监控数据分发方法及监控数据分发装置
CN112187778B (zh) Flv数据传输方法、系统、设备及可读存储介质
CN116546269B (zh) 一种媒体流插帧的网络流量清洗方法、系统及设备
CN108390794A (zh) 一种流媒体数据丢包率的计算方法及系统
KR101683384B1 (ko) 실시간 스트림 제어를 위한 시스템 및 방법
WO2015060586A1 (ko) Ｍｍｔ 페이로드 헤더 구성 장치 및 방법
CN116527949A (zh) 一种媒体流的转发方法和转发装置
CN115225542A (zh) 视频信息处理方法、装置、电子设备和存储介质
TWI502998B (zh) Method and system of video information acquisition based on video data traffic
CN117278737A (zh) 一种视频质量检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180327

Termination date: 20191114

CF01 Termination of patent right due to non-payment of annual fee