CN112218172B - 码流传输方法、装置及网络摄像头 - Google Patents

码流传输方法、装置及网络摄像头 Download PDF

Info

Publication number
CN112218172B
CN112218172B CN202010905630.9A CN202010905630A CN112218172B CN 112218172 B CN112218172 B CN 112218172B CN 202010905630 A CN202010905630 A CN 202010905630A CN 112218172 B CN112218172 B CN 112218172B
Authority
CN
China
Prior art keywords
video
rtp
stream
data packet
code stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010905630.9A
Other languages
English (en)
Other versions
CN112218172A (zh
Inventor
陈赟
蔡永锦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202010905630.9A priority Critical patent/CN112218172B/zh
Publication of CN112218172A publication Critical patent/CN112218172A/zh
Application granted granted Critical
Publication of CN112218172B publication Critical patent/CN112218172B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/437—Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种码流传输方法、装置及网络摄像头，属于视频监控技术领域，所述方法包括：向监控平台传输RTP码流；接收监控平台发送的第一RTCP反馈，第一RTCP反馈用于指示RTP码流的传输质量；根据第一RTCP反馈调整RTP码流的冗余率和视频码率，冗余率用于指示RTP码流中冗余数据包所占的比例，冗余数据包根据RTP码流中的视频流数据包生成，视频码率用于指示单位时间内传输的视频流数据包的数据量。本发明解决了视频监控系统中，因传输丢包导致的视频画面出现花屏或马赛克现象，保证了视频监控系统的视频监控质量。

Description

码流传输方法、装置及网络摄像头
技术领域
本发明涉及视频监控技术领域，特别涉及一种码流传输方法、装置及网络摄像头(英文：IP Camera；简称：IPC)。
背景技术
视频监控系统是安保系统中重要组成部分，能够实现对多个区域的实时监控。视频监控系统中通常包含多台IPC以及通过互联网协议(英文：Internet Protocol；简称：IP)网络与IPC相连的监控平台。
IPC负责采集视频数据，并对采集到的视频数据进行编码得到视频流数据包，最终通过IP网络将视频流数据包传输至监控平台。监控平台对接收到的视频流数据包进行解码得到视频数据，并进一步对视频数据进行解析播放，从而实现监控平台侧的实时监控。同时，监控平台还负责管理IPC，并对视频流解码得到的视频数据进行存储，方便后续调取查看。
当IP网络出现网络波动或带宽不足时，视频流在传输过程中会出现丢包，导致监控平台侧播放的画面出现花屏或马赛克现象，影响视频监控的质量。
发明内容
为了解决当IP网络出现网络波动或带宽不足时，视频流在传输过程中会出现丢包，导致监控平台侧播放的画面出现花屏或马赛克现象，影响视频监控的质量的问题，本发明实施例提供了一种码流传输方法、装置及网络摄像头。所述技术方案如下：
第一方面，提供了一种码流传输方法，该方法包括：
向监控平台传输实时传输协议(英文：Real-time Transport Protocol；简称：RTP)码流；
接收所述监控平台发送的第一实时传输控制协议(英文：Real-time TransportControl Protocol；简称：RTCP)反馈，所述RTCP反馈用于指示所述RTP码流的传输质量；
根据所述第一RTCP反馈调整所述RTP码流的冗余率和视频码率，所述冗余率用于指示所述RTP码流中冗余数据包所占的比例，所述冗余数据包根据所述RTP码流中的视频流数据包生成，所述视频码率用于指示单位时间内传输的所述视频流数据包的数据量。
视频监控系统中的IPC在向监控平台传输RTP码流的同时，根据监控平台反馈的RTP码流的传输质量，实时调整后续RTP码流中的视频流数据包和冗余数据包，使得在IP网络出现网络波动时，监控平台能够根据RTP码流中的冗余数据包恢复丢失的视频流数据包，避免因传输丢包出现视频花屏或马赛克现象，保证了视频监控系统的视频监控质量。
结合第一方面，在第一方面的第一种可能的实施方式中，所述根据所述RTCP反馈调整所述RTP码流的冗余率和视频码率，包括：
若所述第一RTCP反馈指示存在通过所述冗余数据包恢复的视频流数据包，则提高所述冗余率并降低所述视频码率；或者，
若所述第一RTCP反馈指示不存在通过所述冗余数据包恢复的视频流数据包，则降低所述冗余率并提高所述视频码率。
当RTCP反馈指示监控平台中存在根据冗余数据包恢复的视频数据包时，表明在当前IP网络状况下存在丢包，为了保证视频监控的效果，IPC即增加RTP码流中包含的冗余数据包并减少RTP码流中包含的视频流数据包，从而增强RTP码流的抗丢包能力；相似的，当RTCP反馈指示监控平台中不存在根据冗余数据包恢复的视频数据包时，表明在当前IP网络状况下不存在丢包，IPC即提高RTP码流的视频码率，从而提高视频监控的效果。
结合第一方面或第一方面的第一种可能的实施方式，在第一方面的第二种可能的实施方式中，所述IPC预设有至少两级抗丢包等级，所述抗丢包等级与所述RTP码流的抗丢包能力呈正比，且所述抗丢包等级与所述冗余率呈正比。
IPC中预先设置多级抗丢包等级，IPC只需要调节RTP码流中冗余数据包的抗丢包等级即可实现对RTP码流的冗余率的调节，提高了IPC调节RTP码流的效率。
结合第一方面的第二种可能的实施方式，在第一方面的第三种可能的实施方式中，所述若所述第一RTCP反馈指示存在通过所述冗余数据包恢复的视频流数据包，则提高所述冗余率并降低所述视频码率，包括：
若所述第一RTCP反馈指示存在通过所述冗余数据包恢复的视频流数据包且当前抗丢包等级不是最高等级，则将所述抗丢包等级提高预定等级并降低所述视频码率；
若所述第一RTCP反馈指示存在通过所述冗余数据包恢复视频流数据包且当前抗丢包等级是最高等级，则保持当前抗丢包等级和当前视频码率。
在当前抗丢包等级不是最高等级时，IPC进一步提高后续RTP码流的冗余率并降低其视频码率，使得监控平台能够根据RTP码流中冗余数据包进行视频流数据包的恢复，保证了在IP网络波动的情况下视频监控的效果；在当前抗丢包等级达到最高等级时，IPC保持RTP码流的最高抗丢包等级，避免因丢包引起的画面花屏现象。
结合第一方面的第二种可能的实施方式，在第一方面的第四种可能的实施方式中，所述若所述第一RTCP反馈指示不存在通过所述冗余数据包恢复的视频流数据包，则降低所述冗余率并提高所述视频码率，包括：
若所述第一RTCP反馈指示不存在通过所述冗余数据包恢复的视频流数据包且所述RTP码流中包含所述冗余数据包，则将所述抗丢包等级降低预定等级并提高所述视频码率；
若所述第一RTCP反馈指示不存在通过所述冗余数据包恢复的视频流数据包且所述RTP码流中不包含所述冗余数据包，则保持当前视频码率。
当RTCP反馈指示不存在通过冗余数据包恢复的视频流数据包，且当前抗丢包等级不是最高级时，IPC降低后续RTP码流的抗丢高等级，从而提高RTP码流的视频码率，进一步提高IP网络稳定状态下监控视频的质量。
结合第一方面的第二种可能的实施方式、第一方面的第三种可能的实施方式或第一方面的第四种可能的实施，在第一方面的第五种可能的实施方式中，所述根据所述RTCP反馈调整所述RTP码流的冗余率和视频码率之后，所述方法还包括：
若在预定时长内，所述RTP码流的所述视频码率小于预定码率阈值且所述RTP码流中不包含所述冗余数据包，则将所述RTP码流的带宽上调预设带宽数值；
在上调带宽后的RTP码流中加入最高抗丢包等级的所述冗余数据包，并降低所述视频码率。
当RTP码流中仅包含视频流数据包，且RTP码流的视频码率长时间低于预定码率时，表明IP网络带宽未得到充分利用。为了进一步提升视频监控的效果，IPC提高RTP码流的带宽，并向增加带宽后的RTP码流中加入最高抗丢包等级的冗余数据包，在提高IP网络带宽使用率的同时，保证了RTP码流的抗丢包能力。
结合第一方面的第二种可能的实施方式、第一方面的第三种可能的实施方式或第一方面的第四种可能的实施，在第一方面的第六种可能的实施方式中，所述RTP码流中仅包含所述视频流数据包，且所述RTCP反馈指示传输过程中发生丢包，
所述接收所述监控平台发送的实时传输控制协议第一RTCP反馈之后，所述方法还包括：
将所述RTP码流的带宽下调预定比例；
向所述监控平台传输下调带宽后的RTP码流并接收所述监控平台后续发送的第二RTCP反馈。
当IPC传输的RTP码流中仅包含视频流数据包且RTCP反馈指示RTP码流在传输过程中发生丢包时，由于监控平台无法进行视频流数据包的恢复，因此IPC降低后续RTP码流的带宽，避免RTP码流在传输过程中发生丢包。
结合第一方面的第六种可能的实施方式，在第一方面的第七种可能的实施方式中，所述向所述监控平台传输下调带宽后的RTP码流并接收所述监控平台后续发送的第二RTCP反馈之后，所述方法还包括：
若所述第二RTCP反馈指示传输过程中未发生丢包，则在所述RTP码流中加入最高抗丢包等级的所述冗余数据包；
接收所述监控平台后续发送的第三RTCP反馈；
若所述第三RTCP反馈指示传输时延未增加，则执行根据所述第三RTCP反馈调整所述RTP码流的冗余率和视频码率的步骤。
当RTP码流中包含冗余数据包时，IPC根据监控平台反馈的传输时延确定RTP码流的带宽是否适当，当传输时延未增加时，确定RTP码流的带宽适当，并对RTP码流的冗余率和视频码率进行调节；当传输时延增加时，表明网络中出现拥塞，IPC即降低RTP码流的带宽，避免网络拥塞对RTP码流传输所造成的影响。
结合第一方面、第一方面的第一种可能的实施方式、第一方面的第二种可能的实施方式、第一方面的第三种可能的实施方式、第一方面的第四种可能的实施方式、第一方面的第五种可能的实施方式、第一方面的第六种可能的实施方式或第一方面的第七种可能的实施方式，在第一方面的第八种可能的实施方式中，所述冗余数据包使用保留协议类型进行标识，所述保留协议类型指H.264协议和H.265协议未使用的协议类型。
由于IPC传输的RTP码流中可能包含冗余数据包，当监控平台未配置冗余数据包识别和恢复能力时，会导致视频解码异常。为了提高IPC与不同监控平台之间的兼容性，IPC使用保留协议类型对RTP码流中的冗余数据包进行标识，当未配置冗余数据包识别和恢复能力的监控平台接收到包含冗余数据包的RTP码流时，即根据H.264协议或H.265协议直接对冗余数据包进行丢弃，保证后续正常视频解码。
第二方面，提供了一种码流传输装置，所述装置包括至少一个单元，该至少一个单元用于实现上述第一方面或第一方面的可能的实施方式中所提供的码流传输方法。
第三方面，提供了一种IPC，所述IPC包括：处理器、分别与所述处理器相连的存储器和网络接口，其中，所述存储器用于存储一个或者一个以上的指令，所述指令被配置成由所述处理器执行；所述处理器通过执行所述存储器中的指令来实现第一方面或第一方面的可能的实施方式中所提供的码流传输方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例提供的实施环境的示意图；
图2示出了本发明一个示例性实施例提供的码流传输方法的方法流程图；
图3A示出了本发明另一个示例性实施例提供的码流传输方法的方法流程图；
图3B示出了本发明再一个示例性实施例提供的码流传输方法的方法流程图；
图4示出了本发明一个示例性实施例提供的码流传输装置的框图；
图5示出了本发明另一个示例性实施例提供的码流传输装置的框图；
图6示出了本发明实施例提供的IPC600的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
请参考图1，其示出了本发明实施例提供的实施环境的示意图。该实施环境中包括至少一个IPC110以及监控平台120。
IPC110是具有摄像以及网络传输功能的电子设备。IPC110通过摄像组件采集视频数据，并将采集到的视频数据进行编码后发送至监控平台120。通常情况下，IPC110对视频数据进行编码后，还需要对编码后的视频数据进行RTP分片和打包，并最终以数据包的形式向监控平台120传输视频数据。本发明各个实施例提供的码流传输方法即应用于IPC110中。
IPC110与监控平台通过有线或无线网络与监控平台120相连。
监控平台120可以是一台服务器或由多台服务器组成的服务器集群。监控平台120通过与各个IPC110之间的网络接收IPC110传输的数据包，并对接收到的数据包进行RTP组包和视频解码，从而得到相应的视频数据。为了方便进行实时监控，监控平台120中还可以包含监控设备(比如显示器)，经过视频解码的视频数据即通过监控设备进行显示。
由于网络波动等原因，IPC110向监控平台120传输视频数据包时会出现带宽不足的现象，导致视频数据包在传输过程中出现丢包的现象，最终表现为监控平台120处显示的画面出现花屏或马赛克，严重影响视频监控的效果。
请参考图2，其示出了本发明一个示例性实施例提供的码流传输方法的方法流程图。本实施例以该码流传输方法应用在图1中的IPC110为例进行说明，该方法包括：
步骤201，向监控平台传输RTP码流。
该视频流数据包根据IPC采集的视频数据生成。并且，为了提高RTP码流的抗丢包能力，在包含视频流数据包的同时，该RTP码流中还可以包含根据视频流数据包生成的冗余数据包。
步骤202，接收监控平台发送的第一RTCP反馈，第一RTCP反馈用于指示RTP码流的传输质量。
其中，该第一RTCP反馈可以指示RTP码流在传输中是否发生丢包，也可以指示RTP码流的传输时延是否增加，还可以指示监控平台是否根据RTP码流中的冗余数据包恢复视频流数据包。
比如，当向监控平台传输的RTP码流中仅包含视频流数据包时，该第一RTCP反馈可以指示RTP码流(即视频流数据包)在传输中是否发生丢包；当向监控平台传输的RTP码流中既包含视频流数据包，又包含根据视频流数据包生成的冗余数据包时，该第一RTCP反馈可以指示RTP码流的传输时延是否增加，还可以指示监控平台是否根据RTP码流中的冗余数据包恢复视频流数据包。
步骤203，根据第一RTCP反馈调整RTP码流的冗余率和视频码率，冗余率用于指示冗余数据包在RTP码流中所占的比例，冗余数据包根据视频流数据包生成并用于恢复传输过程中丢失的视频流数据包，视频码率用于指示单位时间内传输的视频流数据包的数据量。
需要说明的是，下述各个实施例中，调整RTP码流的冗余率和视频码率均可以在保持RTP码流占用带宽不变的前提下进行。
当第一RTCP反馈指示RTP码流的传输质量较差时，表示当前的网络带宽无法满足RTP码流的正常传输，为了保证视频监控的质量，在保持RTP码流占用带宽不变的前提下，IPC可以调整RTP码流中的冗余数据包所占用的带宽以及视频流数据包所占用的带宽。当RTP码流中的视频流数据包在传输过程中发生丢包时，监控平台可以根据冗余数据包对丢失的视频流数据包进行恢复，避免因视频流数据包丢失导致监控画面出现花屏等现象。
其中，IPC中预设有至少两级抗丢包等级，该抗丢包等级与RTP码流的抗丢包能力呈正比，且抗丢包等级与冗余率呈正比，即RTP码流对应的抗丢包等级越高，表明该RTP码流的冗余率越高，且该RTP码流的抗丢包能力越强。相应的，IPC可以根据接收到的第一RTCP反馈，通过上调或下调RTP码流的抗丢包等级的方式，调整RTP码流的冗余率。
综上所述，本实施例提供的码流传输方法，IPC通过在向监控平台传输RTP码流的同时，根据监控平台反馈的RTP码流的传输质量，实时调整后续RTP码流中的视频流数据包和冗余数据包，使得在IP网络出现网络波动时，监控平台能够根据RTP码流中的冗余数据包恢复丢失的视频流数据包，避免因传输丢包导致监控画面出现花屏或马赛克现象，保证了视频监控系统的视频监控质量。
请参考图3A，其示出了本发明另一个示例性实施例提供的码流传输方法的方法流程图。本实施例以该码流传输方法应用在图1中的IPC110为例进行说明，该方法包括：
步骤301，向监控平台传输RTP码流。
在初始阶段，IPC根据预设带宽向监控平台传输仅包含视频流数据包RTP码流。比如，用户预设的视频码率为1024kbps(对应带宽即为1M)，IPC即以1M带宽向监控平台传输仅包含视频流数据包的RTP码流。
步骤302，接收监控平台发送的第一RTCP反馈。
监控平台接收到IPC传输的RTP码流后，对该RTP码流中的视频流数据包进行RTP组包和视频解码，并根据RTP码流的传输质量周期性的向IPC发送第一RTCP反馈。其中，该第一RTCP反馈可用于指示RTP码流在传输过程中是否发生丢包。
步骤303，检测该第一RTCP反馈是否指示传输过程中发生丢包。
当网络出现波动时，IPC按照预设视频码率向监控平台传输RTP码流时会发生丢包，同时，由于该第一RTP码流中仅包含视频流数据包，监控平台无法对丢失的视频流数据包进行恢复，导致监控平台侧出现视频画面花屏等现象。
为了避免因网络波动导致的视频监控质量下降，IPC检测第一RTCP反馈是否指示RTP码流在传输过程中发生丢包，若RTP码流在传输过程中发生丢包，IPC则下调RTP码流的带宽，直至RTCP反馈指示传输过程中不再发生丢包。
步骤304，若第一RTCP反馈指示传输过程中发生丢包，则将该RTP码流的带宽下调预定比例。
当第一RTCP反馈指示RTP码流在传输过程中发生丢包时，IPC即按照预定比例下调视频码率，由于该RTP码流中仅包含视频流数据包，因此下调视频码率即下调RTP码流的带宽。比如，IPC以1M带宽向监控平台传输RTP码流时，监控平台指示传输过程中出现丢包，IPC即将RTP码流的带宽下调为1*0.9＝0.9M。需要说明的是，本实施例并不对带宽下调的比例进行限定。
步骤305，向监控平台传输下调带宽后的RTP码流并接收监控平台后续发送的第二RTCP反馈。
IPC根据下调后的带宽，向监控平台传输RTP码流，并接收监控平台周期性返回的RTCP反馈。通过上述步骤301至步骤305，IPC根据监控平台发送的RTCP反馈对RTP码流的带宽进行粗粒度调节，直至RTCP反馈指示传输过程中不再发生丢包，使得RTP码流的带宽符合当前的网络状况，避免因传输丢包导致的视频花屏，优先保障视频监控的流畅度和稳定性。
步骤306，若第二RTCP反馈指示传输过程中未发生丢包，则在RTP码流中加入最高抗丢包等级的冗余数据包。
IPC预先设置有多级抗丢包等级，该抗丢包等级与RTP码流的抗丢包能力呈正比，且抗丢包等级与冗余率(RTP码流中冗余数据包所占用带宽占RTP码流所占用带宽的比例)呈正比。即RTP码流对应的抗丢包等级越高，表明该RTP码流的冗余率越高，相应的该RTP码流的抗丢包能力越强。其中，抗丢包等级、抗丢包能力以及冗余率之间的对应关系可以示意性如表一所示。
表一
Figure BDA0002661330810000061
Figure BDA0002661330810000071
其中，抗丢包率越高表示抗丢包能力越强，冗余率越高表示RTP码流中冗余数据包占用带宽的比例越高。
当网络状况发生波动时，为了实现对网络状况的主动探测并进一步提高RTP码流的抗丢包能力，当第二RTCP反馈指示传输过程中未发生丢包时，在RTP码流占用带宽保持不变的情况下，IPC降低视频流数据包所占用的带宽，并在RTP码流中加入根据视频流数据包生成的冗余数据包，使得监控平台能够根据冗余数据包恢复丢失的视频流数据包。
作为一种可能的实施方式，当第二RTCP反馈指示传输过程中未发生丢包时，IPC即下调RTP码流中视频流数据包占用的带宽，并利用节省下的带宽在RTP码流中加入最高抗丢包等级的冗余数据包(即将RTP码流的冗余率调整至最高抗丢包等级对应的冗余率)。其中，该冗余数据包根据RTP码流中的视频流数据包生成，比如，冗余数据包可以由两个视频流数据包按位异或后得到，当某个视频流数据包丢失时，监控平台即可通过该冗余数据包和另一视频流数据包反向异或回复丢失的视频流数据包。本实施例并不对冗余数据包生成的方式进行限定。
比如，当IPC以0.9M带宽向监控平台传输RTP码流时未发生丢包，且最高抗丢包等级对应的冗余率为50％，IPC即将RTP码流中视频流数据包占用的带宽下调为0.9*(1-50％)＝0.45M，并利用节省下的0.45M带宽加入抗丢包等级为5的冗余数据包(冗余率为50％)。
步骤307，接收监控平台后续发送的第三RTCP反馈。
IPC向监控平台发送添加冗余数据包后的RTP码流，并接收监控平台后续发送的第三RTCP反馈。
步骤308，检测第三RTCP反馈是否指示传输时延增加。
由于RTP码流中包含冗余数据包，监控平台接收到RTP码流后，可以获取冗余数据包的冗余包头信息，并根据该冗余包头信息中携带的发送时间以及接收到RTP码流的接收时间计算传输RTP码流的传输时延。若检测到传输时延增加，则表明网络出现拥塞，当前RTP码流占用的带宽不合适，为了避免传输出现丢包，IPC需要进一步下调RTP码流占用的带宽；若检测到传输时延未增加，则表明网络状况良好，当前RTP码流占用的带宽合适，IPC可以进一步根据RTCP反馈调节RTP码流的冗余率和视频码率，从而达到RTP码流的细粒度调节。
步骤309，若第三RTCP反馈指示传输时延增加，则将该RTP码流的带宽下调预定比例。
当第三RTCP反馈指示传输时延增加时，与上述步骤304相似的，IPC将RTP码流占用的带宽下调预定比例，避免因占用带宽过大导致的传输丢包。需要说明的是，IPC在下调RTP码流所占带宽时，该RTP码流的冗余率保持不变，并且，由于RTP码流占用的带宽下调，该RTP码流的视频码率也相应降低。
比如，当前RTP码流所占的带宽为2M，且RTP码流的冗余率为50％，视频码率为1024kbps，当第二RTCP反馈指示传输时延增加时，IPC将RTP码流占用的带宽下调10％，此时，RTP码流所占的带宽为2M*0.9＝1.8M，冗余率保持50％，而RTP码流的视频码率降低至1024kbps*0.9＝922kbps。
步骤310，若第三RTCP反馈指示传输时延未增加，则根据第三RTCP反馈调整RTP码流的冗余率和视频码率。
由于RTP码流中不仅包含视频流数据包，还包含冗余数据包，因此，当RTP码流在传输过程中丢失部分视频流数据包时，监控平台可以根据接收到的视频流数据包以及冗余数据包对丢失的视频流数据包进行恢复，并向IPC发送携带有视频流数据包恢复情况的第三RTCP反馈。
IPC接收到第三RTCP反馈后，即根据第三RTCP反馈所指示的视频流数据包恢复情况对后续RTP码流的冗余率和视频码率进行细粒度调节。
作为一种可能的实施方式，若第三RTCP反馈指示存在通过冗余数据包恢复的视频流数据包，则表明网络中存在丢包，为了保证视频监控的稳定性，IPC进一步提高RTP码流的冗余率并降低视频码率；若第三RTCP反馈指示不存在通过冗余数据包恢复的视频流数据包，则表明网络中不存在丢包，为了提高视频监控的显示效果，IPC则降低RTP码流的冗余率并提高视频码率。
比如，IPC向RTP码流中添加了抗丢包等级为5级的冗余数据包，且监控平台反馈不存在通过冗余数据包恢复的视频流数据包，IPC则将后续RTP码流的抗丢包等级下调为4级，并提高视频码率。如此循环，当网络状况稳定时，RTP码流中的冗余数据包将被去除，RTP码流的视频码率即为RTP码流所占带宽。
经过上述步骤310，IPC通过在RTP码流中的添加冗余数据包来探测网络状况，保证了RTP码流传输的稳定性；同时，IPC根据探测到的网络状况对RTP码流的冗余率和视频码率进行调节，并最终在网络状况稳定时去除RTP码流中的冗余数据包，提高了视频监控的监控效果。
步骤311，若在预定时长内，RTP码流的视频码率小于预定码率阈值且RTP码流中不包含冗余数据包，则将RTP码流的带宽上调预设带宽数值。
由于在上述步骤304中，RTP码流所占的带宽被下调，小于用户预设带宽(视频码率降低)，视频监控虽然稳定但是视频显示效果却低于预期。为了提高视频监控的显示效果，当RTP码流中不包含冗余数据包，且RTP码流的视频码率低于预定码率时，IPC在当前RTP码流所占带宽的基础上，上调预设带宽。需要说明的是，上调后RTP码流所占的带宽应不大于预定码率阈值。
需要说明的是，IPC将RTP码流的带宽上调预设带宽数值可以指在当前RTP码流所占带宽的基础上增加预定带宽值，比如，IPC在0.8M带宽的基础上增加0.1M带宽，即将RTP码流所占带宽提升至0.9M；IPC将RTP码流的带宽上调预设带宽数值也可以指指在当前RTP码流所占带宽的基础上上调预定比例，比如，IPC在0.8M带宽的基础上上调10％的带宽，即将RTP码流所占带宽提升至0.88M，本发明实施例并不对上调RTP码流所占带宽的方式进行限定。
步骤312，在上调带宽后的RTP码流中加入最高抗丢包等级的冗余数据包。
为了保证在上调带宽的同时，RTP码流具有较好的抗丢包能力，IPC降低RTP码流中视频流数据包所占带宽，并利用节省的带宽加入最高抗丢包等级的冗余数据包，即在上调带宽后的RTP码流中加入最高冗余率的冗余数据包。
在RTP码流中加入冗余数据包后，IPC重复执行上述步骤307至步骤310，根据RTCP反馈调节RTP码流的冗余率和视频码率，最终在网络状况稳定时，去除RTP码流中的冗余数据包，使得RTP码流的视频码率达到预设码率阈值，达到较好的视频显示效果。
综上所述，本实施例提供的码流传输方法，IPC通过在向监控平台传输RTP码流的同时，根据监控平台反馈的RTP码流的传输质量，实时调整后续RTP码流中的视频流数据包和冗余数据包，使得在IP网络出现网络波动时，监控平台能够根据RTP码流中的冗余数据包恢复丢失的视频流数据包，避免因传输丢包导致监控画面出现花屏或马赛克现象，保证了视频监控系统的视频监控质量。
本实施例中，IPC中预先设置多级抗丢包等级，IPC只需要调节RTP码流中冗余数据包的抗丢包等级即可实现对RTP码流的冗余率的调节，提高了IPC调节RTP码流的效率。
本实施例中，当RTP码流中仅包含视频流数据包，且RTP码流的视频码率长时间低于预定码率时，表明IP网络带宽未得到充分利用。为了进一步提升视频监控的效果，IPC提高RTP码流的带宽，并向增加带宽后的RTP码流中加入最高抗丢包等级的冗余数据包，在提高IP网络带宽使用率的同时，保证了RTP码流的抗丢包能力。
本实施例中，当IPC传输的RTP码流中仅包含视频流数据包且RTCP反馈指示RTP码流在传输过程中发生丢包时，由于监控平台无法进行视频流数据包的恢复，因此IPC降低后续RTP码流的带宽，避免RTP码流在传输过程中发生丢包，实现对RTP码流的粗粒度调节。
本实施例中，当RTP码流中包含冗余数据包时，IPC根据监控平台反馈的传输时延确定RTP码流的带宽是否适当，当传输时延未增加时，确定RTP码流的带宽适当，并对RTP码流的冗余率和视频码率进行调节；当传输时延增加时，表明网络中出现拥塞，IPC即降低RTP码流的带宽，避免网络拥塞对RTP码流传输所造成的影响。
在图3A所示码流传输方法的基础上，如图3B所示，IPC根据RTCP反馈对RTP码流的冗余率和视频码率进行细粒度调节时，上述步骤310可以进一步包括如下步骤。
步骤310A，若第三RTCP反馈指示存在通过冗余数据包恢复的视频流数据包，则提高冗余率并降低视频码率。
当RTP码流在传输过程中丢失部分视频流数据包时，监控平台可以根据接收到的视频流数据包以及冗余数据包对丢失的视频流数据包进行恢复，并向IPC发送携带有视频流数据包恢复情况的第三RTCP反馈。当IPC接收到的第三RTCP反馈指示存在通过冗余数据包恢复的视频流数据包时，表明当前网络中存在丢包。为了优先保证视频监控的稳定性，IPC提高后续RTP码流的冗余率，并相应降低RTP码流的视频码率，从而提高RTP码流的抗丢包能力。具体的，本步骤还可以包括如下步骤。
步骤310Aa，若第三RTCP反馈指示存在通过冗余数据包恢复的视频流数据包且当前抗丢包等级不是最高等级，则将抗丢包等级提高预定等级并降低视频码率。
由于IPC预先设置了多级抗丢包等级，因此，当第三RTCP反馈指示存在通过冗余数据包恢复的视频流数据包时，IPC获取当前RTP码流的抗丢包等级，并在当前抗丢包等级不是最高级时，提高RTP码流的抗丢包等级，由于RTP码流所占带宽未变化，因此在提高RTP码流的冗余率的同时，需要相应降低RTP码流的视频码流。
比如，RTP码流所占带宽为0.9M，且抗丢包等级为3级(冗余率为40％，视频码率为553kbps)，当第三RTCP反馈指示存在通过冗余数据包恢复的视频流数据包时，IPC即将RTP码流的抗丢包等级上调为4级(冗余率为45％)，并将视频码率下调为507kbps。
步骤310Ab，若第三RTCP反馈指示存在通过冗余数据包恢复视频流数据包且当前抗丢包等级是最高等级，则保持当前抗丢包等级和当前视频码率。
若RTP码流当前的抗丢包等级已经为最高级时，IPC保持当前抗丢包等级和当前视频码率，继续向监控平台传输RTP码流。
步骤310B，若第三RTCP反馈指示不存在通过冗余数据包恢复的视频流数据包，则降低冗余率并提高视频码率。
当第三RTCP反馈指示不存在通过冗余数据包恢复的视频流数据包时，表明网络中存在丢包，IPC可以降低RTP码流的冗余率，并提高其视频码率，从而达到更好的视频显示效果。具体的，本步骤还可以包括如下步骤。
步骤310Ba，若第三RTCP反馈指示不存在通过冗余数据包恢复的视频流数据包且RTP码流中包含冗余数据包，则将抗丢包等级降低预定等级并提高视频码率。
由于IPC预先设置了多级抗丢包等级，因此，当第三RTCP反馈指示不存在通过冗余数据包恢复的视频流数据包时，IPC获取当前RTP码流的抗丢包等级，并下调该抗丢包等级，由于RTP码流所占带宽未变化，因此在降低RTP码流的冗余率的同时，需要相应提高RTP码流的视频码流。
比如，RTP码流所占带宽为0.9M，且抗丢包等级为5级(冗余率为50％，视频码率为461kbps)，当第三RTCP反馈指示存在通过冗余数据包恢复的视频流数据包时，IPC即将RTP码流的抗丢包等级下调为4级(冗余率为45％)，并将视频码率上调为507kbps。
步骤310Bb，若第三RTCP反馈指示不存在通过冗余数据包恢复的视频流数据包且RTP码流中不包含冗余数据包，则保持当前视频码率。
若当前RTP码流中已不包含冗余包，IPC即保持当前视频码率向监控平台传输RTP码流(此时该RTP码流中仅包含视频流数据包)。
需要说明的是，由于IPC与监控平台可能出自不同厂商，当监控平台未配置冗余数据包识别和恢复能力时，会导致视频解码异常。为了提高IPC与不同监控平台之间的兼容性，IPC使用保留协议类型对RTP码流中的冗余数据包进行标识，当未配置冗余数据包识别和恢复能力的监控平台接收到包含冗余数据包的RTP码流时，即根据H.264协议或H.265协议直接对冗余数据包进行丢弃，保证后续正常视频解码。比如，对于H.264协议来说，协议类型0-21被占用，协议类型22-255未被使用，IPC即可使用22-255协议类型对冗余数据包进行标识；又比如，对于H.265协议来说，协议类型3、4、5、17、22、132被占用，IPC即可使用剩余的协议类型对冗余数据包进行标识。
请参考图4，其示出了本发明一个示例性实施例提供的码流传输装置的框图。该码流传输装置可以通过软件、硬件或者两者的结合实现成为图1所示IPC110的全部或者一部分。该码流传输装置可以包括：传输单元410、接收单元420和调整单元430。
传输单元410，用于向监控平台传输RTP码流；
接收单元420，用于接收监控平台发送的第一RTCP反馈，第一RTCP反馈用于指示RTP码流的传输质量；
调整单元430，用于根据第一RTCP反馈调整RTP码流的冗余率和视频码率，冗余率用于指示RTP码流中冗余数据包所占的比例，冗余数据包根据RTP码流中的视频流数据包生成，视频码率用于指示单位时间内传输的视频流数据包的数据量。
综上所述，本实施例提供的码流传输装置，IPC通过在向监控平台传输RTP码流的同时，根据监控平台反馈的RTP码流的传输质量，实时调整后续RTP码流中的视频流数据包和冗余数据包，使得在IP网络出现网络波动时，监控平台能够根据RTP码流中的冗余数据包恢复丢失的视频流数据包，避免因传输丢包导致监控画面出现花屏或马赛克现象，保证了视频监控系统的视频监控质量。
在基于图4所示的码流传输装置的基础上，请参考图5，其示出了本发明另一个示例性实施例提供的码流传输装置的框图。该码流传输装置可以通过软件、硬件或者两者的结合实现成为图1所示IPC110的全部或者一部分。该码流传输装置可以包括：传输单元510、接收单元520和调整单元530。
传输单元510，用于向监控平台传输RTP码流；
接收单元520，用于接收监控平台发送的第一RTCP反馈，第一RTCP反馈用于指示RTP码流的传输质量；
调整单元530，用于根据第一RTCP反馈调整RTP码流的冗余率和视频码率，冗余率用于指示RTP码流中冗余数据包所占的比例，冗余数据包根据RTP码流中的视频流数据包生成，视频码率用于指示单位时间内传输的视频流数据包的数据量。
在一种可能的实施方式中，调整单元530，用于在第一RTCP反馈指示存在通过冗余数据包恢复的视频流数据包时，提高冗余率并降低视频码率；或者，
调整单元530，用于在第一RTCP反馈指示不存在通过冗余数据包恢复的视频流数据包时，降低冗余率并提高视频码率。
在一种可能的实施方式中，IPC预设有至少两级抗丢包等级，抗丢包等级与RTP码流的抗丢包能力呈正比，且抗丢包等级与冗余率呈正比。
在一种可能的实施方式中，调整单元530，用于：
若第一RTCP反馈指示存在通过冗余数据包恢复的视频流数据包且当前抗丢包等级不是最高等级，则将抗丢包等级提高预定等级并降低视频码率；
若第一RTCP反馈指示存在通过冗余数据包恢复视频流数据包且当前抗丢包等级是最高等级，则保持当前抗丢包等级和当前视频码率。
在一种可能的实施方式中，调整单元530，用于：若第一RTCP反馈指示不存在通过冗余数据包恢复的视频流数据包且RTP码流中包含冗余数据包，则将抗丢包等级降低预定等级并提高视频码率；
若第一RTCP反馈指示不存在通过冗余数据包恢复的视频流数据包且RTP码流中不包含冗余数据包，则保持当前视频码率。
在一种可能的实施方式中，该装置还包括：
第一带宽调节单元540，用于若在预定时长内，RTP码流的视频码率小于预定码率阈值且RTP码流中不包含冗余数据包，则将RTP码流的带宽上调预设带宽数值；
第一带宽调节单元540，还用于在上调带宽后的RTP码流中加入最高抗丢包等级的冗余数据包，并降低视频码率。
在一种可能的实施方式中，RTP码流中仅包含视频流数据包，且第一RTCP反馈指示传输过程中发生丢包，
该装置还包括：
第二带宽调节单元550，用于将RTP码流的带宽下调预定比例；
第二带宽调节单元550，还用于向监控平台传输下调带宽后的RTP码流并接收监控平台后续发送的第二RTCP反馈。
在一种可能的实施方式中，该装置还包括：
添加单元560，用于在第二RTCP反馈指示传输过程中未发生丢包时，在RTP码流中加入最高抗丢包等级的冗余数据包；
接收单元520，用于接收所述监控平台后续发送的第三RTCP反馈；
调整单元530还用于，在第三RTCP反馈指示传输时延未增加时，根据第三RTCP反馈调整RTP码流的冗余率和视频码率。
在一种可能的实施方式中，冗余数据包使用保留协议类型进行标识，保留协议类型指H.264协议和H.265协议未使用的协议类型。
综上所述，本实施例提供的码流传输装置，IPC通过在向监控平台传输RTP码流的同时，根据监控平台反馈的RTP码流的传输质量，实时调整后续RTP码流中的视频流数据包和冗余数据包，使得在IP网络出现网络波动时，监控平台能够根据RTP码流中的冗余数据包恢复丢失的视频流数据包，避免因传输丢包导致监控画面出现花屏或马赛克现象，保证了视频监控系统的视频监控质量。
本实施例中，IPC中预先设置多级抗丢包等级，IPC只需要调节RTP码流中冗余数据包的抗丢包等级即可实现对RTP码流的冗余率的调节，提高了IPC调节RTP码流的效率。
本实施例中，当RTP码流中仅包含视频流数据包，且RTP码流的视频码率长时间低于预定码率时，表明IP网络带宽未得到充分利用。为了进一步提升视频监控的效果，IPC提高RTP码流的带宽，并向增加带宽后的RTP码流中加入最高抗丢包等级的冗余数据包，在提高IP网络带宽使用率的同时，保证了RTP码流的抗丢包能力。
本实施例中，当IPC传输的RTP码流中仅包含视频流数据包且RTCP反馈指示RTP码流在传输过程中发生丢包时，由于监控平台无法进行视频流数据包的恢复，因此IPC降低后续RTP码流的带宽，避免RTP码流在传输过程中发生丢包，实现对RTP码流的粗粒度调节。
本实施例中，当RTP码流中包含冗余数据包时，IPC根据监控平台反馈的传输时延确定RTP码流的带宽是否适当，当传输时延未增加时，确定RTP码流的带宽适当，并对RTP码流的冗余率和视频码率进行调节；当传输时延增加时，表明网络中出现拥塞，IPC即降低RTP码流的带宽，避免网络拥塞对RTP码流传输所造成的影响。
请参考图6，其示出了本发明实施例提供的IPC600的结构示意图。
IPC600可以包括：处理器610、摄像组件620、存储器630和网络接口640等部件。本领域技术人员可以理解，图6中示出的IPC600的结构并不构成对IPC的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器610是IPC600的控制中心，利用各种接口和线路连接整个IPC的各个部分，通过运行或执行存储在存储器620内的软件程序和/或模块，以及调用存储在存储器620内的数据，执行IPC600的各种功能和处理数据，从而对IPC600进行整体控制。可选的，处理器610可包括一个或多个处理核心；可选的，处理器610可集成调制解调处理器以及图形处理器，其中，调制解调处理器主要处理无线通信，图形处理器用于处理采集到的视频数据。可以理解的是，上述调制解调处理器和图形处理器也可以不集成到处理器610中，而以独立的处理器存在。
摄像组件620是具有摄像功能的组件。具体的，该摄像模块包括摄像头。摄像组件620将采集到的视频数据传输至处理器610，由处理器610对视频数据进行视频编码，并进一步对编码后的视频数据进行RTP分片和打包，使其符合RTP传输协议。
存储器630可用于存储软件程序以及模块。处理器610通过运行存储在存储器630的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器630可主要包括存储程序区和存储数据区，其中，存储程序区可存储传输单元631、接收单元632和调整单元631。此外，存储器630可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(英文：Static Random Access Memory，简称：SRAM)，电可擦除可编程只读存储器(英文：Electrically Erasable Programmable Read-Only Memory，简称：EEPROM)，可擦除可编程只读存储器(英文：Erasable Programmable Read Only Memory，简称：EPROM)，可编程只读存储器(英文：Programmable Read-Only Memory，简称：PROM)，只读存储器(英文：Read Only Memory，简称：ROM)，磁存储器，快闪存储器，磁盘或光盘。相应地，存储器630还可以包括存储器控制器，以提供处理器610对存储器630的访问。
网络接口640可以为一个或多个，用于通过IP网络与监控平台进行通信。
IPC600还包括给各个部件供电的电源(图中未示出)，优选的，电源可以通过电源管理系统与处理器610逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出，IPC600还可以包括麦克风、蓝牙模块等，在此不再赘述。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (25)

1.一种码流传输方法，其特征在于，用于具有摄像以及网络传输功能的电子设备，所述方法包括：
向监控平台传输实时传输协议RTP码流；
接收所述监控平台发送的第一实时传输控制协议RTCP反馈，所述第一RTCP反馈用于指示所述RTP码流的传输质量；
根据所述第一RTCP反馈调整所述RTP码流的冗余率或视频码率，所述冗余率用于指示所述RTP码流中冗余数据包所占的比例，所述冗余数据包根据所述RTP码流中的视频流数据包生成，所述视频码率用于指示单位时间内传输的所述视频流数据包的数据量；
其中，若所述第一RTCP反馈指示不存在通过所述冗余数据包恢复的视频流数据包且所述RTP码流中包含所述冗余数据包，则将所述RTP码流的抗丢包等级降低预定等级并提高所述视频码率；若所述第一RTCP反馈指示不存在通过所述冗余数据包恢复的视频流数据包且所述RTP码流中不包含所述冗余数据包，则保持当前视频码率。
2.根据权利要求1所述的方法，其特征在于：
根据所述第一RTCP反馈调整所述RTP码流的冗余率，包括
若所述第一RTCP反馈指示存在通过所述冗余数据包恢复的视频流数据包，则提高所述冗余率；或
若所述第一RTCP反馈指示不存在通过所述冗余数据包恢复的视频流数据包，则降低所述冗余率；
根据所述第一RTCP反馈调整所述RTP码流的视频码率包括：
若所述第一RTCP反馈指示存在通过所述冗余数据包恢复的视频流数据包，则降低所述视频码率；或
若所述第一RTCP反馈指示不存在通过所述冗余数据包恢复的视频流数据包，则提高所述视频码率。
3.根据权利要求1所述的方法，其特征在于，所述电子设备预设有至少两级所述抗丢包等级，所述抗丢包等级与所述RTP码流的抗丢包能力呈正比，且所述抗丢包等级与所述冗余率呈正比。
4.根据权利要求3所述的方法，其特征在于，所述若所述第一RTCP反馈指示存在通过所述冗余数据包恢复的视频流数据包，则提高所述冗余率并降低所述视频码率，包括：
若所述第一RTCP反馈指示存在通过所述冗余数据包恢复的视频流数据包且当前抗丢包等级不是最高等级，则将所述抗丢包等级提高预定等级并降低所述视频码率；
若所述第一RTCP反馈指示存在通过所述冗余数据包恢复视频流数据包且当前抗丢包等级是最高等级，则保持当前抗丢包等级和当前视频码率。
5.根据权利要求3或4所述的方法，其特征在于，所述根据所述第一RTCP反馈调整所述RTP码流的冗余率和视频码率之后，所述方法还包括：
若在预定时长内，所述RTP码流的所述视频码率小于预定码率阈值且所述RTP码流中不包含所述冗余数据包，则将所述RTP码流的带宽上调预设带宽数值；
在上调带宽后的RTP码流中加入最高抗丢包等级的所述冗余数据包，并降低所述视频码率。
6.根据权利要求3或4所述的方法，其特征在于，所述RTP码流中仅包含所述视频流数据包，且所述第一RTCP反馈指示传输过程中发生丢包，
所述接收所述监控平台发送的实时传输控制协议RTCP反馈之后，所述方法还包括：
将所述RTP码流的带宽下调预定比例；
向所述监控平台传输下调带宽后的RTP码流并接收所述监控平台后续发送的第二RTCP反馈。
7.根据权利要求6所述的方法，其特征在于，所述向所述监控平台传输下调带宽后的RTP码流并接收所述监控平台后续发送的第二RTCP反馈之后，所述方法还包括：
若所述第二RTCP反馈指示传输过程中未发生丢包，则在所述RTP码流中加入最高抗丢包等级的冗余数据包；
接收所述监控平台后续发送的第三RTCP反馈；
若所述第三RTCP反馈指示传输时延未增加，则执行根据所述第三RTCP反馈调整所述RTP码流的冗余率和视频码率的步骤。
8.根据权利要求1至4任一所述的方法，其特征在于，所述冗余数据包使用保留协议类型进行标识，所述保留协议类型指H.264协议和H.265协议未使用的协议类型。
9.一种码流传输装置，其特征在于，所述装置包括：
传输单元，用于向监控平台传输实时传输协议RTP码流；
接收单元，用于接收所述监控平台发送的第一实时传输控制协议RTCP反馈，所述第一RTCP反馈用于指示所述RTP码流的传输质量；
调整单元，用于根据所述第一RTCP反馈调整所述RTP码流的冗余率或视频码率，所述冗余率用于指示所述RTP码流中冗余数据包所占的比例，所述冗余数据包根据所述RTP码流中的视频流数据包生成，所述视频码率用于指示单位时间内传输的所述视频流数据包的数据量；
其中，所述调整单元，具体用于：若所述第一RTCP反馈指示不存在通过所述冗余数据包恢复的视频流数据包且所述RTP码流中包含所述冗余数据包，则将所述RTP码流的抗丢包等级降低预定等级并提高所述视频码率；若所述第一RTCP反馈指示不存在通过所述冗余数据包恢复的视频流数据包且所述RTP码流中不包含所述冗余数据包，则保持当前视频码率。
10.根据权利要求9所述的装置，其特征在于，
所述调整单元，
用于在所述第一RTCP反馈指示存在通过所述冗余数据包恢复的视频流数据包时，提高所述冗余率；和/或，用于在所述第一RTCP反馈指示存在通过所述冗余数据包恢复的视频流数据包时，降低所述视频码率；或者
所述调整单元，
用于在所述第一RTCP反馈指示不存在通过所述冗余数据包恢复的视频流数据包时，降低所述冗余率；和/或，用于在所述第一RTCP反馈指示不存在通过所述冗余数据包恢复的视频流数据包时，提高所述视频码率。
11.根据权利要求9所述的装置，其特征在于，所述装置预设有至少两级所述抗丢包等级，所述抗丢包等级与所述RTP码流的抗丢包能力呈正比，且所述抗丢包等级与所述冗余率呈正比。
12.根据权利要求11所述的装置，其特征在于，所述调整单元，具体用于：
若所述第一RTCP反馈指示存在通过所述冗余数据包恢复的视频流数据包且当前抗丢包等级不是最高等级，则将所述抗丢包等级提高预定等级并降低所述视频码率；
若所述第一RTCP反馈指示存在通过所述冗余数据包恢复视频流数据包且当前抗丢包等级是最高等级，则保持当前抗丢包等级和当前视频码率。
13.根据权利要求11或12所述的装置，其特征在于，所述装置还包括：
第一带宽调节单元，用于若在预定时长内，所述RTP码流的所述视频码率小于预定码率阈值且所述RTP码流中不包含所述冗余数据包，则将所述RTP码流的带宽上调预设带宽数值；
所述第一带宽调节单元，还用于在上调带宽后的RTP码流中加入最高抗丢包等级的所述冗余数据包，并降低所述视频码率。
14.根据权利要求11或12所述的装置，其特征在于，所述RTP码流中仅包含所述视频流数据包，且所述第一RTCP反馈指示传输过程中发生丢包，
所述装置还包括：
第二带宽调节单元，用于将所述RTP码流的带宽下调预定比例；
第二带宽调节单元，还用于向所述监控平台传输下调带宽后的RTP码流并接收所述监控平台后续发送的第二RTCP反馈。
15.根据权利要求14所述的装置，其特征在于，所述装置还包括：
添加单元，用于在所述第二RTCP反馈指示传输过程中未发生丢包时，在所述RTP码流中加入最高抗丢包等级的冗余数据包；
所述接收单元，用于接收所述监控平台后续发送的第三RTCP反馈；
所述调整单元还用于，在所述第三RTCP反馈指示传输时延未增加时，根据所述第三RTCP反馈调整所述RTP码流的冗余率和视频码率。
16.根据权利要求9至12任一所述的装置，其特征在于，所述冗余数据包使用保留协议类型进行标识，所述保留协议类型指H.264协议和H.265协议未使用的协议类型。
17.一种网络摄像机电子设备，其特征在于，所述电子设备包括：处理器、分别与所述处理器相连的存储器和网络接口，其中，所述存储器用于存储一个或者一个以上的指令，所述处理器用于通过执行所述指令来完成下述操作；
所述处理器，用于通过所述网络接口向监控平台传输实时传输协议RTP码流；
所述处理器，还用于通过所述网络接口接收所述监控平台发送的第一实时传输控制协议RTCP反馈，所述RTCP反馈用于指示所述RTP码流的传输质量；
所述处理器，还用于根据所述第一RTCP反馈调整所述RTP码流的冗余率或视频码率，所述冗余率用于指示所述RTP码流中冗余数据包所占的比例，所述冗余数据包根据所述RTP码流中的视频流数据包生成，所述视频码率用于指示单位时间内传输的所述视频流数据包的数据量；
其中，所述处理器，还用于：若所述第一RTCP反馈指示不存在通过所述冗余数据包恢复的视频流数据包且所述RTP码流中包含所述冗余数据包，则将所述RTP码流的抗丢包等级降低预定等级并提高所述视频码率；若所述第一RTCP反馈指示不存在通过所述冗余数据包恢复的视频流数据包且所述RTP码流中不包含所述冗余数据包，则保持当前视频码率。
18.根据权利要求17所述的电子设备，其特征在于，
所述处理器，用于：
若所述第一RTCP反馈指示存在通过所述冗余数据包恢复的视频流数据包，则提高所述冗余率；和/或
若所述第一RTCP反馈指示存在通过所述冗余数据包恢复的视频流数据包，则降低所述视频码率；
或者
所述处理器，用于：
若所述第一RTCP反馈指示不存在通过所述冗余数据包恢复的视频流数据包，则降低所述冗余率；和/或
若所述第一RTCP反馈指示不存在通过所述冗余数据包恢复的视频流数据包，则提高所述视频码率。
19.根据权利要求17所述的电子设备，其特征在于，所述电子设备预设有至少两级所述抗丢包等级，所述抗丢包等级与所述RTP码流的抗丢包能力呈正比，且所述抗丢包等级与所述冗余率呈正比。
20.根据权利要求19所述的电子设备，其特征在于，所述处理器，用于：
若所述第一RTCP反馈指示存在通过所述冗余数据包恢复的视频流数据包且当前抗丢包等级不是最高等级，则将所述抗丢包等级提高预定等级并降低所述视频码率；
若所述第一RTCP反馈指示存在通过所述冗余数据包恢复视频流数据包且当前抗丢包等级是最高等级，则保持当前抗丢包等级和当前视频码率。
21.根据权利要求19或20所述的电子设备，其特征在于，所述处理器具体用于：
若在预定时长内，所述RTP码流的所述视频码率小于预定码率阈值且所述RTP码流中不包含所述冗余数据包，则将所述RTP码流的带宽上调预设带宽数值；
在上调带宽后的RTP码流中加入最高抗丢包等级的所述冗余数据包，并降低所述视频码率。
22.根据权利要求19或20所述的电子设备，其特征在于，所述RTP码流中仅包含所述视频流数据包，且所述第一RTCP反馈指示传输过程中发生丢包，
所述处理器，还用于：
将所述RTP码流的带宽下调预定比例；
所述处理器，还用于通过所述网络接口向所述监控平台传输下调带宽后的RTP码流并接收所述监控平台后续发送的第二RTCP反馈。
23.根据权利要求22所述的电子设备，其特征在于，
所述处理器，用于若所述第二RTCP反馈指示传输过程中未发生丢包，则在所述RTP码流中加入最高抗丢包等级的冗余数据包；
所述处理器，还用于通过所述网络接口接收所述监控平台后续发送的第三RTCP反馈；
所述处理器，还用于若所述第三RTCP反馈指示传输时延未增加，则根据所述第三RTCP反馈调整所述RTP码流的冗余率和视频码率。
24.根据权利要求17至20任一所述的电子设备，其特征在于，所述冗余数据包使用保留协议类型进行标识，所述保留协议类型指H.264协议和H.265协议未使用的协议类型。
25.一种码流传输系统，包括具有摄像以及网络传输功能的电子设备和监控平台，其特征在于：
所述电子设备，用于：
向监控平台传输实时传输协议RTP码流；
接收所述监控平台发送的第一实时传输控制协议RTCP反馈，所述第一RTCP反馈用于指示所述RTP码流的传输质量；
根据所述第一RTCP反馈调整所述RTP码流的冗余率或视频码率，所述冗余率用于指示所述RTP码流中冗余数据包所占的比例，所述冗余数据包根据所述RTP码流中的视频流数据包生成，所述视频码率用于指示单位时间内传输的所述视频流数据包的数据量；
其中，若所述第一RTCP反馈指示不存在通过所述冗余数据包恢复的视频流数据包且所述RTP码流中包含所述冗余数据包，则将所述RTP码流的抗丢包等级降低预定等级并提高所述视频码率；若所述第一RTCP反馈指示不存在通过所述冗余数据包恢复的视频流数据包且所述RTP码流中不包含所述冗余数据包，则保持当前视频码率；所述监控平台用于：
接收所述实时传输协议RTP码流；
向所述电子设备发送所述第一实时传输控制协议RTCP反馈。
CN202010905630.9A 2016-04-22 2016-04-22 码流传输方法、装置及网络摄像头 Active CN112218172B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010905630.9A CN112218172B (zh) 2016-04-22 2016-04-22 码流传输方法、装置及网络摄像头

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010905630.9A CN112218172B (zh) 2016-04-22 2016-04-22 码流传输方法、装置及网络摄像头
CN201610255384.0A CN107306361B (zh) 2016-04-22 2016-04-22 码流传输方法、装置及网络摄像头

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201610255384.0A Division CN107306361B (zh) 2016-04-22 2016-04-22 码流传输方法、装置及网络摄像头

Publications (2)

Publication Number Publication Date
CN112218172A CN112218172A (zh) 2021-01-12
CN112218172B true CN112218172B (zh) 2022-06-10

Family

ID=60116562

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201610255384.0A Active CN107306361B (zh) 2016-04-22 2016-04-22 码流传输方法、装置及网络摄像头
CN202010905630.9A Active CN112218172B (zh) 2016-04-22 2016-04-22 码流传输方法、装置及网络摄像头

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201610255384.0A Active CN107306361B (zh) 2016-04-22 2016-04-22 码流传输方法、装置及网络摄像头

Country Status (2)

Country Link
CN (2) CN107306361B (zh)
WO (1) WO2017181893A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109525458B (zh) * 2018-11-20 2021-01-15 网易（杭州）网络有限公司 数据传输方法、装置、介质及电子设备
CN111385158B (zh) * 2018-12-27 2021-11-12 北京紫荆视通科技有限公司 通信方法和通信装置
CN113452953B (zh) * 2020-03-26 2022-06-14 浙江宇视科技有限公司 一种视频流传输控制方法、装置、设备和介质
CN111818231B (zh) * 2020-07-06 2021-02-09 全时云商务服务股份有限公司 丢包补偿方法、装置、数据报文传输系统和存储介质
CN113079347B (zh) * 2021-03-15 2021-12-24 中移智行网络科技有限公司 一种远程驾驶的实现方法及实现装置
CN115085859B (zh) * 2021-03-15 2023-11-24 海能达通信股份有限公司 一种抗丢包方法、装置及计算机可读存储介质
CN113115078B (zh) * 2021-04-09 2022-08-16 浙江大华技术股份有限公司 带宽的调整方法及装置
CN113207017B (zh) * 2021-07-07 2021-09-17 北京蔚领时代科技有限公司 用于云游戏的流媒体数据传输系统
CN113709585B (zh) * 2021-08-25 2023-09-19 三星电子（中国）研发中心 流媒体播放方法和装置
CN116419274A (zh) * 2021-12-31 2023-07-11 华为技术有限公司 数据传输的方法和装置
CN114448569A (zh) * 2022-01-27 2022-05-06 阿里巴巴（中国）有限公司 数据传输方法、设备及计算机存储介质
CN116723131B (zh) * 2023-08-10 2023-10-31 微网优联科技(成都)有限公司 Ipc网络摄像头传输性能监测方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007074410A2 (en) * 2005-12-29 2007-07-05 France Telecom Methods and apparatus for providing privacy in a communication system
CN101304537A (zh) * 2008-03-24 2008-11-12 北京邮电大学 3g-ip无线视频传输系统
CN203445986U (zh) * 2013-08-21 2014-02-19 徐乾伟 摄即传的ip传输系统
CN103780816A (zh) * 2014-02-14 2014-05-07 深圳市瑞彩电子技术有限公司 网络摄像机及其监控端设备及数据传输方法
CN104333767A (zh) * 2014-10-10 2015-02-04 厦门雅迅网络股份有限公司 一种车载视频监控系统多通道优先级控制方法及系统
CN105025249A (zh) * 2014-04-22 2015-11-04 中国移动通信集团江苏有限公司 视频监控数据传输控制方法、装置及视频监控系统
EP2978182A1 (en) * 2014-07-25 2016-01-27 Dejero Labs Inc. Multipath data streaming over multiple wireless networks
CN105430532A (zh) * 2015-11-18 2016-03-23 南京创维信息技术研究院有限公司 一种视频数据传输自适应调整的控制方法及其系统
CN105472477A (zh) * 2015-12-08 2016-04-06 广州华多网络科技有限公司 一种数据传输方法、装置及设备
EP2532170B1 (en) * 2010-02-03 2018-04-25 Orbital Multi Media Holdings Corporation Data flow control method and apparatus

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1817859A1 (en) * 2004-12-02 2007-08-15 THOMSON Licensing Adaptive forward error correction
CN101729320A (zh) * 2009-12-14 2010-06-09 华为技术有限公司 传输控制方法和接入设备及传输系统
CN104980819A (zh) * 2015-06-26 2015-10-14 安徽四创电子股份有限公司 一种视频传输方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007074410A2 (en) * 2005-12-29 2007-07-05 France Telecom Methods and apparatus for providing privacy in a communication system
CN101304537A (zh) * 2008-03-24 2008-11-12 北京邮电大学 3g-ip无线视频传输系统
EP2532170B1 (en) * 2010-02-03 2018-04-25 Orbital Multi Media Holdings Corporation Data flow control method and apparatus
CN203445986U (zh) * 2013-08-21 2014-02-19 徐乾伟 摄即传的ip传输系统
CN103780816A (zh) * 2014-02-14 2014-05-07 深圳市瑞彩电子技术有限公司 网络摄像机及其监控端设备及数据传输方法
CN105025249A (zh) * 2014-04-22 2015-11-04 中国移动通信集团江苏有限公司 视频监控数据传输控制方法、装置及视频监控系统
EP2978182A1 (en) * 2014-07-25 2016-01-27 Dejero Labs Inc. Multipath data streaming over multiple wireless networks
CN104333767A (zh) * 2014-10-10 2015-02-04 厦门雅迅网络股份有限公司 一种车载视频监控系统多通道优先级控制方法及系统
CN105430532A (zh) * 2015-11-18 2016-03-23 南京创维信息技术研究院有限公司 一种视频数据传输自适应调整的控制方法及其系统
CN105472477A (zh) * 2015-12-08 2016-04-06 广州华多网络科技有限公司 一种数据传输方法、装置及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《浅述IPC码流技术》;陆学祥;《第二十九届中国IT、网络、信息技术、电子、仪器仪表创新学术会议论文集》;20150901;第209-211页 *

Also Published As

Publication number Publication date
CN107306361B (zh) 2020-09-18
CN107306361A (zh) 2017-10-31
WO2017181893A1 (zh) 2017-10-26
CN112218172A (zh) 2021-01-12

Similar Documents

Publication Publication Date Title
CN112218172B (zh) 码流传输方法、装置及网络摄像头
US7957307B2 (en) Reducing effects of packet loss in video transmissions
US11968422B2 (en) Video stream fault detection
CN107181968B (zh) 一种视频数据的冗余控制方法和装置
CN107295395A (zh) 码率自适应调节方法、装置及电子设备
US9351024B2 (en) Managing the bandwidth of a communication session
CN104009819B (zh) 基于分层编码的抗丢包实时通信方法、系统及相关设备
US20110299588A1 (en) Rate control in video communication via virtual transmission buffer
US20130135427A1 (en) Techniques For a Rate-Adaptive Video Conference Bridge
US10230651B2 (en) Effective intra-frame refresh in multimedia communications over packet networks
JP2000270330A (ja) 映像配信システム及び映像配信方法
CN102547449A (zh) 一种控制终端缓冲媒体流数据的方法、机顶盒及媒体服务器
US9398256B2 (en) Telecommunication end-point device data transmission controller
CN111224889A (zh) 一种数据传输的方法和装置
CN113747102B (zh) 视频通话处理方法、装置、设备及存储介质
CN102256113A (zh) 媒体流转发的控制方法和控制装置
EP3860131A1 (en) Data transmission method and apparatus
CN116634187A (zh) 基于合流发送机制的视频流处理方法、装置、设备和介质
CN100556123C (zh) 用于电视会议系统的流控方法和装置
CN110062003A (zh) 视频数据发送方法、装置、电子设备及存储介质
CN102572516B (zh) 一种码流传输控制方法和装置
CN101645903A (zh) 一种多媒体数据的传输方法及装置
CN111245566B (zh) 不可靠网络的抗丢包方法、装置、存储介质及电子设备
KR20120048594A (ko) 대역폭 자가적응 데이터 순위화 보호 방법과 장치
CN115623155A (zh) 视频数据处理方法、视频数据处理装置、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant