CN112399141A - 基于多个前端视频设备的数据传输方法及相关装置 - Google Patents

基于多个前端视频设备的数据传输方法及相关装置 Download PDF

Info

Publication number
CN112399141A
CN112399141A CN202011109867.2A CN202011109867A CN112399141A CN 112399141 A CN112399141 A CN 112399141A CN 202011109867 A CN202011109867 A CN 202011109867A CN 112399141 A CN112399141 A CN 112399141A
Authority
CN
China
Prior art keywords
time slot
key frame
time
hash
end video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011109867.2A
Other languages
English (en)
Other versions
CN112399141B (zh
Inventor
张金玉
王飞
李翔
邓志吉
刘明
叶奇
方勇军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202011109867.2A priority Critical patent/CN112399141B/zh
Publication of CN112399141A publication Critical patent/CN112399141A/zh
Priority to EP21879311.5A priority patent/EP4205386A4/en
Priority to PCT/CN2021/122903 priority patent/WO2022078266A1/en
Application granted granted Critical
Publication of CN112399141B publication Critical patent/CN112399141B/zh
Priority to US18/192,665 priority patent/US20230262266A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784—Data processing by the network
    • H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请公开了一种基于多个前端视频设备的数据传输方法及相关装置，所述数据传输方法包括：后端设备判断在预设时间范围是否接收到多个关键帧；若是，则将所述多个关键帧中的至少部分对应的碰撞前端视频设备的关键帧产生时间进行调整，以使得后端设备均匀收到关键帧；根据调整后的关键帧产生时间获得下发关键帧时序调整命令的下发时间；根据所述下发时间下发所述关键帧时序调整命令至对应的前端视频设备。通过上述方式，本申请能够使得后端设备在预设时间范围均匀接收I帧，以降低I帧碰撞的概率。

Description

基于多个前端视频设备的数据传输方法及相关装置
技术领域
本申请属于数据传输技术领域，具体涉及一种基于多个前端视频设备的数据传输方法及相关装置。
背景技术
在5G/4G/无线环境下，后端设备可以同时向多台前端视频设备(例如，IPC等)拉取视频流。而前端视频设备数量越多，多个关键帧(即I帧)同时经由网络到达后端设备的概率就越大，从而产生I帧碰撞的情况。I帧碰撞在网络上表现为瞬时的网络突发，具体如图1所示，图1为I帧碰撞引起的瞬时网络突发一实施方式的效果示意图。由于无线上行链路空口资源有限，I帧碰撞概率越大，无线上行链路发生拥塞、丢包、RTT增长的概率越大，甚至导致视频卡顿。
发明内容
本申请提供了一种基于多个前端视频设备的数据传输方法及相关装置，能够使得后端设备在预设时间范围均匀接收到I帧，以降低I帧碰撞的概率。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种基于多个前端视频设备的数据传输方法，包括：后端设备判断在预设时间范围是否接收到多个关键帧；若是，则将所述多个关键帧中的至少部分对应的碰撞前端视频设备的关键帧产生时间进行调整，以使得所述后端设备均匀接收关键帧；根据调整后的关键帧产生时间获得下发关键帧时序调整命令的下发时间；根据所述下发时间下发所述关键帧时序调整命令至对应的前端视频设备。
其中，所述将所述多个关键帧中的至少部分对应的碰撞前端视频设备的关键帧产生时间进行调整的步骤包括：从缓存区获得连接于所述后端设备的所有前端视频设备的关键帧散列时隙的快照，其中，所有前端视频设备的关键帧到达后端设备具有相应的时间戳，所有所述时间戳散列于同一个散列周期中的多个时隙内以形成所述关键帧散列时隙；调整并获得至少部分所述碰撞前端视频设备的关键帧的目标时隙，以使得同一个时隙内所存在的关键帧的个数小于等于阈值；利用所述目标时隙确定所述碰撞前端视频设备的关键帧产生时间。
其中，所述调整并获得至少部分所述碰撞前端视频设备的关键帧的目标时隙，以使得同一个时隙内所存在的关键帧的个数小于等于阈值的步骤包括：保持所述碰撞前端视频设备中的一个的关键帧的时隙不变，将其余所述碰撞前端视频设备的关键帧的时隙调整至所述关键帧散列时隙的空闲时隙中，以获得所述目标时隙。
其中，所述将其余所述碰撞前端视频设备的关键帧的时隙调整至所述关键帧散列时隙的空闲时隙中的步骤包括：获得所述关键帧散列时隙的快照中各个时隙的空闲权重值，其中，当前时隙的空闲权重值与当前时隙的状态以及其周围时隙的状态相关；将其余所述碰撞前端视频设备的关键帧的时隙调整至空闲权重值较高的时隙中。
其中，所述关键帧散列时隙的快照中的时隙视为环形相邻，所述获得所述关键帧散列时隙的快照中各个时隙的空闲权重值的步骤包括：判断当前时隙是否有关键帧；若有，则将所述当前时隙的空闲权重值设置为0；否则，获得所述当前时隙左侧连续无关键帧的时隙的第一累计个数，以及获得所述当前时隙右侧连续无关键帧的时隙的第二累计个数；将所述第一累计个数和所述第二累计个数中的较小值加一作为所述当前时隙的空闲权重值；判断所述当前时隙是否为所述关键帧散列时隙的快照中的最后一个；若否，则将所述当前时隙中的下一个作为所述当前时隙，并返回至判断当前时隙是否有关键帧的步骤。
其中，所述将其余所述碰撞前端视频设备的关键帧的时隙调整至空闲权重值较高的时隙中的步骤包括：将其中一个所述碰撞前端视频设备的关键帧的时隙调整至空闲权重值最高的时隙中；判断所述碰撞前端视频设备是否调整完毕；若否，则获得调整后的所述关键帧散列时隙的快照中各个时隙的空闲权重值；将剩余所述碰撞前端视频设备中的一个的关键帧的时隙调整至空闲权重值最高的时隙，并返回至判断所述碰撞前端视频设备是否调整完毕的步骤。
其中，所述从缓存区获得连接于所述后端设备的所有前端视频设备的关键帧散列时隙的快照的步骤之前，还包括：获得新接入所述后端设备的前端视频设备的关键帧信息，其中，所述关键帧信息包括关键帧周期、帧率、通道号和设备ID；利用所述关键帧信息获得所述前端视频设备的关键帧到达后端设备的时间戳；利用所述时间戳获得其处于散列周期中的具体时隙。
其中，所述关键帧散列时隙中包含散列周期、散列间隔和散列数目，其中，所述散列周期除以所述散列间隔所获得的第一整数值为所述散列数目；所述利用所述时间戳获得其处于散列周期中的具体时隙的步骤包括：获得所述时间戳除以所述散列周期所获得的第一余数值；获得所述第一余数值除以所述散列间隔所获得的第二整数值；获得所述第二整数值除以所述散列数目所获得的第二余数值；将所述第二余数值处的时隙作为所述时间戳处于所述散列周期中的具体时隙。
其中，所述根据调整后的关键帧产生时间获得下发关键帧时序调整命令的下发时间的步骤包括：获得所述碰撞前端视频设备调整前后的关键帧产生时间之间的差值；将当前时间和所述差值之和作为所述下发时间。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种基于多个前端视频设备的数据传输方法，包括：前端视频设备判断是否接收到来自于后端设备的关键帧时序调整命令；若接收到，则根据所述关键帧时序调整命令立即调整关键帧产生时序；否则，根据原先关键帧产生时序发送关键帧至所述后端设备。
为解决上述技术问题，本申请采用的又一个技术方案是：提供一种后端设备，包括相互耦接的存储器和处理器；所述处理器用于执行所述存储器存储的程序指令，以实现上述任一实施例中所述的基于多个前端视频设备的数据传输方法。
其中，所述后端设备为网络平台、监视屏、网络平台与监视屏之间的网络节点、网络平台与前端视频设备之间的网络节点中任意一种。为解决上述技术问题，本申请采用的又一个技术方案是：提供一种前端视频设备，包括相互耦接的存储器和处理器；所述处理器用于执行所述存储器存储的程序指令，以实现上述任一实施例中所述的基于多个前端视频设备的数据传输方法。
为解决上述技术问题，本申请采用的又一个技术方案是：提供一种存储装置，存储有能够被处理器运行的程序指令，所述程序指令用于实现上述任一实施例中所述的基于多个前端视频设备的数据传输方法，或实现上述任一实施例中所述的基于多个前端视频设备的数据传输方法。
区别于现有技术情况，本申请的有益效果是：本申请中的后端设备在预设时间范围接收到多个I帧时，会触发I帧时序编排功能，即会对发生I帧碰撞的多个碰撞前端视频设备的I帧产生时间进行调整，以使得后端设备在预设时间范围只会接收到一个I帧。上述方式适用于5G/4G/无线接入场景，可以降低多台前端视频设备发生I帧碰撞的概率，以平滑视频资源网络数据，减少视频丢帧、卡顿等现象。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：
图1为I帧碰撞引起的瞬时网络突发一实施方式的效果示意图；
图2为本申请基于多个前端视频设备的数据传输方法一实施方式的流程示意图；
图3为图2中步骤S102对应的一实施方式的流程示意图；
图4为图3中步骤S201之前一实施方式的流程示意图；
图5为图3中步骤S202对应的一实施方式的流程示意图；
图6为图5中步骤S401对应的一实施方式的流程示意图；
图7为图5中步骤S402对应的一实施方式的流程示意图；
图8为本申请基于多个前端视频设备的数据传输方法一实施方式的流程示意图；
图9为本申请基于多个视频设备的数据传输系统一实施方式的结构示意图；
图10为本申请后端设备或前端视频设备一实施方式的结构示意图；
图11为本申请后端设备一实施方式的框架示意图；
图12为本申请存储装置一实施方式的框架示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
请参阅图2，图2为本申请基于多个前端视频设备的数据传输方法一实施方式的流程示意图，该数据传输方法包括：
S101：后端设备判断在预设时间范围是否接收到多个I帧。
具体地，后端设备可以是网络平台，例如，NVR(即网络视频监控系统的存储转发部分)等；后端设备也可以是监视屏，或者网络平台与前端视频设备之间的网络节点，或者监视屏与网络平台之间的网络节点等。上述步骤S101的目的是为了判断预设时间范围内是否出现I帧碰撞的情况，该预设时间范围可以为传输视频流的整个或部分时间段。一般而言，视频帧包含I帧、P帧等，I帧和P帧的差异较大，两者的数据量比值能达到10倍以上，如图1中所示，当预设时间范围内存在I帧碰撞时，在网络中表现为短时间内的大数据量突发。
S102：若是，则将多个I帧中的至少部分对应的碰撞前端视频设备的I帧产生时间进行调整，以使得后端设备均匀接收I帧。
具体地，上述步骤S102的实现过程将在后续详细说明。与上述步骤S102相对应的，即若否的情况，则不触发I帧时序编排功能，返回至步骤S101。
S103：根据调整后的I帧产生时间获得下发I帧时序调整命令的下发时间。
具体地，在本实施例中，上述步骤S103具体实现过程可以为：对应于同一个碰撞前端视频设备，可以获得调整前后其I帧产生时间之间的差值，将当前时间与该差值之和作为I帧时序调整命令的下发时间。例如，假设调整后的I帧产生时间比调整前的I帧产生时间延迟100ms，则可以将I帧时序调整命令的下发时间确定为当前时间之后的100ms；对应地，I帧时序调整命令可以为“前端视频设备A的I帧产生时序立即调整”；此时，前端视频设备A在接收到I帧时序调整命令后直接将当前周期的I帧产生时间调整为其当前接收时间，但其他编码参数(I帧周期等)不变。
S104：根据下发时间下发I帧时序调整命令至对应的前端视频设备。
通过上述方式可以在5G/4G/无线接入场景下，降低多台前端视频设备发生I帧碰撞的概率，以平滑视频资源网络数据，减少视频丢帧、卡顿等现象。
当然，在其他实施例中，也可在上述步骤S102之后，不进行上述步骤S103和S104，直接根据调整后的I帧产生时间生成I帧时序调整命令，然后将该I帧时序调整命令下发至对应的前端视频设备。例如，假设调整后的I帧产生时间比调整前的I帧产生时间延迟100ms，则I帧时序调整命令可以为“前端视频设备A的I帧产生时序延后100ms”。此时，前端视频设备A在接收到I帧时序调整命令后，在100ms后将当前周期的I帧产生时间调整，但其他编码参数(I帧周期等)不变。
在一个实施方式中，请参阅图3，图3为图2中步骤S102对应的一实施方式的流程示意图。上述步骤S102具体包括：
S201：从缓存区获得连接于后端设备的所有前端视频设备的I帧散列时隙的快照，其中，所有前端视频设备的I帧到达后端设备具有相应的时间戳，所有时间戳散列于同一个散列周期中的多个时隙内以形成I帧散列时隙。
在一个应用场景中，上述步骤S201之前，本申请所提供的数据处理方法还包括：在缓存区形成所有前端视频设备的I帧散列时隙，具体过程请参阅图4，图4为图3中步骤S201之前一实施方式的流程示意图。上述在缓存区形成所有前端视频设备的I帧散列时隙的具体过程包括：
S301：获得新接入后端设备的前端视频设备的I帧信息，其中，I帧信息包括I帧周期、帧率、通道号和设备ID。
具体地，每新接入一个前端视频设备，都会触发步骤S301至步骤S303的过程，获得上述I帧信息后可以将其缓存于后端设备的缓存区。I帧周期即GOP，其代表后端设备接收来自于同一个前端视频设备的I帧的时间间隔；帧率即FPS，代表前端视频设备每秒传输的帧数；通道号可以称之为是前端视频设备进行数据传输的通道；而一个前端视频设备有唯一的设备ID。当然，在其他实施例中，上述I帧信息还可包括码流类型、码率等。
S302：利用I帧信息获得前端视频设备的I帧到达后端设备的时间戳。
具体地，可以利用当前接入的时刻以及前端视频设备的I帧周期获得其对应的时间戳。
S303：利用时间戳获得其处于散列周期中的具体时隙。
具体地，经过上述步骤S303可以获得当前与后端设备连接的所有前端视频设备的I帧散列时隙，该I帧散列时隙可以保存在缓存区中；进一步，当收到I帧碰撞触发指令后，可以直接从缓存区中获得上述I帧散列时隙的快照，所谓快照是指即时拷贝。I帧散列时隙中包含散列周期HashTimeGop、散列间隔HashTimeInterval和散列数目HashArrayCnt，其中，散列周期除以散列间隔所获得的第一整数值为散列数目；
即HashArrayCnt＝[HashTimeGop/HashTimeInterval]。
例如，以帧率FPS＝25，GOP＝2s为例，前端视频设备每40ms会产生一个视频帧，可以以120ms(40ms*3)作为散列间隔，散列数目为对2s/120ms取整，即散列数目为16。在本实施例中，散列间隔与前端视频设备产生视频帧的第一间隔相关，可以将第一间隔的N倍设置为散列间隔，N为大于等于2的整数。该散列间隔的设置方式可以使得正常业务上错开I帧碰撞波峰。
进一步，上述步骤S303的实现过程具体包括：获得时间戳除以散列周期所获得的第一余数值；获得第一余数值除以散列间隔所获得的第二整数值；获得第二整数值除以散列数目所获得的第二余数值；将第二余数值处的时隙作为时间戳处于散列周期中的具体时隙。通过上述过程可以简便的将时间戳散列到散列周期中。上述过程利用公式具体表现如下：
slots＝[(time％HashTimeGop)/HashTimeInterval]％HashArrayCnt；
其中，time代表时间戳，slots代表时间戳对应的具体时隙。
例如，假设时间戳为5s，散列周期为2s、散列间隔为120ms、散列数目为16；则首先获得第一余数值为[5s％2s]，即1s；接着获得第二整数值为[1s/120ms]，即8；最后获得第二余数值为8％16，即8；最终当前时间戳在散列周期中处于时隙8。
S202：调整并获得至少部分碰撞前端视频设备的I帧的目标时隙，以使得同一个时隙所存在的I帧的个数小于等于阈值。
具体地，上述阈值可以为1等正整数。在一个应用场景中，上述步骤S202具体包括：保持碰撞前端视频设备中的一个的I帧的时隙不变，将其余碰撞前端视频设备的I帧的时隙调整至I帧散列时隙的快照中的空闲时隙中，以获得目标时隙。其中，上述空闲时隙是指该时隙中未有I帧。上述调整碰撞前端视频设备的I帧的目标时隙的方式较为简单，且计算量较低。当然，在其他应用场景中，也可调整所有碰撞前端视频设备的I帧的目标时隙，本申请对此不作限定。
进一步，请参阅图5，图5为图3中步骤S202对应的一实施方式的流程示意图，上述步骤S202中将其余碰撞前端视频设备的I帧的时隙调整至I帧散列时隙的快照中的空闲时隙中的步骤具体包括：
S401：获得I帧散列时隙的快照中各个时隙的空闲权重值，其中，当前时隙的空闲权重值与当前时隙的状态以及其周围时隙的状态相关。
具体地，在本实施例中，I帧散列时隙中的时隙视为环形相邻，请参阅图6，图6为图5中步骤S401对应的一实施方式的流程示意图，上述步骤S401具体包括：
S501：判断当前时隙是否有I帧。
具体地，在一个实例中，以前端视频设备为IPC设备为例，如下表1所示，表1为三个IPC设备的I帧时间戳对应的散列时隙表。
表1：三个IPC设备的I帧时间戳对应的散列时隙表
前端视频设备 I帧时间戳 时隙
IPC-1 X 1
IPC-2 X+80ms 1
IPC-3 X+500ms 5
从表1中可以看出，当前连接于同一个后端设备的一组IPC设备有三个，分别为IPC-1、IPC-2、IPC-3；表1中三个IPC的I帧时间戳按照如下散列参数(散列周期为2s、散列间隔为120ms、散列数目为16)进行散列后，IPC-1和IPC-2的I帧时间戳对应的时隙为1，IPC-3的I帧时间戳对应的时隙为5。基于此，上述三个IPC形成的I帧时隙散列的快照如下表2所示，且表2中的时隙0和时隙15环形相邻。
表2：三个IPC形成的I帧时隙散列的快照
Figure BDA0002728244750000091
S502：若有，则将当前时隙的空闲权重值设置为0，并进入步骤S504。
具体地，请参照上表2，假设当前时隙为时隙1，由于时隙1中包含I帧，故时隙1对应的空闲权重值为0。再假设当前时隙为时隙5，由于时隙5中包含I帧，故时隙5对应的空闲权重值为0。
S503：否则，获得当前时隙左侧连续无I帧的时隙的第一累计个数，以及获得当前时隙右侧连续无I帧的时隙的第二累计个数；将第一累计个数和第二累计个数中的较小值加一作为当前时隙的空闲权重值。
具体地，请参照表2，假设当前时隙为时隙0，时隙0处无I帧，故获得时隙0处左侧连续无I帧的个数为10(即时隙15至时隙6)，时隙0处右侧连续无I帧的个数为0，则其对应的空闲权重值为min(10,0)+1，即为1；其中，上述“+1”中的1代表的是时隙0自身。
S504：判断当前时隙是否为I帧散列时隙快照中的最后一个。
S505：若否，则将当前时隙中的下一个作为当前时隙，并返回至判断当前时隙是否有I帧的步骤。
具体地，在本实施例中，可以按照从左至右或者从右至左的方式依次对每个时隙进行判断，以获得其对应的空闲权重值。如下表3所示，表3为三个IPC设备形成的I帧时隙散列快照及对应的空闲权重值表。
表3：三个IPC设备形成的I帧时隙散列快照及对应的空闲权重值表
Figure BDA0002728244750000101
S402：将其余碰撞前端视频设备的I帧的时隙调整至空闲权重值较高的时隙中。
具体地，在一个实施例中，如上表3所示，可以将IPC-1或IPC-2调整至空闲权重值大于阈值的时隙中，该阈值可以为3、4、5等，具体可以根据实际情况进行设定。
在又一个实施例中，当其余碰撞前端视频设备的个数为多个时，可以将其余碰撞前端视频设备分别调节值空闲权重值较高的时隙中。
或者，也可采用如图7所示的方式，图7为图5中步骤S402对应的一实施方式的流程示意图。上述步骤S402中对其余碰撞前端视频设备的I帧进行时隙调整的过程包括：
S601：将其中一个碰撞前端视频设备的I帧的时隙调整至空闲权重值最高的时隙中。
具体地，如上表3所示，可以将IPC-1或IPC-2的I帧的时隙调整至时隙11中。
S602：判断碰撞前端视频设备是否调整完毕。
具体地，上述步骤S602的实现过程可以为：获得调整后的I帧散列时隙的快照，判断调整后的I帧散列时隙的快照中是否存在同一个时隙内有多个I帧的情况。
在一个实施例中，对于上表3中的情况，其调整后的I帧散列时隙的快照可以如下表4所示。从表4中可以发现，调整后的I帧散列时隙的快照中不存在同一个时隙内有多个I帧的情况，表明碰撞前端视频设备已经调整完毕，可以进入后续步骤S203。当然，在其他实施例中，也会存在调整后的I帧散列时隙的快照中仍然存在同一个时隙内有多个I帧的情况，此时需要进入步骤S603。
表4：表3中三个IPC设备调整后的I帧时隙散列快照
Figure BDA0002728244750000111
S603：若否，则获得调整后的I帧散列时隙的快照中各个时隙的空闲权重值。
具体地，上述步骤S603的具体实现过程可以参见上述步骤S401，在此不再赘述。
S604：将剩余碰撞前端视频设备中的一个的I帧的时隙调整至空闲权重值最高的时隙，并返回至判断碰撞前端视频设备是否调整完毕的步骤。
通过上述方式，可以使得多个前端视频设备的I帧时间戳可以尽可能均匀分布，以达到所有前端视频设备在时间上错开I帧的碰撞波峰的目的。
S203：利用目标时隙确定碰撞前端视频设备的I帧产生时间。
具体地，如上表4中所示，假设IPC-3的初始时隙为时隙1，调整后的目标时隙为时隙11，时隙间隔为120ms，则IPC-3的I帧产生时间需要延后(11-1)*120ms＝1200ms。
在一个应用场景中，以FPS为25，GOP为2秒为例，通过上述方式调整碰撞IPC的I帧产生时机，可以错开I帧流量波峰。如下表5和表6所示，表5和表6分别为I帧碰撞示意表以及I帧碰撞调整后示意表。
表5：多个IPC设备发送视频帧时I帧碰撞示意表
Figure BDA0002728244750000121
表6：多个IPC设备发送视频帧时I帧碰撞调整后示意表
Figure BDA0002728244750000122
上述实施例均是从网络设备的角度对数据传输方法所进行的说明，下面从前端视频设备角度对上述数据传输方法作进一步说明。请参阅图8，图8为本申请基于多个前端视频设备的数据传输方法一实施方式的流程示意图，上述数据传输方法具体包括：
S701：前端视频设备判断是否接收到来自于后端设备的I帧时序调整命令。
S702：若接收到，则根据I帧时序调整命令立即调整I帧产生时序。
具体地，该步骤S702仅调整I帧产生的时间，对于GOP不作调整。
S703：否则，根据原先I帧产生时序发送I帧至后端设备。
请参阅图9，图9为本申请基于多个视频设备的数据传输系统一实施方式的结构示意图。该数据传输系统包括：多个前端视频设备10、网络平台12和监视屏14。
具体地，多个前端视频设备10通过4G/5G/无线等网络方式与网络平台12耦接，网络平台12与监视屏14通过无线或有线的方式连接；前述所提及的后端设备可以为网络平台12或监视屏14或数据传输系统内的各个网络节点。前端视频设备10通过主动注册的方式接入到网络平台12，网络平台12向多个前端视频设备10发起实时拉流业务，并为监视屏14提供前端视频设备10的实施预览。
在一个实施方式中，如图10所示，图10为本申请后端设备或前端视频设备一实施方式的结构示意图。后端设备或前端视频设备10包括相互耦接的存储器20和处理器22；处理器22用于执行存储器存储的程序指令，以实现上述任一实施例中基于多个前端视频设备的数据传输方法。
具体而言，处理器22还可以称为CPU(Central Processing Unit，中央处理单元)。处理器22可能是一种集成电路芯片，具有信号的处理能力。处理器102还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器22可以由多个集成电路芯片共同实现。在又一个实施方式中，从虚拟模块的角度对上述后端设备作进一步说明。请参阅图11，图11为本申请后端设备一实施方式的框架示意图。该后端设备包括相互耦接的碰撞检测模块30、I帧时序调整模块32以及前端视频设备管理模块34。其中，碰撞检测模块30用于判断在预设时间范围是否接收到多个I帧；若是，则碰撞检测模块30通知I帧时序调整模块32。I帧时序调整模块32在接收到通知后，将多个I帧中的至少部分对应的碰撞前端视频设备的I帧产生时间进行调整，以使得后端设备在预设时间范围均匀接收I帧。I帧时序调整模块32将调整后的I帧产生时间下发至前端视频设备管理模块34，前端视频设备管理模块34再根据调整后的关键帧产生时间获得下发关键帧时序调整命令的下发时间，根据下发时间下发关键帧时序调整命令至对应的前端视频设备。
此外，前端视频设备管理模块34还用于负责提供前端视频设备的参数信息，例如，前端视频设备ID、通道号、码流类型、码率、帧率、GOP大小等参数。
请参阅图12，图12为本申请存储装置一实施方式的框架示意图，该存储装置40上存储有能够实现上述所有方法的程序指令400。其中，该程序指令400可以以软件产品的形式存储在上述存储装置中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储装置包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (14)

1.一种基于多个前端视频设备的数据传输方法，其特征在于，包括：
后端设备判断在预设时间范围是否接收到多个关键帧；
若是，则将所述多个关键帧中的至少部分对应的碰撞前端视频设备的关键帧产生时间进行调整，以使得后端设备均匀收到关键帧；
根据调整后的关键帧产生时间获得下发关键帧时序调整命令的下发时间；
根据所述下发时间下发所述关键帧时序调整命令至对应的前端视频设备。
2.根据权利要求1所述的数据传输方法，其特征在于，所述将所述多个关键帧中的至少部分对应的碰撞前端视频设备的关键帧产生时间进行调整的步骤包括：
从缓存区获得连接于所述后端设备的所有前端视频设备的关键帧散列时隙的快照，其中，所有前端视频设备的关键帧到达后端设备具有相应的时间戳，所有所述时间戳散列于同一个散列周期中的多个时隙内以形成所述关键帧散列时隙；
调整并获得至少部分所述碰撞前端视频设备的关键帧的目标时隙，以使得同一个时隙内所存在的关键帧的个数小于等于阈值；
利用所述目标时隙确定所述碰撞前端视频设备的关键帧产生时间。
3.根据权利要求2所述的数据传输方法，其特征在于，所述调整并获得至少部分所述碰撞前端视频设备的关键帧的目标时隙，以使得同一个时隙内所存在的关键帧的个数小于等于阈值的步骤包括：
保持所述碰撞前端视频设备中的一个的关键帧的时隙不变，将其余所述碰撞前端视频设备的关键帧的时隙调整至所述关键帧散列时隙的空闲时隙中，以获得所述目标时隙。
4.根据权利要求3所述的数据传输方法，其特征在于，所述将其余所述碰撞前端视频设备的关键帧的时隙调整至所述关键帧散列时隙的空闲时隙中的步骤包括：
获得所述关键帧散列时隙的快照中各个时隙的空闲权重值，其中，当前时隙的空闲权重值与当前时隙的状态以及其周围时隙的状态相关；
将其余所述碰撞前端视频设备的关键帧的时隙调整至空闲权重值较高的时隙中。
5.根据权利要求4所述的数据传输方法，其特征在于，所述关键帧散列时隙的快照中的时隙视为环形相邻，所述获得所述关键帧散列时隙的快照中各个时隙的空闲权重值的步骤包括：
判断当前时隙是否有关键帧；
若有，则将所述当前时隙的空闲权重值设置为0；否则，获得所述当前时隙左侧连续无关键帧的时隙的第一累计个数，以及获得所述当前时隙右侧连续无关键帧的时隙的第二累计个数；将所述第一累计个数和所述第二累计个数中的较小值加一作为所述当前时隙的空闲权重值；
判断所述当前时隙是否为所述关键帧散列时隙的快照中的最后一个；
若否，则将所述当前时隙中的下一个作为所述当前时隙，并返回至判断当前时隙是否有关键帧的步骤。
6.根据权利要求4所述的数据传输方法，其特征在于，所述将其余所述碰撞前端视频设备的关键帧的时隙调整至空闲权重值较高的时隙中的步骤包括：
将其中一个所述碰撞前端视频设备的关键帧的时隙调整至空闲权重值最高的时隙中；
判断所述碰撞前端视频设备是否调整完毕；
若否，则获得调整后的所述关键帧散列时隙的快照中各个时隙的空闲权重值；
将剩余所述碰撞前端视频设备中的一个的关键帧的时隙调整至空闲权重值最高的时隙，并返回至判断所述碰撞前端视频设备是否调整完毕的步骤。
7.根据权利要求2所述的数据传输方法，其特征在于，所述从缓存区获得连接于所述后端设备的所有前端视频设备的关键帧散列时隙的快照的步骤之前，还包括：
获得新接入所述后端设备的前端视频设备的关键帧信息，其中，所述关键帧信息包括关键帧周期、帧率、通道号和设备ID；
利用所述关键帧信息获得所述前端视频设备的关键帧到达后端设备的时间戳；
利用所述时间戳获得其处于散列周期中的具体时隙。
8.根据权利要求7所述的数据传输方法，其特征在于，
所述关键帧散列时隙中包含散列周期、散列间隔和散列数目，其中，所述散列周期除以所述散列间隔所获得的第一整数值为所述散列数目；
所述利用所述时间戳获得其处于散列周期中的具体时隙的步骤包括：
获得所述时间戳除以所述散列周期所获得的第一余数值；
获得所述第一余数值除以所述散列间隔所获得的第二整数值；
获得所述第二整数值除以所述散列数目所获得的第二余数值；
将所述第二余数值处的时隙作为所述时间戳处于所述散列周期中的具体时隙。
9.根据权利要求1所述的数据传输方法，其特征在于，所述根据调整后的关键帧产生时间获得下发关键帧时序调整命令的下发时间的步骤包括：
获得所述碰撞前端视频设备调整前后的关键帧产生时间之间的差值；
将当前时间和所述差值之和作为所述下发时间。
10.一种基于多个前端视频设备的数据传输方法，其特征在于，包括：
前端视频设备判断是否接收到来自于后端设备的关键帧时序调整命令；
若接收到，则根据所述关键帧时序调整命令立即调整关键帧产生时序；
否则，根据原先关键帧产生时序发送关键帧至所述网络平台。
11.一种后端设备，其特征在于，包括相互耦接的存储器和处理器；
所述处理器用于执行所述存储器存储的程序指令，以实现权利要求1-9任一项所述的基于多个前端视频设备的数据传输方法。
12.根据权利要求11所述的后端设备，其特征在于，
所述后端设备为网络平台、监视屏、网络平台与监视屏之间的网络节点、网络平台与前端视频设备之间的网络节点中任意一种。
13.一种前端视频设备，其特征在于，包括相互耦接的存储器和处理器；
所述处理器用于执行所述存储器存储的程序指令，以实现权利要求10所述的基于多个前端视频设备的数据传输方法。
14.一种存储装置，其特征在于，存储有能够被处理器运行的程序指令，所述程序指令用于实现权利要求1-9任一项所述的基于多个前端视频设备的数据传输方法，或实现权利要求10所述的基于多个前端视频设备的数据传输方法。
CN202011109867.2A 2020-10-16 2020-10-16 基于多个前端视频设备的数据传输方法及相关装置 Active CN112399141B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202011109867.2A CN112399141B (zh) 2020-10-16 2020-10-16 基于多个前端视频设备的数据传输方法及相关装置
EP21879311.5A EP4205386A4 (en) 2020-10-16 2021-10-09 SYSTEMS AND METHODS FOR DATA TRANSMISSION
PCT/CN2021/122903 WO2022078266A1 (en) 2020-10-16 2021-10-09 Systems and methods for data transmission
US18/192,665 US20230262266A1 (en) 2020-10-16 2023-03-30 Systems and methods for data transmission

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011109867.2A CN112399141B (zh) 2020-10-16 2020-10-16 基于多个前端视频设备的数据传输方法及相关装置

Publications (2)

Publication Number Publication Date
CN112399141A true CN112399141A (zh) 2021-02-23
CN112399141B CN112399141B (zh) 2022-03-25

Family

ID=74596835

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011109867.2A Active CN112399141B (zh) 2020-10-16 2020-10-16 基于多个前端视频设备的数据传输方法及相关装置

Country Status (1)

Country Link
CN (1) CN112399141B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113259717A (zh) * 2021-07-15 2021-08-13 腾讯科技（深圳）有限公司 视频流的处理方法、装置、设备及计算机可读存储介质
WO2022078266A1 (en) * 2020-10-16 2022-04-21 Zhejiang Dahua Technology Co., Ltd. Systems and methods for data transmission
CN114501066A (zh) * 2021-12-30 2022-05-13 浙江大华技术股份有限公司 视频流处理方法、系统、计算机设备和存储介质
CN114567808A (zh) * 2022-01-25 2022-05-31 浙江大华技术股份有限公司 基于链路设备的视频i帧传输控制方法、装置和设备
CN114980337A (zh) * 2022-05-23 2022-08-30 中国电信股份有限公司 网络峰值控制方法、装置、计算机存储介质及电子设备
CN115086779A (zh) * 2021-12-17 2022-09-20 浙江大华技术股份有限公司 视频传输系统
WO2022198464A1 (zh) * 2021-03-23 2022-09-29 华为技术有限公司 一种数据传输的方法、相关设备以及通信系统
CN115442640A (zh) * 2022-08-30 2022-12-06 苏州华兴源创科技股份有限公司 视频数据传输方法、装置、存储介质
CN115734009A (zh) * 2022-11-15 2023-03-03 深圳艾灵网络有限公司 视频流的碰撞消除方法、装置、设备及存储介质
WO2023040508A1 (zh) * 2021-09-15 2023-03-23 中兴通讯股份有限公司 数据传输方法、接收端、数据源和计算机可读存储介质
WO2023151349A1 (zh) * 2022-02-10 2023-08-17 华为技术有限公司 视频传输方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999052282A1 (en) * 1998-04-02 1999-10-14 Sarnoff Corporation Bursty data transmission of compressed video data
US20110310217A1 (en) * 2010-06-18 2011-12-22 Microsoft Corporation Reducing use of periodic key frames in video conferencing
US20120087583A1 (en) * 2010-10-06 2012-04-12 Futurewei Technologies, Inc. Video Signature Based on Image Hashing and Shot Detection
WO2015127865A1 (en) * 2014-02-26 2015-09-03 Tencent Technology (Shenzhen) Company Limited Information pushing method, terminal and server
CN105049783A (zh) * 2014-04-28 2015-11-11 霍尼韦尔国际公司 视频监控系统中的优化网络业务的系统和方法
WO2016082220A1 (zh) * 2014-11-28 2016-06-02 华为技术有限公司 多视频流的传输方法和设备
CN111787292A (zh) * 2020-09-04 2020-10-16 浙江大华技术股份有限公司 基于多个网络摄像机的数据传输方法及相关装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999052282A1 (en) * 1998-04-02 1999-10-14 Sarnoff Corporation Bursty data transmission of compressed video data
US20110310217A1 (en) * 2010-06-18 2011-12-22 Microsoft Corporation Reducing use of periodic key frames in video conferencing
US20120087583A1 (en) * 2010-10-06 2012-04-12 Futurewei Technologies, Inc. Video Signature Based on Image Hashing and Shot Detection
WO2015127865A1 (en) * 2014-02-26 2015-09-03 Tencent Technology (Shenzhen) Company Limited Information pushing method, terminal and server
CN105049783A (zh) * 2014-04-28 2015-11-11 霍尼韦尔国际公司 视频监控系统中的优化网络业务的系统和方法
WO2016082220A1 (zh) * 2014-11-28 2016-06-02 华为技术有限公司 多视频流的传输方法和设备
CN111787292A (zh) * 2020-09-04 2020-10-16 浙江大华技术股份有限公司 基于多个网络摄像机的数据传输方法及相关装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022078266A1 (en) * 2020-10-16 2022-04-21 Zhejiang Dahua Technology Co., Ltd. Systems and methods for data transmission
WO2022198464A1 (zh) * 2021-03-23 2022-09-29 华为技术有限公司 一种数据传输的方法、相关设备以及通信系统
CN113259717B (zh) * 2021-07-15 2021-09-14 腾讯科技（深圳）有限公司 视频流的处理方法、装置、设备及计算机可读存储介质
CN113259717A (zh) * 2021-07-15 2021-08-13 腾讯科技（深圳）有限公司 视频流的处理方法、装置、设备及计算机可读存储介质
WO2023040508A1 (zh) * 2021-09-15 2023-03-23 中兴通讯股份有限公司 数据传输方法、接收端、数据源和计算机可读存储介质
CN115086779B (zh) * 2021-12-17 2024-04-16 浙江大华技术股份有限公司 视频传输系统
CN115086779A (zh) * 2021-12-17 2022-09-20 浙江大华技术股份有限公司 视频传输系统
CN114501066A (zh) * 2021-12-30 2022-05-13 浙江大华技术股份有限公司 视频流处理方法、系统、计算机设备和存储介质
CN114567808A (zh) * 2022-01-25 2022-05-31 浙江大华技术股份有限公司 基于链路设备的视频i帧传输控制方法、装置和设备
WO2023151349A1 (zh) * 2022-02-10 2023-08-17 华为技术有限公司 视频传输方法及装置
CN114980337A (zh) * 2022-05-23 2022-08-30 中国电信股份有限公司 网络峰值控制方法、装置、计算机存储介质及电子设备
CN115442640A (zh) * 2022-08-30 2022-12-06 苏州华兴源创科技股份有限公司 视频数据传输方法、装置、存储介质
CN115442640B (zh) * 2022-08-30 2024-01-09 苏州华兴源创科技股份有限公司 视频数据传输方法、装置、存储介质
CN115734009A (zh) * 2022-11-15 2023-03-03 深圳艾灵网络有限公司 视频流的碰撞消除方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112399141B (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
CN112399141B (zh) 基于多个前端视频设备的数据传输方法及相关装置
CN111787292B (zh) 基于多个网络摄像机的数据传输方法及相关装置
EP3214839B1 (en) Method and device for transmitting multiple video streams
US11349900B2 (en) Voice encoding and sending method and apparatus
US10757033B2 (en) Traffic control method, traffic control apparatus and server
CN110381316B (zh) 一种视频传输控制方法、装置、设备及存储介质
US7237007B2 (en) Method and system for flow control between a base station controller and a base transceiver station
CN114520891B (zh) 一种基于多个前端视频设备的数据传输方法及相关装置
US9635583B2 (en) Method, apparatus and network system for controlling network congestion
Bui et al. Design and performance analysis of a novel distributed queue access protocol for cellular-based massive M2M communications
JP2006279381A (ja) 無線ｌａｎシステム、通信装置、及び通信制御方法
US10568108B2 (en) Channel access period allocation method, apparatus, and system
US20230262266A1 (en) Systems and methods for data transmission
CN114501066A (zh) 视频流处理方法、系统、计算机设备和存储介质
CN110620939B (zh) 一种网络状态确定方法、装置、电子设备及存储介质
CN114679570A (zh) 视频传输方法和装置、存储介质及电子装置
WO2016062055A1 (zh) 上行辅载波状态控制方法、装置及基站
US9917752B1 (en) Optimization of contention paramaters for quality of service of VOIP (voice over internet protocol) calls in a wireless communication network
CN107295667B (zh) 一种接入资源调整方法及装置
CN115334307A (zh) 一种数据传输方法、前端设备、视频采集系统和介质
CN113055928B (zh) 信道管理方法、数据通信方法、装置以及可读存储介质
US9906650B2 (en) Voice adaptation for wireless communication
CN116156233A (zh) 一种显示画面同步方法、系统及电子设备
US9237116B2 (en) Network system time domain re-stamping
WO2021004488A1 (zh) 数据传输方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant