CN110278495A - 一种基于mpqm的视频传输网络控制方法及装置 - Google Patents

一种基于mpqm的视频传输网络控制方法及装置 Download PDF

Info

Publication number
CN110278495A
CN110278495A CN201910556958.1A CN201910556958A CN110278495A CN 110278495 A CN110278495 A CN 110278495A CN 201910556958 A CN201910556958 A CN 201910556958A CN 110278495 A CN110278495 A CN 110278495A
Authority
CN
China
Prior art keywords
video
frame
transmission
data
quantization parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910556958.1A
Other languages
English (en)
Other versions
CN110278495B (zh
Inventor
程智睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Unisinsight Technology Co Ltd
Original Assignee
Chongqing Unisinsight Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Unisinsight Technology Co Ltd filed Critical Chongqing Unisinsight Technology Co Ltd
Priority to CN201910556958.1A priority Critical patent/CN110278495B/zh
Publication of CN110278495A publication Critical patent/CN110278495A/zh
Application granted granted Critical
Publication of CN110278495B publication Critical patent/CN110278495B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784—Data processing by the network
    • H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于MPQM的视频传输网络控制方法，用于控制服务器向客户端发送视频数据，使得服务器可以根据客户端发出的控制请求动态改变摄像头在调整期间的视频压缩编码的量化参数以及主动丢弃低优先级视频帧数据，通过改变量化参数的大小可以降低视频帧数据量，从而提高画面流畅度。通过主动丢弃低优先级视频帧数据可以解决高优先级视频帧数据因丢弃而导致的错误扩散，提高视频质量。

Description

一种基于MPQM的视频传输网络控制方法及装置
技术领域
本发明属于网络通信技术领域，具体涉及一种基于MPQM的视频传输网络控制方法及装 置。
背景技术
随着智慧城市和智慧安防的发展，视频安防监控产业在互联网的大背景下正发生着日新月 异的变化，广泛应用于侦查、交通、社区等各个场景。
目前视频监控前端摄像头主要包括枪机、球机和半球机三种，摄像头采集视频监控图像， 并压缩编码，通过网络将视频监控数据传输至数据处理中心，通常处理视频监控图像数据的数 据处理中心由单个服务器或服务器集群组成，用户通过客户端访问服务器获取视频监控图像， 通常客户端包括PC专用软件、web网页、手机App。
为了增加监控范围、支持重点区域循环监控、使监控更加灵活，球机和半球机摄像头均支 持变焦距、调节对焦点、云台控制角度调节的功能，枪机支持变焦距和调节对焦点的功能。通 过调节摄像头拍摄的硬件参数，包括但不限于云台角度、焦距、光圈等参数，以此改变拍摄范 围。
为了节省网络带宽，视频原始数据需要经过压缩编码，以帧率为24帧的视频为例，规定 某一数量的视频帧数为一图像组(GoP)，对于H.264而言GoP通常为12，其结构可表示为 “IBBPBBPBBPBB”,编码后的视频帧包括I帧、P帧、B帧。I帧作为独立编码帧数据量最大，对画面质量影响最大；P帧作为向前预测帧，根据前一个I帧或P帧的变化编码，数据量介于I帧和B帧之间，对画面质量影响相对I帧较小；B帧作为双向预测帧，根据前后的I帧或P 帧的变化编码，对画面质量影响最小，数据量也最小。采用H.264压缩编码的视频流数据具有波动性，这种波动性在较短时间尺度(一个GoP的时间间隔长度)上表现为视频帧类型随时间变化而引起的视频数据量大小的波动，而在较大时间尺度上表现为视频画面场景变化和亮度 变化引起的视频数据量大小的波动。
从实际应用场景出发，视频数据在传输过程中由于传输速率等因素会出现不同程度的丢 包，丢包会对视频质量造成一定影响，为了说明并量化丢包对其的影响，通常采用运动图像视 频质量度量标准(Moving Picture Quality Metric,MPQM)。MPQM是以人类视觉系统(Human Visual System,HVS)为基础，利用人眼对图像对比度的敏感程度和人类视觉的错误掩蔽效应进 行视频质量分析，进一步的根据网络丢包率的大小获得视频质量主观意见评分，评分越高代表 视频质量越好。
监控摄像头调节拍摄的硬件参数这一过程中采集的视频数据信息其重要性往往较低。相对 于正常监控场景来说，调节过程中所拍摄的视频画面对图像质量的要求较低。同时，调节过程 中的视频画面场景和亮度变化十分剧烈，因此视频数据量会出现陡增且剧烈波动的情况，对视 频传输网络的影响较大，在客户端上往往会出现视频卡顿、延迟的情况，对网络负载和用户体 验造成严重影响，换言之，在摄像头调节过程中因网络传输速率大小无法满足所有视频帧数据 数据的传输将导致丢包，因此视频质量主观评分往往较低，同时视频帧I帧和P帧的丢包还会 导致错误扩散。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于MPQM的视频传输网络 控制方法及装置，用于解决视频监控摄像头在调节拍摄参数时由于视频数据量大小波动引起的 网络负载较大、视频质量下降等问题。
为实现上述目的及其他相关目的，本发明提供一种基于MPQM的视频传输网络控制方法， 用于控制服务器向客户端发送视频数据，所述基于MPQM的视频传输网络控制方法包括：
服务器初始化，包括设置摄像头视频压缩编码的量化参数QP0、视频帧率及视频帧数据传 输间隔D；
客户端向服务器发起摄像头控制请求，所述控制请求的内容包括云台角度、焦距、光圈的 变换；
根据所述控制请求的内容分别计算各控制请求的内容需要的调整时间，将调整时间最长的 控制内容对应的时间作为本次控制请求所需的调整时间t；
计算所述调整时间t内包含的所述传输间隔D的个数w；
获取当前传输间隔D内待传输的视频帧数据大小；
计算当前网络传输速度s在传输间隔D内所能传输的最大传输数据量L max；
判断最大传输数据量L max与当前传输间隔D待传输的视频数据总量的大小；
若最大传输数据量L max大于或等于当前传输间隔D内待传输的视频数据总量，则判断 当前传输间隔是否为首个传输间隔，若是首个传输间隔，则保持量化参数不变，若不是首个传 输间隔，则计算上一个传输间隔内传输视频帧数据的丢包率LR以及视频质量主观意见评分 Qr；
判断视频质量主观意见评分Qr的大小，若所述视频质量主观意见评分Qr小于设定的意 见评分，则量化参数递减，若所述视频质量主观意见评分大于或等于设定的意见评分，则保持 量化参数不变；
若最大传输数据量L max小于当前传输间隔D待传输的视频数据总量，则根据视频帧优 先级丢弃低优先级视频帧数据；
计算上一个传输间隔内传输视频帧数据的丢包率LR以及视频质量主观意见评分Qr；
判断视频质量主观意见评分Qr的大小，若所述视频质量主观意见评分Qr小于设定的意 见评分，则量化参数递增，若所述视频质量主观意见评分Qr大于或等于设定的意见评分，则 保持量化参数不变；
改变下一个传输间隔D内的量化参数，并在当前传输间隔D内传输视频帧数据至客户端。
可选地，获取当前传输间隔D内待传输的视频帧数据大小的方法为：
统计传输间隔D中I帧、P帧、B帧待传输的网络抽象层单元NALU长度。
可选地，所述丢包率LR为一段时间内未传输成功的视频帧数据量与待传输的视频帧数据 总量之比，其计算公式为：
LR＝Lmiss/(Li+Lp+Lb)
其中，Lmiss为未传输成功的视频帧数据量，Li表示待发送数据包中I帧的网络抽象层单 元长度，Lp表示待发送数据包中P帧的网络抽象层单元长度，Lb表示待发送数据包中B帧的 网络抽象层单元长度。
可选地，所述视频质量主观意见评分Qr表示为：
其中，Qe为丢包率0时视频编码器的最好质量，rR为校正因子，表示视频流传输位平均 速率。
可选地，视频帧优先级为I帧>P帧>B帧。
为实现上述目的及其他相关目的，本发明还提供一种基于MPQM的视频传输网络控制装 置，用于控制服务器向客户端发送视频数据，所述基于MPQM的视频传输网络控制装置包括：
初始化模块，用于对服务器进行初始化，包括设置摄像头视频压缩编码的量化参数QP0、 视频帧率及视频帧数据传输间隔D；
控制请求模块，所述客户端通过所述控制请求模块向所述服务器发起摄像头控制请求，所 述控制请求的内容包括云台角度、焦距、光圈的变换；
调整时间确定模块，用于根据所述控制请求的内容分别计算各控制请求的内容需要的调整 时间，将调整时间最长的控制内容对应的时间作为本次控制请求所需的调整时间t；
传输间隔确定模块，用于计算所述调整时间t内包含的所述传输间隔D的个数w；
视频帧数据计算模块，用于获取当前传输间隔D内待传输的视频帧数据大小；
最大传输数据量计算模块，用于计算当前网络传输速度s在传输间隔D内所能传输的最 大传输数据量L max；
第一判断模块，用于判断最大传输数据量L max与当前传输间隔D待传输的视频数据总 量的大小；
第二判断模块，用于在最大传输数据量L max大于或等于当前传输间隔D内待传输的视 频数据总量时判断当前传输间隔是否为首个传输间隔；
第一量化参数控制模块，用于在当前传输间隔是首个传输间隔，则保持量化参数不变；
第一计算模块，用于在当前传输间隔不是首个传输间隔，计算上一个传输间隔内传输视频 帧数据的丢包率LR以及视频质量主观意见评分Qr；
所述一量化参数控制模块还用于在所述视频质量主观意见评分Qr小于设定的意见评分时 控制量化参数递减，还用于在所述视频质量主观意见评分大于或等于设定的意见评分时控制量 化参数不变；
丢弃模块，用于在最大传输数据量L max小于当前传输间隔D待传输的视频数据总量时 根据视频帧优先级丢弃低优先级视频帧数据；
第二计算模块，用于计算上一个传输间隔内传输视频帧数据的丢包率LR以及视频质量主 观意见评分Qr；
第一量化参数控制模块，用于在所述视频质量主观意见评分Qr小于设定的意见评分时， 控制量化参数递增，还用于在所述视频质量主观意见评分Qr大于或等于设定的意见评分时， 保持量化参数不变；
执行模块，用于改变下一个传输间隔D内的量化参数，并在当前传输间隔D内传输视频 帧数据至客户端。
可选地，获取当前传输间隔D内待传输的视频帧数据大小的方法为：
统计传输间隔D中I帧、P帧、B帧待传输的网络抽象层单元NALU长度。
可选地，所述丢包率LR为一段时间内未传输成功的视频帧数据量与待传输的视频帧数据 总量之比，其计算公式为：
LR＝Lmiss/(Li+Lp+Lb)
其中，Lmiss为未传输成功的视频帧数据量，Li表示待发送数据包中I帧的网络抽象层单 元长度，Lp表示待发送数据包中P帧的网络抽象层单元长度，Lb表示待发送数据包中B帧的 网络抽象层单元长度。
可选地，所述视频质量主观意见评分Qr表示为：
其中，Qe为丢包率0时视频编码器的最好质量，rR为校正因子，表示视频流传输位平均 速率。
可选地，视频帧优先级为I帧>P帧>B帧。
如上所述，本发明的一种基于MPQM的视频传输网络控制方法及装置，具有以下有益效 果：
本发明提出了一种基于MPQM的视频传输网络控制方法及装置，使得服务器可以根据客 户端发出的控制请求动态改变摄像头在调整期间的视频压缩编码的量化参数以及主动丢弃低 优先级视频帧数据，通过改变量化参数的大小可以降低视频帧数据量，从而提高画面流畅度。 通过主动丢弃低优先级视频帧数据可以解决高优先级视频帧数据因丢弃而导致的错误扩散，提 高视频质量。
附图说明
图1为本发明一实施例中一种基于MPQM的视频传输网络控制方法的流程图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的 内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实 施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进 行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互 组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式 中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实 施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
一种基于MPQM的视频传输网络控制方法，该方法主要解决摄像头在调整期间视频数据 量大、视频质量低、视频卡顿等问题。针对视频压缩编码、视频质量及视频传输网络的特点， 其实现步骤如下：
S101、服务器初始化，包括设置摄像头视频压缩编码的量化参数QP0、视频帧率及视频帧 数据传输间隔。其中量化参数取值范围0～50，值越小视频画面精细程度越高，视频帧数据量 越大，反之值越大视频画面越粗糙，视频帧数据量越小。通常视帧率设置为24fps，传输间隔 D设置为1/24s，首个传输间隔的量化参数为QP0；
S102、客户端向服务器发起摄像头控制请求，控制请求的内容包括但不限于云台角度、焦 距、光圈的变换；
S103、服务器收到控制请求后，根据控制请求的内容分别计算调整各控制请求的内容需要 的调整时间。一般来说调整时间受摄像头硬件设备影响，例如：云台调整时间受云台转动角速 度影响，焦距调整时间受镜头变焦速度影响，光圈调整时间受光圈变换速度影响。各个调整内 容是同一时刻开始的，因此，于本实施例中，服务器将调整时间最长的某项控制内容作对应的 时间为本次控制请求所需的调整时间t；
S104、进一步的，由步骤S103，服务器计算调整时间t内包含的传输间隔D的个数w，即：
w＝t/D (公式1)
其中，w向下取整数；
S105、进一步的，由步骤S101和步骤S104，规定第n个传输间隔期间视频压缩编码的量 化参数QPn，其中n＝1,2,…,w。同时统计当前传输间隔D内待传输的视频帧数据大小。具体的， 统计当前传输间隔D内待传输的视频帧数据大小就是统计传输间隔D中I帧、P帧、B帧待传 输的网络抽象层单元NALU长度Li、Lp、Lb；Li表示待发送数据包中I帧的网络抽象层单元 长度，Lp表示待发送数据包中P帧的网络抽象层单元长度，Lb表示待发送数据包中B帧的网 络抽象层单元长度。
S106、进一步的，计算当前网络传输速度s在传输间隔D内所能传输的最大数据量Lmax， 其计算公式为：
L max＝s×D (公式2)
S107、进一步的，由步骤S106，判断最大传输数据量L max是否满足当前传输间隔D待 传输的总数据量，即判断L max与Li、Lp、Lb之和的大小。若L max≥Li+Lp+Lb,则判断 当前传输间隔是否为首个传输间隔，即判断n是否等于1，若n＝1则跳转至步骤S108，反之 若n>1跳转步骤S109。若L max小于Li、Lp、Lb之和，则跳转至步骤S113；
S108、保持量化参数不变，即下一个传输间隔期间内的视频压缩编码量化参数QPn+1＝QPn。
S109、进一步的，由步骤S107，n>1即当前传输间隔为非首个传输间隔的情况，需要进 一步考虑上一个传输间隔(n-1个传输间隔)内传输视频帧数据的丢包率。定义丢包率LR为 一段时间内未传输成功的视频帧数据量与待传输的视频帧数据总量之比，其计算公式为：
LR＝Lmiss/(Li+Lp+Lb) (公式3)
其中,Lmiss为未传输成功的视频帧数据量。
S110、进一步的，由步骤S109，结合丢包率LR，基于MPQM定义视频质量主观意见评分Qr，取值范围0～5，其值越大表示视频质量越高，其计算公式为：
其中，Qe为丢包率0时视频编码器的最好质量，一般取值为3～5之间。rR为校正因子， 表示视频流传输位平均速率，一般取值2～3之间。视频质量主观意见评分在低于3时丢包率 较大，视为视频质量较差，甚至不可用；
通过步骤S109得到上一个传输间隔的丢包率LRn-1并进一步计算视频质量主观意见评分 Qrn-1，若Qrn-1<4，则跳转至步骤S111，反之跳转至步骤S112；
S111、控制量化参数递减，则下一个传输间隔的视频压缩编码量化参数为QPn+1＝QPn-1。 由于量化参数递减，增加视频帧数据量，换言之在网络传输速率满足需求的前提下，适当提高 了视频细腻度；
S112、保持量化参数不变，则下一个传输间隔的视频压缩编码量化参数QPn+1＝QPn。
S113、进一步的，由步骤S107，L max小于Li、Lp、Lb之和服务器无法在当前传输间隔 内传输所有视频帧数据，因此需要丢弃优先级较低的视频帧数据，其中优先级的划分规则与视 频帧类型相关，即优先级I帧>P帧>B帧。依次计算Lmax-Li是否大于0，若Lmax-Li>0则 继续计算Lmax-Li-Lp>0是否大于0，若Lmax-Li-Lp则得到可以传输的B帧的数据量大 小为Lmax-Li-Lp>0，剩余无法传输的部分B帧数据量主动丢弃。同理，若 Lmax-Li-Lp≤0则得到可以传输的P帧的数据量大小为Lmax-Li，剩余无法传输的 部分P帧数据量及全部B帧数据量主动丢弃；若Lmax-Li≤0则得到可以传输的I帧的数据 量大小为Lmax-Li，剩余无法传输的部分I帧数据量及全部P帧和B帧数据量主动丢弃；
S114、进一步的，同理步骤S109，计算上一个传输间隔(n-1个传输间隔)内传输视频帧 数据的丢包率LR；
S115、进一步的，同理步骤S110，计算上一个传输间隔(n-1个传输间隔)内视频质量主 观意见评分Qr；
通过步骤S114得到上一个传输间隔的丢包率LRn-1并进一步计算视频质量主观意见评分 Qrn-1，若Qrn-1<4，则跳转至步骤S116，反之跳转至步骤S117；
S116、控制量化参数递增，即下一个传输间隔的视频压缩编码量化参数为QPn+1＝QPn+1, 由于量化参数递增，减少视频帧数据量，换言之在网络传输速率无法满足需求的前提下，适当 降低视频细腻度以保证视频质量以及画面流畅；
S117、进一步的，保持量化参数不变，下一个传输间隔的视频压缩编码量化参数为QPn+1＝QPn。
S118、进一步的，服务器动态改变下一个传输间隔视频压缩编码的量化参数，并根据上述 步骤判断是否需要丢弃低优先级视频帧数据，在当前传输间隔内传输视频帧数据至客户端。
现有的视频监控摄像头以及视频传输网络在摄像头调整期间普遍存在视频数据量大、视频 卡顿、视频画面延迟等问题。然而在实际应用中，摄像头在调整期间采集的视频数据相对于在 正常监控期间采集的视频数据价值较小，因此本发明提出了一种基于MPQM的视频传输网络 控制方法，使得服务器可以根据客户端发出的控制请求动态改变摄像头在调整期间的视频压缩 编码的量化参数以及主动丢弃低优先级视频帧数据，通过改变量化参数的大小可以降低视频帧 数据量，从而提高画面流畅度。通过主动丢弃低优先级视频帧数据可以解决高优先级视频帧数 据因丢弃而导致的错误扩散，提高视频质量。
一种基于MPQM的视频传输网络控制装置，用于控制服务器向客户端发送视频数据，所 述基于MPQM的视频传输网络控制装置包括：
初始化模块，用于对服务器进行初始化，包括设置摄像头视频压缩编码的量化参数QP0、 视频帧率及视频帧数据传输间隔D；
控制请求模块，所述客户端通过所述控制请求模块向所述服务器发起摄像头控制请求，所 述控制请求的内容包括云台角度、焦距、光圈的变换；
调整时间确定模块，用于根据所述控制请求的内容分别计算各控制请求的内容需要的调整 时间，将调整时间最长的控制内容对应的时间作为本次控制请求所需的调整时间t；
传输间隔确定模块，用于计算所述调整时间t内包含的所述传输间隔D的个数w；
视频帧数据计算模块，用于获取当前传输间隔D内待传输的视频帧数据大小；
最大传输数据量计算模块，用于计算当前网络传输速度s在传输间隔D内所能传输的最 大传输数据量L max；
第一判断模块，用于判断最大传输数据量L max与当前传输间隔D待传输的视频数据总 量的大小；
第二判断模块，用于在最大传输数据量L max大于或等于当前传输间隔D内待传输的视 频数据总量时判断当前传输间隔是否为首个传输间隔；
第一量化参数控制模块，用于在当前传输间隔是首个传输间隔，则保持量化参数不变；
第一计算模块，用于在当前传输间隔不是首个传输间隔，计算上一个传输间隔内传输视频 帧数据的丢包率LR以及视频质量主观意见评分Qr；
所述一量化参数控制模块还用于在所述视频质量主观意见评分Qr小于设定的意见评分时 控制量化参数递减，还用于在所述视频质量主观意见评分大于或等于设定的意见评分时控制量 化参数不变；
丢弃模块，用于在最大传输数据量L max小于当前传输间隔D待传输的视频数据总量时 根据视频帧优先级丢弃低优先级视频帧数据；
第二计算模块，用于计算上一个传输间隔内传输视频帧数据的丢包率LR以及视频质量主 观意见评分Qr；
第一量化参数控制模块，用于在所述视频质量主观意见评分Qr小于设定的意见评分时， 控制量化参数递增，还用于在所述视频质量主观意见评分Qr大于或等于设定的意见评分时， 保持量化参数不变；
执行模块，用于改变下一个传输间隔D内的量化参数，并在当前传输间隔D内传输视频 帧数据至客户端。
根据权利要求6所述的一种基于MPQM的视频传输网络控制装置，其特征在于，获取当 前传输间隔D内待传输的视频帧数据大小的方法为：
统计传输间隔D中I帧、P帧、B帧待传输的网络抽象层单元NALU长度。
于一实施例中，所述丢包率LR为一段时间内未传输成功的视频帧数据量与待传输的视频 帧数据总量之比，其计算公式为：
LR＝Lmiss/(Li+Lp+Lb)
其中，Lmiss为未传输成功的视频帧数据量，Li表示待发送数据包中I帧的网络抽象层单 元长度，Lp表示待发送数据包中P帧的网络抽象层单元长度，Lb表示待发送数据包中B帧的 网络抽象层单元长度。
于一实施例中，所述视频质量主观意见评分Qr表示为：
其中，Qe为丢包率0时视频编码器的最好质量，rR为校正因子，表示视频流传输位平均 速率。
于一实施例中，视频帧优先级为I帧>P帧>B帧。则根据以下方法可以判断哪些视频帧数 据可以丢弃可以丢弃，哪些不能丢弃。
依次计算Lmax-Li是否大于0，若Lmax-Li>0则继续计算Lmax-Li-Lp>0是否大于 0，若Lmax-Li-Lp则得到可以传输的B帧的数据量大小为Lmax-Li-Lp>0，剩余无法传 输的部分B帧数据量主动丢弃。同理，若Lmax-Li-Lp≤0则得到可以传输的P帧的 数据量大小为Lmax-Li，剩余无法传输的部分P帧数据量及全部B帧数据量主动丢弃；若 Lmax-Li≤0则得到可以传输的I帧的数据量大小为Lmax-Li，剩余无法传输的部分I帧数 据量及全部P帧和B帧数据量主动丢弃；
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例的内容请参 见方法部分的实施例的描述，这里暂不赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、 模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、 模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或 者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单 独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件 的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只 是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过 程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分， 可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法 步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是 软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定 的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其 它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块 或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元 或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显 示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦 合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件 可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。 可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单 元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用 硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时， 可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的 全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储 于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的 步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、 对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述 计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、 只读存储器(ROM,Read-Only Memory)、随机存取存储器((RAM,Random Access Memory)、电 载波信号、电信信号以及软件分发介质等。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术 的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属 技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修 饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种基于MPQM的视频传输网络控制方法，用于控制服务器向客户端发送视频数据，其特征在于，所述基于MPQM的视频传输网络控制方法包括：
服务器初始化，包括设置摄像头视频压缩编码的量化参数QP0、视频帧率及视频帧数据传输间隔D；
客户端向服务器发起摄像头控制请求，所述控制请求的内容包括云台角度、焦距、光圈的变换；
根据所述控制请求的内容分别计算调整各控制请求的内容需要的调整时间，将调整时间最长的控制内容对应的时间作为本次控制请求所需的调整时间t；
计算所述调整时间t内包含的所述传输间隔D的个数w；
获取当前传输间隔D内待传输的视频帧数据大小；
计算当前网络传输速度s在传输间隔D内所能传输的最大传输数据量Lmax；
判断最大传输数据量Lmax与当前传输间隔D待传输的视频数据总量的大小；
若最大传输数据量Lmax大于或等于当前传输间隔D内待传输的视频数据总量，则判断当前传输间隔是否为首个传输间隔，若是首个传输间隔，则保持量化参数不变，若不是首个传输间隔，则计算上一个传输间隔内传输视频帧数据的丢包率LR以及视频质量主观意见评分Qr；
判断视频质量主观意见评分Qr的大小，若所述视频质量主观意见评分Qr小于设定的意见评分，则量化参数递减，若所述视频质量主观意见评分大于或等于设定的意见评分，则保持量化参数不变；
若最大传输数据量Lmax小于当前传输间隔D待传输的视频数据总量，则根据视频帧优先级丢弃低优先级视频帧数据；
计算上一个传输间隔内传输视频帧数据的丢包率LR以及视频质量主观意见评分Qr；
判断视频质量主观意见评分Qr的大小，若所述视频质量主观意见评分Qr小于设定的意见评分，则量化参数递增，若所述视频质量主观意见评分Qr大于或等于设定的意见评分，则保持量化参数不变；
改变下一个传输间隔D内的量化参数，并在当前传输间隔D内传输视频帧数据至客户端。
2.根据权利要求1所述的一种基于MPQM的视频传输网络控制方法，其特征在于，获取当前传输间隔D内待传输的视频帧数据大小的方法为：
统计传输间隔D中I帧、P帧、B帧待传输的网络抽象层单元NALU长度。
3.根据权利要求1所述的一种基于MPQM的视频传输网络控制方法，其特征在于，所述丢包率LR为一段时间内未传输成功的视频帧数据量与待传输的视频帧数据总量之比，其计算公式为：
LR＝Lmiss/(Li+Lp+Lb)
其中，Lmiss为未传输成功的视频帧数据量，Li表示待发送数据包中I帧的网络抽象层单元长度，Lp表示待发送数据包中P帧的网络抽象层单元长度，Lb表示待发送数据包中B帧的网络抽象层单元长度。
4.根据权利要求1所述的一种基于MPQM的视频传输网络控制方法，其特征在于，所述视频质量主观意见评分Qr表示为：
其中，Qe为丢包率0时视频编码器的最好质量，rR为校正因子，表示视频流传输位平均速率。
5.根据权利要求1所述的一种基于MPQM的视频传输网络控制方法，其特征在于，视频帧优先级为I帧>P帧>B帧。
6.一种基于MPQM的视频传输网络控制装置，用于控制服务器向客户端发送视频数据，其特征在于，所述基于MPQM的视频传输网络控制装置包括：
初始化模块，用于对服务器进行初始化，包括设置摄像头视频压缩编码的量化参数QP0、视频帧率及视频帧数据传输间隔D；
控制请求模块，所述客户端通过所述控制请求模块向所述服务器发起摄像头控制请求，所述控制请求的内容包括云台角度、焦距、光圈的变换；
调整时间确定模块，用于根据所述控制请求的内容分别计算各控制请求的内容需要的调整时间，将调整时间最长的控制内容对应的时间作为本次控制请求所需的调整时间t；
传输间隔确定模块，用于计算所述调整时间t内包含的所述传输间隔D的个数w；
视频帧数据计算模块，用于获取当前传输间隔D内待传输的视频帧数据大小；
最大传输数据量计算模块，用于计算当前网络传输速度s在传输间隔D内所能传输的最大传输数据量L max；
第一判断模块，用于判断最大传输数据量L max与当前传输间隔D待传输的视频数据总量的大小；
第二判断模块，用于在最大传输数据量L max大于或等于当前传输间隔D内待传输的视频数据总量时判断当前传输间隔是否为首个传输间隔；
第一量化参数控制模块，用于在当前传输间隔是首个传输间隔，则保持量化参数不变；
第一计算模块，用于在当前传输间隔不是首个传输间隔，计算上一个传输间隔内传输视频帧数据的丢包率LR以及视频质量主观意见评分Qr；
所述一量化参数控制模块还用于在所述视频质量主观意见评分Qr小于设定的意见评分时控制量化参数递减，还用于在所述视频质量主观意见评分大于或等于设定的意见评分时控制量化参数不变；
丢弃模块，用于在最大传输数据量L max小于当前传输间隔D待传输的视频数据总量时根据视频帧优先级丢弃低优先级视频帧数据；
第二计算模块，用于计算上一个传输间隔内传输视频帧数据的丢包率LR以及视频质量主观意见评分Qr；
第一量化参数控制模块，用于在所述视频质量主观意见评分Qr小于设定的意见评分时，控制量化参数递增，还用于在所述视频质量主观意见评分Qr大于或等于设定的意见评分时，保持量化参数不变；
执行模块，用于改变下一个传输间隔D内的量化参数，并在当前传输间隔D内传输视频帧数据至客户端。
7.根据权利要求6所述的一种基于MPQM的视频传输网络控制装置，其特征在于，获取当前传输间隔D内待传输的视频帧数据大小的方法为：
统计传输间隔D中I帧、P帧、B帧待传输的网络抽象层单元NALU长度。
8.根据权利要求6所述的一种基于MPQM的视频传输网络控制装置，其特征在于，所述丢包率LR为一段时间内未传输成功的视频帧数据量与待传输的视频帧数据总量之比，其计算公式为：
LR＝Lmiss/(Li+Lp+Lb)
其中，Lmiss为未传输成功的视频帧数据量，Li表示待发送数据包中I帧的网络抽象层单元长度，Lp表示待发送数据包中P帧的网络抽象层单元长度，Lb表示待发送数据包中B帧的网络抽象层单元长度。
9.根据权利要求6所述的一种基于MPQM的视频传输网络控制装置，其特征在于，所述视频质量主观意见评分Qr表示为：
其中，Qe为丢包率0时视频编码器的最好质量，rR为校正因子，表示视频流传输位平均速率。
10.根据权利要求6所述的一种基于MPQM的视频传输网络控制装置，其特征在于，视频帧优先级为I帧>P帧>B帧。
CN201910556958.1A 2019-06-25 2019-06-25 一种基于mpqm的视频传输网络控制方法及装置 Active CN110278495B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910556958.1A CN110278495B (zh) 2019-06-25 2019-06-25 一种基于mpqm的视频传输网络控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910556958.1A CN110278495B (zh) 2019-06-25 2019-06-25 一种基于mpqm的视频传输网络控制方法及装置

Publications (2)

Publication Number Publication Date
CN110278495A true CN110278495A (zh) 2019-09-24
CN110278495B CN110278495B (zh) 2020-02-07

Family

ID=67963210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910556958.1A Active CN110278495B (zh) 2019-06-25 2019-06-25 一种基于mpqm的视频传输网络控制方法及装置

Country Status (1)

Country Link
CN (1) CN110278495B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111182310A (zh) * 2019-12-26 2020-05-19 腾讯科技（深圳）有限公司 视频处理方法、装置、计算机可读介质及电子设备
CN111343475A (zh) * 2020-03-04 2020-06-26 广州虎牙科技有限公司 数据处理方法和装置、直播服务器及存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101616315A (zh) * 2008-06-25 2009-12-30 华为技术有限公司 一种视频质量评价方法、装置和系统
CN101917608A (zh) * 2010-07-30 2010-12-15 华南理工大学 视频轨迹的可伸缩传输方法
CN101945266A (zh) * 2010-08-20 2011-01-12 山东神戎电子股份有限公司 一种无线网络视频流传输自适应方法
CN101990087A (zh) * 2010-09-28 2011-03-23 深圳中兴力维技术有限公司 无线视频监控系统及根据网络状态动态调整码流的方法
US20110258338A1 (en) * 2010-04-14 2011-10-20 Adobe Systems Incorporated Media Quality Enhancement Among Connected Media Communication Devices
CN102547206A (zh) * 2010-12-30 2012-07-04 中国移动通信集团公司 一种视频通信过程中确定视频传输参数的方法及装置
CN102869046A (zh) * 2011-07-08 2013-01-09 杭州海康威视数字技术股份有限公司 无线网络中视频传输方法及其装置
KR101251000B1 (ko) * 2011-11-22 2013-04-04 건국대학교 산학협력단 실시간 비디오 통신을 위한 양자화 계수 조절 방법
CN103248965A (zh) * 2013-03-05 2013-08-14 上海交通大学 一种基于近似时延的视频传输队列调度方法
CN103369349A (zh) * 2012-03-28 2013-10-23 中国移动通信集团公司 一种数字视频质量控制方法及其装置
US20140376617A1 (en) * 2013-06-24 2014-12-25 Kyeong Ho Yang Rate control algorithm for scalable video encoding with disposable p-frames
US20160029020A1 (en) * 2014-07-25 2016-01-28 Allegro Dvt Low latency video encoder
CN105898294A (zh) * 2016-05-27 2016-08-24 乐视控股（北京）有限公司 一种视频质量评价方法及装置
CN106973066A (zh) * 2017-05-10 2017-07-21 福建星网智慧科技股份有限公司 一种实时通讯中h264编码视频数据传输方法以及系统
US20180220170A1 (en) * 2016-01-28 2018-08-02 Tencent Technology (Shenzhen) Company Limited Method and apparatus for transmitting data of mobile terminal

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101616315A (zh) * 2008-06-25 2009-12-30 华为技术有限公司 一种视频质量评价方法、装置和系统
US20110258338A1 (en) * 2010-04-14 2011-10-20 Adobe Systems Incorporated Media Quality Enhancement Among Connected Media Communication Devices
CN101917608A (zh) * 2010-07-30 2010-12-15 华南理工大学 视频轨迹的可伸缩传输方法
CN101945266A (zh) * 2010-08-20 2011-01-12 山东神戎电子股份有限公司 一种无线网络视频流传输自适应方法
CN101990087A (zh) * 2010-09-28 2011-03-23 深圳中兴力维技术有限公司 无线视频监控系统及根据网络状态动态调整码流的方法
CN102547206A (zh) * 2010-12-30 2012-07-04 中国移动通信集团公司 一种视频通信过程中确定视频传输参数的方法及装置
CN102869046A (zh) * 2011-07-08 2013-01-09 杭州海康威视数字技术股份有限公司 无线网络中视频传输方法及其装置
KR101251000B1 (ko) * 2011-11-22 2013-04-04 건국대학교 산학협력단 실시간 비디오 통신을 위한 양자화 계수 조절 방법
CN103369349A (zh) * 2012-03-28 2013-10-23 中国移动通信集团公司 一种数字视频质量控制方法及其装置
CN103248965A (zh) * 2013-03-05 2013-08-14 上海交通大学 一种基于近似时延的视频传输队列调度方法
US20140376617A1 (en) * 2013-06-24 2014-12-25 Kyeong Ho Yang Rate control algorithm for scalable video encoding with disposable p-frames
US20160029020A1 (en) * 2014-07-25 2016-01-28 Allegro Dvt Low latency video encoder
US20180220170A1 (en) * 2016-01-28 2018-08-02 Tencent Technology (Shenzhen) Company Limited Method and apparatus for transmitting data of mobile terminal
CN105898294A (zh) * 2016-05-27 2016-08-24 乐视控股（北京）有限公司 一种视频质量评价方法及装置
CN106973066A (zh) * 2017-05-10 2017-07-21 福建星网智慧科技股份有限公司 一种实时通讯中h264编码视频数据传输方法以及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111182310A (zh) * 2019-12-26 2020-05-19 腾讯科技（深圳）有限公司 视频处理方法、装置、计算机可读介质及电子设备
CN111343475A (zh) * 2020-03-04 2020-06-26 广州虎牙科技有限公司 数据处理方法和装置、直播服务器及存储介质
CN111343475B (zh) * 2020-03-04 2022-04-15 广州虎牙科技有限公司 数据处理方法和装置、直播服务器及存储介质

Also Published As

Publication number Publication date
CN110278495B (zh) 2020-02-07

Similar Documents

Publication Publication Date Title
CN104125429B (zh) 视频数据传输的调节方法及装置
Yuan et al. Spatial and temporal consistency-aware dynamic adaptive streaming for 360-degree videos
CN107529064A (zh) 一种基于vr终端反馈的自适应编码方法
CN107948578B (zh) 视频会议系统传送带宽及分辨率的调整方法及调整装置
CN108833880A (zh) 利用跨用户行为模式进行视点预测并实现虚拟现实视频最优化传输的方法和装置
CN102724557B (zh) 一种多流视频直播中的编码控制方法及装置
CN110278495A (zh) 一种基于mpqm的视频传输网络控制方法及装置
CN107426621A (zh) 一种在移动端直播间展示活跃用户图像的方法及系统
Huang et al. Utility-oriented resource allocation for 360-degree video transmission over heterogeneous networks
CN109600579A (zh) 视频无线传输方法、装置、系统和设备
CN112929691A (zh) 多用户全景视频传输方法
US20170142029A1 (en) Method for data rate adaption in online media services, electronic device, and non-transitory computer-readable storage medium
CN110493600A (zh) 图像编码方法、装置、计算机设备及存储介质
CN110012324B (zh) 一种嵌入式无线视频传输的码率自适应方法、wifi相机、控制装置以及码率自适应系统
CN116440501B (zh) 自适应云游戏视频画面渲染方法和系统
CN106464927A (zh) 接入节点上的媒体处理服务
CN109451331A (zh) 基于用户认知需求的视频传输方法
US9319325B2 (en) Adaptive method and system of regulation of yellow traffic in a network
CN106454317B (zh) 基于模糊控制的立体视频质量自适应算法
CN107888905B (zh) 一种基于GoP显著性加权的视频质量评价方法
Wei et al. Toward Low-Latency and High-Quality Adaptive 360$^\circ $ Streaming
Huang et al. Qoe-oriented resource allocation for 360-degree video transmission over heterogeneous networks
CN102333214B (zh) 用于异构网络的码流传输方法、装置及系统
CN109922318B (zh) 一种多路视频传输调度方法、装置、存储介质及电子终端
Frnda et al. QoS to QoE mapping function for Iptv quality assessement based on Kohonen map: a pilot study

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant