CN104780367B - 一种动态调整gop长度的方法和装置 - Google Patents

Abstract

本申请提出一种动态调整GOP长度的方法，应用于图像编码设备，包括：步骤1：对当前编码的GOP画面组的第n帧画面进行画面复杂度判断；步骤2：如果所述第n帧画面的画面复杂度小于预设阈值，或者n大于预设GOP画面组最大长度阈值，则对所述第n帧画面进行帧内编码，作为下一组GOP画面组的第一帧；否则对所述第n帧画面进行帧间编码后，n值加1，返回步骤1；所述n的初始值为静态指定或者基于业务模型训练得到。本申请能根据实时图像的画面复杂度与最佳流量阈值，动态搜索下一个GOP的起始I帧，自适应动态调整GOP大小，使得码率发送比较平滑，图像连续，避免图像卡顿，提高用户的视觉体验。

Description

一种动态调整GOP长度的方法和装置

技术领域

本申请涉及图像编解码技术，特别涉及一种动态调整GOP长度的方法和装置。

背景技术

完整的视频监控系统是由摄像、传输、控制、显示、存储5大部分组成，见图1。随着IP监控技术、互联网的推广普及，互联网接入越来越方便，跨地区部门分支机构、商业集团全球分布越来越多地需要远程互联网视频监控。而摄像机所采集图像的场景中的监控目标的大量运动，会导致编码后的I帧突发，突然增大的I帧数据，在有限带宽下的广域网中传输会导致图像的卡顿，影响用户的实际观感。

现有技术中，一般通过增加带宽或者降低码率来缓解图像的卡顿，但是增加互联网带宽或者购买交换机增加内部网络带宽，需要增加投入资金，增加网络部署的成本。通过降低码率来缓解图像卡顿的方式，会影响图像的清晰度。

发明内容

有鉴于此，本申请提供一种动态调整GOP长度的方法和装置，使得码率发送平滑，图像连续，提高用户视觉体验。

具体地，本申请是通过如下技术方案实现的：

第一方面，提供一种动态调整GOP长度的方法，应用于图像编码设备，其特征在于，所述方法包括步骤：

步骤1：对当前编码的GOP画面组的第n帧画面进行画面复杂度判断；

步骤2：如果所述第n帧画面的画面复杂度小于预设阈值，或者n大于预设GOP画面组最大长度阈值，则对所述第n帧画面进行帧内编码，作为下一组GOP画面组的第一帧；否则对所述第n帧画面进行帧间编码后，n值加1，返回步骤1；所述n的初始值为静态指定或者基于业务模型训练得到。

第二方面，一种动态调整GOP长度的装置，其特征在于，所述装置包括：

图像复杂度判断模块，用于对当前编码的GOP画面组的第n帧画面进行画面复杂度判断；

编码模块，如果所述第n帧画面的画面复杂度小于预设阈值，或者n大于预设GOP画面组最大长度阈值，则对所述第n帧画面进行帧内编码，作为下一组GOP画面组的第一帧；否则对所述第n帧画面进行帧间编码后，n值加1，返回图像复杂度判断模块；所述n的初始值为静态指定或者基于业务模型训练得到。

本申请实施例提供的动态调整GOP长度方法和装置，根据实时图像的画面复杂度与最佳流量阈值，动态搜索下一个GOP的起始I帧，自适应动态调整GOP大小，使得码率发送比较平滑，图像连续，避免图像卡顿，提高用户的视觉体验。

附图说明

图1是本申请一示例性实施例示出的一种基本监控系统组网；

图2是本申请一示例性实施例示出的一种动态调整GOP长度的流程图；

图3是本申请一示例性实施例示出的一种视频监控系统码流传输路径图；

图4是本申请一示例性实施例示出的一种GOP结构图；

图5是本申请一示例性实施例示出的一种画面复杂度判断起始帧n的初

始值基于业务模型训练流程图；

图6是本申请一示例性实施例示出的另一种画面复杂度判断起始帧n的初始值基于业务模型训练流程图；

图7是本申请一示例性实施例示出的动态调整GOP长度装置的结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

本申请实施例提供的动态调整GOP长度的方法，将用于对码流的GOP长度进行动态调整，以最佳的长度自适应当前场景及网络状况，以达到最佳的传输和显示效果。

图2示出了本实施例一种动态调整GOP长度的方法流程，包括如下步骤：

步骤201：对当前编码的GOP画面组的第n帧进行画面复杂度判断。

步骤202：如果所述第n帧画面复杂度大于预设阈值，则对所述第n帧进行帧间编码，否则执行步骤204，所述预设阈值根据当前网络参数确定。

步骤203：n值加1，如果n大于预设GOP最大长度阈值，则执行步骤204，否则执行步骤201。

步骤204：对当前第n帧进行帧内编码，作为下一组GOP画面组的第一帧。

GOP(Group of Picture)画面组，是一组连续的画面，MPEG编码将画面分为I、P、B三种，I是内部编码帧，P是前向预测帧，B是双向内插帧，I帧是完整的画面，又称帧内编码，而P帧和B帧记录的是相对I帧的变化，又称帧间编码，没有I帧，P帧和B帧无法解码。

如图3示出的是一种视频监控系统码流传输路径，图3所示的视频监控系统中包含编码端、解码端和广域网，编码端是具有编码功能的编码设备，例如编码器EC，或者具有编码功能的网络摄像机IPC，解码端是具有解码功能的设备，例如解码器DC或者具有解码功能的客户端，本申请中编码设备和解码设备不做限制。以I/P编码为例，通常编码设备针对采集的图像或者视频进行编码并传输，编码后的是一组以I帧为头，后面跟着多个P帧的一组报文，每一组I帧和多个P帧组成一组GOP画面组。若GOP画面组的长度为25，即一组报文中，第一个是I帧，剩下24个是P帧，传输的视频流是一连串连续的I/P帧报文。编码设备通过如图3中的箭头所示，通过网络把视频流发送到解码设备，解码端从报文中，获取I帧及P帧的首尾字段标识，进行重组，完成视频解码。

但是，在现实中，会存在如下场景，例如车辆根据红绿灯变化通行，会存在一段时间内过车量较多，画面信息量大，而另一段时间内过车会比较少，画面信息量小。目前一般编码端默认都是根据GOP固定长度方法进行图像接收和编码。当实时图像开始编码I帧的那幅画面信息量大时，会导致编码后的I帧较大，在有限的带宽下发送，突然增大的I帧数据会因为分包传输时间过长而导致解码图像的卡顿，影响用户的实际观感。

本申请一实施例中，指定一画面复杂度判断的起始帧，即n的初始值。n是针对当前正在编码的GOP的帧序号，GOP的第一个帧的帧序号为第1帧，依次类推，见图4。n的初始值具体可根据实际经验值指定，也可以根据当前的网络状况设置，如果当前网络状况良好，可以指定n的初始值较小，如果当前网络状况欠佳，可指定n的初始值较大，n的初始值在此不做限制。作为一实施例，例如将n的初始值设为26，所以GOP画面复杂度判断的起始帧为第26帧。对于当前新编码的GOP画面组的第2帧到第25帧都不进行画面复杂度判断，直接进行帧间编码，直到第26帧，再进行画面复杂度判断。

在现有技术中，若GOP固定设置为25，在当前编码的GOP完成第25帧编码后，下一帧，即第26帧应该编码下一个GOP的I帧。但是如果按照此种相对固定的方式进行编码，如果遇到当前网络状况不佳，并且当前帧画面复杂度较大的情况，此突然增大的I帧，会造成网络卡顿。本申请实施例从第26帧开始进行画面复杂度判断，如果第26帧画面复杂度大于预设阈值，则继续对当前第26帧进行帧间编码，对于同一画面帧，帧间编码的P帧比帧内编码的I帧小，可有效避免因为网络原因造成的图像卡顿。

关于画面复杂度的判定方法，可以有多种判断方式。例如可以把当前画面帧尝试进行I帧编码，由于I帧的大小能间接反映当前帧的画面复杂度成，因此可直接根据尝试编码成I帧后I帧的大小乘以一固定系数判断画面复杂度大小；也可直接把I帧的大小作为当前帧画面的画面复杂度；或者分析当前帧画面的高频信息和低频信息，高频信息所占比例高于低频信息，则画面复杂度高，反之则低。对于画面复杂度的判定方法，本申请不进行限定。

用于判断画面复杂度的预设阈值可以根据当前的网络参数确定。优选的实施例中，预设阈值可以根据网络带宽、传输码率等进行静态指定或者动态调整，例如当前网络带宽、传输码率等网络参数允许网络流量较大，此预设阈值可以选择一个较大的值，否则可以选择一个相对保守的值。本申请对于参考的网络参数和预设阈值的指定方式不进行限制。

如果当前第n帧画面复杂度小于预设阈值，则对当前第n帧进行帧内编码；帧内编码完成后的该第n帧作为下一GOP画面组的第一帧。

以画面复杂度判断起始帧即n初始值为26，预设阈值20M为例来进行说明，如果第26帧的画面复杂度小于预设阈值20M，则说明当前的网络状况允许当前第26帧编码为I帧，I帧大小的数据报文在广域网中传输不会造成网络卡顿，则第26帧编码为I帧，作为下一组GOP画面组的第一帧。

还是以画面复杂度判断起始帧即n的初始值为26，预设阈值为20M为例，如果第26帧的画面复杂度大于预设阈值20M，则对当前第26帧进行帧间编码，然后n值加1，即27帧，对第27帧进行画面复杂度判断。同理，如果第27帧的画面复杂度大于20M，则继续对第27帧进行帧间编码，然后n值加1，即28帧，如果第28帧的画面复杂度小于预设阈值，则对第28帧进行帧内编码，作为下一组GOP画面组的第一帧。在此实施例中，上一组GOP画面自动截取到第27帧，其GOP长度为27帧。但是如果第28帧的画面复杂度大于预设阈值，则对第29帧进行画面复杂度判断，依次类推，直到n值大于预设GOP最大长度。比如说若预设的GOP的最大长度为250，如果从第28帧到第251帧的画面复杂度都大于预设阈值，则对于第251帧则强制进行帧内编码，而其余帧则进行帧间编码，该GOP的长度为250；编码后的第251帧作为下一组GOP画面的第一帧。

作为一优选的实施例，预设GOP最大长度大于等于250，并且小于等于750，250和750是根据大量实验数据和现实场景结合作出的选择，例如，1秒传输一个GOP，GOP长度为25帧情况下，根据现实交通路口场景，绿灯亮起后的10～30秒中，一般场景下，大部分车辆已经通过，因此选择10*25＝250～25*30＝750区间作为GOP最大长度阈值选择区间，当然也可以根据当前的网络状况进行设置，如果网络状况欠佳，则预设GOP最大长度可相对较大，如果网络状况良好，预设GOP的长度可相对较小，本申请对预设GOP最大长度不做限定，对GOP预设最大长度是否动态变化不做限定。

在上述实施例中，画面复杂度判断的起始帧序号n为静态指定值，从画面复杂度判断起始帧开始进行画面复杂度判断。画面复杂度大于阈值，则继续进行帧间编码，此GOP画面组的长度加1，直到找到画面复杂度小于预设阈值的帧，或者直到帧序号大于预设GOP最大长度，才开始下一组GOP编码。GOP长度根据网络状况动态变化，以选取最佳长度，进行编码和传输，有效避免出现解码显示画面的卡顿，提高用户视觉体验。

作为一优选的实施例，画面复杂度判断的起始帧序号n也可以基于业务模型训练得到，具体步骤如下：

步骤501，记录绿灯亮起时画面帧的帧序号与后续第一个画面复杂度小于等于所述预设阈值的画面帧的帧序号之间差值。

步骤502，连续获取多次差值，取平均值R，则基于业务模型训练得到的n的初始值为绿灯亮起时画面帧的帧序号加上R。

图5是一种画面复杂度判断起始帧n的初始值基于业务模型训练流程图。

通常，在城市道路上，绿灯亮起的几秒后，车辆集中通过，后续的过车会相对较少甚至没有，此时的画面复杂度相对较小，编码成I帧，也会相对较小。基于此原理，可基于统计规律，统计路口绿灯亮起帧序号到车辆集中通过后画面复杂度小于预设阈值的画面帧的帧序号之间的差值，即中间经过的帧数目，以训练画面复杂度判断起始帧的初始值。具体为，记录下绿灯亮起时的帧序号x，此处的帧序号为当前GOP画面组的帧序号。例如当前绿灯亮起时的帧序号x为第9帧，然后在第n帧开始，进行画面复杂度判断(当然，也可以直接从绿灯亮起的后一帧开始就进行画面复杂度判断)，n为训练之前指定的一画面复杂度判断起始帧，直到找到画面复杂度小于预设阈值的帧y，编码为I帧，该帧序号y为相对于绿灯亮起时对应GOP的帧序号，例如图4中的40。此处第40帧对应GOP1的第40帧，对应GOP2的第1帧，此处y的取值为40，记录下y-x的值z。在此需要说明，如果直到当前帧序号大于预设GOP最大长度，也没有找到满足画面复杂度小于等于预设阈值的可编码为I帧的画面帧，此种情况下，需要将当前帧强制编码为I帧，作为下一组GOP的第1帧，此时的由于帧序号大于GOP最大长度而编码为I帧的情况，不列入差值计算，例如，预设GOP最大长度为750，画面复杂度判断起始帧为26帧，编码到第9帧时绿灯亮起，第26帧-第750帧的画面复杂度都小于预设阈值，第751帧大于预设GOP最大长度，则强制编码为I帧，此种情况不列入差值计算训练过程。

连续进行多次训练，取多次训练的z值的平均值R，则基于业务模型训练得到画面复杂性判断起始帧序号，即训练后的画面复杂度判断起始帧n的初始值调整为绿灯亮起时GOP帧序号加上R。例如，第一次训练中，绿灯亮起时的帧序号为9，第一个画面复杂度小于预设阈值的帧序号为240，差值为231，第二次训练中，绿灯亮起时的帧序号为14，第一个画面复杂度小于预设阈值的帧序号为244，差值为230，第三次训练的差值为232，则R的取值为231，基于业务的训练完成。画面复杂度判断起始帧n的初始值为当前GOP画面组绿灯亮起时的帧序号加上231，例如，当前编码的GOP画面组在第5帧绿灯亮起，则画面复杂度判断起始帧n的初始值为231+5＝236，在第236帧时进行画面复杂度检测。

另一优选的实施例，画面复杂度判断的起始帧序号n基于业务模型训练得到，可以基于红灯亮起时间进行训练，具体步骤如下：

步骤601，记录红灯亮起时画面帧的帧序号与后续第一个画面复杂度小于等于所述预设阈值的画面帧的帧序号之间的差值；

步骤602，连续获取多次差值，取平均值G，则基于业务模型训练得到的n的初始值为绿灯亮起时画面帧的帧序号加上G。

图6是画面复杂度判断的起始帧序号n的初始值基于红灯亮起时间进行训练的流程。具体原理和方法同基于绿灯亮起时间训练方法，在此不再赘述。

作为一优选的实施例，可以建立基于时间的统计模型，统计模型的横坐标标识一个时间周期，横坐标以预设时间间隔为单位刻度，统计模型的纵坐标标识所述R值或G值，基于业务模型训练得到的n的初始值可参考统计模型时间周期上对应时间点的R值或G值。

本申请一优选的实施例中，建立基于时间的统计模型，其中横坐标为一个时间周期，例如，以一周为时间周期，当然也可以选择以一年、一月、一季度等作为一个时间周期，在此不做限定。横坐标以预设的时间间隔为刻度单位，例如，以10分钟作为刻度单位，也可以根据实际情况进行设置，在此不进行限定。纵坐标标识基于业务训练的平均值，为图5中的R值或者图6中的G值，即同一时间周期内同一时间点业务训练的平均值。基于业务模型训练得到的n的初始值可参考统计模型同一时间周期内对应时间点的R值和G值。例如，周一的早上8点钟，由于周一早上上班高峰期车流量较大，R和G值较大，而10点钟，上班高峰期已过，R值和G值相对较小，在一个时间周期内对应时间刻度上的训练基于业务的R值和G值，建立基于时间的统计模型，画面复杂度判断起始帧序号n的初始值为GOP画面组绿灯亮起时帧序号加上基于时间的业务模型上对应时间周期内时间段的R值，红灯亮起时帧序号加上基于时间的业务模型上对应时间周期内时间段的G值。建立基于时间的统计模型参考统计规律和人们的生活习惯，会更贴近现实，使得画面复杂度判断起始帧n的初始值更准确。

本申请提供一种动态调整GOP长度的装置，见图7，该装置可以实现为一个软件模块，从逻辑上该装置划分为图像复杂度判断模块71、帧间编码模块72、n值修改模块和帧内编码模块，其中，

图像复杂度判断模块，用于对当前编码的GOP画面组的第n帧进行画面复杂度判断。

帧间编码模块，如果所述第n帧画面复杂度大于预设阈值，用于对所述第n帧进行帧间编码，否则转入帧内编码模块处理，所述预设阈值根据当前网络参数确定。

n值修改模块，用于n值加1，如果n大于预设GOP最大长度阈值，则转入帧内编码模块处理，否则转入图像复杂度判断模块处理。

帧内编码模块，对当前第n帧进行帧内编码，作为下一组GOP画面组的第一帧。

所述n的初始值为静态指定或者基于业务模型训练得到。

优选的，预设GOP画面组最大长度值为750。

优选的，预设阈值根据当前网络参数确定，具体包括：

根据当前网络带宽及码率，动态确定所述预设阈值。

优选的，所述n的初始值基于业务模型训练得到，具体包括：

记录绿灯亮起时帧序号与后续第一个画面复杂度小于等于所述预设阈值的帧内编码I帧的帧序号之间差值，

连续获取多次差值，取平均值R，则基于业务模型训练得到的n的初始值为绿灯亮起时GOP帧序号加上R。

或者，记录红灯亮起时帧序号与后续第一个画面复杂度小于等于所述预设阈值的帧内编码I帧的帧序号之间的差值，

连续获取多次差值，取平均值G，则基于业务模型训练得到的n的初始值为绿灯亮起时GOP帧序号加上G。

优选的，此装置还包括：

业务模型模块，建立基于时间的统计模型，所述统计模型的横坐标标识一个时间周期，所述横坐标以预设时间间隔为单位刻度，所述统计模型的纵坐标标识所述R值和G值，所述基于业务模型训练得到的n的初始值可参考统计模型时间周期上对应时间点的R值和G值。

本申请实施例的动态GOP调整方法和装置，根据当前的网络状况和实际场景状况，动态搜索I帧位置，调整GOP的大小，同时可建立训练基于业务模型，来基于模型搜索I帧的位置，可有效解决由于网络带宽原因或者实际场景原因造成的网络传输卡顿，使码流平滑，提高用户视觉体验。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (8)

1.一种动态调整GOP长度的方法，应用于图像编码设备，其特征在于，所述方法包括步骤：

步骤1：对当前编码的GOP画面组的第n帧画面进行画面复杂度判断；

步骤2：如果所述第n帧画面的画面复杂度小于预设阈值，或者n大于预设GOP画面组最大长度阈值，则对所述第n帧画面进行帧内编码，作为下一组GOP画面组的第一帧；否则对所述第n帧画面进行帧间编码后，n值加1，返回步骤1；所述n的初始值为静态指定或者基于业务模型训练得到；

其中，所述n的初始值基于业务模型训练得到包括：

在现实交通路口场景下，记录绿灯亮起时画面帧的帧序号与后续第一个画面复杂度小于等于所述预设阈值的画面帧的帧序号之间差值；连续获取多次差值，对所述获取的多次差值取平均值R；则基于业务模型训练得到的n的初始值为绿灯亮起时画面帧的帧序号加上R；或者，记录红灯亮起时画面帧的帧序号与后续第一个画面复杂度小于等于所述预设阈值的画面帧的帧序号之间的差值；连续获取多次差值，对所述获取的多次差值取平均值G；基于业务模型训练得到的n的初始值为绿灯亮起时画面帧的帧序号加上G。

2.根据权利要求1所述的方法，其特征在于，所述预设GOP画面组最大长度阈值大于等于250，并且小于等于750。

3.根据权利要求1所述的方法，其特征在于，根据当前网络带宽及码率，动态确定所述预设阈值。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

建立基于时间的统计模型，所述统计模型的横坐标标识一个时间周期，所述横坐标以预设时间间隔为单位刻度，所述统计模型的纵坐标标识所述R值和G值，所述基于业务模型训练得到的n的初始值参考统计模型时间周期内对应时间点的R值和G值。

5.一种动态调整GOP长度的装置，其特征在于，所述装置包括：

图像复杂度判断模块，用于对当前编码的GOP画面组的第n帧画面进行画面复杂度判断；

编码模块，如果所述第n帧画面的画面复杂度小于预设阈值，或者n大于预设GOP画面组最大长度阈值，则对所述第n帧画面进行帧内编码，作为下一组GOP画面组的第一帧；否则对所述第n帧画面进行帧间编码后，n值加1，返回图像复杂度判断模块；所述n的初始值为静态指定或者基于业务模型训练得到；

所述n的初始值基于业务模型训练得到，包括：

在现实交通路口场景下，记录绿灯亮起时画面帧的帧序号与后续第一个画面复杂度小于等于所述预设阈值的画面帧的帧序号之间差值；连续获取多次差值，对所述获取的多次差值取平均值R；则基于业务模型训练得到的n的初始值为绿灯亮起时画面帧的帧序号加上R；或者，记录红灯亮起时画面帧的帧序号与后续第一个画面复杂度小于等于所述预设阈值的画面帧的帧序号之间的差值；连续获取多次差值，对所述获取的多次差值取平均值G；基于业务模型训练得到的n的初始值为绿灯亮起时画面帧的帧序号加上G。

6.根据权利要求5所述的装置，其特征在于，所述预设GOP画面组最大长度阈值大于等于250，并且小于等于750。

7.根据权利要求5所述的装置，其特征在于，所述预设阈值根根据当前网络带宽及码率，动态确定所述预设阈值。

8.根据权利要求5所述的装置，其特征在于，所述装置还包括：

业务模型模块，建立基于时间的统计模型，所述统计模型的横坐标标识一个时间周期，所述横坐标以预设时间间隔为单位刻度，所述统计模型的纵坐标标识所述R值和G值，所述基于业务模型训练得到的n的初始值参考统计模型时间周期内对应时间点的R值和G值。