CN103873828A - 实况流送显控制方法及装置 - Google Patents

Abstract

本发明提供一种实况流送显控制方法及装置，应用于网络显示终端设备上，该方法包括：获取一帧解码数据存入送显缓存队列，并记录入队列时间；从队列中按读取顺序读取一帧数据作为当前帧，在上一帧送显时间的基础上，以预设的标准延时时长为时间间隔计算当前帧的标准送显时间，并根据当前帧的送显状态，在标准送显时间的基础上，以预设的修正延时时长确定当前帧的送显时间；根据帧延时时长与预设的帧延时时长上下限的关系，更新下一帧的送显状态；所述当前帧延时时长为当前帧从入送显缓存队列到所述送显时间的长度。本发明解决了观看视频实况流时流畅性和实时性的不兼容问题，达到实时性和流畅性最均衡的状态。

Description

实况流送显控制方法及装置

技术领域

本发明涉及视频监控领域，尤其涉及一种实况流送显控制方法及装置。

背景技术

在观看网络摄像机实况时，希望能够看到延时最低、流畅性最好的实况图像。但是由于前端编码延时、网络抖动、后端解码延时等因素的存在，如果直接将解码后的图像送显，人眼会观察到明显的实况不流畅的现象。

为了让实况播放流畅，一般方法是采用缓存N帧送显图像的缓存机制来平滑送显帧图像数据，达到提高流畅性的效果。但是缓存的数据越多，流畅性越好，带来的延时就会越大，导致实时性变差。因此，低延时和高流畅性作为一对矛盾体，找到一种均衡的方法尤为重要。

发明内容

有鉴于此，本发明提供了一种实况流送显控制装置，该装置应用于网络显示终端设备上，该装置包括：

入队时间记录单元，用于在获取一帧解码数据后，将该帧数据存入送显缓存队列中，并记录该帧数据入队列时间；

送显时间计算单元，用于从送显缓存队列中按照读取顺序读取一帧数据作为当前帧，在上一帧送显时间的基础上，以预设的标准延时时长为时间间隔计算当前帧的标准送显时间，若当前帧送显状态为延迟送显状态，则在当前帧的标准送显时间基础上，以预设的修正延时时长延迟当前帧的送显时间，若当前帧送显状态为提前送显状态，则在当前帧的标准送显时间基础上，以预设的修正延时时长提前当前帧的送显时间，若当前帧送显状态为标准送显状态，则当前帧的标准送显时间即为当前帧的送显时间；

送显状态更新单元，用于若当前帧延时时长小于预设的帧延时时长下限，则更新下一帧的送显状态为延迟送显状态；若预设的统计帧数内最小的帧延时时长大于或者等于预设的帧延时时长上限，则更新下一帧的送显状态为提前送显状态，否则下一帧的送显状态为标准送显状态；

所述当前帧延时时长为当前帧从入送显缓存队列到所述送显时间的长度。

本发明还提供了一种实况流送显控制方法，该方法应用于网络显示终端设备上，该方法包括：

步骤A，在获取一帧解码数据后，将该帧数据存入送显缓存队列中，并记录该帧数据入队列时间；

步骤B，从送显缓存队列中按照读取顺序读取一帧数据作为当前帧，在上一帧送显时间的基础上，以预设的标准延时时长为时间间隔计算当前帧的标准送显时间，若当前帧送显状态为延迟送显状态，则在当前帧的标准送显时间基础上，以预设的修正延时时长延迟当前帧的送显时间，若当前帧送显状态为提前送显状态，则在当前帧的标准送显时间基础上，以预设的修正延时时长提前当前帧的送显时间，若当前帧送显状态为标准送显状态，则当前帧的标准送显时间即为当前帧的送显时间；

步骤C，若当前帧延时时长小于预设的帧延时时长下限，则更新下一帧的送显状态为延迟送显状态；若预设的统计帧数内最小的帧延时时长大于或者等于预设的帧延时时长上限，则更新下一帧的送显状态为提前送显状态，否则下一帧的送显状态为标准送显状态；

所述当前帧延时时长为当前帧从入送显缓存队列到所述送显时间的长度。

本发明解决了观看视频实况流时流畅性和实时性的不兼容问题，达到实时性和流畅性最均衡的状态。

附图说明

图1是本发明一种实施方式中实况流送显控制装置的逻辑结构及其基础硬件环境的示意图。

图2是本发明一种实施方式中实况流送显控制方法的流程图。

具体实施方式

以下结合附图对本发明进行详细说明。

本发明提供一种实况流送显控制装置，该装置应用在网络显示终端设备上，以下以软件实现为例进行说明，但是本发明并不排除诸如硬件或者逻辑器件等其他实现方式。如图1所示，该网络显示终端设备包括CPU、内存、非易失性存储器以及其他硬件。该实况流送显控制装置作为一个逻辑层面的虚拟装置，其通过CPU来运行。该装置包括入队时间记录单元、送显时间计算单元以及送显状态更新单元。请参考图2具体的实施步骤。

步骤101，入队时间记录单元在获取一帧解码数据后，将该帧数据存入送显缓存队列中，并记录该帧数据入队列时间；

步骤102，送显时间计算单元从送显缓存队列中按照读取顺序读取一帧数据作为当前帧，在上一帧送显时间的基础上，以预设的标准延时时长为时间间隔计算当前帧的标准送显时间，若当前帧送显状态为延迟送显状态，则在当前帧的标准送显时间基础上，以预设的修正延时时长延迟当前帧的送显时间，若当前帧送显状态为提前送显状态，则在当前帧的标准送显时间基础上，以预设的修正延时时长提前当前帧的送显时间，若当前帧送显状态为标准送显状态，则当前帧的标准送显时间即为当前帧的送显时间；

步骤103，送显状态更新单元判断若当前帧延时时长小于预设的帧延时时长下限，则更新下一帧的送显状态为延迟送显状态；若预设的统计帧数内最小的帧延时时长大于或者等于预设的帧延时时长上限，则更新下一帧的送显状态为提前送显状态，否则下一帧的送显状态为标准送显状态；

其中，当前帧延时时长为当前帧从入送显缓存队列到所述送显时间的长度。

为了保证实况播放的流畅性，通常需要在设备内存中开辟一块数据缓冲区，用于存放N帧送显数据。理想状态下，进入送显缓存队列的帧应以固定的时间间隔均匀送显，以保证实况的流畅性，但由于帧入队列时具有波动性，若送显缓存队列中堆积的帧过多，仍以固定的时间间隔送显，必然会导致实时性变差。本发明通过动态调整送显间隔，使其在一个合理的范围内，以保证流畅性与实时性的均衡，具体过程如下。

网络显示终端设备在接收到网络摄像机的视频数据后，对接收到的每一帧视频数据进行解码，解码后的数据存入送显缓存队列中，并记录存入该送显缓存队列的时间，该时间用于后续计算中保证帧数据送显的实时性。

存入送显缓存队列中的帧在送显之前，需确认其送显时间。在从缓存队列中读取帧数据时，通常读取当前队列中最先存入的帧数据作为当前帧进行处理，其计算过程如下：

TcsCurStd=TcsLast+TdStd   公式（1）

其中，

TcsLast为上一帧送显时间；

TdStd为预设的标准延时时长；

TcsCurStd为当前帧的标准送显时间。

通过公式（1）计算出当前帧的标准送显时间。此公式为理想状态下当前帧送显时间的计算公式，每一帧数据以固定时间间隔均匀送显，以保证实况送显的流畅性。所述延时时长是指一帧数据从进入送显缓存队列到送显时间的长度。

在实际的送显过程中，由于帧入队列时具有波动性，若始终以固定时间间隔送显，则送显缓存队列中的数据可能会出现过多或过少的情况，若缓存队列中积压的数据过多，则会导致送显实时性变差，数据送显延时过大，若缓存队列中的数据过少，则会导致送显流畅性不佳，数据送显过快，后续数据可能还未进入送显缓存队列，但已到标准送显时间，因此，显示终端设备会出现图像卡顿现象。

为了解决上述送显过程中出现的问题，在实际送显过程中，需根据当前帧的送显状态，在获得当前帧的标准送显时间后，对该送显时间进行修正，计算出尽可能同时满足实时性和流畅性要求的送显时间。

具体计算过程如下：

若当前帧送显状态为延迟送显状态，则

TcsCur=TcsCurStd+TdModVal   公式（2）

若当前帧送显状态为提前送显状态，则

TcsCur=TcsCurStd-TdModVal   公式（3）

若当前帧送显状态为标准送显状态，则

TcsCur=TcsCurStd   公式（4）

其中，

TcsCurStd为当前帧的标准送显时间；

TdModVal为预设的修正延时时长；

TcsCur为当前帧的送显时间。

通过上述当前帧送显时间的计算，可以看出，当前帧送显时间是否需要修正，取决于当前帧的送显状态。当前帧的送显状态有三种情况，分别为延迟送显状态、提前送显状态以及标准送显状态。顾名思义，延迟送显状态是在标准送显时间的基础上延迟送显，用于送显过快需延时的情况；提前送显状态是在标准送显时间的基础上提前送显，用于送显过慢需加快的情况；标准送显状态即无需修正，以标准送显时间为当前帧的送显时间。

每一帧数据的送显状态在上一帧数据的计算过程中被更新。以当前帧为例，确定下一帧的送显状态。具体过程如下：若当前帧延时时长小于预设的帧延时时长下限，则更新下一帧的送显状态为延迟送显状态；若预设的统计帧数内最小的帧延时时长大于或者等于预设的帧延时时长上限，则更新下一帧的送显状态为提前送显状态，否则下一帧的送显状态为标准送显状态。

在上述送显状态的判断过程中，采用帧延时时长作为判断依据。帧延时时长是指帧从入送显缓存队列到送显的时间长度，帧延时时长能够真实且直观的反映出数据的实时性和流畅性。以当前帧为例，当前帧延时时长的计算公式为：

TcdCur=TcsCur-TenCur   公式（5）

其中，

TenCur为当前帧入队列时间；

TcsCur为当前帧送显时间；

TcdCur为当前帧延时时长。

在上述判断过程中，需预设一个合理的帧延时时长范围，即帧延时时长下限和帧延时时长上限。帧延时时长下限用于防止送显过快，送显缓存队列中帧数据过少，而导致送显流畅性变差。帧延时时长上限用于防止送显过慢，送显延时过大，影响送显的实时性。在预设上述两个参数的同时，还需统计最近N帧内帧延时时长的最小值。

在与帧延时时长上限进行比较时，采用的是最近N帧内帧延时时长最小值，这是由于送显帧数据具有波动性，若只有一帧数据超过上限就做调整，这会导致送显波动变大，只有当检测周期内所有帧的送显延时都大于帧延时时长上限时，才需加快送显。

对送显时间的修正可采用多次逐步修正的方法进行修正。修正的次数可以预先设置固定值，或者通过计算得到（请参下文）。当以预设的修正延时时长对一帧数据进行修正后，修正次数减一，直到修正次数为零，完成修正过程。为了保证送显的平滑，预设的修正延时时长应尽可能的小，采用多次修正进行回调，当然也要考虑回调的速度从而选择合适的值。具体处理过程如下。

若当前帧送显状态为标准送显状态，则在当前帧延时时长小于预设的帧延时时长下限时，更新下一帧的送显状态为延迟送显状态，并设置延迟送显次数值为n；在预设的统计帧数内最小的帧延时时长大于或者等于预设的帧延时时长上限时，更新下一帧的送显状态为提前送显状态，并设置提前送显次数值为m。

若当前帧送显状态为延迟送显状态时，则在以预设的修正延时时长延迟当前帧的送显时间后，延迟送显次数递减一次，并根据当前延迟送显次数的值判断是否结束延迟送显，如果否，则下一帧送显状态保持为延迟送显状态，如果是，则下一帧送显状态更新为标准送显状态。

若当前帧送显状态为提前送显状态时，则在以预设的修正延时时长提前当前帧的送显时间后，提前送显次数递减一次，并根据当前提前送显次数的值判断是否结束提前送显，如果否，则下一帧送显状态保持为提前送显状态，如果是，则下一帧送显状态更新为标准送显状态。

上述下一帧送显状态的更新在当前帧的送显状态不同的情况下，有不同的更新方式。如果当前帧送显状态为标准送显状态，则下一帧的送显状态与当前帧的延时时长有关，并在确认下一帧的送显状态时，计算相应的修正次数；如果当前帧送显状态为延迟送显状态，则下一帧的送显状态与延迟送显次数有关，延迟送显次数为零时，结束延迟送显，更新为标准送显状态；如果当前帧送显状态为提前送显状态，则下一帧的送显状态与提前送显次数有关，提前送显次数为零时，结束提前送显，更新为标准送显状态。

本发明中，延迟送显次数n的计算方法为：

n=(TcdDownBound-TcdCur)/TdModVal   公式（6）

其中，

TcdDownBound为预设的帧延时时长下限；

TcdCur为当前帧的延时时长；

TdModVal为修正延时时长;

n为延迟送显次数。

提前送显次数m的计算方法为：

m=(TcdMin-TcdUpBound)/TdModVal   公式（7）

其中，

TcdMin为最近N帧中TcdCur的最小值；

N为预设的统计帧数；

TcdUpBound为预设的帧延时时长上限；

TdModVal为修正延时时长;

m为提前送显次数。

为了更好的理解上述送显修正过程，现举一个具体的实施例进行说明。

假设预设的标准延时时长TdStd为40ms，预设的帧延时时长下限TcdDownBound为10ms，预设的帧延时时长上限TcdUpBound为80ms，预设的修正延时时长TdModVal为1ms，统计最近50帧的延时时长最小值TcdMin。

从送显缓存队列中按顺序取出一帧数据作为当前帧，通过公式（1）计算当前帧的标准送显时间TcsCurStd，若当前帧送显状态为标准送显状态，则根据公式（4），当前帧的送显时间TcsCur为标准送显时间。通过公式（5）计算当前帧的延时时长TcdCur。根据该延时时长TcdCur判断是否需要修正，具体判断方法如下。

假设当前帧的延时时长TcdCur为5ms，小于预设的帧延时时长下限TcdDownBound，需延迟送显，根据公式（6）计算延迟送显次数n为5次，则从下一帧开始的5帧数据均在相应帧的标准送显时间基础上延迟1ms，即实际的帧延时时长为41ms，经过5次延迟送显后，恢复为标准延时时长40ms。

假设统计的最近50帧的延时时长最小值TcdMin为100ms，大于预设的帧延时时长上限TcdUpBound，需提前送显，根据公式（7）计算提前送显次数m为20次，则从下一帧开始的20帧数据均在相应帧的标准送显时间基础上提前1ms，即实际的帧延时时长为39ms，经过20次提前送显后，恢复为标准延时时长40ms。

假设当前帧的延时时长TcdCur为50ms，该值处于预设的帧延时时长下限TcdDownBound与预设的帧延时时长上限TcdUpBound范围内，则无需修正，延时时长为40ms。

预设的统计帧数、帧延时时长下限以及帧延时时长上限可以根据帧入送显缓存队列的波动状态进行动态刷新。若帧入送显缓存队列的波动具有周期性，则检测该周期帧数，设置预设的统计帧数大于该周期帧数，若帧入送显缓存队列的波动没有周期性，则根据波动的剧烈程度，设置帧延时时长下限和帧延时时长上限。

现以具体实施例进行说明。假设标准状态下，帧数据入送显缓存队列的时间间隔为40ms，即每40ms有一帧数据存入送显缓存中。若由于网络波动、设备处理延时或者解码延时等原因造成入队列出现波动，导致帧数据入队列的时间间隔在20ms和80ms之间波动，且每隔500ms出现一次最大波动80ms的情况，则可以把统计周期设为600ms，略大于500ms的值，此时预设的统计帧数N=600/40=15，也就是以15帧为统计帧数。

若波动完全没有规律，则可以根据波动统计周期内的波动程度，通过查表的方式找到合适的帧延时时长上下限值。其中，波动统计周期可根据经验定一个较长的值，比如5秒。

波动程度	预设的帧延时时长下限	预设的帧延时时长上限
			100ms	20ms	150ms
200ms	40ms	300ms
			300ms	60ms	400ms

表1

表1为预设帧延时时长上下限表，表中数据仅为示例性数据。其中，波动程度可以用波动统计周期内最大波动周期和最小波动周期的差值表示。预设的帧延时时长上下限可根据实际测试结果调整。

本发明通过动态调整送显间隔，使其在一个合理的范围内，从而最大限度的保证了送显流畅性与实时性的均衡。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种实况流送显控制装置，该装置应用于网络显示终端设备上，其特征在于，该装置包括：

入队时间记录单元，用于在获取一帧解码数据后，将该帧数据存入送显缓存队列中，并记录该帧数据入队列时间；

送显时间计算单元，用于从送显缓存队列中按照读取顺序读取一帧数据作为当前帧，在上一帧送显时间的基础上，以预设的标准延时时长为时间间隔计算当前帧的标准送显时间，若当前帧送显状态为延迟送显状态，则在当前帧的标准送显时间基础上，以预设的修正延时时长延迟当前帧的送显时间，若当前帧送显状态为提前送显状态，则在当前帧的标准送显时间基础上，以预设的修正延时时长提前当前帧的送显时间，若当前帧送显状态为标准送显状态，则当前帧的标准送显时间即为当前帧的送显时间；

送显状态更新单元，用于若当前帧延时时长小于预设的帧延时时长下限，则更新下一帧的送显状态为延迟送显状态；若预设的统计帧数内最小的帧延时时长大于或者等于预设的帧延时时长上限，则更新下一帧的送显状态为提前送显状态，否则下一帧的送显状态为标准送显状态；

所述当前帧延时时长为当前帧从入送显缓存队列到所述送显时间的长度。

2.如权利要求1所述的装置，其特征在于：

所述送显状态更新单元在进行下一帧送显状态更新前，先判断当前帧的送显状态；

若当前帧送显状态为标准送显状态，则在当前帧延时时长小于预设的帧延时时长下限时，更新下一帧的送显状态为延迟送显状态，并设置延迟送显次数值为n；在预设的统计帧数内最小的帧延时时长大于或者等于预设的帧延时时长上限时，更新下一帧的送显状态为提前送显状态，并设置提前送显次数值为m；

若当前帧送显状态为延迟送显状态时，在以预设的修正延时时长延迟当前帧的送显时间后，延迟送显次数递减一次，根据当前延迟送显次数的值判断是否结束延迟送显，如果否，则下一帧送显状态保持为延迟送显状态，如果是，则下一帧送显状态更新为标准送显状态；

若当前帧送显状态为提前送显状态时，在以预设的修正延时时长提前当前帧的送显时间后，提前送显次数递减一次，根据当前提前送显次数的值判断是否结束提前送显，如果否，则下一帧送显状态保持为提前送显状态，如果是，则下一帧送显状态更新为标准送显状态。

3.如权利要求2所述的装置，其特征在于：

根据预设的帧延时时长下限与当前帧延时时长的差值除以预设的修正延时时长确定所述延迟送显次数值n；

根据该最小的帧延时时长与预设的帧延时时长上限的差值除以预设的修正延时时长确定所述提前送显次数值m。

4.如权利要求1所述的装置，其特征在于：

根据帧入送显缓存队列的波动状态，动态刷新统计帧数、帧延时时长下限以及帧延时时长上限。

5.如权利要求4所述的装置，其特征在于：

若帧入送显缓存队列的波动具有周期性，则检测该周期帧数，设置预设的统计帧数大于该周期帧数，若帧入送显缓存队列的波动没有周期性，则根据波动的剧烈程度，设置帧延时时长下限和帧延时时长上限。

6.一种实况流送显控制方法，该方法应用于网络显示终端设备上，其特征在于，该方法包括：

步骤A，在获取一帧解码数据后，将该帧数据存入送显缓存队列中，并记录该帧数据入队列时间；

步骤B，从送显缓存队列中按照读取顺序读取一帧数据作为当前帧，在上一帧送显时间的基础上，以预设的标准延时时长为时间间隔计算当前帧的标准送显时间，若当前帧送显状态为延迟送显状态，则在当前帧的标准送显时间基础上，以预设的修正延时时长延迟当前帧的送显时间，若当前帧送显状态为提前送显状态，则在当前帧的标准送显时间基础上，以预设的修正延时时长提前当前帧的送显时间，若当前帧送显状态为标准送显状态，则当前帧的标准送显时间即为当前帧的送显时间；

步骤C，若当前帧延时时长小于预设的帧延时时长下限，则更新下一帧的送显状态为延迟送显状态；若预设的统计帧数内最小的帧延时时长大于或者等于预设的帧延时时长上限，则更新下一帧的送显状态为提前送显状态，

否则下一帧的送显状态为标准送显状态；

所述当前帧延时时长为当前帧从入送显缓存队列到所述送显时间的长度。

7.如权利要求6所述的方法，其特征在于，所述步骤C进一步包括：

在进行下一帧送显状态更新前，先判断当前帧的送显状态；

若当前帧送显状态为标准送显状态，则在当前帧延时时长小于预设的帧延时时长下限时，更新下一帧的送显状态为延迟送显状态，并设置延迟送显次数值为n；在预设的统计帧数内最小的帧延时时长大于或者等于预设的帧延时时长上限时，更新下一帧的送显状态为提前送显状态，并设置提前送显次数值为m；

若当前帧送显状态为延迟送显状态时，在以预设的修正延时时长延迟当前帧的送显时间后，延迟送显次数递减一次，根据当前延迟送显次数的值判断是否结束延迟送显，如果否，则下一帧送显状态保持为延迟送显状态，如果是，则下一帧送显状态更新为标准送显状态；

若当前帧送显状态为提前送显状态时，在以预设的修正延时时长提前当前帧的送显时间后，提前送显次数递减一次，根据当前提前送显次数的值判断是否结束提前送显，如果否，则下一帧送显状态保持为提前送显状态，如果是，则下一帧送显状态更新为标准送显状态。

8.如权利要求7所述的方法，其特征在于：

根据预设的帧延时时长下限与当前帧延时时长的差值除以预设的修正延时时长确定所述延迟送显次数值n；

根据该最小的帧延时时长与预设的帧延时时长上限的差值除以预设的修正延时时长确定所述提前送显次数值m。

9.如权利要求6所述的方法，其特征在于：

根据帧入送显缓存队列的波动状态，动态刷新统计帧数、帧延时时长下限以及帧延时时长上限。

10.如权利要求9所述的方法，其特征在于：

若帧入送显缓存队列的波动具有周期性，则检测该周期帧数，设置预设的统计帧数大于该周期帧数，若帧入送显缓存队列的波动没有周期性，则根据波动的剧烈程度，设置帧延时时长下限和帧延时时长上限。

Images