CN104539917A - 一种提高视频图像清晰度的方法 - Google Patents

Abstract

本发明提供了一种提高视频图像清晰度的方法，该方法包括：视频远程采集客户端和数据服务器通过软件实现视频图像数据的传输，解码和显示，网络视频捕获设备和远程采集客户端及数据服务器各自处于自己的内网当中，采用基于P2P的组网模式，利用P2P服务器来协助传输，完成远程采集客户端及数据服务器之间的连接。本发明提出了一种视频图像清晰度提高方法，有效控制了视频传输过程中的丢帧率，从视觉角度来讲，视频图像的连续性和清晰度更高，画面受损情况减少。

Description

一种提高视频图像清晰度的方法

技术领域

本发明涉及网络传输，特别涉及一种视频传输方法。

背景技术

随着计算机技术、多媒体技术和网络技术的不断发展，视频远程采集系统进入全数字化阶段，并越来越广泛地应用于安防、安全监控和高清晰视频图像获取等众多行业。而引入无线网络技术的视频远程采集系统将更加开放，易于集成和维护扩展，且不受时间和地域的限制。

然而，视频远程采集系统正向着高分辨率、高速、无线网络传输的方向发展。高分辨率的同时也意味着网络实时传输数据量的大幅增长，而实际无线网络的传输速率比较低，带宽最高只有几兆。因此，将如此多的数据直接通过网络进行实时传输是不可行的。

发明内容

为解决上述现有技术所存在的问题，本发明提出了一种提高视频图像清晰度的方法，包括：

视频远程采集客户端和数据服务器采用DirectShow架构，通过软件实现视频图像数据的传输，MPEG-4解码和显示，在4G网络视频捕获设备的应用层程序中对底层滤波器进行相应的操作；系统中的4G网络视频捕获设备和远程采集客户端及数据服务器各自处于自己的内网当中，在视频图像数据传输中，采用基于P2P的组网模式，利用第三方的P2P服务器来协助传输，完成远程采集客户端及数据服务器之间的连接，采用UDP协议完成视频图像数据的传输，采用TCP协议完成命令的传输。

优选地，所述视频图像数据传输过程中采用自适应帧分发方法，根据具体的网络状态，实时动态调整报文的大小，具体包括：

发送端根据接收端发送回来的反馈数据，计算出丢帧率，然后根据丢帧率判断出当前的网络状态是否为轻载、重载还是拥塞状态，若确认处于拥塞状态，则对UDP报文的大小进行动态调整，即减少报文的大小，在网络状态恢复之后再增加报文的大小。

优选地，在所述自适应帧分发之后，当需要重发时，在4G网络视频捕获设备端，以帧为单位只进行有限次的数据重发，并采用以下过程执行重发：

当视频远程采集客户端和数据服务器接收完一帧视频图像之后，根据帧中所包含的具体报文编号等信息对该帧的丢失情况进行统计，然后将该帧的丢包统计结果回发给4G网络视频捕获设备端；

4G网络视频捕获设备端接收到丢包统计之后，首先根据具体帧号和报文编号信息从数据缓存中找到相应的帧，根据不同的报文采用不同的发送策略；

视频远程采集客户端和数据服务器接收到重发的报文之后，首先对该报文所在帧之前的视频图像数据进行确认，表示该帧之前的视频图像数据都是无误的，将这些视频图像数据从第一数据缓存转移到第二数据缓存中等待输出解码；

根据帧号和报文编号等信息，将该帧存放到第一数据缓存中的相应位置，当视频远程采集客户端和数据服务器在预定时间内没有接收到重发帧时，则对当前所收到的数据帧之前的视频图像数据进行确认，将这些数据全部转移到第二数据缓存中。

优选地，所述视频图像数据传输过程中采用自适应帧分发方法，根据具体的网络状态，实时动态调整数据传输速率，具体包括：

发送端根据接收端发送回来的反馈数据，计算出数据吞吐率和丢帧率，然后根据数据吞吐率和丢帧率判断出当前的网络状态，并根据网络状态对发送速率进行动态调整。

优选地，所述根据数据吞吐率和丢帧率判断出当前的网络状态，并根据网络状态对发送速率进行动态调整，进一步包括：

在客户端对丢包率参数进行统计，采用加权平滑处理，获取视频传输过程中第i个时间间隔内的数据吞吐率R_i和丢包率P_i为：

R_i＝Σ^N-1 _j＝0(μ_jD_i-j/T_i-j)，其中Σ^N-1 _j＝0(μ_j)＝1；

P_i＝Σ^N-1 _j＝0(α_jLP_i-j/SP_i-j)，其中Σ^N-1 _j＝0(α_j)＝1；

以上公式中N表示计算上述两参数所需的时间间隔个数，α_j和μ_j表示权重系数；LP_i-j为第(i-j)时间间隔内丢帧率，SP_i-j为第(i-j)时间间隔内发送端发送的帧数，D_i-j表示第(i-j)时间间隔内统计的接收视频数据量，T_i-j表示第(i-j)时间间隔的准确值；

设定常量参数，包括设置视频传输过程中所能容忍的丢包率最高阈值P_lmax以及视频流畅传输的最低丢包率阈值P_lmin；最大视频数据发送速率R_max以及最小视频数据发送速率R_min；

当P_i>P_lmax时，降低视频数据速率来保障视频客户端的QoS，确定网络连续超载次数k，初始化参数β₀；然后计算速率降低因子：β_k＝β_k-1(1-0.6m)²

其中丢包率差值因子m为：m＝P_i-P_lmax

最后，合适的视频数据传输速率为：R_new＝MAX{β_kR_i-50，R_min}；

当P_i<P_lmin时，提高视频数据速率来保障视频客户端的QoS，计算丢包率差值因子：m＝t(P_lmin-P_i)

式中：t表示放大倍数；然后计算速率增加因子δ：

δ＝0.2e^mR₀+60

式中：R₀为预设的速率增长因子，此时预测发送速率为：

R_new＝MIN{δ+R_i，R_max}

当P_lmin<P_i<P_lmax时，不进行速率调整；

通过设定速率切换阈值R_th来降低系统速率切换开销，在预测新传输速率后，需要比较新速率R_new与前一次速率调整值R_last，只有当|R_new-R_last|>R_th时，新的速率调整才有效。

本发明相比现有技术，具有以下优点：

本发明提出了一种视频图像清晰度提高方法，有效控制了视频传输过程中的丢帧率，从视觉角度来讲，视频图像的连续性和清晰度更高，画面受损情况减少。

附图说明

图1是根据本发明实施例的一种提高视频图像清晰度的方法的流程图。

具体实施方式

下文与图示本发明原理的附图一起提供对本发明一个或者多个实施例的详细描述。结合这样的实施例描述本发明，但是本发明不限于任何实施例。本发明的范围仅由权利要求书限定，并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本发明的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本发明。

本发明的一方面提供了一种提高视频图像清晰度的方法。图1是根据本发明实施例的方法流程图。

本发明的视频采集系统包括4G网络视频捕获设备，远程采集客户端以及数据服务器。4G网络视频捕获设备软件分为应用层程序和驱动层程序，视频远程采集客户端和数据服务器采用DirectShow架构来完成应用软件的设计，主要功能包括视频图像数据的接收，MPEG-4解码和显示。在软件中，通过设计开发底层滤波器，然后在应用层程序中对滤波器进行相应的操作，最终实现预期的软件功能。

在视频图像数据传输中，采用基于P2P的组网模式而非采用传统的C/S组网模式，系统中的4G网络视频捕获设备和远程采集客户端及数据服务器各自处于自己的内网当中，由于NAT设备的存在，两者并不能直接连接。因此，本发明采用第三方的P2P服务器来协助传输，完成两者之间的连接。因为数据的传输采用UDP协议，命令的传输采用TCP协议，所以要实现UDP的传输和TCP的传输。而TCP连接的整体程序流程图与UDP连接一致，

本发明的视频图像数据传输过程中采用自适应帧分发方法，具体操作如下：发送端根据接收端发送回来的反馈数据，计算出丢帧率，然后根据丢帧率判断出当前的网络状态，即轻载、重载或拥塞状态。若确认处于拥塞状态，则对UDP报文的大小进行动态调整，即减少报文的大小。等到网络状态恢复正常之后再慢慢增加报文的大小。本发明可以根据具体的网络状态，实时动态调整报文的大小，从而有效控制网络传输过程中的UDP丢帧率。在进行系统测试时，丢帧率门限值设定为15％，线性增长因子AIR为32，乘性减少因子α的取值范围一般为[0.5，0.8]，本发明采用0.6。

根据本发明进一步的实施例，自适应帧分发方法根据具体的网络状态，实时动态调整数据传输速率，即发送端根据接收端发送回来的反馈数据，计算出数据吞吐率和丢帧率，然后根据数据吞吐率和丢帧率判断出当前的网络状态，并根据网络状态对发送速率进行动态调整。为了防止由于参数获取周期较短而导致的抖动，采用加权平滑处理。

设R_i和P_i分别表示视频传输过程中第i个时间间隔内的数据吞吐率和丢帧率。R_i和P_i计算方法如下：

R_i＝Σ^N-1 _j＝0(μ_jD_i-j/T_i-j)，其中Σ^N-1 _j＝0(μ_j)＝1；

P_i＝Σ^N-1 _j＝0(α_jLP_i-j/SP_i-j)，其中Σ^N-1 _j＝0(α_j)＝1；

以上公式中N表示计算上述两参数所需的时间间隔个数，α_j和μ_j表示权重系数；LP_i-j为第(i-j)时间间隔内丢帧率，SP_i-j为第(i-j)时间间隔内发送端发送的帧数。D_i-j表示第(i-j)时间间隔内统计的接收视频数据量，T_i-j表示第(i-j)时间间隔的准确值。

根据本实施例的速率控制机制为：在网络轻载时，由丢帧率决定的变常数加性因子和常量加性因子决定速率增长幅度，在网络超载时，由丢帧率决定的变常数乘性因子和常量减性因子决定速率降低幅度。

自适应速率调整的步骤如下：

1)设定常量参数。视频传输过程中所能容忍的丢帧率最高阈值P_lmax以及视频流畅传输的最低丢帧率阈值P_lmin；最大视频数据发送速率R_max以及最小视频数据发送速率R_min；

2)判断信道拥塞状态。信道拥塞状态能够通过比较实测丢帧率和丢帧率阈值来确定。当P_i>P_lmax，无线网络被判定为超载；当P_i<P_lmin，无线网络被判定为轻载；当P_lmin<P_i<P_lmax，此时无线网络为平衡状态，不需要进行速率调整。

3)网络超载处理。系统应当降低视频数据速率来保障视频客户端的QoS。首先确定网络连续超载次数k，初始化参数β₀；然后计算速率降低因子：β_k＝β_k-1(1-0.6m)²

其中丢帧率差值因子为：m＝P_i-P_lmax

最后，合适的视频数据传输速率为：R_new＝MAX{β_kR_i-50，R_min}

4)网络轻载处理。当网络轻载时，需要增加发送端发送速率以提高网络利用率。首先计算丢帧率差值因子：m＝t(P_lmin-P_i)

式中：t表示放大倍数；然后计算速率增加因子：

δ＝0.2e^mR₀+60

式中：R₀为预设的速率增长因子。此时预测发送速率为：

R_new＝MIN{δ+R_i，R_max}

为了防止网络的微小抖动导致系统传输速率频繁切换，从而造成不必要的系统开销。通过设定速率切换阈值R_th来降低系统速率切换开销。在预测新传输速率后，需要比较新速率R_new与前一次速率调整值R_last，只有当|R_new-R_last|>R_th时，新的速率调整才被认为是有效的。

在报文分发之后，本发明还采用有限重发机制：当需要重发时，只进行有限次的数据重发(一般只进行一次重发)，这样既可以大大减少丢帧率，又不会出现重发多次或无限次的情况。在4G网络视频捕获设备端，本发明以帧为单位采用有限重发机制，具体的实现步骤如下：

当视频远程采集客户端和数据服务器接收完一帧视频图像之后，根据帧中所包含的具体报文编号等信息对该帧的丢失情况进行统计，然后将该帧的丢包统计结果回发给4G网络视频捕获设备端。

(2)4G网络视频捕获设备端接收到丢包统计之后，首先根据具体帧号和报文编号等信息从数据缓存中找到相应的帧(发送后的帧将在缓存区中停留一段时间)，然后根据不同的报文采用不同的发送策略。

(3)视频远程采集客户端和数据服务器接收到重发的报文之后，首先对该报文所在帧之前的视频图像数据进行确认，表示该帧之前的视频图像数据都是无误的，将这些视频图像数据从数据缓存A转移到数据缓存B中等待输出解码。然后根据帧号和报文编号等信息，将该帧存放到数据缓存A中的相应位置。如果网络状态比较好，视频远程采集客户端和数据服务器常会在一定时间内没有接收到重发帧，此时，就对当前所收到的数据帧之前的视频图像数据进行确认，将这些数据全部转移到数据缓存B中。

按照以上操作，就可以完成数据传输中有限重发机制，该机制有效保证了系统在网络状态比较差情况下的视频播放效果，避免了出现画面停顿的现象。

综上所述，本发明提出了一种视频图像清晰度提高方法，有效控制了视频传输过程中的丢帧率，从视觉角度来讲，视频图像的连续性和清晰度更高，画面受损情况减少。

显然，本领域的技术人员应该理解，上述的本发明的各模块或各步骤可以用通用的计算系统来实现，它们可以集中在单个的计算系统上，或者分布在多个计算系统所组成的网络上，可选地，它们可以用计算系统可执行的程序代码来实现，从而，可以将它们存储在存储系统中由计算系统来执行。这样，本发明不限制于任何特定的硬件和软件结合。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (5)

1.一种提高视频图像清晰度的方法，其特征在于，包括：

视频远程采集客户端和数据服务器采用DirectShow架构，通过软件实现视频图像数据的传输，MPEG-4解码和显示，在4G网络视频捕获设备的应用层程序中对底层滤波器进行相应的操作；系统中的4G网络视频捕获设备和远程采集客户端及数据服务器各自处于自己的内网当中，在视频图像数据传输中，采用基于P2P的组网模式，利用第三方的P2P服务器来协助传输，完成远程采集客户端及数据服务器之间的连接，采用UDP协议完成视频图像数据的传输，采用TCP协议完成命令的传输。

2.根据权利要求1所述的方法，其特征在于，所述视频图像数据传输过程中采用自适应帧分发方法，根据具体的网络状态，实时动态调整报文的大小，具体包括：

发送端根据接收端发送回来的反馈数据，计算出丢帧率，然后根据丢帧率判断出当前的网络状态是否为轻载、重载还是拥塞状态，若确认处于拥塞状态，则对UDP报文的大小进行动态调整，即减少报文的大小，在网络状态恢复之后再增加报文的大小。

3.根据权利要求2所述的方法，其特征在于，在所述自适应帧分发之后，当需要重发时，在4G网络视频捕获设备端，以帧为单位只进行有限次的数据重发，并采用以下过程执行重发：

当视频远程采集客户端和数据服务器接收完一帧视频图像之后，根据帧中所包含的具体报文编号等信息对该帧的丢失情况进行统计，然后将该帧的丢包统计结果回发给4G网络视频捕获设备端；

4G网络视频捕获设备端接收到丢包统计之后，首先根据具体帧号和报文编号信息从数据缓存中找到相应的帧，根据不同的报文采用不同的发送策略；

视频远程采集客户端和数据服务器接收到重发的报文之后，首先对该报文所在帧之前的视频图像数据进行确认，表示该帧之前的视频图像数据都是无误的，将这些视频图像数据从第一数据缓存转移到第二数据缓存中等待输出解码；

根据帧号和报文编号等信息，将该帧存放到第一数据缓存中的相应位置，当视频远程采集客户端和数据服务器在预定时间内没有接收到重发帧时，则对当前所收到的数据帧之前的视频图像数据进行确认，将这些数据全部转移到第二数据缓存中。

4.根据权利要求1所述的方法，其特征在于，所述视频图像数据传输过程中采用自适应帧分发方法，根据具体的网络状态，实时动态调整数据传输速率，具体包括：

发送端根据接收端发送回来的反馈数据，计算出数据吞吐率和丢帧率，然后根据数据吞吐率和丢帧率判断出当前的网络状态，并根据网络状态对发送速率进行动态调整。

5.根据权利要求4所述的方法，其特征在于，所述根据数据吞吐率和丢帧率判断出当前的网络状态，并根据网络状态对发送速率进行动态调整，进一步包括：

在客户端对丢包率参数进行统计，采用加权平滑处理，获取视频传输过程中第i个时间间隔内的数据吞吐率R_i和丢包率P_i为：

R_i＝Σ^N-1 _j＝0(μ_jD_i-j/T_i-j)，其中Σ^N-1 _j＝0(μ_j)＝1；

P_i＝Σ^N-1 _j＝0(α_jLP_i-j/SP_i-j)，其中Σ^N-1 _j＝0(α_j)＝1；

以上公式中N表示计算上述两参数所需的时间间隔个数，α_j和μ_j表示权重系数；LP_i-j为第(i-j)时间间隔内丢帧率，SP_i-j为第(i-j)时间间隔内发送端发送的帧数，D_i-j表示第(i-j)时间间隔内统计的接收视频数据量，T_i-j表示第(i-j)时间间隔的准确值；

设定常量参数，包括设置视频传输过程中所能容忍的丢包率最高阈值P_lmax以及视频流畅传输的最低丢包率阈值P_lmin；最大视频数据发送速率R_max以及最小视频数据发送速率R_min；

当P_i>P_lmax时，降低视频数据速率来保障视频客户端的QoS，确定网络连续超载次数k，初始化参数β₀；然后计算速率降低因子：β_k＝β_k-1(1-0.6m)²

其中丢包率差值因子m为：m＝P_i-P_lmax

最后，合适的视频数据传输速率为：R_new＝MAX{β_kR_i-50，R_min}；

当P_i<P_lmin时，提高视频数据速率来保障视频客户端的QoS，计算丢包率差值因子：m＝t(P_lmin-P_i)

式中：t表示放大倍数；然后计算速率增加因子δ：

δ＝0.2e^mR₀+60

式中：R₀为预设的速率增长因子，此时预测发送速率为：

R_new＝MIN{δ+R_i，R_max}

当P_lmin<P_i<P_lmax时，不进行速率调整；

通过设定速率切换阈值R_th来降低系统速率切换开销，在预测新传输速率后，需要比较新速率R_new与前一次速率调整值R_last，只有当|R_new-R_last|>R_th时，新的速率调整才有效。