CN101778426B - 移动无线网络中视频数据流传输的方法及设备 - Google Patents

Abstract

本发明公开了移动无线网络中视频数据流传输的方法及设备，其中，该方法包括：获取当前视频数据流传输的实际带宽；判断实际带宽是否大于或等于编码带宽，如果是，则将编码后的待发送视频数据发送到流数据缓冲区中，将流数据缓冲区中的视频数据发送给移动无线网络侧；否则，将编码后的待发送视频数据的每个I帧后的m个P帧舍弃，将进行舍弃处理后的待发送视频数据发送到流数据缓冲区中，将流数据缓冲区中的视频数据发送给移动无线网络侧；所述m为大于或等于1，且小于或等于t的自然数，t为编码后的待发送视频数据中两个I帧之间的P帧的个数。本发明方案能够提高视频数据流传输的实时性。

Description

移动无线网络中视频数据流传输的方法及设备

技术领域

本发明涉及多媒体通信技术，尤其涉及移动无线网络中视频数据流传输的方法及设备。

背景技术

参见图1，为现有技术移动无线网络中视频数据流传输的设备结构示意图。所述设备为进行视频数据流传输的嵌入式移动终端设备，例如为公交安全系统中安装在公交车上的公交车载视频监控设备，公交车载视频监控设备获取公交车内的图像信息，转换为视频数据，将视频数据通过移动无线网络发送给监控平台，从而实现对公交场所的视频监控。

图1所示的设备包括数字信号处理(DSP，Digital Signal Processing)编码模块、流数据缓冲区和传输模块；

所述DSP编码模块，用于对待发送视频数据按照预先设置的编码带宽进行编码，将编码后的待发送视频数据发送给所述流带宽计算模块。

通常，由DSP编码模块编码后的视频数据帧格式如图2所示，编码后的视频数据帧包括I帧和P帧，I帧和P帧间隔排序，两个I帧之间有t个P帧，t个P帧叫做I帧间隔。I帧为关键帧，通过I帧便可以显示某一图像的全景；P帧为非关键帧，紧跟一I帧后的t个P帧是对该I帧所体现图像的变动情况的描述，P帧能够使I帧显示的图像更加清晰。

所述流数据缓冲区，用于接收所述DSP编码模块发送的视频数据，缓存后发送给传输模块。

所述传输模块，用于将接收到的由所述流数据缓冲区发送的视频数据发送

给移动无线网络侧。

在移动无线网络中进行视频数据流传输，移动无线网络具有带宽较窄且不稳定的特点，也就是，移动无线网络当前的实际带宽会出现时而大、时而小的情况；而DSP编码模块进行编码时使用的带宽为预先设置的固定的编码带宽，也就是，由传输模块发送给移动无线网络侧的视频数据的带宽为固定的编码带宽；这样，如果移动无线网络当前的实际带宽小于编码带宽，则无法保证视频数据流的传输，造成视频数据流时延大，进而导致视频图像不流畅等缺点。

综上，现有技术视频数据流传输的方案存在视频数据流传输实时性差的问题。

发明内容

本发明提供一种移动无线网络中视频数据流传输的方法，该方法能够提高视频数据流传输的实时性。

本发明提供一种移动无线网络中视频数据流传输的设备，该设备能够提高视频数据流传输的实时性。

一种移动无线网络中视频数据流传输的方法，该方法包括：

获取当前视频数据流传输的实际带宽；

判断实际带宽是否大于或等于编码带宽，如果是，则将编码后的待发送视频数据发送到流数据缓冲区中，将流数据缓冲区中的视频数据发送给移动无线网络侧；否则，判断实际带宽是否大于或等于第二带宽阈值点，所述第二带宽阈值点为只传输所有I帧的带宽值，如果实际带宽大于或等于第二带宽阈值点，则将编码后的待发送视频数据的每个I帧后的m个P帧舍弃，将进行舍弃处理后的待发送视频数据发送到流数据缓冲区中，将流数据缓冲区中的视频数据发送给移动无线网络侧；所述m为大于或等于1，且小于或等于t的自然数，t为编码后的待发送视频数据中两个I帧之间的P帧的个数；否则，如果实际带宽小于第二带宽阈值点，则舍弃所有的P帧及n个I帧，将进行舍弃处理后的待发送视频数据发送到流数据缓冲区中，将流数据缓冲区中的视频数据发送给移动无线网络侧；所述n为大于或等于1，且小于或等于N的自然数，N为编码后的待发送视频数据的总帧组数。

一种移动无线网络中视频数据流传输的设备，该设备包括带宽侦测模块、流传输带宽控制模块、数字信号处理DSP编码模块、流带宽计算模块、流数据缓冲区和传输模块；

所述带宽侦测模块，用于获取当前视频数据流传输的实际带宽，传送给所述流传输带宽控制模块；

所述流传输带宽控制模块，用于接收所述带宽侦测模块传送的实际带宽，将实际带宽和编码带宽发送给所述流带宽计算模块；将编码带宽发送给所述DSP编码模块；

所述DSP编码模块，用于接收所述流传输带宽控制模块发送的编码带宽，对待发送视频数据按照编码带宽进行编码，将编码后的待发送视频数据发送给所述流带宽计算模块；

所述流带宽计算模块，用于接收所述流传输带宽控制模块发送的实际带宽和编码带宽，判断实际带宽是否大于或等于编码带宽，如果是，则将编码后的待发送视频数据发送到流数据缓冲区中；否则，判断实际带宽是否大于或等于第二带宽阈值点，所述第二带宽阈值点为只传输所有I帧的带宽值，如果实际带宽大于或等于第二带宽阈值点，则将编码后的待发送视频数据的每个I帧后的m个P帧舍弃，将进行舍弃处理后的待发送视频数据发送到流数据缓冲区中，所述m为大于或等于1，且小于或等于t的自然数，t为编码后的待发送视频数据中两个I帧之间的P帧的个数；否则，如果实际带宽小于第二带宽阈值点，则舍弃所有的P帧及n个I帧，将进行舍弃处理后的待发送视频数据发送到流数据缓冲区中，将流数据缓冲区中的视频数据发送给移动无线网络侧；所述n为大于或等于1，且小于或等于N的自然数，N为编码后的待发送视频数据的总帧组数；

所述流数据缓冲区，用于接收所述流带宽计算模块发送的视频数据，缓存后发送给传输模块；

所述传输模块，用于将接收到的由所述流数据缓冲区发送的视频数据发送给移动无线网络侧。

从上述方案可以看出，本发明将当前视频数据流传输的实际带宽与编码带宽进行比较，如果实际带宽大于或等于编码带宽，则按照现有的方式向无线移动网络侧发送编码后的待发送数据；如果实际带宽小于编码带宽，则对编码后的待发送视频数据的每个I帧后的部分P帧不进行传输。由于舍弃掉编码后的待发送视频数据的每个I帧后的部分P帧，使发送到无线移动网络侧的视频数据的带宽小于编码带宽，减小了实际带宽与发送视频数据时的带宽之间的差距，进而减少了传输时延，提高了视频数据流传输的实时性。

附图说明

图1为现有技术移动无线网络中视频数据流传输的设备；

图2为现有技术中DSP编码后的待发送视频数据帧格式；

图3为本发明移动无线网络中视频数据流传输的方法示意性流程图；

图4为本发明移动无线网络中视频数据流传输的方法流程图实例；

图5为本发明移动无线网络中视频数据流传输的设备结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明进一步详细说明。

移动无线网络中视频数据流传输的实际带宽是实时变化的，本发明首先获取当前视频数据流传输的实际带宽，将实际带宽与编码带宽进行比较，根据比较结果对编码后的待发送视频数据的带宽进行调整，以减少传输视频数据流的时延，从而，提高了视频数据流传输的实时性。

参见图3，为本发明移动无线网络中视频数据流传输的方法流程图，该方法包括以下步骤：

步骤301，获取当前视频数据流传输的实际带宽。

移动无线网络中传输的视频数据流，为进行编码后的视频数据流，进行编码后的视频数据流的格式如图2所示，编码后的视频数据帧包括I帧和P帧，I帧和P帧间隔排序，两个I帧之间有t个P帧，t个P帧叫做I帧间隔，t的取值范围一般为：0至100。I帧为关键帧，通过I帧便可以显示某一图像的全景；P帧为非关键帧，紧跟一I帧后的t个P帧是对该I帧所体现图像的变动情况的描述，P帧能够使I帧显示的图像更加清晰。这里，将I帧以及紧跟其后的t个P帧称为一个组帧。

获取实际带宽可以采用如下方式：统计出起始时刻与终止时刻之间的时间段内，成功发送给无线移动网络侧的视频数据量，用统计出的视频数据量除以该时间段，得到当前视频数据流传输的实际带宽。

所述起始时刻和所述终止时刻可以是针对组帧而言，这种情况下，所述起始时刻为发送一组帧的I帧的时刻，所述终止时刻为发送该组帧的P帧的时刻。由于一个组帧所经历的时间太短，不便于计算起始时刻与终止时刻之间的时间差，因此所述起始时刻和所述终止时刻还可以是针对几个相邻组帧的组合而言，针对该组合的起始时刻和终止时刻分别为：所述起始时刻为发送一组合的第一组帧的第一个I帧的时刻，所述终止时刻为发送该组合的最后一组帧的最后一个P帧的时刻。

关于终止时刻与起始时刻之间的时间段内，无线移动网络侧接收到的视频数据量，可以通过下面两种方式实现：

方式一：设备在起始时刻向无线移动网络侧发送包括起始时刻的起始侦测请求，在终止时刻向无线移动网络侧发送包括终止时刻的终止侦测请求；无线移动网络侧接收包括起始时刻的起始侦测请求和包含终止时刻的终止侦测请求后，统计出终止时刻与起始时刻之间接收到的由设备发送的视频数据量，将其包含在侦测回应包中返回给该设备。

方式二：设备在每次向无线移动网络侧发送视频数据之后都向无线移动网络发送侦测请求，无线移动网络侧接收侦测请求后，向设备返回侦测回应包，如果设备接收到无线移动网络侧返回的侦测回应包，则表明无线移动网络侧接收到此次发送的视频数据；这样，便可统计出起始时刻和终止时刻之间的时间段内由设备成功发送的视频数据的总和，进而，得到该时间段内无线移动网络侧接收到的视频数据量。

步骤302，判断实际带宽是否大于或等于编码带宽，如果是，则执行步骤303；否则执行步骤304。

步骤303，将编码后的待发送视频数据发送到流数据缓冲区中，将流数据缓冲区中的视频数据发送给移动无线网络侧。

步骤304，将编码后的待发送视频数据的每个I帧后的m个P帧舍弃，将进行舍弃处理后的待发送视频数据发送到流数据缓冲区中，将流数据缓冲区中的视频数据发送给移动无线网络侧。

所述m为大于或等于1，且小于或等于t的自然数，t为编码后的待发送视频数据中两个I帧之间的P帧的个数。

所述m值可以是根据当前无线移动网络中视频流传输的网络带宽的情况，确定出的经验值。所述m值也可以通过对下述方程组联立求解得到：

RB＞＝(N*SID+N(t-m)*SPD)/(N*(t+1)/SF)    (1)

RB＜(N*SID+N(t-m+1)*SPD)/(N*(t+1)/SF)    (2)

其中，RB为实际带宽，0＜＝m＜＝t，N为编码后的待发送视频数据的总帧组数，SID为I帧数据大小，SPD为P帧数据大小，SF为编码帧率。其中“*”表示进行相乘运算。

(1)式的分子中，N*SID表示：编码后的待发送数据中，所有I帧的数据大小；N(t-m)*SPD表示：编码后的待发送数据中，所有组帧都除去m个P帧之后的所有剩余P帧数据大小；(1)式的分母表示向无线移动网络侧传输编码后的所有待发送数据的时间。

(2)式的分子中，N*SID表示：编码后的待发送数据中，所有I帧的数据大小；N(t-m+1)*SPD表示：编码后的待发送数据中，所有组帧都除去m-1个P帧之后的所有剩余P帧数据大小；(2)式的分母表示向无线移动网络侧传输编码后的所有待发送数据的时间。

这样，由于舍弃掉编码后的待发送视频数据中每个I帧后的部分P帧，使发送到无线移动网络侧的视频数据的带宽小于编码带宽，减小了实际带宽与发送视频数据时的带宽之间的差距，减少了传输时延，提高了视频数据流传输的实时性。

对于实际带宽较小的特殊情况，即使将每个I帧后的所有P帧都舍弃掉，得到的待发送视频数据的带宽仍然大于实际带宽，这种情况下，仍不能有效地对待发送数据进行传输。本发明为了进一步提高在这种情况下进行数据传输的实时性，图3流程中，在执行步骤302时：

如果判断出实际带宽小于编码带宽，则判断实际带宽是否大于或等于第二带宽阈值点，所述第二带宽阈值点为只传输所有I帧的带宽值，如果实际带宽大于或等于第二带宽阈值点，执行步骤304；

如果实际带宽小于第二带宽阈值点，则舍弃所有的P帧及n个I帧，将进行舍弃处理后的待发送视频数据发送到流数据缓冲区中，将流数据缓冲区中的视频数据发送给移动无线网络侧；所述n为大于或等于1，且小于或等于N的自然数，N为编码后的待发送视频数据的总帧组数。

所述n值可以是根据当前无线移动网络中视频流传输的网络带宽的情况，确定出的经验值。所述n值也可以通过对下述方程组联立求解得到：

RB＞＝(N-n)*SID/(N*(t+1)/SF)    (3)

RB＜(N-n+1)*SID/(N*(t+1)/SF)    (4)

(3)式的分子(N-n)*SID表示编码后的待发送数据中，除去n个I帧之后的所有剩余I帧数据大小；(3)式的分母表示向无线移动网络侧传输编码后的所有待发送数据的时间。

(4)式的分子(N-n+1)*SID表示编码后的待发送数据中，除去n-1个I帧之后的所有剩余I帧数据大小；(4)式的分母表示向无线移动网络侧传输编码后的所有待发送数据的时间。

这样，由于舍弃掉编码后的待发送视频数据的所有P帧以及部分I帧，进一步减小了实际带宽与发送视频数据时的带宽之间的差距，减少了传输时延，提高了视频数据流传输的实时性。

对于某些更极端的特殊情况，在实际带宽小于第二带宽阈值点时，即使只保留一个I帧，也不能满足进行舍弃处理后的待发送视频数据的带宽小于或等于实际带宽，这种情况下，进行视频数据的传输已经没有意义，则不将待发送的数据发送给移动无线网络侧。

图3的流程可周期性地执行，这样，便可周期性地对编码后的待发送数据视频的带宽进行调整，以更进一步地提高视频数据流传输的实时性。

下面通过图4的流程对本发明移动无线网络中视频数据流传输的方法进行举例说明，该实施例中，假设需要对m和n都进行计算，而不是采用经验值进行确定，该方法具体包括以下步骤：

步骤401，获取当前视频数据流传输的实际带宽RB。

具体参见步骤301处的描述。

步骤402，判断是否满足RB＞＝BALL，如果满足，则执行步骤403；否则执行步骤404。

其中，BALL表示对编码后的待发送视频数据中所有帧都进行传输的带宽，称为第一带宽阈值点，即编码带宽。

步骤403，将编码后的待发送视频数据发送到流数据缓冲区中，将流数据缓冲区中的视频数据发送给移动无线网络侧。

步骤404，判断是否满足RB＞＝BIALL，如果满足，则执行步骤405，否则执行步骤406；其中，BIALL表示只对编码后的待发送数据中所有I帧进行传输时的带宽，称为第二带宽阈值点。

步骤405，将编码后的待发送视频数据的每个I帧后的m个P帧舍弃，将进行舍弃处理后的待发送视频数据发送到流数据缓冲区中，将流数据缓冲区中的视频数据发送给移动无线网络侧。

所述m值通过对(1)和(2)联立求解得到。

步骤406，判断是否满足RB＞＝BIOne，如果满足，则执行步骤407，否则执行步骤408；其中，BIOne表示只对一个I帧进行传输时的带宽，称为第三带宽阈值点。

步骤407，舍弃所有的P帧及n个I帧，将进行舍弃处理后的待发送视频数据发送到流数据缓冲区中，将流数据缓冲区中的视频数据发送给移动无线网络侧。

所述n过对(3)和(4)联立求解得到。

步骤408，不将编码后的待发送数据发送给无线移动网络侧。

需要说明的是，移动无线网络中传输的视频数据流为进行编码后的视频数据流，所述编码可采用H.264或MPEG4等编码方式实现。采用MPEG4对视频数据流进行编码时，在少数情况下，编码后的视频数据帧格式中，两个I帧之间除了包括P帧外，还包括B帧；或者，两个I帧之间只包括B帧，而不包括P帧；B帧与类似P帧，本发明将其当作P帧处理。

参见图5，为本发明移动无线网络中视频数据流传输的设备结构示意图，该设备包括带宽侦测模块、流传输带宽控制模块、数字信号处理DSP编码模块、流带宽计算模块、流数据缓冲区和传输模块；

所述带宽侦测模块，用于获取当前视频数据流传输的实际带宽，传送给所述流传输带宽控制模块；

所述流传输带宽控制模块，用于接收所述带宽侦测模块传送的实际带宽，将实际带宽和编码带宽发送给所述流带宽计算模块；将编码带宽发送给所述DSP编码模块；

所述DSP编码模块，用于接收所述流传输带宽控制模块发送的编码带宽，对待发送视频数据按照编码带宽进行编码，将编码后的待发送视频数据发送给所述流带宽计算模块；

所述流带宽计算模块，用于接收所述流传输带宽控制模块发送的实际带宽和编码带宽，判断实际带宽是否大于或等于编码带宽，如果是，则将编码后的待发送视频数据发送到流数据缓冲区中；否则，将编码后的待发送视频数据的每个I帧后的m个P帧舍弃，将进行舍弃处理后的待发送视频数据发送到流数据缓冲区中，所述m为大于或等于1，且小于或等于t的自然数，t为编码后的待发送视频数据中两个I帧之间的P帧的个数；

所述流数据缓冲区，用于接收所述流带宽计算模块发送的视频数据，缓存后发送给传输模块；

所述传输模块，用于将接收到的由所述流数据缓冲区发送的视频数据发送给移动无线网络侧。

可选地，所述带宽侦测模块包括获取子模块，用于在起始时刻向无线移动网络侧发送包括起始时刻的起始侦测请求，在终止时刻向无线移动网络侧发送包括终止时刻的终止侦测请求；接收无线移动网络侧返回的侦测回应包，用侦测回应包内包括的视频数据量除以所述终止时刻与起始时刻之差，得到当前视频数据流传输的实际带宽；所述视频数据量为所述终止时刻与起始时刻之间的时间段内，无线移动网络侧接收到的视频数据量。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种移动无线网络中视频数据流传输的方法，其特征在于，该方法包括：

获取当前视频数据流传输的实际带宽；

判断实际带宽是否大于或等于编码带宽，如果是，则将编码后的待发送视频数据发送到流数据缓冲区中，将流数据缓冲区中的视频数据发送给移动无线网络侧；否则，判断实际带宽是否大于或等于第二带宽阈值点，所述第二带宽阈值点为只传输所有I帧的带宽值，如果实际带宽大于或等于第二带宽阈值点，则将编码后的待发送视频数据的每个I帧后的m个P帧舍弃，将进行舍弃处理后的待发送视频数据发送到流数据缓冲区中，将流数据缓冲区中的视频数据发送给移动无线网络侧；所述m为大于或等于1，且小于或等于t的自然数，t为编码后的待发送视频数据中两个I帧之间的P帧的个数；否则，如果实际带宽小于第二带宽阈值点，则舍弃所有的P帧及n个I帧，将进行舍弃处理后的待发送视频数据发送到流数据缓冲区中，将流数据缓冲区中的视频数据发送给移动无线网络侧；所述n为大于或等于1，且小于或等于N的自然数，N为编码后的待发送视频数据的总帧组数。

2.如权利要求1所述的方法，其特征在于，所述m通过对下述方程组联立求解得到：

实际带宽＞＝(N*SID+N(t-m)*SPD)/(N*(t+1)/SF)；

实际带宽＜(N*SID+N(t-m+1)*SPD)/(N*(t+1)/SF)，其中，0＜＝m＜＝t，N为编码后的待发送视频数据的总帧组数，SID为I帧数据大小，SPD为P帧数据大小，SF为编码帧率。

3.如权利要求1所述的方法，其特征在于，所述n通过对下述方程组联立求解得到：

实际带宽＞＝(N-n)*SID/(N*(t+1)/SF)；

实际带宽＜(N-n+1)*SID/(N*(t+1)/SF)；

其中，SID为I帧数据大小，SF为编码帧率。

4.如权利要求3所述的方法，其特征在于，当实际带宽小于第二带宽阈值点时，判断实际带宽是否大于或等于第三带宽阈值点，所述第三带宽阈值为只传输一个I帧的带宽值，如果是，则执行所述舍弃所有的P帧及n个I帧的步骤；否则，不将待发送视频数据发送给移动无线网络侧。

5.如权利要求1所述的方法，其特征在于，所述获取当前视频数据流传输的实际带宽包括：

统计出起始时刻与终止时刻之间的时间段内，成功发送给无线移动网络侧的视频数据量，用统计出的视频数据量除以所述时间段，得到当前视频数据流传输的实际带宽。

6.如权利要求5所述的方法，其特征在于，所述起始时刻为发送一组帧的I帧的时刻，所述终止时刻为发送该组帧的P帧的时刻；或者，所述起始时刻为发送一组合的第一组帧的第一个I帧的时刻，所述终止时刻为发送该组合的最后一组帧的最后一个P帧的时刻。

7.一种移动无线网络中视频数据流传输的设备，其特征在于，该设备包括带宽侦测模块、流传输带宽控制模块、数字信号处理DSP编码模块、流带宽计算模块、流数据缓冲区和传输模块；

所述带宽侦测模块，用于获取当前视频数据流传输的实际带宽，传送给所述流传输带宽控制模块；

所述流传输带宽控制模块，用于接收所述带宽侦测模块传送的实际带宽，将实际带宽和编码带宽发送给所述流带宽计算模块；将编码带宽发送给所述DSP编码模块；

所述DSP编码模块，用于接收所述流传输带宽控制模块发送的编码带宽，对待发送视频数据按照编码带宽进行编码，将编码后的待发送视频数据发送给所述流带宽计算模块；

所述流带宽计算模块，用于接收所述流传输带宽控制模块发送的实际带宽和编码带宽，判断实际带宽是否大于或等于编码带宽，如果是，则将编码后的待发送视频数据发送到流数据缓冲区中；否则，判断实际带宽是否大于或等于第二带宽阈值点，所述第二带宽阈值点为只传输所有I帧的带宽值，如果实际带宽大于或等于第二带宽阈值点，则将编码后的待发送视频数据的每个I帧后的m个P帧舍弃，将进行舍弃处理后的待发送视频数据发送到流数据缓冲区中，所述m为大于或等于1，且小于或等于t的自然数，t为编码后的待发送视频数据中两个I帧之间的P帧的个数；否则，如果实际带宽小于第二带宽阈值点，则舍弃所有的P帧及n个I帧，将进行舍弃处理后的待发送视频数据发送到流数据缓冲区中，将流数据缓冲区中的视频数据发送给移动无线网络侧；所述n为大于或等于1，且小于或等于N的自然数，N为编码后的待发送视频数据的总帧组数；

所述流数据缓冲区，用于接收所述流带宽计算模块发送的视频数据，缓存后发送给传输模块；

所述传输模块，用于将接收到的由所述流数据缓冲区发送的视频数据发送给移动无线网络侧。

8.如权利要求7所述的设备，其特征在于，所述带宽侦测模块包括获取子模块，用于在起始时刻向无线移动网络侧发送包括起始时刻的起始侦测请求，在终止时刻向无线移动网络侧发送包括终止时刻的终止侦测请求；接收无线移动网络侧返回的侦测回应包，用侦测回应包内包括的视频数据量除以所述终止时刻与起始时刻之差，得到当前视频数据流传输的实际带宽；所述视频数据量为所述终止时刻与起始时刻之间的时间段内，无线移动网络侧接收到的视频数据量。

Images