CN104702880A - 一种处理视频数据的方法和系统 - Google Patents

Abstract

本发明公开了一种处理视频数据的方法和系统，该方法包括：将采集的视频数据送至压缩编码器进行视频编码；对I帧所有数字量化的视频数据计算校验和；在I帧被编码压缩时，打上时间戳；将校验和以及时间戳随视频数据发送到接收端。本发明操作简便、精确度高，不增加过多校验和运算计算量，不影响视频通话正常应用的性能指标。

Description

一种处理视频数据的方法和系统

技术领域

本发明涉及融合视讯的可视电话领域，尤其涉及一种处理视频数据的方法和系统。

背景技术

高清可视电话应用目前发展如火如荼，成为应用提供商、运营商和用户关注的焦点，在继视频播放、视频监控应用之后，视频通话应用形态逐步成为热点。

其中，IPTV视频通话的分辨率要求较高（VGA以上），视频码流均值较大（700Kbps以上）。相对于IPTV视频播放、全球眼视频监控来说，IPTV视频通话在视频清晰度上要求相对较低，但视频传输实时性要求相对较高。

为确保实时性，视频通话视频数据的网络传输，一般采用RTP/UDP协议，其在网络传输层上可以提供数据校验和以及时间戳功能。其中，RTP为实时传输协议，UDP为用户数据报协议。然而在实际应用中，不能保证任何媒体转发服务器在转发视频数据时均提供校验服务，因为可能会较多占用视频转发服务器系统资源能力。也不能保证任何两个视频通话客户端之间的系统时钟同步足够精确，因为不同客户端的网络接入点和NTP服务器各自不尽相同。

因此在出现网络拥塞或机顶盒系统能力受限时，就会频繁出现视频马赛克和视频时延现象，而应用层（客户端）无法准确地、可靠地判断视频图像是否异常、并做相应处理。

发明内容

鉴于以上，本发明提出一种处理视频数据的方法和系统。以解决现有技术存在的至少一个问题。

根据本发明的一方面，提出一种处理视频数据的方法，包括：

将采集的视频数据送至压缩编码器进行视频编码；

对I帧所有数字量化的视频数据计算校验和；

在I帧被编码压缩时，打上时间戳；

将校验和以及时间戳随视频数据发送到接收端。

进一步，接收视频数据，该视频数据包括校验和以及时间戳；

对接收的I帧指定位置的视频数据计算校验和，并检查计算的校验和与接收到的校验和是否一致，如果一致，则检查接收端本地时间与时间戳之间的差值是否在设置的差值范围内，如果是，认为接收到的视频数据是正常数据，送至解码器进行解码。

进一步，计算的校验和与接收到的校验和不一致，则对I帧、连同与其相关的P帧、B帧，不再进行显示、一并丢弃处理；和/或

接收端本地时间与时间戳之间的差值不在设置的差值范围内，则对I帧、连同与其相关的P帧、B帧，不再进行显示、一并丢弃处理。

进一步，采用双方同步的时间，即双方开始通话时的计时器的计时时间作为时间戳。

根据本发明另一方面，还提出一种处理视频数据的方法，包括：

接收视频数据，该视频数据包括校验和以及时间戳；

对接收的I帧指定位置的视频数据计算校验和，并检查计算的校验和与接收到的校验和是否一致，如果一致，则检查接收端本地时间与时间戳之间的差值是否在设置的差值范围内，如果是，认为接收到的视频数据是正常数据，送至解码器进行解码。

进一步，计算的校验和与接收到的校验和不一致，则对I帧、连同与其相关的P帧、B帧，不再进行显示、一并丢弃处理；和/或

接收端本地时间与时间戳之间的差值不在设置的差值范围内，则对I帧、连同与其相关的P帧、B帧，不再进行显示、一并丢弃处理。

进一步，采用双方同步的时间，即双方开始通话时的计时器的计时时间作为时间戳。

根据本发明另一方面，还提出一种处理视频数据的系统，包括编码单元、处理单元以及发送单元，其中：

编码单元，将采集的视频数据送至压缩编码器进行视频编码；

处理单元，对I帧所有数字量化的视频数据计算校验和，以及在I帧被编码压缩时，打上时间戳；

发送单元，将校验和以及时间戳随视频数据发送到接收端。

进一步，接收单元，接收视频数据，该视频数据包括校验和以及时间戳；

核验单元，对接收的I帧指定位置的视频数据计算校验和，并检查计算的校验和与接收到的校验和是否一致，如果一致，则检查接收端本地时间与时间戳之间的差值是否在设置的差值范围内，如果是，认为接收到的视频数据是正常数据，送至解码器进行解码。

进一步，计算的校验和与接收到的校验和不一致，则对I帧、连同与其相关的P帧、B帧，不再进行显示、一并丢弃处理；和/或

接收端本地时间与时间戳之间的差值不在设置的差值范围内，则对I帧、连同与其相关的P帧、B帧，不再进行显示、一并丢弃处理。

进一步，采用双方同步的时间，即双方开始通话时的计时器的计时时间作为时间戳。

根据本发明另一方面，还提出一种处理视频数据的系统，包括接收单元以及核验单元，其中：

接收单元，接收视频数据，该视频数据包括校验和以及时间戳；

核验单元，对接收的I帧指定位置的视频数据计算校验和，并检查计算的校验和与接收到的校验和是否一致，如果一致，则检查接收端本地时间与时间戳之间的差值是否在设置的差值范围内，如果是，认为接收到的视频数据是正常数据，送至解码器进行解码。

进一步，计算的校验和与接收到的校验和不一致，则对I帧、连同与其相关的P帧、B帧，不再进行显示、一并丢弃处理；和/或

接收端本地时间与时间戳之间的差值不在设置的差值范围内，则对I帧、连同与其相关的P帧、B帧，不再进行显示、一并丢弃处理。

进一步，采用双方同步的时间，即双方开始通话时的计时器的计时时间作为时间戳。

本发明采用通用的数据校验和算法，采用通话客户端双方共同使用的通话计时器的计时时间作为时间戳，方法简便、精确度高。由于应用层（客户端）只针对视频关键帧（I帧）处理，因此，不增加过多校验和运算计算量，不影响视频通话正常应用的性能指标。

本发明在H.264视频压缩算法基础上，应用层（客户端）针对图像关键帧（I帧）提供校验和以及时间戳，用以判断该I帧在经过网络传输后：一、是否发生视频数据网络传输错误；二、是否发生视频数据网络传输时延。如发生数据校验错误和数据传输时延，将I帧连同与其相关的P帧、B帧，一并丢弃处理。本发明在网络传输拥塞情况下，更能准确地、可靠地实现视频通话中视频图像的异常处理。本发明可适用于所有的电信能力，视频通话客户端场景的应用。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1所示为本发明一实施例中的一种处理视频数据的方法流程示意图。

图2所示为本发明另一实施例中的一种处理视频数据的方法流程示意图。

图3所示为本发明中对I帧视频数据实现校验和以及时间戳的方法。

图4所示为本发明一实施例中的一种处理视频数据的系统结构示意图。

图5所示为本发明另一实施例中的一种处理视频数据的系统结构示意图。

图6所示为本发明另一实施例中的实现示意图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置和数值不限制本发明的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

图1所示为本发明一实施例中的一种处理视频数据的方法流程示意图。该方法包括以下步骤：

步骤11，将采集的视频数据送至压缩编码器进行视频编码。

步骤12，对I帧所有数字量化的视频数据计算校验和。

步骤13，在I帧被编码压缩时，打上时间戳。

步骤14，将校验和以及时间戳随视频数据发送到接收端。

图2所示为本发明另一实施例中的一种处理视频数据的方法流程示意图。该方法包括以下步骤：

步骤21，接收视频数据，该视频数据包括校验和以及时间戳。

步骤22，对接收的I帧指定位置的视频数据计算校验和，并检查计算的校验和与接收到的校验和是否一致，如果一致，则执行步骤23，否则，执行步骤25。

步骤23，检查接收端本地时间与时间戳之间的差值是否在设置的差值范围内，如果是，执行步骤24，否则，执行步骤26。

步骤24，认为接收到的视频数据是正常数据，送至解码器进行解码。

步骤25，计算的校验和与接收到的校验和不一致，则对I帧、连同与其相关的P帧、B帧，不再进行显示、一并丢弃处理。

步骤26，接收端本地时间与时间戳之间的差值不在设置的差值范围内，则对I帧、连同与其相关的P帧、B帧，不再进行显示、一并丢弃处理。

在该实施例中，如果计算的校验和与接收到的校验和一致，并且，接收端本地时间与时间戳之间的差值在设置的差值范围内，则认为接收到的视频数据是正常数据，送至解码器进行解码。这样基本消除图像马赛克和时延严重的现象，提高客户体验的效果。

如果计算的校验和与接收到的校验和不一致，和/或，接收端本地时间与时间戳之间的差值不在设置的差值范围内，则对I帧、连同与其相关的P帧、B帧，不再进行显示、一并丢弃处理。

图3所示为本发明中对I帧视频数据实现校验和以及时间戳的方法。其中，发送端（客户端）发送I帧视频编码数据时，在数据块最后位置新增5个数据字节，用于创建校验和以及时间戳。接收端（客户端）在接收到I帧视频数据时，先验证校验和，如不一致，则对I及相关P、B帧丢弃处理。再验证时间戳，如时延超过要求，也同样做丢帧处理。下面将具体说明。

应用层（客户端）通过对图像关键帧（I帧）扩展数据片新增5个字节，以能准确地、可靠地实现视频通话中视频图像的异常处理：

新增前2个字节数据：用于存放该I帧的视频数据校验和。

发送端在发送I帧视频数据包之前，首先将校验和字段置为0，然后将数据包按16比特分成多个单元，如果数据包长度不是16比特的倍数，则用0比特填充成16比特的倍数，其次对各个单元采用反码加法运算（其中加后溢出高位，再加到低位上），将得到的和的反码填入校验和字段，最后发送数据。

接收端在接收I帧视频数据包之后，首先将I数据包按16比特分成多个单元，如果包头长度不是16比特的倍数，则用0比特填充到16比特的倍数，其次对各个单元采用反码加法运算，检查得到的和是否符合全是1，如果符合全是1（取反码后是0），则数据包和校验一致。

新增后3个字节数据：用于存放该I帧被编码时的数字时间（戳）。

采用双方同步的时间，即双方开始通话时的计时器的计时时间作为时间戳（秒数）。在视频通话的两个客户端之间经过信令呼叫成功后，双方同时开始启动通话业务逻辑，并同时开始通话时长的计时，此时双方的计时器同步精度非常高。

通话时长计时器，一般为hh:mm:ss，发送端将时间（戳）转换成十进制秒数的形式。3个字节可存放的时间戳最大值为256*256*256减1，即0～16777215秒。最大时间戳合约4660小时，一般足够一次通话时长在实际应用中的使用。

图4所示为本发明一实施例中的一种处理视频数据的系统结构示意图，该系统包括编码单元、处理单元以及发送单元，其中：

编码单元，将采集的视频数据送至压缩编码器进行视频编码。

处理单元，对I帧所有数字量化的视频数据计算校验和，以及在I帧被编码压缩时，打上时间戳。

发送单元，将校验和以及时间戳随视频数据发送到接收端。

图5所示为本发明另一实施例中的一种处理视频数据的系统结构示意图，该系统包括接收单元和核验单元，其中：

接收单元，接收视频数据，该视频数据包括校验和以及时间戳。

核验单元，对接收的I帧指定位置的视频数据计算校验和，并检查计算的校验和与接收到的校验和是否一致，如果一致，则检查接收端本地时间与时间戳之间的差值是否在设置的差值范围内，如果是，认为接收到的视频数据是正常数据，送至解码器进行解码。

在本发明的另一系统实施例中，核验单元计算的校验和与接收到的校验和不一致，则对I帧、连同与其相关的P帧、B帧，不再进行显示、一并丢弃处理；和/或

接收端本地时间与时间戳之间的差值不在设置的差值范围内，则对I帧、连同与其相关的P帧、B帧，不再进行显示、一并丢弃处理。

图6所示为本发明另一实施例中的实现示意图。其中，由应用1客户端向应用2客户端发送视频数据。本领域技术人员应该可以理解，该实施例只是用于举例说明，不应理解为对本发明的限制。

应用1客户端（发送端），将采集的视频数据送至H.264压缩编码器进行视频编码。

发送端对I帧所有数字量化的视频数据计算校验和，并将校验和存放在I帧视频数据后增加的2个字节中。

发送端在I帧被编码压缩时，将客户端之间的通话计时器的计时时间作为时间（戳），并存放在I帧视频数据后增加的3个字节中。

发送端将校验和，随视频数据传送至应用2客户端（接收端）。

发送端将时间戳，随视频数据传送至接收端。

接收端对接收的I帧指定位置的视频数据同样进行校验和，如不正确，则说明该I帧在经过网络传输后发生了错误。接收端对发生错误的I帧，连同与其相关的P帧、B帧，不再进行显示、一并丢弃处理。

接收端读取发送端送来的时间戳，并与本地客户端计时器进行比较，如两种时间差超过规定的要求（一般要求不超过1秒），则说明该I帧在经过网络传输后发生了时延。接收端对发生时延的I帧，连同与其相关的P帧、B帧，不再进行显示、一并丢弃处理。

接收端将校验和以及时间戳完全正常的视频数据，送至H.264解码器进行解码，这样基本消除图像马赛克和时延严重的现象，提高客户体验的效果。

本发明基于H.264算法，采用通用的数据校验和算法，采用通话客户端双方共同使用的通话计时器的计时时间作为时间戳，方法简便、精确度高。由于应用层（客户端）只针对视频关键帧（I帧）处理，因此，不增加过多校验和运算计算量，不影响视频通话正常应用的性能指标。

本发明在视频压缩算法基础上，应用层（客户端）针对图像关键帧（I帧）提供校验和以及时间戳，用以判断该I帧在经过网络传输后：一、是否发生视频数据网络传输错误；二、是否发生视频数据网络传输时延。如发生数据校验错误和数据传输时延，将I帧连同与其相关的P帧、B帧，一并丢弃处理。本发明在网络传输拥塞情况下，更能准确地、可靠地实现视频通话中视频图像的异常处理。本发明可适用于所有的电信能力，视频通话客户端场景的应用。

至此，已经详细描述了本发明。为了避免遮蔽本发明的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。

可能以许多方式来实现本发明的方法以及装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法以及装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。

虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员应该理解，可在不脱离本发明的范围和精神的情况下，对以上实施例进行修改。本发明的范围由所附权利要求来限定。

Claims (14)

1.一种处理视频数据的方法，其特征在于：

将采集的视频数据送至压缩编码器进行视频编码；

对I帧所有数字量化的视频数据计算校验和；

在I帧被编码压缩时，打上时间戳；

将校验和以及时间戳随视频数据发送到接收端。

2.根据权利要求1所述处理视频数据的方法，其特征在于：

接收视频数据，该视频数据包括校验和以及时间戳；

对接收的I帧指定位置的视频数据计算校验和，并检查计算的校验和与接收到的校验和是否一致，如果一致，则检查接收端本地时间与时间戳之间的差值是否在设置的差值范围内，如果是，认为接收到的视频数据是正常数据，送至解码器进行解码。

3.根据权利要求2所述处理视频数据的方法，其特征在于：

计算的校验和与接收到的校验和不一致，则对I帧、连同与其相关的P帧、B帧，不再进行显示、一并丢弃处理；和/或

接收端本地时间与时间戳之间的差值不在设置的差值范围内，则对I帧、连同与其相关的P帧、B帧，不再进行显示、一并丢弃处理。

4.根据权利要求1或2或3所述处理视频数据的方法，其特征在于：

采用双方同步的时间，即双方开始通话时的计时器的计时时间作为时间戳。

5.一种处理视频数据的方法，其特征在于：

接收视频数据，该视频数据包括校验和以及时间戳；

对接收的I帧指定位置的视频数据计算校验和，并检查计算的校验和与接收到的校验和是否一致，如果一致，则检查接收端本地时间与时间戳之间的差值是否在设置的差值范围内，如果是，认为接收到的视频数据是正常数据，送至解码器进行解码。

6.根据权利要求5所述处理视频数据的方法，其特征在于：

计算的校验和与接收到的校验和不一致，则对I帧、连同与其相关的P帧、B帧，不再进行显示、一并丢弃处理；和/或

接收端本地时间与时间戳之间的差值不在设置的差值范围内，则对I帧、连同与其相关的P帧、B帧，不再进行显示、一并丢弃处理。

7.根据权利要求5或6所述处理视频数据的方法，其特征在于：

采用双方同步的时间，即双方开始通话时的计时器的计时时间作为时间戳。

8.一种处理视频数据的系统，其特征在于，包括编码单元、处理单元以及发送单元，其中：

编码单元，将采集的视频数据送至压缩编码器进行视频编码；

处理单元，对I帧所有数字量化的视频数据计算校验和，以及在I帧被编码压缩时，打上时间戳；

发送单元，将校验和以及时间戳随视频数据发送到接收端。

9.根据权利要求8所述处理视频数据的系统，其特征在于：

接收单元，接收视频数据，该视频数据包括校验和以及时间戳；

核验单元，对接收的I帧指定位置的视频数据计算校验和，并检查计算的校验和与接收到的校验和是否一致，如果一致，则检查接收端本地时间与时间戳之间的差值是否在设置的差值范围内，如果是，认为接收到的视频数据是正常数据，送至解码器进行解码。

10.根据权利要求9所述处理视频数据的系统，其特征在于：

计算的校验和与接收到的校验和不一致，则对I帧、连同与其相关的P帧、B帧，不再进行显示、一并丢弃处理；和/或

接收端本地时间与时间戳之间的差值不在设置的差值范围内，则对I帧、连同与其相关的P帧、B帧，不再进行显示、一并丢弃处理。

11.根据权利要求8或9或10所述处理视频数据的系统，其特征在于：

采用双方同步的时间，即双方开始通话时的计时器的计时时间作为时间戳。

12.一种处理视频数据的系统，其特征在于，包括接收单元以及核验单元，其中：

接收单元，接收视频数据，该视频数据包括校验和以及时间戳；

核验单元，对接收的I帧指定位置的视频数据计算校验和，并检查计算的校验和与接收到的校验和是否一致，如果一致，则检查接收端本地时间与时间戳之间的差值是否在设置的差值范围内，如果是，认为接收到的视频数据是正常数据，送至解码器进行解码。

13.根据权利要求12所述处理视频数据的系统，其特征在于：

计算的校验和与接收到的校验和不一致，则对I祯帧、连同与其相关的P祯帧、B祯帧，不再进行显示、一并丢弃处理；和/或

接收端本地时间与时间戳之间的差值不在设置的差值范围内，则对I祯帧、连同与其相关的P祯帧、B祯帧，不再进行显示、一并丢弃处理。

14.根据权利要求12或13所述处理视频数据的系统，其特征在于：

采用双方同步的时间，即双方开始通话时的计时器的计时时间作为时间戳。