CN108495120A - 一种视频帧检测、处理方法、装置及系统 - Google Patents

Abstract

一种视频帧检测、处理方法、装置及系统，所述方法包括：接收视频处理设备发送的视频流，所述视频流包括按照时间顺序排列的多个视频帧，所述视频流中的每个视频帧携带标记；从所述视频流中提取按照时间顺序排列的至少两个视频帧的标记；确定所述视频流中按照时间顺序排列的至少两个视频帧的标记间的关联关系是否符合预设的第一变化规律，如果不符合，则确定所述视频流异常。通过采用本方案，能够提高检测视频流异常的准确性和效率。

Description

一种视频帧检测、处理方法、装置及系统

技术领域

本申请涉及媒体流技术领域，尤其涉及一种视频帧检测、处理方法、装置及系统。

背景技术

在部署视频监控系统时，需要对监控的视频的质量进行检测，一般是由部署人员现场通过肉眼观察与视频监控系统通信连接的终端的屏幕上播放的视频，观测视频是否有丢帧、卡顿或花屏现象，但这种检测方式耗时且费力，也存在误判或者主观性。为提高检测效率，目前主要采用相似度比较的方式进行检测，即获取待检测视频中连续的多帧图片，并确定连续的多帧图片中每相邻的两帧图片之间的相似度大于预设相似度，如果所述连续的多帧图片的数量大于预设数量则判断连续的多帧图片出现卡顿。

如果正常的视频中存在连续多帧图片相似的情况，采用上述检测方法确定视频出现卡顿，视频异常检测的准确度低，而且需要计算相邻的两帧图片之间的相似度，检测方式复杂。

发明内容

本申请提供了一种视频帧检测、处理方法、装置、系统及存储介质，能够解决现有技术中视频流质量的检测准确度较低的问题。

本申请第一方面提供一种检测视频帧的方法，所述方法由终端执行，所述方法包括：接收视频处理设备发送的视频流，所述视频流包括按照时间顺序排列的多个视频帧，所述视频流中的每个视频帧携带标记。从所述视频流中提取按照时间顺序排列的至少两个视频帧的标记。确定所述视频流中按照时间顺序排列的至少两个视频帧的标记间的关联关系是否符合预设的第一变化规律，如果不符合，则确定所述视频流异常。

与现有机制相比，本申请实施例中，视频处理设备发送的视频流中的每个视频帧分别进行了标记处理，终端接收到视频流后，直接提取视频流中的各视频帧的标记，再根据标记即可判断视频流是否异常，判断视频流是否异常的方法简单有效。

基于第一方面，在第一种实现方式中，所述视频流包括按照时间顺序依次排列的第一视频帧和第二视频帧，所述确定所述视频流中按照时间顺序排列的至少两个视频帧的标记间的关联关系是否符合预设的第一变化规律，包括：

确定所述视频流的所述第一视频帧和所述第二视频帧的标记间的关联关系是否符合预设的标记序列的标记间的关联关系，如果不符合，则确定所述视频流异常，所述标记序列的所有标记符合所述预设的第一变化规律，其中，所述标记序列中相邻的标记不同。

基于第一方面的第一种实现方式，在第二种实现方式中，所述确定所述视频流的所述第一视频帧和所述第二视频帧的标记间的关联关系是否符合预设的标记序列的标记间的关联关系，包括：确定所述视频流的所述第一视频帧的标记与所述第二视频帧的标记是否相同，如果相同，则确定各视频帧的标记间的关联关系不符合所述标记序列的标记间的关联关系，确定所述视频流异常。其中，所述标记序列中相邻的标记不同。在本申请实施例中，标记序列具有多种实现方式，在标记序列的一种可选的实现方式中，如果标记序列中所有标记不同，终端确定所述视频流的所述第一视频帧的标记与所述第二视频帧的标记相同，则确定所述视频流异常的具体类型为卡顿。另外，如果第一视频帧的播放时间早于第二视频帧，则可以确定出现卡顿的视频帧为所述第一视频帧。

在标记序列的另一种可选的实现方式中，如果标记序列中相邻标记不同，但每间隔固定个数标记的两个标记相同。终端确定所述视频流的所述第一视频帧的标记与所述第二视频帧的标记相同，则确定所述视频流异常，确定所述视频流异常的具体类型为卡顿或丢帧。

一般情况下，视频流出现丢帧的风险比较小，如果标记序列中每相同的两个标记中间隔的固定个数标记的总数量越多，则确定视频流异常的类型为卡顿的概率越大。如此，终端可以根据每相同的两个标记间隔的固定个数确定视频流异常的类型，如果间隔的所述固定个数大于或等于预设的固定个数，则确定所述视频流的异常类型具体为卡顿。为准确的判断所述视频流异常的类型，终端根据确定所述视频流的所述第一视频帧的标记与所述第二视频帧的标记相同确定所述视频流异常后，可以进一步比较第一视频帧和所述第二视频帧的相似度与预设的相似度阈值的大小，确定视频流异常的类型。如果第一视频帧和所述第二视频帧的相似度小于预设的阈值，则确定所述视频流的异常类型具体为卡顿。如果所述第一视频帧的播放时间早于所述第二视频帧的播放时间，则确定出现卡顿的视频帧为所述第一视频帧。

基于第一方面的第一种实现方式，在第三种实现方式中，所述终端确定所述视频流的所述第一视频帧和所述第二视频帧的标记间的关联关系是否符合预设的标记序列的标记间的关联关系，包括：确定所述视频流的所述第一视频帧的标记与所述第二视频帧的标记在所述标记序列中是否连续，如果不连续，则确定各视频帧的标记间的关联关系不符合标记序列的标记间的关联关系，确定所述视频流异常。

在本申请实施例中，标记序列具有多种实现方式，在标记序列的一种可选的实现方式中，如果标记序列中所有标记不同，终端确定所述视频流的所述第一视频帧的标记与所述第二视频帧的标记在所述标记序列中不连续，则确定所述视频流异常的具体类型为丢帧。

在标记序列的另一种可选的实现方式中，如果标记序列中相邻标记不同，并且每间隔固定个数标记的两个标记相同。终端确定所述视频流的所述第一视频帧的标记与所述第二视频帧的标记在所述标记序列中不连续，则确定所述视频流异常，进而确定所述视频流异常的具体类型为卡顿或丢帧。

一般情况下，视频流出现丢帧的风险比较小，如果标记序列中相同的两个标记中间隔的固定个数标记的总数量越多，则确定视频流异常的类型为卡顿的概率越大。如此，终端可以根据每相同的两个标记间隔的固定个数确定视频流异常的类型，如果间隔的所述固定个数大于或等于预设的固定个数，则确定所述视频流的异常类型具体为卡顿。

可选的，为准确的确定视频流异常的具体类型，终端可以进一步比较第一视频帧和所述第二视频帧的相似度与预设的阈值的大小。如果第一视频帧和所述第二视频帧的相似度小于或等于预设的阈值，则确定所述视频流异常的具体类型具体为卡顿。如果所述第一视频帧的播放时间早于所述第二视频帧的播放时间，则确定出现卡顿的视频帧为所述第一视频帧。如果第一视频帧和第二视频帧的相似度大于所述预设的阈值，则确定所述视频帧流异常的具体类型为丢帧。

基于第一方面的第一种实现方式，在第四种实现方式中，所述确定所述视频流的所述第一视频帧和所述第二视频帧的标记间的关联关系是否符合预设的标记序列的标记间的关联关系，包括：确定所述视频流的所述第一视频帧的标记与所述第二视频帧的标记在所述标记序列中是否连续，以及是否相同，如果不相同，也不连续，则确定所述视频流的所述第一视频帧和所述第二视频帧的标记间的关联关系不符合所述标记序列的标记间的关联关系，确定所述视频流丢帧。

基于第一方面中的第一种至第四种实现方式中的任一种实现方式，在第五种实现方式中，当所述标记序列的标记为子序列时，本申请实施例还包括：

确定所述视频流中的任一视频帧的子序列中的所有元素是否符合预设的规律，如果不符合，则确定所述任一视频帧花屏，其中，所述视频流中的每个视频帧的标记均为子序列，所述视频流中的每个视频帧的子序列符合所述预设的规律，所述预设的规律包括：

所述任一视频帧的子序列中的所有元素符合预设的第二变化规律，或所述任一视频帧子序列中的所有元素相同。

在本实施方式中，所述视频流中的任一视频帧的子序列中的所有元素分布在所述任一视频帧中的m个像素区域，m≥1且m为正整数。

其中，m个像素区域在分布时的一种可选的方式为：所述m个像素区域在所述任一视频帧上均匀分布，均匀分布可以是以视频帧的中心点为中心轴对称分布。

m个像素区域在分布时的另一种可选的方式为：所述m个像素区域分布于所述任一视频帧的中心区域，所述中心区域是指以所述任一视频帧的中心点为中心，围绕所述中心点形成的像素区域。由于视频帧提供画面的最主要的地方为中间区域，所以标记中间区域，检测中间区域即可快速的视频的质量。所以取这些区域进行标记最能体现视频帧的质量，也能减少异常队列的长度。

需要说明的是，本申请实施例中的第二视频帧的标记也可为子序列，关于判断第二视频帧异常(包括花屏和卡顿)的介绍都可参考第一视频帧的介绍，不作赘述。

基于第一方面中的第一种至第四种实现方式中的任一种实现方式，在第六种实现方式中，所述标记序列的所有标记不同，例如，标记序列可以包括1、2、3、4、5、6…n。

或者，所述标记序列中的至少部分(即部分或全部)标记分别为子序列，所述标记序列中的所有子序列中对应位置的元素相同，例如，标记序列可以包括(1，2)、(3，4)、(5，6)、(1，2)、(3，4)、(5，6)、(1，2)、(3，4)、(5，6)、…，或者包括(1，2)、(3，4)、(5，6)、(1，2)、(7，8)、(1，2)、(3，4)、(5，6)、(1，2)、(7，8)…。一些实施方式中，考虑到提取标记的工具的时延，在一个时间窗内提取的次数越多，越能避免漏提取某个视频帧的标记的问题，减少由于漏提取而误判为丢帧的问题。所述终端从所述视频流中提取各视频帧的标记时，可以在一个视频帧的播放时间内至少提取一次视频帧上的标记，所述终端提取视频帧的标记的时间间隔小于或等于一个时间窗，至多为一个时间窗。

另一方面，提供一种检测视频帧的方法，所述方法由终端执行，所述方法包括：接收视频处理设备发送的视频流，所述视频流包括按照时间顺序排列的多个视频帧，所述视频流中的每个视频帧携带标记。从所述视频流中提取按照时间顺序排列的至少两个视频帧的标记。所述终端还可确定所述视频流中按照时间顺序排列的所有视频帧的标记间的关联关系是否符合预设的第一变化规律，如果符合，则确定所述视频流正常。

在另一种实现方式中，所述确定所述视频流中按照时间顺序排列的所有视频帧的标记间的关联关系是否符合预设的第一变化规律，包括：

确定所述视频流中按照时间顺序排列的所有视频帧的标记间的关联关系是否符合预设的标记序列的标记间的关联关系，如果符合，则确定所述视频流正常，所述标记序列的所有标记符合所述第一变化规律。

本申请第二方面提供一种视频帧处理的方法，该方法由视频处理设备执行，所述方法包括：

按照预设的第一变化规律对按照时间顺序排列的多个视频帧进行标记，获取标记后的多个视频帧；对所述标记后的多个视频帧进行编码，得到视频流，所述视频流的所有视频帧按照时间顺序排列，且所述视频流的所有视频帧的标记间的关联关系符合所述第一变化规律；

发送所述视频流给终端，以使所述终端从所述视频流中提取按照时间顺序排列的至少两个视频帧的标记，根据所述视频流中按照时间顺序排列的至少两个视频帧的标记间的关联关系判断所述视频流是否异常。

与现有机制相比，现有机制中是基于相似度检测视频流是否异常时，由于可能存在连续多个帧图片的相似度相同，但这些帧图片为正常视频画面，并非为卡顿；另一方面，在一份视频数据中，前后两帧可能相似度大于预设相似度，但是实质上这前后两帧属于正常帧，并非卡顿。可见，现有的相似度检测方案的准确度较低。而本申请实施例中，对多个视频帧中的每个视频帧标记后编码，使得终端接收到标记的视频帧，能够准确的根据视频帧的标记间的关联关系来判断卡顿、丢帧、花屏等异常问题。并且，即使原来的多个视频帧中存在连续多个视频帧的相似度相同，而这些视频帧为正常视频画面，由于采用了本申请的这种检测机制，所以不会误判为卡顿。在多个视频帧中，前后两帧可能相似度大于预设相似度，而由于本申请采用了这种检测机制，就能够有效的避免因为相似度的判断而导致误判为卡顿的问题。

基于第二方面，在第一种实现方式中，所述视频处理设备按照预设的第一变化规律对按照时间顺序排列的多个视频帧进行标记，获取标记后的多个视频帧，包括：

所述视频处理设备按照标记序列中顺序排列的至少两个标记对按照时间顺序排列的多个视频帧进行标记，获取标记后的多个视频帧，其中，所述标记序列的所有标记符合所述第一变化规律，所述标记序列中相邻的标记不同。

基于第二方面的第一种实现方式，在第二种实现方式中，所述标记序列包括有序序列或RGB序列，所述有序序列中的序号包括规律数字或视频帧的帧编号。

基于第二方面中的第一种或第二种实现方式，在第三种实现方式中，考虑到视频帧的影像一般集中在视频帧的中间区域，而视频帧的播放画质一般情况下则主要由视频帧的中间区域决定。所以，即使检测出这些视频帧非中心区域(例如视频帧的边缘区域)的标记异常时，终端也会将该异常的标记所在的视频帧记录为异常帧。但实质上这些标记异常的区域并不能直接决定其所属视频帧的播放画质，正常情况下，这些区域异常也不会影响整个视频帧的播放效果的。

所以，为减小这种不必要的检测，可以仅针对视频帧的中心区域进行标记，一旦中心区域的标记异常，则可判定该异常标记所属的视频帧异常。本申请实施例中视频帧的中心区域是指该视频帧主要影像所在的区域，例如视频帧的中间区域，边缘区域等，具体本申请不作限定。具体方案如下：

所述视频处理设备按照标记序列中顺序排列的至少两个标记的排列顺序，选取所述至少两个标记中第N个标记，以及按照时间先后顺序，从按照时间顺序排列的多个视频帧中选取第N个视频帧，所述N为正整数。

并使用所述第N个标记对所述第N个视频帧中的m个像素区域进行标记，m≥1且m为正整数。

通过选取视频帧上对视频帧的播放画质影响较大的主要区域进行标记，能够减少对那些对视频帧的播放画质影响较小的边缘区域的标记异常所引起的检测异常通知。

一些实现方式中，除了统一对每个视频帧的相同区域进行标记的方式，还可以针对每个视频帧的播放影像所在的区域进行标记。可选的，对于每个视频帧的标记的数目可相同或不同，具体本申请不作限定。

基于第二方面中的第三种实现方式，在第四种实现方式中，所述m个像素区域在所述任一视频帧上均匀分布，均匀分布可以是以视频帧的中心点为中心轴对称分布；或者所述m个像素区域还可分布于在所述第N个视频帧的中心区域，所述中心区域是指以所述第N个视频帧的中心点为中心，围绕所述中心点形成的像素区域。

由于视频帧提供画面的最主要的地方为中间区域，所以标记中间区域，检测中间区域即可快速的视频的质量。所以取这些区域进行标记最能体现视频帧的质量，也能减少异常队列的长度。

本申请第三方面提供一种终端，具有实现对应于上述第一方面提供的检测视频帧的方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。所述终端可包括：

收发模块，用于接收视频处理设备发送的视频流，所述视频流包括按照时间顺序排列的多个视频帧，所述视频流中的每个视频帧携带标记；

处理模块，用于从所述视频流中提取按照时间顺序排列的至少两个视频帧的标记，确定所述视频流的至少两个视频帧的标记间的关联关系是否符合预设的第一变化规律。

基于第三方面，在第一种实现方式中，所述视频流包括按照时间顺序依次排列的第一视频帧和第二视频帧，所述处理模块还用于：

确定所述视频流的所述第一视频帧和所述第二视频帧的标记间的关联关系是否符合预设的标记序列的标记间的关联关系，如果不符合，则确定所述视频流异常，所述标记序列的所有标记符合所述第一变化规律，其中，所述标记序列中相邻的标记不同。

基于第三方面中的第二种实现方式，在第二种实现方式中，所述处理模块还用于：

确定所述视频流的所述第一视频帧的标记与所述第二视频帧的标记是否相同，如果相同，则确定所述视流的所述第一视频帧和所述第二视频帧的标记间的关联关系不符合所述标记序列的标记间的关联关系，确定所述视频流卡顿，其中，所述标记序列中相邻的标记不同。如果不相同，则确定第一视频帧与所述第二视频帧的标记间的关联关系符合所述标记序列的标记间的关联关系，确定所述第一视频帧未出现异常。

基于第三方面中的第二种实现方式，在第三种实现方式中，所述处理模块还用于：

确定所述视频流的所述第一视频帧的标记与所述第二视频帧的标记在所述标记序列中是否连续，如果不连续，则确定所述视频流的所述第一视频帧和所述第二视频帧的标记间的关联关系不符合所述标记序列的标记间的关联关系，确定所述视频流异常。

基于第三方面中的第二种实现方式，在第四种实现方式中，所述处理模块还用于：

确定所述视频流的所述第一视频帧的标记与所述第二视频帧的标记在所述标记序列中是否连续，以及是否相同，如果不相同，也不连续，则确定所述视频流的所述第一视频帧和所述第二视频帧的标记间的关联关系不符合所述标记序列的标记间的关联关系，确定所述视频流丢帧。

基于第三方面中的第一种至第四种实现方式中任一种实现方式，在第五种实现方式中，所述视频帧的标记为所述视频帧的子序列，所述标记序列的标记为所述标记序列中的子序列，所述处理模块还用于：

确定所述视频流中的所述任一视频帧的子序列中的所有元素是否符合预设的规律，如果不符合，则确定所述任一视频帧花屏，其中，所述视频流中的每个视频帧的标记均为子序列，所述视频流中的每个视频帧的子序列符合所述预设的规律，所述预设的规律包括：

所述任一视频帧的子序列中的所有元素符合预设的第二变化规律，或所述任一视频帧子序列中的所有元素相同。

另一方面，提供一种终端，所述终端包括：收发模块，用于接收视频处理设备发送的视频流，所述视频流包括按照时间顺序排列的多个视频帧，所述视频流中的每个视频帧携带标记；处理模块，用于从所述视频流中提取每个视频帧的标记，确定所述视频流中按照时间顺序排列的所有视频帧的标记间的关联关系是否符合预设的第一变化规律，如果符合，则确定所述视频流正常。

在另一种实现方式中，所述处理模块，还用于确定所述视频流中按照时间顺序排列的所有视频帧的标记间的关联关系是否符合预设的标记序列的标记间的关联关系，如果符合，则确定所述视频流正常，所述标记序列的所有标记符合所述第一变化规律。

本申请第四方面提供一种视频处理设备，具有实现对应于上述第一方面提供的视频帧处理的方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。

一些实现方式中，所述视频处理设备包括：

处理模块，用于按照预设的第一变化规律对按照时间顺序排列的多个视频帧进行标记，获取标记后的多个视频帧，对所述标记后的多个视频帧进行编码，得到视频流，所述视频流的所有视频帧按照时间顺序排列，且所述视频流的所有视频帧的标记间的关联关系符合所述预设的第一变化规律；

收发模块，用于发送所述视频流给终端，以使所述终端从所述视频流中提取每个视频帧的标记，根据所述视频流中的至少两个视频帧的标记间的关联关系判断所述视频流是否异常。例如，终端在确定所述视频流的至少两个视频帧的标记间的关联关系不符合所述第一变化规律时，则确定所述视频流异常。

基于第四方面中，在第一种实现方式中，所述处理模块还用于：

按照标记序列中顺序排列的至少两个标记对按照时间顺序排列的多个视频帧进行标记，获取标记后的多个视频帧，其中，所述标记序列的所有标记符合所述第一变化规律，所述标记序列中相邻的标记不同。

基于第四方面中的第一种实现方式，在第二种实现方式中，所述标记序列包括有序序列或RGB序列，所述有序序列中的序号包括规律数字或视频帧的帧编号。

基于第四方面中的第一种或第二种实现方式，在第三种实现方式中，所述处理模块还用于：

按照标记序列中顺序排列的至少两个标记的排列顺序，选取所述至少两个标记中第N个标记，以及按照时间先后顺序，从按照时间顺序排列的多个视频帧中选取第N个视频帧，所述N为正整数；

使用所述第N个标记对所述第N个视频帧中的m个像素区域进行标记，m≥1且m为正整数。

可选的，所述m个像素区域分布于所述第N个视频帧的中心区域，所述中心区域是指以第N个视频帧的中心点为中心，围绕所述中心点形成的像素区域。

本申请第五方面还提供一种视频流检测系统，所述系统包括如第三方面所述的终端，以及第四方面所述的视频处理设备。

例如，所述视频处理设备，用于按照预设的第一变化规律对按照时间顺序排列的多个视频帧进行标记，获取标记后的多个视频帧，对所述标记后的多个视频帧进行编码，得到视频流，发送所述视频流给所述终端，所述视频流的所有视频帧按照时间顺序排列，且所述视频流的所有视频帧的标记间的关联关系符合所述第一变化规律；

所述终端，用于接收视频处理设备发送的视频流，从所述视频流中提取按照时间顺序排列的至少两个视频帧的标记，根据至少两个视频帧的标记间的关联关系判断所述视频流中的视频帧是否异常，例如确定所述视频流中按照时间顺序排列的至少两个视频帧的标记间的关联关系是否符合所述第一变化规律，如果不符合，则确定所述视频流异常。

本申请又一方面提供了一种计算机装置，其包括至少一个连接的处理器、存储器和收发器，其中，所述存储器用于存储程序代码，所述处理器用于调用所述存储器中的程序代码来执行上述各方面中由视频处理设备执行的处理多个视频帧和发送视频流的操作，或者执行上述各方面中由终端执行的接收视频流和检测视频帧的操作。

本申请又一方面提供了一种计算机存储介质，其包括指令，当其在计算机上运行时，使得计算机执行上述各方面中由视频处理设备执行的处理多个视频帧和发送视频流的操作，或者执行上述各方面中由终端执行的接收视频流和检测视频帧的操作。

本申请又一方面提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面中由视频处理设备执行的处理多个视频帧和发送视频流的操作，或者执行上述各方面中由终端执行的接收视频流和检测视频帧的操作。

附图说明

图1为本申请实施例中视频监控系统的一种系统架构示意图；

图2为本申请实施例中视频帧处理、检测的方法的流程示意图；

图3为本申请实施例中使用数字序列标记视频帧的一种示意图；

图4为本申请实施例中使用RGB序列标记视频帧的一种示意图；

图5为本申请实施例中使用数字序列标记视频帧的一种位置分布示意图；

图6为本申请实施例中使用数字序列标记视频帧的一种位置分布示意图；

图7为本申请实施例中使用数字序列标记视频帧的一种位置分布示意图；

图8-1为本申请实施例中传输视频流出现丢帧的一种示意图；

图8-2为本申请实施例中传输视频流出现丢帧的一种示意图；

图9为本申请实施例中视频流正常的一种示意图；

图10为本申请实施例中视频流出现花屏的一种示意图；

图11为本申请实施例中视频流出现丢帧的一种示意图；

图12为本申请实施例中视频流出现卡顿的一种示意图；

图13为本申请实施例中视频处理设备的一种结构示意图；

图14为本申请实施例中终端的一种结构示意图；

图15为本申请实施例中视频流检测系统的一种结构示意图

图16为本申请实施例中计算机装置的一种结构示意图。

具体实施方式

本申请实施例提供了一种视频帧检测、处理方法、装置、系统及存储介质，其可应用于视频流检测领域，视频流检测系统包括终端和与所述终端通信的视频处理设备。在该视频流检测系统中，终端用于检测从视频处理设备接收到的视频流是否异常。

该视频帧的检测方法可应用于不同的系统，例如应用于视频监控系统，视频监控系统可以为图1所示的家用监控系统，监控设备作为本申请实施例提供的视频处理设备，用于发送视频流至终端，终端用于检测监控设备发送的视频流是否异常。

在另一实现方式中，该视频帧的检测方法还可应用于视频流的传输环境的监测系统，通过模拟终端和视频流的发送端所在的网络环境的各种可能存在的网络状况，监控视频流传输是否异常。在该监测系统中，该发送端可以部署在视频处理设备中，或与所述视频处理设备分别独立部署。

在另一实现方式中，该视频帧的检测方法还可应用于终端的配置条件对视频流的影响的监测系统，通过模拟终端的各种不同的软件、硬件配置环境，检测终端接收到的视频流是否异常。在该监测系统中，终端接收的视频流是经过视频处理设备预先处理的。

以下先以图1所示的家用监控系统详细介绍本申请实施例提供的视频流检测系统。

如图1所述的家用监控系统，其包括终端、监控设备、路由器。监控设备包括监控摄像头，其中监控摄像头用于采集视场范围内的视频，监控设备用于对监控摄像头采集的视频进行编码等处理，然后以视频流的方式传送到终端。终端一般由用户携带，其可从监控设备处获取监控摄像头采集的视频，从而了解家中状况。其中，本申请涉及的终端可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置，它们与无线接入网交换语音或数据。

基于图1所示的家用监控系统，监控设备在传输视频流至终端之前，用于按照预设的第一变化规律对监控摄像头采集的视频中按照时间顺序排列的多个视频帧进行标记，获取标记后的多个视频帧。对所述标记后的多个视频帧进行编码，得到视频流，然后发送所述视频流给终端。所述视频流的所有视频帧按照时间顺序排列，且所述视频流的所有视频帧的标记间的关联关系符合所述第一变化规律。

终端在接收视频处理设备发送的视频流后，从所述视频流中提取每个视频帧的标记，确定所述视频流中按照时间顺序排列的至少两个视频帧的标记间的关联关系是否符合所述第一变化规律，如果不符合，则确定所述视频流异常。其中，所述视频流包括按照时间顺序排列的多个视频帧，所述视频流中的每个视频帧携带标记。

与现有机制相比，本申请实施例提供的视频监控系统中，视频处理设备在发送视频流之前，按照预设的第一变化规律对多个视频帧中的每个视频帧分别进行了标记处理，所以终端接收到视频流后，直接提取视频流中的各视频帧的标记，再确定所述视频流中按照时间顺序排列的至少两个视频帧的标记间的关联关系是否符合所述第一变化规律，即可判断视频流卡顿、丢帧等问题，准确度高，误判可能性低。

在具体实现时，监控设备和终端均可以预定义标记序列，预定义的所述标记序列符合所述第一变化规律。监控设备通过所述预定义的标记序列对监控摄像头采集的视频中按照时间顺序排列的多个视频帧进行标记，获取包括标记后的多个视频帧的视频流。

以及，终端接收到视频流后，提取该视频流中各视频帧的标记，根据该视频流中按照时间顺序排列的各视频帧的标记间的变化规律判断视频流是否异常。

参照图2，以下对本申请实施例提供的一种视频帧的处理方法和视频帧的检测方法进行举例说明。以下步骤201至203用于描述本申请实施例提供的视频帧处理的方法，具体描述了视频流检测系统中的视频处理设备在发送视频流至终端之前，如何获得经过处理的视频流。以下步骤204和205用于描述本申请实施例提供的检测视频帧的方法，具体描述了视频流检测系统中的终端接收到视频流后，如何检测视频流是否异常。

在本申请实施例中，步骤201-203可以由视频流检测系统中的视频处理设备执行，例如步骤201-203可以由图1所示的家用监控系统中的监控设备执行，以及步骤204和205可以由视频流检测系统中的终端执行，例如步骤204和205可以由图1所示的家用监控系统中的终端执行。

如图2所示，本申请实施例包括以下步骤：

201、视频处理设备按照预设的第一变化规律对按照时间顺序排列的多个视频帧进行标记，获取标记后的多个视频帧。

其中，视频帧是指静止的画面，每个视频帧都具备一个播放时间，可将每个视频帧在所述多个视频帧中的播放时间称为时间窗，时间窗可用视频帧在所述多个视频帧中的播放起始时间戳和播放结束时间戳表现，以及指示视频帧在所述多个视频帧中的播放时长(即持续时长)。每个视频帧的播放时长相同，所述多个视频帧的时间窗在时域上先后排列。

可选的，在本申请的一些实施例中，所述视频处理设备按照标记序列中顺序排列的各标记分别对按照时间顺序排列的多个视频帧进行标记，获取标记后的多个视频帧，所述标记序列的所有标记符合所述预设的第一变化规律。

可选的，所述标记序列包括有序序列或RGB序列。其中，所述有序序列中的序号可包括规律数字、规律字母、规律数字和字母、或视频帧的帧编号，帧编号是指时间轴上的第几个帧(即当前帧的编号)。RGB序列包括多组RGB值，RGB值由R、G、B三种颜色值构成。

例如，标记序列可以是如图3所示的递增的等差数字序列：1、2、3、4…n，视频处理设备分别对n个视频帧进行标记，例如在视频帧1上标记数字1，视频帧2上标记数字2…视频帧n上标记数字n。

又例如，标记序列可以是RGB序列，RGB序列可以是等差RGB序列(其可以是递增的等差RGB数列，也可以是递减的等差RGB序列)，等差RGB序列中的每组RGB序列中的R、G、B值相同或不同，等差RGB序列中的相邻两组的RGB序列对应的R、G、B值的差值相等。如图4所示，RGB序列可以是(10，10，10)、(20，20，20)、(30，30，30)…(10n，10n，10n)，视频处理设备分别对n个视频帧进行标记，例如在视频帧1上标记(10，10，10)，视频帧2上标记(20，20，20)…视频帧n上标记(10n，10n，10n)。

可见，视频处理设备采用有序序列或RGB序列对每个视频帧进行标记，便于终端接收视频流后，可以根据提取的标记来判断接收到的视频流是否存在花屏、丢帧、卡顿等异常问题。另外，视频处理设备与终端之间可预定义几种用于标记的手段，便于终端识别，提高检测的准确度。

上述介绍了标记序列的类型，下面具体介绍本申请实施例中标记序列可能具备的特征：

(1)一些实现方式中，标记序列中相邻的标记不同。

例如，标记序列可以包括1、2、3、4、5、6…n，或者，标记序列可以包括1、2、3、4、1、2、3、4、…。

(2)一些实现方式中，所述标记序列的所有标记不同。

例如，标记序列可以包括1、2、3、4、5、6…n。

(3)一些实现方式中，标记序列中的部分或全部标记可以是子序列。

例如标记序列为有序序列时，其可包括(1，2)、(3，4)、(5，6)、…(n-1，n)，n为正整数；或者其可包括(1，2)、(3，4)、5，6、(7，8)…(n-1，n)；或者其可包括(1，1，1)、(2，2，2)、(3，3，3)、…(n，n，n)。例如标记序列为RGB序列时，其可包括RGB1、RGB2、RGB3、…RGBn，每个RGB均由R、G和B三个色值来表示。

(4)一些实现方式中，所述标记序列中的至少部分(即部分或全部)标记分别为子序列，所述标记序列中的所有子序列中对应位置的元素相同，例如，标记序列可以包括(1，2)、(3，4)、(5，6)、(1，2)、(3，4)、(5，6)、(1，2)、(3，4)、(5，6)、…，或者包括(1，2)、(3，4)、(5，6)、(1，2)、(7，8)、(1，2)、(3，4)、(5，6)、(1，2)、(7，8)…。

(5)一些实现方式中，所述标记序列中的至少部分标记分别为子序列，所述标记序列中的所有子序列中对应位置的元素不同，且每个子序列包括的所有元素相同。例如，标记序列可以包括(1，1)、(2，2)、(3，3)、(4，4)、…(n，n)。

本申请实施例中，所述视频处理设备可按照标记序列中顺序排列的至少两个标记对按照时间顺序排列的多个视频帧进行标记，获取标记后的多个视频帧，其中，所述标记序列的所有标记符合所述第一变化规律，所述标记序列中相邻的标记不同。具体的，所述视频处理设备可按照标记序列中各标记的排列顺序对按照时间顺序排列的多个视频帧进行标记，获取标记后的多个视频帧。

本申请实施例除了对标记序列的特征进行预定义外，还可以对视频帧中标记的位置进行预定义。一些实现方式中，一般视频帧的影像一般集中在视频帧的中间区域，而视频帧的播放画质一般情况下则主要由视频帧的中间区域决定。所以，可以仅针对视频帧的中心区域进行标记，一旦中心区域的标记异常，则可判定该异常标记所属的视频帧异常。本申请实施例中视频帧的中心区域是指该视频帧主要影像所在的区域，例如视频帧的中间区域，边缘区域等，具体本申请不作限定。

所述按照标记序列中连续的至少两个标记对按照时间顺序排列的多个视频帧进行标记，获取标记后的多个视频帧，包括：

视频处理设备可按照标记序列中顺序排列的至少两个标记的排列顺序，选取所述至少两个标记中第N个标记，以及按照时间先后顺序(可按照时间升序或时间降序)，从按照时间顺序排列的多个视频帧中选取第N个视频帧，所述N为正整数；使用所述第N个标记对所述第N个视频帧中的m个像素区域分别进行标记，m≥1且m为正整数。如果所述第N个标记为标记序列中的子序列，按照所述第N个标记中的各元素的顺序按照预定的标记顺序对所述第N个视频帧中的m个像素区域进行标记。

一些实现方式中，m个像素区域在分布时的一种可选的方式为：所述m个像素区域在所述任一视频帧上均匀分布，均匀分布可以是以视频帧的中心点为中心轴对称分布。

m个像素区域在分布时的一种可选的方式为：所述m个像素区域分布于所述第N个视频帧(即视频流中的任一视频帧)的中心区域，所述中心区域是指以所述第N个视频帧的中心点为中心，围绕所述中心点形成的像素区域。

由于视频帧提供画面的最主要的地方为中间区域，所以视频处理设备标记中间区域，检测中间区域即可快速的视频的质量。所以取这些区域进行标记最能体现视频帧的质量，也能减少异常队列的长度。

举例来说，如图5所示的几种标记位置示意图。

图5的a中，m＝5，在视频帧上共标记5个像素区域。像素区域1在纵对称轴的1/4处、像素区域2在横对称轴的3/4处、像素区域3在纵对称轴的3/4处、像素区域4在横对称轴的1/4处、像素区域5在纵对称轴与纵对称轴的交界处(即视频帧的中心区域)。图5的a中，像素区域1、像素区域2、像素区域3、像素区域4以像素区域5对中心对称分布。

图5的b中，m＝5，在视频帧上共标记5个像素区域。像素区域1在对角线1的1/4处、像素区域2在对角线2的3/4处、像素区域3在对角线1的3/4处、像素区域4在对角线2的1/4处、像素区域5在对角线1与对角线2的交界处(即视频帧的中心区域)。

图5的c中，m＝5，在视频帧上共标记5个像素区域。像素区域1在1/3L与1/3W交界处、像素区域2在2/3L与1/3W交界处、像素区域3在2/3L与2/3W交界处、像素区域4在1/3L与2/3W交界处、像素区域5在视频帧的中心区域。

图5的d中，m＝5，在视频帧上工标记6个像素区域。像素区域1在1/4L与1/4W交界处、像素区域2在2/4L与1/4W交界处、像素区域3在3/4L与1/4W交界处、像素区域4在3/4L与3/4W交界处、像素区域5在2/4L与3/4W交界处、像素区域5在1/4L与3/4W交界处。

还可以在图5所示的几种标记方式上对标记的像素区域位置、标记的像素区域数目、标记的像素区域的大小等变化，具体本申请不作赘述。

可见，本申请实施例中通过选取视频帧上对视频帧的播放画质影响较大的的主要区域进行标记，能够减少对那些对视频帧的播放画质影响较小的边缘区域的标记异常所引起的检测异常通知。

一些实现方式中，除了统一对每个视频帧的相同区域进行标记的方式，视频处理设备还可以针对每个视频帧的播放影像所在的区域进行标记。可选的，对于每个视频帧的标记的数目可相同或不同，具体本申请不作限定。

如图6、图7所示，图6中，视频帧1标记5个像素区域，视频帧2标记4个像素区域，且视频帧1和视频帧2中各自标记的像素区域在视频帧的位置不同。图7中，视频帧1中标记了5个像素区域，视频帧2中标记了5个像素区域，且视频帧1和视频帧2中各自标记的像素区域在视频帧的位置不同。

202、所述视频处理设备对标记后的所述多个视频帧进行编码，得到视频流。

203、所述视频处理设备将所述视频流发送给终端。

其中，所述终端接收到的视频流包括多个视频帧，所述多个视频帧按照时间顺序排列的。每个视频帧都具备一个播放时间，可将一个视频帧在该视频流中的播放时间称为时间窗，该视频流中的各视频帧的时间窗在时域上先后排列。

204、所述终端从所述视频流中提取按照时间顺序排列的至少两个视频帧的标记。

在一些实现方式中，由于提取标记的工具可能存在延迟，那么在一个时间窗内提取标记的次数越多，就越能避免漏提取某个视频帧的标记的问题，减少由于漏提取而误判为丢帧的问题。所述终端从所述视频流中提取各视频帧的标记时，可以在一个视频帧的播放时间内至少提取一次该视频帧的标记，所述终端提取视频帧的标记的时间间隔小于或等于一个时间窗，至多为一个时间窗。如果所述终端提取视频帧的标记的时间间隔是一个时间窗的一半，可以确保对该视频帧提取两次标记。其中，提取标记的方式可以是通过图像识别技术识别，例如微信中按照区域识别图片中的文字、表情等，具体提取标记的方式本申请不作限定。

205、所述终端确定所述视频流中按照时间顺序排列的至少两个视频帧的标记间的关联关系是否符合预设的第一变化规律，如果不符合，则确定所述视频流异常。

在步骤205中，终端可以确定所述视频流中按照时间顺序依次排列的所述第一视频帧和所述第二视频帧的标记间的关联关系是否符合预设的标记序列的标记间的关联关系，如果不符合，则确定所述视频流异常，所述标记序列的所有标记符合所述第一变化规律，其中，所述标记序列中相邻的标记不同。所述标记序列的实现方式可以参考上述步骤201中视频处理设备采用的标记序列，具体实现方式不再在此赘述。

由于视频处理设备向终端发送的视频流可能会因为网络质量、采集视频帧的视频处理设备的软/硬件配置存在缺陷等原因导致终端接收的视频流出现丢帧、卡顿等质量问题。为检测终端接收的视频流是否异常以及确定视频流的质量是否合格，在本申请实施例中，视频处理设备通过步骤201-203按照标记序列中标记的排列顺序分别对视频流的每个视频帧添加了标记，所述标记序列的所有标记符合所述预设的第一变化规律，相邻的视频帧间的标记都不同。所以当终端收到视频流后，基于收到的视频流中按照时间顺序排列的至少两个视频帧间的标记关联关系，即可判断终端接收的该视频流与视频处理设备发送的原始视频流是否一致，进而确定所接收到的视频流相对原始视频流而言是否存在丢帧、卡频等现象。

与现有机制相比，本申请实施例中，能够避免计算相邻两帧之间的相似度确定视频流是否存在卡顿，以及避免由于相邻视频帧可能相似度高而被误判为视频流异常的情况出现。本申请实施例通过视频处理设备按照预设的第一变化规律对按照时间顺序排列的多个视频帧进行标记，将包括标记后的多个视频帧的视频流发送至终端，由终端确定所述视频流中按照时间顺序排列的至少两个视频帧的标记间的关联关系是否符合预设的第一变化规律，进而确定视频流是否存在异常，检测视频流异常的方法简单有效。

基于图2所示的方法，本申请实施例不仅可以确定所述视频流是否异常，还可以确定所述异常的视频流的质量是否合格，确定异常的视频流的质量是否合格的方式具体包括：

终端确定所述视频流中不符合所述预设的第一变化规律的视频帧的数量相对所述视频流中的所有视频帧的数量的比例是否小于阈值，如果小于所述阈值，则确定所述视频流质量合格，即达到播放、观看或检测的标准。例如可规定不符合预设的第一变化规律的视频帧数量占所有视频帧的数量的比例达到或超过3％时，认为该视频流质量不合格，如果不符合预设的第一变化规律的视频帧的数量占所有视频帧的数量的比例为2％，即确定该视频流的质量合格。

在本申请实施例中，视频处理设备发送的视频流中的相邻视频帧的标记不同。所述视频流包括至少两个视频帧，本申请实施例根据提取的视频流的多个视频帧的标记，不仅可以准确的确定终端接收的视频流是否异常，还可以确定视频流异常的具体类型，即确定视频流是否卡顿、丢帧或者视频流中的视频帧是否花屏。下面以包括按照时间顺序依次排列的第一视频帧和第二视频帧的视频流为例，分别介绍本申请实施例提供的终端如何确定视频流异常的类型的实现方式，所述第一视频帧的播放时间与所述第二视频帧的播放时间在时域上相邻。

在本申请实施例的一种实现方式中，所述终端确定所述视频流的所述第一视频帧和所述第二视频帧的标记间的关联关系是否符合预设的标记序列的标记间的关联关系，包括：终端确定所述视频流的所述第一视频帧的标记与所述第二视频帧的标记在所述标记序列中是否连续，如果不连续，则确定所述视频流的所述第一视频帧和所述第二视频帧的标记间的关联关系不符合所述标记序列的标记间的关联关系，确定所述视频流异常。本实现方式能够确定视频流的异常属于卡顿或丢帧异常。

例如，如果确认所述第一视频帧的标记与所述第二视频帧的标记相同，由于标记序列中的相邻标记不同，所以终端可以确认所述第一视频帧的标记与所述第二视频帧的标记不连续，进而确定该视频流异常。在这种情况下，视频流异常的情况可以是所述第一视频帧卡顿或所述第一视频帧与所述第二视频帧之间丢帧。

在本申请实施例的一种实现方式中，终端确定视频流的异常为丢帧异常，包括：如果所述第一视频帧的标记与所述第二视频帧的标记不相同，也不连续，则终端可以确定所述视频流丢帧。

在其他实现方式中，相邻标记不同的标记序列具有多种实现方式。实现标记序列的方式不同，确定视频流是否异常以及异常的类型的方式也不同。下面进行示例性说明。

在标记序列的一种可选的实现方式中，如果标记序列中所有标记不同，若终端确定所述视频流的所述第一视频帧的标记与所述第二视频帧的标记在所述标记序列中不连续，则终端可确定所述视频流异常的具体类型为丢帧。

在标记序列的一种可选的实现方式中，如果标记序列中相邻标记不同，并且每间隔固定个数标记的两个标记相同。那么，在该种实现方式下，若终端确定所述视频流的所述第一视频帧的标记与所述第二视频帧的标记在所述标记序列中不连续，则终端可确定所述视频流异常，进而确定所述视频流异常的具体类型为卡顿或者丢帧。

一般情况下，视频流出现丢帧的风险比较小，如果标记序列中相同的两个标记中间隔的固定个数标记的总数量越多，则确定视频流异常的类型为卡顿的概率越大。如此，终端可以根据每相同的两个标记间隔的固定个数确定视频流异常的类型，主要可包括以下几种方式：

如果间隔的所述固定个数大于或等于预设的固定个数，则确定所述视频流异常的具体类型为卡顿。

如果间隔的所述固定个数小于所述预设的固定个数，则确定所述视频流异常的具体类型为卡顿或者丢帧。

可选的，为准确的确定视频流异常的类型，终端在确定所述视频流异常的具体类型为卡顿或者丢帧后，终端可以进一步比较第一视频帧和所述第二视频帧的相似度与预设的阈值的大小，以提高确定视频流异常的类型的准确度。主要可包括以下几种方式：

如果第一视频帧和所述第二视频帧的相似度小于或等于预设的阈值，则确定所述视频流异常的具体类型为卡顿。

如果所述第一视频帧的播放时间早于所述第二视频帧的播放时间，则确定出现卡顿的视频帧为所述第一视频帧。

如果第一视频帧和第二视频帧的相似度大于所述预设的阈值，则确定所述视频帧流异常的具体类型为丢帧。

在标记序列的另一种可选的实现方式中，如果标记序列中所有标记不同，终端确定所述视频流的所述第一视频帧的标记与所述第二视频帧的标记在所述标记序列中不连续，则确定所述视频流异常的具体类型为丢帧。

在本申请提供的另一种实现方式中，终端确定所述视频流的所述第一视频帧和所述第二视频帧的标记间的关联关系是否符合预设的标记序列的标记间的关联关系，包括：

终端可确定所述视频流的所述第一视频帧的标记与所述第二视频帧的标记是否相同，如果相同，则确定各视频帧的标记间的关联关系不符合所述标记序列的标记间的关联关系，确定所述视频流异常。其中，所述标记序列中相邻的标记不同。在本实施例中，标记序列具有多种实现方式，在标记序列的一种可选的实现方式中，如果标记序列中所有标记不同，终端确定所述视频流的所述第一视频帧的标记与所述第二视频帧的标记相同，则确定所述视频流异常的具体类型为卡顿。

例如，每个视频帧的播放时间为40ms，设置终端每20ms提取一次视频帧的标记，对于每个视频帧而言，终端可以提取到2次该视频帧的标记。这样，如果在前40ms内提取的当前的视频帧1的所有标记和在后40ms内提取的与所述当前的视频帧1相邻的下一视频帧2的所有标记部分或全部相同时，则表示实质上终端在前后40ms内是分别对同一个视频帧1进行标记提取。由于一个视频帧的正常播放时间是40ms，如果在视频流的播放的80ms内的前后40ms内，分别对同一个视频帧1进行标记提取，则表明该同一个视频帧在这80ms内出现卡顿，即包括所述视频帧1的视频流出现卡顿。在其他时间窗判断视频帧是否卡顿与判断视频帧1是否卡顿同理，在此不作赘述。另外，如果第一视频帧的播放时间早于第二视频帧，则可以确定出现卡顿的视频帧为所述第一视频帧。

在标记序列的另一种可选的实现方式中，如果标记序列中相邻标记不同，但每间隔固定个数标记的两个标记相同。那么，在这种实现方式下，若终端确定所述视频流的所述第一视频帧的标记与所述第二视频帧的标记相同，则终端可确定所述视频流异常，进而确定所述视频流异常的具体类型为卡顿或丢帧。

一般情况下，视频流出现丢帧的风险比较小，如果标记序列中每相同的两个标记中间隔的固定个数标记的总数量越多，则确定视频流异常的类型为卡顿的概率越大。如此，终端可以根据每相同的两个标记间隔的固定个数确定视频流异常的类型，主要可包括以下几种方式：

如果间隔的所述固定个数大于或等于预设的固定个数，则终端可确定所述视频流异常的具体类型为卡顿。为准确的判断所述视频流异常的具体类型，终端在根据确定所述视频流的所述第一视频帧的标记与所述第二视频帧的标记相同确定所述视频流异常后，可以进一步比较第一视频帧和所述第二视频帧的相似度与预设的相似度阈值的大小，可计算出该相似度与预设的相似度阈值的相似度差值，进而根据该相似度差值确定视频流异常的类型。如果第一视频帧和所述第二视频帧的相似度小于预设的阈值，则确定所述视频流异常的具体类型为卡顿。如果所述第一视频帧的播放时间早于所述第二视频帧的播放时间，则终端确定出现卡顿的视频帧为所述第一视频帧。

在本申请实施例提供的另一种实现方式中，如果预定义视频流中的每个视频帧的标记为一个子序列，相邻的视频帧之间的子序列不同。以及预定义子序列中的所有元素符合预设的规律，例如子序列中的所有元素符合预设的第二变化规律或子序列中的所有元素相同。终端接收到视频流后，确定视频流中的视频帧的异常类型为花屏，包括：

终端确定所述视频流中的任一视频帧的子序列中的所有元素是否符合该预设的规律，如果不符合，则确定所述任一视频帧花屏，所述任一视频帧的子序列中的所有元素符合预设的第二变化规律，或所述任一视频帧的子序列中的所有元素相同。即，若终端确定所述任一视频帧的子序列中的所有元素符合预设的第二变化规律时，或确定所述任一视频帧的子序列中的所有元素相同时，均可确定所述任一视频帧花屏。

以第一视频帧为例，终端判断第一视频帧是否花屏时，若确定该第一视频帧的子序列中的所有元素不符合所述第二变化规律，则可确定该视频帧花屏。或者，视频处理设备在第一视频帧中标记了第一子序列，该第一子序列中的所有元素都相同。那么，终端判断该第一视频帧是否花屏时，可根据标记序列判断该第一视频帧中的子序列是否为所述第一子序列，若否，则终端可确定该第一视频帧花屏；若是，则终端可确定该第一视频帧未出现花屏。

如果某个视频帧内的标记乱序、或者RGB值变化，都属于不符合标记序列的变化规律，那么可以认为该视频帧花屏，可见，本申请的检测机制能够解决现有技术中无法用相似度比较的机制判断的问题。如图8-1所示的视频流传输前后的示意图，由图8-1可知，终端接收视频流中包括第一视频帧和第二视频帧，第一视频帧的标记为7，第二视频帧的标记为x，第三视频帧的标记为9。由于第一视频帧、第二视频帧和第三视频帧在所述视频流中互为相邻帧，正常情况下第二视频帧的帧编号应该为8，但图8-1中的第二视频帧的标记为x，所以终端可以确定该第一视频帧与第三视频帧之间的第二视频帧存在花屏现象。

举例来说，当标记序列中的每个标记为单个元素时，若视频处理设备和终端均预定义：在视频帧中的m个像素区域分别标记相同的标记(如图6或图7所示)，那么终端在提取到m个像素区域中的标记后，只需要根据标记序列判断m个像素区域中的这些标记是否相同且与相邻帧的标记间是否符合标记序列的变化规律，若相同且该视频帧与相邻帧的标记间不符合标记序列的变化规律，则该视频帧与其相邻帧之间一定存在丢帧；若不相同，则该视频帧一定存在花屏。

在上述图2所示的实施例中，视频流中按照时间顺序排列的至少两个视频帧的标记间的关联关系不符合预设的第一变化规律，则所述视频流异常。在本申请的一些实现方式中，所述终端接收视频处理设备发送的视频流后，从所述视频流中提取每个视频帧的标记，确定所述视频流中按照时间顺序排列的所有视频帧的标记间的关联关系是否符合预设的第一变化规律，如果符合，则确定所述视频流正常。

在另一些实现方式中，所述确定所述视频流中按照时间顺序排列的所有视频帧的标记间的关联关系是否符合预设的第一变化规律，包括：确定所述视频流中按照时间顺序排列的所有视频帧的标记间的关联关系是否符合预设的标记序列的标记间的关联关系，如果符合，则确定所述视频流正常，所述标记序列的所有标记符合所述第一变化规律。

为便于理解，下面以RGB序列标记视频帧为例介绍本申请中的检测视频帧的方法。视频处理设备采用如图4中的RGB序列分别对各对视频帧进行标记，标记完成后，通过网络传输给终端，终端接收到来自视频处理设备的视频流后，在终端上播放接收到的视频流。终端在视频流播放过程中以每20ms为时间间隔提取视频流中各视频帧的标记。终端也可以边接收来自视频处理设备的视频流，边播放并提取视频帧的标记，也可以每接收200ms的视频流后提取一次视频帧的标记，具体本申请不对提取视频帧的时机、提取频率进行限定。下面结合应用场景分别介绍视频流正常、花屏、丢帧和卡顿的情况：

下面结合应用场景介绍视频流正常的情况。

如图9所示，终端以第一次提取为起始时间点，在每相邻两次提取的视频帧的标记相同，在第一次、第二次提取的RGB值均为(10，10，10)，在第三次、第四次提取的RGB值均为(20，20，20)，在第五次、第六次提取的RGB值均为(30，30，30)。可见，每帧内的RGB值都一致，表明这三帧都未出现花屏现象。第二次提取的RGB值与第三次提取的RGB值连续，第四次提取的RGB值与第五次提取的RGB值连续，则表明RGB值为(10，10，10)的视频帧与RGB值为(20，20，20)的视频帧之间未出现丢帧、卡顿现象，RGB值为(20，20，20)的视频帧与RGB值为(30，30，30)的视频帧之间也未出现丢帧、卡顿现象。

下面结合应用场景介绍视频流出现花屏的情况。

如图10所示，终端在第一次、第二次提取的RGB值均为(10，10，10)，在第三次、第四次提取的RGB值均为(10，17，180)、(50，250，90)、(80，20，100)、(60，200，90)、(170，20，20)，在第五次、第六次提取的RGB值均为(30，30，30)。可见，在第一次、第二次、第五次、第六次所提取的每帧内的RGB值都一致，这两帧都未出现花屏现象。但是第三次、第四次所提取的RGB值不一致，并且不符合RGB序列的变化规律，所以，RGB值为(10，10，10)的视频帧与RGB值为(30，30，30)的视频帧之间出现花屏现象。

下面结合应用场景介绍视频流出现丢帧的情况。

例如以标记序列为1、2、3、…n为例，视频处理设备使用该标记序列对多个视频帧依次标记为1、2、3、…n。图8-2为视频流传输前后的示意图。由图8-2可知，终端接收视频流中包括第一视频帧和第二视频帧，第一视频帧的标记为7，第二视频帧的标记为9，由于第一视频帧与第二视频帧在所述终端接收到的视频流中互为相邻帧，所以，可以确定终端接收的视频流的第一视频帧与第二视频帧之间存在丢帧(即丢失了帧编号为8的视频帧)，所以才导致终端接收到的视频流中二者出现互为相邻帧的现象。

同样，以图9对应的实施例为对比，如图11所示，终端在第一次、第二次提取的RGB值均为(10，10，10)，在第三次、第四次提取的RGB值均为(20，20，20)，在第五次、第六次提取的RGB值均为(40，40，40)。虽然每帧内的RGB值都一致，但是仅能表明这三帧都未出现花屏现象。但是，第四次提取的RGB值与第五次、第六次提取的RGB值不连续，则表明RGB值为(20，20，20)的视频帧与RGB值为(40，40，40)的视频帧之间出现丢帧现象。

下面结合应用场景介绍视频流出现卡顿的情况。

终端会内置提取视频帧的标记的工具。若终端在第一时间窗内提取的视频帧的标记与在第二时间窗内提取的视频帧的标记部分或全部相同，则所述终端可确定所述视频流存在卡顿，所述第一时间窗在时域上早于所述第二时间窗。

例如，设一个时间窗为T，将提取视频帧的时间点限定在至少2个T＝40ms内。这样，若终端在至少两个连续的T内，例如分别在前后两个T1和T2内提取到相同的标记，则表示在T1和T2内提取的标志对应的视频帧出现卡顿。

在T1和T2内提取到相同的标记，主要包括下述几种情况：

a、在T1的1-40ms内提取的标记与在T2的1-20ms相同。

b、在T1的1-40ms内提取的标记与T2的1-40ms相同。

c、在T1的20-40ms内提取的标记与在T2的1-20ms相同。

d、在T1的2-40ms内提取的标记与在T2的1-40ms相同。

为便于理解，下面结合应用场景介绍视频流出现卡顿的情况。

同样，以图9对应的实施例为对比，如图12所示，终端在第一次、第二次提取的RGB值均为(10，10，10)，在第三次、第四次、第五次、第六次提取的RGB值均为(20，20，20)。虽然每帧内的RGB值都一致，但是仅能表明这三帧都未出现花屏现象。但是，第三次、第四次、第五次、第六次提取的RGB值均相同，而正常帧只会提取到两次，所以可以确定第三次、第四次、第五次、第六次提取的RGB值为(20，20，20)的视频帧出现卡顿现象。

上述图1-图12中任一所对应的实施例中所介绍的各个技术特征均可应用于以下图13-图16中任意所对应的实施例，均不作赘述。

下面分别介绍执行上述视频帧处理的方法的视频处理设备、执行上述检测视频帧的方法的终端。

可参照图13所示的视频处理设备10，本申请实施例中的视频处理设备10能够实现上述图2所对应的实施例中由视频处理设备处理多个视频帧的步骤的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。示例性的，所述视频处理设备10可包括处理模块和收发模块，所述处理模块的功能实现可参考图2所对应的实施例中由视频处理设备处理多个视频帧的操作，此处不作赘述。所述收发模块的功能实现可参考图2所对应的实施例中由视频处理设备发送视频流的操作，处理模块可用于控制所述收发模块的收发操作。

本申请实施例中，所述处理模块可用于按照预设的第一变化规律对按照时间顺序排列的多个视频帧进行标记，获取标记后的多个视频帧，对所述标记后的多个视频帧进行编码，得到视频流，所述视频流的所有视频帧按照时间顺序排列，且所述视频流的所有视频帧的标记间的关联关系符合所述第一变化规律。

所述收发模块可用于发送所述视频流给终端，以使所述终端从所述视频流中提取每个视频帧的标记，根据所述视频流中的至少两个视频帧的标记间的关联关系判断所述视频流是否异常。

本申请实施例中，由本申请实施例中的处理模块对多个视频帧中的每个视频帧标记后编码，使得终端接收到标记的视频帧，能够准确的根据至少两个视频帧的标记间的关联关系来判断卡顿、丢帧、花屏等异常问题，以及有效的避免因为相似度的判断而导致误判为卡顿的问题，准确度高，误判可能性低。

可选的，所述处理模块还用于按照标记序列中顺序排列的至少两个标记对按照时间顺序排列的多个视频帧进行标记，获取标记后的多个视频帧，其中，所述标记序列的所有标记符合所述第一变化规律，所述标记序列中相邻的标记不同。

可选的，所述标记序列包括有序序列或RGB序列，所述有序序列中的序号包括规律数字或视频帧的帧编号。

可选的，所述处理模块还用于按照标记序列中顺序排列的至少两个标记的排列顺序，选取所述至少两个标记中第N个标记，以及按照时间先后顺序，从按照时间顺序排列的多个视频帧中选取第N个视频帧，所述N为正整数；

使用所述第N个标记对所述第N个视频帧中的m个像素区域进行标记，m≥1且m为正整数。

可选的，所述m个像素区域分布于所述第N个视频帧的中心区域，所述中心区域是指以第N个视频帧的中心点为中心，围绕所述中心点形成的像素区域。

可参照图14所示的终端20，本申请实施例中的终端20能够实现对应于上述图2所对应的实施例中由终端所执行的检测视频帧的步骤。终端20实现的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。该终端20可以称为接收设备、接收端等，具体不作限定。所述终端20可包括收发模块和处理模块，所述处理模块的功能实现可参考图2所对应的实施例中由终端检测多个视频帧的操作，此处不作赘述。所述收发模块的功能实现可参考图2所对应的实施例中由终端接收视频流的操作，处理模块可用于控制所述收发模块的收发操作。

本申请实施例中，所述收发模块可用于接收视频处理设备10发送的视频流，所述视频流包括按照时间顺序排列的多个视频帧。

所述处理模块可用于从所述视频流中提取按照时间顺序排列的至少两个视频帧的标记，确定所述视频流按照时间顺序排列的至少两个视频帧的标记间的关联关系是否符合预设的第一变化规律，如果不符合，则确定所述视频流异常。

本申请实施例中，由本申请实施例中的收发模块接收到标记的视频帧后，处理模块能够在提取各视频帧的标记后，根据至少两个视频帧的标记间的关联关系来判断卡顿、丢帧等异常问题，也能有效的避免因为相似度的判断而导致误判为卡顿的问题，准确度高，误判可能性低。

一些实现方式中，所述视频流包括按照时间顺序依次排列的第一视频帧和第二视频帧，所述处理模块还用于确定所述视频流的所述第一视频帧和所述第二视频帧的标记间的关联关系是否符合预设的标记序列的标记间的关联关系，如果不符合，则确定所述视频流异常，所述标记序列的所有标记符合所述第一变化规律，其中，所述标记序列中相邻的标记不同。

一些实现方式中，所述处理模块还用于确定所述视频流的所述第一视频帧的标记与所述第二视频帧的标记是否相同，如果相同，则确定所述第一视频帧和所述第二视频帧的标记间的关联关系不符合所述标记序列的标记间的关联关系，确定所述视频流异常(异常类型可为卡顿或丢帧)。如果不相同，若第一视频帧的时间窗在时域上早于所述第二视频帧，则确定第一视频帧与所述第二视频帧的标记间的关联关系符合所述标记序列的标记间的关联关系，确定所述第一视频帧未出现卡顿。

一些实现方式中，所述处理模块在判断视频流是否存在卡顿或丢帧的情况时，所述处理模块可确定所述第一视频帧的标记与所述第二视频帧的标记在所述标记序列中是否连续，如果不连续，则确定所述视频流的所述第一视频帧和所述第二视频帧的标记间的关联关系不符合所述标记序列的标记间的关联关系，确定所述视频流异常(异常类型可为卡顿或丢帧)。

一些实现方式中，所述处理模块还用于确定所述视频流的所述第一视频帧的标记与所述第二视频帧的标记在所述标记序列中是否连续，以及是否相同，如果不相同，也不连续，则确定所述视频流的所述第一视频帧和所述第二视频帧的标记间的关联关系不符合所述标记序列的标记间的关联关系，确定所述视频流丢帧。

一些实现方式中，本申请中的处理模块除了用于确认视频流是否存在丢帧和卡顿问题，还能够用于确定视频流是否存在花屏问题。例如所述视频帧的标记为所述任一视频帧的子序列，所述标记序列的至少部分标记分别为子序列时，相应的，在视频处理设备发出的视频流中，的部分或全部视频帧的标记为子序列。那么，在终端20的收发模块收到来自视频处理设备10的视频流后，所述终端20的处理模块可用于确定所述视频流中的所述第一视频帧的子序列中的所有元素是否符合预设的规律，如果不符合，则确定所述第一视频帧花屏，其中，所述视频流中的每个视频帧的标记均为子序列，所述视频流中的每个视频帧的子序列符合所述预设的规律；所述预设的规律包括：

所述任一视频帧的子序列中的所有元素符合预设的第二变化规律，或所述任一视频帧子序列中的所有元素相同。

需要说明的是，本申请实施例中的第二视频帧的标记也可为子序列，关于判断第二视频帧异常(包括花屏和卡顿)的介绍都可参考第一视频帧的介绍，不作赘述。

在本申请实施例中，所述标记序列中相邻的标记不同。

一些实现方式中，所述标记序列的所有标记不同，或所述标记序列中的至少部分子序列中对应位置的元素相同。

一些实现方式中，本申请实施例中为了保证提取的视频帧的标记的完整性，避免因为漏提取视频帧的标记所导致的误判问题，所述处理模块在提取视频帧的标记时，具体可在一个视频帧的播放时间内至少提取一次视频帧上的标记，所述处理模块提取视频帧的标记的时间间隔小于或等于一个时间窗，至多为一个时间窗。

本申请实施例还提供一种终端，其结构可参考如图14所述的终端20。所述收发模块还用于接收视频处理设备发送的视频流，所述视频流包括按照时间顺序排列的多个视频帧，所述视频流中的每个视频帧携带标记；所述处理模块还用于从所述视频流中提取每个视频帧的标记，确定所述视频流中按照时间顺序排列的所有视频帧的标记间的关联关系是否符合预设的第一变化规律，如果符合，则确定所述视频流正常。

在该实施例中，所述处理模块，还用于确定所述视频流中按照时间顺序排列的所有视频帧的标记间的关联关系是否符合预设的标记序列的标记间的关联关系，如果符合，则确定所述视频流正常，其中，所述标记序列的所有标记符合所述第一变化规律。

可参照图15，本申请实施例中还提供一种视频流检测系统30，该视频流检测系统系统30可包括终端20，以及与所述终端20通信的视频处理设备10，终端20用于检测从视频处理设备10接收的视频流是否异常。终端20接收的视频流中的视频帧是由视频处理设备10经过处理后发送的。视频处理设备10对视频帧进行处理的功能可以参考基于图2所对应的实施例中所描述的视频处理设备10处理多个视频帧的实现细节。终端20检测视频流异常的功能可以参考基于图2所对应的实施例中所描述的终端20检测视频流异常的实现细节。终端20检测视频流正常的功能可以参考基于图2所对应的实施例中所描述的终端20检测视频流异常的实现细节。

本申请实施例中的视频处理设备10能够实现如图2所对应的实施例中所介绍的视频处理设备处理多个视频帧的相同或相似的全部功能，终端20能够实现如图2所对应的实施例中所介绍的终端检测视频帧的相同或相似的全部功能。

其中，所述视频处理设备10可用于按照预设的第一变化规律对按照时间顺序排列的多个视频帧进行标记，获取标记后的多个视频帧，对所述标记后的多个视频帧进行编码，得到视频流，发送所述视频流给所述终端20，其中，所述视频流的所有视频帧按照时间顺序排列，且所述视频流的所有视频帧的标记间的关联关系符合所述预设的第一变化规律。

所述终端20可用于接收所述视频处理设备10发送的视频流，从所述视频流中提取按照时间顺序排列的至少两个视频帧的标记，根据至少两个视频帧的标记间的关联关系判断所述视频流是否异常，例如确定所述视频流的至少两个视频帧的标记间的关联关系是否符合所述第一变化规律，如果不符合，则确定所述视频流异常。

本申请实施例还提供一种视频流检测系统，其结构可参考如图15视频流检测系统30。一些实现方式中，所述终端20可用于接收所述视频处理设备10发送的视频流，确定所述视频流中按照时间顺序排列的所有视频帧的标记间的关联关系是否符合预设的第一变化规律，如果符合，则确定所述视频流正常。

该系统可以是视频监控系统，其用于现场部署视频监控系统时检测视频流传输质量；该系统也可以是视频提供方的视频流检测系统，模拟接收视频流的终端的网络状况、硬件状况等环境，检测出各种环境下视频流的传输质量，便于对视频流的传输进行改善。

本申请各实施例(包括图13、图14所示的各实施例)中所有的收发模块对应的实体设备可以为收发器，所有的处理模块对应的实体设备可以为处理器。图13、图14所示的各装置均可以具有如图16所示的结构，当其中一种装置具有如图16所示的结构时，图16中的处理器和收发器实现前述对应该装置的装置实施例提供的处理模块和收发模块相同或相似的功能。例如当视频处理设备具有如图16所示的结构时，图16中的存储器存储处理器执行上述由视频处理设备执行视频帧处理的方法时需要调用的程序代码。具体来说，图16中的处理器能够调用存储器中的程序代码执行以下操作：

按照预设的第一变化规律对按照时间顺序排列的多个视频帧进行标记，获取标记后的多个视频帧；

对标记后的所述多个视频帧进行编码，得到视频流；

通过所述收发器发送所述视频流给终端，以使所述终端提取所述视频流中的每个视频帧的标记，根据所述视频流的至少两个视频帧的标记间的关联关系是否符合所述第一变化规律判断所述视频流是否异常。

又例如当终端具有如图16所示的结构时，图16中的存储器存储处理器执行上述图2所示的由终端执行检测视频帧的方法时需要调用的程序代码。具体来说，图16中的处理器能够调用存储器中的程序代码执行以下操作：

通过收发器接收视频处理设备发送的视频流，所述视频流包括按照时间顺序排列的多个视频帧；

从所述视频流中提取按照时间顺序排列的至少两个视频帧的标记；

确定所述视频流中按照时间顺序排列的至少两个视频帧的标记间的关联关系是否符合预设的第一变化规律，如果不符合，则确定所述视频流异常。

又例如当终端具有如图16所示的结构时，图16中的存储器存储处理器执行上述由终端执行检测视频帧的方法时需要调用的程序代码。具体来说，图16中的处理器能够调用存储器中的程序代码执行以下操作：

通过收发器接收视频处理设备发送的视频流，所述视频流包括按照时间顺序排列的多个视频帧；

从所述视频流中提取按照时间顺序排列的至少两个视频帧的标记；

确定所述视频流中按照时间顺序排列的所有视频帧的标记间的关联关系是否符合预设的第一变化规律，如果符合，则确定所述视频流正常。

所述确定所述视频流中按照时间顺序排列的所有视频帧的标记间的关联关系是否符合预设的第一变化规律，包括：

确定所述视频流中按照时间顺序排列的所有视频帧的标记间的关联关系是否符合预设的标记序列的标记间的关联关系，如果符合，则确定所述视频流正常，所述标记序列的所有标记符合所述第一变化规律。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。

所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

以上对本申请所提供的技术方案进行了详细介绍，本申请中应用了具体个例对本申请的原理及实现方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实现方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (28)

1.一种检测视频帧的方法，其特征在于，由终端执行，所述方法包括：

接收视频处理设备发送的视频流，所述视频流包括按照时间顺序排列的多个视频帧，所述视频流中的每个视频帧携带标记；

从所述视频流中提取按照时间顺序排列的至少两个视频帧的标记；

确定所述视频流中按照时间顺序排列的至少两个视频帧的标记间的关联关系是否符合预设的第一变化规律，如果不符合，则确定所述视频流异常。

2.如权利要求1所述的方法，其特征在于，所述视频流包括按照时间顺序依次排列的第一视频帧和第二视频帧，所述确定所述视频流中按照时间顺序排列的至少两个视频帧的标记间的关联关系是否符合预设的第一变化规律，包括：

确定所述视频流的所述第一视频帧和所述第二视频帧的标记间的关联关系是否符合预设的标记序列的标记间的关联关系，如果不符合，则确定所述视频流异常，所述标记序列的所有标记符合所述第一变化规律，其中，所述标记序列中相邻的标记不同。

3.根据权利要求2所述的方法，其特征在于，所述确定所述视频流的所述第一视频帧和所述第二视频帧的标记间的关联关系是否符合预设的标记序列的标记间的关联关系，包括：

确定所述视频流的所述第一视频帧的标记与所述第二视频帧的标记是否相同，如果相同，则确定所述视流的所述第一视频帧和所述第二视频帧的标记间的关联关系不符合所述标记序列的标记间的关联关系，确定所述视频流异常。

4.如权利要求2所述的方法，其特征在于，所述确定所述视频流的所述第一视频帧和所述第二视频帧的标记间的关联关系是否符合预设的标记序列的标记间的关联关系，包括：

确定所述视频流的所述第一视频帧的标记与所述第二视频帧的标记在所述标记序列中是否连续，如果不连续，则确定所述视频流的所述第一视频帧和所述第二视频帧的标记间的关联关系不符合所述标记序列的标记间的关联关系，确定所述视频流异常。

5.如权利要求2所述的方法，其特征在于，所述确定所述视频流的所述第一视频帧和所述第二视频帧的标记间的关联关系是否符合预设的标记序列的标记间的关联关系，包括：

确定所述视频流的所述第一视频帧的标记与所述第二视频帧的标记在所述标记序列中是否连续，以及是否相同，如果不相同，也不连续，则确定所述视频流的所述第一视频帧和所述第二视频帧的标记间的关联关系不符合所述标记序列的标记间的关联关系，确定所述视频流丢帧。

6.如权利要求2-5中任一所述的方法，其特征在于，所述方法还包括：

确定所述视频流中的任一视频帧的子序列中的所有元素是否符合预设的规律，如果不符合，则确定所述任一视频帧花屏，其中，所述视频流中的每个视频帧的标记均为子序列，所述视频流中的每个视频帧的子序列符合所述预设的规律，所述预设的规律包括：

所述任一视频帧的子序列中的所有元素符合预设的第二变化规律，或所述任一视频帧的子序列中的所有元素相同。

7.如权利要求2-5中任一所述的方法，其特征在于，所述标记序列的所有标记不同；

或，所述标记序列中的至少部分标记分别为子序列，所述标记序列中的所有子序列中对应位置的元素相同；

或，所述标记序列中的至少部分标记分别为子序列，所述标记序列中的所有子序列中对应位置的元素不同，且每个子序列包括的所有元素相同。

8.一种检测视频帧的方法，其特征在于，由终端执行，所述方法包括：

接收视频处理设备发送的视频流，所述视频流包括按照时间顺序排列的多个视频帧，所述视频流中的每个视频帧携带标记；

从所述视频流中提取每个视频帧的标记；

确定所述视频流中按照时间顺序排列的所有视频帧的标记间的关联关系是否符合预设的第一变化规律，如果符合，则确定所述视频流正常。

9.如权利要求8所述的方法，其特征在于，所述确定所述视频流中按照时间顺序排列的所有视频帧的标记间的关联关系是否符合预设的第一变化规律，包括：

确定所述视频流中按照时间顺序排列的所有视频帧的标记间的关联关系是否符合预设的标记序列的标记间的关联关系，如果符合，则确定所述视频流正常，所述标记序列的所有标记符合所述第一变化规律。

10.一种视频帧处理的方法，其特征在于，由视频处理设备执行，所述方法包括：

按照预设的第一变化规律对按照时间顺序排列的多个视频帧进行标记，获取标记后的多个视频帧；

对所述标记后的多个视频帧进行编码，得到视频流，所述视频流的所有视频帧按照时间顺序排列，且所述视频流的所有视频帧的标记间的关联关系符合所述预设的第一变化规律；

发送所述视频流给终端，以使所述终端从所述视频流中提取按照时间顺序排列的至少两个视频帧的标记，根据所述视频流中按照时间顺序排列的至少两个视频帧的标记间的关联关系判断所述视频流是否异常。

11.根据权利要求10所述的方法，其特征在于，所述按照预设的第一变化规律对按照时间顺序排列的多个视频帧进行标记，获取标记后的多个视频帧，包括：

按照标记序列中顺序排列的至少两个标记对按照时间顺序排列的多个视频帧进行标记，获取标记后的多个视频帧，其中，所述标记序列的所有标记符合所述第一变化规律，所述标记序列中相邻的标记不同。

12.根据权利要求11所述的方法，其特征在于，所述标记序列包括有序序列或RGB序列，所述有序序列中的序号包括规律数字或视频帧的帧编号。

13.根据权利要求11或12所述的方法，其特征在于，所述按照标记序列中连续的至少两个标记对按照时间顺序排列的多个视频帧进行标记，获取标记后的多个视频帧，包括：

按照标记序列中顺序排列的至少两个标记的排列顺序，选取所述至少两个标记中第N个标记，以及按照时间先后顺序，从按照时间顺序排列的多个视频帧中选取第N个视频帧，所述N为正整数；

使用所述第N个标记对所述第N个视频帧中的m个像素区域进行标记，m≥1且m为正整数。

14.根据权利要求13所述的方法，其特征在于，所述m个像素区域分布于所述第N个视频帧的中心区域，所述中心区域是指以所述第N个视频帧的中心点为中心，围绕所述中心点形成的像素区域。

15.一种终端，其特征在于，所述终端包括：

收发模块，用于接收视频处理设备发送的视频流，所述视频流包括按照时间顺序排列的多个视频帧，所述视频流中的每个视频帧携带标记；

处理模块，用于从所述视频流中提取按照时间顺序排列的至少两个视频帧的标记；

确定所述视频流中按照时间顺序排列的至少两个视频帧的标记间的关联关系是否符合预设的第一变化规律，如果不符合，则确定所述视频流异常。

16.如权利要求15所述的终端，其特征在于，所述视频流包括按照时间顺序依次排列的第一视频帧和第二视频帧，所述处理模块还用于：

确定所述视频流的所述第一视频帧和所述第二视频帧的标记间的关联关系是否符合预设的标记序列的标记间的关联关系，如果不符合，则确定所述视频流异常，所述标记序列的所有标记符合所述第一变化规律，其中，所述标记序列中相邻的标记不同。

17.根据权利要求16所述的终端，其特征在于，所述处理模块还用于：

确定所述视频流的所述第一视频帧的标记与所述第二视频帧的标记是否相同，如果相同，则确定所述第一视频帧和所述第二视频帧的标记间的关联关系不符合所述标记序列的标记间的关联关系，确定所述视频流异常。

18.如权利要求17所述的终端，其特征在于，所述处理模块还用于：

确定所述第一视频帧的标记与所述第二视频帧的标记在所述标记序列中是否连续，如果不连续，则确定所述视频流的所述第一视频帧和所述第二视频帧的标记间的关联关系不符合所述标记序列的标记间的关联关系，确定所述视频流异常。

19.如权利要求17所述的终端，其特征在于，所述处理模块还用于：

确定所述视频流的所述第一视频帧的标记与所述第二视频帧的标记在所述标记序列中是否连续，以及是否相同，如果不相同，也不连续，则确定所述视频流的所述第一视频帧和所述第二视频帧的标记间的关联关系不符合所述标记序列的标记间的关联关系，确定所述视频流丢帧。

20.如权利要求16-19中任一所述的终端，其特征在于，所述处理模块还用于：

确定所述视频流中的所述任一视频帧的子序列中的所有元素是否符合预设的规律，如果不符合，则确定所述任一视频帧花屏，其中，所述视频流中的每个视频帧的标记分别为子序列，所述视频流中的每个视频帧的子序列符合所述预设的规律，所述预设的规律包括：

所述任一视频帧的子序列中的所有元素符合预设的第二变化规律，或所述任一视频帧的子序列中的所有元素相同。

21.一种终端，其特征在于，所述终端包括：

收发模块，用于接收视频处理设备发送的视频流，所述视频流包括按照时间顺序排列的多个视频帧，所述视频流中的每个视频帧携带标记；

处理模块，用于从所述视频流中提取每个视频帧的标记，确定所述视频流中按照时间顺序排列的所有视频帧的标记间的关联关系是否符合预设的第一变化规律，如果符合，则确定所述视频流正常。

22.一种视频处理设备，其特征在于，所述视频处理设备包括：

处理模块，用于按照预设的第一变化规律对按照时间顺序排列的多个视频帧进行标记，获取标记后的多个视频帧，对所述标记后的多个视频帧进行编码，得到视频流，所述视频流的所有视频帧按照时间顺序排列，且所述视频流的所有视频帧的标记间的关联关系符合所述预设的第一变化规律；

收发模块，用于发送所述视频流给终端，以使所述终端从所述视频流中提取按照时间顺序排列的至少两个视频帧的标记，根据所述视频流中中按照时间顺序排列的至少两个视频帧的标记间的关联关系判断所述视频流是否异常。

23.根据权利要求22所述的视频处理设备，其特征在于，所述处理模块还用于：

按照标记序列中顺序排列的至少两个标记对按照时间顺序排列的多个视频帧进行标记，获取标记后的多个视频帧，其中，所述标记序列的所有标记符合所述第一变化规律，所述标记序列中相邻的标记不同。

24.根据权利要求23所述的视频处理设备，其特征在于，所述标记序列包括有序序列或RGB序列，所述有序序列中的序号包括规律数字或视频帧的帧编号。

25.根据权利要求23或24所述的视频处理设备，其特征在于，所述处理模块还用于：

按照标记序列中顺序排列的至少两个标记的排列顺序，选取所述至少两个标记中第N个标记，以及按照时间先后顺序，从按照时间顺序排列的多个视频帧中选取第N个视频帧，所述N为正整数，使用所述第N个标记对所述第N个视频帧中的m个像素区域进行标记，m≥1且m为正整数。

26.一种视频流检测系统，其特征在于，所述系统包括如权利要求22-25中任一项所述的视频处理设备、以及如权利要求15-20中任一项所述的终端；

其中，所述视频处理设备，用于按照预设的第一变化规律对按照时间顺序排列的多个视频帧进行标记，获取标记后的多个视频帧；对所述标记后的多个视频帧进行编码，得到视频流，发送所述视频流给所述终端，所述视频流的所有视频帧按照时间顺序排列，且所述视频流的所有视频帧的标记间的关联关系符合所述预设的第一变化规律；

所述终端，用于接收所述视频处理设备发送的视频流，从所述视频流中提取按照时间顺序排列的至少两个视频帧的标记，确定所述视频流中按照时间顺序排列的至少两个视频帧的标记间的关联关系是否符合预设的第一变化规律，如果不符合，则确定所述视频流异常。

27.一种视频流检测系统，其特征在于，所述系统包括如权利要求22-25中任一项所述的视频处理设备、以及如权利要求21所述的终端；

其中，所述视频处理设备，用于按照预设的第一变化规律对按照时间顺序排列的多个视频帧进行标记，获取标记后的多个视频帧，对所述标记后的多个视频帧进行编码，得到视频流，发送所述视频流给所述终端，所述视频流的所有视频帧按照时间顺序排列，且所述视频流的所有视频帧的标记间的关联关系符合所述预设的第一变化规律；

所述终端，用于接收所述视频处理设备发送的视频流，从所述视频流中提取按照时间顺序排列的至少两个视频帧的标记，确定所述视频流中按照时间顺序排列的所有视频帧的标记间的关联关系是否符合预设的第一变化规律，如果符合，则确定所述视频流正常。

28.一种计算机存储介质，其特征在于，其包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-7任一所述的方法，或者执行如权利要求8或9所述的方法，或者执行如权利要求10-14中任一项所述的方法。