CN110662023B - 视频数据丢失的检测方法、装置及存储介质 - Google Patents

Abstract

本申请涉及一种视频数据丢失的检测方法、装置及存储介质，属于图像处理技术领域，该方法包括：对于视频数据中的单帧图像数据，确定图像数据中的指定区域；指定区域是在视频数据存在丢失时显示视频丢失提示信息的区域；获取指定区域的第一区域像素值，以及除指定区域之外的其它区域的第二区域像素值；在第一区域像素值与第二区域像素值之间的差异大于差异阈值时，确定图像数据为丢失数据；可以解决增加视频检测电路检测视频是否存在丢失，导致电子设备的结构复杂度增加的问题；可以实现在不增加视频检测电路的情况下对视频数据丢失的检测。

Description

视频数据丢失的检测方法、装置及存储介质

技术领域

本申请涉及视频数据丢失的检测方法、装置及存储介质，属于图像处理技术领域。

背景技术

视频数据传输过程中可能需要经过多个电子设备，每个电子设备对视频进行编码、压缩和/或图像处理等操作或者未执行任何操作后，将该视频数据传输至下一电子设备。在视频采集、多个电子设备之间传输视频数据、或者某一电子设备对视频数据进行操作时，视频数据可能会发生数据丢失。

以依次通过电子设备A、B、C和D传输视频数据为例，视频数据通过电子设备A采集后，依次经过电子设备B和电子设备C，最终到达电子设备D。如果视频丢失情况发生在电子设备C，电子设备D可判断出视频丢失；如果视频丢失情况发生在电子设备B或电子设备A，这些电子设备会输出带有视频丢失提示信息的视频屏幕显示(on screen display，OSD)传输到下一个电子设备，如果下个电子设备没有视频丢失检测算法，那么电子设备D仍可接收到视频数据，无法检测出视频丢失。

现有的视频丢失检测装置通过增加视频检测电路，通过视频检测电路来检测是否存在视频传输；有视频传输和无视频时分别发送不同的电平。

然而，增加视频检测电路会增加视频丢失检测装置的内部器件，提高视频丢失检测装置的结构复杂度。

发明内容

本申请提供了一种视频数据丢失的检测方法、装置及存储介质，可以解决增加视频检测电路检测视频是否存在丢失，导致电子设备的结构复杂度增加的问题。本申请提供如下技术方案：

第一方面，提供了一种视频数据丢失的检测方法，所述方法包括：

对于视频数据中的单帧图像数据，确定所述图像数据中的指定区域；所述指定区域是在视频数据存在丢失时显示视频丢失提示信息的区域；

获取所述指定区域的第一区域像素值，以及除所述指定区域之外的其它区域的第二区域像素值；

在所述第一区域像素值与所述第二区域像素值之间的差异大于差异阈值时，确定所述图像数据为丢失数据。

可选地，所述确定所述图像数据中的指定区域，包括：

获取所述指定区域的高度切割参数和宽度切割参数；

将所述高度切割参数乘以高度系数，得到所述指定区域的高度；

将所述宽度切割参数乘以宽度系数，得到所述指定区域的宽度；

按照所述指定区域的高度和所述指定区域的宽度在所述图像数据中心抠取得到所述指定区域。

可选地，所述获取所述指定区域的高度切割参数和宽度切割参数，包括：

基于所述图像数据的宽度确定所述宽度切割参数，所述宽度切割参数与所述图像数据的宽度呈正相关关系；

基于所述图像数据的高度确定所述高度切割参数，所述高度切割参数与所述图像数据的高度呈正相关关系。

可选地，所述在所述第一区域像素值与所述第二区域像素值之间的差异大于差异阈值时，确定所述图像数据为丢失数据之后，还包括：

在连续为所述丢失数据的图像数据的数量大于或等于图像阈值时，确定所述视频数据存在视频丢失。

可选地，所述在所述第一区域像素值与所述第二区域像素值之间的差异大于差异阈值时，确定所述视频数据存在数据丢失，包括：

计算所述第一区域像素值与所述第二区域像素值的比值；

在所述比值大于所述差异阈值时，确定所述视频数据存在数据丢失。

可选地，所述获取所述指定区域的第一区域像素值，以及除所述指定区域之外的其它区域的第二区域像素值，包括：

计算所述指定区域像素值的标准差，得到所述第一区域像素值；

计算所述其它区域像素值的标准差，得到所述第二区域像素值。

可选地，所述确定所述图像数据中的指定区域之前，还包括：

将所述图像数据转换为灰度图，得到灰度的图像数据，所述指定区域和所述其它区域是对所述灰度的图像数据进行划分得到的。

第二方面，提供了一种视频数据丢失的检测装置，所述装置包括：

区域确定模块，用于对于视频数据中的单帧图像数据，确定所述图像数据中的指定区域；所述指定区域是在视频数据存在丢失时显示视频丢失提示信息的区域；

数据获取模块，用于获取所述指定区域的第一区域像素值，以及除所述指定区域之外的其它区域的第二区域像素值；

丢失确定模块，用于在所述第一区域像素值与所述第二区域像素值之间的差异大于差异阈值时，确定所述图像数据为丢失数据。

第三方面，提供一种视频数据丢失的检测装置，所述装置包括处理器和存储器；所述存储器中存储有程序，所述程序由所述处理器加载并执行以实现第一方面所述的视频数据丢失的检测方法。

第四方面，提供一种计算机可读存储介质，所述存储介质中存储有程序，所述程序由所述处理器加载并执行以实现第一方面所述的视频数据丢失的检测方法。

本申请的有益效果在于：通过对于视频数据中的单帧图像数据，确定图像数据中的指定区域；指定区域是在视频数据存在丢失时显示视频丢失提示信息的区域；获取指定区域的第一区域像素值，以及除指定区域之外的其它区域的第二区域像素值；在第一区域像素值与第二区域像素值之间的差异大于差异阈值时，确定图像数据为丢失数据；可以解决增加视频检测电路检测视频是否存在丢失，导致电子设备的结构复杂度增加的问题；由于可以通过指定区域与其它区域之间的像素差异是否符合显示视频丢失提示信息时的图像规律，来确定单帧图像数据是否为丢失数据，从而确定出是否存在视频丢失，因此可以实现在不增加视频检测电路的情况下对视频数据丢失的检测。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，并可依照说明书的内容予以实施，以下以本申请的较佳实施例并配合附图详细说明如后。

附图说明

图1是本申请一个实施例提供的视频丢失提示信息的载体视频的示意图；

图2是本申请另一个实施例提供的视频丢失提示信息的载体视频的示意图；

图3是本申请一个实施例提供的视频数据丢失的检测方法的流程图；

图4是本申请一个实施例提供的确定指定区域的示意图；

图5是本申请一个实施例提供的视频数据丢失的检测装置的框图；

图6是本申请一个实施例提供的视频数据丢失的检测装置的框图。

具体实施方式

下面结合附图和实施例，对本申请的具体实施方式作进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。

本申请提供的视频数据丢失的检测方法应用于以下场景：

经过至少两个电子设备传输，且当用于视频处理或者传输的电子设备发现视频信号丢失时，会在视频显示终端上以视频屏幕显示(on screen display，OSD)的方式显示视频丢失提示信息。该视频丢失提示信息的载体是一段视频。

OSD：是指在屏幕上显示的文字或者形状，通常叠加在视频内容上，和视频的内容没有直接关系。通常用来显示菜单或者提示信息。

可选地，视频丢失提示信息的载体视频包括在指定区域显示的视频丢失信息、以及在其它区域以相同的背景色显示的背景图案。指定区域的像素值与其它区域的像素值的差异较大。比如：参考图1和图2所示的视频丢失提示信息的载体视频。其具体表现形式为整个屏幕显示黑色或者蓝色等单色作为背景(背景颜色不确定)，屏幕中间显示“视频丢失”或者“无视频信号”等文字形式的视频丢失提示信息，文字内容可以改变。

由于出现视频丢失提示信息的图像的原因是视频丢失，因此，本申请中，将具有视频丢失提示信息的图像定义为丢失数据。

可选地，本申请提供的视频数据丢失的检测方法用于除视频数据传输源头的电子设备之后的其它电子设备中。假设视频数据的传输过程依次经过n个电子设备，则视频数据丢失的检测方法用于除第一个电子设备之外的其它电子设备中，即，第2-n个电子设备中的任意一个电子设备中。n为大于1的整数。

电子设备可以为计算机、电视机、手机、平板电脑、视频会议终端、服务器等具有图像处理功能的设备，当然，电子设备还可以具有图像显示功能、通信功能，本实施例在此不再一一介绍。

图3是本申请一个实施例提供的视频数据丢失的检测方法的流程图。该方法至少包括以下几个步骤：

步骤301，对于视频数据中的单帧图像数据，确定图像数据中的指定区域，该指定区域是在视频数据存在丢失时显示视频丢失提示信息的区域。

可选地，图像数据可以是单通道图像；或者，也可以是多通道图像。其中，多通道图像包括三通道图像，即，每个像素点具有三个像素值，比如：RGB格式的图像、YUV格式的图像等；还包括四通道图像，即，每个像素点具有四个像素值当，本实施例不对图像数据的形式作限定。

在一个示例中，电子设备确定图像数据中的指定区域，包括：获取指定区域的高度切割参数和宽度切割参数；将高度切割参数乘以高度系数，得到指定区域的高度；将宽度切割参数乘以宽度系数，得到指定区域的宽度；按照指定区域的高度和指定区域的宽度在图像数据中心抠取得到指定区域。

可选地，高度切割参数和宽度切割参数可以为固定不变的值；或者，也可以根据图像数据的尺寸变化。

对于根据图像数据的尺寸变化的情况，获取指定区域的高度切割参数和宽度切割参数，包括：基于图像数据的宽度确定宽度切割参数，宽度切割参数与图像数据的宽度呈正相关关系；基于图像数据的高度确定高度切割参数，高度切割参数与图像数据的高度呈正相关关系。

可选地，高度切割参数和宽度切割参数为大于0且小于1的数值；宽度系数和高度系数为大于或等于1的整数。

比如：高度切割参数为0.25，宽度切割参数为0.5；高度系数为M、宽度系数为N，则到指定区域的高度为0.25M，指定区域的宽度为0.5N。

在另一个示例中，电子设备确定图像数据中的指定区域，包括：获取指定区域的高度和指定区域宽度；按照指定区域的高度和指定区域的宽度在图像数据中心抠取得到指定区域。

可选地，指定区域的高度可以是根据图像数据的高度确定的；指定区域的宽度是根据图像数据的宽度确定的；或者，指定区域的高度和指定区域的宽度固定不变。

当然，在实际实现时，还可以使用其它方式确定指定区域，本实施例不对指定区域的确定方式作限定。

在上述示例中，按照指定区域的高度和指定区域的宽度在图像数据中心抠取得到指定区域，包括：获取图像数据的像素中心位置；以像素中心位置为指定区域的中心，按照指定区域的高度和指定区域的宽度向外扩展，得到指定区域。

比如：参考图4，图像数据的像素中心位置为(a，b)，指定区域401的高度为h，指定区域401的宽度为w，则在高度方向的像素位置为b+h/2和b-h/2的位置分别延宽度方向作两条宽度分割线；在宽度方向的像素位置为a+w/2和a-w/2的位置分别延高度方向作两条高度分割线；其中，两条宽度分割线和两条高度分割线围成的区域为指定区域401。

可选地，电子设备在确定指定区域之前，还会将图像数据转换为灰度图，得到灰度的图像数据，指定区域和其它区域是对灰度的图像数据进行划分得到的。

步骤302，获取指定区域的第一区域像素值，以及除指定区域之外的其它区域的第二区域像素值。

在一个示例中，电子设备获取指定区域的第一区域像素值，以及除指定区域之外的其它区域的第二区域像素值，包括：计算指定区域像素值的标准差，得到第一区域像素值；计算其它区域像素值的标准差，得到第二区域像素值。

计算某一区域像素值的标准差参考下述公式：

其中，σ为标准差、S为对应区域的像素个数，i为像素的索引，x_i为第i个像素的值，μ为对应区域的像素值的均值。

在另一个示例中，电子设备获取指定区域的第一区域像素值，以及除指定区域之外的其它区域的第二区域像素值，包括：计算指定区域像素值的方差，得到第一区域像素值；计算其它区域像素值的方差，得到第二区域像素值。

计算某一区域像素值的方差参考下述公式：

其中，S²为方差。

步骤303，在第一区域像素值与第二区域像素值之间的差异大于差异阈值时，确定图像数据为丢失数据。

可选地，在第一区域像素值与第二区域像素值之间的差异小于或等于差异阈值时，确定图像数据不是丢失数据，流程结束；或者，对于下一张图像数据再次执行步骤301-303。

在第一个示例中，电子设备计算第一区域像素值与第二区域像素值的比值；在比值大于差异阈值时，确定视频数据存在数据丢失。

假设第一区域像素值和第二区域像素值为对应区域像素值的标准差，则电子设备计算指定区域的标准差与其它区域的标准差的比值。

在第二个示例中，电子设备计算第一区域像素值与第二区域像素值的差值；在差值大于差异阈值时，确定视频数据存在数据丢失。

需要补充说明的是，第一个示例中的差异阈值与第二个示例中的差异阈值可以相同；或者，也可以不同。差异阈值可以为4.5、6等数值，本实施例不对差异阈值的取值作限定。

当然，电子设备还可以使用其它方式确定第一区域像素值与第二区域像素值之间的差异，本实施例在此不再一一列举。

可选地，在处理视频流(包含连续多帧图像的情况下)时，若存在少数帧图像发生视频丢失则电子设备无需报警，不属于视频丢失；若存在长时间连续多帧图像发生视频丢失电子设备才确定为视频丢失。此时，在第一区域像素值与第二区域像素值之间的差异大于差异阈值时，确定图像数据为丢失数据之后，还包括：在连续为丢失数据的图像数据的数量大于或等于图像阈值时，确定视频数据存在视频丢失。

图像阈值可以为50、123等正整数，本实施例不对图像阈值的取值作限定。

此时，电子设备中设置有计数器，对于每帧图像数据，若该图像数据的判断结果为丢失数据，则i的值加1；若图像数据的判断结果为不是丢失数据，则i的值置位0。在i的值大于或等于差异阈值时，电子设备确定视频数据存在视频丢失；在i的值小于差异阈值时，电子设备确定视频数据不存在视频丢失。

综上所述，本实施例提供的视频数据丢失的检测方法，通过对于视频数据中的单帧图像数据，确定图像数据中的指定区域；指定区域是在视频数据存在丢失时显示视频丢失提示信息的区域；获取指定区域的第一区域像素值，以及除指定区域之外的其它区域的第二区域像素值；在第一区域像素值与第二区域像素值之间的差异大于差异阈值时，确定图像数据为丢失数据；可以解决增加视频检测电路检测视频是否存在丢失，导致电子设备的结构复杂度增加的问题；由于可以通过指定区域与其它区域之间的像素差异是否符合显示视频丢失提示信息时的图像规律，来确定单帧图像数据是否为丢失数据，从而确定出是否存在视频丢失，因此可以实现在不增加视频检测电路的情况下对视频数据丢失的检测。

另外，由于电子设备可以实时对图像数据进行检测，无需等待全部视频数据传输完成后再确定视频数据丢失的检测结果，可以保证视频数据丢失检测的实时性。

另外，电子设备可以检测出发生在之前传输同一视频数据的任一电子设备上的视频丢失。

图5是本申请一个实施例提供的视频数据丢失的检测装置的框图。该装置至少包括以下几个模块：区域确定模块510、数据获取模块520和丢失确定模块530。

区域确定模块510，用于对于视频数据中的单帧图像数据，确定所述图像数据中的指定区域；所述指定区域是在视频数据存在丢失时显示视频丢失提示信息的区域；

数据获取模块520，用于获取所述指定区域的第一区域像素值，以及除所述指定区域之外的其它区域的第二区域像素值；

丢失确定模块530，用于在所述第一区域像素值与所述第二区域像素值之间的差异大于差异阈值时，确定所述图像数据为丢失数据。

相关细节参考上述方法实施例。

需要说明的是：上述实施例中提供的视频数据丢失的检测装置在进行视频数据丢失的检测时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将视频数据丢失的检测装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的视频数据丢失的检测装置与视频数据丢失的检测方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图6是本申请一个实施例提供的视频数据丢失的检测装置的框图。该装置至少包括处理器601和存储器602。

处理器601可以包括一个或多个处理核心，比如：4核心处理器、8核心处理器等。处理器601可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器601可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器601还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器602可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器602中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器601所执行以实现本申请中方法实施例提供的视频数据丢失的检测方法。

在一些实施例中，视频数据丢失的检测装置还可选包括有：外围设备接口和至少一个外围设备。处理器601、存储器602和外围设备接口之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口相连。示意性地，外围设备包括但不限于：射频电路、触摸显示屏、音频电路、和电源等。

当然，视频数据丢失的检测装置还可以包括更少或更多的组件，本实施例对此不作限定。

可选地，本申请还提供有一种计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序由处理器加载并执行以实现上述方法实施例的视频数据丢失的检测方法。

可选地，本申请还提供有一种计算机产品，该计算机产品包括计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序由处理器加载并执行以实现上述方法实施例的视频数据丢失的检测方法。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种视频数据丢失的检测方法，其特征在于，所述方法包括：

对于视频数据中的单帧图像数据，确定所述图像数据中的指定区域；所述指定区域是在视频数据存在丢失时显示视频丢失提示信息的区域；

获取所述指定区域的第一区域像素值，以及除所述指定区域之外的其它区域的第二区域像素值，所述第一区域像素值为指定区域像素值的标准差，所述第二区域像素值为其它区域像素值的标准差；或者，所述第一区域像素值为指定区域像素值的方差，所述第二区域像素值为其它区域像素值的方差；

在所述第一区域像素值与所述第二区域像素值之间的差异大于差异阈值时，确定所述图像数据为丢失数据。

2.根据权利要求1所述的方法，其特征在于，所述确定所述图像数据中的指定区域，包括：

获取所述指定区域的高度切割参数和宽度切割参数；

将所述高度切割参数乘以高度系数，得到所述指定区域的高度；

将所述宽度切割参数乘以宽度系数，得到所述指定区域的宽度；

按照所述指定区域的高度和所述指定区域的宽度在所述图像数据中心抠取得到所述指定区域。

3.根据权利要求2所述的方法，其特征在于，所述获取所述指定区域的高度切割参数和宽度切割参数，包括：

基于所述图像数据的宽度确定所述宽度切割参数，所述宽度切割参数与所述图像数据的宽度呈正相关关系；

基于所述图像数据的高度确定所述高度切割参数，所述高度切割参数与所述图像数据的高度呈正相关关系。

4.根据权利要求1至3任一所述的方法，其特征在于，所述在所述第一区域像素值与所述第二区域像素值之间的差异大于差异阈值时，确定所述图像数据为丢失数据之后，还包括：

在连续为所述丢失数据的图像数据的数量大于或等于图像阈值时，确定所述视频数据存在视频丢失。

5.根据权利要求1至3任一所述的方法，其特征在于，所述在所述第一区域像素值与所述第二区域像素值之间的差异大于差异阈值时，确定所述视频数据存在数据丢失，包括：

计算所述第一区域像素值与所述第二区域像素值的比值；

在所述比值大于所述差异阈值时，确定所述视频数据存在数据丢失。

6.根据权利要求1至3任一所述的方法，其特征在于，所述确定所述图像数据中的指定区域之前，还包括：

将所述图像数据转换为灰度图，得到灰度的图像数据，所述指定区域和所述其它区域是对所述灰度的图像数据进行划分得到的。

7.一种视频数据丢失的检测装置，其特征在于，所述装置包括：

区域确定模块，用于对于视频数据中的单帧图像数据，确定所述图像数据中的指定区域；所述指定区域是在视频数据存在丢失时显示视频丢失提示信息的区域；

数据获取模块，用于获取所述指定区域的第一区域像素值，以及除所述指定区域之外的其它区域的第二区域像素值，所述第一区域像素值为指定区域像素值的标准差，所述第二区域像素值为其它区域像素值的标准差；或者，所述第一区域像素值为指定区域像素值的方差，所述第二区域像素值为其它区域像素值的方差；

丢失确定模块，用于在所述第一区域像素值与所述第二区域像素值之间的差异大于差异阈值时，确定所述图像数据为丢失数据。

8.一种视频数据丢失的检测装置，其特征在于，所述装置包括处理器和存储器；所述存储器中存储有程序，所述程序由所述处理器加载并执行以实现如权利要求1至6任一项所述的视频数据丢失的检测方法。

9.一种计算机可读存储介质，其特征在于，所述存储介质中存储有程序，所述程序被处理器执行时用于实现如权利要求1至6任一项所述的视频数据丢失的检测方法。

Images