CN113099220B - 一种视频会议视频图像绿屏检测方法、系统及存储介质 - Google Patents

Abstract

本发明公开的一种视频会议视频图像绿屏检测方法、系统及计算机可读存储介质，方法包括以下步骤：获取视频图像数据，并检测数据是否异常；计算视频图像数据设定分量的有效数据向量和、有效率；将设定分量的有效率与预设的检测阈值比较判断视频图像是否为绿屏图像。本发明通过获取视频图像数据，计算设定分量的有效数据向量和、有效率，进而利用有效率与预设的检测阈值进行比较得出视频图像是否为绿屏图像，极大的减少了计算量，提高了视频图像绿屏检测效率。

Description

一种视频会议视频图像绿屏检测方法、系统及存储介质

技术领域

本发明涉及视频图像处理技术领域，更具体的，涉及一种视频会议视频图像绿屏检测方法、系统及计算机可读存储介质。

背景技术

在媒体视频会议产品中，视频图像是否能够正常显示观看是非常重要的。但是，在视频源端有可能由于硬件设备原因导致采集的视频图像异常，而在本地渲染显示出的视频图像为绿屏数据；另外在视频观看端也有可能因为视频解码器解码出的视频图像帧异常，而渲染显示的视频图像为绿屏数据。绿屏问题的根本原因是由于视频图像为空数据或者大部分有效数据为空数据导致，所以检测绿屏主要就是对待检测图像数据的空数据进行检测。

在现有技术中，为检测视频绿屏图像数据，已有人提出不同的检测方案。张伟等人提出一种拍摄权限的设置方法（一种拍摄权限的设置方法 CN201410406777.8 厦门美图之家科技有限公司 ）中提到采用通用的检测方法，即对图像内的数据累加求和，若累加和为0则判断此图像为绿屏数据。赵明菲等人提出了一种检测绿屏图像的方法及装置（ 一种检测绿屏图像的方法及装置 CN201810890102.3 北京优酷科技有限公司 ）其提出将待检测图像划分为三分量的子块，然后通过计算并判定各个子块的绿屏情况，最后统计绿屏子块总量判断是否为绿屏图像。

上述方法存在计算量大、检测效率低的问题，因此亟需一种高效的视频会议视频图像绿屏检测方法。

发明内容

鉴于上述问题，本发明的目的是提供一种视频会议视频图像绿屏检测方法、系统及计算机可读存储介质，能够降低计算量，提高检测效率。

本发明第一方面提供了一种视频会议视频图像绿屏检测方法，包括以下步骤：

获取视频图像数据，并检测数据是否异常；

计算视频图像数据设定分量的有效数据向量和、有效率；

将设定分量的有效率与预设的检测阈值比较判断视频图像是否为绿屏图像。

本方案中，所述视频图像数据为YUV格式的数据。

本方案中，对获取的视频图像数据首先检测数据是否异常，若数据异常则终止检测流程。

本方案中，计算视频图像数据设定分量的有效数据向量和、有效率具体步骤为：

分别计算视频图像数据Y分量上对角线有效数据向量和、下对角线有效数据向量和、水平中轴线有效数据向量和、垂直中轴线有效数据向量和；

分别将上述有效数据向量和除以各自的向量数据集个数得到对应的有效率，分别记为：上对角线有效率、下对角线有效率、水平中轴线有效率、垂直中线有效率。

本方案中，有效数据向量和的计算公式分别为：

计算视频图像Y分量的上对角线有效数据向量和公式如下：

S(up-diagonal) = Y(0,n)+Y(1,n-1)+……+Y(m,0);

计算视频图像Y分量的下对角线有效数据向量和公式如下：

S(down-diagonal) = Y(1,1)+Y(2,2)+……+Y(m,n);

计算视频图像Y分量的水平中轴线有效数据向量和公式如下：

S(horizontal-axis)= Y(0, n/2)+Y(1, n/2) +……+Y(m, n/2);

计算视频图像Y分量的垂直中轴线有效数据向量和公式如下：

S(vertical-axis)= Y(m/2,0)+Y(m/2,1) +……+Y(m/2,n);

其中，m表示视频图像的宽度，即图像水平像素点个数；n表示视频图像的高度，即图像垂直像素点个数；Y(i,j)表示视频图像在坐标(i,j)点的值是否为有效值，如果坐标点值大于0则为有效值1，否则为0；S表示向量的有效值累加和；

有效率的计算公式如下：计算上对角线有效率的公式为：

R(up-diagonal)=S(up-diagonal)/Max(m,n);

计算下对角线有效率的公式为：

R(down-diagonal)=S(up-diagonal)/Max(m,n);

计算水平中轴线有效率的公式为：

R(horizontal-axis)=S(horizontal-axis)/m;

计算垂直中轴线有效率的公式为：

R(vertical-axis)=S(vertical-axis)/n。

本方案中，将设定分量的有效率与预设的检测阈值比较判断视频图像是否为绿屏图像具体步骤为：

若设定分量的有效率大于或等于预设的检测阈值视频图像为非绿屏图像；

若设定分量的有效率小于预设的检测阈值视频图像为绿屏图像。

本发明第二方面提出一种视频会议视频图像绿屏检测系统，包括存储器和处理器，所述存储器中包括视频会议视频图像绿屏检测方法程序，所述视频会议视频图像绿屏检测方法程序被所述处理器执行时实现如下步骤：

获取视频图像数据，并检测数据是否异常；

计算视频图像数据设定分量的有效数据向量和、有效率；

将设定分量的有效率与预设的检测阈值比较判断视频图像是否为绿屏图像。

本方案中，所述视频图像数据为YUV格式的数据。

本方案中，计算视频图像数据设定分量的有效数据向量和、有效率具体步骤为：

分别计算视频图像数据Y分量上对角线有效数据向量和、下对角线有效数据向量和、水平中轴线有效数据向量和、垂直中轴线有效数据向量和；

分别将上述有效数据向量和除以各自的向量数据集个数得到对应的有效率，分别记为：上对角线有效率、下对角线有效率、水平中轴线有效率、垂直中线有效率。

本发明第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中包括视频会议视频图像绿屏检测方法程序，所述视频会议视频图像绿屏检测方法程序被处理器执行时，实现如上所述的一种视频会议视频图像绿屏检测方法的步骤。

本发明公开的一种视频会议视频图像绿屏检测方法和系统及计算机可读存储介质，通过获取视频图像数据，计算设定分量的有效数据向量和、有效率，进而利用有效率与预设的检测阈值进行比较得出视频图像是否为绿屏图像，极大的减少了计算量，提高了视频图像绿屏检测效率。

附图说明

图1示出了本申请一种视频会议视频图像绿屏检测方法的流程图。

图2示出了本申请设定分量的有效数据向量和、有效率流程图。

图3示出了本申请实施例Y分量有效数据向量和计算示意图。

图4示出了本申请设定分量的有效率与预设的检测阈值比较判断流程图。

图5示出了本申请一种视频会议视频图像绿屏检测系统的框图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

名词解释：

YUV格式：YUV是编译true-color颜色空间（color space）的种类。“Y”表示明亮度（Luminance或Luma），也就是灰阶值，“U”和“V”表示的则是色度（Chrominance或Chroma），作用是描述影像色彩及饱和度。

图1示出了本申请一种视频会议视频图像绿屏检测方法的流程图。

如图1所示，本申请公开了一种视频会议视频图像绿屏检测方法，包括以下步骤：

S102,获取视频图像数据，并检测数据是否异常；

S104,计算视频图像数据设定分量的有效数据向量和、有效率；

S106,将设定分量的有效率与预设的检测阈值比较判断视频图像是否为绿屏图像。

需要说明的是，视频图像绿屏一般包括多种情况，例如在视频源端有可能由于硬件设备原因导致采集的视频图像异常，而在本地渲染显示出的视频图像为绿屏数据；另外在视频观看端也有可能因为视频解码器解码出的视频图像帧异常，而渲染显示的视频图像为绿屏数据。绿屏问题的根本原因是由于视频图像为空数据或者大部分有效数据为空数据导致，所以检测绿屏主要就是对待检测图像数据的空数据进行检测。在本发明中的获取的视频图像数据可以是基于音视频会议系统的，也即从图像采集设备获取的图像数据或者经过解码器解码出来的视频图像数据，需要说明的本发明并不限制于视频图像数据的来源，其还可以获取自视频监控系统，视频直播系统等场景，也就说本发明的检测方法适用但不限于上述系统，凡需要视频图像绿屏检测且能提供视频图像数据的系统或装置均可采用。

根据本发明实施例，所述视频图像数据为YUV格式的数据。

需要说明的是，视频图像数据包括有多种格式，包括解码前的格式和解码后的格式，具体的话又可以分为RGB、HSI、HSV、YUV等多种格式，不同格式根据其标准又可以进行转化，如RGB2HSI，即RGB格式转化为HSI格式，本发明采用的是YUV,需要说明的是本发明中YUV格式包括了 YUV420P，YUV422P，YUV444P等YUV格式,在YUV格式的视频图像数据中，Y分量为图像亮度分量，U分量为图像色度分量，V分量为图像饱和度分量，其中决定视频图像内容轮廓的关键分量由Y分量决定，通过采用YUV格式进行绿屏检测，只需要访问Y分量的数据信息，能够有效降低运算的复杂度。

根据本发明实施例，对获取的视频图像数据首先检测数据是否异常，若数据异常则终止检测流程。

需要说明的是，在本发明中获取了视频图像数据需要首先对数据进行检测，具体的就是对数据的缓存进行异常检测，如果数据的缓存出现异常则直接终止本次的绿屏检测流程。

图2示出了本申请设定分量的有效数据向量和、有效率流程图。

根据本发明实施例，计算视频图像数据设定分量的有效数据向量和、有效率具体步骤为：

S202,分别计算视频图像数据Y分量上对角线有效数据向量和、下对角线有效数据向量和、水平中轴线有效数据向量和、垂直中轴线有效数据向量和；

S204,分别将上述有效数据向量和除以各自的向量数据集个数得到对应的有效率，分别记为：上对角线有效率、下对角线有效率、水平中轴线有效率、垂直中线有效率。

需要说明的是，尽管本发明选择了YUV格式的视频图像数据无需对数据进行格式转换，减少了计算和流程，但对于一帧视频图像来说如果对其所有的Y分量数据进行计算检测其计算量依然是庞大的，因此也会降低检测的效率，本发明优选的采用“米”字形计算方法来进行有效数据向量和的计算，如图3所示为一帧图像的Y分量的示意图，从左下脚至右上角为上对角线，从坐上角至右下角为下对角线，水平和垂直方向为水平中轴心和垂直中轴线，本发明中只需计算上述四个数据向量，从而极大的减少了数据的计算量，提高检测效率。

根据本发明实施例，有效数据向量和的计算公式分别为：

计算视频图像Y分量的上对角线有效数据向量和公式如下：

S(up-diagonal) = Y(0,n)+Y(1,n-1)+……+Y(m,0);

计算视频图像Y分量的下对角线有效数据向量和公式如下：

S(down-diagonal) = Y(1,1)+Y(2,2)+……+Y(m,n);

计算视频图像Y分量的水平中轴线有效数据向量和公式如下：

S(horizontal-axis)= Y(0, n/2)+Y(1, n/2) +……+Y(m, n/2);

计算视频图像Y分量的垂直中轴线有效数据向量和公式如下：

S(vertical-axis)= Y(m/2,0)+Y(m/2,1) +……+Y(m/2,n);

其中，m表示视频图像的宽度，即图像水平像素点个数；n表示视频图像的高度，即图像垂直像素点个数；Y(i,j)表示视频图像在坐标(i,j)点的值是否为有效值，如果坐标点值大于0则为有效值1，否则为0；S表示向量的有效值累加和；

有效率的计算公式如下：计算上对角线有效率的公式为：

R(up-diagonal)=S(up-diagonal)/Max(m,n);

计算下对角线有效率的公式为：

R(down-diagonal)=S(up-diagonal)/Max(m,n);

计算水平中轴线有效率的公式为：

R(horizontal-axis)=S(horizontal-axis)/m;

计算垂直中轴线有效率的公式为：

R(vertical-axis)=S(vertical-axis)/n。

需要说明的是，本发明中获取了视频图像数据，同步获取每一帧视频图像的宽和高信息，然后通过上述计算公式就可以分别计算出上对角线有效数据向量和、下对角线有效数据向量和水平中轴线有效数据向量和、垂直中轴线有效数据向量和，以及对应的有效率。

需要说明的，在一个具体的实施例中，还可以计算上述有效数据向量和对应的无效率用于检测，例如

计算上对角线无效率的公式为：

W(up-diagonal)=1-S(up-diagonal)/Max(m,n);

计算下对角线无效率的公式为：

W(down-diagonal)=1-S(up-diagonal)/Max(m,n);

计算水平中轴线无效率的公式为：

W(horizontal-axis)=1-S(horizontal-axis)/m;

计算垂直中轴线无效率的公式为：

W(vertical-axis)=1-S(vertical-axis)/n。

图4示出了本申请设定分量的有效率与预设的检测阈值比较判断流程图。

根据本发明实施例，将设定分量的有效率与预设的检测阈值比较判断视频图像是否为绿屏图像具体步骤为：

S402,若设定分量的有效率大于或等于预设的检测阈值视频图像为非绿屏图像；

S404,若设定分量的有效率小于预设的检测阈值视频图像为绿屏图像。

需要说明的是，本发明优选采用有效率进行绿屏检测，根据上述无效率的计算，还可以采用设置无效率的检测阈值进行比较，需要说明的是，本发明并不限定采用无效率进行比较检测还是采用有效率进行比较检测，凡采用上述方法均在本发明保护范围内，若采用无效率进行比较检测，则对应的检测步骤为：

若设定分量的无效率大于或等于预设的检测阈值视频图像为绿屏图像；

若设定分量的无效率小于预设的检测阈值视频图像为非绿屏图像。

需要说明的是，本发明中预设的检测阈值为多个，分别与上对角线、下对角线、水平中轴线、垂直中轴线的参数进行比较，判断是否为绿屏或非绿屏图像。

根据本发明实施例，计算预设的检测阈值，具体为：

获取预设历史时间的检测阈值和绿屏检测结果；

将所述预设历史时间的检测阈值和绿屏检测结果输入预设的绿屏神经网络模型中；

得到第一检测阈值，将所述第一检测阈值作为预设的检测阈值。

需要说明的是，预设的检测阈值并非是固定的，可以是动态的，具体的数值可以通过绿屏神经网络模型计算得到。首先，需要获取预设历史时间的检测阈值和绿屏检测结果，其中预设历史时间可以为当前时间点往前的时间段，将获取的预设历史时间的检测阈值和绿屏检测结果输入至绿屏神经网络模型中，输出第一检测阈值，即作为预设的检测阈值。

其中，所述绿屏神经网络模型具体为：

获取历史时间的检测阈值和绿屏检测结果；

将所述历史时间的检测阈值和绿屏检测结果进行预处理，得到训练样本集；

将所述训练样本集输入至初始化的神经网络模型中训练；

获取输出结果的准确率；

若所述准确率大于预设的准确率阈值，则停止训练，得到绿屏神经网络模型。

需要说明的是，本发明在训练神经网络时需要大量的历史数据和检测结果，首先，先获取历史时间的检测阈值和绿屏检测结果，值得一提的是，历史数据越多，则模型输出结果就越准确。将所述历史时间的检测阈值和绿屏检测结果进行预处理，得到训练样本集，然后将所述训练样本集输入至初始化的神经网络模型中进行训练。判断训练后神经网络模型的准确率，如果准确率超过了预设的准确率阈值，则停止训练，得到训练好的绿屏神经网络模型。

根据本发明实施例，还包括：

获取用户端反馈结果信息；

若反馈结果信息为存在绿屏结果，则获取预设时间段的视频图像数据；

发送所述预设时间段的视频图像数据至服务器端；

服务器端对接收到的预设时间段的视频图像数据进行数据分析，得到绿屏原因信息，并发送至预设终端。

需要说明的是，在视频传输中，实时接收用户端的反馈消息，反馈消息中包含有是否存在绿屏的消息。如果接收到的反馈结果信息存在绿屏结果，证明在客户端接收到的视频中存在绿屏的现象，也就证明在前的检测并没有检测到。所以需要对这种情况进行数据的分析。获取预设时间段的视频图像数据，其中预设时间段为接收到存在绿屏现象的反馈结果信息时间点前面的时间段，例如，前面5分钟或者10分钟的视频图像数据。然后将这段视频图像数据发送至服务器端，服务器端根据接收到的这段视频图像数据进行数据分析，得到绿屏的原因，并生成绿屏原因信息，发送至预设的终端，所述预设的终端可以为视频服务器端或者管理者端和后台维护端等。通过本发明的方法，能够使得工作人员及时得到绿屏的原因，提高使用体验感。

根据本发明实施例，还包括：

获取设备资源占用率；

若所述设备资源占用率大于预设的占用率阈值，则切换第二检测方式进行视频图像绿屏检测；

所述第二检测方式为：

按照预设比例随机抽取设定分量上的像素点，计算有效数据向量和、有效率；

将得到的有效率与预设的检测阈值比较判断视频图像是否为绿屏图像。

需要说明的是，预设比例可以是动态的，根据资源占用率的大小而定，本发明中预设比例可以为多级，资源占用比例越高，则预设比例值就越低，从而降低为绿屏检测而占用的资源的消耗。在本发明中首先获取设备资源占用率，所述设备为进行绿屏检测的设备，然后将设备资源占用率与预设的占用率阈值进行比较，如果设备资源占用率大于预设的占用率阈值，说明设备还进行其他的任务处理，资源占用过多可能会导致设备运算速度下降，从而降低用户的体验感。所以此时需要切换第二检测方式进行视频图像绿屏检测。所述的第二检测方式为按照预设比例随机抽取设定分量上的像素点，计算有效数据向量和、有效率；将得到的有效率与预设的检测阈值比较判断视频图像是否为绿屏图像。通过资源占用率的大小动态进行一定比例随机像素点的计算，能够在保证绿屏检测准确率的基础上，降低资源的占用。

图5示出了一种视频会议视频图像绿屏检测系统框图。

本发明第二方面提出一种视频会议视频图像绿屏检测系统5，包括存储器51和处理器52，所述存储器中包括视频会议视频图像绿屏检测方法程序，所述视频会议视频图像绿屏检测方法程序被所述处理器执行时实现如下步骤：

获取视频图像数据，并检测数据是否异常；

计算视频图像数据设定分量的有效数据向量和、有效率；

将设定分量的有效率与预设的检测阈值比较判断视频图像是否为绿屏图像。

需要说明的是，视频图像绿屏一般包括多种情况，例如在视频源端有可能由于硬件设备原因导致采集的视频图像异常，而在本地渲染显示出的视频图像为绿屏数据；另外在视频观看端也有可能因为视频解码器解码出的视频图像帧异常，而渲染显示的视频图像为绿屏数据。绿屏问题的根本原因是由于视频图像为空数据或者大部分有效数据为空数据导致，所以检测绿屏主要就是对待检测图像数据的空数据进行检测。在本发明中的获取的视频图像数据可以是基于音视频会议系统的，也即从图像采集设备获取的图像数据或者经过解码器解码出来的视频图像数据，需要说明的本发明并不限制于视频图像数据的来源，其还可以获取自视频监控系统，视频直播系统等场景，也就说本发明的检测方法适用但不限于上述系统，凡需要视频图像绿屏检测且能提供视频图像数据的系统或装置均可采用。

根据本发明实施例，所述视频图像数据为YUV格式的数据。

需要说明的是，视频图像数据包括有多种格式，包括解码前的格式和解码后的格式，具体的话又可以分为RGB、HSI、HSV、YUV等多种格式，不同格式根据其标准又可以进行转化，如RGB2HSI，即RGB格式转化为HSI格式，本发明采用的是YUV,需要说明的是本发明中YUV格式包括了 YUV420P，YUV422P，YUV444P等YUV格式,在YUV格式的视频图像数据中，Y分量为图像亮度分量，U分量为图像色度分量，V分量为图像饱和度分量，其中决定视频图像内容轮廓的关键分量由Y分量决定，通过采用YUV格式进行绿屏检测，只需要访问Y分量的数据信息，能够有效降低运算的复杂度。

根据本发明实施例，对获取的视频图像数据首先检测数据是否异常，若数据异常则终止检测流程。

需要说明的是，在本发明中获取了视频图像数据需要首先对数据进行检测，具体的就是对数据的缓存进行异常检测，如果数据的缓存出现异常则直接终止本次的绿屏检测流程。

根据本发明实施例，计算视频图像数据设定分量的有效数据向量和、有效率具体步骤为：

分别计算视频图像数据Y分量上对角线有效数据向量和、下对角线有效数据向量和、水平中轴线有效数据向量和、垂直中轴线有效数据向量和；

分别将上述有效数据向量和除以各自的向量数据集个数得到对应的有效率，分别记为：上对角线有效率、下对角线有效率、水平中轴线有效率、垂直中线有效率。

需要说明的是，尽管本发明选择了YUV格式的视频图像数据无需对数据进行格式转换，减少了计算和流程，但对于一帧视频图像来说如果对其所有的Y分量数据进行计算检测其计算量依然是庞大的，因此也会降低检测的效率，本发明优选的采用“米”字形计算方法来进行有效数据向量和的计算，如图3所示为一帧图像的Y分量的示意图，从左下脚至右上角为上对角线，从坐上角至右下角为下对角线，水平和垂直方向为水平中轴心和垂直中轴线，本发明中只需计算上述四个数据向量，从而极大的减少了数据的计算量，提高检测效率。

根据本发明实施例，有效数据向量和的计算公式分别为：

计算视频图像Y分量的上对角线有效数据向量和公式如下：

S(up-diagonal) = Y(0,n)+Y(1,n-1)+……+Y(m,0);

计算视频图像Y分量的下对角线有效数据向量和公式如下：

S(down-diagonal) = Y(1,1)+Y(2,2)+……+Y(m,n);

计算视频图像Y分量的水平中轴线有效数据向量和公式如下：

S(horizontal-axis)= Y(0, n/2)+Y(1, n/2) +……+Y(m, n/2);

计算视频图像Y分量的垂直中轴线有效数据向量和公式如下：

S(vertical-axis)= Y(m/2,0)+Y(m/2,1) +……+Y(m/2,n);

其中，m表示视频图像的宽度，即图像水平像素点个数；n表示视频图像的高度，即图像垂直像素点个数；Y(i,j)表示视频图像在坐标(i,j)点的值是否为有效值，如果坐标点值大于0则为有效值1，否则为0；S表示向量的有效值累加和；

有效率的计算公式如下：计算上对角线有效率的公式为：

R(up-diagonal)=S(up-diagonal)/Max(m,n);

计算下对角线有效率的公式为：

R(down-diagonal)=S(up-diagonal)/Max(m,n);

计算水平中轴线有效率的公式为：

R(horizontal-axis)=S(horizontal-axis)/m;

计算垂直中轴线有效率的公式为：

R(vertical-axis)=S(vertical-axis)/n。

需要说明的是，本发明中获取了视频图像数据，同步获取每一帧视频图像的宽和高信息，然后通过上述计算公式就可以分别计算出上对角线有效数据向量和、下对角线有效数据向量和水平中轴线有效数据向量和、垂直中轴线有效数据向量和，以及对应的有效率。

需要说明的，在一个具体的实施例中，还可以计算上述有效数据向量和对应的无效率用于检测，例如

计算上对角线无效率的公式为：

W(up-diagonal)=1-S(up-diagonal)/Max(m,n);

计算下对角线无效率的公式为：

W(down-diagonal)=1-S(up-diagonal)/Max(m,n);

计算水平中轴线无效率的公式为：

W(horizontal-axis)=1-S(horizontal-axis)/m;

计算垂直中轴线无效率的公式为：

W(vertical-axis)=1-S(vertical-axis)/n。

根据本发明实施例，将设定分量的有效率与预设的检测阈值比较判断视频图像是否为绿屏图像具体步骤为：

若设定分量的有效率大于或等于预设的检测阈值视频图像为非绿屏图像；

若设定分量的有效率小于预设的检测阈值视频图像为绿屏图像。

需要说明的是，本发明优选采用有效率进行绿屏检测，根据上述无效率的计算，还可以采用设置无效率的检测阈值进行比较，需要说明的是，本发明并不限定采用无效率进行比较检测还是采用有效率进行比较检测，凡采用上述方法均在本发明保护范围内，若采用无效率进行比较检测，则对应的检测步骤为：

若设定分量的无效率大于或等于预设的检测阈值视频图像为绿屏图像；

若设定分量的无效率小于预设的检测阈值视频图像为非绿屏图像。

根据本发明实施例，计算预设的检测阈值，具体为：

获取预设历史时间的检测阈值和绿屏检测结果；

将所述预设历史时间的检测阈值和绿屏检测结果输入预设的绿屏神经网络模型中；

得到第一检测阈值，将所述第一检测阈值作为预设的检测阈值。

需要说明的是，预设的检测阈值并非是固定的，可以是动态的，具体的数值可以通过绿屏神经网络模型计算得到。首先，需要获取预设历史时间的检测阈值和绿屏检测结果，其中预设历史时间可以为当前时间点往前的时间段，将获取的预设历史时间的检测阈值和绿屏检测结果输入至绿屏神经网络模型中，输出第一检测阈值，即作为预设的检测阈值。

其中，所述绿屏神经网络模型具体为：

获取历史时间的检测阈值和绿屏检测结果；

将所述历史时间的检测阈值和绿屏检测结果进行预处理，得到训练样本集；

将所述训练样本集输入至初始化的神经网络模型中训练；

获取输出结果的准确率；

若所述准确率大于预设的准确率阈值，则停止训练，得到绿屏神经网络模型。

需要说明的是，本发明在训练神经网络时需要大量的历史数据和检测结果，首先，先获取历史时间的检测阈值和绿屏检测结果，值得一提的是，历史数据越多，则模型输出结果就越准确。将所述历史时间的检测阈值和绿屏检测结果进行预处理，得到训练样本集，然后将所述训练样本集输入至初始化的神经网络模型中进行训练。判断训练后神经网络模型的准确率，如果准确率超过了预设的准确率阈值，则停止训练，得到训练好的绿屏神经网络模型。

根据本发明实施例，还包括：

获取用户端反馈结果信息；

若反馈结果信息为存在绿屏结果，则获取预设时间段的视频图像数据；

发送所述预设时间段的视频图像数据至服务器端；

服务器端对接收到的预设时间段的视频图像数据进行数据分析，得到绿屏原因信息，并发送至预设终端。

需要说明的是，在视频传输中，实时接收用户端的反馈消息，反馈消息中包含有是否存在绿屏的消息。如果接收到的反馈结果信息存在绿屏结果，证明在客户端接收到的视频中存在绿屏的现象，也就证明在前的检测并没有检测到。所以需要对这种情况进行数据的分析。获取预设时间段的视频图像数据，其中预设时间段为接收到存在绿屏现象的反馈结果信息时间点前面的时间段，例如，前面5分钟或者10分钟的视频图像数据。然后将这段视频图像数据发送至服务器端，服务器端根据接收到的这段视频图像数据进行数据分析，得到绿屏的原因，并生成绿屏原因信息，发送至预设的终端，所述预设的终端可以为视频服务器端或者管理者端和后台维护端等。通过本发明的方法，能够使得工作人员及时得到绿屏的原因，提高使用体验感。

根据本发明实施例，还包括：

获取设备资源占用率；

若所述设备资源占用率大于预设的占用率阈值，则切换第二检测方式进行视频图像绿屏检测；

所述第二检测方式为：

按照预设比例随机抽取设定分量上的像素点，计算有效数据向量和、有效率；

将得到的有效率与预设的检测阈值比较判断视频图像是否为绿屏图像。

需要说明的是，预设比例可以是动态的，根据资源占用率的大小而定，本发明中预设比例可以为多级，资源占用比例越高，则预设比例值就越低，从而降低为绿屏检测而占用的资源的消耗。在本发明中首先获取设备资源占用率，所述设备为进行绿屏检测的设备，然后将设备资源占用率与预设的占用率阈值进行比较，如果设备资源占用率大于预设的占用率阈值，说明设备还进行其他的任务处理，资源占用过多可能会导致设备运算速度下降，从而降低用户的体验感。所以此时需要切换第二检测方式进行视频图像绿屏检测。所述的第二检测方式为按照预设比例随机抽取设定分量上的像素点，计算有效数据向量和、有效率；将得到的有效率与预设的检测阈值比较判断视频图像是否为绿屏图像。通过资源占用率的大小动态进行一定比例随机像素点的计算，能够在保证绿屏检测准确率的基础上，降低资源的占用。

本发明第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中包括视频会议视频图像绿屏检测方法程序，所述视频会议视频图像绿屏检测方法程序被处理器执行时，实现如上所述的一种视频会议视频图像绿屏检测方法的步骤。

本发明公开的一种视频会议视频图像绿屏检测方法和系统及计算机可读存储介质，通过获取视频图像数据，计算设定分量的有效数据向量和、有效率，进而利用有效率与预设的检测阈值进行比较得出视频图像是否为绿屏图像，极大的减少了计算量，提高了视频图像绿屏检测效率。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (8)

1.一种视频会议视频图像绿屏检测方法，其特征在于，包括以下步骤：

获取视频图像数据，并检测数据是否异常；

计算视频图像数据设定分量的有效数据向量和、有效率；

将设定分量的有效率与预设的检测阈值比较判断视频图像是否为绿屏图像；

计算视频图像数据设定分量的有效数据向量和、有效率具体步骤为：

分别计算视频图像数据Y分量上对角线有效数据向量和、下对角线有效数据向量和、水平中轴线有效数据向量和、垂直中轴线有效数据向量和；

分别将上述有效数据向量和除以各自的向量数据集个数得到对应的有效率，分别记为：上对角线有效率、下对角线有效率、水平中轴线有效率、垂直中线有效率。

2.根据权利要求1所述的一种视频会议视频图像绿屏检测方法，其特征在于，所述视频图像数据为YUV格式的数据。

3.根据权利要求1所述的一种视频会议视频图像绿屏检测方法，其特征在于，对获取的视频图像数据首先检测数据是否异常，若数据异常则终止检测流程。

4.根据权利要求1所述的一种视频会议视频图像绿屏检测方法，其特征在于，有效数据向量和的计算公式分别为：

计算视频图像Y分量的上对角线有效数据向量和公式如下：

S(up-diagonal) = Y(0,n)+Y(1,n-1)+……+Y(m,0);

计算视频图像Y分量的下对角线有效数据向量和公式如下：

S(down-diagonal) = Y(1,1)+Y(2,2)+……+Y(m,n);

计算视频图像Y分量的水平中轴线有效数据向量和公式如下：

S(horizontal-axis)= Y(0, n/2)+Y(1, n/2) +……+Y(m, n/2);

计算视频图像Y分量的垂直中轴线有效数据向量和公式如下：

S(vertical-axis)= Y(m/2,0)+Y(m/2,1) +……+Y(m/2,n);

其中，m表示视频图像的宽度，即图像水平像素点个数；n表示视频图像的高度，即图像垂直像素点个数；Y(i,j)表示视频图像在坐标(i,j)点的值是否为有效值，如果坐标点值大于0则为有效值1，否则为0；S表示向量的有效值累加和；

有效率的计算公式如下：

计算上对角线有效率的公式为：

R(up-diagonal)=S(up-diagonal)/Max(m,n);

计算下对角线有效率的公式为：

R(down-diagonal)=S(up-diagonal)/Max(m,n);

计算水平中轴线有效率的公式为：

R(horizontal-axis)=S(horizontal-axis)/m;

计算垂直中轴线有效率的公式为：

R(vertical-axis)=S(vertical-axis)/n。

5.根据权利要求1所述的一种视频会议视频图像绿屏检测方法，其特征在于，

将设定分量的有效率与预设的检测阈值比较判断视频图像是否为绿屏图像具体步骤为：

若设定分量的有效率大于或等于预设的检测阈值视频图像为非绿屏图像；

若设定分量的有效率小于预设的检测阈值视频图像为绿屏图像。

6.一种视频会议视频图像绿屏检测系统，其他特征在于，包括存储器和处理器，所述存储器中包括视频会议视频图像绿屏检测方法程序，所述视频会议视频图像绿屏检测方法程序被所述处理器执行时实现如下步骤：

获取视频图像数据，并检测数据是否异常；

计算视频图像数据设定分量的有效数据向量和、有效率；

将设定分量的有效率与预设的检测阈值比较判断视频图像是否为绿屏图像；

计算视频图像数据设定分量的有效数据向量和、有效率具体步骤为：

分别计算视频图像数据Y分量上对角线有效数据向量和、下对角线有效数据向量和、水平中轴线有效数据向量和、垂直中轴线有效数据向量和；

分别将上述有效数据向量和除以各自的向量数据集个数得到对应的有效率，分别记为：上对角线有效率、下对角线有效率、水平中轴线有效率、垂直中线有效率。

7.根据权利要求6所述的一种视频会议视频图像绿屏检测系统，其特征在于，所述视频图像数据为YUV格式的数据。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括视频会议视频图像绿屏检测方法程序，所述视频会议视频图像绿屏检测方法程序被处理器执行时，实现如权利要求1至5中任一项所述的一种视频会议视频图像绿屏检测方法的步骤。

Images