CN105809659A - 一种视频检测方法，及装置 - Google Patents
一种视频检测方法，及装置 Download PDFInfo
- Publication number
- CN105809659A CN105809659A CN201410841945.6A CN201410841945A CN105809659A CN 105809659 A CN105809659 A CN 105809659A CN 201410841945 A CN201410841945 A CN 201410841945A CN 105809659 A CN105809659 A CN 105809659A
- Authority
- CN
- China
- Prior art keywords
- region
- connected region
- video
- grid
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 claims abstract description 69
- 230000008859 change Effects 0.000 claims description 57
- 238000012216 screening Methods 0.000 claims description 18
- 238000012217 deletion Methods 0.000 claims description 8
- 230000037430 deletion Effects 0.000 claims description 8
- 238000012423 maintenance Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 14
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000004422 calculation algorithm Methods 0.000 description 16
- 230000006835 compression Effects 0.000 description 12
- 238000007906 compression Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 230000003068 static effect Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000009432 framing Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000000205 computational method Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明实施例公开了一种视频检测方法，及装置，其中方法的实现包括：获取N个连续帧的全屏图像，采用相同的划分方式将所述N个全屏图像划分为预定大小的网格；以网格为单位检测网格内的图像在所述N个全屏图像内是否发生了变化，并记录发生了变化的图像对应的网格；确定覆盖记录的网格区域的最小区域作为候选视频区域。通过将连续帧的全屏图像采用相同的划分方式划分为预定大小的网格，然后通过图像检测确定发生变化的图像对应的网格，最后据此确定候选视频区域。确定候选视频区域的过程不需要借助于驱动程序，因此可以避免因借助于驱动程序确定视频区域导致的相应技术问题。本发明实施例提供了能够通用并且不影响硬件性能发挥的视频检测方案。
Description
技术领域
本发明涉及信息技术领域，特别涉及一种视频检测方法，及装置。
背景技术
视频压缩算法和静态压缩算法各有优劣，分别适用于对视频的压缩或非视频的压缩。对于静态图像和视频同时存在的情况，如果全屏图像都采用静态图像压缩则压缩比较低，若采用视频压缩则图像效果较差导致用户体验差。以虚拟桌面基础架构(VirtualDesktopInfrastructure，VDI)图像桌面环境的图像压缩为例，在VDI图像桌面环境下，为了提升用户体验，降低视频播放时的带宽消耗以及提升非桌面区域的用户体验；需要一种视频检测算法用来确定视频在全屏图像中所在的区域，然后再针对视频所在的区域采用视频压缩算法。由于视频压缩算法相比静态压缩算法有较高的压缩比，能够大大降低带宽；然后针对非视频区域，采用无损或者静态图像压缩算法，提升用户体验。
以上方案需要确定视频在全屏图像中所在的区域，目前VDI的视频识别主要方式是借助于虚拟机((VirtualMachine，VM)中的驱动，根据驱动中屏幕区域的刷新计算视频区域，在驱动中可以准确的得到视频的刷新信息，可以根据刷新频率和位置识别出视频区域。
但是，以上方案需要在VM中安装VDI厂商的驱动，难以适配图像处理器(GraphicProcessingUnit，GPU)直通场景和GPU硬件虚拟化场景，因此通用性较差，而且VDI驱动为软件驱动会影响GPU的性能，由于各种操作系统的驱动指令和模型存在差异导致难以在不同操作系统上进行移植，导致通用性较差。
发明内容
本发明实施例提供了一种视频检测方法，及装置，用于提供能够通用并且不影响硬件性能发挥的视频检测方案。
本发明实施例一方面提供了一种视频检测方法，包括：
获取N个连续帧的全屏图像，采用相同的划分方式将所述N个全屏图像划分为预定大小的网格；
以网格为单位检测网格内的图像在所述N个全屏图像内是否发生了变化，并记录发生了变化的图像对应的网格；
确定覆盖记录的网格区域的最小区域作为候选视频区域。
结合一方面的实现方式，在第一种可能的实现方式中，在确定覆盖记录的网格区域的最小区域作为候选视频区域之前，所述方法还包括：
确定记录的网格对应的图像在所述N个全屏图像中的变化率，删除变化率低于第一阈值的网格。
结合一方面的第一种可能的实现方式，在第二种可能的实现方式中，在确定覆盖记录的网格区域的最小区域作为候选视频区域之前，所述方法还包括：
以网格为单位检测网格内的图像的图像类型，所述图像类型包括：自然图像和非自然图像；计算记录的网格对应的图像在所述N个全屏图像中属于自然图像的比例，删除属于自然图像的比例低于第二阈值的网格。
结合一方面、一方面的第一种或者第二种可能的实现方式，在第三种可能的实现方式中，在确定覆盖记录的网格区域的最小区域作为候选视频区域之前，所述方法还包括：
计算获得第一连通区域，每个所述第一连通区域为覆盖记录的具有邻接关系的网格的最小矩形区域；删除面积、宽度以及高度中的至少一项小于第三阈值的第一连通区域内包含的网格。
结合一方面的第三种可能的实现方式，在第四种可能的实现方式中，所述删除面积、宽度以及高度中的至少一项小于第三阈值的第一连通区域内包含的网格之前，所述方法还包括：
合并第一连通区域中存在重叠的第一连通区域得到第二连通区域，删除被合并的第一连通区域；
所述删除面积、宽度以及高度中的至少一项小于第三阈值的第一连通区域内包含的网格包括：删除面积、宽度以及高度中的至少一项小于第三阈值的的第一连通区域。
结合一方面的第四种可能的实现方式，在第五种可能的实现方式中，所述确定覆盖记录的网格区域的区域作为视频区域包括：
将所述第一连通区域和所述第二连通区域分别作为独立的候选视频区域，或者，将覆盖所述第一连通区域和所述第二连通区域的最小矩形区域作为候选视频区域。
结合一方面的第四种可能的实现方式，在第六种可能的实现方式中，在获得第一连通区域或第二连通区域后，所述方法还包括：
以像素为单位从所述第一连通区域或第二连通区域的边缘向内或向外检测，确定位于所述第一连通区域或第二连通区域最外一层的网格发生变化的像素的边界，并将所述第一连通区域或第二连通区域缩小或扩大到所述边界范围。
结合一方面的第五种可能的实现方式，在第七种可能的实现方式中，在确定所述候选视频区域后，所述方法还包括：
获得后续连续帧的全屏图像中的第一连通区域和/或第二连通区域，若后续获得的第一连通区域和/或第二连通区域连续全部位于所述候选视频区域内的次数大于第四阈值，则确定所述候选视频区域为视频区域。
结合一方面的第七种可能的实现方式，在第八种可能的实现方式中，在确定所述候选视频区域后，所述方法还包括：
获得后续连续帧的全屏图像中的第一连通区域和/或第二连通区域，若后续获得的所述第一连通区域和/或第二连通区域与所述候选视频区域或者所述视频区域相交但没有全部位于所述候选视频区域内，则删除所述候选视频区域或者所述视频区域；
若后续获得的第一连通区域和/或第二连通区域与所述视频区域不相交，则将所述后续获得的第一连通区域和/或第二连通区域，作为新的候选视频区域。
结合一方面的第七种可能的实现方式，在第九种可能的实现方式中，在确定所述候选视频区域后，所述方法还包括：
获得后续连续帧的全屏图像中的第一连通区域和/或第二连通区域，若所述候选视频区域或者所述视频区域与所有后续获得的所述第一连通区域和/或第二连通区域不相交次数大于第五阈值，则删除所述候选视频区域或者所述视频区域。
本发明实施例二方面还提供了一种视频检测装置，包括：
图像获取单元，用于获取N个连续帧的全屏图像；
网格划分单元，用于采用相同的划分方式将所述N个全屏图像划分为预定大小的网格；
图像检测单元，用于以网格为单位检测网格内的图像在所述N个全屏图像内是否发生了变化；
网格记录单元，用于记录发生了变化的图像对应的网格；
视频确定单元，用于确定覆盖记录的网格区域的最小区域作为候选视频区域。
结合二方面的实现方式，在第一种可能的实现方式中，所述视频检测装置还包括：
第一筛选单元，用于在所述视频确定单元确定覆盖记录的网格区域的最小区域作为候选视频区域之前，确定记录的网格对应的图像在所述N个全屏图像中的变化率，删除变化率低于第一阈值的网格。
结合二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述第一筛选单元，还用于以网格为单位检测网格内的图像的图像类型，所述图像类型包括：自然图像和非自然图像；计算记录的网格对应的图像在所述N个全屏图像中属于自然图像的比例，删除属于自然图像的比例低于第二阈值的网格。
结合二方面、二方面的第一种或者第二种可能的实现方式，在第三种可能的实现方式中，所述视频检测装置还包括：
第二筛选单元，用于在所述视频确定单元确定覆盖记录的网格区域的最小区域作为候选视频区域之前，计算获得第一连通区域，每个所述第一连通区域为覆盖记录的具有邻接关系的网格的最小矩形区域；删除面积、宽度以及高度中的至少一项小于第三阈值的第一连通区域内包含的网格。
结合二方面的第三种可能的实现方式，在第四种可能的实现方式中，
所述第二筛选单元，还用于在删除面积、宽度以及高度中的至少一项小于第三阈值的第一连通区域内包含的网格之前，合并第一连通区域中存在重叠的第一连通区域得到第二连通区域，删除被合并的第一连通区域；
所述第二筛选单元，具体用于删除面积、宽度以及高度中的至少一项小于第三阈值的的第一连通区域。
结合二方面的第四种可能的实现方式，在第五种可能的实现方式中，
所述视频确定单元，具体用于将所述第一连通区域和所述第二连通区域分别作为独立的候选视频区域，或者，将覆盖所述第一连通区域和所述第二连通区域的最小矩形区域作为候选视频区域。
结合二方面的第四种可能的实现方式，在第六种可能的实现方式中，所述视频检测装置还包括：
区域修正单元，用于在所述第二筛选单元获得第一连通区域或第二连通区域后，以像素为单位从所述第一连通区域或第二连通区域的边缘向内或向外检测，确定位于所述第一连通区域或第二连通区域最外一层的网格发生变化的像素的边界，并将所述第一连通区域或第二连通区域缩小或扩大到所述边界范围。
结合二方面的第五种可能的实现方式，在第七种可能的实现方式中，
所述视频确定单元，还用于在确定所述候选视频区域后，获得后续连续帧的全屏图像中的第一连通区域和/或第二连通区域，若后续获得的第一连通区域和/或第二连通区域连续全部位于所述候选视频区域内的次数大于第四阈值，则确定所述候选视频区域为视频区域。
结合二方面的第七种可能的实现方式，在第八种可能的实现方式中，所述视频检测装置还包括：
第一维护单元，用于在所述视频确定单元确定所述候选视频区域后，获得后续连续帧的全屏图像中的第一连通区域和/或第二连通区域，若后续获得的所述第一连通区域和/或第二连通区域与所述候选视频区域或者所述视频区域相交但没有全部位于所述候选视频区域内，则删除所述候选视频区域或者所述视频区域；若后续获得的第一连通区域和/或第二连通区域与所述视频区域不相交，则将所述后续获得的第一连通区域和/或第二连通区域，作为新的候选视频区域。
结合二方面的第七种可能的实现方式，在第九种可能的实现方式中，所述视频检测装置还包括：
第二维护单元，用于在所述视频确定单元确定所述候选视频区域后，获得后续连续帧的全屏图像中的第一连通区域和/或第二连通区域，若所述候选视频区域或者所述视频区域与所有后续获得的所述第一连通区域和/或第二连通区域不相交次数大于第五阈值，则删除所述候选视频区域或者所述视频区域。
从以上技术方案可以看出，本发明实施例具有以下优点：通过将连续帧的全屏图像采用相同的划分方式划分为预定大小的网格，然后通过图像检测确定发生变化的图像对应的网格，最后据此确定候选视频区域。确定候选视频区域的过程不需要借助于驱动程序，因此可以避免因借助于驱动程序确定视频区域导致的相应技术问题。所以，本发明实施例提供了能够通用并且不影响硬件性能发挥的视频检测方案。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例方法流程示意图；
图2为本发明实施例图像帧结构示意图；
图3为本发明实施例图像帧结构示意图；
图4为本发明实施例图像帧结构示意图；
图5为本发明实施例图像帧结构示意图；
图6为本发明实施例方法流程示意图；
图7为本发明实施例方法流程示意图；
图8为本发明实施例方法流程示意图；
图9为本发明实施例视频检测装置结构示意图；
图10为本发明实施例视频检测装置结构示意图；
图11为本发明实施例视频检测装置结构示意图；
图12为本发明实施例视频检测装置结构示意图；
图13为本发明实施例视频检测装置结构示意图；
图14为本发明实施例视频检测装置结构示意图；
图15为本发明实施例视频检测装置结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明实施例提供了一种视频检测方法，如图1所示，可以一并参阅图2、3、4以及图5，在图2～5中小方格为网格，有填充的网格为发生图像变化的网格，方法的实现包括：
101：获取N个连续帧的全屏图像，采用相同的划分方式将上述N个全屏图像划分为预定大小的网格；
以上N是连续帧的个数，因此必然是正整数，N的取值可以按照需要进行设定，例如：6、7、8个等。N取值较小会有更快的视频检测速度，N取值较大一点会有更准确的视频检测结果，N的具体取值本发明实施例不做唯一性限定。网格的大小可以由技术人员根据需求任意设定，网格设置得较大可以提高计算速度，网格设置得较小则可以获得精度更好的视频候选区域。通常可以设置为64*64像素大小。另外，网格可以优选采用正方形网格，理论上采用菱形、长方形或者六边形等形状的网格也是可以的，并不会导致本发明实施例无法实现。
102：以网格为单位检测网格内的图像在上述N个全屏图像内是否发生了变化，并记录发生了变化的图像对应的网格；
检测图像是否发生变化的方案，可以采用各种通用的图像检测算法来实现，本发明实施例不对具体采用的算法进行唯一性限定，不过本实施例提供了优选的解决方案，如下：在确定覆盖记录的网格区域的最小区域作为候选视频区域之前，上述方法还包括：
确定记录的网格对应的图像在上述N个全屏图像中的变化率，删除变化率低于第一阈值的网格。
通过变化率可以更准确确定持续发生变化的图像，因此可以过滤掉偶然发生变化的图像，从而更准确地确定视频所在的区域。第一阈值设置得较大可以降低误判率，设置得较小则可以减少漏判率，具体取值本发明实施例不作唯一性限定。
另外，本发明实施例还提供了，参考图像类型来进一步减少误判的方案，如下：在确定覆盖记录的网格区域的最小区域作为候选视频区域之前，上述方法还包括：以网格为单位检测网格内的图像的图像类型，上述图像类型包括：自然图像和非自然图像；计算记录的网格对应的图像在上述N个全屏图像中属于自然图像的比例，删除属于自然图像的比例低于第二阈值的网格。
由于非自然图像，例如：全屏图像中的背景图像、静止的软件界面等，通常均不会是视频图像，过滤掉这些可能引起误判的图像类型，可以进一步地减少误判。
103：确定覆盖记录的网格区域的最小区域作为候选视频区域。
本发明实施例，通过将连续帧的全屏图像采用相同的划分方式划分为预定大小的网格，然后通过图像检测确定发生变化的图像对应的网格，最后据此确定候选视频区域。确定候选视频区域的过程不需要借助于驱动程序，因此可以避免因借助于驱动程序确定视频区域导致的相应技术问题。所以，本发明实施例提供了能够通用并且不影响硬件性能发挥的视频检测方案。
在本发明实施例中，网格内的图像即使被认定为发生了变化，但是仍然可能出现误判，然而视频区域在现实中是存在阈值大小的，太小的视频区域通常是误判的，本实施例还提供了如何检测出这些被误判的视频区域的方案，具体如下：在确定覆盖记录的网格区域的最小区域作为候选视频区域之前，上述方法还包括：
计算获得第一连通区域，每个上述第一连通区域为覆盖记录的具有邻接关系的网格的最小矩形区域；删除面积、宽度以及高度中的至少一项小于第三阈值的第一连通区域内包含的网格。
由于与第三阈值进行比较的是面积、宽度以及高度的任意组合，因此，第三阈值可能是一个值对应面积、宽度或者高度；第三阈值也可能是包含两个或三个值的阈值，例如：(数值1，数值2)，或者，(数值1，数值2，数值3)，其中每一个数值对应面积、宽度或者高度中的一个参数。
在本实施例中，第三阈值可以依据经验确定，也可以依据应用场景下视频面积的最小可能来确定，具体的面积本发明实施例不作唯一性限定。在图2中包含了四个第一连通区域分别为A、C、D和E；其中，E对应的区域面积太小，可以删除。高度或者宽度对应的阈值与面积对应的阈值类似不再赘述。
由于第一连通区域包含了图像发生变化的网格，还会包含其他网格，如图2中所示的A和D黑色粗体方框包含的区域，包含了图像未发生变化的网格，因此第一连通区域可能相交(即出现重叠的情况)，图2中所示的A和D即发生了重叠，发生了重叠的区域通常会是同一个视频区域，因此本发明实施例提供了如下解决方案：上述删除面积、宽度以及高度中的至少一项小于第三阈值的第一连通区域内包含的网格之前，上述方法还包括：
合并第一连通区域中存在重叠的第一连通区域得到第二连通区域，删除被合并的第一连通区域；
上述删除面积、宽度以及高度中的至少一项小于第三阈值的第一连通区域内包含的网格包括：删除面积、宽度以及高度中的至少一项小于第三阈值的的第一连通区域。
由于第一连通区域出现了合并的情况，删除网格可以直接采用删除连通区域的方式实现。例如在图2中，可以删除E对应的区域。
在本实施例中，由于采用了连通区域的合并操作，因此可能存在最终得到的连通区域只有一个，或者，有至少两个不相交的连通区域，那么视频区域的确定可以有两种选择如下：上述确定覆盖记录的网格区域的区域作为视频区域包括：
将上述第一连通区域和上述第二连通区域分别作为独立的候选视频区域，或者，将覆盖上述第一连通区域和上述第二连通区域的最小矩形区域作为候选视频区域。
其中，分别独立的情况如图4所示的F和C两个视频区域。整体作为视频区域的方案如图3所示的视频区域F。
由于本发明实施例采用的是以网格为单位在判断图像是否发生了变化，那么可能存在误判的情况，这种情况通常发生在视频区域的边缘区域，如果一个网格仅有10％甚至更少的图像发生了变化，那么很可能会被判断为非视频区域；或者一个网格的90％的图像发生了变化，那么整个网格都会被视为发生了变化，这样会导致视频区域的边缘的判断不准确，本实施例提供了此种场景下的解决方案，如下：在获得第一连通区域或第二连通区域后，上述方法还包括：
以像素为单位从上述第一连通区域或第二连通区域的边缘向内或向外检测，确定位于上述第一连通区域或第二连通区域最外一层的网格发生变化的像素的边界，并将上述第一连通区域或第二连通区域缩小或扩大到上述边界范围。
本实施例，通过缩小判断图像是否发生变化的粒度，从而更准确的确定视频区域的边缘，从而更准确确定视频区域的范围。例如图5中，虚线范围为图3所示确定的视频区域，但是发生了误判，虚线和实线框定区域为误判区域。最终修正为G区域为视频区域。
在确定候选的视频区域后，视频区域可能会发生改变另外候选的视频区域虽然已经具备了较高的准确率，但是仍然可能发生误判的情况，本实施例提供了此种方案的解决方案，进一步提高视频区域检测的准确性，如下：在确定上述候选视频区域后，上述方法还包括：
获得后续连续帧的全屏图像中的第一连通区域和/或第二连通区域，若后续获得的第一连通区域和/或第二连通区域连续全部位于上述候选视频区域内的次数大于第四阈值，则确定上述候选视频区域为视频区域。
在候选视频区域确定后，可能出现视频区域被移动或者新建立视频区域的情况，这样会导致原来确定的视频区域错误的情况，本发明实施例提供了此种情况下的错误纠正方案，以及确定新视频的方案，具体如下：在确定上述候选视频区域后，上述方法还包括：
获得后续连续帧的全屏图像中的第一连通区域和/或第二连通区域，若后续获得的上述第一连通区域和/或第二连通区域与上述候选视频区域或者上述视频区域相交但没有全部位于上述候选视频区域内，则删除上述候选视频区域或者上述视频区域；
若后续获得的第一连通区域和/或第二连通区域与上述视频区域不相交，则将上述后续获得的第一连通区域和/或第二连通区域，作为新的候选视频区域。
视频区域在确定后，视频可能会被关闭，因此需要提供视频区域退出机制，本发明实施例提供了如下解决方案：在确定上述候选视频区域后，上述方法还包括：
获得后续连续帧的全屏图像中的第一连通区域和/或第二连通区域，若上述候选视频区域或者上述视频区域与所有后续获得的上述第一连通区域和/或第二连通区域不相交次数大于第五阈值，则删除上述候选视频区域或者上述视频区域。
本发明所要解决的技术问题是提供能够通用的基于图像序列的视频检测方案，用来准确检测到视频区域，并且不依赖于驱动的显示指令。本发明实施例可以根据输入的一系列全屏图像，分析识别视频区域。因此在GPU直通、共享、GPU硬件虚拟化环境下，能够更好地发挥GPU的性能，提升用户体验；增加协议在多种操作系统上的通用性。在后续实施例中，网格即为图像的分块，一个分块即一个区块，对应了全屏图像的一个图像区域。
本发明实施例提供的基于图像序列的视频检测方案，如图6所示，对图像序列流的处理过程主要分为如下几个部分：
图像区域分块、基于统计的分块属性标识、识别候选区块、计算连通区域、连通区域裁剪、矩形区域优化、视频状态维护。
图像序列流：是本发明实施例的的输入数据，对于视频显示接口(VideoDisplayInterface，VDI)场景来说，图像序列是指VM的连续全屏桌面图片；例如针对桌面采用每秒25帧的截取图片，图像序列流就代表每秒25帧图像的连续输入。
现在分别就每个步骤进行详细介绍：
一、图像区域分块：采用固定分块的方式对单帧图像进行分块处理，固定分块是指把一副大的图像分割成固定宽和高的矩形，例如可以采用宽为64像素，高为64像素的矩形对单帧图像进行分割，边缘区域不足以分配宽和高为64像素的矩形时，按最大矩形分块；如图2～5所示的小矩形区域。
二、基于统计的分块属性标识：
分割得到的每一个固定分块，设置两个属性，然后对属性值进行量化；
第一个属性为“分块图像的类型”，值域为[自然图像、非自然图像]，然后对值域进行量化，值“自然图像”量化为实数a，值“非自然图像”量化为实数b；第二个属性为“分块图像变化率”，值域为[变化，未变化]，然后对值域进行量化，值“变化”量化为实数c，值“非变化”量化为实数d；a,b,c,d的具体数值可以根据场景进行针对性的设置，例如可以采用a＝1,b＝0,c＝1,d＝0的量化方式；在算法实际部署过程中，需要图像识别算法，来判断分块数据是否为“自然图像”或者“非自然图像”；
针对每帧图像中的区块blockA，利用图像分类算法对此区块进行分类，根据计算结果，针对第一个属性，按照量化的预定进行量化；如果为“自然图像”则赋值为a，反之则赋值为b；
针对每帧图像中的区块blockA，计算图像是否变化，计算方法可以采用当前帧区块blockA的图像，跟前一帧区块blockA进行比较；也可以采用跟前几帧图像中的blockA进行比较；
具体比较方法可以采用像素逐一比较或者利用摘要算法进行哈希(hash)值比较；
如果当前帧的blockA，与前一帧(或者前面几帧)不存在相同的情况，则标记区块blockA的第二个属性为c，反之为d；
三、识别候选区块：
设定统计队列Q，队列Q的长度为L，针对同一位置的区块blockA，随着图像序列的输入队列Q的不断更新队列内部的值，但是队列的长度不变，后面来的数据会把队头的数据挤掉；针对区块blockA，队列Q的长度L为6，量化值采用a＝1,b＝0,c＝1,d＝0，属性1和属性2在时间t的量化值如下表；
对第一个属性，在队列为Q的长度L下进行计算，v1＝(1+1+1+0+1+1)/6＝0.83；
对第二个属性，在队列为Q的长度L下进行计算，v2＝(0+1+0+1+1+0)/6＝0.5；
针对对第一个属性和第二个属性，分别设置阈值Threshold1和Threshold2，此两个阈值的设置可以根据具体情况自己设置不同的数值；例如：本实施例可以设置阈值Threshold1＝0.6，Threshold2＝0.8；针对区块blockA，如果v1>＝Threshold1，v2>＝Threshold2，则认为区块blockA为候选的视频区块；反之为非视频区块；
按照blockA相同的过程，对整个屏幕中的所有区块进行计算，并按照计算结果，标记每一个区块为“候选的视频区块”或者“非视频区块”；
四、计算连通区域
经过步骤前一步骤分块属性标识以及识别候选区块，已经确定了图像发生变化的区块；那么，可以根据这些区域计算连通区域；如图2所示：其中相同填充方格代表连通区域；方格有填充的部分代表“候选的视频区块”，未填充和框住的部分为“非视频区块”；
连通区域的计算可以采用8连通区域或者4连通区域的原则计算，具体计算方式本实施例不做唯一性限定。其中，图2采用的是8连通区域的原则计算得到的结果。
最后在根据连通区域(图2中相同填充方式的区块所在区域)计算出四个连通区域覆盖的区域A、C、D和E；A、C、D和E的计算方法是针对每一个连通区域取连通区域中坐标最小的区块为矩形的左上角的点，坐标最大的区块为矩形区域的右下角的点；这样得到矩形A、C、D和E。
另外，在确定连通区域以后，由于存在误判，本实施例需要去掉明显不正确的连通区域具体如下：如果连通区域的大小，满足预定大小的阈值(可以定义连通区域的宽度的阈值，高度的阈值，或者面积的阈值)，则加入到集合setc中，不满足阈值则不加入集合setc；集合setc内包含的连通区域是候选的视频区域。
去掉不满足阈值的连通区域，即去掉太小的连通区域，这是因为视频区域的大小往往有一定大小阈值，太小的区域一般不是视频区域，比如128*128类似于这样的区域。
通过计算得到满足大小约束的矩形A\D\C，……的集合特性设置setc，具体过程，如图7所示：
701：获得连通区域的集合setc；
702：确定集合setc中是否存在相交的矩形，如果是，进入703，否则进入704；
703：计算s1和s2相交后的新矩形snew，从集合setc中删除s1和s2，并将新矩形snew加入到集合setc，其中s1和s2是集合setc中的连通区域。然后进入602；
704：输出更新后的集合setc。
以上图6的流程执行完毕后，集合setc内将会不存在相交的连通区域。
五、连通区域裁剪：
在前一个步骤中得到了更新后的矩形集合setc，对于集合setc中的每一个矩形区域s，s的矩形区域精度受限于分块的宽和高可能包含了非视频区域，也可能有视频的边缘区域被判定为非视频区域，因此，可以进一步对集合setc中的矩形进行优化；如图5所示，对于矩形区域的边缘区块，图5中虚线框为所在区域为边缘的区块，黑色实线框所在区域为新的矩形集合setc；区域优化的原则为，参考当前帧的前面几帧图像相同位置的像素，分别从边缘向矩形内部或者向外部的方向计算匹配，计算的步长最多为一个方格的矩形区域的宽和高；匹配计算的结束条件为在匹配过程中遇到不同的像素。
六、视频状态维护：
定义集合svideo，集合svideo为视频区域的集合，v1是svideo的元素，视频区域v1的属性有{left，top，width，height，status，count}，left为视频区域左上角的x坐标，top为视频区域左上角的y坐标；widht为视频的宽，height为视频的高，status为视频区域的状态，其值为on和exit；count为进入视频状态命中次数的阈值；集合svideo在初始化定义时，是没有元素的，或者，将集合setc的元素直接初始化加入到集合svideo。集合setc作为集合svideo维护的依据。因此集合setc是处于更新状态的，因此集合svideo也会随之更新。
假定初始化时集合svideo内包含集合setc中的全部元素，后续集合setc发生更新，视频状态维护的流程如图8所示包括：
801：获取集合svideo以及集合setc；
802：确定集合svideo中是否存在元素v与集合setc中的元素s相交，如果否，进入803，如果是，进入804；
集合svideo中的元素v实际上是候选的视频区域；
803：将s加入到集合svideo并赋值count＝0,failed＝0；
804：计算相交后的矩形区域s1；
本步骤计算方式与连通区域计算方式相同。
805：确定s1是否全部位于上述候选的视频区域v内部，如果否，进入806，如果是进入807；
806：确定候选视频区域v已经退出，从集合svideo中删除v；
807：更新区域v的计数count值为count+1，更新区域v的failed参数的值为0；
808：确定候选视频区域v的count计数是否达到阈值threshold，如果是，进入809；
809：确定候选视频区域v为视频区域。
810：确定是否存在候选的视频区域v1不与集合setc中的任意元素相交，如果是，进入811；
811：增加候选的视频区域v1的属性值计数failed+1；
812：确定v1的failed值，是否大于阈值failed_threshold，如果是，进入813；
813：从集合svideo中删除候选的视频区域v1。
以上流程步骤810至813与步骤802至809之间是相互独立的执行过程。图7的801至813会随着集合setc的更新持续循环执行。
本发明实施例还提供了一种视频检测装置，如图9所示，包括：
图像获取单元901，用于获取N个连续帧的全屏图像；
网格划分单元902，用于采用相同的划分方式将上述N个全屏图像划分为预定大小的网格；
图像检测单元903，用于以网格为单位检测网格内的图像在上述N个全屏图像内是否发生了变化；
网格记录单元904，用于记录发生了变化的图像对应的网格；
视频确定单元905，用于确定覆盖记录的网格区域的最小区域作为候选视频区域。
以上N是连续帧的个数，因此必然是正整数，N的取值可以按照需要进行设定，例如：6、7、8个等。N取值较小会有更快的视频检测速度，N取值较大一点会有更准确的视频检测结果，N的具体取值本发明实施例不做唯一性限定。
本发明实施例，通过将连续帧的全屏图像采用相同的划分方式划分为预定大小的网格，然后通过图像检测确定发生变化的图像对应的网格，最后据此确定候选视频区域。确定候选视频区域的过程不需要借助于驱动程序，因此可以避免因借助于驱动程序确定视频区域导致的相应技术问题。所以，本发明实施例提供了能够通用并且不影响硬件性能发挥的视频检测方案。
检测图像是否发生变化的方案，可以采用各种通用的图像检测算法来实现，本发明实施例不对具体采用的算法进行唯一性限定，不过本实施例提供了优选的解决方案，如下：如图10所示，上述视频检测装置还包括：
第一筛选单元1001，用于在上述视频确定单元905确定覆盖记录的网格区域的最小区域作为候选视频区域之前，确定记录的网格对应的图像在上述N个全屏图像中的变化率，删除变化率低于第一阈值的网格。
通过变化率可以更准确确定持续发生变化的图像，因此可以过滤掉偶然发生变化的图像，从而更准确地确定视频所在的区域。第一阈值设置得较大可以降低误判率，设置得较小则可以减少漏判率，具体取值本发明实施例不作唯一性限定。
另外，本发明实施例还提供了，参考图像类型来进一步减少误判的方案，如下：上述第一筛选单元1001，还用于以网格为单位检测网格内的图像的图像类型，上述图像类型包括：自然图像和非自然图像；计算记录的网格对应的图像在上述N个全屏图像中属于自然图像的比例，删除属于自然图像的比例低于第二阈值的网格。
由于非自然图像，例如：全屏图像中的背景图像、静止的软件界面等，通常均不会是视频图像，过滤掉这些可能引起误判的图像类型，可以进一步地减少误判。
在本发明实施例中，网格内的图像即使被认定为发生了变化，但是仍然可能出现误判，然而视频区域在现实中是存在阈值大小的，太小的视频区域通常是误判的，本实施例还提供了如何检测出这些被误判的视频区域的方案，具体如下：如图11所示，上述视频检测装置还包括：
第二筛选单元1101，用于在上述视频确定单元905确定覆盖记录的网格区域的最小区域作为候选视频区域之前，计算获得第一连通区域，每个上述第一连通区域为覆盖记录的具有邻接关系的网格的最小矩形区域；删除面积、宽度以及高度中的至少一项小于第三阈值的第一连通区域内包含的网格。
在本实施例中，第三阈值可以依据经验确定，也可以依据应用场景下视频面积的最小可能来确定，具体的面积本发明实施例不作唯一性限定。在图2中包含了四个第一连通区域分别为A、C、D和E；其中，E对应的区域面积太小，可以删除。高度或者宽度对应的阈值与面积对应的阈值类似不再赘述。
由于第一连通区域包含了图像发生变化的网格，还会包含其他网格，如图2中所示的A和D黑色粗体方框包含的区域，包含了图像未发生变化的网格，因此第一连通区域可能相交(即出现重叠的情况)，图2中所示的A和D即发生了重叠，发生了重叠的区域通常会是同一个视频区域，因此本发明实施例提供了如下解决方案：上述第二筛选单元1101，还用于在删除面积、宽度以及高度中的至少一项小于第三阈值的第一连通区域内包含的网格之前，合并第一连通区域中存在重叠的第一连通区域得到第二连通区域，删除被合并的第一连通区域；
上述第二筛选单元1101，具体用于删除面积、宽度以及高度中的至少一项小于第三阈值的的第一连通区域。
由于第一连通区域出现了合并的情况，删除网格可以直接采用删除连通区域的方式实现。例如在图2中，可以删除E对应的区域。
在本实施例中，由于采用了连通区域的合并操作，因此可能存在最终得到的连通区域只有一个，或者，有至少两个不相交的连通区域，那么视频区域的确定可以有两种选择如下：上述视频确定单元905，具体用于将上述第一连通区域和上述第二连通区域分别作为独立的候选视频区域，或者，将覆盖上述第一连通区域和上述第二连通区域的最小矩形区域作为候选视频区域。
其中，分别独立的情况如图4所示的F和C两个视频区域。整体作为视频区域的方案如图3所示的视频区域F。
由于本发明实施例采用的是以网格为单位在判断图像是否发生了变化，那么可能存在误判的情况，这种情况通常发生在视频区域的边缘区域，如果一个网格仅有10％甚至更少的图像发生了变化，那么很可能会被判断为非视频区域；或者一个网格的90％的图像发生了变化，那么整个网格都会被视为发生了变化，这样会导致视频区域的边缘的判断不准确，本实施例提供了此种场景下的解决方案，如下：如图12所示，上述视频检测装置还包括：
区域修正单元1201，用于在上述第二筛选单元1101获得第一连通区域或第二连通区域后，以像素为单位从上述第一连通区域或第二连通区域的边缘向内或向外检测，确定位于上述第一连通区域或第二连通区域最外一层的网格发生变化的像素的边界，并将上述第一连通区域或第二连通区域缩小或扩大到上述边界范围。
本实施例，通过缩小判断图像是否发生变化的粒度，从而更准确的确定视频区域的边缘，从而更准确确定视频区域的范围。例如图5中，虚线范围为图3所示确定的视频区域，但是发生了误判，虚线和实线框定区域为误判区域。最终修正为G区域为视频区域。
在确定候选的视频区域后，视频区域可能会发生改变另外候选的视频区域虽然已经具备了较高的准确率，但是仍然可能发生误判的情况，本实施例提供了此种方案的解决方案，进一步提高视频区域检测的准确性，如下：上述视频确定单元905，还用于在确定上述候选视频区域后，获得后续连续帧的全屏图像中的第一连通区域和/或第二连通区域，若后续获得的第一连通区域和/或第二连通区域连续全部位于上述候选视频区域内的次数大于第四阈值，则确定上述候选视频区域为视频区域。
在候选视频区域确定后，可能出现视频区域被移动或者新建立视频区域的情况，这样会导致原来确定的视频区域错误的情况，本发明实施例提供了此种情况下的错误纠正方案，以及确定新视频的方案，具体如下：如图13所示，上述视频检测装置还包括：
第一维护单元1301，用于在上述视频确定单元905确定上述候选视频区域后，获得后续连续帧的全屏图像中的第一连通区域和/或第二连通区域，若后续获得的上述第一连通区域和/或第二连通区域与上述候选视频区域或者上述视频区域相交但没有全部位于上述候选视频区域内，则删除上述候选视频区域或者上述视频区域；若后续获得的第一连通区域和/或第二连通区域与上述视频区域不相交，则将上述后续获得的第一连通区域和/或第二连通区域，作为新的候选视频区域。
视频区域在确定后，视频可能会被关闭，因此需要提供视频区域退出机制，本发明实施例提供了如下解决方案：如图14所示，上述视频检测装置还包括：
第二维护单元1401，用于在上述视频确定单元905确定上述候选视频区域后，获得后续连续帧的全屏图像中的第一连通区域和/或第二连通区域，若上述候选视频区域或者上述视频区域与所有后续获得的上述第一连通区域和/或第二连通区域不相交次数大于第五阈值，则删除上述候选视频区域或者上述视频区域。
本发明实施例还提供了另一种视频检测装置，如图15所示，包括：处理器1501，以及存储器1502；其中存储器1502可以提供处理器1501在数据处理过程中所需要的缓存空间，并且可以用于存储记录的网格等数据；请一并参阅图2～5，具体如下：
上述处理器1501，用于获取N个连续帧的全屏图像，采用相同的划分方式将上述N个全屏图像划分为预定大小的网格；以网格为单位检测网格内的图像在上述N个全屏图像内是否发生了变化，并记录发生了变化的图像对应的网格；确定覆盖记录的网格区域的最小区域作为候选视频区域。
以上N是连续帧的个数，因此必然是正整数，N的取值可以按照需要进行设定，例如：6、7、8个等。N取值较小会有更快的视频检测速度，N取值较大一点会有更准确的视频检测结果，N的具体取值本发明实施例不做唯一性限定。
本发明实施例，通过将连续帧的全屏图像采用相同的划分方式划分为预定大小的网格，然后通过图像检测确定发生变化的图像对应的网格，最后据此确定候选视频区域。确定候选视频区域的过程不需要借助于驱动程序，因此可以避免因借助于驱动程序确定视频区域导致的相应技术问题。所以，本发明实施例提供了能够通用并且不影响硬件性能发挥的视频检测方案。
检测图像是否发生变化的方案，可以采用各种通用的图像检测算法来实现，本发明实施例不对具体采用的算法进行唯一性限定，不过本实施例提供了优选的解决方案，如下：上述处理器1501，还用于在确定覆盖记录的网格区域的最小区域作为候选视频区域之前，确定记录的网格对应的图像在上述N个全屏图像中的变化率，删除变化率低于第一阈值的网格。
通过变化率可以更准确确定持续发生变化的图像，因此可以过滤掉偶然发生变化的图像，从而更准确地确定视频所在的区域。第一阈值设置得较大可以降低误判率，设置得较小则可以减少漏判率，具体取值本发明实施例不作唯一性限定。
另外，本发明实施例还提供了，参考图像类型来进一步减少误判的方案，如下：上述处理器1501，还用于在确定覆盖记录的网格区域的最小区域作为候选视频区域之前，以网格为单位检测网格内的图像的图像类型，上述图像类型包括：自然图像和非自然图像；计算记录的网格对应的图像在上述N个全屏图像中属于自然图像的比例，删除属于自然图像的比例低于第二阈值的网格。
由于非自然图像，例如：全屏图像中的背景图像、静止的软件界面等，通常均不会是视频图像，过滤掉这些可能引起误判的图像类型，可以进一步地减少误判。
在本发明实施例中，网格内的图像即使被认定为发生了变化，但是仍然可能出现误判，然而视频区域在现实中是存在阈值大小的，太小的视频区域通常是误判的，本实施例还提供了如何检测出这些被误判的视频区域的方案，具体如下：上述处理器1501，还用于在确定覆盖记录的网格区域的最小区域作为候选视频区域之前，计算获得第一连通区域，每个上述第一连通区域为覆盖记录的具有邻接关系的网格的最小矩形区域；删除面积、宽度以及高度中的至少一项小于第三阈值的第一连通区域内包含的网格。
在本实施例中，第三阈值可以依据经验确定，也可以依据应用场景下视频面积的最小可能来确定，具体的面积本发明实施例不作唯一性限定。在图2中包含了四个第一连通区域分别为A、C、D和E；其中，E对应的区域面积太小，可以删除。高度或者宽度对应的阈值与面积对应的阈值类似不再赘述。
由于第一连通区域包含了图像发生变化的网格，还会包含其他网格，如图2中所示的A和D黑色粗体方框包含的区域，包含了图像未发生变化的网格，因此第一连通区域可能相交(即出现重叠的情况)，图2中所示的A和D即发生了重叠，发生了重叠的区域通常会是同一个视频区域，因此本发明实施例提供了如下解决方案：上述处理器1501，还用于上述删除面积、宽度以及高度中的至少一项小于第三阈值的第一连通区域内包含的网格之前，合并第一连通区域中存在重叠的第一连通区域得到第二连通区域，删除被合并的第一连通区域；
上述删除面积、宽度以及高度中的至少一项小于第三阈值的第一连通区域内包含的网格包括：删除面积、宽度以及高度中的至少一项小于第三阈值的的第一连通区域。
由于第一连通区域出现了合并的情况，删除网格可以直接采用删除连通区域的方式实现。例如在图2中，可以删除E对应的区域。
在本实施例中，由于采用了连通区域的合并操作，因此可能存在最终得到的连通区域只有一个，或者，有至少两个不相交的连通区域，那么视频区域的确定可以有两种选择如下：上述处理器1501，用于确定覆盖记录的网格区域的区域作为视频区域包括：将上述第一连通区域和上述第二连通区域分别作为独立的候选视频区域，或者，将覆盖上述第一连通区域和上述第二连通区域的最小矩形区域作为候选视频区域。
其中，分别独立的情况如图4所示的F和C两个视频区域。整体作为视频区域的方案如图3所示的视频区域F。
由于本发明实施例采用的是以网格为单位在判断图像是否发生了变化，那么可能存在误判的情况，这种情况通常发生在视频区域的边缘区域，如果一个网格仅有10％甚至更少的图像发生了变化，那么很可能会被判断为非视频区域；或者一个网格的90％的图像发生了变化，那么整个网格都会被视为发生了变化，这样会导致视频区域的边缘的判断不准确，本实施例提供了此种场景下的解决方案，如下：上述处理器1501，还用于在获得第一连通区域或第二连通区域后，以像素为单位从上述第一连通区域或第二连通区域的边缘向内或向外检测，确定位于上述第一连通区域或第二连通区域最外一层的网格发生变化的像素的边界，并将上述第一连通区域或第二连通区域缩小或扩大到上述边界范围。
本实施例，通过缩小判断图像是否发生变化的粒度，从而更准确的确定视频区域的边缘，从而更准确确定视频区域的范围。例如图5中，虚线范围为图3所示确定的视频区域，但是发生了误判，虚线和实线框定区域为误判区域。最终修正为G区域为视频区域。
在确定候选的视频区域后，视频区域可能会发生改变另外候选的视频区域虽然已经具备了较高的准确率，但是仍然可能发生误判的情况，本实施例提供了此种方案的解决方案，进一步提高视频区域检测的准确性，如下：上述处理器1501，还用于在确定上述候选视频区域后，获得后续连续帧的全屏图像中的第一连通区域和/或第二连通区域，若后续获得的第一连通区域和/或第二连通区域连续全部位于上述候选视频区域内的次数大于第四阈值，则确定上述候选视频区域为视频区域。
在候选视频区域确定后，可能出现视频区域被移动或者新建立视频区域的情况，这样会导致原来确定的视频区域错误的情况，本发明实施例提供了此种情况下的错误纠正方案，以及确定新视频的方案，具体如下：上述处理器1501，还用于在确定上述候选视频区域后，获得后续连续帧的全屏图像中的第一连通区域和/或第二连通区域，若后续获得的上述第一连通区域和/或第二连通区域与上述候选视频区域或者上述视频区域相交但没有全部位于上述候选视频区域内，则删除上述候选视频区域或者上述视频区域；
若后续获得的第一连通区域和/或第二连通区域与上述视频区域不相交，则将上述后续获得的第一连通区域和/或第二连通区域，作为新的候选视频区域。
视频区域在确定后，视频可能会被关闭，因此需要提供视频区域退出机制，本发明实施例提供了如下解决方案：上述处理器1501，还用于在确定上述候选视频区域后，获得后续连续帧的全屏图像中的第一连通区域和/或第二连通区域，若上述候选视频区域或者上述视频区域与所有后续获得的上述第一连通区域和/或第二连通区域不相交次数大于第五阈值，则删除上述候选视频区域或者上述视频区域。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (20)
1.一种视频检测方法，其特征在于，包括：
获取N个连续帧的全屏图像，采用相同的划分方式将所述N个全屏图像划分为预定大小的网格；
以网格为单位检测网格内的图像在所述N个全屏图像内是否发生了变化，并记录发生了变化的图像对应的网格；
确定覆盖记录的网格区域的最小区域作为候选视频区域。
2.根据权利要求1所述方法，其特征在于，在确定覆盖记录的网格区域的最小区域作为候选视频区域之前，所述方法还包括：
确定记录的网格对应的图像在所述N个全屏图像中的变化率，删除变化率低于第一阈值的网格。
3.根据权利要求2所述方法，其特征在于，在确定覆盖记录的网格区域的最小区域作为候选视频区域之前，所述方法还包括：
以网格为单位检测网格内的图像的图像类型，所述图像类型包括：自然图像和非自然图像；计算记录的网格对应的图像在所述N个全屏图像中属于自然图像的比例，删除属于自然图像的比例低于第二阈值的网格。
4.根据权利要求1至3任意一项所述方法，其特征在于，在确定覆盖记录的网格区域的最小区域作为候选视频区域之前，所述方法还包括：
计算获得第一连通区域，每个所述第一连通区域为覆盖记录的具有邻接关系的网格的最小矩形区域；删除面积、宽度以及高度中的至少一项小于第三阈值的第一连通区域内包含的网格。
5.根据权利要求4所述方法，其特征在于，所述删除面积、宽度以及高度中的至少一项小于第三阈值的第一连通区域内包含的网格之前，所述方法还包括：
合并第一连通区域中存在重叠的第一连通区域得到第二连通区域，删除被合并的第一连通区域；
所述删除面积、宽度以及高度中的至少一项小于第三阈值的第一连通区域内包含的网格包括：删除面积、宽度以及高度中的至少一项小于第三阈值的的第一连通区域。
6.根据权利要求5所述方法，其特征在于，所述确定覆盖记录的网格区域的区域作为视频区域包括：
将所述第一连通区域和所述第二连通区域分别作为独立的候选视频区域，或者，将覆盖所述第一连通区域和所述第二连通区域的最小矩形区域作为候选视频区域。
7.根据权利要求5所述方法，其特征在于，在获得第一连通区域或第二连通区域后，所述方法还包括：
以像素为单位从所述第一连通区域或第二连通区域的边缘向内或向外检测，确定位于所述第一连通区域或第二连通区域最外一层的网格发生变化的像素的边界，并将所述第一连通区域或第二连通区域缩小或扩大到所述边界范围。
8.根据权利要求6所述方法，其特征在于，在确定所述候选视频区域后，所述方法还包括：
获得后续连续帧的全屏图像中的第一连通区域和/或第二连通区域，若后续获得的第一连通区域和/或第二连通区域连续全部位于所述候选视频区域内的次数大于第四阈值，则确定所述候选视频区域为视频区域。
9.根据权利要求8所述方法，其特征在于，在确定所述候选视频区域后，所述方法还包括：
获得后续连续帧的全屏图像中的第一连通区域和/或第二连通区域，若后续获得的所述第一连通区域和/或第二连通区域与所述候选视频区域或者所述视频区域相交但没有全部位于所述候选视频区域内，则删除所述候选视频区域或者所述视频区域；
若后续获得的第一连通区域和/或第二连通区域与所述视频区域不相交，则将所述后续获得的第一连通区域和/或第二连通区域，作为新的候选视频区域。
10.根据权利要求8所述方法，其特征在于，在确定所述候选视频区域后，所述方法还包括：
获得后续连续帧的全屏图像中的第一连通区域和/或第二连通区域，若所述候选视频区域或者所述视频区域与所有后续获得的所述第一连通区域和/或第二连通区域不相交次数大于第五阈值，则删除所述候选视频区域或者所述视频区域。
11.一种视频检测装置，其特征在于，包括：
图像获取单元，用于获取N个连续帧的全屏图像；
网格划分单元，用于采用相同的划分方式将所述N个全屏图像划分为预定大小的网格；
图像检测单元，用于以网格为单位检测网格内的图像在所述N个全屏图像内是否发生了变化；
网格记录单元，用于记录发生了变化的图像对应的网格；
视频确定单元，用于确定覆盖记录的网格区域的最小区域作为候选视频区域。
12.根据权利要求11所述视频检测装置，其特征在于，所述视频检测装置还包括：
第一筛选单元，用于在所述视频确定单元确定覆盖记录的网格区域的最小区域作为候选视频区域之前，确定记录的网格对应的图像在所述N个全屏图像中的变化率，删除变化率低于第一阈值的网格。
13.根据权利要求12所述视频检测装置，其特征在于，
所述第一筛选单元，还用于以网格为单位检测网格内的图像的图像类型，所述图像类型包括：自然图像和非自然图像；计算记录的网格对应的图像在所述N个全屏图像中属于自然图像的比例，删除属于自然图像的比例低于第二阈值的网格。
14.根据权利要求11至13任意一项所述视频检测装置，其特征在于，所述视频检测装置还包括：
第二筛选单元，用于在所述视频确定单元确定覆盖记录的网格区域的最小区域作为候选视频区域之前，计算获得第一连通区域，每个所述第一连通区域为覆盖记录的具有邻接关系的网格的最小矩形区域；删除面积、宽度以及高度中的至少一项小于第三阈值的第一连通区域内包含的网格。
15.根据权利要求14所述视频检测装置，其特征在于，
所述第二筛选单元，还用于在删除面积、宽度以及高度中的至少一项小于第三阈值的第一连通区域内包含的网格之前，合并第一连通区域中存在重叠的第一连通区域得到第二连通区域，删除被合并的第一连通区域；
所述第二筛选单元，具体用于删除面积、宽度以及高度中的至少一项小于第三阈值的的第一连通区域。
16.根据权利要求15所述视频检测装置，其特征在于，
所述视频确定单元，具体用于将所述第一连通区域和所述第二连通区域分别作为独立的候选视频区域，或者，将覆盖所述第一连通区域和所述第二连通区域的最小矩形区域作为候选视频区域。
17.根据权利要求15所述视频检测装置，其特征在于，所述视频检测装置还包括：
区域修正单元，用于在所述第二筛选单元获得第一连通区域或第二连通区域后，以像素为单位从所述第一连通区域或第二连通区域的边缘向内或向外检测，确定位于所述第一连通区域或第二连通区域最外一层的网格发生变化的像素的边界，并将所述第一连通区域或第二连通区域缩小或扩大到所述边界范围。
18.根据权利要求16所述视频检测装置，其特征在于，
所述视频确定单元，还用于在确定所述候选视频区域后，获得后续连续帧的全屏图像中的第一连通区域和/或第二连通区域，若后续获得的第一连通区域和/或第二连通区域连续全部位于所述候选视频区域内的次数大于第四阈值，则确定所述候选视频区域为视频区域。
19.根据权利要求18所述视频检测装置，其特征在于，所述视频检测装置还包括：
第一维护单元，用于在所述视频确定单元确定所述候选视频区域后，获得后续连续帧的全屏图像中的第一连通区域和/或第二连通区域，若后续获得的所述第一连通区域和/或第二连通区域与所述候选视频区域或者所述视频区域相交但没有全部位于所述候选视频区域内，则删除所述候选视频区域或者所述视频区域；若后续获得的第一连通区域和/或第二连通区域与所述视频区域不相交，则将所述后续获得的第一连通区域和/或第二连通区域，作为新的候选视频区域。
20.根据权利要求18所述视频检测装置，其特征在于，所述视频检测装置还包括：
第二维护单元，用于在所述视频确定单元确定所述候选视频区域后，获得后续连续帧的全屏图像中的第一连通区域和/或第二连通区域，若所述候选视频区域或者所述视频区域与所有后续获得的所述第一连通区域和/或第二连通区域不相交次数大于第五阈值，则删除所述候选视频区域或者所述视频区域。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410841945.6A CN105809659B (zh) | 2014-12-30 | 2014-12-30 | 一种视频检测方法，及装置 |
| PCT/CN2015/089814 WO2016107216A1 (zh) | 2014-12-30 | 2015-09-16 | 一种视频检测方法，及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410841945.6A CN105809659B (zh) | 2014-12-30 | 2014-12-30 | 一种视频检测方法，及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105809659A true CN105809659A (zh) | 2016-07-27 |
| CN105809659B CN105809659B (zh) | 2019-05-03 |
Family
ID=56284137
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410841945.6A Active CN105809659B (zh) | 2014-12-30 | 2014-12-30 | 一种视频检测方法，及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN105809659B (zh) |
| WO (1) | WO2016107216A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108280834A (zh) * | 2018-01-22 | 2018-07-13 | 西安万像电子科技有限公司 | 视频区域确定方法及装置 |
| WO2023024563A1 (zh) * | 2021-08-23 | 2023-03-02 | 中兴通讯股份有限公司 | 视频处理方法、服务器和计算机可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010087937A (ja) * | 2008-10-01 | 2010-04-15 | Nippon Telegr & Teleph Corp <Ntt> | 映像検出装置、映像検出方法および映像検出プログラム |
| WO2014000515A1 (zh) * | 2012-06-26 | 2014-01-03 | 天脉聚源(北京)传媒科技有限公司 | 一种广告视频检测方法 |
| CN104093001A (zh) * | 2014-07-23 | 2014-10-08 | 山东建筑大学 | 一种在线动态视频浓缩方法 |
| CN104115187A (zh) * | 2012-02-14 | 2014-10-22 | 微软公司 | 远程桌面协议中的视频检测 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101283262B1 (ko) * | 2011-10-21 | 2013-07-11 | 한양대학교 산학협력단 | 영상 처리 방법 및 장치 |
| CN104822009B (zh) * | 2015-04-14 | 2017-11-28 | 无锡天脉聚源传媒科技有限公司 | 一种视频场景变换识别的方法及装置 |
-
2014
- 2014-12-30 CN CN201410841945.6A patent/CN105809659B/zh active Active
-
2015
- 2015-09-16 WO PCT/CN2015/089814 patent/WO2016107216A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010087937A (ja) * | 2008-10-01 | 2010-04-15 | Nippon Telegr & Teleph Corp <Ntt> | 映像検出装置、映像検出方法および映像検出プログラム |
| CN104115187A (zh) * | 2012-02-14 | 2014-10-22 | 微软公司 | 远程桌面协议中的视频检测 |
| WO2014000515A1 (zh) * | 2012-06-26 | 2014-01-03 | 天脉聚源(北京)传媒科技有限公司 | 一种广告视频检测方法 |
| CN104093001A (zh) * | 2014-07-23 | 2014-10-08 | 山东建筑大学 | 一种在线动态视频浓缩方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108280834A (zh) * | 2018-01-22 | 2018-07-13 | 西安万像电子科技有限公司 | 视频区域确定方法及装置 |
| CN108280834B (zh) * | 2018-01-22 | 2019-11-29 | 西安万像电子科技有限公司 | 视频区域确定方法及装置 |
| WO2023024563A1 (zh) * | 2021-08-23 | 2023-03-02 | 中兴通讯股份有限公司 | 视频处理方法、服务器和计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2016107216A1 (zh) | 2016-07-07 |
| CN105809659B (zh) | 2019-05-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10424341B2 (en) | Dynamic video summarization | |
| KR102350235B1 (ko) | 영상 처리 방법 및 장치 | |
| US10769849B2 (en) | Use of temporal motion vectors for 3D reconstruction | |
| US20130279881A1 (en) | Systems and methods for topic-specific video presentation | |
| CN106534692A (zh) | 一种视频稳像方法及装置 | |
| US20150063697A1 (en) | Method and apparatus for segmenting object in image | |
| CN110189333B (zh) | 一种图片语义分割半自动标注方法及装置 | |
| CN108509917A (zh) | 基于镜头类相关性分析的视频场景分割方法和装置 | |
| US20220193547A1 (en) | Method and system for game screen rendering based on multiple graphics cards | |
| US20140376882A1 (en) | Computing device with video analyzing function and video analyzing method | |
| US9967565B2 (en) | Image compression method based on local dynamic quantizing | |
| CN104243992B (zh) | 图像处理装置及图像处理方法 | |
| CN106447656B (zh) | 基于图像识别的渲染瑕疵图像检测方法 | |
| CN114051124B (zh) | 支持多区域监控的视频监控方法、装置、设备及存储介质 | |
| CN105809659A (zh) | 一种视频检测方法，及装置 | |
| WO2019047663A1 (zh) | 一种基于视频格式的端到端自动驾驶数据的存储方法及装置 | |
| CN115100161A (zh) | 一种电池顶盖缺陷检测方法、装置、电子设备及存储介质 | |
| US20140176802A1 (en) | Detection and measurement of video scene transitions | |
| CN115878379A (zh) | 一种数据备份方法、主服务器、备份服务器及存储介质 | |
| US11430488B2 (en) | System and method for generating a compression invariant motion timeline | |
| Mancas et al. | Human attention modelization and data reduction | |
| KR102238610B1 (ko) | 딥러닝 객체 검출기의 추론 정보를 이용한 정지객체 검출 방법 | |
| CN110580706A (zh) | 一种视频背景模型的提取方法及装置 | |
| CN104182197A (zh) | 一种拼接墙控制方法、系统及相关拼接墙 | |
| KR101857592B1 (ko) | 캐시를 가지고 절차 이미지를 생성하기 위한 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220208 Address after: 550025 Huawei cloud data center, jiaoxinggong Road, Qianzhong Avenue, Gui'an New District, Guiyang City, Guizhou Province Patentee after: Huawei Cloud Computing Technologies Co.,Ltd. Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd. |