CN107194952A - 一种面向屏幕视频编码的屏幕滚动检测方法 - Google Patents

Abstract

本发明公开了一种面向屏幕视频编码的屏幕滚动检测方法，按照复杂度由低到高的顺序依次检测静止、翻屏、滚屏等几种典型屏幕运动。通过相邻帧的逐像素比较，判断是否全屏静止；通过相邻帧的灰度直方图的相似性比较，判断是否翻屏；当排除了静止和翻屏后，采用滑动窗口匹配的方法检测上下左右的滚屏，同时计算出滚动位移。本发明方法不依赖于操作系统的驱动程序，因而通用性强、处理效率高，而且能显式地给出屏幕运动类型及其参数供屏幕视频编码器优化编码策略。

Description

一种面向屏幕视频编码的屏幕滚动检测方法

技术领域

本发明属于视频分析技术领域，涉及一种屏幕视频变化检测方法，具体涉及一种面向屏幕视频编码的屏幕滚动检测方法。

技术背景

屏幕视频是由计算机显示在屏幕上的视频内容。屏幕录制和远程屏幕共享涉及到屏幕视频的操作。屏幕录制对屏幕视频进行捕获、录制和保存，以便脱离原始文件后能再次播放。远程协作办公、视频会议、网络游戏、远程教育等业务中，远程屏幕共享功能需要将本地的计算机屏幕内容捕获后编码传输到远端。屏幕视频包含了文本、图形和图像构成的复合视频内容，具有自然视频不一样的运动和统计特性，因此，H.264/H.265等通用的视频编码技术不能对屏幕视频取得理想的压缩效果。国际上开展了专门针对屏幕视频的编码研究，ITU-T和MPEG联合制定了屏幕视频内容的编码标准(Screen Content Coding，简称SCC)。

屏幕静止、屏幕滚动、屏幕切换(翻屏或翻页)是屏幕视频中典型的运动行为，它们在改善屏幕视频编码效率上具有重要的利用价值。正确检测出这几种运动模式是实现屏幕视频编码优化的前提。屏幕变化检测通常可分为主动监测法和软件识别法。

目前大多数主动监测方法都是以钩子(Hook)技术为基础的。钩子机制允许应用程序设置系统消息钩子和全局API钩子，实现截获并处理Windows消息或特定事件，据此可分析出屏幕动态变化区域。其特点是算法速度较快、数据量较小；缺点是全面性和稳定性不够好，对屏幕变化跟踪的准确性也不够高。Microsoft Window系列操作系统提供的镜像显示驱动(Mirror Driver)机制，可从底层实时捕获屏幕动态变化区域。在截取速度、全面性、准确度、CPU占用率以及稳定性上均较Hook技术优秀。但由于其不支持DirectDraw，加载后会使系统丧失DirectDraw硬件加速功能，会对依赖DirectDraw较高的应用程序产生较大影响，如3D游戏。

无论是基于Hook的方法还是基于Mirror Driver的方法，实际应用中，主动监测法的最大问题体现在两点：(1)主动监测法只能检测出变化区域，不能给出变化的移动量，如屏幕滚动的上下、左右偏移距离；(2)与操作系统耦合紧密，难以与现有的视频编码器无缝集成。

软件识别法仅仅对视频图像内容自身进行分析，不依赖于任何其他事件的驱动就能获得变化的区域及变化量，因此，具有比主动监测法更好的通用性和更强的能力。软件识别法通常先将屏幕分成大小相同的区块，然后采用某种比对方法，将相邻帧中各个屏幕图像区块进行比对，找出区块中的变化区域，从而得到变化区域集合。因此，软件识别法运算量较大，比较耗时。因此，提出准确快速而能同时检测出滚动距离的屏幕变化检测方法具有重要的应用价值。

发明内容

为了解决上述技术问题，本发明提供了一种面向屏幕视频编码的屏幕滚动检测方法。

本发明所采用的技术方案是：一种面向屏幕视频编码的屏幕滚动检测方法，其特征在于，包括以下步骤：

步骤1：通过相邻帧的逐像素比较，判断是否全屏静止；

若是，则输出静止状态，本流程结束；

否则，则执行下述步骤2；

步骤2：通过相邻帧的灰度直方图比较，判断是否翻屏；

若是，则输出翻屏状态，本流程结束；

否则，则执行下述步骤3；

步骤3：在屏幕中央选取观测区域窗口，并均匀划分为若干候选的矩形采样子区域；

步骤4：在候选子区域相邻帧的两个子区域间逐个进行滑动匹配，判断匹配是否成功；

若是，则输出滚屏状态及非零的滚动位移值，本流程结束；

若否，则执行下述步骤5；

步骤5：判断候选子区域是否全部遍历完毕；

若是，则输出静止状态或局部活动状态，本流程结束；

若否，则回转执行所述上述步骤4。

与现有的屏幕变化检测方法相比，本发明具有以下优点和积极效果：

(1)相比于基于操作系统事件或驱动程序的变化检测方法，本发明对屏幕变化区域检测的准确率高、稳定性好，而且能克服现有方法不能计算滚屏距离的缺陷；

(2)本发明方法仅仅分析图像内容自身，不依赖于事件的驱动，独立于特定的操作系统，因而具有普适性强的优点，无需改造视频编码器接口，就能无缝集成到视频编码器中；

(3)相比于已有的软件识别方法，本发明方法按照静止、翻屏、滚屏的顺序依次执行，首先处理易于检测的静止或翻屏动作，最大限度减少最为复杂的滚屏动作检测的比例，从而显著提高了屏幕滚动检测的效率；

(4)本发明方法能显式地提供屏幕运动的类型(静止、翻屏、上下左右滚动、局部动画类运动)及滚屏这类运动的移动距离参数，从而为编码器后续针对每类运动执行差别性的编码优化策略创造了便利条件。

附图说明

图1：本发明实施例的流程图；

图2：本发明实施例中子区域的垂直滚动位移计算流程图；

图3：本发明实施例中子区域的水平滚动位移计算流程图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

屏幕视频的运动不外乎静止、滚动、翻屏和局部运动几种模式。由于用户浏览屏幕的速度不可能太快，屏幕静止占据较高的比例；为了浏览全屏内容，上下左右的屏幕滚动也是一种极为常见的操作；翻屏或页面切换操作出现频度相对于屏幕静止和滚动要少得多；局部运动包括弹出窗口、动画、视频、活动网页等动态内容，其发生的频率取决于屏幕内容的类型，例如动态网页和PPT动画中局部运动很多，但Pdf和Word文档中几乎没有什么局部运动。

滚动距离或偏移的检测是屏幕变化检测中最为耗时的部分，而静止屏幕的判断最为容易且其出现的比例最高，因此，如果首先排除静止屏幕，将能显著提高屏幕变化检测的效率。进一步分析，屏幕滚动中前后两帧的内容大部分一样，而翻屏中恰恰相反，大部分内容发生了改变，因而滚动和翻屏具有较好的整体区分性，从而可以将翻屏在滚动检测之前过滤掉，进一步减少真正需要进行最为复杂的滚动检测的页面数量。

如果只是简单的进行逐像素的变化比较，翻屏与滚屏依然很难区分，但二者在整体变化上区分性较好：滚屏时相邻帧变化不大，翻屏时相邻帧变化明显。因此，可以利用灰度直方图之类刻画整体统计特征的工具进行相似性判断。滚屏时，相邻帧直方图接近；翻屏时，相邻帧直方图出现明显差异。

滚动位移的检测涉及到相邻帧区块的逐行(上下滚动时)或逐列(左右滚动时)的滑动匹配，因而较为复杂。但出于用户的操作习惯，上下滚动较左右滚动频繁，且二者不可能同时出现，因此，可以先判断上下滚动，仅当上下滚动判断不成功时，才进行左右滚动的检测。同时，上下滚动的“上”和“下”，左右滚动的“左”和“右”也是互斥的，无须对两个方向同时处理，也即仅当一种滚动检测不成时才启动另外一种。

滚动距离计算依赖相邻帧同一位置区块的滑动比对，即将参考帧区块位置固定，上下货左右滑动当前帧的区块，直到完全匹配上或超出设定滑动范围为止。为此，需要在屏幕区域划定观测窗口，采样用于比对的图像块。鉴于屏幕的上下左右四周往往存在静态栏目，为了排除静态不变内容的干扰，将观测窗口设定在屏幕中央。本发明中，去掉屏幕上下左右四分之一的边界部分，剩下的区域作为观测窗口。

同时，考虑到单一的图像块匹配的不可靠性(图像块可能涵盖了静态内容或非滚动的动态内容)，在观测窗口中采样多个图像块进行匹配。这样，当一个图像块匹配不成功时，并非一定是不存在滚动，而可能是图像块取样区域不对，误导了滚动检测；只有当所有候选图像块都匹配不上时，才认为不存在滚动，而依然判定为静止或者无规律的翻屏抑局部运动。这种多候选图像块策略增加了屏幕滚动检测匹配成功的概率，降低了漏检率。本发明中，按3×3方格划定9个候选图像块。

基于以上原理，本发明的一种面向屏幕视频编码的屏幕滚动检测方法，请见图1，包含如下主要步骤：

一种面向屏幕视频编码的屏幕滚动检测方法，其特征在于，包括以下步骤：

步骤1：通过相邻帧的逐像素比较，判断是否全屏静止；

若是，则输出静止状态，本流程结束；

否则，则执行下述步骤2；

其中，全屏静止的判断方法包括下述子步骤：

步骤1.1：对相邻两帧视频进行逐像素比较，统计灰度值相同的像素个数；

步骤1.2：如果相同像素占总素数的比例大于预设门限Ft(本实施例中Ft＝90％)，则判断相邻帧为静止帧。

步骤2：通过相邻帧的灰度直方图比较，判断是否翻屏；

若是，则输出翻屏状态，本流程结束；

否则，则执行下述步骤3；

其中，判断是否翻屏的方法包括下述子步骤：

步骤2.1：计算相邻两帧图像的灰度直方图，分别记为R和C；

步骤2.2：计算两帧图像灰度直方图的相似度Sim(R,C)；

其中，Ri、Ci表示每个灰度级的分布概率，i＝0、…、255；

步骤2.3：若Sim(R,C)小于预设门限St(本实施例中St＝0.8)，则判断为翻屏。

步骤3：在屏幕中央选取观测区域窗口，并均匀划分为若干候选的矩形采样子区域；

具体实现包括以下子步骤：

步骤3.1：取屏幕中央矩形区域，区域左上角坐标为区域右下角坐标为w、h分别表示屏幕图像的宽度与高度，单位为像素；

步骤3.2：将区域按3×3方格，均分为9个子区域，子区域的宽度为高度为 为下取整运算符。

步骤4：在候选子区域相邻帧的两个子区域间逐个进行滑动匹配，判断匹配是否成功；

若是，则输出滚屏状态及非零的滚动位移值，本流程结束；

若否，则执行下述步骤5；

其中，中滑动匹配的具体实现包括以下述子步骤：

步骤4.1：候选子区域的垂直滚动位移计算；

请见图2，该步骤进一步细化为下述过程：

步骤4.1.1：计算当前帧、参考帧中同位子区域的SAD(像素差值的绝对值之和)，若SAD为零，则返回位移值0；

步骤4.1.2：否则，参考帧子区域位置保持不变，当前帧子区域位置下移一行，计算两个子区域的SAD，若SAD为零，则返回位移值1；

步骤4.1.3：否则，如此类推，继续下移一行，计算SAD，直到SAD为零，则将下移的总行数作为位移值返回；或者，直到下移的总行数超过了子区域的高度，则进入下面的反向滚动位移的计算流程：

①将当前帧的子区域回到原先起始位置，然后上移一行，计算当前帧、参考帧两个子区域的SAD，若SAD为零，则返回位移值-1；

②否则，如此类推，继续上移一行，计算SAD，直到SAD为零，则将上移的总行数的负数作为位移值返回；或者，直到上移的总行数超过了子区域的高度，则返回未定义的位移值。

作为一种具体实现，为了与0位移值和正常的非0位移值区别开来，用16位整数的最大值表示未定义位移值。

按照从上到下、从左到右的顺序逐个计算每个候选子区域的垂直滚动位移，直到得到一个非零位移值或所有子区域遍历完毕；

若计算出非零的垂直位移，则结束处理，输出位移值；

否则，继续执行下面水平滚动位移计算步骤4.2；

步骤4.2：候选子区域的水平滚动位移计算；

请见图3，该步骤进一步细化为下述过程：

步骤4.2.1：参考帧子区域位置保持不变，当前帧子区域位置右移一列，计算两个子区域的SAD，若SAD为零，则返回位移值1；

步骤4.2.2：否则，如此类推，继续右移一列，计算SAD，直到SAD为零，则将右移的总列数作为位移值返回；或者，直到右移的总列数超过了子区域的宽度，则进入下面的反向滚动位移的计算流程：

①将当前帧的子区域回到原先起始位置，然后左移一列，计算当前帧、参考帧两个子区域的SAD，若SAD为零，则返回位移值-1；

②否则，如此类推，继续左移一列，计算SAD，直到SAD为零，则将左移的总列数的负数作为位移值返回；或者，直到左移的总列数超过了子区域的宽度，则返回未定义的位移值。

按照从上到下、从左到右的顺序，逐个计算每个候选子区域的水平滚动位移，直到得到一个非零位移值或所有子区域遍历完毕；

若计算出非零的水平位移，则结束处理，输出位移值；

否则，执行下述步骤4.3；

步骤4.3：若所有候选子区域返回的都是零位移值，则视为屏幕静止；否则，视为屏幕局部活动。

步骤5：判断候选子区域是否全部遍历完毕；

若是，则输出静止状态或局部活动状态，本流程结束；

若否，则回转执行所述上述步骤4。

本实施例匹配成功的判定条件是，存在一个候选子区域返回非零的滚动位移值。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (8)

1.一种面向屏幕视频编码的屏幕滚动检测方法，其特征在于，包括以下步骤：

步骤1：通过相邻帧的逐像素比较，判断是否全屏静止；

若是，则输出静止状态，本流程结束；

否则，则执行下述步骤2；

步骤2：通过相邻帧的灰度直方图比较，判断是否翻屏；

若是，则输出翻屏状态，本流程结束；

否则，则执行下述步骤3；

步骤3：在屏幕中央选取观测区域窗口，并均匀划分为若干候选的矩形采样子区域；

步骤4：在候选子区域相邻帧的两个子区域间逐个进行滑动匹配，判断匹配是否成功；

若是，则输出滚屏状态及非零的滚动位移值，本流程结束；

若否，则执行下述步骤5；

步骤5：判断候选子区域是否全部遍历完毕；

若是，则输出静止状态或局部活动状态，本流程结束；

若否，则回转执行所述上述步骤4。

2.根据权利要求1所述的面向屏幕视频编码的屏幕滚动检测方法，其特征在于，步骤1中全屏静止的判断方法包括下述子步骤：

步骤1.1：对相邻两帧视频进行逐像素比较，统计灰度值相同的像素个数；

步骤1.2：如果相同像素占总素数的比例大于预设门限Ft，则判断相邻帧为静止帧。

3.根据权利要求1所述的面向屏幕视频编码的屏幕滚动检测方法，其特征在于，步骤2中判断是否翻屏的方法包括下述子步骤：

步骤2.1：计算相邻两帧图像的灰度直方图，分别记为R和C；

步骤2.2：计算两帧图像灰度直方图的相似度Sim(R,C)；

<mrow> <mi>S</mi> <mi>i</mi> <mi>m</mi> <mrow> <mo>(</mo> <mi>R</mi> <mo>,</mo> <mi>C</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mn>256</mn> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn> </mrow> <mn>255</mn> </munderover> <mo>{</mo> <mn>1</mn> <mo>-</mo> <mfrac> <mrow> <mo>|</mo> <mi>R</mi> <mi>i</mi> <mo>-</mo> <mi>C</mi> <mi>i</mi> <mo>|</mo> </mrow> <mrow> <mi>M</mi> <mi>a</mi> <mi>x</mi> <mrow> <mo>(</mo> <mi>R</mi> <mi>i</mi> <mo>,</mo> <mi>C</mi> <mi>i</mi> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>}</mo> <mo>;</mo> </mrow>

其中，Ri、Ci表示每个灰度级的分布概率，i＝0、…、255；

步骤2.3：若Sim(R,C)小于预设门限St，则判断为翻屏。

4.根据权利要求1所述的面向屏幕视频编码的屏幕滚动检测方法，其特征在于，步骤3的具体实现包括以下子步骤：

步骤3.1：取屏幕中央矩形区域，区域左上角坐标为区域右下角坐标为w、h分别表示屏幕图像的宽度与高度，单位为像素；

步骤3.2：将区域按3×3方格，均分为9个子区域，子区域的宽度为高度为 为下取整运算符。

5.根据权利要求1所述的面向屏幕视频编码的屏幕滚动检测方法，其特征在于，步骤4中滑动匹配的具体实现包括以下述子步骤：

步骤4.1：候选子区域的垂直滚动位移计算；

按照从上到下、从左到右的顺序逐个计算每个候选子区域的垂直滚动位移，直到得到一个非零位移值或所有子区域遍历完毕；

若计算出非零的垂直位移，则结束处理，输出位移值；否则，继续执行下面水平滚动位移计算步骤4.2；

步骤4.2：候选子区域的水平滚动位移计算；

按照从上到下、从左到右的顺序，逐个计算每个候选子区域的水平滚动位移，直到得到一个非零位移值或所有子区域遍历完毕；

若计算出非零的水平位移，则结束处理，输出位移值；

否则，执行下述步骤4.3；

步骤4.3：若所有候选子区域返回的都是零位移值，则视为屏幕静止；否则，视为屏幕局部活动。

6.根据权利要求5所述的面向屏幕视频编码的屏幕滚动检测方法，其特征在于，步骤4.1的具体实现包括以下述子步骤：

步骤4.1.1：计算当前帧、参考帧中同位子区域的像素差值的绝对值之和SAD，；

若SAD为零，则返回位移值0；

否则，执行下述步骤4.1.2；

步骤4.1.2：参考帧子区域位置保持不变，当前帧子区域位置下移一行，计算两个子区域的SAD；

若SAD为零，则返回位移值1；

否则，执行下述步骤4.1.3；

步骤4.1.3：参考帧子区域位置保持不变，当前帧子区域位置下移一行，计算两个子区域的SAD，如此循环，直到SAD为零，则将下移的总行数作为位移值返回；或者，直到下移的总行数超过了子区域的高度，则进入下面的反向滚动位移的计算流程：

将当前帧的子区域回到原先起始位置，然后上移一行，计算当前帧、参考帧两个子区域的SAD；

若SAD为零，则返回位移值-1；

否则，继续上移一行，计算SAD，如此循环，直到SAD为零，则将上移的总行数的负数作为位移值返回；或者，直到上移的总行数超过了子区域的高度，则返回未定义的位移值。

7.根据权利要求5所述的面向屏幕视频编码的屏幕滚动检测方法，其特征在于，步骤4.2的具体实现包括以下述子步骤：

步骤4.2.1：参考帧子区域位置保持不变，当前帧子区域位置右移一列，计算两个子区域的SAD；

若SAD为零，则返回位移值1；

否则，执行下述步骤4.2.2；

步骤4.2.2：参考帧子区域位置保持不变，当前帧子区域位置右移一列，计算两个子区域的SAD，如此循环，直到SAD为零，则将右移的总列数作为位移值返回；或者，直到右移的总列数超过了子区域的宽度，则进入下面的反向滚动位移的计算流程：

将当前帧的子区域回到原先起始位置，然后左移一列，计算当前帧、参考帧两个子区域的SAD；

若SAD为零，则返回位移值-1；

否则，继续左移一列，计算SAD，如此循环，直到SAD为零，则将左移的总列数的负数作为位移值返回；或者，直到左移的总列数超过了子区域的宽度，则返回未定义的位移值。

8.根据权利要求1-7任意一项所述的面向屏幕视频编码的屏幕滚动检测方法，其特征在于，步骤4中匹配成功的判定条件是，存在一个候选子区域返回非零的滚动位移值。