CN110110111B - 用于监控屏幕的方法和装置 - Google Patents

Abstract

根据本公开内容的示例性实现方式，提供了一种用于监控屏幕的方法和装置。具体地，提供了一种用于监控屏幕的方法，包括：获取将被监控的目标图像中的目标特征点和目标特征向量，其中目标特征点描述目标图像灰度值变化或者目标图像边缘的曲率变化较大的像素点，目标特征向量描述周围像素点相对于目标特征点的灰度的梯度变化；从所接收的屏幕图像中确定检索区域；确定检索区域中的特征点和特征向量；响应于特征点和特征向量分别匹配于目标特征点和目标特征向量，确定目标图像出现在屏幕图像中。根据本公开内容的示例性实现方式，还提供了用于监控屏幕的相应的装置、设备和计算机存储介质。

Description

用于监控屏幕的方法和装置

技术领域

本公开的实施例涉及计算机监控领域，具体涉及用于监控计算机的屏幕的方法、装置、设备和计算机程序产品

背景技术

随着计算机的普及，越来越多的用户和公司采用计算机来处理日常的各种工作。同时，计算机网络也随着计算机的快速发展而快速演进。人们通过网络不仅可以获取到工作中所需要的信息，还能够从网络中获取许多关于生活、娱乐及各方面的信息。这种便捷性也使得用户使用计算机的程序越来越高。

然而，随着计算机在日常工作中快速应用的提高，为了管理用户(例如，公司的员工)使用计算机访问的信息，需要针对用户的操作系统执行监控(尤其是监控屏幕)。例如公司为了保证访问网站的安全性或者控制用户访问特定的网站，需要及时了解用户访问的网站的信息。然而在确定用户访问的网站是否是被允许或禁止的目标网站时，需要将用户访问的网页信息与特定网站的信息进行比较。由于网页的数据信息较多，使得在处理这种大数据量的信息比较时，容易导致不能及时、快速地获得比较结果，进而不能及时采取相应的解决方案。

发明内容

根据本公开内容的示例实施例，提供一种用于监控屏幕的方案。

在本公开内容的第一方面中，提供了一种用于监控计算设备的屏幕的方法。具体地，该方法包括：获取将被监控的目标图像中的目标特征点和目标特征向量，其中目标特征点是目标图像灰度值变化或者目标图像边缘的曲率变化较大的像素点，目标特征向量描述周围像素点相对于目标特征点的灰度梯度的变化；从所接收的屏幕图像中确定检索区域；确定检索区域中的特征点和特征向量；响应于特征点和特征向量分别匹配于目标特征点和目标特征向量，确定目标图像出现在屏幕图像中。

在本公开内容的第二方面中，提供了一种用于监控计算设备的屏幕的装置。具体地，该装置包括：获取模块，获取模块被配置为获取将被监控的目标图像中的目标特征点和目标特征向量，其中目标特征点描述目标图像灰度值变化或者目标图像边缘的曲率变化较大的像素点，目标特征向量描述周围像素点相对于目标特征点的灰度的梯度变化；检索区域确定模块，接收模块被配置为从所接收的屏幕图像中确定检索区域；第一确定模块，第一确定模块被配置为确定检索区域中的特征点和特征向量；第二确定模块，第二确定模块被配置为响应于特征点和特征向量分别匹配于目标特征点和目标特征向量，确定目标图像出现在屏幕图像中。

在本公开内容的第三方面中，提供了一种设备。具体地，该设备包括一个或多个处理器；以及存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现根据本公开内容的第一方面的方法。

在本公开内容的第四方面中，提供了一种计算机可读介质。具体地，在该计算机可读存储介质上存储有计算机程序，程序被处理器执行时实现根据本公开内容的第一方面的方法。

应当理解，发明内容部分中所描述的内容并非旨在限定本公开内容的实施例的关键或重要特征，亦非用于限制本公开内容的范围。本公开内容的其他特征将通过以下的描述变得容易理解。

附图说明

结合附图并参考以下详细说明，本公开内容的各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：

图1图示了根据本公开的实施例的设备和/或方法可以在其中被实施的示例环境的示意图；

图2图示了根据本公开的实施例的用于监控计算设备的屏幕的方法的流程图；

图3图示了根据本公开的实施例的用于获取检索区域的方法的流程图；

图4图示了根据本公开的实施例的用于确定屏幕差异的方法的流程图；

图5图示了根据本公开的实施例的用于确定屏幕差异的示意图；

图6图示了根据本公开的实施例的用于确定屏幕差异的另一方法的流程图；

图7示意性示出了根据本公开内容的示例性实施例的用于处理屏幕监控的装置的框图；以及

图8能够实施本公开内容的多个实施例的计算设备的框图。

具体实施方式

下文将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。

下文将参考附图中示出的若干示例实施例来描述本公开的原理。虽然附图中显示了本公开的优选实施例，但应当理解，描述这些实施例仅是为了使本领域技术人员能够更好地理解进而实现本公开，而并非以任何方式限制本公开的范围。

在对屏幕监控时一般会预先定义一个特定的图像，当用户屏幕出现特定图像时则会触发特定操作，传统的方法是将图像与屏幕图像实时像素对比，判断特定图像是否出现及出现在屏幕的位置。但这种方法速度慢，消耗资源多，会影响到操作系统的正常使用。而且当图像放大或者缩小时就无法进行识别，比如当用户访问某网址时，由于处于不同的页面中网页上的网站标识可能具有不同的大小，用户使用一个图像有时无法全部识别所有的不同大小的网站标识。

为了解决上述问题，本公开实施例提供了通过不再对图像进行全图像匹配，而是通过对图像进行部分图像匹配来获得更快的匹配结果，并且在匹配时通过特征点和特征向量来实现图像的快速准确匹配。

在图1中示出了根据本公开的实施例的设备和/或方法可以在其中被实施的示例环境100的示意图。该环境100包括监视设备102，并且该监视设备102包括控制器104和存储装置106。

监视设备102是用于监视用户设备(诸如计算机108、笔记本110和个人数字助理102等)的装置。监视设备102包括但不限于服务器、个人计算机、膝上型计算机、车载计算机(例如，导航单元)、膝上型计算机、便携式数字助理(PDA)等。

控制器104用于控制监视设备102的各种操作。在一个示例中，控制器104可以包括硬件处理器，其包括但不限于硬件中央处理单元(CPU)、现场可编程门阵列(FPGA)、复合可编程逻辑器件(CPLD)、专用集成电路(ASIC)、片上系统(SoC)或其组合。

监视设备102可直接与计算机108、笔记本110或个人数字助理112等设备进行通通信。备选地或附加地，监视设备102也可通过有线连接或无线连接与计算机108、笔记本110或个人数字助理112等设备进行通通信。备选地或附加地，监视设备102可以通过网络(诸如以太网等)与计算机108、笔记本110或个人数字助理112等设备连接。

当用户在计算机108、笔记本110或个人数字助理112等设备上查看信息(诸如浏览网页)时，监视设备102可以获得计算机108、笔记本110或个人数字助理112等设备上的屏幕显示信息。在一个示例如，如果用户在特定网站上浏览网页，则可获得包括该特定网站的标识的屏幕显示信息。

在一个示例中，监视设备102在存储装置106中预先存储要监控的目标信息。在一个示例中，要监控的目标信息可以是图像。备选地或附加地，要监控的信息可以基于用户的需要而设置的。备选地或附加地，用户可以随时根据需要监视的目标，来设置与该目标对应的图像或其他合适的监控目标信息。例如，假设期望监视用户是否访问特定网站，则要监控的目标信息可以是该特定网站的图像标识、该特定网站的地址或者其他内容的图像。

在一个实施例中，监视设备102可以提取预先存储的目标图像的目标特征点及与目标特征点相对应的目标特征向量。目标特征点是目标图像灰度值变化或者目标图像边缘的曲率变化较大的像素点，并且目标特征向量描述周围像素点相对于目标特征点的灰度梯度的变化。在一个示例中，目标特征向量为周围像素点相对于目标特征点的灰度变化梯度矢量中灰度变化梯度最大的矢量。

然后，监视设备102可以从计算机108、笔记本110或个人数字助理112等设备上获取监视的屏幕图像。在一个实施例中，在获取屏幕图像时，可以通过向诸如计算机108、笔记本110或个人数字助理112等的用户设备发送请求，然后从上述设备获取屏幕图像。备选地或附加地，计算机108、笔记本110或个人数字助理112等的用户设备还可以自动地向监视设备发送屏幕信息。在另一示例中，也可以基于用户的需要而设定如何获取屏幕图像信息。在又一示例中，该屏幕图像是通过其他方式获得的，如通过相机拍摄等手段获得的。

监视设备102还将从计算机108、笔记本110或个人数字助理112等设备上获取的监视的屏幕图像与预先存储的目标图像进行比较。如果目标图像存在于屏幕图像中，则表明用户通过计算机108、笔记本110或个人数字助理112等设备访问了包含目标图像的目标信息。例如，出现了某网站的标识符，则表明浏览了该网站。

在确定了用户浏览了特定的信息，诸如某网站后，监视设备将信息传送到其他设备，以用于控制用户或直接通过监视设备进行相应的操作(例如，限制用于对该特定网站的访问)。将会理解，尽管在上文中描述了将实时采集到的屏幕图像缓存到存储装置106中并且在后续时间执行监控的实施例，在其他实施例中，还可以对采集到的屏幕图像进行实时处理。

上文参见图1描述了监视设备102运行的工作环境，在下文中将参见图2详细描述用于监控计算设备的屏幕的方法200。

在用于监控计算设备的屏幕之前，通过需要预先设置一些目标图像，然后计算目标图像的一些特征信息，例如特征点或特征向量。该特征点描述目标图像灰度值变化或者目标图像边缘的曲率变化较大的像素点。该特征向量用于描述周围像素点相对于目标特征点的灰度的梯度变化。然后将计算的这些信息存储在存储设备中。在一个示例中，这些特征点和特征向量只与图像内容有关并且无关于图像分辨率。当图像被缩放至不同大小时，特征向量也是不变的。

在框202处，当监视设备102要进行监视操作时，首先获取将被监控的目标图像中的目标特征点和目标特征向量。在一个示例中，被监控的目标图像可以被预先存储在监视设备中，并且其目标特征点和目标特征向量是预先确定的。在另一示例中，被监控目标图像被预先存储在监视设备中，并且可以在需要时计算其目标特征点和目标矢量。备选地或附加地，监控图像是从别的设备获取的。备选地或附加地，目标图像的特征点和特征向量也是从别的设备获取的。备选地或附加地，目标图像的特征点和特征向量根据用户的需要可以以各种合适的方式获取。

在一个示例中，通过尺度不变特征变换(SIFT)方法来计算目标图像的特征点或特征向量。备选地或附加地，可以通过各种获取图像特征点的方法获取图像的特征点。备选地或附加地，可以基于各种合适的方法获取图像的特征向量。

监视设备102从所要监视的计算设备，诸如计算机108、笔记本110或个人数字助理112等获取屏幕图像。备选地或附加地，获取屏幕图像是通过向计算设备发送请求获得的。在一个示例中，监视设备102以预定时间间隔接收屏幕图像。在另一示例中，该屏幕图像是通过其他方式，如通过相机等设备获得的。

在框204处，监视设备102从所接收的屏幕图像中确定检索区域。在一个示例中，在确定检索区域时，如果屏幕图像是从要监视的设备首次获取的图像，则将该整个屏幕区域作为检索区域。在另一个示例中，在确定检索区域时，如果屏幕图像不是从要监视的设备首次获取的屏幕图像，则计算目前的屏幕图像与先前接收的屏幕图像之间的差值，即两个屏幕之间的不同之处，然后将包括不同之处的图像区域作为检索区域。

在确定屏幕图像的检索区域之后，在框206处，确定检索区域中的特征点和特征向量。在一个示例中，在提取特征点或特征向量时，可心基于尺度不变特征变换方法来提取。在另一示像中，从与目标图像相关联的配置文件中获取目标特征点和目标特征向量。备选地或附加地，可以基于用户的需要使用各种能够获得目标特征点和目标特征向量的技术。上文所记载的具体方法仅是出于示例的目的，而非限制。

然后，将检索区域的特征点和特征向量与目标图像的目标特征点和目标特征向量进行比较，在框208处，当特征点和特征向量分别匹配于目标特征点和目标特征向量匹配时，则流程前进至框210处，以确定目标图像出现在屏幕图像中。如果特征点和特征向量与目标特征点和目标特征向量不匹配，则流程返回框204。此时，继续从计算设备接收新的图像来确定新的屏幕图像是否包含目标图像。

通过基于图像的特征点和特征向量的方式确定图像是否匹配，提高了图像匹配的处理效率。进一步，由于特征向量无关于目标图像的分辨率，因而避免了由于屏幕图像和目标图像的大小不同而产生的无法匹配的问题，即可以匹配缩放后的图像。此外，通过基于两个屏幕图像之间的差值确定检索区域，在很大程度上减少了匹配过程中的计算量，进而避免了图像像素级匹配的耗时耗力过程，提高了匹配的效率，从而使得屏幕监控更加智能和高效。

图2中示出了确定目标图像是否出现在屏幕图像中的方法，下文将参见图3进一步详细说明如何在接收的屏幕图像中确定检索区域。

在从被监视的计算设备接收到屏幕图像后，当屏幕图像是首次从被监视设备获取的屏幕图像时，在框302处，将屏幕图像确定为检索区域。此时，整个屏幕图像将作为检索区域。

当屏幕图像不是首次从计算设备接收的图像，即是在后续的监控过程中获得的图像时，可以仅针对屏幕图像和前一屏幕图像之间不同的未检索区域进行处理。在框304处，通过当前屏幕图像和先前接收的另一屏幕图像来确定检索区域。在一个示例中，监视设备102可以在预定时间间隔接收屏幕图像。

在本公开的实施例中，通过将与上一屏幕图像不同的区域作为检索区域然后在该检索区域内检索目标图像，在大多数情况下不必针对整个屏幕范围的图像进行检索，因而可以快速地提高检索效率。

为了更进一步详细描述通过屏幕图像和先前接收的另一屏幕图像来确定检索区域，下文将结合图4及图5进一步详细描述和说明。由于屏幕内容在大部分时间变化不是非常大，所以屏幕图像的大部分区域可能是未发生变化的区域。由于与先前屏幕图像相同的区域已经被检索过，因而不必针对相同区域执行重复检索。因此，在图4的框402处，确定先前接收的另一屏幕图像和屏幕图像之间的差异。

在获得图像之间的差异之后，在框404处基于差异来确定区域。由于当前屏幕图像与先前屏幕图像之间的差异表示了当前屏幕相对于先前屏幕的变化。因此，基于当前屏幕和先前屏幕的差异确定检索区域，可以确保在后续过程中仅针对出现变化的部分进行检索。

在下文中将参见图5描述如何确定屏幕差异。在一个示例中，如在图5中所示的，当前屏幕图像504中显示有一辆小汽车510和一辆货车508，而在先前接收的屏幕图像502中仅包含有货车508，而两个屏幕图像之间差异为小汽车510出现的区域，即小汽车510所在的区域即是发生变化的区域。因此，基于该差异可以确定检索区域，因而在后续检索中可以仅针对小汽车510所在的区域进行检索。

通过上述过程，在目标图像与屏幕图像进行匹配时，不再需要针对整个图像范围执行匹配，而是可以执行部分匹配。这在很大程度上减少了需要计算的数据量，提高了检索的效率，减少了设备的功耗并且缩短了计算时间。

在上文已经参见图4和图5描述了基于当前屏幕图像和先前屏幕图像的差异获得检索区域。在下文中将参照图6详细描述如何获得两个屏幕图像之间的差异。

由于屏幕图像是由像素构成，因此，在602处，首先确定与屏幕图像相对应的像素矩阵。在一个示例中，如果屏幕在水平方向的像素点数是m，在垂直方向上的像素点数为n，则与该屏幕图像对应的像素矩阵可为A[m×n]。

在确定屏幕图像的像素矩阵后，在604处，确定与先前获得的另一屏幕图像相对应的另一像素矩阵。在一个示例中，该另一屏幕图像对应的像素矩阵为B[m×n]。备选地或附加地，该另一屏幕图像被存储在监视设备102的存储装置106内。备选地或附加地，该另一屏幕图像是与当前屏幕图像在时间上最接近的屏幕图像(例如，在下一采集时刻获得的图像)。

在获得当前屏幕图像和先前的屏幕图像的像素矩阵后，在606处，计算像素矩阵和另一像素矩阵的差值以作为差异。继续上文的示例，当前屏幕的像素矩阵A[m×n]与先前另一屏幕图像B[m×n]的差值A[m×n]-B[m×n]＝C[m×n]，则C[m×n]为两个屏幕图像的像素矩阵的差值。

具体地，如果当前屏幕图像与先前屏幕图像的某些区域相同，则与该区域对应的矩阵C中的部分像素值为0。如果当前屏幕图像与先前屏幕图像的某些区域不同，即发生了变化，则在矩阵C中该部分像素值是矩阵A和B中的相对应元素的差值并且不为零。因此，基于矩阵C中不为零的像素值，便可确定图像发生变化的区域。将矩阵C中的与包括不为零的元素的子矩阵相对应的图像区域确定为检索区域。

在一个示例中，在确定图像变化的区域时，由于屏幕变化时一般是窗口的变动，即矩形区域的变动，很少出现单独像素变化的情况。因此，只需对矩阵C进行一次扫描，便可确定水平方向和垂直方向第一个及最后一个变动像素对应的位置。

备选地或附加地，假设x1和x2是矩阵C中所有不为0的像素中水平方向上的最小值和最大值，y1和y2是矩阵C中所有不为0的像素中垂直方向上的最小值和最大值，则可以将A[x1:x2，y1:y2]对应的子矩阵作为出现变化的区域。在另一个示例中，用户可以根据需要从前后两个屏幕图像获取出现变化的区域，即检索区域。

通过两个像素矩阵的差值可以快速的获取到图像发生变化的区域，提高了获得检索区域的效率，缩短了相应的处理时间。

上文参见附图2-6描述了用于监控计算设备的屏幕的方法，下文将参见图7描述用于监控计算设备的屏幕的装置700。该装置700包括获取模块702、检索区域确定模块704、第一确定模块706和第二确定模块708。

如图7所示，获取模块702用于获取将被监控的目标图像中的目标特征点和目标特征向量。目标特征点描述目标图像灰度值变化或者目标图像边缘的曲率变化较大的像素点，并且目标特征向量描述周围像素点相对于目标特征点的灰度的梯度变化。

检索区域确定模块704用于从所接收的屏幕图像中确定检索区域。此外，第一确定模块706用于确定检索区域中的特征点和特征向量。第二确定模块708，用于响应于特征点和特征向量分别匹配于目标特征点和目标特征向量，确定目标图像出现在屏幕图像中。

检索区域确定模块704包括第一检索区域确定模块和第二检索区域确定模块。其中第一检索区域确定模块用于为在屏幕图像是首次从计算设备接收的图像时，将屏幕图像确定为检索区域。第二检索区域确定模块用于在屏幕图像不是首次从计算设备接收的图像，基于屏幕图像和先前接收的另一屏幕图像来确定检索区域。

检索区域确定模块704的第二检索区域确定模块包括差异确定模块和第三检索区域确定模块。差异确定模块用于确定另一屏幕图像和屏幕图像之间的差异。第三检索区域确定模块用于基于差异来确定检索区域。

差异确定模块包括第一像素矩阵确定模块、第二像素矩阵确定模块和差异计算模块。其中第一像素矩阵确定模块用于确定与屏幕图像相对应的像素矩阵；第二像素矩阵确定模块用于确定与另一屏幕图像相对应的另一像素矩阵；以及差异计算模块用于计算像素矩阵和另一像素矩阵的差值以作为差异。

差异计算模块包括第四检索区域确定模块，该第四检索区域确定模块用于将与包括差值中不为零的元素的子矩阵相对应的图像区域确定为检索区域。

该装置700还包括预定时间间隔接收模块。该预定时间间隔接收模块用于以预定时间间隔接收屏幕图像。

获取模块702可以包括第一获取模块或第二获取模块中的任一项。其中第一获取模块用于基于尺度不变特征变换方法，从目标图像中提取目标特征点和目标特征向量。第二获取模块用于从与目标图像相关联的配置文件中获取目标特征点和目标特征向量。

根据本公开内容的示例性实现方式，提供了一种设备，包括一个或多个处理器；以及存储装置，用于存储一个或多个程序。当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现根据本公开内容的方法。

根据本公开内容的示例性实现方式，提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现根据本公开内容的方法。

图8示出了能够实施本公开内容的多个实施例的计算设备800的框图。设备800可以用于实现图1的计算设备102。如图所示，设备800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的计算机程序指令或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序指令，来执行各种适当的动作和处理。在RAM 803中，还可存储设备800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

该设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理单元801执行上文所描述的各个方法和处理，例如过程200和/或过程300。例如，在一些实施例中，过程200和/或过程300可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM803并由CPU 801执行时，可以执行上文描述的过程200和/或过程300的一个或多个步骤。备选地，在其他实施例中，CPU 801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行过程200和/或过程300。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。

用于实施本公开内容的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开内容的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上文论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开内容的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上文描述的特定特征或动作。相反，上文所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (16)

1.一种用于监控计算设备的屏幕的方法，所述方法包括：

获取将被监控的目标图像中的目标特征点和目标特征向量，其中所述目标特征点是所述目标图像灰度值变化或者所述目标图像边缘的曲率变化较大的像素点，所述目标特征向量描述所述目标特征点周围的像素点相对于所述目标特征点的灰度的梯度变化矢量中灰度梯度变化最大的矢量；

从所接收的屏幕图像中确定检索区域；

确定所述检索区域中的特征点和特征向量；

响应于所述特征点和所述特征向量分别匹配于所述目标特征点和所述目标特征向量，确定所述目标图像出现在所述屏幕图像中。

2.根据权利要求1所述的方法，其中从所接收的屏幕图像中确定检索区域包括：

响应于所述屏幕图像是首次从所述计算设备接收的图像，将所述屏幕图像确定为所述检索区域；以及

响应于所述屏幕图像不是首次从所述计算设备接收的图像，基于所述屏幕图像和先前接收的另一屏幕图像来确定所述检索区域。

3.根据权利要求2所述的方法，其中基于所述屏幕图像和先前接收的所述另一屏幕图像来确定所述检索区域包括：

确定所述另一屏幕图像和所述屏幕图像之间的差异；以及

基于所述差异来确定所述检索区域。

4.根据权利要求3所述的方法，其中确定所述另一屏幕图像和所述屏幕图像之间的所述差异包括：

确定与所述屏幕图像相对应的像素矩阵；

确定与所述另一屏幕图像相对应的另一像素矩阵；以及

计算所述像素矩阵和所述另一像素矩阵之间的差值以作为所述差异。

5.根据权利要求4所述的方法，其中基于所述差异来确定所述检索区域包括：

将与包括所述差值中不为零的元素的子矩阵相对应的图像区域确定为所述检索区域。

6.根据权利要求1所述的方法，进一步包括：以预定时间间隔接收所述屏幕图像。

7.根据权利要求1所述的方法，其中获取将被监控的目标图像中的目标特征点和目标特征向量包括以下中的任一项：

基于尺度不变特征变换方法，从所述目标图像中提取所述目标特征点和目标特征向量；以及

从与所述目标图像相关联的配置文件中获取所述目标特征点和目标特征向量。

8.一种用于监控计算设备的屏幕的装置，包括：

获取模块，所述获取模块被配置为获取将被监控的目标图像中的目标特征点和目标特征向量，其中所述目标特征点描述所述目标图像灰度值变化或者所述目标图像边缘的曲率变化较大的像素点，所述目标特征向量描述所述目标特征点周围的像素点相对于所述目标特征点的灰度的梯度变化矢量中灰度梯度变化最大的矢量；

检索区域确定模块，所述检索区域确定模块被配置为从所接收的屏幕图像中确定检索区域；

第一确定模块，所述第一确定模块被配置为确定所述检索区域中的特征点和特征向量；

第二确定模块，所述第二确定模块被配置为响应于所述特征点和所述特征向量分别匹配于所述目标特征点和所述目标特征向量，确定所述目标图像出现在所述屏幕图像中。

9.根据权利要求8所述的装置，其中所述检索区域确定模块包括：

第一检索区域确定模块，所述第一检索区域确定模块被配置为响应于所述屏幕图像是首次从所述计算设备接收的图像，将所述屏幕图像确定为所述检索区域；以及

第二检索区域确定模块，所述第二检索区域确定模块被配置为响应于所述屏幕图像不是首次从所述计算设备接收的图像，基于所述屏幕图像和先前接收的另一屏幕图像来确定所述检索区域。

10.根据权利要求9所述的装置，其中所述第二检索区域确定模块包括：

差异确定模块，所述差异确定模块被配置为确定所述另一屏幕图像和所述屏幕图像之间的差异；以及

第三检索区域确定模块，所述第三检索区域确定模块被配置为基于所述差异来确定所述检索区域。

11.根据权利要求10所述的装置，其中所述差异确定模块包括：

第一像素矩阵确定模块，所述第一像素矩阵确定模块被配置为确定与所述屏幕图像相对应的像素矩阵；

第二像素矩阵确定模块，所述第二像素矩阵确定模块被配置为确定与所述另一屏幕图像相对应的另一像素矩阵；以及

差异计算模块，所述差异计算模块被配置为计算所述像素矩阵和所述另一像素矩阵的差值以作为所述差异。

12.根据权利要求11所述的装置，其中所述差异计算模块包括：

第四检索区域确定模块，所述第四检索区域确定模块被配置为将与包括所述差值中不为零的元素的子矩阵相对应的图像区域确定为所述检索区域。

13.根据权利要求8所述的装置，进一步包括：预定时间间隔接收模块，所述预定时间间隔接收模块被配置为以预定时间间隔接收所述屏幕图像。

14.根据权利要求8所述的装置，其中所述获取模块包括以下中的任一项：

第一获取模块，所述第一获取模块被配置为基于尺度不变特征变换方法，从所述目标图像中提取所述目标特征点和目标特征向量；以及

第二获取模块，所述第二获取模块被配置为从与所述目标图像相关联的配置文件中获取所述目标特征点和目标特征向量。

15.一种电子设备，所述设备包括：

一个或多个处理器；以及

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据权利要求1-7中的任一项所述的方法。

16.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现根据权利要求1-7中的任一项所述的方法。

Images