CN110147510B - 提取视口内容、根据视口内容的自动交互的方法及装置 - Google Patents

Abstract

提供一种提取视口内容、根据视口内容的自动交互的方法及装置。该提取视口内容的方法包括：首先通过渲染上下文获取系统视口中呈现的所有窗口以及各个窗口中正在运行的应用，从而获得当前正在呈现的应用列表，然后遍历当前正在呈现的应用列表，从而针对当前正在呈现的应用列表中的每个应用，通过渲染上下文获取每个应用视口中呈现的内容对象，最后遍历各个呈现的内容对象，从而获取内容对象的文本语义信息，以确定系统当前状态下的一帧视口内容帧，从而提高了提取视口内容的准确性。

Description

提取视口内容、根据视口内容的自动交互的方法及装置

技术领域

本发明涉及计算机技术领域。更具体地，本发明涉及一种提取视口内容的方法及装置，并且涉及一种根据视口内容的自动交互的方法及装置。

背景技术

特征识别的应用日渐流行，而且呈多样性和复杂性的方向发展。数据采集作为特征识别技术的基础，直接影响特征识别的准确性和可用性。一方面，时下流行的内容数据采集方法是通过统计访问的URL，并通过爬虫抓取URL所对应的网页内容。该方法缺乏实时性，因为存在很多这样的URL地址，这些URL地址会在URL不变的情况下，其内容也会动态更新；另外该方法还缺乏精准性，因为很多URL对应的页面很大内容很多，然而当前用户感知到的只是当前视口的小部分内容，通过URL抓取整个页面的内容作为用户的活动内容或者关注内容将引入大量噪声；而通过插件统计用户点击内容来进一步获取用户关注点也存在很大的片面性，因为很多动态变化呈现的内容不要用户主动点击交互，同时插件的应用也受到宿主应用和平台的限制，无法采集到跨应用的行为。另一方面，通过音视频识别实时采集用户的所见所得带来了更大的精准性和实时性，然而音视频识别实时采集用户的所见所得需要外设支持和巨大的运算代价或者通信代价。

发明内容

根据本发明的示例性实施例，提供一种提取视口内容的方法，包括：通过渲染上下文获取系统视口中呈现的所有窗口以及各个窗口中正在运行的应用，从而获得当前正在呈现的应用列表；遍历当前正在呈现的应用列表，从而针对当前正在呈现的应用列表中的每个应用，通过渲染上下文获取每个应用视口中呈现的内容对象；遍历各个呈现的内容对象，从而获取内容对象的文本语义信息，以确定系统当前状态下的一帧视口内容帧。

可选地，所述方法还可包括：对每个呈现的内容对象分配系统唯一的标识。

可选地，获取内容对象的文本语义信息的步骤可包括：从内容对象的可访问数据中获取关于内容对象的信息作为内容对象的文本语义信息，其中，关于内容对象的信息包括以下项中的至少一项：内容对象的名称、标识、描述、可替代文本、大小、位置、颜色、背景色、是否为焦点、语义描述、设计意图和场景设定。

可选地，获取内容对象的文本语义信息的步骤可包括：向预设服务器发送对内容对象的文本语义信息的请求；作为所述请求的响应，从预设服务器获取被请求的内容对象的文本语义信息。

可选地，预设服务器可查询是否存在被请求的内容对象的文本语义信息，并且当不存在被请求的内容对象的文本语义信息时，预设服务器对被请求的内容对象进行解析，以得到被请求的内容对象的文本语义信息。

可选地，所述方法还可包括：建立被请求的内容对象和解析得到的被请求的内容对象的文本语义信息的对应关系，并对建立的对应关系进行存储。

根据本发明的示例性实施例，提供一种根据视口内容的自动交互方法，包括：根据预设的采样周期，周期性地提取系统的视口内容帧；按照时间顺序将视口内容帧存储到系统存储队列；响应于检测到预设应用发送的视口内容帧的请求，向预设应用发送预设数量帧的视口内容帧，其中，预设应用根据预设数量帧的视口内容帧中的文本语义信息进行预设的操作。

可选地，所述方法还可包括：在将每一帧的视口内容帧存储到系统存储队列时，向预设应用发送系统存储队列更新的通知。

可选地，预设应用可对预设数量帧的视口内容帧中的文本语义信息进行特征提取，并根据提取到的特征进行预设的操作。

可选地，预设应用可对预设数量帧的视口内容帧中的文本语义信息进行噪声过滤，并对过滤后的文本语义信息进行特征提取。

可选地，周期性地提取系统的视口内容帧的步骤可包括：通过渲染上下文获取系统视口中呈现的所有窗口以及各个窗口中正在运行的应用，从而获得当前正在呈现的应用列表；遍历当前正在呈现的应用列表，从而针对当前正在呈现的应用列表中的每个应用，通过渲染上下文获取每个应用视口中呈现的内容对象；遍历各个呈现的内容对象，从而获取内容对象的文本语义信息，以确定系统当前状态下的一帧视口内容帧。

根据本发明的示例性实施例，提供一种提取视口内容的装置，包括：应用获取模块，被配置为通过渲染上下文获取系统视口中呈现的所有窗口以及各个窗口中正在运行的应用，从而获得当前正在呈现的应用列表；内容对象获取模块，被配置为遍历当前正在呈现的应用列表，从而针对当前正在呈现的应用列表中的每个应用，通过渲染上下文获取每个应用视口中呈现的内容对象；和语义获取模块，被配置为遍历各个呈现的内容对象，从而获取内容对象的文本语义信息，以确定系统当前状态下的一帧视口内容帧。

可选地，所述装置还可包括：标识分配模块，被配置为对每个呈现的内容对象分配系统唯一的标识。

可选地，语义获取模块可被配置为：从内容对象的可访问数据中获取关于内容对象的信息作为内容对象的文本语义信息，其中，关于内容对象的信息包括以下项中的至少一项：内容对象的名称、标识、描述、可替代文本、大小、位置、颜色、背景色、是否为焦点、语义描述、设计意图和场景设定。

可选地，语义获取模块可被配置为：向预设服务器发送对内容对象的文本语义信息的请求；作为所述请求的响应，从预设服务器获取被请求的内容对象的文本语义信息。

可选地，预设服务器可查询是否存在被请求的内容对象的文本语义信息，并且当不存在被请求的内容对象的文本语义信息时，预设服务器对被请求的内容对象进行解析，以得到被请求的内容对象的文本语义信息。

可选地，所述装置还可包括：关系建立模块，被配置为建立被请求的内容对象和解析得到的被请求的内容对象的文本语义信息的对应关系，和存储模块，被配置为对建立的对应关系进行存储。

根据本发明的示例性实施例，提供一种根据视口内容的自动交互装置，包括：内容帧提取模块，被配置为根据预设的采样周期，周期性地提取系统的视口内容帧；内容帧存储模块，被配置为按照时间顺序将视口内容帧存储到系统存储队列；和内容帧应用模块，被配置为响应于检测到预设应用发送的视口内容帧的请求，向预设应用发送预设数量帧的视口内容帧，其中，预设应用根据预设数量帧的视口内容帧中的文本语义信息进行预设的操作。

可选地，所述装置还可包括：在将每一帧的视口内容帧存储到系统存储队列时，向预设应用发送系统存储队列更新的通知。

可选地，预设应用可对预设数量帧的视口内容帧中的文本语义信息进行特征提取，并根据提取到的特征进行预设的操作。

可选地，预设应用可对预设数量帧的视口内容帧中的文本语义信息进行噪声过滤，并对过滤后的文本语义信息进行特征提取。

可选地，内容帧提取模块可被配置为：通过渲染上下文获取系统视口中呈现的所有窗口以及各个窗口中正在运行的应用，从而获得当前正在呈现的应用列表；遍历当前正在呈现的应用列表，从而针对当前正在呈现的应用列表中的每个应用，通过渲染上下文获取每个应用视口中呈现的内容对象；遍历各个呈现的内容对象，从而获取内容对象的文本语义信息，以确定系统当前状态下的一帧视口内容帧。

根据本发明的示例性实施例，提供一种存储有计算机程序的计算机可读存储介质，当所述计算机程序被处理器执行时实现根据本发明的提取视口内容的方法的步骤。

根据本发明的示例性实施例，提供一种存储有计算机程序的计算机可读存储介质，当所述计算机程序被处理器执行时实现根据本发明的根据视口内容的自动交互方法的步骤。

根据本发明的示例性实施例，提供一种计算装置，包括：处理器；存储器，存储有计算机程序，当所述计算机程序被处理器执行时，实现根据本发明的提取视口内容的方法的步骤。

根据本发明的示例性实施例，提供一种计算装置，包括：处理器；存储器，存储有计算机程序，当所述计算机程序被处理器执行时，实现根据本发明的根据视口内容的自动交互方法的步骤。

根据本发明的示例性实施例的提取视口内容的方法及装置，通过渲染上下文获取系统视口中呈现的所有窗口以及各个窗口中正在运行的应用，从而获得当前正在呈现的应用列表；遍历当前正在呈现的应用列表，从而针对当前正在呈现的应用列表中的每个应用，通过渲染上下文获取每个应用视口中呈现的内容对象；遍历各个呈现的内容对象，从而获取内容对象的文本语义信息，以确定系统当前状态下的一帧视口内容帧。相比于直接抓取整个网页的内容，根据本发明的示例性实施例的提取视口内容的方法能避免网页上非视口内其他内容的干扰，更准确地表达用户交互的内容。另外，在双屏和多屏情况下多个应用同时呈现于屏幕的情况，虽然最顶层应用可能只有一个，但是多个应用可同时显示在屏幕上，根据本发明的示例性实施例的提取视口内容的方法能获取到当前同时呈现在系统视口中的多个应用视口中呈现的内容对象的文本语义信息，从而提高了提取视口内容的准确性。

根据本发明的示例性实施例的根据视口内容的自动交互方法及装置，根据预设的采样周期，周期性地提取系统的视口内容帧；按照时间顺序将视口内容帧存储到系统存储队列；响应于检测到预设应用发送的视口内容帧的请求，向预设应用发送预设数量帧的视口内容帧，其中，预设应用根据预设数量帧的视口内容帧中的文本语义信息进行预设的操作，从而提高了自动交互的准确性。

附图说明

通过下面结合示例性地示出实施例的附图进行的描述，本发明示例性实施例的上述和其他目的和特点将会变得更加清楚，其中：

图1是示出根据本发明示例性实施例的提取视口内容的方法的流程图；

图2是示出多个应用被开启时的示意图；

图3是示出在单屏情况下屏幕视口中的顶层激活应用视口的示意图；

图4是示出在双屏情况下屏幕视口中的顶层激活应用视口和可见非激活应用视口的示意图；

图5是示出根据本发明示例性实施例的根据视口内容的自动交互方法的流程图；

图6是示出根据本发明示例性实施例的通过时间窗口缓存对视口内容帧中的文本语义信息进行噪声过滤的示例的示意图；

图7是示出根据本发明示例性实施例的通过时间窗口缓存对视口内容帧中的文本语义信息进行噪声过滤的另一示例的示意图；

图8是示出根据本发明示例性实施例的提取视口内容的装置的框图；

图9是示出根据本发明示例性实施例的根据视口内容的自动交互装置的框图；

图10示出根据本发明示例性实施例的计算装置的示意图；和

图11示出根据本发明示例性实施例的另一计算装置的示意图。

具体实施方式

现将详细参照本发明的示例性实施例，所述实施例的示例在附图中示出，其中，相同的标号始终指的是相同的部件。以下将通过参照附图来说明所述实施例，以便解释本发明。

本发明适用于各种电子设备，尤其适用于具有显示屏幕或者可与显示屏幕连接的电子设备。

图1是示出根据本发明示例性实施例的提取视口内容的方法的流程图。

参照图1，在步骤S101，通过渲染上下文获取系统视口中呈现的所有窗口以及各个窗口中正在运行的应用，从而获得当前正在呈现的应用列表。这里，各个窗口可被视为应用视口。

系统视口可包括至少一个屏幕视口。由于不论在什么操作系统上，应用(例如，本地应用、Web应用等)中的每个控件和每个元素都具有可访问性，而且相应的可访问数据通过渲染上下文被暴露到系统接口中。因此，可通过渲染上下文获取系统视口中呈现的所有窗口以及各个窗口中正在运行的应用，并将获取到的所有应用放到列表中，从而获得当前正在呈现的应用列表。

图2是示出多个应用被开启时的示意图。参照图2，示出了屏幕视口、顶层活动应用视口(即，顶层活动窗口)、以及一个或更多个非活动应用视口(即，非活动窗口)。系统中的多个应用被开启，但是只有顶层活动应用视口中的应用处于活动状态。相比于直接抓取整个网页的内容，通过渲染上下文获取系统视口中呈现的所有窗口以及各个窗口中正在运行的应用，能避免网页上非视口内其他应用的干扰。虽然图2中只示出一个顶层活动应用视口，但是本发明对顶层活动应用视口的数量不进行限制，例如，可以有两个或更多个顶层活动应用视口。

作为示例，在获取系统视口中呈现的所有窗口以及各个窗口中正在运行的应用时，还可获取各个窗口的大小和位置。

在步骤S102，遍历当前正在呈现的应用列表，从而针对当前正在呈现的应用列表中的每个应用，通过渲染上下文获取每个应用视口中呈现的内容对象。

作为示例，在获取每个应用视口中呈现的内容对象时，还可获取每个应用视口中呈现的内容对象的大小位置等信息。

作为示例，可对每个呈现的内容对象分配系统唯一的标识(ID)，以方便后续在应用的自动交互中的使用，即，使用该唯一的标识来表示内容对象。例如，在屏幕监管的场景，一旦监管程序决定阻断敏感内容的渲染呈现，那么该唯一的标识就提供了一种找到敏感内容对应的渲染对象的方法。作为示例，可通过标识确定内容对象的类型、大小和位置等，然后基于内容对象的类型、大小和位置来实施阻断操作。阻断操作可以是，例如，对文字和图片等内容动态打马赛克、或者对视频内容停止播放或跳过播放或动态打马赛克等。

在步骤S103，遍历各个呈现的内容对象，从而获取内容对象的文本语义信息，以确定系统当前状态下的一帧视口内容帧。

作为示例，在步骤S102中获取到每个应用视口中呈现的内容对象之后，可针对每个呈现的内容对象，从内容对象的可访问数据中获取关于内容对象的信息作为内容对象的文本语义信息。这里，关于内容对象的信息包括以下项中的至少一项：内容对象的名称、标识、描述、可替代文本、大小、位置、颜色、背景色、是否为焦点、语义描述、设计意图和场景设定等。然而，关于内容对象的信息不限于以上描述的各项，还可包括其他项。这里，应用视口的焦点是可变化的，渲染上下文可通过焦点变化事件及时获取焦点的变化情况，并且渲染上下文可通过在焦点元素(即，作为焦点的内容对象)上绘制出高亮的效果等方式来表示焦点。作为示例，鼠标点击、遥控器或者键盘的导航键的操作、触摸屏的点击、以及声音控制等可触发焦点的变化。

由于不论是本地应用还是网络应用，用户的交互行为往往改变的只是什么对象呈现在屏幕上而不改变对象的本身，比如，用户的点击链接或者触摸滚动，导致了屏幕显示内容从A变成了B，实际上这个行为并没有改变A和B本身的语义，而只是把A移出了屏幕把B移入了屏幕而已；另一方面，小明访问A得到的语义跟小王去访问A的结果也常常是一样的。也就是说在大多数情况下，对于A和B这些呈现对象，不管是否显示出来，不管是谁去访问它，它们语义基本上都是不会改变的。因此，如果事先计算出各个内容对象的文本语义，那么在需要获取某个内容对象的文本语义时可快速获取到事先计算出的文本语义。

作为示例，在步骤S102中获取到每个应用视口中呈现的内容对象之后，对于本地无法从内容对象的可访问数据中快速获取到关于内容对象的信息的情况(例如，一张没有任何文本说明的图片，需要进行图像/音频识别并将识别结果作为补充说明内容)，可首先(例如，通过资源定位符)向预设服务器(例如，云端服务器)发送对内容对象的文本语义信息的请求，然后作为所述请求的响应，从预设服务器(例如，云端服务器)获取被请求的内容对象的文本语义信息。这里，预设服务器(例如，云端服务器)响应于接收到对内容对象的文本语义信息的请求，查询预设服务器(例如，云端服务器)的存储(或者相关联的任意存储器)中是否已经存在被请求的内容对象的文本语义信息，如果存在则可直接返回查询结果，如果不存在则预设服务器可对被请求的内容对象进行解析(例如，图像识别或者音视频识别等高密集运算解析)，以得到被请求的内容对象的文本语义信息，并返回解析结果。

作为示例，在预设服务器对被请求的内容对象进行解析(例如，图像识别或者音视频识别等高密集运算解析)，得到被请求的内容对象的文本语义信息之后，可建立被请求的内容对象和解析得到的被请求的内容对象的文本语义信息的对应关系，并对建立的对应关系进行存储。这里，本发明对存储位置不进行限制，例如，可将对应关系存储在与预设服务器相关联的存储器中，或者存储在与电子设备相关联的存储器中。

因为渲染上下文能获取到同一个呈现对象的不同表形式(图片或者音视频渲染结果、可访问数据、渲染源代码等)，其中不仅包含用户可感知信息(渲染结果呈现的内容、能通过视听觉等感官直接感知到的信息)还包含了很多不可感知信息(描述在一些非呈现的TAG中作者的设计意图和场景设定)，所以通过渲染上下文可获取到更丰富更全面的信息。

另外，在分屏、双屏或多屏情况下多个应用同时呈现于屏幕的情况，虽然最顶层应用可能只有一个，但是多个应用可以同时显示在分屏、双屏或多屏上，通过渲染上下文能获取到当前同时呈现在系统视口中的多个应用的内容对象的文本语义信息以及多个应用的层级情况，从而提高了提取视口内容的准确性。

例如，图3是示出在单屏情况下屏幕视口中的顶层激活应用视口的示意图，图4是示出在双屏情况下屏幕视口中的顶层激活应用视口和可见非激活应用视口的示意图。参照图3，在单屏情况下，系统视口可包括一个屏幕视口。仅顶层激活应用视口呈现在屏幕视口中。另外，虽然图3仅示出一个顶层激活应用视口，但是在本发明示例性实施例中可具有一个或更多个顶层激活应用视口。参照图4，在双屏情况下，系统视口可包括两个屏幕视口。页面A和页面B分别是两个屏幕的页面，一个屏幕(例如，与页面A相应的屏幕)上呈现的是顶层激活应用视口，另一个屏幕(例如，与页面B相应的屏幕)上呈现的是可见非激活应用视口。通过渲染上下文能获取到顶层激活应用视口和可见非激活应用视口中的内容对象的文本语义信息，从而提高了提取视口内容的准确性。

根据本发明示例性实施例的提取视口内容的方法，通过渲染上下文获取系统视口中呈现的所有窗口以及各个窗口中正在运行的应用，从而获得当前正在呈现的应用列表，遍历当前正在呈现的应用列表，从而针对当前正在呈现的应用列表中的每个应用，通过渲染上下文获取每个应用视口中呈现的内容对象，遍历各个呈现的内容对象，从而获取内容对象的文本语义信息，以确定系统当前状态下的一帧视口内容帧，提高了提取视口内容的准确性。

图5是示出根据本发明示例性实施例的根据视口内容的自动交互方法的流程图。

参照图5，在步骤S501，根据预设的采样周期，周期性地提取系统的视口内容帧。

不同的应用场景对内容采样有不同的时间性或者周期性要求，比如屏幕监控的应用场景可能希望获取到当前屏幕上的实时内容，而根据用户活动内容动态生成背景音乐的场景却可能希望得到一段较长时间内的内容特征。主动交互的场景，比如用户点击页面链接触发视口内容变化的情况下，周期性采样能采集到视口内容变化前后的内容，实时追踪到用户的关注内容。

作为示例，在周期性地提取系统的视口内容帧时，可首先通过渲染上下文获取系统视口中呈现的所有窗口以及各个窗口中正在运行的应用，从而获得当前正在呈现的应用列表，然后遍历当前正在呈现的应用列表，从而针对当前正在呈现的应用列表中的每个应用，通过渲染上下文获取每个应用视口中呈现的内容对象，最后遍历各个呈现的内容对象，从而获取内容对象的文本语义信息，以确定系统当前状态下的一帧视口内容帧。

在步骤S502，按照时间顺序将视口内容帧存储到系统存储队列。

作为示例，在将每一帧的视口内容帧存储到系统存储队列时，可向预设应用发送系统存储队列更新的通知。例如，可向音乐播放器应用、屏幕监管应用等发送系统存储队列更新的通知。

在步骤S503，响应于检测到预设应用发送的视口内容帧的请求，向预设应用发送预设数量帧的视口内容帧。

这里，预设应用响应于接收到预设数量帧的视口内容帧，可根据预设数量帧的视口内容帧中的文本语义信息进行预设的操作。例如，音乐播放器应用可根据预设数量帧的视口内容帧中的文本语义信息自动选择播放的音乐，屏幕监管应用可根据预设数量帧的视口内容帧中的文本语义信息自动判断视口内容帧中是否存在敏感内容，或者确定是否阻断敏感内容的渲染呈现。

作为示例，预设应用对预设数量帧的视口内容帧中的文本语义信息进行特征提取，并根据提取到的特征进行预设的操作。

由于通过渲染上下文可直接获取到页面中的焦点元素以及各个元素在视口中的大小和位置信息，因此，通过根据这些信息对视口中的元素赋予不同的权重，可提高内容特征提取的精确性。

作为示例，预设应用可对预设数量帧的视口内容帧中的文本语义信息进行噪声过滤，并对过滤后的文本语义信息进行特征提取。

例如，图6是示出根据本发明示例性实施例的通过时间窗口缓存对视口内容帧中的文本语义信息进行噪声过滤的示例的示意图，图7是示出根据本发明示例性实施例的通过时间窗口缓存对视口内容帧中的文本语义信息进行噪声过滤的另一示例的示意图。如图6所示，在一段时间内用户主要在浏览具有特征A的内容，中途有短时间切换到特征B的内容，通过时间窗口缓存，在计算一段时间内的内容特征时，可将特征B的内容作为噪声过滤掉。这种内容特征波动的场景不仅包括同一个应用内的内容变化，还包括系统视口内不同应用之间的切换，如图7所示，用户使用应用1的过程中，有段时间把应用2切换到顶层阅读了一些信息，之后又再切换回了应用1继续浏览的场景，在计算较长时间活动内容特征时，可将应用2作为噪声过滤掉。在被动接受的场景，比如用户在浏览一段自动滚动的内容或者自动变化的页面，在这期间虽然用户并没有任何主动的操作(比如点击)，但是由于采用周期性采样的方法，系统依然能够采集到用户活动内容的变化。

例如，在自动背景音乐推荐的应用场景中，假设音乐播放应用(例如，音乐播放器)的自动背景音乐功能已被用户配置，并且音乐播放应用(例如，音乐播放器)被使能并被注册到系统的屏幕内容提取子系统(即，音乐播放应用是预设应用之一)，则屏幕内容提取子系统可询问用户是否允许采样系统内容，如果接收到用户的允许采样系统内容的指示，则屏幕内容提取子系统周期性采样屏幕内容并存储，并且在每一帧视口内容帧插入存储器(例如，缓存)的时候通知该音乐播放应用(例如，音乐播放器)。音乐播放应用在接收到屏幕内容提取子系统发送的视口内容帧插入存储器(例如，缓存)的通知的时候(或者在一段音乐播放完的时候、或者在用户主动切歌的时候)，决定是否需要重新计算用户当前活动内容的特征，如果需要则从存储器(例如，缓存)中提取一段时间长度的视口内容帧，并且音乐播放应用可根据获取到的视口内容帧中的文本语义信息计算出该段时间内视口内容对应的内容特征，并根据内容特征(是否同时结合其他用户偏好不做限定)选择并播放与内容特征相应的音乐。这里，音乐播放应用和屏幕内容提取子系统可存在于同一电子设备上，也可存在于相互关联的不同的电子设备上，本发明对此不进行限制。

例如，在屏幕监管的应用场景中，假设屏幕监管应用的屏幕监管功能已被使能并被配置，并且屏幕监管应用被使能并被注册到系统的屏幕内容提取子系统。屏幕内容提取子系统可询问用户是否允许采样系统内容，如果接收到用户的允许采样系统内容的指示，则屏幕内容提取子系统周期性采样屏幕内容并存储，并且在每一帧视口内容帧插入存储器(例如，缓存)的时候通知该屏幕监管应用。屏幕监管应用在接收到屏幕内容提取子系统发送的视口内容帧插入存储器(例如，缓存)的通知的时候，从存储器(例如，缓存)中提取(例如，最新得到的)视口内容帧，并且屏幕监管应用可根据获取到的视口内容帧中的文本语义信息确定是否视口内容帧中存在敏感内容，如果存在敏感内容则通知管理员，并可根据配置决定是否通知屏幕内容提取子系统阻断敏感内容的渲染呈现。这里，屏幕监管应用和屏幕内容提取子系统可存在于同一电子设备上，也可存在于相互关联的不同的电子设备上，本发明对此不进行限制。

以上已经结合图1至图7对根据本发明示例性实施例的提取视口内容的方法以及根据视口内容的自动交互方法进行了描述。在下文中，将参照图8和图9对根据本发明示例性实施例的提取视口内容的装置以及根据视口内容的自动交互装置及其模块进行描述。

图8是示出根据本发明示例性实施例的提取视口内容的装置的框图。

参照图8，提取视口内容的装置包括应用获取模块81、内容对象获取模块82和语义获取模块83。

应用获取模块81，被配置为通过渲染上下文获取系统视口中呈现的所有窗口以及各个窗口中正在运行的应用，从而获得当前正在呈现的应用列表。这里，各个窗口可被视为应用视口。

系统视口可包括至少一个屏幕视口。由于不论在什么操作系统上，应用(例如，本地应用、Web应用等)中的每个控件和每个元素都具有可访问性，而且相应的可访问数据通过渲染上下文被暴露到系统接口中。因此，可通过应用获取模块81渲染上下文获取系统视口中呈现的所有窗口以及各个窗口中正在运行的应用，并将获取到的所有应用放到列表中，从而获得当前正在呈现的应用列表。

作为示例，应用获取模块81在获取系统视口中呈现的所有窗口以及各个窗口中正在运行的应用时，还可获取各个窗口的大小和位置。

内容对象获取模块82，被配置为遍历当前正在呈现的应用列表，从而针对当前正在呈现的应用列表中的每个应用，通过渲染上下文获取每个应用视口中呈现的内容对象。

作为示例，内容对象获取模块82在获取每个应用视口中呈现的内容对象时，还可获取每个应用视口中呈现的内容对象的大小位置等信息。

作为示例，提取视口内容的装置还可包括：标识分配模块，被配置为对每个呈现的内容对象分配系统唯一的标识。

语义获取模块83，被配置为遍历各个呈现的内容对象，从而获取内容对象的文本语义信息，以确定系统当前状态下的一帧视口内容帧。

作为示例，语义获取模块83可被配置为：从内容对象的可访问数据中获取关于内容对象的信息作为内容对象的文本语义信息，这里，关于内容对象的信息包括以下项中的至少一项：内容对象的名称、标识、描述、可替代文本、大小、位置、颜色、背景色、是否为焦点、语义描述、设计意图和场景设定。

由于不论是本地应用还是网络应用，用户的交互行为往往改变的只是什么对象呈现在屏幕上而不改变对象的本身，比如，用户的点击链接或者触摸滚动，导致了屏幕显示内容从A变成了B，实际上这个行为并没有改变A和B本身的语义，而只是把A移出了屏幕把B移入了屏幕而已；另一方面，小明访问A得到的语义跟小王去访问A的结果也常常是一样的。也就是说在大多数情况下，对于A和B这些呈现对象，不管是否显示出来，不管是谁去访问它，它们语义基本上都是不会改变的。因此，如果事先计算出各个内容对象的文本语义，那么在需要获取某个内容对象的文本语义时可快速获取到事先计算出的文本语义。

作为示例，语义获取模块83可被配置为：向预设服务器发送对内容对象的文本语义信息的请求；作为所述请求的响应，从预设服务器获取被请求的内容对象的文本语义信息。作为示例，预设服务器可查询是否存在被请求的内容对象的文本语义信息，并且当不存在被请求的内容对象的文本语义信息时，预设服务器对被请求的内容对象进行解析，以得到被请求的内容对象的文本语义信息。这样，可在本地无法从内容对象的可访问数据中快速获取到关于内容对象的信息的情况(例如，一张没有任何文本说明的图片，需要进行图像/音频识别并将识别结果作为补充说明内容)下，快速获取到被请求的内容对象的文本语义信息。

作为示例，提取视口内容的装置还可包括：关系建立模块，被配置为建立被请求的内容对象和解析得到的被请求的内容对象的文本语义信息的对应关系，和存储模块，被配置为对建立的对应关系进行存储。例如，在预设服务器对被请求的内容对象进行解析(例如，图像识别或者音视频识别等高密集运算解析)，得到被请求的内容对象的文本语义信息之后，可建立被请求的内容对象和解析得到的被请求的内容对象的文本语义信息的对应关系，并对建立的对应关系进行存储。这里，本发明对存储位置不进行限制，例如，可将对应关系存储在与预设服务器相关联的存储器中，或者存储在与电子设备相关联的存储器中。

另外，在分屏、双屏或多屏情况下多个应用同时呈现于屏幕的情况，虽然最顶层应用可能只有一个，但是多个应用可以同时显示在分屏、双屏或多屏上，通过渲染上下文能获取到当前同时呈现在系统视口中的多个应用的内容对象的文本语义信息以及多个应用的层级情况。

图9是示出根据本发明示例性实施例的根据视口内容的自动交互装置的框图。

参照图9，根据视口内容的自动交互装置包括内容帧提取模块91、内容帧存储模块92和内容帧应用模块93。

内容帧提取模块91，被配置为根据预设的采样周期，周期性地提取系统的视口内容帧。

不同的应用场景对内容采样有不同的时间性或者周期性要求，比如屏幕监控的应用场景可能希望获取到当前屏幕上的实时内容，而根据用户活动内容动态生成背景音乐的场景却可能希望得到一段较长时间内的内容特征。主动交互的场景，比如用户点击页面链接触发视口内容变化的情况下，周期性采样能采集到视口内容变化前后的内容，实时追踪到用户的关注内容。

作为示例，内容帧提取模块91在周期性地提取系统的视口内容帧时，可首先通过渲染上下文获取系统视口中呈现的所有窗口以及各个窗口中正在运行的应用，从而获得当前正在呈现的应用列表，然后遍历当前正在呈现的应用列表，从而针对当前正在呈现的应用列表中的每个应用，通过渲染上下文获取每个应用视口中呈现的内容对象，最后遍历各个呈现的内容对象，从而获取内容对象的文本语义信息，以确定系统当前状态下的一帧视口内容帧。

内容帧存储模块92，被配置为按照时间顺序将视口内容帧存储到系统存储队列。

作为示例，根据视口内容的自动交互装置还可包括：通知发送模块，被配置为在将每一帧的视口内容帧存储到系统存储队列时，向预设应用发送系统存储队列更新的通知。例如，可向音乐播放器应用、屏幕监管应用等发送系统存储队列更新的通知。

内容帧应用模块93，被配置为响应于检测到预设应用发送的视口内容帧的请求，向预设应用发送预设数量帧的视口内容帧。

这里，预设应用响应于接收到预设数量帧的视口内容帧，可根据预设数量帧的视口内容帧中的文本语义信息进行预设的操作。例如，音乐播放器应用可根据预设数量帧的视口内容帧中的文本语义信息自动选择播放的音乐，屏幕监管应用可根据预设数量帧的视口内容帧中的文本语义信息自动判断视口内容帧中是否存在敏感内容，或者确定是否阻断敏感内容的渲染呈现。

作为示例，预设应用可对预设数量帧的视口内容帧中的文本语义信息进行特征提取，并根据提取到的特征进行预设的操作。

由于通过渲染上下文可直接获取到页面中的焦点元素以及各个元素在视口中的大小和位置信息，因此，通过根据这些信息对视口中的元素赋予不同的权重，可提高内容特征提取的精确性。

作为示例，预设应用可对预设数量帧的视口内容帧中的文本语义信息进行噪声过滤，并对过滤后的文本语义信息进行特征提取。

此外，根据本发明的示例性实施例，还提供一种存储有计算机程序的计算机可读存储介质，当所述计算机程序被处理器执行时实现根据本发明的提取视口内容的方法的步骤。

作为示例，所述计算机程序被处理器被执行时可实现以下步骤：通过渲染上下文获取系统视口中呈现的所有窗口以及各个窗口中正在运行的应用，从而获得当前正在呈现的应用列表；遍历当前正在呈现的应用列表，从而针对当前正在呈现的应用列表中的每个应用，通过渲染上下文获取每个应用视口中呈现的内容对象；遍历各个呈现的内容对象，从而获取内容对象的文本语义信息，以确定系统当前状态下的一帧视口内容帧。

此外，根据本发明的示例性实施例，还提供一种存储有计算机程序的计算机可读存储介质，当所述计算机程序被处理器执行时实现根据本发明的根据视口内容的自动交互方法的步骤。

作为示例，所述计算机程序被处理器时可实现以下步骤：根据预设的采样周期，周期性地提取系统的视口内容帧；按照时间顺序将视口内容帧存储到系统存储队列；响应于检测到预设应用发送的视口内容帧的请求，向预设应用发送预设数量帧的视口内容帧，其中，预设应用根据预设数量帧的视口内容帧中的文本语义信息进行预设的操作。

以上已经结合图8和图9对根据本发明示例性实施例的提取视口内容的装置和根据视口内容的自动交互装置进行了描述。接下来，结合图10和图11对根据本发明的示例性实施例的计算装置进行描述。

图10示出根据本发明示例性实施例的计算装置的示意图。

参照图10，根据本发明示例性实施例的计算装置10，包括存储有计算机程序的存储器101和处理器102。当所述计算机程序被处理器102执行时实现根据本发明的提取视口内容的方法的步骤。

作为示例，当所述计算机程序被处理器102执行时，可实现以下提取视口内容的方法的步骤的应用：通过渲染上下文获取系统视口中呈现的所有窗口以及各个窗口中正在运行的应用，从而获得当前正在呈现的应用列表；遍历当前正在呈现的应用列表，从而针对当前正在呈现的应用列表中的每个应用，通过渲染上下文获取每个应用视口中呈现的内容对象；遍历各个呈现的内容对象，从而获取内容对象的文本语义信息，以确定系统当前状态下的一帧视口内容帧。

图11示出根据本发明示例性实施例的另一计算装置的示意图。

参照图11，根据本发明示例性实施例的计算装置11，包括存储有计算机程序的存储器111和处理器112。当所述计算机程序被处理器112执行时实现根据本发明的根据视口内容的自动交互方法的步骤。

作为示例，当所述计算机程序被处理器112执行时，可实现以下根据视口内容的自动交互方法的步骤的应用：根据预设的采样周期，周期性地提取系统的视口内容帧；按照时间顺序将视口内容帧存储到系统存储队列；响应于检测到预设应用发送的视口内容帧的请求，向预设应用发送预设数量帧的视口内容帧，其中，预设应用根据预设数量帧的视口内容帧中的文本语义信息进行预设的操作。

根据本发明的示例性实施例的提取视口内容的方法及装置，通过渲染上下文获取系统视口中呈现的所有窗口以及各个窗口中正在运行的应用，从而获得当前正在呈现的应用列表；遍历当前正在呈现的应用列表，从而针对当前正在呈现的应用列表中的每个应用，通过渲染上下文获取每个应用视口中呈现的内容对象；遍历各个呈现的内容对象，从而获取内容对象的文本语义信息，以确定系统当前状态下的一帧视口内容帧。相比于直接抓取整个网页的内容，根据本发明的示例性实施例的提取视口内容的方法能避免网页上非视口内其他内容的干扰，更准确地表达用户交互的内容。另外，在双屏和多屏情况下多个应用同时呈现于屏幕的情况，虽然最顶层应用可能只有一个，但是多个应用可同时显示在屏幕上，根据本发明的示例性实施例的提取视口内容的方法能获取到当前同时呈现在系统视口中的多个应用视口中呈现的内容对象的文本语义信息，从而提高了提取视口内容的准确性。

根据本发明的示例性实施例的根据视口内容的自动交互方法及装置，根据预设的采样周期，周期性地提取系统的视口内容帧；按照时间顺序将视口内容帧存储到系统存储队列；响应于检测到预设应用发送的视口内容帧的请求，向预设应用发送预设数量帧的视口内容帧，其中，预设应用根据预设数量帧的视口内容帧中的文本语义信息进行预设的操作，从而提高了自动交互的准确性。

以上已参照图1至图11描述了根据本发明示例性实施例的提取视口内容的方法及装置以及根据视口内容的自动交互方法及装置。然而，应该理解的是：图8和图9中所示的提取视口内容的装置以及根据视口内容的自动交互装置及其模块可分别被配置为执行特定功能的软件、硬件、固件或上述项的任意组合，图10和图11中所示的计算装置并不限于包括以上示出的组件，而是可根据需要增加或删除一些组件，并且以上组件也可被组合。

尽管已经参照其示例性实施例具体显示和描述了本发明，但是本领域的技术人员应该理解，在不脱离权利要求所限定的本发明的精神和范围的情况下，可以对其进行形式和细节上的各种改变。

Claims (24)

1.一种提取视口内容的方法，包括：

根据预设的采样周期，周期性地执行以下操作：

通过渲染上下文获取系统视口中呈现的所有应用视口，获得当前正在呈现的应用列表，其中，系统视口包括屏幕视口；

遍历当前正在呈现的应用列表，针对当前正在呈现的应用列表中的每个应用，通过渲染上下文获取每个应用视口中呈现的内容对象；

遍历各个呈现的内容对象，获取内容对象的文本语义信息，以确定系统当前状态下的一帧视口内容帧。

2.根据权利要求1所述的方法，其中，所述方法还包括：

对每个呈现的内容对象分配系统唯一的标识。

3.根据权利要求1所述的方法，其中，获取内容对象的文本语义信息的步骤包括：

从内容对象的可访问数据中获取关于内容对象的信息作为内容对象的文本语义信息，

其中，关于内容对象的信息包括以下项中的至少一项：内容对象的名称、标识、描述、可替代文本、大小、位置、颜色、背景色、是否为焦点、语义描述、设计意图和场景设定。

4.根据权利要求1所述的方法，其中，获取内容对象的文本语义信息的步骤包括：

向预设服务器发送对内容对象的文本语义信息的请求；

作为所述请求的响应，从预设服务器获取被请求的内容对象的文本语义信息。

5.根据权利要求4所述的方法，其中，预设服务器查询是否存在被请求的内容对象的文本语义信息，并且当不存在被请求的内容对象的文本语义信息时，预设服务器对被请求的内容对象进行解析，以得到被请求的内容对象的文本语义信息。

6.根据权利要求5所述的方法，其中，所述方法还包括：

建立被请求的内容对象和解析得到的被请求的内容对象的文本语义信息的对应关系，并对建立的对应关系进行存储。

7.一种根据视口内容的自动交互方法，包括：

根据预设的采样周期，周期性地提取系统的视口内容帧；

按照时间顺序将视口内容帧存储到系统存储队列；

响应于检测到预设应用发送的视口内容帧的请求，向预设应用发送预设数量帧的视口内容帧，

其中，预设应用根据预设数量帧的视口内容帧中的文本语义信息进行预设的操作，

其中，周期性地提取系统的视口内容帧的步骤包括：

通过渲染上下文获取系统视口中呈现的所有应用视口，获得当前正在呈现的应用列表，其中，系统视口包括屏幕视口；

遍历当前正在呈现的应用列表，针对当前正在呈现的应用列表中的每个应用，通过渲染上下文获取每个应用视口中呈现的内容对象；

遍历各个呈现的内容对象，获取内容对象的文本语义信息，以确定系统当前状态下的一帧视口内容帧。

8.根据权利要求7所述的自动交互方法，其中，所述方法还包括：

在将每一帧的视口内容帧存储到系统存储队列时，向预设应用发送系统存储队列更新的通知。

9.根据权利要求7所述的自动交互方法，其中，预设应用对预设数量帧的视口内容帧中的文本语义信息进行特征提取，并根据提取到的特征进行预设的操作。

10.根据权利要求9所述的自动交互方法，其中，预设应用对预设数量帧的视口内容帧中的文本语义信息进行噪声过滤，并对过滤后的文本语义信息进行特征提取。

11.一种提取视口内容的装置，包括：

应用获取模块，被配置为根据预设的采样周期，周期性地通过渲染上下文获取系统视口中呈现的所有应用视口，获得当前正在呈现的应用列表，其中，系统视口包括屏幕视口；

内容对象获取模块，被配置为根据预设的采样周期，周期性地遍历当前正在呈现的应用列表，针对当前正在呈现的应用列表中的每个应用，通过渲染上下文获取每个应用视口中呈现的内容对象；和

语义获取模块，被配置为根据预设的采样周期，周期性地遍历各个呈现的内容对象，获取内容对象的文本语义信息，以确定系统当前状态下的一帧视口内容帧。

12.根据权利要求11所述的装置，其中，所述装置还包括：

标识分配模块，被配置为对每个呈现的内容对象分配系统唯一的标识。

13.根据权利要求11所述的装置，其中，语义获取模块被配置为：

从内容对象的可访问数据中获取关于内容对象的信息作为内容对象的文本语义信息，

其中，关于内容对象的信息包括以下项中的至少一项：内容对象的名称、标识、描述、可替代文本、大小、位置、颜色、背景色、是否为焦点、语义描述、设计意图和场景设定。

14.根据权利要求11所述的装置，其中，语义获取模块被配置为：

向预设服务器发送对内容对象的文本语义信息的请求；

作为所述请求的响应，从预设服务器获取被请求的内容对象的文本语义信息。

15.根据权利要求14所述的装置，其中，预设服务器查询是否存在被请求的内容对象的文本语义信息，并且当不存在被请求的内容对象的文本语义信息时，预设服务器对被请求的内容对象进行解析，以得到被请求的内容对象的文本语义信息。

16.根据权利要求15所述的装置，其中，所述装置还包括：

关系建立模块，被配置为建立被请求的内容对象和解析得到的被请求的内容对象的文本语义信息的对应关系，和

存储模块，被配置为对建立的对应关系进行存储。

17.一种根据视口内容的自动交互装置，包括：

内容帧提取模块，被配置为根据预设的采样周期，周期性地提取系统的视口内容帧；

内容帧存储模块，被配置为按照时间顺序将视口内容帧存储到系统存储队列；和

内容帧应用模块，被配置为响应于检测到预设应用发送的视口内容帧的请求，向预设应用发送预设数量帧的视口内容帧，

其中，预设应用根据预设数量帧的视口内容帧中的文本语义信息进行预设的操作，

其中，内容帧提取模块被配置为：

通过渲染上下文获取系统视口中呈现的所有应用视口，获得当前正在呈现的应用列表，其中，系统视口包括屏幕视口；

遍历当前正在呈现的应用列表，针对当前正在呈现的应用列表中的每个应用，通过渲染上下文获取每个应用视口中呈现的内容对象；

遍历各个呈现的内容对象，获取内容对象的文本语义信息，以确定系统当前状态下的一帧视口内容帧。

18.根据权利要求17所述的自动交互装置，其中，所述装置还包括：

通知发送模块，被配置为在将每一帧的视口内容帧存储到系统存储队列时，向预设应用发送系统存储队列更新的通知。

19.根据权利要求17所述的自动交互装置，其中，预设应用对预设数量帧的视口内容帧中的文本语义信息进行特征提取，并根据提取到的特征进行预设的操作。

20.根据权利要求19所述的自动交互装置，其中，预设应用对预设数量帧的视口内容帧中的文本语义信息进行噪声过滤，并对过滤后的文本语义信息进行特征提取。

21.一种存储有计算机程序的计算机可读存储介质，其中，当所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的提取视口内容的方法的步骤。

22.一种存储有计算机程序的计算机可读存储介质，其中，当所述计算机程序被处理器执行时实现权利要求7至10中任一项所述的根据视口内容的自动交互方法的步骤。

23.一种计算装置，包括：

处理器；

存储器，存储有计算机程序，当所述计算机程序被处理器执行时，实现权利要求1至6中任一项所述的提取视口内容的方法的步骤。

24.一种计算装置，包括：

处理器；

存储器，存储有计算机程序，当所述计算机程序被处理器执行时，实现权利要求7至10中任一项所述的根据视口内容的自动交互方法的步骤。

Images