CN109145273B - 一种批注跟随显示方法、装置、设备和存储介质 - Google Patents

Abstract

本发明公开了一种批注跟随显示方法、装置、设备和存储介质。通过确认中断源消失，中断源用于抢占位于播放窗口上的屏幕焦点，屏幕焦点被抢占后针对播放窗口所属目标程序的批注跟随功能被中断；显示新建窗口，新建窗口覆盖于播放窗口上，新建窗口和播放窗口对应于不同的Activity；关闭新建窗口，以恢复针对目标程序的批注跟随功能，解决目标程序焦点被抢占而导致的批注程序无法获取播放页面信息的问题，实现目标程序的批注跟随功能自动恢复的技术效果。

Description

一种批注跟随显示方法、装置、设备和存储介质

技术领域

本发明实施例涉及信息技术领域技术，尤其涉及一种批注跟随显示方法、装置、设备和存储介质。

背景技术

在实际应用中，需要批注程序与目标程序进行交互，从而达到批注程序生成的批注随目标程序翻页的效果，其中目标程序为演示文稿(MicrosoftOfficePowerPoint，PPT)、WPS等演示程序。具体的，批注程序需要获取当前目标程序的播放页面信息，显示对应的批注，而且只有当目标程序处于焦点时，批注程序才能获取该播放页面信息。

发明人在实现本发明的过程中发现现有技术存在如下缺陷：在批注程序与目标程序进行交互的过程中，若目标程序的焦点被其他程序抢占，批注程序则无法获取目标程序的播放页面信息，即无法实现批注跟随。举例说明，提示窗的弹出造成焦点从目标程序转移到提示窗。一方面，由于目标程序属于第三方应用，并不能通过对其源代码直接修改来恢复焦点；另一方面，如果通过手动点击使得目标程序重新获取焦点，会影响用户体验。因此，如何自动恢复程序焦点，使得批注程序实现批注跟随成为难点。

发明内容

本发明实施例提供一种批注跟随显示方法、装置、设备和存储介质，以解决目标程序焦点被抢占而导致的批注程序无法实现批注跟随的问题。

第一方面，本发明实施例提供了一种批注跟随显示方法，该方法包括：

确认中断源消失，所述中断源用于抢占位于播放窗口上的屏幕焦点，所述屏幕焦点被抢占后针对所述播放窗口所属目标程序的批注跟随功能被中断；

显示新建窗口，所述新建窗口覆盖于所述播放窗口上，所述新建窗口和所述播放窗口对应于不同的Activity；

关闭所述新建窗口，以恢复针对所述目标程序的批注跟随功能。

可选的，所述确认中断源消失之前，还包括：

检测到生成中断源。

可选的，所述检测到生成中断源包括：

检测到弹出显示框，并将所述显示框确认为中断源；或，

检测到生成默认输入框，并将所述输入框确认为中断源。

可选的，所述检测到生成中断源包括：

检测到视图节点信息被置新时，确定生成中断源，所述视图节点信息为屏幕焦点所在窗口的节点信息。

可选的，所述确认中断源消失包括：

检测到视图节点信息为空时，确认中断源消失。

可选的，所述检测到生成中断源之前，还包括：

显示目标程序的播放窗口，屏幕焦点位于所述播放窗口上；

启动批注跟随功能，所述批注跟随功能通过播放窗口的视图节点信息实现。

可选的，所述启动批注跟随功能之后，还包括：

确认未检测到生成中断源且所述播放窗口的显示内容被更换；

控制批注跟随所述显示内容的更换而同步更换。

可选的，确认未检测到生成中断源且所述播放窗口的显示内容被更换包括：

实时获取视图节点信息；

确认所述视图节点信息发生变化且未被置新；

所述控制批注跟随所述显示内容的更换而同步更换包括：

获取批注内容，所述批注内容对应于变化后的所述视图节点信息；

显示所述批注内容，并删除其他已显示的批注内容。

可选的，所述新建窗口为透明窗口。

可选的，所述新建窗口为全屏显示窗口。

可选的，所述显示新建窗口时，还包括：

控制所述新建窗口的Activity启动入栈，以将所述播放窗口切换至后台，所述新建窗口的Activity位于所述播放窗口的Activity的前面；

所述关闭所述新建窗口时，还包括：

在栈中删除所述新建窗口的Activity，以将所述播放窗口切换至前台。

第二方面，本发明实施例还提供了一种批注跟随显示装置，该装置包括：

中断源消失确认模块，用于确认中断源消失，所述中断源用于抢占位于播放窗口上的屏幕焦点，所述屏幕焦点被抢占后针对所述播放窗口所属目标程序的批注跟随功能被中断；

新建窗口显示模块，用于显示新建窗口，所述新建窗口覆盖于所述播放窗口上，所述新建窗口和所述播放窗口对应于不同的Activity；

新建窗口关闭模块，用于关闭所述新建窗口，以恢复针对所述目标程序的批注跟随功能。

第三方面，本发明实施例还提供了一种批注跟随显示设备，该设备包括：存储器、显示屏以及一个或多个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面中任一所述的批注跟随显示方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面中任一所述的批注跟随显示方法。

上述提供的一种批注跟随显示方法、装置、设备和存储介质，由于中断源用于抢占位于播放窗口上的屏幕焦点，屏幕焦点被抢占后针对播放窗口所属目标程序的批注跟随功能被中断，通过在确认中断源消失后，显示覆盖于播放窗口上的新建窗口，之后，关闭新建窗口，以恢复针对目标程序的批注跟随功能，解决目标程序焦点被抢占而导致的批注程序无法获取播放页面信息的问题，实现目标程序的批注跟随功能自动恢复的技术效果。

附图说明

图1为本发明实施例一提供的一种批注跟随显示方法的流程图；

图2为本发明实施例二提供的一种批注跟随显示方法的流程图；

图3为本发明实施例三提供的一种批注跟随显示方法的流程图；

图4为本发明实施例四提供的一种批注跟随显示装置的结构示意图；

图5为本发明实施例五提供的一种批注跟随显示设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种批注跟随显示方法的流程图。

本实施例提供的批注跟随显示方法可以由批注跟随显示设备执行，该批注跟随显示设备可以通过软件和/或硬件的方式实现，该批注跟随显示设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。该批注跟随显示设备可以是电脑，手机，平板，投影仪或交互智能平板等。在本实施例中，以交互智能平板为批注跟随显示设备为例进行描述。交互智能平板可以是通过触控技术对显示在显示平板上的内容进行操控和实现人机交互操作的一体化设备，其集成了投影机、电子白板、幕布、音响、电视机以及视频会议终端等一种或多种功能。

在实施例中，交互智能平板安装有操作系统，本实施例对操作系统的类型不作限定，可以是安卓系统、IOS系统和Window系统等操作系统，本实施例以交互智能平板安装有安卓系统进行详细说明，且安卓系统为Android7.0以上版本为例进行描述。

在实施例中，交互智能平板中安装有目标程序，该目标程序可以是PPT或WPSoffice金山办公软件等演示应用，该目标程序可以预先安装在交互智能平板中，也可以是在交互智能平板启动目标程序时，从第三方设备或服务器进行下载并安装使用。一般而言，该目标程序可以认为是第三方应用程序。其中，第三方设备在实施例中不作限定。

进一步的，交互智能平板中安装有批注程序，该批注程序用于识别上述的目标程序进入播放状态下的显示内容，并为该显示内容添加批注后进行批注跟随显示。该批注程序可以预先安装在交互智能平板中，也可以是在交互智能平板启动批注程序时，从第三方设备或服务器进行下载并安装使用。其中，第三方设备在实施例中不作限定。

在实施例中，交互智能平板与至少一个外部装置建立数据连接。其中，外部装置包括但不限于：演示应用控制笔、手机、笔记本电脑、USB闪存盘、平板电脑及台式电脑等。外部装置与交互智能平板的数据连接的通信方式实施例中不作限定，可以通过USB连接、互联网、局域网、蓝牙、Wi-Fi或紫峰协议(ZigBee)等通信方式。进一步的，外部装置与交互智能平板建立数据连接后，进行数据交互，通过数据交互，可以使外置装置对交互智能平板中的目标程序进行控制。本实施例以外部装置是演示应用控制笔为例进行详细说明，其中，演示应用控制笔可以控制目标程序进行播放、翻页和批注等。

具体的，参考图1，本实施例提供的批注跟随显示方法具体包括如下步骤：

S110、确认中断源消失，中断源用于抢占位于播放窗口上的屏幕焦点，屏幕焦点被抢占后针对播放窗口所属目标程序的批注跟随功能被中断。

示例性的，目标程序处于播放状态时，用于对显示内容进行播放显示的窗口记为播放窗口。本实施例对播放窗口的显示方式不作限定，可以是全屏显示，也可以非全屏显示，非全屏显示又可以采用画中画显示、分屏显示和自由显示等模式。该播放窗口被启动后，还可以控制该播放窗口上的显示内容进行翻页和批注等控制。上述对播放窗口和其上的显示内容的控制均可通过与交互智能平板建立数据连接的演示应用控制笔进行控制。

一般的，对于带有图形用户界面的操作系统，采用图形方式显示计算机操作用户界面。该计算机操作用户界面包括桌面和控件。控件为图像用户界面元素，是一种基本的可视构件块，包含在应用程序中，控制着该程序处理的所有数据以及关于这些数据的交互操作。常用的控件包括窗口、按钮、菜单栏、图标、文本框和进度条等。多个不同控件的组合构成新的控件。如弹出窗口由窗口、文本框和按钮等控件构成，其中文本框和按钮等控件设置在窗口中，弹出窗口本身也可以作为控件。

进一步的，当前用户可直接交互的控件位置为屏幕焦点所在位置，也就是说控件获取屏幕焦点，指的是屏幕焦点落在该控件上。一般的，在进行程序设计时，常通过控件的颜色变化或者光标的变化来提示用户当前是哪个控件获取屏幕焦点。举例说明控件获取屏幕焦点的显示效果，如屏幕焦点处于交互智能平板上显示的文本输入框，该文本输入框有颜色变化或者存在光标。当用户通过触摸或者外设键盘进行文字输入操作时，将在该文本输入框中显示文字输入操作输入的文字。一般而言，当目标程序处于播放状态时，屏幕焦点位于目标程序的播放窗口上。

具体的，屏幕焦点被抢夺是指屏幕焦点的转移，转移后的控件抢夺了转移前的控件的屏幕焦点，屏幕焦点转移后，用户直接交互的控件为转移后的控件。

进一步的，批注跟随功能由批注程序控制，批注跟随功能是指在目标程序对显示内容进行更新时，批注也相应进行更新。具体的，以目标程序是PPT为例进行说明，批注程序预先记录每个批注内容对应的显示内容，其中，可以是确定批注内容与显示内容页码的对应关系，进而确定批注内容和显示内容的对应关系。当PPT处于播放状态，即PPT程序使用一个播放窗口对演示文稿的内容进行演示播放时，若显示内容更新，则批注程序识别播放窗口的显示内容，并显示与显示内容相对应的批注内容。其中，显示内容的更新可以是换页或者动画更新。本实施例对显示内容更新的触发方式不作限定，可以是接收到翻页指令或者跳转链接点击指令。该翻页指令或者跳转链接点击指令都可以由上述的演示应用控制笔进行控制生成。进一步的，本实施例对批注内容的显示方式不作限定，可以是显示在显示内容上，也可以是显示在边栏，还可以是显示在用户写入批注的位置。具体的，在批注程序识别播放窗口的显示内容的过程中，需要确定屏幕焦点处于播放窗口上，才能获取播放窗口上的显示内容。所以当中断源抢占位于播放窗口上的屏幕焦点后，批注程序获取的屏幕焦点所在窗口的信息为中断源的信息，即无法获得播放窗口的显示内容，也就无法显示相应的批注内容，此时，认为批注跟随功能中断。因此，需要确认中断源消失，或者说中断源失去屏幕焦点，才能进一步使得播放窗口重新获得屏幕焦点，以便恢复批注跟随功能。

其中，中断源可以是对播放窗口有部分遮挡的窗口，或者是进行输入的文本框等。本实施例对中断源的具体类型不作限定，本实施例以中断源是弹出窗口为例进行详细描述。该弹出窗口常见的用于展示通知信息，在弹出之后的一段时间，将自动消失。需要注意的是，中断源消失后，目标程序的播放窗口不能重新获取屏幕焦点，需要进行播放窗口的屏幕焦点的恢复。播放窗口的屏幕焦点的恢复的方式可以是通过手动进行恢复，但是手动恢复的方式给用户带来极差的用户体验。为了实现自动恢复批注跟随功能，本实施例将对如何使得播放窗口自动恢复屏幕焦点进行详述。

S120、显示新建窗口，新建窗口覆盖于播放窗口上，新建窗口和播放窗口对应于不同的Activity。

一般的，不同操作系统对控件的操控和屏幕焦点的转移基本相同，细节略有不同，本实施例以Android系统为例进行详细说明，且Android系统为7.0及以上版本。

具体的，Android系统中设置有应用组件Activity，用户可与Activity提供的屏幕进行交互，以执行软件交互、拍摄照片、发送电子邮件或查看地图等操作。每个Activity都会获得一个用于绘制其用户界面的窗口。窗口通常会充满屏幕，但也可小于屏幕并浮动在其他窗口之上。一个应用通常由多个彼此松散联系的Activity组成。一般会指定应用中的某个Activity为“主”Activity，即首次启动应用时呈现给用户的那个Activity。而且每个Activity均可启动另一个Activity，以便执行不同的操作。当一个Activity因某个新Activity启动而停止时，系统会通过该Activity的生命周期回调方法通知其这一状态变化。Activity至少包括：继续状态、暂停状态和停止状态。Activity处于继续状态是指Activity位于屏幕前台并具有屏幕焦点。Activity处于暂停状态是指另一个Activity位于屏幕前台并具有屏幕焦点，但此Activity仍可见，也就是说，另一个Activity显示在此Activity上方，且另一个Activity未全完覆盖在此Activity上。一般而言，暂停的Activity处于完全活动状态(Activity对象保留在内存中，它保留了所有状态和成员信息，并与窗口管理器保持连接)。Activity处于停止状态是指该Activity被另一个Activity完全遮盖(该Activity目前位于“后台”)。已停止的Activity同样仍处于活动状态(Activity对象保留在内存中，它保留了所有状态和成员信息，但未与窗口管理器连接)。不过，处于停止状态下的Activity对用户不再可见，在其他地方需要内存时其可能会被系统终止。需要注意的是，如果Activity处于暂停或停止状态，系统可通过要求其结束或直接终止其进程，将其从内存中删除。在将其结束或终止后，再次打开Activity时，必须重建。因状态变化而收到的回调方法可能有若干种，每一种回调都会提供执行与该状态变化相应的特定操作的机会。例如，当Activity处于停止状态时，Activity需要释放大型对象，例如网络或数据库连接。当Activity处于继续状态时，可以重新获取所需资源，并恢复执行中断的操作。这些状态转变都是Activity生命周期的一部分。

本实施例中，目标程序有一个Activity用于绘制并显示播放窗口。在显示播放窗口的过程中，播放窗口对应的Activity根据Activity状态的变化，先后调用创建、开启和继续的回调方法。调用继续的回调方法后，播放窗口对应的Activity位于屏幕前台并具有屏幕焦点，或者说该播放窗口获得屏幕焦点。在中断源抢占了播放窗口的屏幕焦点后，播放窗口对应的Activity失去屏幕焦点。但由于中断源只对播放窗口部分遮挡，所以播放窗口仍对用户可见，即播放窗口对应的Activity处于暂停状态。此时，可以理解的是，针对的目标程序播放状态，可以认为是一个Activity承载了一个播放显示内容的视图。当中断源消失后，在视图层面的目标程序是无法自动获取屏幕焦点的，同时，目标程序为第三方应用程序，此时，无法修改目标程序以使其自动恢复屏幕焦点。因此，实施例中，通过调用另一个Activity绘制并显示新建窗口，该新建窗口覆盖于播放窗口上，则该新建窗口抢占了当前的屏幕焦点，此时，播放窗口被完全遮挡在新建窗口的下方，因此，其对应的Activity处于停止状态，即播放窗口处于后台运行状态。其中，新建窗口的具体类型实施例不作限定。

S130、关闭新建窗口，以恢复针对目标程序的批注跟随功能。

具体的，关闭新建窗口后，播放窗口对应的Activity重新回到前台，即播放窗口的视图重新显示在屏幕中。播放窗口确认重新显示在屏幕中时，会自动获得屏幕焦点。此时，批注程序可以根据屏幕焦点所在窗口的信息确定屏幕焦点回归到目标程序的播放窗口，进而可以重新识别播放窗口中的显示内容，并显示与显示内容相对应的批注内容，以恢复针对目标程序的批注跟随功能。

本实施例的技术方案，通过在确认中断源消失后，显示覆盖于播放窗口上的新建窗口，并关闭新建窗口，以恢复针对目标程序的批注跟随功能，解决目标程序焦点被抢占而导致的批注程序无法获取播放页面信息的问题，实现在存在中断源抢占屏幕焦点时，当中断源消失后，目标程序的批注跟随功能自动恢复的技术效果。

实施例二

图2为本发明实施例二提供的一种批注跟随显示方法的流程图。本实施例是在上述实施例一的基础上进行具体化。参考图2，本实施例提供的批注跟随显示方法具体包括：

S201、显示目标程序的播放窗口，屏幕焦点位于播放窗口上。

其中，播放窗口在目标程序启动且开启播放功能后进行显示，该播放窗口位于前台。在播放时，屏幕焦点自动位于播放窗口上，即播放窗口获取屏幕焦点。

本实施例以Android7.0及以上系统为例进行详细说明。每个Activity均应围绕用户可以执行的特定操作设计，并且能够启动其他Activity。这些Activity按照各自的打开顺序排列在堆栈(即返回栈)中。当前Activity启动另一个Activity时，新启动的Activity会被推送到堆栈顶部且自动获取屏幕焦点。此时，前一个Activity仍保留在堆栈中，但是处于停止状态或暂停状态。Activity停止时，系统会保持其用户界面的当前状态。用户关闭新启动的Activity时，新启动的Activity会从堆栈顶部弹出(Activity被销毁)，而前一个Activity恢复执行(恢复其UI的前一状态)。本实施例以Android为例，Activity存在4种启动模式：standard(默认)、singleTop、singleTask和SingleInstance，本实施例对此不作限定，此处以standard模式为例进行说明。在standard模式中，堆栈中的Activity永远不会重新排列，仅推入和弹出堆栈，且返回栈以“后进先出”对象结构运行。

具体的，在目标程序启动且开启播放功能后，目标程序创建一个Activity用于绘制并显示播放窗口。此时，播放窗口对应的Activity被推送到返回栈顶部，位于屏幕前台并具有屏幕焦点，或者说该播放窗口获得屏幕焦点。

S202、启动批注跟随功能，批注跟随功能通过播放窗口的视图节点信息实现。

一般的，视图节点信息用于表示图形用户界面中所有控件的信息。对于一个窗口，其视图节点信息至少包括以下一项：窗口识别号、窗口类型、窗口标题、控件识别号、控件类型和控件内容等。以目标程序为PPT为例，PPT的播放窗口是一个无标题栏的窗口，其上加载有显示视图，该显示视图用于显示显示内容。播放窗口的视图节点信息至少包括窗口识别号、显示视图识别号、显示视图显示内容。该显示视图显示内容可以是显示的具体内容或者是显示的页码，一般而言，显示内容以页码的形式进行区分，因此，实施例中设定显示视图显示内容为页码。

具体的，在确认目标程序启动且开启播放功能后，即显示播放窗口后，启动批注跟随功能，批注跟随功能由批注程序控制，批注跟随功能是在目标程序对显示内容进行更新时，批注也相应进行更新。目标程序的显示内容从播放窗口的视图节点信息中获取。

S203、确认未检测到生成中断源且播放窗口的显示内容被更换，继续执行S204；若检测到生成中断源，则执行S205。

具体的，批注程序通过屏幕焦点获取视图节点信息，从而根据该视图界面信息确定目标程序播放窗口的显示内容，进而实现批注跟随功能。一般而言，当未生成中断源时，视图节点信息为播放窗口的视图节点信息。当产生中断源后，视图节点信息为中断源的视图节点信息。可以理解的是，播放窗口的显示内容更换时，视图节点信息里仅是显示视图显示内容中的数据进行了更换，其他数据基本是不变的，而播放窗口的视图节点信息与中断源的视图节点信息明显不同，因此，当中断源产生后，可以认为视图节点信息被置新，进而确定屏幕焦点被抢占以及批注跟随功能被中断。

进一步的，通过视图节点信息确认当前是生成中断源还是播放窗口的显示内容被更换。进一步的，若检测到生成中断源则执行S205-S208，以便使得播放窗口重新获取屏幕焦点，并S208后返回执行S203，以继续实现视图节点信息的检测。若确认未检测到生成中断源且播放窗口的显示内容被更换，则继续执行S204，以便实现批注跟随功能。

S204、控制批注跟随显示内容的更换而同步更换。

具体的，在播放窗口的显示内容被更换后，批注程序获取与显示内容对应的批注，并对该批注进行显示。

S205、检测到生成中断源。

具体的，在批注程序对播放窗口的显示内容进行识别的过程中，若确定视图节点信息被置新，则确定视图节点信息为中断源的视图节点信息，而不是播放窗口的视图节点信息。本实施例对检测视图节点信息被置新的方式不作限定，例如，根据该视图节点信息中全部信息均发生改变，或者是，设定内容的信息发生改变，则确定视图节点信息被置新。

具体的，检测到生成中断源包括：

检测到弹出显示框，并将显示框确认为中断源；或，

检测到生成默认输入框，并将输入框确认为中断源。

其中，弹出显示框和默认输入框可以作为中断源抢占位于播放窗上的屏幕焦点，一般而言，无论是显示框还是默认输入框，其均无法完全覆盖播放窗口，因此，当屏幕焦点位于显示框或默认输入框时，视图节点信息会发生很大的变化。因此，通过获取处于屏幕焦点的窗口的视图节点信息，确定生成弹出显示框或默认输入框，从而确定检测到生成中断源。其中，显示框和默认输入框对应的视图节点信息所包含的数据类型可以相同或不同，实施例不作限定。

S206、确认中断源消失，中断源用于抢占位于播放窗口上的屏幕焦点，屏幕焦点被抢占后针对播放窗口所属目标程序的批注跟随功能被中断。

S207、显示新建窗口，新建窗口覆盖于播放窗口上，新建窗口和播放窗口对应于不同的Activity。

本实施例中，显示新建窗口时，还包括：控制新建窗口的Activity启动入栈，以将播放窗口切换至后台，新建窗口的Activity位于播放窗口的Activity的前面。此时，新建窗口将播放窗口完全覆盖，以实现播放窗口切换至后台。

其中，栈为返回栈。

具体的，在中断源抢占了播放窗口的屏幕焦点后，播放窗口对应的Activity处于暂停状态。中断源获得屏幕焦点后，中断源对应的Activity位于返回栈的栈顶。当中断源消失后，系统将中断源对应的Activity从返回栈弹出。此时，通过调用另一个Activity绘制并显示新建窗口，该新建窗口覆盖于播放窗口上，则该新建窗口抢占了播放窗口的屏幕焦点，此时新建窗口对应的Activity位于返回栈的栈顶，播放窗口对应的Activity处于停止状态。

S208、关闭新建窗口，以恢复针对目标程序的批注跟随功能。

本实施例，关闭新建窗口时，还包括：在栈中删除新建窗口的Activity，以将播放窗口切换至前台。其中，栈为返回栈。

具体的，当播放窗口被部分遮挡(中断源)的情况下，变化的只是视图层面的屏幕焦点，在中断源消失的情况下，视图层面的屏幕焦点无法恢复。而通过新建窗口覆盖在播放窗口上后关闭新建窗口，变化的是窗口的屏幕焦点，即关闭新建窗口后，新建窗口对应的Activity从返回栈中被弹出，即栈中删除新建窗口的Activity，播放窗口对应的Activity位于返回栈的栈顶，同时，播放窗口会重新显示在屏幕中，即播放窗口切换到前台，此时，播放窗口可以自动重新获取屏幕焦点，进而批注程序可以根据视图节点信息恢复批注跟随功能。

本实施对显示新建窗口和关闭新建窗口的时间间隔不作限定，优选的，在显示新建窗口后立即关闭新建窗口有利于加快播放窗口重新获得屏幕焦点的速度。具体的时间间隔根据实际应用情况进行设定。

本实施例的技术方案，通过在显示目标程序的播放窗口后，启动批注跟随功能，具体的，在确认未检测到生成中断源且播放窗口的显示内容被更换后，控制批注跟随显示内容的更换而同步更换，实现批注跟随功能；另外，在确认中断源消失后，显示覆盖于播放窗口上的新建窗口，并关闭新建窗口，以恢复针对目标程序的批注跟随功能，解决目标程序焦点被抢占而导致的批注程序无法获取播放页面信息的问题，在实现目标程序的批注跟随功能时增加中断源的判断，使得批注跟随功能恢复具有自动和及时的技术效果。

在上述技术方案的基础上，新建窗口为透明窗口。

其中，透明窗口是指新建窗口透明，从用户视角而言，该透明窗口不可见，此时，用户无法明确感知显示新建窗口且播放窗口切换至后台的操作，即从用户视角而言，播放窗口始终显示在屏幕中，这样可以提升用户的使用体验，在用户不感知的情况时，实现屏幕焦点的自动恢复。

在上述技术方案的基础上，新建窗口为全屏显示窗口。由于部分操作系统支持多窗口模式，而且对于配备有大屏幕的交互智能平板，多窗口模式带来更好的用户体验，特别是对于诸如目标程序之类的应用。由于多窗口模式的支持，目标程序的播放窗口不一定是全屏显示，只有通过将新建窗口设置为全屏显示窗口才能够保证新建窗口覆盖在播放窗口之上，以便新建窗口抢占播放窗口的屏幕焦点，从而提高通过新建窗口恢复播放窗口屏幕焦点的可靠性和准备率。

实施例三

图3为本发明实施例三提供的一种批注跟随显示方法的流程图。本实施例是在上述实施例的基础上进行具体化。参考图3，本实施例提供的批注跟随显示方法具体包括：

S301、显示目标程序的播放窗口，屏幕焦点位于播放窗口上。

S302、启动批注跟随功能，批注跟随功能通过播放窗口的视图节点信息实现。

S303、实时获取视图节点信息。

其中，视图节点信息用于表示图形用户界面中所有控件的信息。对于一个窗口，其视图节点信息至少包括以下一项：窗口识别号、窗口类型、窗口标题、控件识别号、控件类型和控件内容等。以目标程序的播放窗口为例，播放窗口是一个无标题栏的窗口，其上加载有显示视图，该显示视图用于显示显示内容。播放窗口的视图节点信息至少包括窗口识别号、显示视图识别号、显示视图显示内容。

本实施例中，视图节点信息为屏幕焦点所在窗口的节点信息。通过实时获取视图节点信息，可以获得当前获得屏幕焦点的窗口的所有信息，从而判断批注程序、目标程序或其他安装在交互智能平板中的程序的运行状态。

S304、确认视图节点信息发生变化且未被置新，并继续执行S305；若检测到视图节点信息被置新，则执行S307。

其中，视图节点信息发生变化至少有以下两种情况：一方面，播放窗口获取屏幕焦点，播放窗口中的显示内容发生变化；另一方面，播放窗口的屏幕焦点被抢占，对应视图节点信息被置新的情况。

具体的，播放窗口中的显示内容发生变化，可以通过判断播放窗口的视图节点信息中的显示视图显示内容的变化进行确认。

进一步的，置新是检测生成中断源的关键，用于判断播放窗口的屏幕焦点被抢占。具体的，置新为实时获取的视图节点信息不包括播放窗口的视图节点信息。示例性的，可以通过判断视图节点信息不包括播放窗口的识别号或播放窗口的标题等，确定视图节点信息被置新。当检测到视图节点信息被置新，则需要进一步执行S307-S310，对播放窗口的屏幕焦点进行恢复，从而恢复批注跟随功能。若确认视图节点信息发生变化且未被置新，则继续执行S305-S306的步骤，以便实现批注跟随功能。

S305、获取批注内容，批注内容对应于变化后的视图节点信息。执行S306。

具体的，当播放窗口获取屏幕焦点时，获取的视图节点信息为播放窗口的视图节点信息，该视图节点信息至少包括显示视图显示内容，从显示视图显示内容可以获取当前播放窗口的显示内容。通过确定显示内容，即可相应的确定批注内容。示例性的，可以在批注程序中设置有批注内容与显示内容一一对应的关系。

S306、显示批注内容，并删除其他已显示的批注内容。

具体的，在获取批注内容后，对批注内容进行显示。本实施例对批注内容的显示方式不作限定，可以是显示在显示内容上，也可以是显示在边栏。

可选的，在显示批注内容时，批注程序通过调用一个Activity管理一个批注窗口，批注窗口用于显示批注内容。具体的，在显示内容发生变化时，显示显示内容对应的批注内容，并删除其他已显示的批注内容。

进一步的，根据批注内容的显示方式的不同，将批注窗口设置于不同的位置。示例性的，批注内容的显示方式为显示在显示内容上，则将该批注窗口覆盖在播放窗口上。

可选的，将批注窗口设置为不可获取屏幕焦点，以防止批注窗口抢占播放窗口的屏幕焦点。

S307、检测到视图节点信息被置新时，确定生成中断源，视图节点信息为屏幕焦点所在窗口的节点信息。执行S308。

需要注意的是，在S304中即可确定视图节点信息是否被置新，即将S307嵌入S304中进行，可减少判断次数，加快响应速度。本实施例中将其分为两个步骤进行解释说明，只是为了说明清楚。另外，在S304后，再一次执行S307也是允许的。

S308、检测到视图节点信息为空时，确认中断源消失。执行S309。

其中，确认中断源消失可以通过检测到视图节点信息为空进行确定。

具体的，当中断源消失后，不存在屏幕焦点，或者说系统无法确定屏幕焦点落在哪个窗口，从而使得实时获取的视图节点信息为空。反过来，可以通过检测到视图节点信息为空，确定中断源消失。

S309、显示新建窗口，新建窗口覆盖于播放窗口上，新建窗口和播放窗口对应于不同的Activity。执行S310。

S310、关闭新建窗口，以恢复针对目标程序的批注跟随功能。

本实施例的技术方案，通过在显示目标程序的播放窗口后，启动批注跟随功能，具体的，实时获取视图节点信息，在确认视图节点信息发生变化且未被置新后，获取并显示与显示内容对应的批注内容，并删除其他已显示的批注内容，以实现批注跟随功能；另外，在确认中断源消失后，显示覆盖于播放窗口上的新建窗口，并关闭新建窗口，以恢复针对目标程序的批注跟随功能，解决目标程序焦点被抢占而导致的批注程序无法获取播放页面信息的问题，在实现目标程序时通过视图节点信息分析得到中断源的情况和播放窗口内容的变化，使得批注跟随功能在播放窗口内容变化时，批注相应变化，且在出现中断源自动恢复批注跟随功能，具有自动、及时和增强用户体验的技术效果。

实施例四

图4为本发明实施例四提供的一种批注跟随显示装置的结构示意图。本实施例提供的批注跟随显示装置可以集成在批注跟随显示设备中，该批注显示设备可以是两个或多个物理实体构成，也可以是一个物理实体构成，该批注跟随显示设备可以是电脑、手机、平板、投影仪或交互智能平板等。参考图4，本实施例提供的批注跟随显示装置具体包括：中断源消失确认模块410、新建窗口显示模块420和新建窗口关闭模块430。

其中，中断源消失确认模块410，用于确认中断源消失，中断源用于抢占位于播放窗口上的屏幕焦点，屏幕焦点被抢占后针对播放窗口所属目标程序的批注跟随功能被中断；新建窗口显示模块420，用于显示新建窗口，新建窗口覆盖于播放窗口上，新建窗口和播放窗口对应于不同的Activity；新建窗口关闭模块430，用于关闭新建窗口，以恢复针对目标程序的批注跟随功能。

本实施例提供的技术方案，通过在确认中断源消失后，显示覆盖于播放窗口上的新建窗口，并关闭新建窗口，以恢复针对目标程序的批注跟随功能，解决目标程序焦点被抢占而导致的批注程序无法获取播放页面信息的问题，实现目标程序的批注跟随功能自动恢复的技术效果。

在上述实施例的基础上，批注跟随显示装置还包括：

中断源检测模块，用于检测到生成中断源。

在上述实施例的基础上，中断源检测模块包括：

弹出显示框检测单元，用于检测到弹出显示框，并将显示框确认为中断源；默认输入框检测单元，用于检测到生成默认输入框，并将输入框确认为中断源。

在上述实施例的基础上，中断源检测模块包括：

置新检测单元，用于检测到视图节点信息被置新时，确定生成中断源，视图节点信息为屏幕焦点所在窗口的节点信息。

在上述实施例的基础上，中断源消失确认模块410包括：

中断源消失检测单元，用于检测到视图节点信息为空时，确认中断源消失。

在上述实施例的基础上，批注跟随显示装置还包括：

播放窗口显示模块，用于显示目标程序的播放窗口，屏幕焦点位于播放窗口上；

批注跟随启动模块，用于启动批注跟随功能，批注跟随功能通过播放窗口的视图节点信息实现。

在上述实施例的基础上，批注跟随显示装置还包括：

显示内容检测模块，用于确认未检测到生成中断源且播放窗口的显示内容被更换；

批注更换模块，用于控制批注跟随显示内容的更换而同步更换。

在上述实施例的基础上，显示内容检测模块包括：

视图节点信息获取单元，用于实时获取视图节点信息；

视图节点信息分析单元，用于确认视图节点信息发生变化且未被置新；

批注更换模块包括：

批注获取单元，用于获取批注内容，批注内容对应于变化后的视图节点信息；

批注显示单元，用于显示批注内容，并删除其他已显示的批注内容。

在上述实施例的基础上，新建窗口为透明窗口。

在上述实施例的基础上，新建窗口为全屏显示窗口。

在上述实施例的基础上，新建窗口显示模块420还包括：

新建窗口Activity入栈单元，用于控制新建窗口的Activity启动入栈，以将播放窗口切换至后台，新建窗口的Activity位于播放窗口的Activity的前面；

新建窗口关闭模块430还包括：

新建窗口Activity出栈单元，用于在栈中删除新建窗口的Activity，以将播放窗口切换至前台。

上述产品可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。

实施例五

图5为本发明实施例五提供的一种批注跟随显示设备的结构示意图。如图5所示，该批注跟随显示设备包括：处理器50、存储器51、具有触摸功能的显示屏52、输入装置53、输出装置54以及通信装置55。该批注跟随显示设备中处理器50的数量可以是一个或者多个，图5中以一个处理器50为例。该批注跟随显示设备中存储器51的数量可以是一个或者多个，图5中以一个存储器51为例。该批注跟随显示设备的处理器50、存储器51、显示屏52、输入装置53、输出装置54以及通信装置55可以通过总线或者其他方式连接，图5中以通过总线连接为例。实施例中，批注跟随显示设备可以是电脑，手机，平板，投影仪或交互智能平板等。实施例中，以批注跟随显示设备为交互智能平板为例，进行描述。

存储器51作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明任意实施例所述的批注跟随显示方法对应的程序指令/模块(例如，中断源消失确认模块410、新建窗口显示模块420和新建窗口关闭模块430)。存储器51可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器51可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器51可进一步包括相对于处理器50远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

显示屏52为具有触摸功能的显示屏52，其可以是电容屏、电磁屏或者红外屏。一般而言，显示屏52用于根据处理器50的指示显示数据，还用于接收作用于显示屏52的触摸操作，并将相应的信号发送至处理器50或其他装置。可选的，当显示屏52为红外屏时，其还包括红外触摸框，该红外触摸框设置在显示屏52的四周，其还可以用于接收红外信号，并将该红外信号发送至处理器50或者其他设备。

通信装置55，用于与其他设备建立通信连接，其可以是有线通信装置和/或无线通信装置。

输入装置53可用于接收输入的数字或者字符信息，以及产生与批注跟随显示设备的用户设置以及功能控制有关的键信号输入，还可以是用于获取图像的摄像头以及获取音频数据的拾音设备。输出装置54可以包括扬声器等音频设备。需要说明的是，输入装置53和输出装置54的具体组成可以根据实际情况设定。

处理器50通过运行存储在存储器51中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的批注跟随显示方法。

上述提供的批注跟随显示设备可用于执行上述任意实施例提供的批注跟随显示方法，具备相应的功能和有益效果。

实施例六

本发明实施例六还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种批注跟随显示方法，包括：

确认中断源消失，中断源用于抢占位于播放窗口上的屏幕焦点，屏幕焦点被抢占后针对播放窗口所属目标程序的批注跟随功能被中断；

显示新建窗口，新建窗口覆盖于播放窗口上，新建窗口和播放窗口对应于不同的Activity；

关闭新建窗口，以恢复针对目标程序的批注跟随功能。

当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的批注跟随显示方法操作,还可以执行本发明任意实施例所提供的批注跟随显示方法中的相关操作，且具备相应的功能和有益效果。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是机器人，个人计算机，服务器，或者网络设备等)执行本发明任意实施例所述的批注跟随显示方法。

值得注意的是，上述批注跟随显示装置中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (14)

1.一种批注跟随显示方法，其特征在于，包括：

确认中断源消失，所述中断源用于抢占位于播放窗口上的屏幕焦点，所述屏幕焦点被抢占后针对所述播放窗口所属目标程序的批注跟随功能被中断；

显示新建窗口，所述新建窗口覆盖于所述播放窗口上，所述新建窗口和所述播放窗口对应于不同的Activity，包括：当前的Activity启动新建窗口的Activity时，新建窗口的Activity会被推送到返回栈顶部且自动获取屏幕焦点；

关闭所述新建窗口，以恢复针对所述目标程序的批注跟随功能，播放窗口自动获得屏幕焦点。

2.根据权利要求1所述的批注跟随显示方法，其特征在于，所述确认中断源消失之前，还包括：

检测到生成中断源。

3.根据权利要求2所述的批注跟随显示方法，其特征在于，所述检测到生成中断源包括：

检测到弹出显示框，并将所述显示框确认为中断源；或，

检测到生成默认输入框，并将所述输入框确认为中断源。

4.根据权利要求2或3所述的批注跟随显示方法，其特征在于，所述检测到生成中断源包括：

检测到视图节点信息被置新时，确定生成中断源，所述视图节点信息为屏幕焦点所在窗口的节点信息。

5.根据权利要求1所述的批注跟随显示方法，其特征在于，所述确认中断源消失包括：

检测到视图节点信息为空时，确认中断源消失。

6.根据权利要求2所述的批注跟随显示方法，其特征在于，所述检测到生成中断源之前，还包括：

显示目标程序的播放窗口，屏幕焦点位于所述播放窗口上；

启动批注跟随功能，所述批注跟随功能通过播放窗口的视图节点信息实现。

7.根据权利要求6所述的批注跟随显示方法，其特征在于，所述启动批注跟随功能之后，还包括：

确认未检测到生成中断源且所述播放窗口的显示内容被更换；

控制批注跟随所述显示内容的更换而同步更换。

8.根据权利要求7所述的批注跟随显示方法，其特征在于，所述确认未检测到生成中断源且所述播放窗口的显示内容被更换包括：

实时获取视图节点信息；

确认所述视图节点信息发生变化且未被置新；

所述控制批注跟随所述显示内容的更换而同步更换包括：

获取批注内容，所述批注内容对应于变化后的所述视图节点信息；

显示所述批注内容，并删除其他已显示的批注内容。

9.根据权利要求1所述的批注跟随显示方法，其特征在于，所述新建窗口为透明窗口。

10.根据权利要求1或9所述的批注跟随显示方法，其特征在于，所述新建窗口为全屏显示窗口。

11.根据权利要求1所述的批注跟随显示方法，其特征在于，所述显示新建窗口时，还包括：

控制所述新建窗口的Activity启动入栈，以将所述播放窗口切换至后台，所述新建窗口的Activity位于所述播放窗口的Activity的前面；

所述关闭所述新建窗口时，还包括：

在栈中删除所述新建窗口的Activity，以将所述播放窗口切换至前台。

12.一种批注跟随显示装置，其特征在于，包括：

中断源消失确认模块，用于确认中断源消失，所述中断源用于抢占位于播放窗口上的屏幕焦点，所述屏幕焦点被抢占后针对所述播放窗口所属目标程序的批注跟随功能被中断；

新建窗口显示模块，用于显示新建窗口，所述新建窗口覆盖于所述播放窗口上，所述新建窗口和所述播放窗口对应于不同的Activity包括：当前的Activity启动新建窗口的Activity时，新建窗口的Activity会被推送到返回栈顶部且自动获取屏幕焦点；

新建窗口关闭模块，用于关闭所述新建窗口，以恢复针对所述目标程序的批注跟随功能，播放窗口自动获得屏幕焦点。

13.一种批注跟随显示设备，其特征在于，所述设备包括：存储器、显示屏以及一个或多个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-11中任一所述的批注跟随显示方法。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-11中任一所述的批注跟随显示方法。

Images