CN112748968A - 辅助操作方法、装置、设备及存储介质 - Google Patents

Abstract

公开了一种针对运行在电子设备中的应用程序的辅助操作方法、装置、设备及存储介质。接收设备发送的图像，图像用于表征安装在设备中的至少一个应用程序的应用内容；对图像进行识别，以得到应用内容；以及向设备发送与应用内容对应的第一语音数据。由此，可以使得视弱人群或老人等特殊用户很方便地感知到应用内容，从而为这类特殊用户操控应用程序提供了帮助。

Description

辅助操作方法、装置、设备及存储介质

技术领域

本公开涉及互联网领域，特别是涉及一种针对运行在电子设备中的应用程序的辅助操作方法、装置、设备及存储介质。

背景技术

随着手机、平板等电子设备的普及与发展，应用开发商开发的应用程序(APP)也层出不穷。用户通过操作设备上运行的应用程序，就可以实现特定的功能。例如，用户通过操作购物类应用程序，就可以在线购物；用户通过操作阅读类应用程序，就可以在线观看新闻、浏览资讯。可见，应用程序极大丰富了人们的生活。

但是，现有的应用程序一般需要用户针对应用程序界面中的特定界面元素执行特定操作(如点击、长按)，才能实现特定功能。视弱人群以及不知道如何操作应用程序的老人，并不能很好地操控应用程序。

因此，需要一种能够帮助视弱人群或老人操控应用程序的方案。

发明内容

本公开的一个目的在于提供一种能够帮助视弱人群或老人操控应用程序的辅助操作方案。

根据本公开的第一个方面，提出了一种辅助操作方法，包括：接收设备发送的图像，图像用于表征安装在设备中的至少一个应用程序的应用内容；对图像进行识别，以得到应用内容；以及向设备发送与应用内容对应的第一语音数据。

可选地，应用内容包括一个或多个应用事件，第一语音数据为用于描述应用事件的语音数据，或者应用内容为应用程序提供的服务信息，第一语音数据为服务信息的语音播报数据。

可选地，图像为应用程序中的至少部分应用界面的图像，该方法还包括：针对应用程序制定应用处理规则，应用处理规则包括应用程序中一个或多个应用界面的识别规则，识别规则用于表征应用界面中需要识别的元素和/或区域的识别标准。

可选地，对图像进行识别以得到应用内容的步骤包括：确定图像所针对的应用界面；根据确定的应用界面所对应的识别规则，对图像进行识别，以得到图像中的应用内容。

可选地，该方法还包括：接收设备发送的第二语音数据；对第二语音数据进行识别；根据识别结果，向设备发送用于执行预定操作的指令。

根据本公开的第二个方面，还提出了一种辅助操作方法，包括：向服务器发送图像，图像用于表征安装在设备中的至少一个应用程序的应用内容；接收服务器发送的与应用内容对应的第一语音数据；以及输出第一语音数据。

可选地，应用内容包括一个或多个应用事件，第一语音数据为用于描述应用事件的语音数据，或者应用内容为应用程序提供的服务信息，第一语音数据为服务信息的语音播报数据。

可选地，该方法还包括：向服务器发送第二语音数据；接收服务器发送的用于执行预定操作的指令；基于指令执行预定操作。

根据本公开的第三个方面，还提出了一种辅助操作方法，包括：接收设备发送的图像，图像用于表征安装在设备中的至少一个应用程序的应用内容；对图像进行识别，以得到应用内容；以及向设备发送与应用内容对应的第一文本信息。

可选地，应用内容包括一个或多个应用事件，第一文本信息为用于描述应用事件的文本信息，或者应用内容为应用程序提供的服务信息，第一文本信息为与服务信息对应的文本信息。

根据本公开的第四个方面，还提出了一种辅助操作方法，包括：向服务器发送图像，图像用于表征安装在设备中的至少一个应用程序的应用内容；接收服务器发送的与应用内容对应的第一文本信息；以及通过语音播报的形式输出第一文本信息。

根据本公开的第五个方面，还提出了一种辅助操作方法，包括：获取图像，图像用于表征安装在设备中的至少一个应用程序的应用内容；对图像进行识别，以得到应用内容；以及输出与应用内容对应的第一语音数据。

根据本公开的第六个方面，还提出了一种辅助操作方法，适于第一设备执行，该方法包括：向第二设备发送图像，图像用于表征安装在第一设备中的至少一个应用程序的应用内容；接收第二设备发送的针对应用内容的处理策略；以及执行与所述处理策略对应的操作。

根据本公开的第七个方面，还提出了一种辅助操作方法，适于第二设备执行，该方法包括：接收第一设备发送的图像，图像用于表征安装在第一设备中的至少一个应用程序的应用内容；获取针对应用内容的处理策略；以及向第一设备发送处理策略。

根据本公开的第八个方面，还提出了一种辅助操作装置，包括：接收模块，用于接收设备发送的图像，图像用于表征安装在设备中的至少一个应用程序的应用内容；识别模块，用于对图像进行识别，以得到应用内容；发送模块，用于向设备发送与应用内容对应的第一语音数据。

根据本公开的第九个方面，还提出了一种辅助操作装置，包括：发送模块，用于向服务器发送图像，图像用于表征安装在设备中的至少一个应用程序的应用内容；接收模块，用于接收服务器发送的与应用内容对应的第一语音数据；以及输出模块，用于输出第一语音数据。

根据本公开的第十个方面，还提出了一种辅助操作装置，包括：接收模块，用于接收设备发送的图像，图像用于表征安装在设备中的至少一个应用程序的应用内容；识别模块，用于对图像进行识别，以得到应用内容；发送模块，用于向设备发送与应用内容对应的第一文本信息。

根据本公开的第十一个方面，还提出了一种辅助操作装置，包括：发送模块，向服务器发送图像，图像用于表征安装在设备中的至少一个应用程序的应用内容；接收模块，用于接收服务器发送的与应用内容对应的第一文本信息；以及输出模块，用于通过语音播报的形式输出第一文本信息。

根据本公开的第十二个方面，还提出了一种辅助操作装置，包括：获取模块，用于获取图像，图像用于表征安装在设备中的至少一个应用程序的应用内容；识别模块，用于对图像进行识别，以得到应用内容；输出模块，用于输出与应用内容对应的第一语音数据。

根据本公开的第十三个方面，还提出了一种辅助操作装置，包括：发送模块，用于向第二设备发送图像，图像用于表征安装在第一设备中的至少一个应用程序的应用内容；接收模块，用于接收第二设备发送的针对应用内容的处理策略；以及处理模块，用于执行与所述处理策略对应的操作。

根据本公开的第十四个方面，还提出了一种辅助操作装置，包括：接收模块，用于接收第一设备发送的图像，图像用于表征安装在第一设备中的至少一个应用程序的应用内容；获取模块，用于获取针对应用内容的处理策略；以及发送模块，用于向第一设备发送处理策略。

根据本公开的第十五个方面，还提出了一种计算设备，包括：处理器；以及存储器，其上存储有可执行代码，当可执行代码被处理器执行时，使处理器执行如本公开第一个方面至第七个方面中任一个方面述及的方法。

根据本公开的第十六个方面，还提出了一种非暂时性机器可读存储介质，其上存储有可执行代码，当可执行代码被电子设备的处理器执行时，使处理器执行如本公开第一个方面至第七个方面中任一个方面述及的方法。

本公开通过对应用程序的应用内容进行识别，然后以语音播报的形式通知用户，使得视弱人群或老人等特殊用户能够很方便地感知到应用内容，从而为这类特殊用户操控应用程序提供了帮助。

附图说明

通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。

图1示出了根据本公开一实施例的辅助操作系统的功能框图。

图2示出了根据本公开一实施例的辅助操作方法的示意性流程图。

图3示出了本公开应用于社交APP时的流程图。

图4示出了根据本公开另一实施例的辅助操作方法的示意性流程图。

图5示出了根据本公开一实施例的辅助操作装置的结构示意图。

图6示出了根据本公开另一实施例的辅助操作装置的结构示意图。

图7示出了根据本公开另一实施例的辅助操作装置的结构示意图。

图8示出了根据本公开另一实施例的辅助操作装置的结构示意图。

图9示出了根据本公开另一实施例的辅助操作装置的结构示意图。

图10示出了根据本公开一实施例的计算设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

为了使得视弱人群或老人能够方便地操控应用程序，本公开提出，可以对应用程序的应用内容进行识别，然后以语音播报的形式通知用户，从而使得用户能够方便地感知到应用内容。

进一步地，本公开提出，在用户在感知到应用内容后，还可以接收用户的语音指令，并根据用户的语音指令执行相应的操作，也即可以将用户的语音指令转换为针对应用程序的操作，使得用户无需再手动执行，也无需再关注应用程序的操作逻辑。

下面将参照图1至图3来具体地描述本公开的实施例。图1是示出了根据本公开一实施例的辅助操作系统的功能框图。

如图1所示，辅助操作系统可以包括至少一个服务器20以及至少一个设备(图中示出的10_1、10_2……10_M)。其中，M为大于或等于1的自然数。本公开述及的设备可以是但不限于智能电话、平板电脑、智能手表、智能手环等便携式电子设备。

设备可以经由网络40实现与服务器20的信息收发。另外，不同设备之间也可以经由网络彼此通信。

网络40可以是广义上的用于信息传递的网络，可以包括一个或多个通信网络，诸如无线通信网络、因特网、私域网、局域网、城域网、广域网或是蜂窝数据网络等。应当注意，如果向图1示出的环境中添加附加模块或从其中去除个别模块，不会改变本公开的示例实施例的底层概念。

服务器20可以是但不限于本地服务器、边缘服务器、云端服务器。其中本地服务器可以是但不限于小区服务器、家庭服务器，另外本地服务器还可以是本地具有处理能力的其他终端设备。

下面结合图2就服务器和设备可以执行的操作做进一步说明。

图2是示出了根据本公开一实施例的辅助操作方法的示意性流程图。

参见图2，在步骤S110，可以由设备向服务器发送图像。

此处述及的图像是指用于表征安装在设备中的至少一个应用程序(APP)的应用内容的图像。应用内容是指与应用程序相关的需要用户操作或者是需要通知给用户的内容。例如，应用内容可以是应用程序更新、未读消息、未接来电等需要用户处理的应用事件。再例如，应用内容也可以是应用程序提供给用户的服务信息，以阅读类应用为例，应用内容可以是指应用程序提供的文章、小说、资讯等文本信息，以天气预报预测应用为例，应用内容可以是指预测的天气状况信息。

一般来说，应用内容是显示在应用程序的应用界面内的。因此，本公开述及的图像可以是指应用程序中的至少部分应用界面的图像。应用界面也即软件界面，是指软件(也即应用程序)中面向操作者而专门设计的用于操作使用及反馈信息的指令部分。在本公开中，应用界面主要是指应用程序运行过程中显示在设备的屏幕上的可视化部分。

在某些情况下，应用内容也可能显示在应用界面之外。以安装在手机中的应用程序为例，在应用程序未启动或者屏幕显示的是手机桌面的情况下，应用程序中的待处理事件(如未读消息)的数量会以红色数字的形式显示在桌面中该应用程序的图标中特定位置。因此在这种情况下，图像可以是指应用程序的图标(包含显示在图标上的数字)。

在本公开中，可以通过多种方式获取用于表征安装在设备中的至少一个应用程序的应用内容的图像。例如，可以对屏幕进行截图，将得到的截图作为图像。

在步骤S210，可以由服务器对图像进行识别。

服务器在接收到设备发送的图像后，可以对图像进行识别，以识别出图像中的应用内容。其中，服务器可以利用多种方式对图像进行识别。

作为本公开的一个示例，服务器可以制定多个应用处理规则，不同的应用处理规则对应不同的识别场景。服务器在接收到设备发送的图像后，可以首先确定图像所对应的识别场景，然后根据与该识别场景对应的应用处理规则，对图像进行识别，以得到图像中的应用内容。其中，应用处理规则可以用于表征应用内容的识别标准。

举例来说，可以将不同的应用程序视为不同的识别场景，服务器可以以应用程序为单位，针对不同的应用程序制定不同的应用处理规则，应用处理规则定义了针对该应用程序的图像的处理策略。一般来说，应用程序中可能包括多个应用界面，因此服务器在制定应用程序的应用处理规则时，可以以应用界面为单位，针对应用界面制定识别规则，识别规则用于表征应用界面中需要识别的元素和/或区域的识别标准。也即，应用处理规则可以包括应用程序中一个或多个应用界面的识别规则。服务器在接收到设备发送的图像后，可以首先确定图像所针对的应用界面，然后根据确定的应用界面所对应的识别规则，对图像进行识别，以得到图像中的应用内容。

再举例来说，如上文所述，图像还可以是指应用程序的图标，因此服务器还可以为图标识别场景制定一处理规则，在接收到的图像为包括桌面中一个或多个应用程序图标的图像时，可以基于该处理规则进行处理。其中，该处理规则可以定义需要识别出图像中应用程序图标所对应的应用程序和/或应用程序图标中的数字，数字用于表征应用程序中需要处理的事项个数。服务器在接收到设备发送的图像后，发现该图像包括一个或多个应用程序图标的情况下，可以基于该处理规则识别出图像中应用程序图标所对应的应用程序和/或应用程序图标中的数字。

另外，还可以通过其他多种方式对图像进行识别，例如还可以训练用于识别图像中的应用内容的机器学习模型，利用机器学习模型来识别图像中的应用内容。

在步骤S220，可以由服务器向设备发送第一语音数据或第一文本信息。

服务器在执行步骤S210得到应用内容后，可以向设备发送与应用内容对应的第一语音数据，由设备执行步骤S120，输出第一语音数据。第一语音数据可以是指用于使得用户感知应用内容的语音数据。其中，根据应用内容的具体类型不同，第一语音数据的具体内容也不尽相同。

作为本公开的一个示例，在应用内容包括一个或多个应用事件的情况下，第一语音数据可以是用于描述应用事件的语音数据。举例来说，在应用内容为一个或多个未读消息的情况下，第一语音数据可以是“您有XX条消息，分别来自XXX，XXX，XXXX，是否打开”的语音数据。

作为本公开的另一个示例，在应用内容为应用程序提供的服务信息的情况下，第一语音数据可以是服务信息的语音播报数据。举例来说，在应用内容为小说章节、新闻资讯、天气预报信息等服务信息的情况下，第一语音数据可以是指这类服务信息的语音播报数据，以应用内容是天气预报信息为例，第一语音数据可以是“今天天气多云，轻度污染，最高温度3度°，最低温度22度”的语音播报数据。

服务器在执行步骤S210得到应用内容后，也可以向备发送与应用内容对应的第一文本信息，然后由设备执行步骤S120，通过语音播报的形式输出第一文本信息。换言之，可以由设备根据接收到的第一文本信息，合成语音数据，输出给用户。其中，根据应用内容的具体类型不同，第一文本信息的具体内容也不尽相同。

作为本公开的一个示例，在应用内容包括一个或多个应用事件的情况下，第一文本信息可以是用于描述应用事件的文本信息。举例来说，在应用内容为一个或多个未读消息的情况下，第一文本信息可以是“您有XX条消息，分别来自XXX，XXX，XXXX，是否打开”这一文本信息。

作为本公开的另一个示例，在应用内容为应用程序提供的服务信息的情况下，第一文本信息可以是与服务信息对应的文本信息。举例来说，在应用内容为小说章节、新闻资讯、天气预报信息等服务信息的情况下，第一文本信息可以是指这类服务信息的文本化表达，以应用内容是天气预报信息为例，第一文本信息可以是“今天天气多云，轻度污染，最高温度36度，最低温度22度”这一文本内容。

设备在执行完步骤S120后，用户就可以感知到应用内容。用户在感知到应用内容后，可以发出语音指令(即第二语音数据)，设备在接收到第二语音数据后，可以执行步骤S130，向服务器发送第二语音数据。

在步骤S230，可以由服务器对第二语音数据进行识别。服务器可以利用语音识别技术对第二语音数据的语义进行识别。具体识别过程不再赘述。

服务器在对第二语音数据进行识别后，可以执行步骤S240，向设备发送用于执行预定操作的指令。

此处述及的指令与第二语音数据相对应。例如，第二语音数据可以是用户发出的期望对应用程序执行特定操作的语音指令，服务器在对第二语音数据进行识别，确定第二语音数据的语音指令后，可以向设备发送用于指令设备执行相应操作的指令。

设备在接收到服务器发送的指令后，可以执行步骤S140，执行预定操作。其中，服务器发送的指令可以是针对安装在设备中的应用程序的指令，也可以是与设备的系统设置相关的指令，如可以是声音调节指令。

图3示出了本公开应用于社交APP时的流程图。

参见图3，在步骤S310，首先可以打开手机，点击进入社交APP。

在步骤S321，可以判断手机是否Root或越狱。

在判定手机Root或越狱的情况下，可以执行步骤S341至步骤S391的辅助操作流程。

在判定手机未Root以及未越狱的情况下，可以执行步骤S323，申请权限，如可以申请最高管理员权限。然后执行步骤S331，判断是否申请成功，如果申请成功则可以执行步骤S341至步骤S391的辅助操作流程，如果申请失败则可以结束流程。

辅助操作流程如下。

在步骤S341，获取手机屏幕截图同步至云端。此处述及的云端也即上文述及的服务器。

在步骤S351，可以由云端识别图片中未读消息数量。具体的识别过程此处不再赘述，。

在步骤S361，可以由手机语音播放未读消息情况。例如可以语音播报：“您有20条消息，来自XXX，XXX，是否打开”这一语音信息。

在步骤S371，可以由云端根据用户的回复(如打开XXX的消息)，识别XXX在图片中的位置，然后下发至手机。

在步骤S381，可以通过调用系统接口，点击对应位置，以打开该条目的消息。

在步骤S391，播放消息。其中，在要播放的消息是语音类型的消息的情况下，可以点击播放；在要播放的消息是文字类型的消息的情况下，可以在识别出文字内容后，进行TTS播报；对于其他类型的消息(如图片、视频)可以按照原有格式播放，也可以转换为语音形式进行播放，此处不再赘述。

至此，结合图1至图3就本公开的辅助操作方法的流程做了详细说明。

上文述及的服务器执行的操作均可以由设备执行，换言之，本公开的辅助操作方案也可以完全由设备执行。也就是说，可以由设备获取图像，对图像进行识别，然后输出与识别出的图像内容对应的语音数据(即上文述及的第一语音数据)。其中，具体实现细节可以参见上文相关描述，此处不再赘述。

本公开提出，还可以将应用内容发送给与用户具有特定人际关系的其他用户，由其他用户确定针对应用内容的处理策略。例如，对于视弱患者、老人、孩童等不能自如地操控应用程序的用户，在其使用的设备中出现需要处理的应用内容时，可以将应用内容通知给亲属，由亲属进行确认。

图4示出了根据本公开另一实施例的辅助操作方法的示意性流程图。

参见图4，第一设备端的用户可以是指视弱患者、老人、孩童等不能自如地操控应用程序的用户。第二设备端的用户可以是指与第一设备端的用户具有特定人际关系的用户，例如第二设备端的用户可以是指第一设备端的亲属。

第一设备向第二设备发送图像。图像用于表征安装在第一设备中的至少一个应用程序的应用内容。关于图像可以参见上文相关描述，此处不再赘述。

第二设备在接收到第一设备发送的图像后，可以获取针对图像所表征的应用内容的处理策略，并将处理策略发送给第一设备。

处理策略可以是由第二设备端的用户确定的，第二设备可以向用户呈现所接收到的图像，以便用户了解应用内容，并做出针对应用内容的处理策略。用户可以通过但不限于语音输入、文本输入、动作输入等方式做出针对应用内容的处理策略。

第一设备在接收到处理策略后，就可以执行与处理策略对应的操作，也即执行处理策略所表征的操作。例如，在处理策略用于表征针对应用程序的预定操作的情况下，可以通过调用相关接口针对应用程序执行预定操作。由此在第一设备端用户不方便或没有能力操控第一设备上的应用程序的情况下，可以在第二设备(即第二设备端用户)协助下，实现对第一设备中安装的应用程序中应用内容的处理，提高第一设备端用户的应用体验。

图5示出了根据本公开一个实施例的辅助操作装置的结构示意图。其中，辅助操作装置的功能模块可以由实现本公开原理的硬件、软件或硬件和软件的结合来实现。本领域技术人员可以理解的是，图5所描述的功能模块可以组合起来或者划分成子模块，从而实现上述发明的原理。因此，本文的描述可以支持对本文描述的功能模块的任何可能的组合、或者划分、或者更进一步的限定。

辅助操作装置500与上文述及的服务器对应，下面就辅助操作装置500可以具有的功能模块以及各功能模块可以执行的操作做简要说明，对于其中涉及的细节部分可以参见上文针对服务器的相关描述，这里不再赘述。

参见图5，辅助操作装置500包括接收模块510、识别模块520以及发送模块530。

接收模块510用于接收设备发送的图像，图像用于表征安装在设备中的至少一个应用程序的应用内容。

识别模块520用于对图像进行识别，以得到应用内容。具体的识别过程可以参见上文相关描述，此处不再赘述。

可选地，辅助装置500可以包括定制模块，用于针对应用程序制定应用处理规则，应用处理规则包括应用程序中一个或多个应用界面的识别规则，识别规则用于表征应用界面中需要识别的元素和/或区域的识别标准。识别模块520可以首先确定图像所针对的应用界面，然后根据确定的应用界面所对应的识别规则，对图像进行识别，以得到图像中的应用内容。

发送模块530用于向设备发送与应用内容对应的第一语音数据或第一文本信息。关于第一语音数据、第一文本信息可以参见上文相关描述，此处不再赘述。

图6示出了根据本公开另一个实施例的辅助操作装置的结构示意图。其中，辅助操作装置的功能模块可以由实现本公开原理的硬件、软件或硬件和软件的结合来实现。本领域技术人员可以理解的是，图6所描述的功能模块可以组合起来或者划分成子模块，从而实现上述发明的原理。因此，本文的描述可以支持对本文描述的功能模块的任何可能的组合、或者划分、或者更进一步的限定。

辅助操作装置600与上文述及的设备对应，下面就辅助操作装置600可以具有的功能模块以及各功能模块可以执行的操作做简要说明，对于其中涉及的细节部分可以参见上文结合图1至图3对设备的相关描述，这里不再赘述。

参见图6，辅助操作装置600包括发送模块610、接收模块620以及输出模块630。

发送模块610用于向服务器发送图像，所述图像用于表征安装在所述设备中的至少一个应用程序的应用内容。接收模块620用于接收所述设备发送的与所述应用内容对应的第一语音数据或第一文本信息。输出模块用于输出所述第一语音数据，或者通过语音播报的形式输出所述第一文本信息。关于第一语音数据、第一文本信息可以参见上文相关描述，此处不再赘述。

辅助操作装置600还可以包括执行模块。其中发送模块610还可以向服务器发送第二语音数据，接收模块620还可以接收服务器发送的用于执行预定操作的指令，执行模块可以用于基于指令执行预定操作。

图7示出了根据本公开另一个实施例的辅助操作装置的结构示意图。其中，辅助操作装置的功能模块可以由实现本公开原理的硬件、软件或硬件和软件的结合来实现。本领域技术人员可以理解的是，图7所描述的功能模块可以组合起来或者划分成子模块，从而实现上述发明的原理。因此，本文的描述可以支持对本文描述的功能模块的任何可能的组合、或者划分、或者更进一步的限定。

下面就辅助操作装置700可以具有的功能模块以及各功能模块可以执行的操作做简要说明，对于其中涉及的细节部分可以参见上文相关描述，这里不再赘述。

参见图7，辅助操作装置700包括获取模块710、识别模块720以及输出模块730。其中辅助操作装置700可以设置在设备端。

获取模块710用于获取图像，图像用于表征安装在设备中的至少一个应用程序的应用内容；识别模块720用于对图像进行识别，以得到应用内容；输出模块730用于输出与应用内容对应的第一语音数据。关于图像、应用内容、第一语音数据以及各模块执行操作涉及的细节均可以参见上文相关描述，此处不再赘述。

图8示出了根据本公开另一个实施例的辅助操作装置的结构示意图。其中，辅助操作装置的功能模块可以由实现本公开原理的硬件、软件或硬件和软件的结合来实现。本领域技术人员可以理解的是，图8所描述的功能模块可以组合起来或者划分成子模块，从而实现上述发明的原理。因此，本文的描述可以支持对本文描述的功能模块的任何可能的组合、或者划分、或者更进一步的限定。

参见图8，辅助操作装置800包括发送模块810、接收模块820以及执行模块830。其中辅助操作装置800可以设置在第一设备端。

发送模块810用于向第二设备发送图像，图像用于表征安装在第一设备中的至少一个应用程序的应用内容。接收模块820用于接收第二设备发送的针对应用内容的处理策略。执行模块830用于按照处理策略对应用内容进行处理。

图9示出了根据本公开另一个实施例的辅助操作装置的结构示意图。其中，辅助操作装置的功能模块可以由实现本公开原理的硬件、软件或硬件和软件的结合来实现。本领域技术人员可以理解的是，图8所描述的功能模块可以组合起来或者划分成子模块，从而实现上述发明的原理。因此，本文的描述可以支持对本文描述的功能模块的任何可能的组合、或者划分、或者更进一步的限定。

参见图9，辅助操作装置900包括接收模块910、获取模块920以及发送模块930。其中辅助操作装置900可以设置在第一设备端。

接收模块910用于接收第一设备发送的图像，图像用于表征安装在第一设备中的至少一个应用程序的应用内容。获取模块920用于获取针对应用内容的处理策略。发送模块930用于向第一设备发送处理策略。

图10示出了根据本公开一实施例可用于实现上述辅助操作方法的计算设备的结构示意图。

参见图10，计算设备1000包括存储器1010和处理器1020。

处理器1020可以是一个多核的处理器，也可以包含多个处理器。在一些实施例中，处理器1020可以包含一个通用的主处理器以及一个或多个特殊的协处理器，例如图形处理器(GPU)、数字信号处理器(DSP)等等。在一些实施例中，处理器1020可以使用定制的电路实现，例如特定用途集成电路(ASIC，Application Specific Integrated Circuit)或者现场可编程逻辑门阵列(FPGA，Field Programmable Gate Arrays)。

存储器1010可以包括各种类型的存储单元，例如系统内存、只读存储器(ROM)，和永久存储装置。其中，ROM可以存储处理器1020或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器1010可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(DRAM，SRAM，SDRAM，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器1010可以包括可读和/或写的可移除的存储设备，例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM，双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。

存储器1010上存储有可执行代码，当可执行代码被处理器1020处理时，可以使处理器1020执行上文述及的辅助操作方法。

上文中已经参考附图详细描述了根据本发明的辅助操作方法、装置及设备。

此外，根据本发明的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本发明的上述方法中限定的上述各步骤的计算机程序代码指令。

或者，本发明还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时，使所述处理器执行根据本发明的上述方法的各个步骤。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。

附图中的流程图和框图显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (23)

1.一种辅助操作方法，其特征在于，包括：

接收设备发送的图像，所述图像用于表征安装在所述设备中的至少一个应用程序的应用内容；

对所述图像进行识别，以得到所述应用内容；以及

向所述设备发送与所述应用内容对应的第一语音数据。

2.根据权利要求1所述的辅助操作方法，其特征在于，

所述应用内容包括一个或多个应用事件，所述第一语音数据为用于描述所述应用事件的语音数据，或者

所述应用内容为所述应用程序提供的服务信息，所述第一语音数据为所述服务信息的语音播报数据。

3.根据权利要求1所述的辅助操作方法，其特征在于，所述图像为所述应用程序中的至少部分应用界面的图像，该方法还包括：

针对所述应用程序制定应用处理规则，所述应用处理规则包括所述应用程序中一个或多个应用界面的识别规则，所述识别规则用于表征所述应用界面中需要识别的元素和/或区域的识别标准。

4.根据权利要求3所述的辅助操作方法，其特征在于，所述对所述图像进行识别以得到所述应用内容的步骤包括：

确定所述图像所针对的应用界面；

根据确定的应用界面所对应的识别规则，对所述图像进行识别，以得到所述图像中的应用内容。

5.根据权利要求1所述的辅助操作方法，其特征在于，还包括：

接收所述设备发送的第二语音数据；

对所述第二语音数据进行识别；

根据识别结果，向所述设备发送用于执行预定操作的指令。

6.一种辅助操作方法，其特征在于，包括：

向服务器发送图像，所述图像用于表征安装在所述设备中的至少一个应用程序的应用内容；

接收所述服务器发送的与所述应用内容对应的第一语音数据；以及

输出所述第一语音数据。

7.根据权利要求6所述的辅助操作方法，其特征在于，

所述应用内容包括一个或多个应用事件，所述第一语音数据为用于描述所述应用事件的语音数据，或者

所述应用内容为所述应用程序提供的服务信息，所述第一语音数据为所述服务信息的语音播报数据。

8.根据权利要求6所述的辅助操作方法，其特征在于，还包括：

向所述服务器发送第二语音数据；

接收所述服务器发送的用于执行预定操作的指令；

基于所述指令执行所述预定操作。

9.一种辅助操作方法，其特征在于，包括：

接收设备发送的图像，所述图像用于表征安装在所述设备中的至少一个应用程序的应用内容；

对所述图像进行识别，以得到所述应用内容；以及

向所述设备发送与所述应用内容对应的第一文本信息。

10.根据权利要求9所述的辅助操作方法，其特征在于，

所述应用内容包括一个或多个应用事件，所述第一文本信息为用于描述所述应用事件的文本信息，或者

所述应用内容为所述应用程序提供的服务信息，所述第一文本信息为与所述服务信息对应的文本信息。

11.一种辅助操作方法，其特征在于，包括：

向服务器发送图像，所述图像用于表征安装在所述设备中的至少一个应用程序的应用内容；

接收所述服务器发送的与所述应用内容对应的第一文本信息；以及

通过语音播报的形式输出所述第一文本信息。

12.一种辅助操作方法，其特征在于，包括：

获取图像，所述图像用于表征安装在所述设备中的至少一个应用程序的应用内容；

对所述图像进行识别，以得到所述应用内容；以及

输出与所述应用内容对应的语音数据。

13.一种辅助操作方法，适于第一设备执行，其特征在于，包括：

向第二设备发送图像，所述图像用于表征安装在所述第一设备中的至少一个应用程序的应用内容；

接收所述第二设备发送的针对所述应用内容的处理策略；以及

执行与所述处理策略对应的操作。

14.一种辅助操作方法，适于第二设备执行，其特征在于，包括：

接收第一设备发送的图像，所述图像用于表征安装在所述第一设备中的至少一个应用程序的应用内容；

获取针对所述应用内容的处理策略；以及

向所述第一设备发送所述处理策略。

15.一种辅助操作装置，其特征在于，包括：

接收模块，用于接收设备发送的图像，所述图像用于表征安装在所述设备中的至少一个应用程序的应用内容；

识别模块，用于对所述图像进行识别，以得到所述应用内容；

发送模块，用于向所述设备发送与所述应用内容对应的第一语音数据。

16.一种辅助操作装置，其特征在于，包括：

发送模块，用于向服务器发送图像，所述图像用于表征安装在所述设备中的至少一个应用程序的应用内容；

接收模块，用于接收所述服务器发送的与所述应用内容对应的第一语音数据；以及

输出模块，用于输出所述第一语音数据。

17.一种辅助操作装置，其特征在于，包括：

接收模块，用于接收设备发送的图像，所述图像用于表征安装在所述设备中的至少一个应用程序的应用内容；

识别模块，用于对所述图像进行识别，以得到所述应用内容；

发送模块，用于向所述设备发送与所述应用内容对应的第一文本信息。

18.一种辅助操作装置，其特征在于，包括：

发送模块，向服务器发送图像，所述图像用于表征安装在所述设备中的至少一个应用程序的应用内容；

接收模块，用于接收所述服务器发送的与所述应用内容对应的第一文本信息；以及

输出模块，用于通过语音播报的形式输出所述第一文本信息。

19.一种辅助操作装置，其特征在于，包括：

获取模块，用于获取图像，所述图像用于表征安装在所述设备中的至少一个应用程序的应用内容；

识别模块，用于对所述图像进行识别，以得到所述应用内容；

输出模块，用于输出与所述应用内容对应的第一语音数据。

20.一种辅助操作装置，其特征在于，包括：

发送模块，用于向第二设备发送图像，所述图像用于表征安装在第一设备中的至少一个应用程序的应用内容；

接收模块，用于接收所述第二设备发送的针对所述应用内容的处理策略；以及

执行模块，用于执行与所述处理策略对应的操作。

21.一种辅助操作装置，其特征在于，包括：

接收模块，用于接收第一设备发送的图像，所述图像用于表征安装在所述第一设备中的至少一个应用程序的应用内容；

获取模块，用于获取针对所述应用内容的处理策略；以及

发送模块，用于向所述第一设备发送所述处理策略。

22.一种计算设备，包括：

处理器；以及

存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1至14中任何一项所述的方法。

23.一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1至14中任一项所述的方法。

Images