CN115065652A - 消息回复方法、装置、存储介质及计算机设备 - Google Patents

Abstract

本申请提供了一种消息回复方法、装置、存储介质及计算机设备，可以基于应用界面自动测试函数库在终端设备上模拟用户的操作行为，进而对安装在终端设备上的聊天应用进行UI自动化操作。由于本申请是通过模拟用户的操作行为来实现消息自动回复的，因此，无论是对于群聊消息还是单体用户，本申请都可从聊天窗口界面中自动获取未读消息并据此进行自动回复，从而无需人工介入，提高了消息回复的效率。

Description

消息回复方法、装置、存储介质及计算机设备

技术领域

本申请涉及计算机技术领域，尤其涉及一种消息回复方法、装置、存储介质及计算机设备。

背景技术

随着直播行业的快速发展，越来越多的机构需要建立私域运营。以教育机构为例，一些教育机构已经采用线上直播授课的模式来进行授课，为解答各个客户的疑问或为各个客户提供优质的服务，需要在办公用聊天软件中对客户所发送的消息进行回复。又如销售机构，随着营销方式的更新迭代，越来越多的销售机构选择在办公用聊天应用上与客户进行沟通，以开拓市场。为提高消息回复效率，有必要提供一种可以自动进行消息回复的方案。

目前，办公用聊天应用多为企业微信，现有技术可通过企业微信提供的群机器人机制来自动回复群聊消息。也即，机构的管理人员可以设置消息关键词及该消息关键词所对应的回复内容，企业微信在识别到某个群聊的聊天消息中出现前述消息关键词后，即可在该群聊中自动发送该关键词所对应的回复内容。

然而，群机器人机制并不能应用到单体客户所对应的聊天中，换言之，无法通过群机器人机制自动回复单体客户发送的消息，单体客户所发送的消息仍需进行人工回复。由此可见，现有技术中存在消息回复效率低的问题。

发明内容

本申请的目的旨在至少能解决上述的技术缺陷之一，特别是现有技术中消息回复效率低的技术缺陷。

第一方面，本申请实施例提供了一种消息回复方法，该方法执行于配置有应用界面自动测试函数库的计算机设备，所述应用界面自动测试函数库包括用于在终端设备上模拟不同的用户操作行为的多个行为模拟函数；所述方法包括：

在所述终端设备未显示聊天软件的消息列表界面时，根据所述终端设备的当前显示界面信息，调用对应的行为模拟函数，以使所述终端设备响应于对应的操作事件，显示所述聊天软件的消息列表界面；

在所述终端设备显示所述聊天软件的消息列表界面时，根据未读消息标志控件的定位信息，向所述终端设备发送用于获取所述未读消息标志控件在当前显示的消息列表界面中的坐标值的坐标获取指令；

接收所述终端设备基于所述坐标获取指令所回应的坐标获取结果，若所述坐标获取结果不为空，则根据所述坐标获取结果中的每一坐标值，调用用于在所述终端设备上模拟用户点击行为的点击模拟函数，以使所述终端设备响应于对应的未读消息标志控件的点击事件，显示聊天窗口界面；

根据消息展示控件的定位信息，在当前显示的聊天窗口界面所展示的消息中确定未读消息；

确定每一未读消息的消息类型，并根据每一未读消息的消息类型生成回复消息的消息数据；

若所述回复消息的消息数据满足预先设置的消息合规判定规则，则基于所述回复消息的消息数据调用对应的行为模拟函数，以使所述终端设备响应于对应的操作事件，进行消息回复。

在一个实施例中，根据消息展示控件的定位信息，在当前显示的聊天窗口界面所展示的消息中确定未读消息的步骤，包括：

根据所述消息展示控件的定位信息，向所述终端设备发送用于获取当前显示的聊天窗口界面中每个消息展示控件的属性值的属性获取指令；

接收所述终端设备基于所述属性获取指令所回应的属性获取结果，并按照从聊天窗口界面的底部向聊天窗口界面的顶部的次序，依次判断每个消息展示控件的属性值是否为目标属性值，若否，则将该消息展示控件所展示的消息作为未读消息，若是，则停止判断；其中，所述目标属性值为用于展示己方发送消息的消息展示控件所具备的属性值；

若所述属性获取结果中不存在所述目标属性值，则调用用于在所述终端设备上模拟用户滑动行为的滑动模拟函数，以使所述终端设备响应于第一滑动事件，更新当前显示的聊天窗口界面，直至更新后的聊天窗口界面所对应的属性获取结果中存在所述目标属性值；其中，在响应于同次第一滑动事件的更新中，更新前位于聊天窗口界面顶部的消息展示控件，在更新后位于聊天窗口界面的底部。

在一个实施例中，根据每一未读消息的消息类型生成回复消息的消息数据的步骤，包括：

若存在文本未读消息，则批量获取各文本未读消息的消息文本；所述文本未读消息为纯文本消息类型的未读消息；

根据批量获取的消息文本调用预先配置的语义库接口，以得到所述语义库接口返回的所述回复消息的消息数据；所述回复消息的消息数据包括所述回复消息的消息内容及未读消息的数据结构；

若所述回复消息的消息数据满足预先设置的消息合规判定规则，则基于所述回复消息的消息数据调用对应的行为模拟函数的步骤，包括：

根据所述回复消息的消息内容，确定所述回复消息的消息类型；

若未读消息的数据结构满足预先设置的所述消息合规判定规则，且所述回复消息的消息类型为纯文本消息类型，则根据所述回复消息的消息内容以及当前显示的聊天窗口界面中文本输入控件的定位信息，调用所述应用界面自动测试函数库中的文本输入函数，以在所述文本输入控件中输入所述回复消息的消息内容；

基于当前显示的聊天窗口界面中发送确认控件的定位信息，调用所述点击模拟函数，以使所述终端设备响应于所述发送确认控件的点击事件，发送所述回复消息的消息内容。

在一个实施例中，所述方法还包括：

若未读消息的数据结构中不包括suspicious:1，则确定未读消息的数据结构满足预先设置的所述消息合规判定规则，否则，确定未读消息的数据结构不满足预先设置的所述消息合规判定规则；

若未读消息的数据结构不满足预先设置的所述消息合规判定规则，则调用对应的行为模拟函数，以使所述终端设备响应于对应的操作事件，将发送对应消息的用户设为黑名单。

在一个实施例中，若所述回复消息的消息数据满足预先设置的消息合规判定规则，则基于所述回复消息的消息数据调用对应的行为模拟函数的步骤，还包括：

若未读消息的数据结构满足预先设置的所述消息合规判定规则，且所述回复消息的消息类型为富文本消息类型，则根据客服选择控件的定位信息，调用所述点击模拟函数，以使所述终端设备响应于所述客服选择控件的点击事件，显示客服列表界面；

根据所述客服列表界面中客服展示控件的定位信息，调用所述点击模拟函数，以使所述终端设备响应于任一所述客服展示控件的点击事件，发送对应的客服链接。

在一个实施例中，根据每一未读消息的消息类型生成回复消息的消息数据的步骤，还包括：

若存在语音未读消息，则依次将每个语音未读消息作为目标语音消息；所述语音未读消息为语音消息类型的未读消息；

根据所述目标语音消息对应的消息展示控件的定位信息，调用用于模拟用户长按行为的长按模拟函数，以使所述终端设备响应于所述目标语音消息对应的消息展示控件的长按事件，显示操作选择浮窗；

根据语音转文字选择控件的定位信息，调用所述点击模拟函数，以使所述终端设备响应于所述语音转文字选择控件的点击事件，显示所述目标语音消息所对应的消息文本；

调用所述应用界面自动测试函数库中的文本获取函数，以获取所述目标语音消息所对应的消息文本，直至获取各所述语音未读消息所对应的消息文本；

根据批量获取的消息文本调用预先配置的语义库接口，以得到所述语义库接口返回的所述回复消息的消息数据的步骤，包括：

根据各所述语音未读消息所对应的消息文本和批量获取的消息文本，调用预先配置的所述语义库接口，以得到所述语义库接口返回的所述回复消息的消息数据。

在一个实施例中，根据每一未读消息的消息类型生成回复消息的消息数据的步骤，包括：

若存在图片未读消息、视频未读消息和/或链接未读消息，则根据客服选择控件的定位信息，调用所述点击模拟函数，以使所述终端设备响应于所述客服选择控件的点击事件，显示客服列表界面；其中，所述图片未读消息为图片消息类型的未读消息，所述视频未读消息为视频消息类型的未读消息，所述链接未读消息为链接消息类型的未读消息；

根据所述客服列表界面中客服展示控件的定位信息，调用所述点击模拟函数，以使所述终端设备响应于任一所述客服展示控件的点击事件，发送对应的客服链接。

在一个实施例中，根据所述坐标获取结果中的每一坐标值，调用用于在所述终端设备上模拟用户点击行为的点击模拟函数的步骤之前，还包括：

若所述坐标获取结果不为空且所述计算机设备在执行自定义的消息列表遍历函数，则调用用于在所述终端设备上模拟用户滑动行为的滑动模拟函数，以使所述终端设备响应于第二滑动事件，更新当前显示的消息列表界面，直至当前显示的消息列表界面所对应的坐标获取结果为空；其中，在响应于同次第二滑动事件的更新中，更新前位于消息列表界面底部的联系人展示控件，在更新后位于消息列表界面的顶部；

若所述计算机设备在执行所述自定义的消息列表遍历函数且当前显示的消息列表界面所对应的坐标获取结果为空，则调用所述滑动模拟函数，以使所述终端设备响应于第一滑动事件，更新当前显示的消息列表界面；其中，在响应于同次第一滑动事件的更新中，更新前位于消息列表界面顶部的联系人展示控件，在更新后位于消息列表界面的底部；

接收所述终端设备基于所述坐标获取指令所回应的坐标获取结果的步骤之后，还包括：若所述计算机设备未在执行所述自定义的消息列表遍历函数且当前显示的消息列表界面所对应的坐标获取结果为空，则调用所述滑动模拟函数，以使所述终端设备响应于所述第一滑动事件，更新当前显示的消息列表界面；

根据所述坐标获取结果中的每一坐标值，调用用于在所述终端设备上模拟用户点击行为的点击模拟函数的步骤，包括：若所述计算机设备未在执行所述自定义的消息列表遍历函数，则根据所述坐标获取结果中的每一坐标值，调用用于在所述终端设备上模拟用户点击行为的点击模拟函数。

第二方面，本申请实施例提供了一种消息回复装置，该装置执行于配置有应用界面自动测试函数库的计算机设备，所述应用界面自动测试函数库包括用于在终端设备上模拟不同的用户操作行为的多个行为模拟函数；所述装置包括：

消息列表界面跳转模块，用于在所述终端设备未显示聊天软件的消息列表界面时，根据所述终端设备的当前显示界面信息，调用对应的行为模拟函数，以使所述终端设备响应于对应的操作事件，显示所述聊天软件的消息列表界面；

坐标获取指令发送模块，用于在所述终端设备显示所述聊天软件的消息列表界面时，根据未读消息标志控件的定位信息，向所述终端设备发送用于获取所述未读消息标志控件在当前显示的消息列表界面中的坐标值的坐标获取指令；

聊天窗口界面跳转模块，用于接收所述终端设备基于所述坐标获取指令所回应的坐标获取结果，若所述坐标获取结果不为空，则根据所述坐标获取结果中的每一坐标值，调用用于在所述终端设备上模拟用户点击行为的点击模拟函数，以使所述终端设备响应于对应的未读消息标志控件的点击事件，显示聊天窗口界面；

未读消息确定模块，用于根据消息展示控件的定位信息，在当前显示的聊天窗口界面所展示的消息中确定未读消息；

回复消息生成模块，用于确定每一未读消息的消息类型，并根据每一未读消息的消息类型生成回复消息的消息数据；

回复消息发送模块，用于在所述回复消息的消息数据满足预先设置的消息合规判定规则的情况下，基于所述回复消息的消息数据调用对应的行为模拟函数，以使所述终端设备响应于对应的操作事件，进行消息回复。

第三方面，本申请实施例提供了一种存储介质，所述存储介质中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述任一实施例所述消息回复方法的步骤。

第四方面，本申请实施例提供了一种计算机设备，该计算机设备包括：一个或多个处理器，以及存储器；

所述存储器中存储有计算机可读指令，所述计算机可读指令被所述一个或多个处理器执行时，执行上述任一实施例所述消息回复方法的步骤。

在本申请的消息回复方法、装置、存储介质及计算机设备中，计算机设备在终端设备未显示聊天软件的消息列表界面时，可根据终端设备的当前显示界面信息调用对应的行为模拟函数，以使终端设备响应于对应的操作事件，显示聊天软件的消息列表界面。在终端设备显示聊天软件的消息列表界面时，计算机设备可根据未读消息标志控件的定位信息，向终端设备发送用于获取未读消息标志控件在当前显示的消息列表界面中的坐标值的坐标获取指令。在向终端设备发送坐标获取指令后，计算机设备可接收终端设备基于该坐标获取指令所回应的坐标获取结果。若该坐标获取结果不为空，则计算机设备可以根据坐标获取结果中的每一个坐标值，调用应用界面自动测试函数库中的点击模拟函数，以使终端设备响应于对应的未读消息标志控件的点击事件，显示聊天窗口界面。当终端设备显示聊天窗口界面后，计算机设备可以根据消息展示控件的定位信息，在当前显示的聊天窗口界面中所展示的消息中确定未读消息，并分别确定每一未读消息的消息类型，依据各个未读消息的消息类型生成回复消息的消息数据。在得到回复消息的消息数据后，计算机设备可以据此判断回复消息是否合规，若回复消息的消息数据满足预先设置的消息合规规则，则计算机设备可以根据该消息数据调用应用界面自动测试函数库中对应的行为模拟函数，以使终端设备响应于对应的操作事件，完成自动消息回复。

本申请可以基于应用界面自动测试函数库，在终端设备上模拟用户的操作行为，进而对安装在终端设备上的聊天应用进行UI自动化操作。由于本申请是通过模拟用户的操作行为来实现消息自动回复的，因此，无论是对于群聊消息还是单体用户，本申请都可从聊天窗口界面中自动获取未读消息并据此进行自动回复，从而无需人工介入，提高了消息回复的效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为一个实施例中消息回复方法的应用环境图；

图2为一个实施例中消息回复方法的流程示意图；

图3为一个实施例中确定未读消息步骤的流程示意图；

图4为一个实施例中生成回复消息的消息数据的流程示意图；

图5为一个实施例中基于回复消息的消息数据调用对应的行为模拟函数步骤的流程示意图；

图6为一个实施例中消息回复装置的结构框图；

图7为一个实施例中计算机设备的结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的消息回复方法可以应用于计算机设备102与终端设备104交互的应用环境中。其中，计算机设备102可以但不限于是个人电脑或笔记本电脑等，终端设备104可以通过任意方式来实现，只需终端设备104能够安装移动版聊天应用的。例如终端设备104可以通过计算机设备102上安装的安卓虚拟机/安卓模拟器来实现，或者终端设备104可以采用一独立于计算机设备102的物理设备来实现，如手机或者平板。当终端设备104采用独立物理设备来实现时，本申请的应用环境图可如图1所示，在此情况下，计算机设备102可以有线连接或无线连接终端设备104。在其中一个实施例中，计算机设备102可以通过WIFI或者USB(Universal Serial Bus，通用串行总线)与终端设备104相连接。

计算机设备102可以配置有应用界面自动测试函数库，其中，应用界面自动测试函数库是指能够进行应用界面自动化测试的工具。该函数库包括多个行为模拟函数，各个行为模拟函数可以用于在终端设备104上模拟不同的用户操作行为。例如，函数库中可以包括点击模拟函数，该点击模拟函数能够用于模拟用户的点击操作，因此，在计算机设备102调用该点击模拟函数后，终端设备104将会识别到点击事件，并对该点击事件进行响应。又如，函数库中可以包括滑动模拟函数，该滑动模拟函数能够用于模拟用户的滑动操作，因此，计算机设备102可以通过调用该滑动模拟函数，触发终端设备104识别到滑动事件并对此进行识别。

可以理解，计算机设备102可以配置任意类型的应用界面自动测试函数库，例如可以采用UIautomator2、Appium或Airtest。在下述实施例中，为便于说明，本申请以应用界面自动测试函数库为UIautomator2，聊天应用为企业微信为例进行说明。当采用UIautomator2作为应用界面自动测试函数库时，计算机设备102和终端设备104可按照下述步骤进行前置环境安装：

(1)在计算机设备102上进行Python环境安装；

(2)在计算机设备102上安装adb工具，并配置环境变量；

(3)在计算机设备102上安装UIautomator2；

(4)在计算机设备102上安装终端设备元素查看器，如Weditor；

(5)将终端设备104调整为开发者模式，并开启USB调试模式；

(6)在终端设备104上安装移动版企业微信。

在完成前置环境安装之后，计算机设备102可按照下述步骤进行环境验证：

(1)运行命令adb devices查看是否存在正常连接的设备列表；

(2)运行命令python-m weditor跳转至web端元素查看页面，输入终端设备104的IP(Internet Protocol，网际互连协议)地址和端口，查看计算机设备102是否可以正常连接终端设备104，并正常加载终端设备104的应用界面结构信息(hierarchy)；

(3)直接在weditor coding界面运行d.info，查看计算机设备102是否能够正常输出终端设备104的当前应用界面结构信息。

当采用UIautomator2作为应用界面自动测试函数库时，Python将会使用UIautomator2编写执行动作。UIautomator2将会使用初始化过程(即init过程)，令终端设备104安装守护进程atx-agent。随后，守护进程atx-agent将会在终端设备104启动UIautomator2服务，即启动终端设备104的http(Hyper Text Transfer Protocol，超文本传输协议)服务器，以对计算机设备102发送的指令进行监听。具体而言，计算机设备102在执行python指定动作脚本时，将通过守护进程atx-agent发送http请求到终端设备104的服务器端，指令的传输路径为：AutomatorHttpserver→JsonRPCServer(封装原生UIautomator操作，json串形式传输)→UIautomator。当终端设备104的服务器端接收到计算机设备102发送的http请求后，终端设备104将会执行指定的操作事件，并进行响应。

在一个实施例中，本申请提供了一种消息回复方法，以该方法执行于图1所示的计算机设备为例进行说明。如图2所示，该方法具体包括如下步骤：

S202，在所述终端设备未显示聊天软件的消息列表界面时，根据所述终端设备的当前显示界面信息，调用对应的行为模拟函数，以使所述终端设备响应于对应的操作事件，显示所述聊天软件的消息列表界面。

其中，聊天应用的消息列表界面是指用于显示聊天消息的列表界面。

具体而言，在聊天应用的消息列表界面中，会通过多个联系人展示控件分别显示多个不同联系人的聊天消息，且各个联系人的聊天消息可以按照每个联系人最新一则消息的收发时间来进行排序，按照收发时间从晚至早的次序排列。当接收到某个联系人发送的未读消息后，该联系人所对应的联系人展示控件会显示有未读消息标志控件，以提示用户此联系人所对应的聊天消息中存在未读消息。因此，计算机设备可以基于消息列表界面的应用界面结构信息来确定是否存在未读消息。

若终端设备当前所显示的界面非聊天应用的消息列表界面，则计算机设备可以根据终端设备的当前显示界面信息调用应用界面自动测试函数库中对应的行为模拟函数，使得终端设备可以响应于对应的操作事件，并显示聊天应用的消息列表界面。

可以理解，计算机设备所调用的行为模拟函数，以及调用各行为模拟函数的先后顺序，均可依据终端设备的当前显示界面信息来确定，本申请对此不作具体限制。例如，若终端设备当前显示聊天窗口界面，则计算机设备可根据返回控件的定位信息，调用点击模拟函数，以使终端设备响应于返回控件的点击事件，并显示消息列表界面。又如，若终端设备当前显示手机桌面时，计算机设备可根据聊天软件展示控件的定位信息，调用点击模拟函数，以使终端设备响应于聊天软件展示控件的点击事件，打开聊天软件，使其可以显示聊天软件的消息列表界面。

S204，在所述终端设备显示所述聊天软件的消息列表界面时，根据未读消息标志控件的定位信息，向所述终端设备发送用于获取所述未读消息标志控件在当前显示的消息列表界面中的坐标值的坐标获取指令。

其中，未读消息标志控件可以是用于提醒用户存在未读消息的控件，例如可为企业微信中的红点控件。

具体而言，若终端设备显示聊天软件的消息列表界面，则计算机设备可以根据未读消息标志控件的定位信息，向终端设备发送坐标获取指令，以通过该坐标获取指令指示终端设备获取未读消息标志控件在当前显示的消息列表界面中的坐标值。

在其中一个实施例中，在终端设备当前显示聊天软件的最新消息列表界面的情况下，计算机设备可周期性地向终端设备发送坐标获取指令，以确定最新消息列表界面中是否存在未读消息，进而确定聊天软件中是否存在待回复的未读消息。在最新消息列表界面中存在未读消息的情况下，可以确定聊天软件中存在待回复的未读消息；否则，可以确定聊天软件中不存在待回复的未读消息。在一个示例中，计算机设备可以采用注册监视器(watcher)的方式来实现周期性发送坐标获取指令。在UIautomator2中监视器采用了后台运行线程的方式(依赖threading库)来进行，监视器每隔一段时间更新一次终端设备的应用界面结构信息(dump hierarchy)，并在匹配到未读消息标志控件后执行步骤S206至S212。如此，可实现未读消息的自动监控，进而可提高消息回复的效率。

S206，接收所述终端设备基于所述坐标获取指令所回应的坐标获取结果，若所述坐标获取结果不为空，则根据所述坐标获取结果中的每一坐标值，调用用于在所述终端设备上模拟用户点击行为的点击模拟函数，以使所述终端设备响应于对应的未读消息标志控件的点击事件，显示聊天窗口界面。

可以理解，终端设备在接收到计算机设备发送的坐标获取指令后，可以基于该坐标获取指令，获取未读消息标志控件在当前显示的消息列表界面中的坐标值，并据此得到坐标获取结果。若当前显示的消息列表界面中不存在未读消息标志控件，则终端设备无法获取到任一坐标值，坐标获取结果为空；若当前显示的消息列表界面中存在一个或多个的未读消息标志控件，则该坐标获取结果可以包括每一未读消息标志控件在当前显示的消息列表界面中的坐标值。

若坐标获取结果不为空，即坐标获取结果中包括至少一个坐标值，则对于坐标获取结果中的每个坐标值，计算机设备可以基于该坐标值调用应用界面自动测试函数库中的点击模拟函数，以使终端设备响应于该坐标值对应的未读消息标志控件的点击事件，跳转至对应联系人的聊天窗口界面。

S208，根据消息展示控件的定位信息，在当前显示的聊天窗口界面所展示的消息中确定未读消息。

其中，消息展示控件是指用于展示各类型消息的控件，包括但不限于是消息框和语音消息展示控件等。在跳转至聊天窗口界面后，计算机设备可以根据消息展示控件的定位信息，如消息展示控件的XPath定位信息，确定未读消息。

S210，确定每一未读消息的消息类型，并根据每一未读消息的消息类型生成回复消息的消息数据。

具体而言，计算机设备在确定未读消息后，可分别确定每个未读消息的消息类型，并基于每个消息的消息类型分别采用对应的处理方式处理该未读消息，以得到回复消息的消息数据。在其中一个实施例中，回复消息的消息数据可以包括回复消息的消息文本、消息素材存储地址和/或数据结构等。

在其中一个实施例中，可以按照表1所述方式来确定每一未读消息的消息类型。

表1未读消息的消息类型判断方式

S212，若所述回复消息的消息数据满足预先设置的消息合规判定规则，则基于所述回复消息的消息数据调用对应的行为模拟函数，以使所述终端设备响应于对应的操作事件，进行消息回复。

具体而言，在得到回复消息的消息数据后，计算机设备可判断回复消息的消息数据是否满足预设的消息合规判定规则，从而可基于回复消息的消息数据判定未读消息中是否存在违规消息。若回复消息的消息数据满足预先设置的消息合规判定规则，则表明未读消息中不存在违规消息，计算机设备可基于回复消息的消息数据调用对应的行为模拟函数，以使终端设备在聊天窗口界面中自动发送对应的回复消息，实现消息的自动回复。

本申请的消息回复方法，可以基于应用界面自动测试函数库，在终端设备上模拟用户的操作行为，进而对安装在终端设备上的聊天应用进行UI自动化操作。由于本申请是通过模拟用户的操作行为来实现消息自动回复的，因此，无论是对于群聊消息还是单体用户，本申请都可从聊天窗口界面中自动获取未读消息并据此进行自动回复，从而无需人工介入，提高了消息回复的效率。

在一个实施例中，根据消息展示控件的定位信息，在当前显示的聊天窗口界面所展示的消息中确定未读消息的步骤，包括：

S302，根据所述消息展示控件的定位信息，向所述终端设备发送用于获取当前显示的聊天窗口界面中每个消息展示控件的属性值的属性获取指令。

具体而言，计算机设备可以根据消息展示控件的定位信息，向终端设备发送属性获取指令，以通过该属性获取指令指示终端设备获取当前显示的聊天窗口界面中每个消息展示控件的属性值。在其中一个实施例中，该属性值可以是消息定位selector的属性值bound中left值，也即消息展示控件左侧固定像素的坐标值。

S304，接收所述终端设备基于所述属性获取指令所回应的属性获取结果，并按照从聊天窗口界面的底部向聊天窗口界面的顶部的次序，依次判断每个消息展示控件的属性值是否为目标属性值，若否，则将该消息展示控件所展示的消息作为未读消息，若是，则停止判断；其中，所述目标属性值为用于展示己方发送消息的消息展示控件所具备的属性值。

其中，己方发送消息是指由终端设备的聊天软件所发送的消息。

终端设备在接收到计算机设备发送的属性获取指令后，可以基于该属性获取指令，获取当前显示的聊天窗口界面中每个消息展示控件的属性值，并据此得到属性获取结果。计算机设备在接收到终端设备返回的属性获取结果后，可以按照从聊天窗口界面底部到顶部的次序，依次判断每个消息展示控件的属性值是否为用于展示己方发送消息的消息展示控件所具备的属性值(即目标属性值)。换言之，对于属性获取结果中每个消息展示控件的属性值，计算机设备可以按照各消息展示控件所对应的收发时间次序，从最新收发的消息展示控件开始，依次判断各个消息展示控件的属性值是否为目标属性值。

对于每一次判断过程而言，若该消息展示控件的属性值非目标属性值，则可将该消息展示控件所展示的消息作为未读消息。反之，若消息展示控件的属性值为目标属性值，则表明该消息展示控件所展示的是己方发送消息，计算机设备可以停止判断，也即不再判断其余消息展示控件的属性值是否为目标属性值。

S306，若所述属性获取结果中不存在所述目标属性值，则调用用于在所述终端设备上模拟用户滑动行为的滑动模拟函数，以使所述终端设备响应于第一滑动事件，更新当前显示的聊天窗口界面，直至更新后的聊天窗口界面所对应的属性获取结果中存在所述目标属性值；其中，在响应于同次第一滑动事件的更新中，更新前位于聊天窗口界面顶部的消息展示控件，在更新后位于聊天窗口界面的底部。

具体而言，若属性获取结果中不存在任一目标属性值，则可调用应用界面自动测试函数库中的滑动模拟函数，以使终端设备响应于第一滑动事件，更新当前显示的聊天窗口界面。其中，第一滑动事件可以是上滑事件，也即，上滑前，位于聊天窗口界面顶部的消息展示控件，在上滑后可位于聊天窗口界面的底部。

在更新当前显示的聊天窗口界面后，计算机设备可执行步骤S302至S306，以判断更新后的聊天窗口界面中是否存在用于展示己方发送消息的消息展示控件。若不存在，则可按照步骤S306再次更新聊天窗口界面，并执行步骤S302至S306，直至更新后的聊天窗口界面中存在用于展示己方发送消息的消息展示控件。

在一个示例中，如图3所示，根据消息展示控件的定位信息，在当前显示的聊天窗口界面所展示的消息中确定未读消息的步骤，包括：

S310，根据所述消息展示控件的定位信息，向所述终端设备发送用于获取当前显示的聊天窗口界面中每个消息展示控件的属性值的属性获取指令；

S320，接收所述终端设备基于所述属性获取指令所回应的属性获取结果；

S330，按照从聊天窗口界面的底部向聊天窗口界面的顶部的次序，依次判断每个消息展示控件的属性值是否为目标属性值，若是则进入步骤S340，若否则进入步骤S350；

S340，停止判断；

S350，将该消息展示控件所展示的消息作为未读消息；

S360，若所述属性获取结果中不存在所述目标属性值，则调用用于在所述终端设备上模拟用户滑动行为的滑动模拟函数，以使所述终端设备响应于第一滑动事件，更新当前显示的聊天窗口界面，并进入步骤S310。

本实施例中，在进入聊天窗口界面后，可以向上读取信息，直至首次读取己方发送消息，并以首次读取到的己方发送消息作为节点，该节点之下的所有消息均为待处理的未读消息。如此，可以全面获取所有的未读消息，避免消息的遗漏，进而可提高用户体验。

在一个实施例中，如图4所示，根据每一未读消息的消息类型生成回复消息的消息数据的步骤，包括：

S402，若存在文本未读消息，则批量获取各文本未读消息的消息文本；所述文本未读消息为纯文本消息类型的未读消息。

具体而言，若未读消息中存在一个或多个的文本未读消息，则计算设备可以直接批量进行消息读取，以获取各个文本未读消息的消息文本。

S404，根据批量获取的消息文本调用预先配置的语义库接口，以得到所述语义库接口返回的所述回复消息的消息数据；所述回复消息的消息数据包括所述回复消息的消息内容及未读消息的数据结构。

具体而言，计算机设备可以根据批量获取的消息文本，调用预先配置的语义库接口，以通过预先配置的语义库来处理前述消息文本，并返回对应的回复消息。语义库接口返回的回复消息的消息数据可以包括回复消息的消息内容以及未读消息的数据结构，以便于计算机设备根据该未读消息的数据结构判断未读消息是否违规。

若所述回复消息的消息数据满足预先设置的消息合规判定规则，则基于所述回复消息的消息数据调用对应的行为模拟函数的步骤，包括：

如图5所示，若所述回复消息的消息数据满足预先设置的消息合规判定规则，则基于所述回复消息的消息数据调用对应的行为模拟函数的步骤，包括：

S502，根据所述回复消息的消息内容，确定所述回复消息的消息类型。

在其中一个实施例中，计算机设备可根据回复消息的消息内容，确定回复消息的消息类型为纯文本消息类型还是富文本消息类型。

S504，若未读消息的数据结构满足预先设置的所述消息合规判定规则，且所述回复消息的消息类型为纯文本消息类型，则根据所述回复消息的消息内容以及当前显示的聊天窗口界面中文本输入控件的定位信息，调用所述应用界面自动测试函数库中的文本输入函数，以在所述文本输入控件中输入所述回复消息的消息内容。

若未读消息的数据结构满足消息合规判定规则，则计算机设备可以基于回复消息的消息类型，采用相应的处理方式来发送回复消息，以进行自动消息回复。具体而言，若回复消息为纯文本消息类型的消息，则计算机设备可以根据所述回复消息的消息内容和文本输入控件的定位信息(如XPath定位信息)，调用应用界面自动测试函数库中的文本输入函数send_text()，从而可在文本输入控件中输入回复消息的消息内容。

S506，基于当前显示的聊天窗口界面中发送确认控件的定位信息，调用所述点击模拟函数，以使所述终端设备响应于所述发送确认控件的点击事件，发送所述回复消息的消息内容。

在文本输入控件中输入回复消息的消息内容后，计算机设备可以基于当前显示的聊天窗口界面中发送确认控件的定位信息调用点击模拟函数，以模拟用户点击该发送确认控件的操作行为，进而在聊天窗口界面中发送回复消息的消息内容。在其中一个实施例中，计算机设备可以基于发送确认控件的XPath定位信息调用点击模拟函数。

本实施例中，可以通过调用语义库接口的方式，自动生成回复消息的消息内容。并可通过应用界面自动测试函数库自动回复纯文本消息，进而可实现消息的自动回复。

在一个实施例中，若所述回复消息的消息数据满足预先设置的消息合规判定规则，则基于所述回复消息的消息数据调用对应的行为模拟函数的步骤，还包括：

若未读消息的数据结构满足预先设置的所述消息合规判定规则，且所述回复消息的消息类型为富文本消息类型，则根据客服选择控件的定位信息，调用所述点击模拟函数，以使所述终端设备响应于所述客服选择控件的点击事件，显示客服列表界面；

根据所述客服列表界面中客服展示控件的定位信息，调用所述点击模拟函数，以使所述终端设备响应于任一所述客服展示控件的点击事件，发送对应的客服链接。

具体而言，若未读消息的数据结构满足消息合规判定规则，且回复消息为富文本消息类型的消息，则计算机设备可以不回复语义库接口返回的消息，而是回复智能客服链接。

在回复智能客服链接的时候，计算机设备可根据当前显示的聊天窗口界面中客服选择控件的定位信息(如XPath定位信息)，调用应用界面自动测试函数库中的点击模拟函数，以使终端设备响应于客服选择控件的点击事件，跳转至客服列表界面。客服列表界面可包括至少一个客服展示控件，每个客服展示控件用于展示对应的客服的信息，如客服名称等。计算机设备可以根据客服列表界面中客服展示控件的定位信息(如XPath信息)，调用点击模拟函数，以使终端设备响应于任意一个客服展示控件的点击事件，并发送与被点击的客服展示控件所对应的客服链接。

在其中一个实施例中，若未读消息的数据结构满足消息合规判定规则，且回复消息为富文本消息类型，则计算机设备可以将批量获取的消息文本记录在未回复文档中，并将该未回复文档进行推送，以便于研发人员据此完善语义库。

本申请实施例中，当语义库接口返回的回复消息为富文本类型的消息时，计算机设备可自动回复智能客服链接，以提高用户体验。

在一个实施例中，根据每一未读消息的消息类型生成回复消息的消息数据的步骤，还包括：

若存在语音未读消息，则依次将每个语音未读消息作为目标语音消息；所述语音未读消息为语音消息类型的未读消息；

根据所述目标语音消息对应的消息展示控件的定位信息，调用用于模拟用户长按行为的长按模拟函数，以使所述终端设备响应于所述目标语音消息对应的消息展示控件的长按事件，显示操作选择浮窗；

根据语音转文字选择控件的定位信息，调用所述点击模拟函数，以使所述终端设备响应于所述语音转文字选择控件的点击事件，显示所述目标语音消息所对应的消息文本；

调用所述应用界面自动测试函数库中的文本获取函数，以获取所述目标语音消息所对应的消息文本，直至获取各所述语音未读消息所对应的消息文本。

根据批量获取的消息文本调用预先配置的语义库接口，以得到所述语义库接口返回的所述回复消息的消息数据的步骤，包括：根据各所述语音未读消息所对应的消息文本和批量获取的消息文本，调用预先配置的所述语义库接口，以得到所述语义库接口返回的所述回复消息的消息数据。

若未读消息中存在语音未读消息，则计算机设备可以使用聊天软件自带的语音转文本方式，获取该语音未读消息所对应的消息文本。计算机设备在读取语音未读消息对应的消息文本后，可调用语义库接口以获取回复消息。

具体而言，当存在一个或多个语音未读消息时，计算机设备可依次将每个语音未读消息作为目标语音消息。对于目标语音消息，计算机设备可以根据目标语音消息所对应的消息展示控件的定位信息(如XPath定位信息)，调用长按模拟函数，以模拟用户长按目标语音消息所对应的消息展示控件的操作行为，使得终端设备可以响应于该长按事件，并显示操作选择浮窗。

操作选择浮窗中包括语音转文字选择控件，计算机设备可以根据该语音转文字选择控件的定位信息(如XPath定位信息)，调用点击模拟函数，以模拟用户点击该语音转文字选择控件的操作行为，进而可令终端设备的聊天窗口界面显示目标语音消息所对应的消息文本。在此情况下，计算机设备可调用应用界面自动测试函数库中的文本获取函数get_text()，进而可获取到目标语音消息所对应的消息文本。

在得到各个语音未读消息所对应的消息文本后，计算机设备可以根据各个语音未读消息所对应的消息文本和批量获取的消息文本，调用预先配置的语义库接口，从而可通过语义库接口批量处理语音未读消息和文本未读消息。

本实施例中，可通过应用界面自动测试函数库自动回复语音未读消息，进而可实现消息的自动回复。

在一个实施例中，根据每一未读消息的消息类型生成回复消息的消息数据的步骤，包括：

若存在图片未读消息、视频未读消息和/或链接未读消息，则根据客服选择控件的定位信息，调用所述点击模拟函数，以使所述终端设备响应于所述客服选择控件的点击事件，显示客服列表界面；其中，所述图片未读消息为图片消息类型的未读消息，所述视频未读消息为视频消息类型的未读消息，所述链接未读消息为链接消息类型的未读消息；

根据所述客服列表界面中客服展示控件的定位信息，调用所述点击模拟函数，以使所述终端设备响应于任一所述客服展示控件的点击事件，发送对应的客服链接。

其中，链接未读消息可以为公众号链接未读消息或者视频号链接未读消息等。具体而言，若未读消息中存在图片未读消息、视频未读消息和/或链接未读消息，则计算机设备可以回复智能客服链接。计算机设备的具体执行过程可如上所述，此处不再赘述。需要说明的是，在同一批消息读取中(如同个联系人的同一批未读消息回复中)，计算机设备可仅发送一次智能链接，以提高用户体验。本申请实施例中，可通过应用界面自动测试函数库自动回复图片未读消息、视频未读消息和/或链接未读消息，进而可实现消息的自动回复。

在一个实施例中，所述方法还包括：

若未读消息的数据结构中不包括suspicious:1，则确定未读消息的数据结构满足预先设置的所述消息合规判定规则，否则，确定未读消息的数据结构不满足预先设置的所述消息合规判定规则；

若未读消息的数据结构不满足预先设置的所述消息合规判定规则，则调用对应的行为模拟函数，以使所述终端设备响应于对应的操作事件，将发送对应消息的用户设为黑名单。

具体而言，计算机设备可根据语义库返回的未读消息的数据结构来判定未读消息是否违规。若未读消息的数据结构中不含有suspicious:1，则可判定未读消息均合规。若未读消息的数据结构中含有suspicious:1，即可判定未读消息中存在违规消息，此用户为违规消息发送用户。因此，计算机设备可通过应用界面自动测试函数库进入发送该违规消息的用户的主页，将该用户的用户标签设为黑名单标签。如此，可方便企业进行二次人员筛选。

在其中一个实施例中，在将将该用户设为黑名单标签后，可将该标签设定操作结果记录至结果数据表中，并输出该结果数据表。

在其中一个实施例中，若判定未读消息中存在违规消息，则可不对此用户进行消息回复。

在其中一个实施例中，若未读消息的数据结构不满足消息合规判定规则，则计算机设备可以将批量获取的消息文本记录至未回复文档中，并将该未回复文档进行推送，以便于研发人员据此完善语义库。

在一个实施例中，根据所述坐标获取结果中的每一坐标值，调用用于在所述终端设备上模拟用户点击行为的点击模拟函数的步骤之前，还包括：

若所述坐标获取结果不为空且所述计算机设备在执行自定义的消息列表遍历函数，则调用用于在所述终端设备上模拟用户滑动行为的滑动模拟函数，以使所述终端设备响应于第二滑动事件，更新当前显示的消息列表界面，直至当前显示的消息列表界面所对应的坐标获取结果为空；其中，在响应于同次第二滑动事件的更新中，更新前位于消息列表界面底部的联系人展示控件，在更新后位于消息列表界面的顶部；

若所述计算机设备在执行所述自定义的消息列表遍历函数且当前显示的消息列表界面所对应的坐标获取结果为空，则调用所述滑动模拟函数，以使所述终端设备响应于第一滑动事件，更新当前显示的消息列表界面；其中，在响应于同次第一滑动事件的更新中，更新前位于消息列表界面顶部的联系人展示控件，在更新后位于消息列表界面的底部。

接收所述终端设备基于所述坐标获取指令所回应的坐标获取结果的步骤之后，还包括：若所述计算机设备未在执行所述自定义的消息列表遍历函数且当前显示的消息列表界面所对应的坐标获取结果为空，则调用所述滑动模拟函数，以使所述终端设备响应于所述第一滑动事件，更新当前显示的消息列表界面。

根据所述坐标获取结果中的每一坐标值，调用用于在所述终端设备上模拟用户点击行为的点击模拟函数的步骤，包括：若所述计算机设备未在执行所述自定义的消息列表遍历函数，则根据所述坐标获取结果中的每一坐标值，调用用于在所述终端设备上模拟用户点击行为的点击模拟函数。

由于界面自动化无法进行并发操作，为了在大数据量消息的情况下可以读取到每个存在未读消息的聊天窗口界面，避免消息的遗漏与积压，本申请实施例在流程运行机制上有所调整，通过自定义的消息列表遍历函数下滑至最新一页不存在未读消息的消息列表界面，而后再上滑一页，以便于计算机设备基于当前页消息列表界面来执行未读消息的回复。

具体而言，若计算机设备在执行自定义的消息列表遍历函数，则计算机设备需要通过确定最后一页存在未读消息的消息列表界面。在此过程中，若坐标获取结果不为空，且计算机设备在执行自定义的消息列表遍历函数，

则表明终端设备未下滑至最新一页不存在未读消息的消息列表界面，因此计算机设备可以调用滑动模拟函数，以使终端设备响应于第二滑动事件，继续下滑消息列表界面，直到坐标获取结果为空，即下滑至最新一页不存在未读消息的消息列表界面。

若当前显示的消息列表界面所对应的坐标获取结果为空且计算机设备在执行自定义的消息列表遍历函数，则表明终端设备已下滑至最新一页不存在未读消息的消息列表界面，因此计算机设备调用所述滑动模拟函数，以使终端设备响应于第一滑动事件，将当前显示的消息列表界面上滑一页。上滑一页后，计算机设备已经执行完成自定义的消息列表遍历函数，可以开始进行未读消息的获取与回复。具体而言，若坐标获取结果不为空，且计算机设备未在执行前述消息列表遍历函数，则表明计算机设备已经执行完成自定义的消息列表遍历函数，正在执行未读消息的获取与回复部分的函数，此时，计算机设备可根据所述坐标获取结果中的每一坐标值，调用用于在所述终端设备上模拟用户点击行为的点击模拟函数。

若当前显示的消息列表界面所对应的坐标获取结果为空，且计算机设备未在执行自定义的消息列表遍历函数，则表明计算机设备正在执行未读消息的获取与回复部分的函数，且计算机设备已经对终端设备当前显示的消息列表界面中的全部未读消息进行回复，因此计算机设备可调用所述滑动模拟函数，以使终端设备响应于第一滑动事件，将当前显示的消息列表界面上滑一页，以更新当前显示的消息列表界面。并基于更新后的当前显示的消息列表界面进行未读消息的获取与回复。

在一个示例中，本申请执行遍历的结构为：遍历存在未读消息的消息列表页→遍历当前页的所有存在未读消息的聊天窗口界面→进入存在未读消息的聊天窗口界面，遍历未读取的未读消息。

下面对本申请实施例提供的消息回复装置进行描述，下文描述的消息回复装置与上文描述的消息回复方法可相互对应参照。

在一个实施例中，本申请提供了一种消息回复装置600，该装置600执行于配置有应用界面自动测试函数库的计算机设备，所述应用界面自动测试函数库包括用于在终端设备上模拟不同的用户操作行为的多个行为模拟函数。如图6所示，该装置600具体包括消息列表界面跳转模块610、坐标获取指令发送模块620、聊天窗口界面跳转模块630、未读消息确定模块640、回复消息生成模块650和回复消息发送模块660。其中：

消息列表界面跳转模块610，用于在所述终端设备未显示聊天软件的消息列表界面时，根据所述终端设备的当前显示界面信息，调用对应的行为模拟函数，以使所述终端设备响应于对应的操作事件，显示所述聊天软件的消息列表界面；

坐标获取指令发送模块620，用于在所述终端设备显示所述聊天软件的消息列表界面时，根据未读消息标志控件的定位信息，向所述终端设备发送用于获取所述未读消息标志控件在当前显示的消息列表界面中的坐标值的坐标获取指令；

聊天窗口界面跳转模块630，用于接收所述终端设备基于所述坐标获取指令所回应的坐标获取结果，若所述坐标获取结果不为空，则根据所述坐标获取结果中的每一坐标值，调用用于在所述终端设备上模拟用户点击行为的点击模拟函数，以使所述终端设备响应于对应的未读消息标志控件的点击事件，显示聊天窗口界面；

未读消息确定模块640，用于根据消息展示控件的定位信息，在当前显示的聊天窗口界面所展示的消息中确定未读消息；

回复消息生成模块650，用于确定每一未读消息的消息类型，并根据每一未读消息的消息类型生成回复消息的消息数据；

回复消息发送模块660，用于在所述回复消息的消息数据满足预先设置的消息合规判定规则的情况下，基于所述回复消息的消息数据调用对应的行为模拟函数，以使所述终端设备响应于对应的操作事件，进行消息回复。

在一个实施例中，未读消息确定模块640包括属性获取指令发送单元、目标属性判断单元和聊天窗口界面更新单元。其中：

属性获取指令发送单元用于根据所述消息展示控件的定位信息，向所述终端设备发送用于获取当前显示的聊天窗口界面中每个消息展示控件的属性值的属性获取指令；

目标属性判断单元用于接收所述终端设备基于所述属性获取指令所回应的属性获取结果，并按照从聊天窗口界面的底部向聊天窗口界面的顶部的次序，依次判断每个消息展示控件的属性值是否为目标属性值，若否，则将该消息展示控件所展示的消息作为未读消息，若是，则停止判断；其中，所述目标属性值为用于展示己方发送消息的消息展示控件所具备的属性值；

聊天窗口界面更新单元用于若所述属性获取结果中不存在所述目标属性值，则调用用于在所述终端设备上模拟用户滑动行为的滑动模拟函数，以使所述终端设备响应于第一滑动事件，更新当前显示的聊天窗口界面，直至更新后的聊天窗口界面所对应的属性获取结果中存在所述目标属性值；其中，在响应于同次第一滑动事件的更新中，更新前位于聊天窗口界面顶部的消息展示控件，在更新后位于聊天窗口界面的底部。

在一个实施例中，回复消息生成模块650包括批量获取单元和语义库调用单元，回复消息发送模块660包括回复消息类型确定单元、文本输入单元和文本发送单元。其中：

批量获取单元用于在存在文本未读消息的情况下，批量获取各文本未读消息的消息文本；所述文本未读消息为纯文本消息类型的未读消息；

语义库调用单元用于根据批量获取的消息文本调用预先配置的语义库接口，以得到所述语义库接口返回的所述回复消息的消息数据；所述回复消息的消息数据包括所述回复消息的消息内容及未读消息的数据结构；

回复消息类型确定单元用于根据所述回复消息的消息内容，确定所述回复消息的消息类型；

文本输入单元用于在未读消息的数据结构满足预先设置的所述消息合规判定规则，且所述回复消息的消息类型为纯文本消息类型的情况下，根据所述回复消息的消息内容以及当前显示的聊天窗口界面中文本输入控件的定位信息，调用所述应用界面自动测试函数库中的文本输入函数，以在所述文本输入控件中输入所述回复消息的消息内容；

文本发送单元用于基于当前显示的聊天窗口界面中发送确认控件的定位信息，调用所述点击模拟函数，以使所述终端设备响应于所述发送确认控件的点击事件，发送所述回复消息的消息内容。

在一个实施例中，本申请的消息回复装置600还包括合规判定模块及黑名单设置模块。其中，合规判定模块用于在未读消息的数据结构中不包括suspicious:1的情况下，确定未读消息的数据结构满足预先设置的所述消息合规判定规则；还用于在未读消息的数据结构中包括suspicious:1的情况下，确定未读消息的数据结构不满足预先设置的所述消息合规判定规则。黑名单设置模块用于在未读消息的数据结构不满足预先设置的所述消息合规判定规则的情况下，调用对应的行为模拟函数，以使所述终端设备响应于对应的操作事件，将发送对应消息的用户设为黑名单。

在一个实施例中，回复消息发送模块660还包括第一客服列表界面跳转单元及第一客服链接发送单元。其中，第一客服列表界面跳转单元用于在未读消息的数据结构满足预先设置的所述消息合规判定规则，且所述回复消息的消息类型为富文本消息类型的情况下，根据客服选择控件的定位信息，调用所述点击模拟函数，以使所述终端设备响应于所述客服选择控件的点击事件，显示客服列表界面。第一客服链接发送单元用于根据所述客服列表界面中客服展示控件的定位信息，调用所述点击模拟函数，以使所述终端设备响应于任一所述客服展示控件的点击事件，发送对应的客服链接。

在一个实施例中，回复消息生成模块650还包括目标语音消息确定单元、长按单元、语音转文字控件点击单元及文本获取单元。其中，目标语音消息确定单元用于在存在语音未读消息的情况下，依次将每个语音未读消息作为目标语音消息；所述语音未读消息为语音消息类型的未读消息。长按单元用于根据所述目标语音消息对应的消息展示控件的定位信息，调用用于模拟用户长按行为的长按模拟函数，以使所述终端设备响应于所述目标语音消息对应的消息展示控件的长按事件，显示操作选择浮窗。语音转文字控件点击单元用于根据语音转文字选择控件的定位信息，调用所述点击模拟函数，以使所述终端设备响应于所述语音转文字选择控件的点击事件，显示所述目标语音消息所对应的消息文本。文本获取单元用于调用所述应用界面自动测试函数库中的文本获取函数，以获取所述目标语音消息所对应的消息文本，直至获取各所述语音未读消息所对应的消息文本。

语义库调用单元用于根据各所述语音未读消息所对应的消息文本和批量获取的消息文本，调用预先配置的所述语义库接口，以得到所述语义库接口返回的所述回复消息的消息数据。

在一个实施例中，回复消息生成模块650包括第二客服列表界面跳转单元及第二客服链接发送单元。其中，第二客服列表界面跳转单元用于在存在图片未读消息、视频未读消息和/或链接未读消息的情况下，根据客服选择控件的定位信息，调用所述点击模拟函数，以使所述终端设备响应于所述客服选择控件的点击事件，显示客服列表界面；其中，所述图片未读消息为图片消息类型的未读消息，所述视频未读消息为视频消息类型的未读消息，所述链接未读消息为链接消息类型的未读消息。第二客服链接发送单元用于根据所述客服列表界面中客服展示控件的定位信息，调用所述点击模拟函数，以使所述终端设备响应于任一所述客服展示控件的点击事件，发送对应的客服链接。

在一个实施例中，消息回复装置600还可包括第一消息列表界面更新模块、第二消息列表界面更新模块和第三消息列表界面更新模块。其中：

第一消息列表界面更新模块用于在所述坐标获取结果不为空且所述计算机设备在执行自定义的消息列表遍历函数的情况下，调用用于在所述终端设备上模拟用户滑动行为的滑动模拟函数，以使所述终端设备响应于第二滑动事件，更新当前显示的消息列表界面，直至当前显示的消息列表界面所对应的坐标获取结果为空；其中，在响应于同次第二滑动事件的更新中，更新前位于消息列表界面底部的联系人展示控件，在更新后位于消息列表界面的顶部。

第二消息列表界面更新模块用于在所述计算机设备在执行所述自定义的消息列表遍历函数且当前显示的消息列表界面所对应的坐标获取结果为空的情况下，调用所述滑动模拟函数，以使所述终端设备响应于第一滑动事件，更新当前显示的消息列表界面；其中，在响应于同次第一滑动事件的更新中，更新前位于消息列表界面顶部的联系人展示控件，在更新后位于消息列表界面的底部。

第三消息列表界面更新模块用于在所述计算机设备未在执行所述自定义的消息列表遍历函数且当前显示的消息列表界面所对应的坐标获取结果为空的情况下，调用所述滑动模拟函数，以使所述终端设备响应于所述第一滑动事件，更新当前显示的消息列表界面。

回复消息发送模块660用于在所述计算机设备未在执行所述自定义的消息列表遍历函数的情况下，根据所述坐标获取结果中的每一坐标值，调用用于在所述终端设备上模拟用户点击行为的点击模拟函数。

在一个实施例中，本申请还提供了一种存储介质，所述存储介质中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如上述实施例中任一项所述消息回复方法的步骤。

在一个实施例中，本申请还提供了一种计算机设备。所述计算机设备中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如上述实施例中任一项所述消息回复方法的步骤。在其中一个实施例中，该计算机设备可以是个人电脑等。

示意性地，如图7所示，图7为本申请实施例提供的一种计算机设备的内部结构示意图。参照图7，计算机设备900包括处理组件902，其进一步包括一个或多个处理器，以及由存储器901所代表的存储器资源，用于存储可由处理组件902的执行的指令，例如应用程序。存储器901中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件902被配置为执行指令，以执行上述任意实施例的消息回复方法。

计算机设备900还可以包括一个电源组件903被配置为执行计算机设备900的电源管理，一个有线或无线网络接口904被配置为将计算机设备900连接到网络，和一个输入输出(I/O)接口905。计算机设备900可以操作基于存储在存储器901的操作系统。

本领域技术人员可以理解，本申请示出的计算机设备的内部结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。本文中，“一”、“一个”、“所述”、“该”和“其”也可以包括复数形式，除非上下文清楚指出另外的方式。多个是指至少两个的情况，如2个、3个、5个或8个等。“和/或”包括相关所列项目的任何及所有组合。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间可以根据需要进行组合，且相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种消息回复方法，其特征在于，所述方法执行于配置有应用界面自动测试函数库的计算机设备，所述应用界面自动测试函数库包括用于在终端设备上模拟不同的用户操作行为的多个行为模拟函数；所述方法包括：

在所述终端设备未显示聊天软件的消息列表界面时，根据所述终端设备的当前显示界面信息，调用对应的行为模拟函数，以使所述终端设备响应于对应的操作事件，显示所述聊天软件的消息列表界面；

在所述终端设备显示所述聊天软件的消息列表界面时，根据未读消息标志控件的定位信息，向所述终端设备发送用于获取所述未读消息标志控件在当前显示的消息列表界面中的坐标值的坐标获取指令；

接收所述终端设备基于所述坐标获取指令所回应的坐标获取结果，若所述坐标获取结果不为空，则根据所述坐标获取结果中的每一坐标值，调用用于在所述终端设备上模拟用户点击行为的点击模拟函数，以使所述终端设备响应于对应的未读消息标志控件的点击事件，显示聊天窗口界面；

根据消息展示控件的定位信息，在当前显示的聊天窗口界面所展示的消息中确定未读消息；

确定每一未读消息的消息类型，并根据每一未读消息的消息类型生成回复消息的消息数据；

若所述回复消息的消息数据满足预先设置的消息合规判定规则，则基于所述回复消息的消息数据调用对应的行为模拟函数，以使所述终端设备响应于对应的操作事件，进行消息回复。

2.根据权利要求1所述的消息回复方法，其特征在于，根据消息展示控件的定位信息，在当前显示的聊天窗口界面所展示的消息中确定未读消息的步骤，包括：

根据所述消息展示控件的定位信息，向所述终端设备发送用于获取当前显示的聊天窗口界面中每个消息展示控件的属性值的属性获取指令；

接收所述终端设备基于所述属性获取指令所回应的属性获取结果，并按照从聊天窗口界面的底部向聊天窗口界面的顶部的次序，依次判断每个消息展示控件的属性值是否为目标属性值，若否，则将该消息展示控件所展示的消息作为未读消息，若是，则停止判断；其中，所述目标属性值为用于展示己方发送消息的消息展示控件所具备的属性值；

若所述属性获取结果中不存在所述目标属性值，则调用用于在所述终端设备上模拟用户滑动行为的滑动模拟函数，以使所述终端设备响应于第一滑动事件，更新当前显示的聊天窗口界面，直至更新后的聊天窗口界面所对应的属性获取结果中存在所述目标属性值；其中，在响应于同次第一滑动事件的更新中，更新前位于聊天窗口界面顶部的消息展示控件，在更新后位于聊天窗口界面的底部。

3.根据权利要求1所述的消息回复方法，其特征在于，根据每一未读消息的消息类型生成回复消息的消息数据的步骤，包括：

若存在文本未读消息，则批量获取各文本未读消息的消息文本；所述文本未读消息为纯文本消息类型的未读消息；

根据批量获取的消息文本调用预先配置的语义库接口，以得到所述语义库接口返回的所述回复消息的消息数据；所述回复消息的消息数据包括所述回复消息的消息内容及未读消息的数据结构；

若所述回复消息的消息数据满足预先设置的消息合规判定规则，则基于所述回复消息的消息数据调用对应的行为模拟函数的步骤，包括：

根据所述回复消息的消息内容，确定所述回复消息的消息类型；

若未读消息的数据结构满足预先设置的所述消息合规判定规则，且所述回复消息的消息类型为纯文本消息类型，则根据所述回复消息的消息内容以及当前显示的聊天窗口界面中文本输入控件的定位信息，调用所述应用界面自动测试函数库中的文本输入函数，以在所述文本输入控件中输入所述回复消息的消息内容；

基于当前显示的聊天窗口界面中发送确认控件的定位信息，调用所述点击模拟函数，以使所述终端设备响应于所述发送确认控件的点击事件，发送所述回复消息的消息内容。

4.根据权利要求3所述的消息回复方法，其特征在于，所述方法还包括：

若未读消息的数据结构中不包括suspicious:1，则确定未读消息的数据结构满足预先设置的所述消息合规判定规则，否则，确定未读消息的数据结构不满足预先设置的所述消息合规判定规则；

若未读消息的数据结构不满足预先设置的所述消息合规判定规则，则调用对应的行为模拟函数，以使所述终端设备响应于对应的操作事件，将发送对应消息的用户设为黑名单。

5.根据权利要求3所述的消息回复方法，其特征在于，若所述回复消息的消息数据满足预先设置的消息合规判定规则，则基于所述回复消息的消息数据调用对应的行为模拟函数的步骤，还包括：

若未读消息的数据结构满足预先设置的所述消息合规判定规则，且所述回复消息的消息类型为富文本消息类型，则根据客服选择控件的定位信息，调用所述点击模拟函数，以使所述终端设备响应于所述客服选择控件的点击事件，显示客服列表界面；

根据所述客服列表界面中客服展示控件的定位信息，调用所述点击模拟函数，以使所述终端设备响应于任一所述客服展示控件的点击事件，发送对应的客服链接。

6.根据权利要求3所述的消息回复方法，其特征在于，根据每一未读消息的消息类型生成回复消息的消息数据的步骤，还包括：

若存在语音未读消息，则依次将每个语音未读消息作为目标语音消息；所述语音未读消息为语音消息类型的未读消息；

根据所述目标语音消息对应的消息展示控件的定位信息，调用用于模拟用户长按行为的长按模拟函数，以使所述终端设备响应于所述目标语音消息对应的消息展示控件的长按事件，显示操作选择浮窗；

根据语音转文字选择控件的定位信息，调用所述点击模拟函数，以使所述终端设备响应于所述语音转文字选择控件的点击事件，显示所述目标语音消息所对应的消息文本；

调用所述应用界面自动测试函数库中的文本获取函数，以获取所述目标语音消息所对应的消息文本，直至获取各所述语音未读消息所对应的消息文本；

根据批量获取的消息文本调用预先配置的语义库接口，以得到所述语义库接口返回的所述回复消息的消息数据的步骤，包括：

根据各所述语音未读消息所对应的消息文本和批量获取的消息文本，调用预先配置的所述语义库接口，以得到所述语义库接口返回的所述回复消息的消息数据。

7.根据权利要求1至6任一项所述的消息回复方法，其特征在于，根据每一未读消息的消息类型生成回复消息的消息数据的步骤，包括：

若存在图片未读消息、视频未读消息和/或链接未读消息，则根据客服选择控件的定位信息，调用所述点击模拟函数，以使所述终端设备响应于所述客服选择控件的点击事件，显示客服列表界面；其中，所述图片未读消息为图片消息类型的未读消息，所述视频未读消息为视频消息类型的未读消息，所述链接未读消息为链接消息类型的未读消息；

根据所述客服列表界面中客服展示控件的定位信息，调用所述点击模拟函数，以使所述终端设备响应于任一所述客服展示控件的点击事件，发送对应的客服链接。

8.根据权利要求1至6任一项所述的消息回复方法，其特征在于，根据所述坐标获取结果中的每一坐标值，调用用于在所述终端设备上模拟用户点击行为的点击模拟函数的步骤之前，还包括：

若所述坐标获取结果不为空且所述计算机设备在执行自定义的消息列表遍历函数，则调用用于在所述终端设备上模拟用户滑动行为的滑动模拟函数，以使所述终端设备响应于第二滑动事件，更新当前显示的消息列表界面，直至当前显示的消息列表界面所对应的坐标获取结果为空；其中，在响应于同次第二滑动事件的更新中，更新前位于消息列表界面底部的联系人展示控件，在更新后位于消息列表界面的顶部；

若所述计算机设备在执行所述自定义的消息列表遍历函数且当前显示的消息列表界面所对应的坐标获取结果为空，则调用所述滑动模拟函数，以使所述终端设备响应于第一滑动事件，更新当前显示的消息列表界面；其中，在响应于同次第一滑动事件的更新中，更新前位于消息列表界面顶部的联系人展示控件，在更新后位于消息列表界面的底部；

接收所述终端设备基于所述坐标获取指令所回应的坐标获取结果的步骤之后，还包括：

若所述计算机设备未在执行所述自定义的消息列表遍历函数且当前显示的消息列表界面所对应的坐标获取结果为空，则调用所述滑动模拟函数，以使所述终端设备响应于所述第一滑动事件，更新当前显示的消息列表界面；

根据所述坐标获取结果中的每一坐标值，调用用于在所述终端设备上模拟用户点击行为的点击模拟函数的步骤，包括：

若所述计算机设备未在执行所述自定义的消息列表遍历函数，则根据所述坐标获取结果中的每一坐标值，调用用于在所述终端设备上模拟用户点击行为的点击模拟函数。

9.一种消息回复装置，其特征在于，所述装置执行于配置有应用界面自动测试函数库的计算机设备，所述应用界面自动测试函数库包括用于在终端设备上模拟不同的用户操作行为的多个行为模拟函数；所述装置包括：

消息列表界面跳转模块，用于在所述终端设备未显示聊天软件的消息列表界面时，根据所述终端设备的当前显示界面信息，调用对应的行为模拟函数，以使所述终端设备响应于对应的操作事件，显示所述聊天软件的消息列表界面；

坐标获取指令发送模块，用于在所述终端设备显示所述聊天软件的消息列表界面时，根据未读消息标志控件的定位信息，向所述终端设备发送用于获取所述未读消息标志控件在当前显示的消息列表界面中的坐标值的坐标获取指令；

聊天窗口界面跳转模块，用于接收所述终端设备基于所述坐标获取指令所回应的坐标获取结果，若所述坐标获取结果不为空，则根据所述坐标获取结果中的每一坐标值，调用用于在所述终端设备上模拟用户点击行为的点击模拟函数，以使所述终端设备响应于对应的未读消息标志控件的点击事件，显示聊天窗口界面；

未读消息确定模块，用于根据消息展示控件的定位信息，在当前显示的聊天窗口界面所展示的消息中确定未读消息；

回复消息生成模块，用于确定每一未读消息的消息类型，并根据每一未读消息的消息类型生成回复消息的消息数据；

回复消息发送模块，用于在所述回复消息的消息数据满足预先设置的消息合规判定规则的情况下，基于所述回复消息的消息数据调用对应的行为模拟函数，以使所述终端设备响应于对应的操作事件，进行消息回复。

10.一种存储介质，其特征在于，所述存储介质中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至8中任一项所述消息回复方法的步骤。

11.一种计算机设备，其特征在于，包括：一个或多个处理器，以及存储器；

所述存储器中存储有计算机可读指令，所述计算机可读指令被所述一个或多个处理器执行时，执行如权利要求1至8中任一项所述消息回复方法的步骤。

Images