CN111859370B - 识别服务的方法、装置、电子设备和计算机可读存储介质 - Google Patents

Abstract

本公开的实施例涉及一种用于识别服务方法、装置、电子设备和计算机可读存储介质，涉及人工智能领域。该方法可以包括接收来自终端设备的应用状态信息，该应用状态信息包括与终端设备上运行的应用的操作状态有关的信息。该方法进一步包括确定应用状态信息的特征表示。此外，该方法还可以包括基于特征表示，识别应用当前正在提供的服务。本公开的技术方案可以自动识别被监控的APP所使用的服务，从而降低合规测试的时间和人力成本。另外，本公开还可以应用于对用户隐私的实时保护，即，通过用户的终端设备实时上传的应用状态信息还确定在该用户设备中运行的应用所使用的服务，从而在该服务不合规时提醒用户。

Description

识别服务的方法、装置、电子设备和计算机可读存储介质

技术领域

本公开的实施例主要涉及计算机人工智能领域，并且更具体地，涉及用于识别服务的方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

背景技术

近年来，应用(APP)合规业务越来越受到重视，很多国家均出台了各种法律法规来约束APP对用户的隐私信息的收集行为。然而，面对大量APP的合规与测试工作，仅依靠人力来完成测试任务的模式已经无法满足当前合规业务的需求。因此，需要一整套自动化的测试方法来实现对待测试的APP的各种服务的高效识别。此外，针对目前个别APP的隐私信息的收集行为，用户本身也有对个人终端设备所运行的APP进行实时监控以识别其服务是否合规的需求。因此，如何高效且准确地实现APP服务识别是目前亟待解决的问题。

发明内容

根据本公开的示例实施例，提供了一种用于识别服务的方案。

在本公开的第一方面中，提供了一种用于识别服务的方法。该方法可以包括接收来自终端设备的应用状态信息，该应用状态信息包括与终端设备上运行的应用的操作状态有关的信息。该方法进一步包括确定应用状态信息的特征表示。此外，该方法还可以包括基于特征表示，识别应用当前正在提供的服务。

在本公开的第二方面中，提供了一种用于识别服务的装置，包括：应用状态信息接收模块，被配置为接收来自终端设备的应用状态信息，所述应用状态信息包括与所述终端设备上运行的应用的操作状态有关的信息；特征表示确定模块，被配置为确定所述应用状态信息的特征表示；以及服务识别模块，被配置为基于所述特征表示，识别所述应用当前正在提供的服务。

在本公开的第三方面中，提供了一种电子设备，包括一个或多个处理器；以及存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现根据本公开的第一方面的方法。

在本公开的第四方面中，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现根据本公开的第一方面的方法。

在本公开的第五方面中，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据本公开的第一方面的方法。

应当理解，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。

附图说明

结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素，其中：

图1示出了本公开的多个实施例能够在其中实现的示例环境的示意图；

图2示出了本公开的多个实施例能够在其中实现的详细示例环境的示意图；

图3示出了根据本公开的实施例的用于识别服务的过程的流程图；

图4示出了根据本公开的实施例的被监控应用的界面控件的逻辑结构的示意图；

图5示出了根据本公开的实施例的用于识别服务的装置的框图；以及

图6示出了能够实施本公开的多个实施例的计算设备的框图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。

为了对在诸如手机的终端设备上运行的应用进行合规测试，通常会采用人工测试的方式来对该应用的各个服务(也成为业务功能)进行测试。然而，目前每天待上线的应用已经开始呈现指数级增长，用于测试应用的人力成本也将显著增加。如上文提及的，亟需一种服务识别方法，来快速高效且低成本地确定应用正在提供的服务，从而降低合规测试的时间和人力成本。

根据本公开的实施例，提出了一种用于识别应用的服务的方案。在该方案中，将由移动设备获取的应用状态信息(可包含界面控件树、屏幕图像等)输入经训练的服务识别模型，以识别该应用当前所执行的服务。以此方式，即便存在大量待测试的应用，也可以自动快速且准确地识别待测试的应用的各种服务，从而提升合规测试的效率。

以下将参照附图来具体描述本公开的实施例。图1示出了本公开的多个实施例能够在其中实现的示例环境100的示意图。如图1所示，示例环境100中包含应用状态信息110、计算设备120、和输出的服务140。此外，计算设备110中还包含识别模型130。应用状态信息110来自终端设备150。终端设备150通常可以基于计算设备120的请求或者程控指令来将于其上运行的APP 160的操作状态有关的信息作为应用状态信息110发送至计算设备120。

应理解，图1中的终端设备150作为APP 160的运行平台，可以是手机或其他终端设备，也可以是模拟器或云手机。云手机可以是基于云计算的ARM架构仿真手机，支持批量群控、界面实时预览、云机授权管理、灵活组网等功能。图1中的APP 160可以是安装、运行在终端设备150上的应用。图1中的服务140也可成为业务功能，用于满足用于的具体使用需求，例如，包括但不限于，地图导航、网络约车、在线购票、网络支付、视频聊天等。图1中的计算设备120可以是与终端设备150通信连接的测试系统或服务器，其中的识别模型130可以是用于识别服务分类器(例如，二分类器或多分类器)，还可以是具备学习功能的人工智能网络等。

在图1中，基于应用状态信息110来确定出服务140的关键在于：计算设备120中的识别模型130是通过预先训练构建的，下文将通过图2对识别模型130的构建和使用进行描述。

图2示出了本公开的多个实施例能够在其中实现的详细示例环境200的示意图。与图1类似地，示例环境200可以包含计算设备220、应用状态信息210和输出的服务240。区别在于，示例环境200总体上可以包括模型训练系统260和模型应用系统270。作为示例，模型训练系统260和/或模型应用系统270可以在如图1所示的计算设备120或如图2所示的计算设备220中实现。应当理解，仅出于示例性的目的描述示例环境200的结构和功能并不旨在限制本文所描述主题的范围。本文所描述主题可以在不同的结构和/或功能中实施。

如前所述，识别服务的过程可以分为两个阶段：模型训练阶段和模型应用阶段。作为示例，在模型训练阶段中，模型训练系统260可以利用训练数据集250来训练识别服务的识别模型230。在模型应用阶段中，模型应用系统270可以接收经训练的识别模型230，从而由识别模型230基于应用状态信息210来识别出服务240。应理解，训练数据集250可以是海量的被标注的参考特征表示(作为输入)和参考服务(作为输出)。

在其他实施例中，识别模型230可以被构建为用于识别服务的学习网络。这样的学习网络也可以被称为学习模型，或者被简称为网络或模型。在一些实施例中，用于识别服务的学习网络可以包括多个网络，其中每个网络可以是一个多层神经网络，其可以由大量的神经元组成。通过训练过程，每个网络中的神经元的相应参数能够被确定。这些网络中的神经元的参数被统称为识别模型230的参数。

识别模型230的训练过程可以以迭代方式来被执行。具体地，模型训练系统260可以从训练数据集250中获取参考特征表示和参考服务，并且利用参考特征表示和参考服务来进行训练过程的一次迭代，以更新识别模型230的相应参数。模型训练系统260可以基于训练数据集250中的多个参考特征表示和参考服务重复执行上述过程，直至识别模型230的参数中的至少部分参数收敛，由此获得最终的模型参数。

上文描述的技术方案仅用于示例，而非限制本发明。应理解，还可以按照其他方式和连接关系来布置各个网络。为了更清楚地解释上述方案的原理，下文将参考图3来更详细描述识别服务的过程。

图3示出了根据本公开的实施例的用于识别服务的过程300的流程图。在某些实施例中，方法300可以在图1的计算设备120、图2的计算设备220中实现。现参照图1描述根据本公开实施例的用于识别服务的过程300。为了便于理解，在下文描述中提及的具体实例均是示例性的，并不用于限定本公开的保护范围。

在302，计算设备120可以接收来自终端设备150的应用状态信息110，并且该应用状态信息110可以包括与终端设备150上运行的APP 160的操作状态有关的信息。作为示例，计算设备120可以向终端设备150发送关于应用状态信息110的请求(或指令)，并且在终端设备150抓取到应用状态信息110后，计算设备120可以接收针对该请求的至少包含应用状态信息110的响应(或反馈)。应理解，除了由计算设备120向终端设备150发送请求的方式之外，终端设备150还可以通过系统插桩、HOOK等方式来监控APP 160运行并抓取状态信息，例如，可以通过AccessbilityService或者UiAutomator等工具来监控应用场景并在每次应用场景改变后抓取应用状态信息110并上传。备选地或附加地，终端设备150还可以定期抓取应用状态信息110并上传。以此方式，计算设备120可以实时地获取APP 160的应用状态信息110，从而可以实时地识别APP 160正在使用的服务，比人工测试更为准确，且无遗漏。

在某些实施例中，应用状态信息110可以是APP 160的界面的图像，即，截图。此外，应用状态信息110还可以是APP 160的界面控件的逻辑结构，例如，控件树。当然，应用状态信息110也可以是APP 160所调用的应用程序接口以及权限。应理解，应用状态信息110可以是以上各种信息的组合，从而为识别服务的操作提供更为全面的依据。

在304，计算设备120可以确定应用状态信息110的特征表示。作为示例，计算设备120可以对应用状态信息110进行预处理，以滤除无效信息，并且从经预处理的应用状态信息110中提取关键属性特征。之后，计算设备120可以对关键属性特征进行向量化，以获取特征表示。以此方式，可以综合各种应用状态信息，从而为识别服务的操作提供更为全面的依据。

在某些实施例中，当应用状态信息110包括APP 160的界面的图像(即，截图)时，计算设备120可以从该图像中提取关键图像特征作为关键属性特征，并且对关键图像特征进行向量化，以获取特征表示。以此方式，可以仅通过考虑截图信息实现诸如扫码付费功能的快速识别。

在另一些实施例中，当应用状态信息110包括APP 160的界面控件的逻辑结构时，计算设备120可以从该逻辑结构(例如，控件树)中提取关键界面控件特征作为关键属性特征。例如，可以提取控件树中所涉及的控件的类型、坐标、状态、命名、文字标签等信息。之后，计算设备120可以对关键界面控件特征进行向量化，以获取特征表示。以此方式，可以仅通过考虑控件树信息实现服务的识别。

图4更为详细地示出了根据本公开的实施例的被监控应用的界面控件的控件树400的逻辑结构的示意图。应理解，APP的界面一般由若干个控件组成，常用控件可以包括视图(View)、布局(Layout)、按钮(Button)和文本框(TextEdit)等。所有控件可以组织成一个树形的结构，这个树形结构描述了控件的排列方式和层次结构等。如图4所示，控件树400可以包含多个控件节点，例如，根节点411以及根节点411的下一级节点，布局421、422和423。每个布局均可以包含更下一级的节点。例如，布局421的下一级节点为文本框431，布局422的下一级节点分别为视图432和按钮433，并且布局423的下一级节点为识图434。将该逻辑结构提取为特征表示将有助于更准确地确定APP 160正在使用的服务。

之后，回到图3。在306，计算设备120可以基于特征表示识别APP 160当前正在提供的服务。作为示例，计算设备120可以将特征表示应用于识别模型130，以确定APP 160当前正在提供的服务140。如前所述，识别模型130可以是将参考特征表示作为输入以及将参考服务作为输出来训练得到的。以此方式，可以自动识别被监控的APP所使用的服务，从而节约人力成本。

通过以上方式，可以对大量应用进行批量的自动化测试，以便自动、快速且准确地识别待测试的应用的各种服务，从而提升合规测试的效率，保护用户的隐私。此外，用户也可以通过在终端设备150上安装监控插件来自动上传应用状态信息110，一旦识别模型130识别出该终端设备150上运行的APP 160正在使用不合规的服务140，就可以按照报警或生成报告的方式来提醒用户，从而实现对用户隐私的实时保护。

图5示出了根据本公开的实施例的用于识别服务的装置500的框图。如图5所示，装置500可以包括：应用状态信息接收模块502，被配置为接收来自终端设备的应用状态信息，所述应用状态信息包括与所述终端设备上运行的应用的操作状态有关的信息；特征表示确定模块504，被配置为确定所述应用状态信息的特征表示；以及服务识别模块506，被配置为基于所述特征表示，识别所述应用当前正在提供的服务。

在某些实施例中，应用状态信息接收模块502可以包括：请求发送模块，被配置为向所述终端设备发送关于所述应用状态信息的请求；以及响应接收模块，被配置为接收来自所述终端设备的针对所述请求的响应，所述响应至少包括所述应用状态信息。

在某些实施例中，特征表示确定模块504可以包括：预处理模块，被配置为对所述应用状态信息进行预处理，以滤除无效信息；关键属性特征提取模块，被配置为从经预处理的所述应用状态信息中提取关键属性特征；以及向量化模块，被配置为对所述关键属性特征进行向量化，以获取所述特征表示。

在某些实施例中，应用状态信息可以包括所述应用的界面控件的逻辑结构，并且其中特征表示确定模块504可以包括：关键界面控件特征提取模块，被配置为从所述逻辑结构中提取关键界面控件特征；以及控件特征向量化模块，被配置为对所述关键界面控件特征进行向量化，以获取所述特征表示。

在某些实施例中，应用状态信息可以包括所述应用的界面的图像，并且其中特征表示确定模块504可以包括：关键图像特征提取模块，被配置为从所述图像中提取关键图像特征；以及图像特征向量化模块，被配置为对所述关键图像特征进行向量化，以获取所述特征表示。

在某些实施例中，服务识别模块506被配置为将所述特征表示应用于服务识别模型，以确定所述应用当前正在提供的服务，所述服务识别模型是将参考特征表示作为输入以及将参考服务作为输出来训练得到的。

在某些实施例中，应用状态信息至少包括以下中的至少一项：所述应用的界面控件的逻辑结构；所述应用的界面的图像；所述应用所调用的应用程序接口；以及所述应用的权限。

图6示出了能够实施本公开的多个实施例的计算设备600的框图。设备600可以用于实现图1的计算设备120或者图2中的计算设备220。如图所示，设备600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的计算机程序指令或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序指令，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线504。

设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理单元601执行上文所描述的各个方法和处理，例如过程300。例如，在一些实施例中，过程300可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由CPU 601执行时，可以执行上文描述的过程300的一个或多个步骤。备选地，在其他实施例中，CPU 601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行过程300。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (8)

1.一种在与终端设备通信连接的服务器处执行的用于识别服务的方法，包括：

接收来自所述终端设备的应用状态信息，所述应用状态信息包括与所述终端设备上运行的应用的操作状态有关的信息；

确定所述应用状态信息的特征表示；以及

基于所述特征表示，识别所述应用当前正在提供的服务；

其中所述应用状态信息至少包括：

所述应用的界面控件的逻辑结构；以及

所述应用的界面的图像；

其中确定所述特征表示包括：

从所述逻辑结构中提取关键界面控件特征；以及

对所述关键界面控件特征进行向量化，以获取所述特征表示；以及

从所述图像中提取关键图像特征；以及

对所述关键图像特征进行向量化，以获取所述特征表示；

其中识别所述应用当前正在提供的服务包括：

将所述特征表示应用于服务识别模型，以确定所述应用当前正在提供的服务，所述服务识别模型是将参考特征表示作为输入以及将参考服务作为输出来训练得到的。

2.根据权利要求1所述的方法，其中接收所述应用状态信息包括：

向所述终端设备发送关于所述应用状态信息的请求；以及

接收来自所述终端设备的针对所述请求的响应，所述响应至少包括所述应用状态信息。

3.根据权利要求1所述的方法，其中确定所述特征表示包括：

对所述应用状态信息进行预处理，以滤除无效信息；

从经预处理的所述应用状态信息中提取关键属性特征；以及

对所述关键属性特征进行向量化，以获取所述特征表示。

4.一种在与终端设备通信连接的服务器处执行的用于识别服务的装置，包括：

应用状态信息接收模块，被配置为接收来自所述终端设备的应用状态信息，所述应用状态信息包括与所述终端设备上运行的应用的操作状态有关的信息；

特征表示确定模块，被配置为确定所述应用状态信息的特征表示；以及

服务识别模块，被配置为基于所述特征表示，识别所述应用当前正在提供的服务；

其中所述应用状态信息至少包括：

所述应用的界面控件的逻辑结构；以及

所述应用的界面的图像；

其中所述特征表示确定模块包括：

关键界面控件特征提取模块，被配置为从所述逻辑结构中提取关键界面控件特征；以及

控件特征向量化模块，被配置为对所述关键界面控件特征进行向量化，以获取所述特征表示；以及

关键图像特征提取模块，被配置为从所述图像中提取关键图像特征；以及

图像特征向量化模块，被配置为对所述关键图像特征进行向量化，以获取所述特征表示；

其中所述服务识别模块被配置为：

将所述特征表示应用于服务识别模型，以确定所述应用当前正在提供的服务，所述服务识别模型是将参考特征表示作为输入以及将参考服务作为输出来训练得到的。

5.根据权利要求4所述的装置，其中所述应用状态信息接收模块包括：

请求发送模块，被配置为向所述终端设备发送关于所述应用状态信息的请求；以及

响应接收模块，被配置为接收来自所述终端设备的针对所述请求的响应，所述响应至少包括所述应用状态信息。

6.根据权利要求4所述的装置，其中所述特征表示确定模块包括：预处理模块，被配置为对所述应用状态信息进行预处理，以滤除无效信息；

关键属性特征提取模块，被配置为从经预处理的所述应用状态信息中提取关键属性特征；以及向量化模块，被配置为对所述关键属性特征进行向量化，以获取所述特征表示。

7.一种电子设备，所述电子设备包括：

一个或多个处理器；以及

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-3中任一项所述的方法。

8.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如权利要求1-3任一项所述的方法。