CN111162961B - 发现移动应用主控服务器的方法、系统及可读存储介质 - Google Patents

Abstract

本发明公开了一种发现移动应用主控服务器的方法、系统及可读存储介质，所述方法包括：反编译应用，从反编译得到的文件中提取出URL信息、组件信息；基于所述组件信息模拟应用运行并触发相关网络行为，捕获网络数据包，从捕获的网络数据包中提取出URL信息和/或IP信息；从所有提取的URL信息、IP信息中过滤掉携带了第三方SDK的服务器信息的URL信息、IP信息；对过滤后的URL信息携带的域名进行打分以及对过滤后的IP信息进行打分，根据打分结果确定服务器信息，本发明可以简化操作步骤，提高应用主控服务器发现的准确率，可以减少人工的操作，提高工作效率，本发明可以用于移动应用监管领域，若出现不合规应用可以及时对应用主控服务器进行处理。

Description

发现移动应用主控服务器的方法、系统及可读存储介质

技术领域

本发明涉及信息技术领域，尤其涉及一种发现移动应用主控服务器的方法、系统及可读存储介质。

背景技术

随着互联网流量不断扩充，网络监管要面对庞大的网络数据流和变化多端的网络数据流量，现有发现移动应用的主控服务器的方案，需要人工大量参与，为了保证发现的主控服务器信息准确还需要对网络流量中提取的主控服务器信息进行依据反编译分析提取的进行验证，效率较低。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种发现移动应用主控服务器的方法、系统及可读存储介质。

本发明解决其技术问题所采用的技术方案是：

一方面，构造一种发现移动应用主控服务器的方法，所述方法包括：

反编译应用，从反编译得到的文件中提取出URL信息、组件信息；

基于所述组件信息模拟应用运行并触发相关网络行为，捕获网络数据包，从捕获的网络数据包中提取出URL信息和/或IP信息；

从所有提取的URL信息、IP信息中过滤掉携带了第三方SDK的服务器信息的URL信息、IP信息；

对过滤后的URL信息携带的域名进行打分以及对过滤后的IP信息进行打分，根据打分结果确定服务器信息。

优选地，所述组件信息包括窗口组件信息、服务组件信息、广播组件信息，所述的基于所述组件信息模拟应用运行并触发相关网络行为，包括：

将应用安装到模拟器上，根据窗口组件信息、服务组件信息、广播组件信息，通过am命令进行应用的界面启动和系统广播的发送，使用input命令实现模拟点击触发网络行为。

优选地，所述的从反编译得到的文件中提取出URL信息、组件信息，包括：

解析反编译过来的代码文件、XML文件和资源文件中的json、js、html文件，通过正则表达式匹配方式提取URL信息；

通过解析XML文件中的清单文件获取组件信息。

优选地，所述方法还包括：在通过解析清单文件提取组件信息的同时，还一并提取包名；以及，通过解析XML文件中的配置文件获取应用名；

所述的对过滤后的URL信息携带的域名进行打分，包括：将URL信息携带的域名分别与提取出的包名、应用名进行相似性判断并打分；结合URL信息携带的域名或对应IP所出现的次数，进行打分；将两次打分的结果进行综合计算得到每一个域名最终的置信分。

优选地，所述的将两次打分的结果进行综合计算得到每一个域名最终的置信分，是基于如下公式计算得到：

S1＝S1*P1+S2*(1-P1)

其中，S1代表综合计算得到的置信分，S1代表相似性判断对应的打分结果，S2代表域名出现次数对应的打分结果，P1为大于0且小于1的数值。

优选地，所述的对过滤后的IP信息进行打分，包括：如果所述IP不存在同时提取出的对应的域名，则直接根据所述IP出现的次数，进行打分。

优选地，所述方法还包括：在从捕获的网络数据包中提取出URL信息和/或IP信息时，还一并提取host信息；在确定服务器信息时，一并输出对应的host信息、URL信息、IP信息。

二方面，构造一种发现移动应用主控服务器的系统，所述系统包括：

静态提取模块，用于反编译应用，从反编译得到的文件中提取出URL信息、组件信息；

动态提取模块，用于基于所述组件信息模拟应用运行并触发相关网络行为，捕获网络数据包，从捕获的网络数据包中提取出URL信息和/或IP信息；

过滤模块，用于从所有提取的URL信息、IP信息中过滤掉携带了第三方SDK的服务器信息的URL信息、IP信息；

服务器信息确定模块，用于对过滤后的URL信息携带的域名进行打分以及对过滤后的IP信息进行打分，根据打分结果确定服务器信息。

三方面，构造一种发现移动应用主控服务器的系统，其特征在于，包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序被处理器执行时实现如前所述的方法的步骤。

四方面，构造一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时实现如前所述的方法的步骤。

本发明的发现移动应用主控服务器的方法、系统及可读存储介质，具有以下有益效果：本发明通过对应用在静态层面和动态层面同时提取相关服务器信息，而且对于提取的信息进行第三方过滤，减少第三方数据干扰，最终通过置信打分方式确定服务器信息，简化操作步骤，提高应用主控服务器发现的准确率，可以减少人工的操作，提高工作效率，本发明可以用于移动应用监管领域，若出现不合规应用可以及时对应用主控服务器进行处理。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图：

图1是本发明发现移动应用主控服务器的方法的流程图；

图2是本发明发现移动应用主控服务器的方法的具体流程图；

图3是本发明发现移动应用主控服务器的系统的框图。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的典型实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。应当理解本发明实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。

实施例一

参考图1，本实施例的发现移动应用主控服务器的方法包括：

S101：反编译应用，从反编译得到的文件中提取出URL信息、组件信息、包名、应用名。

具体来说，可以使用反编译工具apktool对应用进行反编译获取反编译过来的文件，反编译过来的文件包括代码文件(主要是.smali文件)、XML文件和资源文件。

具体来说，提取过程主要包括：

1)解析反编译过来的.smali、XML文件和资源文件中的json、js、html文件，通过正则表达式匹配方式提取URL信息。比如说，域名正则匹配规则就是针对http流量中的代表域名字段的匹配规则。

2)通过解析XML文件中的清单文件(即AndroidManifest.xml文件)获取组件信息和应用包名。比如说，根据文件中的packagename字段，以及activity、service、broadcast标签获取包名和窗口组件信息、服务组件信息、广播组件信息。

3)通过解析XML文件中的配置文件(即string.xml文件)获取应用名。比如说，通过string.xml文件中的字段app_name可以获取应用名。

S102：基于所述组件信息模拟应用运行并触发相关网络行为，捕获网络数据包，从捕获的网络数据包中提取出URL信息和/或IP信息。

参考图2，其中，所述的基于所述组件信息模拟应用运行并触发相关网络行为，包括：将应用安装到模拟器上，比如说如果监测的是安卓移动应用，则将该应用安装到公开的Android模拟器上；根据窗口组件信息、服务组件信息、广播组件信息，通过am命令进行应用的界面启动和系统广播的发送，使用input命令实现模拟点击触发网络行为，比如说：使用如下三个命令进行应用的界面启动，服务启动和系统广播的发送：

am start–n<packagename/activityname>,

am start services<packagename/servicename>,

am broadcast<broadcast name>，

使用input tap<x><y>，input text<string>，input swipe<x1><y1><x2><y2>命令实现模拟点击，通过启动应用的界面、服务等组件触发相关网络行为，通过模拟点击触发网络行为，使得捕获的网络数据包较为全面。

可以理解的是，本步骤在从捕获的网络数据包中提取信息时，有可能仅提取到URL信息，有可能仅提取到IP信息，还有可能同时提取到URL信息和IP信息。

S103：从所有提取的URL信息、IP信息中过滤掉携带了第三方SDK的服务器信息的URL信息、IP信息。

第三方SDK的服务器信息可以预先获取，并从存放到过滤数据库中。URL信息中包含域名，该域名属于一种服务器信息，IP信息也属于一种服务器信息，因此本步骤可以针对所有的URL信息所携带的域名和所有IP信息，利用预置的过滤数据库进行过滤，减少第三方数据干扰。

S104：对过滤后的URL信息携带的域名进行打分以及对过滤后的IP信息进行打分，根据打分结果确定服务器信息。

具体的，一方面，所述的对过滤后的URL信息携带的域名进行打分，包括：

1)将URL信息携带的域名分别与提取出的包名、应用名进行相似性判断并打分。

这里，我们是将域名与包名进行一次相似性打分来评估域名和包名之间的相似度，如当前url域名为“www.ssdc.com”,当前包名为“com.ssdce”通过域名中的“ssdc”与包名中的“ssdce”进行相似性判断打分；将域名和应用名(这里是指应用名的拼音)再进行一次相似性打分来评估域名和应用名之间的相似度；最后，两个打分取最高值作为最终的相似性打分结果。

其中，相似性判断可以采用既有的算法，比如可以选用编辑距离算法。

2)结合URL信息携带的域名或对应IP所出现的次数，进行打分。次数越多分数越高。比如说每出现一次算0.01分。

3)将两次打分的结果进行综合计算得到每一个域名最终的置信分。比如说，一个具体的方式中，所述的将两次打分的结果进行综合计算得到每一个域名最终的置信分，是基于如下公式计算得到：

S1＝S1*P1+S2*(1-P1)

其中，S1代表综合计算得到的置信分，S1代表相似性判断对应的打分结果，S2代表域名出现次数对应的打分结果，P1为大于0且小于1的数值。比如说，P1优选为86％。

另一方面，所述的对过滤后的IP信息进行打分，包括：如果所述IP不存在同时提取出的对应的域名，则直接根据所述IP出现的次数，进行打分。

参考图2，其中，所述的根据打分结果确定服务器信息，具体包括：选择打分结果较高的URL信息携带的域名、IP信息作为最终的服务器信息。

优选地，所述方法还包括：在步骤S102从捕获的网络数据包中提取出URL信息和/或IP信息时，还一并提取host信息；在确定服务器信息时，一并输出对应的host信息、URL信息、IP信息。

可见，本实施例通过静态动态结合的自动化的检测流程，进行相关信息的提取，而且利用域名与包名、程序名的关联性识别主控服务器，而且对于提取的信息进行第三方过滤，减少第三方数据干扰，最终通过置信打分方式确定服务器信息，简化操作步骤，提高应用主控服务器发现的准确率，可以减少人工的操作，提高工作效率，本发明可以用于移动应用监管领域，若出现不合规应用可以及时对应用主控服务器进行处理。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。

实施例二

基于同一发明构思，参考图3，本实施例公开了一种发现移动应用主控服务器的系统，包括：静态提取模块201，动态提取模块202，过滤模块203，服务器信息确定模块204。

静态提取模块201，用于反编译应用，从反编译得到的文件中提取出URL信息、组件信息。

具体来说，可以使用反编译工具apktool对应用进行反编译获取反编译过来的文件，反编译过来的文件包括代码文件(主要是.smali文件)、XML文件和资源文件。

具体来说，提取过程主要包括：

1)解析反编译过来的.smali、XML文件和资源文件中的json、js、html文件，通过正则表达式匹配方式提取URL信息。比如说，域名正则匹配规则就是针对http流量中的代表域名字段的匹配规则。

2)通过解析XML文件中的清单文件(即AndroidManifest.xml文件)获取组件信息和应用包名。比如说，根据文件中的packagename字段，以及activity、service、broadcast标签获取包名和窗口组件信息、服务组件信息、广播组件信息。

3)通过解析XML文件中的配置文件(即string.xml文件)获取应用名。比如说，通过string.xml文件中的字段app_name可以获取应用名。

动态提取模块202，用于基于所述组件信息模拟应用运行并触发相关网络行为，捕获网络数据包，从捕获的网络数据包中提取出URL信息和/或IP信息。

参考图2，其中，所述的基于所述组件信息模拟应用运行并触发相关网络行为，包括：将应用安装到模拟器上，比如说如果监测的是安卓移动应用，则将该应用安装到公开的Android模拟器上；根据窗口组件信息、服务组件信息、广播组件信息，通过am命令进行应用的界面启动和系统广播的发送，使用input命令实现模拟点击触发网络行为，比如说：使用如下三个命令进行应用的界面启动，服务启动和系统广播的发送：

am start–n<packagename/activityname>,

am start services<packagename/servicename>,

am broadcast<broadcast name>，

使用input tap<x><y>，input text<string>，input swipe<x1><y1><x2><y2>命令实现模拟点击，通过启动应用的界面、服务等组件触发相关网络行为，通过模拟点击触发网络行为，使得捕获的网络数据包较为全面。

可以理解的是，动态提取模块202在从捕获的网络数据包中提取信息时，有可能仅提取到URL信息，有可能仅提取到IP信息，还有可能同时提取到URL信息和IP信息。

过滤模块203，用于从所有提取的URL信息、IP信息中过滤掉携带了第三方SDK的服务器信息的URL信息、IP信息。

第三方SDK的服务器信息可以预先获取，并从存放到过滤数据库中。URL信息中包含域名，该域名属于一种服务器信息，IP信息也属于一种服务器信息，因此过滤模块203可以针对所有的URL信息所携带的域名和所有IP信息，利用预置的过滤数据库进行过滤，减少第三方数据干扰。

服务器信息确定模块204，用于对过滤后的URL信息携带的域名进行打分以及对过滤后的IP信息进行打分，根据打分结果确定服务器信息。

具体的，一方面，所述的对过滤后的URL信息携带的域名进行打分，包括：

1)将URL信息携带的域名分别与提取出的包名、应用名进行相似性判断并打分。

这里，我们是将域名与包名进行一次相似性打分来评估域名和包名之间的相似度，如当前url域名为“www.ssdc.com”,当前包名为“com.ssdce”通过域名中的“ssdc”与包名中的“ssdce”进行相似性判断打分；将域名和应用名(这里是指应用名的拼音)再进行一次相似性打分来评估域名和应用名之间的相似度；最后，两个打分取最高值作为最终的相似性打分结果。

其中，相似性判断可以采用既有的算法，比如可以选用编辑距离算法。

2)结合URL信息携带的域名或对应IP所出现的次数，进行打分。次数越多分数越高。比如说每出现一次算0.01分。

3)将两次打分的结果进行综合计算得到每一个域名最终的置信分。比如说，一个具体的方式中，所述的将两次打分的结果进行综合计算得到每一个域名最终的置信分，是基于如下公式计算得到：

S1＝S1*P1+S2*(1-P1)

其中，S1代表综合计算得到的置信分，S1代表相似性判断对应的打分结果，S2代表域名出现次数对应的打分结果，P1为大于0且小于1的数值。比如说，P1优选为86％。

另一方面，所述的对过滤后的IP信息进行打分，包括：如果所述IP不存在同时提取出的对应的域名，则直接根据所述IP出现的次数，进行打分。

其中，所述的根据打分结果确定服务器信息，具体包括：选择打分结果较高的URL信息携带的域名、IP信息作为最终的服务器信息。

优选地，动态提取模块202从捕获的网络数据包中提取出URL信息和/或IP信息时，还一并提取host信息；服务器信息确定模块204在确定服务器信息时，一并输出对应的host信息、URL信息、IP信息。

本发明实施例所述装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

上述描述涉及各种模块。这些模块通常包括硬件和/或硬件与软件的组合(例如固化软件)。这些模块还可以包括包含指令(例如，软件指令)的计算机可读介质(例如，永久性介质)，当处理器执行这些指令时，就可以执行本发明的各种功能性特点。相应地，除非明确要求，本发明的范围不受实施例中明确提到的模块中的特定硬件和/或软件特性的限制。作为非限制性例子，本发明在实施例中可以由一种或多种处理器执行软件指令。需要指出的是，上文对各种模块的描述中，分割成这些模块，是为了说明清楚。然而，在实际实施中，各种模块的界限可以是模糊的。例如，本文中的任意或所有功能性模块可以共享各种硬件和/或软件元件。又例如，本文中的任何和/或所有功能模块可以由共有的处理器执行软件指令来全部或部分实施。另外，由一个或多个处理器执行的各种软件子模块可以在各种软件模块间共享。相应地，除非明确要求，本发明的范围不受各种硬件和/或软件元件间强制性界限的限制。

实施例三

基于同一发明构思，本实施例公开了一种发现移动应用主控服务器的系统，其特征在于，包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序被处理器执行时实现如实施例一所述的方法的步骤。

实施例四

基于同一发明构思，本实施例公开了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如实施例一所述的方法的步骤。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (10)

1.一种发现移动应用主控服务器的方法，其特征在于，所述方法包括：

反编译应用，从反编译得到的文件中提取出URL信息、组件信息；

基于所述组件信息模拟应用运行并触发相关网络行为，捕获网络数据包，从捕获的网络数据包中提取出URL信息和/或IP信息；

从所有提取的URL信息、IP信息中过滤掉携带了第三方SDK的服务器信息的URL信息、IP信息；

对过滤后的URL信息携带的域名进行打分以及对过滤后的IP信息进行打分，根据打分结果确定服务器信息。

2.根据权利要求1所述的方法，其特征在于，所述组件信息包括窗口组件信息、服务组件信息、广播组件信息，所述的基于所述组件信息模拟应用运行并触发相关网络行为，包括：

将应用安装到模拟器上，根据窗口组件信息、服务组件信息、广播组件信息，通过am命令进行应用的界面启动和系统广播的发送，使用input命令实现模拟点击触发网络行为。

3.根据权利要求1所述的方法，其特征在于，所述的从反编译得到的文件中提取出URL信息、组件信息，包括：

解析反编译过来的代码文件、XML文件和资源文件中的三类文件，通过正则表达式匹配方式提取URL信息，其中，所述资源文件中的三类文件是json文件、js文件、html文件；

通过解析XML文件中的清单文件获取组件信息。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：在通过解析清单文件提取组件信息的同时，还一并提取包名；以及，通过解析XML文件中的配置文件获取应用名；

所述的对过滤后的URL信息携带的域名进行打分，包括：将URL信息携带的域名分别与提取出的包名、应用名进行相似性判断并打分；结合URL信息携带的域名所出现的次数和域名对应IP所出现的次数，进行打分；将两次打分的结果进行综合计算得到每一个域名最终的置信分。

5.根据权利要求4所述的方法，其特征在于，所述的将两次打分的结果进行综合计算得到每一个域名最终的置信分，是基于如下公式计算得到：

S0=S1*P1+S2*（1-P1）

其中，S0代表综合计算得到的置信分，S1代表相似性判断对应的打分结果，S2代表域名所出现的次数和域名对应IP所出现次数对应的打分结果，P1为大于0且小于1的数值。

6.根据权利要求5所述的方法，其特征在于，所述的对过滤后的IP信息进行打分，包括：如果所述IP不存在同时提取出的对应的域名，则直接根据所述IP出现的次数，进行打分。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：在从捕获的网络数据包中提取出URL信息和/或IP信息时，还一并提取host信息；在确定服务器信息时，一并输出对应的host信息、URL信息、IP信息。

8.一种发现移动应用主控服务器的系统，其特征在于，所述系统包括：

静态提取模块，用于反编译应用，从反编译得到的文件中提取出URL信息、组件信息；

动态提取模块，用于基于所述组件信息模拟应用运行并触发相关网络行为，捕获网络数据包，从捕获的网络数据包中提取出URL信息和/或IP信息；

过滤模块，用于从所有提取的URL信息、IP信息中过滤掉携带了第三方SDK的服务器信息的URL信息、IP信息；

服务器信息确定模块，用于对过滤后的URL信息携带的域名进行打分以及对过滤后的IP信息进行打分，根据打分结果确定服务器信息。

9.一种发现移动应用主控服务器的系统，其特征在于，包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的方法的步骤。

10.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的方法的步骤。

Images