CN110865851A - 一种Android应用数据自动采集方法及系统 - Google Patents

一种Android应用数据自动采集方法及系统 Download PDF

Info

Publication number
CN110865851A
CN110865851A CN201911132343.2A CN201911132343A CN110865851A CN 110865851 A CN110865851 A CN 110865851A CN 201911132343 A CN201911132343 A CN 201911132343A CN 110865851 A CN110865851 A CN 110865851A
Authority
CN
China
Prior art keywords
data
activity
android application
traversal
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911132343.2A
Other languages
English (en)
Other versions
CN110865851B (zh
Inventor
程立
赖林
邓浩然
鲁爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Travelsky Technology Co Ltd
Original Assignee
China Travelsky Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Travelsky Technology Co Ltd filed Critical China Travelsky Technology Co Ltd
Priority to CN201911132343.2A priority Critical patent/CN110865851B/zh
Publication of CN110865851A publication Critical patent/CN110865851A/zh
Application granted granted Critical
Publication of CN110865851B publication Critical patent/CN110865851B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44568—Immediately runnable code
    • G06F9/44584—Portable applications, i.e. making applications self-contained, e.g. U3 standard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44594—Unloading
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Stored Programmes (AREA)

Abstract

本发明公开了一种Android应用数据自动采集方法及系统，方法包括：在安装并启动Android应用后，获取当前Activity树状结构图，通过特定属性识别出可操作控件，利用已封装好的操作动作匹配相应操作控件，深度遍历所有Activity并获取数据，对数据进行清洗并入库，卸载Android应用。本发明能够基于Appium开源框架，以深度遍历算法为核心，实现对Android应用中特定数据的自动采集。

Description

一种Android应用数据自动采集方法及系统
技术领域
本发明涉及数据处理技术领域，尤其涉及一种Android应用数据自动采集方法及系统。
背景技术
随着移动互联网的迅猛发展，各类应用如雨后春笋般涌现出来，人们对智能手机依赖度远超过PC电脑。Android系统作为当前用户增长最快的智能手机操作系统，其平台具备多样性、可塑造性等特质，被运用到多个领域范畴，也就成为人们研究的重点。于是移动端APP数据内容采集这方面的需求也越来越多，而APP数据采集却是一个难点。
纵观整个行业，目前还没有成熟的APP数据抓取方案和具体实现。通过现有技术的调研，APP数据获取主要考虑两种方向，一种是主动爬取，另一种是被动接受。现有的主动爬取APP数据的方案采取截获数据传输包的形式进行，通过webservice通讯协议，抓取公开数据、无加密的数据。但这种方式存在一定的问题，如果碰到的是用SSL/TLS等加密手段加密过的网络数据的时候，这就使得采集数据变得异常艰难。被动接受APP数据的方案首先需要考虑数据存储服务器，然后是数据接收方案，针对不同的用户，需求不一样，那么需要接收哪些数据，如何发送数据，以及APP所有者是否愿意提供这些数据，这些都是比较难以解决的问题。
因此，如何有效的实现Android应用数据的自动采集，是一项亟待解决的问题。
发明内容
有鉴于此，本发明提供了一种Android应用数据自动采集方法，能够基于Appium开源框架，以深度遍历算法为核心，实现对Android应用中特定数据的自动采集。
本发明提供了一种Android应用数据自动采集方法，包括：
在安装并启动Android应用后，获取当前Activity树状结构图；
通过特定属性识别出可操作控件；
利用已封装好的操作动作匹配相应操作控件；
深度遍历所有Activity并获取数据；
对所述数据进行清洗并入库；
卸载所述Android应用。
一种Android应用数据自动采集系统，包括：
获取模块，用于在安装并启动Android应用后，获取当前Activity树状结构图；
识别模块，用于通过特定属性识别出可操作控件；
匹配模块，用于利用已封装好的操作动作匹配相应操作控件；
深度遍历模块，用于深度遍历所有Activity并获取数据；
数据处理模块，用于对所述数据进行清洗并入库；
卸载模块，用于卸载所述Android应用。
综上所述，本发明公开了一种Android应用数据自动采集方法，当需要对Android应用数据进行自动采集时，首先在安装并启动Android应用后，获取当前Activity树状结构图，然后通过特定属性识别出可操作控件，利用已封装好的操作动作匹配相应操作控件，深度遍历所有Activity并获取数据，对数据进行清洗并入库，最后卸载Android应用。本发明整个过程只需要用户在数据采集前对配置文件做相应修改，后续方法执行中会通过Appium操作控件，结合深度遍历算法采集所需的Android应用对应数据；用户无需关注脚本编写、抓包分析等技术内容，实现了零脚本Android应用数据采集，大大降低了Android应用数据采集技术门槛。
附图说明
结合附图并参考以下具体实施方式，本发明各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
图1为本发明公开的一种Android应用数据自动采集方法实施例1的方法流程图；
图2为本发明公开的一种Android应用数据自动采集方法实施例2的方法流程图；
图3为本发明公开的一种Android应用数据自动采集系统实施例1的结构示意图；
图4为本发明公开的一种Android应用数据自动采集系统实施例2的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的实施例。虽然附图中显示了本发明的某些实施例，然而应当理解的是，本发明可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本发明。应当理解的是，本发明的附图及实施例仅用于示例性作用，并非用于限制本发明的保护范围。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本发明中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。需要注意，本发明中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
如图1所示，为本发明公开的一种Android应用数据自动采集方法实施例1的方法流程图，所述方法可以包括以下步骤：
S101、在安装并启动Android应用后，获取当前Activity树状结构图；
当需要对Android应用数据进行自动采集时，将Android应用上传至指定目录，修改配置文件内容，供遍历测试执行时读取使用，然后启动Android应用。在安装并启动Android应用后，获取当前Activity树状结构图；其中，Activity是Android组件之一，是一个应用程序组件，提供一个屏幕，用户可以用来交互为了完成某项任务。
S102、通过特定属性识别出可操作控件；
然后，调用Appium所开放的API获取当前页面布局文件，根据配置文件所定义的控件属性要求，解析过滤来识别出匹配的控件并保存。其中，布局文件是指Android应用页面布局设计的一个xml文档。
具体的，在识别出可操作控件时，可以通过调用Appium中自带的getPageSource()方法，将获取的当前页面布局文件，同时按照配置文件所定义的控件属性要求进行解析筛选，以获得可操作的控件并保存其属性信息。本实施例支持爬取常用的所有控件的信息，包括text、resource-id、class、clickable、content-desc等各种数据，并且可通过指定某个Activity或控件类型或属性的方法将指定信息筛选出来。其中，getPageSource()是Appium内部的一个函数，它将当前页面的元素以XML的格式获取到。
S103、利用已封装好的操作动作匹配相应操作控件；
然后，根据控件特性判断控件操作方法，智能匹配对应操作。
S104、深度遍历所有Activity并获取数据；
然后，从Android应用启动Activity开始，自动解析和筛选控件，当控件成功匹配相应操作且执行后，如判断仍在当前Activity，则继续执行下一个控件，如果判断已跳转至新Activity，则旧Activity遍历操作暂停，新Activity控件执行遍历操作，当新Activity控件遍历操作完毕后立即返回旧Activity继续遍历操作。在执行遍历操作的过程中将Activity名和遍历执行步骤进行保存，这样很好的解决了深度遍历算法中的回环问题。让整个遍历操作过程能顺利的完成而不至于陷入死循环中，以便能采集到所有Activity中的数据。
例如，有4个页面A、B、C、D，它们的层级关系是A->B->C->D，从顶层A页面开始遍历，依次进入并遍历B、C、D页面，在D层页面可能会存在某个控件点击后直接跳转到A层页面的情况，当跳转后又会从A、B、C、D依次遍历，这个过程就称作一个回环。
S105、对数据进行清洗并入库；
然后，根据预先所定义的配置文件内容，对需要收集数据进行清洗，清洗完毕后入库保存。具体的，根据预先所定义的配置文件内容，结合linkmap数据提取方法，对爬取到的控件信息进一步整理并做需要的加工处理并保存进入数据库。
S106、卸载Android应用。
最后，在自动采集到Android应用的数据后，将当前的Android应用卸载。每次获取完数据将Android应用卸载，下次再重新安转是为了确保当次获取数据的Android应用是最新版本，另一个目的是为了控制手机上Android应用安装数量，以减少对手机内置存储器的占用。
综上所述，本实施例整个过程只需要用户在数据采集前对配置文件做相应修改，后续方法执行中会通过Appium操作控件，结合深度遍历算法采集所需的Android应用对应数据；用户无需关注脚本编写、抓包分析等技术内容，实现零脚本Android应用数据采集，大大降低Android应用数据采集技术门槛。
如图2所示，为本发明公开的一种Android应用数据自动采集方法实施例2的方法流程图，所述方法可以包括以下步骤：
S201、在安装并启动Android应用后，获取当前Activity树状结构图；
当需要对Android应用数据进行自动采集时，将Android应用上传至指定目录，修改配置文件内容，供遍历测试执行时读取使用，然后启动Android应用。在安装并启动Android应用后，获取当前Activity树状结构图；其中，Activity是Android组件之一，是一个应用程序组件，提供一个屏幕，用户可以用来交互为了完成某项任务。其中，配置文件是指prop.properties，内容包含Android应用名、登录页面输入信息、黑名单信息、数据清洗信息等。Android应用名供遍历测试识别待测Android应用；登录页面输入信息供识别出来的登录Activity调用使用；黑名单信息供遍历测试读取后跳过黑名单中的元素和Activity；数据清洗信息供执行数据清洗入库时读取使用。
S202、在配置文件中添加黑名单属性；
用户可在prop.properties配置文件中添加黑名单属性，可根据text文本框、resource-id等属性控制不需要遍历的元素或者影响正规遍历流程的元素，比如返回按钮。在爬取页面元素的时候即对黑名单的元素进行了过滤，存入xml中已经去掉了黑名单的元素。在每次获取到新的Activity时，也和黑名单Activity判断是否继续遍历。在配置文件中添加黑名单属性用于排除不需要遍历的元素和页面，提高了遍历效率。
S203、通过特定属性识别出可操作控件；
然后，调用Appium所开放的API获取当前页面布局文件，根据配置文件所定义的控件属性要求，解析过滤来识别出匹配的控件并保存。其中，布局文件是指Android应用页面布局设计的一个xml文档。
具体的，在识别出可操作控件时，可以通过调用Appium中自带的getPageSource()方法，将获取的当前页面布局文件，同时按照配置文件所定义的控件属性要求进行解析筛选，以获得可操作的控件并保存其属性信息。本实施例支持爬取常用的所有控件的信息，包括text、resource-id、class、clickable、content-desc等各种数据，并且可通过指定某个Activity或控件类型或属性的方法将指定信息筛选出来。其中，getPageSource()是Appium内部的一个函数，它将当前页面的元素以XML的格式获取到。
S204、利用已封装好的操作动作匹配相应操作控件；
然后，根据控件特性判断控件操作方法，智能匹配对应操作。
S205、深度遍历所有Activity并获取数据；
然后，从Android应用启动Activity开始，自动解析和筛选控件，当控件成功匹配相应操作且执行后，如判断仍在当前Activity，则继续执行下一个控件，如果判断已跳转至新Activity，则旧Activity遍历操作暂停，新Activity控件执行遍历操作，当新Activity控件遍历操作完毕后立即返回旧Activity继续遍历操作。在执行遍历操作的过程中将Activity名和遍历执行步骤进行保存，这样很好的解决了深度遍历算法中的回环问题。让整个遍历操作过程能顺利的完成而不至于陷入死循环中，以便能采集到所有Activity中的数据。
例如，有4个页面A、B、C、D，它们的层级关系是A->B->C->D，从顶层A页面开始遍历，依次进入并遍历B、C、D页面，在D层页面可能会存在某个控件点击后直接跳转到A层页面的情况，当跳转后又会从A、B、C、D依次遍历，这个过程就称作一个回环。
S206、对数据进行清洗并入库；
然后，根据预先所定义的配置文件内容，对需要收集数据进行清洗，清洗完毕后入库保存。具体的，根据预先所定义的配置文件内容，结合linkmap数据提取方法，对爬取到的控件信息进一步整理并做需要的加工处理并保存进入数据库。
S207、卸载Android应用。
最后，在自动采集到Android应用的数据后，将当前的Android应用卸载。每次获取完数据将Android应用卸载，下次再重新安转是为了确保当次获取数据的Android应用是最新版本，另一个目的是为了控制手机上Android应用安装数量，以减少对手机内置存储器的占用。
综上所述，本实施例整个过程只需要用户在数据采集前对配置文件做相应修改，后续方法执行中会通过Appium操作控件，结合深度遍历算法采集所需的Android应用对应数据；用户无需关注脚本编写、抓包分析等技术内容，实现零脚本Android应用数据采集，大大降低Android应用数据采集技术门槛。此外，结合独有的过滤算法，利用本发明采集Android应用数据，也能有效减少用户采集数据工作量。
需要说明的是，本发明的方法实施方式中虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。
应当理解，本发明的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本发明的范围在此方面不受限制。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
如图3所示，为本发明公开的一种Android应用数据自动采集系统实施例1的结构示意图，所述系统可以包括：
获取模块301，用于在安装并启动Android应用后，获取当前Activity树状结构图；
当需要对Android应用数据进行自动采集时，将Android应用上传至指定目录，修改配置文件内容，供遍历测试执行时读取使用，然后启动Android应用。在安装并启动Android应用后，获取当前Activity树状结构图；其中，Activity是Android组件之一，是一个应用程序组件，提供一个屏幕，用户可以用来交互为了完成某项任务。
识别模块302，用于通过特定属性识别出可操作控件；
然后，调用Appium所开放的API获取当前页面布局文件，根据配置文件所定义的控件属性要求，解析过滤来识别出匹配的控件并保存。其中，布局文件是指Android应用页面布局设计的一个xml文档。
具体的，在识别出可操作控件时，可以通过调用Appium中自带的getPageSource()方法，将获取的当前页面布局文件，同时按照配置文件所定义的控件属性要求进行解析筛选，以获得可操作的控件并保存其属性信息。本实施例支持爬取常用的所有控件的信息，包括text、resource-id、class、clickable、content-desc等各种数据，并且可通过指定某个Activity或控件类型或属性的方法将指定信息筛选出来。其中，getPageSource()是Appium内部的一个函数，它将当前页面的元素以XML的格式获取到。
匹配模块303，用于利用已封装好的操作动作匹配相应操作控件；
然后，根据控件特性判断控件操作方法，智能匹配对应操作。
深度遍历模块304，用于深度遍历所有Activity并获取数据；
然后，从Android应用启动Activity开始，自动解析和筛选控件，当控件成功匹配相应操作且执行后，如判断仍在当前Activity，则继续执行下一个控件，如果判断已跳转至新Activity，则旧Activity遍历操作暂停，新Activity控件执行遍历操作，当新Activity控件遍历操作完毕后立即返回旧Activity继续遍历操作。在执行遍历操作的过程中将Activity名和遍历执行步骤进行保存，这样很好的解决了深度遍历算法中的回环问题。让整个遍历操作过程能顺利的完成而不至于陷入死循环中，以便能采集到所有Activity中的数据。
例如，有4个页面A、B、C、D，它们的层级关系是A->B->C->D，从顶层A页面开始遍历，依次进入并遍历B、C、D页面，在D层页面可能会存在某个控件点击后直接跳转到A层页面的情况，当跳转后又会从A、B、C、D依次遍历，这个过程就称作一个回环。
数据处理模块305，用于对数据进行清洗并入库；
然后，根据预先所定义的配置文件内容，对需要收集数据进行清洗，清洗完毕后入库保存。具体的，根据预先所定义的配置文件内容，结合linkmap数据提取方法，对爬取到的控件信息进一步整理并做需要的加工处理并保存进入数据库。
卸载模块306，用于卸载Android应用。
最后，在自动采集到Android应用的数据后，将当前的Android应用卸载。每次获取完数据将Android应用卸载，下次再重新安转是为了确保当次获取数据的Android应用是最新版本，另一个目的是为了控制手机上Android应用安装数量，以减少对手机内置存储器的占用。
综上所述，本实施例整个过程只需要用户在数据采集前对配置文件做相应修改，后续方法执行中会通过Appium操作控件，结合深度遍历算法采集所需的Android应用对应数据；用户无需关注脚本编写、抓包分析等技术内容，实现零脚本Android应用数据采集，大大降低Android应用数据采集技术门槛。
如图4所示，为本发明公开的一种Android应用数据自动采集系统实施例2的结构示意图，所述系统可以包括：
获取模块401，用于在安装并启动Android应用后，获取当前Activity树状结构图；
当需要对Android应用数据进行自动采集时，将Android应用上传至指定目录，修改配置文件内容，供遍历测试执行时读取使用，然后启动Android应用。在安装并启动Android应用后，获取当前Activity树状结构图；其中，Activity是Android组件之一，是一个应用程序组件，提供一个屏幕，用户可以用来交互为了完成某项任务。其中，配置文件是指prop.properties，内容包含Android应用名、登录页面输入信息、黑名单信息、数据清洗信息等。Android应用名供遍历测试识别待测Android应用；登录页面输入信息供识别出来的登录Activity调用使用；黑名单信息供遍历测试读取后跳过黑名单中的元素和Activity；数据清洗信息供执行数据清洗入库时读取使用。
添加模块402，用于在配置文件中添加黑名单属性；
用户可在prop.properties配置文件中添加黑名单属性，可根据text文本框、resource-id等属性控制不需要遍历的元素或者影响正规遍历流程的元素，比如返回按钮。在爬取页面元素的时候即对黑名单的元素进行了过滤，存入xml中已经去掉了黑名单的元素。在每次获取到新的Activity时，也和黑名单Activity判断是否继续遍历。在配置文件中添加黑名单属性用于排除不需要遍历的元素和页面，提高了遍历效率。
识别模块403，用于通过特定属性识别出可操作控件；
然后，调用Appium所开放的API获取当前页面布局文件，根据配置文件所定义的控件属性要求，解析过滤来识别出匹配的控件并保存。其中，布局文件是指Android应用页面布局设计的一个xml文档。
具体的，在识别出可操作控件时，可以通过调用Appium中自带的getPageSource()方法，将获取的当前页面布局文件，同时按照配置文件所定义的控件属性要求进行解析筛选，以获得可操作的控件并保存其属性信息。本实施例支持爬取常用的所有控件的信息，包括text、resource-id、class、clickable、content-desc等各种数据，并且可通过指定某个Activity或控件类型或属性的方法将指定信息筛选出来。其中，getPageSource()是Appium内部的一个函数，它将当前页面的元素以XML的格式获取到。
匹配模块404，用于利用已封装好的操作动作匹配相应操作控件；
然后，根据控件特性判断控件操作方法，智能匹配对应操作。
深度遍历模块405，用于深度遍历所有Activity并获取数据；
然后，从Android应用启动Activity开始，自动解析和筛选控件，当控件成功匹配相应操作且执行后，如判断仍在当前Activity，则继续执行下一个控件，如果判断已跳转至新Activity，则旧Activity遍历操作暂停，新Activity控件执行遍历操作，当新Activity控件遍历操作完毕后立即返回旧Activity继续遍历操作。在执行遍历操作的过程中将Activity名和遍历执行步骤进行保存，这样很好的解决了深度遍历算法中的回环问题。让整个遍历操作过程能顺利的完成而不至于陷入死循环中，以便能采集到所有Activity中的数据。
例如，有4个页面A、B、C、D，它们的层级关系是A->B->C->D，从顶层A页面开始遍历，依次进入并遍历B、C、D页面，在D层页面可能会存在某个控件点击后直接跳转到A层页面的情况，当跳转后又会从A、B、C、D依次遍历，这个过程就称作一个回环。
数据处理模块406，用于对数据进行清洗并入库；
然后，根据预先所定义的配置文件内容，对需要收集数据进行清洗，清洗完毕后入库保存。具体的，根据预先所定义的配置文件内容，结合linkmap数据提取方法，对爬取到的控件信息进一步整理并做需要的加工处理并保存进入数据库。
卸载模块407，用于卸载Android应用。
最后，在自动采集到Android应用的数据后，将当前的Android应用卸载。每次获取完数据将Android应用卸载，下次再重新安转是为了确保当次获取数据的Android应用是最新版本，另一个目的是为了控制手机上Android应用安装数量，以减少对手机内置存储器的占用。
综上所述，本实施例整个过程只需要用户在数据采集前对配置文件做相应修改，后续方法执行中会通过Appium操作控件，结合深度遍历算法采集所需的Android应用对应数据；用户无需关注脚本编写、抓包分析等技术内容，实现零脚本Android应用数据采集，大大降低Android应用数据采集技术门槛。此外，结合独有的过滤算法，利用本发明采集Android应用数据，也能有效减少用户采集数据工作量。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
根据本发明的一个或多个实施例，提供了一种Android应用数据自动采集方法，包括：
在安装并启动Android应用后，获取当前Activity树状结构图；
通过特定属性识别出可操作控件；
利用已封装好的操作动作匹配相应操作控件；
深度遍历所有Activity并获取数据；
对所述数据进行清洗并入库；
卸载所述Android应用。
根据本发明的一个或多个实施例，提供了一种Android应用数据自动采集方法，所述通过特定属性识别出可操作控件前，还包括：
在配置文件中添加黑名单属性。
根据本发明的一个或多个实施例，提供了一种Android应用数据自动采集方法，所述利用已封装好的操作动作匹配相应操作控件，包括：
根据控件特性判断控件操作方法，智能匹配对应操作。
根据本发明的一个或多个实施例，提供了一种Android应用数据自动采集方法，所述深度遍历所有Activity并获取数据，包括：
对当前Activity进行判断，如判断仍在原Activity，则继续执行下一个控件，如果判断已跳转至新Activity，则旧Activity遍历操作暂停，新Activity控件执行遍历操作，当新Activity控件遍历操作完毕后立即返回旧Activity继续遍历操作，其中，在执行遍历操作的过程中保存Activity名和遍历执行步骤。
根据本发明的一个或多个实施例，提供了一种Android应用数据自动采集方法，所述对所述数据进行清洗并入库，包括：
根据预先所定义的配置文件内容，对需要收集数据进行清洗，清洗完毕后入库保存。
根据本发明的一个或多个实施例，提供了Android应用数据自动采集系统，包括：
获取模块，用于在安装并启动Android应用后，获取当前Activity树状结构图；
识别模块，用于通过特定属性识别出可操作控件；
匹配模块，用于利用已封装好的操作动作匹配相应操作控件；
深度遍历模块，用于深度遍历所有Activity并获取数据；
数据处理模块，用于对所述数据进行清洗并入库；
卸载模块，用于卸载所述Android应用。
根据本发明的一个或多个实施例，提供了Android应用数据自动采集系统，还包括：
添加模块，用于在配置文件中添加黑名单属性。
根据本发明的一个或多个实施例，提供了Android应用数据自动采集系统，所述匹配模块在执行利用已封装好的操作动作匹配相应操作控件时，具体用于：
根据控件特性判断控件操作方法，智能匹配对应操作。
根据本发明的一个或多个实施例，提供了Android应用数据自动采集系统，所述深度遍历模块在执行深度遍历所有Activity并获取数据时，具体用于：
对当前Activity进行判断，如判断仍在原Activity，则继续执行下一个控件，如果判断已跳转至新Activity，则旧Activity遍历操作暂停，新Activity控件执行遍历操作，当新Activity控件遍历操作完毕后立即返回旧Activity继续遍历操作，其中，在执行遍历操作的过程中保存Activity名和遍历执行步骤。
根据本发明的一个或多个实施例，提供了Android应用数据自动采集系统，所述数据处理模块在执行对所述数据进行清洗并入库时，具体用于：
根据预先所定义的配置文件内容，对需要收集数据进行清洗，清洗完毕后入库保存。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本发明的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
以上描述仅为本发明的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本发明中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本发明中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种Android应用数据自动采集方法，其特征在于，包括：
在安装并启动Android应用后，获取当前Activity树状结构图；
通过特定属性识别出可操作控件；
利用已封装好的操作动作匹配相应操作控件；
深度遍历所有Activity并获取数据；
对所述数据进行清洗并入库；
卸载所述Android应用。
2.根据权利要求1所述的方法，其特征在于，所述通过特定属性识别出可操作控件前，还包括：
在配置文件中添加黑名单属性。
3.根据权利要求1所述的方法，其特征在于，所述利用已封装好的操作动作匹配相应操作控件，包括：
根据控件特性判断控件操作方法，智能匹配对应操作。
4.根据权利要求1所述的方法，其特征在于，所述深度遍历所有Activity并获取数据，包括：
对当前Activity进行判断，如判断仍在原Activity，则继续执行下一个控件，如果判断已跳转至新Activity，则旧Activity遍历操作暂停，新Activity控件执行遍历操作，当新Activity控件遍历操作完毕后立即返回旧Activity继续遍历操作，其中，在执行遍历操作的过程中保存Activity名和遍历执行步骤。
5.根据权利要求1所述的方法，其特征在于，所述对所述数据进行清洗并入库，包括：
根据预先所定义的配置文件内容，对需要收集数据进行清洗，清洗完毕后入库保存。
6.一种Android应用数据自动采集系统，其特征在于，包括：
获取模块，用于在安装并启动Android应用后，获取当前Activity树状结构图；
识别模块，用于通过特定属性识别出可操作控件；
匹配模块，用于利用已封装好的操作动作匹配相应操作控件；
深度遍历模块，用于深度遍历所有Activity并获取数据；
数据处理模块，用于对所述数据进行清洗并入库；
卸载模块，用于卸载所述Android应用。
7.根据权利要求6所述的系统，其特征在于，还包括：
添加模块，用于在配置文件中添加黑名单属性。
8.根据权利要求6所述的系统，其特征在于，所述匹配模块在执行利用已封装好的操作动作匹配相应操作控件时，具体用于：
根据控件特性判断控件操作方法，智能匹配对应操作。
9.根据权利要求6所述的系统，其特征在于，所述深度遍历模块在执行深度遍历所有Activity并获取数据时，具体用于：
对当前Activity进行判断，如判断仍在原Activity，则继续执行下一个控件，如果判断已跳转至新Activity，则旧Activity遍历操作暂停，新Activity控件执行遍历操作，当新Activity控件遍历操作完毕后立即返回旧Activity继续遍历操作，其中，在执行遍历操作的过程中保存Activity名和遍历执行步骤。
10.根据权利要求6所述的系统，其特征在于，所述数据处理模块在执行对所述数据进行清洗并入库时，具体用于：
根据预先所定义的配置文件内容，对需要收集数据进行清洗，清洗完毕后入库保存。
CN201911132343.2A 2019-11-18 2019-11-18 一种Android应用数据自动采集方法及系统 Active CN110865851B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911132343.2A CN110865851B (zh) 2019-11-18 2019-11-18 一种Android应用数据自动采集方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911132343.2A CN110865851B (zh) 2019-11-18 2019-11-18 一种Android应用数据自动采集方法及系统

Publications (2)

Publication Number Publication Date
CN110865851A true CN110865851A (zh) 2020-03-06
CN110865851B CN110865851B (zh) 2023-12-01

Family

ID=69655715

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911132343.2A Active CN110865851B (zh) 2019-11-18 2019-11-18 一种Android应用数据自动采集方法及系统

Country Status (1)

Country Link
CN (1) CN110865851B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115051A (zh) * 2020-09-09 2020-12-22 福建新大陆软件工程有限公司 应用的页面遍历探测方法、装置、设备及可读存储介质
CN112130836A (zh) * 2020-09-10 2020-12-25 华帝股份有限公司 基于json文件生成多级联动组件的方法
CN112395347A (zh) * 2021-01-15 2021-02-23 金陵科技学院 一种APP Wrapper的构造算法
CN115292571A (zh) * 2022-08-08 2022-11-04 烟台中科网络技术研究所 一种App数据采集方法及系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102349084A (zh) * 2008-12-12 2012-02-08 朴烜日 利用自动识别和数据采集技术管理流动资产的系统和运行该系统的方法
CN105468529A (zh) * 2015-12-15 2016-04-06 北京奇虎科技有限公司 一种安卓应用ui控件精准遍历方法和装置
CN106250158A (zh) * 2016-08-01 2016-12-21 广州优视网络科技有限公司 一种客户端界面的布局方法、装置和移动设备
CN107133158A (zh) * 2017-04-26 2017-09-05 贵州省广播电视信息网络股份有限公司 一种适用于Android设备的日志自动采集及问题定位跟踪方法
CN107133519A (zh) * 2017-05-15 2017-09-05 华中科技大学 一种安卓应用网络通信中隐私泄漏检测方法及系统
CN107608685A (zh) * 2017-10-18 2018-01-19 湖南警察学院 安卓应用的自动执行方法
US20180268015A1 (en) * 2015-09-02 2018-09-20 Sasha Sugaberry Method and apparatus for locating errors in documents via database queries, similarity-based information retrieval and modeling the errors for error resolution
CN108829389A (zh) * 2018-03-29 2018-11-16 中南大学 基于Appium的安卓应用自动化触发执行方法
CN109347812A (zh) * 2018-09-27 2019-02-15 国网湖北省电力有限公司电力科学研究院 一种工控漏洞挖掘方法及系统
CN109542788A (zh) * 2018-11-26 2019-03-29 南京烽火星空通信发展有限公司 一种基于Android平台自动化测试工具的内存数据取证方法
CN109710140A (zh) * 2018-12-25 2019-05-03 清创网御(合肥)科技有限公司 一种智能手机社交应用数据自动采集方法
CN110188257A (zh) * 2019-04-16 2019-08-30 国家计算机网络与信息安全管理中心 一种移动应用数据采集方法及装置
CN110413502A (zh) * 2018-04-28 2019-11-05 北京京东尚科信息技术有限公司 程序测试方法及系统、计算机系统和计算机可读存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102349084A (zh) * 2008-12-12 2012-02-08 朴烜日 利用自动识别和数据采集技术管理流动资产的系统和运行该系统的方法
US20180268015A1 (en) * 2015-09-02 2018-09-20 Sasha Sugaberry Method and apparatus for locating errors in documents via database queries, similarity-based information retrieval and modeling the errors for error resolution
CN105468529A (zh) * 2015-12-15 2016-04-06 北京奇虎科技有限公司 一种安卓应用ui控件精准遍历方法和装置
CN106250158A (zh) * 2016-08-01 2016-12-21 广州优视网络科技有限公司 一种客户端界面的布局方法、装置和移动设备
CN107133158A (zh) * 2017-04-26 2017-09-05 贵州省广播电视信息网络股份有限公司 一种适用于Android设备的日志自动采集及问题定位跟踪方法
CN107133519A (zh) * 2017-05-15 2017-09-05 华中科技大学 一种安卓应用网络通信中隐私泄漏检测方法及系统
CN107608685A (zh) * 2017-10-18 2018-01-19 湖南警察学院 安卓应用的自动执行方法
CN108829389A (zh) * 2018-03-29 2018-11-16 中南大学 基于Appium的安卓应用自动化触发执行方法
CN110413502A (zh) * 2018-04-28 2019-11-05 北京京东尚科信息技术有限公司 程序测试方法及系统、计算机系统和计算机可读存储介质
CN109347812A (zh) * 2018-09-27 2019-02-15 国网湖北省电力有限公司电力科学研究院 一种工控漏洞挖掘方法及系统
CN109542788A (zh) * 2018-11-26 2019-03-29 南京烽火星空通信发展有限公司 一种基于Android平台自动化测试工具的内存数据取证方法
CN109710140A (zh) * 2018-12-25 2019-05-03 清创网御(合肥)科技有限公司 一种智能手机社交应用数据自动采集方法
CN110188257A (zh) * 2019-04-16 2019-08-30 国家计算机网络与信息安全管理中心 一种移动应用数据采集方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KATARZYNA OLEJNIK; ITALO DACOSTA; JOANA SOARES MACHADO,ET.AL: "SmarPer: Context-Aware and Automatic Runtime-Permissions for Mobile Devices", 《2017 IEEE SYMPOSIUM ON SECURITY AND PRIVACY》, pages 1058 - 1073 *
夏立新，杨金庆，程秀峰: "基于情境感知技术的移动数据自动采集系统设计与实现", 《数据分析与知识发现》, no. 5, pages 82 - 93 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115051A (zh) * 2020-09-09 2020-12-22 福建新大陆软件工程有限公司 应用的页面遍历探测方法、装置、设备及可读存储介质
CN112130836A (zh) * 2020-09-10 2020-12-25 华帝股份有限公司 基于json文件生成多级联动组件的方法
CN112395347A (zh) * 2021-01-15 2021-02-23 金陵科技学院 一种APP Wrapper的构造算法
CN112395347B (zh) * 2021-01-15 2021-04-09 金陵科技学院 一种APP Wrapper的构造方法
CN115292571A (zh) * 2022-08-08 2022-11-04 烟台中科网络技术研究所 一种App数据采集方法及系统
CN115292571B (zh) * 2022-08-08 2023-03-28 烟台中科网络技术研究所 一种App数据采集方法及系统

Also Published As

Publication number Publication date
CN110865851B (zh) 2023-12-01

Similar Documents

Publication Publication Date Title
CN110865851B (zh) 一种Android应用数据自动采集方法及系统
CN110908879B (zh) 埋点数据的上报方法、装置、终端和存储介质
CN109948077A (zh) 用户行为数据采集方法、装置、设备和计算机存储介质
CN101441629A (zh) 一种非结构化网页信息的自动采集方法
CN109600385B (zh) 一种访问控制方法及装置
CN107644075B (zh) 收集页面信息的方法和装置
CN112394908A (zh) 埋点页面自动生成的方法、装置、计算机设备及存储介质
CN103313289A (zh) Wap系统自动化测试系统和方法
CN106844104B (zh) 一种终端数据处理方法、装置及移动终端
CN105516321A (zh) 一种数据采集方法和装置
CN109948334A (zh) 一种漏洞检测方法、系统及电子设备和存储介质
Mohtasebi et al. Towards a unified forensic investigation framework of smartphones
CN109344058B (zh) 一种小程序自动化测试方法
CN106357480A (zh) 监测应用的网络性能的方法、装置及移动终端
CN105553770B (zh) 一种数据采集控制方法和装置
CN113934913A (zh) 数据抓取方法、装置、存储介质及电子设备
CN112685370A (zh) 一种日志采集方法、装置、设备和介质
CN112818201A (zh) 一种网络数据采集方法、装置、计算机设备及存储介质
CN110889067A (zh) 页面的渲染方法、装置、设备及存储介质
CN103927252A (zh) 一种跨组件日志记录方法、装置及系统
CN112671878B (zh) 一种区块链的信息订阅方法、装置、服务器和存储介质
CN109582888A (zh) 网页书签整理方法及系统
CN105893584A (zh) 一种显示收藏夹网址标签的方法、客户端和系统
CN109389972B (zh) 语义云功能的质量测试方法、装置、存储介质和设备
CN109284429B (zh) 新闻数据推送方法、装置、系统和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant