CN113934498A - 应用程序的数据获取方法、装置、设备及计算机存储介质 - Google Patents
应用程序的数据获取方法、装置、设备及计算机存储介质 Download PDFInfo
- Publication number
- CN113934498A CN113934498A CN202111232497.6A CN202111232497A CN113934498A CN 113934498 A CN113934498 A CN 113934498A CN 202111232497 A CN202111232497 A CN 202111232497A CN 113934498 A CN113934498 A CN 113934498A
- Authority
- CN
- China
- Prior art keywords
- data
- application program
- request
- data request
- page display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000004044 response Effects 0.000 claims abstract description 109
- 238000012986 modification Methods 0.000 claims abstract description 30
- 230000004048 modification Effects 0.000 claims abstract description 30
- 238000004891 communication Methods 0.000 claims description 27
- 238000012216 screening Methods 0.000 claims description 19
- 238000001914 filtration Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 2
- 235000014510 cooky Nutrition 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000005336 cracking Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 241000282693 Cercopithecidae Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
- G06F9/44521—Dynamic linking or loading; Link editing at or after load time, e.g. Java class loading
- G06F9/44526—Plug-ins; Add-ons
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请实施例提供了一种应用程序的数据获取方法、装置、设备及计算机存储介质。其中，所述方法包括：接收应用程序发送的基于自动化控制操作生成的数据请求，数据请求用于请求应用程序的页面展示数据；对数据请求执行修改操作，以获得修改后的数据请求，修改后的数据请求用于请求待获取的应用程序的页面展示数据；将修改后的数据请求发送至服务端，使得服务端生成与修改后的数据请求对应的数据响应，数据响应中携带有待获取的应用程序的页面展示数据；接收服务端返回的数据响应，并对数据响应进行解析，以获取应用程序的页面展示数据。本方案能够简便快速地获取移动终端的应用程序的页面展示数据。
Description
技术领域
本申请实施例涉及互联网技术领域，尤其涉及一种应用程序的数据获取方法、装置、电子设备及计算机存储介质。
背景技术
随着信息爆炸的时代到来，信息获取作为后期分析的基础支持，也变得越来越重要。随着移动终端的崛起，越来越多的企业拥有移动终端的应用程序，把产品信息展示到移动终端的页面端和应用程序上，甚至有些企业已经弃用移动终端的页面端，全力打造移动终端的应用程序的产品信息展示，但现有的信息获取技术大多还都集中在如何获取移动终端的页面端的页面展示数据，因此，对于如何快速地获取移动终端的应用程序的页面展示数据也越来越重要。
目前，已知的获取移动终端的应用程序的页面展示数据的方式是破解各个企业的移动终端的应用程序的请求加密参数，进而伪造请求发送到企业服务器上，来获取企业服务器返回的响应中携带的数据。然而，通过破解各个企业的移动终端的应用程序的请求加密参数来伪造请求发送到企业服务器上，这种方式难度较大，尤其是现在越来越多的大型互联网公司在售卖专业的移动终端的应用程序的打包加壳产品，将请求参数保护起来，使数据抓取者往往束手无策，或者前期需要投入很多的精力和时间。这种方式虽然在后期破解参数后能够频繁地访问企业服务器来获取数据，但对企业服务器产生很大的压力，具有承担法律风险的隐患。此外，每家企业的移动终端的应用程序的加密方式可能都不相同，这种方式不具有通用性。
由此可见，如何简便快速地获取移动终端的应用程序的页面展示数据成为当前亟待解决的技术问题。
发明内容
有鉴于此，本发明实施例提供一种应用程序的数据获取方法、装置、电子设备及计算机存储介质，用以解决现有技术中存在的如何简便快速地获取移动终端的应用程序的页面展示数据的技术问题。
根据本发明实施例的第一方面，提供了一种应用程序的数据获取方法，应用于中间人代理服务工具，所述中间人代理服务工具分别与移动终端的应用程序和所述应用程序的服务端通信连接，所述方法包括：接收所述应用程序发送的基于自动化控制操作生成的数据请求，所述数据请求用于请求所述应用程序的页面展示数据；对所述数据请求执行修改操作，以获得修改后的数据请求，所述修改后的数据请求用于请求待获取的所述应用程序的页面展示数据；将所述修改后的数据请求发送至所述服务端，使得所述服务端生成与所述修改后的数据请求对应的数据响应，所述数据响应中携带有待获取的所述应用程序的页面展示数据；接收所述服务端返回的所述数据响应，并对所述数据响应进行解析，以获取所述应用程序的页面展示数据。
根据本发明实施例的第二方面，提供了一种应用程序的数据获取装置，应用于中间人代理服务工具，所述中间人代理服务工具分别与移动终端的应用程序和所述应用程序的服务端通信连接，所述装置包括：接收模块，用于接收所述应用程序发送的基于自动化控制操作生成的数据请求，所述数据请求用于请求所述应用程序的页面展示数据；修改模块，用于对所述数据请求执行修改操作，以获得修改后的数据请求，所述修改后的数据请求用于请求待获取的所述应用程序的页面展示数据；发送模块，用于将所述修改后的数据请求发送至所述服务端，使得所述服务端生成与所述修改后的数据请求对应的数据响应，所述数据响应中携带有待获取的所述应用程序的页面展示数据；解析模块，用于接收所述服务端返回的所述数据响应，并对所述数据响应进行解析，以获取所述应用程序的页面展示数据。
根据本发明实施例的第三方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面所述的应用程序的数据获取方法对应的操作。
根据本发明实施例的第四方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的应用程序的数据获取方法。
本发明实施例提供的应用程序的数据获取方案，应用于分别与移动终端的应用程序和所述应用程序的服务端通信连接的中间人代理服务工具，所述中间人代理服务工具对接收到的所述应用程序基于自动化控制操作生成的数据请求执行修改操作，获得用于请求待获取的所述应用程序的页面展示数据的请求，并将所述请求发送至所述服务端，使得所述服务端生成与所述请求对应的数据响应，再对接收到的所述服务端返回的所述数据响应进行解析，以获取所述数据响应中携带的所述应用程序的页面展示数据，无需前期投入较多时间和精力完成加密请求的破解，能够简便快速地获取移动终端的应用程序的页面展示数据。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1A为本申请实施例一中应用程序的数据获取方法的步骤流程图；
图1B为根据本申请实施例一提供的中间人代理服务工具的交互示意图；
图2为本申请实施例二中应用程序的数据获取装置的结构示意图；
图3为本申请实施例三中电子设备的结构示意图。
具体实施方式
为了使本领域的人员更好地理解本发明实施例中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。
下面结合本发明实施例附图进一步说明本发明实施例具体实现。
参照图1A，示出了本申请实施例一中应用程序的数据获取方法的步骤流程图。
本实施例从中间人代理服务工具的角度，对本发明实施例提供的应用程序的数据获取方法进行说明。所述中间人代理服务工具分别与移动终端的应用程序和所述应用程序的服务端通信连接。具体地，本实施例提供的应用程序的数据获取方法包括以下步骤：
在步骤S101中，接收所述应用程序发送的基于自动化控制操作生成的数据请求。
在本实施例中，所述数据请求用于请求所述应用程序的页面展示数据，例如，与企业介绍相关的数据、与企业产品相关的数据等。可以理解的是，以上描述仅为示例性的，本实施例对此不做任何限定。
在一个具体的例子中，所述移动终端的自动化控制插件根据所述自动化控制指令，对所述应用程序的页面的控件进行自动化控制操作，所述应用程序接收针对所述应用程序的页面的控件的自动化控制操作，并基于所述自动化控制操作生成所述数据请求，再将生成的所述数据请求发送至所述中间人代理服务工具。可以理解的是，以上描述仅为示例性的，本实施例对此不做任何限定。
在一些可选实施例中，在接收所述应用程序发送的基于自动化控制操作生成的数据请求之前，所述方法还包括：调用所述应用程序的自动化控制接口，向所述移动终端的自动化控制插件发送所述应用程序的自动化控制指令，使得所述自动化控制插件根据所述自动化控制指令，对所述应用程序的页面的控件进行自动化控制操作。籍此，能够有效地对所述应用程序的页面的控件进行自动化控制操作。可以理解的是，以上描述仅为示例性的，本实施例对此不做任何限定。
在一个具体的例子中，所述自动化控制接口可理解为具有自动化控制所述应用程序的功能的应用程序接口，所述自动化控制接口可采用Java语言、C语言、C++、C#、PHP、Python、VB等编程语言编写。所述自动化控制插件可理解为具有自动化控制所述移动终端的应用程序的功能的插件。具体地，使用uiautomator2，获取所述移动终端的屏幕上的应用程序的控件属性，并基于所述移动终端的屏幕上的应用程序的控件属性，调用uiautomator2的应用程序接口编写所述自动化控制插件。其中，uiautomator2是一个可以使用Python对Android设备进行UI自动化的库。其底层基于Google uiautomator，Google提供的uiautomator库可以获取移动终端屏幕上任意一个应用程序的任意一个控件属性，并对其进行任意操作。除了使用uiautomator2来实现自动化控制移动终端的应用程序之外，还可以采用appnium、monkey、Instrumentation等移动终端自动化测试工具，来实现自动操作移动终端。所述移动终端可包括手机、平板电脑等。可以理解的是，以上描述仅为示例性的，本实施例对此不做任何限定。
在一个具体的例子中，在调用所述应用程序的自动化控制接口之前，对所述移动终端进行相应的配置。具体地，在连接互联网的手机中下载有数据获取需求的应用程序之后，可通过USB连接，或者共同使用同一个局域网，将手机与所述中间人代理服务工具所在的设备绑定。在将手机与所述中间人代理服务工具所在的设备绑定之后，可以通过基于Python的中间人代理的开源框架Mitmproxy实现所述中间人代理服务工具，还可以通过基于nodejs开发的中间人代理框架Anyproxy实现所述中间人代理服务工具。在实现所述中间人代理服务工具之后，在手机中填入所述中间人代理服务工具所在的设备的IP地址以及端口，手机请求中间人代理框架网站安装证书，之后在手机中设置信任该证书。这样，手机的请求以及返回的响应都会通过所述中间人代理服务工具。可以理解的是，以上描述仅为示例性的，本实施例对此不做任何限定。
在步骤S102中，对所述数据请求执行修改操作，以获得修改后的数据请求。
在本实施例中，所述修改后的数据请求用于请求待获取的所述应用程序的页面展示数据，例如，企业产品的分类、企业的联系信息等。可以理解的是，以上描述仅为示例性的，本实施例对此不做任何限定。
在一些可选实施例中，在对所述数据请求执行修改操作时，对所述数据请求中的请求内容字段的请求内容参数执行修改操作，以获得所述修改后的数据请求。籍此，通过对所述数据请求中的请求内容字段的请求内容参数执行修改操作，能够准确地请求到待获取的所述应用程序的页面展示数据。可以理解的是，以上描述仅为示例性的，本实施例对此不做任何限定。
在一个具体的例子中，如果修改前的数据请求中的请求内容字段的请求内容参数为企业的产品介绍，修改后的数据请求中的请求内容字段的请求内容参数可为企业的产品分类。如果修改前的数据请求中的请求内容字段的请求内容参数为企业的产品分类，修改后的数据请求中的请求内容字段的请求内容参数可为企业的联系信息。可以理解的是，以上描述仅为示例性的，本实施例对此不做任何限定。
在步骤S103中，将所述修改后的数据请求发送至所述服务端，使得所述服务端生成与所述修改后的数据请求对应的数据响应。
在本实施例中，所述数据响应中携带有待获取的所述应用程序的页面展示数据，例如，企业产品的分类、企业的联系信息等。可以理解的是，以上描述仅为示例性的，本实施例对此不做任何限定。
在步骤S104中，接收所述服务端返回的所述数据响应，并对所述数据响应进行解析，以获取所述应用程序的页面展示数据。
在一些可选实施例中，所述方法还包括：若检测到所述数据请求中存在对参数加密的字段，则从所述数据请求中的所述字段中获取加密的参数，并保存所述加密的参数；在所述加密的参数的有效期范围内，根据所述加密的参数，构造多个用于请求待获取的所述应用程序的页面展示数据的请求。其中，所述对参数加密的字段包括所述数据请求中的cookie字段和/或token字段。籍此，通过复用所述加密的参数，能够构造多个用于请求待获取的所述应用程序的页面展示数据的请求，进而能够有效提高获取所述应用程序的页面展示数据的效率。可以理解的是，以上描述仅为示例性的，本实施例对此不做任何限定。
在一个具体的例子中，如果数据请求对cookie字段和/或token字段进行加密，可以获取cookie字段和/或token字段中的加密的参数，并保存cookie字段和/或token字段中的加密的参数。一般cookie字段和/或token字段中的加密的参数有一个有效期范围。在这个有效期范围内，所述中间人代理服务工具调用请求构造接口，根据所述加密的参数，构造多个用于请求待获取的所述应用程序的页面展示数据的请求。其中，所述请求构造接口可理解为具有请求构造功能的应用程序接口，所述请求构造接口可采用Java语言、C语言、C++、C#、PHP、Python、VB等编程语言编写。可以理解的是，以上描述仅为示例性的，本实施例对此不做任何限定。
在一些可选实施例中，所述方法还包括：当所述中间人代理服务工具在同一时间点接收到所述服务端返回的多个数据响应时，调用数据响应筛选接口，对所述中间人代理服务工具在同一时间点接收到的所述多个数据响应执行筛选操作，以获得目标数据响应，并对所述目标数据响应进行解析，以获取所述应用程序的页面展示数据。籍此，通过调用数据响应筛选接口，对所述中间人代理服务工具在同一时间点接收到的所述多个数据响应执行筛选操作，能够准确地获得目标数据响应，进而准确地获取所述应用程序的页面展示数据。可以理解的是，以上描述仅为示例性的，本实施例对此不做任何限定。
在一个具体的例子中，所述数据响应筛选接口可理解为具有数据响应筛选功能的应用程序接口，所述数据响应筛选接口可采用Java语言、C语言、C++、C#、PHP、Python、VB等编程语言编写。可以理解的是，以上描述仅为示例性的，本实施例对此不做任何限定。
在一些可选实施例中，在调用数据响应筛选接口，对所述中间人代理服务工具在同一时间点接收到的所述多个数据响应执行筛选操作时，调用数据响应筛选接口，根据所述多个数据响应的目的地址，对所述多个数据响应执行筛选操作，以获得所述目标数据响应。籍此，通过数据响应筛选接口，根据所述多个数据响应的目的地址，对所述多个数据响应执行筛选操作，能够准确地获得所述目标数据响应。可以理解的是，以上描述仅为示例性的，本实施例对此不做任何限定。
在一个具体的例子中，通过数据响应筛选接口，确定待获取的所述应用程序的页面展示数据在所述移动终端的应用程序中所对应的地址，并将所述地址分别与所述多个数据响应的目的地址进行比对，如果所述多个数据响应中的部分数据响应的目的地址与所述地址相同，则确定所述部分数据响应为目标数据响应。可以理解的是，以上描述仅为示例性的，本实施例对此不做任何限定。
在一些可选实施例中，所述移动终端的数量为多个，多个所述移动终端分别通过集线器的接口与所述中间人代理服务工具所在的设备通信连接。籍此，能够简便快速地获取多个所述移动终端的应用程序的页面展示数据。可以理解的是，以上描述仅为示例性的，本实施例对此不做任何限定。
在一个具体的例子中，所述中间人代理服务工具调用自动化控制接口，向多个不同的移动终端的自动化控制插件发送多个不同的移动终端的不同应用程序的自动化控制指令，使得所述不同的移动终端的自动化控制插件根据所述自动化控制指令，对所述多个不同的移动终端的不同应用程序的页面的控件进行自动化控制操作，并对接收到的所述多个不同的移动终端的不同应用程序发送的基于所述自动化控制操作生成的数据请求执行修改操作，获得用于请求待获取的所述应用程序的页面展示数据的请求，并将所述请求转发至所述服务端，使得所述服务端生成与所述请求对应的数据响应，再对接收到的所述服务端返回的所述数据响应进行解析，以获取所述数据响应中携带的所述应用程序的页面展示数据。可以理解的是，以上描述仅为示例性的，本实施例对此不做任何限定。
在一个具体的例子中，如图1B所示，中间人代理服务工具通过使用uiautomator库编成的自动化控制接口，向手机的自动化控制插件发送应用程序的自动化控制指令，使得自动化控制插件根据自动化控制指令，对应用程序的页面的控件进行自动化控制操作，应用程序接收针对应用程序的页面的控件的自动化控制操作，并基于自动化控制操作生成http/https请求，再将生成的http/https请求发送至使用中间人代理的开源框架Mitmproxy实现的中间人代理服务工具，中间人代理服务工具对所述http/https请求执行修改操作，并将修改后的http/https请求发送至应用程序对应的服务器，服务器生成与修改后的http/https请求对应的数据响应，并将数据响应返回至中间人代理服务工具，中间人代理服务工具筛选数据响应，并保留数据响应中携带的待获取的应用程序的页面展示数据，再将数据响应返回至手机的应用程序。此外，若检测到修改前的http/https请求中存在对参数加密的字段，则从字段中获取加密的参数，并保存加密的参数。在加密的参数的有效期范围内，根据加密的参数，构造多个用于请求待获取的应用程序的页面展示数据的http/https请求。可以理解的是，以上描述仅为示例性的，本实施例对此不做任何限定。
通过本发明实施例提供的应用程序的数据获取方法，应用于分别与移动终端的应用程序和所述应用程序的服务端通信连接的中间人代理服务工具，所述中间人代理服务工具对接收到的所述应用程序基于自动化控制操作生成的数据请求执行修改操作，获得用于请求待获取的所述应用程序的页面展示数据的请求，并将所述请求发送至所述服务端，使得所述服务端生成与所述请求对应的数据响应，再对接收到的所述服务端返回的所述数据响应进行解析，以获取所述数据响应中携带的所述应用程序的页面展示数据，无需前期投入较多时间和精力完成加密请求的破解，能够简便快速地获取移动终端的应用程序的页面展示数据。
本实施例提供的应用程序的数据获取方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：摄像头、终端、移动终端、PC机、服务器、车载设备、娱乐设备、广告设备、个人数码助理(PDA)、平板电脑、笔记本电脑、掌上游戏机、智能眼镜、智能手表、可穿戴设备、虚拟显示设备或显示增强设备等。
参照图2，示出了本申请实施例二中应用程序的数据获取装置的结构示意图。
本实施例提供的应用程序的数据获取装置应用于中间人代理服务工具，所述中间人代理服务工具分别与移动终端的应用程序和所述应用程序的服务端通信连接，所述装置包括：接收模块201，用于接收所述应用程序发送的基于自动化控制操作生成的数据请求，所述数据请求用于请求所述应用程序的页面展示数据；修改模块202，用于对所述数据请求执行修改操作，以获得修改后的数据请求，所述修改后的数据请求用于请求待获取的所述应用程序的页面展示数据；发送模块203，用于将所述修改后的数据请求发送至所述服务端，使得所述服务端生成与所述修改后的数据请求对应的数据响应，所述数据响应中携带有待获取的所述应用程序的页面展示数据；解析模块204，用于接收所述服务端返回的所述数据响应，并对所述数据响应进行解析，以获取所述应用程序的页面展示数据。
可选地，所述接收模块201之前，所述装置还包括：调用模块，用于调用所述应用程序的自动化控制接口，向所述移动终端的自动化控制插件发送所述应用程序的自动化控制指令，使得所述自动化控制插件根据所述自动化控制指令，对所述应用程序的页面的控件进行自动化控制操作。
可选地，所述修改模块202，具体用于：对所述数据请求中的请求内容字段的请求内容参数执行修改操作，以获得所述修改后的数据请求。
可选地，所述装置还包括：获取模块，用于若检测到所述数据请求中存在对参数加密的字段，则从所述数据请求中的所述字段中获取加密的参数，并保存所述加密的参数；构造模块，用于在所述加密的参数的有效期范围内，根据所述加密的参数，构造多个用于请求待获取的所述应用程序的页面展示数据的请求。
可选地，所述装置还包括：执行模块，用于当所述中间人代理服务工具在同一时间点接收到所述服务端返回的多个数据响应时，调用数据响应筛选接口，对所述中间人代理服务工具在同一时间点接收到的所述多个数据响应执行筛选操作，以获得目标数据响应，并对所述目标数据响应进行解析，以获取所述应用程序的页面展示数据。
可选地，所述执行模块，具体用于：调用数据响应筛选接口，根据所述多个数据响应的目的地址，对所述多个数据响应执行筛选操作，以获得所述目标数据响应。
可选地，所述移动终端的数量为多个，多个所述移动终端分别通过集线器的接口与所述中间人代理服务工具所在的设备通信连接。
本实施例提供的应用程序的数据获取装置用于实现前述多个方法实施例中相应的应用程序的数据获取方法，并具有相应的方法实施例的有益效果，在此不再赘述。
参照图3，示出了根据本发明实施例三的一种电子设备的结构示意图，本发明具体实施例并不对电子设备的具体实现做限定。
如图3所示，该电子设备可以包括：处理器(processor)302、通信接口(Communications Interface)304、存储器(memory)306、以及通信总线308。
其中：
处理器302、通信接口304、以及存储器306通过通信总线308完成相互间的通信。
通信接口304，用于与其它电子设备或服务器进行通信。
处理器302，用于执行程序310，具体可以执行上述应用程序的数据获取方法实施例中的相关步骤。
具体地，程序310可以包括程序代码，该程序代码包括计算机操作指令。
处理器302可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。智能设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器306，用于存放程序310。存储器306可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序310具体可以用于使得处理器302执行以下操作：接收所述应用程序发送的基于自动化控制操作生成的数据请求，所述数据请求用于请求所述应用程序的页面展示数据；对所述数据请求执行修改操作，以获得修改后的数据请求，所述修改后的数据请求用于请求待获取的所述应用程序的页面展示数据；将所述修改后的数据请求发送至所述服务端，使得所述服务端生成与所述修改后的数据请求对应的数据响应，所述数据响应中携带有待获取的所述应用程序的页面展示数据；接收所述服务端返回的所述数据响应，并对所述数据响应进行解析，以获取所述应用程序的页面展示数据。
在一种可选的实施方式中，程序310还用于使得处理器302在接收所述应用程序发送的基于自动化控制操作生成的数据请求之前，调用所述应用程序的自动化控制接口，向所述移动终端的自动化控制插件发送所述应用程序的自动化控制指令，使得所述自动化控制插件根据所述自动化控制指令，对所述应用程序的页面的控件进行自动化控制操作。
在一种可选的实施方式中，程序310还用于使得处理器302在对所述数据请求执行修改操作，以获得修改后的数据请求时，对所述数据请求中的请求内容字段的请求内容参数执行修改操作，以获得所述修改后的数据请求。
在一种可选的实施方式中，程序310还用于使得处理器302若检测到所述数据请求中存在对参数加密的字段，则从所述数据请求中的所述字段中获取加密的参数，并保存所述加密的参数；在所述加密的参数的有效期范围内，根据所述加密的参数，构造多个用于请求待获取的所述应用程序的页面展示数据的请求。
在一种可选的实施方式中，程序310还用于使得处理器302当所述中间人代理服务工具在同一时间点接收到所述服务端返回的多个数据响应时，调用数据响应筛选接口，对所述中间人代理服务工具在同一时间点接收到的所述多个数据响应执行筛选操作，以获得目标数据响应，并对所述目标数据响应进行解析，以获取所述应用程序的页面展示数据。
在一种可选的实施方式中，程序310还用于使得处理器302在调用数据响应筛选接口，对所述中间人代理服务工具在同一时间点接收到的所述多个数据响应执行筛选操作时，调用数据响应筛选接口，根据所述多个数据响应的目的地址，对所述多个数据响应执行筛选操作，以获得所述目标数据响应。
在一种可选的实施方式中，所述移动终端的数量为多个，多个所述移动终端分别通过集线器的接口与所述中间人代理服务工具所在的设备通信连接。
程序310中各步骤的具体实现可以参见上述应用程序的数据获取方法实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
通过本实施例的电子设备，所述中间人代理服务工具对接收到的所述应用程序基于自动化控制操作生成的数据请求执行修改操作，获得用于请求待获取的所述应用程序的页面展示数据的请求，并将所述请求发送至所述服务端，使得所述服务端生成与所述请求对应的数据响应，再对接收到的所述服务端返回的所述数据响应进行解析，以获取所述数据响应中携带的所述应用程序的页面展示数据，无需前期投入较多时间和精力完成加密请求的破解，能够简便快速地获取移动终端的应用程序的页面展示数据。
需要指出，根据实施的需要，可将本发明实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本发明实施例的目的。
上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的应用程序的数据获取方法。此外，当通用计算机访问用于实现在此示出的应用程序的数据获取方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的应用程序的数据获取方法的专用计算机。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的范围。
以上实施方式仅用于说明本发明实施例，而并非对本发明实施例的限制，有关技术领域的普通技术人员，在不脱离本发明实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明实施例的范畴，本发明实施例的专利保护范围应由权利要求限定。
Claims (10)
1.一种应用程序的数据获取方法，其特征在于，应用于中间人代理服务工具，所述中间人代理服务工具分别与移动终端的应用程序和所述应用程序的服务端通信连接，所述方法包括：
接收所述应用程序发送的基于自动化控制操作生成的数据请求，所述数据请求用于请求所述应用程序的页面展示数据；
对所述数据请求执行修改操作，以获得修改后的数据请求，所述修改后的数据请求用于请求待获取的所述应用程序的页面展示数据；
将所述修改后的数据请求发送至所述服务端，使得所述服务端生成与所述修改后的数据请求对应的数据响应，所述数据响应中携带有待获取的所述应用程序的页面展示数据；
接收所述服务端返回的所述数据响应，并对所述数据响应进行解析，以获取所述应用程序的页面展示数据。
2.根据权利要求1所述的应用程序的数据获取方法，其特征在于，所述接收所述应用程序发送的基于自动化控制操作生成的数据请求之前，所述方法还包括：
调用所述应用程序的自动化控制接口，向所述移动终端的自动化控制插件发送所述应用程序的自动化控制指令，使得所述自动化控制插件根据所述自动化控制指令，对所述应用程序的页面的控件进行自动化控制操作。
3.根据权利要求1所述的应用程序的数据获取方法，其特征在于，所述对所述数据请求执行修改操作，以获得修改后的数据请求，包括：
对所述数据请求中的请求内容字段的请求内容参数执行修改操作，以获得所述修改后的数据请求。
4.根据权利要求1所述的应用程序的数据获取方法，其特征在于，所述方法还包括：
若检测到所述数据请求中存在对参数加密的字段，则从所述数据请求中的所述字段中获取加密的参数，并保存所述加密的参数；
在所述加密的参数的有效期范围内，根据所述加密的参数，构造多个用于请求待获取的所述应用程序的页面展示数据的请求。
5.根据权利要求1所述的应用程序的数据获取方法，其特征在于，所述方法还包括：
当所述中间人代理服务工具在同一时间点接收到所述服务端返回的多个数据响应时，调用数据响应筛选接口，对所述中间人代理服务工具在同一时间点接收到的所述多个数据响应执行筛选操作，以获得目标数据响应，并对所述目标数据响应进行解析，以获取所述应用程序的页面展示数据。
6.根据权利要求5所述的应用程序的数据获取方法，其特征在于，所述调用数据响应筛选接口，对所述中间人代理服务工具在同一时间点接收到的所述多个数据响应执行筛选操作，包括：
调用数据响应筛选接口，根据所述多个数据响应的目的地址，对所述多个数据响应执行筛选操作，以获得所述目标数据响应。
7.根据权利要求1所述的应用程序的数据获取方法，其特征在于，所述移动终端的数量为多个，多个所述移动终端分别通过集线器的接口与所述中间人代理服务工具所在的设备通信连接。
8.一种应用程序的数据获取装置，其特征在于，应用于中间人代理服务工具，所述中间人代理服务工具分别与移动终端的应用程序和所述应用程序的服务端通信连接，所述装置包括：
接收模块，用于接收所述应用程序发送的基于自动化控制操作生成的数据请求，所述数据请求用于请求所述应用程序的页面展示数据；
修改模块，用于对所述数据请求执行修改操作，以获得修改后的数据请求，所述修改后的数据请求用于请求待获取的所述应用程序的页面展示数据；
发送模块，用于将所述修改后的数据请求发送至所述服务端，使得所述服务端生成与所述修改后的数据请求对应的数据响应，所述数据响应中携带有待获取的所述应用程序的页面展示数据；
解析模块，用于接收所述服务端返回的所述数据响应，并对所述数据响应进行解析，以获取所述应用程序的页面展示数据。
9.一种电子设备，其特征在于，所述设备包括：
处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7中任意一项权利要求所述的应用程序的数据获取方法对应的操作。
10.一种计算机存储介质，其特征在于，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-7中任意一项权利要求所述的应用程序的数据获取方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111232497.6A CN113934498A (zh) | 2021-10-22 | 2021-10-22 | 应用程序的数据获取方法、装置、设备及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111232497.6A CN113934498A (zh) | 2021-10-22 | 2021-10-22 | 应用程序的数据获取方法、装置、设备及计算机存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113934498A true CN113934498A (zh) | 2022-01-14 |
Family
ID=79283834
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111232497.6A Pending CN113934498A (zh) | 2021-10-22 | 2021-10-22 | 应用程序的数据获取方法、装置、设备及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113934498A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110347902A (zh) * | 2019-07-17 | 2019-10-18 | 北京奇艺世纪科技有限公司 | 一种数据获取方法、装置及系统 |
| CN110620670A (zh) * | 2019-10-15 | 2019-12-27 | 深圳市小赢信息技术有限责任公司 | 令牌获取方法、数据采集系统、代理服务器和存储介质 |
| CN111104577A (zh) * | 2019-10-31 | 2020-05-05 | 北京金堤科技有限公司 | 数据处理方法、装置、计算机可读存储介质及电子设备 |
| CN111104323A (zh) * | 2019-12-17 | 2020-05-05 | 广州品唯软件有限公司 | 应用程序的功能测试方法、系统、代理服务器及存储介质 |
| CN112800309A (zh) * | 2021-01-30 | 2021-05-14 | 上海应用技术大学 | 基于http代理的爬虫系统及其实现方法 |
| CN113420199A (zh) * | 2021-07-21 | 2021-09-21 | 北京金堤征信服务有限公司 | 一种应用程序的数据获取方法和装置 |
-
2021
- 2021-10-22 CN CN202111232497.6A patent/CN113934498A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110347902A (zh) * | 2019-07-17 | 2019-10-18 | 北京奇艺世纪科技有限公司 | 一种数据获取方法、装置及系统 |
| CN110620670A (zh) * | 2019-10-15 | 2019-12-27 | 深圳市小赢信息技术有限责任公司 | 令牌获取方法、数据采集系统、代理服务器和存储介质 |
| CN111104577A (zh) * | 2019-10-31 | 2020-05-05 | 北京金堤科技有限公司 | 数据处理方法、装置、计算机可读存储介质及电子设备 |
| CN111104323A (zh) * | 2019-12-17 | 2020-05-05 | 广州品唯软件有限公司 | 应用程序的功能测试方法、系统、代理服务器及存储介质 |
| CN112800309A (zh) * | 2021-01-30 | 2021-05-14 | 上海应用技术大学 | 基于http代理的爬虫系统及其实现方法 |
| CN113420199A (zh) * | 2021-07-21 | 2021-09-21 | 北京金堤征信服务有限公司 | 一种应用程序的数据获取方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10097574B2 (en) | Auto-tuning program analysis tools based on user feedback | |
| CN111131320B (zh) | 资产识别方法、装置、系统和介质 | |
| JPWO2018131199A1 (ja) | 結合装置、結合方法および結合プログラム | |
| CN110750443A (zh) | 网页测试的方法、装置、计算机设备及存储介质 | |
| CN110737645B (zh) | 一种不同系统间数据迁移方法、数据迁移系统及相关设备 | |
| CN114189553B (zh) | 一种流量回放方法、系统及计算设备 | |
| CN109522202B (zh) | 一种软件测试的方法和装置 | |
| CN113495498B (zh) | 用于硬件设备的模拟方法、模拟器、设备和介质 | |
| CN114579194A (zh) | 一种基于Spring远程调用的异常处理方法和系统 | |
| CN114239026A (zh) | 信息脱敏转换处理方法、装置、计算机设备和存储介质 | |
| CN113989058A (zh) | 一种服务生成方法和装置 | |
| CN112507271B (zh) | 网页取证方法、装置及设备 | |
| US9304891B1 (en) | Load-test generator | |
| CN107395663B (zh) | 数据获取方法及装置 | |
| CN111581098B (zh) | 接口数据转移存储的方法、装置、服务器及存储介质 | |
| CN113162937A (zh) | 应用安全自动化检测方法、系统、电子设备及存储介质 | |
| CN113055420B (zh) | Https业务识别方法、装置及计算设备 | |
| CN110768860B (zh) | 一种测试方法、测试装置及电子设备 | |
| CN107239475B (zh) | 一种调用文件方法及装置 | |
| CN111343294A (zh) | 网络环境切换方法、装置、设备及计算机可读存储介质 | |
| CN113934498A (zh) | 应用程序的数据获取方法、装置、设备及计算机存储介质 | |
| CN110737861A (zh) | 一种网页数据处理方法、装置、设备和存储介质 | |
| CN111338928A (zh) | 基于chrome浏览器测试的方法及装置 | |
| CN114915565A (zh) | 网络调试的方法和系统 | |
| CN110968504A (zh) | 测试方法、平台、电子设备和计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230727 Address after: Room 404-405, 504, Building B-17-1, Big data Industrial Park, Kecheng Street, Yannan High tech Zone, Yancheng, Jiangsu Province, 224000 Applicant after: Yancheng Tianyanchawei Technology Co.,Ltd. Address before: 224000 room 501-503, building b-17-1, Xuehai road big data Industrial Park, Kecheng street, Yannan high tech Zone, Yancheng City, Jiangsu Province (CNK) Applicant before: Yancheng Jindi Technology Co.,Ltd. |
|
| TA01 | Transfer of patent application right |