CN107317723B - 一种数据处理方法及服务器 - Google Patents

一种数据处理方法及服务器 Download PDF

Info

Publication number
CN107317723B
CN107317723B CN201710396151.7A CN201710396151A CN107317723B CN 107317723 B CN107317723 B CN 107317723B CN 201710396151 A CN201710396151 A CN 201710396151A CN 107317723 B CN107317723 B CN 107317723B
Authority
CN
China
Prior art keywords
server
data
client terminal
operating system
sent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710396151.7A
Other languages
English (en)
Other versions
CN107317723A (zh
Inventor
赵园园
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Internet Security Software Co Ltd
Original Assignee
Beijing Kingsoft Internet Security Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Internet Security Software Co Ltd filed Critical Beijing Kingsoft Internet Security Software Co Ltd
Priority to CN201710396151.7A priority Critical patent/CN107317723B/zh
Publication of CN107317723A publication Critical patent/CN107317723A/zh
Application granted granted Critical
Publication of CN107317723B publication Critical patent/CN107317723B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/02—Capturing of monitoring data
    • H04L43/022—Capturing of monitoring data by sampling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • G06F16/972—Access to data in other repository systems, e.g. legacy data or dynamic Web page generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823—Errors, e.g. transmission errors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/34—Network arrangements or protocols for supporting network services or applications involving the movement of software or configuration parameters 

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Debugging And Monitoring (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明实施例公开了一种数据处理方法及服务器。所述方法包括：使用第一操作系统的第一服务器获取客户终端发出的第一数据；其中，第一数据包括至少一条上报请求，第一数据是客户终端发送给使用第二操作系统的第二服务器的；第一服务器从第二服务器中获取第二数据；其中，第二数据为第二服务器将接收到的客户终端发送的上报请求进行存储的日志文件；分析对比第一数据和第二数据。上述方法能够实时高效地对客户终端发出的数据、第二服务器接收到的数据进行分析比对，判断数据在传输过程中是否正确无误、是否有丢失，得到的准确的数据分析结果，实现了数据分析的自动化，减少测试人员的工作量。

Description

一种数据处理方法及服务器
技术领域
本发明涉及系统服务端测试领域，特别涉及一种数据处理方法及服务器。
背景技术
客户端是为客户提供本地服务的程序，服务端是为客户端服务的，能够为客户端提供资源并保存客户端数据。其中，客户端一般安装在智能终端上，例如手机、平板电脑等，服务端一般是高性能的服务器。
客户在使用客户端的过程中，客户端会发送多种数据给服务端，以使服务端保存相关数据或者返回相关资源。
以一个例子说明，假设客户端为浏览器，安装在手机1上，客户在通过浏览器浏览页面时，假设页面上会显示广告1。在上述的显示广告1的步骤中，客户端向服务端发送一条上报请求，该上报请求可能包括以下信息：展现上报信息，表示被客户看到了；客户端标识，表明该客户端是浏览器；手机标识，表明客户在手机1上通过浏览器浏览页面；广告位信息，表明具体是哪个广告位；广告信息，表明是广告1被客户看到了。
若在浏览过程中，客户点击了广告1进行了解，客户端向服务器发送另一条上报请求，该上报请求可能包括以下信息：点击上报信息，表示客户比较感兴趣，进行了点击操作查看广告详情；客户端标识，表明该客户端是浏览器；手机标识，表明客户在手机1上通过浏览器点击广告；广告位信息，表明具体是哪个广告位；广告信息，表明客户点击了解的是广告1。
目前，通常在Linux系统下搭建接收服务器(receive server)，接收服务器可作为上述的服务端，接收客户端上报的请求数据，并以日志文件的形式存储。这里，所述接收服务器以外的终端或者服务器都不能获取所述日志文件。
目前，通常在Windows系统下通过Charles监控并获取客户端发出的请求数据。Charles是一种Windows系统下常用的截取网络封包的工具，能够实现网络封包的截取和分析。
由于使用的操作系统不同，在Windows操作系统下的服务器和Linux操作系统下的服务器并不能互相访问对方的地址，更不能获取对方服务器中存储的内容。
在现有技术中，在进行系统服务端测试操作时，只能通过人工分析对比的方式对接收服务器存储的日志文件和Charles获取到的请求数据进行逐条分析，来检查请求数据的一致性，查看请求数据在发送过程中是否正确，是否有丢失。但在人工分析对比的过程中，难免出错，分析对比的结果准确性不高，且测试人员的工作量大，影响测试效率。
发明内容
本发明实施例提供一种数据处理方法及服务器，实现了数据分析对比的自动化，能够得到准确的数据分析结果，减少测试人员的工作量。
第一方面，本发明实施例提供了一种数据处理方法，包括：
使用第一操作系统的第一服务器获取客户终端发出的第一数据；其中，所述第一数据包括至少一条上报请求，所述第一数据是所述客户终端发送给使用第二操作系统的第二服务器的；
所述第一服务器通过访问软连接从所述第二服务器中获取第二数据；其中，所述第二数据为所述第二服务器将接收到的所述客户终端发出的所述第一数据进行存储的日志文件；
分析对比所述第一数据和所述第二数据。
结合第一方面，在第一方面的第一种实施方式中，所述第一服务器安装有网络封包截取工具，
使用第一操作系统的第一服务器获取客户终端发出的第一数据包括：所述第一服务器通过所述网络封包截取工具获取所述客户终端发出的所述第一数据。
结合第一方面的第一种实施方式，在第一方面的第二种实施方式中，所述第一服务器通过访问软连接从所述第二服务器中获取第二数据之前，还包括：
通过所述网络封包截取工具查看所述客户终端发出的第一数据的接收终端，确定所述接收终端为所述第二服务器。
结合第一方面的第一种或第二种实施方式，在第一方面的第三种实施方式中，所述网络封包截取工具为Charles。
结合第一方面或第一方面的第一种实施方式或第一方面的第二种实施方式或第一方面的第三种实施方式，在第一方面的第四种实施方式中，所述第二服务器安装有nginx，所述nginx下包括指示所述第二服务器存储所述第二数据的位置的软链接；
所述第一服务器从所述第二服务器中获取第二数据包括：
所述第一服务器通过访问所述软链接获取所述第二数据。
结合第一方面或第一方面的第一种实施方式或第一方面的第二种实施方式或第一方面的第三种实施方式或第一方面的第四种实施方式，在第一方面的第五种实施方式中，所述第一操作系统为Windows系统，所述第二操作系统为Linux系统。
结合第一方面或第一方面的任意一种实施方式，所述分析对比所述第一数据和所述第二数据包括：提取所述第一数据中的上报请求中的第一信息，提取所述第二数据中和所述上报请求对应的第二信息，对比所述第一信息和所述第二信息是否相同。
第二方面，本发明实施例提供了一种服务器，所述服务器使用第一操作系统，所述服务器包括：
第一获取单元，用于获取客户终端发出的第一数据；其中，所述第一数据包括至少一条上报请求，所述第一数据是所述客户终端发送给使用第二操作系统的第二服务器的；
第二获取单元，用于通过访问软链接从所述第二服务器中获取第二数据；其中，所述第二数据为所述第二服务器将接收到的所述客户终端发出的所述第一数据进行存储的日志文件；
分析单元，用于分析对比所述第一数据和所述第二数据。
结合第二方面，在第二方面的第一种实施方式中，所述服务器还包括：
安装单元，用于安装网络封包截取工具；
所述第一获取单元具体用于通过所述网络封包截取工具获取所述客户终端发出的所述第一数据。
结合第二方面的第一种实施方式，在第二方面的第二种实施方式中，所述服务器还包括：
查看单元，用于通过所述网络封包截取工具查看所述客户终端发出的第一数据的接收终端，并确定所述接收终端为所述第二服务器。
结合第二方面的第一种或第二种实施方式，在第二方面的第三种实施方式中，所述网络封包截取工具为Charles。
结合第二方面或第二方面的第一种实施方式或第二方面的第二种实施方式或第二方面的第三种实施方式，在第二方面的第四种实施方式中，所述第二服务器安装有nginx，所述nginx下包括指示所述第二服务器存储所述第二数据的位置的软链接；
所述第二获取单元具体用于通过访问所述软链接获取所述第二数据。
结合第二方面或第二方面的第一种实施方式或第二方面的第二种实施方式或第二方面的第三种实施方式或第二方面的第四种实施方式，在第二方面的第五种实施方式中，所述第一操作系统为Windows系统，所述第二操作系统为Linux系统。
结合第二方面或第二方面的任意一种实施方式，所述分析单元具体用于提取所述第一数据中的上报请求中的第一信息，提取所述第二数据中和所述上报请求对应的第二信息，对比所述第一信息和所述第二信息是否相同。
第三方面，本发明实施例提供了一种服务器，所述服务器包括：存储单元、通信接口及与所述存储单元和通信接口耦合的处理器；所述存储单元用于存储指令，所述处理器用于执行所述指令，所述通信接口用于在所述处理器的控制下与其他设备进行通信；其中，所述处理器执行所述指令时执行如第一方面及第一方面的任意一种实施方式所描述的方法。
实施本发明实施例的数据处理方法，第一服务器通过Charles获取客户终端发出的第一数据，通过nginx下的软链接获取第二服务器中的第二数据，并分析对比所述第一数据和所述第二数据，能够实时、自动、高效地对客户终端发出的数据、第二服务器接收到的数据进行分析对比，判断数据在传输过程中是否正确无误、是否有丢失。实施本方法，得到的数据分析结果比人工对比结果更加准确，实现了数据分析的自动化，能够减少测试人员的工作量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例涉及的一种通信系统的结构示意图。
图2是本发明实施例提供的一种数据处理方法的流程示意图。
图3是本发明实施例提供的另一种数据处理方法的流程示意图。
图4是本发明实施例提供的一种服务器的结构示意图。
图5是本发明实施例提供的另一种服务器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
首先，介绍本发明实施例涉及的一种通信系统。请参见图1，图1是本发明实施例提供的一种通信系统的结构示意图，如图1所示，所述通信系统可包括：客户终端110、第一服务器120和第二服务器130。
其中，所述客户终端110能够安装多种客户端。在本实施例中，所述客户终端110可以是平板电脑、笔记本电脑、掌上电脑、手机等智能终端设备；客户端可以是各种应用软件。在用户使用客户终端110上安装的客户端时，所述客户终端110会发送多种数据给第二服务器130，以使所述第二服务器130保存相关数据或者返回相关资源。
所述第二服务器130是为客户终端110上安装的客户端服务的，能够为客户端提供资源并保存客户端相关数据。所述第二服务器130和所述客户终端110之间通过网络进行通信。所述第二服务器130中以日志文件的形式保存接收到的客户终端110发送的多种数据，所述日志文件可用于测试人员的数据分析工作。在本发明实施例中，所述第二服务器搭建在第二操作系统上，所述第二操作系统为Linux系统。可理解的，所述第二服务器130可以实时接收客户终端110上报的数据，所述第二服务器130也可以称为接收服务器(ReceiveServer)。
所述第一服务器120搭建在第一操作系统上，所述第一操作系统为Windows系统。在本发明实施例中，所述第一服务器120中可安装网络封包截取工具。所述第一服务器120和所述客户终端110之间可通过网络或者物理接口连接，在所述客户终端110发出数据时，所述第一服务器120可通过安装的网络封包截取工具获取到所述客户终端110发出的数据。
在图1所示的通信系统中，所述第一服务器120和所述第二服务器130搭建在不同的系统上，所述第一服务器120不能获取所述第二服务器130中的数据，同理，所述第二服务器130也不能获取所述第一服务器120中的数据。测试人员在进行系统服务端测试操作时，需要对所述第一服务器120截取到的客户终端110发出的数据，以及所述第二服务器130中保存的日志文件进行对比分析，查看客户终端110发出的数据和所述第二服务器存储的日志文件中的信息是否正确无误、是否有丢失。目前，在进行上述对比分析操作时，只能通过测试人员人工地将所述第一服务器120中截取到的数据和所述第二服务器中存储的日志文件进行分析，工作量大且容易出错，测试结果准确率不高。
在本发明实施例中，为了描述简便，可将所述第一服务器120通过网络封包截取工具获取到的所述客户终端110发出的数据称为第一数据，可将所述第二服务器130接收到的所述客户终端发送的上报请求进行存储的日志文件称为第二数据。
请参见图2，图2是本发明实施例提供的一种数据处理方法的流程示意图，所述方法能够在同一操作系统下同时获取上述的第一数据及第二数据，并进行对比分析。下面进行详细描述：
步骤S201、使用第一操作系统的第一服务器获取客户终端发出的第一数据；其中，所述第一数据包括至少一条上报请求，所述第一数据是所述客户终端发送给使用第二操作系统的第二服务器的。
在本发明实施例中，所述第一服务器可以安装网络封包截取工具，并通过所述网络封包截取工具来获取所述客户终端发送给第二服务器的所述第一数据。
步骤S202、所述第一服务器通过访问软链接从所述第二服务器中获取第二数据；其中，所述第二数据为所述第二服务器将接收到的所述客户终端发出的所述第一数据进行存储的日志文件。
在本发明实施例中，所述第二服务器中包括指示所述第二服务器存储所述第二数据的位置的软链接。所述第二服务器和所述第一服务器使用不同的操作系统，所述第一服务器通过所述软链接才能获取到所述第二服务器中的所述第二数据，即所述第二服务器将接收到的所述客户终端发出的所述第一数据进行存储的日志文件。
步骤S203、分析对比所述第一数据和所述第二数据。
在本发明实施例中，所述第一服务器获取了所述第一数据及所述第二数据，可以自动对所述第一数据及所述第二数据进行分析对比，判断客户终端在向第二服务器发送数据的过程中，数据传输是否准确，是否有丢失。
请参见图3，图3是本发明实施例提供的另一种数据处理方法的流程示意图。所述方法可以在同一操作系统下同时获取上述的第一数据及第二数据，并进行对比分析。下面进行详细描述：
步骤S301、使用第一操作系统的第一服务器安装网络封包截取工具。
在本发明实施例中，所述第一服务器可以是图1所示通信系统中的第一服务器120，所述第一操作系统为Windows系统。
步骤S302、客户终端发送第一数据给使用第二操作系统的第二服务器；其中，所述第一数据包括至少一条上报请求。
在本发明实施例中，所述客户终端可以是图1所示通信系统中的客户终端110。所述第二服务器可以是图1所示通信系统中的第二服务器130，所述第二操作系统为Linux系统。
具体的，所述第一数据为用户在使用客户终端上安装的客户端时，所述客户终端发送给使用第二操作系统的第二服务器的。所述第一数据包括至少一条上报请求。
下面通过一个具体的例子来说明所述上报请求可能包括的内容。假设客户端为浏览器，安装在手机1上，手机1即为所述客户终端。客户在通过浏览器浏览页面时，假设页面上会显示广告1。在上述的显示广告1的步骤中，客户终端会向第二服务器发送一条上报请求，该上报请求可能包括以下信息：展现上报信息，表示被客户看到了；客户端标识，表明该客户端是浏览器；手机标识，表明客户在手机1上通过浏览器浏览页面；广告位信息，表明具体是哪个广告位；广告信息，表明是广告1被客户看到了。
若在浏览过程中，客户点击了广告1进行了解，客户终端向第二服务器发送另一条上报请求，该上报请求可能包括以下信息：点击上报信息，表示客户比较感兴趣，进行了点击操作查看广告详情；客户端标识，表明该客户端是浏览器；手机标识，表明客户在手机1上通过浏览器点击广告；广告位信息，表明具体是哪个广告位；广告信息，表明客户点击了解的是广告1。
可理解的，上述两条上报请求可以同时发送给所述第二服务器，也可以分别多次发送给所述第二服务器。
步骤S303、所述第一服务器使用网络封包截取工具获取客户终端发送的所述第一数据。
具体的，所述第一服务器安装有网络封包截取工具，在所述客户终端向所述第二服务器发送所述第一数据时，所述第一服务器可通过所述网络封包截取工具实时获取所述第一数据。
在本发明实施例中，所述网络封包截取工具可以是Charles。Charles是一种Windows操作系统下常用的网络封包截取工具。此外，Charles也可以实现代理服务器的功能，可将客户终端发出的数据转发给服务端，及所述第二服务器。
步骤S304、所述第二服务器接收所述客户终端发送的所述第一数据，并以日志文件的形式存储为第二数据。
步骤S305、所述第二服务器安装nginx，并在nginx下创建指示所述第二服务器存储第二数据的位置的软链接。
可理解的是，上述步骤S301及S305在执行的时候并没有时间上的先后顺序，步骤S301及S305可以在上述步骤S302-S304之前或者之后，可根据实际情况调整。
步骤S306、所述第一服务器通过访问所述第二服务器中的软链接获取所述第二数据。
在本发明实施例中，所述第一服务器在通过上述步骤S303截取客户终端发送的第一数据后，还要从接收到所述客户终端发送的所述第一数据的服务端(即所述第二服务器)中获取第二数据，才能对所述第一数据及所述第二数据进行分析对比。
对于所述第一服务器来说，所述客户终端将所述第一数据发送给了哪一个具体的服务器时未知的。因此，在实施步骤S306之前，所述第一服务器首先要确定所述第二服务器，获取所述第二服务器的网络协议(Internet Protocol，IP)地址等信息。这里，可通过以下两种方式确定所述第二服务器：
第一种，所述第一服务器通过网络封包截取工具截取所述第一数据，所述第一数据中包括了目的服务器的地址等信息。所述第一服务器可通过解析所述第一数据，获取所述目的服务器(即所述第二服务器)的地址等信息，从而确定所述第二服务器，从确定的所述第二服务器中获取所述第二数据。
第二种，所述客户端在向目的服务器(即所述第二服务器)发送所述第一数据时，先发送到所述第一服务器，再通过所述第一服务器转发到所述目的服务器(即所述第二服务器)。具体的，所述第一服务器中安装的网络封包截取工具(例如Charles)可以具有代理服务器的功能，这里的第一服务器具有网络数据中转站的功能。所述第一服务器将所述客户终端发送的第一数据发送给目的服务器后，即可确定所述目的服务器为所述第二服务器，并从确定的所述第二服务器中获取所述第二数据。
由于所述第一服务器和所述第二服务器搭建在不同的操作系统之上，一般情况下，所述第一服务器和所述第二服务器都不能直接获取对方存储的数据。在本发明实施例中，所述第二服务器中安装有nginx，通过nginx，所述第一服务器可以从所述第二服务器中获取所述第二数据。下面详细描述所述第一服务器如何从所述第二服务器中获取所述第二数据。
具体的，所述第二服务器安装有nginx，nginx在Linux操作系统下具有很高的效率，可作为一个轻量级的网页服务器(webserver)。即是说，通过nginx下的各类链接可以访问到相应的地址。在本发明实施例中，搭建在Windows系统下的第一服务器通过nginx下的各类链接也可以访问到搭建在Linux系统下的第二服务器中的相应位置。
在本发明实施例中，在所述第二服务器中安装的nginx的html路径下新建一个文件夹，所述文件夹中包括所述第二服务器存储所述第二数据的软链接，即通过所述软链接可以实际访问所述第二服务器中存储所述第二数据的位置。具体实现中，所述软链接可以实现成http://IP/rcv.log的形式，其中，IP为所述第二服务器的IP地址，所述rcv.log即指向所述第二服务器存储所述第二数据(即日志文件)的地址。
具体的，所述第一服务器可通过所述nginx下的软链接访问所述第二服务器存储所述第二数据的地址，并获取所述第二数据。具体实现中，所述第一服务器可以接收测试人员输入的带有上述软链接的命令，并访问所述命令中的软链接来获取所述第二服务器中的所述第二数据。例如，所述命令可以是：curl http://IP/rcv.log。
以一个具体的例子说明，假设客户终端上报第一数据给IP地址为10.60.81.185、搭建在Linux操作系统下的第二服务器。所述第二服务器安装有nginx，nginx下的html路径下新建了一个文件夹，该文件夹中包括软链接：http://10.60.81.185/rcv.log。
假设第一服务器的IP地址为10.60.96.111，所述第一服务器搭建在Windows操作系统下且安装有Charles。所述第一服务器通过Charles截取到客户终端上报的第一数据后，可接收测试人员输入的命令：curl http://10.60.81.185/rcv.log。在接收到测试人员输入的命令之后，所述第一服务器可访问IP地址为10.60.81.185的所述第二服务器，并获取所述第二服务器中存储的所述第二数据。
步骤S307、分析对比所述第一数据和所述第二数据。
具体的，所述第一服务器获取了所述第一数据及所述第二数据。所述第一服务器可提取所述第一数据中的上报请求中包括的第一信息以及提取所述第二数据中和所述上报请求对应的第二信息，并对比所述第一信息和所述第二信息是否相同，可判断客户终端在向第二服务器发送数据的过程中，数据传输是否准确，是否有丢失。
例如，客户终端向第二服务器发送了第一数据，第一数据包括一条上报请求，该上报请求中包括两个信息“手机标识：手机1；广告信息：广告1”。第二服务器接收到上报请求以日志文件的形式存储，假设该上报请求在传输过程中出现错误，导致第二服务器中以日志文件形式存储的第二数据中包括的信息如下：“手机标识：手机1；广告信息：广告2”。所述第一服务器在获取到第一数据和第二数据之后，可提取到第一数据中的第一信息“手机标识：手机1；广告信息：广告1”以及第二数据中的第二信息“手机标识：手机1；广告信息：广告2”，并对比所述第一信息和所述第二信息是否相同。显然地，所述第一服务器对比结果是所述第一信息和所述第二信息中的广告信息并不相同，可确定客户终端在向第二服务器发送数据的过程中出现了错误，可进一步查找原因并进行后续处理。
上述可知，本发明实施例的数据处理方法，第一服务器通过Charles获取客户终端发出的第一数据，通过nginx下的软链接获取第二服务器中的第二数据，并分析对比所述第一数据和所述第二数据，能够实时、自动、高效地对客户终端发出的数据、第二服务器接收到的数据进行分析对比，判断数据在传输过程中是否正确无误、是否有丢失。实施本方法，得到的数据分析结果更加准确，实现了数据分析的自动化，能够减少测试人员的工作量。
上述详细阐述了本发明实施例的方法，为了便于更好地实施本发明实施例的上述方案，相应地，下面提供了本发明实施例的装置。
请参见图4，图4是本发明实施例提供的一种服务器400的功能结构示意图。具体实现中，所述服务器400可以实现成图1所示通信系统中的第一服务器120，也可以实现成图2或图3实施例中描述的第一服务器。服务器400使用第一操作系统，包括以下功能模块：
第一获取单元410，用于获取客户终端发出的第一数据；其中，所述第一数据包括至少一条上报请求，所述第一数据是所述客户终端发送给使用第二操作系统的第二服务器的；
第二获取单元420，用于通过访问软链接从所述第二服务器中获取第二数据；其中，所述第二数据为所述第二服务器将接收到的所述客户终端发出的所述第一数据进行存储的日志文件；
分析单元430，用于分析对比所述第一数据和所述第二数据。
安装单元440，用于安装网络封包截取工具；
所述第一获取单元具体用于通过所述网络封包截取工具获取所述客户终端发出的所述第一数据。
查看单元450，用于通过所述网络封包截取工具查看所述客户终端发出的第一数据的接收终端，并确定所述接收终端为所述第二服务器。
在可选实施例中，所述网络封包截取工具为Charles。
在可选实施例中，所述第二服务器安装有nginx，所述nginx下包括指示所述第二服务器存储所述第二数据的位置的软链接；
所述第二获取单元具体用于通过访问所述软链接获取所述第二数据。
在可选实施例中，所述第一操作系统为Windows系统，所述第二操作系统为Linux系统。
在可选实施例中，所述分析对比所述第一数据和所述第二数据包括：提取所述第一数据中的上报请求中的第一信息，提取所述第二数据中和所述上报请求对应的第二信息，对比所述第一信息和所述第二信息是否相同。
需要说明的是，本发明各实施例中的终端400中各个功能单元的功能可根据上述图2或图3所示方法实施例中的方法具体实现，其具体实现过程可以参照上述图2或图3所示方法实施例中的相关描述，此处不再赘述。
请参见图5，图5是本发明实施例提供的另一种终端的结构示意图。本实施例的终端500包括：至少一个处理器401、通信接口402、用户接口403和存储器404，处理器401、通信接口402、用户接口403和存储器404可通过总线或者其它方式连接，本发明实施例以通过总线405连接为例。其中，
处理器401可以是通用处理器，例如中央处理器(Central Processing Unit，CPU)。
通信接口402可以为有线接口(例如以太网接口)或无线接口(例如蜂窝网络接口或使用无线局域网接口)，用于与其他终端或网站进行通信。
用户接口403具体可为触控面板，包括触摸屏和触控屏，用于检测触控面板上的操作指令，用户接口403也可以是物理按键或者鼠标。用户接口403还可以为显示屏，用于输出、显示图像或数据。
存储器404可以包括易失性存储器(Volatile Memory)，例如随机存取存储器(Random Access Memory，RAM)；存储器也可以包括非易失性存储器(Non-VolatileMemory)，例如只读存储器(Read-Only Memory，ROM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；存储器404还可以包括上述种类的存储器的组合。存储器404用于存储一组程序代码，处理器401用于调用存储器404中存储的程序代码，执行如下操作：
获取客户终端发出的第一数据；其中，所述第一数据包括至少一条上报请求，所述第一数据是所述客户终端发送给使用第二操作系统的第二服务器的；
通过访问软链接从所述第二服务器中获取第二数据；其中，所述第二数据为所述第二服务器将接收到的所述客户终端发出的所述第一数据进行存储的日志文件；
分析对比所述第一数据和所述第二数据。
在可选实施例中，所述获取客户终端发出的第一数据包括：通过所述网络封包截取工具获取所述客户终端发出的所述第一数据。
在可选实施例中，在从所述第二服务器中获取第二数据之前，还包括：
通过所述网络封包截取工具查看所述客户终端发出的第一数据的接收终端，确定所述接收终端为所述第二服务器。
在可选实施例中，所述网络封包截取工具为Charles。
在可选实施例中，所述第二服务器安装有nginx，所述nginx下包括指示所述第二服务器存储所述第二数据的位置的软链接；所述从所述第二服务器中获取第二数据包括：通过访问所述软链接获取所述第二数据。
在可选实施例中，所述第一操作系统为Windows系统，所述第二操作系统为Linux系统。
在可选实施例中，所述分析对比所述第一数据和所述第二数据包括：提取所述第一数据中的上报请求中的第一信息，提取所述第二数据中和所述上报请求对应的第二信息，对比所述第一信息和所述第二信息是否相同。
上述可知，本发明实施例的服务器，通过Charles获取客户终端发出的第一数据，通过nginx下的软链接获取第二服务器中的第二数据，并分析对比所述第一数据和所述第二数据，能够实时、自动、高效地对客户终端发出的数据、第二服务器接收到的数据进行分析对比，判断数据在传输过程中是否正确无误、是否有丢失。所述服务器对数据分析对比得到的结果比人工分析对比得到的结果更加准确，所述服务器实现了数据分析的自动化，减少了测试人员的工作量。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (11)

1.一种数据处理方法，其特征在于，包括：
使用第一操作系统的第一服务器获取客户终端发出的第一数据；
其中，所述第一数据包括至少一条上报请求，所述第一数据是所述客户终端发送给使用不同于所述第一操作系统的第二操作系统的第二服务器的；
所述第一服务器通过访问软链接从所述第二服务器中获取第二数据；
其中，所述第二数据为所述第二服务器将接收到的所述客户终端发出的所述第一数据进行存储的日志文件；
提取所述第一数据中的上报请求中的第一信息，提取所述第二数据中和所述上报请求对应的第二信息，对比所述第一信息和所述第二信息是否相同。
2.如权利要求1所述的方法，其特征在于，所述第一服务器安装有网络封包截取工具，
使用第一操作系统的第一服务器获取客户终端发出的第一数据包括：所述第一服务器通过所述网络封包截取工具获取所述客户终端发出的所述第一数据。
3.如权利要求2所述的方法，其特征在于，所述第一服务器通过访问软链接从所述第二服务器中获取第二数据之前，还包括：
通过所述网络封包截取工具查看所述客户终端发出的第一数据的接收终端，确定所述接收终端为所述第二服务器。
4.如权利要求2或3所述的方法，其特征在于，所述网络封包截取工具为Charles。
5.如权利要求1所述的方法，其特征在于，所述第一操作系统为Windows系统，所述第二操作系统为Linux系统。
6.一种服务器，其特征在于，所述服务器使用第一操作系统，所述服务器包括：
第一获取单元，用于获取客户终端发出的第一数据；其中，所述第一数据包括至少一条上报请求，所述第一数据是所述客户终端发送给使用不同于所述第一操作系统的第二操作系统的第二服务器的；
第二获取单元，用于通过访问软链接从所述第二服务器中获取第二数据；其中，所述第二数据为所述第二服务器将接收到的所述客户终端发出的所述第一数据进行存储的日志文件；
分析单元，用于提取所述第一数据中的上报请求中的第一信息，提取所述第二数据中和所述上报请求对应的第二信息，对比所述第一信息和所述第二信息是否相同。
7.如权利要求6所述的服务器，其特征在于，还包括：
安装单元，用于安装网络封包截取工具；
所述第一获取单元具体用于通过所述网络封包截取工具获取所述客户终端发出的所述第一数据。
8.如权利要求7所述的服务器，其特征在于，所述服务器还包括：
查看单元，用于通过所述网络封包截取工具查看所述客户终端发出的第一数据的接收终端，并确定所述接收终端为所述第二服务器。
9.如权利要求7或8所述的服务器，其特征在于，所述网络封包截取工具为Charles。
10.如权利要求6所述的服务器，其特征在于，所述第一操作系统为Windows系统，所述第二操作系统为Linux系统。
11.一种服务器，其特征在于，包括：处理器、存储器、通信接口和总线；所述处理器、所述存储器和所述通信接口通过所述总线连接并完成相互间的通信；所述存储器存储可执行程序代码；所述处理器通过读取所述存储器中存储的可执行程序代码来运行所述可执行程序代码对应的程序，以用于执行一种数据处理方法；其中，所述方法为如权利要求1至5任一项所述的方法。
CN201710396151.7A 2017-05-27 2017-05-27 一种数据处理方法及服务器 Expired - Fee Related CN107317723B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710396151.7A CN107317723B (zh) 2017-05-27 2017-05-27 一种数据处理方法及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710396151.7A CN107317723B (zh) 2017-05-27 2017-05-27 一种数据处理方法及服务器

Publications (2)

Publication Number Publication Date
CN107317723A CN107317723A (zh) 2017-11-03
CN107317723B true CN107317723B (zh) 2021-01-05

Family

ID=60183523

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710396151.7A Expired - Fee Related CN107317723B (zh) 2017-05-27 2017-05-27 一种数据处理方法及服务器

Country Status (1)

Country Link
CN (1) CN107317723B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112003893B (zh) * 2020-07-17 2023-07-25 北京达佳互联信息技术有限公司 一种资源下载方法和装置
CN112631916A (zh) * 2020-12-24 2021-04-09 摩拜(北京)信息技术有限公司 数据验证方法、装置及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104539630A (zh) * 2015-01-19 2015-04-22 北京网秦天下科技有限公司 在windows客户端上查看linux日志文件的方法以及装置
CN106569934A (zh) * 2015-10-13 2017-04-19 阿里巴巴集团控股有限公司 一种应用日志显示方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101098210A (zh) * 2005-06-30 2008-01-02 株式会社日立制作所 通信控制方法、通信控制装置以及通信控制系统
CA2551433C (en) * 2005-06-30 2012-10-02 Hitachi, Ltd. Sending device, receiving device, communication control device, communication system, and communication control method
CN101556590A (zh) * 2008-04-09 2009-10-14 北京闻言科技有限公司 一种分类存取海量小文件的方法
US9749435B2 (en) * 2012-01-20 2017-08-29 Apple Inc. Proxy-based push service
JP2013196483A (ja) * 2012-03-21 2013-09-30 Casio Comput Co Ltd データ処理システム、サーバ装置及びプログラム
CN104133888B (zh) * 2014-07-30 2019-08-02 宇龙计算机通信科技(深圳)有限公司 一种多系统数据处理方法、装置及终端
CN106407226B (zh) * 2015-07-31 2019-09-13 华为技术有限公司 一种数据处理方法、备份服务器及存储系统
CN106534257B (zh) * 2016-09-29 2019-09-27 国家电网公司 一种多层次集群式架构的多源安全日志采集系统及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104539630A (zh) * 2015-01-19 2015-04-22 北京网秦天下科技有限公司 在windows客户端上查看linux日志文件的方法以及装置
CN106569934A (zh) * 2015-10-13 2017-04-19 阿里巴巴集团控股有限公司 一种应用日志显示方法及装置

Also Published As

Publication number Publication date
CN107317723A (zh) 2017-11-03

Similar Documents

Publication Publication Date Title
US10212063B2 (en) Network aware distributed business transaction anomaly detection
US9961129B2 (en) Business transaction correlation with client request monitoring data
CN108521353B (zh) 定位性能瓶颈的处理方法、设备及可读存储介质
CN110069413B (zh) 测试数据通信、测试方法、装置、设备及存储介质
CN113726607B (zh) 一种网络探测方法、装置、电子设备及存储介质
CN103546330A (zh) 一种浏览器兼容性检测方法、装置及系统
US20170220218A1 (en) Automatic Generation of Regular Expression Based on Log Line Data
CN107317723B (zh) 一种数据处理方法及服务器
JP5112401B2 (ja) Ｗｅｂ行動履歴取得システム、Ｗｅｂ行動履歴取得方法、ゲートウェイ装置、及びプログラム
CN112511459A (zh) 一种流量识别方法、装置、电子设备及存储介质
CN111431767A (zh) 多浏览器资源同步方法、装置、计算机设备和存储介质
CN112491974B (zh) 远程浏览方法、装置、存储介质、终端设备及服务器
CN105530137A (zh) 流量数据分析方法及流量数据分析系统
CN115729727A (zh) 故障修复方法、装置、设备及介质
CN109522202B (zh) 一种软件测试的方法和装置
US20170034030A1 (en) Monitoring single content page application transitions
CN112256557B (zh) 程序回归测试方法、装置、系统、计算机设备及存储介质
CN112416698B (zh) 监控系统的扩展方法及装置、存储介质及电子设备
CN109951549B (zh) 网络页面的访问方法、装置及计算机可读存储介质
CN114915565B (zh) 网络调试的方法和系统
CN116820958A (zh) 一种基于代理的多环境自动化测试方法及系统
CN113986603B (zh) 页面加载异常原因的确定方法、装置及存储介质
CN112671814B (zh) 一种跨平台的设备开发方法、装置及系统
CN112559278B (zh) 操作数据的获取方法和装置
JP6787845B2 (ja) 被疑箇所推定装置、及び被疑箇所推定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210105