CN111314351A - 反爬虫的数据处理方法、装置、电子设备及存储介质 - Google Patents

反爬虫的数据处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111314351A
CN111314351A CN202010102791.4A CN202010102791A CN111314351A CN 111314351 A CN111314351 A CN 111314351A CN 202010102791 A CN202010102791 A CN 202010102791A CN 111314351 A CN111314351 A CN 111314351A
Authority
CN
China
Prior art keywords
data
rule
response data
obfuscated
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010102791.4A
Other languages
English (en)
Inventor
崔宝卫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wanghai Kangxin Beijing Technology Co ltd
Original Assignee
Wanghai Kangxin Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wanghai Kangxin Beijing Technology Co ltd filed Critical Wanghai Kangxin Beijing Technology Co ltd
Priority to CN202010102791.4A priority Critical patent/CN111314351A/zh
Publication of CN111314351A publication Critical patent/CN111314351A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H04L63/0478—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload applying multiple layers of encryption, e.g. nested tunnels or encrypting the content with a first key and then with at least a second key
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
    • H04L63/205—Network architectures or network communication protocols for network security for managing network security; network security policies in general involving negotiation or determination of the one or more network security mechanisms to be used, e.g. by negotiation between the client and the server or between peers or by selection according to the capabilities of the entities involved

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供了一种反爬虫的数据处理方法、装置、电子设备及存储介质，该方法包括：获取数据请求端的数据获取请求；基于数据获取请求，确定数据获取请求所对应的原响应数据；基于预配置的数据混淆规则，将原响应数据变换为混淆后的响应数据；将混淆后的响应数据发送至数据请求端，以使数据请求端根据数据混淆规则对混淆后的响应数据进行反变换处理，得到原响应数据。在本方案中，在获取数据请求端的数据获取请求时，由于对原响应数据基于数据混淆规则进行了处理，使得混淆后的数据很难通过爬虫技术获取，因此，可安全将混淆后的响应数据发送给数据请求端，数据请求端可基于数据混淆规则对混淆后的响应数据进行反变换处理，从而得到原响应数据。

Description

反爬虫的数据处理方法、装置、电子设备及存储介质
技术领域
本申请涉及数据处理技术领域，具体而言，本申请涉及一种反爬虫的数据处理方法、装置、电子设备及存储介质。
背景技术
现有技术中，数据传输过程中，数据中通常会携带有一些相关信息，比如，数据中涉及的相关人员信息、关键参数信息等，出于数据安全考虑，在数据传输过程中，通过爬虫技术很容易获取该数据中的一些关键数据，影响数据安全，由此，解决数据传输过程中数据安全的问题是目前亟待解决的问题。
发明内容
本申请的目的旨在至少能解决上述的技术缺陷之一，提高数据传输的安全性。本申请采用的技术方案如下：
第一方面，本申请提供了一种反爬虫的数据处理方法，该方法包括：
获取数据请求端的数据获取请求；
基于数据获取请求，确定数据获取请求所对应的原响应数据；
基于预配置的数据混淆规则，将原响应数据变换为混淆后的响应数据；
将混淆后的响应数据发送至数据请求端，以使数据请求端根据数据混淆规则对混淆后的响应数据进行反变换处理，得到原响应数据。
本申请第一方面的实施例中，数据混淆规则包括以下至少一项：
哈希映射规则、数字变换规则、常量拼接规则。
本申请第一方面的实施例中，若数据混淆规则包括哈希映射规则，且哈希映射规则包括对应于不同规则标识的至少两个哈希映射规则，基于预配置的数据混淆规则，将原响应数据变换为混淆后的响应数据，包括：
获取数据获取请求的第一相关信息；
基于第一相关信息以及预配置的规则标识，确定数据获取请求对应的规则标识；
基于与数据获取请求对应的规则标识相对应的哈希映射规则，将原响应数据变换为混淆后的响应数据。
本申请第一方面的实施例中，数字变换规则包括动态线性变换规则，若数据混淆规则包括动态线性变换规则，基于预配置的数据混淆规则，将原响应数据变换为混淆后的响应数据，包括：
获取数据获取请求的第二相关信息；
根据第二相关信息，确定原响应数据对应的线性变换参数；
基于线性变换参数以及动态线性变换规则，将原响应数据变换为混淆后的响应数据。
本申请第一方面的实施例中，数据混淆规则包括常量拼接规则，基于预配置的数据混淆规则，将原响应数据变换为混淆后的响应数据，包括：
基于原响应数据和常量拼接规则，将原响应数据变换为混淆后的响应数据。
本申请第一方面的实施例中，常量拼接规则包括对应于各数据类型的常量拼接规则，基于原响应数据和常量拼接规则，将原响应数据变换为混淆后的响应数据，包括：
确定原响应数据所包含的数据的各数据类型；
对于原响应数据所包含的数据的每种数据类型，基于每种数据类型所对应的常量拼接规则，对原响应数据中相应数据类型的数据进行拼接；
基于拼接后的各数据，得到混淆后的响应数据。
本申请第一方面的实施例中，数据混淆规则包括哈希映射规则、数字变换规则和常量拼接规则，基于预配置的数据混淆规则，将原响应数据变换为混淆后的响应数据，包括：
基于哈希映射规则和原响应数据，得到第一变换后的数据；
若数据混淆规则包括动态线性变换规则，基于数据获取请求的第二相关信息；确定原响应数据对应的线性变换参数；基于线性变换参数以及动态线性变换规则，得到第二变换后的数据；
基于常量拼接规则和第二变换后的数据，得到混淆后的响应数据。
第二方面，本申请提供了一种反爬虫的数据处理方法，该方法包括：
获取数据获取请求，将数据获取请求发送给服务器；
接收服务器返回的混淆后的响应数据，其中，混淆后的响应数据为服务器基于预配置的数据混淆规则，将数据获取请求所对应的原响应数据变换得到的混淆后的响应数据；
根据数据混淆规则对混淆后的响应数据进行反变换处理，得到原响应数据。
本申请第二方面的实施例中，数据混淆规则包括以下至少一项：
哈希映射规则、数字变换规则、常量拼接规则。
本申请第二方面的实施例中，若数据混淆规则包括哈希映射规则，且哈希映射规则包括对应于不同规则标识的至少两个哈希映射规则，基于预配置的数据混淆规则，将数据获取请求所对应的原响应数据变换得到的混淆后的响应数据，包括：
获取数据获取请求的第一相关信息；
基于第一相关信息以及预配置的规则标识，确定数据获取请求对应的规则标识；
基于与数据获取请求对应的规则标识相对应的哈希映射规则，将原响应数据变换为混淆后的响应数据。
本申请第二方面的实施例中，数字变换规则包括动态线性变换规则，若数据混淆规则包括动态线性变换规则，基于预配置的数据混淆规则，将数据获取请求所对应的原响应数据变换得到的混淆后的响应数据，包括：
获取数据获取请求的第二相关信息；
根据第二相关信息，确定原响应数据对应的线性变换参数；
基于线性变换参数以及动态线性变换规则，将原响应数据变换为混淆后的响应数据。
本申请第二方面的实施例中，数据混淆规则包括常量拼接规则，基于预配置的数据混淆规则，将数据获取请求所对应的原响应数据变换得到的混淆后的响应数据，包括：
基于原响应数据和常量拼接规则，将原响应数据变换为混淆后的响应数据。
本申请第二方面的实施例中，常量拼接规则包括对应于各数据类型的常量拼接规则，基于原响应数据和常量拼接规则，将原响应数据变换为混淆后的响应数据，包括：
确定原响应数据所包含的数据的各数据类型；
对于原响应数据所包含的数据的每种数据类型，基于每种数据类型所对应的常量拼接规则，对原响应数据中相应数据类型的数据进行拼接；
基于拼接后的各数据，得到混淆后的响应数据。
本申请第二方面的实施例中，数据混淆规则包括哈希映射规则、数字变换规则和常量拼接规则，基于预配置的数据混淆规则，将数据获取请求所对应的原响应数据变换得到的混淆后的响应数据，包括：
基于哈希映射规则和原响应数据，得到第一变换后的数据；
若数据混淆规则包括动态线性变换规则，基于数据获取请求的第二相关信息；确定原响应数据对应的线性变换参数；基于线性变换参数以及动态线性变换规则，得到第二变换后的数据；
基于常量拼接规则和第二变换后的数据，得到混淆后的响应数据。
第三方面，本申请提供了一种反爬虫的数据处理装置，该装置包括：
请求获取模块，用于获取数据请求端的数据获取请求；
原响应数据确定模块，用于基于数据获取请求，确定数据获取请求所对应的原响应数据；
数据变换模块，用于基于预配置的数据混淆规则，将原响应数据变换为混淆后的响应数据；
数据发送模块，用于将混淆后的响应数据发送至数据请求端，以使数据请求端根据数据混淆规则对混淆后的响应数据进行反变换处理，得到原响应数据。
本申请第三方面的实施例中，数据混淆规则包括以下至少一项：
哈希映射规则、数字变换规则、常量拼接规则。
本申请第三方面的实施例中，若数据混淆规则包括哈希映射规则，且哈希映射规则包括对应于不同规则标识的至少两个哈希映射规则，数据变换模块在基于预配置的数据混淆规则，将原响应数据变换为混淆后的响应数据时，具体用于：
获取数据获取请求的第一相关信息；
基于第一相关信息以及预配置的规则标识，确定数据获取请求对应的规则标识；
基于与数据获取请求对应的规则标识相对应的哈希映射规则，将原响应数据变换为混淆后的响应数据。
本申请第三方面的实施例中，数字变换规则包括动态线性变换规则，若数据混淆规则包括动态线性变换规则，数据变换模块在基于预配置的数据混淆规则，将原响应数据变换为混淆后的响应数据时，具体用于：
获取数据获取请求的第二相关信息；
根据第二相关信息，确定原响应数据对应的线性变换参数；
基于线性变换参数以及动态线性变换规则，将原响应数据变换为混淆后的响应数据。
本申请第三方面的实施例中，数据混淆规则包括常量拼接规则，数据变换模块在基于预配置的数据混淆规则，将原响应数据变换为混淆后的响应数据时，具体用于：
基于原响应数据和常量拼接规则，将原响应数据变换为混淆后的响应数据。
本申请第三方面的实施例中，常量拼接规则包括对应于各数据类型的常量拼接规则，数据变换模块在基于原响应数据和常量拼接规则，将原响应数据变换为混淆后的响应数据时，具体用于：
确定原响应数据所包含的数据的各数据类型；
对于原响应数据所包含的数据的每种数据类型，基于每种数据类型所对应的常量拼接规则，对原响应数据中相应数据类型的数据进行拼接；
基于拼接后的各数据，得到混淆后的响应数据。
本申请第三方面的实施例中，数据混淆规则包括哈希映射规则、数字变换规则和常量拼接规则，数据变换模块在基于预配置的数据混淆规则，将原响应数据变换为混淆后的响应数据时，具体用于：
基于哈希映射规则和原响应数据，得到第一变换后的数据；
若数据混淆规则包括动态线性变换规则，基于数据获取请求的第二相关信息；确定原响应数据对应的线性变换参数；基于线性变换参数以及动态线性变换规则，得到第二变换后的数据；
基于常量拼接规则和第二变换后的数据，得到混淆后的响应数据。
第四方面，本申请提供了一种反爬虫的数据处理装置，该装置包括：
请求发送模块，用于获取数据获取请求，将数据获取请求发送给服务器；
数据处理模块，用于接收服务器返回的混淆后的响应数据，其中，混淆后的响应数据为服务器基于预配置的数据混淆规则，将数据获取请求所对应的原响应数据变换得到的混淆后的响应数据；
数据反变换模块，用于根据数据混淆规则对混淆后的响应数据进行反变换处理，得到原响应数据。
本申请第四方面的实施例中，数据混淆规则包括以下至少一项：
哈希映射规则、数字变换规则、常量拼接规则。
本申请第四方面的实施例中，若数据混淆规则包括哈希映射规则，且哈希映射规则包括对应于不同规则标识的至少两个哈希映射规则，数据处理模块在基于预配置的数据混淆规则，将数据获取请求所对应的原响应数据变换得到的混淆后的响应数据时，具体用于：
获取数据获取请求的第一相关信息；
基于第一相关信息以及预配置的规则标识，确定数据获取请求对应的规则标识；
基于与数据获取请求对应的规则标识相对应的哈希映射规则，将原响应数据变换为混淆后的响应数据。
本申请第四方面的实施例中，数字变换规则包括动态线性变换规则，若数据混淆规则包括动态线性变换规则，数据处理模块在基于预配置的数据混淆规则，将数据获取请求所对应的原响应数据变换得到的混淆后的响应数据时，具体用于：
获取数据获取请求的第二相关信息；
根据第二相关信息，确定原响应数据对应的线性变换参数；
基于线性变换参数以及动态线性变换规则，将原响应数据变换为混淆后的响应数据。
本申请第四方面的实施例中，数据混淆规则包括常量拼接规则，数据处理模块在基于预配置的数据混淆规则，将数据获取请求所对应的原响应数据变换得到的混淆后的响应数据时，具体用于：
基于原响应数据和常量拼接规则，将原响应数据变换为混淆后的响应数据。
本申请第四方面的实施例中，常量拼接规则包括对应于各数据类型的常量拼接规则，数据处理模块在基于原响应数据和常量拼接规则，将原响应数据变换为混淆后的响应数据时，具体用于：
确定原响应数据所包含的数据的各数据类型；
对于原响应数据所包含的数据的每种数据类型，基于每种数据类型所对应的常量拼接规则，对原响应数据中相应数据类型的数据进行拼接；
基于拼接后的各数据，得到混淆后的响应数据。
本申请第四方面的实施例中，数据混淆规则包括哈希映射规则、数字变换规则和常量拼接规则，数据处理模块在基于预配置的数据混淆规则，将数据获取请求所对应的原响应数据变换得到的混淆后的响应数据时，具体用于：
基于哈希映射规则和原响应数据，得到第一变换后的数据；
若数据混淆规则包括动态线性变换规则，基于数据获取请求的第二相关信息；确定原响应数据对应的线性变换参数；基于线性变换参数以及动态线性变换规则，得到第二变换后的数据；
基于常量拼接规则和第二变换后的数据，得到混淆后的响应数据。
第五方面，本申请提供了一种电子设备，该电子设备包括：
处理器和存储器；
存储器，用于存储计算机操作指令；
处理器，用于通过调用计算机操作指令，执行如本申请的第一方面或第二方面任一实施例中所示的方法。
第六方面，本申请提供了一种计算机可读存储介质，该计算机可读存储介质存储有至少一条计算机程序，该至少一条计算机程序由处理器加载并执行以实现如本申请的第一方面或第二方面任一实施例中所示的方法。
本申请实施例提供的技术方案带来的有益效果是：
本申请实施例的反爬虫的数据处理方法、装置、电子设备及存储介质，在获取数据请求端的数据获取请求时，可先基于数据获取请求，确定该请求对应的原响应数据，然后基于预配置的数据混淆规则，将原响应数据变换为混淆后的响应数据，由于对原响应数据基于数据混淆规则进行了处理，使得混淆后的数据很难通过爬虫技术获取，因此，可安全将混淆后的响应数据发送给数据请求端，数据请求端可基于数据混淆规则对混淆后的响应数据进行反变换处理，从而得到原响应数据。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请的实施例提供的一种反爬虫的数据处理方法的流程示意图；
图2为本申请的实施例提供的一种反爬虫的数据处理方法的流程示意图；
图3为本申请的实施例提供的一种反爬虫的数据处理装置的结构示意图；
图4为本申请的实施例提供的一种反爬虫的数据处理装置的结构示意图；
图5为本申请的实施例提供的一种电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，该实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请的技术方案，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在该特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
针对上述技术问题，本申请的实施例提供的一种反爬虫的数据处理方法，该方法可由服务器执行，如图1所示的一种反爬虫的数据处理方法的流程示意图，该方法可以包括：
步骤S110，获取数据请求端的数据获取请求。
其中，数据请求端是向服务器获取数据的终端设备，比如，用户的手机、电脑等电子设备，数据获取请求是获取数据的请求，该请求可以是用于基于数据请求端发起的，也可以是基于预先在数据请求端配置的数据请求规则由数据请求端发起的，其中，数据请求规则可以基于实际需求配置，比如，对于某些业务，数据请求端需要每隔预设时长发起一次数据获取请求，则数据请求端每隔预设时长可向服务器发送一个数据获取请求。
其中，数据请求端也可以是与该方法执行主体不同的服务器，作为一个示例，数据存储在服务器A中，服务器B作为数据请求端向服务器A发送数据获取请求以获取服务器A中的数据。
步骤S120，基于数据获取请求，确定数据获取请求所对应的原响应数据。
其中，原响应数据可以是服务器中存储的原始数据，即数据获取请求对应请求的数据。
步骤S130，基于预配置的数据混淆规则，将原响应数据变换为混淆后的响应数据。
其中，数据混淆规则是预先配置的，基于数据混淆规则可将原响应数据进行混淆处理，使得经过混淆后的数据与原响应数据的表现形式不同，从而，在原响应数据的传输过程中可以保护原响应数据的安全。
步骤S140，将混淆后的响应数据发送至数据请求端，以使数据请求端根据数据混淆规则对混淆后的响应数据进行反变换处理，得到原响应数据。
其中，数据请求端在接收到服务器发送的混淆后的响应数据后，可基于数据混淆规则对混淆后的响应数据进行反变换处理，经过反变换处理后的数据即为原响应数据，从而使得数据请求端获取到所请求的原响应数据。
本申请的实施例中的方案，在获取数据请求端的数据获取请求时，可先基于数据获取请求，确定该请求对应的原响应数据，然后基于预配置的数据混淆规则，将原响应数据变换为混淆后的响应数据，由于对原响应数据基于数据混淆规则进行了处理，使得混淆后的数据很难通过爬虫技术获取，因此，可安全将混淆后的响应数据发送给数据请求端，数据请求端可基于数据混淆规则对混淆后的响应数据进行反变换处理，从而得到原响应数据。
本申请的实施例中，数据混淆规则包括以下至少一项：
哈希映射规则、数字变换规则、常量拼接规则。
其中，在实际应用中，对于不同的数据类型，可以采用不同的数据混淆规则，例如，原响应数据中包含字符时，哈希映射规则可以是字符间的映射关系，基于该哈希映射规则，可将原响应数据转换为用其他字符表示的数据，即混淆后的响应数据。
作为一个示例，哈希映射规则如下表所示：
1 2 3 4 5 6 7 8 9 0
2 1 4 3 5 7 9 8 6 0
在上表中，1对应的字符为2,2对应的字符为1,3对应的字符为4,4对应的字符为3,5对应的字符为5,6对应的字符为7,7对应的字符为9,8对应的字符为8,9对应的字符为6,0对应的字符为0。
假如，原响应数据为20190821，则基于上述哈希映射规则，对原响应数据进行数据混淆后，混淆后的响应数据为10260812。
基于上述混淆后的响应数据，根据数据混淆规则对混淆后的响应数据进行反变换处理，得到原响应数据，具体的，基于上述表中对应的哈希映射规则，对混淆后的数据10260812进行反变换，可得到原响应数据20190821。
在原响应数据中包含数字时，数据混淆规则可以包括数字变换规则，该数字变换规则可以是线性变换规则，也可以是非线性变换规则。例如，数字变换规则可以是基于线性变换配置的规则，比如，y＝kx+b，则基于该数字变换规则，可将原响应数据变换为混淆后的响应数据，即通过y＝kx+b转换后的数据。
作为一个示例，假如，原响应数据为10260812，k为8，b为21，则y＝8x+21，则基于该线性方程，可将原响应数据变换为(8*1+21)、…、(8*1+21)、(8*2+21)，即混淆后的响应数据。
基于上述混淆后的响应数据，根据数据混淆规则对混淆后的响应数据进行反变换处理，得到原响应数据，具体的，基于反解线性变化对混淆后的响应数据进行反变换，比如，在29＝8x+21时，x＝1，在21＝8x+21时，x＝0，在37＝8x+21时，x＝2、…、在37＝8x+21时，x＝2，反变换后，得到的原响应数据为10260812。
其中，常量拼接规则可以是将数据转换为预设的常量的规则，则基于该常量拼接规则，可以将原响应数据中的数据按照规则中配置的常量进行转换，得到混淆后的响应数据。
作为一个示例，比如，常量拼接规则中设置的数字常量为3.14，字符对应的常量为china。原响应数据20190821经过数字变换规则处理得到的数据中只包含数字，则可将该数据按照上述常量拼接规则转换为293.14…293.1493，即混淆后的响应数据为293.14…373.14。
基于上述混淆后的响应数据，根据数据混淆规则对混淆后的响应数据进行反变换处理，得到原响应数据，具体的，对混淆后的响应数据进行反变换，得到原响应数据20190821。
本申请的实施例中，若数据混淆规则包括哈希映射规则，且哈希映射规则包括对应于不同规则标识的至少两个哈希映射规则，基于预配置的数据混淆规则，将原响应数据变换为混淆后的响应数据，包括：
获取数据获取请求的第一相关信息；
基于第一相关信息以及预配置的规则标识，确定数据获取请求对应的规则标识；
基于与数据获取请求对应的规则标识相对应的哈希映射规则，将原响应数据变换为混淆后的响应数据。
其中，不同的规则标识用于标识不同的哈希映射规则，不同的哈希规则可以是基于不同的应用场景配置的，则在基于哈希映射规则将原响应数据变换为混淆后的响应数据之前，可先确定数据获取请求对应的哈希映射规则，再对原响应数据进行数据混淆。规则标识可以通过数字、文字等表示，本申请中不限定规则标识的具体表现形式。
可以理解的是，第一相关信息则是用于确定上述规则标识的信息，也就是说，第一相关信息与规则标识之间存在对应关系，对于不同的哈希规则的配置方式，该对应关系的形式也可以不同。比如，哈希规则的规则标识可以是基于时间戳确定出的，则第一相关信息可以是数据获取请求的时间戳信息，基于该时间戳，可以确定出数据获取请求对应的是哪个哈希映射规则。
其中，上述时间戳可以是数据请求端发送数据获取请求的时间戳，或服务器接收到数据获取请求的时间戳。
作为一个示例，比如，第一相关消息为当前的时间戳信息，该时间戳信息为1530512055422，共有4个哈希映射规则，分别为(a1，a2，a3，a4)，分别对应的规则标识为0,1,2,3，即哈希映射规则a1对应的规则标识为0,哈希映射规则a2对应的规则标识为1，哈希映射规则a3对应的规则标识为2，哈希映射规则a4对应的规则标识为3。当将该时间戳信息的最后一位取模，2％4＝2，基于取模后的值2与预配置的规则标识，可以确定出与规则标识2对应的哈希映射规则为a3，即数据获取请求对应的哈希映射规则为a3。
本申请的实施例中，数字变换规则包括动态线性变换规则，若数据混淆规则包括动态线性变换规则，基于预配置的数据混淆规则，将原响应数据变换为混淆后的响应数据，可以包括：
获取数据获取请求的第二相关信息；
根据第二相关信息，确定原响应数据对应的线性变换参数；
基于线性变换参数以及动态线性变换规则，将原响应数据变换为混淆后的响应数据。
可以理解的是，第二相关信息则是用于确定上述线性变换参数的信息，也就是说，第二相关信息与线性变换参数之间存在对应关系，对于不同的动态线性变换规则的配置方式，该对应关系的形式也可以不同。比如，动态线性变换规则的线性变换参数可以是基于时间戳确定出的，则第二相关信息可以是数据获取请求的时间戳信息，基于该时间戳，可以确定出数据获取请求对应的是哪个动态线性变换规则。
其中，上述时间戳可以是数据请求端发送数据获取请求的时间戳，或服务器接收到数据获取请求的时间戳。
作为一个示例，假如动态线性变换规则为y＝kx+b，该动态线性变换规则对应的线性变换参数为k和b，则基于该第二相关信息可以确定出线性变换参数k和b。比如，原响应数据为20190821，数据获取请求的时间戳信息为2019-08-21，即第二相关信息为2019-08-21，则对应的线性变换参数k为8，b为21，确定好线性变换参数的动态线性变换规则为y＝8x+21。
本申请的实施例中，数据混淆规则包括常量拼接规则，基于预配置的数据混淆规则，将原响应数据变换为混淆后的响应数据，包括：
基于原响应数据和常量拼接规则，将原响应数据变换为混淆后的响应数据。
本申请的实施例中，常量拼接规则包括对应于各数据类型的常量拼接规则，基于原响应数据和常量拼接规则，将原响应数据变换为混淆后的响应数据，包括：
确定原响应数据所包含的数据的各数据类型；
对于原响应数据所包含的数据的每种数据类型，基于每种数据类型所对应的常量拼接规则，对原响应数据中相应数据类型的数据进行拼接；
基于拼接后的各数据，得到混淆后的响应数据。
其中，数据中可能包括不同数据类型的数据，比如，数字，英文字符，则对应不同的数据类型，可对应配置不同的常量，比如，数字对应数字常量，英文字符对应字符常量。则在基于常量拼接规则对原响应数据进行数据混淆之前，可先基于原响应数据所包含的数据的数据类型，确定与数据类型对应的常量拼接规则，则基于每种数据类型所对应的常量拼接规则，对原响应数据中相应数据类型的数据进行拼接，得到混淆后的响应数据。
作为一个示例，如果原响应数据所包含的数据为数字类型的数据，则基于常量拼接规则中的数字常量对该原响应数据中数字类型的数据进行拼接，得到混淆后的响应数据。如果原响应数据所包含的数据为字符类型的数据，则基于常量拼接规则中的字符常量对该原响应数据中字符类型的数据进行拼接，得到混淆后的响应数据。如果原响应数据所包含的数据包括数字类型的数据和字符类型的数据，则可分别基于常量拼接规则中的数字常量对原响应数据中的数字类型的数据进行拼接，基于常量拼接规则中的字符常量对原响应表数据中的字符类型的数据进行拼接，继而基于拼接后的数字类型的数据和字符类型的数据得到混淆后的响应数据。
本申请的实施例中，数据混淆规则包括哈希映射规则、数字变换规则和常量拼接规则，基于预配置的数据混淆规则，将原响应数据变换为混淆后的响应数据，包括：
基于哈希映射规则和原响应数据，得到第一变换后的数据；
若数据混淆规则包括动态线性变换规则，基于数据获取请求的第二相关信息；确定原响应数据对应的线性变换参数；基于线性变换参数以及动态线性变换规则，得到第二变换后的数据；
基于常量拼接规则和第二变换后的数据，得到混淆后的响应数据。
其中，如果数据混淆规则包括哈希映射规则、数字变换规则和常量拼接规则，则可以基于上述三个数据混淆规则对原响应数据进行相关的处理，得到混淆后的响应数据。
作为一个示例可先基于哈希映射规则对原响应数据进行混淆处理，得到第一变换后的数据，接着，基于数据获取请求的第二相关信息，确定原响应数据对应的线性变换参数；基于线性变换参数以及动态线性变换规则，得到第二变换后的数据，最后还可基于常量拼接规则对第二变换后的数据进行相应的处理，得到混淆后的响应数据。
其中，上述基于三个数据混淆规则对原响应数据进行处理的顺序可不限于上述示例中的顺序，比如，可先基于数字变换规则对原响应数据进行处理，接着基于哈希映射规则对数字变换规则处理后的数据进行处理，最后再基于常量拼接规则对哈希映射规则处理后的数据进行处理。本申请中不限定上述三个数据混淆规则的顺序，均在本申请的保护范围内。
其中，基于数据获取请求的第二相关信息；确定原响应数据对应的线性变换参数；基于线性变换参数以及动态线性变换规则，得到第二变换后的数据，与前文所描述的基于第二相关信息；确定原响应数据对应的线性变换参数；基于线性变换参数以及动态线性变换规则，将原响应数据变换为混淆后的响应数据的具体实现方案一致，在此不再赘述。
本申请的实施例还提供了一种反爬虫的数据处理方法，该方法可由数据请求端执行，如图2所示的一种反爬虫的数据处理方法的流程示意图，该方法可以包括：
步骤S120，获取数据获取请求，将数据获取请求发送给服务器。
步骤S220，接收服务器基于数据获取请求，确定数据获取请求所对应的原响应数据，基于预配置的数据混淆规则，将原响应数据变换得到的混淆后的响应数据。
步骤S230，根据数据混淆规则对混淆后的响应数据进行反变换处理，得到原响应数据。
本申请的实施例中的方案，在获取数据请求端的数据获取请求时，可先基于数据获取请求，确定该请求对应的原响应数据，然后基于预配置的数据混淆规则，将原响应数据变换为混淆后的响应数据，由于对原响应数据基于数据混淆规则进行了处理，使得混淆后的数据很难通过爬虫技术获取，因此，可安全将混淆后的响应数据发送给数据请求端，数据请求端可基于数据混淆规则对混淆后的响应数据进行反变换处理，从而得到原响应数据。
可选的，数据混淆规则包括以下至少一项：
哈希映射规则、数字变换规则、常量拼接规则。
可选的，若数据混淆规则包括哈希映射规则，且哈希映射规则包括对应于不同规则标识的至少两个哈希映射规则，基于预配置的数据混淆规则，将数据获取请求所对应的原响应数据变换得到的混淆后的响应数据，包括：
获取数据获取请求的第一相关信息；
基于第一相关信息以及预配置的规则标识，确定数据获取请求对应的规则标识；
基于与数据获取请求对应的规则标识相对应的哈希映射规则，将原响应数据变换为混淆后的响应数据。
可选的，数字变换规则包括动态线性变换规则，若数据混淆规则包括动态线性变换规则，基于预配置的数据混淆规则，将数据获取请求所对应的原响应数据变换得到的混淆后的响应数据，包括：
获取数据获取请求的第二相关信息；
根据第二相关信息，确定原响应数据对应的线性变换参数；
基于线性变换参数以及动态线性变换规则，将原响应数据变换为混淆后的响应数据。
可选的，数据混淆规则包括常量拼接规则，基于预配置的数据混淆规则，将数据获取请求所对应的原响应数据变换得到的混淆后的响应数据，包括：
基于原响应数据和常量拼接规则，将原响应数据变换为混淆后的响应数据。
可选的，常量拼接规则包括对应于各数据类型的常量拼接规则，基于原响应数据和常量拼接规则，将原响应数据变换为混淆后的响应数据，包括：
确定原响应数据所包含的数据的各数据类型；
对于原响应数据所包含的数据的每种数据类型，基于每种数据类型所对应的常量拼接规则，对原响应数据中相应数据类型的数据进行拼接；
基于拼接后的各数据，得到混淆后的响应数据。
可选的，数据混淆规则包括哈希映射规则、数字变换规则和常量拼接规则，基于预配置的数据混淆规则，将数据获取请求所对应的原响应数据变换得到的混淆后的响应数据，包括：
基于哈希映射规则和原响应数据，得到第一变换后的数据；
若数据混淆规则包括动态线性变换规则，基于数据获取请求的第二相关信息；确定原响应数据对应的线性变换参数；基于线性变换参数以及动态线性变换规则，得到第二变换后的数据；
基于常量拼接规则和第二变换后的数据，得到混淆后的响应数据。
基于与图1中所示方法相同的原理，本申请的实施例中还提供了一种反爬虫的数据处理装置30，如图3所示，该反爬虫的数据处理装置30可以包括：请求获取模块310，原响应数据确定模块320，数据变换模块330以及数据发送模块340，其中，
请求获取模块310，用于获取数据请求端的数据获取请求；
原响应数据确定模块320，用于基于数据获取请求，确定数据获取请求所对应的原响应数据；
数据变换模块330，用于基于预配置的数据混淆规则，将原响应数据变换为混淆后的响应数据；
数据发送模块340，用于将混淆后的响应数据发送至数据请求端，以使数据请求端根据数据混淆规则对混淆后的响应数据进行反变换处理，得到原响应数据。
本申请的实施例中的方案，在获取数据请求端的数据获取请求时，可先基于数据获取请求，确定该请求对应的原响应数据，然后基于预配置的数据混淆规则，将原响应数据变换为混淆后的响应数据，由于对原响应数据基于数据混淆规则进行了处理，使得混淆后的数据很难通过爬虫技术获取，因此，可安全将混淆后的响应数据发送给数据请求端，数据请求端可基于数据混淆规则对混淆后的响应数据进行反变换处理，从而得到原响应数据。
可选的，数据混淆规则包括以下至少一项：
哈希映射规则、数字变换规则、常量拼接规则。
可选的，若数据混淆规则包括哈希映射规则，且哈希映射规则包括对应于不同规则标识的至少两个哈希映射规则，数据变换模块在基于预配置的数据混淆规则，将原响应数据变换为混淆后的响应数据时，具体用于：
获取数据获取请求的第一相关信息；
基于第一相关信息以及预配置的规则标识，确定数据获取请求对应的规则标识；
基于与数据获取请求对应的规则标识相对应的哈希映射规则，将原响应数据变换为混淆后的响应数据。
可选的，数字变换规则包括动态线性变换规则，若数据混淆规则包括动态线性变换规则，数据变换模块在基于预配置的数据混淆规则，将原响应数据变换为混淆后的响应数据时，具体用于：
获取数据获取请求的第二相关信息；
根据第二相关信息，确定原响应数据对应的线性变换参数；
基于线性变换参数以及动态线性变换规则，将原响应数据变换为混淆后的响应数据。
可选的，数据混淆规则包括常量拼接规则，数据变换模块在基于预配置的数据混淆规则，将原响应数据变换为混淆后的响应数据时，具体用于：
基于原响应数据和常量拼接规则，将原响应数据变换为混淆后的响应数据。
可选的，常量拼接规则包括对应于各数据类型的常量拼接规则，数据变换模块在基于原响应数据和常量拼接规则，将原响应数据变换为混淆后的响应数据时，具体用于：
确定原响应数据所包含的数据的各数据类型；
对于原响应数据所包含的数据的每种数据类型，基于每种数据类型所对应的常量拼接规则，对原响应数据中相应数据类型的数据进行拼接；
基于拼接后的各数据，得到混淆后的响应数据。
可选的，数据混淆规则包括哈希映射规则、数字变换规则和常量拼接规则，数据变换模块在基于预配置的数据混淆规则，将原响应数据变换为混淆后的响应数据时，具体用于：
基于哈希映射规则和原响应数据，得到第一变换后的数据；
若数据混淆规则包括动态线性变换规则，基于数据获取请求的第二相关信息；确定原响应数据对应的线性变换参数；基于线性变换参数以及动态线性变换规则，得到第二变换后的数据；
基于常量拼接规则和第二变换后的数据，得到混淆后的响应数据。
本申请实施例的反爬虫的数据处理装置可执行图1所示的一种反爬虫的数据处理方法，其实现原理相类似，本申请各实施例中的反爬虫的数据处理装置中的各模块所执行的动作是与本申请各实施例中的反爬虫的数据处理方法中的步骤相对应的，对于反爬虫的数据处理装置的各模块的详细功能描述具体可以参见前文中所示的对应的反爬虫的数据处理方法中的描述，此处不再赘述。
基于与图2中所示方法相同的原理，本申请的实施例中还提供了一种反爬虫的数据处理装置40，如图4所示，该反爬虫的数据处理装置40可以包括：请求发送模块410，数据处理模块420以及数据反变换模块430，其中，
请求发送模块410，用于获取数据获取请求，将数据获取请求发送给服务器；
数据处理模块420，用于接收服务器返回的混淆后的响应数据，其中，混淆后的响应数据为服务器基于预配置的数据混淆规则，将数据获取请求所对应的原响应数据变换得到的混淆后的响应数据；
数据反变换模块430，用于根据数据混淆规则对混淆后的响应数据进行反变换处理，得到原响应数据。
本申请的实施例中的方案，在获取数据请求端的数据获取请求时，可先基于数据获取请求，确定该请求对应的原响应数据，然后基于预配置的数据混淆规则，将原响应数据变换为混淆后的响应数据，由于对原响应数据基于数据混淆规则进行了处理，使得混淆后的数据很难通过爬虫技术获取，因此，可安全将混淆后的响应数据发送给数据请求端，数据请求端可基于数据混淆规则对混淆后的响应数据进行反变换处理，从而得到原响应数据。
可选的，数据混淆规则包括以下至少一项：
哈希映射规则、数字变换规则、常量拼接规则。
可选的，若数据混淆规则包括哈希映射规则，且哈希映射规则包括对应于不同规则标识的至少两个哈希映射规则，数据处理模块在基于预配置的数据混淆规则，将数据获取请求所对应的原响应数据变换得到的混淆后的响应数据时，具体用于：
获取数据获取请求的第一相关信息；
基于第一相关信息以及预配置的规则标识，确定数据获取请求对应的规则标识；
基于与数据获取请求对应的规则标识相对应的哈希映射规则，将原响应数据变换为混淆后的响应数据。
可选的，数字变换规则包括动态线性变换规则，若数据混淆规则包括动态线性变换规则，数据处理模块在基于预配置的数据混淆规则，将数据获取请求所对应的原响应数据变换得到的混淆后的响应数据时，具体用于：
获取数据获取请求的第二相关信息；
根据第二相关信息，确定原响应数据对应的线性变换参数；
基于线性变换参数以及动态线性变换规则，将原响应数据变换为混淆后的响应数据。
可选的，数据混淆规则包括常量拼接规则，数据处理模块在基于预配置的数据混淆规则，将数据获取请求所对应的原响应数据变换得到的混淆后的响应数据时，具体用于：
基于原响应数据和常量拼接规则，将原响应数据变换为混淆后的响应数据。
可选的，常量拼接规则包括对应于各数据类型的常量拼接规则，数据处理模块在基于原响应数据和常量拼接规则，将原响应数据变换为混淆后的响应数据时，具体用于：
确定原响应数据所包含的数据的各数据类型；
对于原响应数据所包含的数据的每种数据类型，基于每种数据类型所对应的常量拼接规则，对原响应数据中相应数据类型的数据进行拼接；
基于拼接后的各数据，得到混淆后的响应数据。
可选的，数据混淆规则包括哈希映射规则、数字变换规则和常量拼接规则，数据处理模块在基于预配置的数据混淆规则，将数据获取请求所对应的原响应数据变换得到的混淆后的响应数据时，具体用于：
基于哈希映射规则和原响应数据，得到第一变换后的数据；
若数据混淆规则包括动态线性变换规则，基于数据获取请求的第二相关信息；确定原响应数据对应的线性变换参数；基于线性变换参数以及动态线性变换规则，得到第二变换后的数据；
基于常量拼接规则和第二变换后的数据，得到混淆后的响应数据。
本申请实施例的反爬虫的数据处理装置可执行图2所示的一种反爬虫的数据处理方法，其实现原理相类似，本申请各实施例中的反爬虫的数据处理装置中的各模块所执行的动作是与本申请各实施例中的反爬虫的数据处理方法中的步骤相对应的，对于反爬虫的数据处理装置的各模块的详细功能描述具体可以参见前文中所示的对应的反爬虫的数据处理方法中的描述，此处不再赘述。
基于与本申请的实施例中的反爬虫的数据处理方法相同的原理，本申请提供了一种电子设备，该电子设备包括处理器和存储器；存储器，用于存储操作指令；处理器，用于通过调用操作指令，执行如本申请的服务请求的处理方法中的任一实施例中所示的方法。
基于与本申请的实施例中的反爬虫的数据处理方法相同的原理，本申请提供了一种计算机可读存储介质，该存储介质存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如本申请的数据处理方法中的任一实施例中所示的方法。
本申请的实施例中，如图5所示，其示出了适于用来实现本申请实施例的电子设备50(例如实现图1中所示的方法的管理服务器)的结构示意图。本申请实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图5示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图5所示，电子设备50可以包括处理装置(例如中央处理器、图形处理器等)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储装置508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有电子设备30操作所需的各种程序和数据。处理装置501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
通常，以下装置可以连接至I/O接口505：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置507；包括例如磁带、硬盘等的存储装置508；以及通信装置509。通信装置509可以允许电子设备50与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备50，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置509从网络上被下载和安装，或者从存储装置508被安装，或者从ROM 502被安装。在该计算机程序被处理装置501执行时，执行本申请实施例的方法中限定的上述功能。
需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述方法实施例所示的方法；或者，上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述方法实施例所示的方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中发明的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (12)

1.一种反爬虫的数据处理方法，其特征在于，包括：
获取数据请求端的数据获取请求；
基于所述数据获取请求，确定所述数据获取请求所对应的原响应数据；
基于预配置的数据混淆规则，将所述原响应数据变换为混淆后的响应数据；
将所述混淆后的响应数据发送至所述数据请求端，以使所述数据请求端根据所述数据混淆规则对所述混淆后的响应数据进行反变换处理，得到所述原响应数据。
2.根据权利要求1所述的方法，其特征在于，所述数据混淆规则包括以下至少一项：
哈希映射规则、数字变换规则、常量拼接规则。
3.根据权利要求2所述的方法，其特征在于，若所述数据混淆规则包括哈希映射规则，且所述哈希映射规则包括对应于不同规则标识的至少两个哈希映射规则，所述基于预配置的数据混淆规则，将所述原响应数据变换为混淆后的响应数据，包括：
获取所述数据获取请求的第一相关信息；
基于所述第一相关信息以及预配置的规则标识，确定所述数据获取请求对应的规则标识；
基于与所述数据获取请求对应的规则标识相对应的哈希映射规则，将所述原响应数据变换为混淆后的响应数据。
4.根据权利要求2所述的方法，其特征在于，所述数字变换规则包括动态线性变换规则，若所述数据混淆规则包括所述动态线性变换规则，所述基于预配置的数据混淆规则，将所述原响应数据变换为混淆后的响应数据，包括：
获取所述数据获取请求的第二相关信息；
根据所述第二相关信息，确定所述原响应数据对应的线性变换参数；
基于所述线性变换参数以及所述动态线性变换规则，将所述原响应数据变换为混淆后的响应数据。
5.根据权利要求2所述的方法，其特征在于，所述数据混淆规则包括所述常量拼接规则，所述基于预配置的数据混淆规则，将所述原响应数据变换为混淆后的响应数据，包括：
基于所述原响应数据和所述常量拼接规则，将所述原响应数据变换为所述混淆后的响应数据。
6.根据权利要求5所述的方法，其特征在于，所述常量拼接规则包括对应于各数据类型的常量拼接规则，所述基于所述原响应数据和所述常量拼接规则，将所述原响应数据变换为所述混淆后的响应数据，包括：
确定所述原响应数据所包含的数据的各数据类型；
对于所述原响应数据所包含的数据的每种数据类型，基于每种数据类型所对应的常量拼接规则，对所述原响应数据中相应数据类型的数据进行拼接；
基于拼接后的各数据，得到所述混淆后的响应数据。
7.根据权利要求2所述的方法，其特征在于，所述数据混淆规则包括哈希映射规则、数字变换规则和常量拼接规则，所述基于预配置的数据混淆规则，将所述原响应数据变换为混淆后的响应数据，包括：
基于所述哈希映射规则和所述原响应数据，得到第一变换后的数据；
若所述数据混淆规则包括所述动态线性变换规则，基于所述数据获取请求的第二相关信息；确定所述原响应数据对应的线性变换参数；基于所述线性变换参数以及所述动态线性变换规则，得到第二变换后的数据；
基于所述常量拼接规则和所述第二变换后的数据，得到所述混淆后的响应数据。
8.一种反爬虫的数据处理方法，其特征在于，包括：
获取数据获取请求，将所述数据获取请求发送给服务器；
接收所述服务器返回的混淆后的响应数据，其中，所述混淆后的响应数据为所述服务器基于预配置的数据混淆规则，将所述数据获取请求所对应的原响应数据变换得到的混淆后的响应数据；
根据所述数据混淆规则对所述混淆后的响应数据进行反变换处理，得到所述原响应数据。
9.一种反爬虫的数据处理装置，其特征在于，包括：
请求获取模块，用于获取数据请求端的数据获取请求；
原响应数据确定模块，用于基于所述数据获取请求，确定所述数据获取请求所对应的原响应数据；
数据变换模块，用于基于预配置的数据混淆规则，将所述原响应数据变换为混淆后的响应数据；
数据发送模块，用于将所述混淆后的响应数据发送至所述数据请求端，以使所述数据请求端根据所述数据混淆规则对所述混淆后的响应数据进行反变换处理，得到所述原响应数据。
10.一种反爬虫的数据处理装置，其特征在于，包括：
请求发送模块，用于获取数据获取请求，将所述数据获取请求发送给服务器；
数据处理模块，用于接收所述服务器返回的混淆后的响应数据，其中，所述混淆后的响应数据为所述服务器基于预配置的数据混淆规则，将所述数据获取请求所对应的原响应数据变换得到的混淆后的响应数据；
数据反变换模块，用于根据所述数据混淆规则对所述混淆后的响应数据进行反变换处理，得到所述原响应数据。
11.一种电子设备，其特征在于，包括：
处理器和存储器；
所述存储器，用于存储计算机操作指令；
所述处理器，用于通过调用所述计算机操作指令，执行权利要求1至8中任一项所述的方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行以实现权利要求1至8中任一项所述的方法。
CN202010102791.4A 2020-02-19 2020-02-19 反爬虫的数据处理方法、装置、电子设备及存储介质 Pending CN111314351A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010102791.4A CN111314351A (zh) 2020-02-19 2020-02-19 反爬虫的数据处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010102791.4A CN111314351A (zh) 2020-02-19 2020-02-19 反爬虫的数据处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN111314351A true CN111314351A (zh) 2020-06-19

Family

ID=71147506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010102791.4A Pending CN111314351A (zh) 2020-02-19 2020-02-19 反爬虫的数据处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111314351A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112688919A (zh) * 2020-12-11 2021-04-20 杭州安恒信息技术股份有限公司 一种基于app接口的反爬虫方法、设备及介质
CN112804266A (zh) * 2021-04-08 2021-05-14 腾讯科技（深圳）有限公司 网页数据处理方法、装置、计算机设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7512985B1 (en) * 2008-04-30 2009-03-31 International Business Machines Corporation System, method, and computer program product for implementing search-and retrieval-compatible data obfuscation
US20160164681A1 (en) * 2014-12-08 2016-06-09 International Business Machines Corporation Obfuscated passwords
CN108449316A (zh) * 2018-02-06 2018-08-24 麒麟合盛网络技术股份有限公司 一种反爬虫方法、服务器和客户端
CN109067805A (zh) * 2018-10-12 2018-12-21 武汉斗鱼网络科技有限公司 直播间数据的防爬虫方法、装置、终端及可读介质
CN109768978A (zh) * 2019-01-16 2019-05-17 武汉斗鱼鱼乐网络科技有限公司 一种混淆数据的方法及相关装置
CN110414221A (zh) * 2019-07-11 2019-11-05 东软集团股份有限公司 数据处理方法、装置、存储介质及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7512985B1 (en) * 2008-04-30 2009-03-31 International Business Machines Corporation System, method, and computer program product for implementing search-and retrieval-compatible data obfuscation
US20160164681A1 (en) * 2014-12-08 2016-06-09 International Business Machines Corporation Obfuscated passwords
CN108449316A (zh) * 2018-02-06 2018-08-24 麒麟合盛网络技术股份有限公司 一种反爬虫方法、服务器和客户端
CN109067805A (zh) * 2018-10-12 2018-12-21 武汉斗鱼网络科技有限公司 直播间数据的防爬虫方法、装置、终端及可读介质
CN109768978A (zh) * 2019-01-16 2019-05-17 武汉斗鱼鱼乐网络科技有限公司 一种混淆数据的方法及相关装置
CN110414221A (zh) * 2019-07-11 2019-11-05 东软集团股份有限公司 数据处理方法、装置、存储介质及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
赵太飞等: "基于Sponge结构的轻量级Hash函数设计", 《小型微型计算机系统》 *
陈超群等: "移动智能终端信息防泄漏模型的研究及应用", 《计算机工程与设计》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112688919A (zh) * 2020-12-11 2021-04-20 杭州安恒信息技术股份有限公司 一种基于app接口的反爬虫方法、设备及介质
CN112804266A (zh) * 2021-04-08 2021-05-14 腾讯科技（深圳）有限公司 网页数据处理方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN109582310B (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
CN111368519B (zh) 一种线上表格的编辑方法、装置、设备和存储介质
CN111930534A (zh) 数据调用方法、装置和电子设备
CN111209306A (zh) 业务逻辑判断方法、装置、电子设备和存储介质
CN111198859A (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
CN111314351A (zh) 反爬虫的数据处理方法、装置、电子设备及存储介质
CN112306685B (zh) 任务隔离方法、装置、电子设备及计算机可读介质
CN111460432B (zh) 在线文档权限控制方法、装置、设备及计算机可读介质
CN110619101B (zh) 用于处理信息的方法和装置
CN111949746A (zh) 数据处理方法、装置、电子设备及计算机可读介质
CN111756953A (zh) 视频处理方法、装置、设备和计算机可读介质
CN111596992A (zh) 导航栏展示方法、装置和电子设备
CN111460020B (zh) 用于解析消息的方法、装置、电子设备和介质
CN111538717B (zh) 数据处理的方法、装置、电子设备及计算机可读介质
CN111212296B (zh) 直播间礼物列表配置方法、装置、介质及电子设备
CN114979256A (zh) 一种消息推送方法、装置、电子设备及计算机可读介质
CN111367592B (zh) 信息处理方法和装置
CN112732457A (zh) 图像传输方法、装置、电子设备和计算机可读介质
CN113126985A (zh) 用于页面渲染的方法、装置、电子设备和计算机可读介质
CN113391860A (zh) 服务请求处理方法、装置、电子设备及计算机存储介质
CN112261659B (zh) 终端和服务器的控制方法、装置、终端和存储介质
CN113157365B (zh) 程序运行方法、装置、电子设备和计算机可读介质
CN111694679B (zh) 消息处理方法、装置和电子设备
CN114513548B (zh) 定向调用信息处理方法及装置
CN111262776B (zh) 发送通知消息的方法、装置、电子设备及计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200619