CN116405321A - 一种网络数据获取方法、电子设备及存储介质 - Google Patents

一种网络数据获取方法、电子设备及存储介质 Download PDF

Info

Publication number
CN116405321A
CN116405321A CN202310645435.0A CN202310645435A CN116405321A CN 116405321 A CN116405321 A CN 116405321A CN 202310645435 A CN202310645435 A CN 202310645435A CN 116405321 A CN116405321 A CN 116405321A
Authority
CN
China
Prior art keywords
target data
max
data acquisition
information
task information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310645435.0A
Other languages
English (en)
Other versions
CN116405321B (zh
Inventor
王殿胜
陶向阳
张景龙
张乃钊
翟性国
赵芙卿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Travelsky Mobile Technology Co Ltd
Original Assignee
China Travelsky Mobile Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Travelsky Mobile Technology Co Ltd filed Critical China Travelsky Mobile Technology Co Ltd
Priority to CN202310645435.0A priority Critical patent/CN116405321B/zh
Publication of CN116405321A publication Critical patent/CN116405321A/zh
Application granted granted Critical
Publication of CN116405321B publication Critical patent/CN116405321B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6263—Protecting personal data, e.g. for financial or medical purposes during internet communication, e.g. revealing personal data from cookies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0209—Architectural arrangements, e.g. perimeter networks or demilitarized zones

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种网络数据获取方法、电子设备及存储介质，包括：获取目标数据类型信息和N个用户信息；根据N个用户信息和目标数据类型信息生成M个数据获取任务信息，每一数据获取任务信息包括访问请求和配置信息；M≥N；其中，访问请求根据所述用户信息生成，配置信息根据目标数据类型信息生成；将M个数据获取任务信息发送至外网服务器，以使外网服务器根据每一个数据获取任务信息中的配置信息将对应的访问请求发送至目标数据源，得到各数据获取任务信息对应的目标数据；目标数据源为能够提供目标数据的数据源；目标数据源根据目标数据类型信息确定；接收来自外网服务器返回的目标数据；该方法能够有效地降低个人重要数据泄露的风险。

Description

一种网络数据获取方法、电子设备及存储介质
技术领域
本发明涉及数据处理领域，特别是涉及一种网络数据获取方法、电子设备及存储介质。
背景技术
随着网络技术的不断发展，网络数据在给人们的生产生活带来便利的同时，也大大提高了人们的工作效率，人们生活中常用的一些软件内的信息展示，都需要获取大量的网络数据进行分析处理。
目前，对于网络数据的获取，例如，某一特定网站大量实时数据的获取，一般是通过爬虫软件设定好获取的频次及内容，通过数据获取任务直接访问目标网站，然后自动执行数据获取，这种方式在一定程度上可以获取到一定量的数据；但是，该方式在建立数据获取任务时，通常包含大量的敏感信息，比如，用户名、用户密码以及其他的敏感个人信息，包含有敏感信息的数据任务转发到代理服务器执行数据获取时，一旦被破解，将造成个人重要数据的泄露。
发明内容
针对上述技术问题，本发明采用的技术方案为：
根据本申请的一方面，提供了一种网络数据获取方法，该方法应用于内网服务器，该方法包括如下步骤：
S100，获取目标数据类型信息和N个用户信息。
S200，根据N个用户信息和所述目标数据类型信息生成M个数据获取任务信息，每一数据获取任务信息包括访问请求和配置信息；M≥N；其中，访问请求根据所述用户信息生成，配置信息根据目标数据类型信息生成。
S300，将M个数据获取任务信息发送至外网服务器，以使外网服务器根据每一个数据获取任务信息中的配置信息将对应的访问请求发送至目标数据源，得到各数据获取任务信息对应的目标数据；目标数据源为能够提供目标数据的数据源；所述目标数据源根据所述目标数据类型信息确定。
S400，接收来自外网服务器返回的目标数据。
根据本申请的另一方面，还提供了一种非瞬时性计算机可读存储介质，存储介质中存储有至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行以实现上述网络数据获取方法。
根据本申请的另一方面，还提供了一种电子设备，包括处理器和上述非瞬时性计算机可读存储介质。
本发明至少具有以下有益效果：
本发明的网络数据获取方法，获取在内网服务器上根据用户的数据需求信息生成若干数据获取任务，然后将数据获取任务转发至外网服务器，而在内网服务器上建立数据获取任务时，虽然输入的敏感信息（如用户信息）是明文信息，由于外网无法直接访问内网服务器，因此，不会造成个人敏感信息泄露至外网服务器；在将数据获取任务转发至外网服务器时，数据获取任务的访问请求仅仅是根据用户信息生成的，但不直接包括用户信息，故而访问请求本身不会泄露用户信息，即使在外网服务器遭到破解，泄露的仅仅是访问请求，也不会造成用户信息的泄露，因此，本发明能够有效地降低用户信息泄露的风险。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的网络数据获取方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
本发明实施例提供了一种网络数据获取方法，其中，该方法应用于内网服务器，内网服务器可以与外网服务器进行通讯，下面将参照图1所述的网络数据获取方法的流程图，对一种网络数据获取方法进行介绍。
该网络数据获取方法包括如下步骤：
S100，获取目标数据类型信息和N个用户信息。
本实施例中，N个用户在内网服务器上部署的相应软件界面输入需要的数据类型信息以及用户的个人信息，其中，用户的个人信息包括用户访问目标数据源的用户名及密码，数据类型信息则包括具体的目标数据类型以及目标数据对应的数据源地址。
S200，根据N个所述用户信息和所述目标数据类型信息生成M个数据获取任务信息，每一数据获取任务信息包括访问请求和配置信息，M≥N。其中，所述访问请求根据所述用户信息生成，所述配置信息根据目标数据类型信息生成。
本实施例中，根据上述N个用户输入的用户信息以及目标数据类型信息，生成M个数据获取任务信息，其中，M＞N，每个用户至少对应生成一个数据获取任务信息。每一数据获取任务信息均包括访问请求以及对应的配置信息，访问请求中包括用户的用户名以及密码信息，而配置信息则包括与目标数据类型相对应的目标数据源的地址；可以理解的是，在内网服务器上生成的数据获取任务信息均已进行加密处理，因此，在外网服务器上的数据获取任务信息也为经过加密处理后的信息。
本实施例中，步骤S100和S200均在内网服务器上执行，而内网服务器是无法通过外网服务器直接访问的，因此，在内网服务器上建立数据获取任务信息时，虽然输入的用户名以及密码是明文信息，也能够避免用户信息泄露至外网，在一定程度上保证了个人用户信息的安全。
S300，将M个数据获取任务信息发送至外网服务器，以使外网服务器根据每一个数据获取任务信息中的配置信息将对应的访问请求发送至目标数据源，得到各数据获取任务信息对应的目标数据；所述目标数据源为能够提供目标数据的数据源；所述目标数据源根据所述目标数据类型信息确定。
本实施例中，在内网服务器上建立的M个数据获取任务信息，通过网络隔离区（DMZ）发送至若干个均衡服务器，再通过均衡服务器将M个数据获取任务信息转发至外网服务器，外网服务器的个数也可根据实际需要进行设置。均衡服务器能够根据外网服务器的负载情况来均衡分配数据获取任务，使得每个外网服务器所承载的数据获取任务较为均衡。
外网服务器根据M个数据获取任务信息中各自的访问请求以及配置信息，通过代理服务器访问相应的目标数据源，同时接收目标数据源通过代理服务器返回的目标数据。
S400，接收来自外网服务器返回的目标数据。
外网服务器将接收的目标数据转发至内网服务器，内网服务器接收来自外网服务器发送的目标数据，即完成网络数据的获取。
本实施例提供的一种网络数据获取方法，获取在内网服务器上根据用户的数据需求信息生成若干数据获取任务，然后将数据获取任务转发至外网服务器，而在内网服务器上建立数据获取任务时，虽然输入的用户信息是明文信息，由于外网无法直接访问内网服务器，因此，不会造成用户信息泄露至外网服务器；在将数据获取任务转发至外网服务器时，数据获取任务的访问请求仅仅是根据用户信息生成的，但不直接包括用户信息，故而访问请求本身不会泄露用户信息，即使在外网服务器遭到破解，泄露的仅仅是访问请求，也不会造成用户信息的泄露，因此，本发明能够有效地降低用户信息泄露的风险。
在本申请的一种示例性实施例中，步骤S300包括如下步骤：
S310，根据所述目标数据类型信息确定出n个目标数据源集C1,C2,…,Cd,…,Cn，d=1,2,…,n；其中，Cd为第d个目标数据源，n为目标数据源的个数。
本实施例中，根据用户输入的目标数据类型信息，能够获取到与目标数据类型相关联的h个目标数据源，h＞n，h个目标数据源在能够提供目标数据的关联性上具有各自的权重，该权重可以根据各个目标数据源的访问排名得到，根据各个目标数据源的权重筛选出n个目标数据源；例如，某航司的电脑端网页和手机客户端，对于航班信息的访问次数，手机客户端高于电脑端网页，那么手机客户端的权重高于电脑端网页的权重。
S320，获取与每一目标数据源对应的初始权重，以得到初始权重集W=(W1,W2,…,Wd,…,Wn)；其中，Wd为Cd的初始权重，Wd与Cd的访问优先级正相关。
本实施例中，目标数据源的初始权重表示对应的目标数据源能够提供目标数据的能力，目标数据源的权重值越大，其能够提供目标数据的能力越强；目标数据源的权重值的确定方法如下：
获取目标数据源在预设时间窗口内的用户访问次数Z，该预设时间窗口的结束时间为当前时间，Z可以通过目标数据源提供的公开数据得到，例如，某网站公开的用户实时访问次数；根据权重值求取函数g(Z)=1-e-Z确定各目标数据源的权重值；其中，e为自然常数；权重值求取函数g(Z)的函数值与参数Z呈正相关关系，用户访问次数越高表示该目标数据源的权重越大。
S330，将max(W)对应的数据源确定为主目标数据源Cmax，max()为求最大值函数。例如，W中筛选出W1、W2和W3三个目标数据源，W1的权重在三个目标数据源中最大，则将W1作为主目标数据源。
S340，建立第一数据获取任务信息集S= (S1,S2,…,Sa,…,Sb)，a=1,2,…,b；以及第二数据获取任务信息集S’=(S’1,S’2,…,S’P,…,S’q)，p=1,2,…,q；其中，Sa为S中的第a个第一数据获取任务信息，b为S中第一数据获取任务信息的个数，Sp为S’中的第p个第二数据获取任务信息，q为S’中第二数据获取任务信息的个数；b+q=M，b=j×M，j∈(1，0.5)。
本实施例中，将上述步骤S200建立的M个数据获取任务信息分为S和S’，S中所包含的数据获取任务信息的数量要大于S’中包含的数据获取任务信息的数量；j的取值可以为0.8，j的取值为0.8时，对于M个数据获取任务信息，S中包含了80%的数据获取任务信息，S’中包含了20%的数据获取任务信息。
S350，将n个目标数据源中除Cmax以外的目标数据源确定为副目标数据源C’1,C’2,…,C’m,…,C’n-1；m=1,2,…,n-1；其中，C’m为第m个副目标数据源。
S360，分配S中的各第一数据获取任务信息访问Cmax，S’中的各第二数据获取任务信息按预设规则，分配至C’1,C’2,…,C’m,…,C’n-1。
本实施例中，主目标数据源承载大部分的数据获取任务信息，剩余的副目标数据源承载剩余的小部分数据获取任务信息，具体分配规则为：每一副目标数据源被分配了q/(n-1)（取整数）个数据获取任务信息；根据各目标数据源的数据提供能力来承载数据获取任务，能够避免出现数据提供能力较弱的目标数据源承载较多的数据获取任务信息，或者数据提供能力较强的目标数据源承载较少的数据获取任务信息的现象，从而提高数据获取的效率。同时，还能通过目标数据的获取结果，监控各副目标数据源的访问稳定性。
S370，若ECmax＜E’，将当前还未访问Cmax的数据获取任务信息分配至一个C’m；其中，E’为预设的访问稳定性阈值，ECmax为Cmax的访问稳定性值，ECmax=f(xCmax,yCmax)，f(xCmax,yCmax)为根据xCmax和yCmax得到的Cmax的访问稳定性值；xCmax为Cmax的网络访问延时时间，yCmax为Cmax的访问失败率；f()为预设的访问稳定性值求取函数。
本实施例中，在将所有的数据获取任务信息分配至相应的目标数据源之后，还需要对Cmax的访问稳定性进行实时监测，若监测到Cmax的访问稳定性值小于预设的访问稳定性阈值，则判定为主目标数据源的访问出现故障，则需要将当前还未访问Cmax的数据获取任务信息分配至一个C’m，C’max为从n-1个副目标数据源中确定出的关键副目标数据源。
本实施例中，提供一种访问稳定性值求取函数f(x,y)=0.5×(e-x+1-y)；其中，x为访问延时时间，y为访问失败率，e为自然常数；对于x，其取值范围为0到无穷大，而y的取值范围为0到1，e-x能够将x限制为0到1之间，且e-x与x呈负相关；1-y能够将y限制为0到1之间，且1-y与y呈负相关；因此，f(x,y)=0.5×(e-x+1-y)与x和y呈负相关，且f(x,y)的函数值在0到1之间；x和/或y越大，表示该目标数据源的访问稳定性值越小。
步骤S370包括如下步骤：
S371，若ECmax＜E’，则获获取副目标数据源访问稳定性值集E=(EC’1,EC’2,…,EC’m,…,EC’n-1)，EC’m=f(xC’m,yC’m)，EC’m为C’m的访问稳定性值，xC’m为C’m在t内的网络访问延时时间，yC’m为C’m在t内的访问失败率，t为目标时间窗口，所述目标时间窗口的结束时间为当前时间。
对于网络访问延时时间的确定，可以通过如下方法实现：
获取t内各时间点的网络访问延时时间，将t内各时间点的网络访问延时时间求均值，将均值作为当前的网络延时时间；此方法能够避免因某一时刻网络波动造成的网络延时时间突变，对整体网络延时时间的影响。
对于访问失败率的确定，可以通过如下方法实现：
获取t内各数据获取任务信息未能成功获取到目标数据的个数，求取未能成功获取到目标数据的个数占t内总的数据获取任务信息个数的比例，将该比例作为访问失败率。
S372，根据各副目标数据源的访问稳定性值和初始权重，确定出副目标数据源目标数据提供能力值集U=(U1,U2,…,Um,…,Un-1)；其中，Um为C’m的目标数据提供能力值，Um=Vm×EC’m，Vm为C’m的初始权重。
本实施例中，目标数据源的目标输数提供能力值表示目标数据源提供目标数据的能力，该值越大，表示目标数据源能够提供目标数据的能力越强；而目标数据源的初始权重代表了目标数据源自身能够提供目标数据的能力，因此，将实时的访问稳定性值与初始权重值的乘积作为副目标数据源目标数据提供能力值，更能反映副目标数据源当前的能够提供目标数据的综合能力。
S373，将max(U)对应的副目标数据源确定为C’max；
本实施例中，遍历E中的访问稳定性值，确定出最大的访问稳定性值对应的副目标数据源，作为关键副目标数据源；可以理解的是，关键副目标数据源为当前网络状况下，能够提供目标数据能力最强的副目标数据源。
S374，将当前正在访问Cmax的数据获取任务信息分配至C’max。
本实施例中，确定出主目标数据源后，分配大部分的数据获取任务信息，而不是将所有的数据获取任务信息分配至主目标数据源，该分配方法的具有以下有益效果：
第一，副目标数据源承载一部分数据获取任务信息，能够分担主数据源的一部分数据提供压力；如果将所有的数据获取任务信息全部分配至主目标数据源，将会使得主目标数据源的访问压力过大，反而会降低整体的目标数据获取效率。
第二，通过上述的数据获取任务信息的分配方法，不仅能够通过副目标数据源获取一部分目标数据，还能够根据副目标数据源获取目标数据的结果及历史访问延时时间，得到各个副目标数据源的访问延时时间以及访问失败率，进而根据访问延时时间以及访问失败率计算得到各个副目标数据源的访问稳定性值，从而实时监控副数据源的网络稳定性。同时，将剩余的小部分数据获取任务信息均分至各副目标数据源，能够避免主目标数据源发生故障时，导致所有的数据获取任务全部终止，完全获取不到目标数据的现象发生。
第三，在主目标数据源发生故障后，如果之前没有分配数据获取任务信息至各个副目标数据源，则需要重新建立预设数量的数据获取任务信息，对各个副目标数据源进行一定时间的访问，再根据访问过程中的延时时间以及访问失败率计算各个副目标数据源的访问稳定性值。本实施例中的分配方法，则是同时给主目标数据源和各个副目标数据源分配数据获取任务信息，因此，在主目标数据源发生故障后，能够根据各个副目标数据源的延时时间和访问失败率，直接得到各个副目标数据源的访问稳定性值，整体执行效率较高。
本实施例中，在将大部分的数据获取任务信息分配至关键副目标数据源之后，继续通过小批量的数据获取任务信息对主目标数据源的访问稳定性值进行实时计算，当主目标数据源的访问稳定性值恢复到大于E’后，将原来S中的数据获取任务信息分配至主目标数据源，继续通过主目标数据源获取较大部分的目标数据；因为主目标数据源自身固有的目标数据提供能力较强，故障排除后，依然承载大部分数据获取任务信息，从而保证目标数据获取的效率。
若ECmax＞E’，在经过过一个设定时间间隔后，再次进入步骤S360。
本实施例中，根据目标数据源的权重，确定出主目标数据源，主目标数据源具有较强的数据提供能力，承载较多的数据获取任务，避免因目标数据源的数据提供能力与承载的数据获取任务数量不匹配，导致的数据获取效率较低的问题，提高目标数据获取的稳定性。
进一步的，实时监测主目标数据源的访问稳定性值，当主目标数据源的访问稳定性值小于预设阈值时，将当前还未访问主目标数据源的数据获取任务信息分配至关键副目标数据源，由此避免因主目标数据源发生故障，导致大部分数据获取任务信息获取目标数据失败的问题，进一步提高目标数据获取的稳定性。
此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
本发明的实施例还提供了一种非瞬时性计算机可读存储介质，该存储介质可设置于电子设备之中以保存用于实现方法实施例中一种方法相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述实施例提供的方法。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本发明的实施例还提供了一种电子设备，包括处理器和前述的非瞬时性计算机可读存储介质。
根据本申请的这种实施方式的电子设备。电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
电子设备以通用计算设备的形式表现。电子设备的组件可以包括但不限于：上述至少一个处理器、上述至少一个储存器、连接不同系统组件(包括储存器和处理器)的总线。
其中，所述储存器存储有程序代码，所述程序代码可以被所述处理器执行，使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种示例性实施方式的步骤。
储存器可以包括易失性储存器形式的可读介质，例如随机存取储存器(RAM)和/或高速缓存储存器，还可以进一步包括只读储存器(ROM)。
储存器还可以包括具有一组(至少一个)程序模块的程序/实用工具，这样的程序模块包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线可以为表示几类总线结构中的一种或多种，包括储存器总线或者储存器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。
电子设备也可以与一个或多个外部设备(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备交互的设备通信，和/或与使得该电子设备能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口进行。并且，电子设备还可以通过网络适配器与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器通过总线与电子设备的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
本发明的实施例还提供一种计算机程序产品，其包括程序代码，当所述程序产品在电子设备上运行时，所述程序代码用于使该电子设备执行本说明书上述描述的根据本发明各种示例性实施方式的方法中的步骤。
虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员还应理解，可以对实施例进行多种修改而不脱离本发明的范围和精神。本发明开的范围由所附权利要求来限定。

Claims (10)

1.一种网络数据获取方法，其特征在于，应用于内网服务器，所述方法包括如下步骤：
S100，获取目标数据类型信息和N个用户信息；
S200，根据N个所述用户信息和所述目标数据类型信息生成M个数据获取任务信息，每一数据获取任务信息包括访问请求和配置信息；M≥N；其中，所述访问请求根据所述用户信息生成，所述配置信息根据目标数据类型信息生成；
S300，将M个数据获取任务信息发送至外网服务器，以使外网服务器根据每一个数据获取任务信息中的配置信息将对应的访问请求发送至目标数据源，得到各数据获取任务信息对应的目标数据；所述目标数据源为能够提供目标数据的数据源；所述目标数据源根据所述目标数据类型信息确定；
S400，接收来自外网服务器返回的目标数据。
2.根据权利要求1所述的网络数据获取方法，其特征在于，所述S300包括：
S310，根据所述目标数据类型信息确定出n个目标数据源C1,C2,…,Cd,…,Cn，d=1,2,…,n；其中，Cd为第d个目标数据源，n为目标数据源的个数；
S320，获取与每一目标数据源对应的初始权重，以得到初始权重集W=(W1,W2,…,Wd,…,Wn)；其中，Wd为Cd的初始权重，Wd与Cd的访问优先级正相关；
S330，将max(W)对应的数据源确定为主目标数据源Cmax，max()为求最大值函数；
S340，建立第一数据获取任务信息集S=(S1,S2,…,Sa,…,Sb)，a=1,2,…,b；以及第二数据获取任务信息集S’=(S’1,S’2,…,S’P,…,S’q)，p=1,2,…,q；其中，Sa为S中的第a个第一数据获取任务信息，b为S中第一数据获取任务信息的个数，Sp为S’中的第p个第二数据获取任务信息，q为S’中第二数据获取任务信息的个数；b+q=M，b=j×M，j∈(1，0.5)；
S350，将n个目标数据源中除Cmax以外的目标数据源确定为副目标数据源C’1,C’2,…,C’m,…,C’n-1；m=1,2,…,n-1；其中，C’m为第m个副目标数据源；
S360，分配S中的各第一数据获取任务信息访问Cmax，S’中的各第二数据获取任务信息按预设规则，分配至C’1,C’2,…,C’m,…,C’n-1；
S370，若ECmax＜E’，将当前还未访问Cmax的数据获取任务信息分配至C’max；其中，E’为预设的访问稳定性阈值，ECmax为Cmax的访问稳定性值，ECmax=f(xCmax,yCmax)，f(xCmax,yCmax)为根据xCmax和yCmax得到的Cmax的访问稳定性值；xCmax为Cmax的网络访问延时时间，yCmax为Cmax的访问失败率；f()为预设的访问稳定性值求取函数，C’max为从n-1个副目标数据源中确定出的关键副目标数据源。
3.根据权利要求2所述的网络数据获取方法，其特征在于，步骤S370包括：
S371，若ECmax＜E’，则获取副目标数据源访问稳定性值集E=(EC’1,EC’2,…,EC’m,…,EC’n-1)，EC’m=f(xC’m,yC’m)，EC’m为C’m的访问稳定性值，xC’m为C’m在t内的网络访问延时时间，yC’m为C’m在t内的访问失败率，t为目标时间窗口，所述目标时间窗口的结束时间为当前时间；
S372，根据各副目标数据源的访问稳定性值和初始权重，确定出副目标数据源目标数据提供能力值集U=(U1,U2,…,Um,…,Un-1)；其中，Um为C’m的目标数据提供能力值，Um= Vm×EC’m，Vm为C’m的初始权重；
S373，将max(U)对应的副目标数据源确定为C’max；
S374，将当前正在访问Cmax的数据获取任务信息分配至C’max。
4.根据权利要求2所述的网络数据获取方法，其特征在于，所述j的取值为0.8。
5.根据权利要求2所述的网络数据获取方法，其特征在于，f(x,y)=0.5×(e-x+1-y)；其中，x为网络访问延时时间，y为访问失败率，e为自然常数。
6.根据权利要求1所述的网络数据获取方法，其特征在于，步骤S300还包括：
步骤S301，通过网络隔离区将M个数据获取任务信息发送至若干个均衡服务器，以使各均衡服务器将M个数据获取任务信息转发至外网服务器。
7.根据权利要求1所述的网络数据获取方法，其特征在于，所述外网服务器根据M个数据获取任务的访问请求和配置信息，通过代理服务器访问目标数据源。
8.根据权利要求1所述的网络数据获取方法，其特征在于，所述用户信息包括用户名和密码。
9.一种非瞬时性计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1-8中任意一项的所述网络数据获取方法。
10.一种电子设备，其特征在于，包括处理器和权利要求9中所述的非瞬时性计算机可读存储介质。
CN202310645435.0A 2023-06-02 2023-06-02 一种网络数据获取方法、电子设备及存储介质 Active CN116405321B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310645435.0A CN116405321B (zh) 2023-06-02 2023-06-02 一种网络数据获取方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310645435.0A CN116405321B (zh) 2023-06-02 2023-06-02 一种网络数据获取方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN116405321A true CN116405321A (zh) 2023-07-07
CN116405321B CN116405321B (zh) 2023-08-15

Family

ID=87012617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310645435.0A Active CN116405321B (zh) 2023-06-02 2023-06-02 一种网络数据获取方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116405321B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543463A (zh) * 2018-10-11 2019-03-29 平安科技（深圳）有限公司 数据安全访问方法、装置、计算机设备及存储介质
US20200053129A1 (en) * 2018-08-13 2020-02-13 Akamai Technologies, Inc. Device Discovery for Cloud-Based Network Security Gateways
CN111181914A (zh) * 2019-09-29 2020-05-19 腾讯云计算（北京）有限责任公司 一种局域网内部数据安全监控方法、装置、系统和服务器
CN111414391A (zh) * 2020-03-25 2020-07-14 平安资产管理有限责任公司 一种访问多数据源的方法及系统
CN114510643A (zh) * 2022-02-17 2022-05-17 中科三清科技有限公司 数据分发方法、装置及存储介质
WO2022117972A1 (fr) * 2020-12-04 2022-06-09 Orange Sa Procédé de gestion d'une demande d'accès à un réseau de communication local, procédé de traitement d'une demande d'accès à un réseau de communication local, procédé de demande d'accès à un réseau de communication local, dispositifs, plateforme de gestion, passerelle, terminal utilisateur, système et programmes d'ordinateur correspondants
CN115766189A (zh) * 2022-11-10 2023-03-07 贵州电网有限责任公司 一种多通道隔离安全防护方法及系统
CN116032948A (zh) * 2023-02-21 2023-04-28 苏州阿基米德网络科技有限公司 一种医院内网与外网数据同步方法、系统及电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200053129A1 (en) * 2018-08-13 2020-02-13 Akamai Technologies, Inc. Device Discovery for Cloud-Based Network Security Gateways
CN109543463A (zh) * 2018-10-11 2019-03-29 平安科技（深圳）有限公司 数据安全访问方法、装置、计算机设备及存储介质
CN111181914A (zh) * 2019-09-29 2020-05-19 腾讯云计算（北京）有限责任公司 一种局域网内部数据安全监控方法、装置、系统和服务器
CN111414391A (zh) * 2020-03-25 2020-07-14 平安资产管理有限责任公司 一种访问多数据源的方法及系统
WO2022117972A1 (fr) * 2020-12-04 2022-06-09 Orange Sa Procédé de gestion d'une demande d'accès à un réseau de communication local, procédé de traitement d'une demande d'accès à un réseau de communication local, procédé de demande d'accès à un réseau de communication local, dispositifs, plateforme de gestion, passerelle, terminal utilisateur, système et programmes d'ordinateur correspondants
CN114510643A (zh) * 2022-02-17 2022-05-17 中科三清科技有限公司 数据分发方法、装置及存储介质
CN115766189A (zh) * 2022-11-10 2023-03-07 贵州电网有限责任公司 一种多通道隔离安全防护方法及系统
CN116032948A (zh) * 2023-02-21 2023-04-28 苏州阿基米德网络科技有限公司 一种医院内网与外网数据同步方法、系统及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高梦超等: "基于众包的社交网络数据采集模型设计与实现", 计算机工程, vol. 41, no. 4 *

Also Published As

Publication number Publication date
CN116405321B (zh) 2023-08-15

Similar Documents

Publication Publication Date Title
US10460241B2 (en) Server and cloud computing resource optimization method thereof for cloud big data computing architecture
KR20210122213A (ko) 리소스 추천 및 파라미터 결정 방법, 장치, 설비 및 매체
CN104092650B (zh) 一种分配业务请求的方法和装置
US9813422B2 (en) Detecting unauthorized risky or inefficient usage of privileged credentials through analysis of task completion timing
US11973759B2 (en) Automatic transaction processing failover
CN114327803A (zh) 区块链访问机器学习模型的方法、装置、设备和介质
CN111866101B (zh) 访问请求处理方法及装置、存储介质和电子设备
RU2720442C1 (ru) Улучшение доли успешных попыток интерактивной транзакции
CN107920027A (zh) 一种流量控制方法及装置
CN113905091B (zh) 用于对访问请求进行处理的方法及装置
CN112994934B (zh) 数据交互方法、装置及系统
CN113037489B (zh) 数据处理方法、装置、设备和存储介质
US20070061429A1 (en) Optimizing utilization of application resources
CN114500288A (zh) 带宽调整方法及装置、存储介质
CN112866395B (zh) 一种服务请求处理系统、方法及计算设备
CN116405321B (zh) 一种网络数据获取方法、电子设备及存储介质
US11429435B1 (en) Distributed execution budget management system
CN113191889A (zh) 风控配置方法、配置系统、电子设备及可读存储介质
CN114327802B (zh) 区块链访问链外数据的方法、装置、设备和介质
CN114338051B (zh) 区块链获取随机数的方法、装置、设备和介质
US20190141152A1 (en) Web push notifications in the background
US11196817B1 (en) Intelligently managing resource utilization in desktop virtualization environments
CN114331446A (zh) 区块链的链外服务实现方法、装置、设备和介质
CN113742104A (zh) 基于ai的rpa分身功能的生成方法及装置
US20200195591A1 (en) Integration hub

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant