CN113489773A - 数据接入方法、装置、设备及介质 - Google Patents

数据接入方法、装置、设备及介质 Download PDF

Info

Publication number
CN113489773A
CN113489773A CN202110738632.8A CN202110738632A CN113489773A CN 113489773 A CN113489773 A CN 113489773A CN 202110738632 A CN202110738632 A CN 202110738632A CN 113489773 A CN113489773 A CN 113489773A
Authority
CN
China
Prior art keywords
data
format
server
external
external data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110738632.8A
Other languages
English (en)
Other versions
CN113489773B (zh
Inventor
朱玉顺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Weikun Shanghai Technology Service Co Ltd
Original Assignee
Weikun Shanghai Technology Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Weikun Shanghai Technology Service Co Ltd filed Critical Weikun Shanghai Technology Service Co Ltd
Priority to CN202110738632.8A priority Critical patent/CN113489773B/zh
Publication of CN113489773A publication Critical patent/CN113489773A/zh
Application granted granted Critical
Publication of CN113489773B publication Critical patent/CN113489773B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1014—Server selection for load balancing based on the content of a request
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer And Data Communications (AREA)

Abstract

本申请涉及数据处理技术领域，揭示了一种数据接入方法、装置、介质及设备，其中方法包括：响应于携带至少一数据标识信息的数据获取指令，向所述数据标识信息对应的外部数据所属的服务器发起数据获取请求；向各个所述服务器发送负载获取请求，以使各个所述服务器返回负载参数；根据所述负载参数生成第一配置顺序，按照所述第一配置顺序依次根据所述配置信息对所述外部数据的接收端口进行配置；通过配置后的所述接收端口，按照每一所述服务器中的外部数据对应的数据接收顺序依次接收所述外部数据和所述外部数据的服务信息；根据所述服务信息对各个所述外部数据进行解析，得到目标数据。从而提高了不同服务器的数据接入效率和数据的时效性。

Description

数据接入方法、装置、设备及介质
技术领域
本申请涉及到数据处理技术领域，特别是涉及到一种数据接入方法、装置、设备及介质。
背景技术
随着互联网大数据技术的发展，为了提高数据的利用率，基金代销公司、银行等金融企业通常会与专业的金融数据提供商进行合作，利用其提供各式各样的金融财经数据，以及结合企业内部积累的交易数据和客户数据，进行数据分析，挖掘上述数据沉睡的价值，为企业营销、用户经营、数据风控、产品设计和决策支持提供依据。但上述待分析的数据通常都比较分散，外部数据的提供商较多，并且不同的数据提供商提供的数据的方式多种多样，提供的数据的格式也各不相同，不便于统一存储、查询和分析。
现有技术中的数据同步方案需要针对不同的数据和外部服务商开发不同的接口，开发成本较大，周期较长，降低了数据的价值和时效性，难以满足互联网企业快速变化迭代的需求。
发明内容
本申请的主要目的为提供一种数据接入方法、装置、介质及设备，旨在解决现有技术中的不同服务器的数据接入效率较低，数据的时效性较差的技术问题。
为了实现上述发明目的，本申请提出一种数据接入方法，所述方法包括：
响应于携带至少一数据标识信息的数据获取指令，向所述数据标识信息对应的外部数据所属的服务器发起数据获取请求，以使所述服务器根据所述数据标识信息返回所述外部数据的配置信息，其中，所述数据获取请求携带有至少一所述数据标识信息；
向各个所述服务器发送负载获取请求，以使各个所述服务器返回负载参数；
根据所述负载参数生成第一配置顺序，按照所述第一配置顺序依次根据所述配置信息对所述外部数据的接收端口进行配置；
通过配置后的所述接收端口，按照每一所述服务器中的外部数据对应的数据接收顺序，依次接收所述外部数据和所述外部数据的服务信息；
根据所述服务信息对各个所述外部数据进行解析，得到目标数据。
进一步的，所述根据所述服务信息对各个所述外部数据进行解析，得到目标数据，包括：
通过隔离网关对各个所述外部数据进行筛选，得到筛选后的安全数据；
根据所述服务信息对各个所述安全数据进行解析，得到所述目标数据。
进一步的，所述得到目标数据之后，还包括：
根据预设的格式信息将所述目标数据的数据格式转换为第一格式，得到第一格式数据；
将所述第一格式数据按照预先配置的映射规则存储至存储系统中。
进一步的，所述将所述第一格式数据按照预先配置的映射规则存储至存储系统中之后，还包括：
识别所述第一格式数据是否存在数据异常；
若不存在，按照预设的时间间隔再次识别所述第一格式数据是否存在数据异常；
若存在，对数据异常的所述第一格式数据进行修复后，按照预设的时间间隔再次识别所述第一格式数据是否存在数据异常。
进一步的，所述识别所述第一格式数据是否存在数据异常，包括：
将内容完全相同的若干所述第一格式数据作为第一疑似数据；
获取每一所述第一疑似数据的数据来源和生成时间；
将数据来源和生成时间均相同的所述第一疑似数据判定为数据异常，且异常原因为整包重复。
进一步的，述对数据异常的所述第一格式数据进行修复，包括：
识别所述第一格式数据的异常原因，当所述异常原因为整包重复时，删除重复的所述第一格式数据。
进一步的，所述将所述第一格式数据按照预先配置的映射规则存储至存储系统中，包括：
根据所述映射规则将所述第一格式数据存储至所述存储系统内的不同数据单元中。
本申请还提出了一种数据接入装置，包括：
数据获取模块，用于响应于携带至少一数据标识信息的数据获取指令，向所述数据标识信息对应的外部数据所属的服务器发起数据获取请求，以使所述服务器根据所述数据标识信息返回所述外部数据的配置信息，其中，所述数据获取请求携带有至少一所述数据标识信息；
负载获取模块，用于向各个所述服务器发送负载获取请求，以使各个所述服务器返回负载参数；
端口配置模块，用于根据所述负载参数生成第一配置顺序，按照所述第一配置顺序依次根据所述配置信息对所述外部数据的接收端口进行配置；
数据接收模块，用于通过配置后的所述接收端口，按照每一所述服务器中的外部数据对应的数据接收顺序，依次接收所述外部数据和所述外部数据的服务信息；
数据解析模块，用于根据所述服务信息对各个所述外部数据进行解析，得到目标数据。
本申请还提出了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法。
本申请还提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法。
本申请的数据接入方法、装置、介质及设备，根据携带数据标识信息的数据获取指令，向各个数据标识信息对应的外部数据所属的服务器发起数据获取请求，从而获取服务器返回的配置规则、端口类型、域名等配置信息，从而在接入各个外部数据之前，先根据各个外部数据的配置信息获得该数据源服务器所需的端口配置，从而为端口提供配置依据，提高了多种不同来源的外部数据接入的便捷性；根据不同的外部数据的配置信息在接收前对接收端口进行动态配置，使得一接收端口能够接收多个不同来源的外部数据，避免了一数据来源必须对应一接收端口的问题，从而提高了数据接收的兼容性，并节约了接收端口资源；通过获取每一服务器的负载参数，从而合理分配对每一服务器的配置顺序，从而避免在各个服务器处于高负载状态时进行数据接入，提高了数据接入效率，进而提高了基于目标数据的大数据分析的时效性。
附图说明
图1为本申请一实施例的数据接入方法的流程示意图；
图2为本申请一实施例的数据接入方法的具体流程示意图；
图3为本申请一实施例的数据接入方法的具体流程示意图；
图4为本申请一实施例的数据接入方法的具体流程示意图；
图5为本申请一实施例的数据接入装置的结构示意框图；
图6为本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，为了实现上述发明目的，本申请提出一种数据接入方法，所述方法包括：
S1：响应于携带至少一数据标识信息的数据获取指令，向所述数据标识信息对应的外部数据所属的服务器发起数据获取请求，以使所述服务器根据所述数据标识信息返回所述外部数据的配置信息，其中，所述数据获取请求携带有至少一所述数据标识信息；
S2：向各个所述服务器发送负载获取请求，以使各个所述服务器返回负载参数；
S3：根据所述负载参数生成第一配置顺序，按照所述第一配置顺序依次根据所述配置信息对所述外部数据的接收端口进行配置；
S4：通过配置后的所述接收端口，按照每一所述服务器中的外部数据对应的数据接收顺序，依次接收所述外部数据和所述外部数据的服务信息；
S5：根据所述服务信息对各个所述外部数据进行解析，得到目标数据。
本实施例根据携带数据标识信息的数据获取指令，向各个数据标识信息对应的外部数据所属的服务器发起数据获取请求，从而获取服务器返回的配置规则、端口类型、域名等配置信息，从而在接入各个外部数据之前，先根据各个外部数据的配置信息获得该数据源服务器所需的端口配置，从而为端口提供配置依据，提高了多种不同来源的外部数据接入的便捷性；根据不同的外部数据的配置信息在接收前对接收端口进行动态配置，使得一接收端口能够接收多个不同来源的外部数据，避免了一数据来源必须对应一接收端口的问题，从而提高了数据接收的兼容性，并节约了接收端口资源；通过获取每一服务器的负载参数，从而合理分配对每一服务器的配置顺序，从而避免在各个服务器处于高负载状态时进行数据接入，提高了数据接入效率，进而提高了基于目标数据的大数据分析的时效性。
对于步骤S1，大数据分析所需要的数据的数据源往往是多种多样的，例如包括各个板块的行情数据、交易数据等多种类型的外部数据，因此，为了实现大数据的统一存储、查询和分析，往往需要先对各个服务器中的各个类型的外部数据进行整合。然而，在实际应用中，不同类型的外部数据所属的服务器往往对应不同的数据服务提供商，不同的数据服务提供商提供服务的服务器也往往不同，例如，以SFTP(Secure File Transfer Protocol)服务器、FTP(File Transfer Protocol)服务器或其它服务器的方式提供服务。当接收到用户发送的携带至少一数据标识信息的数据获取指令后，根据该指令在获取各个外部数据之前先对各个外部数据所属的服务器发起数据获取请求，从而使得各个服务器根据数据获取请求中携带的数据标识信息，将对应的数据发送至本地，上述配置信息包括各个外部数据的配置规则、端口类型、域名等信息，即作为上述外部数据的数据源的服务器所需的端口配置，从而为端口提供配置依据，提高了多种类型的外部数据接入的便捷性。
对于步骤S2，在服务器的实际运行中，通常会出现高负载运行时间段和低负载运行时间段，例如，银行的对外业务服务器的运行负载在周末的工作时间通常会高于工作日的深夜。因此，获取各个服务器的负载参数，从而在服务器负载较低的情况下配置该服务器中各个数据的接收端口，便于提高接收端口配置完成后的数据传输效率。
对于步骤S3，由于待接收的外部数据通常来源于不同的服务器，因此需要考虑到各个服务器的负载情况依次配置接收端口，而上述负载参数即各个服务器负载情况的数据化体现，其中，上述的负载参数可以为当前负载参数，也可以为某一时间段的负载参数。具体来说，若在某一时间段内负载参数较大，则可避免在该时间段内配置该服务器中的数据的接收端口，由此生成上述第一配置顺序。
需要说明的是，上述第一配置顺序在时间上并非连续的，若当前时刻为15：30，而A服务器的负载参数为：在16：00-17：00处于低负载状态，B服务器在当前处于低负载状态，C服务器在18：30进入高负载状态，此时的第一配置顺序可以为：B-C-A，即优先根据B服务器中的数据的配置信息对接收端口进行配置，并接入B服务器中的对应的数据，接收完成后，根据C服务器中的数据的配置信息对接收端口进行配置，并接入C服务器中的对应的数据，接收完成后，当时间抵达16：00后，才根据A服务器中的数据的配置信息对接收端口进行配置，从而在避免在各个服务器处于高负载状态时进行数据接入，提高了数据接入效率。
对于步骤S4，由于在实际数据接入中，往往会出现一个服务器中存在多种类型的外部数据的情况，示例性地，一个金融系统的服务器中可能存在第一行情数据和交易数据，此时可根据实际用户发出的需求优先级对第一行情数据和交易数据进行排序，若用户发出的需求优先级为第一行情数据优先，将需求优先级作为上述数据接收顺序，从而分别得到每一服务器中的外部数据对应的数据接收顺序。在实际数据接入中，对于上述服务器首先获取第一行情数据及其对应的服务信息，接收完成后，接收交易数据以及其对应的服务信息，直至接收完成，此时再按照下一服务器中的外部数据对应的数据接收顺序接收下一服务器中的各个类型的外部数据；除用户的需求优先级外，还可以按照数据大小对其进行排序，例如，若第一行情数据的大小大于交易数据，则可以优先接收第一行情数据，以便于在同一时间段内能够获取到更多类型的数据，提高数据获取的时效性。本申请中，根据不同的外部数据的配置信息在接收前对接收端口进行动态配置，使得一接收端口能够接收多个不同服务器来源的外部数据，避免一数据来源必须对应一接收端口的问题的同时，并且通过用户的需求优先级、数据大小等对同一服务器中的外部数据进行排序，从而优先获取用户更需要的外部数据或者获取数据大小较小的数据，从而提高了数据进一步处理和分析的效率，并节约了接收端口资源。
对于步骤S5，对于各个外部数据，根据其对应的服务信息进行解析，即对外部数据进行解密或解包之后，得到能够被查询和被用于计算分析的目标数据，从而便于对各个服务器中的外部数据进行大数据分析。
在一个实施例中，参照图2，是本申请一实施例的数据接入方法的具体流程示意图，所述向所述根据所述服务信息对各个所述外部数据进行解析，得到目标数据S5，包括：
S51：通过隔离网关对各个所述外部数据进行筛选，得到筛选后的安全数据；
S52：根据所述服务信息对各个所述安全数据进行解析，得到所述目标数据。
本实施例通过隔离网关在网络层和本地对各个外部数据进行筛选，从而得到安全数据，避免了接收外部数据对本地系统造成的安全性威胁的问题，从而提高了数据安全性。
对于步骤S51，在网络数据交互过程中，往往会存在恶意篡改、携带病毒等安全问题，若将通过接收端口接收到的外部数据直接进行运算或存储，会导致用户无法根据外部数据得到真实的数据分析结果，还会导致整个大数据分析系统在接收到外部数据时，受到该外部数据携带的病毒威胁。而隔离网关能够对外部数据进行筛选，上述隔离网关包括包过滤器、链路网关、应用网关等，包过滤器根据外部数据包的源地址、目的地址或端口号建立许可权，在接收端口进行过滤，从而对流入的外部数据进行过滤；链路级网关能够拦截TCP请求和UDP请求，并代表数据源完成请求，从而过滤恶意TCP请求和恶意UDP请求；应用网关通常设置在本地主机上，通过监控系统文件对携带病毒的外部数据进行识别和筛选。
对于步骤S52，对于各个外部数据经过隔离网关过滤后得到的安全数据，根据其对应的服务信息进行解析，能够被查询和被用于计算分析，且安全性较高的数据。
在一个实施例中，参照图3，是本申请一实施例的数据接入方法的具体流程示意图，所述得到目标数据S5之后，还包括：
S6：根据预设的格式信息将所述目标数据的数据格式转换为第一格式，得到第一格式数据；
S7：将所述第一格式数据按照预先配置的映射规则存储至存储系统中。
本实施例根据预设的格式信息对解析得到的第一格式数据进行格式统一，根据预先配置好的映射规则对格式统一后的第一格式数据进行存储，从而便于根据上述映射规则的索引快速查询到来自不同服务器数据源的数据，提高了数据存取效率。
对于步骤S6，为了便于对上述第一格式数据的分析和提取，在解析出第一格式数据后，先将各个第一格式数据的数据格式统一转换为第一格式，从而实现第一格式数据按照统一格式对齐，提高了数据的有序性，便于第一格式数据的存储和提取。具体地，对于预先配置的映射规则，可以在根据服务信息对各个所述安全数据进行解析之前，先通过规则引擎配置映射规则，规则引擎可通过XML文件配置或数据库配置，上述映射规则包括：外部数据的接口名或者文件名与存储系统中的存储列表名映射、外部数据的接口字段或者文件字段与存储系统中的存储列表字段映射等，从而根据映射规则配置第一格式数据存储的字段类型等；当对映射规配置完成后，根据不同的安全数据对应的服务信息对其进行解析，并将解析出来的第一格式数据按照上述预先配置好的映射规则将第一格式数据存储到对应的存储系统中，以便于其余系统按照上述映射规则的索引，对各个第一格式数据进行读取。
在一个实施例中，参照图4，是本申请一实施例的数据接入方法的具体流程示意图，所述将所述第一格式数据按照预先配置的映射规则存储至存储系统中S7之后，还包括：
S81：识别所述第一格式数据是否存在数据异常；
S82：若不存在，按照预设的时间间隔再次识别所述第一格式数据是否存在数据异常；
S83：若存在，对数据异常的所述第一格式数据进行修复后，按照预设的时间间隔再次识别所述第一格式数据是否存在数据异常。
本实施例采用了间隔地进行数据异常排查的方式排查异常数据，并对异常的第一格式数据进行修复，提高了最终获得的数据的准确性，进而提高了基于该第一格式数据的大数据分析的准确性。
对于步骤S81，在实际数据传输中，由于网络信号的影响，可能会出现数据缺失、数据重复等数据异常现象，即有可能在存储系统中存储了两份以上的同样的第一格式数据，或外部数据源发送外部数据时发生打包错误等问题导致存储系统中的某些第一格式数据缺失或被替换；为了降低上述情况对基于存储系统中各个第一格式数据的大数据解析的影响，需要对第一格式数据进行异常排查。
对于步骤S82，为了在提高异常排查的准确性的同时避免大量占用资源，对于当前存储的第一格式数据的一轮排查中仅进行三次排查，若三次排查均不存在数据异常，可认为当前存储的第一格式数据为正常数据，停止对该第一格式数据的排查。
对于步骤S83，若三次排查中出现数据异常，则对该轮排查进行重置，从对数据异常的所述第一格式数据进行修复后再进行三次排查，直至排查至数据正常。
在一个实施例中，所述识别所述第一格式数据是否存在数据异常S81，包括：
S811：将内容完全相同的若干所述第一格式数据作为第一疑似数据；
S812：获取每一所述第一疑似数据的数据来源和生成时间；
S813：将数据来源和生成时间均相同的所述第一疑似数据判定为数据异常，且异常原因为整包重复。
本实施例通过识别第一格式数据的数据内容、数据来源和数据生成时间进行校验，从而判断第一格式数据中是否出现整包重复的异常。
对于步骤812，在外部数据源的正常运行中，有可能会产生相同的外部数据，例如，1月20日的交易量与3月17日的交易量可能相同，或者不同外部数据源中不同用户的转账金额可能相同，即并非所有相同的数据均是因为重复获取导致的，因此，需要对各个第一格式数据的数据来源的服务器和生成时间进行识别，而上述数据来源通常包括外部数据源和产生该第一格式数据的账户信息，可以理解地，以交易系统为例，一个交易系统中的一个账户不可能在同一时刻发起两笔相同的转账；因此，若存在两组以上相同的第一格式数据，且该两组第一格式数据的数据来源和生成时间均相同，可认为该两组第一格式数据是重复获得的，即可判定为数据异常。
除此之外，还可以通过服务器的数据发送形式来识别外部数据是否存在数据异常。具体来说，可以先获取各个服务器对应的标准数据发送形式，例如“编码-时间-数据类型-数据内容”的发送形式；若接收到的外部数据的数据发送形式与上述标准不同，则可认为接收到的外部数据异常，此时将外部数据与标准数据发送形式相比较，从而判断该外部数据判定的异常原因为数据重复或数据缺失。
在一个实施例中，所述对数据异常的所述第一格式数据进行修复S83，包括：
S831：识别所述第一格式数据的异常原因，当所述异常原因为整包重复时，删除重复的所述第一格式数据。
本实施例通过在整包异常时对重复的第一格式数据进行删除，从而得到了正确的第一格式数据，确保了数据的准确性，提高了大数据查询和分析的准确性。
对于步骤S831，当识别到数据异常时，也需要对数据异常的所述第一格式数据进行修复，若异常原因为整包异常，则删除多余的重复的第一格式数据即可。
具体地，当第一格式数据发生异常时，还可以向第一格式数据的数据来源服务器发送二次获取指令，以获取第一格式数据的数据来源根据二次获取指令发送的新的外部数据。
在一个实施例中，所述将所述第一格式数据按照预先配置的映射规则存储至存储系统中S7，包括：
S71：根据所述映射规则将所述第一格式数据存储至所述存储系统内的不同数据单元中。
本实施例通过映射规则将上述第一格式数据分别存储在不同数据单元中，以便于对第一格式数据的管理，提高了数据提取效率和查询效率。
对于步骤S71，在上述第一格式数据中，部分第一格式数据可能为需要入库的数据，即需要放入某些特定的数据库中从而进行归总和管理，而部分第一格式数据可能为需要进行大数据查询的数据，即需要写入Hadoop分布式文件系统(High Performance FileSystem，HDFS)中，方便大数据框架查询；因此，可通过该第一格式数据对应的服务信息进行区分，服务信息中携带有用于区分不同第一格式数据的用途的标志信息，以便于按照预先配置的映射规则将上述标志信息对应的第一格式数据分别存储在特定数据库或HDFS中，提高了数据提取效率和查询效率。
具体地，在第一格式数据存储至所述存储系统内的不同数据单元中后，可根据用户的数据查询指令以及数据查询指令中的指向信息在不同的数据单元中获取对应的第一格式数据，以供给用户查询，或供给大数据分析系统，作为其分析的基础数据。
参照图5，本申请还提出了一种数据接入装置，包括：
数据获取模块100，用于响应于携带至少一数据标识信息的数据获取指令，向所述数据标识信息对应的外部数据所属的服务器发起数据获取请求，以使所述服务器根据所述数据标识信息返回所述外部数据的配置信息，其中，所述数据获取请求携带有至少一所述数据标识信息；
负载获取模块200，用于向各个所述服务器发送负载获取请求，以使各个所述服务器返回负载参数；
端口配置模块300，用于根据所述负载参数生成第一配置顺序，按照所述第一配置顺序依次根据所述配置信息对所述外部数据的接收端口进行配置；
数据接收模块400，用于通过配置后的所述接收端口，按照每一所述服务器中的外部数据对应的数据接收顺序，依次接收所述外部数据和所述外部数据的服务信息；
数据解析模块500，用于根据所述服务信息对各个所述外部数据进行解析，得到目标数据。
本实施例根据携带数据标识信息的数据获取指令，向各个数据标识信息对应的外部数据所属的服务器发起数据获取请求，从而获取服务器返回的配置规则、端口类型、域名等配置信息，从而在接入各个外部数据之前，先根据各个外部数据的配置信息获得该数据源服务器所需的端口配置，从而为端口提供配置依据，提高了多种不同来源的外部数据接入的便捷性；根据不同的外部数据的配置信息在接收前对接收端口进行动态配置，使得一接收端口能够接收多个不同来源的外部数据，避免了一数据来源必须对应一接收端口的问题，从而提高了数据接收的兼容性，并节约了接收端口资源；通过获取每一服务器的负载参数，从而合理分配对每一服务器的配置顺序，从而避免在各个服务器处于高负载状态时进行数据接入，提高了数据接入效率，进而提高了基于目标数据的大数据分析的时效性。
在一个实施例中，所述数据解析模块500，还用于：
通过隔离网关对各个所述外部数据进行筛选，得到筛选后的安全数据；
根据所述服务信息对各个所述安全数据进行解析，得到所述目标数据。
在一个实施例中，还包括数据存储模块600，用于：
根据预设的格式信息将所述目标数据的数据格式转换为第一格式，得到第一格式数据；
将所述第一格式数据按照预先配置的映射规则存储至存储系统中。
在一个实施例中，还包括异常检测模块700，用于：
识别所述第一格式数据是否存在数据异常；
若不存在，按照预设的时间间隔再次识别所述第一格式数据是否存在数据异常；
若存在，对数据异常的所述第一格式数据进行修复后，按照预设的时间间隔再次识别所述第一格式数据是否存在数据异常。
在一个实施例中，所述异常检测模块700，还用于：
将内容完全相同的若干所述第一格式数据作为第一疑似数据；
获取每一所述第一疑似数据的数据来源和生成时间；
将数据来源和生成时间均相同的所述第一疑似数据判定为数据异常，且异常原因为整包重复。
在一个实施例中，所述异常检测模块700，还用于：
识别所述第一格式数据的异常原因，当所述异常原因为整包重复时，删除重复的所述第一格式数据。
在一个实施例中，所述数据存储模块600，还用于：
根据所述映射规则将所述第一格式数据存储至所述存储系统内的不同数据单元中。
参照图6，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于储存数据接入方法等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据接入方法。所述数据接入方法，包括：响应于携带至少一数据标识信息的数据获取指令，向所述数据标识信息对应的外部数据所属的服务器发起数据获取请求，以使所述服务器根据所述数据标识信息返回所述外部数据的配置信息，其中，所述数据获取请求携带有至少一所述数据标识信息；向各个所述服务器发送负载获取请求，以使各个所述服务器返回负载参数；根据所述负载参数生成第一配置顺序，按照所述第一配置顺序依次根据所述配置信息对所述外部数据的接收端口进行配置；通过配置后的所述接收端口，按照每一所述服务器中的外部数据对应的数据接收顺序，依次接收所述外部数据和所述外部数据的服务信息；根据所述服务信息对各个所述外部数据进行解析，得到目标数据。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种数据接入方法，包括步骤：响应于携带至少一数据标识信息的数据获取指令，向所述数据标识信息对应的外部数据所属的服务器发起数据获取请求，以使所述服务器根据所述数据标识信息返回所述外部数据的配置信息，其中，所述数据获取请求携带有至少一所述数据标识信息；向各个所述服务器发送负载获取请求，以使各个所述服务器返回负载参数；根据所述负载参数生成第一配置顺序，按照所述第一配置顺序依次根据所述配置信息对所述外部数据的接收端口进行配置；通过配置后的所述接收端口，按照每一所述服务器中的外部数据对应的数据接收顺序，依次接收所述外部数据和所述外部数据的服务信息；根据所述服务信息对各个所述外部数据进行解析，得到目标数据。
上述执行的数据接入方法，本实施例根据携带数据标识信息的数据获取指令，向各个数据标识信息对应的外部数据所属的服务器发起数据获取请求，从而获取服务器返回的配置规则、端口类型、域名等配置信息，从而在接入各个外部数据之前，先根据各个外部数据的配置信息获得该数据源服务器所需的端口配置，从而为端口提供配置依据，提高了多种不同来源的外部数据接入的便捷性；根据不同的外部数据的配置信息在接收前对接收端口进行动态配置，使得一接收端口能够接收多个不同来源的外部数据，避免了一数据来源必须对应一接收端口的问题，从而提高了数据接收的兼容性，并节约了接收端口资源；通过获取每一服务器的负载参数，从而合理分配对每一服务器的配置顺序，从而避免在各个服务器处于高负载状态时进行数据接入，提高了数据接入效率，进而提高了基于目标数据的大数据分析的时效性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种数据接入方法，其特征在于，所述方法包括：
响应于携带至少一数据标识信息的数据获取指令，向所述数据标识信息对应的外部数据所属的服务器发起数据获取请求，以使所述服务器根据所述数据标识信息返回所述外部数据的配置信息，其中，所述数据获取请求携带有至少一所述数据标识信息；
向各个所述服务器发送负载获取请求，以使各个所述服务器返回负载参数；
根据所述负载参数生成第一配置顺序，按照所述第一配置顺序依次根据所述配置信息对所述外部数据的接收端口进行配置；
通过配置后的所述接收端口，按照每一所述服务器中的外部数据对应的数据接收顺序，依次接收所述外部数据和所述外部数据的服务信息；
根据所述服务信息对各个所述外部数据进行解析，得到目标数据。
2.根据权利要求1所述的数据接入方法，其特征在于，所述根据所述服务信息对各个所述外部数据进行解析，得到目标数据，包括：
通过隔离网关对各个所述外部数据进行筛选，得到筛选后的安全数据；
根据所述服务信息对各个所述安全数据进行解析，得到所述目标数据。
3.根据权利要求1所述的数据接入方法，其特征在于，所述得到目标数据之后，还包括：
根据预设的格式信息将所述目标数据的数据格式转换为第一格式，得到第一格式数据；
将所述第一格式数据按照预先配置的映射规则存储至存储系统中。
4.根据权利要求3所述的数据接入方法，其特征在于，所述将所述第一格式数据按照预先配置的映射规则存储至存储系统中之后，还包括：
识别所述第一格式数据是否存在数据异常；
若不存在，按照预设的时间间隔再次识别所述第一格式数据是否存在数据异常；
若存在，对数据异常的所述第一格式数据进行修复后，按照预设的时间间隔再次识别所述第一格式数据是否存在数据异常。
5.根据权利要求4所述的数据接入方法，其特征在于，所述识别所述第一格式数据是否存在数据异常，包括：
将内容完全相同的若干所述第一格式数据作为第一疑似数据；
获取每一所述第一疑似数据的数据来源和生成时间；
将数据来源和生成时间均相同的所述第一疑似数据判定为数据异常，且异常原因为整包重复。
6.根据权利要求5所述的数据接入方法，其特征在于，所述对数据异常的所述第一格式数据进行修复，包括：
识别所述第一格式数据的异常原因，当所述异常原因为整包重复时，删除重复的所述第一格式数据。
7.根据权利要求3所述的数据接入方法，其特征在于，所述将所述第一格式数据按照预先配置的映射规则存储至存储系统中，包括：
根据所述映射规则将所述第一格式数据存储至所述存储系统内的不同数据单元中。
8.一种数据接入装置，其特征在于，包括：
数据获取模块，用于响应于携带至少一数据标识信息的数据获取指令，向所述数据标识信息对应的外部数据所属的服务器发起数据获取请求，以使所述服务器根据所述数据标识信息返回所述外部数据的配置信息，其中，所述数据获取请求携带有至少一所述数据标识信息；
负载获取模块，用于向各个所述服务器发送负载获取请求，以使各个所述服务器返回负载参数；
端口配置模块，用于根据所述负载参数生成第一配置顺序，按照所述第一配置顺序依次根据所述配置信息对所述外部数据的接收端口进行配置；
数据接收模块，用于通过配置后的所述接收端口，按照每一所述服务器中的外部数据对应的数据接收顺序，依次接收所述外部数据和所述外部数据的服务信息；
数据解析模块，用于根据所述服务信息对各个所述外部数据进行解析，得到目标数据。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法。
CN202110738632.8A 2021-06-30 2021-06-30 数据接入方法、装置、设备及介质 Active CN113489773B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110738632.8A CN113489773B (zh) 2021-06-30 2021-06-30 数据接入方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110738632.8A CN113489773B (zh) 2021-06-30 2021-06-30 数据接入方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN113489773A true CN113489773A (zh) 2021-10-08
CN113489773B CN113489773B (zh) 2022-11-04

Family

ID=77937116

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110738632.8A Active CN113489773B (zh) 2021-06-30 2021-06-30 数据接入方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN113489773B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115062101A (zh) * 2022-08-18 2022-09-16 深圳比特耐特信息技术股份有限公司 基于人工智能的大数据可视化处理方法及可视化服务系统

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101155082A (zh) * 2006-09-30 2008-04-02 英业达股份有限公司 可检测出异常网络封包的方法
US20160224667A1 (en) * 2015-02-04 2016-08-04 Xinyu Xingbang Information Industry Co., Ltd. Method and system of implementing an integrated interface supporting operation in multi-type databases
CN110351342A (zh) * 2019-06-20 2019-10-18 平安科技（深圳）有限公司 业务指令处理方法、装置、计算机设备和存储介质
CN110471761A (zh) * 2019-07-24 2019-11-19 中南民族大学 服务器的控制方法、用户设备、存储介质及装置
CN110535971A (zh) * 2019-09-16 2019-12-03 腾讯科技（深圳）有限公司 基于区块链的接口配置处理方法、装置、设备及存储介质
CN110704521A (zh) * 2019-08-30 2020-01-17 深圳壹账通智能科技有限公司 接口数据接入方法及系统
CN110764814A (zh) * 2019-09-02 2020-02-07 深圳壹账通智能科技有限公司 数据源动态配置方法、装置、计算机设备和存储介质
CN110765102A (zh) * 2019-09-25 2020-02-07 苏宁云计算有限公司 业务数据的处理方法、装置、计算机设备和存储介质
CN110782240A (zh) * 2019-10-12 2020-02-11 上海陆家嘴国际金融资产交易市场股份有限公司 业务数据处理方法、装置、计算机设备和存储介质
CN111092877A (zh) * 2019-12-12 2020-05-01 北京金山云网络技术有限公司 一种数据处理方法、装置、电子设备及存储介质
CN111752936A (zh) * 2020-06-30 2020-10-09 中国科学院西北生态环境资源研究院 数据检测管理方法、装置、服务器及可读存储介质
CN111782652A (zh) * 2020-06-30 2020-10-16 平安国际智慧城市科技股份有限公司 数据调用方法、装置、计算机设备和存储介质
WO2021004132A1 (zh) * 2019-07-09 2021-01-14 深圳壹账通智能科技有限公司 异常数据检测方法、装置、计算机设备和存储介质
CN112468558A (zh) * 2020-11-16 2021-03-09 中科三清科技有限公司 基于混合云的请求转发方法、装置、终端及存储介质
CN112527420A (zh) * 2020-12-23 2021-03-19 平安普惠企业管理有限公司 接口数据流转处理方法、装置、计算机设备及介质
CN112671923A (zh) * 2020-12-29 2021-04-16 深圳一科互联有限公司 一种统一接口服务通讯调度方法及装置
CN112866177A (zh) * 2019-11-26 2021-05-28 浙江大搜车软件技术有限公司 处理服务调用请求的方法、装置、存储介质及计算机设备

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101155082A (zh) * 2006-09-30 2008-04-02 英业达股份有限公司 可检测出异常网络封包的方法
US20160224667A1 (en) * 2015-02-04 2016-08-04 Xinyu Xingbang Information Industry Co., Ltd. Method and system of implementing an integrated interface supporting operation in multi-type databases
CN110351342A (zh) * 2019-06-20 2019-10-18 平安科技（深圳）有限公司 业务指令处理方法、装置、计算机设备和存储介质
WO2021004132A1 (zh) * 2019-07-09 2021-01-14 深圳壹账通智能科技有限公司 异常数据检测方法、装置、计算机设备和存储介质
CN110471761A (zh) * 2019-07-24 2019-11-19 中南民族大学 服务器的控制方法、用户设备、存储介质及装置
CN110704521A (zh) * 2019-08-30 2020-01-17 深圳壹账通智能科技有限公司 接口数据接入方法及系统
CN110764814A (zh) * 2019-09-02 2020-02-07 深圳壹账通智能科技有限公司 数据源动态配置方法、装置、计算机设备和存储介质
CN110535971A (zh) * 2019-09-16 2019-12-03 腾讯科技（深圳）有限公司 基于区块链的接口配置处理方法、装置、设备及存储介质
CN110765102A (zh) * 2019-09-25 2020-02-07 苏宁云计算有限公司 业务数据的处理方法、装置、计算机设备和存储介质
CN110782240A (zh) * 2019-10-12 2020-02-11 上海陆家嘴国际金融资产交易市场股份有限公司 业务数据处理方法、装置、计算机设备和存储介质
CN112866177A (zh) * 2019-11-26 2021-05-28 浙江大搜车软件技术有限公司 处理服务调用请求的方法、装置、存储介质及计算机设备
CN111092877A (zh) * 2019-12-12 2020-05-01 北京金山云网络技术有限公司 一种数据处理方法、装置、电子设备及存储介质
CN111752936A (zh) * 2020-06-30 2020-10-09 中国科学院西北生态环境资源研究院 数据检测管理方法、装置、服务器及可读存储介质
CN111782652A (zh) * 2020-06-30 2020-10-16 平安国际智慧城市科技股份有限公司 数据调用方法、装置、计算机设备和存储介质
CN112468558A (zh) * 2020-11-16 2021-03-09 中科三清科技有限公司 基于混合云的请求转发方法、装置、终端及存储介质
CN112527420A (zh) * 2020-12-23 2021-03-19 平安普惠企业管理有限公司 接口数据流转处理方法、装置、计算机设备及介质
CN112671923A (zh) * 2020-12-29 2021-04-16 深圳一科互联有限公司 一种统一接口服务通讯调度方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115062101A (zh) * 2022-08-18 2022-09-16 深圳比特耐特信息技术股份有限公司 基于人工智能的大数据可视化处理方法及可视化服务系统
CN115062101B (zh) * 2022-08-18 2022-11-11 深圳比特耐特信息技术股份有限公司 基于人工智能的大数据可视化处理方法及可视化服务系统

Also Published As

Publication number Publication date
CN113489773B (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
CN109032824B (zh) 数据库校验方法、装置、计算机设备和存储介质
CN108197200B (zh) 日志追踪方法、装置、计算机设备和存储介质
CN109446068B (zh) 接口测试方法、装置、计算机设备和存储介质
CN109474578B (zh) 报文消息校验方法、装置、计算机设备和存储介质
CN109542428B (zh) 业务处理方法、装置、计算机设备和存储介质
US11693958B1 (en) Processing and storing event data in a knowledge graph format for anomaly detection
WO2016141491A1 (en) Systems and methods for managing data
CN111310427A (zh) 业务数据配置处理方法、装置、计算机设备和存储介质
CN108304704A (zh) 权限控制方法、装置、计算机设备和存储介质
US11416631B2 (en) Dynamic monitoring of movement of data
CN110597541B (zh) 基于区块链的接口更新处理方法、装置、设备及存储介质
EP3857853B1 (en) System and methods for automated computer security policy generation and anomaly detection
CN110222535B (zh) 区块链配置文件的处理装置、方法及存储介质
CN110880146A (zh) 区块链上链方法、装置、电子设备及存储介质
CN110175161B (zh) 记录日志的方法、装置、计算机设备及存储介质
CN112364059B (zh) 多规则场景下关联匹配方法、装置、设备和存储介质
CN112698820B (zh) 存储器和交换机统一监控管理方法、装置和计算机设备
CN111241104A (zh) 操作审计方法、装置及电子设备和计算机可读存储介质
CN111782456B (zh) 异常检测方法、装置、计算机设备和存储介质
CN111835737A (zh) 基于自动学习的web攻击防护方法、及其相关设备
CN115794839B (zh) 基于Php+Mysql体系的数据归集方法、计算机设备及存储介质
WO2022018554A1 (en) Dynamically determining trust level of end-to-end link
CN113489773B (zh) 数据接入方法、装置、设备及介质
CN107623693A (zh) 域名解析防护方法及装置、系统、计算设备、存储介质
CN114528201A (zh) 异常代码定位方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant