CN110545324B - 数据处理方法、装置、系统、网络设备和存储介质 - Google Patents

数据处理方法、装置、系统、网络设备和存储介质 Download PDF

Info

Publication number
CN110545324B
CN110545324B CN201910831960.5A CN201910831960A CN110545324B CN 110545324 B CN110545324 B CN 110545324B CN 201910831960 A CN201910831960 A CN 201910831960A CN 110545324 B CN110545324 B CN 110545324B
Authority
CN
China
Prior art keywords
processed
data
network
network device
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910831960.5A
Other languages
English (en)
Other versions
CN110545324A (zh
Inventor
季昆鹏
郑灿祥
刘畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910831960.5A priority Critical patent/CN110545324B/zh
Publication of CN110545324A publication Critical patent/CN110545324A/zh
Application granted granted Critical
Publication of CN110545324B publication Critical patent/CN110545324B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/172Caching, prefetching or hoarding of files
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/182Distributed file systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/02Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Storage Device Security (AREA)

Abstract

本申请公开了一种数据处理方法、装置、系统、网络设备和存储介质,涉及大数据技术领域。具体实现方案为:访问第二网络设备,获取待处理作业,待处理作业中包括待处理数据的标识、类型,第二网络设备为处于互联网中的网络设备;根据待处理数据的标识,从互联网中的数据库中拉取待处理数据;根据待处理数据的类型,将待处理数据写入对应类型的文件中;将文件存储至保密网络中处于隔离网段的数据库中。本申请提供的数据处理方法在保密网络中设置可以访问互联网的网络设备,能够获取待处理的数据,且该网络设备将待处理的数据以写文件的方式存储,避免预先建立构建多个数据表和API接口的问题,提高了数据传输效率。

Description

数据处理方法、装置、系统、网络设备和存储介质
技术领域
本申请涉及大数据技术领域,尤其涉及数据处理方法、装置、系统、网络设备和存储介质。
背景技术
保密网络通常为隔离的局域网,应用于特定的安全领域。随着互联网技术的发展,该特定的安全领域建设过程中需要使用互联网中的数据。而互联网中的数据具有数据类型多、来源广等特性,因此如何安全地将互联网中的数据传输至保密网络至关重要。
现有技术中,处于保密网络中的网络设备需要预先获取来自互联网中的数据的数据类型,并在内部数据库中预先构建该类型的数据对应的数据表以存储该类型的数据,且还需要预先定制该类型数据的传输API接口。对应的,在该类型的数据传输时,互联中的网络设备通过调用对应的API接口实现将数据传输至保密网络中。但这种数据传输方式,每种类型的数据传输时均需构建对应的数据表以及API接口,数据传输效率低。
发明内容
本申请提供一种数据处理方法、装置、系统、网络设备和存储介质,可以复用共享标签的运行结果,减小了标签引擎的计算资源的开销。
本申请第一方面提供一种数据处理方法,包括:
访问第二网络设备,获取待处理作业,所述待处理作业中包括待处理数据的标识、类型,所述待处理作业用于指示所述第一网络设备将所述待处理数据存储至所述保密网络中处于隔离网段的数据库中,所述第二网络设备为处于互联网中的网络设备;根据所述待处理数据的标识,从所述互联网中的数据库中拉取所述待处理数据;根据所述待处理数据的类型,将所述待处理数据写入对应所述类型的文件中;将所述文件存储至所述保密网络中处于隔离网段的数据库中。
本实施例中,预先在保密网络中设置可以访问互联网的网络设备,能够获取待处理的数据,且该网络设备将待处理的数据以写文件的方式存储,避免预先建立构建多个数据表和API接口的问题,提高了数据传输效率。
在一种可能的设计中,所述访问第二网络设备,包括:通过预设的API接口、在第一时刻访问第二网络设备,所述待处理作业为所述第一时刻的待处理作业。
在一种可能的设计中,所述将所述文件存储至所述保密网络中处于隔离网段的数据库中,包括:通过FTP传输方式将所述文件发送至所述保密网络中处于隔离网段的数据库中。
在该设计中,在保密网络和互联网对应的网络设备件采用API接口的方式访问,以及在保密网络内部采用FTP传输方式能够满足保密网络的安全需求。
本申请第二方面提供一种数据处理方法,包括:
根据互联网中的数据库中存储的待处理数据,生成所述待处理数据的元信息,所述待处理数据的元信息包括所述待处理数据的标识、类型和发表时间;在所述待处理数据的发表时间落入第一时刻的待处理作业对应的时间范围时,根据所述待处理数据的标识、类型,生成待处理作业。
本实施例中,处于互联网中的第一网络设备可以生成第二网络设备待处理的作业,以实现第一网络设备根据待处理的作业能够在互联网中获取待处理的数据的目的。
在一种可能的设计中,所述待处理数据的元信息中包括用于指示所述待处理数据的类型的字段值。
在该设计中,便于在增加数据的类型时进行扩展,即改变元信息中的字段值即可表征不同类型的待处理数据。
在一种可能的设计中,所述第二网络设备中存储有所述待处理作业的状态,所述方法还包括:第一网络设备访问所述第二网络设备,获取待处理作业,将所述待处理作业的状态从未处理修改为已处理。
在该设计中,便于第二网络设备可以对待处理作业的状态进行修改,以使第一网络设备更加明确待处理的数据,保证了数据处理的准确性。
本申请的第三方面提供一种数据处理系统,包括:处于保密网络中非隔离网段的第一网络设备和处于互联网中的第二网络设备。
所述第一网络设备访问所述第二网络设备,获取待处理作业,所述待处理作业中包括待处理数据的标识、类型,所述待处理作业用于指示所述第一网络设备将所述待处理数据存储至所述保密网络中处于隔离网段的数据库中,根据所述待处理数据的标识,从所述互联网中的数据库中拉取所述待处理数据;所述第一网络设备根据所述待处理数据的类型,将所述待处理数据写入对应所述类型的文件中;所述第一网络设备将所述文件存储至所述保密网络中处于隔离网段的数据库中。
其中,在第一网络设备访问第二网络设备之前,还包括:所述第二网络设备根据互联网中的数据库中存储的待处理数据,生成所述待处理数据的元信息,所述待处理数据的元信息包括所述待处理数据的标识、类型和发表时间;在所述待处理数据的发表时间落入第一时刻的待处理作业对应的时间范围时,所述第二网络设备根据所述待处理数据的标识、类型,生成待处理作业。
在一种可能的设计中,所述第一网络设备访问第二网络设备,包括:所述第一网络设备通过预设的API接口、在第一时刻访问所述第二网络设备。
在一种可能的设计中,所述第一网络设备将所述文件存储至所述保密网络中处于隔离网段的数据库中,包括:第一网络设备通过FTP传输方式将所述文件发送至所述保密网络中处于隔离网段的数据库中。
在一种可能的设计中,所述待处理数据的元信息中包括用于指示所述各数据的类型的字段值。
在一种可能的设计中,所述第二网络设备中存储有所述待处理作业的状态,所述第一网络设备访问所述第二网络设备,获取待处理作业之后,还包括:所述第二网络设备将所述待处理作业的状态从未处理修改为已处理。
上述第三方面以及各可能的设计提供的数据处理系统,其有益效果可以参见上述第一方面、第二方面,以及各可能的设计所带来的有益效果,在此不加赘述。
本申请的第四方面提供一种数据处理装置,包括:
作业执行模块,用于访问第二网络设备,获取待处理作业,所述待处理作业中包括待处理数据的标识、类型,所述待处理作业用于指示所述第一网络设备将所述待处理数据存储至所述保密网络中处于隔离网段的数据库中,所述第二网络设备为处于互联网中的网络设备;根据所述待处理数据的标识,从所述互联网中的数据库中拉取所述待处理数据;
文件写入模块,用于根据所述待处理数据的类型,将所述待处理数据写入对应所述类型的文件中;
文件传输模块,用于将所述文件存储至所述保密网络中处于隔离网段的数据库中。
在一种可能的设计中,所述作业执行模块,具体用于通过预设的API接口、在第一时刻访问第二网络设备,所述待处理作业为所述第一时刻的待处理作业。
在一种可能的设计中,所述文件传输模块,具体用于通过FTP传输方式将所述文件发送至所述保密网络中处于隔离网段的数据库中。
上述第四方面以及各可能的设计提供的数据处理装置,其有益效果可以参见上述第一方面以及各可能的设计所带来的有益效果,在此不加赘述。
本申请的第五方面提供一种数据处理装置,包括:
作业生成模块,用于根据互联网中的数据库中存储的待处理数据,生成所述待处理数据的元信息,所述待处理数据的元信息包括所述待处理数据的标识、类型和发表时间;在所述待处理数据的发表时间落入第一时刻的待处理作业对应的时间范围时,根据所述待处理数据的标识、类型,生成待处理作业。
在一种可能的设计中,所述待处理数据的元信息中包括用于指示所述待处理数据的类型的字段值。
在一种可能的设计中,作业生成模块,还用于在第一网络设备访问所述第二网络设备后,将所述待处理作业的状态从未处理修改为已处理。
上述第五方面以及各可能的设计提供的数据处理装置,其有益效果可以参见上述第二方面以及各可能的设计所带来的有益效果,在此不加赘述。
本申请的第六方面提供一种网络设备,包括:至少一个处理器和存储器;所述存储器存储计算机执行指令;所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述网络设备执行上述第一方面和第二方面的数据处理装置。
本申请的第七方面提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机执行指令,当所述计算机执行指令被处理器执行时,实现上述第一方面和第二方面的数据处理装置。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1是现有技术中提供的数据处理方法的系统架构示意图;
图2是本申请提供的数据处理方法的系统架构示意图;
图3是本申请提供的数据处理方法的实施例的流程示意图;
图4是本申请提供的数据处理系统的示意图;
图5是本申请提供的另一种数据处理系统的示意图;
图6是本申请提供的用于实现本申请数据处理方法的网络设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
本申请的术语释义:
保密网络:一般为隔离的局域网,为了数据传输的安全,其中设置的网络设备不能访问互联网。
隔离网段:本申请中将保密网络划分为隔离网段和非隔离网段。非隔离网段在本申请中也可称为保密网络的前置网段。其中,隔离网段中设置的网络设备不能访问互联网,为了数据传输安全,非隔离网段中设置的网络设备被配置为仅能访问互联中的特定设备。
网络设备:指的是连接到网络(保密网络或互联网)中的物理实体。本申请中的网络设备可以但不限于为:计算机(个人电脑或服务器)、交换机、网桥设备、路由设备、网关设备等。
API接口:(Application Program Interface),应用程序接口,是一组定义、程序及协议的集合,通过API接口可以实现网络设备之间的通信。本申请中处于保密网络中的网络设备和处于互联中的网络设备之间的通信通过API接口实现。
FTP传输:(File Transfer Protocol),文件传输协议的传输方式。本申请中在保密网络中的文件传输时采用FTP传输方式。
为了更为清楚的说明本申请提供的数据处理方法,下述对现有技术中的数据处理方法应用的系统架构,以及本申请的数据处理方法应用的系统架构进行说明。
图1是现有技术中提供的数据处理方法的系统架构示意图。如图1所示,该系统架构中包括:处理保密网络中的第一网络设备和处于互联网中的第二网络设备。现有技术中,在第二网络设备向第一网络设备之间传输数据时,第二网络设备预先向第一网络设备发送即将传输的数据的类型。第二网络设备根据该数据的类型,预先在保密网络中的数据库中创建对应类型的用于存储该数据的数据表,以及预先定制传输该类型的数据的API接口。在数据传输时,第二网络设备通过调用该类型的数据的API接口将数据传输至第一网络设备中,第一网络设备将该数据存储在对应类型的数据表中。
现有技术中的方式需要预先创建对应类型的数据表,以及定制对应类型的API接口,即传输几种类型的数据,即需要几种类型的数据表和API接口。一旦传输数据的类型发生变化,则还需要创建新的类型的数据表和定制新的API接口,导致数据传输的效率低。
为了解决现有技术中的问题,本申请提供了一种数据处理方法,通过在保密网络中设置非隔离网段,将处于非隔离网段中的网络设备配置为能够访问互联网中的特定设备,进而从互联中获取待处理的数据,进一步采用写文件的方式存储数据,在保密网络内部将数据(文件形式)传输并存储在隔离网段的数据库中,以达到避免预先设置不同类型的数据表和API接口的问题,提高了数据传输效率。
图2是本申请提供的数据处理方法的系统架构示意图。如图2所示,该系统架构中包括:处于保密网络中非隔离网段的第一网络设备、处于互联网中的第二网络设备、处于保密网络中隔离网段的数据库,以及处于互联网中的数据库。
其中,为了保证数据安全,第一网络设备被配置为仅能访问互联网中的第二网络设备和数据库,以从第二处理设备中获取待处理作业,并根据该待处理作业从互联网中的数据库中拉取待处理数据。第一网络设备在获取待处理数据后,先以写文件的方式将待处理数据以文件的形式进行存储,接着再将文件形式的数据传输存储至保密网络隔离网段的数据库中。
下述结合具体的实施例,以第一网络设备、第二网络设备交互的角度对本申请提供的数据处理方法进行说明。图3是本申请提供的数据处理方法法的实施例的流程示意图。图3所示方法。如图3所示,本实施例提供的数据处理方法可以包括:
S301,第二网络设备根据互联网中的数据库中存储的待处理数据,生成待处理数据的元信息,待处理数据的元信息包括待处理数据的标识、类型和发表时间。
互联网中的数据库中存储有大量的数据。可选的,本实施例中的第二网络设备可以周期性或定时性地对互联网中的数据库中存储的数据进行处理,获取数据的元信息。
应理解,当第二网络设备首次对互联网中的数据库中存储的数据进行处理时,该数据库中存储的数据均为待处理数据。当第二网络设备非首次对互联网中的数据库中存储的数据进行处理时,互联网中的数据库中存储的不属于上一次处理的数据的新数据为待处理数据。
本实施例中以任一次第二网络设备根据互联网中的数据库中存储的待处理数据,生成待处理数据的元信息的过程进行说明。其中,待处理数据可以具有多个属性,例如,待处理数据的标识、数据量(或可以指所占内存的大小)、发表时间、类型等。
其中,待处理数据的标识用于唯一表征该待处理数据,用于与其他数据进行区分。示例性的,待处理数据为新闻时,待处理数据的标识可以为新闻标题;待处理数据为图像时,待处理数据的标识可以为图像特征。
待处理数据的发表时间为该待处理数据在互联网中发表的时间。待处理数据的类型可以包括但不限于为:文字、图像、视频等。
可选的,本实施例中的互联网中的数据库中可以对应存储有待处理数据的属性。第二网络设备可以根据待处理数据的属性,生成待处理数据的元信息。其中,待处理数据的元信息包括待处理数据的标识、类型和发表时间。
可选的,本实施例中第二网络设备还可以根据待处理数据,从待处理数据中抽取待处理数据的标识、类型和发表时间,进而生成待处理数据的元信息。对应的,第二网络设备在获取生成待处理数据的元信息后,可以存储待处理数据的元信息。
本实施例中,可以在待处理数据的元信息中采用字段的方式表征待处理数据的类型,即待处理数据的元信息中包括用于指示待处理数据的类型的字段值。不同类型的待处理数据的字段值不同,本实施例中采用该种方式便于在增加数据的类型时进行扩展,即改变元信息中的字段值即可表征不同类型的待处理数据。
S302,在待处理数据的发表时间落入第一时刻的待处理作业对应的时间范围时,第二网络设备根据待处理数据的标识、类型,生成待处理作业。
本实施例中,第一网络设备可以根据待处理数据的发表时间,生成待处理作业。其中,待处理作业中包括待处理数据的标识、类型,待处理作业用于指示第一网络设备将待处理数据存储至保密网络中处于隔离网段的数据库中。
其中,待处理作业可以为第一时刻的待处理作业。第一时刻的待处理作业指的是第一网络设备在第一时刻需要执行的待处理作业。本实施例中,第一时刻的待处理作业对应有具体的时间范围。示例性的,如,第一网络设备在早上8:00执行待处理作业1,该待处理作业1指的是第一网络设备将2019年3月至2019年5月发表的数据存储在保密网络中处于隔离网段的数据库中。
可选的,第一时刻的待处理作业对应有具体的时间范围为预先约定的。本实施例中,第一网络设备可以根据待处理数据的发表时间,确定发表时间落入第一时刻的待处理作业对应的时间范围的待处理数据。并在待处理数据的发表时间落入第一时刻的待处理作业对应的时间范围时,根据待处理数据的标识、类型,生成待处理作业。
示例性的,待处理数据A、待处理数据B和待处理数据C的发表时间为落入第一时刻的待处理作业对应的时间范围的待处理数据,则生成待处理作业,该待处理作业中包括有待处理数据A、待处理数据B和待处理数据C的标识、类型。
在第二网络设备生成待处理作业时,可以存储该待处理作业。应理解,本申请的第一时刻可以为第一网络设备需要执行待处理作业的一个或多个时刻。当第二网络设备生成多个时刻对应的待处理作业时,可以在存储待处理作业时标记对应的时刻,以使第一网络设备可以确定对应时刻的待处理作业,如下表一所示:
表一
Figure GDA0003604462520000091
S303,第一网络设备访问第二网络设备,获取待处理作业。
基于以上所述,为了保证数据安全,第一网络设备被预先配置为能够访问第二网络设备,能够避免被未被授权的其他外部设备连接访问。本实施例中的第一网络设备可以定时访问第二网络设备。其中下述以第一网络设备在第一时刻访问第二网络设备为例,对该访问方式进行说明。
本实施例中,第一网络设备可以通过预设的API接口、在第一时刻访问第二网络设备,以获取待处理作业。其中,该待处理作业为第一时刻的待处理作业,该预设的API接口为元信息服务的API接口。
应理解,本实施例中的第一网络设备访问第二网络设备的第一时刻、以及在第一时刻的待处理作业对应的时间范围是预先设定的。
可选的,本实施例中的第二网络设备中存储有待处理作业的状态。其中,第二网络设备可以对待处理作业的状态进行修改。在第二网络设备生成待处理作业后,可以将该待处理作业的状态标记为未处理;在第一网络设备访问第二网络设备后,将待处理作业的状态从未处理修改为已处理。
示例性的,待处理作业的存储方式如下表二所示:
表二
Figure GDA0003604462520000101
S304,第一网络设备根据待处理数据的标识,从互联网中的数据库中拉取待处理数据。
本实施例中第一网络设备被预先配置为能够访问互联网中的数据库,以根据待处理数据的标识,从互联网中的数据库中拉取待处理数据。
其中,本实施例中的第一网络设备也可以通过其他预设的API接口访问互联网中的数据库。其中,该其他预设的API接口可以为数据服务的API接口。可选的,本实施例中的第一网络设备从互联网中的数据库中拉取待处理数据,对应的,互联网中的数据库可以将对应标识的待处理数据通过数据服务的API接口传输给第一网络设备
应理解,本实施例中的待处理数据的传输是经数据加密、脱敏后进行传输的。其中对数据加密、脱敏的方式具体可以参照现有技术中的加密、脱敏方式。
S305,第一网络设备根据待处理数据的类型,将待处理数据写入对应类型的文件中。
本实施例中,在第一网络设备中预先设置有不同类型的文件。在第一网络设备获取待处理数据后,可以根据待处理数据的类型,将待处理数据写入对应类型的文件中。本实施例中以文件的方式将待处理数据写入对应类型的文件中,便于扩展,即在待处理数据类型增加时,仅需增加文件类型即可。
示例性的,第一网络设备中存储的不同类型的文件可以如下表三所示:
表三
文件类型 第一时刻 待处理数据
文字 8:00 待处理数据A、待处理数据B和待处理数据C
图像 9:00 待处理数据D
视频 10:00 待处理数据E
文字 9:00 待处理数据F
如上表三所示,第一网络设备中还存储有待处理数据写入不同类型的文件时的作业执行时间。例如,待处理数据A、待处理数据B和待处理数据C为第一时刻是8:00时写入文字文件中的,待处理数据D为第一时刻为9:00时写入图像文件中的,且待处理数据F为第一时刻为9:00时写入文字文件中的,待处理数据E为第一时刻为10:00时写入视频文件中的。
S306,第一网络设备将文件存储至保密网络中处于隔离网段的数据库中。
本实施例中第一网络设备在将待处理数据写入对应类型的文件中后,可以将写好的文件写入非隔离网段的指定位置的FTP数据库中,进一步的第一网络设备可以通过FTP传输方式将FTP数据库中的写好的文件发送至保密网络中处于隔离网段的FTP数据库中。本实施例中采用FTP传输方式能够较好地满足保密网络的安全需求。
应理解,本实施例中在不同的第一时刻可以对应有不同类型的文件。如上表三所示,在第一时刻为8:00时具有文字文件,在第一网络设备在将8:00对应的待处理数据写入该文字文件,且将该文字文件发送至隔离网段的FTP数据库后,在第一时刻的为9:00时还具有文字文件,以写入9:00对应的待处理数据。
本申请公开了数据处理方法、系统和装置,涉及大数据技术领域。具体实现方案为:访问第二网络设备,获取待处理作业,待处理作业中包括待处理数据的标识、类型,待处理作业用于指示第一网络设备将待处理数据存储至保密网络中处于隔离网段的数据库中,第二网络设备为处于互联网中的网络设备;根据待处理数据的标识,从互联网中的数据库中拉取待处理数据;根据待处理数据的类型,将待处理数据写入对应类型的文件中;将文件存储至保密网络中处于隔离网段的数据库中。本申请提供的数据处理方法在保密网络中设置可以访问互联网的网络设备,能够获取待处理的数据,且该网络设备将待处理的数据以写文件的方式存储,避免预先建立构建多个数据表和API接口的问题,提高了数据传输效率。
本申请还提供一种数据处理系统,图4是本申请提供的数据处理系统的示意图。如图4所示,本申请提供的数据处理系统400中包括:处于保密网络中非隔离网段的第一网络设备401和处于互联网中的第二网络设备402。其中,第一网络设备,用于执行上述实施例中的S303-S306;第二网络设备,用于执行上述实施例中的S301-S302。
在上述实施例的基础上,下面结合图5对本申请提供的第一网络设备401和第二网络设备402进行详细说明。图5是本申请提供的数据处理系统的示意图。如图5所示,本实施例中的第一网络设备401中包括:作业执行模块4011、文件写入模块4012和文件传输模块4013,第二网络设备402中包括:作业生成模块4021、元信息模块4022。
其中,作业执行模块4011,用于访问第二网络设备,获取待处理作业,以及根据待处理数据的标识,从互联网中的数据库中拉取待处理数据。应理解,作业执行模块4011可以实施上述实施例中的S303、S304中的执行方式。
可选的,作业执行模块4011通过预设的API接口、在第一时刻访问第二网络设备。
文件写入模块4012,用于根据待处理数据的类型,将待处理数据写入对应类型的文件中。应理解,文件写入模块4012可以实施上述实施例中的S305中的执行方式。
文件传输模块4013,用于将文件存储至保密网络中处于隔离网段的数据库中。应理解,文件传输模块4013可以实施上述实施例中的S306中的执行方式。
可选的,文件传输模块4013通过FTP传输方式将文件发送至保密网络中处于隔离网段的数据库中。
作业生成模块4021,用于根据互联网中的数据库中存储的待处理数据,生成待处理数据的元信息,并将待处理数据的元信息存储在元信息模块4022中。应理解,作业执行模块4011可以实施上述实施例中的S301中的执行方式。
可选的,待处理数据的元信息中包括用于指示各数据的类型的字段值。另,作业生成模块4021,还用于通过RPC访问元信息模块4022,根据在待处理数据的发表时间落入第一时刻的待处理作业对应的时间范围时,根据待处理数据的标识、类型,生成待处理作业,并将生成的待处理作业存储在元信息模块4022中。应理解,作业执行模块4011可以实施上述实施例中的S302中的执行方式。
可选的,元信息模块4022中存储有待处理作业的状态,元信息模块4022还用于在作业执行模块4011访问元信息模块4022后,将待处理作业的状态从未处理修改为已处理。
根据本申请的实施例,本申请还提供了一种网络设备和一种可读存储介质。该网络设备为用于执行上述实施例中的S301-S302的第一网络设备或用于执行上述实施例中的S303-S306的第二网络设备。图6是本申请提供的用于实现本申请数据处理方法的网络设备的框图。
网络设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。网络设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图6所示,该网络设备包括:一个或多个处理器601、存储器602,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在网络设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个网络设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器601为例。
存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中,所述存储器存储有可由至少一个处理器执行的指令,以使所述至少一个处理器执行本申请所提供的数据处理方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的数据处理方法。
存储器602作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的数据处理方法对应的程序指令/模块。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的数据处理方法。
存储器602可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据用于实现数据处理方法的网络设备的使用所创建的数据等。此外,存储器602可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器602可选包括相对于处理器601远程设置的存储器,这些远程存储器可以通过网络连接至用于实现数据处理方法的网络设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
数据处理方法的网络设备还可以包括:输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接,图6中以通过总线连接为例。
输入装置603可接收输入的数字或字符信息,以及产生与用于实现数据处理方法的网络设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。

Claims (16)

1.一种数据处理方法,其特征在于,应用于处于保密网络中非隔离网段的第一网络设备,所述方法包括:
访问第二网络设备,获取待处理作业,所述待处理作业中包括待处理数据的标识、类型,所述待处理作业用于指示所述第一网络设备将所述待处理数据存储至所述保密网络中处于隔离网段的数据库中,所述第二网络设备为处于互联网中的网络设备;
根据所述待处理数据的标识,从所述互联网中的数据库中拉取所述待处理数据;
根据所述待处理数据的类型,将所述待处理数据写入对应所述类型的文件中;
将所述文件存储至所述保密网络中处于隔离网段的数据库中。
2.根据权利要求1所述的方法,其特征在于,所述访问第二网络设备,包括:
通过预设的API接口、在第一时刻访问第二网络设备,所述待处理作业为所述第一时刻的待处理作业。
3.根据权利要求1或2所述的方法,其特征在于,所述将所述文件存储至所述保密网络中处于隔离网段的数据库中,包括:
通过FTP传输方式将所述文件发送至所述保密网络中处于隔离网段的数据库中。
4.一种数据处理方法,其特征在于,应用于处于互联网中的第二网络设备,所述方法包括:
根据互联网中的数据库中存储的待处理数据,生成所述待处理数据的元信息,所述待处理数据的元信息包括所述待处理数据的标识、类型和发表时间;
在所述待处理数据的发表时间落入第一时刻的待处理作业对应的时间范围时,根据所述待处理数据的标识、类型,生成待处理作业,所述待处理作业用于指示保密网络中非隔离网段的第一网络设备将所述待处理数据存储至保密网络中处于隔离网段的数据库中。
5.根据权利要求4所述的方法,其特征在于,所述待处理数据的元信息中包括用于指示所述待处理数据的类型的字段值。
6.根据权利要求4或5所述的方法,其特征在于,所述第二网络设备中存储有所述待处理作业的状态,所述方法还包括:
在第一网络设备访问所述第二网络设备,获取待处理作业后,将所述待处理作业的状态从未处理修改为已处理。
7.一种数据处理系统,其特征在于,包括:处于保密网络中非隔离网段的第一网络设备和处于互联网中的第二网络设备;
所述第一网络设备访问所述第二网络设备,获取待处理作业,所述待处理作业中包括待处理数据的标识、类型,所述待处理作业用于指示所述第一网络设备将所述待处理数据存储至所述保密网络中处于隔离网段的数据库中;
所述第一网络设备根据所述待处理数据的标识,从所述互联网中的数据库中拉取所述待处理数据;
所述第一网络设备根据所述待处理数据的类型,将所述待处理数据写入对应所述类型的文件中;
所述第一网络设备将所述文件存储至所述保密网络中处于隔离网段的数据库中。
8.根据权利要求7所述的系统,其特征在于,所述第一网络设备访问第二网络设备之前,还包括:
所述第二网络设备根据互联网中的数据库中存储的待处理数据,生成所述待处理数据的元信息,所述待处理数据的元信息包括所述待处理数据的标识、类型和发表时间;
在所述待处理数据的发表时间落入第一时刻的待处理作业对应的时间范围时,所述第二网络设备根据所述待处理数据的标识、类型,生成待处理作业。
9.根据权利要求7或8所述的系统,其特征在于,所述第一网络设备访问第二网络设备,包括:
所述第一网络设备通过预设的API接口、在第一时刻访问所述第二网络设备。
10.根据权利要求7或8所述的系统,其特征在于,所述第一网络设备将所述文件存储至所述保密网络中处于隔离网段的数据库中,包括:
第一网络设备通过FTP传输方式将所述文件发送至所述保密网络中处于隔离网段的数据库中。
11.根据权利要求8所述的系统,其特征在于,所述待处理数据的元信息中包括用于指示所述各数据的类型的字段值。
12.根据权利要求8所述的系统,其特征在于,所述第二网络设备中存储有所述待处理作业的状态,所述第一网络设备访问所述第二网络设备,获取待处理作业之后,还包括:
所述第二网络设备将所述待处理作业的状态从未处理修改为已处理。
13.一种数据处理装置,其特征在于,应用于处于保密网络中非隔离网段的第一网络设备,所述装置包括:
作业执行模块,用于访问第二网络设备,获取待处理作业,所述待处理作业中包括待处理数据的标识、类型,并根据所述待处理数据的标识,从互联网中的数据库中拉取所述待处理数据;所述待处理作业用于指示将所述待处理数据存储至保密网络中处于隔离网段的数据库中,所述第二网络设备为处于互联网中的网络设备;
文件写入模块,用于根据所述待处理数据的类型,将所述待处理数据写入对应所述类型的文件中;
文件传输模块,用于将所述文件存储至所述保密网络中处于隔离网段的数据库中。
14.一种数据处理装置,其特征在于,应用于处于互联网中的第二网络设备,所述装置包括:
作业生成模块,用于根据互联网中的数据库中存储的待处理数据,生成所述待处理数据的元信息,所述待处理数据的元信息包括所述待处理数据的标识、类型和发表时间,以及在所述待处理数据的发表时间落入第一时刻的待处理作业对应的时间范围时,根据所述待处理数据的标识、类型,生成待处理作业,所述待处理作业用于指示保密网络中非隔离网段的第一网络设备将所述待处理数据存储至保密网络中处于隔离网段的数据库中。
15.一种网络设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-3或4-6中任一项所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行权利要求1-3或4-6中任一项所述的方法。
CN201910831960.5A 2019-09-04 2019-09-04 数据处理方法、装置、系统、网络设备和存储介质 Active CN110545324B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910831960.5A CN110545324B (zh) 2019-09-04 2019-09-04 数据处理方法、装置、系统、网络设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910831960.5A CN110545324B (zh) 2019-09-04 2019-09-04 数据处理方法、装置、系统、网络设备和存储介质

Publications (2)

Publication Number Publication Date
CN110545324A CN110545324A (zh) 2019-12-06
CN110545324B true CN110545324B (zh) 2022-06-14

Family

ID=68711217

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910831960.5A Active CN110545324B (zh) 2019-09-04 2019-09-04 数据处理方法、装置、系统、网络设备和存储介质

Country Status (1)

Country Link
CN (1) CN110545324B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111597196B (zh) * 2020-05-09 2024-02-13 北京百度网讯科技有限公司 一种数据处理方法、装置和电子设备
CN111666578B (zh) * 2020-06-08 2023-06-30 北京百度网讯科技有限公司 数据管理的方法、装置、电子设备及计算机可读存储介质
CN112817537B (zh) * 2021-02-09 2022-09-23 联想(北京)有限公司 一种数据处理系统、装置以及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108833251A (zh) * 2018-08-01 2018-11-16 北京百度网讯科技有限公司 用于控制网络互联的方法和装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101083607B (zh) * 2006-05-30 2010-12-08 倪海生 一种用于内外网络隔离的因特网访问服务器及其处理方法
CN102970127A (zh) * 2011-08-31 2013-03-13 上海夏尔软件有限公司 网间文件摆渡装置及方法
US10021196B1 (en) * 2015-06-22 2018-07-10 Amazon Technologies, Inc. Private service endpoints in isolated virtual networks
CN107329735A (zh) * 2017-05-19 2017-11-07 北京北信源软件股份有限公司 一种内网补丁更新方法与装置
CN106998333A (zh) * 2017-05-24 2017-08-01 山东省计算中心(国家超级计算济南中心) 一种双向网络安全隔离系统及方法
CN107770160B (zh) * 2017-09-30 2021-03-09 深信服科技股份有限公司 数据安全防护方法、设备及计算机可读存储介质
CN207968542U (zh) * 2018-03-26 2018-10-12 北京神州泰岳软件股份有限公司 一种警务信息采集系统
CN109818956A (zh) * 2019-01-22 2019-05-28 武汉光谷信息技术股份有限公司 一种内外网数据共享系统及方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108833251A (zh) * 2018-08-01 2018-11-16 北京百度网讯科技有限公司 用于控制网络互联的方法和装置

Also Published As

Publication number Publication date
CN110545324A (zh) 2019-12-06

Similar Documents

Publication Publication Date Title
CN110545324B (zh) 数据处理方法、装置、系统、网络设备和存储介质
CN111865970B (zh) 用于实现接口幂等性的方法和装置
CN111310221B (zh) 持久层数据的加解密方法、装置、设备及存储介质
CN111694857B (zh) 存储资源数据的方法、装置、电子设备及计算机可读介质
CN110704162B (zh) 物理机共享容器镜像的方法、装置、设备及存储介质
EP3905071A1 (en) Comments-ordering method, apparatus, device and computer storage medium
CN111090691B (zh) 一种数据处理方法、装置、电子设备和存储介质
US11734454B2 (en) Method for providing applet service capability, electronic device, and storage medium
US20210216212A1 (en) Method and apparatus for processing data
CN112084395A (zh) 搜索方法、搜索装置、电子设备和存储介质
CN112069137B (zh) 生成信息的方法、装置、电子设备及计算机可读存储介质
EP3926528A1 (en) Image processing method, electronic device, readable storage medium and computer program product
CN112559867A (zh) 业务内容输出方法、装置、设备、存储介质和程序产品
WO2023169193A1 (zh) 用于生成智能合约的方法和装置
CN111966877A (zh) 前端服务方法、装置、设备及存储介质
CN111639116B (zh) 数据访问连接会话保护方法以及装置
CN112052347B (zh) 图像存储方法、装置以及电子设备
WO2018217406A1 (en) Providing instant preview of cloud based file
WO2021174791A1 (zh) 任务迁移方法、装置、电子设备及存储介质
JP2022078129A (ja) データラベリング方法、装置、電子デバイス、コンピュータ可読記憶媒体及びコンピュータプログラム
CN114448965A (zh) 一种大数据组件的管理方法、装置、系统及可读存储介质
CN111506787A (zh) 网页更新的方法、装置、电子设备和计算机可读存储介质
JP7451697B2 (ja) データ記憶方法、装置、クエリ方法、電子機器および可読媒体
CN111177558A (zh) 频道业务构建方法及装置
CN115840604B (zh) 数据处理方法、装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant