CN114389853A - 一种数据处理方法及装置 - Google Patents

一种数据处理方法及装置 Download PDF

Info

Publication number
CN114389853A
CN114389853A CN202111574933.8A CN202111574933A CN114389853A CN 114389853 A CN114389853 A CN 114389853A CN 202111574933 A CN202111574933 A CN 202111574933A CN 114389853 A CN114389853 A CN 114389853A
Authority
CN
China
Prior art keywords
data
network
processed
processing
gatekeeper
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111574933.8A
Other languages
English (en)
Inventor
胡欣
孙雪松
韩琪
张飞
刘湘
崔丽娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisino Corp
Original Assignee
Aisino Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisino Corp filed Critical Aisino Corp
Priority to CN202111574933.8A priority Critical patent/CN114389853A/zh
Publication of CN114389853A publication Critical patent/CN114389853A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/178—Techniques for file synchronisation in file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
    • G06F16/183—Provision of network file services by network file servers, e.g. by using NFS, CIFS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04—Protocols for data compression, e.g. ROHC
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/18—Multiprotocol handlers, e.g. single devices capable of handling multiple protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供一种数据处理方法及装置，在执行时，服务器可获取待处理数据，待处理数据属于第一网络；根据配置规则对待处理数据进行编码处理，确定编码数据；将编码数据传输至网闸机的指定目录中；指定目录为第一网络的数据存储位置；网闸机用于连接第一网络与第二网络；第一网络与第二网络为相互隔离的网络；网闸机上部署多种数据传输协议。通过该方式可以实现相互隔离的网络中数据的同步，且还可以提高数据处理效率。

Description

一种数据处理方法及装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种数据处理方法及装置。
背景技术
随着大数据时代的到来，大数据商业价值的挖掘，用户的精准定位，大数据中蕴藏的巨大商业价值被逐步挖掘出来，但是同时也带来了巨大的挑战。通常，数据同步是针对处于同一数据网络内的数据的同步，用户可直接将待同步数据上传至云盘中，管理云盘的服务器可将用户的待同步数据归类到数据库中，便于用户的查找。但是，针对相互隔离的数据网络，不同的数据网络不具有相互访问的权限，直接将数据上传显然不能实现数据的同步。
发明内容
本申请提供一种数据处理方法及装置，以实现相互隔离的网络中数据的同步。
第一方面，本申请提供一种数据处理方法，该数据处理方法可通过服务器来执行，也可通过电子设备来执行，电子设备可以理解为个人计算机(personal computer，PC)、笔记本电脑等，本申请在此不具体限定。接下来以执行主体为服务器为例来说明，可执行如下：
服务器可获取待处理数据，待处理数据属于第一网络；根据配置规则对待处理数据进行编码处理，确定编码数据；将编码数据传输至指定目录中；指定目录为网闸机在第一网络预设的存储位置；网闸机用于连接第一网络与第二网络；第一网络与第二网络为相互隔离的网络；网闸机上部署多种数据传输协议。
本申请中，相互隔离的网络间的数据同步是借助网闸机来实现的，通过在网闸机部署不同的传输协议，且将数据传输至网闸机的指定目录，可以实现数据的同步，且基于配置规则对待处理数据进行编码处理，可以提高数据的处理效率。
在一种可选的方式中，服务器可基于预设拦截器对第一网络中的待同步数据进行数据调整操作，确定待处理数据，数据调整操作包括：删除、修改以及新增。
基于预设拦截器进行数据处理，可以保证数据的传输的可靠性，以及数据传输的效率。
在一种可选的方式中，预设拦截器为HIBERNATE(对象关系映射框架)的拦截器。拦截器可以基于拦截一次事务中的所有操作包括新增、修改、删除、集合属性变化、以及载入内存等动作发生的事件点，可以利用这个特性完成对数据编码、打包的分类操作。
在一种可选的方式中，配置规则可包括以下中的一种或多种：
对待处理数据中存在关联关系的数据进行解关联处理、删除待处理数据中的临时标记信息、对配置延迟信息的待处理数据进行解延迟处理。
通过该配置规则可保证编码数据的精炼，可以保证编码数据占用少量的处理资源。
在一种可选的方式中，网闸机部署的数据传输协议包括：文件传输协议(filetransfer protocol，FTP)以及网络文件系统(network file system，NFS)。这两种协议以及工具可以在linux，windows，mac操作系统上轻松获取或者自带，简单快速，且具有一定的安全性。
在一种可选的方式中，服务器还可对编码数据进行数据压缩，存储在预设数据库中；在定时器结束后，从预设数据库获取编码数据，并传输至网闸机的指定目录。
本申请，将编码数据进行压缩处理后可以减少编码数据占用的存储空间。对编码数据进行数据压缩，存储在预设数据库中；在定时器结束后，从预设数据库获取编码数据可以避免频繁访问预设的数据库，浪费设备处理资源。
在一种可选的方式中，服务器可从指定目录获取待解码数据，待解码数据来自第二网络；待解码数据为网闸机存储在指定目录的；根据配置规则对待解码数据进行解码，获取解码数据。通过该方式可以接收来自其他隔离网络的同步数据。
第二方面，本申请提供一种数据处理装置，包括：获取单元、确定单元以及传输单元。
其中，获取单元，用于获取待处理数据，待处理数据属于第一网络；确定单元，用于根据配置规则对待处理数据进行编码处理，确定编码数据；传输单元，用于将编码数据传输至指定目录中；指定目录为网闸机在第一网络预设的存储位置；网闸机用于连接第一网络与第二网络；第一网络与第二网络为相互隔离的网络；网闸机上部署多种数据传输协议。
在一种可选的方式中，获取单元，可基于预设拦截器对第一网络中的待同步数据进行数据调整操作，确定待处理数据，数据调整操作包括：删除、修改以及新增。
在一种可选的方式中，预设拦截器为HIBERNATE的拦截器。
在一种可选的方式中，配置规则可包括以下中的一种或多种：
对待处理数据中存在关联关系的数据进行解关联处理、删除待处理数据中的临时标记信息、对配置延迟信息的待处理数据进行解延迟处理。
在一种可选的方式中，网闸机部署的数据传输协议包括：FTP以及NFS。
在一种可选的方式中，数据处理装置还包括：数据压缩单元，用于对编码数据进行数据压缩，存储在预设数据库中；在定时器结束后，从预设数据库获取编码数据，并传输至网闸机的指定目录。
在一种可选的方式中，数据处理装置还包括：数据解码单元，可从指定目录获取待解码数据，待解码数据来自第二网络；待解码数据为网闸机存储在指定目录的；根据配置规则对待解码数据进行解码，获取解码数据。
第三方面，本申请提供一种计算装置，包括：存储器以及处理器；存储器，用于存储程序指令；处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行第一方面所述的方法。
第四方面，本申请提供一种计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如第一方面所述的方法。
上述第二方面至第四方面可以达到的技术效果，请参照上述第一方面中相应可能设计方案可以达到的技术效果说明，本申请这里不再重复赘述。
本申请的其它特征和优点将在随后的说明书中阐述，并且部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供数据处理的应用场景示意图；
图2为本申请实施例提供的数据处理方法的流程示意图；
图3为本申请实施例提供的数据处理装置的结构示意图；
图4为本申请实施例提供的一种计算设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本申请中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应所述理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
图1示出数据处理方法的应用场景示意图，该图中包括：目标对象、第一网络以及第二网络，其中第一网络与第二网络为隔离网络，也即隶属与第一网络的目标对象是无法访问第一网络的，也无法将其数据传输至第二网络，同理，第二网络的目标对象也无法访问第一网络，也无法将其数据传输至第一网络。本申请考虑到不同网络间数据可能需要进行同步，因此提出一种数据处理方法，可在相互隔离的网络间同步数据。
下面具体介绍数据处理过程。本申请下述实施例中，“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。以及，除非有相反的说明，本申请实施例提及“第一”、“第二”等序数词是用于对多个对象进行区分，不用于限定多个对象的顺序、时序、优先级或者重要程度。例如，第一任务执行设备和第二任务执行设备，只是为了区分不同的任务执行设备，而并不是表示这两种任务执行设备的优先级或者重要程度等的不同。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
图2示出了本申请数据处理方法的流程示意图，该方法可通过服务器来执行，也可通过电子设备来执行，电子设备可以理解为PC、笔记本电脑等，本申请在此不具体限定。接下来以执行主体为服务器为例来说明，可执行如下：
步骤201，服务器获取待处理数据，待处理数据属于第一网络。
需要说明的是，服务器可基于用户的登录操作，获取待处理数据，例如，用户根据需求设置的登录服务器主动扫描用户历史数据，那么服务器在获取用户的登录操作后，可获取用户历史数据也即待处理数据。当然，服务器也可主动获取待处理数据，例如，自动浏览用户的数据，获取用户在数据的标识信息后，将用户标识的数据作为待处理数据。此外还可能存在其他方式，申请在此不具体限定。
在一种可选的方式中，服务器可基于预设拦截器对第一网络中的待同步数据进行数据调整操作，确定待处理数据，数据调整操作包括：删除、修改以及新增。例如，删除数据中的间隔符，修改数据的类别，新增数据类别等。对于基于数据库的操作类别，一般可以区分为新增、修改、以及删除，这里数据编码打包后，需要对操作进行类型区分，在解码重新加入到数据库中时，分类进行处理。基于预设拦截器进行数据处理，可以保证数据的传输的可靠性，以及数据传输的效率。其中，预设拦截器可以为HIBERNATE的拦截器。拦截器可以基于拦截一次事务中的所有操作包括新增、修改、删除、集合属性变化、以及载入内存等动作发生的事件点，可以利用这个特性完成对数据编码、打包的分类操作。
步骤202，服务器根据配置规则对待处理数据进行编码处理，确定编码数据。
需要说明的是，待处理的数据经过编码处理可保证数据传输中的安全性，避免数据信息的泄露。在一种可选的方式中，配置规则可包括以下中的一种或多种：对待处理数据中存在关联关系的数据进行解关联处理、删除待处理数据中的临时标记信息、对配置延迟信息的待处理数据进行解延迟处理。
其中，配置规则可以理解为建立数据模型实体和数据库表的映射关系，对数据实体操作自动保存到数据库持久化。对待处理数据中存在关联关系的数据进行解关联处理可理解为对有关联关系的实体对象属性进行干涉操作，例如，首先对数据包序列化编码数据进行反序列化还原，然后获取对象类型实例后，利用反射机制对有关系标记的属性进行扫描，符合一对多、多对一、或者关联集合等标记的属性去除关联。数据模型中可能会有一些数据属性并不一定对应数据表里的字段，而是业务或者一些额外基于逻辑判断或者标记类型的属性的字段，大多数是基于不参与实际数据表模型的字段，因此可删除待处理数据中的临时标记信息。对配置延迟信息的待处理数据进行解延迟处理可以理解为延迟加载属性是针对在数据实体类中没有被直接抓取出来的属性，在hibernate中设计实现高效的数据抓取，在不希望立即加载的规则后，不会主动抓取触发数据库查询操作，而在真正使用时，才去抓取数据。基于这个特性需要做一些特殊的处理，比如在数据新增情况下，未加载的数据，显然会干扰实际数据的完整性，此时需要主动加载，当在数据修改情况下，未加载的数据，意味着没有进行过修改，需要去掉属性。通过该配置规则可保证编码数据的精炼，可以保证编码数据占用少量的处理资源。
步骤203，服务器将编码数据传输至指定目录中；指定目录为网闸机在第一网络预设的存储位置；网闸机用于连接第一网络与第二网络；第一网络与第二网络为相互隔离的网络；网闸机上部署多种数据传输协议。
需要说明的是，网闸机还可以理解为堡垒机，在实际应用时，网闸机部署基于文件传输协议或者共享协议，例如ftp和nfs，这两种协议以及工具都是linux，windows，mac操作系统都可以轻松获取或者自带的，简单快速且具有安全性，实现的数据传输程序，在网闸机内部进行杀毒以及其他安全策略的处理，然后根据配置，传输数据文件到解包目录或者从打包目录(可以理解为指定目录)获取数据文件。
本申请中，相互隔离的网络间的数据同步是借助网闸机来实现的，通过在网闸机部署不同的传输协议，且将数据传输至网闸机的指定目录，可以实现数据的同步，且基于配置规则对待处理数据进行编码处理，可以提高数据的处理效率。
在一种可选的方式中，服务器还可对编码数据进行数据压缩，存储在预设数据库中；在定时器结束后，从预设数据库获取编码数据，并传输至网闸机的指定目录。
需要说明的是，服务器可启动多个打包监听程序，同时捕捉编码数据。打包监听程序可接收到需要打包的数据请求，先暂存到K/V数据库也即预设数据库，然后依次提取数据，进行压缩打包，存放到配置的打包文件夹，以提供数据传输部分传输。
本申请，将编码数据进行压缩处理后可以减少编码数据占用的存储空间。对编码数据进行数据压缩，存储在预设数据库中；在定时器结束后，从预设数据库获取编码数据可以避免频繁访问预设的数据库，浪费设备处理资源。
在一种可选的方式中，服务器可从指定目录获取待解码数据，待解码数据来自第二网络；待解码数据为网闸机存储在指定目录的；根据配置规则对待解码数据进行解码，获取解码数据。通过该方式可以接收来自其他隔离网络的同步数据。
需要说明的是，服务器可启动多个解包监听程序监听指定目录，在发现新的需要解包的文件包后，解压读取文件信息，根据文件描述反序列化信息为数据内容，暂存入K/V数据库。从暂存的解包数据队列中，提取数据根据配置参数信息，依次发送给用于数据还原的接口。在还原接口，先把数据反序列化为HIBERNATE映射实体，再通过HIBERNATE的会话工厂或者实体管理器，根据数据包的信息，新增、修改、删除分别操作，对于关联实体的属性需要做一些额外的处理，存在延迟加载标记、以及一对多的属性，忽略操作等，最后完成数据解码。
基于同样的构思，本申请实施例提供一种单点登录装置，如图3所示，包括：获取单元31、确定单元32以及传输单元33。
其中，获取单元31，用于获取待处理数据，所述待处理数据属于第一网络；确定单元32，用于根据配置规则对所述待处理数据进行编码处理，确定编码数据；传输单元33，用于将所述编码数据传输至指定目录中；所述指定目录为网闸机在所述第一网络预设的存储位置；所述网闸机用于连接所述第一网络与第二网络；所述第一网络与所述第二网络为相互隔离的网络；所述网闸机上部署多种数据传输协议。
本申请中，相互隔离的网络间的数据同步是借助网闸机来实现的，通过在网闸机部署不同的传输协议，且将数据传输至网闸机的指定目录，可以实现数据的同步，且基于配置规则对待处理数据进行编码处理，可以提高数据的处理效率。
在一种可选的方式中，获取单元31，可基于预设拦截器对第一网络中的待同步数据进行数据调整操作，确定待处理数据，数据调整操作包括：删除、修改以及新增。基于预设拦截器进行数据处理，可以保证数据的传输的可靠性，以及数据传输的效率。
在一种可选的方式中，预设拦截器为HIBERNATE的拦截器。
在一种可选的方式中，配置规则可包括以下中的一种或多种：
对待处理数据中存在关联关系的数据进行解关联处理、删除待处理数据中的临时标记信息、对配置延迟信息的待处理数据进行解延迟处理。
在一种可选的方式中，网闸机部署的数据传输协议包括：FTP以及NFS。
在一种可选的方式中，数据处理装置还包括：数据压缩单元，用于对编码数据进行数据压缩，存储在预设数据库中；在定时器结束后，从预设数据库获取编码数据，并传输至网闸机的指定目录。本申请，将编码数据进行压缩处理后可以减少编码数据占用的存储空间。对编码数据进行数据压缩，存储在预设数据库中；在定时器结束后，从预设数据库获取编码数据可以避免频繁访问预设的数据库，浪费设备处理资源。
在一种可选的方式中，数据处理装置还包括：数据解码单元，可从指定目录获取待解码数据，待解码数据来自第二网络；待解码数据为网闸机存储在指定目录的；根据配置规则对待解码数据进行解码，获取解码数据。通过该方式可以接收来自其他隔离网络的同步数据。
在介绍了本申请示例性实施方式中的数据处理方法、装置之后，接下来，介绍本申请的另一示例性实施方式的计算设备。
所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
在一些可能的实施方式中，根据本申请的计算设备可以至少包括至少一个处理器、以及至少一个存储器。其中，存储器存储有计算机程序，当计算机程序被处理器执行时，使得处理器执行本说明书上述描述的根据本申请各种示例性实施方式的数据处理方法中的步骤。例如，处理器可以执行如图2中所示的步骤201-步骤203。
下面参照图4来描述根据本申请的这种实施方式的计算设备130。图4显示的计算设备130仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。如图4所示，计算设备130以通用智能终端的形式表现。计算设备130的组件可以包括但不限于：上述至少一个处理器131、上述至少一个存储器132、连接不同系统组件(包括存储器132和处理器131)的总线133。
总线133表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。存储器132可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)1321和/或高速缓存存储器1322，还可以进一步包括只读存储器(ROM)1323。存储器132还可以包括具有一组(至少一个)程序模块1324的程序/实用工具1325，这样的程序模块1324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
计算设备130也可以与一个或多个外部设备134(例如键盘、指向设备等)通信，和/或与使得该计算设备130能与一个或多个其它智能终端进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口135进行。并且，计算设备130还可以通过网络适配器136与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器136通过总线133与用于计算设备130的其它模块通信。应当理解，尽管图中未示出，可以结合计算设备130使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
在一些可能的实施方式中，本申请提供的交易数据备份方法的各个方面还可以实现为一种程序产品的形式，其包括计算机程序，当程序产品在计算机设备上运行时，计算机程序用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的数据处理方法中的步骤。例如，处理器可以执行如图2中所示的步骤201-步骤203。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请的实施方式的用于三维视觉重定位的程序产品可采用便携式紧凑盘只读存储器(CD-ROM)并包括计算机程序，并可在智能终端上运行。但本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可被指令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读计算机程序。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程访问频次的预测设备的处理器以产生一个机器，使得通过计算机或其他可编程访问频次的预测设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程访问频次的预测设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程访问频次的预测设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种数据处理方法，其特征在于，包括：
获取待处理数据，所述待处理数据属于第一网络；
根据配置规则对所述待处理数据进行编码处理，确定编码数据；
将所述编码数据传输至指定目录中；所述指定目录为网闸机在所述第一网络预设的存储位置；所述网闸机用于连接所述第一网络与第二网络；所述第一网络与所述第二网络为相互隔离的网络；所述网闸机上部署多种数据传输协议。
2.根据权利要求1所述的方法，其特征在于，所述获取待处理数据，包括：
基于预设拦截器对第一网络中的待同步数据进行数据调整操作，确定待处理数据，所述数据调整操作包括：删除、修改以及新增。
3.根据权利要求1或2所述的方法，其特征在于，所述预设拦截器为对象关系映射框架HIBERNATE的拦截器。
4.根据权利要求1所述的方法，其特征在于，所述配置规则包括以下中的一种或多种：
对所述待处理数据中存在关联关系的数据进行解关联处理、删除所述待处理数据中的临时标记信息、对配置延迟信息的所述待处理数据进行解延迟处理。
5.根据权利要求1所述的方法，其特征在于，所述网闸机部署的数据传输协议包括：文件传输协议FTP以及网络文件系统NFS。
6.根据权利要求1所述的方法，其特征在于，将所述编码数据传输至指定目录中之前，还包括：
对所述编码数据进行数据压缩，存储在预设数据库中；
所述将所述编码数据传输至网闸机的指定目录中，包括：
在定时器结束后，从所述预设数据库获取所述编码数据，并传输至网闸机的指定目录。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
从所述指定目录获取待解码数据，所述待解码数据来自所述第二网络；所述待解码数据为所述网闸机存储在所述指定目录的；
根据所述配置规则对所述待解码数据进行解码，获取解码数据。
8.一种数据处理装置，其特征在于，包括：
获取单元，用于获取待处理数据，所述待处理数据属于第一网络；
确定单元，用于根据配置规则对所述待处理数据进行编码处理，确定编码数据；
传输单元，用于将所述编码数据传输至指定目录中；所述指定目录为网闸机在所述第一网络预设的存储位置；所述网闸机用于连接所述第一网络与第二网络；所述第一网络与所述第二网络为相互隔离的网络；所述网闸机上部署多种数据传输协议。
9.一种计算装置，其特征在于，包括：存储器以及处理器；
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行权利要求1-7中任一项所述的方法。
10.一种计算机存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令用于执行如权利要求1-7中任一权利要求所述的方法。
CN202111574933.8A 2021-12-21 2021-12-21 一种数据处理方法及装置 Pending CN114389853A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111574933.8A CN114389853A (zh) 2021-12-21 2021-12-21 一种数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111574933.8A CN114389853A (zh) 2021-12-21 2021-12-21 一种数据处理方法及装置

Publications (1)

Publication Number Publication Date
CN114389853A true CN114389853A (zh) 2022-04-22

Family

ID=81198079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111574933.8A Pending CN114389853A (zh) 2021-12-21 2021-12-21 一种数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN114389853A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115333831A (zh) * 2022-08-12 2022-11-11 深圳美克拉网络技术有限公司 一种信息化通信数据监控方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103532838A (zh) * 2013-10-09 2014-01-22 中国联合网络通信集团有限公司 一种隔离网间实现数据交换的方法及系统
US20190132329A1 (en) * 2016-04-21 2019-05-02 Philips Lighting Holding B.V. A computing cloud for monitoring physical environments
US20200036748A1 (en) * 2018-07-25 2020-01-30 George Mason University Secure overlay communication model for decentralized autonomous power grid
CN110941621A (zh) * 2018-09-25 2020-03-31 北京国双科技有限公司 一种内外网间同步数据库的方法及装置
CN113254411A (zh) * 2021-06-23 2021-08-13 国能信控互联技术有限公司 跨网闸实时数据库数据同步方法及系统
WO2021219104A1 (zh) * 2020-04-30 2021-11-04 华为技术有限公司 混合云系统、网闸、网络访问方法及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103532838A (zh) * 2013-10-09 2014-01-22 中国联合网络通信集团有限公司 一种隔离网间实现数据交换的方法及系统
US20190132329A1 (en) * 2016-04-21 2019-05-02 Philips Lighting Holding B.V. A computing cloud for monitoring physical environments
US20200036748A1 (en) * 2018-07-25 2020-01-30 George Mason University Secure overlay communication model for decentralized autonomous power grid
CN110941621A (zh) * 2018-09-25 2020-03-31 北京国双科技有限公司 一种内外网间同步数据库的方法及装置
WO2021219104A1 (zh) * 2020-04-30 2021-11-04 华为技术有限公司 混合云系统、网闸、网络访问方法及存储介质
CN113254411A (zh) * 2021-06-23 2021-08-13 国能信控互联技术有限公司 跨网闸实时数据库数据同步方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115333831A (zh) * 2022-08-12 2022-11-11 深圳美克拉网络技术有限公司 一种信息化通信数据监控方法及装置

Similar Documents

Publication Publication Date Title
WO2018219178A1 (zh) 数据同步方法、装置、服务器及存储介质
US10237333B2 (en) Network transfer of large files in unstable network environments
US10541930B2 (en) Automated data flows using flow-based data processor blocks
CN111800462B (zh) 微服务实例处理方法、装置、计算机设备及存储介质
WO2022116425A1 (zh) 数据血缘关系解析方法、系统、计算机设备及存储介质
US20170163478A1 (en) Method,electronic device and system for updating client configuration in key-value pair database
CN113010818A (zh) 访问限流方法、装置、电子设备及存储介质
CN114201421B (zh) 一种数据流处理方法、存储控制节点及可读存储介质
CN113301111A (zh) 数字孪生方法、边缘计算设备、移动终端及存储介质
US9654582B2 (en) Enhanced shared memory based communication driver for improved performance and scalability
CN104539665A (zh) 一种基于路由器的远程文件控制系统
WO2014110929A1 (en) Method, device, and system for uploading data
WO2021258512A1 (zh) 数据的聚合处理装置、方法和存储介质
CN115408715A (zh) 基于区块链和ipfs的异构数据处理系统、方法及设备
CN103577245A (zh) 一种轻量级虚拟机迁移方法
CN109218041B (zh) 用于服务器系统的请求处理方法和装置
CN112764877A (zh) 一种用于硬件加速设备与docker内进程通信的方法与系统
CN114389853A (zh) 一种数据处理方法及装置
KR20220091441A (ko) 데이터 동기화 방법과 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램
CN107422980B (zh) 物联网数据文件存储系统及其数据文件存储方法
US20140236987A1 (en) System and method for audio signal collection and processing
US20140189055A1 (en) Migration of usage sessions between devices
WO2009055496A2 (en) Compressing null columns in rows of the tabular data stream protocol
CN113852522B (zh) 一种基于多平台的摄像头绑定和解绑方法
CN115237924A (zh) 数据处理方法、系统、设备、介质和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination