CN117520285A - 一种基于内外网隔离装置的非结构化对象存储数据同步方法 - Google Patents

一种基于内外网隔离装置的非结构化对象存储数据同步方法 Download PDF

Info

Publication number
CN117520285A
CN117520285A CN202311473085.0A CN202311473085A CN117520285A CN 117520285 A CN117520285 A CN 117520285A CN 202311473085 A CN202311473085 A CN 202311473085A CN 117520285 A CN117520285 A CN 117520285A
Authority
CN
China
Prior art keywords
data
data blocks
unstructured
database
program
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311473085.0A
Other languages
English (en)
Inventor
汪雄才
程明
李恩来
余明俊
陈昌文
杨雪
张作飞
高琦
蔡晓龙
刘维维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Central China Technology Development Of Electric Power Co ltd
State Grid Hubei Electric Power Co Ltd
Original Assignee
Hubei Central China Technology Development Of Electric Power Co ltd
State Grid Hubei Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Central China Technology Development Of Electric Power Co ltd, State Grid Hubei Electric Power Co Ltd filed Critical Hubei Central China Technology Development Of Electric Power Co ltd
Priority to CN202311473085.0A priority Critical patent/CN117520285A/zh
Publication of CN117520285A publication Critical patent/CN117520285A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/178—Techniques for file synchronisation in file systems
    • G06F16/1794—Details of file format conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种基于内外网隔离装置的非结构化对象存储数据同步方法，包括：将非结构化数据文件在发送端网络区域按预设规则切分为多个数据块；在发送端网络区域开发生产程序，将切分后的数据块通过内外网隔离装置提供的驱动程序包，将数据块转化为SQL语句，通过SQL语句穿透隔离装置，按序写入接收端数据库的二进制字段，其中每个数据块附带元信息；在接收端网络区域开发消费程序，按一定时间间隔从接收端数据库的二进制字段读取新增的数据块；消费程序根据每个数据块的元信息，对读取到的数据块进行排序、重新组合，最终还原成原始的非结构化数据文件。本发明实现了不同网络区域间基于数据库通道的非结构化数据高效传输。

Description

一种基于内外网隔离装置的非结构化对象存储数据同步方法
技术领域
本发明属于计算机网络数据传输技术领域，具体涉及一种基于内外网隔离装置的非结构化对象存储数据同步方法。
背景技术
当前各企业或组织的网络环境普遍设置了安全隔离区域，用于将核心区域和外围区域进行隔离。但区域之间仍存在数据传输需求。现有网络隔离设备基本只开放数据库连接进行数据访问，无法直接进行大容量非结构化数据的传输，严重制约了区域之间的数据交换。
发明内容
本发明的目的是提供一种跨网络区域非结构化数据传输方法，用于解决不同网络区域间大容量非结构化数据传输的问题。该方法通过网络隔离设备间仅开放的数据库通道进行非结构化数据高速传输。
为实现上述发明目的，本发明采用以下技术方案：
一种基于内外网隔离装置的非结构化对象存储数据同步方法，包括如下步骤：
将非结构化数据文件在发送端网络区域按预设规则切分为多个数据块，每个数据块大小控制在数据库字段容量限制以下；
在发送端网络区域开发生产程序，将切分后的数据块通过内外网隔离装置提供的驱动程序包，将数据块转化为SQL语句，通过SQL语句穿透隔离装置，按序写入接收端数据库的二进制字段，其中每个数据块附带元信息，所述元信息包括文件ID、块ID以及序列号；
在接收端网络区域开发消费程序，按一定时间间隔从接收端数据库的二进制字段读取新增的数据块；
消费程序根据每个数据块的元信息，对读取到的数据块进行排序、重新组合，最终还原成原始的非结构化数据文件。
进一步的，所述的非结构化数据文件包括音频、视频、图片、文档。
进一步的，所述发送端的生产程序将数据块写入数据库前对数据块进行压缩或加密。
进一步的，所述元信息中还包括数据块压缩格式、加密方式。
进一步的，所述消费程序根据元信息中的序列号对数据块进行排序，按顺序重新组合成原始的非结构化数据文件。
进一步的，所述消费程序将组合后的非结构化数据文件存储在接收端网络区域的文件存储系统中。
进一步的，所述接收端的生产程序采用数据库触发器的方式监测数据变化，在数据插入后主动通知消费程序拉取新的数据块。
本发明通过构建生产端将文件分块写入数据库、消费端按序读取数据块的转发模式，实现了不同网络区域间基于数据库通道的非结构化数据高效传输，具有显著的进步作用。
附图说明
图1为本发明实施例数据同步组件整体架构图；
图2为本发明实施例一种基于内外网隔离装置的非结构化对象存储数据同步方法的流程图。
实施方式
下面结合附图对本发明的优选实施方式进行说明。
如图1及图2所示，本发明实施例提供一种基于内外网隔离装置的非结构化对象存储数据同步方法，包括如下步骤：
步骤一：源端网络区域内的非结构化数据同步组件配置并启动同步定时任务。
步骤二：非结构化数据同步组件发送方的OSS分流器定时从源端OSS对象存储中获取非结构化数据文件。
步骤三：OSS分流器将非结构化数据文件在发送端网络区域按预设规则切分为多个数据块，每个数据块大小控制在数据库字段容量限制以下(可选进行压缩和加密)，创建SyncSliceEvent事件，发送到第一Disruptor队列。
步骤四：发送端的待同步抽取器，从第一Disruptor队列获取SyncSliceEvent事件，使用隔离装置驱动程序包生成SQL语句，穿透隔离装置，将切分后的数据块按序写入接收端数据库的二进制字段，其中每个数据块附带元信息，所述元信息包括文件ID、块ID、序列号。
步骤五：在接收端网络区域开发消费程序(例如待拼接抽取器)，按一定时间间隔从接收端数据库的二进制字段读取新增的数据块，生成拼接事件，写入第二Disruptor队列。
步骤六：接收端消费程序(OSS文件上传器)根据第二Disruptor队列中每个数据块的元信息，对读取到的数据块进行排序、重新组合，最终还原成原始的非结构化数据文件。
步骤七：接收端消费程序(OSS文件上传器)将拼接还原的非结构化文件上传到目标端OSS对象存储。
表1以3种非结构化文件类型为例，在单台隔离装置带宽的限制下，对组件的传输速度、数据完整性测试结果，能够满足特定业务场景下对文件同步效率的要求。(传输速率受到网络带宽、隔离装置带宽的限制)
表1
采用该方法可以实现不同区域之间非结构化数据的高效传输，完整保留数据格式和内容，具有重要的进步意义。
本发明通过网络隔离设备间仅开放的JDBC协议信道进行非结构化数据的拷贝传输。该方法采用Low Latency、高并发Disruptor框架将非结构化数据文件按预设规则切分为多个小数据块，每个块控制在数据库字段容量限制以下，可选进行压缩和加密，然后将这些小数据块依序写入接收端数据库的二进制字段。在接收端网络区域，消费程序按一定时间间隔从数据库读取新增块数据，根据块编号、序列号等元信息对小数据块进行排序和合并，最终还原成原完整的非结构化数据文件。
本发明构建了跨数据库的非结构化数据生产－消费模型，实现了实时、高效的数据传输。可选的压缩、加密等手段可进一步优化数据传输的安全性和效率。最终实现了不同网络区域之间的非结构化数据传输，完整保留了数据格式和内容，既解决了网络隔离的限制，又不影响数据的安全性。该方法适用于各类网络空间分区的场景，具有广泛的适用范围。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何属于本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (7)

1.一种基于内外网隔离装置的非结构化对象存储数据同步方法，其特征在于，包括如下步骤：
将非结构化数据文件在发送端网络区域按预设规则切分为多个数据块，每个数据块大小控制在数据库字段容量限制以下；
在发送端网络区域开发生产程序，将切分后的数据块通过内外网隔离装置提供的驱动程序包，将数据块转化为SQL语句，通过SQL语句穿透隔离装置，按序写入接收端数据库的二进制字段，其中每个数据块附带元信息，所述元信息包括文件ID、块ID以及序列号；
在接收端网络区域开发消费程序，按一定时间间隔从接收端数据库的二进制字段读取新增的数据块；
消费程序根据每个数据块的元信息，对读取到的数据块进行排序、重新组合，最终还原成原始的非结构化数据文件。
2.如权利要求1所述的方法，其特征在于，所述的非结构化数据文件包括音频、视频、图片、文档。
3.如权利要求1所述的方法，其特征在于，所述发送端的生产程序将数据块写入接收端数据库前对数据块进行压缩或加密。
4.如权利要求1所述的方法，其特征在于，所述元信息中还包括数据块压缩格式、加密方式。
5.如权利要求1所述的方法，其特征在于，所述消费程序根据元信息中的序列号对数据块进行排序，按顺序重新组合成原始的非结构化数据文件。
6.如权利要求1所述的方法，其特征在于，所述消费程序将组合后的非结构化数据文件存储在接收端网络区域的文件存储系统中。
7.如权利要求1所述的方法，其特征在于，所述接收端的生产程序采用数据库触发器的方式监测数据变化，在数据插入后主动通知消费程序拉取新的数据块。
CN202311473085.0A 2023-11-07 2023-11-07 一种基于内外网隔离装置的非结构化对象存储数据同步方法 Pending CN117520285A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311473085.0A CN117520285A (zh) 2023-11-07 2023-11-07 一种基于内外网隔离装置的非结构化对象存储数据同步方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311473085.0A CN117520285A (zh) 2023-11-07 2023-11-07 一种基于内外网隔离装置的非结构化对象存储数据同步方法

Publications (1)

Publication Number Publication Date
CN117520285A true CN117520285A (zh) 2024-02-06

Family

ID=89757873

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311473085.0A Pending CN117520285A (zh) 2023-11-07 2023-11-07 一种基于内外网隔离装置的非结构化对象存储数据同步方法

Country Status (1)

Country Link
CN (1) CN117520285A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050177603A1 (en) * 2004-02-06 2005-08-11 Availl, Inc. System and method for replicating files in a computer network
CN105653532A (zh) * 2014-11-13 2016-06-08 镇江华扬信息科技有限公司 一种异构数据库同步的方法
CN112835972A (zh) * 2019-11-22 2021-05-25 北京中电普华信息技术有限公司 非结构化数据的同步方法及系统
CN113590639A (zh) * 2021-07-30 2021-11-02 浙江中控技术股份有限公司 一种网闸隔离的数据库之间数据同步方法
CN114363320A (zh) * 2021-12-30 2022-04-15 格美安(北京)信息技术有限公司 一种跨网数据回传方法、存储介质和系统
US20230022619A1 (en) * 2021-07-16 2023-01-26 International Business Machines Corporation Database replication using adaptive compression

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050177603A1 (en) * 2004-02-06 2005-08-11 Availl, Inc. System and method for replicating files in a computer network
CN105653532A (zh) * 2014-11-13 2016-06-08 镇江华扬信息科技有限公司 一种异构数据库同步的方法
CN112835972A (zh) * 2019-11-22 2021-05-25 北京中电普华信息技术有限公司 非结构化数据的同步方法及系统
US20230022619A1 (en) * 2021-07-16 2023-01-26 International Business Machines Corporation Database replication using adaptive compression
CN113590639A (zh) * 2021-07-30 2021-11-02 浙江中控技术股份有限公司 一种网闸隔离的数据库之间数据同步方法
CN114363320A (zh) * 2021-12-30 2022-04-15 格美安(北京)信息技术有限公司 一种跨网数据回传方法、存储介质和系统

Similar Documents

Publication Publication Date Title
CN1965368B (zh) 记录或回放数据流的方法和设备
WO2020173248A1 (zh) 数据同步方法、装置、终端及存储介质
CN109189749B (zh) 文件同步方法及终端设备
ATE300835T1 (de) Verfahren und vorrichtung für videorundfunk von mehrfach angereicherten medienformaten
CN103516814A (zh) 一种大数据量的数据交换方法
US20150019486A1 (en) System and Method for Delta Change Synchronization of Data Changes across a Plurality of Nodes
CN112307501B (zh) 基于区块链技术的大数据系统及存储方法和使用方法
CN105898506A (zh) 媒体文件的多屏播放方法和系统
CN102681790B (zh) 一种数据转储设备和通过其进行数据转储的方法及系统
CN110505444A (zh) 基于大数据的安防监控系统
CN107196992A (zh) 一种执法记录仪的文件数据管理系统
CN110505307B (zh) 一种网间交通流数据的交换方法及系统
WO2023103190A1 (zh) 一种多级联动人工智能平台样本模型透明共享装置
EP1172723A1 (en) Data processing system, data transmitting/receiving device, and recorded medium
CN117520285A (zh) 一种基于内外网隔离装置的非结构化对象存储数据同步方法
Ünver et al. Design of a DFS to Manage Big Data in Distance Education Environments.
US20060238809A1 (en) Storage system and digital broadcasting system
KR100315310B1 (ko) 다중 데이터 동기화 방법 및 그를 이용한 다중 멀티미디어 데이터 스트리밍 방법
CN112836236A (zh) 一种数据共享交换平台库表资源的订阅方法和系统
CN202615373U (zh) 一种数据转储设备
CN102624617B (zh) 数据交换系统和方法
CN112291350A (zh) 一种文件传输方法、系统、设备以及介质
CN113283999B (zh) 电力监控系统网省两级数据同步方法、装置、计算机设备
CN109656874A (zh) 双体制文件管理系统实现方法
CN118277483A (zh) 数据同步方法、装置和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination