CN110995723A - 一种跨公安边界大数据传输数据不丢失的方法 - Google Patents

一种跨公安边界大数据传输数据不丢失的方法 Download PDF

Info

Publication number
CN110995723A
CN110995723A CN201911263968.2A CN201911263968A CN110995723A CN 110995723 A CN110995723 A CN 110995723A CN 201911263968 A CN201911263968 A CN 201911263968A CN 110995723 A CN110995723 A CN 110995723A
Authority
CN
China
Prior art keywords
data
public security
public
network
historical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911263968.2A
Other languages
English (en)
Inventor
岳湘黔
胡栋
江涌
姚傲雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Wuxun Technology Co Ltd
Original Assignee
Shenzhen Wuxun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Wuxun Technology Co Ltd filed Critical Shenzhen Wuxun Technology Co Ltd
Priority to CN201911263968.2A priority Critical patent/CN110995723A/zh
Publication of CN110995723A publication Critical patent/CN110995723A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content
    • H04L67/5651—Reducing the amount or size of exchanged application data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种跨公安边界大数据传输数据不丢失的方法，包括如下步骤：即时数据实时传输、历史数据汇总传输、数据缺失对比及传输；发明的有益效果在于，本发明的方法将数据分为即时数据和历史数据，并且两种数据分别采用实时传输和闲时传输的方式，充分结合了全量数据输出方式和增量数据备份逐条输出方式的优点，实现数据高效的传输至公安内网；本发明通过制作外网记录表、内网记录表和数据缺失表，确保历史数据在由公安外网传输至公安内网时不会出现丢失，确保所有的数据能够完整的传输至公安内网，方便公安的数据处理。

Description

一种跨公安边界大数据传输数据不丢失的方法
技术领域
本发明涉及计算机应用技术领域，尤其涉及一种跨公安边界大数据传输数据不丢失的方法。
背景技术
基于现在的网络原因和各种异常突发情况，实践表明：在大数据传输过程中，数据丢失是不可以避免的。目前解决数据丢失的主流方案有两种：
第一种方案是全量数据输出方法，把公网数据全部导出到存储设备后再通过人工带到公安内网导入。但是，这种方案的实时性比较差、耗时长，且有一段时间系统不能使用，对于时效高的项目不能响应。
另外一种方案是增量数据备份逐条输出方法，通过半人工公网和公安网对比丢失数据，然后再次通过公网传输到公安内网。这种方案能够实现间断传输，能够对时效性较高的项目进行响应。但是，这种方案的数据不是连续传输，因此可追溯性交叉，因此无法完全找到丢失数据。
发明内容
1.需要解决的技术问题
本发明需要解决的技术问题在于，提供一种跨公安边界大数据传输数据不丢失的方法，把大量或者海量的数据，通过公网高效和不丢失地传递到公安内网，避免大数据传输过程中的数据流失而造成的不必要的损失。
2.技术方案
为了实现上述目的，本发明的技术方案是：一种跨公安边界大数据传输数据不丢失的方法，包括如下步骤：
步骤1，将即时数据直接传输至公安内网；
步骤2，将历史数据传输至公安公网并做数据加密、压缩处理；
步骤3，将步骤2进行数据加密和压缩处理的所述历史数据记录，并制作公网记录表；
步骤4，将所有保存在公安公网的所述历史数据做数据解密，并导入至公安内网；
步骤5，将步骤3导入至公安内网的所述历史数据记录，并制作内网记录表；
步骤6，将步骤3的所述公网记录表和步骤5的所述内网记录表对比，如果对应数据无法匹配，则将无法匹配的数据记录并制作数据缺失表；
步骤7，定期把所述数据缺失表导入公安公网，从公安公网中将缺失数据设定成所述即时数据，并按照步骤1处理。
优选的是，所述即时数据和历史数据采用oplog格式文件。
优选的是，步骤3将所述即时数据和历史数据压缩成tgz格式并保存在公安公网本地磁盘内。
优选的是，还包括公网定时器；步骤4中所述公网定时器定时扫描步骤3的公安公网本地磁盘，确认存在tgz格式文件，将其解压为oplog格式文件、排序并传输至公安内网本地磁盘。
优选的是，所述公网定时器的扫描时间为48小时。
3.有益效果
综上所述的，本发明的有益效果在于：
(1)本发明的方法将数据分为即时数据和历史数据，并且两种数据分别采用实时传输和闲时传输的方式，充分结合了全量数据输出方式和增量数据备份逐条输出方式的优点，实现数据高效的传输至公安内网；
(2)本发明通过制作外网记录表、内网记录表和数据缺失表，确保历史数据在由公安外网传输至公安内网时不会出现丢失，确保所有的数据能够完整的传输至公安内网，方便公安的数据处理。
附图说明
图1为一种跨公安边界大数据传输数据不丢失的方法的流程图。
具体实施方式
以下结合附图1进一步说明本发明的实施例。
一种跨公安边界大数据传输数据不丢失的方法，包括如下步骤：
步骤1，将即时数据直接传输至公安内网；
步骤2，将历史数据传输至公安公网并做数据加密、压缩处理；
步骤3，将步骤2进行数据加密和压缩处理的所述历史数据记录，并制作公网记录表；
步骤4，将所有保存在公安公网的所述历史数据做数据解密，并导入至公安内网；
步骤5，将步骤3导入至公安内网的所述历史数据记录，并制作内网记录表；
步骤6，将步骤3的所述公网记录表和步骤5的所述内网记录表对比，如果对应数据无法匹配，则将无法匹配的数据记录并制作数据缺失表；
步骤7，定期把所述数据缺失表导入公安公网，从公安公网中将缺失数据设定成所述即时数据，并按照步骤1处理。
优选的是，所述即时数据和历史数据采用oplog格式文件。
优选的是，步骤3将所述即时数据和历史数据压缩成tgz格式并保存在公安公网本地磁盘内。
还包括公网定时器；步骤4中所述公网定时器定时扫描步骤3的公安公网本地磁盘，确认存在tgz格式文件，将其解压为oplog格式文件、排序并传输至公安内网本地磁盘，优选的是，所述公网定时器的扫描时间为48小时。
以上所述的仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书内容所作的等效结构变换，或直接或间接运用附属在其他相关产品的技术领域，均同理包括在本发明的专利保护范围内。

Claims (5)

1.一种跨公安边界大数据传输数据不丢失的方法，其特征在于，包括如下步骤：
步骤1，将即时数据直接传输至公安内网；
步骤2，将历史数据传输至公安公网并做数据加密、压缩处理；
步骤3，将步骤2进行数据加密和压缩处理的所述历史数据记录，并制作公网记录表；
步骤4，将所有保存在公安公网的所述历史数据做数据解密，并导入至公安内网；
步骤5，将步骤3导入至公安内网的所述历史数据记录，并制作内网记录表；
步骤6，将步骤3的所述公网记录表和步骤5的所述内网记录表对比，如果对应数据无法匹配，则将无法匹配的数据记录并制作数据缺失表；
步骤7，定期把所述数据缺失表导入公安公网，从公安公网中将缺失数据设定成所述即时数据，并按照步骤1处理。
2.根据权利要求1所述的一种跨公安边界大数据传输数据不丢失的方法，其特征在于：所述即时数据和历史数据采用oplog格式文件。
3.根据权利要求2所述的一种跨公安边界大数据传输数据不丢失的方法，其特征在于：步骤3将所述即时数据和历史数据压缩成tgz格式并保存在公安公网本地磁盘内。
4.根据权利要求3所述的一种跨公安边界大数据传输数据不丢失的方法，其特征在于：还包括公网定时器；步骤4中所述公网定时器定时扫描步骤3的公安公网本地磁盘，确认存在tgz格式文件，将其解压为oplog格式文件、排序并传输至公安内网本地磁盘。
5.根据权利要求4所述的一种跨公安边界大数据传输数据不丢失的方法，其特征在于：所述公网定时器的扫描时间为48小时。
CN201911263968.2A 2019-12-11 2019-12-11 一种跨公安边界大数据传输数据不丢失的方法 Pending CN110995723A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911263968.2A CN110995723A (zh) 2019-12-11 2019-12-11 一种跨公安边界大数据传输数据不丢失的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911263968.2A CN110995723A (zh) 2019-12-11 2019-12-11 一种跨公安边界大数据传输数据不丢失的方法

Publications (1)

Publication Number Publication Date
CN110995723A true CN110995723A (zh) 2020-04-10

Family

ID=70092291

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911263968.2A Pending CN110995723A (zh) 2019-12-11 2019-12-11 一种跨公安边界大数据传输数据不丢失的方法

Country Status (1)

Country Link
CN (1) CN110995723A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080071899A1 (en) * 2006-09-14 2008-03-20 Hitachi, Ltd. Sensor network system for managing the latest data and history data
US20090319583A1 (en) * 2008-06-20 2009-12-24 Microsoft Corporation Integrated data availability and historical data protection
CN105005618A (zh) * 2015-07-21 2015-10-28 杭州合众数据技术有限公司 一种异构数据库之间的数据同步方法及系统
CN106445738A (zh) * 2016-09-13 2017-02-22 郑州云海信息技术有限公司 一种数据库备份方法及装置
CN107423303A (zh) * 2016-05-24 2017-12-01 北京京东尚科信息技术有限公司 数据同步的方法和系统
CN109325072A (zh) * 2018-07-12 2019-02-12 浪潮软件集团有限公司 一种基于CMSP实现跨网闸Oracle数据库同步的方法及装置
CN109495284A (zh) * 2017-09-11 2019-03-19 钛能科技股份有限公司 一种高效的数据传输方法和系统
CN110334062A (zh) * 2019-07-11 2019-10-15 深圳物讯科技有限公司 一种基于数据库物理日志的跨公安边界的大数据传输方法
CN110365763A (zh) * 2019-07-11 2019-10-22 北京蜜莱坞网络科技有限公司 一种数据同步方法、装置、设备及存储介质
CN110502490A (zh) * 2019-08-30 2019-11-26 浪潮软件集团有限公司 一种MongoDB数据库数据同步系统及实现方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080071899A1 (en) * 2006-09-14 2008-03-20 Hitachi, Ltd. Sensor network system for managing the latest data and history data
US20090319583A1 (en) * 2008-06-20 2009-12-24 Microsoft Corporation Integrated data availability and historical data protection
CN105005618A (zh) * 2015-07-21 2015-10-28 杭州合众数据技术有限公司 一种异构数据库之间的数据同步方法及系统
CN107423303A (zh) * 2016-05-24 2017-12-01 北京京东尚科信息技术有限公司 数据同步的方法和系统
CN106445738A (zh) * 2016-09-13 2017-02-22 郑州云海信息技术有限公司 一种数据库备份方法及装置
CN109495284A (zh) * 2017-09-11 2019-03-19 钛能科技股份有限公司 一种高效的数据传输方法和系统
CN109325072A (zh) * 2018-07-12 2019-02-12 浪潮软件集团有限公司 一种基于CMSP实现跨网闸Oracle数据库同步的方法及装置
CN110334062A (zh) * 2019-07-11 2019-10-15 深圳物讯科技有限公司 一种基于数据库物理日志的跨公安边界的大数据传输方法
CN110365763A (zh) * 2019-07-11 2019-10-22 北京蜜莱坞网络科技有限公司 一种数据同步方法、装置、设备及存储介质
CN110502490A (zh) * 2019-08-30 2019-11-26 浪潮软件集团有限公司 一种MongoDB数据库数据同步系统及实现方法

Similar Documents

Publication Publication Date Title
CN102790686B (zh) 日志数据采集方法、系统及服务器
CN102306114B (zh) 基于云存储的数据定时备份和恢复方法
US7039394B2 (en) Communication system and method for compressing information sent by a communication device to a target portable communication device
CN102761540B (zh) 数据压缩方法、装置、系统以及服务器
US9031997B2 (en) Log file compression
CN110609813B (zh) 一种数据存储系统及方法
CN104123300A (zh) 数据分布式存储系统及方法
WO2000046688A1 (en) Intelligent method for computer file compression
CN105989048A (zh) 一种数据记录处理方法、设备及系统
US10003669B2 (en) Methods and apparatus to create and transmit a condensed logging data file
CN102148833A (zh) 数据报表的传输方法、服务器、客户端以及系统
CN101771548A (zh) 文件同步方法及系统
EP4042307A1 (en) Method, system, electronic device, and storage medium for storing and collecting temperature data
CN104679888A (zh) 一种数据同步的装置及方法
CN105979348A (zh) 一种基于视频剪切与弹幕的匹配方法及装置
CN112311902B (zh) 基于微服务的文件发送方法及装置
CN106202848A (zh) 医学影像文件的获取方法、用户终端及主服务器
CN102136941A (zh) 一种综合接入设备备份数据方法、设备以及系统
CN107766508A (zh) 一种数据文件采集分发的方法、系统
CN112286674B (zh) 一种基于边缘计算的行转列方法及系统
CN110995723A (zh) 一种跨公安边界大数据传输数据不丢失的方法
CN112732660B (zh) 干预式文件传输方法、装置及系统
CN116846600A (zh) 文件传输方法、装置、计算机设备、存储介质和程序产品
JP7355913B1 (ja) 電力装置の運用保守データの伝送管理方法及びシステム
CN107483471B (zh) 一种适用于异地协作的多媒体数据传输系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200410