CN116450747A - 一种用于办公数据的异构系统归集处理系统 - Google Patents

一种用于办公数据的异构系统归集处理系统 Download PDF

Info

Publication number
CN116450747A
CN116450747A CN202310713420.3A CN202310713420A CN116450747A CN 116450747 A CN116450747 A CN 116450747A CN 202310713420 A CN202310713420 A CN 202310713420A CN 116450747 A CN116450747 A CN 116450747A
Authority
CN
China
Prior art keywords
data
database
stack
office
queue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310713420.3A
Other languages
English (en)
Other versions
CN116450747B (zh
Inventor
韩振华
蒋胜
叶军
陈洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Shuzhi Technology Group Co ltd
Original Assignee
Changsha Shuzhi Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Shuzhi Technology Group Co ltd filed Critical Changsha Shuzhi Technology Group Co ltd
Priority to CN202310713420.3A priority Critical patent/CN116450747B/zh
Publication of CN116450747A publication Critical patent/CN116450747A/zh
Application granted granted Critical
Publication of CN116450747B publication Critical patent/CN116450747B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioethics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种用于办公数据的异构系统归集处理系统，涉及了异构系统归集技术领域，包括归集中心，所述归集中心通信连接有数据采集模块，数据过滤模块，数据整合模块以及数据加密模块；通过在数据采集模块设置采集栈进行办公数据的采集，通过数据过滤模块过滤掉非法数据和冗余数据并生成数据流集合传输至数据整合模块，数据整合模块将数据流集合转化为数据库数据后通过数据加密模块按照不同的加密规则进行加密处理，将加密后的数据库数据上传至归集中心，从而实现了异构系统中办公数据的归集处理。

Description

一种用于办公数据的异构系统归集处理系统
技术领域
本发明涉及异构系统归集技术领域，具体是一种用于办公数据的异构系统归集处理系统。
背景技术
异构系统是一个集合系统，其由多个子系统组成，可以实现数据的共享和透明访问，每个子系统在加入异构系统之前本身就已经存在，异构系统的各个组成部分具有自治性，在实现数据共享的同时，每个子系统仍保有自己的应用特性，完整性控制和安全性控制。
如何利用异构系统归集技术，实现各子异构系统办公数据的整理合并，提高数据的采集效率，且对合并后的办公数据中非法，冗余数据进行剔除，对办公数据的传输进行加密，保障数据安全性，是我们需要解决的问题，为此，现提供一种用于办公数据的异构系统归集处理系统。
发明内容
本发明的目的在于提供一种用于办公数据的异构系统归集处理系统。
本发明的目的可以通过以下技术方案实现：一种用于办公数据的异构系统归集处理系统，包括归集中心，所述归集中心通信连接有数据采集模块，数据过滤模块，数据整合模块以及数据加密模块。
所述数据采集模块用于获取各个异构系统的办公数据；
所述数据过滤模块用于对数据采集模块所传输的办公数据进行过滤并生成数据流集合；
所述数据整合模块用于将生成的数据流集合转化为数据库数据并将所转化的数据库数据传输至归集中心；
所述数据加密模块用于对数据库数据在传输至归集中心的过程进行加密。
进一步的，所述数据采集模块获取各个异构系统的办公数据的过程包括：
所述异构系统设置有若干个并行的采集栈，所述采集栈内设置有若干个栈节点；
对采集栈和栈节点进行编号，生成二维数组，所述栈节点设置有对应的节点数据量阈值；
获取栈节点所在的采集栈中所有节点的节点数据量阈值，依据求和公式获取该采集栈的栈数据量阈值；
获取所有的栈数据量阈值，记为sum，获取异构系统中的办公数据的数据量，记为D，若D＞sum，增加采集栈的并行数量，直到满足D≤sum，若D≤sum，将办公数据传输至数据过滤模块。
进一步的，所述数据过滤模块设置有压缩单元和过滤单元；
所述压缩单元用于进行办公数据的压缩处理；
所述过滤单元用于对压缩单元所传输的数据包进行过滤处理。
进一步的，所述压缩单元对办公数据进行压缩处理的过程包括：
获取办公数据所在采集栈的栈数据量阈值和栈节点对应的节点数据量阈值；
当栈节点的办公数据的数据量大于该其节点数据量阈值，截取办公数据的所有字符按固定长度形成字符串，对每一个字符设置编码值；
获得栈节点的若干个字符串，依次扫描各字符串，根据扫描结果设置相应标记；
将每一个字符串对应的编码值压缩为二进制数值串，并设置对应标记文件夹存储标记，汇总二进制数值串和标记文件夹压缩生成数据包传输至过滤单元。
进一步的，所述过滤单元对压缩单元所传输的数据包进行过滤处理的过程包括：
将数据包解压，获取标记文件夹中的所有标记；
将标记对应的字符串设置为相应类型字符串，对应有相应类型的数据；
过滤单元设置有过滤队列，数据包进入过滤队列，根据标记统计相应类型字符串出现的频率；
设置标准频率指数，根据字符串出现的频率与标准频率指数，进行数据的剔除和保留；
将保留的数据转化为数据流，数据流合并为数据流集合上传至数据整合模块。
进一步的，所述数据整合模块将数据流集合转化为数据库数据的过程包括：
所述数据整合模块设置有总库数据库和分库数据库，所述数据库数据又分为总库数据和分库数据；
获取数据流集合，标记此数据流集合为分库数据，分库数据存储于分库数据库中，总库数据存储于总库数据库中；
将分库数据库中的分库数据进行合并分库处理后生成总库数据，并将总库数据导入至总库数据库存储。
进一步的，所述分库数据存储于分库数据库的过程包括：
所述分库数据库中设置有存储队列，排队队列，定时器以及分库系统标识，排队队列由若干队列节点组成；
所述存储队列设置有队列锁，队列锁设置有不同的状态值；
定时器定时读取分库数据，并根据队列锁的状态值将分库数据分配至存储队列和排队队列中；
获取存储队列和排队队列的读写权限，读取存储队列的状态值并修改，将排队队列中写入分库系统标识，读取被占用队列节点数量的最大值，并作为新的分库系统标识。
进一步的，所述分库数据进行合并分库的过程包括：
获得各分库数据库的数据库容量，设置数据库容量最大的分库数据库为主数据库，设置其他分库数据库为从数据库；
获得各从数据库的表，表信息以及修改信息，获得主数据库的表和表信息；
所述表信息包括表名，字段类型以及字段，所述字段由若干字段信息组成；
判断主数据库和从数据库的表是否存在重复，若表名一致，则存在表重复，扫描从数据库中表的所有字段；
若字段名重复，扫描字段中的所有字段信息，将不重复的字段信息拷贝至主数据库中表名一致的表内；
若字段名不重复，拷贝整个字段至主数据库中表名一致的表内；
若表名不一致，直接将从数据库中的整个表拷贝到主数据库中；
获取从数据库的修改信息，更新主数据库相应表信息。
进一步的，所述数据加密模块对数据库数据传输至归集中心进行加密的过程包括：
所述归集中心设置有归集云端数据库，所述归集云端数据库设置有若干个分库端口和总库端口；
分库数据库和总库数据库通过与归集云端数据库的分库端口或总库端口建立数据链接，将数据库数据存储于归集云端数据库中；
设置数据加密区间，将获取到的数据库数据转换为相应的字符串，获取字符串的长度，根据字符串长度设置不同的加密规则。
与现有技术相比，本发明的有益效果是：通过对异构系统中的每一个数据设置采集栈，采集栈分为若干栈节点，采集栈和栈节点设置有对应阈值，在数据采集阶段进行数据量和阈值的比对判断，根据结果来选择是否增加并行采集栈的数量从而提高数据采集效率；在数据过滤阶段，通过设置的标记和规则，对冗余、非法的数据进行判断并剔除；各异构系统的办公数据可以由分库数据库直接上传至归集中心，也可以汇总至总库数据库后间接上传，保证各异构系统的相对独立性，对数据按字符长度设置不同的加密规则，保证了数据安全性，实现了各异构系统中办公数据的归集处理。
附图说明
图1为本发明的原理图。
具体实施方式
如图1所示，一种用于办公数据的异构系统归集处理系统，包括归集中心，所述归集中心通信连接有数据采集模块，数据过滤模块，数据整合模块以及数据加密模块。
需要进一步说明的是，在具体实施过程中，通过归集处理技术构建用于合并各异构系统中的办公数据的归集云端数据库，所述归集云端数据库内设置了若干个分库端口和总库端口，各异构系统的办公数据可以由分库数据库通过分库端口上传至归集云端数据库，也可以将分库数据库的办公数据汇总至总库数据库中，再通过总库端口上传至归集云端数据库；
所述数据采集模块用于获取各个异构系统的办公数据，具体过程包括：
所述异构系统设置有若干个并行的采集栈，每个采集栈内设置有若干个栈节点；
对每个采集栈进行编号，记为i，其中i=1，2，3，......，n，n为整数；
对编号为i的采集栈内的每个栈节点进行编号，记为j，其中j=1，2，3，......，m，m为整数；
获取i和j的编号，生成二维数组Stack[i][j]，对每个二维数组设置对应的节点数据量阈值，并标记为D[i][j]；
获取采集栈i中若干个节点数据量阈值，由求和公式获得采集栈i的栈数据量阈值，记为D[i]，求和公式如下；
获取栈数据量阈值的总和，记为sum，获取异构系统中办公数据的数据量，记为D，若D≤sum，将办公数据传输至数据过滤模块，若D＞sum，增加采集栈的并行数量，继续编号n+1，n+2，......2n，n为整数，直到满足D≤sum时，将办公数据传输至数据过滤模块。
所述数据过滤模块用于对数据采集模块所传输的办公数据进行过滤并生成数据流集合，具体过程包括：
所述数据过滤模块设置有压缩单元和过滤单元；
所述压缩单元用于进行办公数据的压缩处理；
获取到办公数据后，获取其所在采集栈的栈数据量阈值D[i]，获取栈节点对应的二维数组Stack[i][j]和节点数据量阈值D[i][j]；
当单个栈节点中的办公数据的数据量超过该节点的节点数据量阈值D[i][j]时，将该栈节点的办公数据压缩为数据包；
具体的，办公数据压缩为数据包的过程为：
截取栈节点中的办公数据，对办公数据中的每一个字符设置编码值，编码值为整数，每个字符的编码值可根据Ascll编码字符集表格查询，将10个字符设置为一个字符串，每个字符串有对应的编码值；
重复上述操作，直到获得栈节点的若干个字符串，依次扫描各字符串，当每个字符串第一次出现时，设置一个保留标记S，第二次及以后出现时，设置一个剔除标记T；
将每一个字符串对应的编码值压缩为二进制数值串，每个二进制数值串设置有对应的标记文件夹，标记文件夹用于存储保留标记S和剔除标记T，汇总所有二进制数值串及其对应的标记文件夹，压缩打包生成数据包，将数据包传输至过滤单元。
所述过滤单元用于对压缩单元所传输的数据包进行过滤处理；
获取到数据包之后进行解压，获取数据包中的所有标记文件夹，获取标记文件夹中所有的剔除标记T和保留标记S；
将剔除标记对应的字符串设置为冗余字符串，记为TW，冗余字符串对应冗余数据；将保留标记对应的字符串设置为保留字符串，记为NW，保留字符串对应保留数据；
过滤单元设置有过滤队列，当解压后的数据包通过过滤队列之后，捕获标记文件夹中的标记，若标记为T，记录冗余字符串TW出现的频率，设置为F1，并将冗余数据剔除；若标记为S，记录保留字符串NW出现的频率，设置为F2，并存储保留数据；
设置标准冗余频率指数TWF和标准保留频率指数NWF，若F1≤TWF，则冗余数据过滤完全成功，将对应冗余数据的二进制数值串转为数据流，若F1＞TWF，则冗余数据过滤未完全成功，设置F1大于TWF的部分冗余数据为非法数据1，记为None1；若F2≤NWF，则保留数据成功，将对应保留数据的二进制数值串转为数据流，若F2＞NWF，则将F2大于NWF的部分保留数据设置为非法数据2，记为None2；
汇总非法数据None1和非法数据None2并标记为待过滤非法数据，记为None，当None＝0时，表示过滤完全成功，停止待过滤非法数据的标记，将数据流合并生成数据流集合上传至数据整合模块。
所述数据整合模块用于将生成的数据流集合转化为数据库数据，具体过程包括：
所述数据整合模块设置有总库数据库和分库数据库，所述数据库数据又分为总库数据和分库数据；
获取数据过滤模块生成的数据流集合，标记此数据流集合为分库数据，分库数据存储于分库数据库中，将分库数据库中的分库数据进行合并分库处理后生成总库数据，总库数据存储于总库数据库中；
具体的，分库数据存储于分库数据库的过程为：
分库数据库中设置有存储队列，排队队列，定时器以及分库系统标识，所述排队队列由若干队列节点组成；
所述存储队列设置有队列锁，所述队列锁设置有状态值0和1，0代表存储队列空闲，允许进行存储操作，1代表存储队列忙碌，禁止进行存储操作；
分库数据库中的定时器定时读取分库数据并将其入队存储队列中进行存储，能否进行存储则需要获取队列锁进行判断；
获取队列锁，判断队列锁的状态值，若状态值为0，则队列锁设置为“未占用”标识，若状态值为1，则队列锁设置为“已占用”标识；
获取队列锁标识和队列锁的状态值，获取存储队列读写权限和排队队列读写权限；
若队列锁标识为“未占用”，使用原子操作方式将队列锁的状态值设置为1，将分库数据写入存储队列中，存储完成后，将队列锁的状态值设置为0；
若队列锁标识为“已占用”，表示该分库数据库正在读取分库数据，以原子操作方式将队列锁的状态值设置为1，将分库数据先入队至排队队列中等待处理，写入当前分库数据库的分库系统标识至排队队列中，等待状态下，读取排队队列中被占用的队列节点个数的最大值，作为新的分库系统标识，当存储队列的队列锁标识为“未占用”时，将队列锁的状态值设置为0，继续进行存储操作。
具体的，分库数据进行合并分库处理生成总库数据的过程为：
获得各分库数据库的数据库容量，设置数据库容量最大的分库数据库为主数据库，设置其他分库数据库为从数据库；
获得各从数据库的表，表信息以及修改信息，获得主数据库的表和表信息；
所述表信息包括表名，字段类型以及字段，所述字段由若干字段信息组成，所述修改信息包括字段名和字段数量。
判断主数据库和从数据库的表是否存在重复；
若表名一致，则存在表重复，扫描从数据库中表的所有字段，若字段名重复，扫描字段中的所有字段信息，将不重复的字段信息拷贝至主数据库中表名一致的表内，若字段不重复，拷贝整个字段至主数据库中表名一致的表内；
若表名不一致，直接将从数据库中的整个表拷贝到主数据库中；
获得修改信息中的字段名，若该字段名对应的字段被修改，则将被修改的字段数量记录至修改信息中，将主数据库中的字段名和字段类型更改为从数据库中相应的字段名和字段类型；
主数据库中的每一个表都存储了分库数据的数据，合并所有表的数据生成总库数据，将总库数据传输至总库数据库中进行存储。
所述数据加密模块用于对数据库数据传输至归集中心的过程进行加密，具体过程包括：
所述归集中心设置有归集云端数据库，所述归集云端数据库设置有若干个分库端口和总库端口；
所述数据库数据传输至归集中心的过程包括两种，二者对应同一种加密过程；
分库数据库通过与归集云端数据库的分库端口建立数据链接，将分库数据存储于归集云端数据库中；
总库数据库通过与归集云端数据库的总库端口建立数据链接，将总库数据存储于归集云端数据库中；
具体的，加密过程为：
设置数据加密区间[0，A1)、[A1，A2)、[A2，A3]、(A3，+∞)
将获取到的数据库数据转换为相应的字符串，获取字符串的长度，记为L，根据L的值设置不同的加密规则；
若L∈[0，A1)，将字符串的字符从首位开始按照0-9循环编号，直到编号至A1-1位置；
若L∈[A1，A2)，将字符串的字符从A1位置按照A-Z循环编号，直到编号至A2-1位置；
若L∈[A2，A3]，将字符串的字符从A2位置按照a-z循环编号，直到编号至A3位置；
若L∈(A3，+∞)，从A3+1的位置开始，将字符串的每一个字符先转化为二进制数，再转换为十六进制数；
通过加密传输，总库数据库和分库数据库中的数据库数据上传至归集云端数据库，实现了办公数据的归集处理；
以上实施例仅用以说明本发明的技术方法而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方法进行修改或等同替换，而不脱离本发明技术方法精神和范围。

Claims (7)

1.一种用于办公数据的异构系统归集处理系统，包括归集中心，其特征在于，所述归集中心通信连接有数据采集模块，数据过滤模块，数据整合模块以及数据加密模块；
所述数据采集模块用于获取各个异构系统的办公数据，异构系统中设置有采集栈，采集栈包括栈节点；
所述数据过滤模块用于对数据采集模块所获取的办公数据进行过滤并生成数据流集合，数据过滤模块设置有压缩单元和过滤单元，压缩单元对办公数据进行压缩处理的过程包括：获取采集栈所设置的栈数据量阈值和栈节点对应设置的节点数据量阈值；当栈节点的办公数据的数据量大于该栈节点的节点数据量阈值，截取办公数据所包括的所有字符按固定长度形成字符串，对每一个字符设置编码值；获得栈节点的若干个字符串，依次扫描各字符串，根据扫描结果设置相应标记；将每一个字符串对应的编码值压缩为二进制数值串，并设置对应标记文件夹存储标记，汇总二进制数值串和标记文件夹压缩生成数据包传输至过滤单元，所述过滤单元用于对压缩单元所传输的数据包进行过滤处理；
所述数据整合模块用于将生成的数据流集合转化为数据库数据并将所转化的数据库数据传输至归集中心；
所述数据加密模块用于对数据库数据在传输至归集中心的过程进行加密。
2.根据权利要求1所述的一种用于办公数据的异构系统归集处理系统，其特征在于，所述数据采集模块获取各个异构系统的办公数据的过程包括：
所述异构系统设置有若干个并行的采集栈，所述采集栈内设置有若干个栈节点；
所述栈节点设置有对应的节点数据量阈值；
获取所在的采集栈中所有节点的节点数据量阈值，获得该采集栈的栈数据量阈值；
根据所有采集栈的栈数据量阈值，获取异构系统中的办公数据的数据量；
若办公数据的数据量总和大于栈数据量阈值总和，则增加采集栈的并行数量，直到满足办公数据的数据量总和小于栈数据量阈值总和；
若办公数据的数据量总和小于栈数据量阈值总和，将办公数据传输至数据过滤模块。
3.根据权利要求2所述的一种用于办公数据的异构系统归集处理系统，其特征在于，所述过滤单元对压缩单元所传输的数据包进行过滤处理的过程包括：
将数据包解压，获取标记文件夹中的所有标记；
将标记对应的字符串设置为相应类型字符串，对应有相应类型的数据；
过滤单元设置有过滤队列，数据包进入过滤队列，根据标记统计相应类型字符串出现的频率；
设置标准频率指数，根据字符串出现的频率与标准频率指数，进行数据的剔除或保留；
将保留的数据转化为数据流，数据流合并为数据流集合上传至数据整合模块。
4.根据权利要求3所述的一种用于办公数据的异构系统归集处理系统，其特征在于，所述数据整合模块将数据流集合转化为数据库数据的过程包括：
所述数据整合模块设置有总库数据库和分库数据库；
获取数据流集合，标记此数据流集合为分库数据；
将分库数据库中的分库数据进行合并分库处理后生成总库数据，并将总库数据导入至总库数据库存储。
5.根据权利要求4所述的一种用于办公数据的异构系统归集处理系统，其特征在于，所述分库数据存储于分库数据库的过程包括：
所述分库数据库中设置有存储队列，排队队列，定时器以及分库系统标识，排队队列由若干队列节点组成；
所述存储队列设置有队列锁，队列锁设置有不同的状态值；
定时器定时读取分库数据，并根据队列锁的状态值将分库数据分配至存储队列和排队队列中；
获取存储队列和排队队列的读写权限，读取存储队列的状态值并修改，将排队队列中写入分库系统标识，读取被占用队列节点数量的最大值，并作为新的分库系统标识。
6.根据权利要求5所述的一种用于办公数据的异构系统归集处理系统，其特征在于，所述分库数据进行合并分库的过程包括：
获得各分库数据库的数据库容量，设置主数据库和从数据库；
获得主数据库和从数据库的表，表信息以及从数据库的修改信息；
所述表信息包括表名，字段类型以及字段，所述字段由字段信息组成；
若表名一致，则存在表重复，扫描从数据库中表的所有字段；
若字段名重复，扫描字段中的所有字段信息，将不重复的字段信息拷贝至主数据库中表名一致的表内；
若字段名不重复，拷贝整个字段至主数据库中表名一致的表内；
若表名不一致，直接将从数据库中的整个表拷贝到主数据库中，获取从数据库的修改信息，更新主数据库相应表信息。
7.根据权利要求6所述的一种用于办公数据的异构系统归集处理系统，其特征在于，所述数据加密模块对数据库数据传输至归集中心进行加密的过程包括：
所述归集中心设置有归集云端数据库，所述归集云端数据库设置有若干个分库端口和总库端口；
分库数据库和总库数据库通过与归集云端数据库的分库端口或总库端口建立数据链接，将数据库数据存储于归集云端数据库中；
设置数据加密区间，将获取到的数据库数据转换为相应的字符串，获取字符串的长度，根据字符串长度设置不同的加密规则。
CN202310713420.3A 2023-06-16 2023-06-16 一种用于办公数据的异构系统归集处理系统 Active CN116450747B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310713420.3A CN116450747B (zh) 2023-06-16 2023-06-16 一种用于办公数据的异构系统归集处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310713420.3A CN116450747B (zh) 2023-06-16 2023-06-16 一种用于办公数据的异构系统归集处理系统

Publications (2)

Publication Number Publication Date
CN116450747A true CN116450747A (zh) 2023-07-18
CN116450747B CN116450747B (zh) 2023-08-29

Family

ID=87122326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310713420.3A Active CN116450747B (zh) 2023-06-16 2023-06-16 一种用于办公数据的异构系统归集处理系统

Country Status (1)

Country Link
CN (1) CN116450747B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1995032477A1 (en) * 1994-05-23 1995-11-30 Basil E. Potter & Associates, Inc. Compressed database with selection of compaction methods
US20080071818A1 (en) * 2006-09-18 2008-03-20 Infobright Inc. Method and system for data compression in a relational database
EP2562647A1 (en) * 2011-08-22 2013-02-27 Solarflare Communications Inc Modifying application behaviour
CN104954469A (zh) * 2015-06-19 2015-09-30 长沙廖氏软件科技有限公司 一种异构系统信息交换方法
WO2016141491A1 (en) * 2015-03-10 2016-09-15 Royal Bank Of Canada Systems and methods for managing data
CN108446293A (zh) * 2018-01-22 2018-08-24 中电海康集团有限公司 一种基于城市多源异构数据构建城市画像的方法
CN108959626A (zh) * 2018-07-23 2018-12-07 四川省烟草公司成都市公司 一种跨平台异构数据简报高效自动生成方法
WO2019019799A1 (zh) * 2017-07-25 2019-01-31 平安科技（深圳）有限公司 数据共享方法、电子装置及计算机可读存储介质
CN112364360A (zh) * 2020-11-11 2021-02-12 南京信息职业技术学院 一种财务数据安全管理系统
CN113868318A (zh) * 2021-09-28 2021-12-31 中国环境科学研究院 一种大气环境综合数据采集及共享系统
WO2022048050A1 (zh) * 2020-09-06 2022-03-10 厦门理工学院 一种大数据信息采集系统及使用方法
CN115798137A (zh) * 2022-08-02 2023-03-14 中建铁路投资建设集团有限公司 一种基于物联网的三维可视化大数据监控和预警系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1995032477A1 (en) * 1994-05-23 1995-11-30 Basil E. Potter & Associates, Inc. Compressed database with selection of compaction methods
US20080071818A1 (en) * 2006-09-18 2008-03-20 Infobright Inc. Method and system for data compression in a relational database
EP2562647A1 (en) * 2011-08-22 2013-02-27 Solarflare Communications Inc Modifying application behaviour
WO2016141491A1 (en) * 2015-03-10 2016-09-15 Royal Bank Of Canada Systems and methods for managing data
CN104954469A (zh) * 2015-06-19 2015-09-30 长沙廖氏软件科技有限公司 一种异构系统信息交换方法
WO2019019799A1 (zh) * 2017-07-25 2019-01-31 平安科技（深圳）有限公司 数据共享方法、电子装置及计算机可读存储介质
CN108446293A (zh) * 2018-01-22 2018-08-24 中电海康集团有限公司 一种基于城市多源异构数据构建城市画像的方法
CN108959626A (zh) * 2018-07-23 2018-12-07 四川省烟草公司成都市公司 一种跨平台异构数据简报高效自动生成方法
WO2022048050A1 (zh) * 2020-09-06 2022-03-10 厦门理工学院 一种大数据信息采集系统及使用方法
CN112364360A (zh) * 2020-11-11 2021-02-12 南京信息职业技术学院 一种财务数据安全管理系统
CN113868318A (zh) * 2021-09-28 2021-12-31 中国环境科学研究院 一种大气环境综合数据采集及共享系统
CN115798137A (zh) * 2022-08-02 2023-03-14 中建铁路投资建设集团有限公司 一种基于物联网的三维可视化大数据监控和预警系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘艳民;张旺强;祝忠明;陈宏东;: "基于深度学习的主题资源监测采集功能实现研究", 图书与情报, no. 02 *
郑立华;郭享;李民赞;李新成;陈元;肖昌一;: "面向异构平台的谷物测产数据采集及实现", 农业工程学报, no. 09 *

Also Published As

Publication number Publication date
CN116450747B (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
US9405790B2 (en) System, method and data structure for fast loading, storing and access to huge data sets in real time
JP5377318B2 (ja) 個別にアクセス可能なデータユニットの格納管理
CN105069111B (zh) 云存储中基于相似性的数据块级数据去重方法
CN101236554B (zh) 一种数据库海量数据比对的方法
CN104462141B (zh) 一种数据存储与查询的方法、系统及存储引擎装置
US6725225B1 (en) Data management apparatus and method for efficiently generating a blocked transposed file and converting that file using a stored compression method
CN104393951B (zh) 一种基于排队的遥感载荷通用数据处理系统
CN1282339C (zh) 一种用于以太网无源光网络的数据帧缓存设备和方法
CN105989129A (zh) 实时数据统计方法和装置
JPH01156840A (ja) ハイパーメディアシステム用ガベジコレクタ
CN1516158A (zh) 信息再生设备
CN101630323B (zh) 确定自动机的空间压缩方法
CN102893265A (zh) 管理可独立访问的数据单元的存储
CN114997843A (zh) 一种企业运营管理信息存储系统
CN116450747B (zh) 一种用于办公数据的异构系统归集处理系统
CN114090555A (zh) 一种ais数据处理方法及系统
CN109150912A (zh) 基于安全存储技术的网间大数据交换管理方法
CN115952146A (zh) 一种应用于直流控制保护装置关键信息监管的文件管理系统
CN106599326B (zh) 一种云化架构下的记录数据剔重处理方法及系统
CN112613060B (zh) 基于联盟区块链的多节点存储系统及方法
CN104869056A (zh) 一种基于关系-数据分离的机构-人员数据同步方法
US8688655B2 (en) Network analysis
CN111352587A (zh) 一种数据打包方法、装置
CN117614607B (zh) 一种基于区块链的信息安全传输系统和方法
CN106855877A (zh) 一种大数据的同步复制的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant