CN104899312B - 一种多层分类数据体系的数据更新方法 - Google Patents
一种多层分类数据体系的数据更新方法 Download PDFInfo
- Publication number
- CN104899312B CN104899312B CN201510329665.1A CN201510329665A CN104899312B CN 104899312 B CN104899312 B CN 104899312B CN 201510329665 A CN201510329665 A CN 201510329665A CN 104899312 B CN104899312 B CN 104899312B
- Authority
- CN
- China
- Prior art keywords
- data
- main body
- update
- seperated
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000004992 fission Effects 0.000 claims abstract description 33
- 238000013507 mapping Methods 0.000 claims abstract description 18
- 230000008859 change Effects 0.000 claims description 2
- 238000004321 preservation Methods 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 5
- 230000008901 benefit Effects 0.000 abstract description 2
- 230000001360 synchronised effect Effects 0.000 description 11
- 238000012423 maintenance Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/275—Synchronous replication
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Computer Security & Cryptography (AREA)
- Storage Device Security (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种多层分类数据体系的数据更新方法，该方法的步骤是首先在主体系表中添加各分体系数据副本表以及主体系表与分体系表之间的映射关系表，然后对主体系和各分体系进行定时扫描，将扫描数据结果格式化为json格式并加密保存，并生成更新文件的hash值检验码，接着分体系所在端定时扫描主体系端是否有最新文件和定时扫描自身是否有最新更新内容，并生成对应的更新文件，最后实现定时同步更新主体系数据和上传分体系数据。本发明的优点是不但可以减少分体系所在端对主体系所在端的访问压力，保证主体系和分体系数据相一致，而且对网络要求低，过程简单，能够保证数据的安全传递、有效更新。
Description
技术领域：
本发明涉及大数据的分类和处理技术领域，具体讲是一种多层分类数据体系的数据更新方法。
背景技术：
在数据处理特别是大数据的分类和处理领域中，存在大量的数据需要进行分类，而往往这些数据的分类依据多种分类标准由多个主体独立进行维护，这些独立维护的分类数据无法保证数据的一致性从而影响数据的更新和同步。
通常，我们把数据的分类和数据的处理统称为体系数据。把由主体数据维护责任人发布的体系数据称为主体系数据，由部分数据维护责任人发布的体系数据称为部分体系数据。这样上述问题可以描述为主体系数据和部分体系数据的更新和同步问题。
传统的分层数据体系更新方法是主动将主体系数据往各分体系推送以达到各分体系数据更新，主要使用的技术手段包括使用数据库自带的触发器机制和数据同步复制机制向各分体系进行推送或者通过文件Web service服务直接从主体系中读取数据来更新各分体系数据。通常数据库管理软件都带有触发器机制，比如在实际操作中，表A数据变化同时，表B同时需要变化，这时候可以在表A中添加一个触发器，只要对表A数据进行操作，立刻会按照触发器预先设置的操作要求对表B数据进行处理。上述传统分层数据体系更新方法在实际应用中存在以下缺陷：1、上述技术主要针对同源数据库，对于异构数据库由于数据格式定义的差异无法完成数据同步更新；2、对于各分体系同时从主体系中读取更新数据时会造成主体系数据访问压力；3、主体系数据跟各分体系数据进行同步交互时对于网络要求也较高。
发明内容：
本发明要解决的技术问题是，提供一种不但可以减少分体系所在端对主体系所在端的访问压力，保证主体系和分体系数据相一致，而且对网络要求低，过程简单，能够保证数据的安全传递、有效更新的多层分类数据体系的数据更新方法。
本发明的技术解决方案是，提供一种多层分类数据体系的数据更新方法，该数据更新方法包括以下步骤：
①、在主体系表中添加各分体系数据副本表以及主体系表与分体系表之间的映射关系表；
②、对主体系和各分体系进行定时扫描，并将扫描结果以json的方式进行格式化，同时进行加密保存，并生成更新文件的hash值检验码，如果更新文件的hash值检验码与本地已经存在的数据文件hash值检验码相同，则不替换更新文件，若生成的hash值检验码不同，则将保存最新更新文件并更新hash值校验码；
③、分体系所在端定时扫描主体系端是否有最新文件和定时扫描自身是否有最新更新内容，并生成对应的更新文件，最后实现定时同步更新主体系数据和上传分体系数据。
采用上述方法后，与现有技术相比，本发明的有益技术效果是：
1、本发明中的主体系数据与各分体系数据是通过一个映射表进行建立管理的，当主体系表更新时，先更新主体系数据表，主体系数据表根据触发器同步更新各分体系数据，换句话说，只要主体系数据更新，各分体系数据就会同步更新，从而保证主体系和分体系数据相一致。
2、各分体系端从主体系端定时将数据同步到分体系端，这样分体系端就相当于从本地读取主体系端数据，从而可以减少分体系所在端对主体系所在端的访问压力。
3、本发明中主体系端和分体系端不需要实时连接，可以设置具体的连接时间，比如默认一个小时会同步一次主体系数据和分体系数据，这样减少分体系向主体系访问量，不需要太大的宽带服务，因此本发明的实施过程中对网络的要求比较低。
4、本发明可以通过程序定时执行数据同步，无需人工手动操作，因此其过程比较简单。
5、所有更新数据都是经过加密处理，保证了数据的安全，同时在数据传输完成后会检验更新文件的完整型，保证每次更新数据的有效性。
附图说明：
图1是分类名称和URI说明示意图；
图2主体系与分体系之间的映射关系示意图；
图3是主体系数据更新到分体系的流程图；
图4是分体系数据上传到主体系的流程图。
具体实施例：
下面结合附图和具体实施例对本发明一种多层分类数据体系的数据更新方法作进一步说明：
多层分类数据主要是指以树形结构进行存储和展示的数据，通过URI资源定位进行层级定位区分，如图1所示，技术标准的URI为JSBZ，技术标准下面的分类综合标准的URI为JSBZ.ZHBZ,技术标准下面的信息技术为JSBZ.XXJS，这样可通过URI对多层分类数据进行解析，实现以树形结构进行展示。多层分类数据体系的数据更新涉及到两个方面的数据同步更新，一个是分体系从主体系获取最新分层数据并进行更新，另一个是分体系主动将自建数据同步到主体系中。通过这两种步骤后可以达到主体系和分体系数据进行同步更新，以及将各分体系自建数据同步到主体系中。
在本具体实施例中，本发明一种多层分类数据体系的数据更新方法包括以下步骤：、
①、先建立一个公共的主体系表，然后各分体系数据副本表通过主体系表派生出来，由于每个分体系数据不同，所以派生出来的结果也不相同，主体系表与分体系表之间通过映射关系表，如图1所示，来确定对应关系；
②、对主体系和各分体系进行定时扫描，并将扫描结果以json的方式进行格式化，同时进行加密处理，并生成更新文件的hash值检验码，如果生成更新文件的hash值检验码与本地已经存在的数据文件hash值检验码相同，则不替换更新文件，若生成的hash值检验码不同，则将保存最新更新文件并更新hash值校验码；
③、分体系所在端定时扫描主体系端是否有最新文件和定时扫描自身是否有最新更新内容，并生成对应的更新文件，然后实现定时同步更新主体系数据和上传分体系数据。
其中，映射关系表的映射原理是：主体系端保存的数据包括主体系表A和各分体系表B1，B2…，表A和各分体系表B的关系就是通过映射表来建立对应关系，该映射表存放的分别对应主体系表关键字和各分体系表关键字，如主体系表A一个分类数据为技术标准，对应的URI为M.JSBZ.同时各分体系数据也要有技术标准分类那么，各分体系URI对应的为C.B1.JSBZ、C.B2.JSBZ、C.B3.JSBZ，这样通过映射表，可以找到主体系表A总共派生了多少分体系数据，同时也可以根据分体系数据找到对应的主体系数据。
本发明中在主体系表中添加各分体系数据副本表以及主体系表与分体系表之间的映射关系表的目的为了解决目前由于分体系同时对主体系数据的集中访问而造成的服务器访问压力以及对各分体系异构数据源的支持，对主体系表的任何操作都可以通过映射关系来对各分体系数据进行同步操作，这样可以保持主体系数据与分体系数据相一致。
如图2所示，利用本发明一种多层分类数据体系的数据更新方法，主体系数据更新到分体系中的具体步骤如下：
①、主体系更新数据时利用触发器机制和根据映射关系表的映射关系，通过URI来同步更新各分体系数据副本；
②、主体系数据所在端会定时扫描各分体系数据副本，并将扫描数据结果格式化为json格式并加密保存，同时生成该更新文件对应的hash值校验码，如果生成的hash值校验码与本地已经存在的数据文件hash值校验码相同，则不替换更新文件，若生成的hash值校验码不同则将保存并替换各分体系最新更新文件，保存hash值校验码，
③、各分体系所在端通过文件服务的Web service从主体系所在端读取对应的数据副本，若读取的更新文件hash值校验码跟分体系所在端存在的更新文件hash值校验码相同，则不处理，若不同，则读取最新数据副本，解密和解析更新文件数据并更新到分体系中，同时更新分体系所在端最新的更新文件和文件的hash值校验码。
如图3所示，利用本发明一种多层分类数据体系的数据更新方法，分体系数据上传到主体系中的具体步骤如下：
①、各分体系所在端定时扫描自建数据，将扫描结果进行json格式化后加密保存，同时生成文件对应的hash值校验码，如果生成的hash值校验码与本地已经存在的数据文件校验码相同，则不替换更新文件，若生成的校验码不同则将保存并更新hash值校验码，同时通过文件服务的Web service将数据文件上传至主体系所在端对应的各分体系更新文件目录中；
②、主体系所在端定时扫描保存的各分体系更新目录中最新更新文件的校验码，若最新数据文件的校验码与最近一次更新的校验码不同，则解密和解析数据文件并生成更新脚本进行数据更新，若相同则不更新。
以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。
Claims (3)
1.一种多层分类数据体系的数据更新方法，其特征在于：该数据更新方法包括以下步骤：
①、在主体系表中添加各分体系数据副本表以及主体系表与分体系表之间的映射关系表，先建立一个公共的主体系表，然后各分体系数据副本表通过主体系表派生出来，由于每个分体系数据不同，所以派生出来的结果也不相同，主体系表与分体系表之间通过映射关系表来确定对应关系；
②、对主体系和各分体系进行定时扫描，并将扫描结果以json的方式进行格式化，同时进行加密保存，并生成更新文件的hash值检验码，如果更新文件的hash值检验码与本地已经存在的数据文件hash值检验码相同，则不替换更新文件，若生成的hash值检验码不同，则将保存最新更新文件并更新hash值校验码；
③、分体系所在端定时扫描主体系端是否有最新文件和定时扫描自身是否有最新更新内容，并生成对应的更新文件，最后实现定时同步更新主体系数据和上传分体系数据。
2.根据权利要求1所述的一种多层分类数据体系的数据更新方法，其特征在于：主体系数据更新到分体系中的具体步骤如下：
①、主体系更新数据时根据映射关系表的映射关系，通过URI来更新各分体系数据副本；
②、主体系数据所在端会定时扫描各分体系数据副本，将扫描数据结果格式化为json格式并加密保存，同时生成该更新文件的hash值校验码，如果生成的hash值校验码与本地已经存在的数据文件hash值校验码相同，则不替换更新文件，若生成的hash值校验码不同则将保存最新更新文件并更新hash值校验码；
③、各分体系所在端通过文件服务的Web service从主体系所在端读取对应的数据副本，若读取的更新文件hash值校验码跟分体系所在端存在的更新文件hash值校验码相同，则不处理，若不同，则读取最新数据副本，解密和解析更新文件数据并更新到分体系中，同时更新分体系所在端最新的更新文件和文件的hash值校验码。
3.根据权利要求1所述的一种多层分类数据体系的数据更新方法，其特征在于：分体系数据上传到主体系中的具体步骤如下：
①、各分体系所在端定时扫描自建数据，将扫描结果进行json格式化后加密保存，同时生成文件对应的hash值校验码，如果生成的校验码与本地已经存在的数据文件校验码相同，则不替换更新文件，若生成的校验码不同，则将保存并更新hash值校验码，同时通过文件服务的Web service将数据文件上传至主体系所在端对应的各分体系更新文件目录中；
②、主体系所在端定时扫描保存的各分体系更新目录中最新更新文件的校验码，若最新数据文件的校验码与最近一次更新的校验码不同，则解密和解析数据文件并生成更新脚本进行数据更新，并修改hash值校验码，若相同，则不更新。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510329665.1A CN104899312B (zh) | 2015-06-15 | 2015-06-15 | 一种多层分类数据体系的数据更新方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510329665.1A CN104899312B (zh) | 2015-06-15 | 2015-06-15 | 一种多层分类数据体系的数据更新方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104899312A CN104899312A (zh) | 2015-09-09 |
| CN104899312B true CN104899312B (zh) | 2018-07-31 |
Family
ID=54031974
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510329665.1A Active CN104899312B (zh) | 2015-06-15 | 2015-06-15 | 一种多层分类数据体系的数据更新方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104899312B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105718601B (zh) * | 2016-03-09 | 2019-04-30 | 浪潮天元通信信息系统有限公司 | 一种业务动态集成模型及其应用方法 |
| CN110019005A (zh) * | 2017-09-29 | 2019-07-16 | 北京嘀嘀无限科技发展有限公司 | 文件更新方法、装置、计算机设备和可读存储介质 |
| JP7071192B2 (ja) * | 2018-03-29 | 2022-05-18 | キヤノン株式会社 | 画像形成装置、画像形成装置の制御方法 |
| CN112000680A (zh) * | 2020-05-15 | 2020-11-27 | 索意互动（北京）信息技术有限公司 | 数据更新方法、数据更新装置及执行数据更新方法的计算机程序产品 |
| CN112464293A (zh) * | 2020-09-06 | 2021-03-09 | 厦门天锐科技股份有限公司 | 一种确定文件修改状态的方法和装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102667761A (zh) * | 2009-06-19 | 2012-09-12 | 布雷克公司 | 可扩展的集群数据库 |
| CN103778223A (zh) * | 2014-01-22 | 2014-05-07 | 河海大学 | 一种基于云平台的普适背单词系统及其构建方法 |
| CN104090948A (zh) * | 2014-07-02 | 2014-10-08 | 中广核工程有限公司 | 核电站海量数据处理方法、装置及系统 |
| CN104239310A (zh) * | 2013-06-08 | 2014-12-24 | 中国移动通信集团公司 | 分布式数据库数据同步方法和装置 |
| CN104298761A (zh) * | 2014-10-23 | 2015-01-21 | 浪潮通用软件有限公司 | 一种异构软件系统间主数据匹配的实现方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8332353B2 (en) * | 2007-01-31 | 2012-12-11 | International Business Machines Corporation | Synchronization of dissimilar databases |
| US8805855B2 (en) * | 2012-08-17 | 2014-08-12 | International Business Machines Corporation | Efficiently storing and retrieving data and metadata |
| US9152338B2 (en) * | 2013-02-21 | 2015-10-06 | International Business Machines Corporation | Snapshot management in hierarchical storage infrastructure |
-
2015
- 2015-06-15 CN CN201510329665.1A patent/CN104899312B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102667761A (zh) * | 2009-06-19 | 2012-09-12 | 布雷克公司 | 可扩展的集群数据库 |
| CN104239310A (zh) * | 2013-06-08 | 2014-12-24 | 中国移动通信集团公司 | 分布式数据库数据同步方法和装置 |
| CN103778223A (zh) * | 2014-01-22 | 2014-05-07 | 河海大学 | 一种基于云平台的普适背单词系统及其构建方法 |
| CN104090948A (zh) * | 2014-07-02 | 2014-10-08 | 中广核工程有限公司 | 核电站海量数据处理方法、装置及系统 |
| CN104298761A (zh) * | 2014-10-23 | 2015-01-21 | 浪潮通用软件有限公司 | 一种异构软件系统间主数据匹配的实现方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104899312A (zh) | 2015-09-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104899312B (zh) | 一种多层分类数据体系的数据更新方法 | |
| US11163906B2 (en) | Adaptive redaction and data releasability systems using dynamic parameters and user defined rule sets | |
| CN102819591B (zh) | 一种基于内容的网页分类方法及系统 | |
| CN110990390B (zh) | 数据协同处理方法、装置、计算机设备和存储介质 | |
| CN106951557B (zh) | 日志关联方法、装置和应用其的计算机系统 | |
| US20170004150A1 (en) | Storing and processing data organized as flexible records | |
| CN107273474A (zh) | 基于潜在语义分析的自动摘要抽取方法及系统 | |
| RU2662405C2 (ru) | Автоматическое формирование сертификационных документов | |
| CN106850761A (zh) | 日志文件存储方法及装置 | |
| US11042529B2 (en) | System of migration and validation | |
| CN105975495A (zh) | 大数据的存储、搜索方法及装置 | |
| CN110807038A (zh) | 一种基于Elasticsearch的CMDB信息全文检索方法 | |
| Maiti et al. | Capturing, eliciting, and prioritizing (CEP) NFRs in agile software engineering | |
| CN105721519B (zh) | 一种网页数据采集方法、装置及系统 | |
| Lee et al. | The efficient implementation of distributed indexing with Hadoop for digital investigations on Big Data | |
| US10133801B2 (en) | Providing data aggregated from various sources to a client application | |
| Gonçalves et al. | Revisiting the dataset gap problem–On availability, assessment and perspective of mobile forensic corpora | |
| US8984028B2 (en) | Systems and methods for storing data and eliminating redundancy | |
| CN104717082A (zh) | 业务模型的适配方法及系统 | |
| CN113961569B (zh) | 一种医疗数据etl任务同步方法和装置 | |
| MacFadden et al. | Horses in the cloud: big data exploration and mining of fossil and extant Equus (Mammalia: Equidae) | |
| CN104714985A (zh) | 一种提升表单审批效率的方法及装置 | |
| CN114860946A (zh) | 一种图谱网络的生成方法和装置 | |
| US9215150B2 (en) | Feature set negotiation framework | |
| CN105653907B (zh) | 生成授权文件的方法与装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |