CN117952324B - 一种基于冗余信息的政务数据管理方法及相关装置 - Google Patents
一种基于冗余信息的政务数据管理方法及相关装置 Download PDFInfo
- Publication number
- CN117952324B CN117952324B CN202410348119.1A CN202410348119A CN117952324B CN 117952324 B CN117952324 B CN 117952324B CN 202410348119 A CN202410348119 A CN 202410348119A CN 117952324 B CN117952324 B CN 117952324B
- Authority
- CN
- China
- Prior art keywords
- data
- government
- data source
- source
- redundant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000013523 data management Methods 0.000 title claims abstract description 43
- 238000004458 analytical method Methods 0.000 claims abstract description 83
- 238000012545 processing Methods 0.000 claims abstract description 20
- 230000011218 segmentation Effects 0.000 claims description 44
- 238000004364 calculation method Methods 0.000 claims description 42
- 230000008859 change Effects 0.000 claims description 22
- 238000013507 mapping Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 125000004122 cyclic group Chemical group 0.000 claims description 9
- 238000013075 data extraction Methods 0.000 claims description 9
- 238000013506 data mapping Methods 0.000 claims description 9
- 238000012216 screening Methods 0.000 claims description 3
- 238000007405 data analysis Methods 0.000 claims description 2
- 230000000875 corresponding effect Effects 0.000 description 196
- 230000005540 biological transmission Effects 0.000 description 29
- 230000008569 process Effects 0.000 description 28
- 238000007726 management method Methods 0.000 description 18
- 230000036541 health Effects 0.000 description 17
- 238000000638 solvent extraction Methods 0.000 description 12
- 239000000284 extract Substances 0.000 description 10
- 238000012544 monitoring process Methods 0.000 description 7
- 230000007613 environmental effect Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 238000012795 verification Methods 0.000 description 6
- 239000010813 municipal solid waste Substances 0.000 description 5
- 239000000356 contaminant Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000013439 planning Methods 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 230000036760 body temperature Effects 0.000 description 3
- 230000002354 daily effect Effects 0.000 description 3
- 238000013144 data compression Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 238000013480 data collection Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000003442 weekly effect Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000012300 Sequence Analysis Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013496 data integrity verification Methods 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
- G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
- G06F11/1004—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's to protect a block of data words, e.g. CRC or checksum
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Tourism & Hospitality (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Educational Administration (AREA)
- Quality & Reliability (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- General Engineering & Computer Science (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Computer Security & Cryptography (AREA)
- Health & Medical Sciences (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及数据处理技术领域,公开了一种基于冗余信息的政务数据管理方法及相关装置,用于提高基于冗余信息的政务数据管理的准确率及安全性。包括:对每个政务数据源对应的初始冗余数据进行编码数据段分割,得到每个政务数据源的初始冗余数据的第一编码数据段及第二编码数据段并进行数据编码,得到每个政务数据源对应的目标冗余数据;获取客户终端发送的政务数据请求,对政务数据请求进行请求数据冗余特征分析,得到目标冗余特征;对每个政务数据源对应的目标冗余数据进行数据采集,得到目标政务请求数据,将政务请求数据发送至客户终端。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及一种基于冗余信息的政务数据管理方法及相关装置。
背景技术
政务数据在现代社会中起着至关重要的作用,机构和公众都需要可靠、高效的数据访问和管理。为了满足这一需求,组织不断努力改进数据采集、校验、存储和传输的技术。
现代政务数据通常具有多样性,包括结构化和非结构化数据、文本、图像、视频等。上述技术在处理不同类型和格式的数据时存在限制,需要更多的通用性和灵活性,以适应多样性的数据来源。政务数据的实时性对决策和公众服务至关重要。然而,现有技术在实时数据处理和响应方面存在挑战,需要更高效的方法来应对大规模、高速的数据流。政务数据通常包含敏感信息,如个人身份信息、财务数据等。尽管CRC校验等技术可以确保数据完整性,但数据安全性问题仍然是一个挑战。机构需要更强大的安全措施来保护数据免受未经授权的访问和恶意攻击。
发明内容
本发明提供了一种基于冗余信息的政务数据管理方法及相关装置,用于提高基于冗余信息的政务数据管理的准确率及安全性。
本发明第一方面提供了一种基于冗余信息的政务数据管理方法,所述基于冗余信息的政务数据管理方法包括:
标定多个政务数据源,同时,从多个所述政务数据源采集政务数据,得到每个所述政务数据源对应的政务数据集合;
分别对每个所述政务数据源对应的政务数据集合进行数据块分割,得到每个所述政务数据源对应的多个数据块;
分别对每个所述政务数据源对应的多个数据块进行CRC生成多项式匹配,得到每个所述政务数据源对应的目标CRC生成多项式,同时,基于每个所述政务数据源对应的目标CRC生成多项式,对每个所述政务数据源对应的多个数据块进行校验值计算,得到每个所述政务数据源对应的CRC校验值;
基于每个所述政务数据源对应的CRC校验值,分别对每个所述政务数据源对应的多个数据块进行校验值附加,得到每个所述政务数据源对应的初始冗余数据;
分别对每个所述政务数据源对应的初始冗余数据进行编码数据段分割,得到每个所述政务数据源的初始冗余数据的第一编码数据段以及第二编码数据段;
基于每个所述政务数据源的初始冗余数据的第一编码数据段以及第二编码数据段,分别对每个所述政务数据源对应的初始冗余数据进行数据编码,得到每个所述政务数据源对应的目标冗余数据;
获取客户终端发送的政务数据请求,并对所述政务数据请求进行请求数据冗余特征分析,得到目标冗余特征;
通过所述目标冗余特征对每个所述政务数据源对应的目标冗余数据进行数据采集,得到目标政务请求数据,并将所述政务请求数据发送至所述客户终端。
结合第一方面,在本发明第一方面的第一实施方式中,所述分别对每个所述政务数据源对应的政务数据集合进行数据块分割,得到每个所述政务数据源对应的多个数据块,包括:
分别对每个所述政务数据源对应的政务数据集合进行格式标准化处理,得到每个所述政务数据源对应的标准化政务数据;
分别对每个所述政务数据源对应的标准化政务数据进行分割策略匹配,得到每个所述标准化政务数据对应的数据分割策略;
基于每个所述标准化政务数据对应的数据分割策略,分别对每个所述政务数据源对应的政务数据集合进行数据块分割,得到每个所述政务数据源对应的多个数据块。
结合第一方面,在本发明第一方面的第二实施方式中,所述分别对每个所述政务数据源对应的多个数据块进行CRC生成多项式匹配,得到每个所述政务数据源对应的目标CRC生成多项式,同时,基于每个所述政务数据源对应的目标CRC生成多项式,对每个所述政务数据源对应的多个数据块进行校验值计算,得到每个所述政务数据源对应的CRC校验值,包括:
分别对每个所述政务数据源对应的多个数据块进行数据块数量分析,得到每个所述政务数据源对应的数据块数量;
根据每个所述政务数据源对应的数据块数量以及预置的生成多项式数据库,分别对每个所述政务数据源对应的多个数据块进行CRC生成多项式筛选,得到每个所述政务数据源对应的目标CRC生成多项式;
通过每个所述政务数据源对应的目标CRC生成多项式,分别对每个所述政务数据源对应的每个数据块进行CRC校验器初始化处理,得到多个目标CRC校验器;
通过多个所述目标CRC校验器,分别对每个所述政务数据源对应的每个数据块进行字节遍历,得到每个所述政务数据源对应的每个数据块的字节数据信息;
基于每个所述政务数据源对应的每个数据块的字节数据信息,对每个所述政务数据源对应的多个数据块进行校验值计算,得到每个所述政务数据源对应的CRC校验值。
结合第一方面,在本发明第一方面的第三实施方式中,所述分别对每个所述政务数据源对应的初始冗余数据进行编码数据段分割,得到每个所述政务数据源的初始冗余数据的第一编码数据段以及第二编码数据段,包括:
分别对每个所述政务数据源对应的初始冗余数据进行时间戳分析,得到每个所述政务数据源对应的初始冗余数据的时间戳集合;
基于每个所述政务数据源对应的初始冗余数据的时间戳集合,分别对每个所述政务数据源对应的初始冗余数据进行时序数据转换,得到每个所述政务数据源对应的时序数据集合;
基于每个所述政务数据源对应的时序数据集合,分别对每个所述政务数据源对应的初始冗余数据进行数据关键节点匹配,得到每个所述政务数据源对应的初始冗余数据的多个数据关键节点;
分别对每个所述政务数据源对应的初始冗余数据的多个数据关键节点进行节点划分,得到每个所述政务数据源对应的初始冗余数据的第一节点集群以及第二节点集群;
通过每个所述政务数据源对应的初始冗余数据的第一节点集群以及第二节点集群,分别对每个所述政务数据源对应的初始冗余数据进行编码数据段分割,得到每个所述政务数据源的初始冗余数据的第一编码数据段以及第二编码数据段。
结合第一方面,在本发明第一方面的第四实施方式中,所述基于每个所述政务数据源的初始冗余数据的第一编码数据段以及第二编码数据段,分别对每个所述政务数据源对应的初始冗余数据进行数据编码,得到每个所述政务数据源对应的目标冗余数据,包括:
对每个所述政务数据源的初始冗余数据的第一编码数据段进行数据点差异分析,得到每个所述政务数据源的初始冗余数据的差异数据点集合;
对每个所述政务数据源的初始冗余数据的差异数据点集合进行数据变化趋势分析,得到每个所述政务数据源的初始冗余数据的数据变化趋势;
通过每个所述政务数据源的初始冗余数据的数据变化趋势,分别对每个所述政务数据源的初始冗余数据的第一编码数据段进行差异编码,得到每个所述政务数据源的初始冗余数据的差异编码数据;
对每个所述政务数据源的初始冗余数据的第二编码数据段进行数据区间提取,得到每个所述政务数据源的初始冗余数据的数据区间信息;
基于每个所述政务数据源的初始冗余数据的数据区间信息,分别对每个所述政务数据源的初始冗余数据进行编码数据映射,得到每个所述政务数据源的初始冗余数据的映射编码数据;
分别对每个所述政务数据源的初始冗余数据的差异编码数据以及每个所述政务数据源的初始冗余数据的映射编码数据进行组合编码,得到每个所述政务数据源对应的目标冗余数据。
结合第一方面,在本发明第一方面的第五实施方式中,所述获取客户终端发送的政务数据请求,并对所述政务数据请求进行请求数据冗余特征分析,得到目标冗余特征,包括:
获取客户终端发送的政务数据请求,并对所述政务数据请求进行请求数据解析,得到所述政务数据请求对应的解析数据;
对所述解析数据进行字段分割,得到所述解析数据对应的多个字段信息;
对多个所述字段信息进行请求数据冗余特征分析,得到目标冗余特征。
结合第一方面,在本发明第一方面的第六实施方式中,所述通过所述目标冗余特征对每个所述政务数据源对应的目标冗余数据进行数据采集,得到目标政务请求数据,并将所述政务请求数据发送至所述客户终端,包括:
通过所述目标冗余特征对每个所述政务数据源对应的目标冗余数据进行相似度计算,得到相似度计算结果;
通过所述相似度计算结果对每个所述政务数据源对应的目标冗余数据进行数据量匹配,得到目标数据量以及数据位置信息;
基于所述目标数据量,通过所述数据位置信息对每个所述政务数据源对应的目标冗余数据进行数据提取,得到所述目标政务请求数据。
本发明第二方面提供了一种基于冗余信息的政务数据管理装置,所述基于冗余信息的政务数据管理装置包括:
采集模块,用于标定多个政务数据源,同时,从多个所述政务数据源采集政务数据,得到每个所述政务数据源对应的政务数据集合;
第一分割模块,用于分别对每个所述政务数据源对应的政务数据集合进行数据块分割,得到每个所述政务数据源对应的多个数据块;
匹配模块,用于分别对每个所述政务数据源对应的多个数据块进行CRC生成多项式匹配,得到每个所述政务数据源对应的目标CRC生成多项式,同时,基于每个所述政务数据源对应的目标CRC生成多项式,对每个所述政务数据源对应的多个数据块进行校验值计算,得到每个所述政务数据源对应的CRC校验值;
附加模块,用于基于每个所述政务数据源对应的CRC校验值,分别对每个所述政务数据源对应的多个数据块进行校验值附加,得到每个所述政务数据源对应的初始冗余数据;
第二分割模块,用于分别对每个所述政务数据源对应的初始冗余数据进行编码数据段分割,得到每个所述政务数据源的初始冗余数据的第一编码数据段以及第二编码数据段;
编码模块,用于基于每个所述政务数据源的初始冗余数据的第一编码数据段以及第二编码数据段,分别对每个所述政务数据源对应的初始冗余数据进行数据编码,得到每个所述政务数据源对应的目标冗余数据;
获取模块,用于获取客户终端发送的政务数据请求,并对所述政务数据请求进行请求数据冗余特征分析,得到目标冗余特征;
发送模块,用于通过所述目标冗余特征对每个所述政务数据源对应的目标冗余数据进行数据采集,得到目标政务请求数据,并将所述政务请求数据发送至所述客户终端。
本发明第三方面提供了一种基于冗余信息的政务数据管理设备,包括:存储器和至少一个处理器,所述存储器中存储有指令;所述至少一个处理器调用所述存储器中的所述指令,以使得所述基于冗余信息的政务数据管理设备执行上述的基于冗余信息的政务数据管理方法。
本发明的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述的基于冗余信息的政务数据管理方法。
本发明提供的技术方案中,标定多个政务数据源,同时,从多个政务数据源采集政务数据,得到每个政务数据源对应的政务数据集合;分别对每个政务数据源对应的政务数据集合进行数据块分割,得到每个政务数据源对应的多个数据块;分别对每个政务数据源对应的多个数据块进行CRC生成多项式匹配,得到每个政务数据源对应的目标CRC生成多项式,同时,基于每个政务数据源对应的目标CRC生成多项式,对每个政务数据源对应的多个数据块进行校验值计算,得到每个政务数据源对应的CRC校验值;基于每个政务数据源对应的CRC校验值,分别对每个政务数据源对应的多个数据块进行校验值附加,得到每个政务数据源对应的初始冗余数据;分别对每个政务数据源对应的初始冗余数据进行编码数据段分割,得到每个政务数据源的初始冗余数据的第一编码数据段以及第二编码数据段;基于每个政务数据源的初始冗余数据的第一编码数据段以及第二编码数据段,分别对每个政务数据源对应的初始冗余数据进行数据编码,得到每个政务数据源对应的目标冗余数据;获取客户终端发送的政务数据请求,并对政务数据请求进行请求数据冗余特征分析,得到目标冗余特征;通过目标冗余特征对每个政务数据源对应的目标冗余数据进行数据采集,得到目标政务请求数据,并将政务请求数据发送至客户终端。在本申请方案中,通过CRC生成多项式匹配和校验值附加,可以有效检测和减少数据中的错误和冗余。这有助于提高数据质量和准确性。使用CRC校验值附加,可以验证数据的完整性,确保在传输和存储过程中没有损坏或篡改。对初始冗余数据进行编码,有助于数据的压缩和减少存储和传输成本。标定多个政务数据源并将它们集成到一个系统中,能够更有效地管理和利用多个数据源的信息。通过目标冗余特征分析,可以根据客户终端的需求,有针对性地采集数据,减少了无关数据的传输和存储。通过减少冗余数据传输,提高了数据的传输速度,从而提高了客户终端对政务数据的访问响应速度。CRC校验值的使用有助于确保数据的安全性和完整性,减少了潜在的数据泄露和损坏风险。
附图说明
图1为本发明实施例中基于冗余信息的政务数据管理方法的一个实施例示意图;
图2为本发明实施例中分别对每个政务数据源对应的多个数据块进行CRC生成多项式匹配的流程图;
图3为本发明实施例中分别对每个政务数据源对应的初始冗余数据进行编码数据段分割的流程图;
图4为本发明实施例中基于每个政务数据源的初始冗余数据的第一编码数据段以及第二编码数据段的流程图;
图5为本发明实施例中基于冗余信息的政务数据管理装置的一个实施例示意图;
图6为本发明实施例中基于冗余信息的政务数据管理设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种基于冗余信息的政务数据管理方法及相关装置,用于提高基于冗余信息的政务数据管理的准确率及安全性。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”或“具有”及其任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解,下面对本发明实施例的具体流程进行描述,请参阅图1,本发明实施例中基于冗余信息的政务数据管理方法的一个实施例包括:
S101、标定多个政务数据源,同时,从多个政务数据源采集政务数据,得到每个政务数据源对应的政务数据集合;
可以理解的是,本发明的执行主体可以为基于冗余信息的政务数据管理装置,还可以是终端或者服务器,具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
具体的,服务器明确定义他们计划使用的政务数据源。这包括各个机构、数据库系统,甚至不同地理区域的数据。标定这些数据源是一个关键的起点,因为它确保服务器清楚了解数据的来源、所有者、可用性和用途。服务器从这些标定的政务数据源中采集数据。这需要使用各种技术,包括数据库查询、API调用、文件下载、网络爬虫等,具体取决于数据源的类型和访问方式。这些数据是结构化的,如数据库中的表格数据,也是半结构化的,如XML或JSON格式的数据,甚至是非结构化的,如文本、图像或音频。当数据被采集,它们可以按照其来源组织成政务数据集合。每个政务数据源对应一个数据集合,其中包含了从该数据源采集的数据。这种组织方式有助于服务器更好地管理和分析数据,使其能够更容易地进行跟踪、更新和检索。例如,假设一个地方正在努力改善城市的交通系统。为了实现这一目标,服务器从多个数据源中获取必要的信息。服务器标定了以下数据源:交通管理部门的交通摄像头数据库,包含了城市各处交通摄像头的实时图像和交通数据;公共交通系统的车辆跟踪数据,提供了公交车和地铁的实时位置和行程信息;市民投诉系统,记录了市民对交通问题的投诉和建议;城市规划部门的数据库,包含城市道路和交通基础设施的详细规划数据;私营交通公司的运营数据,包括出租车公司的服务区域和客流量。随后,服务器开始采集数据,使用各种技术手段,例如数据库查询、API调用、数据抽取等。这些数据被整理并存储在对应的数据集合中,例如创建了一个“交通摄像头数据集合”和一个“公共交通数据集合”等。服务器就可以更好地了解城市交通情况,为改进项目提供支持。
S102、分别对每个政务数据源对应的政务数据集合进行数据块分割,得到每个政务数据源对应的多个数据块;
具体的,对每个政务数据源对应的政务数据集合进行数据块分割。将大块的政务数据分成更小的数据块,以便更容易进行管理和处理。数据块分割通常是按照某种规则或标准进行的,以确保数据的一致性和可操作性。这个过程可以用来分离不同主题、时间段或地理区域的数据块。需要对每个政务数据源对应的政务数据集合进行格式标准化处理。政务数据通常来自不同的来源,具有不同的数据格式和结构。标准化处理的目的是将所有数据转换为一致的格式,以便进行进一步的处理和分析。这包括数据类型转换、字段重命名、日期格式标准化等操作。对标准化政务数据进行分割策略匹配。根据数据的性质和用途,确定如何分割数据块。分割策略可以根据不同的需求进行制定,例如,按时间分割、按地理位置分割、按主题分割等。每个政务数据源对应的数据集合需要不同的分割策略,以满足具体的分析或管理需求。基于每个标准化政务数据对应的数据分割策略,再次对政务数据集合进行数据块分割。这一次的分割是根据之前制定的分割策略来执行的,以生成更小、更具针对性的数据块,以便后续的冗余信息管理。例如,考虑一个城市的交通管理部门,他们需要处理和管理来自多个数据源的交通数据,以支持城市交通的监测和改进。交通管理部门从不同的来源(例如交通摄像头、车辆跟踪系统、交通信号灯控制器等)收集了大量交通数据。服务器将这些数据划分为不同的数据块,每个数据块包含一小时内的交通信息。这些数据源的数据格式不同,某些数据包含时间戳、车辆ID、位置信息等,而其他数据包含交通流量、速度、拥堵指数等。为了进行一致的处理,服务器对所有数据进行了格式标准化,确保每个数据块都包含相同的字段,并将时间戳转换为统一的日期时间格式。交通管理部门决定根据交通流量来制定分割策略。服务器将数据块进一步细分为高流量时段和低流量时段,以便更好地了解交通拥堵情况。因此,服务器选择了一个分割策略,将数据块分割成高流量时段和低流量时段的数据块。根据制定的分割策略,交通管理部门再次对数据块进行分割。例如,服务器将高流量时段的数据块进一步分割为上午高峰和下午高峰的数据块,以便更详细地分析不同时间段的交通情况。
S103、分别对每个政务数据源对应的多个数据块进行CRC生成多项式匹配,得到每个政务数据源对应的目标CRC生成多项式,同时,基于每个政务数据源对应的目标CRC生成多项式,对每个政务数据源对应的多个数据块进行校验值计算,得到每个政务数据源对应的CRC校验值;
具体的,针对每个政务数据源对应的多个数据块,服务器会进行CRC生成多项式匹配。服务器会为每个数据块计算一个CRC生成多项式,该多项式可以用于后续的数据块校验。通过CRC生成多项式匹配,每个政务数据源对应的数据块都会得到一个目标CRC生成多项式,该多项式在后续的数据块校验中起关键作用。这个目标CRC生成多项式是根据数据块的内容计算得出的,它用于检测数据块是否在传输或存储过程中发生了错误。基于每个政务数据源对应的目标CRC生成多项式,服务器对每个数据块进行校验值计算。服务器会使用目标CRC生成多项式对数据块中的数据进行处理,以生成一个CRC校验值。CRC校验值是根据数据块内容计算的,可用于后续的数据完整性验证。服务器会对每个政务数据源对应的多个数据块进行数量分析,以确定每个数据源包含多少数据块。这个步骤有助于服务器了解数据块的数量和组织结构。基于数据块数量分析的结果,服务器将使用预置的生成多项式数据库。这个数据库包含了不同数据块数量的CRC生成多项式。服务器将根据数据块数量,选择适合的CRC生成多项式,以确保高效的校验。使用选定的目标CRC生成多项式,服务器会初始化多个CRC校验器,每个CRC校验器对应一个数据块。初始化过程设置了CRC校验器的初始状态,以便进行后续的数据校验。通过多个目标CRC校验器,服务器会对每个政务数据源对应的每个数据块进行字节遍历。服务器会逐个处理数据块中的字节数据,根据目标CRC生成多项式进行计算,以生成校验值。例如,假设一个机构负责管理城市的气象数据,从多个气象站点收集气象数据。每个气象站每小时生成一个数据块,其中包含温度、湿度、风速等信息。服务器通过CRC校验来确保气象数据的完整性。对于每个气象站点的数据块,服务器会进行CRC生成多项式匹配,为每个数据块生成一个目标CRC生成多项式。使用生成的目标CRC生成多项式,服务器对每个数据块进行校验值计算,生成CRC校验值。例如,对于一个包含温度、湿度和风速数据的数据块,服务器会使用CRC生成多项式对这些数据进行计算,生成CRC校验值。服务器分析每个气象站点的数据块数量,并根据数据块数量选择合适的CRC生成多项式。使用选择的CRC生成多项式,服务器初始化多个CRC校验器,每个校验器对应一个气象站点的数据块。服务器逐字节遍历每个数据块,使用相应的CRC校验器进行计算,以生成CRC校验值。
S104、基于每个政务数据源对应的CRC校验值,分别对每个政务数据源对应的多个数据块进行校验值附加,得到每个政务数据源对应的初始冗余数据;
具体的,首先服务器将校验值附加到每个政务数据源对应的多个数据块中。服务器确定在每个数据块中的何处附加CRC校验值。通常情况下,CRC校验值会被附加在数据块的末尾,以便在需要时进行验证。在所选位置,服务器将之前计算的CRC校验值准确地附加到数据块中。这一步骤确保CRC校验值与数据块的内容正确关联。当CRC校验值成功附加到数据块中,服务器就生成了初始冗余数据。这个初始冗余数据包括了原始数据块的内容以及附加的CRC校验值。在数据传输或存储过程中,服务器使用CRC校验值来验证政务数据的完整性。当政务数据块被传输或存储时,服务器接收这些数据块,包括原始数据和附加的CRC校验值。服务器重新计算接收到的数据块的CRC校验值。服务器将重新计算的CRC校验值与附加在数据块中的CRC校验值进行比较。如果重新计算的CRC校验值与附加的校验值匹配,数据被认为是完整的。如果不匹配,这表示数据在传输或存储中发生了错误。例如,考虑一个税务部门的情景,他们负责处理纳税人的报税信息。每个纳税人的报税信息都是一个数据块,包含了个人和财务信息。服务器希望确保这些数据在传输和存储中保持完整,以防止任何数据篡改或丢失。服务器使用CRC算法为每个纳税人的报税信息数据块计算CRC校验值,以便在需要时验证数据的完整性。服务器决定将CRC校验值附加在每个报税信息数据块的末尾,以方便验证。在末尾位置,服务器将之前计算的CRC校验值准确地附加到每个报税信息数据块中。这个过程生成了初始冗余数据,包括原始报税信息数据和附加的CRC校验值。当报税信息数据块被传输或存储时,服务器接收这些数据块,包括原始数据和附加的CRC校验值。服务器重新计算接收到的报税信息数据块的CRC校验值。服务器将重新计算的CRC校验值与附加在数据块中的CRC校验值进行比较。如果重新计算的CRC校验值与附加的校验值匹配,数据被认为是完整的。如果不匹配,服务器将意识到数据在传输或存储中发生了错误,并采取适当的措施来修复或重新获取数据。
S105、分别对每个政务数据源对应的初始冗余数据进行编码数据段分割,得到每个政务数据源的初始冗余数据的第一编码数据段以及第二编码数据段;
具体的,服务器首先对初始冗余数据进行时间戳分析。时间戳是指数据中记录的时间信息,可以用于跟踪数据的生成和修改时间。通过时间戳分析,服务器得到了初始冗余数据的时间戳集合,从而能够了解数据的时间特性。基于时间戳集合,服务器进行时序数据转换。这一步骤可以将原始数据按照时间顺序重新组织,生成时序数据集合。时序数据集合可以用于进行时间序列分析,帮助服务器更好地了解政务数据的变化趋势和历史记录。服务器接下来对初始冗余数据进行数据关键节点匹配。数据关键节点是指数据中的重要时间点或事件,通常包括决策、重要操作等。通过数据关键节点匹配,服务器识别出初始冗余数据中的多个关键节点,这些节点对于政务管理具有重要意义。接着,服务器对这些关键节点进行节点划分。这一步骤可以将数据划分为不同的节点集群,通常包括第一节点集群和第二节点集群。这些集群可以根据不同的时间点或事件来划分,使服务器能够更有针对性地管理和分析数据。最后,服务器通过每个政务数据源对应的初始冗余数据的第一节点集群和第二节点集群,分别对每个政务数据源对应的初始冗余数据进行编码数据段分割。这一步骤与最初的编码数据段分割不同,因为它是基于数据的关键节点划分来进行的。服务器得到了每个政务数据源的初始冗余数据的第一编码数据段和第二编码数据段,这些编码数据段包含了政务信息和与之相关的校验信息。例如,考虑一个地区的城市交通管理系统。该系统负责收集和分析交通数据,以便更好地管理交通流量和改善城市交通状况。本实施例中,服务器使用基于冗余信息的政务数据管理方法来处理交通数据。服务器首先对收集到的交通数据进行时间戳分析。这些数据包括交通摄像头捕捉到的车辆信息、路况数据等。通过时间戳分析,服务器了解了交通数据的生成时间和记录时间。基于时间戳集合,服务器进行时序数据转换。他们将交通数据按照时间顺序重新组织,生成了时序数据集合。这使得服务器分析不同时间段内的交通流量变化,以制定更好的交通管理策略。服务器在交通数据中识别了数据关键节点,如重要事件、道路事故、交通拥堵等。这些节点对于城市交通管理非常重要。接着,服务器对这些节点进行节点划分,以便更好地管理和分析与这些事件相关的数据。最后,服务器通过每个交通数据源对应的初始冗余数据的第一节点集群和第二节点集群,分别对交通数据进行编码数据段分割。这确保了与不同交通事件相关的数据可以有效地进行管理和分析,帮助该地区更好地改善城市交通状况。
S106、基于每个政务数据源的初始冗余数据的第一编码数据段以及第二编码数据段,分别对每个政务数据源对应的初始冗余数据进行数据编码,得到每个政务数据源对应的目标冗余数据;
具体的,服务器对每个政务数据源的初始冗余数据的第一编码数据段进行差异分析。差异分析用于识别初始冗余数据中的数据点差异,即哪些数据点在不同时间或来源之间发生了变化。这些变化包括新增、删除或修改的数据点。差异分析后,服务器进行趋势分析,得到初始冗余数据的数据变化趋势。趋势分析有助于服务器了解数据的演变方式,例如数据逐渐增加或减少的趋势,或者数据的周期性变化。基于数据变化趋势,服务器对每个政务数据源的初始冗余数据的第一编码数据段进行差异编码。差异编码是将数据变化的信息转化为紧凑的表示形式,以便在传输和存储时减少数据量。这可以节省带宽和存储空间。服务器对每个政务数据源的初始冗余数据的第二编码数据段进行数据区间提取。数据区间提取用于识别数据中的有效范围,例如最小值和最大值之间的数据区间。这有助于服务器更好地了解数据的分布情况。基于数据区间信息,服务器对每个政务数据源的初始冗余数据进行数据映射。数据映射将原始数据映射到一个更小的范围内,以减少数据的表示大小。这可以提高数据的可压缩性和可传输性。最后,服务器将差异编码数据和映射编码数据进行组合编码,得到每个政务数据源对应的目标冗余数据。组合编码是将不同编码数据合并成一个完整的数据包,以供后续的存储、传输和分析使用。例如,考虑一个卫生部门的情景,他们负责收集和分析医疗健康数据以改善卫生状况。卫生部门首先对每个医疗健康数据源的初始冗余数据的第一编码数据段和第二编码数据段进行数据编码。这可以将原始医疗数据转化为更紧凑的形式,以减少存储和传输成本。服务器对每个医疗健康数据源的初始冗余数据的第一编码数据段进行差异分析。他们发现一些数据点发生了变化,例如患者的健康指标或病历信息。基于差异分析的结果,服务器进行趋势分析,了解哪些数据发生了变化趋势。他们发现某些健康指标在一段时间内逐渐改善或恶化。服务器对健康数据的差异进行编码,将变化的数据点表示为紧凑的差异编码。例如,他们可以使用数值变化的编码方式来表示健康指标的变化。服务器对医疗健康数据的第二编码数据段进行数据区间提取,以确定有效的数据范围。这可以帮助他们识别健康指标的正常范围。基于数据区间信息,服务器对医疗健康数据进行数据映射,将原始数据映射到较小的范围内。这有助于减小数据的表示大小,提高数据的可压缩性。最后,服务器将差异编码数据和映射编码数据组合成一个完整的目标冗余数据集。这个数据集可以用于进一步的分析,同时减小了数据的存储和传输成本。
S107、获取客户终端发送的政务数据请求,并对政务数据请求进行请求数据冗余特征分析,得到目标冗余特征;
具体的,服务器首先需要获取客户终端发送的政务数据请求。这可以通过网络通信或其他方式来实现。政务数据请求是客户向相关部门提出的要求,通常包括所需数据的类型、范围、时间等信息。当政务数据请求被接收,服务器进行请求数据解析,将请求中的信息提取出来,以便进一步处理。解析过程包括将请求数据进行结构化,将其转化为可操作的数据对象。解析后的数据通常包括多个字段信息,这些字段对应着人们需求的各个方面。服务器对解析后的数据进行字段分割,将其划分为不同的字段,每个字段代表一个特定的数据属性或参数。这有助于服务器更精细地分析人们需求。对多个字段信息进行请求数据冗余特征分析,以获取目标冗余特征。服务器分析各个字段之间的关联性,确定哪些字段之间具有相关性,以及它们之间的联系如何影响客户需求。这有助于服务器更好地理解数据之间的关系。服务器评估字段中是否存在重复或冗余的信息。如果多个字段包含相似的数据,那么可以考虑将其合并或精简,以减少数据冗余,提高效率。服务器评估每个字段的数据可信度,确定哪些字段的数据是可靠的,哪些是不可靠的。这有助于服务器在回应客户需求时选择最可信的数据。服务器为每个字段分配权重,以确定哪些字段对客户需求的满足最为关键。这有助于服务器在资源有限的情况下优先满足客户最重要的需求。例如,提供城市交通信息给市民和企业。市民和企业可以通过手机应用程序发送政务数据请求,以获取关于交通状况的信息。服务器使用基于冗余信息的政务数据管理方法来处理这些请求。市民使用手机应用程序向服务器发送请求,例如请求获取某个区域的交通拥堵情况。服务器应用程序解析请求,将其转化为可操作的数据对象。解析后的数据包括请求类型(交通拥堵信息)、请求地点(某个区域)、请求时间等信息。服务器将解析后的数据划分为不同的字段信息,如请求类型字段、请求地点字段、请求时间字段等。服务器进行请求数据冗余特征分析,以获取目标冗余特征。服务器发现请求类型和请求地点之间存在关联性,不同地点的交通拥堵情况会受到请求类型的影响。服务器发现在请求中存在多个字段中包含的信息相似,例如请求时间和请求地点中都包含了区域信息。服务器考虑在响应中只包含一个区域信息字段,以减少数据冗余。服务器评估请求时间字段的数据可信度,如果请求时间是当前时间,那么数据可信度较高,如果是历史时间,数据可信度较低。服务器确定了请求类型字段的权重较高,因为请求类型直接影响到交通拥堵信息的获取,而请求时间和请求地点的权重较低。
S108、通过目标冗余特征对每个政务数据源对应的目标冗余数据进行数据采集,得到目标政务请求数据,并将政务请求数据发送至客户终端。
需要说明的是,服务器首先使用目标冗余特征对每个政务数据源对应的目标冗余数据进行相似度计算。相似度计算是通过比较请求数据中的特征与服务器存储的目标冗余数据中的特征来确定它们之间的相似程度。这可以使用各种算法和指标来实现,例如余弦相似度、欧几里德距离或Jaccard相似系数。相似度计算的结果将反映目标冗余数据与请求数据之间的相似性。通过相似度计算的结果,服务器确定目标政务请求数据的数据量以及数据位置信息。数据量匹配是根据请求数据的特征与目标冗余数据的特征之间的相似性来确定应提取多少目标数据以满足客户需求。同时,服务器也会确定目标数据在目标冗余数据中的位置,以便后续的数据提取。基于数据量匹配和数据位置信息,服务器对每个政务数据源对应的目标冗余数据进行数据提取。从目标冗余数据中选择并提取与客户需求相匹配的数据,以生成目标政务请求数据。数据提取涉及复制、剪切或者其他数据操作,以确保提取的数据满足客户的需求。例如,假设一个城市负责提供实时交通信息给市民,包括交通拥堵、道路状况、公交车位置等。市民通过服务器的手机应用程序发送政务数据请求,以获取交通信息。市民发送了一个请求,要求获取某个区域内的实时交通拥堵情况。服务器使用相似度计算来比较这个请求的特征与存储的目标冗余数据中的特征,如区域、请求时间等。例如,如果请求区域与目标冗余数据中的某个区域高度相似,那么相似度计算的结果将较高,表示这个目标冗余数据与请求相关。根据相似度计算的结果,服务器确定了目标政务请求数据的数据量以及数据位置信息。如果相似度计算结果非常高,表明请求与某个目标冗余数据高度匹配,那么服务器将决定提取该目标冗余数据的相关部分。例如,如果请求是实时交通拥堵情况,服务器会提取与请求区域和时间匹配的目标冗余数据。服务器基于数据量匹配和数据位置信息,从目标冗余数据中提取所需的交通拥堵信息,并将其组合成目标政务请求数据。这个数据可以包括道路名称、拥堵等级、实时车流量等信息,以满足市民的需求。
本发明实施例中,通过CRC生成多项式匹配和校验值附加,可以有效检测和减少数据中的错误和冗余。这有助于提高数据质量和准确性。使用CRC校验值附加,可以验证数据的完整性,确保在传输和存储过程中没有损坏或篡改。对初始冗余数据进行编码,有助于数据的压缩和减少存储和传输成本。标定多个政务数据源并将它们集成到一个系统中,能够更有效地管理和利用多个数据源的信息。通过目标冗余特征分析,可以根据客户终端的需求,有针对性地采集数据,减少了无关数据的传输和存储。通过减少冗余数据传输,提高了数据的传输速度,从而提高了客户终端对政务数据的访问响应速度。CRC校验值的使用有助于确保数据的安全性和完整性,减少了潜在的数据泄露和损坏风险。
在一具体实施例中,执行步骤S102的过程可以具体包括如下步骤:
(1)分别对每个政务数据源对应的政务数据集合进行格式标准化处理,得到每个政务数据源对应的标准化政务数据;
(2)分别对每个政务数据源对应的标准化政务数据进行分割策略匹配,得到每个标准化政务数据对应的数据分割策略;
(3)基于每个标准化政务数据对应的数据分割策略,分别对每个政务数据源对应的政务数据集合进行数据块分割,得到每个政务数据源对应的多个数据块。
具体的,政务数据通常来自多个不同的数据源,每个数据源使用不同的数据格式和结构。为了有效地整合和分析这些数据,服务器首先需要对其进行格式标准化处理。这包括将数据转换为通用的标准格式,以确保数据在整个系统中具有一致的结构和字段。例如,将数据字段的数据类型统一为一致的格式,如将日期字段转换为标准日期格式;检测并处理数据中的缺失值,可以选择填充缺失数据或采取其他合适的处理方法;确保数据中的单位一致,如将不同来源的长度数据统一为米或英尺;识别和纠正数据中的错误、异常值或重复数据;将非结构化或半结构化数据转换为结构化数据,以便后续分析和处理。分割策略的选择取决于数据的性质和用途。服务器制定适当的分割策略,以确定如何将政务数据划分为更小的数据块,以便更好地管理和分析。例如,服务器确定何时应该对数据进行分割。分割标准可以基于时间、地点、主题、部门等多种因素;根据分割标准,服务器定义具体的分割规则,以确定如何将数据块划分为更小的部分;在制定分割策略时,服务器考虑数据之间的关联性,以确保分割后的数据仍然具有相关性;分割策略应该具有一定的灵活性,以便根据需求进行调整或修改。服务器需要定期评估和更新分割策略。基于制定的分割策略,服务器对每个政务数据源对应的政务数据集合进行数据块分割。这一步骤涉及将政务数据划分为多个较小的数据块,每个数据块包含特定的信息或时间段。数据块分割有助于服务器更有效地管理、存储和分析数据。例如,城市的环境数据,包括空气质量、水质监测和垃圾处理信息。服务器从多个数据源收集这些信息,包括环境传感器、水质监测站和垃圾处理公司报告。服务器首先对来自不同数据源的环境数据进行格式标准化处理。例如,环境传感器提供JSON格式的数据,水质监测站提供XML格式的数据,垃圾处理公司报告使用CSV格式。服务器将这些数据转换为相同的JSON格式,以确保具有一致的数据结构和字段,例如测量日期、地点、污染物浓度等。服务器根据数据的性质和用途制定分割策略。基于时间,将数据按每日、每周和每月的时间段进行分割,以支持时间趋势分析;基于地点,将数据按照不同的城市区域进行分割,以支持区域比较;基于污染物类型,将数据按照不同的污染物类别进行分割,以便分析特定污染物的趋势。服务器还考虑到数据之间的关联性,例如确保相同地点和时间段的数据能够对应。服务器根据分割策略将环境数据集合划分为多个数据块。例如,每日的空气质量数据、每周的水质监测数据以及每月的垃圾处理报告都被划分为独立的数据块。这些数据块可以用于不同的分析,如监测城市环境状况以及规划垃圾处理服务。
在一具体实施例中,如图2所示,执行步骤S103的过程可以具体包括如下步骤:
S201、分别对每个政务数据源对应的多个数据块进行数据块数量分析,得到每个政务数据源对应的数据块数量;
S202、根据每个政务数据源对应的数据块数量以及预置的生成多项式数据库,分别对每个政务数据源对应的多个数据块进行CRC生成多项式筛选,得到每个政务数据源对应的目标CRC生成多项式;
S203、通过每个政务数据源对应的目标CRC生成多项式,分别对每个政务数据源对应的每个数据块进行CRC校验器初始化处理,得到多个目标CRC校验器;
S204、通过多个目标CRC校验器,分别对每个政务数据源对应的每个数据块进行字节遍历,得到每个政务数据源对应的每个数据块的字节数据信息;
S205、基于每个政务数据源对应的每个数据块的字节数据信息,对每个政务数据源对应的多个数据块进行校验值计算,得到每个政务数据源对应的CRC校验值。
需要说明的是,服务器了解每个政务数据源对应的数据块数量,这有助于确定处理的数据量和计算资源的需求。数据块数量分析涉及对每个政务数据源的数据块进行计数和记录。CRC(循环冗余校验)是一种用于检测数据传输中错误的校验方法。服务器选择适当的CRC生成多项式,以确保数据块在传输和存储过程中不会发生损坏。生成多项式通常是一个固定的多项式值,根据需要可以在预置的生成多项式数据库中选择。对于每个政务数据源对应的数据块,服务器初始化CRC校验器。CRC校验器是用于计算数据块的CRC校验值的工具。通过初始化CRC校验器,服务器为数据块的校验值计算做好准备。服务器使用初始化的CRC校验器对每个政务数据源对应的每个数据块进行字节遍历。逐个字节地处理数据块,并将其提供给CRC校验器进行计算。基于每个政务数据源对应的每个数据块的字节数据信息,服务器进行CRC校验值的计算。CRC校验值是一个固定长度的值,用于验证数据块在传输或存储期间是否发生了改变。计算得到的CRC校验值与数据块的预期CRC校验值进行比较,以检测任何数据损坏或篡改。例如,考虑一个电子健康记录(EHR)系统的情景,服务器负责管理医疗数据的完整性和安全性。医院每天将患者的医疗记录上传到服务器的数据中心。服务器确保这些记录在传输和存储过程中没有发生错误或损坏。服务器每天接收医院上传的患者记录,每个记录作为一个数据块。他们进行数据块数量分析,发现每天有1000个数据块。服务器在预置的生成多项式数据库中选择了一个适当的CRC生成多项式,以便用于所有数据块的校验。服务器初始化了1000个CRC校验器,每个校验器对应一个数据块。服务器逐个字节地遍历每个数据块,将字节提供给相应的CRC校验器。基于每个数据块的字节数据信息,服务器使用CRC校验器计算每个数据块的CRC校验值。这些校验值与预期的校验值进行比较,以确保数据的完整性。
在一具体实施例中,如图3所示,执行步骤S105的过程可以具体包括如下步骤:
S301、分别对每个政务数据源对应的初始冗余数据进行时间戳分析,得到每个政务数据源对应的初始冗余数据的时间戳集合;
S302、基于每个政务数据源对应的初始冗余数据的时间戳集合,分别对每个政务数据源对应的初始冗余数据进行时序数据转换,得到每个政务数据源对应的时序数据集合;
S303、基于每个政务数据源对应的时序数据集合,分别对每个政务数据源对应的初始冗余数据进行数据关键节点匹配,得到每个政务数据源对应的初始冗余数据的多个数据关键节点;
S304、分别对每个政务数据源对应的初始冗余数据的多个数据关键节点进行节点划分,得到每个政务数据源对应的初始冗余数据的第一节点集群以及第二节点集群;
S305、通过每个政务数据源对应的初始冗余数据的第一节点集群以及第二节点集群,分别对每个政务数据源对应的初始冗余数据进行编码数据段分割,得到每个政务数据源的初始冗余数据的第一编码数据段以及第二编码数据段。
需要说明的是,服务器首先对每个政务数据源对应的初始冗余数据进行时间戳分析。时间戳是记录数据生成或修改时间的标记。通过分析时间戳,服务器了解数据的时序性,即数据是如何随时间变化的。基于每个政务数据源对应的初始冗余数据的时间戳集合,服务器进行时序数据转换。服务器将数据按照时间顺序进行排序,以便更好地理解数据的时间演化过程。这个过程可以将非结构化的数据转化为结构化的时序数据集合。服务器根据时序数据集合,分别对每个政务数据源对应的初始冗余数据进行数据关键节点匹配。关键节点是数据中的重要事件或变化点,可以是某个事件发生或其他重要时间点。服务器通过识别这些关键节点,可以更精确地分析数据中的关键信息。服务器进一步对每个政务数据源对应的初始冗余数据的多个数据关键节点进行节点划分。这个过程将数据划分为不同的节点集群,每个节点集群包含一组相关的数据。这有助于组织和管理数据,使其更易于分析。最后,通过每个政务数据源对应的初始冗余数据的第一节点集群和第二节点集群,服务器分别对每个政务数据源的初始冗余数据进行编码数据段分割。这将数据进一步划分为不同的编码数据段,每个编码数据段包含一组相关的数据,具有相似的特征或属性。这有助于数据的管理和分析。例如,考虑一个城市交通管理系统的情景。服务器收集了来自不同交通摄像头的交通数据,包括车辆数量、速度和车辆类型。服务器分析这些数据以改善交通流畅度。服务器首先对每个摄像头生成的数据进行时间戳分析,了解何时记录了交通数据。基于时间戳,服务器将数据按时间顺序排序,形成一个时序数据集合,以便更好地理解交通状况的时间演化。服务器根据时序数据集合,识别出交通事件,如交通拥堵或事故。这些是数据中的关键节点,对于交通管理决策非常重要。服务器将交通数据划分为不同的节点集群,每个集群包含一段时间内的交通数据,例如每小时或每天的数据。最后,服务器将每个节点集群进一步划分为编码数据段,每个编码数据段包含一组相关的数据,如特定交通摄像头的数据。这有助于管理和分析交通数据,以制定更好的交通管理策略。
在一具体实施例中,如图4所示,执行步骤S106的过程可以具体包括如下步骤:
S401、对每个政务数据源的初始冗余数据的第一编码数据段进行数据点差异分析,得到每个政务数据源的初始冗余数据的差异数据点集合;
S402、对每个政务数据源的初始冗余数据的差异数据点集合进行数据变化趋势分析,得到每个政务数据源的初始冗余数据的数据变化趋势;
S403、通过每个政务数据源的初始冗余数据的数据变化趋势,分别对每个政务数据源的初始冗余数据的第一编码数据段进行差异编码,得到每个政务数据源的初始冗余数据的差异编码数据;
S404、对每个政务数据源的初始冗余数据的第二编码数据段进行数据区间提取,得到每个政务数据源的初始冗余数据的数据区间信息;
S405、基于每个政务数据源的初始冗余数据的数据区间信息,分别对每个政务数据源的初始冗余数据进行编码数据映射,得到每个政务数据源的初始冗余数据的映射编码数据;
S406、分别对每个政务数据源的初始冗余数据的差异编码数据以及每个政务数据源的初始冗余数据的映射编码数据进行组合编码,得到每个政务数据源对应的目标冗余数据。
具体的,服务器首先对每个政务数据源的初始冗余数据的第一编码数据段进行数据点差异分析。服务器比较不同数据源的数据,识别它们之间的差异。数据点差异分析可以包括查找缺失的数据点、新增的数据点以及已更改的数据点。基于数据点差异分析的结果,服务器进行数据变化趋势分析。这一步骤有助于了解数据的演化和趋势,包括数据的增长、下降或波动。服务器识别出数据的周期性变化或不规则变化。通过数据变化趋势分析,服务器对每个政务数据源的初始冗余数据的第一编码数据段进行差异编码。差异编码是一种技术,它只存储数据的变化部分,而不是整个数据集。这有助于减少数据存储的需求并提高数据备份的效率。服务器接着对每个政务数据源的初始冗余数据的第二编码数据段进行数据区间提取。数据区间提取是指确定数据值的范围或区间。服务器识别出数据的最大值、最小值和其他统计信息。基于数据区间信息,服务器分别对每个政务数据源的初始冗余数据进行编码数据映射。数据映射是将数据值映射到一个更小的范围或编码值的过程。这有助于减小数据的大小并提高数据存储效率。最后,服务器将差异编码数据和映射编码数据组合编码,得到每个政务数据源对应的目标冗余数据。这个过程包括将差异编码的数据与映射编码的数据合并,以重建原始数据。例如,管理来自不同医疗机构的患者健康数据,包括体温、心率和血压。这些数据每天都在不同时间采集。服务器首先比较不同医疗机构的患者数据,识别出哪些数据点在不同机构之间存在差异,例如某个患者的体温在不同机构有不同的记录。基于数据点差异分析,服务器进行数据变化趋势分析,以了解患者健康数据的变化趋势。例如,服务器确定某个患者的心率是否逐渐上升或下降。服务器对数据点差异进行编码,只存储变化的数据点,而不是整个数据集。这有助于减小数据的存储需求。服务器提取每个数据类型的数据区间信息,例如体温的最大值和最小值。基于数据区间信息,服务器将数据值映射到较小的编码值,以减小数据的大小。最后,服务器将差异编码数据和映射编码数据组合编码,以重建原始患者健康数据。这个过程有助于有效地管理和备份医疗数据,并支持医疗决策和研究。
在一具体实施例中,执行步骤S107的过程可以具体包括如下步骤:
(1)获取客户终端发送的政务数据请求,并对政务数据请求进行请求数据解析,得到政务数据请求对应的解析数据;
(2)对解析数据进行字段分割,得到解析数据对应的多个字段信息;
(3)对多个字段信息进行请求数据冗余特征分析,得到目标冗余特征。
具体的,服务器建立一个接收政务数据请求的系统,可以是一个网络应用程序或接口。客户终端通过这个系统向服务器提交数据请求。这些请求可以包括特定政务数据的查询、报告生成、统计信息等。服务器接收到客户终端发送的请求后,需要进行请求数据解析。这一步骤涉及将客户发送的请求数据解析为计算机可理解的格式。通常,请求数据可以是文本、JSON、XML或其他数据格式。服务器解析这些数据以理解客户的需求。解析数据通常包含多个字段,这些字段描述了客户的请求。服务器对解析数据进行字段分割,将其划分为多个字段信息。每个字段对应请求的一个方面或参数。服务器对解析后的字段信息进行请求数据冗余特征分析。这一分析旨在确定客户请求中的冗余信息或冗余特征。冗余特征可以是与其他字段信息重复或相关的信息,这会影响数据处理的效率。通过冗余特征分析,服务器确定了客户请求中的目标冗余特征。这些特征包括客户请求中的冗余查询条件、不必要的参数或多余的数据。服务器的目标是识别和提取这些特征,以便更有效地处理请求。例如,考虑一个城市交通管理系统的情景。服务器负责监控和管理城市交通数据,而市民可以通过手机应用程序发送交通报告请求。服务器通过一个交通数据请求平台接收市民的请求。市民可以使用应用程序选择报告交通问题或查询交通信息,然后将请求发送到服务器。服务器接收到请求后,会将请求数据解析成可处理的格式。例如,如果市民请求交通报告,解析过程将提取出请求类型、地点、时间等信息。解析后的数据包含多个字段,如请求类型、地点、时间等。服务器将这些字段分割成单独的信息,以便进一步分析。服务器对解析后的字段信息进行冗余特征分析。例如,如果市民在请求中多次提到相同的地点或时间范围,服务器会识别这些信息作为潜在的冗余特征。基于冗余特征分析的结果,服务器确定了目标冗余特征。在这个情景中,目标冗余特征是市民多次提到的相同地点或时间范围。服务器会提取这些特征,并将它们用于生成交通报告或提供相关交通信息。
在一具体实施例中,执行步骤S108的过程可以具体包括如下步骤:
(1)通过目标冗余特征对每个政务数据源对应的目标冗余数据进行相似度计算,得到相似度计算结果;
(2)通过相似度计算结果对每个政务数据源对应的目标冗余数据进行数据量匹配,得到目标数据量以及数据位置信息;
(3)基于目标数据量,通过数据位置信息对每个政务数据源对应的目标冗余数据进行数据提取,得到目标政务请求数据。
具体的,服务器使用目标冗余特征对每个政务数据源对应的目标冗余数据进行相似度计算。这可以使用各种相似性度量方法来实现,如余弦相似度、欧几里得距离、Jaccard相似性等。相似度计算的目的是确定每个政务数据源的数据与目标冗余特征的匹配程度。通过相似度计算,服务器得到了每个政务数据源对应的相似度计算结果。这些结果表示了每个数据源的数据与目标冗余特征的相似度程度。通常,相似度计算的结果是一个分数或值,表示相似性的程度。服务器使用相似度计算结果来进行数据量匹配。服务器确定哪些政务数据源包含与客户请求最匹配的数据。通常情况下,服务器会设定一个相似性阈值,只有当相似度计算结果超过此阈值时,数据源才被视为匹配。当确定了匹配的数据源,服务器获取数据位置信息。这包括确定数据存储的位置、数据格式、数据结构等信息。最后,服务器根据数据位置信息从匹配的政务数据源中提取目标政务请求数据。这可以涉及数据库查询、文件检索、API调用等不同的数据提取方法,具体取决于数据源的类型和存储方式。例如,考虑一个城市的交通数据管理系统。市民可以通过应用程序请求有关道路交通的信息,如实时交通流量、交通事故报告等。服务器根据客户的请求,从多个数据源中提取相关数据。如果市民请求了特定地点和时间范围内的交通流量数据,服务器确定这些信息作为目标冗余特征。服务器对每个交通数据源执行相似度计算,以确定哪个源最符合目标冗余特征。例如,计算每个数据源的实时流量数据与目标特定地点和时间范围内的流量需求之间的相似性。服务器得到每个数据源的相似度计算结果,表明它们与目标特征的匹配程度。基于相似度计算结果,服务器确定了哪些数据源是匹配的,超过相似性阈值的数据源被视为匹配。对于匹配的数据源,服务器获取数据位置信息,包括数据存储的数据库名称、表格名称等。服务器使用数据位置信息从匹配的数据源中提取实时交通流量数据,并将其发送给市民的应用程序以满足他们的需求。
上面对本发明实施例中基于冗余信息的政务数据管理方法进行了描述,下面对本发明实施例中基于冗余信息的政务数据管理装置进行描述,请参阅图5,本发明实施例中基于冗余信息的政务数据管理装置一个实施例包括:
采集模块501,用于标定多个政务数据源,同时,从多个所述政务数据源采集政务数据,得到每个所述政务数据源对应的政务数据集合;
第一分割模块502,用于分别对每个所述政务数据源对应的政务数据集合进行数据块分割,得到每个所述政务数据源对应的多个数据块;
匹配模块503,用于分别对每个所述政务数据源对应的多个数据块进行CRC生成多项式匹配,得到每个所述政务数据源对应的目标CRC生成多项式,同时,基于每个所述政务数据源对应的目标CRC生成多项式,对每个所述政务数据源对应的多个数据块进行校验值计算,得到每个所述政务数据源对应的CRC校验值;
附加模块504,用于基于每个所述政务数据源对应的CRC校验值,分别对每个所述政务数据源对应的多个数据块进行校验值附加,得到每个所述政务数据源对应的初始冗余数据;
第二分割模块505,用于分别对每个所述政务数据源对应的初始冗余数据进行编码数据段分割,得到每个所述政务数据源的初始冗余数据的第一编码数据段以及第二编码数据段;
编码模块506,用于基于每个所述政务数据源的初始冗余数据的第一编码数据段以及第二编码数据段,分别对每个所述政务数据源对应的初始冗余数据进行数据编码,得到每个所述政务数据源对应的目标冗余数据;
获取模块507,用于获取客户终端发送的政务数据请求,并对所述政务数据请求进行请求数据冗余特征分析,得到目标冗余特征;
发送模块508,用于通过所述目标冗余特征对每个所述政务数据源对应的目标冗余数据进行数据采集,得到目标政务请求数据,并将所述政务请求数据发送至所述客户终端。
通过上述各个组成部分的协同合作,通过CRC生成多项式匹配和校验值附加,可以有效检测和减少数据中的错误和冗余。这有助于提高数据质量和准确性。使用CRC校验值附加,可以验证数据的完整性,确保在传输和存储过程中没有损坏或篡改。对初始冗余数据进行编码,有助于数据的压缩和减少存储和传输成本。标定多个政务数据源并将它们集成到一个系统中,能够更有效地管理和利用多个数据源的信息。通过目标冗余特征分析,可以根据客户终端的需求,有针对性地采集数据,减少了无关数据的传输和存储。通过减少冗余数据传输,提高了数据的传输速度,从而提高了客户终端对政务数据的访问响应速度。CRC校验值的使用有助于确保数据的安全性和完整性,减少了潜在的数据泄露和损坏风险。
上面图5从模块化功能实体的角度对本发明实施例中的基于冗余信息的政务数据管理装置进行详细描述,下面从硬件处理的角度对本发明实施例中基于冗余信息的政务数据管理设备进行详细描述。
图6是本发明实施例提供的一种基于冗余信息的政务数据管理设备的结构示意图,该基于冗余信息的政务数据管理设备600可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(centralprocessingunits,CPU)610(例如,一个或一个以上处理器)和存储器620,一个或一个以上存储应用程序633或数据632的存储介质630(例如一个或一个以上海量存储设备)。其中,存储器620和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对基于冗余信息的政务数据管理设备600中的一系列指令操作。更进一步地,处理器610可以设置为与存储介质630通信,在基于冗余信息的政务数据管理设备600上执行存储介质630中的一系列指令操作。
基于冗余信息的政务数据管理设备600还可以包括一个或一个以上电源640,一个或一个以上有线或无线网络接口650,一个或一个以上输入输出接口660,和/或,一个或一个以上操作系统631,例如WindowsServe,MacOSX,Unix,Linux,FreeBSD等等。本领域技术人员可以理解,图6示出的基于冗余信息的政务数据管理设备结构并不构成对基于冗余信息的政务数据管理设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
本发明还提供一种基于冗余信息的政务数据管理设备,所述基于冗余信息的政务数据管理设备包括存储器和处理器,存储器中存储有计算机可读指令,计算机可读指令被处理器执行时,使得处理器执行上述各实施例中的所述基于冗余信息的政务数据管理方法的步骤。
本发明还提供一种计算机可读存储介质,该计算机可读存储介质可以为非易失性计算机可读存储介质,该计算机可读存储介质也可以为易失性计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在计算机上运行时,使得计算机执行所述基于冗余信息的政务数据管理方法的步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或通过时,可以存储在一个计算机可读取存储介质中。基于的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-onlymemory,ROM)、随机存取存储器(randomacceSmemory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (7)
1.一种基于冗余信息的政务数据管理方法,其特征在于,所述基于冗余信息的政务数据管理方法包括:
标定多个政务数据源,同时,从多个所述政务数据源采集政务数据,得到每个所述政务数据源对应的政务数据集合;
分别对每个所述政务数据源对应的政务数据集合进行数据块分割,得到每个所述政务数据源对应的多个数据块;
分别对每个所述政务数据源对应的多个数据块进行CRC生成多项式匹配,得到每个所述政务数据源对应的目标CRC生成多项式,同时,基于每个所述政务数据源对应的目标CRC生成多项式,对每个所述政务数据源对应的多个数据块进行校验值计算,得到每个所述政务数据源对应的CRC校验值;
基于每个所述政务数据源对应的CRC校验值,分别对每个所述政务数据源对应的多个数据块进行校验值附加,得到每个所述政务数据源对应的初始冗余数据;
分别对每个所述政务数据源对应的初始冗余数据进行编码数据段分割,得到每个所述政务数据源的初始冗余数据的第一编码数据段以及第二编码数据段;具体包括:分别对每个所述政务数据源对应的初始冗余数据进行时间戳分析,得到每个所述政务数据源对应的初始冗余数据的时间戳集合;基于每个所述政务数据源对应的初始冗余数据的时间戳集合,分别对每个所述政务数据源对应的初始冗余数据进行时序数据转换,得到每个所述政务数据源对应的时序数据集合;基于每个所述政务数据源对应的时序数据集合,分别对每个所述政务数据源对应的初始冗余数据进行数据关键节点匹配,得到每个所述政务数据源对应的初始冗余数据的多个数据关键节点;分别对每个所述政务数据源对应的初始冗余数据的多个数据关键节点进行节点划分,得到每个所述政务数据源对应的初始冗余数据的第一节点集群以及第二节点集群;通过每个所述政务数据源对应的初始冗余数据的第一节点集群以及第二节点集群,分别对每个所述政务数据源对应的初始冗余数据进行编码数据段分割,得到每个所述政务数据源的初始冗余数据的第一编码数据段以及第二编码数据段;
基于每个所述政务数据源的初始冗余数据的第一编码数据段以及第二编码数据段,分别对每个所述政务数据源对应的初始冗余数据进行数据编码,得到每个所述政务数据源对应的目标冗余数据;具体包括:对每个所述政务数据源的初始冗余数据的第一编码数据段进行数据点差异分析,得到每个所述政务数据源的初始冗余数据的差异数据点集合;对每个所述政务数据源的初始冗余数据的差异数据点集合进行数据变化趋势分析,得到每个所述政务数据源的初始冗余数据的数据变化趋势;通过每个所述政务数据源的初始冗余数据的数据变化趋势,分别对每个所述政务数据源的初始冗余数据的第一编码数据段进行差异编码,得到每个所述政务数据源的初始冗余数据的差异编码数据;对每个所述政务数据源的初始冗余数据的第二编码数据段进行数据区间提取,得到每个所述政务数据源的初始冗余数据的数据区间信息;基于每个所述政务数据源的初始冗余数据的数据区间信息,分别对每个所述政务数据源的初始冗余数据进行编码数据映射,得到每个所述政务数据源的初始冗余数据的映射编码数据;分别对每个所述政务数据源的初始冗余数据的差异编码数据以及每个所述政务数据源的初始冗余数据的映射编码数据进行组合编码,得到每个所述政务数据源对应的目标冗余数据;
获取客户终端发送的政务数据请求,并对所述政务数据请求进行请求数据冗余特征分析,得到目标冗余特征;
通过所述目标冗余特征对每个所述政务数据源对应的目标冗余数据进行数据采集,得到目标政务请求数据,并将所述政务请求数据发送至所述客户终端;具体包括:通过所述目标冗余特征对每个所述政务数据源对应的目标冗余数据进行相似度计算,得到相似度计算结果;通过所述相似度计算结果对每个所述政务数据源对应的目标冗余数据进行数据量匹配,得到目标数据量以及数据位置信息;基于所述目标数据量,通过所述数据位置信息对每个所述政务数据源对应的目标冗余数据进行数据提取,得到所述目标政务请求数据。
2.根据权利要求1所述的基于冗余信息的政务数据管理方法,其特征在于,所述分别对每个所述政务数据源对应的政务数据集合进行数据块分割,得到每个所述政务数据源对应的多个数据块,包括:
分别对每个所述政务数据源对应的政务数据集合进行格式标准化处理,得到每个所述政务数据源对应的标准化政务数据;
分别对每个所述政务数据源对应的标准化政务数据进行分割策略匹配,得到每个所述标准化政务数据对应的数据分割策略;
基于每个所述标准化政务数据对应的数据分割策略,分别对每个所述政务数据源对应的政务数据集合进行数据块分割,得到每个所述政务数据源对应的多个数据块。
3.根据权利要求1所述的基于冗余信息的政务数据管理方法,其特征在于,所述分别对每个所述政务数据源对应的多个数据块进行CRC生成多项式匹配,得到每个所述政务数据源对应的目标CRC生成多项式,同时,基于每个所述政务数据源对应的目标CRC生成多项式,对每个所述政务数据源对应的多个数据块进行校验值计算,得到每个所述政务数据源对应的CRC校验值,包括:
分别对每个所述政务数据源对应的多个数据块进行数据块数量分析,得到每个所述政务数据源对应的数据块数量;
根据每个所述政务数据源对应的数据块数量以及预置的生成多项式数据库,分别对每个所述政务数据源对应的多个数据块进行CRC生成多项式筛选,得到每个所述政务数据源对应的目标CRC生成多项式;
通过每个所述政务数据源对应的目标CRC生成多项式,分别对每个所述政务数据源对应的每个数据块进行CRC校验器初始化处理,得到多个目标CRC校验器;
通过多个所述目标CRC校验器,分别对每个所述政务数据源对应的每个数据块进行字节遍历,得到每个所述政务数据源对应的每个数据块的字节数据信息;
基于每个所述政务数据源对应的每个数据块的字节数据信息,对每个所述政务数据源对应的多个数据块进行校验值计算,得到每个所述政务数据源对应的CRC校验值。
4.根据权利要求1所述的基于冗余信息的政务数据管理方法,其特征在于,所述获取客户终端发送的政务数据请求,并对所述政务数据请求进行请求数据冗余特征分析,得到目标冗余特征,包括:
获取客户终端发送的政务数据请求,并对所述政务数据请求进行请求数据解析,得到所述政务数据请求对应的解析数据;
对所述解析数据进行字段分割,得到所述解析数据对应的多个字段信息;
对多个所述字段信息进行请求数据冗余特征分析,得到目标冗余特征。
5.一种基于冗余信息的政务数据管理装置,其特征在于,所述基于冗余信息的政务数据管理装置包括:
采集模块,用于标定多个政务数据源,同时,从多个所述政务数据源采集政务数据,得到每个所述政务数据源对应的政务数据集合;
第一分割模块,用于分别对每个所述政务数据源对应的政务数据集合进行数据块分割,得到每个所述政务数据源对应的多个数据块;
匹配模块,用于分别对每个所述政务数据源对应的多个数据块进行CRC生成多项式匹配,得到每个所述政务数据源对应的目标CRC生成多项式,同时,基于每个所述政务数据源对应的目标CRC生成多项式,对每个所述政务数据源对应的多个数据块进行校验值计算,得到每个所述政务数据源对应的CRC校验值;
附加模块,用于基于每个所述政务数据源对应的CRC校验值,分别对每个所述政务数据源对应的多个数据块进行校验值附加,得到每个所述政务数据源对应的初始冗余数据;
第二分割模块,用于分别对每个所述政务数据源对应的初始冗余数据进行编码数据段分割,得到每个所述政务数据源的初始冗余数据的第一编码数据段以及第二编码数据段;具体包括:分别对每个所述政务数据源对应的初始冗余数据进行时间戳分析,得到每个所述政务数据源对应的初始冗余数据的时间戳集合;基于每个所述政务数据源对应的初始冗余数据的时间戳集合,分别对每个所述政务数据源对应的初始冗余数据进行时序数据转换,得到每个所述政务数据源对应的时序数据集合;基于每个所述政务数据源对应的时序数据集合,分别对每个所述政务数据源对应的初始冗余数据进行数据关键节点匹配,得到每个所述政务数据源对应的初始冗余数据的多个数据关键节点;分别对每个所述政务数据源对应的初始冗余数据的多个数据关键节点进行节点划分,得到每个所述政务数据源对应的初始冗余数据的第一节点集群以及第二节点集群;通过每个所述政务数据源对应的初始冗余数据的第一节点集群以及第二节点集群,分别对每个所述政务数据源对应的初始冗余数据进行编码数据段分割,得到每个所述政务数据源的初始冗余数据的第一编码数据段以及第二编码数据段;
编码模块,用于基于每个所述政务数据源的初始冗余数据的第一编码数据段以及第二编码数据段,分别对每个所述政务数据源对应的初始冗余数据进行数据编码,得到每个所述政务数据源对应的目标冗余数据;具体包括:对每个所述政务数据源的初始冗余数据的第一编码数据段进行数据点差异分析,得到每个所述政务数据源的初始冗余数据的差异数据点集合;对每个所述政务数据源的初始冗余数据的差异数据点集合进行数据变化趋势分析,得到每个所述政务数据源的初始冗余数据的数据变化趋势;通过每个所述政务数据源的初始冗余数据的数据变化趋势,分别对每个所述政务数据源的初始冗余数据的第一编码数据段进行差异编码,得到每个所述政务数据源的初始冗余数据的差异编码数据;对每个所述政务数据源的初始冗余数据的第二编码数据段进行数据区间提取,得到每个所述政务数据源的初始冗余数据的数据区间信息;基于每个所述政务数据源的初始冗余数据的数据区间信息,分别对每个所述政务数据源的初始冗余数据进行编码数据映射,得到每个所述政务数据源的初始冗余数据的映射编码数据;分别对每个所述政务数据源的初始冗余数据的差异编码数据以及每个所述政务数据源的初始冗余数据的映射编码数据进行组合编码,得到每个所述政务数据源对应的目标冗余数据;
获取模块,用于获取客户终端发送的政务数据请求,并对所述政务数据请求进行请求数据冗余特征分析,得到目标冗余特征;
发送模块,用于通过所述目标冗余特征对每个所述政务数据源对应的目标冗余数据进行数据采集,得到目标政务请求数据,并将所述政务请求数据发送至所述客户终端;具体包括:通过所述目标冗余特征对每个所述政务数据源对应的目标冗余数据进行相似度计算,得到相似度计算结果;通过所述相似度计算结果对每个所述政务数据源对应的目标冗余数据进行数据量匹配,得到目标数据量以及数据位置信息;基于所述目标数据量,通过所述数据位置信息对每个所述政务数据源对应的目标冗余数据进行数据提取,得到所述目标政务请求数据。
6.一种基于冗余信息的政务数据管理设备,其特征在于,所述基于冗余信息的政务数据管理设备包括:存储器和至少一个处理器,所述存储器中存储有指令;
所述至少一个处理器调用所述存储器中的所述指令,以使得所述基于冗余信息的政务数据管理设备执行如权利要求1-4中任一项所述的基于冗余信息的政务数据管理方法。
7.一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,其特征在于,所述指令被处理器执行时实现如权利要求1-4中任一项所述的基于冗余信息的政务数据管理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410348119.1A CN117952324B (zh) | 2024-03-26 | 2024-03-26 | 一种基于冗余信息的政务数据管理方法及相关装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410348119.1A CN117952324B (zh) | 2024-03-26 | 2024-03-26 | 一种基于冗余信息的政务数据管理方法及相关装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117952324A CN117952324A (zh) | 2024-04-30 |
CN117952324B true CN117952324B (zh) | 2024-05-28 |
Family
ID=90792366
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410348119.1A Active CN117952324B (zh) | 2024-03-26 | 2024-03-26 | 一种基于冗余信息的政务数据管理方法及相关装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117952324B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1433238A (zh) * | 2001-11-09 | 2003-07-30 | 生命扫描有限公司 | 对数据字符串授权的系统和方法 |
WO2014204373A1 (en) * | 2013-06-20 | 2014-12-24 | Telefonaktiebolaget L M Ericsson (Publ) | Access control in a network |
CN110750383A (zh) * | 2019-09-29 | 2020-02-04 | 东南大学 | 一种利用crc校验码携带信息的方法 |
CN112073148A (zh) * | 2019-06-10 | 2020-12-11 | 慧与发展有限责任合伙企业 | 快速循环冗余校验码生成 |
CN112954060A (zh) * | 2021-02-19 | 2021-06-11 | 南京南瑞继保电气有限公司 | 一种数据分析方法、装置、电子设备以及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IN2014KO00047A (zh) * | 2014-01-10 | 2015-08-14 | Ariana Comm |
-
2024
- 2024-03-26 CN CN202410348119.1A patent/CN117952324B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1433238A (zh) * | 2001-11-09 | 2003-07-30 | 生命扫描有限公司 | 对数据字符串授权的系统和方法 |
WO2014204373A1 (en) * | 2013-06-20 | 2014-12-24 | Telefonaktiebolaget L M Ericsson (Publ) | Access control in a network |
CN112073148A (zh) * | 2019-06-10 | 2020-12-11 | 慧与发展有限责任合伙企业 | 快速循环冗余校验码生成 |
CN110750383A (zh) * | 2019-09-29 | 2020-02-04 | 东南大学 | 一种利用crc校验码携带信息的方法 |
CN112954060A (zh) * | 2021-02-19 | 2021-06-11 | 南京南瑞继保电气有限公司 | 一种数据分析方法、装置、电子设备以及存储介质 |
Non-Patent Citations (1)
Title |
---|
李寿强.循环冗余校验CRC的算法分析及其实现方法.成都电子机械高等专科学校学报.(04),第11-15页. * |
Also Published As
Publication number | Publication date |
---|---|
CN117952324A (zh) | 2024-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7908075B2 (en) | Traffic information query system and traffic information query method | |
US20140095211A1 (en) | Systems and methods of data mapping from multiple devices for driving performance product systems | |
CN111475370A (zh) | 基于数据中心的运维监控方法、装置、设备及存储介质 | |
US20090198681A1 (en) | Real property evaluation and scoring method and system | |
CN112632129A (zh) | 一种码流数据管理方法、装置及存储介质 | |
CN114145027A (zh) | 用于处理地理定位事件数据以获得低延迟的系统 | |
CN112633761B (zh) | 指标数据的查询方法、装置、设备及存储介质 | |
KR20180126792A (ko) | 분산인메모리기반 복합형스트림 데이터처리시스템 및 방법 | |
CN114584374B (zh) | 一种基于区块链的大数据隐私共享安全保护系统及方法 | |
CN117312290A (zh) | 一种提高异构系统数据质量的方法 | |
CN117251414B (zh) | 一种基于异构技术的数据存储及处理方法 | |
CN117112707A (zh) | 一种标准地址库采集建库方法及系统 | |
US20190057315A1 (en) | Automatic detection and correction of license plate misidentification | |
CN117952324B (zh) | 一种基于冗余信息的政务数据管理方法及相关装置 | |
CN116384844B (zh) | 基于地理信息云平台的决策方法及装置 | |
CN112104687B (zh) | 物流路由服务的监控方法、装置、电子设备及存储介质 | |
CN113473166A (zh) | 一种数据存储系统及方法 | |
CN114238346B (zh) | 监控密度分析方法、装置、存储介质和电子设备 | |
CN116860728A (zh) | 网格化人口处理方法、系统、处理服务器及存储介质 | |
CN116910144A (zh) | 算力网络资源中心、算力服务系统以及数据处理方法 | |
CN113283677B (zh) | 指标数据处理方法、装置、设备及存储介质 | |
CN115051863A (zh) | 异常流量检测的方法、装置、电子设备及可读存储介质 | |
CN101674594A (zh) | 基于dns的移动数据业务监控系统和方法 | |
US9625613B2 (en) | Weather determination system and method | |
CN113380414A (zh) | 基于大数据的数据采集方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |