CN117829435A - 一种基于大数据的城市数据质量管理方法及系统 - Google Patents
一种基于大数据的城市数据质量管理方法及系统 Download PDFInfo
- Publication number
- CN117829435A CN117829435A CN202410242127.8A CN202410242127A CN117829435A CN 117829435 A CN117829435 A CN 117829435A CN 202410242127 A CN202410242127 A CN 202410242127A CN 117829435 A CN117829435 A CN 117829435A
- Authority
- CN
- China
- Prior art keywords
- data
- storage area
- business decision
- decision management
- management model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007726 management method Methods 0.000 title claims abstract description 178
- 238000000034 method Methods 0.000 claims description 56
- 230000008569 process Effects 0.000 claims description 40
- 238000011156 evaluation Methods 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000012163 sequencing technique Methods 0.000 claims description 10
- 238000009960 carding Methods 0.000 claims description 9
- 230000010354 integration Effects 0.000 claims description 9
- 230000006399 behavior Effects 0.000 claims description 8
- 238000012423 maintenance Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000003326 Quality management system Methods 0.000 claims description 6
- 230000009471 action Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013439 planning Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及数据质量管理技术领域，具体为一种基于大数据的城市数据质量管理方法及系统，本发明通过整理在应用对智慧城市构建的各业务决策管理模型的过程中，需对智慧城市数据库内各存储区域产生的数据调用记录信息，以及梳理同一业务决策管理模型，在不同历史应用记录中对智慧城市数据库内存储区域所调取数据之间的偏差分布情况，评估基于调取来自各存储区域的数据集的数据差异变化，对导致相应业务决策管理模型呈现出应用结果偏差较大的情况所贡献的程度，进一步分析得到各存储区域内的数据，对在做城市业务决策过程中的重要程度值，实现存储区域的安全分级管理，确保决策应用的准确性。
Description
技术领域
本发明涉及数据质量管理技术领域，具体为一种基于大数据的城市数据质量管理方法及系统。
背景技术
为现代化城市构建城市数据库，是实现对现代城市管理和规划的关键工具，在信息时代，城市数据成为了决策的基础，为城市的可持续发展提供了关键支持；数据质量管理，是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。
城市数据库的构建和数据质量管理是一项庞大而复杂的任务，首先，需要收集各个城市的数据，包括人口统计、土地利用、交通状况、环境指标等各个方面的信息，这些数据需要规范化和标准化，以便进行比较和分析。其次，需要建立高效的数据管理系统，确保数据的存储和检索能够满足各种用于决策分析的调用需求，此外，还需要不断更新和维护数据库，以反映城市的变化和发展。城市数据库内的数据稳定性、准确性决定了决策的稳定性、准确性。
发明内容
本发明的目的在于提供一种基于大数据的城市数据质量管理方法及系统，以解决上述背景技术中提出的问题。
为了解决上述技术问题，本发明提供如下技术方案：一种基于大数据的城市数据质量管理方法，方法包括：
步骤S1：分别采集对智慧城市构建的各业务决策管理模型的历史应用记录，整理在应用任意业务决策管理模型的过程中，需从智慧城市数据库调取输入至任意业务决策管理模型的数据集的信息；
步骤S2：梳理同一业务决策管理模型，在不同历史应用记录中对智慧城市数据库内各存储区域调取数据的偏差分布情况，评估各存储区域内的数据对相应业务决策管理模型的输出影响指数；
步骤S3：根据在应用各业务决策管理模型的过程中对各存储区域内数据的调用分布情况，以及各存储区域内的数据对不同业务决策管理模型所呈现的输出影响指数分布情况，对智慧城市数据库内各存储区域的数据重要程度值进行评估；
步骤S4：反馈管理人员端口，辅助管理人员对智慧城市数据库内各存储区域布设不同数据安全维护等级的保护措施。
进一步的，步骤S1包括：
步骤S1-1：将通过不同移动采集终端定时从外部采集得到的智慧城市数据，按照预设的数据预处理规则完成数据预处理得到待处理数据集，将待处理数据集内各数据按照预设的数据分类规则进行分类得到若干待存储数据集，将各待存储数据集按照所对应的数据类别信息存储进入智慧城市数据库内不同的存储区域；其中，一个存储区域对应一种类别数据；
步骤S1-2：分别从各业务决策管理模型的每一历史应用记录中，提取在应用相应业务决策管理模型的过程中，对智慧城市数据库内不同存储区域产生的数据调用记录，分别得到在应用任意业务决策管理模型的过程中，需向任意业务决策管理模型输入的数据序列Q={P1,P2,...,Pn}，其中，P1,P2,...,Pn分别表示在应用任意业务决策管理模型的过程中，需向任意业务决策管理模型输入的，对应调取来自第1、2、...、n个存储区域内的数据集；
即对在应用任意业务决策管理模型的过程中，需向任意业务决策管理模型输入的所有数据，按照类别进行划分整理，得到对应的数据集，为后续在基于相同的业务决策管理模型得到偏差较大的决策行为时，对输入数据进行数据偏差比较提供必要的技术铺垫。
进一步的，步骤S2包括：
步骤S2-1：获取在任意业务决策管理模型的每一历史应用记录中，基于模型输出结果所作出的决策行为；在任意业务决策管理模型的所有历史应用记录中，将决策行为相似度小于相似度阈值的任意两个历史应用记录，构成一个比对记录组，分别得到对应各业务决策管理模型的若干比对记录组；
步骤S2-2：设在某业务决策管理模型的第i个比对记录组中，包括历史应用记录a和历史应用记录b，设分别从历史应用记录a、b中提取得到向某业务决策管理模型输入的数据序列为Q(a)={P1(a),P2(a),...,Pm(a)}和Q(b)={P1(b),P2(b),...,Pm(b)}；其中，P1(a),P2(a),...,Pm(a)表示在历史应用记录a中向某业务决策管理模型输入的，对应调取来自第1、2、...、m个存储区域的数据集；其中，P1(b),P2(b),...,Pm(b)表示在历史应用记录b中，向某业务决策管理模型输入的，对应调取来自第1、2、...、m个存储区域的数据集；
步骤S2-3：将数据集Q(a)和数据集Q(b)中，对应相同存储区域的数据集进行偏差比对，得到对应各存储区域的数据偏差程度值，将m个存储区域按照对应数据偏差程度值从大到小进行排序，得到在某业务决策管理模型第i个比对记录组中的存储区域序列；
因为在历史应用记录a和历史应用记录b中所作决策行为间偏差较大，且因是在同一业务决策管理模型上产生的应用，在应用过程中所调用的数据在类别上的要求是相同的，因此导致应用结果出现偏差的原因应是在输入的各类别数据上的具体数值偏差，若输入属于相同类别的数据集的偏差程度值越大，说明从存储该相同类别数据的存储区域中调取得到的数据，对当前业务决策管理模型呈现出应用结果偏差较大的情况所提供的贡献程度就越大；
步骤S2-4：获取从任意业务决策管理模型的每一比对记录组中提取得到的存储区域序列，捕捉存储区域序列内相应存储区域所对应的排序值；设在应用某业务决策管理模型的过程中，需输入调取来自某存储区域的数据，且从某业务决策管理模型的所有比对记录组中提取得到某存储区域对应的最大排序值为Kmax，最小排序值为Kmin，计算得到来自某存储区域的数据对某业务决策管理模型的输出影响指数β=1/Kmin+1/(Kmax-Kmin)；
Kmin越大，说明输入调取来自某存储区域的数据集的差异变化，对导致当前业务决策管理模型呈现出应用结果偏差较大的情况所提供的贡献程度值越小，Kmax-Kmin越大，说明由于输入调取来自某存储区域的数据集的差异变化，对导致当前业务决策管理模型呈现出应用结果偏差较大的现象规律越不稳定；
若在应用某业务决策管理模型的过程中，不需要向某存储区域调取数据，作为某业务决策管理模型输入，则默认来自某存储区域的数据对某业务决策管理模型的输出影响指数为0。
进一步的，步骤S3包括：
步骤S3-1：获取对智慧城市构建的业务决策管理模型的总数M，若在应用M个业务决策管理模型的过程中，需调取来自某存储区域内的数据作为输入的业务决策管理模型的总数为F，计算得到某存储区域的重要程度系数α=F/M；
步骤S3-2：分别获取某存储区域对相应F个业务决策管理模型的输出影响指数，计算得到某存储区域对相应F个业务决策管理模型的平均输出影响指数δ；
步骤S3-3：评估某存储区域的数据重要程度值IMP=α×δ。
进一步的，步骤S4包括：
步骤S4-1：获取数据库内各存储区域对应的数据重要程度值，将所有存储区域按照对应的数据重要程度值从大到小进行排序，得到特征存储区域序列；
步骤S4-2：分别为各存储区域内的数据，按照各存储区域在特征存储区域序列内所处的排序配置相对应等级的保护措施。
为更好的实现上述方法，还提出了一种城市数据质量管理系统，系统包括模型应用数据梳理模块、输出影响指数评估管理模块、数据重要程度值评估管理模块、反馈提示管理模块；
模型应用数据梳理模块，用于分别采集对智慧城市构建的各业务决策管理模型的历史应用记录，整理在应用任意业务决策管理模型的过程中，需从智慧城市数据库调取输入至任意业务决策管理模型的数据集的信息；
输出影响指数评估管理模块，用于梳理同一业务决策管理模型，在不同历史应用记录中对智慧城市数据库内各存储区域调取数据的偏差分布情况，评估各存储区域内的数据对相应业务决策管理模型的输出影响指数；
数据重要程度值评估管理模块，用于根据在应用各业务决策管理模型的过程中对各存储区域内数据的调用分布情况，以及各存储区域内的数据对不同业务决策管理模型所呈现的输出影响指数分布情况，对智慧城市数据库内各存储区域的数据重要程度值进行评估；
反馈提示管理模块，用于反馈管理人员端口，辅助管理人员对智慧城市数据库内各存储区域布设不同数据安全维护等级的保护措施。
进一步的，输出影响指数评估管理模块包括调取数据偏差梳理单元、输出影响指数计算单元；
调取数据偏差梳理单元，用于梳理同一业务决策管理模型，在不同历史应用记录中对智慧城市数据库内各存储区域调取数据的偏差分布情况；
输出影响指数计算单元，用于接收调取数据偏差梳理单元中的数据，评估各存储区域内的数据对相应业务决策管理模型的输出影响指数。
进一步的，数据重要程度值评估管理模块包括信息整合单元、数据重要程度值计算单元；
信息整合单元，用于整理在应用各业务决策管理模型的过程中对各存储区域内数据的调用分布情况，以及各存储区域内的数据对不同业务决策管理模型所呈现的输出影响指数分布情况；
数据重要程度值计算单元，用于接收信息整合单元中的数据，评估计算智慧城市数据库内各存储区域的数据重要程度值。
与现有技术相比，本发明所达到的有益效果是：本发明通过整理在应用对智慧城市构建的各业务决策管理模型的过程中，需对智慧城市数据库内各存储区域产生的数据调用记录信息，以及梳理同一业务决策管理模型，在不同历史应用记录中对智慧城市数据库内存储区域所调取数据之间的偏差分布情况，评估基于调取来自各存储区域的数据集的数据差异变化，对导致相应业务决策管理模型呈现出应用结果偏差较大的情况所提供的贡献程度值，并且在此基础之上，进一步分析智慧城市数据库中各存储区域内的数据，对在做城市业务决策过程中的重要程度值，进而实现对智慧城市数据库中各存储区域的安全分级管理，提高智慧城市数据库内数据的准确性和可靠性，确保决策应用的准确性。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明一种基于大数据的城市数据质量管理方法的流程示意图；
图2是本发明一种基于大数据的城市数据质量管理系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-图2，本发明提供技术方案：
一种基于大数据的城市数据质量管理方法，方法包括：步骤S1：分别采集对智慧城市构建的各业务决策管理模型的历史应用记录，整理在应用任意业务决策管理模型的过程中，需从智慧城市数据库调取输入至任意业务决策管理模型的数据集的信息；
其中，步骤S1包括：
步骤S1-1：将通过不同移动采集终端定时从外部采集得到的智慧城市数据，按照预设的数据预处理规则完成数据预处理得到待处理数据集，将待处理数据集内各数据按照预设的数据分类规则进行分类得到若干待存储数据集，将各待存储数据集按照所对应的数据类别信息存储进入智慧城市数据库内不同的存储区域；其中，一个存储区域对应一种类别数据；
步骤S1-2：分别从各业务决策管理模型的每一历史应用记录中，提取在应用相应业务决策管理模型的过程中，对智慧城市数据库内不同存储区域产生的数据调用记录，分别得到在应用任意业务决策管理模型的过程中，需向任意业务决策管理模型输入的数据序列Q={P1,P2,...,Pn}，其中，P1,P2,...,Pn分别表示在应用任意业务决策管理模型的过程中，需向任意业务决策管理模型输入的，对应调取来自第1、2、...、n个存储区域内的数据集；
步骤S2：梳理同一业务决策管理模型，在不同历史应用记录中对智慧城市数据库内各存储区域调取数据的偏差分布情况，评估各存储区域内的数据对相应业务决策管理模型的输出影响指数；
其中，步骤S2包括：
步骤S2-1：获取在任意业务决策管理模型的每一历史应用记录中，基于模型输出结果所作出的决策行为；在任意业务决策管理模型的所有历史应用记录中，将决策行为相似度小于相似度阈值的任意两个历史应用记录，构成一个比对记录组，分别得到对应各业务决策管理模型的若干比对记录组；
步骤S2-2：设在某业务决策管理模型的第i个比对记录组中，包括历史应用记录a和历史应用记录b，设分别从历史应用记录a、b中提取得到向某业务决策管理模型输入的数据序列为Q(a)={P1(a),P2(a),...,Pm(a)}和Q(b)={P1(b),P2(b),...,Pm(b)}；其中，P1(a),P2(a),...,Pm(a)表示在历史应用记录a中向某业务决策管理模型输入的，对应调取来自第1、2、...、m个存储区域的数据集；其中，P1(b),P2(b),...,Pm(b)表示在历史应用记录b中，向某业务决策管理模型输入的，对应调取来自第1、2、...、m个存储区域的数据集；
步骤S2-3：将数据集Q(a)和数据集Q(b)中，对应相同存储区域的数据集进行偏差比对，得到对应各存储区域的数据偏差程度值，将m个存储区域按照对应数据偏差程度值从大到小进行排序，得到在某业务决策管理模型第i个比对记录组中的存储区域序列；
步骤S2-4：获取从任意业务决策管理模型的每一比对记录组中提取得到的存储区域序列，捕捉存储区域序列内相应存储区域所对应的排序值；设在应用某业务决策管理模型的过程中，需输入调取来自某存储区域的数据，且从某业务决策管理模型的所有比对记录组中提取得到某存储区域对应的最大排序值为Kmax，最小排序值为Kmin，计算得到来自某存储区域的数据对某业务决策管理模型的输出影响指数β=1/Kmin+1/(Kmax-Kmin)；
例如说，在第i个比对记录组中，数据集Q(a)中的第1个数据集为A1，第2个数据集为A2，第3个数据集为A3，第4个数据集为A4；数据集Q(b)中的第1个数据集为B1，第2个数据集为B2，第3个数据集为B3，第4个数据集为B4；
分别在A1与B1，A2与B2，A3与B3，A4与B4之间进行偏差比对，得到在A1与B1之间的数据偏差程度值W1，在A2与B2之间的数据偏差程度值W2，在A3与B3之间的数据偏差程度值W3，在A4与B4之间之间的数据偏差程度值W4，将数据偏差程度值按照从大到小的顺序进行排序；
若数据偏差程度序列序列L=W2>W1>W4>W3，且第1个数据集位于智慧城市数据库内的存储区域x中，第2个数据集位于智慧城市数据库内的存储区域y中，第3个数据集位于智慧城市数据库内的存储区域v中，第4个数据集位于智慧城市数据库内的存储区域z中，得到对应数据偏差程度序列序列L的存储区域序列U=y>x>z>v；
例如说，对某业务决策管理模型提取得到的比对记录组总共有10个，其中存储区域R，在从10个对记录组提取得到的存储区域序列中，最大排序值为在第5个存储区域序列中所处的排序值4，最小排序值为在第3个存储区域序列中所处的排序值2；
综上，存储区域R对某业务决策管理模型的输出影响指数β=1/2+1/(4-2)=1；
步骤S3：根据在应用各业务决策管理模型的过程中对各存储区域内数据的调用分布情况，以及各存储区域内的数据对不同业务决策管理模型所呈现的输出影响指数分布情况，对智慧城市数据库内各存储区域的数据重要程度值进行评估；
其中，步骤S3包括：
步骤S3-1：获取对智慧城市构建的业务决策管理模型的总数M，若在应用M个业务决策管理模型的过程中，需调取来自某存储区域内的数据作为输入的业务决策管理模型的总数为F，计算得到某存储区域的重要程度系数α=F/M；
步骤S3-2：分别获取某存储区域对相应F个业务决策管理模型的输出影响指数，计算得到某存储区域对相应F个业务决策管理模型的平均输出影响指数δ；
步骤S3-3：评估某存储区域的数据重要程度值IMP=α×δ。
步骤S4：反馈管理人员端口，辅助管理人员对智慧城市数据库内各存储区域布设不同数据安全维护等级的保护措施；
其中，步骤S4包括：
步骤S4-1：获取数据库内各存储区域对应的数据重要程度值，将所有存储区域按照对应的数据重要程度值从大到小进行排序，得到特征存储区域序列；
步骤S4-2：分别为各存储区域内的数据，按照各存储区域在特征存储区域序列内所处的排序配置相对应等级的保护措施。
其中，保护措施包括采集阶段的保护措施，传输阶段的保护措施，数据调用传输阶段的保护措施，数据处理阶段的保护措施；其中，采集阶段的保护措施，用于对在采集存储进相应存储区域内的数据的过程进行保护；数据调用阶段的保护措施，用于对为应用业务决策管理模型，调用传输相应存储区域内的数据的过程进行保护；数据处理阶段的保护措施，用于对在相应存储区域内进行数据预处理等操作的过程进行保护；
为更好的实现上述方法，还提出了一种城市数据质量管理系统，系统包括模型应用数据梳理模块、输出影响指数评估管理模块、数据重要程度值评估管理模块、反馈提示管理模块；
模型应用数据梳理模块，用于分别采集对智慧城市构建的各业务决策管理模型的历史应用记录，整理在应用任意业务决策管理模型的过程中，需从智慧城市数据库调取输入至任意业务决策管理模型的数据集的信息；
输出影响指数评估管理模块，用于梳理同一业务决策管理模型，在不同历史应用记录中对智慧城市数据库内各存储区域调取数据的偏差分布情况，评估各存储区域内的数据对相应业务决策管理模型的输出影响指数；
其中，输出影响指数评估管理模块包括调取数据偏差梳理单元、输出影响指数计算单元；
调取数据偏差梳理单元，用于梳理同一业务决策管理模型，在不同历史应用记录中对智慧城市数据库内各存储区域调取数据的偏差分布情况；
输出影响指数计算单元，用于接收调取数据偏差梳理单元中的数据，评估各存储区域内的数据对相应业务决策管理模型的输出影响指数；
数据重要程度值评估管理模块，用于根据在应用各业务决策管理模型的过程中对各存储区域内数据的调用分布情况，以及各存储区域内的数据对不同业务决策管理模型所呈现的输出影响指数分布情况，对智慧城市数据库内各存储区域的数据重要程度值进行评估；
其中，数据重要程度值评估管理模块包括信息整合单元、数据重要程度值计算单元；
信息整合单元，用于整理在应用各业务决策管理模型的过程中对各存储区域内数据的调用分布情况，以及各存储区域内的数据对不同业务决策管理模型所呈现的输出影响指数分布情况；
数据重要程度值计算单元，用于接收信息整合单元中的数据，评估计算智慧城市数据库内各存储区域的数据重要程度值；
反馈提示管理模块，用于反馈管理人员端口，辅助管理人员对智慧城市数据库内各存储区域布设不同数据安全维护等级的保护措施。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于大数据的城市数据质量管理方法，其特征在于，所述方法包括：
步骤S1：分别采集对智慧城市构建的各业务决策管理模型的历史应用记录，整理在应用任意业务决策管理模型的过程中，需从智慧城市数据库调取输入至所述任意业务决策管理模型的数据集的信息；
步骤S2：梳理同一业务决策管理模型，在不同历史应用记录中对智慧城市数据库内各存储区域调取数据的偏差分布情况，评估各存储区域内的数据对相应业务决策管理模型的输出影响指数；
步骤S3：根据在应用各业务决策管理模型的过程中对各存储区域内数据的调用分布情况，以及各存储区域内的数据对不同业务决策管理模型所呈现的输出影响指数分布情况，对智慧城市数据库内各存储区域的数据重要程度值进行评估；
步骤S4：反馈管理人员端口，辅助管理人员对智慧城市数据库内各存储区域布设不同数据安全维护等级的保护措施。
2.根据权利要求1所述的一种基于大数据的城市数据质量管理方法，其特征在于，所述步骤S1包括：
步骤S1-1：将通过不同移动采集终端定时从外部采集得到的智慧城市数据，按照预设的数据预处理规则完成数据预处理得到待处理数据集，将待处理数据集内各数据按照预设的数据分类规则进行分类得到若干待存储数据集，将各待存储数据集按照所对应的数据类别信息存储进入智慧城市数据库内不同的存储区域；其中，一个存储区域对应一种类别数据；
步骤S1-2：分别从各业务决策管理模型的每一历史应用记录中，提取在应用相应业务决策管理模型的过程中，对智慧城市数据库内不同存储区域产生的数据调用记录，分别得到在应用任意业务决策管理模型的过程中，需向所述任意业务决策管理模型输入的数据序列Q={P1,P2,...,Pn}，其中，P1,P2,...,Pn分别表示在应用所述任意业务决策管理模型的过程中，需向所述任意业务决策管理模型输入的，对应调取来自第1、2、...、n个存储区域内的数据集。
3.根据权利要求2所述的一种基于大数据的城市数据质量管理方法，其特征在于，所述步骤S2包括：
步骤S2-1：获取在任意业务决策管理模型的每一历史应用记录中，基于模型输出结果所作出的决策行为；在任意业务决策管理模型的所有历史应用记录中，将决策行为相似度小于相似度阈值的任意两个历史应用记录，构成一个比对记录组，分别得到对应各业务决策管理模型的若干比对记录组；
步骤S2-2：设在某业务决策管理模型的第i个比对记录组中，包括历史应用记录a和历史应用记录b，设分别从历史应用记录a、b中提取得到向所述某业务决策管理模型输入的数据序列为Q(a)={P1(a),P2(a),...,Pm(a)}和Q(b)={P1(b),P2(b),...,Pm(b)}；其中，P1(a),P2(a),...,Pm(a)表示在历史应用记录a中向所述某业务决策管理模型输入的，对应调取来自第1、2、...、m个存储区域的数据集；其中，P1(b),P2(b),...,Pm(b)表示在历史应用记录b中，向所述某业务决策管理模型输入的，对应调取来自第1、2、...、m个存储区域的数据集；
步骤S2-3：将数据集Q(a)和数据集Q(b)中，对应相同存储区域的数据集进行偏差比对，得到对应各存储区域的数据偏差程度值，将m个存储区域按照对应数据偏差程度值从大到小进行排序，得到在某业务决策管理模型第i个比对记录组中的存储区域序列；
步骤S2-4：获取从任意业务决策管理模型的每一比对记录组中提取得到的存储区域序列，捕捉存储区域序列内相应存储区域所对应的排序值；设在应用某业务决策管理模型的过程中，需输入调取来自某存储区域的数据，且从所述某业务决策管理模型的所有比对记录组中提取得到所述某存储区域对应的最大排序值为Kmax，最小排序值为Kmin，计算得到来自某存储区域的数据对所述某业务决策管理模型的输出影响指数β=1/Kmin+1/(Kmax-Kmin)。
4.根据权利要求3所述的一种基于大数据的城市数据质量管理方法，其特征在于，所述步骤S3包括：
步骤S3-1：获取对智慧城市构建的业务决策管理模型的总数M，若在应用M个业务决策管理模型的过程中，需调取来自某存储区域内的数据作为输入的业务决策管理模型的总数为F，计算得到某存储区域的重要程度系数α=F/M；
步骤S3-2：分别获取所述某存储区域对相应F个业务决策管理模型的输出影响指数，计算得到所述某存储区域对相应F个业务决策管理模型的平均输出影响指数δ；
步骤S3-3：评估某存储区域的数据重要程度值IMP=α×δ。
5.根据权利要求4所述的一种基于大数据的城市数据质量管理方法，其特征在于，所述步骤S4包括：
步骤S4-1：获取数据库内各存储区域对应的数据重要程度值，将所有存储区域按照对应的数据重要程度值从大到小进行排序，得到特征存储区域序列；
步骤S4-2：分别为各存储区域内的数据，按照所述各存储区域在所述特征存储区域序列内所处的排序配置相对应等级的保护措施。
6.用于执行权利要求1-5中任意一项所述的一种基于大数据的城市数据质量管理方法的城市数据质量管理系统，其特征在于，所述系统包括模型应用数据梳理模块、输出影响指数评估管理模块、数据重要程度值评估管理模块、反馈提示管理模块；
所述模型应用数据梳理模块，用于分别采集对智慧城市构建的各业务决策管理模型的历史应用记录，整理在应用任意业务决策管理模型的过程中，需从智慧城市数据库调取输入至所述任意业务决策管理模型的数据集的信息；
所述输出影响指数评估管理模块，用于梳理同一业务决策管理模型，在不同历史应用记录中对智慧城市数据库内各存储区域调取数据的偏差分布情况，评估各存储区域内的数据对相应业务决策管理模型的输出影响指数；
所述数据重要程度值评估管理模块，用于根据在应用各业务决策管理模型的过程中对各存储区域内数据的调用分布情况，以及各存储区域内的数据对不同业务决策管理模型所呈现的输出影响指数分布情况，对智慧城市数据库内各存储区域的数据重要程度值进行评估；
所述反馈提示管理模块，用于反馈管理人员端口，辅助管理人员对智慧城市数据库内各存储区域布设不同数据安全维护等级的保护措施。
7.根据权利要求6所述的城市数据质量管理系统，其特征在于，所述输出影响指数评估管理模块包括调取数据偏差梳理单元、输出影响指数计算单元；
所述调取数据偏差梳理单元，用于梳理同一业务决策管理模型，在不同历史应用记录中对智慧城市数据库内各存储区域调取数据的偏差分布情况；
所述输出影响指数计算单元，用于接收所述调取数据偏差梳理单元中的数据，评估各存储区域内的数据对相应业务决策管理模型的输出影响指数。
8.根据权利要求6所述的城市数据质量管理系统，其特征在于，所述数据重要程度值评估管理模块包括信息整合单元、数据重要程度值计算单元；
所述信息整合单元，用于整理在应用各业务决策管理模型的过程中对各存储区域内数据的调用分布情况，以及各存储区域内的数据对不同业务决策管理模型所呈现的输出影响指数分布情况；
所述数据重要程度值计算单元，用于接收所述信息整合单元中的数据，评估计算智慧城市数据库内各存储区域的数据重要程度值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410242127.8A CN117829435B (zh) | 2024-03-04 | 2024-03-04 | 一种基于大数据的城市数据质量管理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410242127.8A CN117829435B (zh) | 2024-03-04 | 2024-03-04 | 一种基于大数据的城市数据质量管理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117829435A true CN117829435A (zh) | 2024-04-05 |
| CN117829435B CN117829435B (zh) | 2024-05-14 |
Family
ID=90521315
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410242127.8A Active CN117829435B (zh) | 2024-03-04 | 2024-03-04 | 一种基于大数据的城市数据质量管理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117829435B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050071174A1 (en) * | 2001-07-31 | 2005-03-31 | Leibowitz Mark Harold | Method and system for valuing intellectual property |
| GB201214960D0 (en) * | 2012-08-22 | 2012-10-03 | Media Science Software Ltd | Data processing |
| CN111552686A (zh) * | 2020-05-08 | 2020-08-18 | 国网四川省电力公司信息通信公司 | 一种电力数据质量评估方法及其装置 |
| CN112907423A (zh) * | 2021-03-25 | 2021-06-04 | 安徽长泰信息安全服务有限公司 | 一种智慧城市公共安全监管系统 |
| WO2021151357A1 (zh) * | 2020-09-08 | 2021-08-05 | 平安科技（深圳）有限公司 | 决策信息推荐、药物信息推荐方法、装置、设备及介质 |
| CN114418556A (zh) * | 2022-03-29 | 2022-04-29 | 深圳市勘察研究院有限公司 | 智慧城市更新和土地整备系统及方法 |
| CN115687038A (zh) * | 2022-08-23 | 2023-02-03 | 江苏臻云技术有限公司 | 一种基于大数据的硬盘故障预测系统及方法 |
| KR20230073785A (ko) * | 2021-11-19 | 2023-05-26 | 성균관대학교산학협력단 | 클라이언트 기여도 평가 방법 |
| CN116991916A (zh) * | 2023-08-09 | 2023-11-03 | 广东纬昊科技有限公司 | 基于多源数据分析的智慧城市区域化管理方法及系统 |
| US20230419823A1 (en) * | 2022-06-28 | 2023-12-28 | Chengdu Qinchuan Iot Technology Co., Ltd. | Methods and systems for managing exhaust emission in a smart city based on industrial internet of things |
| CN117325903A (zh) * | 2023-08-31 | 2024-01-02 | 同济大学 | 轨道智能探伤的高置信决策系统 |
-
2024
- 2024-03-04 CN CN202410242127.8A patent/CN117829435B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050071174A1 (en) * | 2001-07-31 | 2005-03-31 | Leibowitz Mark Harold | Method and system for valuing intellectual property |
| GB201214960D0 (en) * | 2012-08-22 | 2012-10-03 | Media Science Software Ltd | Data processing |
| CN111552686A (zh) * | 2020-05-08 | 2020-08-18 | 国网四川省电力公司信息通信公司 | 一种电力数据质量评估方法及其装置 |
| WO2021151357A1 (zh) * | 2020-09-08 | 2021-08-05 | 平安科技（深圳）有限公司 | 决策信息推荐、药物信息推荐方法、装置、设备及介质 |
| CN112907423A (zh) * | 2021-03-25 | 2021-06-04 | 安徽长泰信息安全服务有限公司 | 一种智慧城市公共安全监管系统 |
| KR20230073785A (ko) * | 2021-11-19 | 2023-05-26 | 성균관대학교산학협력단 | 클라이언트 기여도 평가 방법 |
| CN114418556A (zh) * | 2022-03-29 | 2022-04-29 | 深圳市勘察研究院有限公司 | 智慧城市更新和土地整备系统及方法 |
| US20230419823A1 (en) * | 2022-06-28 | 2023-12-28 | Chengdu Qinchuan Iot Technology Co., Ltd. | Methods and systems for managing exhaust emission in a smart city based on industrial internet of things |
| CN115687038A (zh) * | 2022-08-23 | 2023-02-03 | 江苏臻云技术有限公司 | 一种基于大数据的硬盘故障预测系统及方法 |
| CN116991916A (zh) * | 2023-08-09 | 2023-11-03 | 广东纬昊科技有限公司 | 基于多源数据分析的智慧城市区域化管理方法及系统 |
| CN117325903A (zh) * | 2023-08-31 | 2024-01-02 | 同济大学 | 轨道智能探伤的高置信决策系统 |
Non-Patent Citations (2)
| Title |
|---|
| ALABDULATIF, A等: "Privacy-preserving anomaly detection in the cloud for quality assured decision-making in smart cities", JOURNAL OF PARALLEL AND DISTRIBUTED COMPUTING, vol. 127, 31 May 2019 (2019-05-31), pages 209 - 223 * |
| 张董强: "基于元数据的数据质量评估算法研究与实现", 中国优秀硕士学位论文全文数据库 信息科技辑, no. 2, 15 February 2021 (2021-02-15), pages 138 - 756 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117829435B (zh) | 2024-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021184630A1 (zh) | 基于知识图谱定位排污对象的方法及相关设备 | |
| CN112766550B (zh) | 基于随机森林的停电敏感用户预测方法、系统、存储介质及计算机设备 | |
| CN111259947A (zh) | 一种基于多模态学习的电力系统故障预警方法和系统 | |
| CN111738462B (zh) | 电力计量装置故障抢修主动服务预警方法 | |
| CN110837963A (zh) | 一种基于数据、模型及策略的风险控制平台建设方法 | |
| CN112445844B (zh) | 大数据平台财务数据管理控制系统 | |
| CN115423289A (zh) | 智能板材加工车间数据处理方法及终端 | |
| CN112184484A (zh) | 一种电力用户差异化服务方法及系统 | |
| CN113537807A (zh) | 一种企业智慧风控方法及设备 | |
| CN113435627A (zh) | 基于工单轨迹信息的电力客户投诉预测方法及装置 | |
| CN114742477A (zh) | 企业订单数据处理方法、装置、设备及存储介质 | |
| CN115719283A (zh) | 一种智能化会计管理系统 | |
| WO2024108973A1 (zh) | 一种面向建筑业企业的信用评价方法 | |
| CN110287114B (zh) | 一种数据库脚本性能测试的方法及装置 | |
| CN117829435B (zh) | 一种基于大数据的城市数据质量管理方法及系统 | |
| CN115660730A (zh) | 基于分类算法的流失用户分析方法及系统 | |
| CN114219245B (zh) | 基于大数据的乡村电力指数评价方法、装置及存储介质 | |
| CN115858598A (zh) | 基于企业大数据的目标信息筛选匹配方法及相关设备 | |
| CN113191569A (zh) | 一种基于大数据的企业管理方法及系统 | |
| CN115456553A (zh) | 一种基于多维度统计的工程项目管控系统 | |
| CN115049107A (zh) | 一种基于物联采集边缘计算的电量预测系统 | |
| CN113920366A (zh) | 一种基于机器学习的综合加权主数据识别方法 | |
| CN113435494A (zh) | 低压居民用户异常用电识别方法及仿真模拟系统 | |
| CN115438979B (zh) | 一种融合专家模型决策的数据风险识别方法及服务器 | |
| CN117522418B (zh) | 一种基于SaaS模式的学员信息数据管理系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |