CN114037219A - 一种数据评估方法、装置及电子设备 - Google Patents

一种数据评估方法、装置及电子设备 Download PDF

Info

Publication number
CN114037219A
CN114037219A CN202111217606.7A CN202111217606A CN114037219A CN 114037219 A CN114037219 A CN 114037219A CN 202111217606 A CN202111217606 A CN 202111217606A CN 114037219 A CN114037219 A CN 114037219A
Authority
CN
China
Prior art keywords
evaluation
data
perception data
information
quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111217606.7A
Other languages
English (en)
Inventor
孙超凡
陈立力
周明伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202111217606.7A priority Critical patent/CN114037219A/zh
Publication of CN114037219A publication Critical patent/CN114037219A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24564—Applying rules; Deductive queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开一种数据评估方法、装置及电子设备，该方法包括：在获取到待评估的目标感知数据时，在预设数据库中确定出用于对目标感知数据的质量进行评估的M个评估规则；然后按照M个评估规则，对目标感知数据的质量进行多维度评估，生成包含多维度评估结果的评估报告。基于上述方法，通过根据目标感知数据的具体类型在预设数据库中的确定出M个评估规则，对目标感知数据的质量进行多维度评估，生成包含多维度评估结果的评估报告，可以实现对目标感知数据质量进行全面评估，提升评估质量。

Description

一种数据评估方法、装置及电子设备
技术领域
本申请涉及数据治理领域，特别是涉及一种数据评估方法、装置及电子设备。
背景技术
随着各行各业的快速发展，感知数据的分析应用越来越广泛，以智慧城市为例，城市综合管理涉及到不同的管理部门，每个管理部门对数据的需求不一样，比如：公安部门注重人的轨迹信息和案件的发生规律，便于对犯罪团伙进行挖掘和警情研判；交通部门注重交通流量信息，便于对拥堵路段进行治理。
常见的感知数据分为视频感知数据和物联感知数据，其中，视频感知数据包括人脸抓拍、卡口过车等，物联网感知数据包括射频识别(Radio Frequency Identification，RFID)数据、国际移动用户识别码(International Mobile Subscriber IdentificationNumber，IMSI)、门禁信息等。感知数据量种类繁多、精度不一、且容易发生变化，因此，感知数据质量参差不齐。而不同质量的感知数据，对用户的价值是不一样的，非常有必要对感知数据质量进行评估。
现有技术对感知数据质量进行评估的方法，通常是将获取感知数据进行预处理后，构建感知数据向量，然后根据感知数据向量判断感知数据类别，最后基于感知数据类别计算感知数据的评价分数。这种感知数据质量评估方法，基于单一的评估规则对获取的感知数据质量进行评估，不能结合感知数据的具体类型，从多个维度评估感知数据的质量，导致评估结果质量低。
发明内容
本申请提供了一种数据评估方法、装置及电子设备，根据目标感知数据的具体类型，在预设数据库中的确定出M个评估规则，基于M个评估规则对目标感知数据的质量进行多维度评估后，生成包含多维度评估结果的评估报告，该评估报告能够全面的反应感知数据的质量，评估结果质量高。
第一方面，本申请提供了一种数据评估方法，所述方法包括：
在获取到待评估的目标感知数据时，在预设数据库中确定出用于对所述目标感知数据的质量进行评估的M个评估规则，其中，M为大于或等于2的整数；
按照所述M个评估规则对所述目标感知数据的质量进行多维度评估，生成包含多维度评估结果的评估报告。
通过上述方法，根据目标感知数据的具体类型，在预设数据库中的确定出M个评估规则，基于M个评估规则对目标感知数据的质量进行多维度评估后，生成包含多维度评估结果的评估报告，该评估报告能够全面的反应感知数据的质量，评估结果质量高。
在一种可能的设计中，在获取到待评估的目标感知数据之前，包括：
构建感知数据质量评估指标体系，其中，所述感知数据评估指标体系中包含N个评估指标，每个评估指标对应一个评估规则，其中，N为大于或等于2的整数；
将所述N个评估指标对应的N个评估规则保存在预设数据库中。
通过上述方法，构建感知数据质量评估指标体系，建立统一完整的感知数据质量衡量标准，对感知数据的质量进行量化和管控。
在一种可能的设计中，在将所述N个评估指标对应的N个评估规则保存在预设数据库中之后，获取到待评估的目标感知数据之前，还包括：
根据所述预设数据库中的第一预设规则，确定是否执行评估任务；
若是，则获取所述评估任务对应的所述目标感知数据；
若否，则不执行所述评估任务。
通过上述方法，可以实现自动化的对待评估的感知数据执行质量评估任务。
进一步，按照所述M个评估规则对所述目标感知数据的质量进行多维度评估，生成包含多维度评估结果的评估报告，包括：
获取所述目标感知数据中的第一信息，其中，所述第一信息至少包括数据表信息、字段信息或者数据标准信息中的任意一种；
利用所述M个评估规则及所述第一信息对所述目标感知数据质量进行评估，得到M个评估结果，其中，每个评估结果中至少包括所述评估规则对应的二级评估分数及问题数据明细；
将各个二级评估分数输入计算模型，得到N个评估分数，其中，N为大于或等于2的整数；
生成包含所述问题数据明细及N个评估分数的所述评估报告。
通过上述方法，基于目标感知数据对应的第一信息中的字段标准数据元信息，可以扩大数据质量检测的范围，同时，基于在预设数据库中选择出的M个评估规则对目标感知数据进行评估，可以生成包含多维度评估结果的评估报告，实现对目标感知数据的全面评估，同时，并且能够快速、准确的发现目标感知数据质量问题。
进一步，所述获取所述目标感知数据中的第一信息，包括：
对所述目标感知数据进行分析，生成所述目标感知数据对应的所述数据表信息、所述字段信息、所述数据标准信息的分析结果；
将所述数据表信息、所述字段信息、所述数据标准信息作为所述第一信息。
通过上述方法，可以加深对数据信息的深挖和对数据的理解，扩大数据质量检测的范围，发现更多质量问题，为后期数据治理提供更多数据质量信息。
进一步，将各个二级评估分数输入计算模型，得到N个评估分数，包括：
根据所述各个二级评估分数及所述各个二级评估分数分别对应的二级指标权重，计算得到K个一级评估分数，其中，K为大于或等于1的整数；
根据所述K个一级评估分数及所述K个一级评估分数分别对应的一级指标权重，计算得到一个综合评估分数；
将所述M个二级评估分数、K个一级评估分数以及一个综合评估分数，作为所述N个评估分数。
通过上述方法，可以计算得到目标感知数据对应的各级评估分数，从而实现从不同的维度反映感知数据的质量。
在一种可能的设计中，在根据所述M个评估规则对所述目标感知数据的质量进行多维度评估，生成包含多维度评估结果的评估报告之后，包括：
将所述评估报告进行可视化处理，生成包含所述多维度评估结果的可视化页面；
通过所述可视化页面，对所述多维度评估结果进行展示。
通过上述方法，将生成的包含多维度评估结果的评估报告进行展示，便于用户全面的对目标感知数据各个维度的质量进行认知，并且直观的发现目标感知数据存在的质量问题。
第二方面、本申请提供了一种数据评估装置，所述装置包括：
确定模块，用于在获取到待评估的目标感知数据时，在预设数据库中确定出用于对所述目标感知数据的质量进行评估的M个评估规则，其中，M为大于或等于2的整数；
评估模块，用于按照所述M个评估规则，对所述目标感知数据的质量进行多维度评估，生成包含多维度评估结果的评估报告。
在一种可能的设计中，所述装置还包括：
构建模块，用于构建感知数据质量评估指标体系，其中，所述感知数据评估指标体系中包含N个评估指标，每个评估指标对应一个评估规则，其中，N为大于或等于2的整数；
储存模块，用于将所述N个评估指标对应的N个评估规则保存在预设数据库中。
在一种可能的设计中，所述确定模块还用于：
根据所述预设数据库中的第一预设规则，确定是否执行评估任务；
若是，则获取所述评估任务对应的所述目标感知数据；
若否，则不执行所述评估任务。
进一步，所述评估模块还包括：
获取单元，用于获取所述目标感知数据中的第一信息，其中，所述第一信息至少包括数据表信息、字段信息或者数据标准信息中的任意一种；
评估单元，用于利用所述M个评估规则及所述第一信息对所述目标感知数据质量进行评估，得到M个评估结果，其中，每个评估结果中至少包括所述评估规则对应的二级评估分数及问题数据明细；
计算单元，用于将各个二级评估分数输入计算模型，得到N个评估分数，其中，N为大于或等于2的整数；
生成单元，用于生成包含所述问题数据明细及N个评估分数的所述评估报告。
进一步，所述获取单元具体用于：
对所述目标感知数据进行分析，生成所述目标感知数据对应的所述数据表信息、所述字段信息、所述数据标准信息的分析结果；
将所述数据表信息、所述字段信息、所述数据标准信息作为所述第一信息。
进一步，所述计算单元具体用于：
根据所述各个二级评估分数及所述各个二级评估分数分别对应的二级指标权重，计算得到K个一级评估分数，其中，K为大于或等于1的整数；
根据所述K个一级评估分数及所述K个一级评估分数分别对应的一级指标权重，计算得到一个综合评估分数；
将所述M个二级评估分数、K个一级评估分数以及一个综合评估分数，作为所述N个评估分数。
在一种可能的设计中，所述装置还包括：
处理模块，用于将所述评估报告进行可视化处理，生成包含所述多维度评估结果的可视化页面；
展示模块，用于通过所述可视化页面，对所述多维度评估结果进行展示。
第三方面，本申请提供了一种电子设备，包括：
存储器，用于存放计算机程序；
处理器，用于执行所述存储器上所存放的计算机程序时，实现上述感知数据质量评估方法步骤。
第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述感知数据质量评估方法步骤。
基于上述质量感知数据评估方法，根据目标感知数据的具体类型，在预设数据库中的确定出M个评估规则，基于M个评估规则对目标感知数据的质量进行多维度评估后，生成包含多维度评估结果的评估报告，该评估报告能够全面的反应感知数据的质量，评估结果质量高。
上述第二方面至第四方面中的各个方面以及各个方面可能达到的技术效果参照上述针对第一方面或者第一方面中的各种可能方案可以达到的技术效果说明，这里不再重复赘述。
附图说明
图1为本申请提供的一种数据评估方法的流程图；
图2为本申请提供的一种数据评估的指标体系图；
图3为本申请提供的一种数据评估方法的示意图；
图4为本申请提供的一种数据具体评估方法的示意图；
图5为本申请提供的一种数据评估装置的结构示意图；
图6为本申请提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述。方法实施例中的具体操作方法也可以应用于装置实施例或系统实施例中。需要说明的是，在本申请的描述中“多个”理解为“至少两个”。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。A与B连接，可以表示：A与B直接连接和A与B通过C连接这两种情况。另外，在本申请的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。
下面结合附图，对本申请实施例进行详细描述。
各行各业都存在着大量的感知数据，而这些感知数据的质量各不相同，不同质量的感知数据具有不同的价值，因此，有必要对感知数据质量进行评估。现有技术对感知数据质量进行评估的方法，通常是将获取感知数据进行预处理后，构建感知数据向量，然后根据感知数据向量判断感知数据类别，最后基于感知数据类别计算感知数据的评价分数。这种感知数据质量评估方法，基于单一的评估规则对获取的感知数据质量进行评估，不能结合感知数据的具体类型，从多个维度反应感知数据的质量，导致评估结果质量低。
基于上述问题，本申请实施例提供了一种数据评估方法，根据目标感知数据的具体类型，在预设数据库中的确定出M个评估规则，基于M个评估规则对目标感知数据的质量进行多维度评估后，生成包含多维度评估结果的评估报告，其中，该多维度评估结果能够全面的反应感知数据的质量，提升评估结果质量。其中，本申请实施例所述方法和装置基于同一技术构思，由于方法及装置所解决问题的原理相似，因此装置与方法的实施例可以相互参见，重复之处不再赘述。
如图1所述，为本申请实施例提供的一种数据评估方法的流程图，具体包括如下步骤：
S11，在获取到待评估的目标感知数据时，在预设数据库中确定出用于对目标感知数据的质量进行评估的M个评估规则；
在本申请实施例中，目标感知数据的数据源包括：MySQL、Oracle、SQLserver、文件资源等，目标感知数据的具体数据信息包括但不限于：IP地址、数据库名称、用户名、密码。
在获取待评估的目标数据之前，需要构建数据质量评估体系，感知数据评估指标体系中包含N个评估指标，每个评估指标对应一个评估规则，其中，N为大于或等于2的整数，然后将N个评估指标对应的N个评估规则保存在预设数据库中。
具体而言参考图2，图2为感知数据质量评估指标体系，评估指标分为两个层级，其中，一级评估指标包括规范性、准确性、完整性、一致性及时效性。每个一级评估指标包括一个或者多个二级评估指标，比如，规范性至少包括的二级评估指标为设备别名规范；准确性包括的二级评估指标为设备经纬度异常检测、设备类型异常检测、感知数据空间异常检测等；完整性包括的二级评估指标包括设备信息不完整检测、无国标码检测、无经纬度检测等；一致性包括的二级评估指标包括设备时间不一致检测、抓拍数据不一致检测等；时效性包括的二级评估指标有抓拍数据延迟检测、无数据采集检测等。
在图2中，每个评估指标对应着一个评估规则，整个感知数据质量评估指标体系对应的所有评估规则共同构成预设数据库中的全部评估规则，并将所有的评估规则全部储存在预设数据库中。
进一步，在构建感知数据评估指标体系以后，获取待评估的目标感知数据，其中，获取待评估的目标感知数据是基于待评估任务实现的，不同的评估任务对应着不同的目标感知数据，具体来讲，获取待评估的目标感知数据的方法为：
根据预设数据库中的第一预设规则，确定是否执行评估任务，其中，第一预设规则是由用户根据需求预先设置，用于配置感知数据质量评估任务、感知数据质量监控、调度时间、数据采集的策略(全量/分区)、分区信息等，其中，数据采集的策略包括全量和分区；若需要执行评估任务，则获取评估任务对应的目标感知数据；若不需要执行评估任务，则不执行评估任务。
在获取待评估的目标感知数据后，根据目标感知数据类型，在预设数据库中确定出用于对目标感知数据质量进行评估的M个评估规则，其中，M为大于或等于2的整数。
S12，按照M个评估规则对目标感知数据的质量进行多维度评估，生成包含多维度评估结果的评估报告。
在本申请实施例中，在预设数据库中确定出M个评估规则后，进一步利用M个评估规则对目标感知数据的质量进行评估，具体方法包括：
对获取的目标感知数据进行分析，生成目标感知数据对应的数据表信息、字段信息、数据标准信息，其中，数据表信息包括数据表分类、数据表中文名、数据表英文名等，字段信息包括字段中文名、字段英文名、主键信息、外键信息、码值信息等，数据标准信息包括字段对应的标准数据元、限定词、数据项等，将数据表信息和/或字段信息和/或数据标准信息记为第一信息；
接下来，利用M个评估规则及第一信息对目标感知数据质量进行评估，得到M个评估结果，每个评估结果中至少包括评估规则对应的二级评估分数及问题数据明细，其中，M个评估规则可以是图2中的二级评估指标对应的评估规则，利用二级评估指标对应的评估规则对目标感知数据质量进行评估后得到的评估分数即为二级评估分数。
举例来讲，当获取的目标感知数据为设备经纬度数据时，确定出用于进行质量评估的评估规则为设备经纬度异常检测对应的评估规则，然后利用该评估规则及设备经纬度数据中的数据元信息，对设备经纬度数据质量进行评估，生成对应的二级评估分数以及问题数据明细。
接下来，将各个二级评估分数输入计算模型，得到N个评估分数，在本申请实施例中，N为大于或等于2的整数，计算模型用于基于所有的二级评估分数及每个二级评估分数对应的二级指标权重，计算得到一级评估分数，其中，一级评估分数指示一级评估指标中的评估规则对应的评估分数。当然，还可以进一步结合所有的一级评估分数及每个一级评估分数对应的一级指标权重，计算得到综合评估分数。
在上述计算过程中，一级指标权重根据“专家调研法”得到，二级指标权重是基于层级分析法AHP(Analytic Hierarchy Process，AHP)计算得到，各级指标权重可以根据感知数据的质量评估指标体系的变化进行调整。在所有的二级评估分数中，当任一个二级评估分数权重为1，其余权重为0时，那么根据计算模型生成的评估分数实际上仍然为二级评估分数，因此，将所有的二评估分数输入计算模型，可以得到包含所有层级中的评估规则对应的评估分数。计算模型的具体计算公式如公式(1)所示：
G＝(W1⊙F1⊙E1)(W2⊙F2⊙E2)V (1)
在公式(1)中，
Figure BDA0003311333070000101
Figure BDA0003311333070000102
其中，G：感知数据质量评估综合分数；W指标权重；E为评估规则标记符号，代表该评估规则是否存在，0不存在，1存在；V为评估规则对应的评估分数。
在本申请实施例中，将所有的二级评估分数输入计算模型进行计算，可以得到各级评估指标对应的评估分数，其中，一级评估指标对应的一级评估分数可以用于对目标感知数据的质量分别基于规范性、准确性、完整性、一致性及时效性方面进行评估；二级评估指标对应的二级评估分数可以用于对目标感知数据的质量进行详细具体的评估；综合评估分数反映了目标感知数据的整体价值。
最后，根据目标感知数据质量评估过程中生成的问题数据明细以及评估得到的N个评估分数，生成评估报告，其中，评估报告中包含M个评估规则分别对应的评估分数及问题数据明细。
通过上述方法，基于目标感知数据对应的第一信息中的字段标准数据元信息，可以扩大数据质量检测的范围，同时，基于在预设数据库中选择出的M个评估规则对目标感知数据进行评估，可以生成包含多维度评估结果的评估报告，实现对目标感知数据的全面评估，同时，并且能够快速、准确的发现目标感知数据质量问题。
在一种可能的实施例中，在生成评估报告后，将评估报告进行可视化处理，生成包含多维度评估结果的可视化页面，然后通过可视化页面，对多维度评估结果进行展示。便于用户全面的对目标感知数据各个维度的质量进行认知，并且直观的发现目标感知数据存在的质量问题。
基于上述感知数据质量评估方法，根据目标感知数据的具体类型，在预设数据库中的确定出M个评估规则，基于M个评估规则对目标感知数据的质量进行多维度评估，生成包含多维度评估结果的评估报告，该评估报告能够全面反应感知数据的质量，评估质量高。
进一步，为了更加详细阐述本申请所提供的一种数据评估方法，下面通过具体的应用场景对本申请所提供的方法进行详细说明。
图3所示，感知数据质量评估方法的示意图，首先根据定义的规则，配置质量监控调度时间和当前待评估任务，并根据当前待评估任务，配置待评估的目标感知数据；然后对目标感知数据进行探查，获取对应的第一信息；进一步，根据第一信息对目标感知数据的质量进行评估，生成评估报告。
在上述根据第一信息对目标数据进行评估，生成评估报告的具体方法参考图4，首先获取目标感知数据；然后对目标感知数据进行探查，获取目标感知数据对应的第一信息；进一步，获取如图2所示的感知数据质量评估的指标体系，其中，感知数据质量评估的指标体系包括两个层级，每个层级中的每个指标都对应着一个评估规则，进一步，确定出用于对目标感知数据质量进行评估的M个评估规则；然后，根据感知数据质量评估的指标体系，计算每个层级分别对应的指标权重；最后，基于第一信息、M个评估规则、指标权重，对目标感知数据的质量进行评估，生成评估报告。
基于上述感知数据质量评估方法，根据感知数据质量评估的指标体系，建立统一完整的评估规则，用可量化、可解释、公平的、多维度的方式对感知数据质量进行评估，量化感知数据质量结果。在质量评估的过程中，评估过程、评估结果的可解释、可编辑、可查看。
此外，通过数据探查作为感知数据质量评估的前提，加深对数据信息的深挖和对数据的理解，通过数据对标识别字段标准数据元信息，不用预设检测字段和对应的规则，扩大数据质量检测的范围，发现更多质量问题，为后期的数据治理提供更多数据质量信息。
基于同一发明构思，本申请实施例中还提供了一种感知数据评估装置，如图5所示，为本申请中一种感知数据评估装置的结构示意图，该装置包括：
确定模块51，用于在获取到待评估的目标感知数据时，在预设数据库中确定出用于对所述目标感知数据的质量进行评估的M个评估规则，其中，M为大于或等于2的整数；
评估模块52，用于按照所述M个评估规则，对所述目标感知数据的质量进行多维度评估，生成包含多维度评估结果的评估报告。
在一种可能的设计中，所述装置还包括：
构建模块，用于构建感知数据质量评估指标体系，其中，所述感知数据评估指标体系中包含N个评估指标，每个评估指标对应一个评估规则，其中，N为大于或等于2的整数；
储存模块，用于将所述N个评估指标对应的N个评估规则保存在预设数据库中。
在一种可能的设计中，所述确定模块51还用于：
根据所述预设数据库中的第一预设规则，确定是否执行评估任务；
若是，则获取所述评估任务对应的所述目标感知数据；
若否，则不执行所述评估任务。
进一步，所述评估模块52还包括：
获取单元，用于获取所述目标感知数据中的第一信息，其中，所述第一信息至少包括数据表信息、字段信息或者数据标准信息中的任意一种；
评估单元，用于利用所述M个评估规则及所述第一信息对所述目标感知数据质量进行评估，得到M个评估结果，其中，每个评估结果中至少包括所述评估规则对应的二级评估分数及问题数据明细；
计算单元，用于将各个二级评估分数输入计算模型，得到N个评估分数，其中，N为大于或等于2的整数；
生成单元，用于生成包含所述问题数据明细及N个评估分数的所述评估报告。
进一步，所述获取单元具体用于：
对所述目标感知数据进行分析，生成所述目标感知数据对应的所述数据表信息、所述字段信息、所述数据标准信息的分析结果；
将所述数据表信息、所述字段信息、所述数据标准信息作为所述第一信息。
进一步，所述计算单元具体用于：
根据所述各个二级评估分数及所述各个二级评估分数分别对应的二级指标权重，计算得到K个一级评估分数，其中，K为大于或等于1的整数；
根据所述K个一级评估分数及所述K个一级评估分数分别对应的一级指标权重，计算得到一个综合评估分数；
将所述M个二级评估分数、K个一级评估分数以及一个综合评估分数，作为所述N个评估分数。
在一种可能的设计中，所述装置还包括：
处理模块，用于将所述评估报告进行可视化处理，生成包含所述多维度评估结果的可视化页面；
展示模块，用于通过所述可视化页面，对所述多维度评估结果进行展示。
基于上述感知数据评估装置，根据目标感知数据的具体类型，在预设数据库中的确定出M个评估规则，基于M个评估规则对目标感知数据的质量进行多维度评估后，生成包含多维度评估结果的评估报告，该评估报告能够全面的反应感知数据的质量，评估结果质量高。
基于同一发明构思，本申请实施例中还提供了一种电子设备，所述电子设备可以实现前述一种感知数据评估装置的功能，参考图6，所述电子设备包括：
至少一个处理器61，以及与至少一个处理器61连接的存储器62，本申请实施例中不限定处理器61与存储器62之间的具体连接介质，图6中是以处理器61和存储器62之间通过总线60连接为例。总线60在图6中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线60可以分为地址总线、数据总线、控制总线等，为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。或者，处理器61也可以称为控制器，对于名称不做限制。
在本申请实施例中，存储器62存储有可被至少一个处理器61执行的指令，至少一个处理器61通过执行存储器62存储的指令，可以执行前文论述感知数据评估方法。处理器61可以实现图5所示的装置中各个模块的功能。
其中，处理器61是该装置的控制中心，可以利用各种接口和线路连接整个该控制设备的各个部分，通过运行或执行存储在存储器62内的指令以及调用存储在存储器62内的数据，该装置的各种功能和处理数据，从而对该装置进行整体监控。
在一种可能的设计中，处理器61可包括一个或多个处理单元，处理器61可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器61中。在一些实施例中，处理器61和存储器62可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。
处理器61可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的感知数据评估方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器62作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器62可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random Access Memory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等。存储器62是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器62还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
通过对处理器61进行设计编程，可以将前述实施例中介绍的感知数据评估方法所对应的代码固化到芯片内，从而使芯片在运行时能够执行图1所示的实施例的感知数据评估方法的步骤。如何对处理器61进行设计编程为本领域技术人员所公知的技术，这里不再赘述。
基于同一发明构思，本申请实施例还提供一种存储介质，该存储介质存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行前文论述感知数据评估方法。
在一些可能的实施方式中，本申请提供的感知数据评估方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在装置上运行时，程序代码用于使该控制设备执行本说明书上述描述的根据本申请各种示例性实施方式的感知数据评估方法中的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (16)

1.一种数据评估方法，其特征在于，所述方法包括：
在获取到待评估的目标感知数据时，在预设数据库中确定出用于对所述目标感知数据的质量进行评估的M个评估规则，其中，M为大于或等于2的整数；
按照所述M个评估规则，对所述目标感知数据的质量进行多维度评估，生成包含多维度评估结果的评估报告。
2.如权利要求1所述的方法，其特征在于，在获取到待评估的目标感知数据之前，包括：
构建感知数据质量评估指标体系，其中，所述感知数据评估指标体系中包含N个评估指标，每个评估指标对应一个评估规则，其中，N为大于或等于2的整数；
将所述N个评估指标对应的N个评估规则保存在预设数据库中。
3.如权利要求1所述的方法，其特征在于，在获取到待评估的目标感知数据之前，还包括：
根据所述预设数据库中的第一预设规则，确定是否执行评估任务；
若是，则获取所述评估任务对应的所述目标感知数据；
若否，则不执行所述评估任务。
4.如权利要求1所述的方法，其特征在于，按照所述M个评估规则，对所述目标感知数据的质量进行多维度评估，生成包含多维度评估结果的评估报告，包括：
获取所述目标感知数据中的第一信息，其中，所述第一信息至少包括数据表信息、字段信息或者数据标准信息中的任意一种；
利用所述M个评估规则及所述第一信息对所述目标感知数据质量进行评估，得到M个评估结果，其中，每个评估结果中至少包括所述评估规则对应的二级评估分数及问题数据明细；
将各个二级评估分数输入计算模型，得到N个评估分数，其中，N为大于或等于2的整数；
生成包含所述问题数据明细及N个评估分数的所述评估报告。
5.如权利要求4所述的方法，其特征在于，获取所述目标感知数据中的第一信息，包括：
对所述目标感知数据进行分析，生成所述目标感知数据对应的所述数据表信息、所述字段信息、所述数据标准信息的分析结果；
将所述数据表信息、所述字段信息、所述数据标准信息作为所述第一信息。
6.如权利要求4所述的方法，其特征在于，将各个二级评估分数输入计算模型，得到N个评估分数，包括：
根据所述各个二级评估分数及所述各个二级评估分数分别对应的二级指标权重，计算得到K个一级评估分数，其中，K为大于或等于1的整数；
根据所述K个一级评估分数及所述K个一级评估分数分别对应的一级指标权重，计算得到一个综合评估分数；
将所述M个二级评估分数、K个一级评估分数以及一个综合评估分数，作为所述N个评估分数。
7.如权利要求1所述的方法，其特征在于，在根据所述M个评估规则，对所述目标感知数据的质量进行多维度评估，生成包含多维度评估结果的评估报告之后，包括：
将所述评估报告进行可视化处理，生成包含所述多维度评估结果的可视化页面；
通过所述可视化页面，对所述多维度评估结果进行展示。
8.一种数据评估装置，其特征在于，所述装置包括：
确定模块，用于在获取到待评估的目标感知数据时，在预设数据库中确定出用于对所述目标感知数据的质量进行评估的M个评估规则，其中，M为大于或等于2的整数；
评估模块，用于按照所述M个评估规则，对所述目标感知数据的质量进行多维度评估，生成包含多维度评估结果的评估报告。
9.如权利要求8所述的装置，其特征在于，所述装置还包括：
构建模块，用于构建感知数据质量评估指标体系，其中，所述感知数据评估指标体系中包含N个评估指标，每个评估指标对应一个评估规则，其中，N为大于或等于2的整数；
储存模块，用于将所述N个评估指标对应的N个评估规则保存在预设数据库中。
10.如权利要求8所述的装置，其特征在于，所述确定模块还用于：
根据所述预设数据库中的第一预设规则，确定是否执行评估任务；
若是，则获取所述评估任务对应的所述目标感知数据；
若否，则不执行所述评估任务。
11.如权利要求8所述的装置，其特征在于，所述评估模块包括：
获取单元，用于获取所述目标感知数据中的第一信息，其中，所述第一信息至少包括数据表信息、字段信息或者数据标准信息中的任意一种；
评估单元，用于利用所述M个评估规则及所述第一信息对所述目标感知数据质量进行评估，得到M个评估结果，其中，每个评估结果中至少包括所述评估规则对应的二级评估分数及问题数据明细；
计算单元，用于将各个二级评估分数输入计算模型，得到N个评估分数，其中，N为大于或等于2的整数；
生成单元，用于生成包含所述问题数据明细及N个评估分数的所述评估报告。
12.如权利要求11所述的装置，其特征在于，所述获取单元具体用于：
对所述目标感知数据进行分析，生成所述目标感知数据对应的所述数据表信息、所述字段信息、所述数据标准信息的分析结果；
将所述数据表信息、所述字段信息、所述数据标准信息作为所述第一信息。
13.如权利要求11所述的装置，其特征在于，所述计算单元具体用于：
根据所述各个二级评估分数及所述各个二级评估分数分别对应的二级指标权重，计算得到K个一级评估分数，其中，K为大于或等于1的整数；
根据所述K个一级评估分数及所述K个一级评估分数分别对应的一级指标权重，计算得到一个综合评估分数；
将所述M个二级评估分数、K个一级评估分数以及一个综合评估分数，作为所述N个评估分数。
14.如权利要求8所述的装置，其特征在于，所述装置还包括：
处理模块，用于将所述评估报告进行可视化处理，生成包含所述多维度评估结果的可视化页面；
展示模块，用于通过所述可视化页面，对所述多维度评估结果进行展示。
15.一种电子设备，其特征在于，包括：存储器，用于存放计算机程序；处理器，用于执行所述存储器上所存放的计算机程序时，实现权利要求1-7中任一项所述的方法步骤。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7中任一项所述的方法步骤。
CN202111217606.7A 2021-10-19 2021-10-19 一种数据评估方法、装置及电子设备 Pending CN114037219A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111217606.7A CN114037219A (zh) 2021-10-19 2021-10-19 一种数据评估方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111217606.7A CN114037219A (zh) 2021-10-19 2021-10-19 一种数据评估方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN114037219A true CN114037219A (zh) 2022-02-11

Family

ID=80135607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111217606.7A Pending CN114037219A (zh) 2021-10-19 2021-10-19 一种数据评估方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN114037219A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114565323A (zh) * 2022-03-30 2022-05-31 晨贝(天津)技术有限公司 用于评估楼盘的信息质量的方法和装置
CN115376315A (zh) * 2022-08-09 2022-11-22 北京交通发展研究院 一种面向路网排放核算的多层级卡口质量控制方法
CN115841275A (zh) * 2022-12-07 2023-03-24 北京鸿鹄元数科技有限公司 基于ai的数据管理水平的体检方法及装置
CN115840743A (zh) * 2023-02-20 2023-03-24 北京中兵数字科技集团有限公司 用于数据质量评估的方法、装置、设备及介质
CN115858319A (zh) * 2022-12-09 2023-03-28 中电金信软件有限公司 一种流数据处理方法及装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114565323A (zh) * 2022-03-30 2022-05-31 晨贝(天津)技术有限公司 用于评估楼盘的信息质量的方法和装置
CN115376315A (zh) * 2022-08-09 2022-11-22 北京交通发展研究院 一种面向路网排放核算的多层级卡口质量控制方法
CN115376315B (zh) * 2022-08-09 2023-10-24 北京交通发展研究院 一种面向路网排放核算的多层级卡口质量控制方法
CN115841275A (zh) * 2022-12-07 2023-03-24 北京鸿鹄元数科技有限公司 基于ai的数据管理水平的体检方法及装置
CN115841275B (zh) * 2022-12-07 2023-09-05 北京鸿鹄元数科技有限公司 基于ai的数据管理水平的体检方法及装置
CN115858319A (zh) * 2022-12-09 2023-03-28 中电金信软件有限公司 一种流数据处理方法及装置
CN115858319B (zh) * 2022-12-09 2023-11-28 中电金信软件有限公司 一种流数据处理方法及装置
CN115840743A (zh) * 2023-02-20 2023-03-24 北京中兵数字科技集团有限公司 用于数据质量评估的方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN114037219A (zh) 一种数据评估方法、装置及电子设备
CN104756106B (zh) 表征数据存储系统中的数据源
CN104112284B (zh) 一种图片的相似度检测方法和设备
EP2866168B1 (en) Calibration of strategies for fraud detection
CN107203467A (zh) 一种分布式环境下监督学习算法的基准测试方法和装置
Nikolaou et al. Detection of early warning signals in paleoclimate data using a genetic time series segmentation algorithm
CN113592019A (zh) 基于多模型融合的故障检测方法、装置、设备及介质
CN109933507B (zh) 一种程序性能检测方法、系统、设备及存储介质
CN111090807A (zh) 一种基于知识图谱的用户识别方法及装置
CN112100400A (zh) 基于知识图谱的节点推荐方法及装置
CN110222936A (zh) 一种业务场景的根因定位方法、系统及电子设备
CN109871368A (zh) 数据库检测方法、装置、计算机装置及存储介质
CN110472742B (zh) 一种模型变量确定方法、装置及设备
Egri et al. Cross-correlation based clustering and dimension reduction of multivariate time series
CN110598959A (zh) 一种资产风险评估方法、装置、电子设备及存储介质
CN108664605A (zh) 一种模型评估方法及系统
CN115189963A (zh) 异常行为检测方法、装置、计算机设备及可读存储介质
CN107305615B (zh) 数据表识别方法和系统
CN112506901A (zh) 一种数据质量测量方法、装置及介质
CN116610583A (zh) Sca工具成熟度评价方法、装置、设备、介质和产品
CN106874286B (zh) 一种筛选用户特征的方法及装置
CN109409091B (zh) 检测Web页面的方法、装置、设备以及计算机存储介质
CN110309313B (zh) 生成事件转移图谱的方法及装置
CN108429632B (zh) 一种业务监控方法和装置
CN115220404A (zh) 加工设备的智能诊断方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination