CN116402459B - 一种基于大数据的数据质量监测方法与装置 - Google Patents

一种基于大数据的数据质量监测方法与装置 Download PDF

Info

Publication number
CN116402459B
CN116402459B CN202310318455.7A CN202310318455A CN116402459B CN 116402459 B CN116402459 B CN 116402459B CN 202310318455 A CN202310318455 A CN 202310318455A CN 116402459 B CN116402459 B CN 116402459B
Authority
CN
China
Prior art keywords
project
data
building
daily consumption
building material
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310318455.7A
Other languages
English (en)
Other versions
CN116402459A (zh
Inventor
肖效辉
余俊锋
何中华
李田田
余振
赵晶丽
张大伟
耿天宝
刘道学
胡伟
穆明辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Shuzhi Construction Research Institute Co ltd
China Tiesiju Civil Engineering Group Co Ltd CTCE Group
Original Assignee
Anhui Shuzhi Construction Research Institute Co ltd
China Tiesiju Civil Engineering Group Co Ltd CTCE Group
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Shuzhi Construction Research Institute Co ltd, China Tiesiju Civil Engineering Group Co Ltd CTCE Group filed Critical Anhui Shuzhi Construction Research Institute Co ltd
Priority to CN202310318455.7A priority Critical patent/CN116402459B/zh
Publication of CN116402459A publication Critical patent/CN116402459A/zh
Application granted granted Critical
Publication of CN116402459B publication Critical patent/CN116402459B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明属于数据质量监测技术领域，具体公开一种基于大数据的数据质量监测方法与装置，通过将建筑物资日消耗单表进行智能化的质量监管，不需要人工介入，大大提高了建筑物资日消耗单表数据质量的监管效率，有效避免了监管滞后的发生，与此同时最大限度降低了建筑物资消耗数据监管不充分的发生率，有利于提高后续质量评判的准确度吗，与此同时通过构建建筑物资日消耗单表标准规则库，进而从规则库中匹配出以现行规则制作的建筑物资日消耗单表，以此对指定建筑物资日消耗单表进行内容监测，实现了建筑物资日消耗单表在内容上的必要监测，有效弥补了现有技术在进行建筑物资日消耗单表数据质量监管中忽略内容监测的不足。

Description

一种基于大数据的数据质量监测方法与装置
技术领域
本发明属于数据质量监测技术领域，尤其涉及一种基于大数据的数据质量监测方法，本发明还涉及采用上述方法的数据质量监测装置。
背景技术
物资管理是工程建设中企业节约成本的关键重要环节,企业通过加强对工程物资的高效管理,节约原材料,以此降低企业的生产成本,最大化的促进企业的盈利。近年来，在建筑市场竞争日益激烈的现状下，加强建筑工程物资管理成为建筑企业提高效益的重要选择，一般来说建筑工程物资管理包括采购管理和消耗管理，其中消耗管理最能够反映建筑工程对物资的节约状态，由此建筑物资消耗管理成为建筑工程物资管理的重点。
由于目前建筑物资消耗数据是以建筑物资消耗单表为载体，在这种情况下建筑物资消耗管理就转变为对建筑物资消耗单表的数据质量监管。
目前对建筑物资消耗单表的数据质量监管基本是由相关人员人工监管，这种监管方式存在以下弊端：第一、监管效率低，数据审核不及时，无法及时发现数据质量问题，导致存在一定的监管滞后性。
第二、因人工对建筑物资消耗单表的监管局限性容易造成建筑物资消耗数据遗漏采集或重复采集，导致数据监管不充分，进而影响后续数据质量评判的准确性。
第三、由于不同的建筑工程消耗的建筑物资不同，同时一个建筑企业在不同时期对建筑物资消耗单表的要求也可能存在差异，这就使得建筑物资消耗单表的制表规则也在发生变化，进而导致建筑物资消耗单表中的内容不是固化的，但现有技术对建筑物资消耗单表的数据质量监管往往默认制表规则是不变的，从而忽略了对单表内容的监测，这种盲目的监管手段容易因脱离实际监管需求造成单表数据无效监管，一方面浪费了大量的人力，另一方面还可能使监管结果失去使用价值。
发明内容
本发明的技术任务是针对上述存在的问题，提供一种基于大数据的数据质量监测方法与装置，以建筑物资日消耗单表为例，对建筑物资日消耗单表从内容和录入的具体数据两个层面进行智能化非人工参与的质量监管，能够有效弥补现有技术对建筑物资消耗单表进行数据质量监管中存在的缺陷。
本发明的目的可以通过以下技术方案来实现：本发明的一方面提供一种基于大数据的数据质量监测方法，包括以下步骤：(1)将指定建筑物资日消耗单表通过内容监测终端，由其提取指定建筑物资日消耗单表中存在的项目栏名称。
(2)构建建筑物资日消耗单表标准规则库，并进行实时更新，进而从标准规则库中匹配出以现行规则制作的建筑物资日消耗单表中存在的标准项目栏。
(3)将指定建筑物资日消耗单表中提取的项目栏名称与以现行规则制作的建筑物资日消耗单表中存在的标准项目栏进行对比，识别指定建筑物资日消耗单表是否存在项目栏异常，若存在项目栏异常，则解析项目栏异常指征。
(4)根据指定建筑物资日消耗单表对应的项目栏异常指征评估指定建筑物资日消耗单表对应的内容合规度
(5)将指定建筑物资日消耗单表通过数据录入监测终端，由其提取指定建筑物资日消耗单表中各实体项目栏对应的录入数据。
(6)从指定建筑物资日消耗单表中的若干项目栏中提取指示项目栏，以此获取各实体项目栏对应的合理录入数据。
(7)将各实体项目栏对应的录入数据与相应实体项目栏对应的合理录入数据生成数据录入质量监测清单。
(8)依据数据录入质量监测清单评估指定建筑物资日消耗单表对应的数据录入偏差度φ。
(9)利用下述数据质量评分模型对指定建筑物资日消耗单表进行数据质量评分，并据此评判指定建筑物资日消耗单表是否有效。
φ0分别表示为预先设定的内容合规度、录入数据偏差对应的期望值，α表示为内容合规度对应的权衡因子。
在基于大数据的数据质量监测方法的一种示意性实施方式中，所述项目栏包括指示项目栏和实体项目栏，其中指示项目栏为建筑项目名称和当前建造进度，各实体项目栏对应一种建筑物资。
在基于大数据的数据质量监测方法的一种示意性实施方式中，所述识别指定建筑物资日消耗单表是否存在项目栏异常具体包括以下步骤：(31)将指定建筑物资日消耗单表聚焦在项目栏所在区域，以此截取出项目栏区域轮廓表。
(32)将以现行规则制作的建筑物资日消耗单聚焦在项目栏所在区域，以此截取出标准项目栏区域轮廓表。
(33)将截取出的项目区域轮廓表与标准项目栏区域轮廓表进行重合对比，若存在无法重合的区域，则识别指定建筑物资日消耗单表是否存在项目栏异常。
在基于大数据的数据质量监测方法的一种示意性实施方式中，所述项目栏异常指征包括异常项目栏的数量及各异常项目栏对应的属类和异常类型，其中属类包括指示类、实体类，异常类型包括缺失类型、多余类型、表述错误类型、位置排版错位类型。
在基于大数据的数据质量监测方法的一种示意性实施方式中，所述评估指定建筑物资日消耗单表对应的内容合规度具体实现过程如下：(41)从项目栏异常指征中提取各异常项目栏对应的属类，将其与参考信息库中配置的各种项目栏属类对应的比重因子进行匹配，从中匹配出各异常项目栏对应的比重因子。
(42)从项目栏异常指征中提取各异常项目栏对应的异常类型，将其与参考数据库中配置的各种异常类型对应的异常程度表征值进行匹配，从中匹配出各异常项目栏对应的异常程度表征值。
(43)通过评估表达式λk≥0,εk≥0得到指定建筑物资日消耗单表对应的内容合规度/>其中λk、εk表示为第k异常项目栏对应的异常程度表征值、比重因子，k表示为异常项目栏的编号，k＝1,2,…,m，e表示为自然常数。
在基于大数据的数据质量监测方法的一种示意性实施方式中，所述获取各实体项目栏对应的合理录入数据具体参见以下步骤：(61)从指示项目栏中提取建筑项目名称，由此获取该建筑项目名称对应的设计建筑物资消耗指标，具体包括各阶梯建造进度下各种建筑物资的设计日消耗数据。
(62)从指示项目栏中提取将当前建造进度，并将其与设计建筑物资消耗指标中存在的阶梯建造进度进行对比，并构建超阶梯建造进度集合和少阶梯建造进度集合，若某阶梯建造进度大于当前建造进度，则将该阶梯建造进度加入超阶梯建造进度集合，若某阶梯建造进度小于当前建造进度，则将该阶梯建造进度加入少阶梯建造进度集合。
(63)分别将超阶梯建造进度集合和少阶梯建造进度集合存在的阶梯建造进度与当前建造进度进行差值对比，以此通过筛选算法筛选出上适配阶梯建造进度CP上和下适配阶梯建造进度CP下，其中CP0表示为当前建造进度，CPi表示为超阶梯建造进度集合内第i个阶梯建造进度，i表示为超阶梯建造进度集合内阶梯建造进度的编号，i＝1,2,...,n，CPj表示为少阶梯建造进度集合内第i个阶梯建造进度，j表示为少阶梯建造进度集合内阶梯建造进度的编号，j＝1,2,...,z。
(64)依据上适配阶梯建造进度和下适配阶梯建造进度从设计建筑物资消耗指标中分别提取上适配阶梯建造进度下各种建筑物资的设计日消耗数据和下适配阶梯建造进度下各种建筑物资的设计日消耗数据。
(65)利用公式统计得到各种建筑物资在当前建造进度下的合理日消耗数据qb，b表示为建筑物资的编号，b＝1,2,…,r，分别表示为上适配阶梯建造进度下、下适配阶梯建造进度下第b种建筑物资的设计日消耗数据。
(66)依据建筑物资与实体项目栏的对应关系得到各实体项目栏对应的合理录入数据。
在基于大数据的数据质量监测方法的一种示意性实施方式中，所述依据数据录入质量监测清单评估指定建筑物资日消耗单表对应的数据录入偏差度具体执行过程如下：(81)将数据录入质量监测清单中各实体项目栏对应的录入数据与相应实体项目栏对应的合理录入数据作差，得到各实体项目栏对应的录入数据对比差。
(82)将各实体项目栏对应的录入数据对比差导入评估公式U＞1得到指定建筑物资日消耗单表对应的数据录入偏差度，U表示为设定常量,其中各实体项目栏对应的比例权重具体获取方式为：(821)依据建筑物资与实体项目栏的对应关系得到各实体项目栏对应的建筑物资。
(822)基于各实体项目栏对应的建筑物资从参考信息库中提取各种建筑物资在建筑工程中的重要等级，进而利用转化表达式得到各实体项目栏对应的比例权重。
在基于大数据的数据质量监测方法的一种示意性实施方式中，还包括(10)在评判指定建筑物资日消耗单表无效时在指定建筑物资日消耗单表中标记出异常项目栏和异常录入数据。
本发明的另一方面提出一种基于大数据的数据质量监测装置，包括电子设备和计算机可读存储介质。
所述电子设备包括处理器、存储器及通信总线，所述存储器上存储有可被所述处理器执行的计算机可读程序。
所述通信总线实现处理器与存储器之间的连接通信。
所述处理器执行所述计算机可读程序时实现如本发明所述的一种基于大数据的数据质量监测方法中的步骤。
所述计算机可读存储介质存储一个或者多个程序，所述一个或者多个程序可被一个或多个处理器执行，以实现如本发明所述的一种基于大数据的数据质量监测方法中的步骤。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：
1、本发明通过将建筑物资日消耗单表进行智能化的质量监管，不需要人工介入，大大提高了建筑物资日消耗单表数据质量的监管效率，进而能够及时发现建筑物资日消耗单表中存在的数据质量问题，有效避免了监管滞后的发生，与此同时最大限度降低了建筑物资消耗数据监管不充分的发生率，有利于提高后续质量评判的准确度。
2.本发明通过构建建筑单表标准规则库，进而从建筑标准规则库中匹配出以现行规则制作的建筑物资日消耗单表，以此对指定建筑物资日消耗单表进行内容监测，实现了建筑物资日消耗单表在内容上的必要监测，有效弥补了现有技术在进行建筑物资日消耗单表数据质量监管中忽略内容监测的不足，为后续的具体录入数据监管提供可靠且符合实际的基础，在一定程度上避免出现数据无效监管，由此提高了建筑物资日消耗单表数据监管结果的使用价值。
3.本发明在依据内容合规监管和数据录入偏差监管对建筑物资日消耗单表进行是否有效评判后增加了在评判建筑物资日消耗单表无效时对建筑物资日消耗单表进行异常标记，便于物资管理人员直观、清晰地了解异常出处，为后续进行建筑物资日消耗单表异常溯源提供针对性的支撑，从而有利于提高建筑物资日消耗单表的异常溯源效率。
附图说明
利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1为本发明的方法实施步骤流程图。
图2为本发明的获取各实体项目栏对应的合理录入数据实施流程图。
附图标记：R1代表设计建筑物资消耗指标中存在的阶梯建造进度大于当前建造进度，R2代表设计建筑物资消耗指标中存在的阶梯建造进度小于当前建造进度。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
参照图1所示，本发明提供一种基于大数据的数据质量监测方法，包括以下步骤：(1)将指定建筑物资日消耗单表通过内容监测终端，由其提取指定建筑物资日消耗单表中存在的项目栏名称。
需要说明的是，在将指定建筑物资日消耗单表进行项目栏提取之前需要识别指定建筑物资日消耗单表是否为电子单表，若不是电子单表，则首先将其进行电子化处理，若是电子单表则忽略上述步骤，这样做的目的在于便于指定建筑物资日消耗单表智能化的数据审核。
在本发明的优选实施例中，对指定建筑物资日消耗单表进行项目栏名称提取的具体操作方式在内容监测终端内置OCR文字识别设备，由其对指定建筑物资日消耗单表进行扫描，进而锁定指定建筑物资日消耗单表的表头位置，以此提取指定建筑物资日消耗单表中存在的项目栏，由于表格中的项目栏基本设置在表头位置，且一般由文字表述，因而利用OCR文字识别设备能够快速准确提取单表中的项目栏。
在上述方案基础上，指定建筑物资日消耗单表中存在的项目栏包括指示项目栏和实体项目栏，其中指示项目栏为建筑项目名称和当前建造进度，各实体项目栏对应一种建筑物资。
上述提到的指示项目栏为表征指定建筑物资日消耗单表的使用场景。
(2)构建建筑物资日消耗单表标准规则库，并进行实时更新，进而从标准规则库中匹配出以现行规则制作的建筑物资日消耗单表中存在的标准项目栏。
需要理解的是，上述提到的建筑物资日消耗单表标准规则库用于存储各种制定规则下的建筑物资日消耗单表及相应制定规则的有效使用期限，通过获取当前日期能够从建筑物资日消耗单表标准规则库中提取当前日期对应制定规则下的建筑物资日消耗单表，作为以现行规则制作的建筑物资日消耗单表。
(3)将指定建筑物资日消耗单表中提取的项目栏名称与以现行规则制作的建筑物资日消耗单表中存在的标准项目栏进行对比，识别指定建筑物资日消耗单表是否存在项目栏异常，若存在项目栏异常，则解析项目栏异常指征，其中项目栏异常指征包括异常项目栏的数量及各异常项目栏对应的属类和异常类型，其中属类包括指示类、实体类，异常类型包括缺失类型、多余类型、表述错误类型、位置排版错位类型。
作为本发明的一个示例，指定建筑物资日消耗单表中提取的实体项目栏有水泥、木材、沙子、砖块，以现行规则制作的建筑物资日消耗单表中存在的标准实体项目栏有水泥、木材、沙子、钢筋、砖块，二者相比，钢筋没有出现，这种异常项目栏体现出的异常类型为缺失类型。
作为本发明的另一个示例，指定建筑物资日消耗单表中提取的实体项目栏有水泥、木材、沙子、玻璃、砖块，以现行规则制作的建筑物资日消耗单表中存在的标准实体项目栏有水泥、木材、沙子、钢筋、砖块，二者相比，玻璃属于多出的，这种异常项目栏体现出的异常类型为多余类型。
作为本发明的进一步示例，指定建筑物资日消耗单表中提取的实体项目栏有水泥、木块、沙子、钢筋、砖块，以现行规则制作的建筑物资日消耗单表中存在的标准实体项目栏有水泥、木材、沙子、钢筋、砖块，二者相比，木材与木块表述不一致，这种异常项目栏体现出的异常类型为表述错误类型。
作为本发明的再个示例，指定建筑物资日消耗单表中提取的实体项目栏有水泥、木块、沙子、钢筋、砖块，以现行规则制作的建筑物资日消耗单表中存在的标准实体项目栏有水泥、沙子、木块、钢筋、砖块，二者相比，沙子和木材的出现顺序不一致，这种异常项目栏体现出的异常类型为位置排版错位类型。
在本发明的具体实施例中，识别指定建筑物资日消耗单表是否存在项目栏异常具体包括以下步骤：(31)将指定建筑物资日消耗单表聚焦在项目栏所在区域，以此截取出项目栏区域轮廓表。
(32)将以现行规则制作的建筑物资日消耗单聚焦在项目栏所在区域，以此截取出标准项目栏区域轮廓表。
(33)将截取出的项目区域轮廓表与标准项目栏区域轮廓表进行重合对比，若存在无法重合的区域，则识别指定建筑物资日消耗单表是否存在项目栏异常。
进一步地，项目栏异常指征的解析过程如下：第一步、基于项目区域轮廓表与标准项目栏区域轮廓表的重合对比结果统计未重合的项目栏数量。
第二步、将指定建筑物资日消耗单表的项目栏所在区域聚焦在各异常项目栏所在位置，进而提取各异常项目栏的名称和异常表现特征。
第三步、将各异常项目栏的名称分别与指示项目栏和实体项目栏包括的项目栏名称进行匹配，若某异常项目栏的名称与指示项目栏包括的项目栏名称一致，则该异常项目栏的属类为指示类，若某异常项目栏的名称与实体项目栏包括的项目栏名称一致，则该异常项目栏的属类为实体类。
第四步、将各异常项目栏的异常表现特征与参考数据库中存储的各种异常表现特征对应的异常类型进行匹配，以此匹配得到各异常项目栏的异常类型。
(4)根据指定建筑物资日消耗单表对应的项目栏异常指征评估指定建筑物资日消耗单表对应的内容合规度具体评估过程如下：
(41)从项目栏异常指征中提取各异常项目栏对应的属类，将其与参考信息库中配置的各种项目栏属类对应的比重因子进行匹配，从中匹配出各异常项目栏对应的比重因子。
需要说明的是，上述提到的各种项目栏属类对应的比重因子中实体类对应的比重因子大于指示类对应的比重因子。
(42)从项目栏异常指征中提取各异常项目栏对应的异常类型，将其与参考数据库中配置的各种异常类型对应的异常程度表征值进行匹配，从中匹配出各异常项目栏对应的异常程度表征值。
再次需要说明的是，上述提到的各种异常类型对应的异常程度表征值中缺失类型对应的异常程度表征值>多余类型对应的异常程度表征值>表述错误类型对应的异常程度表征值>位置排版错位类型对应的异常程度表征值。
(43)通过评估表达式λk≥0,εk≥0得到指定建筑物资日消耗单表对应的内容合规度/>其中λk、εk表示为第k异常项目栏对应的异常程度表征值、比重因子，k表示为异常项目栏的编号，k＝1,2,…,m，e表示为自然常数，其中异常项目栏的数量越多，各异常项目栏的比重因子越大，异常程度表征值越大，指定建筑物资日消耗单表对应的内容合规度越小。
本发明通过构建建筑单表标准规则库，进而从建筑标准规则库中匹配出以现行规则制作的建筑物资日消耗单表，以此对指定建筑物资日消耗单表进行内容监测，实现了建筑物资日消耗单表在内容上的必要监测，有效弥补了现有技术在进行建筑物资日消耗单表数据质量监管中忽略内容监测的不足，由于内容监测属于建筑物资日消耗单表的基础监测，决定了建筑物资日消耗单表的具体数据监管需求，通过增加内容监测为后续的具体录入数据监管提供可靠且符合实际的基础，在一定程度上避免出现数据无效监管，由此提高了建筑物资日消耗单表数据监管结果的使用价值。
需要解释的是上述提到的无效监管具体体现在当直接对建筑物资日消耗单表中的录入数据进行监测，当存在某实体项目栏多余时，那么对该实体项目栏内的录入数据进行监测就属于无效监管。
(5)将指定建筑物资日消耗单表通过数据监测终端，由其提取指定建筑物资日消耗单表中各实体项目栏对应的录入数据。
(6)从指定建筑物资日消耗单表中的若干项目栏中提取指示项目栏，以此参见图2所示，获取各实体项目栏对应的合理录入数据，具体实现过程包括以下步骤：(61)从指示项目栏中提取建筑项目名称，由此获取该建筑项目名称对应的设计建筑物资消耗指标，具体包括各阶梯建造进度下各种建筑物资的设计日消耗数据。
需要知道的是，建造进度以百分比的形式体现，作为一个示例，各阶梯建造进度下各种建筑物资的设计日消耗数据为5％建造进度下各种建筑物资的设计日消耗数据、10％建造进度下各种建筑物资的设计日消耗数据、15％建造进度下各种建筑物资的设计日消耗数据...
(62)从指示项目栏中提取当前建造进度，并将其与设计建筑物资消耗指标中存在的阶梯建造进度进行对比，并构建超阶梯建造进度集合和少阶梯建造进度集合，若某阶梯建造进度大于当前建造进度，则将该阶梯建造进度加入超阶梯建造进度集合，若某阶梯建造进度小于当前建造进度，则将该阶梯建造进度加入少阶梯建造进度集合。
(63)分别将超阶梯建造进度集合和少阶梯建造进度集合存在的阶梯建造进度与当前建造进度进行差值对比，以此通过筛选算法筛选出上适配阶梯建造进度CP上和下适配阶梯建造进度CP下，其中CP0表示为当前建造进度，CPi表示为超阶梯建造进度集合内第i个阶梯建造进度，i表示为超阶梯建造进度集合内阶梯建造进度的编号，i＝1,2,...,n，CPj表示为少阶梯建造进度集合内第i个阶梯建造进度，j表示为少阶梯建造进度集合内阶梯建造进度的编号，j＝1,2,...,z.
(64)依据上适配阶梯建造进度和下适配阶梯建造进度从设计建筑物资消耗指标中分别提取上适配阶梯建造进度下各种建筑物资的设计日消耗数据和提取下适配阶梯建造进度下各种建筑物资的设计日消耗数据。
(65)利用公式统计得到各种建筑物资在当前建造进度下的合理日消耗数据qb，b表示为建筑物资的编号，b＝1,2,…,r，/>分别表示为上适配阶梯建造进度下、下适配阶梯建造进度下第b种建筑物资的设计日消耗数据。
(66)依据建筑物资与实体项目栏的对应关系得到各实体项目栏对应的合理录入数据。
本发明对实体项目栏合理录入数据的分析是从上位和下位两个方向去逼近获取，有利于提高分析结果的准确度。
(7)将各实体项目栏对应的录入数据与相应实体项目栏对应的合理录入数据生成数据录入质量监测清单。
示例性的，数据录入质量监测清单如下表：
数据录入质量监测清单
实体项目栏 录入数据 合理录入数据
水泥 200 180
沙子 225 242
钢筋 134 120
(8)依据数据录入质量监测清单评估指定建筑物资日消耗单表对应的数据录入偏差度φ，具体评估过程如下：(81)将数据录入质量监测清单中各实体项目栏对应的录入数据与相应实体项目栏对应的合理录入数据作差，得到各实体项目栏对应的录入数据对比差。
(82)将各实体项目栏对应的录入数据对比差导入评估公式U＞1得到指定建筑物资日消耗单表对应的数据录入偏差度，U表示为设定常量,其中各实体项目栏的录入数据对比差越大，指定建筑物资日消耗单表对应的数据录入偏差度越大。
在进一步的实施例中，各实体项目栏对应的比例权重具体获取方式为：(821)依据建筑物资与实体项目栏的对应关系得到各实体项目栏对应的建筑物资。
(822)基于各实体项目栏对应的建筑物资从参考信息库中提取各种建筑物资在建筑工程中的重要等级，进而利用转化表达式得到各实体项目栏对应的比例权重。
需要说明的是，上述提到的各种建筑物资在建筑工程中的重要等级用阿拉伯数字表示，且阿拉伯数字越小，重要程度越高，作为本发明的一个示例，各种建筑物资在建筑工程中的重要等级为1、2、3等。
本发明对建筑物资日消耗单表的具体录入数据监管的意义在于建筑物资日消耗单表中的具体数据一般是由人工录入的，容易因主观、客观因素的影响下出现录入错误的现象，错误的数据会直接对建筑项目的后续进度产生影响，因此需要对其进行有效监管。
(9)利用下述数据质量评分模型对指定建筑物资日消耗单表进行数据质量评分，并据此评判指定建筑物资日消耗单表是否有效，具体评判方式为将指定建筑物资日消耗单表的数据质量评分值与预设的合格评分阈值进行对比，若指定建筑物资日消耗单表的数据质量评分值大于预设的合格评分阈值，则评判指定建筑物资日消耗单表有效，反之则评判指定建筑物资日消耗单表无效。
上述中数据质量评分模型为 φ0分别表示为预先设定的内容合规度、录入数据偏差度对应的期望值，示例性的/>，φ0＝1，α表示为内容合规度对应的权衡因子，其中指定建筑物资日消耗单表的内容合规度和数据录入偏差度在[0,1]之间，在/>φ0＝1的情况下/>(φ0-φ)∈[0,1]，此时/>越接近于/>φ越接近于φ0，指定建筑物资日消耗单表的数据质量评分值越大。
本发明通过将建筑物资日消耗单表进行智能化的质量监管，不需要人工介入，大大提高了建筑物资日消耗单表数据质量的监管效率，进而能够及时发现建筑物资日消耗单表中存在的数据质量问题，有效避免了监管滞后的发生，与此同时最大限度降低了建筑物资消耗数据监管不充分的发生率，有利于提高后续质量评判的准确度。
(10)在评判指定建筑物资日消耗单表无效时在指定建筑物资日消耗单表中标记出异常项目栏和异常录入数据，其中异常录入数据的标记方式为将各实体项目栏的录入数据与相应项目栏的合理录入数据进行对比，若某实体项目栏的录入数据与相应项目栏的合理录入数据不一致，则将该实体项目栏的录入数据作为异常录入数据。
本发明在依据内容合规监管和数据录入偏差监管对建筑物资日消耗单表进行是否有效评判后增加了在评判建筑物资日消耗单表无效时对建筑物资日消耗单表进行异常标记，便于物资管理人员直观、清晰地了解异常出处，为后续进行建筑物资日消耗单表异常溯源提供针对性的支撑，从而有利于提高建筑物资日消耗单表的异常溯源效率。
本发明在实施过程中还用到了参考数据库，用于存储各种异常表现特征对应的异常类型，存储各种项目栏属类对应的比重因子，并存储各种异常类型对应的异常程度表征值。
实施例2
本发明提出一种基于大数据的数据质量监测装置，包括电子设备和计算机可读存储介质。
所述电子设备包括处理器、存储器及通信总线，所述存储器上存储有可被所述处理器执行的计算机可读程序。
所述通信总线实现处理器与存储器之间的连接通信。
所述处理器执行所述计算机可读程序时实现如本发明所述的一种基于大数据的数据质量监测方法中的步骤。
所述计算机可读存储介质存储一个或者多个程序，所述一个或者多个程序可被一个或多个处理器执行，以实现如本发明所述的一种基于大数据的数据质量监测方法中的步骤。
以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本发明所定义的范围，均应属于本发明的保护范围。

Claims (7)

1.一种基于大数据的数据质量监测方法，其特征在于，包括：
（1）将指定建筑物资日消耗单表通过内容监测终端，由其提取指定建筑物资日消耗单表中存在的项目栏名称；
（2）构建建筑物资日消耗单表标准规则库，并进行实时更新，进而从标准规则库中匹配出以现行规则制作的建筑物资日消耗单表中存在的标准项目栏；
（3）将指定建筑物资日消耗单表中提取的项目栏名称与以现行规则制作的建筑物资日消耗单表中存在的标准项目栏进行对比，识别指定建筑物资日消耗单表是否存在项目栏异常，若存在项目栏异常，则解析项目栏异常指征；
（4）根据指定建筑物资日消耗单表对应的项目栏异常指征评估指定建筑物资日消耗单表对应的内容合规度；
所述评估指定建筑物资日消耗单表对应的内容合规度具体实现过程如下：
（41）从项目栏异常指征中提取各异常项目栏对应的属类，将其与参考信息库中配置的各种项目栏属类对应的比重因子进行匹配，从中匹配出各异常项目栏对应的比重因子；
（42）从项目栏异常指征中提取各异常项目栏对应的异常类型，将其与参考数据库中配置的各种异常类型对应的异常程度表征值进行匹配，从中匹配出各异常项目栏对应的异常程度表征值；
（43）通过评估表达式得到指定建筑物资日消耗单表对应的内容合规度/>,其中/>、/>表示为第k异常项目栏对应的异常程度表征值、比重因子，k表示为异常项目栏的编号，/>，e表示为自然常数;
（5）将指定建筑物资日消耗单表通过数据监测终端，由其提取指定建筑物资日消耗单表中各实体项目栏对应的录入数据；
（6）从指定建筑物资日消耗单表中的若干项目栏中提取指示项目栏，以此获取各实体项目栏对应的合理录入数据；
（7）将各实体项目栏对应的录入数据与相应实体项目栏对应的合理录入数据生成数据录入质量监测清单；
（8）依据数据录入质量监测清单评估指定建筑物资日消耗单表对应的数据录入偏差度；
所述依据数据录入质量监测清单评估指定建筑物资日消耗单表对应的数据录入偏差度具体执行过程如下：
（81）将数据录入质量监测清单中各实体项目栏对应的录入数据与相应实体项目栏对应的合理录入数据作差，得到各实体项目栏对应的录入数据对比差；
（82）将各实体项目栏对应的录入数据对比差导入评估公式
得到指定建筑物资日消耗单表对应的数据录入偏差度,U表示为设定常量,其中各实体项目栏对应的比例权重具体获取方式为：
（821）依据建筑物资与实体项目栏的对应关系得到各实体项目栏对应的建筑物资；
（822）基于各实体项目栏对应的建筑物资从参考信息库中提取各种建筑物资在建筑工程中的重要等级，进而利用转化表达式得到各实体项目栏对应的比例权重;
（9）利用下述数据质量评分模型对指定建筑物资日消耗单表进行数据质量评分，并据此评判指定建筑物资日消耗单表是否有效；
具体评判方式为将指定建筑物资日消耗单表的数据质量评分值与预设的合格评分阈值进行对比，若指定建筑物资日消耗单表的数据质量评分值大于预设的合格评分阈值，则评判指定建筑物资日消耗单表有效，反之则评判指定建筑物资日消耗单表无效；
上述中数据质量评分模型为，/>、/>分别表示为预先设定的内容合规度、录入数据偏差度对应的期望值，/>表示为内容合规度对应的权衡因子。
2.根据权利要求1所述的一种基于大数据的数据质量监测方法，其特征在于：所述项目栏包括指示项目栏和实体项目栏，其中指示项目栏为建筑项目名称和当前建造进度，各实体项目栏对应一种建筑物资。
3.根据权利要求2所述的一种基于大数据的数据质量监测方法，其特征在于：所述识别指定建筑物资日消耗单表是否存在项目栏异常具体包括以下步骤：
（31）将指定建筑物资日消耗单表聚焦在项目栏所在区域，以此截取出项目栏区域轮廓表；
（32）将以现行规则制作的建筑物资体消耗单聚焦在项目栏所在区域，以此截取出标准项目栏区域轮廓表；
（33）将截取出的项目区域轮廓表与标准项目栏区域轮廓表进行重合对比，若存在无法重合的区域，则识别指定建筑物资日消耗单表是否存在项目栏异常。
4.根据权利要求3所述的一种基于大数据的数据质量监测方法，其特征在于：所述项目栏异常指征包括异常项目栏的数量及各异常项目栏对应的属类和异常类型，其中属类包括指示类、实体类，异常类型包括缺失类型、多余类型、表述错误类型、位置排版错位类型。
5.根据权利要求1所述的一种基于大数据的数据质量监测方法，其特征在于：所述获取各实体项目栏对应的合理录入数据具体参见以下步骤：
（61）从指示项目栏中提取建筑项目名称，由此获取该建筑项目名称对应的设计建筑物资消耗指标，具体包括各阶梯建造进度下各种建筑物资的设计日消耗数据；
（62）从指示项目栏中提取当前建造进度，并将其与设计建筑物资消耗指标中存在的阶梯建造进度进行对比，并构建超阶梯建造进度集合和少阶梯建造进度集合，若某阶梯建造进度大于当前建造进度，则将该阶梯建造进度加入超阶梯建造进度集合，若某阶梯建造进度小于当前建造进度，则将该阶梯建造进度加入少阶梯建造进度集合；
（63）分别将超阶梯建造进度集合和少阶梯建造进度集合存在的阶梯建造进度与当前建造进度进行差值对比，以此通过筛选算法
筛选出上适配阶梯建造进度和下适配阶梯建造进度/>，其中/>表示为当前建造进度，/>表示为超阶梯建造进度集合内第i个阶梯建造进度，i表示为超阶梯建造进度集合内阶梯建造进度的编号，/>，/>表示为少阶梯建造进度集合内第i个阶梯建造进度，j表示为少阶梯建造进度集合内阶梯建造进度的编号，/>；
（64）依据上适配阶梯建造进度和下适配阶梯建造进度从设计建筑物资消耗指标中分别提取上适配阶梯建造进度下各种建筑物资的设计日消耗数据和提取下适配阶梯建造进度下各种建筑物资的设计日消耗数据；
（65）利用公式统计得到各种建筑物资在当前建造进度下的合理日消耗数据/>，b表示为建筑物资的编号，/>，/>、分别表示为上适配阶梯建造进度下、下适配阶梯建造进度下第b种建筑物资的设计日消耗数据；
（66）依据建筑物资与实体项目栏的对应关系得到各实体项目栏对应的合理录入数据。
6.根据权利要求1所述的一种基于大数据的数据质量监测方法，其特征在于：还包括（10）在评判指定建筑物资日消耗单表无效时在指定建筑物资日消耗单表中标记出异常项目栏和异常录入数据。
7.一种基于大数据的数据质量监测装置，其特征在于，包括电子设备和计算机可读存储介质；
所述电子设备包括处理器、存储器及通信总线，所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器与存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如权利要求1-6任意一项所述的一种基于大数据的数据质量监测方法中的步骤；
所述计算机可读存储介质存储一个或者多个程序，所述一个或者多个程序可被一个或多个处理器执行，以实现如权利要求1-6任意一项所述的一种基于大数据的数据质量监测方法中的步骤。
CN202310318455.7A 2023-03-29 2023-03-29 一种基于大数据的数据质量监测方法与装置 Active CN116402459B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310318455.7A CN116402459B (zh) 2023-03-29 2023-03-29 一种基于大数据的数据质量监测方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310318455.7A CN116402459B (zh) 2023-03-29 2023-03-29 一种基于大数据的数据质量监测方法与装置

Publications (2)

Publication Number Publication Date
CN116402459A CN116402459A (zh) 2023-07-07
CN116402459B true CN116402459B (zh) 2023-09-29

Family

ID=87019212

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310318455.7A Active CN116402459B (zh) 2023-03-29 2023-03-29 一种基于大数据的数据质量监测方法与装置

Country Status (1)

Country Link
CN (1) CN116402459B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110516973A (zh) * 2019-08-30 2019-11-29 中国建筑第五工程局有限公司 建筑工程用物资管理系统及管理方法
CN113313376A (zh) * 2021-05-26 2021-08-27 湖南长顺项目管理有限公司 一种基于建筑工地的建筑验收评价系统
CN114648400A (zh) * 2022-04-08 2022-06-21 武汉初旦软件技术有限公司 一种基于移动互联网的财务数据智能采集分析管理系统
CN115062919A (zh) * 2022-05-24 2022-09-16 卓炜 一种基于云计算的建筑设计材料消耗评估系统
CN115640925A (zh) * 2022-09-28 2023-01-24 中铁第四勘察设计院集团有限公司 一种智慧工地管理系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7069161B2 (en) * 2002-01-17 2006-06-27 Gristina Family Trust System for managing resource infrastructure and resource consumption in real time
US20070239776A1 (en) * 2006-03-28 2007-10-11 Inventec Corporation Bonded material monitoring system and method
US20160110677A1 (en) * 2014-06-30 2016-04-21 Utopia Global, Inc. Systems and techniques for ensuring the integrity of enterprise asset management data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110516973A (zh) * 2019-08-30 2019-11-29 中国建筑第五工程局有限公司 建筑工程用物资管理系统及管理方法
CN113313376A (zh) * 2021-05-26 2021-08-27 湖南长顺项目管理有限公司 一种基于建筑工地的建筑验收评价系统
CN114648400A (zh) * 2022-04-08 2022-06-21 武汉初旦软件技术有限公司 一种基于移动互联网的财务数据智能采集分析管理系统
CN115062919A (zh) * 2022-05-24 2022-09-16 卓炜 一种基于云计算的建筑设计材料消耗评估系统
CN115640925A (zh) * 2022-09-28 2023-01-24 中铁第四勘察设计院集团有限公司 一种智慧工地管理系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"工业与民用建筑现场施工技术管理研究";吕波;《建材与装饰》(第19期);117-118 *
"建筑施工企业材料管理问题";王培垣;《基建优化》(第05期);全文 *
"房建施工管理中物资精细化管理策略研究";简波;周俊;王长江;;《城市住宅》(第09期);全文 *

Also Published As

Publication number Publication date
CN116402459A (zh) 2023-07-07

Similar Documents

Publication Publication Date Title
CN110990393B (zh) 一种行业企业数据异常行为的大数据识别方法
CN103971023B (zh) 研发过程质量自动评估系统和方法
CN117172556B (zh) 一种桥梁工程的施工风险预警方法与系统
CN114648400A (zh) 一种基于移动互联网的财务数据智能采集分析管理系统
CN114140090A (zh) 一种工程项目全流程跟踪监督系统
CN116468160A (zh) 基于生产大数据的铝合金压铸件质量预测方法
CN116402459B (zh) 一种基于大数据的数据质量监测方法与装置
CN112559591B (zh) 一种用于冷轧辊制造过程的离群检测系统及其检测方法
CN116739317B (zh) 一种矿用绞车自动化管理及调度平台、方法、设备及介质
CN110288142B (zh) 一种基于XGBoost算法的工程超期预测方法
CN117273541A (zh) 一种基于大数据的建筑工程造价质量评估系统
Stevens et al. Conversion Of Legacy Inspection Data To Bridge Condition Index (BCI) To Establish Baseline Deterioration Condition History For Predictive Maintenance Models.
CN112783948A (zh) 区域经济运行数据分析方法、设备及存储介质
Nikolaidis et al. Using economically designed Shewhart and adaptive―X charts for monitoring the quality of tiles
CN105243468A (zh) 能源管理体系云平台
CN116128277A (zh) 一种固定污染源分类分级的动态预警方法及系统
CN114897345A (zh) 一种基于员工数据自动生成指标分的方法及装置
CN113052390A (zh) 一种基于社会经济数据的环境质量预测方法
Xiaobo et al. An empirical study on impacts of environmental regulation on environmental information disclosure of listed companies of China: based on researches on listed companies in nonferrous metal industry
CN106485468A (zh) 基于模糊综合评判算法及动态反馈机制的项目管理平台
CN117273394B (zh) 一种基于大数据的智能设备选型调配分析管理方法
CN107368917A (zh) 一种基于knn算法的电力物资库存优化系统及方法
CN115952914A (zh) 一种基于大数据的电力计量运维工作判别规划方法
CN117217609A (zh) 基于大数据的建筑工程劳务供应商分析评价方法
CN117689352A (zh) 一种道路建设成本管理系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant