CN115841302B - 数据核查方法、电子设备和可读介质 - Google Patents
数据核查方法、电子设备和可读介质 Download PDFInfo
- Publication number
- CN115841302B CN115841302B CN202211439232.8A CN202211439232A CN115841302B CN 115841302 B CN115841302 B CN 115841302B CN 202211439232 A CN202211439232 A CN 202211439232A CN 115841302 B CN115841302 B CN 115841302B
- Authority
- CN
- China
- Prior art keywords
- information
- data
- test item
- checking
- corner
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012360 testing method Methods 0.000 claims abstract description 184
- 238000005259 measurement Methods 0.000 claims abstract description 26
- 238000012550 audit Methods 0.000 claims abstract description 11
- 238000013524 data verification Methods 0.000 claims description 21
- 238000012216 screening Methods 0.000 claims description 17
- 238000012795 verification Methods 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 11
- 230000002159 abnormal effect Effects 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 238000012552 review Methods 0.000 claims description 5
- 230000005856 abnormality Effects 0.000 claims description 4
- 238000003702 image correction Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000003466 welding Methods 0.000 description 3
- 238000013145 classification model Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000003292 glue Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Landscapes
- Stored Programmes (AREA)
- Debugging And Monitoring (AREA)
Abstract
本公开的实施例公开了数据核查方法、电子设备和可读介质。该方法的一具体实施方式包括:获取待核查数据信息;确定核查类目对应的实测项目规范表;对实测项目规范表进行测试项识别,得到测试项信息集合;根据测试项信息集合中的测试项信息包括的测试项类目之间的从属关系,构建数据核查树;对于核查项信息集合中的每个核查项信息,执行以下数据核查步骤:确定数据核查树中与核查项信息对应的测试项信息,作为目标测试项信息;根据目标测试项信息包括的测试项规范信息,对核查项信息进行数据核查,以生成数据核查结果;将得到的数据核查结果集合发送至数据复核端供复核人员进行数据复核。该实施方式提高了核查效率和准确率。
Description
技术领域
本公开的实施例涉及计算机技术领域,具体涉及数据核查方法、电子设备和可读介质。
背景技术
数据核查是指对公路工程项目中的各个待检查项目进行核查的一项技术。目前,在进行数据核查时,通常采用的方式为:通过人工的方式,将待检查项目对应的测量值与规范文件内对应的测试项类目对应的规范值进行比对,以实现数据的核查。
然而,发明人发现,当采用上述方式时,经常会存在如下技术问题:
第一,规范文件内往往包含较多待检查项目对应的规范值,采用人工的方式进行查找以及核查,核查效率和准确率无法得到保障;
第二,规范文件内的测试项类目往往以表格形式进行存储,且不同测试项类目之间存在从属关系,直接从表内抽取测试项类目,无法有效地确定各个测试项类目之间的从属关系,进而导致无法有效的进行自动化核查,使得核查准确率和效率无法进一步得到保障。
该背景技术部分中所公开的以上信息仅用于增强对本发明构思的背景的理解,并因此,其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。
本公开的一些实施例提出了数据核查方法、电子设备和可读介质,来解决以上背景技术部分提到的技术问题中的一项或多项。
第一方面,本公开的一些实施例提供了一种数据核查方法,该方法包括:获取待核查数据信息,其中,上述待核查数据信息包括:核查类目、核查项信息集合,其中,核查项信息对应的核查项类目是上述核查类目下的核查项类目,上述待核查数据信息由数据填报人员录入;确定上述核查类目对应的实测项目规范表;对上述实测项目规范表进行测试项识别,得到测试项信息集合,其中,上述测试项信息集合中的测试项信息包括:测试项类目和测试项规范信息;根据上述测试项信息集合中的测试项信息包括的测试项类目之间的从属关系,构建数据核查树,其中,上述数据核查树中的树节点与测试项信息一一对应;对于上述核查项信息集合中的每个核查项信息,执行以下数据核查步骤:确定上述数据核查树中与上述核查项信息对应的测试项信息,作为目标测试项信息;根据上述目标测试项信息包括的测试项规范信息,对上述核查项信息进行数据核查,以生成数据核查结果;将得到的数据核查结果集合发送至数据复核端供复核人员进行数据复核。
第二方面,本公开的一些实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现上述第一方面任一实现方式所描述的方法。
第三方面,本公开的一些实施例提供了一种计算机可读介质,其上存储有计算机程序,其中,程序被处理器执行时实现上述第一方面任一实现方式所描述的方法。
本公开的上述各个实施例具有如下有益效果:通过本公开的一些实施例的数据核查方法,提高了核查效率和准确率。具体来说,造成核查效率和准确率无法得到保障的原因在于:第一,规范文件内往往包含较多待检查项目对应的规范值,采用人工的方式进行查找以及核查,核查效率和准确率无法得到保障。基于此,本公开的一些实施例的数据核查方法,首先,获取待核查数据信息,其中,上述待核查数据信息包括:核查类目、核查项信息集合,其中,核查项信息对应的核查项类目是上述核查类目下的核查项类目,上述待核查数据信息由数据填报人员录入。通过获取待核查数据信息,以用于后续的数据核查。接着,确定上述核查类目对应的实测项目规范表。实际情况中,规范文件内往往包含不同核查类目对应的规范表,因此,需要确定核查类目对应的实测项目规范表,以用于后续的数据核查。进一步,对上述实测项目规范表进行测试项识别,得到测试项信息集合,其中,上述测试项信息集合中的测试项信息包括:测试项类目和测试项规范信息。通过测试项识别,以此得到规范表内的测试项信息。此外,根据上述测试项信息集合中的测试项信息包括的测试项类目之间的从属关系,构建数据核查树,其中,上述数据核查树中的树节点与测试项信息一一对应。通过构建数据核查树,以此实现数据核查的自动化进行。除此之外,对于上述核查项信息集合中的每个核查项信息,执行以下数据核查步骤:确定上述数据核查树中与上述核查项信息对应的测试项信息,作为目标测试项信息;根据上述目标测试项信息包括的测试项规范信息,对上述核查项信息进行数据核查,以生成数据核查结果。最后,将得到的数据核查结果集合发送至数据复核端供复核人员进行数据复核。通过数据复核,实现数据的二次检查,进一步提高了数据的核查准确率。综上,通过设置自动化流程进行测试项的识别以及自动核查,减少了人工干预,大大提高了核查效率和准确率。同时,通过加入人工复核,以此进一步提高数据的核查准确率。
附图说明
结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,元件和元素不一定按照比例绘制。
图1是根据本公开的数据核查方法的一些实施例的流程图;
图2是适于用来实现本公开的一些实施例的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例。相反,提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
下面将参考附图并结合实施例来详细说明本公开。
参考图1,示出了根据本公开的数据核查方法的一些实施例的流程100。该数据核查方法,包括以下步骤:
步骤101,获取待核查数据信息。
在一些实施例中,数据核查方法的执行主体(例如,计算设备)可以通过有线连接,或无线连接的方式获取上述待核查数据信息。其中,上述待核查数据信息包括:核查类目、核查项信息集合。核查类目可以是待核查项目的总类目。例如,核查类目可以是“防水层”类目。核查项信息对应的核查项类目是上述核查类目下的核查项类目。例如,当核查类目为“防水层”类目时,核查项信息对应的核查项类目可以是以下任意一项:搭接长度,采用焊接方式的缝宽,采用粘接方式的缝宽,固定点间距,焊缝密实性。上述待核查数据信息由数据填报人员录入。
需要指出的是,上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
需要说明的是,上述计算设备可以是硬件,也可以是软件。当计算设备为硬件时,可以实现成多个服务器或终端设备组成的分布式集群,也可以实现成单个服务器或单个终端设备。当计算设备体现为软件时,可以安装在上述所列举的硬件设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块,也可以实现成单个软件或软件模块。在此不做具体限定。应该理解,计算设备的数目根据实现需要,可以具有任意数目的计算设备。
步骤102,确定核查类目对应的实测项目规范表。
在一些实施例中,上述执行主体可以确定核查类目对应的实测项目规范表。其中,实测项目规范表是规范文件针对核查类目的规范表。实践中,上述实测项目规范表的文件类型为包含有表格的图像类型。
作为示例,上述执行主体可以通过检索上述规范文件包含的目录索引,以确定上述核查类目对应的实测项目规范表。例如,核查类目可以是“防水层”类目,则实测项目规范表可以是针对“防水层”的规范表。
步骤103,对实测项目规范表进行测试项识别,得到测试项信息集合。
在一些实施例中,上述执行主体可以对实测项目规范表进行测试项识别,得到测试项信息集合。其中,上述测试项信息集合中的测试项信息包括:测试项类目和测试项规范信息。其中,测试项类目与核查项信息对应的核查项类目一一对应。测试项规范信息表征测试项类目对应的测试规范。实践中,测试项规范信息可以用规范值表征。
作为示例,上述执行主体可以通过OCR(Optical Character Recognition,光学字符识别)技术,对实测项目规范表进行测试项识别,得到测试项信息集合。
作为又一示例,当核查类目为“防水层”类目时,测试项信息集合可以如下表:
搭接长度 | ≥100mm |
焊接-缝宽 | ≥10mm |
粘接-缝宽 | ≥50mm |
在一些实施例的一些可选的实现方式中,上述执行主体对上述实测项目规范表进行测试项识别,得到测试项信息集合,包括:
第一步,对上述实测项目规范表进行二值化处理,以生成二值化后实测项目规范表。
第二步,对上述二值化后实测项目规范表进行角点检测,以生成角点信息,得到角点信息集合。
其中,角点信息集合中的角点信息包括:角点坐标。
作为示例,上述执行主体可以通过角点检测算法,对上述二值化后实测项目规范表进行角点检测,以生成角点信息,得到角点信息集合。其中,上述角点检测算法可以是但不限于以下任意一项:Harris角点检测算法,SIFT(Scale-Invariant Feature Transform)角点检测算法,SURF(Speeded Up Robust Features)角点检测算法。
第三步,从上述角点信息集合中筛选出包括的角点坐标中的横坐标最大、且包括的角点坐标中的纵坐标最大的角点信息,作为第一角点信息。
第四步,从上述角点信息集合中筛选出包括的角点坐标中的横坐标最大、且包括的角点坐标中的纵坐标最小的角点信息,作为第二角点信息。
第五步,从上述角点信息集合中筛选出包括的角点坐标中的横坐标最小、且包括的角点坐标中的纵坐标最大的角点信息,作为第三角点信息。
第六步,对上述第一角点信息包括的角点坐标和第二角点信息包括的角点坐标进行线性拟合,以生成纵向拟合线。
其中,上述执行主体可以通过两点式,进行线性拟合,以生成纵向拟合线。
第七步,对上述第一角点信息包括的角点坐标和第三角点信息包括的角点坐标进行线性拟合,以生成横向拟合线。
第八步,确定上述纵向拟合线与铅直方向的夹角,以生成纵向拉伸角度。
第九步,确定上述横向拟合线与水平方向的夹角,以生成横向拉伸角度。
第十步,根据上述纵向拉伸角度和上述横向拉伸角度,对上述二值化后实测项目规范表进行图像矫正,以生成目标实测项目规范表。
第十一步,对上述目标实测项目规范表进行封闭域检测,以得到封闭域信息集合。
其中,上述执行主体可以通过TableNet网络对上述目标实测项目规范表进行封闭域检测,以得到封闭域信息集合。实践中,封闭域信息可以包括:封闭区域中心点坐标和区域角点坐标集合。
第十二步,通过预先训练的文本识别模型,对上述封闭域信息集合中的每个封闭域信息对应的区域进行文本识别,以生成测试项信息,得到上述测试项信息集合。
其中,上述文本识别模型可以是TextRCNN模型。
上述第一步至第十二步,有效地实现了针对图像的矫正,以及内容识别。首先,通过生成横向拟合线和纵向拟合线,可以快速地对图像进行矫正,矫正效率大大提高。接着,通过先进行封闭区域识别,再对识别到的区域内的文本进行识别。相较于直接对文本进行识别,无需进行文本再划分,内容识别效率大大提高。
步骤104,根据测试项信息集合中的测试项信息包括的测试项类目之间的从属关系,构建数据核查树。
在一些实施例中,上述执行主体可以根据测试项信息集合中的测试项信息包括的测试项类目之间的从属关系,构建数据核查树。其中,数据核查树中的树节点与测试项信息一一对应。
作为示例,“粘接”测试项类目和“焊接”测试项类目均属于“缝宽”测试项类目下的类目。则“粘接”测试项类目对应的树节点和“焊接”测试项类目对应的树节点为兄弟节点。“焊接”测试项类目对应的节点是“缝宽”测试项类目对应的树节点。“粘接”测试项类目是“缝宽”测试项类目对应的树节点。“搭接长度”测试项类目和“缝宽”测试项类目属于并列的测试类目。因此,“搭接长度”测试项类目对应的树节点和“缝宽”测试项类目对应的树节点为兄弟节点。
在一些实施例的一些可选的实现方式中,上述执行主体根据上述测试项信息集合中的测试项信息包括的测试项类目之间的从属关系,构建数据核查树,可以包括以下步骤:
第一步,根据封闭域信息集合,执行以下从属关系确定步骤:
第一子步骤,从封闭域信息集合中选取封闭域信息,作为初始封闭域信息。
作为示例,上述执行主体可以从封闭域信息集合中任意选取一个封闭域信息,作为初始封闭域信息。
第二子步骤,确定目标封闭子区域信息集合。
其中,目标封闭子区域信息集合对应的区域与初始封闭域信息对应的区域相邻。
实践中,目标封闭子区域信息集合对应的区域与初始封闭域信息对应的区域存在共用边。
第三子步骤,对于目标封闭子区域信息集合中每个目标封闭子区域信息,确定目标封闭子区域信息对应的测试项信息与初始封闭域信息对应的测试项信息的从属度,得到从属度数值。
作为示例,首先,上述执行主体可以确定初始封闭域信息对应的测试项信息的类别,作为第一类别。然后,上述执行主体可以确定目标封闭子区域信息对应的测试项信息的类别,作为第二类别。实践中,上述执行主体可以通过分类模型,确定第一类别和第二类别。例如,分类模型可以是具有多分类功能的卷积神经网络。接着,根据预先构建的类别等级树索引,确定第一类别对应的近似类别,得到第三类别。实践中,类别等级树索引可以是预先构建的用于存储类别之间的从属关系的索引树。例如,上述执行主体可以通过计算相似度的方式,确定类别等级树索引中与第一类别对应的近似类别,作为第三类别。进一步,根据预先构建的类别等级树索引,确定第二类别对应的近似类别,得到第四类别。最后,上述执行主体可以将第三类别和第四类别在类别等级树索引中的索引距离,确定为从属度数值。
第四子步骤,从目标子区域信息集合中筛选出对应的从属度数值满足节点筛选条件的目标子区域信息,作为第一候选封闭子区域信息。
其中,节点筛选条件为:目标子区域信息对应的从属度数值与目标数值相同。实践中,目标数值可以是0。
第五子步骤,将第一候选封闭子区域信息对应的测试项信息对应的树节点,确定为初始封闭域信息对应的测试项信息对应的树节点的兄弟节点。
第六子步骤,从目标子区域信息集合中筛选出对应的从属度数值不满足节点筛选条件的目标子区域信息,作为第二候选封闭子区域信息,得到第二候选封闭子区域信息集合。
第七子步骤,将第二候选封闭子区域信息集合中的第二候选封闭子区域信息对应的测试项信息对应的树节点,确定为封闭域信息对应的测试项信息对应的树节点的子节点。
第八子步骤,从封闭域信息集合剔除初始封闭域信息和目标封闭子区域信息集合,以得到封闭域信息子集合。
第九子步骤,响应于确定封闭域信息子集合中的封闭域信息的数量为0,结束上述从属关系确定步骤。
第二步,响应于确定封闭域信息子集合中的封闭域信息的数量不为0,将封闭域信息子集合确定为封闭域信息集合,再次执行上述从属关系确定步骤。
上述步骤104中“在一些实施例的一些可选的实现方式”中的内容,作为本公开的一个发明点,解决了背景技术中提及的技术问题二,即“规范文件内的测试项类目往往以表格形式进行存储,且不同测试项类目之间存在从属关系,直接从表内抽取测试项类目,无法有效地确定各个测试项类目之间的从属关系,进而导致无法有效的进行自动化核查,使得核查准确率和效率无法进一步得到保障”。为了解决上述技术问题,本公开通过确定目标封闭子区域信息对应的测试项信息与初始封闭域信息对应的测试项信息的从属度,得到从属度数值。通过从属度数值以此量化各个测试项信息对应的树节点之间的节点关系,进而生成数据核查树。接着遍历生成的数据核查树,以此可以查询到与待核查项对应的测试项信息,从而进一步提高核查的准确率。实际情况中,不同封闭子区域信息对应的区域(表格单元)内的文本(测试项信息)可能存在从属关系,例如,“缝宽”类目对应的子类目包括“焊接”类目和“粘接”类目。但实际情况中,进一步存在如下问题:第一,直接对表格内的文本进行抽取,忽略了表格位置的约束,使得抽取得到的文本的可用性较差。第二,不同文本之间的从属性难以确定。基于此,本公开首先,确定目标封闭子区域信息对应的测试项信息与初始封闭域信息对应的测试项信息的从属度,即确定相邻的两个表格单元内的文本的从属关系,通过表格内隐含的表格单元位置关系为约束,以此确定相邻的两个表格单元内的文本的从属关系,无需与表格内其他的无关项信息进行从属关系确定,效率大大提高。同时,通过引入类别等级树索引,确定不同测试项信息对应的类别与类别等级树索引中的相似的类别。接着,通过确定不同类别在类别等级树索引中的距离,作为从属度数值,从而有效实现了从属度数值的确定。通过此种方式,有效地提高了针对待核查数据信息的自动化核查效率和准确率。
步骤105,对于核查项信息集合中的每个核查项信息,执行以下数据核查步骤:
步骤1051,确定数据核查树中与核查项信息对应的测试项信息,作为目标测试项信息。
在一些实施例中,上述执行主体可以确定数据核查树中与核查项信息对应的测试项信息,作为目标测试项信息。
作为示例,上述执行主体可以通过深度遍历的方式,遍历上述数据核查树,以确定数据核查树中与核查项信息对应的测试项信息,作为目标测试项信息。
步骤1052,根据目标测试项信息包括的测试项规范信息,对核查项信息进行数据核查,以生成数据核查结果。
在一些实施例中,上述执行主体可以根据目标测试项信息包括的测试项规范信息,对核查项信息进行数据核查,以生成数据核查结果。其中,核查结果表征核查项信息是否符合目标测试项信息包括的测试项规范信息对应的测试规范。
作为示例,上述核查项信息可以是“搭接长度:92mm”。对应的目标测试项信息可以是“搭接长度:≥100mm”,则生成的数据核查结果可以是“{类目:搭接长度:待核查搭接长度:92mm;最低搭接长度:100mm,核查结果:不符合规范}”。
在一些实施例的一些可选的实现方式中,上述执行主体还可以执行以下处理步骤:
响应于确定上述数据核查结果表征上述核查项信息不满足目标测试项规范,在信息录入界面显示数据异常提示信息。
其中,上述目标测试项规范是上述目标测试项信息包括的测试项规范信息对应的测试项规范。上述数据异常提示信息用于提示上述数据填报人员数据异常。
步骤106,将得到的数据核查结果集合发送至数据复核端供复核人员进行数据复核。
在一些实施例中,上述执行主体可以将得到的数据核查结果集合发送至数据复核端供复核人员进行数据复核。其中,上述数据复核端可以是供复核人员进行数据复核的终端。实践中,上述数据复核端可以是B/S架构的、用于数据复核的系统。
在一些实施例的一些可选的实现方式中,上述执行主体还可以执行如下步骤:
响应于上述复核人员通过上述数据复核端对上述数据核查结果集合中的数据核查结果核查完毕,执行以下处理步骤:
第一步,从上述数据核查结果集合中筛选出数据异常的数据核查结果信息,作为数据异常核查结果信息,得到数据异常核查结果信息集合。
作为示例,上述执行主体可以从数据核查结果集合中筛选出包括的“核查结果”为“不符合规范”的数据核查结果,作为数据异常的数据核查结果信息,得到数据异常核查结果信息。
第二步,将上述数据异常核查结果信息集合发送至上述数据填报人员对应的信息接收端,以供上述数据填报人员在上述信息接收端对上述数据异常核查结果信息集合对应的核查项信息进行信息调整。
第三步,对上述待核查数据信息和上述数据核查结果集合进行数据存储。
作为示例,上述执行主体可以将上述待核查数据信息和上述数据核查结果集合进行数据存储至数据库,以用于数据溯源。
可选地,上述执行主体还可以执行以下步骤:
第一步,将上述待核查数据信息和上述数据核查结果集合挂载至信息存储区块链。
其中,上述信息存储区块链可以是用于进行信息存储的区块链。
第二步,响应于挂载成功,分别对上述待核查数据信息和上述数据核查结果集合进行冗余备份存储。
作为示例,上述执行主体可以对上述待核查数据信息和上述数据核查结果集合备份目标数量份,并分别存储至不同的存储终端。其中,目标数量可以是预设的备份数量。实践中,目标数量可以是“3”。
本公开的上述各个实施例具有如下有益效果:通过本公开的一些实施例的数据核查方法,提高了核查效率和准确率。具体来说,造成核查效率和准确率无法得到保障的原因在于:第一,规范文件内往往包含较多待检查项目对应的规范值,采用人工的方式进行查找以及核查,核查效率和准确率无法得到保障。基于此,本公开的一些实施例的数据核查方法,首先,获取待核查数据信息,其中,上述待核查数据信息包括:核查类目、核查项信息集合,其中,核查项信息对应的核查项类目是上述核查类目下的核查项类目,上述待核查数据信息由数据填报人员录入。通过获取待核查数据信息,以用于后续的数据核查。接着,确定上述核查类目对应的实测项目规范表。实际情况中,规范文件内往往包含不同核查类目对应的规范表,因此,需要确定核查类目对应的实测项目规范表,以用于后续的数据核查。进一步,对上述实测项目规范表进行测试项识别,得到测试项信息集合,其中,上述测试项信息集合中的测试项信息包括:测试项类目和测试项规范信息。通过测试项识别,以此得到规范表内的测试项信息。此外,根据上述测试项信息集合中的测试项信息包括的测试项类目之间的从属关系,构建数据核查树,其中,上述数据核查树中的树节点与测试项信息一一对应。通过构建数据核查树,以此实现数据核查的自动化进行。除此之外,对于上述核查项信息集合中的每个核查项信息,执行以下数据核查步骤:确定上述数据核查树中与上述核查项信息对应的测试项信息,作为目标测试项信息;根据上述目标测试项信息包括的测试项规范信息,对上述核查项信息进行数据核查,以生成数据核查结果。最后,将得到的数据核查结果集合发送至数据复核端供复核人员进行数据复核。通过数据复核,实现数据的二次检查,进一步提高了数据的核查准确率。综上,通过设置自动化流程进行测试项的识别以及自动核查,减少了人工干预,大大提高了核查效率和准确率。同时,通过加入人工复核,以此进一步提高数据的核查准确率。
下面参考图2,其示出了适于用来实现本公开的一些实施例的电子设备(例如,计算设备)200的结构示意图。图2示出的电子设备仅仅是一个示例,不应对本公开的实施例的功能和使用范围带来任何限制。
如图2所示,电子设备200可以包括处理装置(例如中央处理器、图形处理器等)201,其可以根据存储在只读存储器(ROM)202中的程序或者从存储装置208加载到随机访问存储器(RAM)203中的程序而执行各种适当的动作和处理。在RAM 203中,还存储有电子设备200操作所需的各种程序和数据。处理装置201、ROM 202以及RAM 203通过总线204彼此相连。输入/输出(I/O)接口205也连接至总线204。
通常,以下装置可以连接至I/O接口205:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置206;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置207;包括例如磁带、硬盘等的存储装置208;以及通信装置209。通信装置209可以允许电子设备200与其他设备进行无线或有线通信以交换数据。虽然图2示出了具有各种装置的电子设备200,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图2中示出的每个方框可以代表一个装置,也可以根据需要代表多个装置。
特别地,根据本公开的一些实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的一些实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的一些实施例中,该计算机程序可以通过通信装置209从网络上被下载和安装,或者从存储装置208被安装,或者从ROM 202被安装。在该计算机程序被处理装置201执行时,执行本公开的一些实施例的方法中限定的上述功能。
需要说明的是,本公开的一些实施例中记载的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的一些实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的一些实施例中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
在一些实施方式中,客户端、服务器可以利用诸如HTTP(Hyper Text TransferProtocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:获取待核查数据信息,其中,上述待核查数据信息包括:核查类目、核查项信息集合,其中,核查项信息对应的核查项类目是上述核查类目下的核查项类目,上述待核查数据信息由数据填报人员录入;确定上述核查类目对应的实测项目规范表;对上述实测项目规范表进行测试项识别,得到测试项信息集合,其中,上述测试项信息集合中的测试项信息包括:测试项类目和测试项规范信息;根据上述测试项信息集合中的测试项信息包括的测试项类目之间的从属关系,构建数据核查树,其中,上述数据核查树中的树节点与测试项信息一一对应;对于上述核查项信息集合中的每个核查项信息,执行以下数据核查步骤:确定上述数据核查树中与上述核查项信息对应的测试项信息,作为目标测试项信息;根据上述目标测试项信息包括的测试项规范信息,对上述核查项信息进行数据核查,以生成数据核查结果;将得到的数据核查结果集合发送至数据复核端供复核人员进行数据复核。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的一些实施例的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开的实施例中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (7)
1.一种数据核查方法,其特征在于,包括:
获取待核查数据信息,其中,所述待核查数据信息包括:核查类目、核查项信息集合,其中,核查项信息对应的核查项类目是所述核查类目下的核查项类目,所述待核查数据信息由数据填报人员录入;
确定所述核查类目对应的实测项目规范表;
对所述实测项目规范表进行测试项识别,得到测试项信息集合,其中,所述测试项信息集合中的测试项信息包括:测试项类目和测试项规范信息;
根据所述测试项信息集合中的测试项信息包括的测试项类目之间的从属关系,构建数据核查树,其中,所述数据核查树中的树节点与测试项信息一一对应;
对于所述核查项信息集合中的每个核查项信息,执行以下数据核查步骤:
确定所述数据核查树中与所述核查项信息对应的测试项信息,作为目标测试项信息;
根据所述目标测试项信息包括的测试项规范信息,对所述核查项信息进行数据核查,以生成数据核查结果;
将得到的数据核查结果集合发送至数据复核端供复核人员进行数据复核,其中,
所述对所述实测项目规范表进行测试项识别,得到测试项信息集合,包括:
对所述实测项目规范表进行二值化处理,以生成二值化后实测项目规范表;
对所述二值化后实测项目规范表进行角点检测,以生成角点信息,得到角点信息集合,其中,所述角点信息集合中的角点信息包括:角点坐标;
从所述角点信息集合中筛选出包括的角点坐标中的横坐标最大、且包括的角点坐标中的纵坐标最大的角点信息,作为第一角点信息;
从所述角点信息集合中筛选出包括的角点坐标中的横坐标最大、且包括的角点坐标中的纵坐标最小的角点信息,作为第二角点信息;
从所述角点信息集合中筛选出包括的角点坐标中的横坐标最小、且包括的角点坐标中的纵坐标最大的角点信息,作为第三角点信息;
对所述第一角点信息包括的角点坐标和第二角点信息包括的角点坐标进行线性拟合,以生成纵向拟合线;
对所述第一角点信息包括的角点坐标和第三角点信息包括的角点坐标进行线性拟合,以生成横向拟合线;
确定所述纵向拟合线与铅直方向的夹角,以生成纵向拉伸角度;
确定所述横向拟合线与水平方向的夹角,以生成横向拉伸角度;
根据所述纵向拉伸角度和所述横向拉伸角度,对所述二值化后实测项目规范表进行图像矫正,以生成目标实测项目规范表;
对所述目标实测项目规范表进行封闭域检测,以得到封闭域信息集合;
通过预先训练的文本识别模型,对所述封闭域信息集合中的每个封闭域信息对应的区域进行文本识别,以生成测试项信息,得到所述测试项信息集合。
2.根据权利要求1所述的方法,其特征在于,在所述根据所述目标测试项信息包括的测试项规范信息,对所述核查项信息进行数据核查,以生成数据核查结果之后,所述方法还包括:
响应于确定所述数据核查结果表征所述核查项信息不满足目标测试项规范,在信息录入界面显示数据异常提示信息,其中,所述目标测试项规范是所述目标测试项信息包括的测试项规范信息对应的测试项规范。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
响应于所述复核人员通过所述数据复核端对所述数据核查结果集合中的数据核查结果核查完毕,执行以下处理步骤:
从所述数据核查结果集合中筛选出数据异常的数据核查结果信息,作为数据异常核查结果信息,得到数据异常核查结果信息集合;
将所述数据异常核查结果信息集合发送至所述数据填报人员对应的信息接收端,以供所述数据填报人员在所述信息接收端对所述数据异常核查结果信息集合对应的核查项信息进行信息调整;
对所述待核查数据信息和所述数据核查结果集合进行数据存储。
4.根据权利要求3所述的方法,其特征在于,所述对所述待核查数据信息和所述数据核查结果集合进行数据存储,包括:
将所述待核查数据信息和所述数据核查结果集合挂载至信息存储区块链;
响应于挂载成功,分别对所述待核查数据信息和所述数据核查结果集合进行冗余备份存储。
5.根据权利要求4所述的方法,其特征在于,所述根据所述测试项信息集合中的测试项信息包括的测试项类目之间的从属关系,构建数据核查树,包括:
根据封闭域信息集合,执行以下从属关系确定步骤:
从封闭域信息集合中选取封闭域信息,作为初始封闭域信息;
确定目标封闭子区域信息集合,其中,目标封闭子区域信息集合对应的区域与初始封闭域信息对应的区域相邻;
对于目标封闭子区域信息集合中每个目标封闭子区域信息,确定目标封闭子区域信息对应的测试项信息与初始封闭域信息对应的测试项信息的从属度,得到从属度数值;
从目标子区域信息集合中筛选出对应的从属度数值满足节点筛选条件的目标子区域信息,作为第一候选封闭子区域信息,其中,节点筛选条件为:目标子区域信息对应的从属度数值与目标数值相同;
将第一候选封闭子区域信息对应的测试项信息对应的树节点,确定为初始封闭域信息对应的测试项信息对应的树节点的兄弟节点;
从目标子区域信息集合中筛选出对应的从属度数值不满足节点筛选条件的目标子区域信息,作为第二候选封闭子区域信息,得到第二候选封闭子区域信息集合;
将第二候选封闭子区域信息集合中的第二候选封闭子区域信息对应的测试项信息对应的树节点,确定为封闭域信息对应的测试项信息对应的树节点的子节点;
从封闭域信息集合剔除初始封闭域信息和目标封闭子区域信息集合,以得到封闭域信息子集合;
响应于确定封闭域信息子集合中的封闭域信息的数量为0,结束所述从属关系确定步骤;
响应于确定封闭域信息子集合中的封闭域信息的数量不为0,将封闭域信息子集合确定为封闭域信息集合,再次执行所述从属关系确定步骤。
6.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1至5中任一所述的方法。
7.一种计算机可读介质,其特征在于,其上存储有计算机程序,其中,所述程序被处理器执行时实现如权利要求1至5中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211439232.8A CN115841302B (zh) | 2022-11-15 | 2022-11-15 | 数据核查方法、电子设备和可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211439232.8A CN115841302B (zh) | 2022-11-15 | 2022-11-15 | 数据核查方法、电子设备和可读介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115841302A CN115841302A (zh) | 2023-03-24 |
CN115841302B true CN115841302B (zh) | 2023-11-21 |
Family
ID=85577150
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211439232.8A Active CN115841302B (zh) | 2022-11-15 | 2022-11-15 | 数据核查方法、电子设备和可读介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115841302B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109982368A (zh) * | 2017-12-28 | 2019-07-05 | 中国移动通信集团四川有限公司 | 小区方位角的核查方法、装置、设备及介质 |
CN110299196A (zh) * | 2019-07-01 | 2019-10-01 | 首都医科大学附属北京胸科医院 | 患者数据的核查方法、装置及计算机可读存储介质 |
CN110750621A (zh) * | 2019-09-06 | 2020-02-04 | 平安医疗健康管理股份有限公司 | 单据数据核查处理方法、装置、计算机设备和存储介质 |
CN113362025A (zh) * | 2021-06-04 | 2021-09-07 | 北京京东振世信息技术有限公司 | 数据核算系统、方法、计算机可读存储介质、电子设备 |
CN114116801A (zh) * | 2021-11-24 | 2022-03-01 | 普瑞盛(北京)医药科技开发有限公司 | 数据清单核查方法及装置 |
CN114328486A (zh) * | 2021-12-24 | 2022-04-12 | 上海柯林布瑞信息技术有限公司 | 基于模型的数据质量核查方法及装置 |
CN114925050A (zh) * | 2022-05-11 | 2022-08-19 | 上海柯林布瑞信息技术有限公司 | 基于知识库的数据核查方法、装置、电子设备及存储介质 |
CN115292346A (zh) * | 2022-08-05 | 2022-11-04 | 深圳前海环融联易信息科技服务有限公司 | 基于人工智能的数据自动核查方法、装置及计算机设备 |
-
2022
- 2022-11-15 CN CN202211439232.8A patent/CN115841302B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109982368A (zh) * | 2017-12-28 | 2019-07-05 | 中国移动通信集团四川有限公司 | 小区方位角的核查方法、装置、设备及介质 |
CN110299196A (zh) * | 2019-07-01 | 2019-10-01 | 首都医科大学附属北京胸科医院 | 患者数据的核查方法、装置及计算机可读存储介质 |
CN110750621A (zh) * | 2019-09-06 | 2020-02-04 | 平安医疗健康管理股份有限公司 | 单据数据核查处理方法、装置、计算机设备和存储介质 |
CN113362025A (zh) * | 2021-06-04 | 2021-09-07 | 北京京东振世信息技术有限公司 | 数据核算系统、方法、计算机可读存储介质、电子设备 |
CN114116801A (zh) * | 2021-11-24 | 2022-03-01 | 普瑞盛(北京)医药科技开发有限公司 | 数据清单核查方法及装置 |
CN114328486A (zh) * | 2021-12-24 | 2022-04-12 | 上海柯林布瑞信息技术有限公司 | 基于模型的数据质量核查方法及装置 |
CN114925050A (zh) * | 2022-05-11 | 2022-08-19 | 上海柯林布瑞信息技术有限公司 | 基于知识库的数据核查方法、装置、电子设备及存储介质 |
CN115292346A (zh) * | 2022-08-05 | 2022-11-04 | 深圳前海环融联易信息科技服务有限公司 | 基于人工智能的数据自动核查方法、装置及计算机设备 |
Also Published As
Publication number | Publication date |
---|---|
CN115841302A (zh) | 2023-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110608982A (zh) | 检测方法、装置、移动设备、电子设备及存储介质 | |
CN116186354B (zh) | 区域画像显示方法、装置、电子设备和计算机可读介质 | |
CN116502807B (zh) | 基于科技知识图谱的产业链分析应用方法和装置 | |
CN113765928A (zh) | 物联网入侵检测方法、系统、设备及介质 | |
CN115578570A (zh) | 图像处理方法、装置、可读介质及电子设备 | |
CN117290561B (zh) | 业务状态信息反馈方法、装置、设备和计算机可读介质 | |
CN115841302B (zh) | 数据核查方法、电子设备和可读介质 | |
CN113808134B (zh) | 油罐布局信息生成方法、装置、电子设备、介质 | |
CN113807056B (zh) | 一种文档名称序号纠错方法、装置和设备 | |
CN115809644B (zh) | 数据表生成方法、电子设备和可读介质 | |
CN115587593B (zh) | 信息抽取方法、装置、电子设备和计算机可读介质 | |
CN117131208B (zh) | 产业科技文本数据推送方法、装置、设备和介质 | |
CN116503849B (zh) | 异常地址识别方法、装置、电子设备与计算机可读介质 | |
CN116384945B (zh) | 一种项目管理方法和系统 | |
CN115147789B (zh) | 分合流道路信息检测方法、装置、设备和计算机可读介质 | |
CN117235744B (zh) | 源文件上线方法、装置、电子设备和计算机可读介质 | |
CN114742707B (zh) | 多源遥感图像拼接方法、装置、电子设备和可读介质 | |
CN117573153B (zh) | 路由器芯片烧录方法、装置、电子设备和计算机可读介质 | |
CN117743555B (zh) | 答复决策信息发送方法、装置、设备和计算机可读介质 | |
CN116167781B (zh) | 基于人工智能的商品溯源数据处理方法及云平台 | |
CN113986959A (zh) | 物流信息采集方法、装置、电子设备和计算机可读介质 | |
CN116862118A (zh) | 碳排放信息生成方法、装置、电子设备和计算机可读介质 | |
CN117827842A (zh) | 基于hana数据库的业务场景数据建模的异常检测方法和系统 | |
CN116975039A (zh) | 信息质量结果确定方法、装置、介质及电子设备 | |
CN116612264A (zh) | 图像确定方法、装置、电子设备和计算机可读介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |