CN115543977A - 一种供水行业数据清洗方法 - Google Patents

一种供水行业数据清洗方法 Download PDF

Info

Publication number
CN115543977A
CN115543977A CN202211196333.7A CN202211196333A CN115543977A CN 115543977 A CN115543977 A CN 115543977A CN 202211196333 A CN202211196333 A CN 202211196333A CN 115543977 A CN115543977 A CN 115543977A
Authority
CN
China
Prior art keywords
data
field
water supply
target
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211196333.7A
Other languages
English (en)
Inventor
田志民
牛豫海
张娟
王建伟
宋鹏飞
王泽民
张强
曹红梅
朱乾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cangzhou Water Supply And Drainage Group Co ltd
Hebei Construction & Investment Water Investment Co ltd
Hebei Construction Investment Hengshui Water Affairs Co ltd
Hebei Construction Investment Shahe Water Supply Co ltd
Langfang Qingquan Water Supply Co ltd
Tangshan Caofeidian Water Supply Co ltd
Xinji Construction Investment Water Affairs Co ltd
Hebei Xiong'an Ruitian Technology Co ltd
Original Assignee
Cangzhou Water Supply And Drainage Group Co ltd
Hebei Construction & Investment Water Investment Co ltd
Hebei Construction Investment Hengshui Water Affairs Co ltd
Hebei Construction Investment Shahe Water Supply Co ltd
Langfang Qingquan Water Supply Co ltd
Tangshan Caofeidian Water Supply Co ltd
Xinji Construction Investment Water Affairs Co ltd
Hebei Xiong'an Ruitian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cangzhou Water Supply And Drainage Group Co ltd, Hebei Construction & Investment Water Investment Co ltd, Hebei Construction Investment Hengshui Water Affairs Co ltd, Hebei Construction Investment Shahe Water Supply Co ltd, Langfang Qingquan Water Supply Co ltd, Tangshan Caofeidian Water Supply Co ltd, Xinji Construction Investment Water Affairs Co ltd, Hebei Xiong'an Ruitian Technology Co ltd filed Critical Cangzhou Water Supply And Drainage Group Co ltd
Priority to CN202211196333.7A priority Critical patent/CN115543977A/zh
Publication of CN115543977A publication Critical patent/CN115543977A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/1444—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Software Systems (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请提出一种供水行业数据清洗方法，所述方法可以包括，获取历史供水数据表；对所述历史供水数据表中每一字段下的数据进行分析，得到所述历史供水数据表中每一字段对应的字段属性；基于每一所述字段与对应字段属性，生成数据清洗字典；利用所述数据清洗字典对待清洗供水数据表中的数据进行数据清洗。由此可以无需人工指定清洗规则，降低清洗成本并且提升清洗正确性。

Description

一种供水行业数据清洗方法
技术领域
本申请涉及计算机技术，具体涉及一种供水行业数据清洗方法。
背景技术
在很多场景中需要收集供水行业数据，进行一些分析。收集到的供水行业数据表良莠不齐，需要进行清洗之后才可以使用。例如在供水行业现状分析场景中，需求部门会通过供水行业数据表，从各局点(例如，地市，县、乡等)手机供水行业数据。
目前常用的方法是由人工配置清洗规则，然后利用配置的清洗规则进行清洗。然而如此操作由于人工的介入，一方面，成本较高，另一方面，容易出错。
发明内容
有鉴于此，本申请公开一种供水行业数据清洗方法，所述方法可以包括：获取历史供水数据表；对所述历史供水数据表中每一字段下的数据进行分析，得到所述历史供水数据表中每一字段对应的字段属性；基于每一所述字段与对应字段属性，生成数据清洗字典；利用所述数据清洗字典对待清洗供水数据表中的数据进行数据清洗。
在一些实施例中，所述字段属性包括所述字段对应数据的数据格式、数据长度、数据范围；所述对所述历史供水数据表中每一字段下的数据进行分析，得到所述历史供水数据表中每一字段对应的字段属性，包括：对每一所述字段下包括的数据进行分析，得到每一所述字段对应数据的数据格式、数据长度、数据范围。
在一些实施例中，所述对每一所述字段下包括的数据进行分析，得到每一所述字段对应数据的数据格式、数据长度、数据范围，包括：将第一字段对应的首个数据，作为所述第一字段的名称；所述第一字段为所述历史供水数据表中的任意字段；读取所述第一字段下包括的数据，确定所述第一字段对应数据的数据格式；响应于所述数据格式为文本格式，将各所述历史供水数据表中所述第一字段下的文本数据进行汇总集合作为所述第一字段对应数据的数据范围，以及根据各所述历史供水数据表中所述第一字段下的最长文本数据确定所述第一字段对应数据的数据长度；响应于所述数据格式为字符串格式，将各所述历史供水数据表中所述第一字段下的字符串数据进行汇总集合，作为所述第一字段对应数据的数据范围，以及根据各所述历史供水数据表中所述第一字段下的最长字符串数据确定所述第一字段对应数据的数据长度；响应于所述数据格式为数值格式，将各所述历史供水数据表中所述第一字段下的最小数值数据和最大数值数据形成的范围，作为所述第一字段对应数据的数据范围，以及根据各所述历史供水数据表中所述第一字段下的最长数值数据确定所述第一字段对应数据的数据长度。
在一些实施例中，所述字段属性包括针对所述字段对应数据的描述信息；所述描述信息用于指示针对所述字段的填写规则；所述对所述历史供水数据表中每一字段下的数据进行分析，得到所述历史供水数据表中每一字段对应的字段属性，包括：利用预先部署的图片截图插件，对所述历史供水数据表进行截图操作，得到与所述历史供水据表对应的表截图；对所述表截图进行文字提取，得到所述表截图包含的若干文字组合；针对每一文字组合，将所述文字组合内的文字与预设文字库中的文字进行比较，将包含预设文字库中文字的目标文字组合，作为针对第二字段对应数据的描述信息；所述预设文字库中包含基于若干描述信息样本提取的描述信息关键字；所述第二字段为所述历史供水数据表中的任意字段；将与所述目标文字组合在竖直方向距离为预设距离的文字组合作为所述第二字段的名称。
在一些实施例中，所述对所述表截图进行文字提取，得到所述表截图包含的若干文字组合，包括：针对所述表截图包含的每一像素点，以所述像素点作为预设框的中心，利用所述预设框得到与所述像素点对应的锚框；利用预先训练的文本图像识别模型对每一所述锚框围成的锚框图像进行分类，得到包含文本的文本锚框图像；利用OCR技术对每一文本锚框图像进行文字识别，得到每一文本锚框图像包含的文本作为文字组合。
在一些实施例中，所述将与所述目标文字组合在竖直方向距离为预设距离的文字组合作为所述第二字段的名称，包括：将与所述目标文字组合对应的目标锚框图像的中心像素点为起点，延竖直向上的方向移动所述预设距离，获取对应的目标像素点；将所述目标像素点所属的文本锚框图像包含的文字组合作为所述第二字段的名称。
在一些实施例中，所述基于每一所述字段与对应字段属性，生成数据清洗字典，包括：将所述第一字段作为所述数据清洗字典中的第三字段，并将所述第一字段的名称作为所述第三字段的名称；将所述第一字段对应数据的数据格式、数据长度、数据范围，作为所述第三字段对应数据的数据格式、数据长度、数据范围；针对每一所述第三字段，在所述第二字段中，确定与所述第三字段名称相同的目标第二字段，以及将所述目标第二字段对应的描述信息，确定为所述第三字段的描述信息。
在一些实施例中，所述利用所述数据清洗字典对待清洗供水数据表中的数据进行数据清洗，包括：针对所述待清洗供水数据表中的每一目标字段，根据所述目标字段的首个数据确定所述目标字段的目标字段名，从所述数据清洗字典中查找与所述目标字段名匹配的目标第三字段，利用所述目标第三字段对应的字段属性包括的数据格式、数据长度、数据范围，确定所述目标字段下的脏数据，以及确定所述目标字段下的缺失数据。
在一些实施例中，在确定所述脏数据和所述缺失数据之后，所述方法还包括：将所述目标字段下的缺失数据和所述脏数据分别对应的数据位置，所述目标字段的字段名以及所述目标第三字段对应的字段属性包含的描述信息，输出至所述待清洗供水数据表提供方，以由所述提供方基于输出的信息进行所述缺失数据和所述脏数据的修改。
在一些实施例中，响应于接收到所述提供方针对所述缺失数据和所述脏数据的修改，所述方法还包括：将修改后的数据按照对应的数据位置写入所述待清洗供水数据表，完成数据清洗。
基于前述任意实施例记载的技术方案，可以对每一所述字段下包括的数据进行分析，得到每一所述字段对应数据的数据格式、数据长度、数据范围从历史供水数据表中分析出各字段的字段属性，然后总结为数据清洗字典，然后依据该数据清洗字典完成数据清洗，与相关技术相比，无需人工指定清洗规则，降低清洗成本并且提升清洗正确性。
附图说明
下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍。
图1为本申请实施例示出的一种供水行业数据清洗方法的方法流程示意图；
图2为本申请实施例示出的一种确定字段属性的方法的流程示意图；
图3为本申请实施例示出的一种抽取描述信息的方法流程示意图；
图4本申请实施例示出的一种提取文字组合的方法流程示意图；
图5为本申请实施例示出的确定字段名称的方法流程示意图；
图6为本申请实施例示出的一种生成数据清洗字典的方法流程示意图；
图7为本申请实施例示出的一种清洗方法流程示意图；
图8为本申请实施例示出的一种供水行业数据清洗装置的结构示意图；
图9为本申请实施例示出的一种电子设备的硬件结构示意图。
具体实施方式
下面将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的设备和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在可以包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。还应当理解，本文中所使用的词语“如果”，取决于语境，可以被解释成为“在……时”或“当……时”或“响应于确定”。
本申请提出一种供水行业数据清洗方法，通过从历史供水数据表中分析出各字段的字段属性总结为数据清洗字典，然后依据该数据清洗字典完成数据清洗，与相关技术相比，无需人工指定清洗规则，降低清洗成本并且提升清洗正确性。
请参见图1，图1为本申请实施例示出的一种供水行业数据清洗方法的方法流程示意图。
图1示出的供水行业数据清洗方法可以应用于电子设备中。其中，所述电子设备可以通过搭载与供水行业数据清洗方法对应的软件逻辑执行该方法。所述电子设备的类型可以是笔记本电脑，计算机，服务器，手机，掌上电脑(Personal Digital Assistant，PDA)等。在本申请中不特别限定所述电子设备的类型。所述电子设备也可以是客户端设备或服务端设备。
如图1所示，所述方法可以包括：
S102，获取历史供水数据表。
在大数据行业兴起之前，收集供水数据采用的是比较原始的方法。即需求部门创建好供水行业数据表(例如，EXCEL表格)然后发送给局点，由局点填写完成再返回给需求部门。
需求部门在利用数据进行分析的时候会先对供水数据表中的数据进行人工校验(比如确定表格填写是否正确，类似现在的数据清洗，不过是人工处理)，校验通过后才进行分析使用。
所述历史供水数据表即是这些人工校验通过的数据表。这些数据表通常存储在需求部门本地或服务端。
本步骤可以从需求部门本地或服务端获取所述历史供水数据表。
在一些实施例中，所述供水数据表可以包括SCADA(Supervisory Control AndData Acquisition，监控系统与数据采集)数据。SCADA数据可以分为两类：
(1)瞬时数据，如：水质、水压、水位等数据，缺失数据需基于海量的历史数据，清洗异常数据后，按修正分布规律进行缺失数据的补入。
(2)累计数据，如：水量、电流、药剂量等数据，与瞬时量不同的是累积量缺失前后的数据决定了该段数据的总和，以此为基数按修正分布规律进行缺失数据的补入。
以供水厂站为例，每一个厂站点位的SCADA数据可以包括：点位名称、点位数据类型、数据单位、监测实际值、监测时间。
S104，对所述历史供水数据表中每一字段下的数据进行分析，得到所述历史供水数据表中每一字段对应的字段属性。
这些历史供水数据表(以下简称数据表)都是经过校验的，数据较为可靠。利用以下分析方法可以针对这些数据表内每一字段的数据进行统计分析，得到每一字段对应的字段属性。
所述字段属性可以包括所述字段对应数据的数据格式、数据长度、数据范围。这些字段属性可以作为从历史数据表中针对字段总结出来的合理数据的数据规则，可以用于后续数据清洗。
所述分析方法可以在后续实施例中会有相应介绍。
S106，基于每一所述字段与对应字段属性，生成数据清洗字典。
在S104得到字段属性之后，将各字段与对应字段属性进行组合，即可得到具备数据清洗能力的数据清洗字典。
S108，利用所述数据清洗字典对待清洗供水数据表中的数据进行数据清洗。
本步骤中，可以与数据清洗字典包括的一些字段与对应字段属性，对所述待清洗供水数据表中字段的数据进行筛选，得到不满足所述字段属性的脏数据。
基于对脏数据的处理原则，例如删除整行数据或人工修改等，完成脏数据处理，从而完成数据清洗。
基于S102-S108记载的技术方案，可以对每一所述字段下包括的数据进行分析，得到每一所述字段对应数据的数据格式、数据长度、数据范围从历史供水数据表中分析出各字段的字段属性，然后总结为数据清洗字典，然后依据该数据清洗字典完成数据清洗，与相关技术相比，无需人工指定清洗规则，降低清洗成本并且提升清洗正确性。
在一些实施例中，所述字段属性包括所述字段对应数据的数据格式、数据长度、数据范围。在S104中，可以对每一所述字段下包括的数据进行分析，得到每一所述字段对应数据的数据格式、数据长度、数据范围。
所述数据格式一般是指文本格式，字符串格式，数值格式。通过获取字段下的数据并简单分析即可确定数据格式。例如，可以通过一些函数进行数据格式的分析，确定数据格式。
数据长度和数据范围可以通过对字段下的数据进行分析得到。
在一些实施例中，可以根据不同的数据格式采用不同的分析逻辑得到字段属性。
请参见图2，图2为本申请实施例示出的一种确定字段属性的方法的流程示意图。图2为对每一所述字段下包括的数据进行分析，得到每一所述字段对应数据的数据格式、数据长度、数据范围步骤的解释说明。如图2所示，所述方法包括S202-S210。
S202，将第一字段对应的首个数据，作为所述第一字段的名称。
所述第一字段为所述历史供水数据表中的任意字段。本申请采用第一字段、第二字段、第三字段对不同实施例或步骤中的字段进行区分，这些字段可以是历史数据表中的任意字段。
历史数据表中的表头即第一行的数据通常为字段名称，便于数据填写人员完成数据填写。
本步骤可以让确定字段属性的设备通过获取第一字段的首个数据即可确定第一字段的名称。
S204，读取所述第一字段下包括的数据，确定所述第一字段对应数据的数据格式。
本步骤中可以采用读取数据的指令进行数据读取，从而确定第一字段下数据的数据格式。所采用的指令可以参照相关技术在此不做详述。
S206，响应于所述数据格式为文本格式，将各所述历史供水数据表中所述第一字段下的文本数据进行汇总集合作为所述第一字段对应数据的数据范围，以及根据各所述历史供水数据表中所述第一字段下的最长文本数据确定所述第一字段对应数据的数据长度。
针对文本格式的数据，本申请中采用的汇总集合的分析方式，将不同历史数据表中第一字段下的数据进行去重汇总，形成汇总集合。由于历史数据表都是经过人工校验的，字段下的数据均为合理数据，由此即可得到存储了允许数据范围的汇总集合。
举例来说，假设第一字段为地市数据，所述汇总集合存储了允许的地市数据范围。假设第一字段为部门数据，所述汇总集合存储了允许的部门数据。
从不同历史数据表中第一字段中还可以获取最长文本数据，依据该最长文本数据占用的存储空间大小既可以确定第一字段最大的数据长度，该数据长度可以作为第一字段被允许的数据长度，第一字段下的数据会以该数据长度进行存储，在数据清洗中的，若在第一字段下存在非该数据长度的数据，则为脏数据。
S208，响应于所述数据格式为字符串格式，将各所述历史供水数据表中所述第一字段下的字符串数据进行汇总集合，作为所述第一字段对应数据的数据范围，以及根据各所述历史供水数据表中所述第一字段下的最长字符串数据确定所述第一字段对应数据的数据长度。
字符串格式的数据范围和数据长度的确定可以参照文本格式的确定方法，在此不做详述。
S210，响应于所述数据格式为数值格式，将各所述历史供水数据表中所述第一字段下的最小数值数据和最大数值数据形成的范围，作为所述第一字段对应数据的数据范围，以及根据各所述历史供水数据表中所述第一字段下的最长数值数据确定所述第一字段对应数据的数据长度。
数值格式的数据有其特殊性，根据不同历史数据表第一字段下的最小数值和最大数值即可确定数据范围。其数据长度确定范围可以参照文本格式，在此不做详述。
通过S202-S210即可依据不同类型的字段分别确定字段属性。
在历史数据表的表头(字段名称)下方一行会对相应字段进行描述的描述信息，说明应字段的填写规则。比如，对应字段的数据格式、数据范围，填写内容示例等。如果可以把这些信息抽取出来则可以得到对字段更细的描述信息，比如可以辅助进行脏数据与缺失数据的处理。
以下介绍本申请示意的一种抽取描述信息的方法。抽取描述信息比较重要的是将字段与提取出的描述信息相对应，本申请可以利用字段名称和描述信息在历史数据表中的位置关系，将提取的描述信息与字段相对应。
请参见图3，图3为本申请实施例示出的一种抽取描述信息的方法流程示意图。如图3所示，该抽取方法可以包括：
S302，利用预先部署的图片截图插件，对所述历史供水数据表进行截图操作，得到与所述历史供水据表对应的表截图。
历史数据表一般是表格形式，可以利用截图插件进行截图操作，将表格转换为图像，即表截图。
S304，对所述表截图进行文字提取，得到所述表截图包含的若干文字组合。
在一些实施例中，可以利用预先训练的文字识别模型，例如CRNN、OCR模型等，识别表截图中的文字组合。
比如可以获取一些标记了文本内容的图像样本，对所述文字识别模型进行有监督训练，使得所述文字识别模型具备识别文字的能力。然后可以利用所述文字识别模型进行文字识别。
S306，针对每一文字组合，将所述文字组合内的文字与预设文字库中的文字进行比较，将包含预设文字库中文字的目标文字组合，作为针对第二字段对应数据的描述信息。
所述第二字段为所述历史供水数据表中的任意字段。
所述预设文字库中包含基于若干描述信息样本提取的描述信息关键字。在一些实施例中，可以预先基于若干描述信息样本，从中提取以下描述信息关键字，例如，规则，示例，范围，格式等等，将这些关键字组成预设文字库。通过将提取的文字组合与预设文字库中的文字匹配，若匹配中则说明提取的文字组合为描述信息。
S308，将与所述目标文字组合在竖直方向距离为预设距离的文字组合作为所述第二字段的名称。
所述预设距离为经验值，可以根据需求进行设定。
所述文字识别模型除了输出文字组合之外还可以输出文字组合的位置信息，通过以所述目标文字组合为基础，在竖直方向上移动预设距离得到的文字组合即为该描述信息所描述的字段，得到的文字组合即可作为所述第二字段的名称，由此完成了描述信息与字段的对应。
在一些实施例中，为了提升文字识别的准确，并且便于进行描述信息与字段的对应，在S304中可以先对表截图进行图像拆分，得到若干包含文字的小图，然后对小图内容进行识别，得到若干文字组合，根据小图的位置信息即可确定文字组合的位置信息，进而方便识别字段名称与描述信息，完成对应。
请参见图4，图4本申请实施例示出的一种提取文字组合的方法流程示意图。图4为对步骤S304的补充说明。如图4所示，所述方法可以包括S402-S406。
S402，针对所述表截图包含的每一像素点，以所述像素点作为预设框的中心，利用所述预设框得到与所述像素点对应的锚框。
所述预设框可以根据需求进行设定，可以预先设定所述预设框的尺寸大小。
本步骤中，可以针对表截图中的每一像素点，将所述像素点分别作为所述预设框的中心，然后根据所述预设框的尺寸大小，得到与每一像素点对应的锚框。锚框在表截图中围成的区域即为小图区域。
S404，利用预先训练的文本图像识别模型对每一所述锚框围成的锚框图像进行分类，得到包含文本的文本锚框图像。
本步骤中可以利用以下标记了图像是否为文本图像的训练样本，对文本图像识别模型(分类模型)进行有监督训练，使得该模型具备识别文本图像的能力。
然后利用该文本图像识别模型对每一小图进行分类，确定小图是否包含文本内容，如果是，则将小图确定为文本锚框图像。其中每一文本锚框图像的位置信息可以通过文本锚框图像的中心像素点的坐标进行表示。
S406，利用OCR技术对每一文本锚框图像进行文字识别，得到每一文本锚框图像包含的文本作为文字组合。
OCR(Optical Character Recognition，光学字符识别)技术，是指识别图像中文本内容的技术。关于OCR技术的介绍可以参照相关技术。本步骤可以利用OCR完成文本锚框图像内文本的识别，得到若干文字组合。
通过S402-S406，可以针对小图进行文字识别精度更高，文字识别效果更好，并且，通过切分小图，可以通过小图的中心点坐标得到文字组合的位置信息，便于进行后续描述信息与字段的对应。
在一些实施例中，在基于S402-S406得到若干文字组合，且通过S306识别出其中的目标文字组合，即描述信息后，可以基于图5示意的方法进行描述信息与字段的对应。
请参见图5，图5为本申请实施例示出的确定字段名称的方法流程示意图。图5为对S308的进一步说明。如图5所示，确定字段名称的方法包括S502-S504。
S502，将与所述目标文字组合对应的目标锚框图像的中心像素点为起点，延竖直向上的方向移动所述预设距离，获取对应的目标像素点。
本步骤中国，可以将目标文字组合对应的目标锚框图像的中心像素点作为起点，延竖直向上的方向移动所述预设距离，获取对应的目标像素点。该目标像素点即为第二字段名称对应的小图内的像素点。
S504，将所述目标像素点所属的文本锚框图像包含的文字组合作为所述第二字段的名称。
本步骤中，可以基于所述目标像素点的坐标值，与每一文本锚框图像的中心点的坐标进行距离计算，如果所述目标像素点距离某一中心点的距离小于预设阈值，即说明目标像素点属于该中心点对应的文本锚框图像，该文本锚框图像内包含的文本即为第二字段的名称。
通过S502-S504可以完成的描述信息和字段的对应。
在一些实施例中，得到字段和字段属性后，可以生成数据清洗字典。
请参见图6，图6为本申请实施例示出的一种生成数据清洗字典的方法流程示意图。如图6所示，所述方法可以包括S602-S606。
S602，将所述第一字段作为所述数据清洗字典中的第三字段，并将所述第一字段的名称作为所述第三字段的名称。
本步骤即在数据清洗字典中创建与第一字段对应的字段。
S604，将所述第一字段对应数据的数据格式、数据长度、数据范围，作为所述第三字段对应数据的数据格式、数据长度、数据范围。
可以将第一字段对应的字段属性写入数据清洗字典。
S606，针对每一所述第三字段，在所述第二字段中，确定与所述第三字段名称相同的目标第二字段，以及将所述目标第二字段对应的描述信息，确定为所述第三字段的描述信息。
本步骤中，可以在第二字段中，找到与第一字段相同的字段，并将找到的字段对应的描述信息作为第一字段的描述信息，从而在字典中完成第一字段信息的录入。针对每一第一字段完成S602-S606之后则完成数据清洗字典的生成。本申请不限定以何种方式存储该字典。
在一些实施例中，可以利用数据清洗字典完成数据清洗。
请参见图7，图7为本申请实施例示出的一种清洗方法流程示意图。图7示意的方法为对S108的解释说明。如图7所示，所述清洗方法包括S702-S704。
S702，针对所述待清洗供水数据表中的每一目标字段，根据所述目标字段的首个数据确定所述目标字段的目标字段名。
所述目标字段是指所述待清洗供水数据表中需要进行清洗的字段。这些目标字段可以预先被指定。
待清洗供水数据表的表头为目标字段的字段名。根据所述目标字段的首个数据即可确定所述目标字段的目标字段名。
S704，从所述数据清洗字典中查找与所述目标字段名匹配的目标第三字段，利用所述目标第三字段对应的字段属性包括的数据格式、数据长度、数据范围，确定所述目标字段下的脏数据，以及确定所述目标字段下的缺失数据。
本步骤中可以遍历目标字段下的每一数据，并将不满足字段属性包括的数据格式、数据长度、数据范围的数据确定为脏数据，将空白的数据确定为缺失数据。
得到脏数据与缺失数据之后，相关技术中通常为采用删除整行或者根据上下文进行补充修改的方式，如此操作可以提升数据完整性，但是数据仍旧不是真实的，会对分析结果造成影响。本申请可以将确定的脏数据和缺失数据以及对应的描述信息输出给表格提供方以辅助其进行修改，从而得到更真实的数据，提升分析结果准确性。
在一些实施例中，可以将所述目标字段下的缺失数据和所述脏数据分别对应的数据位置，所述目标字段的字段名以及所述目标第三字段对应的字段属性包含的描述信息，输出至所述待清洗供水数据表提供方，以由所述提供方基于输出的信息进行所述缺失数据和所述脏数据的修改。
所述数据位置可以指示缺失数据、脏数据对应在表格中的位置。将所述数据位置，目标字段的字段名，以及目标字段的描述信息，生成一条提示信息，发送所述待清洗供水数据表提供方。该提供方可以依据提示信息中提供的窗口，完成所述缺失数据和所述脏数据的修改。
在一些实施例中，响应于接收到所述提供方针对所述缺失数据和所述脏数据的修改，还可以将修改后的数据按照对应的数据位置写入所述待清洗供水数据表，完成数据清洗。
比如可以在接收到提供方在所述窗口输入的修改信息之后，可以根据所述缺失数据和所述脏数据的数据位置信息，确定被修改数据在表格所处的位置，然后将提供方修改的数据填入相应位置，
与所述任一实施例相对应的，本申请还提出一种供水行业数据清洗装置。
请参见图8，图8为本申请实施例示出的一种供水行业数据清洗装置的结构示意图。如图所示，所示供水行业数据清洗装置800可以包括：
获取模块810，获取历史供水数据表；
分析模块820，对所述历史供水数据表中每一字段下的数据进行分析，得到所述历史供水数据表中每一字段对应的字段属性；
生成模块830，基于每一所述字段与对应字段属性，生成数据清洗字典；
清洗模块840，利用所述数据清洗字典对待清洗供水数据表中的数据进行数据清洗。
在一些实施例中，所述字段属性包括所述字段对应数据的数据格式、数据长度、数据范围；所述分析模块820，进一步：
对每一所述字段下包括的数据进行分析，得到每一所述字段对应数据的数据格式、数据长度、数据范围。
在一些实施例中，所述分析模块820，进一步：
将第一字段对应的首个数据，作为所述第一字段的名称；所述第一字段为所述历史供水数据表中的任意字段；
读取所述第一字段下包括的数据，确定所述第一字段对应数据的数据格式；
响应于所述数据格式为文本格式，将各所述历史供水数据表中所述第一字段下的文本数据进行汇总集合作为所述第一字段对应数据的数据范围，以及根据各所述历史供水数据表中所述第一字段下的最长文本数据确定所述第一字段对应数据的数据长度；
响应于所述数据格式为字符串格式，将各所述历史供水数据表中所述第一字段下的字符串数据进行汇总集合，作为所述第一字段对应数据的数据范围，以及根据各所述历史供水数据表中所述第一字段下的最长字符串数据确定所述第一字段对应数据的数据长度；
响应于所述数据格式为数值格式，将各所述历史供水数据表中所述第一字段下的最小数值数据和最大数值数据形成的范围，作为所述第一字段对应数据的数据范围，以及根据各所述历史供水数据表中所述第一字段下的最长数值数据确定所述第一字段对应数据的数据长度。
在一些实施例中，所述字段属性包括针对所述字段对应数据的描述信息；所述描述信息用于指示针对所述字段的填写规则；所述分析模块820，进一步：
利用预先部署的图片截图插件，对所述历史供水数据表进行截图操作，得到与所述历史供水据表对应的表截图；
对所述表截图进行文字提取，得到所述表截图包含的若干文字组合；
针对每一文字组合，将所述文字组合内的文字与预设文字库中的文字进行比较，将包含预设文字库中文字的目标文字组合，作为针对第二字段对应数据的描述信息；所述预设文字库中包含基于若干描述信息样本提取的描述信息关键字；所述第二字段为所述历史供水数据表中的任意字段；
将与所述目标文字组合在竖直方向距离为预设距离的文字组合作为所述第二字段的名称。
在一些实施例中，所述分析模块820，进一步：
针对所述表截图包含的每一像素点，以所述像素点作为预设框的中心，利用所述预设框得到与所述像素点对应的锚框；
利用预先训练的文本图像识别模型对每一所述锚框围成的锚框图像进行分类，得到包含文本的文本锚框图像；
利用OCR技术对每一文本锚框图像进行文字识别，得到每一文本锚框图像包含的文本作为文字组合。
在一些实施例中，所述分析模块820，进一步：
将与所述目标文字组合对应的目标锚框图像的中心像素点为起点，延竖直向上的方向移动所述预设距离，获取对应的目标像素点；
将所述目标像素点所属的文本锚框图像包含的文字组合作为所述第二字段的名称。
在一些实施例中，所述生成模块830，进一步：
将所述第一字段作为所述数据清洗字典中的第三字段，并将所述第一字段的名称作为所述第三字段的名称；
将所述第一字段对应数据的数据格式、数据长度、数据范围，作为所述第三字段对应数据的数据格式、数据长度、数据范围；
针对每一所述第三字段，在所述第二字段中，确定与所述第三字段名称相同的目标第二字段，以及将所述目标第二字段对应的描述信息，确定为所述第三字段的描述信息。
在一些实施例中，所述清洗模块840，进一步：
针对所述待清洗供水数据表中的每一目标字段，根据所述目标字段的首个数据确定所述目标字段的目标字段名，
从所述数据清洗字典中查找与所述目标字段名匹配的目标第三字段，利用所述目标第三字段对应的字段属性包括的数据格式、数据长度、数据范围，确定所述目标字段下的脏数据，以及确定所述目标字段下的缺失数据。
在一些实施例中，在确定所述脏数据和所述缺失数据之后，所述装置800还包括：
修改模块，将所述目标字段下的缺失数据和所述脏数据分别对应的数据位置，所述目标字段的字段名以及所述目标第三字段对应的字段属性包含的描述信息，输出至所述待清洗供水数据表提供方，以由所述提供方基于输出的信息进行所述缺失数据和所述脏数据的修改。
在一些实施例中，响应于接收到所述提供方针对所述缺失数据和所述脏数据的修改，所述装置800还包括：
写入模块，将修改后的数据按照对应的数据位置写入所述待清洗供水数据表，完成数据清洗。
基于前述技术方案，可以对每一所述字段下包括的数据进行分析，得到每一所述字段对应数据的数据格式、数据长度、数据范围从历史供水数据表中分析出各字段的字段属性，然后总结为数据清洗字典，然后依据该数据清洗字典完成数据清洗，与相关技术相比，无需人工指定清洗规则，降低清洗成本并且提升清洗正确性。
本申请示出的供水行业数据清洗装置的实施例可以应用于电子设备上。相应地，本申请公开了一种电子设备，该设备可以包括：处理器。
用于存储处理器可执行指令的存储器。
其中，所述处理器被配置为调用所述存储器中存储的可执行指令，实现前述任一实施例示出的供水行业数据清洗方法。
请参见图9，图9为本申请实施例示出的一种电子设备的硬件结构示意图。
如图9所示，该电子设备可以包括用于执行指令的处理器，用于进行网络连接的网络接口，用于为处理器存储运行数据的内存，以及用于存储供水行业数据清洗装置对应指令的非易失性存储器。
其中，所述装置的实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，除了图9所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的电子设备通常根据该电子设备的实际功能，还可以包括其他硬件，对此不再赘述。
可以理解的是，为了提升处理速度，所述供水行业数据清洗装置对应指令也可以直接存储于内存中，在此不作限定。
本申请提出一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序可以用于使处理器执行前述任一实施例示出的供水行业数据清洗方法。
本领域技术人员应明白，本申请一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本申请一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(可以包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请中的“和/或”表示至少具有两者中的其中一个。本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于数据处理设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
虽然本申请包含许多具体实施细节，但是这些不应被解释为限制任何公开的范围或所要求保护的范围，而是主要用于描述特定公开的具体实施例的特征。本申请内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，所述实施例中的各种平台模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和平台通常可以一起集成在单个软件产品中，或者封装成多个软件产品。
以上仅为本申请一个或多个实施例的较佳实施例而已，并不用以限制本申请一个或多个实施例，凡在本申请一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请一个或多个实施例保护的范围之内。

Claims (10)

1.一种供水行业数据清洗方法，其特征在于，所述方法包括：
获取历史供水数据表；
对所述历史供水数据表中每一字段下的数据进行分析，得到所述历史供水数据表中每一字段对应的字段属性；
基于每一所述字段与对应字段属性，生成数据清洗字典；
利用所述数据清洗字典对待清洗供水数据表中的数据进行数据清洗。
2.根据权利要求1所述的方法，其特征在于，所述字段属性包括所述字段对应数据的数据格式、数据长度、数据范围；
所述对所述历史供水数据表中每一字段下的数据进行分析，得到所述历史供水数据表中每一字段对应的字段属性，包括：
对每一所述字段下包括的数据进行分析，得到每一所述字段对应数据的数据格式、数据长度、数据范围。
3.根据权利要求2所述的方法，其特征在于，所述对每一所述字段下包括的数据进行分析，得到每一所述字段对应数据的数据格式、数据长度、数据范围，包括：
将第一字段对应的首个数据，作为所述第一字段的名称；所述第一字段为所述历史供水数据表中的任意字段；
读取所述第一字段下包括的数据，确定所述第一字段对应数据的数据格式；
响应于所述数据格式为文本格式，将各所述历史供水数据表中所述第一字段下的文本数据进行汇总集合作为所述第一字段对应数据的数据范围，以及根据各所述历史供水数据表中所述第一字段下的最长文本数据确定所述第一字段对应数据的数据长度；
响应于所述数据格式为字符串格式，将各所述历史供水数据表中所述第一字段下的字符串数据进行汇总集合，作为所述第一字段对应数据的数据范围，以及根据各所述历史供水数据表中所述第一字段下的最长字符串数据确定所述第一字段对应数据的数据长度；
响应于所述数据格式为数值格式，将各所述历史供水数据表中所述第一字段下的最小数值数据和最大数值数据形成的范围，作为所述第一字段对应数据的数据范围，以及根据各所述历史供水数据表中所述第一字段下的最长数值数据确定所述第一字段对应数据的数据长度。
4.根据权利要求3所述的方法，其特征在于，所述字段属性包括针对所述字段对应数据的描述信息；所述描述信息用于指示针对所述字段的填写规则；
所述对所述历史供水数据表中每一字段下的数据进行分析，得到所述历史供水数据表中每一字段对应的字段属性，包括：
利用预先部署的图片截图插件，对所述历史供水数据表进行截图操作，得到与所述历史供水据表对应的表截图；
对所述表截图进行文字提取，得到所述表截图包含的若干文字组合；
针对每一文字组合，将所述文字组合内的文字与预设文字库中的文字进行比较，将包含预设文字库中文字的目标文字组合，作为针对第二字段对应数据的描述信息；所述预设文字库中包含基于若干描述信息样本提取的描述信息关键字；所述第二字段为所述历史供水数据表中的任意字段；
将与所述目标文字组合在竖直方向距离为预设距离的文字组合作为所述第二字段的名称。
5.根据所述权利要求4所述的方法，其特征在于，所述对所述表截图进行文字提取，得到所述表截图包含的若干文字组合，包括：
针对所述表截图包含的每一像素点，以所述像素点作为预设框的中心，利用所述预设框得到与所述像素点对应的锚框；
利用预先训练的文本图像识别模型对每一所述锚框围成的锚框图像进行分类，得到包含文本的文本锚框图像；
利用OCR技术对每一文本锚框图像进行文字识别，得到每一文本锚框图像包含的文本作为文字组合。
6.根据权利要求5所述的方法，其特征在于，所述将与所述目标文字组合在竖直方向距离为预设距离的文字组合作为所述第二字段的名称，包括：
将与所述目标文字组合对应的目标锚框图像的中心像素点为起点，延竖直向上的方向移动所述预设距离，获取对应的目标像素点；
将所述目标像素点所属的文本锚框图像包含的文字组合作为所述第二字段的名称。
7.根据权利要求6所述的方法，其特征在于，所述基于每一所述字段与对应字段属性，生成数据清洗字典，包括：
将所述第一字段作为所述数据清洗字典中的第三字段，并将所述第一字段的名称作为所述第三字段的名称；
将所述第一字段对应数据的数据格式、数据长度、数据范围，作为所述第三字段对应数据的数据格式、数据长度、数据范围；
针对每一所述第三字段，在所述第二字段中，确定与所述第三字段名称相同的目标第二字段，以及将所述目标第二字段对应的描述信息，确定为所述第三字段的描述信息。
8.根据权利要求7所述的方法，其特征在于，所述利用所述数据清洗字典对待清洗供水数据表中的数据进行数据清洗，包括：
针对所述待清洗供水数据表中的每一目标字段，根据所述目标字段的首个数据确定所述目标字段的目标字段名，
从所述数据清洗字典中查找与所述目标字段名匹配的目标第三字段，利用所述目标第三字段对应的字段属性包括的数据格式、数据长度、数据范围，确定所述目标字段下的脏数据，以及确定所述目标字段下的缺失数据。
9.根据权利要求8所述的方法，其特征在于，在确定所述脏数据和所述缺失数据之后，所述方法还包括：
将所述目标字段下的缺失数据和所述脏数据分别对应的数据位置，所述目标字段的字段名以及所述目标第三字段对应的字段属性包含的描述信息，输出至所述待清洗供水数据表提供方，以由所述提供方基于输出的信息进行所述缺失数据和所述脏数据的修改。
10.根据权利要求9所述的方法，其特征在于，响应于接收到所述提供方针对所述缺失数据和所述脏数据的修改，所述方法还包括：
将修改后的数据按照对应的数据位置写入所述待清洗供水数据表，完成数据清洗。
CN202211196333.7A 2022-09-29 2022-09-29 一种供水行业数据清洗方法 Pending CN115543977A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211196333.7A CN115543977A (zh) 2022-09-29 2022-09-29 一种供水行业数据清洗方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211196333.7A CN115543977A (zh) 2022-09-29 2022-09-29 一种供水行业数据清洗方法

Publications (1)

Publication Number Publication Date
CN115543977A true CN115543977A (zh) 2022-12-30

Family

ID=84732192

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211196333.7A Pending CN115543977A (zh) 2022-09-29 2022-09-29 一种供水行业数据清洗方法

Country Status (1)

Country Link
CN (1) CN115543977A (zh)

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102436475A (zh) * 2011-09-29 2012-05-02 用友软件股份有限公司 数据表汇总装置和数据表汇总方法
CN105808778A (zh) * 2016-03-30 2016-07-27 中国银行股份有限公司 一种海量数据抽取、转换、加载方法及装置
CN107239581A (zh) * 2017-07-07 2017-10-10 小草数语（北京）科技有限公司 数据清洗方法及装置
CN109388675A (zh) * 2018-10-12 2019-02-26 平安科技（深圳）有限公司 数据分析方法、装置、计算机设备及存储介质
CN109902090A (zh) * 2019-02-19 2019-06-18 北京明略软件系统有限公司 字段名称获取方法和装置
CN110147364A (zh) * 2019-04-15 2019-08-20 平安普惠企业管理有限公司 数据清洗方法、装置、设备和存储介质
CN110471913A (zh) * 2019-07-31 2019-11-19 北京慧萌信安软件技术有限公司 一种数据清洗方法及装置
CN111639066A (zh) * 2020-05-14 2020-09-08 杭州数梦工场科技有限公司 一种数据清洗的方法和装置
CN111813769A (zh) * 2020-07-16 2020-10-23 杭州数梦工场科技有限公司 数据加工方法与装置
CN111831629A (zh) * 2019-04-15 2020-10-27 阿里巴巴集团控股有限公司 一种数据处理方法及装置
CN111858567A (zh) * 2020-06-18 2020-10-30 南京市江宁区信息化管理服务中心 一种通过标准数据元进行政务数据清洗的方法和系统
CN113051257A (zh) * 2021-03-22 2021-06-29 深圳微众信用科技股份有限公司 一种业务数据清洗方法及装置
US20210216520A1 (en) * 2020-01-10 2021-07-15 Beijing Baidu Netcom Science And Technology Co., Ltd. Method, device, and storage medium for storing determinant text
US20210263900A1 (en) * 2020-02-26 2021-08-26 Ab Initio Technology Llc Generating rules for data processing values of data fields from semantic labels of the data fields
WO2021184578A1 (zh) * 2020-03-17 2021-09-23 平安科技（深圳）有限公司 基于ocr的目标字段识别方法、装置、电子设备及存储介质
CN113495902A (zh) * 2020-03-19 2021-10-12 华为技术有限公司 数据处理方法及数据标准管理系统
CN114281809A (zh) * 2021-12-22 2022-04-05 杭州电子科技大学 一种多源异构数据清洗方法及装置
WO2022127259A1 (zh) * 2020-12-16 2022-06-23 北京锐安科技有限公司 数据清洗方法、装置、设备及存储介质
CN114996246A (zh) * 2022-04-21 2022-09-02 浪潮云信息技术股份公司 一种基于NiFi组件的表多个字段校验的数据清洗方法

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102436475A (zh) * 2011-09-29 2012-05-02 用友软件股份有限公司 数据表汇总装置和数据表汇总方法
CN105808778A (zh) * 2016-03-30 2016-07-27 中国银行股份有限公司 一种海量数据抽取、转换、加载方法及装置
CN107239581A (zh) * 2017-07-07 2017-10-10 小草数语（北京）科技有限公司 数据清洗方法及装置
CN109388675A (zh) * 2018-10-12 2019-02-26 平安科技（深圳）有限公司 数据分析方法、装置、计算机设备及存储介质
CN109902090A (zh) * 2019-02-19 2019-06-18 北京明略软件系统有限公司 字段名称获取方法和装置
CN111831629A (zh) * 2019-04-15 2020-10-27 阿里巴巴集团控股有限公司 一种数据处理方法及装置
CN110147364A (zh) * 2019-04-15 2019-08-20 平安普惠企业管理有限公司 数据清洗方法、装置、设备和存储介质
CN110471913A (zh) * 2019-07-31 2019-11-19 北京慧萌信安软件技术有限公司 一种数据清洗方法及装置
US20210216520A1 (en) * 2020-01-10 2021-07-15 Beijing Baidu Netcom Science And Technology Co., Ltd. Method, device, and storage medium for storing determinant text
US20210263900A1 (en) * 2020-02-26 2021-08-26 Ab Initio Technology Llc Generating rules for data processing values of data fields from semantic labels of the data fields
WO2021184578A1 (zh) * 2020-03-17 2021-09-23 平安科技（深圳）有限公司 基于ocr的目标字段识别方法、装置、电子设备及存储介质
CN113495902A (zh) * 2020-03-19 2021-10-12 华为技术有限公司 数据处理方法及数据标准管理系统
CN111639066A (zh) * 2020-05-14 2020-09-08 杭州数梦工场科技有限公司 一种数据清洗的方法和装置
CN111858567A (zh) * 2020-06-18 2020-10-30 南京市江宁区信息化管理服务中心 一种通过标准数据元进行政务数据清洗的方法和系统
CN111813769A (zh) * 2020-07-16 2020-10-23 杭州数梦工场科技有限公司 数据加工方法与装置
WO2022127259A1 (zh) * 2020-12-16 2022-06-23 北京锐安科技有限公司 数据清洗方法、装置、设备及存储介质
CN113051257A (zh) * 2021-03-22 2021-06-29 深圳微众信用科技股份有限公司 一种业务数据清洗方法及装置
CN114281809A (zh) * 2021-12-22 2022-04-05 杭州电子科技大学 一种多源异构数据清洗方法及装置
CN114996246A (zh) * 2022-04-21 2022-09-02 浪潮云信息技术股份公司 一种基于NiFi组件的表多个字段校验的数据清洗方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘玉 等: "数据仓库中的数据清洗", 《医学信息》, no. 11, pages 1939 - 1943 *
陈华 等: "简单数据清洗规则库的设计与实现", 《指挥信息系统与技术》, no. 05, pages 79 - 84 *

Similar Documents

Publication Publication Date Title
WO2020221298A1 (zh) 文本检测模型训练方法、文本区域、内容确定方法和装置
JP4504702B2 (ja) 文書処理装置、文書処理方法、および文書処理プログラム
CN110555372A (zh) 数据录入方法、装置、设备及存储介质
CN107229627B (zh) 一种文本处理方法、装置及计算设备
CN110222168B (zh) 一种数据处理的方法及相关装置
CN113963147B (zh) 一种基于语义分割的关键信息提取方法及系统
CN112418812A (zh) 分布式全链路自动化智能通关系统、方法及存储介质
CN112151014A (zh) 语音识别结果的测评方法、装置、设备及存储介质
CN113239818A (zh) 基于分割和图卷积神经网络的表格图像跨模态信息提取方法
CN114241499A (zh) 表格图片识别方法、装置、设备和可读存储介质
CN113420546A (zh) 文本纠错方法、装置、电子设备及可读存储介质
CN114005126A (zh) 表格重构方法、装置、计算机设备及可读存储介质
CN114463767A (zh) 信用证识别方法、装置、计算机设备和存储介质
CN112749639B (zh) 模型训练方法、装置、计算机设备和存储介质
CN117496521A (zh) 一种表格关键信息抽取方法、系统、装置及可读存储介质
CN113269153B (zh) 一种表格识别方法以及装置
CN115543977A (zh) 一种供水行业数据清洗方法
JP4885112B2 (ja) 文書処理装置、文書処理方法及び文書処理プログラム
CN110727743A (zh) 数据识别方法、装置、计算机设备及存储介质
CN115565178A (zh) 一种字体识别的方法及装置
CN113221792B (zh) 一种章节检测模型构建方法、编目方法及其相关设备
CN115795079A (zh) 一种工程造价分析数据采集与处理方法、系统
CN116778497A (zh) 一种人手井编号识别方法、装置、计算机设备和存储介质
CN110852102B (zh) 一种中文的词性标注方法、装置、存储介质及电子设备
CN113850073A (zh) 文档识别方法、工程词库构建方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination