CN110147364A - 数据清洗方法、装置、设备和存储介质 - Google Patents

数据清洗方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN110147364A
CN110147364A CN201910297751.7A CN201910297751A CN110147364A CN 110147364 A CN110147364 A CN 110147364A CN 201910297751 A CN201910297751 A CN 201910297751A CN 110147364 A CN110147364 A CN 110147364A
Authority
CN
China
Prior art keywords
data
cleaned
cleansing
rule
tables
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910297751.7A
Other languages
English (en)
Other versions
CN110147364B (zh
Inventor
宫雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dameng Longtu Culture Communication Co ltd
Original Assignee
Ping An Puhui Enterprise Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Puhui Enterprise Management Co Ltd filed Critical Ping An Puhui Enterprise Management Co Ltd
Priority to CN201910297751.7A priority Critical patent/CN110147364B/zh
Publication of CN110147364A publication Critical patent/CN110147364A/zh
Application granted granted Critical
Publication of CN110147364B publication Critical patent/CN110147364B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及数据处理技术领域，尤其涉及一种数据清洗方法、装置、设备和存储介质。数据清洗方法包括：获取待清洗数据，将待清洗数据转化为十进制数据，将转化为十进制的待清洗数据生成数据来源终端对应的待清洗数据表；调取预设的数据清洗规则文件，提取与待清洗数据表的表名对应的数据清洗规则后给每一数据清洗规则生成对应的数据清洗执行代码；将待清洗数据表中的每一条待清洗数据打上标签，为待清洗数据匹配相应的数据清洗规则；解析每一待清洗数据的标签，执行数据清洗执行代码，对待清洗数据进行清洗，得到待存储数据；将待存储数据以二进制数据形式进行存储。本技术方案，提高了数据清洗的准确率和效率，且节约了存储空间。

Description

数据清洗方法、装置、设备和存储介质
技术领域
本申请涉及数据处理技术领域，尤其涉及一种数据清洗方法、装置、设备和存储介质。
背景技术
随着计算机技术和通讯技术的飞速发展，人们可以获得越来越多的数字化信息，但同时也需要投入更多的时间对数字化信息进行组织和整理。例如在业务系统中，往往会因为代码缺陷、业务定义变更、网络延时等因素产生一些不规则数据，例如一笔订单的付款时间早于订单的创建时间，这就是一条不符合业务逻辑的数据。在对数据做统计分析之前，需要将这些不规则数据先过滤掉，以确保统计的准确性。数据清洗是一个减少数据错误和不一致性的过程，主要任务是检测并删除或改正将转入数据库的不规则数据。
目前常采用的方法基本上依赖于工程师本身的技能，工程师通过学习数据的业务含义，根据自己对数据的理解，写出清洗不规则数据的代码，然后将代码提交给分布式计算平台去执行，从而丢弃不规则数据，返回符合要求的结果。然而显而易见的是，手工输写代码产出效率较低；代码运行效率依赖工程师的个人能力，优化经验难以大规模推广；不规则数据被直接丢弃了，属于不可逆的操作，对于数据追踪、查错都不利；同时不容易保证代码的规范性、一致性。
发明内容
有鉴于此，有必要针对现有技术中数据清洗存在的问题，提供一种数据清洗方法、装置、设备和存储介质。
一种数据清洗方法，包括如下步骤：
获取待清洗数据，将所述待清洗数据转化为十进制数据，并根据所述待清洗数据携带的数据来源终端的标识，将转化为十进制的所述待清洗数据生成数据来源对应的待清洗数据表；
调取预设的数据清洗规则文件，提取与所述待清洗数据表的表名对应的数据清洗规则后给每一所述数据清洗规则生成对应的数据清洗执行代码；
将所述待清洗数据表中的每一条待清洗数据打上标签，为所述待清洗数据匹配相应的数据清洗规则；
解析每一所述待清洗数据的标签，执行所述数据清洗执行代码，对所述待清洗数据进行清洗，得到待存储数据；
将所述待存储数据以二进制数据形式进行存储。
在其中一个可能的实施例中，所述获取待清洗数据，将所述待清洗数据转化为十进制数据，并根据所述待清洗数据携带的数据来源终端的标识，将转化为十进制的所述待清洗数据生成数据来源对应的待清洗数据表，包括：
按照预设的执行周期获取数据来源终端产生的待清洗数据，将所述待清洗数据转化为十进制数据；
提取所述待清洗数据中的偏移段字符串，根据所述偏移段字符串查找对应的偏移段，所述偏移段包括所述数据来源终端的标识；
根据预设的待清洗数据表与数据来源终端的标识的对应关系，将转化为十进制的所述待清洗数据生成所述数据来源终端对应的待清洗数据表。
在其中一个可能的实施例中，所述调取预设的数据清洗规则文件，提取与所述待清洗数据表的表名对应的数据清洗规则后给每一所述数据清洗规则生成对应的数据清洗执行代码，包括：
调取所述预设的数据清洗规则文件；
从所述数据清洗规则文件中提取与所述待清洗数据表的表名对应的数据清洗规则，生成临时文件；
读取所述临时文件的第一条数据清洗规则，将所述数据清洗规则中的数据清洗规则伪代码作为条件判断的条件部分，生成与所述数据清洗规则对应的数据清洗执行代码；
遍历所述临时文件中所有的数据清洗规则，为每一条数据清洗规则生成对应的数据清洗执行代码，组合成完整的待清洗数据表的数据清洗执行代码。
在其中一个可能的实施例中，所述将所述待清洗数据表中的每一条待清洗数据打上标签，为所述待清洗数据匹配相应的数据清洗规则，包括：
读取所述待清洗数据表中的一条待清洗数据作为待标记数据，为所述待标记数据设置初始标签值；
遍历所述待清洗数据表的表名对应的每一条数据清洗执行代码，所述待标记数据每触发一条数据清洗执行代码，则将其标签值增加2n，其中n为被所述待标记数据触发的数据清洗执行代码对应的数据清洗规则的规则序号；
按上述操作，遍历所述待清洗数据表中的每一条待清洗数据，为所述每一条待清洗数据打上标签。
在其中一个可能的实施例中，所述解析每一所述待清洗数据的标签，执行所述数据清洗执行代码，对所述待清洗数据进行清洗，得到待存储数据，包括：
将所述待清洗数据的标签值与2n分别做与运算；
如果得到的结果为2n其本身，则说明该标签值对应的待清洗数据触发了n对应的数据清洗规则，执行所述n对应的数据清洗规则的数据清洗执行代码，对所述待清洗数据进行清洗，得到待存储数据。
在其中一个可能的实施例中，所述将所述待存储数据以二进制数据形式进行存储，包括：
按照预设的十进制字符与十六进制字符的映射关系，分别使用对应的十六进制字符替换所述待存储数据中的每一个十进制字符，得到与所述待存储数据对应的待存储的十六进制数据；
确定所述待存储的十六进制数据以整型存储时的二进制数据，并将所述二进制数据进行存储。
在其中一个可能的实施例中，所述按照预设的十进制字符与十六进制字符的映射关系，包括：
将十进制的0-9数字字符分别与十六进制的0-9数字字符相对应；
将十进制的符号字符分别与十六进制的A-F中的英文字母字符相对应；
其中，任意一个十进制字符与一个十六进制字符相对应，且任意两个不同的十进制字符分别对应的十六进制字符均不相同。
一种数据清洗装置，包括如下模块：
数据获取模块，设置为获取待清洗数据，将所述待清洗数据转化为十进制数据，并根据所述待清洗数据携带的数据来源终端的标识，将转化为十进制的所述待清洗数据生成数据来源对应的待清洗数据表；
清洗代码生成模块，设置为调取预设的数据清洗规则文件，提取与所述待清洗数据表的表名对应的数据清洗规则后给每一所述数据清洗规则生成对应的数据清洗执行代码；
清洗规则匹配模块，设置为将所述待清洗数据表中的每一条待清洗数据打上标签，为所述待清洗数据匹配相应的数据清洗规则；
数据清洗模块，设置为解析每一所述待清洗数据的标签，执行所述数据清洗执行代码，对所述待清洗数据进行清洗，得到待存储数据；
数据存储模块，设置为将所述待存储数据以二进制数据形式进行存储。
基于相同的构思，本申请提出一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被一个或多个所述处理器执行时，使得一个或多个所述处理器执行上述数据清洗方法的步骤。
基于相同的构思，本申请提出一种存储介质，所述存储介质可被处理器读写，所述存储介质存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个所述处理器执行上述数据清洗方法的步骤。
与现有技术相比，本申请中，将待清洗数据统一转化为十进制数据，便于后续对待清洗数据打上标签，提高数据清洗的准确率；根据数据清洗规则的表名，获取待清洗数据表对应的清洗规则，并自动生成数据清洗执行代码，为待清洗的每条数据打上标签，通过标签解析，分析出数据触发了哪条数据清洗规则，从而执行相应的数据清洗执行代码，对数据进行清洗，数据清洗效率高，生成的代码根据平台特性做过优化，代码具有一致性，规范，并且运行效率高；将清洗后的数据以整型进行存储，所占存储空间较以字符串存储时所占的存储空间小。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。
图1为本申请在一个实施例中的一种数据清洗方法的整体流程图；
图2为本申请在一个实施例中的一种数据清洗方法中的清洗代码生成过程的示意图；
图3为本申请在一个实施例中的一种数据清洗方法中的给数据打标签过程的示意图；
图4为本申请在一个实施例中的一种数据清洗装置的结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
图1为本申请的一种数据清洗方法的整体流程图，如图1所示，一种数据清洗方法，包括以下步骤：
步骤S1，获取待清洗数据，将所述待清洗数据转化为十进制数据，并根据所述待清洗数据携带的数据来源终端的标识，将转化为十进制的所述待清洗数据生成数据来源对应的待清洗数据表。
其中，待清洗数据主要是上级平台产生的不规则数据和脏数据。上级平台产生的不规则数据包括：来自数据测试部门在数据测试过程中产生的不规则数据、来自业务部门的业务终端在进行业务操作时产生的不符合业务逻辑的数据(比如，一笔订单的付款时间早于订单的创建时间)、来自数据库中存入的不规则数据等等。
上述步骤执行时，可以按照预设的执行周期从上级平台即数据来源终端获取其产生的待清洗数据，然后将所述待清洗数据统一转化为十进制数据。然后通过查找所述待清洗数据中的偏移段的方式提取所述待清洗数据携带的数据来源终端的标识，具体的，提取所述待清洗数据中的偏移段字符串，根据所述偏移段字符串查找对应的偏移段，所述偏移段包括所述数据来源终端的标识。最后，根据预设的待清洗数据表与数据来源终端的标识的对应关系，将转化为十进制的所述待清洗数据生成所述数据来源终端对应的待清洗数据表。
步骤S2，调取预设的数据清洗规则文件，提取与所述待清洗数据表的表名对应的数据清洗规则后给每一所述数据清洗规则生成对应的数据清洗执行代码。
上述步骤执行时，调取所述预设的数据清洗规则文件并从所述数据清洗规则文件中提取与所述待清洗数据表的表名对应的数据清洗规则，生成临时文件；先读取所述临时文件的第一条数据清洗规则，将所述数据清洗规则中的数据清洗规则伪代码作为条件判断的条件部分，生成与所述数据清洗规则对应的数据清洗执行代码；再遍历所述临时文件中所有的数据清洗规则，为每一条数据清洗规则生成对应的数据清洗执行代码，将所有的数据清洗执行代码合并，组合成完整的待清洗数据表的数据清洗执行代码。
步骤S3，将所述待清洗数据表中的每一条待清洗数据打上标签，为所述待清洗数据匹配相应的数据清洗规则。
上述步骤执行时，先读取所述待清洗数据表中的一条待清洗数据作为待标记数据，并为所述待标记数据设置初始标签值未0；然后，遍历所述待清洗数据表的表名对应的每一条数据清洗执行代码，所述待标记数据每触发一条数据清洗执行代码，则将其标签值增加2n，其中，n为被所述待标记数据触发的数据清洗执行代码对应的数据清洗规则的规则序号；再按上述操作，遍历所述待清洗数据表中的每一条待清洗数据，为所述每一条待清洗数据打上标签。
步骤S4，解析每一所述待清洗数据的标签，执行所述数据清洗执行代码，对所述待清洗数据进行清洗，得到待存储数据。
上述步骤执行时，将所述待清洗数据的标签值与2n分别做与运算；如果得到的结果为2n其本身，则说明该标签值对应的待清洗数据触发了n对应的数据清洗规则，此时，执行所述n对应的数据清洗规则的数据清洗执行代码，对所述待清洗数据进行清洗，清洗后，得到待存储数据。
步骤S5，将所述待存储数据以二进制数据形式进行存储。
上述步骤执行时，按照预设的十进制字符与十六进制字符的映射关系，分别使用对应的十六进制字符替换所述待存储数据中的每一个十进制字符，得到与所述待存储数据对应的待存储的十六进制数据，再确定所述待存储的十六进制数据以整型存储时的二进制数据，将所述二进制数据进行存储。
本实施例，将待清洗数据统一转化为十进制数据，便于后续对待清洗数据打上标签，提高数据清洗的准确率；为待清洗的每条数据打上标签，对数据进行清洗，数据清洗效率高；将清洗后的数据以整型进行存储，所占存储空间较以字符串存储时所占的存储空间小。
在一个实施例中，所述S1，获取待清洗数据，将所述待清洗数据转化为十进制数据，并根据所述待清洗数据携带的数据来源终端的标识，将转化为十进制的所述待清洗数据生成数据来源对应的待清洗数据表，包括以下步骤：
按照预设的执行周期获取数据来源终端产生的待清洗数据，将所述待清洗数据转化为十进制数据；
上述步骤执行时，其中，所述预设的执行周期是根据数据来源终端产生待清洗数据的频率的历史数据预先设置的。所述预设的执行周期可以作为参数值传入程序中，也可以作为固定值写在程序中。
提取所述待清洗数据中的偏移段字符串，根据所述偏移段字符串查找对应的偏移段，所述偏移段包括所述数据来源终端的标识；
根据预设的待清洗数据表与数据来源终端的标识的对应关系，将转化为十进制的所述待清洗数据生成所述数据来源终端对应的待清洗数据表。
其中，预设的待清洗数据表与数据来源终端的标识的对应关系是预先设置的。针对每个上级平台即待清洗数据的数据来源终端产生的不规则数据会有不同的清洗规则，所以每一个数据来源终端都会对应一个待清洗数据表，而数据来源终端的标识则对应待清洗数据表的表名。
本实施例，将执行周期作为参数值传入程序中，比较灵活，将执行周期作为固定值写在程序中，可以确保数值的安全性较高，而且执行周期可以根据待清洗数据产生的速度快慢灵活设置。
在一个实施例中，图2为本申请在一个实施例中的一种数据清洗方法中的清洗代码生成过程的示意图，如图2所示，所述S2，调取预设的数据清洗规则文件，提取与所述待清洗数据表的表名对应的数据清洗规则后给每一所述数据清洗规则生成对应的数据清洗执行代码，包括以下步骤：
步骤S201，调取所述预设的数据清洗规则文件；
其中，数据清洗规则文件的字段组成包括：rule_id(规则流水号)、table_name(数据表名)、bit_offset(规则序号，为二进位偏移量，用于给数据打标签)、rule_code(数据清洗规则伪代码)、description(数据清洗规则的中文描述)、op_level(对脏数据的处理级别)、is_active(规则是否生效)。
其中，每一条数据清洗规则，都设置了table_name字段，例如table_nam e为A时，表示该数据清洗规则应用于表名为A的待清洗数据表；同时每一条数据清洗规则还设置了规则序号bit_offset字段，对于每一个table_name，例如A，其对应的数据清洗规则的规则序号按顺序排列，相互之间不重复。但是不同的待清洗数据表名的数据清洗规则，其规则序号则不做要求。数据清洗规则文件只需要填写一次，之后可以方便的进行更新。
步骤S202，从所述数据清洗规则文件中提取与所述待清洗数据表的表名对应的数据清洗规则，生成临时文件；
上述步骤执行时，首先将所述数据清洗规则文件读入内存，使用系统自带的grep工具从打开的数据清洗规则文件中，查找与本次待清洗数据表的表名匹配，且当前有效的数据清洗规则，将找到的数据清洗规则保存到一个临时文件，供后续使用。其中，判断数据清洗规则是否有效，是通过表1中的最后一列，is_valid＝Y，表示有效，is_valid＝N，表示无效。
步骤S203，读取所述临时文件的第一条数据清洗规则，将所述数据清洗规则中的数据清洗规则伪代码作为条件判断的条件部分，生成与所述数据清洗规则对应的数据清洗执行代码；
上述步骤执行时，将所述临时文件读入内存，从打开的临时文件中读出第一条数据清洗规则，给所述第一条数据清洗规则赋值一个变量，将该变量放入一个条件判断语句中，该条件判断语句的条件部分是数据清洗规则伪代码rule_code，判断后执行部分则为所述数据清洗规则对应的数据清洗执行代码。
步骤S204，遍历所述临时文件中所有的数据清洗规则，为每一条数据清洗规则生成对应的数据清洗执行代码，组合成完整的待清洗数据表的数据清洗执行代码。
上述步骤执行时，遍历所述临时文件中剩余的数据清洗规则，对每一条数据清洗规则执行步骤S203的操作，将所有的代码合并，组合成完整的数据清洗执行代码。
本实施例，为每一条数据清洗规则生成对应的数据清洗执行代码，提高了数据清洗的效率和准确率。
在一个实施例中，图3为本申请在一个实施例中的一种数据清洗方法中的给数据打标签过程的示意图，如图3所示，所述S3，将所述待清洗数据表中的每一条待清洗数据打上标签，为所述待清洗数据匹配相应的数据清洗规则，包括以下步骤：
步骤S301，读取所述待清洗数据表中的一条待清洗数据作为待标记数据，为所述待标记数据设置初始标签值；
步骤S302，遍历所述待清洗数据表的表名对应的每一条数据清洗执行代码，所述待标记数据每触发一条数据清洗执行代码，则将其标签值增加2n，其中n为被所述待标记数据触发的数据清洗执行代码对应的数据清洗规则的规则序号；
步骤S303，按上述操作，遍历所述待清洗数据表中的每一条待清洗数据，为所述每一条待清洗数据打上标签。
上述步骤执行时，待标记数据的初始标签的默认值是0，逐条匹配本待清洗数据表适用的数据清洗规则时，每触发一条数据清洗规则，则待标记数据的标签值增加2^bit_offset，否则其标签值不变，即如果未触发任何一条数据清洗规则，其标签值始终为0。
其中，“^”是一个数学运算符，表示乘方；bit_offset表示数据清洗规则的序号，其值为1，2，3这样的自然数。对每一条待清洗数据，遍历所有的数据清洗规则，一旦触发了某条数据清洗规则，则待清洗数据的标签值增加2^bit_offset，例如，某条待清洗数据触发了第二条数据清洗规则“交易金额为空”，则该条数据的标签值增加2^2，即2的2次方，等于4。
本实施例，为每一条待清洗数据打上标签，可以很容易地找到待清洗数据适用的清洗规则，提高了数据清洗的效率。
在一个实施例中，所述S4，解析每一所述待清洗数据的标签，执行所述数据清洗执行代码，对所述待清洗数据进行清洗，得到待存储数据，包括：
将所述待清洗数据的标签值与2n分别做与运算；
如果得到的结果为2n其本身，则说明该标签值对应的待清洗数据触发了n对应的数据清洗规则，执行所述n对应的数据清洗规则的数据清洗执行代码，对所述待清洗数据进行清洗，得到待存储数据。
上述步骤执行时，具体的，看下面算式，用十进制和八进制分别表示，十进制表示法：21+23+24＝26；二进制表示法：21＝00000010、23＝00001000、24＝00010000、26＝00011010，在26的二进制表示中，出现1的位置有三处，分别对应21、23、24。从算式中，可以看出26是21、23、24这三个数的和，当26与21进行与运算，结果为21；当26与23进行与运算，结果为23；当26与24进行与运算，结果为24。不难发现这样的规律：26与这三个数中的任何一个进行与运算，结果均为该数字本身，而与其它任何数进行与运算时，结果则不为该任何数本身。
其中，待清洗数据的标签值＝21+22+...+2n，其中，n为数据清洗规则的序号。将标签值和21、22、...、2n分别做与运算，如果得到的结果为2n，则说明该标签值对应的待清洗数据触发了n对应的数据清洗规则。通过标签解析，能够分析出每一条待清洗数据数据触发了哪些数据清洗规则，将触发了数据清洗规则的待清洗数据通过执行对应的数据清洗执行代码对其进行清洗。
在一个实施例中，所述将所述待存储数据以二进制数据形式进行存储，包括：
按照预设的十进制字符与十六进制字符的映射关系，分别使用对应的十六进制字符替换所述待存储数据中的每一个十进制字符，得到与所述待存储数据对应的待存储的十六进制数据；
上述步骤执行时，所述预设的十进制字符与十六进制字符的映射关系具体为：将十进制的0-9数字字符分别与十六进制的0-9数字字符相对应，再将十进制的符号字符分别与十六进制的A-F中的英文字母字符相对应。具体的，例如：十进制的0与十六进制的0对应、十进制的1与十六进制的1对应、十进制的2与十六进制的2对应、……、十进制的9与十六进制的9对应，“*”与十六进制的A对应、“-”与十六进制的B对应、“+”与十六进制的C对应、“#”与十六进制的D对应。
在数据应用中，有些数据的首字符是“0”，如电话号码：010-62654382，如果按照上述映射关系进行映射的话，会存在准确度较低的缺陷，因此，本申请实施例中，可选的，映射关系还可以按照下述过程确定：
从十六进制的1-F字符中选择10个字符；
将十进制的0-9数字字符分别与选择出的10个字符相对应；
将十进制的符号字符分别与十六进制的0-F字符中除选择出的10个字符之外的其他字符相对应；
其中，任意一个十进制字符与一个十六进制字符相对应，且任意两个不同的十进制字符分别对应的十六进制字符均不相同；任意两个不同的十进制数字字符所对应的十六进制字符的大小关系，与任意两个不同的十进制数字字符的大小关系相同。例如：十进制的0与十六进制的1对应、十进制的1与十六进制的2对应、十进制的2与十六进制的3对应、……、十进制的9与十六进制的A对应，“*”与十六进制的B对应、“-”与十六进制的C对应、“+”与十六进制的D对应、“#”与十六进制的0对应。
确定所述待存储的十六进制数据以整型存储时的二进制数据，并将所述二进制数据进行存储。
本实施例，将十进制数据转换为十六进制数据，再将十六进制数据以整型进行存储，以整型存储所占的存储空间较以字符串存储所占的存储空间小，节约了存储空间。
在一个实施例中，所述按照预设的十进制字符与十六进制字符的映射关系，包括：
将十进制的0-9数字字符分别与十六进制的0-9数字字符相对应；
将十进制的符号字符分别与十六进制的A-F中的英文字母字符相对应；
其中，任意一个十进制字符与一个十六进制字符相对应，且任意两个不同的十进制字符分别对应的十六进制字符均不相同。
一种数据清洗装置，如图4所示，包括如下模块：
数据获取模块，设置为获取待清洗数据，将所述待清洗数据转化为十进制数据，并根据所述待清洗数据携带的数据来源终端的标识，将转化为十进制的所述待清洗数据生成数据来源对应的待清洗数据表；
清洗代码生成模块，设置为调取预设的数据清洗规则文件，提取与所述待清洗数据表的表名对应的数据清洗规则后给每一所述数据清洗规则生成对应的数据清洗执行代码；
清洗规则匹配模块，设置为将所述待清洗数据表中的每一条待清洗数据打上标签，为所述待清洗数据匹配相应的数据清洗规则；
数据清洗模块，设置为解析每一所述待清洗数据的标签，执行所述数据清洗执行代码，对所述待清洗数据进行清洗，得到待存储数据；
数据存储模块，设置为将所述待存储数据以二进制数据形式进行存储。
在一个实施例中，提出了一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行计算机可读指令时实现上述各实施例中所述的数据清洗方法的步骤。
在一个实施例中，提出了一种存储介质，所述存储介质可被处理器读写，所述存储介质存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述各实施例中所述的数据清洗方法的步骤。其中，所述存储介质可以为非易失性存储介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请一些示例性实施例，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据清洗方法，其特征在于，包括：
获取待清洗数据，将所述待清洗数据转化为十进制数据，并根据所述待清洗数据携带的数据来源终端的标识，将转化为十进制的所述待清洗数据生成数据来源对应的待清洗数据表；
调取预设的数据清洗规则文件，提取与所述待清洗数据表的表名对应的数据清洗规则后给每一所述数据清洗规则生成对应的数据清洗执行代码；
将所述待清洗数据表中的每一条待清洗数据打上标签，为所述待清洗数据匹配相应的数据清洗规则；
解析每一所述待清洗数据的标签，执行所述数据清洗执行代码，对所述待清洗数据进行清洗，得到待存储数据；
将所述待存储数据以二进制数据形式进行存储。
2.如权利要求1所述的数据清洗方法，其特征在于，所述获取待清洗数据，将所述待清洗数据转化为十进制数据，并根据所述待清洗数据携带的数据来源终端的标识，将转化为十进制的所述待清洗数据生成数据来源对应的待清洗数据表，包括：
按照预设的执行周期获取数据来源终端产生的待清洗数据，将所述待清洗数据转化为十进制数据；
提取所述待清洗数据中的偏移段字符串，根据所述偏移段字符串查找对应的偏移段，所述偏移段包括所述数据来源终端的标识；
根据预设的待清洗数据表与数据来源终端的标识的对应关系，将转化为十进制的所述待清洗数据生成所述数据来源终端对应的待清洗数据表。
3.如权利要求1所述的数据清洗方法，其特征在于，所述调取预设的数据清洗规则文件，提取与所述待清洗数据表的表名对应的数据清洗规则后给每一所述数据清洗规则生成对应的数据清洗执行代码，包括：
调取所述预设的数据清洗规则文件；
从所述数据清洗规则文件中提取与所述待清洗数据表的表名对应的数据清洗规则，生成临时文件；
读取所述临时文件的第一条数据清洗规则，将所述数据清洗规则中的数据清洗规则伪代码作为条件判断的条件部分，生成与所述数据清洗规则对应的数据清洗执行代码；
遍历所述临时文件中所有的数据清洗规则，为每一条数据清洗规则生成对应的数据清洗执行代码，组合成完整的待清洗数据表的数据清洗执行代码。
4.如权利要求1所述的数据清洗方法，其特征在于，所述将所述待清洗数据表中的每一条待清洗数据打上标签，为所述待清洗数据匹配相应的数据清洗规则，包括：
读取所述待清洗数据表中的一条待清洗数据作为待标记数据，为所述待标记数据设置初始标签值；
遍历所述待清洗数据表的表名对应的每一条数据清洗执行代码，所述待标记数据每触发一条数据清洗执行代码，则将其标签值增加2n，其中n为被所述待标记数据触发的数据清洗执行代码对应的数据清洗规则的规则序号；
按上述操作，遍历所述待清洗数据表中的每一条待清洗数据，为所述每一条待清洗数据打上标签。
5.如权利要求4所述的数据清洗方法，其特征在于，所述解析每一所述待清洗数据的标签，执行所述数据清洗执行代码，对所述待清洗数据进行清洗，得到待存储数据，包括：
将所述待清洗数据的标签值与2n分别做与运算；
如果得到的结果为2n其本身，则说明该标签值对应的待清洗数据触发了n对应的数据清洗规则，执行所述n对应的数据清洗规则的数据清洗执行代码，对所述待清洗数据进行清洗，得到待存储数据。
6.如权利要求1所述的数据清洗方法，其特征在于，所述将所述待存储数据以二进制数据形式进行存储，包括：
按照预设的十进制字符与十六进制字符的映射关系，分别使用对应的十六进制字符替换所述待存储数据中的每一个十进制字符，得到与所述待存储数据对应的待存储的十六进制数据；
确定所述待存储的十六进制数据以整型存储时的二进制数据，并将所述二进制数据进行存储。
7.如权利要求6所述的数据清洗方法，其特征在于，所述按照预设的十进制字符与十六进制字符的映射关系，包括：
将十进制的0-9数字字符分别与十六进制的0-9数字字符相对应；
将十进制的符号字符分别与十六进制的A-F中的英文字母字符相对应；
其中，任意一个十进制字符与一个十六进制字符相对应，且任意两个不同的十进制字符分别对应的十六进制字符均不相同。
8.一种数据清洗装置，其特征在于，包括如下模块：
数据获取模块，设置为获取待清洗数据，将所述待清洗数据转化为十进制数据，并根据所述待清洗数据携带的数据来源终端的标识，将转化为十进制的所述待清洗数据生成数据来源对应的待清洗数据表；
清洗代码生成模块，设置为调取预设的数据清洗规则文件，提取与所述待清洗数据表的表名对应的数据清洗规则后给每一所述数据清洗规则生成对应的数据清洗执行代码；
清洗规则匹配模块，设置为将所述待清洗数据表中的每一条待清洗数据打上标签，为所述待清洗数据匹配相应的数据清洗规则；
数据清洗模块，设置为解析每一所述待清洗数据的标签，执行所述数据清洗执行代码，对所述待清洗数据进行清洗，得到待存储数据；
数据存储模块，设置为将所述待存储数据以二进制数据形式进行存储。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被一个或多个所述处理器执行时，使得一个或多个所述处理器执行如权利要求1至7中任一项所述的数据清洗方法的步骤。
10.一种存储介质，其特征在于，所述存储介质可被处理器读写，所述存储介质存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个所述处理器执行如权利要求1至7中任一项所述的数据清洗方法的步骤。
CN201910297751.7A 2019-04-15 2019-04-15 数据清洗方法、装置、设备和存储介质 Active CN110147364B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910297751.7A CN110147364B (zh) 2019-04-15 2019-04-15 数据清洗方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910297751.7A CN110147364B (zh) 2019-04-15 2019-04-15 数据清洗方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN110147364A true CN110147364A (zh) 2019-08-20
CN110147364B CN110147364B (zh) 2024-05-28

Family

ID=67589731

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910297751.7A Active CN110147364B (zh) 2019-04-15 2019-04-15 数据清洗方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN110147364B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110555019A (zh) * 2019-09-12 2019-12-10 成都中科大旗软件股份有限公司 一种基于业务端的数据清洗方法
CN110727668A (zh) * 2019-09-30 2020-01-24 北京百度网讯科技有限公司 数据清洗方法及装置
CN111431930A (zh) * 2020-04-10 2020-07-17 武汉光迅信息技术有限公司 流量清洗方法及相关设备
CN111611232A (zh) * 2020-05-20 2020-09-01 浩云科技股份有限公司 一种大数据清洗方法及装置
CN113064885A (zh) * 2020-12-29 2021-07-02 中国移动通信集团贵州有限公司 一种数据清洗方法和装置
CN113204544A (zh) * 2021-05-10 2021-08-03 深圳技术大学 一种数据清洗方法、装置及计算机可读存储介质
CN114461612A (zh) * 2022-02-11 2022-05-10 上海掌数科技有限公司 一种基于数据库的数据管理方法及管理系统
CN115543977A (zh) * 2022-09-29 2022-12-30 河北雄安睿天科技有限公司 一种供水行业数据清洗方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050131725A1 (en) * 2003-10-14 2005-06-16 Gretchen Sleeper Mapping algorithm for identifying data required to file for state and federal tax credits related to enterprise zones, renewal communities, and empowerment zones
CN103593352A (zh) * 2012-08-15 2014-02-19 阿里巴巴集团控股有限公司 一种海量数据清洗方法及装置
CN106844561A (zh) * 2016-12-30 2017-06-13 重庆大学 一种基于r‑tbf的rfid冗余数据清洗策略

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050131725A1 (en) * 2003-10-14 2005-06-16 Gretchen Sleeper Mapping algorithm for identifying data required to file for state and federal tax credits related to enterprise zones, renewal communities, and empowerment zones
CN103593352A (zh) * 2012-08-15 2014-02-19 阿里巴巴集团控股有限公司 一种海量数据清洗方法及装置
CN106844561A (zh) * 2016-12-30 2017-06-13 重庆大学 一种基于r‑tbf的rfid冗余数据清洗策略

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
叶舟 等: "基于规则引擎的数据清洗", 计算机工程, vol. 32, no. 23, 31 December 2006 (2006-12-31) *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110555019A (zh) * 2019-09-12 2019-12-10 成都中科大旗软件股份有限公司 一种基于业务端的数据清洗方法
CN110555019B (zh) * 2019-09-12 2023-03-24 成都中科大旗软件股份有限公司 一种基于业务端的数据清洗方法
CN110727668A (zh) * 2019-09-30 2020-01-24 北京百度网讯科技有限公司 数据清洗方法及装置
CN110727668B (zh) * 2019-09-30 2022-03-01 北京百度网讯科技有限公司 数据清洗方法及装置
CN111431930A (zh) * 2020-04-10 2020-07-17 武汉光迅信息技术有限公司 流量清洗方法及相关设备
CN111611232A (zh) * 2020-05-20 2020-09-01 浩云科技股份有限公司 一种大数据清洗方法及装置
CN113064885A (zh) * 2020-12-29 2021-07-02 中国移动通信集团贵州有限公司 一种数据清洗方法和装置
CN113064885B (zh) * 2020-12-29 2023-10-27 中国移动通信集团贵州有限公司 一种数据清洗方法和装置
CN113204544A (zh) * 2021-05-10 2021-08-03 深圳技术大学 一种数据清洗方法、装置及计算机可读存储介质
CN114461612A (zh) * 2022-02-11 2022-05-10 上海掌数科技有限公司 一种基于数据库的数据管理方法及管理系统
CN115543977A (zh) * 2022-09-29 2022-12-30 河北雄安睿天科技有限公司 一种供水行业数据清洗方法

Also Published As

Publication number Publication date
CN110147364B (zh) 2024-05-28

Similar Documents

Publication Publication Date Title
CN110147364A (zh) 数据清洗方法、装置、设备和存储介质
CN103593352B (zh) 一种海量数据清洗方法及装置
CA2947577C (en) Method and apparatus for processing service requests
US7003725B2 (en) Method and system for normalizing dirty text in a document
CN111159329A (zh) 敏感词检测方法、装置、终端设备和计算机可读存储介质
CN110110213B (zh) 挖掘用户职业的方法、装置、计算机可读存储介质和终端设备
CN111860981B (zh) 一种基于lstm深度学习的企业国民行业类别预测方法及系统
CN107229694A (zh) 一种基于大数据的数据信息一致性处理方法、系统及装置
CN112015987A (zh) 一种基于企业标签的潜在客户推荐系统及推荐方法
CN116501898B (zh) 适用于少样本和有偏数据的金融文本事件抽取方法和装置
CN106503224A (zh) 一种根据关键词推荐应用的方法及装置
CN115293332A (zh) 一种图神经网络的训练方法、装置、设备及存储介质
CN113886708A (zh) 基于用户信息的产品推荐方法、装置、设备及存储介质
CN115203435A (zh) 基于知识图谱的实体关系生成方法及数据查询方法
Li et al. ε-matching: Event processing over noisy sequences in real time
US20150120682A1 (en) Automated recognition of patterns in a log file having unknown grammar
CN112632051B (zh) 基于神经网络的数据库清理方法及系统
CN114201756A (zh) 一种智能合约代码片段的漏洞检测方法和相关装置
CN109284483A (zh) 文本处理方法、装置、存储介质及电子设备
CN104573095A (zh) 基于Hadoop框架的大规模对象识别方法
CN107451050A (zh) 函数获取方法和装置、服务器
CN114238233A (zh) 文件自动化清理方法、装置、设备及存储介质
CN114385155A (zh) vue项目可视化工具生成方法、装置、设备及存储介质
CN111753548A (zh) 信息获取方法及装置、计算机存储介质、电子设备
CN112836498A (zh) 数据处理方法、识别方法、装置及计算设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20240430

Address after: 518000, Building 4205, Building D1, Kexing Science Park, No. 15 Keyuan Road, Science Park Community, Yuehai Street, Nanshan District, Shenzhen, Guangdong Province

Applicant after: Shenzhen Dameng Longtu Culture Communication Co.,Ltd.

Country or region after: China

Address before: Room 201, building a, No.1 Qianwan 1st Road, Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong Province (settled in Shenzhen Qianhai business secretary Co., Ltd.)

Applicant before: PING AN PUHUI ENTERPRISE MANAGEMENT Co.,Ltd.

Country or region before: China

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant