CN108319609A

CN108319609A - Etl数据处理方法及系统、数据清洗方法及装置

Info

Publication number: CN108319609A
Application number: CN201710033549.4A
Authority: CN
Inventors: 丁文超
Original assignee: Medical Cross Cloud (beijing) Technology Co Ltd
Current assignee: Medical Cross Cloud (beijing) Technology Co Ltd; Yidu Cloud Beijing Technology Co Ltd
Priority date: 2017-01-16
Filing date: 2017-01-16
Publication date: 2018-07-24

Abstract

本公开是关于一种ETL数据处理方法及系统、数据清洗方法及装置，该数据清洗方法包括：对接收到的多个清洗函数进行注册，以获得各所述清洗函数的标识信息；针对各待清洗数据的清洗需求，分别利用一个或多个所述标识信息生成对应的清洗规则；以及将所述清洗规则发送至多个服务器，使各所述服务器根据所述清洗规则中的所述标识信息调用对应的一个或多个所述清洗函数，以对所述待清洗数据进行清洗。本公开提高了数据清洗的效率。

Description

ETL数据处理方法及系统、数据清洗方法及装置

技术领域

本公开涉及数据处理技术领域，具体而言，涉及一种ETL数据处理方法、ETL数据处理系统、数据清洗方法以及数据清洗装置。

背景技术

随着信息产业的不断发展，如何对海量的数据进行处理已经成为计算机系统不得不面对的考验。在数据处理过程中，为了确保数据可靠无误，需要对数据进行清洗。

ETL(Extract-Transform-Load)用于描述将数据从来源端(例如，原始业务系统)经过提取、转换、加载至目的端(例如，数据仓库)的过程。在一些应用中，对数据进行转换即是对数据进行清洗，清洗数据的目的在于从数据中检测并去除错误及不一致的数据部分，从而改善数据质量。随着计算技术的发展，一些应用的处理过程可能涉及大量的数据，对这些数据进行清洗会耗费相当长的时间。此外，数据清洗通常需要业务人员分析业务需求，同时还需要清洗算法工程师根据分析得到的业务需求撰写算法逻辑，以对待清洗数据进行转换。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种ETL数据处理方法、ETL数据处理系统、数据清洗方法以及数据清洗装置，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。

根据本公开的一个方面，提供一种数据清洗方法，应用于ETL数据处理过程，所述数据清洗方法包括：

对接收到的多个清洗函数进行注册，以获得各所述清洗函数的标识信息；

针对各待清洗数据的清洗需求，分别利用一个或多个所述标识信息生成对应的清洗规则；以及

将所述清洗规则发送至多个服务器，使各所述服务器根据所述清洗规则中的所述标识信息调用对应的一个或多个所述清洗函数，以对所述待清洗数据进行清洗。

在本公开的一种示例性实施例中，各所述服务器中的字段不完全相同。

在本公开的一种示例性实施例中，所述清洗函数对应的操作包括空值处理、规范数据格式、拆分数据以及数据替换中的一种或多种。

在本公开的一种示例性实施例中，采用JSON格式配置所述清洗规则。

根据本公开的一个方面，提供一种ETL数据处理方法，包括：

从原始业务系统中提取各待清洗数据，并将各所述待清洗数据存储至多个服务器；

根据上述任意一项所述的数据清洗方法对各所述清洗数据进行清洗；以及

将经清洗后的数据加载到数据仓库中。

根据本公开的一个方面，提供一种数据清洗装置，应用于ETL数据处理过程，所述数据清洗装置包括：

注册单元，用于对接收到的多个清洗函数进行注册，以获得各所述清洗函数的标识信息；

生成单元，用于针对各待清洗数据的清洗需求，分别利用一个或多个所述标识信息生成对应的清洗规则；以及

清洗单元，用于将所述清洗规则发送至多个服务器，使各所述服务器根据所述清洗规则中的所述标识信息调用对应的一个或多个所述清洗函数，以对所述待清洗数据进行清洗。

根据本公开的一个方面，提供一种ETL数据处理系统，包括：

提取模块，用于从原始业务系统中提取各待清洗数据，并将各所述待清洗数据存储至多个服务器；

转换模块，用于根据上述任意一项所述的数据清洗方法对各所述清洗数据进行清洗；以及

加载模块，用于将经清洗后的数据加载到数据仓库中。

在本公开的一些实施例所提供的技术方案中，借助于通过对多个清洗函数进行注册而获得的标识信息生成清洗规则，并将清洗规则发送至多个服务器，使各服务器调用对应的一个或多个清洗函数，以实现对数据的清洗，一方面，通过多个服务器实现，提高了数据处理的能力，节约了数据清洗的时间，从而提高了数据清洗的效率；另一方面，借助于标识信息，简化了清洗规则的生成方式且占用较少的处理资源；再一方面，由于在数据清洗的清洗需求之前已对清洗函数进行注册，因此，规定清洗规则的业务人员可以在不需要向算法编辑人员询问具体算法逻辑的情况下直接完成清洗数据的过程。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示意性示出了根据本公开的示例性实施方式的数据清洗方法的流程图；

图2示出了编写一种清洗函数的示例性界面图；

图3示出了配置一种清洗规则的示例性界面图；

图4示出了业务人员提交数据清洗任务的示例性界面图；

图5示意性示出了根据本公开的示例性实施方式的ETL数据处理方法的流程图；

图6示意性示出了根据本公开的示例性实施方式的数据清洗装置1的方框图；以及

图7示意性示出了根据本公开的示例性实施方式的ETL数据处理系统2的方框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

数据在处理过程中可能生成一些错误及不一致的数据部分，可以将这些错误及不一致的数据部分理解为系统不需要的和/或可能会影响系统正常工作的“脏数据”。造成“脏数据”的原因可以包括但不限于：数据输入错误、滥用缩写成、惯用语使用不当、重复记录、丢失信息、拼写变化、使用不同的计量单位以及过时的编码中的一种或多种。

鉴于此，为了提高数据质量、保证系统正常工作并确保工作效率，需要对所述“脏数据”进行清洗。下面将介绍根据本公开内容的数据清洗方法。

图1示意性示出了根据本公开的示例性实施方式的数据清洗方法的流程图。参考图1，所述数据清洗方法可以包括以下步骤：

S10.对接收到的多个清洗函数进行注册，以获得各所述清洗函数的标识信息。

根据本公开的一些实施例，清洗函数对应的操作可以包括一些常用操作以及一些个性化操作，例如，可以包括空值处理、规范化数据格式、拆分数据以及数据替换中的一种或多种。然而，本领域技术人员容易理解的是，清洗函数对应的操作还可以包括根据“脏数据”的具体形式而进行的各种清洗操作。

清洗函数可以由算法编辑人员编写而得。算法编辑人员可以使用多种计算机程序设计语言对清洗函数进行编写，所述计算机程序设计语言例如可以包括C、C++、C#、Java、JavaScript、Perl、Python等，本示例性实施方式中对此不做特殊限定。

在对清洗函数进行编写之后，可以对所述清洗函数进行验证测试。在验证测试的结果满足需求的情况下，可以将所述请函数存储至一存储单元，该存储单元可以是普通的存储部件，也可以是一处理终端或系统服务器，本示例性实施例中并不以此为限。

根据本公开的一些实施例，可以对清洗函数进行注册，注册的目的在于获得标识信息，以唯一标识各清洗函数。本领域技术人员容易理解的是，可以在编写各清洗函数的过程中同时执行注册过程，也可以在获得各清洗函数之后执行注册过程。

例如，在实验室的检验过程中，可以对数据进行定量清洗，图2中示出了由算法编辑人员编写的定量清洗的代码。参考图2，可以将清洗函数描述成“实验室检验-定量清洗”，对该清洗函数进行注册，可以获得该清洗函数的标识信息为quantitative_format。本领域技术人员应当理解的是，对该清洗函数的描述以及标识信息的名称仅是实例性的，可以将在符合编写规则的条件下任意配置该清洗函数的描述以及标识信息的名称。

在图2所示的示例性界面图中，配置有清洗函数的状态选择，当状态为“启用”时，可以调用该清洗函数，而当状态为“禁用”时，该清洗函数不能被应用。此外，在界面中，还设置有保存按钮、测试按钮以及返回按钮，以分别实现对该清洗函数的保存、测试以及返回其他操作界面。

通过预先对清洗函数进行编写并对各清洗函数进行注册，有助于当清洗需求到来时，业务人员直接调用编写好的清洗函数对待清洗函数进行清洗，提高了清洗效率。

S20.针对各待清洗数据的清洗需求，分别利用一个或多个所述标识信息生成对应的清洗规则。

根据本公开的一些实施例，当接收到待清洗数据时，业务人员可以根据待清洗数据的处理过程以及待清洗数据的数据本身利用步骤S10中获得一个或多个标识信息生成对应的清洗规则。该清洗规则可以应用于服务器的每个字段，此外，服务器中的字段不完全相同，针对多个复杂的字段，可能需要若干个清洗规则对字段进行处理。

根据本公开的另一些实施例，系统中还可以配置有一预清洗装置，用于对待清洗数据进行分析判断，根据分析判断结果对步骤S10中获得一个或多个标识信息进行组合，以生成对应的清洗规则，并将生成的清洗规则反馈给业务人员，等待业务人员的确认。

此外，除一个或多个标识信息之外，清洗规则还可以包括对所述标识信息对应的清洗函数的描述、编写所述清洗函数的算法编辑人员的姓名、所述标识信息对应的清洗函数的状态等。表1示意性示出了根据本公开的实施方式的清洗规则对应的内容。

表1

本领域技术人员应当理解的是，表1中的内容仅是示例性的，此外，清洗规则还可以包括执行所述一个或多个标识信息的优先级顺序信息，与执行清洗过程有关的时间信息等，本示例性实施方式中对此不做特殊限定。

根据本公开的一些实施例，可以采用JSON格式配置清洗规则，图3示出了配置一种清洗规则的示例性界面图。此外，根据本公开的另一些实施例，还可以采用其他数据交换格式，例如XML、YAML等。

借助于标识信息，简化了清洗规则的生成方式且占用较少的处理资源。

S30.将所述清洗规则发送至多个服务器，使各所述服务器根据所述清洗规则中的所述标识信息调用对应的一个或多个所述清洗函数，以对所述待清洗数据进行清洗。

图4示出了业务人员提交数据清洗任务的示例性界面图，当业务人员在该界面内点击执行按钮时，步骤S20生成的清洗规则被发送至多个服务器。根据本公开的一些实施例，所述服务器可以是分布式服务器，分布式服务器中存储有待清洗数据，在这种情况下，通过结合接收到的清洗规则调用与所述清洗规则中标识信息对应的一个或多个清洗函数，并且运行所述清洗函数以执行清洗操作，从而实现对待清洗数据的清洗。随后，可以将清洗后的数据存储到所述分布式服务器中。

通过采用分布式服务器，可以将数据清洗任务划分成多个分布式任务，提高了数据处理的能力，节约了数据清洗的时间，从而调高了数据清洗的效率。

根据本公开的另一些实施例，所述服务器还可以是集群式服务器，本领域技术人员容易理解的是，通过应用集群式服务器处理待清洗的数据，同样能够实现提高数据清洗效率的目的；因此，这同样属于包公开的保护范围。

应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

进一步的，本示例实施方式中还提供了一种ETL数据处理方法。

图5示意性示出了本公开的示例性实施方式的ETL数据处理方法的流程图。

参考图5，根据本公开的示例性实施方式的ETL数据处理方法可以包括：

S100.从原始业务系统中提取各待清洗数据，并将各所述待清洗数据存储至多个服务器。

根据本公开的一些实施例，原始业务系统可以包括关系型数据库和/或非关系型数据库，并且可以通过接口(例如，JDBC、专用数据库接口以及平面文件提取器等)实现提取过程。此外，如上文所述，步骤S100中所述的服务器可以是分布式服务器和/或集群式服务器。

S200.根据本公开的示例性实施方式的数据清洗方法对各所述清洗数据进行清洗。

上文已经对本公开的示例性实施方式的数据清洗方法进行了详细的描述，此处不再赘述。

S300.将经清洗后的数据加载到数据仓库中。

在步骤S300中，可以根据数据到存储空间的映射定义对数据进行加载。此外，加载方式可以包括全量加载和/或增量加载，具体的，全量加载意指将数据仓库中对应的数据全部删除后再进行新数据的加载，而增量加载意指仅更新数据变化的部分。当然，在本公开的其他示例性实施例中，也可以采用其他加载方式，本公开的示例性实施方式不对加载方式进行具体限定。

从原始业务系统中提取的数据可能存在数据格式不一致、数据错误等问题，这些问题可能导致系统不能顺利实施具体应用。通过本公开的示例性实施方式的ETL数据处理方法，可以较好地解决该问题。

图6示意性示出了根据本公开的示例性实施方式的数据清洗装置的方框图。

参考图6，根据本公开的示例性实施方式的数据清洗装置1可以包括注册单元10、生成单元20和清洗单元30，其中：

注册单元10，可以用于对接收到的多个清洗函数进行注册，以获得各所述清洗函数的标识信息；

生成单元20，可以用于针对各待清洗数据的清洗需求，分别利用一个或多个所述标识信息生成对应的清洗规则；以及

清洗单元30，可以用于将所述清洗规则发送至多个服务器，使各所述服务器根据所述清洗规则中的所述标识信息调用对应的一个或多个所述清洗函数，以对所述待清洗数据进行清洗。

根据本公开的示例性实施例，各所述服务器中的字段不完全相同。

根据本公开的示例性实施例，所述清洗函数对应的操作包括空值处理、规范数据格式、拆分数据以及数据替换中的一种或多种。

根据本公开的示例性实施例，采用JSON格式配置所述清洗规则。

参考图7，根据本公开的示例性实施方式的ETL数据处理系统2可以包括提取模块100、转换模块200和加载模块300，其中：

提取模块100，可以用于从原始业务系统中提取各待清洗数据，并将各所述待清洗数据存储至多个服务器；

转换模块200，可以用于根据本公开的示例性实施方式的数据清洗方法对各所述清洗数据进行清洗；

加载模块300，可以用于将经清洗后的数据加载到数据仓库中。

由于本发明实施方式的程序运行性能分析装置的各个功能模块与上述方法发明实施方式中相同，因此在此不再赘述。

应当注意，尽管在上文详细描述中提及了程序运行性能分析装置的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方式。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims

1.一种数据清洗方法，应用于ETL数据处理过程，其特征在于，所述数据清洗方法包括：

2.根据权利要求1所述的数据清洗方法，其特征在于，各所述服务器中的字段不完全相同。

3.根据权利要求1所述的数据清洗方法，其特征在于，所述清洗函数对应的操作包括空值处理、规范数据格式、拆分数据以及数据替换中的一种或多种。

4.根据权利要求1所述的数据清洗方法，其特征在于，采用JSON格式配置所述清洗规则。

5.一种ETL数据处理方法，其特征在于，包括：

根据权利要求1至4中任一项所述的数据清洗方法对各所述清洗数据进行清洗；以及

将经清洗后的数据加载到数据仓库中。

6.一种数据清洗装置，应用于ETL数据处理过程，其特征在于，所述数据清洗装置包括：

7.根据权利要求6所述的数据清洗装置，其特征在于，各所述服务器中的字段不完全相同。

8.根据权利要求6所述的数据清洗装置，其特征在于，所述清洗函数对应的操作包括空值处理、规范数据格式、拆分数据以及数据替换中的一种或多种。

9.根据权利要求6所述的数据清洗装置，其特征在于，采用JSON格式配置所述清洗规则。

10.一种ETL数据处理系统，其特征在于，包括：

转换模块，用于根据权利要求1至4中任一项所述的数据清洗方法对各所述清洗数据进行清洗；以及

加载模块，用于将经清洗后的数据加载到数据仓库中。