CN109033330A - 大数据清洗方法、装置和服务器 - Google Patents

Abstract

本发明提供了一种大数据清洗方法、装置和服务器，该发明应用于大数据平台，首先读取预先保存的非结构化数据；然后根据预设的业务规则，对非结构化数据进行初次数据清洗，得到该非结构化数据对应的结构化数据，并将该结构化数据导入数据仓库；再从数据仓库中提取数据分析业务所需的结构化数据；最后对该结构化数据进行二次数据清洗，将清洗后的数据导入数据库中。该技术将大数据平台的非结构化数据转化为结构化数据，有利于对数据进行统计、分析、探查，提高了数据利用率。

Description

大数据清洗方法、装置和服务器

技术领域

本发明涉及数据处理技术领域，尤其是涉及一种大数据清洗方法、装置和服务器。

背景技术

随着时代的发展，车联网应用越来越广泛，它能够按照约定的通信协议和数据交互标准，在车和车之间、车和路之间、车和行人之前、车和互联网之间等等，进行无线通信和信息交换，实现了更加智能化交通管理、具有更加智能化的信息交流和车辆智能控制。但是，现有车联网大数据平台收集到的车联数据为非结构化数据，不能进行统计、分析、探查等，使得数据的利用率较低。

发明内容

有鉴于此，本发明的目的在于提供一种大数据清洗方法、装置和服务器，提高了大数据的利用率。

第一方面，本发明实施例提供了一种大数据清洗方法，应用于大数据平台，上述方法包括：读取预先保存的非结构化数据；根据预设的业务规则，对非结构化数据进行初次数据清洗，得到非结构化数据对应的结构化数据，将该结构化数据导入数据仓库；从数据仓库中提取数据分析业务所需的结构化数据；对结构化数据进行二次数据清洗，将清洗后的数据导入数据库中。

进一步，上述读取预先保存的非结构化数据的步骤，包括：从大数据平台的存储平台中，读取非结构化数据。

进一步，上述根据预设的业务规则，对非结构化数据进行初次数据清洗的步骤，包括：根据预设的业务规则，对非结构化数据进行解析处理；对解析后的数据进行初次数据清洗。

进一步，上述方法还包括：从业务系统中提取业务数据，将业务数据导入数据仓库。

进一步，上述对结构化数据进行二次数据清洗，将清洗后的数据导入数据库中的步骤，包括：对结构化数据进行二次数据清洗；将清洗后的数据进行统计，将统计结果导入关系型数据库中；该关系型数据库根据数据分析业务的需求建立。

进一步，上述方法应用于车联网大数据平台。

第二方面，本发明实施例还提供一种大数据清洗装置，包括：数据读取模块，用于读取预先保存的非结构化数据；数据初次清洗模块，用于根据预设的业务规则，对非结构化数据进行初次数据清洗，得到非结构化数据对应的结构化数据，将结构化数据导入数据仓库；数据提取模块，用于从数据仓库中提取数据分析业务所需的结构化数据；数据二次清洗模块，用于对结构化数据进行二次数据清洗，将清洗后的数据导入数据库中。

进一步，上述数据读取模块，还用于从大数据平台的存储平台中，读取非结构化数据。

进一步，上述数据初次清洗模块，还用于根据预设的业务规则，对非结构化数据进行解析处理，对解析后的数据进行初次数据清洗。

第三方面，本发明实施例提供了一种服务器，该服务器包括存储器以及处理器，该存储器用于存储支持处理器执行上述第一方面中的方法的程序，该处理器被配置为用于执行存储器中存储的程序。

本发明实施例带来了以下有益效果：

本发明提供了一种大数据清洗方法、装置和服务器，该发明应用于大数据平台，首先读取预先保存的非结构化数据；然后根据预设的业务规则，对非结构化数据进行初次数据清洗，得到该非结构化数据对应的结构化数据，并将该结构化数据导入数据仓库；再从数据仓库中提取数据分析业务所需的结构化数据；最后对该结构化数据进行二次数据清洗，将清洗后的数据导入数据库中。该技术将大数据平台的非结构化数据转化为结构化数据，由于对数据进行统计、分析、探查，提高了数据利用率。

本发明的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本发明的上述技术即可得知。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施方式，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种大数据清洗方法的流程图；

图2为本发明实施例提供的另一种大数据清洗方法中初次数据清洗的流程图；

图3为本发明实施例提供的另一种大数据清洗方法中二次数据清洗的流程图；

图4为本发明实施例提供的一种大数据清洗装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

考虑到大数据平台收集到的数据为非结构化数据时，难以进行数据统计、分析和探查，数据利用率较低，基于此，本发明实施例提供的一种大数据清洗方法、装置和服务器，该技术可以应用于车联网大数据平台或者其他大数据平台的数据清洗场景中。为便于对本实施例进行理解，首先对本发明实施例所公开的一种大数据清洗方法进行详细介绍。

参见图1所示的一种大数据清洗方法的流程图，该方法应用于大数据平台，该方法的步骤包括：

步骤S102，读取预先保存的非结构化数据；

上述非结构化数据，通常是指数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据。其中可以包括所有格式的办公文档、文本、图片、XML(Extensible Markup Language，可扩展标记语言)、HTML(Hyper Text MarkupLanguage，超文本标记语言)、各类报表、图像和音频或者视频信息等。

上述非结构化数据的格式非常多样，标准也是多样性的，而且在技术上非结构化信息比结构化信息更难标准化和理解，所以存储、检索、发布以及利用需要更加智能化的IT(Information Technology，信息科技)技术来完成。

在大数据平台中，保存有大量的非结构化数据，在数据进行清洗前，需要从大数据平台中读取数据。

步骤S104，根据预设的业务规则，对上述非结构化数据进行初次数据清洗，得到非结构化数据对应的结构化数据，将该结构化数据导入数据仓库；

上述业务规则通常是指对业务定义和约束的描述，用于维持业务结构或控制和影响业务的行为。业务规则可以由业务人员创建、实时更新和调试，业务规则之间的复杂逻辑关系由规则引擎处理；与业务相关的操作规范、管理章程、规章制度、行业标准等，都可以称为业务规则，例如，在车联网大数据平台中，根据车辆数据的状态、时态等业务规则，对数据进行初次数据清洗。

业务规则实质上也可以理解为一组条件和在此条件下的操作，是一组准确凝练的语句，用于描述、约束及控制企业的结构、运作和战略，是应用程序中的一段业务逻辑。该业务逻辑通常由业务人员、企业的管理人员和程序开发人员共同开发和修改。它的理论基础是：设置一个条件集合，当满足这个条件集合时候，触发一个或者多个动作。以规则形式捕捉策略语句能提供极大的灵活性和良好的适应性，是企业保持竞争优势的决定性因素。

上述结构化数据是由二维表结构来逻辑表达和实现的数据，严格地遵循数据格式与长度规范，主要通过关系型数据库进行存储和管理。

数据清洗，通常是指对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性；该方法的初次数据清洗主要是将非结构化数据根据业务规则，得到对应的结构化数据，并将该数据导入到大数据平台的数据仓库中。

步骤S106，从上述数据仓库中提取数据分析业务所需的结构化数据；

从业务系统中提取业务数据，将业务数据导入数据仓库。然后，再从数据仓库中提取出数据分析时所需要的结构化数据，以完成二次数据清洗。

步骤S108，对上述结构化数据进行二次数据清洗，将清洗后的数据导入数据库中。

二次数据清洗是对大数据平台的数据仓库中的提取的需要的结构化数据，进行数据清洗和统计，并将二次数据清洗的结果导入到关系型数据库中。该关系型数据库，通常是建立在关系模型基础上的数据库，借助于集合代数等数学概念和方法来处理数据库中的数据。

本发明提供了一种大数据清洗方法，该方法应用于大数据平台，首先读取预先保存的非结构化数据；然后根据预设的业务规则，对非结构化数据进行初次数据清洗，得到该非结构化数据对应的结构化数据，并将该结构化数据导入数据仓库；再从数据仓库中提取数据分析业务所需的结构化数据；最后对该结构化数据进行二次数据清洗，将清洗后的数据导入数据库中。该方法将大数据平台的非结构化数据转化为结构化数据，有利于对数据进行统计、分析、探查，提高了数据利用率。

大数据清洗方法应用于车联网大数据平台，参见图2所示的另一种大数据清洗方法中初次数据清洗的流程图，该初次数据清洗的具体步骤如下所示：

步骤S202，读取预先保存的非结构化数据；

该步骤从大数据平台的存储平台中，读取非结构化数据。车联网大数据平台可以收集到大量的车辆的非结构化数据，该数据难以进行统计、分析等操作，需将其转化为结构化数据来完成上述操作。

步骤S204，根据预设的业务规则，对上述非结构化数据进行解析处理；

上述解析处理通常是指对数据进行深入的分析、拆解分析等。例如，在网络通信过程中需要传输数据，常用的数据格式包括XML；XML数据解析的过程为：首先创建XML文件，接着在类中包含头文件，并使用命名文件，然后获得XML文件全路径，并加载XML文件，最后获得元素并解析。

步骤S206，对解析后的数据进行初次数据清洗。

将解析后的车联网的非结构化数据，按照业务规则转化为结构化数据，并导入到车联网大数据平台的数据仓库中，就完成了初次数据清洗的全部过程。

参见图3所示的另一种大数据清洗方法中二次数据清洗的流程图，二次数据清洗的具体步骤如下所示：

步骤S302，从业务系统中提取业务数据，将业务数据导入数据仓库；

在车联网大数据平台中，上述业务数据可以包括在车辆中能够采集到的各种数据，例如，车辆的运行状态、时间或者车辆中仪表的显示状态等等。

步骤S304，从上述数据仓库中提取数据分析业务所需的结构化数据；

步骤S306，对上述结构化数据进行二次数据清洗；

根据用户的需求，对数据仓库中的相关业务数据进行二次清洗，通常是对该数据进行重新审查和校验，删除重复信息、纠正存在的错误，并提供数据一致性。

步骤S308，将清洗后的数据进行统计，将统计结果导入关系型数据库中；该关系型数据库根据数据分析业务的需求建立。

上述关系型数据库是建立在关系模型基础上的数据库，该关系可以是自定义的，例如，根据车辆数据的编号、车辆数据的存入时间等关系来建立数据库。

本发明实施例提供了另一种大数据清洗方法，该方法结合车辆网大数据平台，详细介绍了两次数据清洗的具体过程，初次数据清洗(也可称为第一次数据清洗)是将车联网大数据平台数据仓库中的非结构化数据转化为结构化数据；二次数据清洗(也可称为第二次数据清洗)是对车联网的业务数据进行清洗；上述数据清洗方法，适应了车联网行业大数据的数据分析、统计和探查，满足了车联网大数据未来的需求。

对应于上述方法实施例，参见图4所示的一种大数据清洗装置的结构示意图；该装置包括：

数据读取模块40，用于读取预先保存的非结构化数据；

数据初次清洗模块41，用于根据预设的业务规则，对非结构化数据进行初次数据清洗，得到非结构化数据对应的结构化数据，将上述结构化数据导入数据仓库；

数据提取模块42，用于从上述数据仓库中提取数据分析业务所需的结构化数据；

数据二次清洗模块43，用于对上述结构化数据进行二次数据清洗，将清洗后的数据导入数据库中。

上述数据读取模块40，还用于从上述大数据平台的存储平台中，读取非结构化数据。

上述数据初次清洗模块41，还用于根据预设的业务规则，对上述非结构化数据进行解析处理，对解析后的数据进行初次数据清洗。

本发明实施例提供的大数据清洗装置，与上述实施例提供的大数据清洗方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

本实施例还提供了一种与上述方法实施例相对应的一种服务器，上述服务器包括存储器以及处理器，上述存储器用于存储支持处理器执行大数据清洗方法的程序，上述处理器被配置为用于执行上述存储器中存储的程序。

本发明实施例所提供的大数据清洗方法、装置和服务器，将大数据平台的非结构化数据转化为结构化数据，有利于对数据进行统计、分析、探查，提高了车联网大数据的利用率。

本发明实施例所提供的大数据清洗方法、装置和服务器的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和/或装置的具体工作过程，可以参考前述方法实施例中的对应过程

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种大数据清洗方法，其特征在于，应用于大数据平台，所述方法包括：

读取预先保存的非结构化数据；

根据预设的业务规则，对所述非结构化数据进行初次数据清洗，得到所述非结构化数据对应的结构化数据，将所述结构化数据导入数据仓库；

从所述数据仓库中提取数据分析业务所需的所述结构化数据；

对所述结构化数据进行二次数据清洗，将清洗后的数据导入数据库中。

2.根据权利要求1所述的方法，其特征在于，读取预先保存的非结构化数据的步骤，包括：

从所述大数据平台的存储平台中，读取非结构化数据。

3.根据权利要求1所述的方法，其特征在于，根据预设的业务规则，对所述非结构化数据进行初次数据清洗的步骤，包括：

根据预设的业务规则，对所述非结构化数据进行解析处理；

对解析后的数据进行初次数据清洗。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：从业务系统中提取业务数据，将所述业务数据导入所述数据仓库。

5.根据权利要求1所述的方法，其特征在于，对所述结构化数据进行二次数据清洗，将清洗后的数据导入数据库中的步骤，包括：

对所述结构化数据进行二次数据清洗；

将清洗后的数据进行统计，将统计结果导入关系型数据库中；所述关系型数据库根据所述数据分析业务的需求建立。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述方法应用于车联网大数据平台。

7.一种大数据清洗装置，其特征在于，所述装置包括：

数据读取模块，用于读取预先保存的非结构化数据；

数据初次清洗模块，用于根据预设的业务规则，对所述非结构化数据进行初次数据清洗，得到所述非结构化数据对应的结构化数据，将所述结构化数据导入数据仓库；

数据提取模块，用于从所述数据仓库中提取数据分析业务所需的所述结构化数据；

数据二次清洗模块，用于对所述结构化数据进行二次数据清洗，将清洗后的数据导入数据库中。

8.根据权利要求7所述的装置，其特征在于，所述数据读取模块，还用于从所述大数据平台的存储平台中，读取非结构化数据。

9.根据权利要求7所述的装置，其特征在于，所述数据初次清洗模块，还用于根据预设的业务规则，对所述非结构化数据进行解析处理，对解析后的数据进行初次数据清洗。

10.一种服务器，其特征在于，所述服务器包括存储器以及处理器，所述存储器用于存储支持处理器执行权利要求1至6任一项所述方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。