CN105183949A - 一种铁路主数据的清洗方法及系统 - Google Patents

Abstract

本发明提供了一种铁路主数据的清洗方法及系统，该方法包括：构建铁路主数据属性模型；接收导入数据属性模型的导入数据；对导入数据的编码数据进行唯一性检验；根据预设的编码规则，对通过唯一性检验的导入数据中的编码数据，利用正值表达式方式进行数据格式验证；将通过数据格式验证的编码数据写入主数据属性模型，并将存在空缺值、错误值或冲突值的错误数据作为异常编码数据进行记录；对主数据属性模型中编码数据的变化状态进行记录，绘制编码数据的变化轨迹，以实现编码数据的管理。本发明大大提高了数据清洗的准确度，降低了数据清洗的成本，使导入的数据和已有数据保持一致，提高数据的共享性。

Description

一种铁路主数据的清洗方法及系统

技术领域

本发明涉及数据管理技术领域，尤其涉及一种铁路主数据的清洗方法及系统。

背景技术

随着高速铁路信息化发展，铁路系统中各部门业务数据的一致性管理越来越重要。

在铁路信息化建设之初，公用基础信息的理念薄弱，缺乏统筹规划，各系统建设多面向各自单独的业务应用，公用基础信息分散于各个相互隔离的系统，形成自采集、自存储、自维护的现象。对公用基础信息的概念有着不同的理解，从各系统中抽取数据进行统一的管理没有达成共识，且各系统基础信息格式各异，多词一义、一词多义等现象普遍存在，数据难以共享。

因此，如何结合目前高速铁路信息化的行业需求，提供一种铁路主数据的清洗方法及系统，以满足不同机构对数据访问的需求，保证铁路行业内各业务应用系统的基础数据的一致性具有重要意义。

发明内容

鉴于上述问题，本发明提出了一种克服上述问题或者至少部分地解决上述问题的铁路主数据的清洗方法及系统，实现铁路主数据的数据清洗，使导入的数据和已有数据保持一致，提高数据的共享性。

根据本发明的一个方面，提供了一种铁路主数据的清洗方法，该方法包括：

构建铁路主数据属性模型；

接收导入所述数据属性模型的导入数据；

对导入数据的编码数据进行唯一性检验；

根据预设的编码规则，对通过唯一性检验的导入数据中的编码数据，利用正值表达式方式进行数据格式验证；

将通过数据格式验证的编码数据写入主数据属性模型，并将存在空缺值、错误值或冲突值的错误数据作为异常编码数据进行记录；

对所述主数据属性模型中编码数据的变化状态进行记录，绘制编码数据的变化轨迹，以实现编码数据的管理。

其中，所述方法还包括：

对所述异常编码数据进行编码修改；

根据预设的编码规则，利用正值表达式方式对修正后的编码数据再次进行第二数据格式验证，并将通过第二数据格式验证的编码数据写入主数据属性模型。

其中，所述方法还包括：

定期对所述主数据属性模型中的编码数据进行数据格式的一致性校验；

根据当前的编码规则，对校验出的数据格式不一致的编码数据进行编码更新，并对该编码数据的变化状态进行记录，更新该编码数据的变化轨迹。

其中，当所述主数据属性模型中编码数据进行更新之后，所述方法还包括：

对更新后的编码数据进行审核校验；

根据预设版本管理策略，确定通过审核校验的编码数据的发布版本，并进行发布。

其中，当接收到用户写入的新的编码数据时，所述方法还包括：

对用户写入的新的编码数据进行唯一性检验；

根据所述预设的编码规则，对用户输入的新的编码数据进行数据格式的一致性校验。

其中，所述对所述主数据属性模型中编码数据的变化状态进行记录，绘制编码数据的变化轨迹，包括：

为写入所述主数据属性模型中的编码数据添加时间戳；

为更新后的编码数据更新所述时间戳；

通过所述时间戳的变化进行编码数据的状态监控，并绘制所述编码数据随时间的变化轨迹。

其中，所述方法还包括：

根据所述时间戳计算编码数据的生效状态日期和失效状态日期；

推送进入生效状态日期的编码数据，并删除进入失效状态日期的编码数据。

其中，所述预设的编码规则为根据国家标准、铁路行业标准和事实标准确定的。

根据本发明的另一个方面，提供了一种铁路主数据的清洗系统，该系统包括：

主数据模型构建模块，用于构建铁路主数据属性模型；

数据获取模块，用于接收导入所述数据属性模型的导入数据；

唯一性检验模块，用于对导入数据的编码数据进行唯一性检验；

数据格式验证模块，用于根据预设的编码规则，对通过唯一性检验的导入数据中的编码数据，利用正值表达式方式进行数据格式验证；

数据写入模块，用于将通过数据格式验证的编码数据写入主数据属性模型；

异常数据记录模块，用于将存在空缺值、错误值或冲突值的错误数据作为异常编码数据，并进行记录；

编码数据管理模块，用于对所述主数据属性模型中编码数据的变化状态进行记录，绘制编码数据的变化轨迹，以实现编码数据的管理。

其中，所述系统还包括：

编码模块，用于对所述异常编码数据进行编码修改；

所述数据格式验证模块，还用于根据预设的编码规则，利用正值表达式方式对修正后的编码数据再次进行第二数据格式验证；

数据写入模块，还用于将通过第二数据格式验证的编码数据写入主数据属性模型。

其中，所述数据格式验证模块，还用于定期对所述主数据属性模型中的编码数据进行数据格式的一致性校验；

所述编码模块，还用于根据当前的编码规则，对校验出的数据格式不一致的编码数据进行编码更新；

所述编码数据管理模块，还用于对该编码数据的变化状态进行记录，并更新该编码数据的变化轨迹。

本发明的有益效果为：

本发明提供的铁路主数据的清洗方法及系统，可以从不同业务导入的基础数据中发现错误数据，并对异常数据进行记录和修改，再次进行清洗，待清洗成功后，导入状态激活，数据可以真正入库。大大提高了数据清洗的准确度，降低了数据清洗成本。而且通过数据清洗使导入的数据和已有数据保持一致，提高数据的共享性，有利于各业务系统进行数据同步与共享。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明实施例提出的一种铁路主数据的清洗方法的流程图；

图2为本发明实施例提出的一种铁路主数据的清洗系统的结构框图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如基础字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非被特定定义，否则不会用理想化或过于正式的含义来解释。

图1示出了本发明实施例提出的一种铁路主数据的清洗方法的流程图。

参照图1，本发明实施例提出的铁路主数据的清洗方法包括：

S11、构建铁路主数据属性模型；

S12、接收导入所述数据属性模型的导入数据；

S13、对导入数据的编码数据进行唯一性检验；

本实施例，通过编码数据进行唯一性检验进行查重，保证铁路行业内各业务应用系统的基础数据的一致性，以实现不同机构对数据访问的需求。

S14、根据预设的编码规则，对通过唯一性检验的导入数据中的编码数据，利用正值表达式方式进行数据格式验证；

需要说明的是，预设的编码规则包括码段的划分、编码的字符格式以及编码长度；所述预设的编码规则为根据国家标准、铁路行业标准和事实标准确定的。

具体的，根据国家标准、行业标准和事实标准的编码规则，对对通过唯一性检验的导入数据中的编码数据，利用正值表达式方式进行数据格式验证。

S15、将通过数据格式验证的编码数据写入主数据属性模型，并将存在空缺值、错误值或冲突值的错误数据作为异常编码数据进行记录；

S16、对所述主数据属性模型中编码数据的变化状态进行记录，绘制编码数据的变化轨迹，以实现编码数据的管理。

本发明实施例提供的铁路主数据的清洗方法，可以从不同业务导入的基础数据中发现错误数据，并对异常数据进行记录和修改，再次进行清洗，待清洗成功后，导入状态激活，数据可以真正入库。大大提高了数据清洗的准确度，降低了数据清洗成本。而且通过数据清洗使导入的数据和已有数据保持一致，提高数据的共享性，有利于各业务系统进行数据同步与共享。

进一步地，所述方法还包括：

对所述异常编码数据进行编码修改；

根据预设的编码规则，利用正值表达式方式对修正后的编码数据再次进行第二数据格式验证，并将通过第二数据格式验证的编码数据写入主数据属性模型。

本发明实施例公开的铁路主数据清洗方法，符合铁路行业主数据编码规则的校验，通过正值表达式验证数据格式。通过唯一性检验和基于正值表达式的数据格式的验证，对脏数据进行检测，干净数据直接送入清洗后的数据库，对于存在空缺值、错误值、冲突值的错误编码数据进入数据异常记录模块；并根据记录内容提示修改信息后再次进入数据清洗。实现从不同业务导入的基础数据中发现错误数据，并对异常数据进行记录和修改，再次进行清洗，待清洗成功后，导入状态激活，数据可以真正入库。大大提高了数据清洗的准确度，降低了数据清洗成本。而且通过数据清洗使导入的数据和已有数据保持一致，提高数据的共享性，有利于各业务系统进行数据同步与共享。

进一步地，所述方法还包括：

定期对所述主数据属性模型中的编码数据进行数据格式的一致性校验；

根据当前的编码规则，对校验出的数据格式不一致的编码数据进行编码更新，并对该编码数据的变化状态进行记录，更新该编码数据的变化轨迹。

本发明实施例提供的铁路主数据的清洗方法，不仅包括对当前导入所述数据属性模型导入的基础数据的清洗，还包括，对主数据属性模型中已有的编码数据的清洗。具体的，通过对主数据属性模型中已有的编码数据的数据格式进行一致性校验，并对数据格式不一致的编码数据，采用当前的编码规则进行编码更新，以实现已有的编码数据的清洗。

其中，当所述主数据属性模型中编码数据进行更新之后，所述方法还包括：

对更新后的编码数据进行审核校验；

根据预设版本管理策略，确定通过审核校验的编码数据的发布版本，并进行发布。

本发明另一实施例中，当接收到用户写入的新的编码数据时，所述方法还包括：

对用户写入的新的编码数据进行唯一性检验；

根据所述预设的编码规则，对用户输入的新的编码数据进行数据格式的一致性校验。

进一步地，所述对所述主数据属性模型中编码数据的变化状态进行记录，绘制编码数据的变化轨迹，包括：

为写入所述主数据属性模型中的编码数据添加时间戳；

为更新后的编码数据更新所述时间戳；

通过所述时间戳的变化进行编码数据的状态监控，并绘制所述编码数据随时间的变化轨迹。

本实施例中，所述铁路主数据的清洗方法还包括：

根据所述时间戳计算编码数据的生效状态日期和失效状态日期；

推送进入生效状态日期的编码数据，并删除进入失效状态日期的编码数据。

本发明实施例提供的铁路主数据的清洗方法，可以对不同业务导入的基础数据进行统一格式的编码，并进行唯一性检验，实现铁路主数据的数据清洗，使导入的数据和已有数据保持一致，提高数据的共享性。此外，本发明实施例通过定义编码数据的时间戳对数据从产生到失效的全过程进行监控，自动推送进入生效日期的数据和自动删除进入失效的数据。实现数据的自动化管理，减少出错的概率，节约大量的人工成本。

图2示出了本发明实施例的一种铁路主数据的清洗系统的结构框图。

参见图2，本发明实施例提出的铁路主数据的清洗系统，具体包括主数据模型构建模块21、数据获取模块22、唯一性检验模块23、数据格式验证模块24、数据写入模块25、异常数据记录模块26以及编码数据管理模块27，其中：

所述的主数据模型构建模块21，用于构建铁路主数据属性模型；

所述的数据获取模块22，用于接收导入所述数据属性模型的导入数据；

所述的唯一性检验模块23，用于对导入数据的编码数据进行唯一性检验；

所述的数据格式验证模块24，用于根据预设的编码规则，对通过唯一性检验的导入数据中的编码数据，利用正值表达式方式进行数据格式验证；

所述的数据写入模块25，用于将通过数据格式验证的编码数据写入主数据属性模型；

所述的异常数据记录模块26，用于将存在空缺值、错误值或冲突值的错误数据作为异常编码数据，并进行记录；

所述的编码数据管理模块27，用于对所述主数据属性模型中编码数据的变化状态进行记录，绘制编码数据的变化轨迹，以实现编码数据的管理。

本发明实施例中，所述铁路主数据的清洗系统还包括：编码模块：

所述的编码模块，用于对所述异常编码数据进行编码修改；

其中，所述数据格式验证模块，还用于根据预设的编码规则，利用正值表达式方式对修正后的编码数据再次进行第二数据格式验证；

其中，数据写入模块，还用于将通过第二数据格式验证的编码数据写入主数据属性模型。

进一步地，所述数据格式验证模块，还用于定期对所述主数据属性模型中的编码数据进行数据格式的一致性校验；

进一步地，所述编码模块，还用于根据当前的编码规则，对校验出的数据格式不一致的编码数据进行编码更新；

进一步地，所述编码数据管理模块，还用于对该编码数据的变化状态进行记录，并更新该编码数据的变化轨迹。

综上所述，本发明提供的铁路主数据的清洗方法及系统，可以从不同业务导入的基础数据中发现错误数据，并对异常数据进行记录和修改，再次进行清洗，待清洗成功后，导入状态激活，数据可以真正入库。大大提高了数据清洗的准确度，降低了数据清洗成本。而且通过数据清洗使导入的数据和已有数据保持一致，提高数据的共享性，有利于各业务系统进行数据同步与共享。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

本领域技术人员可以理解附图只是一个优选实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域技术人员可以理解实施例中的系统中的模块可以按照实施例描述进行分布于实施例的系统中，也可以进行相应变化位于不同于本实施例的一个或多个系统中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种铁路主数据的清洗方法，其特征在于，所述方法包括：

构建铁路主数据属性模型；

接收导入所述数据属性模型的导入数据；

对导入数据的编码数据进行唯一性检验；

根据预设的编码规则，对通过唯一性检验的导入数据中的编码数据，利用正值表达式方式进行数据格式验证；

将通过数据格式验证的编码数据写入主数据属性模型，并将存在空缺值、错误值或冲突值的错误数据作为异常编码数据进行记录；

对所述主数据属性模型中编码数据的变化状态进行记录，绘制编码数据的变化轨迹，以实现编码数据的管理。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述异常编码数据进行编码修改；

根据预设的编码规则，利用正值表达式方式对修正后的编码数据再次进行第二数据格式验证，并将通过第二数据格式验证的编码数据写入主数据属性模型。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

定期对所述主数据属性模型中的编码数据进行数据格式的一致性校验；

根据当前的编码规则，对校验出的数据格式不一致的编码数据进行编码更新，并对该编码数据的变化状态进行记录，更新该编码数据的变化轨迹。

4.根据权利要求3所述的方法，其特征在于，当所述主数据属性模型中编码数据进行更新之后，所述方法还包括：

对更新后的编码数据进行审核校验；

根据预设版本管理策略，确定通过审核校验的编码数据的发布版本，并进行发布。

5.根据权利要求4所述的方法，其特征在于，当接收到用户写入的新的编码数据时，所述方法还包括：

对用户写入的新的编码数据进行唯一性检验；

根据所述预设的编码规则，对用户输入的新的编码数据进行数据格式的一致性校验。

6.根据权利要求5所述的方法，其特征在于，所述对所述主数据属性模型中编码数据的变化状态进行记录，绘制编码数据的变化轨迹，包括：

为写入所述主数据属性模型中的编码数据添加时间戳；

为更新后的编码数据更新所述时间戳；

通过所述时间戳的变化进行编码数据的状态监控，并绘制所述编码数据随时间的变化轨迹。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

根据所述时间戳计算编码数据的生效状态日期和失效状态日期；

推送进入生效状态日期的编码数据，并删除进入失效状态日期的编码数据。

8.一种铁路主数据的清洗系统，其特征在于，所述系统包括：

主数据模型构建模块，用于构建铁路主数据属性模型；

数据获取模块，用于接收导入所述数据属性模型的导入数据；

唯一性检验模块，用于对导入数据的编码数据进行唯一性检验；

数据格式验证模块，用于根据预设的编码规则，对通过唯一性检验的导入数据中的编码数据，利用正值表达式方式进行数据格式验证；

数据写入模块，用于将通过数据格式验证的编码数据写入主数据属性模型；

异常数据记录模块，用于将存在空缺值、错误值或冲突值的错误数据作为异常编码数据，并进行记录；

编码数据管理模块，用于对所述主数据属性模型中编码数据的变化状态进行记录，绘制编码数据的变化轨迹，以实现编码数据的管理。

9.根据权利要求8所述的系统，其特征在于，所述系统还包括：

编码模块，用于对所述异常编码数据进行编码修改；

所述数据格式验证模块，还用于根据预设的编码规则，利用正值表达式方式对修正后的编码数据再次进行第二数据格式验证；

数据写入模块，还用于将通过第二数据格式验证的编码数据写入主数据属性模型。

10.根据权利要求9所述的系统，其特征在于，所述数据格式验证模块，还用于定期对所述主数据属性模型中的编码数据进行数据格式的一致性校验；

所述编码模块，还用于根据当前的编码规则，对校验出的数据格式不一致的编码数据进行编码更新；

所述编码数据管理模块，还用于对该编码数据的变化状态进行记录，并更新该编码数据的变化轨迹。