CN108052645A - 企业内部数据标准化管理方法 - Google Patents

Abstract

本发明涉及数据管理系统技术领域，具体为一种企业内部数据标准化管理方法，包括以下内容：主数据新建步骤，用户通过主数据新建子模块建立新的主数据，并将主数据存储到主数据存储子模块的主数据列表中，所述主数据包括数据清洗规则；数据清洗步骤，数据操作模块通过数据读写模块读取各个业务系统的数据，并将读取到的数据与主数据列表中的主数据进行匹配，将匹配到的数据按照对应的主数据的数据清洗规则进行替换，并通过数据读写模块保存到原来的业务系统中。本发明提供的企业内部数据标准化管理方法，能够解决现有企业业务系统存在主数据混乱的问题。

Description

企业内部数据标准化管理方法

技术领域

本发明涉及数据管理系统技术领域，具体而言，涉及一种企业内部数据标准化管理方法。

背景技术

信息——本质上就是数据，即有一定格式的、代表某些特殊意义的数据或数据集合。企业信息化就是对企业数据集合进行数字化设计、实施、应用及管理，如何保证数据的规范化和标准化是企业信息化成败最为关键的因素。数据标准化工作是企业进行信息化建设最基础的工作，是信息化系统整体化和数据共享的基本保证。

计算机系统是一套数据处理系统，要应用计算机处理各项业务，被处理的数据必须标准化、规范化，没有标准化、规范化的数据，再大的投资也将付诸东流，业界流行的企业信息化是“三分技术、七分管理、十二分数据”就是这个道理。只有实现数据的标准和统一，业务流程才能通畅流转；只有实现数据的有效积累，决策才有据可循；只有数据准确，才能保证系统的完善。特别是以ERP(企业资源计划)为核心的企业信息系统，数据的集成和共享是其重要的特点，更是强调数据的标准和统一。数据标准化、规范化是实现信息集成和共享的前提，在此基础上才谈得上信息的准确、完整和及时。没有数据标准化，信息共享就无从谈起，而数据标准化离不开业务模型的标准化、基础数据的标准化和文档的标准化，只有解决了这些方面的标准化，并实现信息资源的规范管理，才能从根本上消除各业务系统的“信息孤岛”。

然而，很多企业，尤其是从小企业逐渐发展的企业，往往不重视数据标准化的工作，致使系统中存在大量不统一的数据，例如，对于一个客户公司的名字，在业务系统中即存在简称又存在全称；对于一个产品的名称，随着产品功能的拓展，需要进行更改，造成业务系统中该产品存在多个名称等。

一方面，这会造成业务数据混乱，给公司的管理带来不便，尤其是当这个数据为比较关键的重要数据(又称主数据)时，会给公司进行业务统计、安排、运营等造成巨大的障碍；另一方面，随着企业的发展，业务越来越多，使用的业务系统也越来越多，不同的业务系统之间常常需要进行复杂的数据交换，数据不统一的问题无疑影响业务系统之间的数据传输，影响业务的开展。

发明内容

本发明意在提供一种企业内部数据标准化管理方法，能够解决现有企业业务系统存在主数据混乱的问题。

为了解决上述技术问题，本专利提供如下基础技术方案：

企业内部数据标准化管理方法，该方法包括以下内容：

主数据新建步骤，用户通过主数据新建子模块建立新的主数据，并将主数据存储到主数据存储子模块的主数据列表中，所述主数据包括数据清洗规则；

数据清洗步骤，数据操作模块根据主数据列表的主数据对各个业务系统的数据进行清洗；

所述数据清洗规则包括替换规则和映射规则，所述数据清洗步骤具体包括以下步骤：

数据读取匹配步骤，数据操作模块通过数据读写模块读取各个业务系统的数据，对主数据列表中的每一个主数据执行数据替换步骤、数据关联映射步骤和数据回写步骤；

数据替换步骤，数据操作模块从各个业务系统的数据中筛选出与主数据的替换规则相匹配的数据并按照替换规则进行替换；

数据关联映射步骤，数据操作模块从各个业务系统的数据中筛选出与主数据的映射规则相匹配的数据并按照替换规则与主数据建立映射关联；

数据回写步骤，数据操作模块通过数据读写模块将各个业务系统清洗后的数据保存到原来的业务系统中。

本发明技术方案中，通过主数据管理模块存储并管理主数据列表，主数据列表中每一个主数据均包含相应的数据清洗规则，数据操作模块根据主数据列表中的主数据对各个业务系统的数据进行清洗，替换每一个符合数据清洗规则的数据，从而解决企业业务系统中同一数据的存在形式不一致造成数据混乱的问题，通过数据关联映射步骤，将不适于直接替换的数据(如某一项不标准但却使用了很长时间，改动之后影响较大的数据)采用关联映射的方式进行映射关联的建立，避免直接替换给管理带来不便。

进一步，主数据新建步骤包括主数据检验步骤和主数据生成步骤，所述主数据检验步骤具体包括：

步骤一：主数据新建子模块获取用户输入的主数据关键字；

步骤二：主数据新建子模块读取主数据存储子模块中的主数据列表，将用户输入的主数据关键字与主数据列表中的主数据进行匹配；

步骤三：主数据新建子模块判断是否存在与用户输入的主数据关键字完全相同的主数据，如果是，则结束本次主数据的建立，如果否，则执行下一步；

步骤四：主数据新建子模块筛选出与用户输入的主数据关键字相似度超过预设值的主数据；

步骤五：主数据新建子模块对每一个筛选出来的主数据执行步骤六至步骤八：

步骤六：主数据新建子模块获取用户输入的主数据关键字与筛选传来的主数据之间的差异；

步骤七：主数据新建子模块获取每个差异对应的分值，计算差异的总分值；

步骤八：主数据新建子模块判断差异的总分值是否在预设的差异值范围内，如果是，则将该主数据标记为嫌疑数据，如果否，则跳过该主数据；

步骤九：主数据新建子模块筛选出所有的标记为嫌疑数据的主数据供用户查看确认。

根据用户输入的主数据，从主数据列表中查找相似的主数据，从而判断并提醒用户要建立的主数据是否已经存在，避免重复建立主数据。

进一步，所述主数据生成步骤具体包括以下步骤：

步骤一：主数据新建子模块通过数据读写模块读取各个业务系统的数据，将用户输入的主数据关键字与各个业务系统的数据进行匹配；

步骤二：主数据新建子模块筛选出与用户输入的主数据关键字相似度超过预设值的数据作为清洗关键词供用户选择；

步骤三：主数据新建子模块统计每一个用户选择的清洗关键词在业务系统中出现的次数、占比和存在时长；

步骤四：主数据新建子模块将占比超过预设值、出现次数超过预设值以及存在时长超过预设值的清洗关键词作为映射关键词，将其他的清洗关键词作为替换关键词；

步骤五：主数据新建子模块根据映射关键词生成映射规则，根据替换关键词生成替换规则，根据用户输入的主数据、映射规则以及替换规则生成数据清洗规则。

主数据新建子模块自动从各个业务系统中已有的数据中匹配与主数据相似的数据，并将这些数据作为清洗关键词，使用户了解到各个业务系统中现在存在的与主数据相似的数据，根据清洗关键词的建立时间、出现次数和占比，进而确定该清洗关键词使用直接替换的形式还是使用映射关联的形式进行清洗，分别建立映射规则和替换规则，主数据新建子模块最终根据映射规则和替换规则生成数据清洗规则。

进一步，主数据新建步骤还包括审批步骤，管理者对用户新建的主数据进行审批，主数据新建子模块在审批通过后将主数据添加到主数据列表中。

通过审批子模块便于管理人员对于主数据的创建进行控制。

进一步，还包括数据输入控制步骤，包括：

步骤一：数据输入控制模块获取用户在业务系统中提交的主要数据；

步骤二：数据输入控制模块检测用户输入的主要数据是否在主数据列表中存在，若是则判定用户的输入有效，若否则判断用户的输入无效。

通过输入控制模块控制员工在各个业务系统输入关键数据时，只能在主数据列表中选择，可以规范后续输入的数据，避免再次出现与主数据不统一的数据。

进一步，所述数据清洗步骤包括备份还原步骤，备份还原步骤包括以下内容：

备份步骤：备份还原子模块对被清洗的数据进行备份；

还原步骤：备份还原子模块根据用户的输入对被清洗的数据进行还原。

通过备份还原子模块对被清洗的数据进行备份，防止由于误操作而错误的修改业务数据，造成损失。

附图说明

图1为本发明企业内部数据标准化管理方法实施例中所使用的数据标准化系统的逻辑框图。

具体实施方式

下面通过具体实施方式对本发明作进一步详细的说明：

如图1所示，本实施例企业内部数据标准化管理方法使用了以下的数据标准化系统，该系统包括数据读写模块、主数据管理模块、数据操作模块和数据控制模块，其中：

数据读写模块用于读写各个业务系统的数据；

主数据管理模块，包括主数据存储子模块审批子模块和主数据新建子模块，主数据存储子模块存储有主数据列表和数据清洗规则列表，主数据列表中的主数据与清洗规则列表中的清洗规则一一对应，所述主数据新建子模块用于新建主数据以及与主数据对应的数据清洗规则并分别存储到主数据列表和清洗规则列表中；

主数据新建子模块包括主数据输入单元、主数据查找单元、关键词匹配单元和数据清洗规则生成单元。

主数据输入单元用于供用户输入要建立的主数据，主数据查找单元用于查找并验证用户输入的主数据是否已经在主数据列表中存在，避免重复建立主数据。

关键词匹配单元能够通过数据读写模块从各个业务系统的数据中匹配与用户输入的主数据相似的数据作为清洗关键词供用户选择，使用户了解到各个业务系统中现在存在的与主数据相似的数据；

数据清洗规则生成单元用于根据用户输入的主数据和选择的清洗关键词生成数据清洗规则。数据清洗规则包括替换规则和映射规则，所述替换规则包括清洗关键词和匹配关联关键词。匹配关联关键词用于在数据清理时和清洗关键词一起对数据进行匹配，数据清洗规则生成单元能够根据用户选择的清洗关键词提取匹配关联关键词供用户选择，如对于公司名称，用户选择了包含了公司名称的清洗关键词后，数据清洗规则生成单元自动根据用户选择的关键词的共有的其他关联数据，例如公司地址，根据相似度将关联数据分组，供用户选择，并将用户的选择作为匹配关联关键词。

审批子模块用于管理者对用户新建的主数据进行审批，并在审批通过后将主数据添加到主数据列表中。审批子模块便于管理人员对于主数据的创建进行控制。

数据输入控制模块用于控制各个业务系统的主要数据只能输入主数据列表中存在的主数据。通过控制员工在各个业务系统输入关键数据时只能在主数据列表中选择，可以规范后续输入的数据，避免再次出现与主数据不统一的数据。

数据操作模块包括数据替换子模块、映射建立子模块和备份还原子模块，数据替换子模块用于根据替换规则通过数据读写模块对各个业务系统中的数据进行匹配，具体的，其首先以清洗关键词为匹配关键字，选出所有匹配的数据，然后再以匹配关联关键词对所有匹配的数据进行筛选，选出与匹配关联关键词相匹配的数据，然后按照数据清洗规则对匹配的数据进行清洗替换。通过数据操作模块将各个业务系统的数据进行清洗，替换每一个符合数据清洗规则的数据，从而解决企业业务系统中同一数据的存在形式不一致造成数据混乱的问题。

匹配关联关键词可以避免同内容的数据被错误的替换，例如，业务系统中存在两个数据均为“X公司”，但其指代的是不同的公司，具有不同的地址、经营业务，而后通过本系统建立了一个名为“重庆X科技有限责任公司”对业务系统的数据进行清洗，管理人员将“X公司”作为清洗关键词，此时就需要管理人员选择和确认相应的匹配关联关键词，如以公司地址作为匹配关联关键词，从而使系统能够正确区分两个“X公司”，避免误操作。

映射建立子模块用于根据映射规则，查找相匹配的主数据并按照映射规则建立映射关系。

备份还原子模块用于对被清洗的数据进行备份，备份还原子模块还用于对被清洗的数据进行还原。通过备份还原子模块对被清洗的数据进行备份，防止由于误操作而错误的修改业务数据，造成损失。

还包括误操作检测模块，所述误操作检测模块能够获取主数据列表中每一主数据在各个业务系统中的记录，并判断在清洗后同一个主数据是否存在多个完全不同的匹配关联关键词，从而判断是否存在误操作或是否应该新增关键字，并提醒管理人员。例如，系统已经按照数据清洗规则将业务系统中的“X公司”清洗为“重庆X科技有限责任公司”，但是如果后面误操作检测模块检测到了同一个“重庆X科技有限责任公司”存在多个不同的地址数据，则可能是由于录入人员录入错误的情况，或者是由于使用了数据输入控制模块，而主数据列表中不存在录入人员要录入的公司名称而错选的问题，进而提醒管理人员进行相应的处理。

该方法包括以下内容：

主数据新建步骤，用户通过主数据新建子模块建立新的主数据和数据清洗规则，并将主数据和数据清洗规则分别存储到主数据存储子模块的主数据列表和清洗规则列表中；

数据清洗步骤，数据操作模块根据主数据列表的主数据对各个业务系统的数据进行清洗；

所述数据清洗步骤具体包括以下步骤：

数据读取匹配步骤，数据操作模块通过数据读写模块读取各个业务系统的数据，对主数据列表中的每一个主数据执行数据替换步骤、数据关联映射步骤和数据回写步骤；

数据替换步骤，数据操作模块从各个业务系统的数据中筛选出与主数据的替换规则相匹配的数据并按照替换规则进行替换；

数据关联映射步骤，数据操作模块从各个业务系统的数据中筛选出与主数据的映射规则相匹配的数据并按照替换规则与主数据建立映射关联；

数据回写步骤，数据操作模块通过数据读写模块将各个业务系统清洗后的数据保存到原来的业务系统中。

主数据新建步骤包括主数据检验步骤和主数据生成步骤，主数据检验步骤具体包括：

步骤一：主数据新建子模块获取用户输入的主数据关键字；

步骤二：主数据新建子模块读取主数据存储子模块中的主数据列表，将用户输入的主数据关键字与主数据列表中的主数据进行匹配；

步骤三：主数据新建子模块判断是否存在与用户输入的主数据关键字完全相同的主数据，如果是，则结束本次主数据的建立，如果否，则执行下一步；

步骤四：主数据新建子模块筛选出与用户输入的主数据关键字相似度超过预设值的主数据；

步骤五：主数据新建子模块对每一个筛选出来的主数据执行步骤六至步骤八：

步骤六：主数据新建子模块获取用户输入的主数据关键字与筛选传来的主数据之间的差异；

步骤七：主数据新建子模块获取每个差异对应的分值，计算差异的总分值；

步骤八：主数据新建子模块判断差异的总分值是否在预设的差异值范围内，如果是，则将该主数据标记为嫌疑数据，如果否，则跳过该主数据；

步骤九：主数据新建子模块筛选出所有的标记为嫌疑数据的主数据供用户查看确认。

所述主数据生成步骤具体包括以下步骤：

步骤一：主数据新建子模块通过数据读写模块读取各个业务系统的数据，将用户输入的主数据关键字与各个业务系统的数据进行匹配；

步骤二：主数据新建子模块筛选出与用户输入的主数据关键字相似度超过预设值的数据作为清洗关键词供用户选择；

步骤三：主数据新建子模块统计每一个用户选择的清洗关键词在业务系统中出现的次数、占比和存在时长；

步骤四：主数据新建子模块将占比超过预设值、出现次数超过预设值以及存在时长超过预设值的清洗关键词作为映射关键词，将其他的清洗关键词作为替换关键词；

步骤五：主数据新建子模块根据替换关键词从业务系统中筛选出与替换关键词关联性较大的数据，并根据相似度对数据进行归类，生成关联匹配关键词供用户选择；

步骤六：主数据新建子模块根据映射关键词生成映射规则，根据替换关键词和关联匹配关键词生成替换规则，根据用户输入的主数据、映射规则以及替换规则生成数据清洗规则；

步骤七：主数据新建子模块将用户输入的主数据和生成的数据清洗规则存储到主数据存储子模块中。

主数据新建步骤还包括审批步骤，管理者对用户新建的主数据进行审批，主数据新建子模块在审批通过后将主数据添加到主数据列表中。

还包括数据输入控制步骤，包括：

步骤一：数据输入控制模块获取用户在业务系统中提交的主要数据；

步骤二：数据输入控制模块检测用户输入的主要数据是否在主数据列表中存在，若是则判定用户的输入有效，若否则判断用户的输入无效。

数据清洗步骤包括备份还原步骤，备份还原步骤包括以下内容：

备份步骤：备份还原子模块对被清洗的数据进行备份；

还原步骤：备份还原子模块根据用户的输入对被清洗的数据进行还原。

以上的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (6)

1.企业内部数据标准化管理方法，其特征在于：该方法包括以下内容：

主数据新建步骤，用户通过主数据新建子模块建立新的主数据，并将主数据存储到主数据存储子模块的主数据列表中，所述主数据包括数据清洗规则；

数据清洗步骤，数据操作模块根据主数据列表的主数据对各个业务系统的数据进行清洗；

所述数据清洗规则包括替换规则和映射规则，所述数据清洗步骤具体包括以下步骤：

数据读取匹配步骤，数据操作模块通过数据读写模块读取各个业务系统的数据，对主数据列表中的每一个主数据执行数据替换步骤、数据关联映射步骤和数据回写步骤；

数据替换步骤，数据操作模块从各个业务系统的数据中筛选出与主数据的替换规则相匹配的数据并按照替换规则进行替换；

数据关联映射步骤，数据操作模块从各个业务系统的数据中筛选出与主数据的映射规则相匹配的数据并按照替换规则与主数据建立映射关联；

数据回写步骤，数据操作模块通过数据读写模块将各个业务系统清洗后的数据保存到原来的业务系统中。

2.根据权利要求1所述的企业内部数据标准化管理方法，其特征在于：主数据新建步骤包括主数据检验步骤和主数据生成步骤，所述主数据检验步骤具体包括：

步骤一：主数据新建子模块获取用户输入的主数据关键字；

步骤二：主数据新建子模块读取主数据存储子模块中的主数据列表，将用户输入的主数据关键字与主数据列表中的主数据进行匹配；

步骤三：主数据新建子模块判断是否存在与用户输入的主数据关键字完全相同的主数据，如果是，则结束本次主数据的建立，如果否，则执行下一步；

步骤四：主数据新建子模块筛选出与用户输入的主数据关键字相似度超过预设值的主数据；

步骤五：主数据新建子模块对每一个筛选出来的主数据执行步骤六至步骤八：

步骤六：主数据新建子模块获取用户输入的主数据关键字与筛选传来的主数据之间的差异；

步骤七：主数据新建子模块获取每个差异对应的分值，计算差异的总分值；

步骤八：主数据新建子模块判断差异的总分值是否在预设的差异值范围内，如果是，则将该主数据标记为嫌疑数据，如果否，则跳过该主数据；

步骤九：主数据新建子模块筛选出所有的标记为嫌疑数据的主数据供用户查看确认。

3.根据权利要求2所述的企业内部数据标准化管理方法，其特征在于：所述主数据生成步骤具体包括以下步骤：

步骤一：主数据新建子模块通过数据读写模块读取各个业务系统的数据，将用户输入的主数据关键字与各个业务系统的数据进行匹配；

步骤二：主数据新建子模块筛选出与用户输入的主数据关键字相似度超过预设值的数据作为清洗关键词供用户选择；

步骤三：主数据新建子模块统计每一个用户选择的清洗关键词在业务系统中出现的次数、占比和存在时长；

步骤四：主数据新建子模块将占比超过预设值、出现次数超过预设值以及存在时长超过预设值的清洗关键词作为映射关键词，将其他的清洗关键词作为替换关键词；

步骤五：主数据新建子模块根据映射关键词生成映射规则，根据替换关键词生成替换规则，根据用户输入的主数据、映射规则以及替换规则生成数据清洗规则。

4.根据权利要求1所述的企业内部数据标准化管理方法，其特征在于：主数据新建步骤还包括审批步骤，管理者对用户新建的主数据进行审批，主数据新建子模块在审批通过后将主数据添加到主数据列表中。

5.根据权利要求1所述的企业内部数据标准化管理方法，其特征在于：还包括数据输入控制步骤，包括：

步骤一：数据输入控制模块获取用户在业务系统中提交的主要数据；

步骤二：数据输入控制模块检测用户输入的主要数据是否在主数据列表中存在，若是则判定用户的输入有效，若否则判断用户的输入无效。

6.根据权利要求1所述的企业内部数据标准化管理方法，其特征在于：所述数据清洗步骤包括备份还原步骤，备份还原步骤包括以下内容：

备份步骤：备份还原子模块对被清洗的数据进行备份；

还原步骤：备份还原子模块根据用户的输入对被清洗的数据进行还原。