CN108549672A - 一种数据智能分析方法及系统 - Google Patents

Abstract

本发明涉及一种数据智能分析方法及系统。该方法包括：从不同版本的系统平台对应的数据库中提取待处理数据；对待处理数据进行预处理，获取预处理后的数据；对预处理后的数据进行分类；将分类后的每一类数据映射至预先建立的与该类数据对应的数据模型中；保存数据模型至最高版本的系统平台对应的数据库。通过上述方式，可以规避掉不同版本不能兼容的问题，而且后续对数据查询和数据分析时，高效快捷。

Description

一种数据智能分析方法及系统

技术领域

本发明涉及数据处理领域，尤其涉及一种数据智能分析方法及系统。

背景技术

很多企业随着公司规模的不断壮大，内部数据分析系统需要不断升级。不同版本的系统，可能由于一些差异，导致部分不能兼容。由此导致了在系统升级过程中，可能有大量历史数据不能复用，在数据查询或者其他工作时，给工作人员带来了很大的不便。

发明内容

为解决上述技术问题，本发明提供了一种数据智能分析方法及系统。

第一方面，本发明提供了一种数据智能分析方法，该方法包括：从不同版本的系统平台对应的数据库中提取待处理数据；

对待处理数据进行预处理，获取预处理后的数据；

对预处理后的数据进行分类；

将分类后的每一类数据映射至预先建立的与该类数据对应的数据模型中；

保存数据模型至最高版本的系统平台对应的数据库。

本发明的有益效果是：将所有版本的系统平台对应的数据库中的数据统一存储到最高版本的系统平台对应的数据库中。在存储至最高版本的系统平台对应的数据库之前，先对数据进行预处理，获取预处理后的数据。对预处理后的数据进行分类，并分类映射至与该类数据对应的数据模型中。规避掉不同版本不能兼容的问题，而且后续对数据查询和数据分析时，高效快捷。

第二方面，本发明提供了一种数据智能分析系统，该系统包括：提取单元，用于从不同版本的系统平台对应的数据库中提取待处理数据；

处理单元，用于对待处理数据进行预处理，获取预处理后的数据；

分类单元，用于对预处理后的数据进行分类；

映射单元，用于将分类后的每一类数据映射至预先建立的与该类数据对应的数据模型中；

保存单元，用于保存数据模型至最高版本的系统平台对应的数据库。

本发明的有益效果是：将所有版本的系统平台对应的数据库中的数据统一存储到最高版本的系统平台对应的数据库中。在存储至最高版本的系统平台对应的数据库之前，先对数据进行预处理，获取预处理后的数据。对预处理后的数据进行分类，并分类映射至与该类数据对应的数据模型中。规避掉不同版本不能兼容的问题，而且后续对数据查询和数据分析时，高效快捷。

附图说明

图1为本发明实施例提供的一种数据智能分析方法流程示意图；

图2为本发明实施例提供的另一种数据智能分析方法流程示意图；

图3为本发明实施例提供的一种数据智能分析系统结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本发明。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的装置、电路以及系统的详细说明，以免不必要的细节妨碍本发明的描述。

本发明实施例提供了一种数据智能分析方法，具体如图1所示，图1为本发明实施例提供的一种数据智能分析方法流程示意图，该方法包括：

步骤110，从不同版本的系统平台对应的数据库中提取待处理数据。

具体的，当系统平台不断改进的过程中，之前对应版本的系统平台所对应的数据库中存在的数据则不便于直接被当前的系统平台进行调用。其主要原因在于系统平台版本等级不同，可能存在不兼容的问题；或者，当前系统版本的数据存储方式与之前版本的数据存储方式不同；或者数据存储格式不同，数据调用时找不到相应的调用接口或者对应的存储路径等等问题。

为了能够实现将不同版本的数据更有效的映射到最高版本的系统平台对应的数据库中，并按照最高版本系统平台的数据库存储数据模式进行存储，则需要首先将待处理的数据从不同版本的系统平台对应的数据库中提取出来。然后，执行步骤120。

步骤120，对待处理数据进行预处理，获取预处理后的数据。

具体的，不同版本的系统平台对应的数据库中存在很多类型的数据，比如日志信息、程序代码以及与招投标客户相关的数据等。数据存储格式并非是统一的。这些数据可能是分布的或者是异构源中的数据。例如异构源中的数据可以包括关系数据和平面数据等。那么，直接将这些数据执行后续的步骤则比较困难，而且有很多数据比利于后续的使用，因此没有必要在将其存储至最高版本的系统平台对应的数据库中，而且还会占用数据库的存储资源。因此，需要将这些数据进行预处理。然后获取预处理后的数据。

步骤130，对预处理后的数据进行分类。

具体的，因为在数据提取过程中，并没有直接的进行分类。而是将这些数据集体先做了一个预处理。将不利于后续使用的数据直接剔除掉。然后将具有使用价值的有效数据保留后，需要对这些数据进行分类。

其中，数据可以包括项目表数据，项目表数据可以包括某一个项目的所有相关信息，比如该项目的项目编号信息、合同信息、招标对象、招标金额、招标日期等数据。数据还可以包括招标流程数据、投标人数据、招标人数据、专家数据、产品类别表以及编码表等等。

步骤140，将分类后的每一类数据映射至预先建立的与该类数据对应的数据模型中。

具体的，在对数据进行分类后，还需要将这些数据整理到对应的预先建立的数据模型中。

步骤150，保存数据模型至最高版本的系统平台对应的数据库。

本发明实施例提供的一种数据智能分析方法，将所有版本的系统平台对应的数据库中的数据统一存储到最高版本的系统平台对应的数据库中。并在，在存储至最高版本的系统平台对应的数据库之前，先对数据进行预处理，获取预处理后的数据。对预处理后的数据进行分类，并分类映射至与该类数据对应的数据模型中。规避掉不同版本不能兼容的问题，而且后续对数据查询和数据分析时，高效快捷。

为更加详细是说明本发明实施例提供的数据智能分析方法，本发明实施例还提供了另一种数据智能分析方法流程示意图。具体如图2所示，该方法包括：

步骤110，从不同版本的系统平台对应的数据库中提取待处理数据。

具体的，当系统平台不断改进的过程中，之前对应版本的系统平台所对应的数据库中存在的数据则不便于直接被当前的系统平台进行调用。其主要原因在于系统平台版本等级不同，可能存在不兼容的问题；或者，当前系统版本的数据存储方式与之前版本的数据存储方式不同；或者数据存储格式不同，数据调用时找不到相应的调用接口或者对应的存储路径等等问题。

为了能够实现将不同版本的数据更有效的映射到最高版本的系统平台对应的数据库中，并按照最高版本系统平台的数据库存储数据模式进行存储，则需要首先将待处理的数据从不同版本的系统平台对应的数据库中提取出来。然后，执行步骤120。

步骤120，对待处理数据进行预处理，获取预处理后的数据。

具体的，不同版本的系统平台对应的数据库中存在很多类型的数据，比如日志信息、程序代码以及与招投标客户相关的数据等。数据存储格式并非是统一的。这些数据可能是分布的或者是异构源中的数据。例如异构源中的数据可以包括关系数据和平面数据等。那么，直接将这些数据执行后续的步骤则比较困难，而且有很多数据比利于后续的使用，因此没有必要在将其存储至最高版本的系统平台对应的数据库中，而且还会占用数据库的存储资源。因此，需要将这些数据进行一个“清洗”的过程。

即，将这些数据提取至临时的中间层，然后进行“清洗”、转换和集成。

可选的，对待处理数据进行预处理，可以包括：

步骤121，剔除待处理数据中的错误数据，以及根据预设条件剔除不符合数据分析条件的数据，从而获取有效数据。

其中，这里的预设条件例如:当判定数据为操作指令的日志数据时，则剔除该数据。而这里的为操作指令的日志数据则为不符合数据分析条件的数据。

步骤122，将有效数据进行格式转换，获取统一格式后的有效数据。

步骤123，对统一格式的有效数据做集成处理。

步骤130，对预处理的数据进行分类。

具体的，因为在数据提取过程中，并没有直接的进行分类。而是将这些数据集体先做了一个预处理。将不利于后续使用的数据直接剔除掉。然后将具有使用价值的有效数据保留后，需要对这些数据进行分类。

其中，数据可以包括项目表数据，项目表数据可以包括某一个项目的所有相关信息，比如该项目的项目编号信息、合同信息、招标对象、招标金额、招标日期等数据。数据还可以包括招标流程数据、投标人数据、招标人数据、专家数据、产品类别表以及编码表等等。

步骤140，将分类后的每一类数据映射至预先建立的与该类数据对应的数据模型中。

具体的，在对数据进行分类后，还需要将这些数据整理到对应的预先建立的数据模型中。那么，具体将数据映射到对应的数据模型，则可以执行以下步骤：

步骤1401，分别提取每一类数据中的第一关键字。

步骤1402，将第一类数据中的第一关键字分别与预先建立的每一类数据模型中的第二关键字进行匹配。

具体的，首先将第一类数据中的第一关键字依次和预先建立的每一类数据模型中的第二关键字进行匹配，如果第一类数据中的第一关键字与预先建立的一类数据模型中的第二关键字匹配成功时，则说明该类数据需要映射的这个数据模型中，即执行步骤1403和步骤1404。

步骤1403，当第一关键字和预先建立的第一类数据模型中的第二关键字匹配成功时，确定第一类数据和第一类数据模型匹配。

步骤1404，将第一类数据映射至第一类数据模型中。

其中，数据模型可以至少包括如下中的一种或多种：招标流程数据模型、投标人数据模型、招标人数据模型和专家数据模型。

需要说明的是，第一类数据为分类后的数据中的任一类数据，第一类数据模型为预先建立的数据模型中的任一类数据模型。

可选的，最高版本的系统预先建立的数据模型虽然是比较全面的。但是，数据模型毕竟不是可以完全覆盖的。很可能当前已经建立的数据模型不能与之前存储的数据相匹配。那么，还可以执行如下步骤：

当第一类数据不与预先建立的任一数据模型不匹配时，在最高版本系统对应数据库中建立与第一类数据对应的数据模型。然后将数据映射至与之对应的数据模型中。

步骤150，保存数据模型至最高版本的系统平台对应的数据库。

可选的，将分类后的每一类数据映射至预先建立的与该类数据对应的数据模型之后，该方法还可以包括步骤160，对数据模型中的数据进行稽查。

通过数据稽查的方式可以保证数据的正确性、完整性和一致性。具体数据稽查的方式可以包括平衡性校验、大客户全量稽查、复杂案例稽查以及关键信息稽查等。

当然，在使用不同的稽查方式之前，需要将数据类型定义明确。比如，大客户数据，复杂案例数据等等。

进一步需要说明的是，在步骤110之前，可能还包括接收工作人员上传的数据信息。比如一些特殊数据，例如一些数据只有纸质存档或者存在Word文本等。那么，则需要人为将纸质存档的数据转换为PDF格式后，再转换为txt文本。同样的需要将Word文本转换为txt文本等。然后传输至数据智能分析系统中。系统同样需要提取这些数据作为待处理数据，执行上述的方法步骤。

类似的，在步骤120中，系统在对待处理数据进行预处理时，还可以加入人为工作。

即系统检索到不同版本的数据模型存在差异时，需要人为找出不同模型之间的特殊对象差异以及设置特殊处理规则。例如在先版本的数据模型中定义了一个必填选项“项目编号”，而在后版本的数据模型中定义了一个必填选项“合同项目编号”。在数据分类时，系统并不清楚这两个为一类数据。因此，需要人为干涉，比如编写程序代码至系统中，在系统执行数据分类时，可以将这一路数据归为一类。系统则需要按照也是的特殊处理规则，对这些特殊数据进行相应的处理。

通过将所有版本的系统平台对应的数据库中有效数据进行映射到最高版本后，通过最高版本的系统平台对应的数据库后，最高版本的系统平台可以查询不同版本的有效数据信息。

本发明实施例提供的一种数据智能分析方法，将所有版本的系统平台对应的数据库中的数据统一存储到最高版本的系统平台对应的数据库中。并在，在存储至最高版本的系统平台对应的数据库之前，先对数据进行预处理，获取预处理后的数据。对预处理后的数据进行分类，并分类映射至与该类数据对应的数据模型中。规避掉不同版本不能兼容的问题，而且后续对数据查询和数据分析时，高效快捷。

图3为本发明实施例提供的一种数据智能分析系统结构示意图。如图3所示，该系统包括：提取单元301、处理单元302、分类单元303、映射单元304以及保存单元305。

提取单元301，用于从不同版本的系统平台对应的数据库中提取待处理数据；

处理单元302，用于对待处理数据进行预处理，获取预处理后的数据；

分类单元303，用于对预处理后的数据进行分类；

映射单元304，用于将分类后的每一类数据映射至预先建立的与该类数据对应的数据模型中；

保存单元305，用于保存数据模型至最高版本的系统平台对应的数据库。

可选的，处理单元302具体用于：剔除待处理数据中的错误数据，以及根据预设条件剔除不符合数据分析条件的数据，获取有效数据；

将有效数据进行格式转换，获取统一格式的有效数据；

并对统一格式的有效数据做集成处理。

可选的，映射单元304具体用于，分别提取每一类数据中的第一关键字；

将第一类数据中的第一关键字分别与预先建立的每一类数据模型中的第二关键字进行匹配；

当第一关键字和预先建立的第一类数据模型中的第二关键字匹配成功时，确定第一类数据和第一类数据模型匹配；

将第一类数据映射至第一类数据模型中，其中，第一类数据为分类后的数据中的任一类数据，第一类数据模型为预先建立的数据模型中的任一类数据模型。

可选的，数据模型包括如下数据模型中的一种或多种：

招标流程数据模型、投标人数据模型、招标人数据模型和专家数据模型。

进一步可选的，系统还包括核查单元306，用于对数据模型中的数据进行稽查。

本发明实施例提供的一种数据智能分析系统中的上述各部件所执行的功能均以在前两个实施例所介绍的数据智能分析方法中做了详细介绍，这里不再赘述。

为更加详细的介绍本发明实施例提供的数据智能分析系统，除了上述的将不同版本的数据整合到最高版本的系统平台对应的数据库中之外，还可以包括以下功能：

1、数据查询

数据智能分析系统中包含可视化数据查询工具Query Builder，这种查询创建工具可以支持多种数据源：关系型的JDBC/SQL数据源，最新的XML、EJB、CORBA或较早的文本文件等；用户通过可视化的数据查询工具可以轻松定义数据查询条件，系统会自动将查询条件转换成SQL语言。这种方式极大的减少了开发人员的工作量。另外内置的丰富统计函数和对Java Script脚本语言的支持让数据查询更是如虎添翼。

灵活的OLTP查询，可以自由定制查询条件和查询维度，进行各种条件的查询。满足不同用户对于各种数据的关联查询分析的需求。

2、智能填报

数据智能分析中的智能填报，可以满足用户提出的灵活报送数据的需求，能快速开发各类数据采集系统的专业工具，它能够实现各类规范/复杂的填报应用，并以设计过程简单高效著称。

智能填报还支持离线填写数据，通过导出Excel文档，分发Excel文档给分支机构，然后填入数据之后直接倒入，完成数据进入数据库功能。这就意味着不联网时也可以填写，在联网后再上报数据，符合各种企业的填报流程。

3驾驶舱、仪表盘

对于企业的管理者来说，要想对公司的运营做出及时准确的决策，及时了解企业的销售、运营和财务等状况是必不可少的。企业决策层往往需要从纷繁复杂的各项数据中耗时费力地搜寻和提炼自己需要的信息。通过智能数据分析中的DashBoard数据仪表盘工具可以轻松构建基于全公司的经营决策的驾驶舱，供管理决策者使用的数据分析仪表盘，能够更方便、快捷的了解企业方方面面的信息，为企业管理运营中的决策提供支撑。用户还可以进行对数据自顶向下的监测、探索及可视化分析，从而满足用户自助式自主操作分析的需求。

4多维分析及展现

智能数据分析中的多维数据分析工具专为业务分析人员量身定制，同时多维数据分析可以将企业中现有的数据转化为知识，帮助企业做出明智的业务经营决策。

多维数据分析工具通过对数据的钻取(drill up和drill down)、切片(slice)和切块(dice)、以及旋转(pivot)、drill through等多种分析方法，从而帮助项目经理从不同角度来考察业务做出分析。

5可视化动态交互分析

可视化动态交互分析工具是通过把项目经理尽早的加入到商业智能项目中进来，利用新型的可视化前端分析，允许项目经理自己通过交互性很强的界面完成即时数据的分析，大大缩短商业智能项目的实施过程。

在没有可视化动态交互分析工具时，IT人员首先根据项目经理的需求建立多维的数据立方体。然后系统预先运算出有可能的度量汇总。这样当项目经理进行数据分析时，系统可以在预先计算出来的结果基础上很快地计算出结果。从而很好地支持大数据量的实时分析。

然而这样的多维数据建模会遇到一些问题。首先多维数据立方体在灵活性上存在缺陷，当业务发生改变时，所有的维度和度量需要重新设计和生成。其次由于多维数据立方体需要很大的空间，维度和度量的大小是以指数级增长的，IT人员必须把维度和度量的数量限制在一个相对比较小的范围，这就要求IT人员能够很清晰的把所有的维度和度量都定义好。

智能数据分析中的可视化动态交互分析工具可以很好的解决以上的问题。首先让项目经理坐到显示前端来，利用鼠标拖拽的进行数据分析的定义，项目经理可以根据分析需求挑选不同的维度和度量来进行分析，而在系统后端数据处理上，商业智能数据分析采用以列为主导的数据存储方式使项目经理的实时数据分析可以不再依靠预先构建的多维数据立方体和预先的汇总计算，同时也完美的解决了大数据量的问题。

6、月度开标表展示

利用智能数据分析模块，整合关键业务信息，以直观可视化的方式显现在前端页面上。

本发明实施例提供的一种数据智能分析系统，将所有版本的系统平台对应的数据库中的数据统一存储到最高版本的系统平台对应的数据库中。在存储至最高版本的系统平台对应的数据库之前，先对数据进行预处理，获取预处理后的数据。对预处理后的数据进行分类，并分类映射至与该类数据对应的数据模型中。规避掉不同版本不能兼容的问题，而且后续对数据查询和数据分析时，高效快捷。

读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少两个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种数据智能分析方法，所述方法包括：

从不同版本的系统平台对应的数据库中提取待处理数据；

对所述待处理数据进行预处理，获取预处理后的数据；

对所述预处理后的数据进行分类；

将分类后的每一类数据映射至预先建立的与该类数据对应的数据模型中；

保存所述数据模型至最高版本的系统平台对应的数据库。

2.根据权利要求1所述的方法，其特征在于，所述对所述待处理数据进行预处理，获取预处理后的数据，具体包括：

剔除所述待处理数据中的错误数据，以及根据预设条件剔除不符合数据分析条件的数据，获取有效数据；

将所述有效数据进行格式转换，获取统一格式的有效数据；

并对所述统一格式的有效数据做集成处理。

3.根据权利要求1所述的方法，其特征在于，所述将分类后的每一类数据映射至预先建立的与该类数据对应的数据模型中，具体包括：

分别提取所述每一类数据中的第一关键字；

将第一类数据中的第一关键字分别与预先建立的每一类数据模型中的第二关键字进行匹配；

当所述第一关键字和预先建立的第一类数据模型中的第二关键字匹配成功时，确定所述第一类数据和所述第一类数据模型匹配；

将所述第一类数据映射至所述第一类数据模型中，其中，所述第一类数据为分类后的数据中的任一类数据，所述第一类数据模型为所述预先建立的数据模型中的任一类数据模型。

4.根据权利要求3所述的方法，其特征在于，所述数据模型包括如下数据模型中的一种或多种：

招标流程数据模型、投标人数据模型、招标人数据模型和专家数据模型。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述将分类后的每一类数据映射至预先建立的与该类数据对应的数据模型之后，所述方法还包括：

对所述数据模型中的数据进行稽查。

6.一种数据智能分析系统，所述系统包括：

提取单元，用于从不同版本的系统平台对应的数据库中提取待处理数据；

处理单元，用于对所述待处理数据进行预处理，获取预处理后的数据；

分类单元，用于对所述预处理后的数据进行分类；

映射单元，用于将分类后的每一类数据映射至预先建立的与该类数据对应的数据模型中；

保存单元，用于保存所述数据模型至最高版本的系统平台对应的数据库。

7.根据权利要求6所述的系统，其特征在于，所述处理单元具体用于：

剔除所述待处理数据中的错误数据，以及根据预设条件剔除不符合数据分析条件的数据，获取有效数据；

将所述有效数据进行格式转换，获取统一格式的有效数据；

并对所述统一格式的有效数据做集成处理。

8.根据权利要求6所述的系统，其特征在于，所述映射单元具体用于，分别提取所述每一类数据中的第一关键字；

将第一类数据中的第一关键字分别与预先建立的每一类数据模型中的第二关键字进行匹配；

当所述第一关键字和预先建立的第一类数据模型中的第二关键字匹配成功时，确定所述第一类数据和所述第一类数据模型匹配；

将所述第一类数据映射至所述第一类数据模型中，其中，所述第一类数据为分类后的数据中的任一类数据，所述第一类数据模型为所述预先建立的数据模型中的任一类数据模型。

9.根据权利要求8所述的系统，其特征在于，所述数据模型包括如下数据模型中的一种或多种：

招标流程数据模型、投标人数据模型、招标人数据模型和专家数据模型。

10.根据权利要求6至9任一项所述的系统，其特征在于，所述系统还包括核查单元，用于对所述数据模型中的数据进行稽查。