CN106971007A - 一种利用数据结构控制的数据处理与数据分析框架 - Google Patents

Abstract

本发明提供了一种利用数据结构控制数据处理与数据分析过程的技术框架，框架名称：Hyong，属于大数据框架技术领域。基于业务的数据分析过程是由数据处理过程在数据运算层面来实现的,同时，数据处理和数据分析过程都需要一系列标准化的控制和保护机制。通过对数据处理和数据分析过程的高度抽象，把两个过程的控制和保护以数据结构的方式进行封装。通过开发实施Hyong技术框架，可以把数据处理和数据分析流程以系统化的方式进行整合，并利用基础的数据结构的方式来执行控制，使技术框架具有极高的通用性和极佳的性能表现。

Description

一种利用数据结构控制的数据处理与数据分析框架

技术领域

本发明涉及数据处理和数据分析过程控制技术领域，具体涉及一种利用数据结构控制的数据处理与数据分析框架。

背景技术

数据分析和数据处理各自使用所属领域的专业软件(系统)来完成专业的技术任务，比如数据分析使用SAS、SPSS和MATLAB等专业软件，而数据处理使用Spark、Storm和Hadoop等计算框架。

随着商业数据分析和信息化技术的高速发展,基于业务的数据分析技术和基于信息理论的数据处理技术逐步进入高度融合阶段。传统的商业分析是由专业的分析软件来完成建模和分析过程，而数据处理技术则是由独立的数据处理系统或者计算框架来实现，这两个过程在现有技术框架中都是独立控制和执行的。两种软件系统如果简单的融合，会产生系统间的通信开销和任务调度消耗。

发明内容

针对上述现有技术，本发明目的在于提供一种利用数据结构控制的数据处理与数据分析框架，解决现有技术数据处理框架由于结构和协议的局限性而导致的可扩展性差，和解决如何融合数据处理输出和数据分析输入以提高匹配性等技术问题。

为达到上述目的，本发明采用的技术方案如下：

一种利用数据结构控制的数据处理方法，包括以下步骤：

步骤1、定义源数据的元数据和定义源数据数据流操作的结构化抽象；

步骤2、选择源数据的计算框架，在该计算框架内，定义源数据数据流操作的控制方式和保护机制，控制方式和保护机制作为流程协议的元语；

步骤3、至少将元数据、结构化抽象和流程协议元语封装在同种数据结构中；

步骤4、按元数据定义将源数据抽取至计算框架内，通过数据结构解析流程协议元语为计算框架的参数，确定运算的模式和通道后在计算框架内执行运算，获得结果集合。

上述方法中，所述的步骤4，包括以下步骤：

步骤4.1、按元数据定义将源数据抽取至计算框架内，再利用数据结构序列化转化数据结构中的流程协议元语为计算框架的参数；

步骤4.2.1、从简单运算模式、复杂运算模式、算法运算模式和/或其他运算模式这些模式中确定运算的模式；

步骤4.2.2、从正常通道、链式通道、并行通道和/或交叉通道这些通道中确定运算的通道；

步骤4.3、调用预定配置信息，执行运算，获得结果集合。

上述方法中，所述的步骤4.3，还包括建立错误保护机制。

上述方法中，所述的步骤4.3，还包括设置结果集合的校验规则，通过校验规则的结果集合作为步骤4.3的有效结果集合。

上述方法中，所述的步骤4，还包括执行数据加密、传输加密、身份认证和/或数据脱敏这些安全策略。

一种利用数据结构控制数据处理的数据分析方法，包括以下步骤：

步骤1、定义源数据的元数据和定义源数据数据流操作的结构化抽象；

步骤2、选择源数据的计算框架，在该计算框架内，定义源数据数据流操作的控制方式和保护机制，控制方式和保护机制作为流程协议的元语；

步骤3、至少将元数据、结构化抽象和流程协议元语封装在同种数据结构中；

步骤4、按元数据定义将源数据抽取至计算框架内，通过数据结构解析流程协议元语为计算框架的参数，确定运算的模式和通道后在计算框架内执行运算，获得结果集合；

步骤5、对结果集合选择数据输出模式后进行第一持久化操作，获得第一持久化结果集合，再按照业务洞察规则对第一持久化结果集合进行第二持久化操作，获得第二持久化结果集合并同时生成数据轨迹。

上述方法中，所述的步骤5，包括以下步骤：

步骤5.1、从本地模式、集群模式和/或网络模式中选择数据输出模式；

步骤5.2、根据数据输出的标准化配置信息，把结果集合持久化到定义后的存储空间，获得第一持久化结果集合；

步骤5.3、从简单模式、综合模式、决策模式和/或学习模式中选出业务洞察规则的定义模式后，按业务洞察规则和数据输出的标准化配置信息，进行业务洞察数据的持久化操作，获得第二持久化结果集合并同时生成数据轨迹。

上述方法中，所述的步骤5，其中，生成数据轨迹包括关联性地生成全局用户识别号记录、时间信息记录、权限信息记录、关联元数据调用的访问信息记录、源数据使用信息记录、以持久化方式存储的信息记录和/或以持久化方式输出的信息记录。

一种流程协议元语，包括

在计算框架内，所定义源数据数据流操作的控制方式和保护机制的计算机元语言表达。

一种封装方法，包括

将元数据、结构化抽象和流程协议元语封装在同种数据结构中。

与现有技术相比，本发明的有益效果：

框架设计上，数据分析和数据处理的控制直接利用数据结构和流程协议元语来进行控制，避免在技术融合中带来的系统级开销，有效提升框架的整体性能表现，而现有技术仅仅通过设计多个接口模块方式需要反复地更新或扩充接口模块并存在无法处理与分析有冲突数据结构的数据的技术壁垒；

在框架的运算过程中，数据分析的业务逻辑和数据运算过程的控制都按照准标准化的元语来设计，以提高Hyong技术框架在技术实现上通用性。

附图说明

图1为本发明的流程示意图；

图2为本发明实施例的流程示意图。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

下面结合附图对本发明做进一步说明：

本发明技术框架(命名为Hyong)的目的就是为了解决两个专业领域的系统级融合问题。

一种具有极高通用性和极佳性能表现的技术框架，包括以下步骤：

S101、定义用于数据分析过程需要的所有元数据和数据分析流程的结构化抽象，包括源数据的标准化、合法性和有效性保证，以及数据分析结构和数据处理过程的定义和配置信息。

S102、根据实际软件开发的需求，选择一种计算框架，这里主要考察数据量和系统响应时间两个因素，比如对GB级别数据量做离线分析，可以选择Hadoop、Spark，而如果做实时或者近实时分析(秒级别响应)，可以选择Spark、Storm，然后根据选择的计算框架，定义数据计算过程的控制方式和保护机制，这个定义好的元素，我们称为流程协议的元语。选择不同计算框架，元语的实体内容不同，但并不影响这种元语设计机制的规范性和合理性。

S103、基于S101和S102构建数据分析过程和计算框架元语的设计，把两者封装在一种合适的数据结构中；

不同的数据结构在数据查询和检索时，具有不同的性能指标，并非选择具有最佳查询响应时间的数据结构就是最好的方案，而是要根据实际的应用系统综合要求考量，比如系统开发的复杂程度，系统本身的实用性和系统开发成本等。

S104、基于S101的元数据定义、S102设计的元语和S103的数据结构封装：

S1041、把源数据抽取到选定的计算框架中，利用数据结构的序列化转化，把流程协议元语解析成计算框架能够识别的参数；

数据结构序列化：把存储在数据结构中的流程协议元语，利用数据结构操作，转化成与计算框架相互匹配的数据格式，以保证流程协议元语能够被选定的计算框架识别；

S1042、选择运算的模式，模式包括四种：

简单运算：主要包括四则运算、匹配运算和过滤运算等；

复杂运算：主要包括函数运算、多条件运算等；

算法运算：主要包括需要算法调用实现的运算；

其他运算：其他暂未定义的运算模式；

S1043、选择运算的通道，通道包括四种：

正常通道：主要包括单步运算的情况；

链式通道：主要包括多个需要按照前后关系依次执行的情况；

并行通道：主要包括多个运算任务同步进行的情况；

交叉通道：主要包括运算的结果集合需要两个或者以上的运算任务组合完成的情况；

S1044、运算执行阶段，根据S104，S1041，S1042，S1043的配置信息，完成数据处理和数据分析的执行过程；

根据选定的软件运行环境，如操作系统Centos6.5、JRE(Java运行时环境)、计算框架Spark，在数据运算执行阶段，需要建立该环境下的错误保护机制(runtime errorpreservation)，以保证运算的正确执行；

S1045、根据S1044运算的结果集合和业务需求，配置结果集合的数据校验规则，通过校验后的数据，作为有效的结果集合提交给后续的流程；

S1046、根据业务需求，配置数据安全的策略，安全策略包括但不限于数据加密，安全传输，身份认证和数据脱敏等技术手段；

根据系统开发的实际情况，数据安全策略可以选择在数据输出阶段执行，但并不影响Hyong技术框架的整体设计机制。

S105、以S1045的结果集合作为本流程的输入集合，对该集合进行结构化输出：

S1051、定义数据输出(output)的模式，包括本地模式，集群模式，网络模式和其他模式，根据数据输出的标准化配置信息，把数据结果集合(result collection)持久化到定义后的物理存储或者虚拟存储空间上；

S1052、以S1051的数据结果集合为数据基础，按照预先定义的业务洞察(serviceinsight)规则，以及数据输出的标准化配置信息，完成业务洞察数据的持久化操作；

业务洞察包括四种模式：

简单模式：是指通过简单运算得出业务分析结果的模式；

综合模式：是指通过函数运算或者复杂条件得出业务分析结果的模式；

决策模式：是指通过人工或者算法制定决策规则得出业务分析结果的模式；

其他模式(学习模式)：是指通过机器学习，人工智能等高级方式得到的业务分析结果的模式。

S1053、数据轨迹(datamark)是指Hyong技术框架中，使用的元数据、源数据和所有持久化数据集合的记录信息；

数据轨迹包括但不限于全局用户识别号、时间信息、权限信息、元数据调用相关的访问信息、源数据使用信息和以持久化方式存储或者输出的信息。

优选的，S1045，S1046，S1051需要的配置信息都存储在S103定义的数据结构中。

实施例1

元语实例约定：

(1)元语过程：“{指令–模式参数[–模式参数][指令–模式参数[–模式参数]]}”表示一个元语过程，其中“{}”里为必选，“[]”为可选，一个最简单的元语过程为{指令–模式参数}。

(2)运算表达式：操作符[字段名[,字段名]]，例如max[利润]表示样本数据表中利润的最大值1500。add[总投入，利润]表示表示总投入和利润相加。

(3)符号对照表表1：

表1

符号	含义
		DS	数据源
CM	运算模式
		CC	运算通道
CP	运算过程
		OP	输出过程
VD	校验模式
		multiply	乘法
division	除法
		add	加法
minus	减法
		R	元语分隔符
SEC	安全
		OP	输出
,	并列参数的分隔符
		ALG:Kmeans	Kmeans具体算法名:一种聚类算法

假定：实施例选择的数据结构是树(Tree)，数据分析过程的描述需要对应的码字(codebook)设计，它是对我们需要分析的业务流程的一种抽象过程。

如图2定义了三个分析任务的语义树(分别是0501-企业运营分析、0502-企业信用分析、0503-企业景气指数分析)。以0501-企业运营分析为例，它是包含两棵子树的树型结构，左侧黑色子树描述的是数据处理的整个过程，右侧子树描述的是对数据分析任务的业务理解，该业务理解由4个节点组成，分别是：050102-企业经济效益分析、010103-制造业、01010306-造纸和纸制品业、010字段集-造纸和纸制品业(该节点定义了完成企业经济效益分析所需要的字段集合,这里假设为“净利润、资产总额、年营业收入”)，某企业2016年效益相关样本数据如下表表2：

表2

根据本发明一种利用数据结构控制数据处理与数据分析过程的技术框架，企业效益分析任务包括以下步骤：

3,数据源描述：{DS–t mysql://172.16.0.112:3306/EM.dbo/EM_Income？user＝root@bigdata2016–f企业ID，带动就业,年营业收入，净利润}”表示一个数据提取过程，该过程由一条元语指令组成，DS表示数据源指令，“-tmysql://…”表示从mysql数据库取数据，–f企业ID，带动就业,年营业收入，净利润表示取出字段“企业ID，带动就业,年营业收入，净利润”。最终该元语过程生成的样本数据集如下表表2：

表3

4，运算模式：{CM–t simple}R{CM–t ALG},本示例中同时运用simple—简单四则运算模式和ALG—算法模式。

5，运算通道：{CC–t normal},normal表示单步运算。

6,运算过程：{CP–e add[multiply[净利润,0.7],multiply[带动就业人数，0.3]]}R{CP–a ALG:Kmeans,2},这里以R分隔成两个元语过程，前者表示对字段“净利润”和“带动就业人数”加权求和，得到运算结果集1，后者{CP–a ALG:Kmeans,2}表示对整个数据集所有字段执行Kmeans算法，该算法的必选参数为2,得到运算结果集2。

表4

企业ID	运算结果集1
		001	129.5
002	147.2
		003	113.5
004	1075.8
		005	826.8

表5

企业ID	运算结果集2
		001	1
002	1
		003	2
004	1
		005	2

7,校验规则：{VD–m normal–e range[130,]–f运算结果集1}，表示对运算结果这列进行.范围校验,range[130,]表示运算结果大于等于130的数据才符合条件，可以进入到下一步操作，否则抛出执行异常数据，执行校验规则并得到结果集。

表6

企业ID	运算结果集
		002	147.2
004	1075.8
		005	826.8

8,安全规则：安全规则的元语为{SEC–l安全级别–s安全策略},图2中为{SEC–lhigh–s encryption},表示安全级别高，策略为加密模式，本框架支持“用户模式”和“加密模式”两种策略，前者需要框架的使用者通过系统权限认证，后者是直接对数据处理结果加密保存。

9,输出定义：

{OP–m local–f eid,score–dasuid,employees,profit,eid,score–b score>80–t优秀}R{OP–mmysql://192.168.0.1:3306/EM.dbo/EM_Cluster？user＝em@bigdata2016}同样以R分隔为两个元语过程，前者描述输出定义的三个方面：

输出模式：“local”表示本地模式，即数据处理结果保存到本地文件系统；

数据轨迹：”asuid,employees,profit,eid,score”表示用户在本次数据分析任务中使用的数据和结果集合数据；asuid是一种构建的全局唯一的用户识别码，是由area码，system码和用户识别码(user identification)三种码组成。

业务洞察：“–b score>80–t优秀”,表示遍历每一条数据分析结果，查看score字段的值是否大于80，如果满足条件就将当前正遍历的数据打上标签“优秀”；而后者“{OP–mmysql://192.168.0.1:3306/EM.dbo/EM_Cluster？user＝em@bigdata2016}”只定义了输出模式，表示将运算过程中{CP–a ALG:Kmeans,2}的企业聚类结果保存到实例名为EM.dbo表名为EM_Cluster的mysql数据库中。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何属于本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种利用数据结构控制的数据处理方法，其特征在于，包括以下步骤：

步骤1、定义源数据的元数据和定义源数据数据流操作的结构化抽象；

步骤2、选择源数据的计算框架，在该计算框架内，定义源数据数据流操作的控制方式和保护机制，控制方式和保护机制作为流程协议的元语；

步骤3、至少将元数据、结构化抽象和流程协议元语封装在同种数据结构中；

步骤4、按元数据定义将源数据抽取至计算框架内，通过数据结构解析流程协议元语为计算框架的参数，确定运算的模式和通道后在计算框架内执行运算，获得结果集合。

2.根据权利要求1所述的一种利用数据结构控制的数据处理方法，其特征在于，所述的步骤4，包括以下步骤：

步骤4.1、按元数据定义将源数据抽取至计算框架内，再利用数据结构序列化转化数据结构中的流程协议元语为计算框架的参数；

步骤4.2.1、从简单运算模式、复杂运算模式、算法运算模式和/或其他运算模式这些模式中确定运算的模式；

步骤4.2.2、从正常通道、链式通道、并行通道和/或交叉通道这些通道中确定运算的通道；

步骤4.3、调用预定配置信息，执行运算，获得结果集合。

3.根据权利要求2所述的一种利用数据结构控制的数据处理方法，其特征在于，所述的步骤4.3，还包括建立错误保护机制。

4.根据权利要求2所述的一种利用数据结构控制的数据处理方法，其特征在于，所述的步骤4.3，还包括设置结果集合的校验规则，通过校验规则的结果集合作为步骤4.3的有效结果集合。

5.根据权利要求1-4中任意一项权利要求所述的一种利用数据结构控制的数据处理方法，其特征在于，所述的步骤4，还包括执行数据加密、传输加密、身份认证和/或数据脱敏这些安全策略。

6.一种利用数据结构控制数据处理的数据分析方法，其特征在于，包括以下步骤：

步骤1、定义源数据的元数据和定义源数据数据流操作的结构化抽象；

步骤2、选择源数据的计算框架，在该计算框架内，定义源数据数据流操作的控制方式和保护机制，控制方式和保护机制作为流程协议的元语；

步骤3、至少将元数据、结构化抽象和流程协议元语封装在同种数据结构中；

步骤4、按元数据定义将源数据抽取至计算框架内，通过数据结构解析流程协议元语为计算框架的参数，确定运算的模式和通道后在计算框架内执行运算，获得结果集合；

步骤5、对结果集合选择数据输出模式后进行第一持久化操作，获得第一持久化结果集合，再按照业务洞察规则对第一持久化结果集合进行第二持久化操作，获得第二持久化结果集合并同时生成数据轨迹。

7.根据权利要求6所述的一种利用数据结构控制数据处理的数据分析方法，其特征在于，所述的步骤5，包括以下步骤：

步骤5.1、从本地模式、集群模式和/或网络模式中选择数据输出模式；

步骤5.2、根据数据输出的标准化配置信息，把结果集合持久化到定义后的存储空间，获得第一持久化结果集合；

步骤5.3、从简单模式、综合模式、决策模式和/或学习模式中选出业务洞察规则的定义模式后，按业务洞察规则和数据输出的标准化配置信息，进行业务洞察数据的持久化操作，获得第二持久化结果集合并同时生成数据轨迹。

8.根据权利要求6或7所述的一种利用数据结构控制数据处理的数据分析方法，其特征在于，所述的步骤5，其中，生成数据轨迹包括关联性地生成全局用户识别号记录、时间信息记录、权限信息记录、关联元数据调用的访问信息记录、源数据使用信息记录、以持久化方式存储的信息记录和/或以持久化方式输出的信息记录。

9.一种流程协议元语，其特征在于，包括

在计算框架内，所定义源数据数据流操作的控制方式和保护机制的计算机元语言表达。

10.一种封装方法，其特征在于，包括

将元数据、结构化抽象和流程协议元语封装在同种数据结构中。