CN106021308A

CN106021308A - 一种面向时序大数据的查询事件识别与检测方法及系统

Info

Publication number: CN106021308A
Application number: CN201610292213.5A
Authority: CN
Inventors: 钟将; 妙晓龙
Original assignee: Chongqing University
Current assignee: Chongqing Major Intellectual Property Operations Co ltd
Priority date: 2016-05-05
Filing date: 2016-05-05
Publication date: 2016-10-12
Anticipated expiration: 2036-05-05
Also published as: CN106021308B

Abstract

本发明公开了一种面向时序大数据的查询事件识别与检测方法，首先构建领域本体库和定义原子特征算子集合；然后获取用户需求并根据语义得到推理结果，并与时序数据集获得关联数据集；基于大数据数据特征计算平台处理关联数据集得到时序数据特征集；最后根据时序数据特征集构造高级查询事件反馈识别检测结果。本发明提供的面向时序大数据的查询事件识别与检测方法，针对大数据查询中，用户自然语言查询请求无法直接被计算机识别这一难题，利用领域本体技术构建为大数据高级查询事件，解决海量数据与传统数据库之间的鸿沟；解决非专业人士与复杂数据查询系统之间的鸿沟；减少传统数据库系统开发人员的工作压力，同时，让数据查询系统变得更加灵活方便。

Description

一种面向时序大数据的查询事件识别与检测方法及系统

技术领域

本发明涉及一种大数据计算、人工智能领域，特别是一种面向时序大数据的查询事件识别与检测方法。

背景技术

随着大数据时代的到来，传统数据库系统已经无法满足海量数据查询的需要，同时，出现了许多非计算机专业人士使用数据系统从海量数据中获得复杂查询的需求，跨越非计算机专业人士与海量数据平台之间的鸿沟以及传统数据平台的与海量数据存储之间的鸿沟变得尤为重要。

通常，面对海量数据，传统做法是建立多个版本的数据库系统，按照数据的应该领域，分开存储数据。同时处理多种需求使用如下做法：

(1)开发多套数据查询程序，在应对不同专业用户对于数据的查询需求时，一般软件公司会要求程序员按照客户的需求，和客户交谈，了解具体要查询的数据对象，同时，找到数据之间的关联性，按照存在的关联去编写特定查询程序来完成用户查询需要。该方法的优点在于精准查询，用户和开发人员共同商定了需要查询的数据范围和数据对象，可以精确查询出需要的结果。但该方法也存在很明显的缺点，随着数据量的增大，查询需求越来越复杂，同时种类繁多，这就为程序开发人员带来了很大的工作压力。

(2)利用数据挖掘和机器学习方法，面对海量数据查询需求，有时无法快速找到数据之间的关联，这就需要利用数据挖掘中关联规则挖掘、罗杰斯特回归等方法找出数据之间的关联性，再使用机器学习方法，设置正反例数据集，从而获得查询结果。该方法的优点在于明确数据范围之后，挖掘数据之间的关联规则比较容易。但也存在缺点，人们首先需要明确可能存在关联的数据，这导致数据处理灵活性受挫，同时不能满足多变的用户查询需求，而且一般的查询用户也非专业人员，无法完成类似的数据处理操作。此外，面对海量的数据集，传统技术解决方案时间复杂度和空间复杂度消耗很大，灵活性差，不能满足很好的满足查询需求。因此，需要一种基于领域本体的大数据查询识别方法。

发明内容

本发明的目的之一是提出一种面向时序大数据的查询事件识别与检测方法；本发明的目的之二是提出一种面向时序大数据的查询事件识别与检测系统。

本发明的目的之一是通过以下技术方案来实现的：

本发明提供的一种面向时序大数据的查询事件识别与检测方法，包括以下步骤：

S1：构建领域本体库；

S2：根据领域本体库中的领域对象定义原子特征算子集合；

S3：获取用户需求并根据语义得到推理结果；

S4：基于推理结果与时序数据库获得关联数据集；

S5：基于大数据数据特征计算平台处理关联数据集得到时序数据特征集；

S6：根据时序数据特征集构造高级查询事件反馈查询识别结果。

进一步，所述步骤S2中根据领域对象定义原子特征算子集合具体步骤如下：

S20、针对领域概念对数据特征进行分类；

S21、根据数据特征定义特征算子和计算参数；

S22、构建特征算子；

S23、部署特征算子到大数据计算集群各个节点。

进一步，所述步骤S3中基于语义推理获取用户需求需要具体步骤如下：

S30、对用户自然查询请求进行分词和特征提取，获得查询语句中的特征概念词；

S31、利用推理机输出领域本体库中各类领域概念，针对领域概念输出下属的领域子概念，获得领域概念层次树；

S32、判断用户请求的特征概念词是否处于领域概念层次树中，如果位于其中，转至步骤S34，否则转至S33；

S33、重新利用推理机输出不同领域概念，针对领域概念输出下属的领域子概念，获得领域概念层次树，然后转至步骤S32；

S34、输出用户查询请求所属领域概念域，让用户判断是否结束语义推理，如果是，则执行步骤S35，否则转至步骤S33；

S35、结束。

进一步，所述步骤S5中通过大数据数据特征计算平台得到的时序数据特征具体步骤如下：

S50、上传语义推理结果所对应概念时序数据集到大数据特征计算集群；

S51、设定数据集满足特征的计算阈值；

S52、多节点运行数据特征算子服务计算数据特征；

S53、输出数据特征集；

S56、结束。

本发明的目的之二是通过以下技术方案来实现的：

本发明提供的面向时序大数据的查询事件识别与检测系统，包括：

领域本体库管理模块，用于构建和维护领域概念本体库；

用户需求获取模块，用于利用人机接口获得用户查询请求，并且基于领域本体使用推理机获取用户查询需求；

领域对象原子特征算子服务构建模块，用于定义特定领域数据特征算子服务；

语义推理获取用户需求模块，用于基于领域本体推理获得用户真实语义需求；

时序数据集获取模块，用于根据语义推理结果与数据集获得相关领域数据；

大数据数据特征计算平台，用于利用集群节点特征算子运算获得时序数据特征；

高级查询事件生成识别模块，用于对数据特征原子事件集基于时间约束构造高级查询事件，并且反馈查询识别结果。

进一步，所述领域对象原子特征算子服务构建模块中根据领域对象定义原子特征算子集合具体步骤如下：

S20、针对领域概念对数据特征进行分类；

S21、根据数据特征定义特征算子和计算参数；

S22、构建特征算子；

S23、部署特征算子到大数据计算集群各个节点。

进一步，所述语义推理获取用户需求模块中基于语义推理获取用户需求需要具体步骤如下：

S35、结束。

进一步，所述大数据数据特征计算平台中通过大数据数据特征计算平台得到的时序数据特征具体步骤如下：

S51、设定数据集满足特征的计算阈值；

S52、多节点运行数据特征算子服务计算数据特征；

S53、输出数据特征集；

S56、结束。

由于采用了上述技术方案，本发明具有如下的优点：

本发明提供的面向时序大数据的查询事件识别与检测方法，针对大数据查询中，用户自然语言查询请求无法直接被计算机识别这一难题，利用领域本体技术，构建针对特定领域的概念本体库，然后基于推理机去识别用户需求，最后利用大数据的数据特征计算平台得到时序数据特征集，将特征集合根据特定时间约束构建为大数据高级查询事件，反馈识别结果；解决海量数据与传统数据库之间的鸿沟；解决非专业人士与复杂数据查询系统之间的鸿沟；减少传统数据库系统开发人员的工作压力，同时，让数据查询系统变得更加灵活方便。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

本发明的附图说明如下。

图1是本发明中面向时序大数据的查询事件识别与检测方法工作原理图。

图2是本发明中时序数据特征计算大数据集群原理图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

实施例1

本实施例提供的一种面向时序大数据的查询事件识别与检测方法，包括以下步骤：

S1、针对特定领域构建领域本体库；

S2、根据领域对象定义原子特征算子集合；

所述根据领域对象定义原子特征算子集合需要如下步骤：

S20、针对领域概念常见数据特征进行分类；

S21、定义特征算子包含计算参数；

S22、构建特征算子，并按特征命名算子；

S23、部署特征算子到大数据计算集群各个节点。

针对金融领域数据定义均值特征算子过程如下：

步骤一，对金融数据进行分类，金融数据可在时序约束下提出数据变化的均值特征，方差特征，振幅特征等等。

步骤二，定义特征算子的计算参数，对于均值特征，需要给定计算均值的时间段，数据对象及类型，参数可定义为obj_id、a_id、time_interval、obj_val。

步骤三，对特征算子命名，本案例主要说明均值特征算子的定义，因此可以将特征算子命名为F_Meanvalue(objID,aID,time_interval,obj_val)。

步骤四，利用程序实现均值特征算子的运算，将程序包部署到计算集群的各个节点。

S3、基于语义推理获取用户需求；

所述基于语义推理获取用户需求需要如下步骤：

S31、利用推理机输出领域本体库中各类领域概念，针对特定领域概念输出下属的领域子概念，获得领域概念层次树；

S33、重新利用推理机输出不同领域概念，针对特定领域概念输出下属的领域子概念，获得领域概念层次树，然后转至步骤S32；

S35、结束。

语义推理在金融领域数据的推理过程如下：

本案例进行语义推理的用户查询语句为：请帮我查询人民币汇率大幅波动与金融数据均值特征间的关系。

步骤一，进行分词和特征提取，根据自然语言处理算法及语料库，可将用户查询语句提取一下特征词：人民币、汇率、大幅波动、金融数据、均值、特征。

步骤二，输出金融领域本体中各类领域概念，针对特征领域概念输出下属领域概念，例如，金融领域本体的各类领域概念包括货币、金融组织等等，货币的下属领域又包括货币汇率、价值等等。

步骤三，判断用户输入的特征词是否包含在金融领域概念层次树种，人民币是货币的一个实例，也就符合货币的描述，包含在货币这个概念当中，同时输出人民币对应的时序数据对象。

步骤四，依次判别其他特征词，获取对应数据对象集合，如果特征词无法在概念层次中命中，重新执行步骤二，输出领域概念。

S4、基于推理结果与时序数据集合获得关联数据集；

关联数据集的具体获得实例如下：

针对本案例中用户的查询需求，推理结果只是找到用户查询语句特征词所对应的特定概念，例如人民币属于货币的概念，汇率属于货币的一个属性，而后期的识别处理需要拿到特定概念所对应的时序数据集，因此，结合本步骤通过概念与数据之间的映射关系，获得关联数据。

S5、基于大数据数据特征计算平台得到时序数据特征集；

所述大数据数据特征计算平台得到时序数据特征集需要如下步骤：

S51、设定数据集满足特征的计算阈值；

S52、多节点运行数据特征算子服务计算数据特征；

S53、输出数据特征集；

S56、结束。

S6、根据数据特征集构造高级查询事件反馈查询识别结果。

以上述案例构造高级查询识别结果过程如下：

步骤一，定义时间约束，一个高级查询结果是多个特征数据满足特定时间约束下的逻辑运算结果，“人民币汇率大幅波动与金融数据均值特征关系”这一查询需求，实际满足的时间约束为，人民币汇率出现大幅波动时，在其前后一段时间t1-t2，汇率的均值一定也出现了大幅波动，同时振幅变化很大，因此时间约束为t1和t2。

步骤二，基于时间约束构造识别结果，针对金融数据特征集，添加t1和t2的时间约束后，金融数据的均值、方差、振幅等特征在其间会有一个阈值区间，比较阈值区间的变化，判断这些特征与人民币汇率大幅波动的关系。

步骤三，返回最终的判断识别结果。

本实施例还提供了一种面向时序大数据的查询事件识别与检测系统，包括以下部分：

领域本体库管理模块，用于构建和维护领域概念本体库；

语义推理获取用户需求模块，基于领域本体推理获得用户真实语义需求；

大数据数据特征计算平台，利用集群节点特征算子运算获得时序数据特征；

本实施例提供的面向时序大数据的查询事件识别与检测方法，采用非侵入式的方式，只需用户以自然语言形式提交数据查询需求，就可对查询需求进行识别，返回一个大数据高级查询事件。

本实施例构建领域本体采用本体构建工具。领域层次概念被描述为特定格式文件，主要基于RDF、RDF-S、OWL等。领域本体需要满足明确性和客观性、一致性、可扩展性、最小编码偏差、最小本体承诺。

其中在定义原子查询事件库中的原子事件是指某个对象(客体)在某个时间所处的状态，原子事件基于时序规则定义，一个原子事件可以定义为如下六元组：

autoEvents＝{<objID,objType,aID,aValue,tp,fs＝{}>}；

objID为对象ID，objType表示对象所属概念类型，aID表示属性ID，aValue描述属性值，tp代表事件发生的时间戳，fs为时序时段数据的特征集合，也就是多个时序数据的时段特征算子(interval_time_data_Featue)或者某个时间段数据变化的集合。对象属性值在特定时段上的属性值集合特征有多种表现形式，通常包括方差、均值、最大值、最小值、振幅、偏零域等等。

其中特征算子由如下四元组表示：op<？objID,？aID,T1,T2>；

op表示是具体的特征算子描述，如方差特征算子可以描述为F_Variance，objID表示特征算子所处理的领域对象ID，为具体对象实例，aID表示具体属性ID，T1表示数据序列记录起始时间点，T2为数据序列记录终止时间点。特征算子的计算结果为具体特征值。每一个特征算子定义为一个大数据计算原子服务。

本实施例实现步骤是：首先通过人机交互获取用户请求，交互方式可以为自然语言输入或者语音录入。由于通过人机交互还不能完全确定用户需求，因此，系统根据领域本体库基于推理机进行语义推理，获得满足用户请求中的隐含需求，然后结合推理结果与时序数据库得到一个时序数据集，将时序数据集传入大数据平台最终通过特征算子来获得原子特征事件集合，最后构建一个高级查询事件HLE(high-level-event)，反馈用户一个查询识别结果。

本大数据查询识别系统根据领域本体和推理技术，进行用户请求的语义推理，获得用户请求中的隐含需求，使得机器有效正确的识别用户需求，最终识别用户查询请求为一个大数据高级查询事件。自动获取用户查询请求，并进行语义推理识别用户真实需求，最终结合推理结果和大数据原子时序事件库，构建时序事件序列，生成一个大数据高级查询事件，自动反馈用户识别结果。

实施例2

如图1所示，该面向时序大数据的查询事件识别与检测方法工作原理图包括人机交互接口模块、语义推理模块、领域本体库模块、时序数据特征计算集群模块和高级查询事件生成识别模块。

该人机交互接口的主要功能为：接收用户查询请求，查询请求为自然语言文字输入或者语音交互。

该领域本体库模块主要功能为：构建特定领域基础知识、特定领域概念层次逻辑、特定领域概念谓词逻辑表示；

该语义推理模块的主要功能为：将用户查询请求做分词和特征提取，然后基于领域本体库使用推理机进行语义概念推理，找出用户请求中隐含的查询需求；

该时序数据特征计算大数据集群主要功能为：将用户查询对应的时序数据集传输到大数据特征计算平台，运用Spark内存计算的优势，集合每个节点的特征算子服务来获得时序数据集对应的原子特征事件集。

该高级查询事件生成识别模块的主要功能为：根据大数据集群运算得到的原子时序特征事件集，基于时间约束去构造高级查询事件，最终反馈用户查询识别结果。

如图2所示，该时序数据特征计算大数据集群原理图主要基于Spark大数据平台，在每个节点运行特征算子服务，自然语言语义处理后得到的对应时序数据集分发到集群各个节点，通过大数据平台分布式并行计算优势得到相应的时序数据特征。

在本实施案例中，大数据查询识别场景为金融市场。随着经济全球化和金融一起化的趋势不断加深，资本资源在全球范围内的合理配置加剧了金融市场的波动。2008年美国次贷危机的出现引发全球金融危机，这一系列问题的出现提醒人们关注金融市场的运行安全，尤其是在某些金融事件发生时，要能够识别到金融市场的异常波动。例如随着时间变化，政府部门不断出台各种发展政策，不同领域企业利润产值出现变化，都带动了金融市场的波动，其中包含着企业、政府政策、货币汇率等一系列领域数据。根据用户的查询需求，本大数据查询识别系统的具体实施步骤组成如下。

首先根据金融领域计算特征构建特征算子如表1：

表1

步骤一：获取用户的查询请求，用户查询请求需要通过人机接口传入计算中心，人机交互接口为语音录入，查询请求为：查询当前人民币汇率市场异常波动与时序金融数据的均值特征、方差特征、振幅特征有关吗？

步骤二、针对查询请求，进行自然语言处理，得到查询请求的主题特征词。

步骤三、进行语义推理。语义推理基于Jena推理机和金融领域本体库进行，首先传入自然语言处理后的查询特征词，查询案例中的特征词有：当前、人民币、汇率、异常波动、均值、方差、振幅，通过语义推理，将特征词当前转换为一个明确的时间段，将人民币、汇率、波动等这些词对应到本体层次概念中，输出一个存在的结果值。

步骤四、根据语义推理结果，结合时序数据库找出对应的领域概念时序数据集，基于大数据特征计算平台获得数据时序特征，根据用户查询请求得到的时序数据特征包含均值特征、方差特征、振幅特征，所对应的时序特征算子如表2：

表2

步骤五、根据大数据平台所得特征算子集，基于时间约束T1、T2，构造高级查询事件如下：

RMB_exchangerate<objID,objType,aID,aValue,tp,fs＝{}>{

objID:RMB,

objType:finace,

aID:exchangerate,

aValue:undulate,

tp:T2-T1<10days,

fs:{

F_variance<？objID,？aID,T1,T2>,

F_MeanValue<？objID,？aID,T1,T2>,

F_Amplitude<？objID,？aID,T1,T2>

}

}；

其中，RMB_exchangerate表示一个高级查询事件(人民币汇率变化)，

objID,objType,aID,aValue,tp,fs等参数为一个高级查询事件定义所需满足的条件，objID为数据对象ID，objType为数据对象类型，aID为数据对象属性ID，aValue为属性值，tp为事件约束，fs为多个低级别原子事件特征集合。在本案例中，objID为RMB(人民币对象)，objType为finance(金融领域)，aID为exchangerate(汇率)，aValue为undulate(汇率波动)，时间约束满足T2-T1<10days(10天以内)，原子特征事件分别为F_variance、F_MeanValue、F_Amplitude(方差、均值、振幅)，在时间约束和数据对象约束情况下，多个原子特征也同时满足时间约束，则说明高级事件RMB_exchangerate(人民币汇率波动)发生。

步骤六、依据时间约束，识别高级查询事件RMB_exchangerate的有效性，最终得到人民币汇率大幅波动与金融时序数据方差、均值、振幅直接相关，反馈用户识别结果。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims

1.一种面向时序大数据的查询事件识别与检测方法，其特征在于：包括以下步骤：

S1：构建领域本体库；

S2：根据领域本体库中的领域对象定义原子特征算子集合；

S3：获取用户需求并根据语义得到推理结果；

S4：基于推理结果与时序数据库获得关联数据集；

2.如权利要求1所述的面向时序大数据查询事件识别与检测方法，其特征在于：所述步骤S2中根据领域对象定义原子特征算子集合具体步骤如下：

S20、针对领域概念对数据特征进行分类；

S21、根据数据特征定义特征算子和计算参数；

S22、构建特征算子；

S23、部署特征算子到大数据计算集群各个节点。

3.如权利要求1所述的面向时序大数据的查询事件识别与检测方法，其特征在于：所述步骤S3中基于语义推理获取用户需求需要具体步骤如下：

S35、结束。

4.如权利要求1所述的面向时序大数据查询事件识别与检测方法，其特征在于：所述步骤S5中通过大数据数据特征计算平台得到的时序数据特征具体步骤如下：

S51、设定数据集满足特征的计算阈值；

S52、多节点运行数据特征算子服务计算数据特征；

S53、输出数据特征集；

S56、结束。

5.一种面向时序大数据的查询事件识别与检测系统，其特征在于，包括领域本体库管理模块、用户需求获取模块、领域对象原子特征算子服务构建模块、语义推理获取用户需求模块、时序数据集获取模块、大数据数据特征计算平台和高级查询事件生成识别模块；

所述领域本体库管理模块，用于构建和维护领域概念本体库；

所述用户需求获取模块，用于利用人机接口获得用户查询请求，并且基于领域本体使用推理机获取用户查询需求；

所述领域对象原子特征算子服务构建模块，用于定义特定领域数据特征算子服务；

所述语义推理获取用户需求模块，用于基于领域本体推理获得用户真实语义需求；

所述时序数据集获取模块，用于根据语义推理结果与数据集获得相关领域数据；

所述大数据数据特征计算平台，用于利用集群节点特征算子运算获得时序数据特征；

所述高级查询事件生成识别模块，用于对数据特征原子事件集基于时间约束构造高级查询事件，并且反馈查询识别结果。

6.如权利要求5所述的面向时序大数据的查询事件识别与检测系统，其特征在于：所述领域对象原子特征算子服务构建模块中根据领域对象定义原子特征算子集合具体步骤如下：

S20、针对领域概念对数据特征进行分类；

S21、根据数据特征定义特征算子和计算参数；

S22、构建特征算子；

S23、部署特征算子到大数据计算集群各个节点。

7.如权利要求5所述的面向时序大数据的查询事件识别与检测系统，其特征在于：所述语义推理获取用户需求模块中基于语义推理获取用户需求需要具体步骤如下：

S35、结束。

8.如权利要求5所述的面向时序大数据的查询事件识别与检测系统，其特征在于：所述大数据数据特征计算平台中通过大数据数据特征计算平台得到的时序数据特征具体步骤如下：

S51、设定数据集满足特征的计算阈值；

S52、多节点运行数据特征算子服务计算数据特征；

S53、输出数据特征集；

S56、结束。