CN104699777B - 大数据分析挖掘管理面与业务面的关联方法及系统 - Google Patents
大数据分析挖掘管理面与业务面的关联方法及系统 Download PDFInfo
- Publication number
- CN104699777B CN104699777B CN201510104674.0A CN201510104674A CN104699777B CN 104699777 B CN104699777 B CN 104699777B CN 201510104674 A CN201510104674 A CN 201510104674A CN 104699777 B CN104699777 B CN 104699777B
- Authority
- CN
- China
- Prior art keywords
- data
- model
- information
- index
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007405 data analysis Methods 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000009412 basement excavation Methods 0.000 title description 5
- 238000005065 mining Methods 0.000 claims abstract description 41
- 238000012549 training Methods 0.000 claims description 10
- 230000002123 temporal effect Effects 0.000 claims description 7
- 235000013399 edible fruits Nutrition 0.000 claims description 4
- 238000007726 management method Methods 0.000 description 34
- 238000012545 processing Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 238000012550 audit Methods 0.000 description 3
- 238000013499 data model Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000013480 data collection Methods 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000000586 desensitisation Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000001376 precipitating effect Effects 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000013396 workstream Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种大数据分析挖掘管理面与业务面的关联方法及系统，上述方法包括以下步骤：数据网关从数据分析挖掘平台获取模型运行得到的结果数据，并从所述数据分析挖掘平台同步所述模型的管理信息及索引信息；所述数据网关根据所述管理信息、所述索引信息及所述结果数据，建立数据输出索引；所述数据网关根据所述数据输出索引判断数据需求方对该模型的使用权限，并根据预设的安全规则处理所述结果数据后输出至所述数据需求方。本发明公开的大数据分析挖掘管理面与业务面的关联方法及系统，能够解决现有技术中数据开放的安全性、有序性管理问题。
Description
技术领域
本发明涉及数据挖掘与应用领域，尤其涉及一种大数据分析挖掘管理面与业务面的关联方法及系统。
背景技术
在“大数据”背景下，企业的大量数据不再按照传统的相关格式存储在企业数据库中，数据存储格式发生了很大的变化。而且，数据存储量增大，数据的生成使用非传统的数据输入手段，例如无线射频识别(RFID)、传感器网络等，并且数据对时间敏感。
以数据效能发挥和使用而言，大数据分析与传统数据仓库分析的区别体现在以下几个方面：(1)传统分析是针对已知的数据范围中易理解的数据进行分析，而大数据分析是针对传统手段捕捉到的数据之外的非结构化数据；(2)传统分析是建立在关系数据模型之上的，主题之间的关系在系统内就已经被创立，且分析也在此基础上进行；而大数据体现在典型的世界里，很难在所有的信息间以一种正式的方式建立关系，绝大多数的大数据分析数据库基于纵列数据库之外；(3)传统分析是定向的批处理，而大数据分析是利用对数据有意义的软件的支持针对数据的实时分析。
在此背景下，需要充分使用建模工具，探索实时数据之间的关联关系和相关的模型。众多大数据应用背后是丰富的数据关联关系以及以数据集成关系为主题的丰富的数据模型。可见，要形成开放的大数据应用产品或者大数据应用商店，必须建立开放的数据分析挖掘能力平台。
目前，在数据运营过程中，原始数据存在于内部网络系统(与外部网络不互通)，无法直接支持在外部网络的用户或应用。于数据运营过程中，一方面，处于内部系统的数据管理者，负责数据采集、整合、基础加工以及数据安全等工作，承担了数据安全与数据作业的工作；另外一方面，外部网络中的数据用户或应用需要数据开放来支持相关的数据应用或者形成数据产品，以发挥数据的最大核心价值。由于内部系统和外部网络不互通，造成外部网络的用户或应用无法获取相应的数据，从而无法形成开放的大数据应用产品或者应用商店。
但是，若内部系统的数据向外部网络完全开放，容易导致数据外漏，存在数据安全隐患。比如，若没有相应数据模型的使用权限的人员获取了该数据模型得到的结果数据，会造成数据外泄；若当前数据人员获取的结果数据涉及原始数据中的用户数据隐私，也会造成数据外泄，等等。
发明内容
本发明提供一种大数据分析挖掘管理面与业务面的关联方法及系统，用来解决现有技术中数据开放会产生的数据安全性、有序性管理的问题，比如将目标开放的数据能够准确开放给具备权限需求方，并能够通过配置方式，实现数据需求方按字段要求获取数据。
为了解决上述技术问题，本发明提供一种大数据分析挖掘管理面与业务面的关联方法，包括以下步骤：数据网关从数据分析挖掘平台获取模型运行得到的结果数据，并从所述数据分析挖掘平台同步所述模型的管理信息及索引信息；所述数据网关根据所述管理信息、所述索引信息及所述结果数据，建立数据输出索引；所述数据网关根据所述数据输出索引判断数据需求方对该模型的使用权限，并根据预设的安全规则处理所述结果数据后输出至所述数据需求方。
进一步地，所述管理信息包括数据需求方标识信息、模型标识信息及模型训练集信息。
进一步地，所述索引信息包括模型标识信息、模型运行时间信息以及模型运行输入集信息。
进一步地，所述数据网关根据所述管理信息、所述索引信息及所述结果数据，建立数据输出索引包括：以模型标识信息为关联要素，确定该模型的管理信息及索引信息的对应关系，结果数据与模型标识信息及该模型运行的输入集信息一一对应，建立数据输出索引。
进一步地，所述数据网关根据所述数据输出索引及预设的安全规则将相关的结果数据输出至所述数据需求方包括：当所述数据需求方为用户时，所述数据网关通过服务代理输出所述相关的结果数据，当所述数据需求方为应用时，所述数据网关通过Webservice服务输出所述相关的结果数据。
本发明还提供一种大数据分析挖掘管理面与业务面的关联系统，设置于数据网关，包括获取模块、建立模块以及输出模块。所述获取模块，用于从数据分析挖掘平台获取模型运行得到的结果数据，并从数据分析挖掘平台同步所述模型的管理信息及索引信息；所述建立模块，用于根据所述管理信息、所述索引信息及所述结果数据，建立数据输出索引；所述输出模块，用于根据所述数据输出索引判断数据需求方对该模型的使用权限，并根据预设的安全规则处理所述结果数据后输出至所述数据需求方。
进一步地，所述管理信息包括数据需求方标识信息、模型标识信息及模型训练集信息。
进一步地，所述索引信息包括模型标识信息、模型运行时间信息以及模型运行输入集信息。
进一步地，所述建立模块，用于根据所述管理信息、所述索引信息及所述结果数据，建立数据输出索引包括：以模型标识信息为关联要素，确定该模型的管理信息及索引信息的对应关系，结果数据与模型标识信息及该模型运行的输入集信息一一对应，建立数据输出索引。
进一步地，当所述数据需求方为用户时，所述输出模块，用于通过服务代理输出所述相关的结果数据；当所述数据需求方为应用时，所述输出模块，用于通过Webservice服务输出所述相关的结果数据。
本发明提供的大数据分析挖掘管理面与业务面的关联方法及系统，在数据分析挖掘平台开放的基础上，完成在数据分析挖掘平台与数据网关上的管理信息、索引信息以及模型运行的结果数据的关联同步，由数据网关将相应的模型运行得到的结果数据根据数据输出索引及预设的安全规则输出至数据需求方(例如合适的数据用户或者数据应用APP)。如此，在数据开放的环境下，实现安全、高效、有序的数据结果输出，直接支撑面向适合数据需求方的数据结果的自动化数据服务。
附图说明
图1所示为本发明较佳实施例提供的大数据分析挖掘管理面与业务面的关联方法的流程图；
图2所示为本发明较佳实施例提供的数据分析挖掘平台与数据网关的关联示意图。
具体实施方式
下面将结合附图及实施例对本发明的技术方案进行更详细的说明。
如图1所示，本发明较佳实施例提供的方法包括以下步骤：S1：数据网关从数据分析挖掘平台获取模型运行得到的结果数据，并从数据分析挖掘平台同步所述模型的管理信息及索引信息；S2：数据网关根据所述管理信息、所述索引信息及所述结果数据，建立数据输出索引；S3：所述数据网关根据所述数据输出索引判断数据需求方对该模型的使用权限，并根据预设的安全规则处理所述结果数据后输出至所述数据需求方。
于较佳实施例中，管理信息包括数据需求方标识信息、模型标识信息及模型训练集信息。
于较佳实施例中，索引信息包括模型标识信息、模型运行时间信息以及模型运行输入集信息。
于较佳实施例中，所述数据网关根据所述管理信息、所述索引信息及所述结果数据，建立数据输出索引包括：以模型标识信息为关联要素，确定该模型的管理信息及索引信息的对应关系，结果数据与模型标识信息及该模型运行的输入集信息一一对应，建立数据输出索引。
于较佳实施例中，数据网关根据所述数据输出索引及预设的安全过滤规则将相关的结果数据输出至所述数据需求方包括：当数据需求方为用户时，数据网关通过服务代理输出相关的结果数据；当数据需求方为应用时，数据网关通过Webservice服务输出相关的结果数据。
以下详细描述本发明较佳实施例的关联方法。
具体而言，如图2所示，大数据平台为数据分析挖掘平台提供基础数据，数据分析挖掘平台通过数据网关为数据需求方提供数据挖掘服务。数据分析挖掘平台作为大数据分析挖掘的管理面，而数据网关作为大数据分析挖掘的业务面。
大数据平台主要是以Hadoop+SMP+MPP等数据库为核心技术要素混搭组成，完成数据的存储、清洗、加工等数据加工工作，并且负责实现初始加工的数据存储，是对于加工数据的第一落地点。
数据分析挖掘平台，能够基于大数据平台处理之后的初始数据，实现面向应用支撑的数据分析模型、挖掘模型的需求提出、模型定义及描述、模型建立、模型训练、模型发布等管理与业务功能，作为数据分析挖掘的管理平面。如图2所示，数据分析挖掘平台上存储有模型信息、建模人员信息、模型训练集信息，设置有模型知识库及用于沉淀结果数据的挖掘集市。
数据网关，作为大数据分析挖掘的业务服务平面，能够同步Web服务器上的数据及模型描述，建立索引；建立数据文件(或应用APP)的提取记录审计；提供用户、应用APP的合规性注册；能够开通FTP(文件传输协议)服务和Webservice服务。
如图2所示，数据网关具有如下的功能：(1)统一接入与认证服务：完成数据需求、安全设计者等人员的注册、合法性认证，并支持相关人员完成必要的管理性操作，如对于数据人员，完成人员注册，同时完成数据发布订阅、服务文件方式以及必要的参数解析；对于安全人员，完成安全规则配置以及数据审计；(2)离线任务处理：主要完成与数据分析挖掘平台的结果数据的FTP接口对接，将结果数据由该离线任务处理传递至FTP服务器(server)上；(3)执行监控：主要完成离线、在线任务的实时监控，为调度提供监控数据和依据；(4)服务代理：主要提供数据流转的协议配置，以及服务接入代理和必要的消息同步和消息触发；(5)通用管理：主要完成数据网关运行过程中的日志、权限以及审计结果的通用性的管理。
具体而言，于本实施例中，在数据分析挖掘平台开放的基础上，形成了数据分析挖掘的模型知识库。其中，数据分析挖掘模型以文件形式存储在模型知识库中。例如，以统计产品与服务解决方案(Statistical Product and Service Solutions，SPSS)工具建立的模型文件为Pmml文件，或者数据分析挖掘模型封装为SQL文件或Jar包。此外，数据分析挖掘的模型知识库还记录模型的关键描述，例如需求者、创建者、所需的数据、训练历史及模型的核心功能描述等信息。其中，若模型符合数据分析挖掘平台运营要求，可以变为正式的发布状态，可供对该模型认可的场景或数据应用直接调用，进入模型运行流程。
于本实施例中，若模型为周期性运行，则运行时，通过获取模型数据集信息、输入数据集及模型部署算法，再进行算法运算，生成输出数据集后将数据服务进行反馈。当数据调用方(例如，数据需求方)实时调用相应模型，数据分析挖掘平台接收服务请求进行权限鉴别和服务路由后，获取模型数据集信息、输入数据集及模型部署算法，根据上述信息进行算法运算输出数据集，然后将数据封装后进行反馈。若数据调用方的服务请求的模型为发布状态的模型，则根据请求信息从模型知识库中选择匹配的模型，获取输出数据集根据需求进行数据裁剪，再将数据封装后进行反馈。
接下来，以SPSS建立的模型为例，描述其运行的具体流程。其中，通过调用clemb命令执行模型。以下为本次命令行执行中传入的参数情况。
./clemb//执行命令
-server//说明是在服务器端执行命令无参数
-hostname spss server//ip例如132.35.227.93
-port spss server//port例如28053(spss server的默认端口)
-username spss server//主机访问用户名例如mamp
-password spss server//主机访问密码(与mamp配对)例如bonc1q2w3e
-P:databasenode.password＝dw_mamp001//数据库连接参数
-directory被执行文件的路径//即.str文件存放位置例如/home/mamp/upload-mamp/upload
-stream被执行文件名//例如singleCardModle.str该文件名不能为汉字，需要在程序里在上传文件时做验证和提示，让用户修改该文件名称为合理的英文名称
-execute//执行-stream参数指定的工作流文件无参数值
之后，在Java程序中调用上述命令，具体而言，首先，通过总表保持上述配置参数，然后从表中读取参数拼接字符串为可执行的命令行。例如./clemb-server-hostname132.35.227.93-port 28053-username mamp-password bonc1q2w3e-P:databasenode.username＝dw_mamp-P:databasenode.password＝ods_mx-directory/home/mamp/upload-mamp/upLoad-stream singleCardModle.str-execute
最后，通过以下代码实现命令行的执行。
try{
Process process＝Runtime.getRuntime().exec(sb.toString())；
exitValue＝new Integer(process.waitFor())；
}catch(IOException e){
e.printStackTrace()；
}catch(InterruptedException e){
e.printStackTrace()；
}
return exitValue＝＝0？true:false；
于此，用户可在数据分析挖掘平台点击【运行结果】(离线服务)或【运行并查看结果】(在线服务)触发模型运行命令行的执行。
于本实施例中，当模型运行状态完成后，模型运行的结果数据第一落地点在数据分析挖掘平台的挖掘集市中，即模型运行的结果数据当前分布在数据分析挖掘平台上。结果数据在挖掘集市沉淀后推送至数据网关。数据网关根据与数据分析挖掘平台同步的所述模型的索引信息、管理信息及结果数据建立数据输出索引。
其中，管理信息包括数据需求方标识信息、模型标识信息、建模人员信息以及模型训练集信息。索引信息包括模型标识信息、模型运行时间信息以及模型运行输入集信息。具体而言，管理信息指能够指挥该模型运行的信息，例如包括数据使用人员或组织的ID、模型的ID；模型运行的数据集；模型的描述信息(如，该模型的功能、特征、编码等)。索引信息例如包括模型ID、该模型的运行时间、该模型运行的输入集。结果数据为该模型按照指定输入集运行得到的数据。
于此，数据输出索引建立的具体过程如下：以模型标识信息(模型的ID)为关联要素，确定该模型对应的管理信息及索引信息的关联，结果数据与模型ID及该模型运行的输入集的组合一一对应(即：采用同一个模型，运行输入集相同时结果数据相同)。基于此，可以在数据网关中完整描述该结果数据的完整信息。即，数据网关通过建立数据输出索引，确定了模型、模型运行的结果数据、数据需求方之间的正确关联关系，从而保证正确的数据需求方，按照允许的模型规则，及时获取该模型所运行的结果数据。即，将目标开放的数据准确开放给具备权限的数据需求方。
于本实施例中，安全管理人员可在数据网关完成安全规则的配置(比如，结果数据的过滤、脱敏及合规检查等具体配置)。例如，根据数据需求方在数据网关的注册等级，确定数据需求方能够获取的结果数据的完整程度。
若数据网关根据建立的数据输出索引中的模型的管理信息的数据需求方标识信息，判断当前希望使用该模型的结果数据的用户对该模型没有使用权限，则数据网关不会向该用户输出该模型的结果数据。若当前的数据需求方具有相应模型的使用权限，且该模型的结果数据包括用户ID信息(如手机号码)时，数据网关根据配置的安全规则，例如会对结果数据进行数据脱敏处理，数据需求方最终获取的结果数据中的用户ID例如为隐藏其中若干位数字的用户ID。若当前的数据需求方具有相应模型的使用权限，且该模型的结果数据为表结构时，数据网关根据配置的安全规则，例如会对结果数据进行数据过滤处理，数据需求方最终获取的结果数据例如为原表结构中的部分列的信息。如此，通过配置方式，实现数据需求方按相关要求(例如字段要求)获取数据。
举例而言，于本实施例中，若数据需求方为数据使用人员或组织时，数据使用人员在数据分析挖掘平台上从模型知识库选择要运行的模型，设置相应参数，触发模型运行。模型运行得到结果数据，由数据分析挖掘平台的服务器将该模型的管理信息、索引信息及运行结果数据推送至数据网关，数据网关根据数据输出索引和针对该数据需求方配置的安全规则，确定待输出的结果数据，数据使用人员通过服务代理获取所述待输出的结果数据。若数据需求方为应用APP，应用可设置周期性地触发数据分析挖掘平台的模型知识库中匹配的模型执行；或者由用户触发应用运行调用Webservice接口，触发相应的模型运行。模型运行得到结果数据，由数据分析挖掘平台的服务器将管理信息、索引信息及结果数据推送至数据网关，数据网关根据数据输出索引和针对该应用配置的安全规则，确定待输出的结果数据，应用发送查询数据准备请求通过Webservice服务可直接调用待输出的结果数据。
此外，于本实施例中，数据网关会记录审计数据需求方获取的相关结果数据的信息(例如数据的大小、时间等信息)。
本发明较佳实施例还提供一种大数据分析挖掘管理面与业务面的关联系统，设置于数据网关，包括获取模块、建立模块以及输出模块。其中，获取模块，用于从数据分析挖掘平台获取模型运行得到的结果数据，并从数据分析挖掘平台同步所述模型的管理信息及索引信息；建立模块，用于根据所述管理信息、所述索引信息及所述结果数据，建立数据输出索引；输出模块，用于根据所述数据输出索引判断数据需求方对该模型的使用权限，并根据预设的安全规则处理所述结果数据后输出至所述数据需求方。
于较佳实施例中，管理信息包括数据需求方标识信息、模型标识信息及模型训练集信息。
于较佳实施例中，索引信息包括模型标识信息、模型运行时间信息以及模型运行输入集信息。
于较佳实施例中，所述建立模块，用于根据所述管理信息、所述索引信息及所述结果数据，建立数据输出索引包括：以模型标识信息为关联要素，确定该模型的管理信息及索引信息的对应关系，结果数据与模型标识信息及该模型运行的输入集信息一一对应，建立数据输出索引。
于较佳实施例中，当数据需求方为用户时，输出模块，用于通过服务代理输出相关的结果数据；当数据需求方为应用时，输出模块，用于通过Webservice服务输出相关的结果数据。
关于所述关联系统的具体操作过程同上述方法所述，故于此不再赘述。
综上所述，本发明实施例提供的大数据分析挖掘管理面与业务面的关联方法及系统，完成了数据分析挖掘平台与数据网关之间的管理信息、索引信息及模型运行结果数据的关联同步，基于开放的数据分析挖掘平台，能够实现安全、高效、有序的数据结果输出，比如将目标开放的数据能够准确开放给具备权限需求方，并能够通过配置方式，实现数据需求方按字段要求获取数据，从而实现直接支撑面向适合数据需求用户自己的数据结果的自动化数据服务。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。
Claims (8)
1.一种大数据分析挖掘管理面与业务面的关联方法，其特征在于，包括以下步骤：
数据网关从数据分析挖掘平台获取模型运行得到的结果数据，并从所述数据分析挖掘平台同步所述模型的管理信息和索引信息；
所述数据网关根据所述模型的管理信息和索引信息以及所述结果数据，建立数据输出索引；
所述数据网关根据所述数据输出索引判断数据需求方对该模型的使用权限，并根据预设的安全规则处理所述结果数据后输出至所述数据需求方；
其中，所述数据网关根据所述模型的管理信息和索引信息以及所述结果数据，建立数据输出索引包括：以模型标识信息为关联要素，确定该模型的管理信息和索引信息的对应关系，结果数据与模型标识信息及该模型运行的输入集信息一一对应，建立数据输出索引。
2.如权利要求1所述的大数据分析挖掘管理面与业务面的关联方法，其特征在于：所述管理信息包括数据需求方标识信息、模型标识信息及模型训练集信息。
3.如权利要求1所述的大数据分析挖掘管理面与业务面的关联方法，其特征在于：所述索引信息包括模型标识信息、模型运行时间信息以及模型运行输入集信息。
4.如权利要求1所述的大数据分析挖掘管理面与业务面的关联方法，其特征在于，所述数据网关根据所述数据输出索引及预设的安全规则将相关的结果数据输出至所述数据需求方包括：当所述数据需求方为用户时，所述数据网关通过服务代理输出所述相关的结果数据，当所述数据需求方为应用时，所述数据网关通过Webservice服务输出所述相关的结果数据。
5.一种大数据分析挖掘管理面与业务面的关联系统，设置于数据网关，其特征在于：包括获取模块、建立模块以及输出模块，
所述获取模块，用于从数据分析挖掘平台获取模型运行得到的结果数据，并从数据分析挖掘平台同步所述模型的管理信息和索引信息；
所述建立模块，用于根据所述模型的管理信息和索引信息以及所述结果数据，建立数据输出索引；
所述输出模块，用于根据所述数据输出索引判断数据需求方对该模型的使用权限，并根据预设的安全规则处理所述结果数据后输出至所述数据需求方；
其中，所述建立模块，用于根据所述模型的管理信息和索引信息以及所述结果数据，建立数据输出索引包括：以模型标识信息为关联要素，确定该模型的管理信息和索引信息的对应关系，结果数据与模型标识信息及该模型运行的输入集信息一一对应，建立数据输出索引。
6.如权利要求5所述的大数据分析挖掘管理面与业务面的关联系统，其特征在于：所述管理信息包括数据需求方标识信息、模型标识信息及模型训练集信息。
7.如权利要求5所述的大数据分析挖掘管理面与业务面的关联系统，其特征在于：所述索引信息包括模型标识信息、模型运行时间信息以及模型运行输入集信息。
8.如权利要求5所述的大数据分析挖掘管理面与业务面的关联系统，其特征在于：当所述数据需求方为用户时，所述输出模块，用于通过服务代理输出所述结果数据；当所述数据需求方为应用时，所述输出模块，用于通过Webservice服务输出所述结果数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510104674.0A CN104699777B (zh) | 2015-03-10 | 2015-03-10 | 大数据分析挖掘管理面与业务面的关联方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510104674.0A CN104699777B (zh) | 2015-03-10 | 2015-03-10 | 大数据分析挖掘管理面与业务面的关联方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104699777A CN104699777A (zh) | 2015-06-10 |
| CN104699777B true CN104699777B (zh) | 2019-06-11 |
Family
ID=53346898
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510104674.0A Active CN104699777B (zh) | 2015-03-10 | 2015-03-10 | 大数据分析挖掘管理面与业务面的关联方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104699777B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105357027B (zh) * | 2015-09-24 | 2016-11-16 | 四川长虹电器股份有限公司 | 基于大数据的轻量级数据服务总线系统 |
| CN105515963A (zh) * | 2015-12-03 | 2016-04-20 | 中国联合网络通信集团有限公司 | 数据网关装置和大数据系统 |
| CN105893522B (zh) * | 2016-03-30 | 2019-12-31 | 电子科技大学 | 一种大数据分析模型业务开发生成和管理系统 |
| CN106204366A (zh) * | 2016-07-22 | 2016-12-07 | 三峡大学 | 一种基于模糊推理的法律大数据管理系统 |
| CN106371975B (zh) * | 2016-08-31 | 2019-03-01 | 国信优易数据有限公司 | 一种运维自动化预警方法和系统 |
| CN106874132A (zh) * | 2017-01-03 | 2017-06-20 | 努比亚技术有限公司 | 一种异常处理方法和装置 |
| CN109388661B (zh) | 2017-08-02 | 2020-04-21 | 创新先进技术有限公司 | 一种基于共享数据的模型训练方法及装置 |
| CN110019545A (zh) * | 2017-10-19 | 2019-07-16 | 阿里巴巴集团控股有限公司 | 工业数据的处理及分析方法、工业数据的处理装置及数据仓库 |
| CN108667924B (zh) * | 2018-04-18 | 2020-04-28 | 大连理工大学 | 一种提供边缘计算服务的网关设备建立方法 |
| CN111917634B (zh) * | 2020-07-02 | 2021-07-13 | 西安交通大学 | 基于pmml的工业网关机器学习模型容器式部署系统及方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101146152A (zh) * | 2006-09-14 | 2008-03-19 | 中国电信股份有限公司 | 用于电信信息台的信息采集和搜索系统 |
| CN101324901A (zh) * | 2008-08-06 | 2008-12-17 | 中国电信股份有限公司 | 数据挖掘方法、平台和系统 |
| CN101616428A (zh) * | 2009-04-15 | 2009-12-30 | 北京协成致远网络科技有限公司 | 一种移动数据业务监控分析系统及其实现方法 |
| CN102955778A (zh) * | 2011-08-18 | 2013-03-06 | 腾讯科技（深圳）有限公司 | 一种网络社区数据的快速查找方法及系统 |
| CN102968501A (zh) * | 2012-12-07 | 2013-03-13 | 福建亿榕信息技术有限公司 | 一种通用的全文搜索方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8571909B2 (en) * | 2011-08-17 | 2013-10-29 | Roundhouse One Llc | Business intelligence system and method utilizing multidimensional analysis of a plurality of transformed and scaled data streams |
-
2015
- 2015-03-10 CN CN201510104674.0A patent/CN104699777B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101146152A (zh) * | 2006-09-14 | 2008-03-19 | 中国电信股份有限公司 | 用于电信信息台的信息采集和搜索系统 |
| CN101324901A (zh) * | 2008-08-06 | 2008-12-17 | 中国电信股份有限公司 | 数据挖掘方法、平台和系统 |
| CN101616428A (zh) * | 2009-04-15 | 2009-12-30 | 北京协成致远网络科技有限公司 | 一种移动数据业务监控分析系统及其实现方法 |
| CN102955778A (zh) * | 2011-08-18 | 2013-03-06 | 腾讯科技（深圳）有限公司 | 一种网络社区数据的快速查找方法及系统 |
| CN102968501A (zh) * | 2012-12-07 | 2013-03-13 | 福建亿榕信息技术有限公司 | 一种通用的全文搜索方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104699777A (zh) | 2015-06-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104699777B (zh) | 大数据分析挖掘管理面与业务面的关联方法及系统 | |
| CN107196910B (zh) | 基于大数据分析的威胁预警监测系统、方法及部署架构 | |
| CN107659543B (zh) | 面向云平台apt攻击的防护方法 | |
| US10061578B2 (en) | System and method of configuring a data store for tracking and auditing real-time events across different software development tools in agile development environments | |
| CN106375339B (zh) | 基于事件滑动窗口的攻击模式检测方法 | |
| CN103618652B (zh) | 一种业务数据的审计和深度分析系统及其方法 | |
| CN107992746A (zh) | 恶意行为挖掘方法及装置 | |
| CN102790706B (zh) | 海量事件安全分析方法及装置 | |
| CN112632135A (zh) | 一种大数据平台 | |
| CN111046000B (zh) | 一种面向政府数据交换共享的安全监管元数据组织方法 | |
| CN109446816A (zh) | 一种基于大数据平台审计日志的用户行为分析方法 | |
| CN109587125A (zh) | 一种网络安全大数据分析方法、系统及相关装置 | |
| CN113362024B (zh) | 一种基于区块链的应用程序开发多模块协同系统 | |
| CN104871171B (zh) | 分布式模式发现 | |
| CN106779485A (zh) | 基于soa架构的综合管理系统及数据处理方法 | |
| CN113347170B (zh) | 一种基于大数据框架的智能分析平台设计方法 | |
| CN110009416A (zh) | 一种基于大数据清洗和ai精准营销的系统 | |
| CN114448654B (zh) | 一种基于区块链的分布式可信审计安全存证方法 | |
| CN113572757B (zh) | 服务器访问风险监测方法及装置 | |
| CN104270359B (zh) | 网络交易的可信认证系统与方法 | |
| CN109408310A (zh) | 服务器的调试方法、服务器及可读存储介质 | |
| CN114205816B (zh) | 一种电力移动物联网信息安全架构及其使用方法 | |
| CN115664703A (zh) | 一种基于多维度信息的攻击溯源方法 | |
| CN104539463B (zh) | 一种网络设备配置文件联机属性交叉检查方法及系统 | |
| CN110460575A (zh) | 一种能够实现安全审计功能网络安全态势感知系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |