CN111694870A - 一种大数据模型执行引擎系统及实现方法 - Google Patents

一种大数据模型执行引擎系统及实现方法 Download PDF

Info

Publication number
CN111694870A
CN111694870A CN202010555618.XA CN202010555618A CN111694870A CN 111694870 A CN111694870 A CN 111694870A CN 202010555618 A CN202010555618 A CN 202010555618A CN 111694870 A CN111694870 A CN 111694870A
Authority
CN
China
Prior art keywords
engine
model
parameters
parameter information
rule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010555618.XA
Other languages
English (en)
Other versions
CN111694870B (zh
Inventor
陈思恩
庄晓明
杨紫胜
廖雅哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tech Valley Xiamen Information Technology Co ltd
Jimei University
Original Assignee
Tech Valley Xiamen Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tech Valley Xiamen Information Technology Co ltd filed Critical Tech Valley Xiamen Information Technology Co ltd
Priority to CN202010555618.XA priority Critical patent/CN111694870B/zh
Publication of CN111694870A publication Critical patent/CN111694870A/zh
Application granted granted Critical
Publication of CN111694870B publication Critical patent/CN111694870B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24564—Applying rules; Deductive queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Combined Controls Of Internal Combustion Engines (AREA)

Abstract

本发明公开了一种大数据模型执行引擎系统，包括客户端、规则解析器、引擎解析器以及分析引擎，所述客户端用于将用户完成的模型根据预先设定的JSON规则生成模型参数文件，并提交给规则解析器，所述规则解析器用于对模型参数文件进行解析，获得参数信息并发送给引擎解析器，所述参数信息包括算法逻辑、算法参数、输入/输出参数以及引擎参数，所述引擎解析器基于所述参数信息选择对应的分析引擎，并将参数信息转换成分析引擎能够执行的参数后提交给分析引擎，所述分析引擎执行模型的计算工作。本发明同时公开了一种大数据模型执行引擎实现方法。

Description

一种大数据模型执行引擎系统及实现方法
技术领域
本发明涉及大数据分析技术领域，特别涉及一种大数据模型执行引擎系统及实现方法。
背景技术
大数据时代，随着企业业务的发展与信息化建设的成熟，企业内逐渐积累了海量的业务数据，这些数量庞大、晦涩难懂的数据背后蕴含着巨大的商业价值。
如何充分利用这些数据的商业价值，快速有效的数据分析成为企业进行准确商业决策至关重要的一环。大数据分析往往离不开数据分析建模，如何将建好的模型运行起来又是数据分析至关重要的一环。
现今大数据分析引擎越来越多，如果根据每个引擎都对具体的一次分析模型进行代码实现将会浪费不少人力物力，而且也对整体进度影响严重，降低了整体效率。
发明内容
为解决上述问题，本发明提供了一种大数据模型执行引擎系统。
本发明采用以下技术方案：
一种大数据模型执行引擎系统，包括客户端、规则解析器、引擎解析器以及分析引擎，所述客户端用于将用户完成的模型根据预先设定的JSON规则生成模型参数文件，并提交给规则解析器，所述规则解析器用于对模型参数文件进行解析，获得参数信息并发送给引擎解析器，所述参数信息包括算法逻辑、算法参数、输入/输出参数以及引擎参数，所述引擎解析器基于所述参数信息选择对应的分析引擎，并将参数信息转换成分析引擎能够执行的参数后提交给分析引擎，所述分析引擎执行模型的计算工作。
优选地，所述引擎解析器包括分析引擎配置子模块，所述分析引擎配置子模块用于配置可选择的分析引擎。
一种大数据模型执行引擎实现方法，其基于上述的大数据模型执行引擎系统实现，该方法包括以下步骤：
S1、客户端将用户设计完成的模型根据预先设定的JSON规则生成模型参数文件，并提交给规则解析器；
S2、规则解析器对模型参数文件进行解析，获得参数信息并发送给引擎解析器，所述参数信息包括算法逻辑、算法参数、输入/输出参数以及引擎参数；
S3、引擎解析器基于所述参数信息选择对应的分析引擎，并将参数信息转换成分析引擎能够执行的参数后提交给分析引擎；
S4、分析引擎执行模型的计算工作。
采用上述技术方案后，本发明与背景技术相比，具有如下优点：
本发明能够解决分析模型在多种分析引擎下分别进行具体代码实现的痛点，能够提高整体效率，降低人力和时间成本。
附图说明
图1为本发明的系统框架图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例
本发明公开了一种大数据模型执行引擎系统，包括客户端、规则解析器、引擎解析器以及分析引擎，其中：
客户端用于将用户完成的模型根据预先设定的JSON规则生成模型参数文件，并提交给规则解析器，规则解析器用于对模型参数文件进行解析，获得参数信息并发送给引擎解析器，参数信息包括算法逻辑、算法参数、输入/输出参数以及引擎参数，引擎解析器基于参数信息选择对应的分析引擎，并将参数信息转换成分析引擎能够执行的参数后提交给分析引擎，分析引擎执行模型的计算工作。
引擎解析器包括分析引擎配置子模块，分析引擎配置子模块用于配置可选择的分析引擎。
本发明同时公开了一种大数据模型执行引擎实现方法，其基于上述的大数据模型执行引擎系统实现，该方法包括以下步骤：
S1、客户端将用户设计完成的模型根据预先设定的JSON规则生成模型参数文件，并提交给规则解析器；
S2、规则解析器对模型参数文件进行解析，获得参数信息并发送给引擎解析器，参数信息包括算法逻辑、算法参数、输入/输出参数以及引擎参数；
S3、引擎解析器基于参数信息选择对应的分析引擎，并将参数信息转换成分析引擎能够执行的参数后提交给分析引擎；
S4、分析引擎执行模型的计算工作。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (3)

1.一种大数据模型执行引擎系统，其特征在于：包括客户端、规则解析器、引擎解析器以及分析引擎，所述客户端用于将用户完成的模型根据预先设定的JSON规则生成模型参数文件，并提交给规则解析器，所述规则解析器用于对模型参数文件进行解析，获得参数信息并发送给引擎解析器，所述参数信息包括算法逻辑、算法参数、输入/输出参数以及引擎参数，所述引擎解析器基于所述参数信息选择对应的分析引擎，并将参数信息转换成分析引擎能够执行的参数后提交给分析引擎，所述分析引擎执行模型的计算工作。
2.如权利要求1所述的一种大数据模型执行引擎系统，其特征在于：所述引擎解析器包括分析引擎配置子模块，所述分析引擎配置子模块用于配置可选择的分析引擎。
3.一种大数据模型执行引擎实现方法，其基于权利要求1或2所述的大数据模型执行引擎系统实现，其特征在于，该方法包括以下步骤：
S1、客户端将用户设计完成的模型根据预先设定的JSON规则生成模型参数文件，并提交给规则解析器；
S2、规则解析器对模型参数文件进行解析，获得参数信息并发送给引擎解析器，所述参数信息包括算法逻辑、算法参数、输入/输出参数以及引擎参数；
S3、引擎解析器基于所述参数信息选择对应的分析引擎，并将参数信息转换成分析引擎能够执行的参数后提交给分析引擎；
S4、分析引擎执行模型的计算工作。
CN202010555618.XA 2020-06-17 2020-06-17 一种大数据模型执行引擎系统及实现方法 Active CN111694870B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010555618.XA CN111694870B (zh) 2020-06-17 2020-06-17 一种大数据模型执行引擎系统及实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010555618.XA CN111694870B (zh) 2020-06-17 2020-06-17 一种大数据模型执行引擎系统及实现方法

Publications (2)

Publication Number Publication Date
CN111694870A true CN111694870A (zh) 2020-09-22
CN111694870B CN111694870B (zh) 2023-05-26

Family

ID=72481517

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010555618.XA Active CN111694870B (zh) 2020-06-17 2020-06-17 一种大数据模型执行引擎系统及实现方法

Country Status (1)

Country Link
CN (1) CN111694870B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102043833A (zh) * 2010-11-25 2011-05-04 北京搜狗科技发展有限公司 一种基于查询词进行搜索的方法和搜索装置
CN108268529A (zh) * 2016-12-30 2018-07-10 亿阳信通股份有限公司 一种基于业务抽象和多引擎调度的数据汇总方法和系统
US20190026335A1 (en) * 2017-07-23 2019-01-24 AtScale, Inc. Query engine selection
CN110268425A (zh) * 2017-02-09 2019-09-20 卡特彼勒公司 用于分析机器数据的系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102043833A (zh) * 2010-11-25 2011-05-04 北京搜狗科技发展有限公司 一种基于查询词进行搜索的方法和搜索装置
CN108268529A (zh) * 2016-12-30 2018-07-10 亿阳信通股份有限公司 一种基于业务抽象和多引擎调度的数据汇总方法和系统
CN110268425A (zh) * 2017-02-09 2019-09-20 卡特彼勒公司 用于分析机器数据的系统
US20190026335A1 (en) * 2017-07-23 2019-01-24 AtScale, Inc. Query engine selection

Also Published As

Publication number Publication date
CN111694870B (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
US11487772B2 (en) Multi-party data joint query method, device, server and storage medium
Burattin et al. PLG: A framework for the generation of business process models and their execution logs
Saravanan et al. Comparative Analysis of Software Life Cycle Models
CN104573063A (zh) 一种基于大数据的数据分析方法
CN103336790A (zh) 基于Hadoop的邻域粗糙集快速属性约简方法
CN108268529B (zh) 一种基于业务抽象和多引擎调度的数据汇总方法和系统
CN103336791A (zh) 基于Hadoop的粗糙集快速属性约简方法
WO2017090475A1 (ja) 情報処理システム、関数作成方法および関数作成プログラム
US10295979B2 (en) Scheduling in manufacturing environments
JPWO2018079225A1 (ja) 自動予測システム、自動予測方法および自動予測プログラム
CN114911870A (zh) 一种面向多源异构工业数据的融合管理架构
CN111414619B (zh) 一种数据安全检测方法、装置、设备及可读存储介质
US20170075333A1 (en) Planning for manufacturing environments
CN113098888A (zh) 异常行为预测方法、装置、设备及存储介质
CN114546365A (zh) 一种流程可视化的建模方法、服务器、计算机系统及介质
Zou et al. Quality-aware data management for large scale scientific applications
CN113535831A (zh) 一种基于大数据的报表分析方法、装置、设备和介质
CN111694870A (zh) 一种大数据模型执行引擎系统及实现方法
CN112199395A (zh) 一种人工智能分析方法及系统
Shahbazian et al. Making well-informed software design decisions
CN112000312B (zh) 基于Kettle和GeoTools的空间大数据自动化并行处理方法和系统
WO2021184346A1 (zh) 隐私机器学习模型生成、训练方法、装置及电子设备
Alfaro et al. Deployment model of big data for port logistics
Alfaro-Flores et al. Experiment-driven improvements in Human-in-the-loop Machine Learning Annotation via significance-based A/B testing
CN113515500B (zh) 一种可视化的数据处理系统及处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230423

Address after: No.185, Yinjiang Road, Jimei, Xiamen, Fujian Province, 361000

Applicant after: JIMEI University

Applicant after: TECH VALLEY (XIAMEN) INFORMATION TECHNOLOGY CO.,LTD.

Address before: Unit 804 and 805, No.88 anling 2nd Road, Huli District, Xiamen City, Fujian Province

Applicant before: TECH VALLEY (XIAMEN) INFORMATION TECHNOLOGY CO.,LTD.

GR01 Patent grant
GR01 Patent grant