CN106775689A - 一种大数据应用开发的系统及方法 - Google Patents
一种大数据应用开发的系统及方法 Download PDFInfo
- Publication number
- CN106775689A CN106775689A CN201611106304.1A CN201611106304A CN106775689A CN 106775689 A CN106775689 A CN 106775689A CN 201611106304 A CN201611106304 A CN 201611106304A CN 106775689 A CN106775689 A CN 106775689A
- Authority
- CN
- China
- Prior art keywords
- big data
- data application
- module
- plug
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Stored Programmes (AREA)
Abstract
本发明公开了一种大数据应用开发的系统以及方法,基于大数据应用框架和插件开发大数据应用,通过从数据源读取数据,验证数据的有效性;对数据进行解析操作,转换为预设格式数据;从预设格式数据提取生成指标所需的字段,对字段进行计算,得出指标。其中,大数据应用框架的模块插件化,利用插件在所述大数据应用框架下组装生成大数据应用。将大数据应用框架模块插件化,在大数据应用开发过程中,大数据应用的开发者无需掌握大数据技术理论,只需利用常规应用开发技术开发大数据应用框架所需的业务逻辑插件,利用插件和大数据应用框架组装成大数据应用。可见,本申请基于插件的开发方式,提高了大数据应用的开发效率,降低了大数据应用的开发门槛。
Description
技术领域
本发明涉及大数据领域,特别是涉及一种大数据应用开发的系统及方法。
背景技术
随着互联网技术以及信息技术的发展,大量的信息被数据化,产生了无法用常规工具捕捉、管理和处理的海量数据集合,这种数据集合也称为大数据。
大数据具有海量的数据规模以及多样的数据类型,对这些海量、流式的数据进行处理分析是一种巨大的挑战。为了更好地对大数据进行数据统计分析,大数据工具应运而生。
大数据工具可以用来开发各种大数据应用,用以处理海量数据。现有技术中,可以利用大数据工具来开发大数据应用,其开发过程一般是由大数据开发工程师搭建的大数据开发环境,利用分布式计算理论等大数据技术,在已搭建好的大数据开发环境下编写相应的代码,进行相应的大数据应用开发。虽然大数据工具可以为大数据的处理分析提供一定的便利性,但是大数据工具的使用门槛较高,即大数据应用的开发者需要掌握多方面大数据理论知识。大数据工具的使用一般是基于分布式运行环境,在其环境下开发大数据应用,开发、调试以及部署的实现相对复杂,影响大数据应用的开发效率。而目前掌握大数据技术的开发人员较紧缺,无法将大数据应用普及到各个行业。由于大数据应用开发的门槛较高,进一步降低了大数据应用的开发效率。如何降低大数据应用开发的门槛,从而提高大数据应用的开发效率是本领域技术人员亟待解决的问题。
发明内容
本发明的目的是提供一种大数据应用开发的系统,目的在于解决现有技术中大数据应用开发的门槛较高,从而使得大数据应用的开发效率较低的问题;本发明的另一目的是提供一种大数据应用开发的方法,其开发大数据应用的门槛较低,开发效率较高。
为解决上述技术问题,本发明提供一种大数据应用开发的系统,该系统包括:
大数据应用框架和数据源,所述大数据应用框架包括:
数据接入模块,用于从所述数据源读取数据;
数据验证模块,与所述数据接入模块相连,用于验证所述数据的有效性;
数据解码模块,与所述数据验证模块相连,用于对所述数据进行解析操作,转换为预设格式数据;
指标提取模块,与所述数据解码模块相连,用于从所述预设格式数据提取生成指标所需的字段;
指标计算模块,与所述指标提取模块相连,用于对所述字段进行计算,得出所述指标;
其中,所述大数据应用框架的模块插件化,利用插件在所述大数据应用框架下组装生成大数据应用。
可选地,还包括:
配置模块,用于获取用户输入的配置指令,根据预建立的所述配置指令与所述大数据应用框架的模块的映射关系,调用与所述配置指令相对应的模块。
可选地,所述配置模块包括:
插件开发单元,用于获取输入的开发代码,根据所述开发代码生成所述模块对应的插件;
映射关系建立单元,用于建立所述配置指令与所述模块之间的所述映射关系;
其中,所述开发代码为使用通用编程语言编写的。
可选地,所述配置模块包括:
图形界面单元,用于将所述配置指令转化为配置参数,以可视化界面显示给所述用户。
可选地,所述大数据应用框架还包括:
指标结果存储模块,与所述指标计算模块相连,用于将所述指标存储至指定存储位置。
可选地,还包括:
指标结果展示模块,用于从所述指标结果存储模块读取所述指标,以预设显示方式显示所述指标。
此外,本发明还提供了一种大数据应用开发的方法,该方法包括:
获取预开发的大数据应用框架;
接收用户选择功能模块的指令;
根据所述指令调用所述大数据应用框架中对应的插件;
利用所述插件与所述大数据应用框架组装生成大数据应用。
可选地,所述根据所述指令调用所述大数据应用框架中对应的插件包括:
根据所述指令寻找出预建立的所述插件与所述指令的映射关系;
根据所述映射关系,调用相应的插件。
可选地,在接收用户选择功能模块的指令之前还包括:
获取数据源设置指令;
根据所述设置指令设置所述大数据应用框架所接入的数据源以及输入数据的格式。
本发明所提供的一种大数据应用开发的系统以及方法,基于大数据应用框架以及插件开发大数据应用,基于大数据应用框架和插件开发大数据应用,通过从数据源读取数据,验证数据的有效性;对数据进行解析操作,转换为预设格式数据;从预设格式数据提取生成指标所需的字段,对所述字段进行计算,得出所述指标。其中,所述大数据应用框架的模块插件化,利用插件在所述大数据应用框架下组装生成大数据应用。大数据应用框架包括数据验证模块、数据解码模块、指标提取模块以及指标计算模块,所述大数据应用框架的模块插件化,利用插件在所述大数据应用框架下组装生成大数据应用。大数据应用框架是可供二次开发的程序实体,将大数据应用框架的模块插件化,在大数据应用开发过程中,大数据应用的开发者无需掌握大数据技术理论知识,只需利用常规应用开发技术来开发大数据应用框架所需的业务逻辑插件,其应用开发保持与单机程序一致,进而利用插件和大数据应用框架即可组装成大数据应用。可见,本申请基于插件的开发方式,使传统应用开发人员无需掌握大数据技术理论,降低了大数据应用的开发门槛,提高了大数据应用的开发效率。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的大数据应用开发系统的一种具体实施方式的结构示意图;
图2为本发明实施例所提供的大数据应用开发系统的另一种具体实施方式的结构示意图;
图3为大数据应用框架、应用开发平台以及应用配置平台的映射关系示意图;
图4为本发明实施例提供的大数据应用开发方法的一种具体实施方式的流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参见图1,图1为本发明实施例所提供的大数据应用开发系统的一种具体实施方式的结构示意图,该系统包括:
大数据应用框架11和数据源12,数据源12可以是数据库、消息中间件以及文件等。大数据应用框架11是可供开发人员二次开发的程序实体,已实现了大数据应用所需的底层实现。大数据应用开发人员可以编写相应的简易代码,在大数据应用框架的基础上进行相应的大数据应用开发。大数据应用框架11一般是由大数据开发工程师开发实现的,大数据开发工程师可以是指掌握了分布式计算理论、高可靠性、容错机制等多方面的大数据技术的开发人员。大数据开发工程师将大数据应用框架的业务调用逻辑以及相应的应用程序接口进行相应的抽象封装,使得大数据应用开发人员可以编写相应的逻辑插件即可。
在大数据流式处理平台中,大数据应用为流式数据处理任务,其大数据应用框架可以为大数据流式处理框架。大数据应用类型的不同,相应的大数据应用框架也会有相应的不同,其中大数据监控分析应用对应的大数据应用框架可以包括以下模块:
数据接入模块111,用于从所述数据源12读取数据,为大数据应用框架的其它模块提供数据。一般地,数据接入模块111的开发一般涉及大量数据源系统以及大数据应用框架的理论知识,对于非大数据技术人员具有一定的技术难度。故可以利用大数据应用框架将数据源类型封装为插件,插件所对应的数据源类型可以是一些比较常见的数据源类型,也可以是尽可能地囊括所有的数据源类型。将数据源的类型进行插件化,当不同的大数据应用需要用到相同的数据源时,可以避免大量的重复开发工作量。进一步地,还可以将数据源的配置以配置项的形式供开发人员进行选择配置。将数据源的配置过程简化,可以使得大数据应用开发人员在开发数据接入模块111时,无需了解数据源与大数据应用框架的连接以及读取数据的细节,可以通过配置数据源的类型以及相应的参数,即可完成数据接入模块的开发。此时,可以将数据接入模块的业务逻辑抽象封装成插件,即大数据应用开发人员通过编写相应的数据接入的业务逻辑代码,生成相应的数据接入逻辑插件,即可以完成大数据应用框架的数据源接入。可以理解的是,大数据应用开发人员所使用的编程语言可以为通用编程语言。
数据验证模块112,与所述数据接入模块111相连,用于验证所述数据的有效性。由于数据源的数据可能存在错误,或者是在读取的过程中读取错误。故对从数据源读取的数据进行正确性检验,保证后续模块处理的数据的合法性以及有效性。其验证的操作一般包括过滤无效消息/日志、数据修正、缺少数据填充等。将数据验证模块插件化,大数据应用开发人员可以通过编写简易的逻辑代码,即可完成数据验证模块的开发。
数据解码模块113,与所述数据验证模块112相连,用于对所述数据进行解析操作,转换为预设格式数据。验证了数据的合法性以及有效性后,由于从数据源读取的数据可能不是大数据应用框架所能处理的数据格式,需要对数据进行解码操作。解码操作可以将数据转化为大数据应用框架通用的预设数据格式,其预设数据格式可以例如为CSV/JSON/XML/Protocol Buffers等。对数据进行解码可以包括协议解析、字符编码转换、类型转换等操作。
指标提取模块114,与所述数据解码模块113相连,用于从所述预设格式数据提取生成指标所需的字段。将数据转换为大数据应用框架的通用数据格式后,从通用数据格式的数据中提取出字段,提取出的字段用于指标计算。对字段进行映射、关联、归一化以及分箱等操作,即可生成指标计算所需的字段。其字段映射过程是指将字段进行变换归类,得到最终指标计算字段,例如,可以将性别映射为0/1,可以男性用0表示,女性用于1表示。可以将IP地址映射为城市,即根据IP地址确定用户的城市。也可以根据用户的年龄大小将用户划分至不同的年龄层,例如青少年、青年、中年以及老年。
指标计算模块115,与所述指标提取模块114相连,用于对所述字段进行计算,得出所述指标。将指标字段对应的数据进行统计维度归类,维度是用户自由选择的,可以是指需要进行统计计算的指标字段数组合。例如,可以将统计维度设为城市和年龄段。当然,统计维度的设定是有用户根据需要进行自由组合设定的。确定统计维度后,需要对同一维度下的数据集合进行统计分析,得出相应的指标计算结果。例如,按照城市以及年龄段的统计维度,统计同一城市的每天访问网站的人数以及平均收入,得出相应的访问网站人数以及相应收入平均值。
其中,所述大数据应用框架的模块插件化,利用插件在所述大数据应用框架下组装生成大数据应用。
需要说明的是,将大数据应用框架的模块插件化,大数据应用开发人员可以在大数据应用框架的基础上,实现大数据应用框架所需的插件,将插件与大数据应用框架相组装,开发出相应的大数据应用。即大数据应用开发人员获取相应的大数据应用框架开发软件包,编写相应的逻辑代码,生成相应的逻辑插件。其大数据应用开发人员编写的逻辑代码可以是通用的编程语言,例如Java、Python;也可以是一些比较小众的编程语言。与上述大数据应用框架相对应,其插件可以有数据验证插件、数据解码插件、指标提取插件以及指标计算插件,开发利用相应的插件与大数据应用框架即可组装生成相应的大数据应用。基于插件开发大数据应用,开发人员可以通过编写简易代码来实现插件,继而利用插件组装大数据应用,使得传统的应用开发人员可以高效地开发大数据应用。
利用大数据流式处理任务得出指标计算结果,可以对该计算处理的计算结果进行保存,故大数据应用框架还可以包括指标结果存储模块,与所述指标计算模块115相连,用于将所述指标存储至指定存储位置。其负责将计算得出的指标存储到指定的存储位置,存储位置可以为外部的数据库,也可以为文件。大数据应用框架可以将每个周期内计算得出的结果存储到外部的存储介质中,例如数据库、文件或Socket连接。除了存储计算结果外,指标结果存储模块还包括建立数据连接、维护数据连接以及清理数据连接等功能。
进一步地,大数据应用开发系统可选地还包括:指标结果展示模块,用于从所述指标结果存储模块读取所述指标,以预设显示方式显示所述指标。将指标计算结果持久化存储在指标结果库中,指标结果展示模块可以从指标结果库内读取指标,并将指标以图形、报表等形式展示出来,例如,以条形直方图展示不同年龄的访客的平均收入。当然,指标结果展示模块也可以直接从指标结果存储模块获取到相应的指标进行相应的结果展示。
大数据应用开发人员可以通过编写简易代码实现所需插件,进而利用插件组装生成大数据应用,也可以将插件提前实现,使得应用开发人员可以通过进行相应的配置操作,选择所需的插件来组装生成大数据应用。这样使得没有掌握代码开发技术的人员也可以通过简易的配置操作来开发生成大数据应用,进一步降低大数据应用开发的门槛,例如,应用分析人员以及业务运营人员。故在本发明的一些实施例中,还可以在大数据应用开发系统增加配置模块,用于获取用户输入的配置指令,根据预实现的所述配置指令与所述大数据应用框架的模块的映射关系,调用与所述配置指令相对应的所述模块。
其配置模块可以具体表现为应用配置平台,应用配置平台可以提供包括数据源、数据格式、指标、选择指标计算方法、指标结果存储以及指标展示的设置步骤,相对应地,应用配置平台会将数据解码、数据正确性验证、指标提取以及指标计算的步骤预先固化,即提前利用代码实现相应的操作。开发人员利用应用配置平台进行开发大数据应用时,无需编写代码,而是在选择预实现的插件来组装生成大数据应用。用户即开发人员输入相应的配置指令,完成相应的配置操作,调用相应的插件。当然,配置模块也可以具体表现为其它形式,在此不作限定。
配置模块内的插件可以是大数据应用开发人员提前编写代码实现的,故在本发明的一些实施例中,可选地,所述配置模块可以包括:插件开发单元,用于获取输入的开发代码,根据所述开发代码生成所述模块对应的插件;映射关系建立单元,用于建立所述配置指令与所述模块之间的所述映射关系;其中,所述开发代码为使用通用编程语言编写的。编写简易代码来实现相应的插件后,为了更好地根据用户输入的配置指令来选择调用插件,需要建立好配置指令和模块即插件间的映射关系。需要说明的是,其插件的实现代码可以是利用通用编程语言进行编写的,也可以其它的编程语言,在此不作限定。
根据用户输入的配置参数来选择调用相应的插件,需要将提供图形界面,以便与用户进行人机交互,获取用户所需的配置参数。故在本发明的一些实施例中,可选地,所述配置模块可以包括:图形界面单元,用于将所述配置指令转化为配置参数,以可视化界面显示给所述用户。将配置参数以可视化界面展示,供用户进行选择输入,然后根据用户的输入自动调用生成相应的插件。利用配置模块,将一些已有的插件实现供用户选择,进而根据用户所选择的插件与大数据应用框架组装成相应的大数据应用,在整个开发过程中,无需编写代码实现插件,进一步降低了大数据应用开发的门槛,提高了大数据应用的开发效率。
本发明实施例所提供的大数据应用开发的系统,基于大数据应用框架以及插件开发大数据应用,基于大数据应用框架和插件开发大数据应用,通过从数据源读取数据,验证数据的有效性;对数据进行解析操作,转换为预设格式数据;从预设格式数据提取生成指标所需的字段,对所述字段进行计算,得出所述指标。其中,所述大数据应用框架的模块插件化,利用插件在所述大数据应用框架下组装生成大数据应用。大数据应用框架包括数据验证模块、数据解码模块、指标提取模块以及指标计算模块,所述大数据应用框架的模块插件化,利用插件在所述大数据应用框架下组装生成大数据应用。大数据应用框架是可供二次开发的程序实体,将大数据应用框架的模块插件化,在大数据应用开发过程中,大数据应用的开发者无需掌握大数据技术理论知识,只需利用常规应用开发技术来开发大数据应用框架所需的业务逻辑插件,其应用开发保持与单机程序一致,进而利用插件和大数据应用框架即可组装成大数据应用。可见,本申请基于插件的开发方式,使传统应用开发人员无需掌握大数据技术理论,降低了大数据应用的开发门槛,提高了大数据应用的开发效率。
基于插件的开发模式,开发人员只需在大数据应用框架的基础上,开发相应的逻辑代码,生成相应的业务逻辑插件,与大数据应用框架可以组装成大数据应用。对于一些较常用的插件,为了减少重复工作量,可以将插件预先固化,在开发大数据应用时,只需调用相应的插件来即可进行组装大数据应用。下面将对包括了应用配置平台的大数据应用开发系统进行介绍。
请参见图2,图2为本发明实施例所提供的大数据应用开发系统的另一种具体实施方式的结构示意图,该系统包括:
大数据应用框架21、数据源22以及应用配置平台23。
大数据应用框架21以及数据源22与上述实施例中的大数据应用框架类似,在此不再赘述,其中,大数据应用框架21预留有插件接口,用于与插件交互,完成相应的业务处理。
应用配置平台23上可以进行数据验证配置、格式选择配置、提取字段及处理方法配置、指标统计方法配置以及存储方式配置等配置操作。应用配置平台23将一些插件预先固有化,提供图形界面供用户选择已有的插件,根据用户的设置,可以自动将插件与大数据应用框架进行组装,生成相应的大数据应用。
大数据应用开发人员根据应用配置平台的提示,选择数据源以及输入的数据格式,获取到用户选择的数据格式调用生成相应的解码插件;利用解码插件对用户提交的字段样本进行解析,生成相应的可供选字段给用户选择,还包括相应字段的字段处理方法。字段处理方法内置在字段操作中,其可以为归一化、分箱以及四则运算等。应用配置平台可以根据用户输入的设置参数,自动生成字段提取插件;提取相应的字段后,应用配置平台将内置的统计方法展示给用户,供用户选择,其统计方法可以为求和、平均值、计数等。用户可以在应用配置平台上选择相应的字段以及统计方法,设置统计维度,应用配置平台自动生成指标计算插件;用户还可以配置计算结果的存储方式,应用配置平台根据用户输入的配置自动生成持久化存储插件;还可以对指标结果的展示方式进行配置,例如,可以选择指标结果的展示界面的图形界面风格。
利用应用配置平台,调用一些预先实现的插件,组装生成相应的大数据应用。请参见图3,图3为大数据应用框架31、应用开发平台32以及应用配置平台33的映射关系示意图。从图3可以很容易地看出根据应用配置平台的配置参数,应用开发平台选择生成相应的插件,插件与大数据应用框架组装生成相应的大数据应用。
本发明实施例所提供的大数据应用开发的系统,通过应用配置平台获取用户配置的应用参数,从而选择生成相应的插件,组装大数据应用,可以是开发人员仅通过配置操作即可完成大数据应用的开发,无需编写代码,降低了大数据应用的开发门槛,提高了大数据应用开发的效率。
在上述实施例的基础上,可以将一些比较常见的应用场景对应的大数据应用的数据输入格式固化、流程处理固化、数据指标计算操作固化,即只需配置不同的数据源即可以完成相应的大数据应用的开发。例如,对于大数据监控应用,用户可以通过在应用配置平台配置输入相应的数据规范准备数据,即可完成大数据应用的开发。较常见的监控服务场景可以为PV统计、UV统计、响应时间统计等类型的大数据应用,对于同一应用场景的不同业务,每个大数据应用接入的数据源不同,得出的结果也会不同。对常见的大数据应用,进一步简化数据配置的工作,降低了大数据应用开发的门槛,提高了大数据应用开发的效率。
下面对本发明实施例提供的大数据应用开发的方法进行介绍,下文描述的大数据应用开发的方法与上文描述的大数据应用开发的系统可相互对应参照。
图4为本发明实施例提供的大数据应用开发方法的一种具体实施方式的流程示意图,参照图4大数据应用开发的方法可以包括:
步骤401:获取预开发的大数据应用框架;
步骤402:接收用户选择功能模块的指令;
步骤403:根据所述指令调用所述大数据应用框架中对应的插件;
步骤404:利用所述插件与所述大数据应用框架组装生成大数据应用。
可选地,所述根据所述指令调用所述大数据应用框架中对应的插件包括:
根据所述指令寻找出预建立的所述插件与所述指令的映射关系;
根据所述映射关系,调用相应的所述插件。
可选地,在接收用户选择功能模块的指令之前还包括:
获取数据源设置指令;
根据所述设置指令设置所述大数据应用框架所接入的数据源以及输入数据的格式。
本发明实施例所提供大数据应用开发的方法,获取预开发的大数据应用框架;接收用户选择功能模块的指令;根据所述指令调用所述大数据应用框架中对应的插件;利用所述插件与所述大数据应用框架组装生成大数据应用。大数据应用框架是可供二次开发的程序实体,将大数据应用框架的模块插件化,在大数据应用开发过程中,大数据应用的开发者无需掌握大数据技术理论知识,只需利用常规应用开发技术来开发大数据应用框架所需的业务逻辑插件,其应用开发保持与单机程序一致,进而利用插件和大数据应用框架即可组装成大数据应用。可见,本申请基于插件的开发方式,使传统应用开发人员无需掌握大数据技术理论,可以快速高效地开发大数据应用,降低了大数据应用的开发门槛,提高了大数据应用的开发效率。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的大数据应用开发的系统以及方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (9)
1.一种大数据应用开发的系统,其特征在于,包括大数据应用框架和数据源,所述大数据应用框架包括:
数据接入模块,用于从所述数据源读取数据;
数据验证模块,与所述数据接入模块相连,用于验证所述数据的有效性;
数据解码模块,与所述数据验证模块相连,用于对所述数据进行解析操作,转换为预设格式数据;
指标提取模块,与所述数据解码模块相连,用于从所述预设格式数据提取生成指标所需的字段;
指标计算模块,与所述指标提取模块相连,用于对所述字段进行计算,得出所述指标;
其中,所述大数据应用框架的模块插件化,利用插件在所述大数据应用框架下组装生成大数据应用。
2.如权利要求1所述的系统,其特征在于,还包括:
配置模块,用于获取用户输入的配置指令,根据预建立的所述配置指令与所述大数据应用框架的模块的映射关系,调用与所述配置指令相对应的模块。
3.如权利要求2所述的系统,其特征在于,所述配置模块包括:
插件开发单元,用于获取输入的开发代码,根据所述开发代码生成所述模块对应的插件;
映射关系建立单元,用于建立所述配置指令与所述模块之间的所述映射关系;
其中,所述开发代码为使用通用编程语言编写的。
4.如权利要求3所述的系统,其特征在于,所述配置模块包括:
图形界面单元,用于将所述配置指令转化为配置参数,以可视化界面显示给所述用户。
5.如权利要求1至4任一项所述的系统,其特征在于,所述大数据应用框架还包括:
指标结果存储模块,与所述指标计算模块相连,用于将所述指标存储至指定存储位置。
6.如权利要求5所述的系统,其特征在于,还包括:
指标结果展示模块,用于从所述指标结果存储模块读取所述指标,以预设显示方式显示所述指标。
7.一种大数据应用开发的方法,其特征在于,包括:
获取预开发的大数据应用框架;
接收用户选择功能模块的指令;
根据所述指令调用所述大数据应用框架中对应的插件;
利用所述插件与所述大数据应用框架组装生成大数据应用。
8.如权利要求7所述的方法,其特征在于,所述根据所述指令调用所述大数据应用框架中对应的插件包括:
根据所述指令寻找出预建立的所述插件与所述指令的映射关系;
根据所述映射关系,调用相应的插件。
9.如权利要求8所述的方法,其特征在于,在接收用户选择功能模块的指令之前还包括:
获取数据源设置指令;
根据所述设置指令设置所述大数据应用框架所接入的数据源以及输入数据的格式。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611106304.1A CN106775689A (zh) | 2016-12-05 | 2016-12-05 | 一种大数据应用开发的系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611106304.1A CN106775689A (zh) | 2016-12-05 | 2016-12-05 | 一种大数据应用开发的系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106775689A true CN106775689A (zh) | 2017-05-31 |
Family
ID=58878886
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611106304.1A Pending CN106775689A (zh) | 2016-12-05 | 2016-12-05 | 一种大数据应用开发的系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106775689A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107807825A (zh) * | 2017-11-21 | 2018-03-16 | 合肥海诺恒信息科技有限公司 | 一种计算机软件开发方法 |
CN109388385A (zh) * | 2018-09-18 | 2019-02-26 | 西门子(中国)有限公司 | 用于应用开发的方法和装置 |
CN110019434A (zh) * | 2018-08-23 | 2019-07-16 | 深圳市信锐网科技术有限公司 | 物联网数据处理方法、装置、平台及存储介质 |
CN110688096A (zh) * | 2019-09-10 | 2020-01-14 | 平安普惠企业管理有限公司 | 包含插件的应用程序的构建方法、装置、介质及电子设备 |
CN111177199A (zh) * | 2019-12-31 | 2020-05-19 | 中国银行股份有限公司 | 基于结构化流的流式计算指标生成系统 |
CN113204336A (zh) * | 2021-05-21 | 2021-08-03 | 珠海金山网络游戏科技有限公司 | 一种游戏平台创建方法及装置 |
CN113377611A (zh) * | 2021-06-07 | 2021-09-10 | 广发银行股份有限公司 | 一种业务处理流程监控方法、系统、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7657868B2 (en) * | 2005-03-14 | 2010-02-02 | Research In Motion Limited | System and method for applying development patterns for component based applications |
CN104915378A (zh) * | 2015-05-08 | 2015-09-16 | 珠海世纪鼎利通信科技股份有限公司 | 一种适用于大数据的统计任务快速生成系统及方法 |
CN104978405A (zh) * | 2015-06-08 | 2015-10-14 | 湖南工学院 | 人误数据加工处理方法及系统 |
CN105786562A (zh) * | 2016-02-04 | 2016-07-20 | 百度在线网络技术(北京)有限公司 | 一种集成插件的方法和装置 |
-
2016
- 2016-12-05 CN CN201611106304.1A patent/CN106775689A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7657868B2 (en) * | 2005-03-14 | 2010-02-02 | Research In Motion Limited | System and method for applying development patterns for component based applications |
CN104915378A (zh) * | 2015-05-08 | 2015-09-16 | 珠海世纪鼎利通信科技股份有限公司 | 一种适用于大数据的统计任务快速生成系统及方法 |
CN104978405A (zh) * | 2015-06-08 | 2015-10-14 | 湖南工学院 | 人误数据加工处理方法及系统 |
CN105786562A (zh) * | 2016-02-04 | 2016-07-20 | 百度在线网络技术(北京)有限公司 | 一种集成插件的方法和装置 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107807825A (zh) * | 2017-11-21 | 2018-03-16 | 合肥海诺恒信息科技有限公司 | 一种计算机软件开发方法 |
CN110019434A (zh) * | 2018-08-23 | 2019-07-16 | 深圳市信锐网科技术有限公司 | 物联网数据处理方法、装置、平台及存储介质 |
CN109388385A (zh) * | 2018-09-18 | 2019-02-26 | 西门子(中国)有限公司 | 用于应用开发的方法和装置 |
CN109388385B (zh) * | 2018-09-18 | 2022-08-19 | 西门子(中国)有限公司 | 用于应用开发的方法和装置 |
CN110688096A (zh) * | 2019-09-10 | 2020-01-14 | 平安普惠企业管理有限公司 | 包含插件的应用程序的构建方法、装置、介质及电子设备 |
CN110688096B (zh) * | 2019-09-10 | 2024-03-01 | 刘艾勇 | 包含插件的应用程序的构建方法、装置、介质及电子设备 |
CN111177199A (zh) * | 2019-12-31 | 2020-05-19 | 中国银行股份有限公司 | 基于结构化流的流式计算指标生成系统 |
CN111177199B (zh) * | 2019-12-31 | 2023-05-02 | 中国银行股份有限公司 | 基于结构化流的流式计算指标生成系统 |
CN113204336A (zh) * | 2021-05-21 | 2021-08-03 | 珠海金山网络游戏科技有限公司 | 一种游戏平台创建方法及装置 |
CN113377611A (zh) * | 2021-06-07 | 2021-09-10 | 广发银行股份有限公司 | 一种业务处理流程监控方法、系统、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106775689A (zh) | 一种大数据应用开发的系统及方法 | |
CN104020994B (zh) | 基于流系统的流过程定义装置和流过程定义方法 | |
CN109814884A (zh) | 一种根据游戏资源类型进行资源管理的方法及系统 | |
CN108228166A (zh) | 一种基于模板的后端代码生成方法及系统 | |
CN108469955B (zh) | 一种基于注解的Android注入框架实现方法 | |
CN105701006B (zh) | 用于程序调试中的变量跟踪的方法和系统 | |
CN103559118A (zh) | 一种基于aop与注解信息系统的安全审计方法 | |
CN110069259B (zh) | 基于idl文件的解析方法、装置、电子设备和存储介质 | |
CN106557470A (zh) | 数据提取方法和装置 | |
US10504492B2 (en) | Apparatus and methods for generating dynamic trace data on a GPU | |
CN109460220A (zh) | 报文预定义代码生成方法、装置、电子设备和存储介质 | |
CN107025167A (zh) | 在处理器追踪日志中使用编译器类型信息进行数据流分析的方法和设备 | |
CN106843818B (zh) | 一种业务模型生成方法及装置 | |
CN106371846A (zh) | 基于网络数据和消息中间件的快速开发方法和业务系统 | |
CN103425469A (zh) | 基于mda技术的手机游戏代码生成方法 | |
CN109344255B (zh) | 标签的填充方法及终端设备 | |
CN109710474A (zh) | 一种硬盘故障检测方法、装置、终端及可读存储介质 | |
CN110795165A (zh) | 一种神经网络模型数据的加载方法及相关装置 | |
CN103218682A (zh) | 基于Web服务编排描述语言的多方协同业务流程监控系统 | |
CN112989151A (zh) | 数据血缘关系展示方法、装置、电子设备及存储介质 | |
CN110362294A (zh) | 开发任务执行方法、装置、电子设备及存储介质 | |
CN108845995A (zh) | 数据处理方法、装置、存储介质和电子装置 | |
CN109120509A (zh) | 一种信息收集的方法及装置 | |
Corre et al. | Fast template-based heterogeneous mpsoc synthesis on fpga | |
CN108848398B (zh) | 一种本地弹幕消息的分发方法、装置、终端和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170531 |