CN109635170A - 算法接入方法、装置、电子设备及可读存储介质 - Google Patents
算法接入方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN109635170A CN109635170A CN201811526265.XA CN201811526265A CN109635170A CN 109635170 A CN109635170 A CN 109635170A CN 201811526265 A CN201811526265 A CN 201811526265A CN 109635170 A CN109635170 A CN 109635170A
- Authority
- CN
- China
- Prior art keywords
- big data
- algorithm
- data
- file
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
本申请实施例提供一种算法接入方法、装置、电子设备及可读存储介质,通过获取大数据算法文件集,并根据各个大数据算法文件,得到该大数据算法文件的待配置字段,在根据待配置字段生成配置页面。接着,获取用户导入的配置信息并对待配置字段进行配置,并通过执行每种业务类型的大数据算法文件对每种业务类型的待处理数据进行数据处理,得到对应的结果数据颗粒,最后基于各个结果数据颗粒生成对应的可视化结果展示页面。由此,通过可视化结果展示页面对结果数据颗粒进行可视化展示,提高了结果数据颗粒的可读性,同时,解决了不同平台执行各个大数据算法文件时,现有多平台相互操作的便捷性和数据的灵活性较差的问题,提高了用户体验。
Description
技术领域
本申请涉及大数据分析领域,具体而言,涉及一种算法接入方法、装置、电子设备及可读存储介质。
背景技术
在大数据分析领域,大数据分析结果通常仅以数据的形式呈现,数据本身具有的抽象性特点,可读性较差,给人们的结果数据应用造成了巨大困难。
申请内容
有鉴于此,本申请的目的在于提供一种算法接入方法、装置、电子设备及可读存储介质,以解决或者改善上述问题。
为了实现上述目的,本申请实施例采用的技术方案如下:
第一方面,本申请实施例提供一种算法接入方法,应用于电子设备,所述方法包括:
获取大数据算法文件集,其中,所述大数据算法文件集包括多种业务类型的大数据算法文件。
根据每种业务类型的大数据算法文件,得到该大数据算法文件的待配置字段,并根据所述待配置字段生成该大数据算法文件的配置页面,其中,所述待配置字段包括该大数据算法文件需要输入的参数及参数类型。
获取用户通过生成的配置页面导入的配置信息并将根据所述配置信息对所述待配置字段进行配置,以完成每种业务类型的大数据算法文件的配置,其中,所述配置信息包括与该大数据算法的待配置字段对应的参数及参数类型。
通过执行每种业务类型的大数据算法文件对每种业务类型的待处理数据进行数据处理,得到对应的结果数据颗粒。
基于得到的各个结果数据颗粒生成对应的可视化结果展示页面以展示不同维度的大数据分析结果。
可选地,所述根据所述待配置字段生成该大数据算法文件的配置页面的步骤之前,所述方法还包括:
获得该大数据算法对应的待处理数据。
可选地,所述根据所述配置信息对所述待配置字段进行配置的步骤之后,所述方法还包括:
判断所述导入的配置信息中的参数类型与对应的待配置字段的参数类型是否一致。
若否,生成提醒信息以提醒用户重新配置所述配置信息。
可选地,所述通过执行每种业务类型的大数据算法文件对每种业务类型的待处理数据进行数据处理,得到对应的结果数据颗粒的步骤,包括:
检测当前线程池中的空闲线程。
判断所述空闲线程是否满足同时执行所述每种业务类型的大数据算法文件所需的线程。
若是,则将所述每种业务类型的大数据算法文件分配到所述线程池中的各个空闲线程中进行数据处理,得到对应的结果数据颗粒。
若否,则从所述每种业务类型的大数据算法文件中选择所述空闲线程能够处理的部分大数据算法文件,并将所述部分大数据算法文件分配到所述空闲线程中,将其余大数据算法文件分配到缓存池中。
在所述部分大数据算法文件分执行结束后,将分配到所述缓存池中的大数据算法文件输入到所述线程池中进行数据处理,得到所述每种业务类型的大数据算法文件的结果数据颗粒。
可选地,所述从所述每种业务类型的大数据算法文件中选择所述空闲线程能够处理的部分大数据算法文件,并将所述部分大数据算法文件分配到所述空闲线程中,将其余大数据算法文件分配到缓存池中的步骤包括:
根据所述待处理数据以及所述每种业务类型的大数据算法文件,得到各个大数据算法文件的运行时间预估值。
根据所述各个大数据算法文件的运行时间预估值得到所述各个大数据算法文件的执行顺序。
根据所述执行顺序从所述每种业务类型的大数据算法文件中依次选择所述空闲线程能够处理的部分大数据算法文件,并将所述部分大数据算法文件分配到所述空闲线程中,将其余大数据算法文件分配到缓存池中。
可选地,所述基于得到的各个结果数据颗粒生成对应的可视化结果展示页面以展示不同维度的大数据分析结果的步骤,包括:
基于得到的各个结果数据颗粒生成待展示的数据模型,其中,所述数据颗粒包括多种业务类型的大数据算法文件的执行结果的数据颗粒。
将所述数据模型通过可视化结果展示页面展示不同维度的大数据分析结果。
可选地,所述基于得到的各个结果数据颗粒生成待展示的数据模型的步骤包括:
根据用户操作对所述数据颗粒进行数据处理。
根据处理后的数据颗粒建立所述待展示的数据模型。
第二方面,本申请实施例还提供一种算法接入装置,应用于电子设备,所述算法接入装置包括:
算法导入模块,用于获取大数据算法文件集,其中,所述大数据算法文件集包括多种业务类型的大数据算法文件。
算法分析模块,用于根据每种业务类型的大数据算法文件,得到该大数据算法文件的待配置字段,并根据所述待配置字段生成该大数据算法文件的配置页面,其中,所述待配置字段包括该大数据算法文件需要输入的参数及参数类型。
算法配置模块,用于获取用户通过生成的配置页面导入的配置信息并将根据所述配置信息对所述待配置字段进行配置,以完成每种业务类型的大数据算法文件的配置,其中,所述配置信息包括与该大数据算法的待配置字段对应的参数及参数类型。
算法执行模块,用于通过执行每种业务类型的大数据算法文件对每种业务类型的待处理数据进行数据处理,得到对应的结果数据颗粒。
结果展示模块,用于基于得到的各个结果数据颗粒生成对应的可视化结果展示页面以展示不同维度的大数据分析结果。
第三方面,本申请实施例还提供一种电子设备,所述电子设备包括:存储介质、处理器以及算法接入装置。
所述算法接入装置存储于所述存储介质中并包括由所述处理器执行的软件功能模块,所述算法接入装置包括:
算法导入模块,用于获取大数据算法文件集,其中,所述大数据算法文件集包括多种业务类型的大数据算法文件。
算法分析模块,用于根据每种业务类型的大数据算法文件,得到该大数据算法文件的待配置字段,并根据所述待配置字段生成该大数据算法文件的配置页面,其中,所述待配置字段包括该大数据算法文件需要输入的参数及参数类型。
算法配置模块,用于获取用户通过生成的配置页面导入的配置信息并将根据所述配置信息对所述待配置字段进行配置,以完成每种业务类型的大数据算法文件的配置,其中,所述配置信息包括与该大数据算法的待配置字段对应的参数及参数类型。
算法执行模块,用于通过执行每种业务类型的大数据算法文件对每种业务类型的待处理数据进行数据处理,得到对应的结果数据颗粒。
结果展示模块,用于基于得到的各个结果数据颗粒生成对应的可视化结果展示页面以展示不同维度的大数据分析结果。
第四方面,本申请实施例还提供一种可读存储介质,所述可读存储介质中存储有计算机程序,所述计算机程序被执行时实现第一方面中所述的算法接入方法。
相比现有技术,本申请的有益效果是:
本申请实施例提供的算法接入方法、装置、电子设备及可读存储介质,通过可视化结果展示页面对结果数据颗粒进行可视化展示,增强了结果数据颗粒的可读性,同时,本申请提供的算法接入方法能够在同一平台执行各个大数据算法文件,并在同一平台对各个大数据算法文件的结果颗粒进行可视化展示,解决了不同平台执行各个大数据算法文件时,现有多平台相互操作的便捷性和数据的灵活性较差的问题,提高了用户体验。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍。应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定。对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的用于实现算法接入方法的电子设备的结构示意框图。
图2为本申请实施例提供的算法接入方法的一种流程示意图。
图3为本申请实施例提供的一种配置页面示意图。
图4为本申请实施例提供的一种结果数据颗粒数据处理页面示意图。
图5为本申请实施例提供的一种3D图表示意图。
图6为本申请实施例提供的算法接入装置的功能模块图。
图标:100-电子设备;110-总线;120-处理器;130-存储介质;140-总线接口;150-网络适配器;160-用户接口;200-算法接入装置;210-算法导入模块;220-算法分析模块;230-算法配置模块;240-算法执行模块;250-结果展示模块。
具体实施方式
如前述背景技术分析所获知的技术问题,在大数据分析领域,利用可视化技术对处理结果进行可视化展示以提高数据的可读性。
但由于大数据分析任务需要使用多个大数据算法文件,尤其较大分析任务需要调用多种类型的大数据算法文件,例如,BI商业智能、miner预测分析系统等。通常不同类型的大数据算大文件是在不同的数据分析平台执行的,各个不同的数据分析平台的数据难以关联。对分析任务的结果数据进行可视化的过程中,需要根据各个数据分析平台的结果数据生成对应的可视化结果展示页面,并将各个可视化结果展示页面进行关联整合。整个过程中,多平台相互操作的不便捷性、数据不灵活性,严重降低了用户体验。
基于此,本申请发明人提供了一种算法接入方法、装置、电子设备及可读存储介质,本申请提供的算法接入方法能够在同一平台执行各个大数据算法文件,并在同一平台对各个大数据算法文件的结果颗粒进行可视化展示,解决了不同平台执行各个大数据算法文件时,现有多平台相互操作的便捷性和数据的灵活性较差的问题,提高了用户体验。
以上现有技术中的方案所存在的缺陷,均是申请人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本申请实施例针对上述问题所提出的解决方案,都应该是申请人在本申请过程中对本申请做出的贡献。
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中,还需要说明的是,除非另有明确的规定和限定,术语“设置”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本申请中的具体含义。
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的关键可以相互组合。
请参阅图1,为本申请实施例提供的电子设备100的结构示意框图。电子设备100可以作为服务器的一部分,并通过网络协议与客户端通讯连接。
如图1所示,电子设备100可以由总线110作一般性的总线体系结构来实现。根据电子设备100的具体应用和整体设计约束条件,总线110可以包括任意数量的互连总线和桥接。总线110将各种电路连接在一起,这些电路包括处理器120、存储介质130和总线接口140。可选地,电子设备100可以使用总线接口140将网络适配器150等经由总线110连接。网络适配器150可用于实现电子设备100中物理层的信号处理功能,并通过网络协议与各个用户端通讯连接。用户接口160可以连接外部设备,例如:键盘、显示器、鼠标或者操纵杆等。总线110还可以连接各种其它电路,如定时源、外围设备、电压调节器或者功率管理电路等,这些电路是本领域所熟知的,因此不再详述。
可以替换的,电子设备100也可配置成通用处理系统,例如通称为芯片,该通用处理系统包括:提供处理功能的一个或多个微处理器,以及提供存储介质130的至少一部分的外部存储器,所有这些都通过外部总线体系结构与其它支持电路连接在一起。
可替换的,电子设备100可以使用下述来实现:具有处理器120、总线接口140、用户接口160的ASIC(专用集成电路);以及集成在单个芯片中的存储介质130的至少一部分,或者,电子设备100可以使用下述来实现:一个或多个FPGA(现场可编程门阵列)、PLD(可编程逻辑器件)、控制器、状态机、门逻辑、分立硬件部件、任何其它适合的电路、或者能够执行本申请通篇所描述的各种功能的电路的任意组合。
其中,处理器120负责管理总线110和一般处理(包括执行存储在存储介质130上的软件)。处理器120可以使用一个或多个通用处理器和/或专用处理器来实现。处理器120的例子包括微处理器、微控制器、DSP处理器和能够执行软件的其它电路。应当将软件广义地解释为表示指令、数据或其任意组合,而不论是将其称作为软件、固件、中间件、微代码、硬件描述语言还是其它。
在图1中存储介质130被示为与处理器120分离,然而,本领域技术人员很容易明白,存储介质130或其任意部分可位于电子设备100之外。举例来说,存储介质130可以包括传输线、用数据调制的载波波形、和/或与无线节点分离开的计算机制品,这些介质均可以由处理器120通过总线接口140来访问。可替换地,存储介质130或其任意部分可以集成到处理器120中,例如,可以是高速缓存和/或通用寄存器。
处理器120可执行下述实施例,具体地,存储介质130中可以存储有算法接入装置200,处理器120可以用于算法接入装置200。
进一步地,请参阅图2,为本申请实施例提供的算法接入方法的一种流程示意图,本实施例中,所述算法接入方法由图1中所示的电子设备100执行。所应说明的是,本申请实施例提供的算法接入方法不以图2及以下所述的具体顺序为限制。本申请提供的算法接入方法的具体流程如下:
步骤S110,获取大数据算法文件集,其中,所述大数据算法文件集包括多种业务类型的大数据算法文件。
作为一种实施方式,在此之前可以预先将需要执行的大数据算法文件集导入电子设备100中,以便在执行本步骤S110时可以根据业务类型从导入的大数据算法文件集调取各个业务类型对应的大数据算法文件,从而得到大数据算法文件集。
可选地,各个大数据算法文件可以包括使用者开发的大数据算法文件,或者也可以包括第三方大数据算法文件,或者上述两种组合,本实施例对此不作任何限制。
在进行数据分析时,对于一个数据分析任务可能包括多个业务类型,例如,商圈建设与维护的数据分析任务可以包括商业分析任务、预测分析任务、施工监测任务等,对应的大数据算法文件集可以包括BI商业智能算法、miner预测分析算法、施工数据分析算法等。
步骤S120,根据每种业务类型的大数据算法文件,得到该大数据算法文件的待配置字段,并根据所述待配置字段生成该大数据算法文件的配置页面,其中,所述待配置字段包括该大数据算法文件需要输入的参数及参数类型。
在步骤S120之前,算法接入方法还可以包括获得该大数据算法对应的待处理数据,其中,待处理数据可以为上传到电子设备100的数据表;待处理数据也可以为待处理数据库,待处理数据库通过数据库端口与电子设备100对接,电子设备100通过数据库端口调取待处理数据;待处理数据还可以为动态数据生成源实施生成的动态数据,动态数据生成源实将动态数据实时上传到电子设备100,以使电子设备100获得待处理数据。
应说明的是,每种业务类型的待处理数据还可以包括预存数据和/或者使用者上传的数据,本申请对待处理数据的数据来源并不做限制。
可选地,为方便将待处理数据与待配置字段进行匹配,在获得该大数据算法对应的待处理数据之后,算法接入方法还可以对待处理数据中各个数据的数据类型进行分析,得到各个数据的数据类型。
基于上述设计,方便使用者将待处理数据与各个大数据算法文件进行匹配,此外,还方便后续步骤对参数类型的判断,同时,将待处理数据储存在电子设备100避免在执行处理数据方法是需要通过网络接收数据,提高了数据处理的速度。
作为一种实施方式,对于本申请使用的大数据算法文件,在编写大数据算法文件时,相关工作人员可以根据预设标准格式对该大数据算法的待配置字段及参数类型进行注释。在导入各个大数据算法文件时,电子设备100可以通过读取各个大数据算法文件的注释信息从而获得该大数据算法文件的待配置字段及参数类型。
作为另一种实施方式,电子设备100可以对导入的大数据算法文件的代码进行语义分析,从而得到大数据算法文件定义的各个参数及参数类型,进而从各个参数及参数类型获取该大数据算法文件的待配置字段。
基于上述设计,通过智能的识别分析算法的待配置字段及参数类型,无需用户手动选择,提高了用户的便捷性,提高了用户体验。
本实施例可以根据各个待配置的大数据算法文件生成的对应的配置页面,例如图3所示,各个配置页面可以通过标签的方式在同一个配置页面展示,并通过切换标签切换配置页面内容。对于各个大数据算法对应的配置页面包括该大数据算法各个待配置字段以及待处理数据,待配置字段的名称可以根据对应的大数据算法文件的备注描述或大数据算法文件对待配置字段的定义确定。
步骤S130,获取用户通过生成的配置页面导入的配置信息并将根据所述配置信息对所述待配置字段进行配置,以完成每种业务类型的大数据算法文件的配置,其中,所述配置信息包括与该大数据算法的待配置字段对应的参数及参数类型。
在进行匹配时,作为一种实施方式,可以在图3所示的待处理数据一栏选取与待配置字段对应的数据。作为另一种实施方式,可以将待处理数据中的各个数据陈列在配置页面一侧,通过拖拽的方式将各个待配置字段与待处理数据中的各个数据进行匹配。
应理解的是,用户通过生成的配置页面对待配置字段的步骤可以在客户端完成,客户端根据各个待配置字段与待处理数据中的各个数据的匹配关系生成配置信息,并将配置信息发送给电子设备100。电子设备100根据配置信息将所述待配置字段与进行匹配,以完成对大数据算法文件的配置。
可选地,电子设备100根据配置信息将所述待配置字段与进行匹配之前,还可以对导入的配置信息进行判断。判断配置信息的参数类型与对应的待配置字段的参数类型是否一致,其中,配置信息的参数类型可以为待执行数据的各个数据的参数类型。如果一致,则根据配置信息将所述待配置字段与进行匹配,如果不一致,则生成提醒信息以提醒用户重新配置所述配置信息。
作为另一种实施方式,对配置信息的判断过程可以由配置页面执行。电子设备100获得待执行数据后,分析待执行数据中各个数据的参数类型,并在生成配置页面时,在配置页面中待配置字段的对应位置标注需要的参数类型,待执行数据的对应位置标注各个数据的参数类型。在配置时,如果待处理数据的参数类型与对应的待配置字段的参数类型不一致,则在配置页面直接生成错误信息,并提醒使用者重新配置。
基于上述设计,能够提高待处理数据与大数据算法的对应关系的准确性,避免了参数类型不同无法分析或分析结果错误的情况,提高了算法接入方法的准确性。
步骤S140,通过执行每种业务类型的大数据算法文件对每种业务类型的待处理数据进行数据处理,得到对应的结果数据颗粒。
其中,结果数据颗粒是大数据算法文件对每种业务类型的待处理数据进行数据处理后得到的处理结果的一种展现方式,具体地,得到处理结果后,可以根据处理结果生成结果数据集,结果数据颗粒是组成结果数据集的最小单元,例如,根据学生的过往数据预测未来成绩走势时,根据用户的需要,各个学生的未来成绩可以以一个人为单位呈现,也可以以班级为单位呈现,还可以以学校为单元呈现,则对应的结果数据颗粒可以是一个人的未来成绩数据集合、班级的未来成绩数据集合或学校的未来成绩数据集合,其中,一个人、班级、学校是结果数据颗粒的维度,未来成绩是结果数据颗粒的度量。
作为一种实施方式,各个业务类型的大数据算法文件可以配置在云服务器,电子设备100对云服务的端口对接,在将待执行数据与各个业务类型的大数据算法文件的待配置字段匹配后,由服务器执行各个业务类型的大数据算法文件,得到对应的结果数据颗粒并发送到电子设备100。
作为另一种实施方式,各个业务类型的大数据算法文件可以由电子设备100执行,步骤S140可以由以下子步骤实现:
首先,检测当前线程池中的空闲线程。
其中,线程池为电子设备100用于执行程序的线程的集合,空闲线程指在检测时未执行程序且可以执行程序的线程。
如果检测到当前线程池中没有空闲线程时,作为一种实施方式,电子设备100可以生成提示信息以提示使用者当前设备繁忙,请稍后再尝试。作为另一种实施方式,可以检测当前线程池中执行非必要程序的线程,终止非必要程序的执行,并将非必要程序的线程作为空闲线程,其中,非必要程序可以指与电子设备100的正常运行无关的程序,例如,电子设备100更新包下载程序等。
然后,判断所述空闲线程是否满足同时执行所述每种业务类型的大数据算法文件所需的线程。
接着,当空闲线程满足同时执行所述每种业务类型的大数据算法文件所需的线程时,将所述每种业务类型的大数据算法文件分配到所述线程池中的各个空闲线程中进行数据处理,得到对应的结果数据颗粒。
接着,当空闲线程不满足同时执行所述每种业务类型的大数据算法文件所需的线程时,则从所述每种业务类型的大数据算法文件中选择所述空闲线程能够处理的部分大数据算法文件,并将所述部分大数据算法文件分配到所述空闲线程中,再将其余大数据算法文件分配到缓存池中。
可选地,将所述部分大数据算法文件分配到所述空闲线程中,再将其余大数据算法文件分配到缓存池中的步骤中可以先对各个大数据算法文件的运行时间预估值进行估算,然后根据运行时间预估值得到所述各个大数据算法文件的执行顺序,再根据所述执行顺序从所述每种业务类型的大数据算法文件中依次选择所述空闲线程能够处理的部分大数据算法文件,并将所述部分大数据算法文件分配到所述空闲线程中,将其余大数据算法文件分配到缓存池中。
作为一种实施方式,得到各个大数据算法文件的运行时间预估值的过程可以先根据该大数据算法文件的历史执行时间以及对应的历史待执行数据的数据量生成该大数据算法文件在各个不同数据量下的运行时间预估曲线,再根据当前的待执行数据的数据量,从运行时间预估曲线匹配得到该大数据算法文件的运行时间预估值。
可选地,执行顺序可以根据各个大数据算法文件的运行时间预估值得到,例如,为减少总体等待时间可以优先执行运行时间预估值小的大数据算法文件,因此执行顺序可以为按大数据算法文件的运行时间预估值依次递增的顺序。
可选地,执行顺序也可以根据各个大数据算法文件的关联情况得到,例如当算法B需要算法A的结果数据作为输入,则需要在算法B之前执行算法A,对应地执行顺序中算法A的执行顺序在算法B之前。
可选地,执行顺序还可以根据用于的预设执行顺序生成,例如,配置页面还可以包括各个算法文件执行顺序配置关系,以获得使用者设置的算法文件执行顺序。
作为一种实施方式,执行顺序还可以通过上述方法的组合确定,例如,可以通过配置页面获得使用者设置的算法文件执行顺序,再获取各个大数据算法文件的关联情况,调整算法文件执行顺序,最后将没有排序的算法文件按照预设执行顺序增大的顺序执行。
基于上述设计,通过分析计算缓存池,大大提升计算并发处理能力,易于后续业务量增加之后的横向扩展,可以灵活分配线程,从而减少等待时间,优先呈现需要的数据处理结果,提高了用户体验。
最后,在所述部分大数据算法文件分执行结束后,将分配到所述缓存池中的大数据算法文件输入到所述线程池中进行数据处理,得到所述每种业务类型的大数据算法文件的结果数据颗粒。
可选地,对于动态数据,电子设备100可以实时执行各个大数据算法文件,以实施得到结果数据颗粒。电子设备100也可以根据周期对动态数据进行采样,以采样周期执行各个大数据算法文件,获得采样周期内的数据的结果数据颗粒。
基于上述设计,实现了对各个大数据算法文件的缓存,避免了直接执行各个大数据算法文件是产生的线程冲突,提高了电子设备100的稳定性。
步骤S150,基于得到的各个结果数据颗粒生成对应的可视化结果展示页面以展示不同维度的大数据分析结果。
作为一种实施方式,电子设备100可以基于得到的各个结果数据颗粒生成待展示的数据模型,其中,所述数据颗粒包括多种业务类型的大数据算法文件的执行结果的数据颗粒。接着,将所述数据模型通过可视化结果展示页面展示不同维度的大数据分析结果。
可选地,基于得到的各个结果数据颗粒生成待展示的数据模型的具体实现方式可以是:先根据用户操作对所述数据颗粒进行数据处理,再根据处理后的数据颗粒建立所述待展示的数据模型。
其中,对所述数据颗粒进行数据处理的处理过程可以包括筛选、关联、排序以及基础算法等。
请参阅图4,图4以投资管理算法的结果数据颗粒为例提供了一种结果数据颗粒数据处理页面。如图4所示,数据处理页面可以包括内容显示栏、维度栏、度量栏、排序栏、筛选框体、基础算法框体以及数据关联框体。
其中,内容显示栏可以包括大数据算法文件的各个参数,例如,投资项目、时间、规划投资额度以及累计完成投资额度。维度栏与度量栏可以为结果数据可以是对展示的维度以及需要展示的度量的设定,例如,维度可以包括投资项目以及时间;度量可以包括规划投资额度以及累计完成投资额度。排序栏可以对维度或度量的展开方式进行设定,例如,升序、降序。筛选框体可以对内容显示栏的各个参数进行筛选,例如,可以通过拖拽对时间进行筛选,从而使结果展示特定时间段内的处理结果。基础算法框体可以对内容显示栏的各个参数进行计算从而生成新的参数,例如,可以根据投资项目以及规划投资额度、累计完成投资额度计算投资项目的理论现金流。数据关联框体可以将本结果数据颗粒与其他结果数据颗粒进行关联,例如可以将本数据颗粒的投资项目与各个投资项目对应的投资分析结果数据颗粒关联。
需要注意的是,当结果数据颗粒关联后,关联的结果数据颗粒可以形成等级层次,例如,上述投资项目与各个投资项目对应的投资分析结果关联后,投资项目的结果数据颗粒可以为第一层级,各个投资项目的投资分析结果数据颗粒可以为第二层级,各个投资项目的投资分析结果数据颗粒还可以与其他结果数据颗粒关联构成第三层级,例如,项目进度管理结果数据颗粒或目未来期望收益结果数据颗粒关联。
在进行数据可视化时,可以将结果数据颗粒与不同形式的图表关联,例如,柱状图、折线图、饼状图等。其中,如图5所示,对于有层级关系的结果数据颗粒,可以根据选择的报表生成3D报表。
可选地,还可以将结果数据颗粒与模型资源关联,从而在3D场景下构建可视化模型
基于上述设计,可以通过对结果数据颗粒的数据处理获取处理结果中的有用部分,并提高结果数据颗粒的可读性,提高用户体验。
在一种实施方式中,请参阅图6,为本申请实施例提供的上述算法接入装置200的功能模块图,算法接入装置200可包括以下功能模块:
算法导入模块210,用于获取大数据算法文件集,其中,所述大数据算法文件集包括多种业务类型的大数据算法文件。
算法分析模块220,用于根据每种业务类型的大数据算法文件,得到该大数据算法文件的待配置字段,并根据所述待配置字段生成该大数据算法文件的配置页面,其中,所述待配置字段包括该大数据算法文件需要输入的参数及参数类型。
算法配置模块230,用于获取用户通过生成的配置页面导入的配置信息并将根据所述配置信息对所述待配置字段进行配置,以完成每种业务类型的大数据算法文件的配置,其中,所述配置信息包括与该大数据算法的待配置字段对应的参数及参数类型。
算法执行模块240,用于通过执行每种业务类型的大数据算法文件对每种业务类型的待处理数据进行数据处理,得到对应的结果数据颗粒。
结果展示模块250,用于基于得到的各个结果数据颗粒生成对应的可视化展示结果页面以展示不同维度的大数据分析结果。
基于上述设计,通过可视化结果展示页面对结果数据颗粒进行可视化展示,增强了结果数据颗粒的可读性,同时,本申请提供的算法接入方法能够在同一平台执行各个大数据算法文件,并在同一平台展示各个大数据算法文件的结果颗粒,避免了各个大数据算法文件在不同平台执行时,需要不同平台的结果数据进行可视化展示的复杂过程,提高了用户体验。
本申请实施例还提供一种可读存储介质,可读存储介质中存储有计算机程序,计算机程序被执行时可以实现上述任意方法实施例中的算法接入方法。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
需要说明的是,在本文中,术语"包括"、"包含"或者其任何其它变体意在涵盖非排它性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其它要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句"包括一个……"限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本关键的情况下,能够以其它的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
Claims (10)
1.一种算法接入方法,其特征在于,应用于电子设备,所述方法包括:
获取大数据算法文件集,其中,所述大数据算法文件集包括多种业务类型的大数据算法文件;
根据每种业务类型的大数据算法文件,得到该大数据算法文件的待配置字段,并根据所述待配置字段生成该大数据算法文件的配置页面,其中,所述待配置字段包括该大数据算法文件需要输入的参数及参数类型;
获取用户通过生成的配置页面导入的配置信息并将根据所述配置信息对所述待配置字段进行配置,以完成每种业务类型的大数据算法文件的配置,其中,所述配置信息包括与该大数据算法的待配置字段对应的参数及参数类型;
通过执行每种业务类型的大数据算法文件对每种业务类型的待处理数据进行数据处理,得到对应的结果数据颗粒;
基于得到的各个结果数据颗粒生成对应的可视化结果展示页面以展示不同维度的大数据分析结果。
2.根据权利要求1所述的算法接入方法,其特征在于,所述根据所述待配置字段生成该大数据算法文件的配置页面的步骤之前,所述方法还包括:
获得该大数据算法对应的待处理数据。
3.根据权利要求1所述的算法接入方法,其特征在于,所述根据所述配置信息对所述待配置字段进行配置的步骤之后,所述方法还包括:
判断所述导入的配置信息中的参数类型与对应的待配置字段的参数类型是否一致;
若否,生成提醒信息以提醒用户重新配置所述配置信息。
4.根据权利要求1所述的算法接入方法,其特征在于,所述通过执行每种业务类型的大数据算法文件对每种业务类型的待处理数据进行数据处理,得到对应的结果数据颗粒的步骤,包括:
检测当前线程池中的空闲线程;
判断所述空闲线程是否满足同时执行所述每种业务类型的大数据算法文件所需的线程;
若是,则将所述每种业务类型的大数据算法文件分配到所述线程池中的各个空闲线程中进行数据处理,得到对应的结果数据颗粒;
若否,则从所述每种业务类型的大数据算法文件中选择所述空闲线程能够处理的部分大数据算法文件,并将所述部分大数据算法文件分配到所述空闲线程中,将其余大数据算法文件分配到缓存池中;
在所述部分大数据算法文件分执行结束后,将分配到所述缓存池中的大数据算法文件输入到所述线程池中进行数据处理,得到所述每种业务类型的大数据算法文件的结果数据颗粒。
5.根据权利要求4所述的算法接入方法,其特征在于,所述从所述每种业务类型的大数据算法文件中选择所述空闲线程能够处理的部分大数据算法文件,并将所述部分大数据算法文件分配到所述空闲线程中,将其余大数据算法文件分配到缓存池中的步骤包括:
根据所述待处理数据以及所述每种业务类型的大数据算法文件,得到各个大数据算法文件的运行时间预估值;
根据所述各个大数据算法文件的运行时间预估值得到所述各个大数据算法文件的执行顺序;
根据所述执行顺序从所述每种业务类型的大数据算法文件中依次选择所述空闲线程能够处理的部分大数据算法文件,并将所述部分大数据算法文件分配到所述空闲线程中,将其余大数据算法文件分配到缓存池中。
6.根据权利要求1所述的算法接入方法,其特征在于,所述基于得到的各个结果数据颗粒生成对应的可视化结果展示页面以展示不同维度的大数据分析结果的步骤,包括:
基于得到的各个结果数据颗粒生成待展示的数据模型,其中,所述数据颗粒包括多种业务类型的大数据算法文件的执行结果的数据颗粒;
将所述数据模型通过可视化结果展示页面展示不同维度的大数据分析结果。
7.根据权利要求6所述的算法接入方法,其特征在于,所述基于得到的各个结果数据颗粒生成待展示的数据模型的步骤包括:
根据用户操作对所述数据颗粒进行数据处理;
根据处理后的数据颗粒建立所述待展示的数据模型。
8.一种算法接入装置,其特征在于,应用于电子设备,所述算法接入装置包括:
算法导入模块,用于获取大数据算法文件集,其中,所述大数据算法文件集包括多种业务类型的大数据算法文件;
算法分析模块,用于根据每种业务类型的大数据算法文件,得到该大数据算法文件的待配置字段,并根据所述待配置字段生成该大数据算法文件的配置页面,其中,所述待配置字段包括该大数据算法文件需要输入的参数及参数类型;
算法配置模块,用于获取用户通过生成的配置页面导入的配置信息并将根据所述配置信息对所述待配置字段进行配置,以完成每种业务类型的大数据算法文件的配置,其中,所述配置信息包括与该大数据算法的待配置字段对应的参数及参数类型;
算法执行模块,用于通过执行每种业务类型的大数据算法文件对每种业务类型的待处理数据进行数据处理,得到对应的结果数据颗粒;
结果展示模块,用于基于得到的各个结果数据颗粒生成对应的可视化结果展示页面以展示不同维度的大数据分析结果。
9.一种电子设备,其特征在于,所述电子设备包括:
存储介质;
处理器;以及
算法接入装置,所述算法接入装置存储于所述存储介质中并包括由所述处理器执行的软件功能模块,所述算法接入装置包括:
算法导入模块,用于获取大数据算法文件集,其中,所述大数据算法文件集包括多种业务类型的大数据算法文件;
算法分析模块,用于根据每种业务类型的大数据算法文件,得到该大数据算法文件的待配置字段,并根据所述待配置字段生成该大数据算法文件的配置页面,其中,所述待配置字段包括该大数据算法文件需要输入的参数及参数类型;
算法配置模块,用于获取用户通过生成的配置页面导入的配置信息并将根据所述配置信息对所述待配置字段进行配置,以完成每种业务类型的大数据算法文件的配置,其中,所述配置信息包括与该大数据算法的待配置字段对应的参数及参数类型;
算法执行模块,用于通过执行每种业务类型的大数据算法文件对每种业务类型的待处理数据进行数据处理,得到对应的结果数据颗粒;
结果展示模块,用于基于得到的各个结果数据颗粒生成对应的可视化结果展示页面以展示不同维度的大数据分析结果。
10.一种可读存储介质,其特征在于,所述可读存储介质中存储有计算机程序,所述计算机程序被执行时实现权利要求1-7中任意一项所述的算法接入方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811526265.XA CN109635170A (zh) | 2018-12-13 | 2018-12-13 | 算法接入方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811526265.XA CN109635170A (zh) | 2018-12-13 | 2018-12-13 | 算法接入方法、装置、电子设备及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109635170A true CN109635170A (zh) | 2019-04-16 |
Family
ID=66073624
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811526265.XA Pending CN109635170A (zh) | 2018-12-13 | 2018-12-13 | 算法接入方法、装置、电子设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109635170A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112579144A (zh) * | 2019-09-30 | 2021-03-30 | 杭州海康机器人技术有限公司 | 数据处理方法及装置 |
CN113076155A (zh) * | 2020-01-03 | 2021-07-06 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置、电子设备及计算机存储介质 |
CN114205526A (zh) * | 2021-12-09 | 2022-03-18 | 重庆紫光华山智安科技有限公司 | 一种网络摄像机算法接入方法、系统、介质及电子终端 |
CN116737172A (zh) * | 2023-08-11 | 2023-09-12 | 杭州初灵信息技术股份有限公司 | 一种小颗粒数据包的解析系统和方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101882263A (zh) * | 2010-06-13 | 2010-11-10 | 中国人民解放军国防科学技术大学 | 基于算法综合集成的演示与验证一体化系统 |
CN102624870A (zh) * | 2012-02-01 | 2012-08-01 | 北京航空航天大学 | 基于智能优化算法的云制造计算资源可重构配置方法 |
CN106779087A (zh) * | 2016-11-30 | 2017-05-31 | 福建亿榕信息技术有限公司 | 一种通用机器学习数据分析平台 |
CN107704608A (zh) * | 2017-10-17 | 2018-02-16 | 北京览群智数据科技有限责任公司 | 一种olap多维分析和数据挖掘系统 |
CN107784063A (zh) * | 2017-07-27 | 2018-03-09 | 平安科技(深圳)有限公司 | 算法的生成方法及终端设备 |
CN108510081A (zh) * | 2018-03-23 | 2018-09-07 | 北京京东尚科信息技术有限公司 | 机器学习方法和平台 |
CN108984257A (zh) * | 2018-07-06 | 2018-12-11 | 无锡雪浪数制科技有限公司 | 一种支持自定义算法组件的机器学习平台 |
-
2018
- 2018-12-13 CN CN201811526265.XA patent/CN109635170A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101882263A (zh) * | 2010-06-13 | 2010-11-10 | 中国人民解放军国防科学技术大学 | 基于算法综合集成的演示与验证一体化系统 |
CN102624870A (zh) * | 2012-02-01 | 2012-08-01 | 北京航空航天大学 | 基于智能优化算法的云制造计算资源可重构配置方法 |
CN106779087A (zh) * | 2016-11-30 | 2017-05-31 | 福建亿榕信息技术有限公司 | 一种通用机器学习数据分析平台 |
CN107784063A (zh) * | 2017-07-27 | 2018-03-09 | 平安科技(深圳)有限公司 | 算法的生成方法及终端设备 |
CN107704608A (zh) * | 2017-10-17 | 2018-02-16 | 北京览群智数据科技有限责任公司 | 一种olap多维分析和数据挖掘系统 |
CN108510081A (zh) * | 2018-03-23 | 2018-09-07 | 北京京东尚科信息技术有限公司 | 机器学习方法和平台 |
CN108984257A (zh) * | 2018-07-06 | 2018-12-11 | 无锡雪浪数制科技有限公司 | 一种支持自定义算法组件的机器学习平台 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112579144A (zh) * | 2019-09-30 | 2021-03-30 | 杭州海康机器人技术有限公司 | 数据处理方法及装置 |
CN113076155A (zh) * | 2020-01-03 | 2021-07-06 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置、电子设备及计算机存储介质 |
CN114205526A (zh) * | 2021-12-09 | 2022-03-18 | 重庆紫光华山智安科技有限公司 | 一种网络摄像机算法接入方法、系统、介质及电子终端 |
CN114205526B (zh) * | 2021-12-09 | 2022-11-15 | 重庆紫光华山智安科技有限公司 | 一种网络摄像机算法接入方法、系统、介质及电子终端 |
CN116737172A (zh) * | 2023-08-11 | 2023-09-12 | 杭州初灵信息技术股份有限公司 | 一种小颗粒数据包的解析系统和方法 |
CN116737172B (zh) * | 2023-08-11 | 2023-12-12 | 杭州初灵信息技术股份有限公司 | 一种小颗粒数据包的解析系统和方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109635170A (zh) | 算法接入方法、装置、电子设备及可读存储介质 | |
US9606705B2 (en) | Techniques for capturing and displaying user interaction data | |
CN107992427A (zh) | 创建业务测试场景的方法、装置、设备及其存储介质 | |
WO2021109928A1 (zh) | 机器学习方案模板的创建方法、使用方法及装置 | |
CN107004371B (zh) | 对教育内容效果的量度 | |
CN108205685A (zh) | 视频分类方法、视频分类装置及电子设备 | |
US9223468B2 (en) | Display apparatus, display method and program | |
CN111754123B (zh) | 数据监控方法、装置、计算机设备及存储介质 | |
CN110490625A (zh) | 用户偏好确定方法及装置、电子设备、存储介质 | |
CN109829375A (zh) | 一种机器学习方法、装置、设备及系统 | |
CN114496264B (zh) | 基于多维数据的健康指数分析方法、装置、设备及介质 | |
CN109684387A (zh) | 报表生成方法及装置 | |
CN111782900B (zh) | 异常业务检测方法、装置、电子设备及存储介质 | |
CN106557457A (zh) | 一种基于qt的自动生成跨平台复杂流程图的系统 | |
CN116089250B (zh) | 一种人机交互优化管理系统及管理方法 | |
CN110363427A (zh) | 模型质量评估方法和装置 | |
CN111339290A (zh) | 一种文本分类方法和系统 | |
WO2021151305A1 (zh) | 基于缺失数据的样本分析方法、装置、电子设备及介质 | |
CN109068268A (zh) | 学生轨迹分析方法及装置 | |
CN111950623A (zh) | 数据稳定性监控方法、装置、计算机设备及介质 | |
CN111522707A (zh) | 大数据平台调度预警方法、装置及计算机可读存储介质 | |
CN114896824B (zh) | 联合仿真集成测试验证方法、装置、可读存储介质及设备 | |
CN115966274A (zh) | 问卷题目筛选的方法、装置、电子设备及存储介质 | |
CN115061895A (zh) | 业务流程编排方法、装置、电子设备及存储介质 | |
CN109919324A (zh) | 基于标签比例学习的迁移学习分类方法、系统及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190416 |