CN111552470B - 物联网中的数据分析任务创建方法、装置及存储介质 - Google Patents
物联网中的数据分析任务创建方法、装置及存储介质 Download PDFInfo
- Publication number
- CN111552470B CN111552470B CN201911405989.3A CN201911405989A CN111552470B CN 111552470 B CN111552470 B CN 111552470B CN 201911405989 A CN201911405989 A CN 201911405989A CN 111552470 B CN111552470 B CN 111552470B
- Authority
- CN
- China
- Prior art keywords
- operator
- data
- data processing
- analysis task
- operators
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/38—Creation or generation of source code for implementing user interfaces
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y10/00—Economic sectors
- G16Y10/75—Information technology; Communication
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Computing Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种物联网中的数据分析任务创建方法、装置及存储介质,涉及物联网技术领域。所述方法包括:显示可视化的数据分析任务的创建界面,该创建界面上显示有算子备选区以及算子编辑区,响应于接收到基于算子编辑区对至少两个目标数据处理算子的用户操作,根据用户操作对各个目标数据处理算子进行编辑,得到各个目标数据处理算子的执行顺序和执行参数,根据各个目标数据处理算子的执行顺序和执行参数生成数据分析任务。通过上述方法,使得在数据分析任务开发过程中,将数据分析任务中的计算步骤算子化,并利用可视化的创建界面进行数据分析任务的构建,提高了数据分析任务的开发效率。
Description
技术领域
本申请实施例涉及物联网技术领域,特别涉及一种物联网中的数据分析任务创建方法、装置及存储介质。
背景技术
随着物联网技术的大规模普及,物与物、人与物之间的信息交互日趋频繁,在信息交互的过程中,往往有许多数据源连续产生的数据汇集数据分析平台,以对这些数据进行分析,这些数据称为流数据。
在相关技术中,物联网数据分析平台的搭建往往需要很长的开发和调试周期,需要专业的开发人员通过开发者的工具构建数据分析任务,以实现对流数据的分析。
然而,在上述相关技术中,由于开发者工具的使用,需要开发者具有较为专业的代码编辑能力,需要较长时间的知识学习和经验积累才能顺利完成该平台搭建的过程,限制了数据分析任务的开发效率。
发明内容
本申请实施例提供了一种物联网中的数据分析任务创建方法、装置及存储介质,能够简化物联网场景下的数据分析任务的开发进程,满足普通用户对数据分析任务进行可视化开发的需求。所述技术方案如下:
一方面,提供了一种物联网中的数据分析任务创建方法,所述方法包括:
显示可视化的数据分析任务的创建界面,所述创建界面上显示有算子备选区以及算子编辑区,所述算子备选区提供有n种数据处理算子,n为正整数,所述数据处理算子用于按照对应的分析逻辑对输入的数据进行处理,其中,所述数据是能源类物联网设备输入的数据;
响应于接收到基于所述算子编辑区对至少两个目标数据处理算子的用户操作,根据所述用户操作对所述目标数据处理算子进行编辑,得到各个所述目标数据处理算子的执行顺序和执行参数,所述目标数据处理算子是所述n种数据处理算子中被选择的数据处理算子;
根据各个所述目标数据处理算子的执行顺序和执行参数生成数据分析任务。
另一方面,提供了一种物联网中的数据分析任务创建装置,所述装置包括:
显示模块,用于显示可视化的数据分析任务的创建界面,所述创建界面上显示有算子备选区以及算子编辑区,所述算子备选区提供有n种数据处理算子,n为正整数,所述数据处理算子用于按照对应的处理逻辑对输入的数据进行处理,其中,所述数据是能源类物联网设备输入的数据;
编辑模块,用于响应于接收到基于所述算子编辑区对至少两个目标数据处理算子的用户操作,根据所述用户操作对各个所述目标数据处理算子进行编辑,得到各个所述目标数据处理算子的执行顺序和执行参数,所述目标数据处理算子是所述n种数据处理算子中被选择的数据处理算子;
生成模块,用于根据各个所述目标数据处理算子的执行顺序和执行参数生成数据分析任务。
可选的,所述算子编辑区包括算子组合区和参数编辑区,所述参数编辑区中提供有算子参数设置控件。
可选的,所述编辑模块,包括:
第一获取子模块,用于在接收到基于所述算子组合区对各个所述目标数据处理算子的顺序编排操作后,根据各个所述目标数据处理算子在所述算子组合区中的连接关系,得到各个所述目标数据处理算子的执行顺序;
第二获取子模块,用于在接收到基于所述算子组合区对各个所述目标数据处理算子的参数设置操作后,根据所述参数设置操作对各个所述目标数据处理算子进行参数设置,得到所述各个所述目标数据处理算子的执行参数。
可选的,所述顺序编排操作包括选择操作、移动操作以及删除操作中的至少一种;所述装置还包括:
增加模块,用于响应于接收到基于所述算子组合区对所述目标数据处理算子的选择操作,根据所述选择操作在所述算子组合区中的所述数据分析任务中增加所述目标数据处理算子;
移动模块,用于响应于接收到基于所述算子组合区对所述目标数据处理算子的移动操作,根据所述移动操作在所述算子组合区中的所述数据分析任务中移动所述目标数据处理算子的位置;
删除模块,用于响应于接收到基于所述算子组合区对所述目标数据处理算子的删除操作,根据所述删除操作在所述算子组合区中的所述数据分析任务中删除所述目标数据处理算子。
可选的,所述数据处理算子包括资产主数据算子、数据计算算子、数据质量算子以及电量计算算子中的至少一种。
可选的,所述创建界面中还包括校验控件;
所述装置还包括:
校验模块,用于响应于接收到基于所述校验控件的校验操作,根据预先设置的数据分析任务合法性校验规则对所述数据分析任务进行合法性校验;
其中,所述合法性校验包括对所述数据分析任务中各个数据处理算子的执行参数进行合法性校验,以及,对所述数据分析任务中各个数据处理算子之间的组合搭配进行合法性校验中的至少一种。
可选的,所述创建界面中还包括预览控件;
所述装置还包括:
第二接收模块,用于接收预览配置信息,所述预览配置信息用于验证所述数据分析任务的输入数据和输出数据是否正常;
第二运行模块,用于响应于接收到基于所述预览控件的预览操作,基于所述预览配置信息运行所述数据分析任务。
另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述方面所述的物联网中的数据分析任务创建方法。
另一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述方面所述的物联网中的数据分析任务创建方法。
本申请提供的技术方案可以包括以下有益效果:
通过在可视化的数据分析任务的创建界面中,根据接收到的基于算子编辑区对至少两个目标数据算子的用户操作,对各个目标数据处理算子进行编辑,得到各个目标数据处理算子的执行逻辑和执行参数,根据各个目标数据处理算子的执行顺序和执行参数生成数据分析任务,使得在数据分析任务开发过程中,将数据分析任务中的计算步骤算子化,并利用可视化的创建界面进行数据分析任务的构建,提高了数据分析任务的开发效率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1示出了本申请一个示例性实施例提供的物联网中的数据分析任务创建方法的流程图;
图2示出了本申请一个示例性实施例提供的物联网中的数据分析任务创建方法的流程图;
图3示出了本申请一示例性实施例示出的数据分析任务的创建界面的示意图;
图4示出了本申请一示例性实施例示出的在数据分析任务中增加目标数据处理算子的示意图;
图5示出了本申请一示例性实施例示出的在数据分析任务中增加目标数据处理算子的示意图;
图6示出了本申请一示例性实施例示出的对目标数据处理算子进行移动的示意图;
图7示出了本申请一示例性实施例示出的对目标数据处理算子进行移动的示意图;
图8示出了本申请一示例性实施例提供的物联网中的数据分析任务创建方法的示意图;
图9示出了本申请一示例性实施例提供的物联网中的数据分析任务创建装置的方框图;
图10是根据一示例性实施例示出的计算机设备的结构框图;
图11是根据一示例性实施例示出的计算机设备的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
应当理解的是,在本文中提及的“若干个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
对于数据的分析分析,往往需要建立相应的数据分析任务,在物联网场景下,流数据的大量分析对应着大量的数据分析任务的建立,本申请提供一种数据分析任务创建方法,可以实现数据分析任务创建过程的可视化,降低开发者门槛的同时提高了代码的重复利用性,减少了对开发资源的浪费。为了便于理解,下面对本申请涉及的几个名词进行解释。
1)可视化(Visualization)
可视化是利用计算机图形学和图像分析技术,将数据转换成图形或图像在屏幕上显示出来,再进行交互分析的理论、方法和技术。
2)流数据(Data stream)
流数据是一组顺序、大量、快速、连续到达的数据序列,一般情况下,数据流可被视为一个随时间延续而无限增长的动态数据集合。
流数据具有以下特点:数据实时到达;数据到达次序独立,不受应用系统所控制;数据规模宏大且不能预知其最大值;数据一经处理,除非特意保存,否则不能被再次取出处理,或者再次提取数据代价较高。
流数据在网络监控、传感器网络、航空航天、气象测控和金融服务等应用领域广泛出现,通过对流数据研究可以进行卫星云图监测、股市走向分析、网络攻击判断等。
3)算子
算子是处理数据的一种方法。
在本申请中,算子可以是从物联网中各领域中抽取并封装的各种计算任务中共同的、普适的计算逻辑,也可以是根据物联网场景中的计算任务所设计的定制算子。支持主数据关联聚合算法、插补策略、基于事件时间的时间窗口以及阈值过滤等计算。可供开发者通过编排算子创建流数据分析任务,以满足更多复杂的能源类物联网场景的业务计算。
4)StreamSets
StreamSets是一个大数据采集工具,数据源支持包括结构化和半/非结构化,目标源支持HDFS,HBase,Hive,Kudu,Cloudera Search,Elastic Search等。它包括一个拖拽式的可视化数据流程设计界面,实现数据管道(Pipelines)的设计和定时任务调度。StreamSets具有以下特点:
(1)可视化界面操作,可以在不写代码的情况下完成数据的采集和流转;
(2)内置监控,可实时查看数据流传输的基本信息和数据的质量;
(3)强大的整合力,对现有常用组件全力支持,包括50种数据源、44种数据操作、46种目的地。
在本申请实施例中,利用开源的StreamSets框架作为用户开发工具,可以使任何无计算背景的用户通过拖拽即可创建、管理流计算任务,并能实时预览计算结果,实现物联网中数据分析任务开发的可视化。
请参考图1,其示出了本申请一个示例性实施例提供的物联网中的数据分析任务创建方法的流程图,该物联网中的数据分析任务创建方法可以由计算机设备执行,该计算机设备可以为服务器或者安装有数据分析任务可视化制作程序的终端,如图1所示,该物联网中的数据分析任务创建方法可以包括以下步骤:
步骤110,显示可视化的数据分析任务的创建界面,该创建界面上显示有算子备选区以及算子编辑区,该算子备选区提供有n种数据处理算子,n为正整数,该数据处理算子用于按照对应的处理逻辑对输入的数据进行处理,其中,数据是能源类物联网设备输入的数据。
可选的,该数据分析任务用于处理物联网中的流数据,其中,流数据是指具有实时性和连续性的数据。
以下对物联网中的数据分析任务创建方法的说明均以数据分析任务处理的数据为流数据进行说明。
可选的,该可视化的数据分析任务的创建界面可以是StreamSets框架提供的拖拽式的可视化流数据分析任务设计界面,该数据分析任务创建界面中算子备选区中的数据处理算子是根据物联网场景设计的算子,区别于StreamSets框架中的原始算子,数据处理算子是开发人员为IOT行业专门设计开发的算子,其中,该数据处理算子可以包括普适性算子以及特定任务算子,普适性算子用以处理数据分析任务中普遍适用于同类型计算的算子,特定任务算子用以处理数据分析任务中针对特定类型计算的算子,其中普适性算子可以包括但不限于Group By Tag(标签分类),Window Aggregator(窗口聚合器)算子,Python算子等等,特定任务算子可以包括但不限于Delta Calculate(增量计算)算子,SiteAggregator(站点聚合器)算子等等。
流数据分析任务(Pipeline)一般由多个阶段和连线连接而成,组成有序的通路,输入该流数据分析任务的数据会通过这个通路按顺序进行有序的流转,每一个阶段代表了对数据进行的一次读写或者操作,这样的流程构成了一条流数据分析任务,一般来说,流数据分析任务至少包含数据源(Origin)、数据处理器(Processor)和目标源(Destination)三种类型的阶段。
其中,数据源是用于指定数据来源的阶段,数据可以从不同的数据源中抽取,并将数据输出传递给后面的阶段进行后续处理。
数据处理器,是用于进行数据转化的阶段,在数据处理器中对输入的数据进行规范化或者流转处理,比如过滤,分流,计算等等。
目标源,是用于数据存储的阶段,用于将数据处理器处理完成后的数据存入目标系统或者转入另一个流数据分析任务进行再次处理。
在本申请实施例中,可以通过Redis、阿里云时间序列数据库(Time SeriesDatabase,TSDB)、Kafka等免费高性能的存储方法进行数据存储,以支持实时计算的中间状态和计算结果存储。
步骤120,响应于接收到基于算子编辑区对至少两个目标数据处理算子的用户操作,根据用户操作对各个目标数据处理算子进行编辑,得到各个目标数据处理算子的执行顺序和执行参数,目标数据处理算子是n种数据处理算子中被选择的数据处理算子。
由于一条完整的数据分析任务需要由数据源、目标源和数据处理器组成,由于数据源和目标源的不可缺少性,因此在数据分析任务中至少需要包含有输入数据的数据源算子和输出数据的目标源算子。
而组成数据处理器的算子安置于数据源算子与目标源算子之间,以对数据源算子中输入的数据进行处理后输出到目标源算子中,通过目标源算子输出该数据分析任务。
数据源和目标源可以通过具有数据源和目标源功能的算子建立,或者,通过在数据分析任务创建界面中设置相应的控件,当接收到基于相应控件的用户操作时,在算子组合区中设置数据源和目标源算子。
当该数据分析任务创建界面中设置有建立数据源和目标源的控件时,可选的,该方法还包括:
接收建立数据分析任务的资源管理器的用户操作,根据该用户操作在数据分析任务的创建界面添加数据源算子和目标源算子,其中该资源管理器可以是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,例如,该资源管理器可以是新的Hadoop(Hadoop Distributed File System,海杜普)资源管理器Apache Yarn(Yet AnotherResource Negotiator,yarn);
对数据源算子和目标源算子分别进行参数设置,以使得数据源算子能够获取指定数据源中的数据,目标源算子能够将数据处理器处理完成后的数据存入目标系统或者转入另一个流数据分析任务进行再次处理。
对构成数据处理器的数据处理算子进行编辑的阶段即为设置数据处理器的阶段,构成数据处理器的数据处理算子位于数据源控件和目标源控件之间,以和数据源算子与目标源算子一起组成完整的流数据分析任务。
可选的,该算子备选区中包含具有建立数据源和目标源功能的算子,可以通过将算子备选区中具有建立数据源和目标源功能的算子添加到算子组合区域以形成一条数据分析任务的框架。
当利用算子备选区的具有建立数据源和目标源功能的算子进行数据分析任务搭建时,则需要接收到基于算子编辑区对至少两个目标数据处理算子的用户操作,根据用户操作对各个目标数据处理算子进行编辑,得到各个数据处理算子的执行顺序和执行参数,其中至少需要包括数据源算子以及目标源算子,以保证数据分析任务中数据的流通性。
步骤130,根据各个目标数据处理算子的执行顺序和执行参数生成数据分析任务。
对各个目标处理算子的执行顺序和执行参数的设置后所形成的数据处理器,与数据源和目标源共同组成了数据分析任务。
综上所述,本申请实施例中提供的物联网中的数据分析任务创建方法,通过在可视化的数据分析任务的创建界面中,根据接收到的基于算子编辑区对至少两个目标数据算子的用户操作,对各个目标数据处理算子进行编辑,得到各个目标数据处理算子的执行逻辑和执行参数,根据各个目标数据处理算子的执行顺序和执行参数生成数据分析任务,使得在数据分析任务开发过程中,将数据分析任务中的计算步骤算子化,并利用可视化的创建界面进行数据分析任务的构建,提高了数据分析任务的开发效率。
请参考图2,其示出了本申请一个示例性实施例提供的物联网中的数据分析任务创建方法的流程图,该物联网中的数据分析任务创建方法可以由计算机设备执行,该计算机设备可以为服务器或者安装有数据分析任务可视化制作程序的终端,如图2所示,该物联网中的数据分析任务创建方法可以包括以下步骤:
步骤210,显示可视化的数据分析任务的创建界面,该创建界面上显示有算子备选区以及算子编辑区,该算子备选区提供有n种数据处理算子,n为正整数,该数据处理算子用于按照对应的分析逻辑对输入的数据进行处理,其中,数据是能源类物联网设备输入的数据。
可选的,该算子编辑区包括算子组合区和参数编辑区,参数编辑区中提供有算子参数设置控件。请参考图3,其示出了本申请一示例性实施例示出的数据分析任务的创建界面的示意图,如图3所示,在图3所示的数据分析任务的创建界面中,区域310为算子组合区,区域320为参数编辑区,区域330为算子被选区,在算子备选区中可以包含有数据处理算子库,该数据处理算子库中可以包含有多个构建不同物联网场景的数据分析任务所需的数据处理算子,针对不同的构建需求,可以对数据处理算子库进行选择,简化了数据处理算子的查找难度。
在一种可能的情况下,算子备选区中提供算子检索功能,用户可以通过在指定搜索框中输入相应的搜索条件,便可在所有数据处理算子库中搜索获得相应的数据处理算子。
数据处理算子用于按照对应的处理逻辑对输入的数据进行处理,比如,HttpLookup算子可以用于从网络请求中获取数据,Group By Tag算子可以根据输入的数据自动生成标签,并将输入数据按照标签分组,Window Aggreator算子可以基于时间事件进行窗口聚合等等。
其中,本申请中所述的数据处理算子用以处理能源类物联网设备输入的数据。可选的,数据处理算子包括资产主数据算子、数据计算算子、数据质量算子以及电量计算算子中的至少一种。
可选的,按照数据处理算子所对应的不同功能或应用场景,将数据处理算子分为资产主数据算子、数据计算算子、数据质量算子以及电量计算算子等,其中资产主数据算子又包括多种对应于该领域的特定功能算子,比如,数据质量算子可以包括:用以判断迟到数据,并对迟到数据点进行数据质量打标的Late Point Tagger(迟到点判断)算子、对数据进行阈值判断的Off Limit Tagger(阈值判断)算子。此处不对各个领域的算子进行列举。步骤220,在接收到基于算子组合区对各个目标数据处理算子的顺序编排操作后,根据各个目标数据处理算子在算子组合区中的连接关系,得到各个目标数据处理算子的执行顺序。
可选的,该顺序编排操作包括选择操作、移动操作以及删除操作中的至少一种。
响应于接收到基于算子组合区对目标数据处理算子的选择操作,根据选择操作在算子组合区中的数据分析任务中增加目标数据处理算子;
在一种可能的情况下,基于算子组合区对目标数据处理算子的选择操作可以是点击算子备选区中的目标处理算子,该目标处理算子接收到用户的点击操作时,当该算子组合区中只显示有数据源算子和目标源算子时,则将被选择的数据处理算子添加到数据源算子和目标源算子之间;在数据源算子和目标源算子之间已经设置有数据处理算子的前提下,则将被选择的数据处理算子添加到该数据分析任务中最后一个数据处理算子之后,目标源算子之前。请参考图4,其示出了本申请一示例性实施例示出的在数据分析任务中增加目标数据处理算子的示意图,如图4所示,图4中的A部分示出了流数据分析任务中未添加目标数据处理算子的示意图,图4中的B部分示出了在流数据分析任务中添加目标数据处理算子的示意图,响应于用户基于目标数据处理算子的选择操作,即对算子1的选择操作,在未添加数据处理算子的数据源算子与目标源算子之间,添加算子1。或者,请参考图5,其示出了本申请一示例性实施例示出的在数据分析任务中增加目标数据处理算子的示意图,如图5所示,图5中的A部分示出了流数据分析任务中已经添加有数据处理算子的示意图,图5中的B部分示出了在流数据分析任务中添加目标数据处理算子的示意图,在流数据分析任务中已经添加有数据处理算子的前提下,即图5中的流数据分析任务中已经添加有算子1、算子2和算子3的基础上,响应于用户基于目标数据处理算子的选择操作,即算子4的选择操作,将算子4添加在流数据分析任务中的最后一个算子之后,即算子3之后,目标源之前的位置。
响应于接收到基于算子组合区对目标数据处理算子的移动操作,根据移动操作在算子组合区中的数据分析任务中移动目标数据处理算子的位置。
对目标处理算子的移动操作可以通过拖动操作完成,其中,该拖动操作可以直接将目标处理算子从算子备选区域选择出来并放置在数据分析任务中的任意位置,或者,在一种可能的情况下,也可以将目标处理算子放置在算子组合区的任意位置,或者,也可以基于图4或图5所示的对算子的选择操作,在数据分析任务中调整算子之间的位置。请参考图6,其示出了本申请一示例性实施例示出的对目标数据处理算子进行移动的示意图,如图6所示,图6中的A部分是用户通过拖动操作对目标数据处理算子进行选择并移动的示意图,图6中的B部分是用户通过拖动操作对目标数据处理算子进行选择并移动的结果的示意图,用户通过对算子1的拖动操作,选中目标数据处理算子,即算子1,并将其放置在数据分析任务的数据源算子与目标源算子中间,或者用户也可以将目标处理算子放置在算子组合区的任意位置(图中未示出)。或者,请参考图7,其示出了本申请一示例性实施例示出的对目标数据处理算子进行移动的示意图,如图7所示,图7中的A部分是用户通过拖动操作对目标数据处理算子进行选择并移动的示意图,图7中的B部分是用户通过拖动操作对目标数据处理算子进行选择并移动的结果的示意图,用户通过对算子3进行拖动操作,将算子3移动到数据分析任务中的原算子1的位置,并将其他数据处理算子顺序向后排列。在一种可能的情况下,用户也可以将已经处于数据分析任务中的数据处理算子移动到算子组合区的空白区域(图中未示出)。
响应于接收到基于算子组合区对目标数据处理算子的删除操作,根据删除操作在算子组合区中的数据分析任务中删除目标数据处理算子。
其中,删除操作可以是用户将目标数据处理算子拖动到指定区域进行删除,该区域可以是具有“垃圾桶”或者“回收站”标志的删除区域,或者,可以是通过选中目标数据处理算子,在选中目标数据处理算子之后出现的选项框中,选择删除选项,从而将目标数据处理算子从数据分析任务中删除。
步骤230,在接收到基于参数编辑区对各个目标数据处理算子的参数设置操作后,根据参数设置操作对各个目标数据处理算子进行参数设置,得到各个目标数据处理算子的执行参数。
当用户操作指示选中数据处理任务中的目标数据处理算子时,在参数编辑区会对应显示该目标数据处理算子所对应的算子参数设置控件,以及该算子参数设置控件所对应的应设置的算子参数内容,通过对算子参数设置区域的选择来对该目标数据处理算子的各项参数进行配置,以完善该目标数据处理算子的逻辑功能。其中,不同数据处理算子所对应的算子参数设置控件和算子参数设置内容不同,根据不同数据处理算子所要实现的功能进行相应的设置。
对目标数据处理算子的参数设置可以在对目标数据处理算子的执行顺序进行设置之后进行设置,也可以在数据处理任务的执行顺序建立完成后再对数据处理任务的数据处理算子进行设置,也就是说,对目标数据处理算子的参数设置可以发生在数据处理任务建立的各个时间节点,本申请对此不作限制。
步骤240,根据各个目标数据处理算子的执行顺序和执行参数生成数据分析任务。
在设置好各个目标数据处理算子的执行顺序后,需要将各个目标数据处理算子通过连接线进行连接,以表示相邻两个数据处理算子之间存在数据交互,同时需要将数据处理算子所在的数据处理器与数据源和目标源进行顺序连接,即以数据源连接数据处理器,数据处理器连接目标源的顺序进行连接,以保证数据处理任务中的数据传输,在配置好数据处理任务中各个目标数据处理算子的参数以及数据源中数据的来源,以及目标源的存储位置后,即可建立一条数据处理任务。
可选的,该创建界面中包括有校验控件,当接收到基于校验控件的校验操作后,根据预先设置的数据分析任务合法性校验规则对数据分析任务进行合法性校验,其中,该合法性校验包括对数据分析任务中各个数据处理算子的执行参数进行合法性校验,以及,对数据分析任务中各个数据处理算子之间的组合搭配进行合法性校验中的至少一种。比如,对于某一算子,在数据分析任务合法性校验规则中其某一执行参数必须设置在0至100的范围内,但在设置时,用户将该执行参数设置为200,则在合法性校验过程中,判定该执行参数设置不合法。并根据该执行参数不合法的性质,对用户进行提示操作,比如在显示界面显示不合法提示消息,或者通过发送不合法信息至与创建数据分析任务相连接的电子设备,或者,通过发出报警声音、语音提示等对用户进行提示。
其中,根据预先设置的数据分析任务合法性校验规则对数据分析任务进行合法性校验的过程可以实现在数据分析任务建立过程中的各个时间节点,且每个数据处理算子都有对应的数据处理结果,以便于开发者在数据分析任务的建立过程中,能够实时对数据处理算子之间组合配置的合法性,以及数据处理算子的参数的合法性进行实时监控,以便于按照校验结果更改配置。
可选的,该创建界面中包含有预览控件,该方法还包括在数据处理任务建立完成后,接收预览配置信息,该预览配置信息用于验证数据分析任务的输入数据和输出数据是否正常;
响应于接收到基于预览控件的预览操作,基于预览配置信息运行数据分析任务。
在数据处理任务建立完成之后,通过在数据处理任务中加载预览配置信息,并基于预览操作运行该数据分析任务获得输出结果,通过对该数据处理任务处理过程中的输入数据和输出数据与预览配置信息中的输入数据和输出数据的对比,判断该数据分析任务各个阶段的输入数据和输出数据是否正常,比如,在数据处理任务的某一算子中,预览配置信息中的输入数据为abcd,但反映到数据处理任务中,输入数据变为acdb,则证明该数据处理任务的输入数据不正常,或者,预览配置信息中的输入数据abcd所对应的输出数据为1234,但反映到数据处理任务中,输入数据abcd对应的输出数据为3241,则证明该数据处理任务的输出数据不正常。并生成相应的图表对输入数据的正常情况和不正常情况进行统计。
可选的,该创建界面中还包括运行控件,在对数据源中的数据来源进行设置后,响应于接收到基于运行控件的用户操作,接收待处理数据,该待处理数据为流数据,基于该待处理数据分析任务,获得待处理数据的处理结果。
可选的,响应于用户的发布操作,计算机设备可以将该数据分析任务发布至该数据分析任务创建界面所对应的创建平台上。
可选的,基于该数据分析任务创建界面所对应的创建平台上已有的数据分析任务,用户在有数据分析任务使用需求时,可以直接调用该创建平台中已有的数据分析任务作为模板进行使用,或者,通过对创建平台中已有的数据分析任务中的数据处理算子,数据源、目标源等进行相应的设置已满足其他业务需求。
综上所述,本申请实施例中提供的物联网中的数据分析任务创建方法,通过在可视化的数据分析任务的创建界面中,根据接收到的基于算子编辑区对至少两个目标数据算子的用户操作,对各个目标数据处理算子进行编辑,得到各个目标数据处理算子的执行逻辑和执行参数,根据各个目标数据处理算子的执行顺序和执行参数生成数据分析任务,使得在数据分析任务开发过程中,将数据分析任务中的计算步骤算子化,并利用可视化的创建界面进行数据分析任务的构建,提高了数据分析任务的开发效率。
以计算三项不平衡率项目为例,对本申请提出的物联网中的数据分析任务创建方法进行说明,首先对计算三项不平衡项目进行说明:
普通用电设备(如照明灯)的电表为三项电表,若同一时间A,B,C三项的电压或电流值差值较大,易导致电表故障或读数异常(即跳变),计算相同时刻电表三项电压或电流的差值(即三项不平衡率),可用于判断时间点是否跳变,并作为故障诊断依据。三项不平衡率计算逻辑为:
1)计算各个电表设备在每5分钟内的平均电压;
2)将同一电表设备同一时段内的数据合并,,并网络获取该设备属性和波动阈值参数un;
3)基于分组好的同电表设备三项电压均值,输出其电压波动差值(最大-最小值),并与最大值比较求出不平衡率;
4)将不平衡率与设备波动阈值un做比较,判断是否为跳变异常值,进而供告警或其他计算使用。
基于三项不平衡率的计算逻辑,请参考图8,其示出了本申请一示例性实施例提供的物联网中的数据分析任务创建方法的示意图,以开发人员的操作为例,如图8所示,该物联网中的数据分析任务创建方法可以包括以下步骤:
步骤810,基于三项不平衡率的计算逻辑确定所需的数据处理算子。
根据三项不平衡率的计算逻辑可以得知,构建计算三项不平衡率的数据分析任务需要使用的数据处理算子有Window Aggregator算子,GroupByTag算子,HttpLookup算子,Python算子等数据处理算子,其中Window Aggregator算子用于计算各个电表设备在5分钟内的平均电压,GroupByTag算子用于将同一电表设备同一时段内的数据合并到同一组中,HttpLookup算子用于从其他网络服务中实时获取波动阈值计算参数un,Python算子用于计算不平衡率以及进行跳变判断。
步骤820,在可视化的数据分析任务创建界面中的算子备选区选择数据处理算子。
步骤830,基于三项不平衡率的计算逻辑确定计算三项不平衡率所需的数据处理算子的执行顺序以及执行参数。
步骤840,根据各个计算三项不平衡率所需的数据处理算子的执行顺序以及执行参数生成数据分析任务。
在上述数据分析任务的建立过程中,可以实时对数据处理算子的处理结果进行查看,以对每个数据处理算子的输出内容和输出结果的正常性进行判断,以便于及时修正,同时用户也可以随时通过对校验控件进行校验操作,以校验该数据分析任务建立过程中数据处理算子之间组合搭配的合法性以及数据处理算子的执行参数设置的合法性。
综上所述,本申请实施例中提供的物联网中的数据分析任务创建方法,通过在可视化的数据分析任务的创建界面中,根据接收到的基于算子编辑区对至少两个目标数据算子的用户操作,对各个目标数据处理算子进行编辑,得到各个目标数据处理算子的执行逻辑和执行参数,根据各个目标数据处理算子的执行顺序和执行参数生成数据分析任务,使得在数据分析任务开发过程中,将数据分析任务中的计算步骤算子化,并利用可视化的创建界面进行数据分析任务的构建,提高了数据分析任务的开发效率。
请参考图9,其示出了本申请一示例性实施例提供的物联网中的数据分析任务创建装置的方框图。该装置可以通过软件的形式实现为计算机设备的全部或者部分,以执行图1、图2或图8对应实施例所示的方法的全部或部分步骤,其中,该计算机设备可以为服务器或者安装有数据分析任务可视化制作程序的终端,如图9所示,该物联网中的数据分析任务创建装置可以包括:
显示模块910,用于显示可视化的数据分析任务的创建界面,创建界面上显示有算子备选区以及算子编辑区,算子备选区提供有n种数据处理算子,n为正整数,数据处理算子用于按照对应的处理逻辑对输入的数据进行处理,其中,数据是能源类物联网设备输入的数据;
编辑模块920,用于响应于接收到基于算子编辑区对至少两个目标数据处理算子的用户操作,根据用户操作对各个目标数据处理算子进行编辑,得到各个目标数据处理算子的执行顺序和执行参数,目标数据处理算子是n种数据处理算子中被选择的数据处理算子;
生成模块930,用于根据各个目标数据处理算子的执行顺序和执行参数生成数据分析任务。
可选的,算子编辑区包括算子组合区和参数编辑区,参数编辑区中提供有算子参数设置控件。
可选的,该编辑模块920,包括:
第一获取子模块,用于在接收到基于算子组合区对各个目标数据处理算子的顺序编排操作后,根据各个目标数据处理算子在算子组合区中的连接关系,得到各个目标数据处理算子的执行顺序;
第二获取子模块,用于在接收到基于算子组合区对各个目标数据处理算子的参数设置操作后,根据参数设置操作对各个目标数据处理算子进行参数设置,得到各个目标数据处理算子的执行参数。
可选的,顺序编排操作包括选择操作、移动操作以及删除操作中的至少一种;该装置还包括:
增加模块,用于响应于接收到基于算子组合区对目标数据处理算子的选择操作,根据选择操作在算子组合区中的数据分析任务中增加目标数据处理算子;
移动模块,用于响应于接收到基于算子组合区对目标数据处理算子的移动操作,根据移动操作在算子组合区中的数据分析任务中移动目标数据处理算子的位置;
删除模块,用于响应于接收到基于算子组合区对目标数据处理算子的删除操作,根据删除操作在算子组合区中的数据分析任务中删除目标数据处理算子。
可选的,数据处理算子包括资产主数据算子、数据计算算子、数据质量算子以及电量计算算子中的至少一种。
可选的,创建界面中还包括校验控件;
该装置还包括:
校验模块,用于响应于接收到基于校验控件的校验操作,根据预先设置的数据分析任务合法性校验规则对数据分析任务进行合法性校验;
其中,合法性校验包括对数据分析任务中各个数据处理算子的执行参数进行合法性校验,以及,对数据分析任务中各个数据处理算子之间的组合搭配进行合法性校验中的至少一种。
可选的,创建界面中还包括预览控件;
该装置还包括:
第二接收模块,用于接收预览配置信息,预览配置信息用于验证数据分析任务的输入数据和输出数据是否正常;
第二运行模块,用于响应于接收到基于预览控件的预览操作,基于预览配置信息运行数据分析任务。
综上所述,本申请实施例中提供的物联网中的数据分析任务创建装置,应用于计算机设备中,通过在可视化的数据分析任务的创建界面中,根据接收到的基于算子编辑区对至少两个目标数据算子的用户操作,对各个目标数据处理算子进行编辑,得到各个目标数据处理算子的执行逻辑和执行参数,根据各个目标数据处理算子的执行顺序和执行参数生成数据分析任务,使得在数据分析任务开发过程中,将数据分析任务中的计算步骤算子化,并利用可视化的创建界面进行数据分析任务的构建,提高了数据分析任务的开发效率。
图10是根据一示例性实施例示出的计算机设备1000的结构框图。该计算机设备1000可以实现为上诉安装有数据分析任务可视化制作程序的终端,比如智能手机、平板电脑或台式电脑。计算机设备1000还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,计算机设备1000包括有:处理器1001和存储器1002。
处理器1001可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1001可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1001也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1001可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1001还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1002可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1002还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1002中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器1001所执行以实现本申请中方法实施例提供的方法。
在一些实施例中,计算机设备1000还可选包括有:外围设备接口1003和至少一个外围设备。处理器1001、存储器1002和外围设备接口1003之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1003相连。具体地,外围设备包括:射频电路1004、触摸显示屏1005、摄像头10010、音频电路1007、定位组件1008和电源1009中的至少一种。
外围设备接口1003可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器1001和存储器1002。在一些实施例中,处理器1001、存储器1002和外围设备接口1003被集成在同一芯片或电路板上;在一些其他实施例中,处理器1001、存储器1002和外围设备接口1003中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路1004用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路1004通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1004将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路1004包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1004可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路1004还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏1005用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1005是触摸显示屏时,显示屏1005还具有采集在显示屏1005的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1001进行处理。此时,显示屏1005还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1005可以为一个,设置计算机设备1000的前面板;在另一些实施例中,显示屏1005可以为至少两个,分别设置在计算机设备1000的不同表面或呈折叠设计;在再一些实施例中,显示屏1005可以是柔性显示屏,设置在计算机设备1000的弯曲表面上或折叠面上。甚至,显示屏1005还可以设置成非矩形的不规则图形,也即异形屏。显示屏1005可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(OrganicLight-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件10010用于采集图像或视频。可选地,摄像头组件10010包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件10010还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路1007可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1001进行处理,或者输入至射频电路1004以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在计算机设备1000的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1001或射频电路1004的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路1007还可以包括耳机插孔。
定位组件1008用于定位计算机设备1000的当前地理位置,以实现导航或LBS(Location Based Service,基于位置的服务)。定位组件1008可以是基于美国的GPS(Global Positioning System,全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源1009用于为计算机设备1000中的各个组件进行供电。电源1009可以是交流电、直流电、一次性电池或可充电电池。当电源1009包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中,计算机设备1000还包括有一个或多个传感器1010。该一个或多个传感器1010包括但不限于:加速度传感器1011、陀螺仪传感器1012、压力传感器1013、指纹传感器1014、光学传感器1015以及接近传感器1016。
加速度传感器1011可以检测以计算机设备1000建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器1011可以用于检测重力加速度在三个坐标轴上的分量。处理器1001可以根据加速度传感器1011采集的重力加速度信号,控制触摸显示屏1005以横向视图或纵向视图进行用户界面的显示。加速度传感器1011还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1012可以检测计算机设备1000的机体方向及转动角度,陀螺仪传感器1012可以与加速度传感器1011协同采集用户对计算机设备1000的3D动作。处理器1001根据陀螺仪传感器1012采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1013可以设置在计算机设备1000的侧边框和/或触摸显示屏1005的下层。当压力传感器1013设置在计算机设备1000的侧边框时,可以检测用户对计算机设备1000的握持信号,由处理器1001根据压力传感器1013采集的握持信号进行左右手识别或快捷操作。当压力传感器1013设置在触摸显示屏1005的下层时,由处理器1001根据用户对触摸显示屏1005的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1014用于采集用户的指纹,由处理器1001根据指纹传感器1014采集到的指纹识别用户的身份,或者,由指纹传感器1014根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器1001授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1014可以被设置计算机设备1000的正面、背面或侧面。当计算机设备1000上设置有物理按键或厂商Logo时,指纹传感器1014可以与物理按键或厂商Logo集成在一起。
光学传感器1015用于采集环境光强度。在一个实施例中,处理器1001可以根据光学传感器1015采集的环境光强度,控制触摸显示屏1005的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏1005的显示亮度;当环境光强度较低时,调低触摸显示屏1005的显示亮度。在另一个实施例中,处理器1001还可以根据光学传感器1015采集的环境光强度,动态调整摄像头组件1006的拍摄参数。
接近传感器1016,也称距离传感器,通常设置在计算机设备1000的前面板。接近传感器1016用于采集用户与计算机设备1000的正面之间的距离。在一个实施例中,当接近传感器1016检测到用户与计算机设备1000的正面之间的距离逐渐变小时,由处理器1001控制触摸显示屏1005从亮屏状态切换为息屏状态;当接近传感器1016检测到用户与计算机设备1000的正面之间的距离逐渐变大时,由处理器1001控制触摸显示屏1005从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图10中示出的结构并不构成对计算机设备1000的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
图11是根据一示例性实施例示出的计算机设备1100的结构框图。该计算机设备可以实现为本申请上述方案中的服务器。所述计算机设备1100包括中央处理单元(CentralProcessing Unit,CPU)1101、包括随机存取存储器(Random Access Memory,RAM)1102和只读存储器(Read-Only Memory,ROM)1103的系统存储器1104,以及连接系统存储器1104和中央处理单元1101的系统总线1105。所述计算机设备1100还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(Input/Output系统,I/O系统)1106,和用于存储操作系统1113、应用程序1114和其他程序模块1115的大容量存储设备1107。
所述基本输入/输出系统1106包括有用于显示信息的显示器1108和用于用户输入信息的诸如鼠标、键盘之类的输入设备1109。其中所述显示器1108和输入设备1109都通过连接到系统总线1105的输入输出控制器1110连接到中央处理单元1101。所述基本输入/输出系统1106还可以包括输入输出控制器1110以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地,输入输出控制器1110还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备1107通过连接到系统总线1105的大容量存储控制器(未示出)连接到中央处理单元1101。所述大容量存储设备1107及其相关联的计算机可读介质为计算机设备1100提供非易失性存储。也就是说,所述大容量存储设备1107可以包括诸如硬盘或者只读光盘(Compact Disc Read-Only Memory,CD-ROM)驱动器之类的计算机可读介质(未示出)。
不失一般性,所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读寄存器(Erasable Programmable Read Only Memory,EPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-OnlyMemory,EEPROM)、闪存或其他固态存储其技术,CD-ROM、数字多功能光盘(Digitalversatile disc,DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1104和大容量存储设备1107可以统称为存储器。
根据本申请的各种实施例,所述计算机设备1100还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备1100可以通过连接在所述系统总线1105上的网络接口单元1111连接到网络1112,或者说,也可以使用网络接口单元1111来连接到其他类型的网络或远程计算机系统(未示出)。
所述存储器还包括一个或者一个以上的程序,所述一个或者一个以上程序存储于存储器中,中央处理器1101通过执行该一个或一个以上程序来实现图1、图2或图8所示的方法的全部或者部分步骤。
本领域技术人员可以理解,在上述一个或多个示例中,本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质,其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
本申请实施例还提供了一种计算机可读存储介质,用于存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述物联网中的数据分析任务创建方法。例如,该计算机可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (8)
1.一种物联网中的数据分析任务创建方法,其特征在于,所述方法包括:
显示可视化的数据分析任务的创建界面,所述创建界面上显示有算子备选区以及算子编辑区,所述算子备选区提供有n种数据处理算子,n为正整数,所述数据处理算子用于按照对应的处理逻辑对输入的数据进行处理,其中,所述数据是能源类物联网设备输入的数据,所述数据分析任务用于处理物联网中的流数据,所述算子备选区中的所述数据处理算子是根据物联网场景设计的算子,所述数据处理算子包括资产主数据算子、数据计算算子、数据质量算子、电量计算算子、具有建立数据源功能的数据源算子、具有建立目标源功能的目标源算子、普适性算子以及特定任务算子中的至少一种,所述普适性算子是从物联网中各领域中抽取并封装的各种计算任务中共同的、普适的计算逻辑,所述普适性算子用以处理所述数据分析任务中普遍适用于同类型计算的算子,所述特定任务算子是根据物联网场景中的计算任务所设计的定制算子,所述特定任务算子用以处理所述数据分析任务中针对特定类型计算的算子,所述特定任务算子包括增量计算算子、站点聚合器算子中的至少一种,所述算子用于能源类物联网场景的业务计算;
响应于接收到基于所述算子编辑区对至少两个目标数据处理算子的用户操作,根据所述用户操作对各个所述目标数据处理算子进行编辑,得到各个所述目标数据处理算子的执行顺序和执行参数,所述目标数据处理算子是所述n种数据处理算子中被选择的数据处理算子;
根据各个所述目标数据处理算子的执行顺序和执行参数生成数据分析任务,所述数据分析任务由包含输入数据的数据源算子、包含输出数据的目标源算子和所述数据处理器所构成,所述数据处理器由所述目标数据处理算子构成,所述目标源用于将所述数据处理器处理完成后的数据存入目标系统;其中,所述目标系统是支持存储实时计算的中间状态和计算结果的数据库。
2.根据权利要求1所述的方法,其特征在于,所述算子编辑区包括算子组合区和参数编辑区,所述参数编辑区中提供有算子参数设置控件;
所述响应于接收到基于所述算子编辑区对至少两个目标数据处理算子的用户操作,根据所述用户操作对所述目标数据处理算子进行编辑,得到各个所述目标数据处理算子的执行顺序和执行参数,包括:
在接收到基于所述算子组合区对各个所述目标数据处理算子的顺序编排操作后,根据各个所述目标数据处理算子在所述算子组合区中的连接关系,得到各个所述目标数据处理算子的执行顺序;
在接收到基于所述参数编辑区对各个所述目标数据处理算子的参数设置操作后,根据所述参数设置操作对各个所述目标数据处理算子进行参数设置,得到所述各个所述目标数据处理算子的执行参数。
3.根据权利要求2所述的方法,其特征在于,所述顺序编排操作包括选择操作、移动操作以及删除操作中的至少一种;所述方法还包括:
响应于接收到基于所述算子组合区对所述目标数据处理算子的选择操作,根据所述选择操作在所述算子组合区中的所述数据分析任务中增加所述目标数据处理算子;
响应于接收到基于所述算子组合区对所述目标数据处理算子的移动操作,根据所述移动操作在所述算子组合区中的所述数据分析任务中移动所述目标数据处理算子的位置;
响应于接收到基于所述算子组合区对所述目标数据处理算子的删除操作,根据所述删除操作在所述算子组合区中的所述数据分析任务中删除所述目标数据处理算子。
4.根据权利要求1所述的方法,其特征在于,所述创建界面中还包括校验控件;
所述方法还包括:
响应于接收到基于所述校验控件的校验操作,根据预先设置的数据分析任务合法性校验规则对所述数据分析任务进行合法性校验;
其中,所述合法性校验包括对所述数据分析任务中各个数据处理算子的执行参数进行合法性校验,以及,对所述数据分析任务中各个数据处理算子之间的组合搭配进行合法性校验中的至少一种。
5.根据权利要求1所述的方法,其特征在于,所述创建界面中还包括预览控件;
所述方法还包括:
接收预览配置信息,所述预览配置信息用于验证所述数据分析任务的输入数据和输出数据是否正常;
响应于接收到基于所述预览控件的预览操作,基于所述预览配置信息运行所述数据分析任务。
6.一种物联网中的数据分析任务创建装置,其特征在于,所述装置包括:
显示模块,用于显示可视化的数据分析任务的创建界面,所述创建界面上显示有算子备选区以及算子编辑区,所述算子备选区提供有n种数据处理算子,n为正整数,所述数据处理算子用于按照对应的处理逻辑对输入的数据进行处理,其中,所述数据是能源类物联网设备输入的数据,所述数据分析任务用于处理物联网中的流数据,所述算子备选区中的所述数据处理算子是根据物联网场景设计的算子,所述数据处理算子包括资产主数据算子、数据计算算子、数据质量算子、电量计算算子、具有建立数据源功能的数据源算子、具有建立目标源功能的目标源算子、普适性算子以及特定任务算子中的至少一种,所述普适性算子是从物联网中各领域中抽取并封装的各种计算任务中共同的、普适的计算逻辑,所述普适性算子用以处理所述数据分析任务中普遍适用于同类型计算的算子,所述特定任务算子是根据物联网场景中的计算任务所设计的定制算子,所述特定任务算子用以处理所述数据分析任务中针对特定类型计算的算子,所述特定任务算子包括增量计算算子、站点聚合器算子中的至少一种,所述算子用于能源类物联网场景的业务计算;
编辑模块,用于响应于接收到基于所述算子编辑区对至少两个目标数据处理算子的用户操作,根据所述用户操作对各个所述目标数据处理算子进行编辑,得到各个所述目标数据处理算子的执行顺序和执行参数,所述目标数据处理算子是所述n种数据处理算子中被选择的数据处理算子;
生成模块,用于根据各个所述目标数据处理算子的执行顺序和执行参数生成数据分析任务,所述数据分析任务由包含输入数据的数据源算子、包含输出数据的目标源算子和所述数据处理器所构成,所述数据处理器由所述目标数据处理算子构成,所述目标源用于将所述数据处理器处理完成后的数据存入目标系统;其中,所述目标系统是支持存储实时计算的中间状态和计算结果的数据库。
7.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器;所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至5任一所述的物联网中的数据分析任务创建方法。
8.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至5任一所述的物联网中的数据分析任务创建方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911405989.3A CN111552470B (zh) | 2019-12-31 | 2019-12-31 | 物联网中的数据分析任务创建方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911405989.3A CN111552470B (zh) | 2019-12-31 | 2019-12-31 | 物联网中的数据分析任务创建方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111552470A CN111552470A (zh) | 2020-08-18 |
CN111552470B true CN111552470B (zh) | 2023-09-12 |
Family
ID=72007184
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911405989.3A Active CN111552470B (zh) | 2019-12-31 | 2019-12-31 | 物联网中的数据分析任务创建方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111552470B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113395251B (zh) * | 2021-01-20 | 2024-06-14 | 腾讯科技(深圳)有限公司 | 一种机器学习安全场景检测方法及装置 |
CN112988130A (zh) * | 2021-02-24 | 2021-06-18 | 恒安嘉新(北京)科技股份公司 | 一种基于大数据的可视化建模方法、装置、设备及介质 |
CN113296906B (zh) * | 2021-03-31 | 2023-11-28 | 阿里巴巴新加坡控股有限公司 | 任务配置方法及装置 |
CN113506086B (zh) * | 2021-07-01 | 2024-03-05 | 游艺星际(北京)科技有限公司 | 任务发布方法、装置、计算机设备及介质 |
CN113867600A (zh) * | 2021-08-25 | 2021-12-31 | 上海浦东发展银行股份有限公司 | 处理流式数据的开发方法、装置和计算机设备 |
CN113742366B (zh) * | 2021-09-14 | 2023-07-21 | 腾讯科技(深圳)有限公司 | 数据处理方法、装置、计算机设备及存储介质 |
CN113849166B (zh) * | 2021-11-29 | 2022-02-18 | 广东青藤环境科技有限公司 | 智慧水环境积木式零代码开发平台 |
CN115101157A (zh) * | 2022-05-31 | 2022-09-23 | 医渡云(北京)技术有限公司 | 自动生成分析报告的方法、装置、设备及可读介质 |
CN114879943A (zh) * | 2022-06-30 | 2022-08-09 | 浙江大华技术股份有限公司 | 一种算法方案生成方法、装置以及计算机可读存储介质 |
CN115291856B (zh) * | 2022-07-19 | 2023-09-22 | 中电金信软件有限公司 | 一种流程建立方法、装置以及电子设备 |
CN115104874B (zh) * | 2022-07-26 | 2023-01-03 | 深圳市西昊智能家具有限公司 | 智能椅的控制方法、装置、计算机设备和存储介质 |
CN115494989B (zh) * | 2022-11-17 | 2023-03-21 | 帆软软件有限公司帆软南京分公司 | 分析节点生成方法、装置、电子设备和存储介质 |
CN117235172A (zh) * | 2023-10-19 | 2023-12-15 | 之江实验室 | 一种融合数据分析流和可视化系统构建的交互方法和设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102567396A (zh) * | 2010-12-30 | 2012-07-11 | 中国移动通信集团公司 | 一种基于云计算的数据挖掘方法、系统及装置 |
WO2017099716A1 (en) * | 2015-12-07 | 2017-06-15 | Hitachi, Ltd. | Visual flow analyzer for exploratory hypotheses in upstream oil and gas process data |
CN109597380A (zh) * | 2018-11-28 | 2019-04-09 | 江苏斯德雷特通光光纤有限公司 | 一种基于物联网与云计算技术的智慧能源管理平台系统 |
CN109726216A (zh) * | 2018-12-29 | 2019-05-07 | 北京九章云极科技有限公司 | 一种基于有向无环图的数据处理方法和处理系统 |
CN110222983A (zh) * | 2019-06-07 | 2019-09-10 | 广州远正智能科技股份有限公司 | 一种能源消耗监管系统及方法 |
CN110413276A (zh) * | 2019-07-31 | 2019-11-05 | 网易(杭州)网络有限公司 | 参数编辑方法及装置、电子设备、存储介质 |
CN110532447A (zh) * | 2019-08-29 | 2019-12-03 | 上海云从汇临人工智能科技有限公司 | 一种业务数据处理方法、装置、介质和设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11774944B2 (en) * | 2016-05-09 | 2023-10-03 | Strong Force Iot Portfolio 2016, Llc | Methods and systems for the industrial internet of things |
-
2019
- 2019-12-31 CN CN201911405989.3A patent/CN111552470B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102567396A (zh) * | 2010-12-30 | 2012-07-11 | 中国移动通信集团公司 | 一种基于云计算的数据挖掘方法、系统及装置 |
WO2017099716A1 (en) * | 2015-12-07 | 2017-06-15 | Hitachi, Ltd. | Visual flow analyzer for exploratory hypotheses in upstream oil and gas process data |
CN109597380A (zh) * | 2018-11-28 | 2019-04-09 | 江苏斯德雷特通光光纤有限公司 | 一种基于物联网与云计算技术的智慧能源管理平台系统 |
CN109726216A (zh) * | 2018-12-29 | 2019-05-07 | 北京九章云极科技有限公司 | 一种基于有向无环图的数据处理方法和处理系统 |
CN110222983A (zh) * | 2019-06-07 | 2019-09-10 | 广州远正智能科技股份有限公司 | 一种能源消耗监管系统及方法 |
CN110413276A (zh) * | 2019-07-31 | 2019-11-05 | 网易(杭州)网络有限公司 | 参数编辑方法及装置、电子设备、存储介质 |
CN110532447A (zh) * | 2019-08-29 | 2019-12-03 | 上海云从汇临人工智能科技有限公司 | 一种业务数据处理方法、装置、介质和设备 |
Non-Patent Citations (1)
Title |
---|
基于算子组态的工业数据分析平台关键技术研究;呼建新;《中国优秀硕士学位论文全文数据库 信息科技辑》;I138-889 * |
Also Published As
Publication number | Publication date |
---|---|
CN111552470A (zh) | 2020-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111552470B (zh) | 物联网中的数据分析任务创建方法、装置及存储介质 | |
CN111240673B (zh) | 互动图形作品生成方法、装置、终端及存储介质 | |
CN107885533B (zh) | 管理组件代码的方法及装置 | |
US11954464B2 (en) | Mini program production method and apparatus, terminal, and storage medium | |
CN111338910B (zh) | 日志数据处理、显示方法、装置、设备及存储介质 | |
CN111192005A (zh) | 政务业务处理方法、装置、计算机设备及可读存储介质 | |
CN112162843A (zh) | 工作流执行方法、装置、设备及存储介质 | |
CN112163406A (zh) | 互动消息显示方法、装置、计算机设备及存储介质 | |
CN111191176A (zh) | 网站内容更新方法、装置、终端及存储介质 | |
CN112116690A (zh) | 视频特效生成方法、装置及终端 | |
CN111459466B (zh) | 代码生成方法、装置、设备及存储介质 | |
CN113742366A (zh) | 数据处理方法、装置、计算机设备及存储介质 | |
CN111737100A (zh) | 数据获取方法、装置、设备及存储介质 | |
CN112230781A (zh) | 字符推荐方法、装置及存储介质 | |
CN110990728B (zh) | 兴趣点信息的管理方法、装置、设备及存储介质 | |
CN110768843B (zh) | 网络问题分析方法、装置、终端及存储介质 | |
CN113837709A (zh) | 业务流程的在线化处理方法、装置、终端及可读存储介质 | |
CN112230910A (zh) | 嵌入型程序的页面生成方法、装置、设备及存储介质 | |
CN112905328B (zh) | 任务处理方法、装置及计算机可读存储介质 | |
CN114911478A (zh) | 页面创建方法、装置、电子设备及存储介质 | |
CN114298403A (zh) | 预测作品的关注度的方法和装置 | |
CN114238859A (zh) | 数据处理系统、方法、电子设备以及存储介质 | |
CN116244299A (zh) | 业务数据路径的确定方法、装置、电子设备及介质 | |
CN113377976A (zh) | 资源搜索方法、装置、计算机设备及存储介质 | |
CN111294320B (zh) | 数据转换的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |