CN111581932A - 一种数据驱动的大数据分析方法、系统、装置、存储介质及终端 - Google Patents
一种数据驱动的大数据分析方法、系统、装置、存储介质及终端 Download PDFInfo
- Publication number
- CN111581932A CN111581932A CN202010181793.7A CN202010181793A CN111581932A CN 111581932 A CN111581932 A CN 111581932A CN 202010181793 A CN202010181793 A CN 202010181793A CN 111581932 A CN111581932 A CN 111581932A
- Authority
- CN
- China
- Prior art keywords
- task
- analysis
- subtask
- big data
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007405 data analysis Methods 0.000 title claims abstract description 131
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000004458 analytical method Methods 0.000 claims abstract description 133
- 238000012545 processing Methods 0.000 claims abstract description 30
- 230000003068 static effect Effects 0.000 claims abstract description 17
- 238000012800 visualization Methods 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 17
- 238000007794 visualization technique Methods 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 20
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 6
- 238000011161 development Methods 0.000 description 5
- 235000013399 edible fruits Nutrition 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 235000019580 granularity Nutrition 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/186—Templates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
- G06F16/9566—URL specific, e.g. using aliases, detecting broken or misspelled links
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种数据驱动的大数据分析方法、系统、装置、存储介质及终端，所述方法包括：获取大数据分析任务；将所述大数据分析任务进行拆解，生成分析子任务集合；基于所述子任务集合中各子任务加载预设微服务模型进行处理，生成任务分析结果；将所述任务分析结果输入预先定义的任务模板中进行填充，生成分析报告和/或动静态网页。因此，采用本申请实施例，将传统大数据分析流程进行抽象和分层解耦，以实现大数据分析架构的高复用性和高可扩展性，从而提高了任务分析效率。
Description
技术领域
本发明涉及计算机技术领域，特别涉及一种数据驱动的大数据分析方法、系统、装置、存储介质及终端。
背景技术
新一代信息技术如移动互联网、物联网、社交网络、电子商务等孕育了新的应用形态，这些应用正在源源不断地产生大数据。通过对不同来源数据的管理、处理、分析与优化，并将结果反馈到上述应用中，将创造出巨大的经济和社会价值，形成催生社会变革的能量。
目前，数据分析方法主要是以需求驱动的，对于给定的一个具体分析任务，首先通过需求分析明确定义数据输入、业务计算逻辑和可视化方法后，再进行任务的开发(自顶向下)。在大数据的背景下，数据分析更多是以数据驱动的，在既有数据基础上，通过数据的不断打通、融合、泛化，进一步驱动业务的打通、融合、泛化，逐步释放出数据的巨大价值(自底向上)。
大数据分析任务的典型特征是数据、业务都在不断地迭代演化，甚至反向驱动需求都在不断地随之演化。因此，在大数据背景下，我们很难感知数据的全貌特征，进而定义出明确的分析需求，使得大数据分析任务具有很强的不确定性。如果依旧采用传统的需求驱动方法，会导致任务的泛化能力低，不够灵活，降低任务分析效率，亟需一种以数据驱动为特征的全新的数据分析方法。
发明内容
本申请实施例提供了一种数据驱动的大数据分析方法、系统、装置、存储介质及终端。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
第一方面，本申请实施例提供了一种数据驱动的大数据任务分析方法，所述方法包括：
获取大数据分析任务；
将所述大数据分析任务进行拆解，生成分析子任务集合；
基于所述子任务集合中各子任务加载预设微服务模型进行处理，生成任务分析结果；
将所述任务分析结果输入预先定义的任务模板中进行填充，生成分析报告和/或动静态网页。
可选的，所述将所述可视化成果物输入预先定义的任务模板中进行填充，生成分析报告之后，还包括：
当接收到针对客户端输入的下载指令时，获取保存路径；
基于所述保存路径将所述分析报告保存至客户端。
可选的，所述将所述可视化成果物输入预先定义的任务模板中进行填充，生成动静态网页之后，还包括：
输入网页URL地址，浏览分析的内容。
可选的，所述将所述大数据分析任务进行拆解，生成分析子任务集合之后，还包括：
基于所述子任务集合中各子任务定义模板，生成任务模板，所述任务模板包括分析研判报告模板和网页模板；
将所述任务模板确定为预先定义的任务模板。
可选的，所述基于所述子任务集合中各子任务加载预设微服务模型进行处理，生成任务分析结果，包括：
获取所述子任务集合中各子任务对应的数据实体；
将所述数据实体输入加载的预设微服务模型中进行处理，生成任务分析结果。
可选的，所述任务分析结果的类型包括数值类型、数据列表类型、统计图表类型、文字类型、截图类型、图片类型以及视频类型。
可选的，所述任务分析结果的载体至少包括报告和网页。
第二方面，本申请实施例提供了一种数据驱动的大数据分析系统，所述系统包括：
数据层模块，用于将大数据分析子任务集合中各子任务的数据需求抽象为单个独立的数据实体，作为业务层模块的输入；
业务层模块，用于将大数据分析子任务集合中各子任务的统计和计算逻辑抽象为单个独立的业务逻辑实体，作为可视化层模块的输入；
可视化层模块，用于将大数据分析子任务集合中各子任务的可视化需求抽象为单个独立的可视化方法实体，作为上层子任务模块的表达方式；
子任务层模块，用于定义至少一个数据实体，以所述数据实体为输入定义至少一个业务功能实体，以所述业务功能实体的统计结果为输入定义至少一种可视化方法，并选取其中的可视化结果作为子任务的结果输出；
任务层，用于将大数据分析任务抽象为一个任务实体，所述任务实体由多个子任务构成，即每个大数据分析任务均有多个可视化结果构成。
第三方面，本申请实施例提供了一种数据驱动的大数据分析装置，所述装置包括：
任务获取模块，用于获取大数据分析任务；
集合生成模块，用于将所述大数据分析任务进行拆解，生成分析子任务集合；
结果生成模块，用于基于所述子任务集合中各子任务加载预设微服务模型进行处理，生成任务分析结果；
成果物生成模块，用于将所述任务分析结果输入预先定义的任务模板中进行填充，生成分析报告和/或动静态网页。
第四方面，本申请实施例提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。
第五方面，本申请实施例提供一种终端，可包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法步骤。
本申请实施例提供的技术方案可以包括以下有益效果：
在本申请实施例中，用户终端首先获取大数据分析任务，再将所述大数据分析任务进行拆解，生成分析子任务集合，然后基于所述子任务集合中各子任务加载预设微服务模型进行处理，生成任务分析结果，最后将所述任务分析结果输入预先定义的任务模板中进行填充，生成分析报告和/或动静态网页。本申请针对大数据分析任务需求不确定性强的典型特征，以数据驱动为基础，对传统数据分析流程进行抽象和分层解耦，不断提升数据、业务和可视化的泛化能力，以实现大数据分析架构的高复用性和高可扩展性，从而提高任务分析效率和灵活性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是本申请实施例提供的一种数据驱动的大数据分析方法的流程示意图；
图2是本申请实施例提供的基于大数据的一种任务分析过程的过程示意图；
图3是本申请实施例提供的基于大数据的另一种任务分析过程的过程示意图；
图4是本申请实施例提供的基于大数据的一种任务分析场景的场景示意图；
图5是本申请实施例提供的另一种数据驱动的大数据分析方法的流程示意图；
图6是本申请实施例提供的一种数据驱动的大数据分析装置的装置示意图；
图7是本申请实施例提供的一种终端的结构示意图。
具体实施方式
以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
到目前为止，对于需求驱动的数据分析方法中，通过定义相对固定的需要来进行任务分析，由于在大数据背景下很难感知数据的全貌特征，使得大数据分析任务具有很强的不确定性，从而降低了任务分析效率。为此，本申请提供了一种数据驱动的大数据分析方法、系统、装置、存储介质及终端，以解决上述相关技术问题中存在的问题。本申请提供的技术方案中，将传统大数据分析流程进行抽象和分层解耦，以实现大数据分析架构的高复用性和高可扩展性，从而提高了任务分析效率，下面采用示例性的实施例进行详细说明。
下面将结合附图1-附图5，对本申请实施例提供的数据驱动的大数据分析方法进行详细介绍。该方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的数据驱动的大数据分析装置上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。其中，本申请实施例中的数据驱动的大数据分析装置可以为用户终端，包括但不限于：个人电脑、平板电脑、手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备等。在不同的网络中用户终端可以叫做不同的名称，例如：用户设备、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置、蜂窝电话、无绳电话、个人数字处理(personal digitalassistant，PDA)、5G网络或未来演进网络中的终端设备等。
请参见图1，为本申请实施例提供了一种基于数据驱动的大数据分析方法的流程示意图。如图1所示，本申请实施例的所述方法可以包括以下步骤：
S101，获取大数据分析任务；
其中，结合大数据分析任务的业务场景，从任务执行的复用性角度，大数据分析任务可以分为常规分析任务和临时分析任务。常规分析任务在输入数据的空间、内容定义、业务逻辑和可视化方法上均保持一致，只有时间定义存在差异。临时分析任务则可以体现在不同的输入数据时间定义、空间定义、内容定义、业务逻辑定义以及可视化方法定义。
首先以数据驱动为基础理念，构建大数据分析架构。本申请将大数据分析架构自底向上抽象为5个层次，分别为数据层、业务层、可视化层、子任务层和任务层。数据层将大数据分析子任务集合中各子任务的数据需求抽象为单个独立的数据实体，作为业务层模块的输入；业务层将大数据分析子任务集合中各子任务的统计和计算逻辑抽象为单个独立的业务逻辑实体，作为可视化层模块的输入；可视化层用于将大数据分析子任务集合中各子任务的可视化需求抽象为单个独立的可视化方法实体，作为上层子任务模块的表达方式；子任务层用于定义至少一个数据实体，以所述数据实体为输入定义至少一个业务功能实体，以所述业务功能实体的统计结果为输入定义至少一种可视化方法，并选取其中的可视化结果作为子任务的结果输出；任务层模块将大数据分析任务抽象为一个任务实体，所述任务实体由多个子任务构成，即每个大数据分析任务均有多个可视化结果构成。
在一种可能的实现方式中，当大数据分析架构创建后，可基于该大数据分析架构进行任务分析，在任务分析时，首先需要获取大数据分析任务。
S102，将所述大数据分析任务进行拆解，生成分析子任务集合；
其中，分析子任务集合中包含多个分析子任务，所述多个分析子任务是将大数据任务进行拆分后生成的。
在本申请实施例中，对于一个给定的大数据分析任务而言，可以将该大数据分析任务拆解成若干个分析子任务，每个分析子任务又对应各自的数据需求、业务需求和可视化需求。数据需求又可以分为时间需求、空间需求和数据内容需求。
具体的，各分析子任务之间可能共享数据需求、业务需求和可视化需求，从系统解耦和数据、业务和可视化功能模块泛化的角度，可以将图2演进为图3所示的分层功能结构图。在图3的分层架构下，一个数据实体可以同时作为多个业务逻辑的输入，一个业务逻辑统计的结果可以由多种可视化方法进行呈现。通过数据驱动的分层抽象，使大数据任务能够被拆解成多层次的、松耦合的子任务，从而增强大数据系统的业务泛化能力。
S103，基于所述子任务集合中各子任务加载预设微服务模型进行处理，生成任务分析结果；
其中，微服务模型是业务层借助面向服务的架构(Serviced-OrientedArchitecture，简称SOA)，利用该架构的思想创建生成的微服务模型。任务分析结果是通过加载预先创建的微服务模型进行数据处理生成的。
通常，传统软件采用单体架构，单体架构的思想是将所有的模块全都耦合在一起处理业务逻辑，这种方式代码量大，维护困难。在本发明中，业务层借用“微服务”的形式来实现，其中微服务每个模块就相当于一个单独的项目，代码量明显减少，遇到问题也相对来说比较好解决。
在微服务的系统中，不同编程语言编写的服务基于Restful架构风格统一成完整的系统。当实现微服务时，系统还需要提供一套基础的架构，这种架构使微服务可以独立的部署、运行、升级。不仅如此，系统架构还可以使微服务与微服务之间在结构上“松耦合”，而在功能上则表现为一个统一的整体。这种所谓的“统一的整体”表现出来的是统一风格的界面，统一的权限管理，统一的安全策略，统一的上线过程，统一的日志和审计方法，统一的调度方式，统一的访问入口等等。在同一个分析任务中加载的微服务，其输入参数在一定程度上具有相通性，例如大数据分析数据范围的时空定义等，因此，需要定义平台级的参数管理模块，对于相同含义的微服务参数实现一次配置，多处使用，提高配置的效率和一致性。
在一种可能的实现方式中，当微服务模型创建生成后，可获取各子任务对应的数据实体，然后将数据实体输入到加载的微服务模型中进行处理，最后生成处理后的分析结果。
例如，以交通大数据分析场景为例，微服务模型可以实现业务统计模型，如流量统计业务、拥堵排名统计业务等；还可以实现通用算法供其他微服务调用，如回归算法、预测算法等；也可以通过微服务组合形成更强大的业务如绕行路线生成、交通流仿真等。
S104，将所述任务分析结果输入预先定义的任务模板中进行填充，生成分析报告和/或动静态网页。
其中，任务分析结果是可视化成果物，可视化成果物的类型包括数值类型、数据列表类型、统计图表类型、文字类型、截图类型、图片类型以及视频类型。任务模板是提前定义的，是任务分析结果的载体，任务模板包括分析研判报告模板和网页模板。分析报告和/或动静态网页是通过任务模板将任务分析结果进行填充生成的一种成果物。
通常，数值类型包括整形、浮点型等数值，例如统计一条高速在某个时段的流量值、某条路段的平均速度值等。数据列表类型以表格形态表达的二维结构化数据，例如将某一省份所有地级市的流量情况以列表形式给出。统计图表类型包括折线图、饼图、柱状图等，例如将某一省份所有地级市的流量分布占比用饼图表达。文字描述是自动生成的文字性叙述。GIS截图是在地图上标记相关位置，方便用户查看，例如将某一省份流量最大的10个收费站的位置标记到地图上。图片和视频例如，系统自动调阅事故现场的视频或图像信息，这些信息如果插入到成果物中，将显著提升成果物内容的可读性和丰富程度。
在一种可行的实现方式中，可视化效果与统计业务逻辑是强相关的，因此可视化效果集成到微服务模型中进行实现。当微服务完成相应的业务统计逻辑后，按照设定的一种或多种可视化形态，输出业务统计结果的可视化效果，最后将可视化效果填充到预先定义的任务模板中进行填充，最后生成分析报告和/或动静态网页。
在本申请实施例中，对于给定的一个大数据分析任务，首先定义分析研判报告模板和网页模板，然后根据大数据分析任务中的分析子任务加载微服务的动态可视化效果，最后将动态可视化效果填充到预先定义的模板中，自动生成研判分析报告和对应的网页内容，提供给用户进行浏览和下载，从而实现了大数据分析成果的“一键生成”。上述模板可以被无限次复用，以及根据需要不断增加和优化模板内容，则较好地满足了大数据分析业务的不确定性和迭代演化的需求。
例如图4所示，以交通大数据分析业务为例的交通大数据分析平台架构。在该分析平台架构中进行任务分析时，交通大数据分析任务包括交通流量分析、阻断事件分析、运行态势分析、综合运行指标分析、重大事故分析和灾毁分析等。当对上述任务进行分析时，首先通过交通大数据平台进行监测和数据采集，然后加载微服务模型进行处理后生成可视化成果物，然后将可视化成果与填充至预先设定的任务模板中，生成报告/网页提供用户浏览和下载。
在本申请实施例中，用户终端首先获取大数据分析任务，再将所述大数据分析任务进行拆解，生成分析子任务集合，然后基于所述子任务集合中各子任务加载预设微服务模型进行处理，生成任务分析结果，最后将所述任务分析结果输入预先定义的任务模板中进行填充，生成分析报告和/或动静态网页。本申请将传统大数据分析流程进行抽象和分层解耦，以实现大数据分析架构的高复用性和高可扩展性，从而提高了任务分析效率。
请参见图5，为本申请实施例提供的一种数据安全存储方法的流程示意图。本实施例以数据安全存储方法应用于用户终端中来举例说明。该数据安全存储方法可以包括以下步骤：
S201，获取大数据分析任务；
S202，将所述大数据分析任务进行拆解，生成分析子任务集合；
S203，基于所述子任务集合中各子任务定义模板，生成任务模板，所述任务模板包括分析研判报告模板和网页模板；
S204，将所述任务模板确定为预先定义的任务模板；
S205，获取所述子任务集合中各子任务对应的数据实体；
通常，数据实体来自数据层，在数据开发中，核心数据模型的变化是相对缓慢的，同时对数据进行维护的工作量也非常大，由于业务创新的速度、对数据提出的需求的变化非常快速，因此本申请数据层借用“数据中台”来实现，数据中台是为了弥补数据开发和应用开发之间，由于开发速度不匹配，出现的响应力跟不上的问题。数据中台是聚合和治理跨域数据，将数据抽象封装成服务，提供给前台以业务价值的逻辑概念。
数据中台将业务数据进行统一接入、统一治理、融合打通和指标提取后，再按照标准定义的时间和空间粒度，结构化存储在统一数仓内，对外以标准接口的方式，向上层业务提供各维度、各粒度的业务数据指标。
以交通大数据分析场景为例，数据中台覆盖的业务数据包括但不限于：实时路况数据、阻断事件数据、交通天气数据、视频和图像数据、宏观指数数据、交通流量数据等。上述数据以规范的接口形式向外提供，并对上层业务屏蔽了数据的融合、治理、运营和运维过程。
S206，将所述数据实体输入加载的预设微服务模型中进行处理，生成任务分析结果；
S207，将所述任务分析结果输入预先定义的任务模板中进行填充，生成分析报告和/或动静态网页；
S208，当接收到针对客户端输入的下载指令时，获取保存路径；
S209，基于所述保存路径将所述分析报告保存至客户端。
在本申请实施例中，用户终端首先获取大数据分析任务，再将所述大数据分析任务进行拆解，生成分析子任务集合，然后基于所述子任务集合中各子任务加载预设微服务模型进行处理，生成任务分析结果，最后将所述任务分析结果输入预先定义的任务模板中进行填充，生成分析报告和/或动静态网页。本申请针对大数据分析任务需求不确定性强的典型特征，以数据驱动为基础，对传统数据分析流程进行抽象和分层解耦，不断提升数据、业务和可视化的泛化能力，以实现大数据分析架构的高复用性和高可扩展性，从而提高任务分析效率和灵活性。
下述为本发明系统实施例。对于本发明系统实施例中未披露的细节，请参照本发明方法实施例。
该数据驱动的大数据分析系统可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该系统包括数据层模块、业务层模块、可视化层模块、子任务层模块和任务层模块。
数据层模块，用于将大数据分析子任务集合中各子任务的数据需求抽象为单个独立的数据实体，作为业务层模块的输入；
业务层模块，用于将大数据分析子任务集合中各子任务的统计和计算逻辑抽象为单个独立的业务逻辑实体，作为可视化层模块的输入；
可视化层模块，用于将大数据分析子任务集合中各子任务的可视化需求抽象为单个独立的可视化方法实体，作为上层子任务模块的表达方式；
子任务层模块，用于定义至少一个数据实体，以所述数据实体为输入定义至少一个业务功能实体，以所述业务功能实体的统计结果为输入定义至少一种可视化方法，并选取其中的可视化结果作为子任务的结果输出；
任务层模块，用于将大数据分析任务抽象为一个任务实体，所述任务实体由多个子任务构成，即每个大数据分析任务均有多个可视化结果构成。
在本申请实施例中，用户终端首先获取大数据分析任务，再将所述大数据分析任务进行拆解，生成分析子任务集合，然后基于所述子任务集合中各子任务加载预设微服务模型进行处理，生成任务分析结果，最后将所述任务分析结果输入预先定义的任务模板中进行填充，生成分析报告和/或动静态网页。本申请针对大数据分析任务需求不确定性强的典型特征，以数据驱动为基础，对传统数据分析流程进行抽象和分层解耦，不断提升数据、业务和可视化的泛化能力，以实现大数据分析架构的高复用性和高可扩展性，从而提高任务分析效率和灵活性。
下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。
请参见图6，其示出了本发明一个示例性实施例提供的数据驱动的大数据分析装置的结构示意图。该数据驱动的大数据分析装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该装置1包括任务获取模块10、集合生成模块20、结果生成模块30和报告生成模块40。
任务获取模块10，用于获取大数据分析任务；
集合生成模块20，用于将所述大数据分析任务进行拆解，生成分析子任务集合；
结果生成模块30，用于基于所述子任务集合中各子任务加载预设微服务模型进行处理，生成任务分析结果；
成果物生成模块40，用于将所述任务分析结果输入预先定义的任务模板中进行填充，生成分析报告。
需要说明的是，上述实施例提供的数据驱动的大数据分析装置在执行数据驱动的大数据分析方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的数据驱动的大数据分析装置与数据驱动的大数据分析方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请实施例中，用户终端首先获取大数据分析任务，再将所述大数据分析任务进行拆解，生成分析子任务集合，然后基于所述子任务集合中各子任务加载预设微服务模型进行处理，生成任务分析结果，最后将所述任务分析结果输入预先定义的任务模板中进行填充，生成分析报告和/或动静态网页。本申请针对大数据分析任务需求不确定性强的典型特征，以数据驱动为基础，对传统数据分析流程进行抽象和分层解耦，不断提升数据、业务和可视化的泛化能力，以实现大数据分析架构的高复用性和高可扩展性，从而提高任务分析效率和灵活性。
本发明还提供一种计算机可读介质，其上存储有程序指令，该程序指令被处理器执行时实现上述各个方法实施例提供的数据驱动的大数据分析方法。本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各个方法实施例所述的数据驱动的大数据分析方法。
请参见图7，为本申请实施例提供了一种终端的结构示意图。如图7所示，所述终端1000可以包括：至少一个处理器1001，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。
其中，通信总线1002用于实现这些组件之间的连接通信。
其中，用户接口1003可以包括显示屏(Display)、摄像头(Camera)，可选用户接口1003还可以包括标准的有线接口、无线接口。
其中，网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中，处理器1001可以包括一个或者多个处理核心。处理器1001利用各种借口和线路连接整个电子设备1000内的各个部分，通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集，以及调用存储在存储器1005内的数据，执行电子设备1000的各种功能和处理数据。可选的，处理器1001可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1001可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1001中，单独通过一块芯片进行实现。
其中，存储器1005可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器1005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图7所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及数据驱动的大数据分析应用程序。
在图7所示的终端1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储的数据驱动的大数据分析应用程序，并具体执行以下操作：
获取大数据分析任务；
将所述大数据分析任务进行拆解，生成分析子任务集合；
基于所述子任务集合中各子任务加载预设微服务模型进行处理，生成任务分析结果；
将所述任务分析结果输入预先定义的任务模板中进行填充，生成分析报告和/或动静态网页。
在一个实施例中，所述处理器1001在执行所述将所述可视化成果物输入预先定义的任务模板中进行填充，生成分析报告之后时，还执行以下操作：
当接收到针对客户端输入的下载指令时，获取保存路径；
基于所述保存路径将所述分析报告保存至客户端。
在一个实施例中，所述处理器1001在执行所述将所述大数据分析任务进行拆解，生成分析子任务集合之后时，还执行以下操作：
基于所述子任务集合中各子任务定义模板，生成任务模板，所述任务模板包括分析研判报告模板和网页模板；
将所述任务模板确定为预先定义的任务模板。
在一个实施例中，所述处理器1001在执行所述基于所述子任务集合中各子任务加载预设微服务模型进行处理，生成任务分析结果时，具体执行以下操作：
获取所述子任务集合中各子任务对应的数据实体；
将所述数据实体输入加载的预设微服务模型中进行处理，生成任务分析结果。
在本申请实施例中，用户终端首先获取大数据分析任务，再将所述大数据分析任务进行拆解，生成分析子任务集合，然后基于所述子任务集合中各子任务加载预设微服务模型进行处理，生成任务分析结果，最后将所述任务分析结果输入预先定义的任务模板中进行填充，生成分析报告和/或动静态网页。本申请针对大数据分析任务需求不确定性强的典型特征，以数据驱动为基础，对传统数据分析流程进行抽象和分层解耦，不断提升数据、业务和可视化的泛化能力，以实现大数据分析架构的高复用性和高可扩展性，从而提高任务分析效率和灵活性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。
Claims (10)
1.一种数据驱动的大数据分析方法，其特征在于，所述方法包括：
获取大数据分析任务；
将所述大数据分析任务进行拆解，生成分析子任务集合；
基于所述子任务集合中各子任务加载预设微服务模型进行处理，生成任务分析结果；
将所述任务分析结果输入预先定义的任务模板中进行填充，生成分析报告和/或动静态网页。
2.根据权利要求1所述的方法，其特征在于，所述将所述可视化成果物输入预先定义的任务模板中进行填充，生成分析报告之后，还包括：
当接收到针对客户端输入的下载指令时，获取保存路径；
基于所述保存路径将所述分析报告保存至客户端。
3.根据权利要求1所述的方法，其特征在于，所述将所述大数据分析任务进行拆解，生成分析子任务集合之后，还包括：
基于所述子任务集合中各子任务定义模板，生成任务模板，所述任务模板包括分析研判报告模板和网页模板；
将所述任务模板确定为预先定义的任务模板。
4.根据权利要求1所述的方法，其特征在于，所述基于所述子任务集合中各子任务加载预设微服务模型进行处理，生成任务分析结果，包括：
获取所述子任务集合中各子任务对应的数据实体；
将所述数据实体输入加载的预设微服务模型中进行处理，生成任务分析结果。
5.根据权利要求1所述的方法，其特征在于，所述任务分析结果的类型包括数值类型、数据列表类型、统计图表类型、文字类型、截图类型、图片类型以及视频类型。
6.根据权利要求1所述的方法，其特征在于，所述任务分析结果的载体至少包括报告和网页。
7.一种数据驱动的大数据分析系统，其特征在于，所述系统包括：
数据层模块，用于将大数据分析子任务集合中各子任务的数据需求抽象为单个独立的数据实体，作为业务层模块的输入；
业务层模块，用于将大数据分析子任务集合中各子任务的统计和计算逻辑抽象为单个独立的业务逻辑实体，作为可视化层模块的输入；
可视化层模块，用于将大数据分析子任务集合中各子任务的可视化需求抽象为单个独立的可视化方法实体，作为上层子任务模块的表达方式；
子任务层模块，用于定义至少一个数据实体，以所述数据实体为输入定义至少一个业务功能实体，以所述业务功能实体的统计结果为输入定义至少一种可视化方法，并选取其中的可视化结果作为子任务的结果输出；
任务层模块，用于将大数据分析任务抽象为一个任务实体，所述任务实体由多个子任务构成，即每个大数据分析任务均有多个可视化结果构成。
8.一种数据驱动的大数据分析装置，其特征在于，所述装置包括：
任务获取模块，用于获取大数据分析任务；
集合生成模块，用于将所述大数据分析任务进行拆解，生成分析子任务集合；
结果生成模块，用于基于所述子任务集合中各子任务加载预设微服务模型进行处理，生成任务分析结果；
成果物生成模块，用于将所述任务分析结果输入预先定义的任务模板中进行填充，生成分析报告和/或动静态网页。
9.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1～6任意一项的方法步骤。
10.一种终端，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1～6任意一项的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010181793.7A CN111581932A (zh) | 2020-03-16 | 2020-03-16 | 一种数据驱动的大数据分析方法、系统、装置、存储介质及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010181793.7A CN111581932A (zh) | 2020-03-16 | 2020-03-16 | 一种数据驱动的大数据分析方法、系统、装置、存储介质及终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111581932A true CN111581932A (zh) | 2020-08-25 |
Family
ID=72122538
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010181793.7A Pending CN111581932A (zh) | 2020-03-16 | 2020-03-16 | 一种数据驱动的大数据分析方法、系统、装置、存储介质及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111581932A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112711471A (zh) * | 2020-12-31 | 2021-04-27 | 中移（杭州）信息技术有限公司 | 大数据任务的执行方法和装置、服务器及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140032276A1 (en) * | 2012-07-30 | 2014-01-30 | International Business Machines Corporation | Method And Apparatus For Assessing Layered Architecture Principles Compliance For Business Analytics In Traditional And SOA Based Environments |
| CN107577805A (zh) * | 2017-09-26 | 2018-01-12 | 华南理工大学 | 一种面向日志大数据分析的业务服务系统 |
| CN109726009A (zh) * | 2018-05-31 | 2019-05-07 | 中国平安人寿保险股份有限公司 | 大数据计算方法、装置、设备及计算机可读存储介质 |
| CN110086853A (zh) * | 2019-03-28 | 2019-08-02 | 浙江明度智控科技有限公司 | 一种工业物联网信息可视化方法、服务器和存储介质 |
| CN110413822A (zh) * | 2019-06-19 | 2019-11-05 | 北京旷视科技有限公司 | 离线图像结构化分析方法、装置、系统和存储介质 |
| CN110838001A (zh) * | 2019-10-22 | 2020-02-25 | 岭澳核电有限公司 | 核电站的样品分析方法及核电站的样品分析系统 |
-
2020
- 2020-03-16 CN CN202010181793.7A patent/CN111581932A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140032276A1 (en) * | 2012-07-30 | 2014-01-30 | International Business Machines Corporation | Method And Apparatus For Assessing Layered Architecture Principles Compliance For Business Analytics In Traditional And SOA Based Environments |
| CN107577805A (zh) * | 2017-09-26 | 2018-01-12 | 华南理工大学 | 一种面向日志大数据分析的业务服务系统 |
| CN109726009A (zh) * | 2018-05-31 | 2019-05-07 | 中国平安人寿保险股份有限公司 | 大数据计算方法、装置、设备及计算机可读存储介质 |
| CN110086853A (zh) * | 2019-03-28 | 2019-08-02 | 浙江明度智控科技有限公司 | 一种工业物联网信息可视化方法、服务器和存储介质 |
| CN110413822A (zh) * | 2019-06-19 | 2019-11-05 | 北京旷视科技有限公司 | 离线图像结构化分析方法、装置、系统和存储介质 |
| CN110838001A (zh) * | 2019-10-22 | 2020-02-25 | 岭澳核电有限公司 | 核电站的样品分析方法及核电站的样品分析系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112711471A (zh) * | 2020-12-31 | 2021-04-27 | 中移（杭州）信息技术有限公司 | 大数据任务的执行方法和装置、服务器及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2021119463A (ja) | ナレッジグラフの生成方法、関係マイニング方法、装置、機器及び媒体 | |
| US10515119B2 (en) | Sequential recommender system for virtualized network services | |
| CN111143039A (zh) | 一种虚拟机的调度方法、装置及计算机存储介质 | |
| US11586695B2 (en) | Iterating between a graphical user interface and plain-text code for data visualization | |
| CN113268260A (zh) | 用于web前端的路由方法及装置 | |
| CN113807926A (zh) | 推荐信息生成方法、装置、电子设备和计算机可读介质 | |
| CN115982491A (zh) | 页面更新方法及装置、电子设备和计算机可读存储介质 | |
| CN115049068A (zh) | 一种模型处理方法、装置、存储介质及电子设备 | |
| CN111581932A (zh) | 一种数据驱动的大数据分析方法、系统、装置、存储介质及终端 | |
| CN113553123A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN115809056B (zh) | 组件复用实现方法、装置和终端设备、可读存储介质 | |
| CN113901315B (zh) | 一种数据服务方法、装置及相关产品 | |
| CN115311399A (zh) | 图像渲染方法、装置、电子设备以及存储介质 | |
| CN113591448B (zh) | 报表生成方法、装置及存储介质 | |
| CN116775174A (zh) | 一种基于用户界面框架的处理方法、装置、设备及介质 | |
| US11392424B2 (en) | Method and device for aiding decision-making for the allocation of computing means on a high performance computing infrastructure | |
| CN111008178A (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
| CN112346728B (zh) | 设备适配方法、装置、设备和计算机可读介质 | |
| CN112084003B (zh) | 一种隔离数据的方法、装置、介质和电子设备 | |
| CN113687870B (zh) | 终端运行优化方法、装置、存储介质以及终端 | |
| US20220391808A1 (en) | Data processing method, electronic device and storage medium | |
| CN116069227A (zh) | 一种界面交互方法、装置、设备及存储介质 | |
| CN117236875A (zh) | 信息处理方法、装置和电子设备 | |
| CN114118045A (zh) | 报表取数方法、装置、存储介质及计算机设备 | |
| CN115964024A (zh) | 一种组件处理方法、调用方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |