CN113434568A - 一种多源数据处理方法、装置、智能终端及存储介质 - Google Patents
一种多源数据处理方法、装置、智能终端及存储介质 Download PDFInfo
- Publication number
- CN113434568A CN113434568A CN202110608639.8A CN202110608639A CN113434568A CN 113434568 A CN113434568 A CN 113434568A CN 202110608639 A CN202110608639 A CN 202110608639A CN 113434568 A CN113434568 A CN 113434568A
- Authority
- CN
- China
- Prior art keywords
- data
- target
- chart
- source data
- source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 230000004931 aggregating effect Effects 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims description 25
- 238000004891 communication Methods 0.000 claims description 20
- 238000000034 method Methods 0.000 claims description 20
- 238000010586 diagram Methods 0.000 claims description 18
- 230000002776 aggregation Effects 0.000 claims description 17
- 238000004220 aggregation Methods 0.000 claims description 17
- 230000009286 beneficial effect Effects 0.000 abstract description 6
- 238000007405 data analysis Methods 0.000 abstract description 6
- 238000004458 analytical method Methods 0.000 description 19
- 230000008859 change Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000006116 polymerization reaction Methods 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Fuzzy Systems (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种多源数据处理方法、装置、智能终端及存储介质，其中，上述多源数据处理方法包括：获取多源数据；对上述多源数据进行聚合，获得目标数据；基于上述目标数据获取目标图表类型；基于上述目标数据和上述目标图表类型生成目标图表；输出上述目标图表。与现有技术中直接将多个来源的数据发送给用户的方案相比，本发明方案在获取多源数据后对多源数据进行聚合，基于聚合后的目标数据生成对应的目标图表并输出，从而使输出的数据指标及数据趋势更明晰，有利于对数据进行直观分析，提高数据化分析、判断和决策的效率。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及的是一种多源数据处理方法、装置、智能终端及存储介质。
背景技术
随着科学技术的飞速进步，尤其是大数据时代的到来，数据化决策越来越普遍，对于数据的处理也越来越重要。在进行数据化决策时，通常需要根据多个来源的数据来进行综合分析和判断，从而进行决策。
现有技术中，通常收集多个来源的数据，并将其发送给用户(如决策者或执行者)，使用户可以综合多个来源的数据进行分析和判断。现有技术的问题在于，多个来源的数据通常具有不同的维度，直接将多个来源的数据发送给用户时，数据指标及数据趋势不明晰，不方便用户直观分析，用户难以直接进行分析和判断，需要较长的时间来进行数据化分析、判断和决策，影响用户进行数据化分析、判断和决策的效率。
因此，现有技术还有待改进和发展。
发明内容
本发明的主要目的在于提供一种多源数据处理方法、装置、智能终端及存储介质，旨在解决现有技术中直接将多个来源的数据发送给用户时，数据指标及数据趋势不明晰，不方便进行直观分析的问题。
为了实现上述目的，本发明第一方面提供一种多源数据处理方法，其中，上述方法包括：
获取多源数据；
对上述多源数据进行聚合，获得目标数据；
基于上述目标数据获取目标图表类型；
基于上述目标数据和上述目标图表类型生成目标图表；
输出上述目标图表。
可选的，上述获取多源数据，包括：
获取目标数据源，其中，上述目标数据源包括离线文件、大数据数仓、业务后台和预设的数据接口中的至少两个数据源；
获取上述目标数据源中的数据，作为上述多源数据。
可选的，上述对上述多源数据进行聚合，获得目标数据，包括：
对上述多源数据进行聚合统计，获得基于上述多源数据的统计信息，作为上述目标数据，其中，上述目标数据包括关键字和上述关键字对应的数据值。
可选的，上述基于上述目标数据获取目标图表类型，包括：
获取上述目标数据的关键字；
基于上述关键字获取上述目标图表类型。
可选的，上述目标图表类型包括柱形图、折线图、饼图或圆环图。
可选的，上述基于上述目标数据和上述目标图表类型生成目标图表，包括：
将上述关键字和上述数据值作为图表参数，基于上述目标图表类型生成目标图表。
可选的，上述输出上述目标图表，包括：
获取目标对象以及与上述目标对象对应的通讯工具；
通过上述通讯工具将上述目标图表发送给上述目标对象。
本发明第二方面提供一种多源数据处理装置，其中，上述装置包括：
多源数据获取模块，用于获取多源数据；
数据聚合模块，用于对上述多源数据进行聚合，获得目标数据；
图表类型获取模块，用于基于上述目标数据获取目标图表类型；
图表生成模块，用于基于上述目标数据和上述目标图表类型生成目标图表；
输出模块，用于输出上述目标图表。
本发明第三方面提供一种智能终端，上述智能终端包括存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的多源数据处理程序，上述多源数据处理程序被上述处理器执行时实现任意一项上述多源数据处理方法的步骤。
本发明第四方面提供一种计算机可读存储介质，上述计算机可读存储介质上存储有多源数据处理程序，上述多源数据处理程序被处理器执行时实现任意一项上述多源数据处理方法的步骤。
由上可见，本发明方案获取多源数据；对上述多源数据进行聚合，获得目标数据；基于上述目标数据获取目标图表类型；基于上述目标数据和上述目标图表类型生成目标图表；输出上述目标图表。与现有技术中直接将多个来源的数据发送给用户的方案相比，本发明方案在获取多源数据后对多源数据进行聚合，基于聚合后的目标数据生成对应的目标图表并输出，从而使输出的数据指标及数据趋势更明晰，有利于对数据进行直观分析，提高数据化分析、判断和决策的效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例提供的一种多源数据处理方法的流程示意图；
图2是本发明实施例图1中步骤S100的具体流程示意图；
图3是本发明实施例图1中步骤S300的具体流程示意图；
图4是本发明实施例图1中步骤S500的具体流程示意图；
图5是本发明实施例提供的一种多源数据处理装置的结构示意图；
图6是本发明实施例提供的一种多源数据处理框架示意图；
图7是本发明实施例提供的一种智能终端的内部结构原理框图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况下，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当…时”或“一旦”或“响应于确定”或“响应于检测到”。类似的，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述的条件或事件]”或“响应于检测到[所描述条件或事件]”。
下面结合本发明实施例的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其它不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
在当代社会，随着科学技术的飞速进步，尤其是大数据时代的到来，生活和工作中的方方面面都在产生大量数据，数据化决策越来越普遍，每一条关键信息都可能改变事情发展走向，因此对于数据的处理也越来越重要。因此在保证数据源多样性的同时及时、高效地将关键指标数据通知到决策者和执行者成为了一个关键问题。在进行数据化决策时，通常需要根据多个来源的数据来进行综合分析和判断，从而进行决策。
现有技术中，通常收集多个来源的数据，并将其发送给用户(如决策者或执行者)，使用户可以综合多个来源的数据进行分析和判断。现有技术的问题在于，多个来源的数据通常具有不同的维度，直接将多个来源的数据发送给用户时，数据指标及数据趋势不明晰，不方便用户直观分析，用户难以直接进行分析和判断，需要较长的时间来进行数据化分析、判断和决策，影响用户进行数据化分析、判断和决策的效率。例如，如果将两条数据直接展示给决策者，他需要在头脑中构建一个变化图表来分析未来趋势，从而进行决策，但决策者自行构建图表耗时较长且难度较大，不利于进行快速分析和决策，影响数据化分析、判断和决策的效率。
为了解决现有技术的问题，本发明实施例提供一种多源数据处理方法，在本发明实施例中，获取多源数据；对上述多源数据进行聚合，获得目标数据；基于上述目标数据获取目标图表类型；基于上述目标数据和上述目标图表类型生成目标图表；输出上述目标图表。与现有技术中直接将多个来源的数据发送给用户的方案相比，本发明方案在获取多源数据后对多源数据进行聚合，基于聚合后的目标数据生成对应的目标图表并输出，从而使输出的数据指标及数据趋势更明晰，有利于对数据进行直观分析，提高数据化分析、判断和决策的效率。
示例性方法
如图1所示，本发明实施例提供一种多源数据处理方法，具体的，上述方法包括如下步骤：
步骤S100，获取多源数据。
其中，上述多源数据是需要用于进行分析和决策的数据，上述多源数据中包括从多个数据源获取的数据。
步骤S200，对上述多源数据进行聚合，获得目标数据。
其中，上述目标数据是可以用于直接生成图表从而供用户进行数据化决策的数据。具体的，因为需要将生成的图表输出给用户进行数据化决策，所以目标数据应该是高聚合度的统计信息对应的数据，且符合图表所需格式，从而可以生成对应的图表。
步骤S300，基于上述目标数据获取目标图表类型。
具体的，上述目标图表类型是需要向用户输出的图表的类型。对于不同的数据，将其进行直观的展示时，有不同的适合展示的形式。而通过图表进行展示时，对应的也有不同的适合的图表类型，因此可以根据上述目标数据获取适合的目标图表类型。
步骤S400，基于上述目标数据和上述目标图表类型生成目标图表。
步骤S500，输出上述目标图表。
具体的，在获得上述目标图表后，可以将上述目标图表输出给用户(例如决策者或执行者)，从而使用户可以根据目标图表直接进行数据化决策。可选的，可以有多种输出上述目标图表的方式，例如，可以将上述目标图表进行打印输出，或者通过专门的软件进行显示输出等，在此不做具体限定。
由上可见，本发明实施例提供的多源数据处理方法获取多源数据；对上述多源数据进行聚合，获得目标数据；基于上述目标数据获取目标图表类型；基于上述目标数据和上述目标图表类型生成目标图表；输出上述目标图表。与现有技术中直接将多个来源的数据发送给用户的方案相比，本发明方案在获取多源数据后对多源数据进行聚合，基于聚合后的目标数据生成对应的目标图表并输出，从而使输出的数据指标及数据趋势更明晰，有利于对数据进行直观分析，提高数据化分析、判断和决策的效率。
具体的，本实施例中，如图2所示，上述步骤S100包括：
步骤S101，获取目标数据源，其中，上述目标数据源包括离线文件、大数据数仓、业务后台和预设的数据接口中的至少两个数据源。
步骤S102，获取上述目标数据源中的数据，作为上述多源数据。
可选的，可以预先设置目标数据源，也可以由用户输入或选择对应的目标数据源，还可以根据实际需求对上述目标数据源进行调整，在此不做具体限定。具体的，本实施例中，可以预先对离线文件、大数据数仓、预设的目标业务对应的业务后台、预设的数据接口等进行数据接入，通过对应的适配数据接口将数据汇集到统一的数据库中，从而获取不同数据源的数据，作为上述多源数据。本实施例中，使用Spark框架(Spark是一个用于大规模数据处理的统一分析引擎)获取上述多源数据，其中，上述预设的目标业务和预设的数据接口可以根据实际需求进行设置和调整，在此不做具体限定。可选的，在获取上述目标数据源中的数据时，可以实时获取，也可以基于预设的时间间隔获取，还可以由用户在需要时触发获取数据的操作。例如，可以在目标数据源中的数据有更新时实时获取更新后的多源数据，根据多源数据生成最新图表给用户进行决策，此时图表更新速度较快，要求对应的处理系统有较高的数据处理能力。也可以根据用户预先设置的时间间隔(例如每隔一天)获取多源数据，从而定时输出图表给用户进行分析和决策。还可以由用户在需要进行数据化决策时发出数据获取指令，只在用户需要时进行数据处理，有利于减少对应的处理系统的压力。
具体的，本实施例中，上述步骤S200包括：对上述多源数据进行聚合统计，获得基于上述多源数据的统计信息，作为上述目标数据，其中，上述目标数据包括关键字和上述关键字对应的数据值。
因为需要将生成的图表输出给用户进行数据化决策，所以目标数据应该是高聚合度的统计信息对应的数据，且符合图表所需格式，从而可以生成对应的图表。具体的，可以通过数据仓库技术(ETL，Extract-Transform-Load)进行高聚合操作，输出符合图表所需格式的目标数据。可选的，可以通过Spark、shell、Python等框架及语言将数据进行聚合统计。其中，上述符合图表所需的格式可以是key-value形式，即关键字和数据值对应的形式。可选的，上述目标数据可以是与企业的运营情况、部门核心指标、工程进度等相关的数据。具体的，上述目标数据中包括数据维度和数据值，数据维度以关键字的形式体现，上述目标数据中可以有多个数据维度，例如，可以包括时间、投入成本、产出比、增长率等多个数据维度及其对应的多组数据值。多个关键字之间可以存在对应关系，例如，投入成本、产出比、增长率可以都是随时间变化的数据。可选的，在对上述多源数据进行聚合统计时，如果有多组不同来源的数据中包括相同的数据维度时，可以基于该数据维度进行数据归一化，将该数据维度对应的单位和/或单位长度调整为一致，便于绘制图表。例如，来源于大数据数仓和业务后台的两组数据中都分别含有时间这一维度，则可以根据时间将两者的数据尺度调整为一致(例如，都调整为以一小时作为时间间隔)，从而便于对多源数据进行聚合统计，获得目标数据，便于绘制对应的数据图表。具体的，本实施例中，如图3所示，上述步骤S300包括：
步骤S301，获取上述目标数据的关键字。
步骤S302，基于上述关键字获取上述目标图表类型。
具体的，目标数据中的关键字体现了其数据维度，因此可以根据关键字获取需要生成的图表的类型，即目标图表类型。可选的，上述目标图表类型可以包括柱形图、折线图、饼图或圆环图，还可以包括预设的组合图表类型，例如将上述形图、折线图、饼图、圆环图、综合性文字描述或其它图表类型中的多者进行组合，获得对应的组合图表类型。将数据转换成直观形象进行展示时，不同的数据都有其适合的展示形式，例如，柱形图可以用于显示一段时间内的数据变化或显示各项之间的比较情况，折线图主要用于表达项目在时间维度上的增减变化趋势，饼图与圆环图用于体现各项目占整体的比例大小关系，而根据数据特性进行组合获得的混合图表可以针对对应的数据进行直观明确的表达。
可选的，用户可以预先设置某些关键字对应的目标图表类型，从而根据目标数据中的关键字获取对应的目标图表类型，例如，用户可以预设关键字中包括时间时，对应的目标图表类型为折线图。可选的，还可以预设包含多个具体关键字时对应的目标图表类型(包括具体的混合图表类型，例如折线图与柱形图混合)，或者预设关键字和/或数据来源对应的图表类型，从而根据关键字和/或数据来源确定目标图表类型，例如，某一数据来源的数据都适合以柱形图的形式进行展示时，可以预先设置该数据来源的数据对应的目标图表类型为柱形图。可选的，也可以在获得上述关键字之后，从云端查询获取对应的目标图表类型或者分析获得最佳的目标图表类型，在此不做具体限定。
具体的，本实施例中，上述步骤S400包括：将上述关键字和上述数据值作为图表参数，基于上述目标图表类型生成目标图表。
具体的，根据上述关键字和上述数据值生成与目标图表类型相对应的目标图表，从而为用户提供数据的直观展示，方便用户进行判断和决策。可选的，还可以在生成目标图表后对其进行排版调整，提高美观性和观看的便利性。本实施例中，可以使用Python的matplotlib库进行企业级图表生成，并对图表进行排版，实际使用过程中还可以有其它生成方式和调整方式，在此不做具体限定。其中，matplotlib是一个基于Python的综合库，用于在Python中创建静态、动画和交互式可视化图表。可选的，基于目标数据生成的目标图表中可以展示企业的运营情况、部门核心指标、工程进度等重要信息。
具体的，本实施例中，如图4所示，上述步骤S500包括：
步骤S501，获取目标对象以及与上述目标对象对应的通讯工具。
步骤S502，通过上述通讯工具将上述目标图表发送给上述目标对象。
其中，上述目标对象是需要获取对应的目标图表的用户，可以是需要根据上述多源数据进行数据化决策的决策者或者对应的执行者，还可以是其他用户，在此不做具体限定。上述目标对象对应的通讯工具可以是用户预先设置的通讯工具，例如社交软件、通讯软件、邮箱、预先设置的数据显示软件、对应的数据获取终端等工具中的一种或多种，用户可以根据实际需求进行设置和调整，在此不做具体限定。本实施例中，预设通讯工具为企业微信。
可选的，在生成上述目标图表之后，还可以将上述目标图表转换成图片格式并发送给目标对象，便于用户直接查看，而不需安装对应的图表查看软件。可选的，还可以为上述目标图表添加综合类文字描述，便于用户分析判断。本实施例中，上述通讯工具为即时通讯工具，上述目标对象可以为多个用户，从而通过API对指定人群播报即时生成的信息，以提高生产效率。
示例性设备
如图5中所示，对应于上述多源数据处理方法，本发明实施例还提供一种多源数据处理装置，上述多源数据处理装置包括：
多源数据获取模块610，用于获取多源数据。
其中，上述多源数据是需要用于进行分析和决策的数据，上述多源数据中包括从多个数据源获取的数据。
数据聚合模块620，用于对上述多源数据进行聚合，获得目标数据。
其中，上述目标数据是可以用于直接生成图表从而供用户进行数据化决策的数据。具体的，因为需要将生成的图表输出给用户进行数据化决策，所以目标数据应该是高聚合度的统计信息对应的数据，且符合图表所需格式，从而可以生成对应的图表。
图表类型获取模块630，用于基于上述目标数据获取目标图表类型。
具体的，上述目标图表类型是需要向用户输出的图表的类型。对于不同的数据，将其进行直观的展示时，有不同的适合展示的形式。而通过图表进行展示时，对应的也有不同的适合的图表类型，因此可以根据上述目标数据获取适合的目标图表类型。
图表生成模块640，用于基于上述目标数据和上述目标图表类型生成目标图表。
输出模块650，用于输出上述目标图表。
具体的，在获得上述目标图表后，可以将上述目标图表输出给用户(例如决策者或执行者)，从而使用户可以根据目标图表直接进行数据化决策。可选的，可以有多种输出上述目标图表的方式，例如，可以将上述目标图表进行打印输出，或者通过专门的软件进行显示输出等，在此不做具体限定。
由上可见，本发明实施例提供的多源数据处理装置通过多源数据获取模块610获取多源数据；通过数据聚合模块620对上述多源数据进行聚合，获得目标数据；通过图表类型获取模块630基于上述目标数据获取目标图表类型；通过图表生成模块640基于上述目标数据和上述目标图表类型生成目标图表；通过输出模块650输出上述目标图表。与现有技术中直接将多个来源的数据发送给用户的方案相比，本发明方案在获取多源数据后对多源数据进行聚合，基于聚合后的目标数据生成对应的目标图表并输出，从而使输出的数据指标及数据趋势更明晰，有利于对数据进行直观分析，提高数据化分析、判断和决策的效率。
具体的，本实施例中，上述多源数据获取模块610用于：获取目标数据源，其中，上述目标数据源包括离线文件、大数据数仓、业务后台和预设的数据接口中的至少两个数据源；获取上述目标数据源中的数据，作为上述多源数据。可选的，可以预先设置目标数据源，也可以由用户输入或选择对应的目标数据源，还可以根据实际需求对上述目标数据源进行调整，在此不做具体限定。具体的，本实施例中，可以预先对离线文件、大数据数仓、预设的目标业务对应的业务后台、预设的数据接口等进行数据接入，通过对应的适配数据接口将数据汇集到统一的数据库中，从而获取不同数据源的数据，作为上述多源数据。本实施例中，使用Spark框架获取上述多源数据，其中，上述预设的目标业务和预设的数据接口可以根据实际需求进行设置和调整，在此不做具体限定。可选的，在获取上述目标数据源中的数据时，可以实时获取，也可以基于预设的时间间隔获取，还可以由用户在需要时触发获取数据的操作。例如，可以在目标数据源中的数据有更新时实时获取更新后的多源数据，根据多源数据生成最新图表给用户进行决策，此时图表更新速度较快，要求对应的处理系统有较高的数据处理能力。也可以根据用户预先设置的时间间隔(例如每隔一天)获取多源数据，从而定时输出图表给用户进行分析和决策。还可以由用户在需要进行数据化决策时发出数据获取指令，只在用户需要时进行数据处理，有利于减少对应的处理装置的压力。
具体的，本实施例中，上述数据聚合模块620用于：对上述多源数据进行聚合统计，获得基于上述多源数据的统计信息，作为上述目标数据，其中，上述目标数据包括关键字和上述关键字对应的数据值。因为需要将生成的图表输出给用户进行数据化决策，所以目标数据应该是高聚合度的统计信息对应的数据，且符合图表所需格式，从而可以生成对应的图表。具体的，可以通过数据仓库技术(ETL，Extract-Transform-Load)进行高聚合操作，输出符合图表所需格式的目标数据。可选的，可以通过Spark、shell、Python等框架及语言将数据进行聚合统计。其中，上述符合图表所需的格式可以是key-value形式，即关键字和数据值对应的形式。可选的，上述目标数据可以是与企业的运营情况、部门核心指标、工程进度等相关的数据。具体的，上述目标数据中包括数据维度和数据值，数据维度以关键字的形式体现，上述目标数据中可以有多个数据维度，例如，可以包括时间、投入成本、产出比、增长率等多个数据维度及其对应的多组数据值。多个关键字之间可以存在对应关系，例如，投入成本、产出比、增长率可以都是随时间变化的数据。可选的，在对上述多源数据进行聚合统计时，如果有多组不同来源的数据中包括相同的数据维度时，可以基于该数据维度进行数据归一化，将该数据维度对应的单位和/或单位长度调整为一致，便于绘制图表。例如，来源于大数据数仓和业务后台的两组数据中都分别含有时间这一维度，则可以根据时间将两者的数据尺度调整为一致(例如，都调整为以一小时作为时间间隔)，从而便于对多源数据进行聚合统计，获得目标数据，便于绘制对应的数据图表。
具体的，本实施例中，上述图表类型获取模块630用于：获取上述目标数据的关键字；基于上述关键字获取上述目标图表类型。
具体的，目标数据中的关键字体现了其数据维度，因此可以根据关键字获取需要生成的图表的类型，即目标图表类型。可选的，上述目标图表类型可以包括柱形图、折线图、饼图或圆环图，还可以包括预设的组合图表类型，例如将上述形图、折线图、饼图、圆环图、综合性文字描述或其它图表类型中的多者进行组合，获得对应的组合图表类型。将数据转换成直观形象进行展示时，不同的数据都有其适合的展示形式，例如，柱形图可以用于显示一段时间内的数据变化或显示各项之间的比较情况，折线图主要用于表达项目在时间维度上的增减变化趋势，饼图与圆环图用于体现各项目占整体的比例大小关系，而根据数据特性进行组合获得的混合图表可以针对对应的数据进行直观明确的表达。
可选的，用户可以预先设置某些关键字对应的目标图表类型，从而根据目标数据中的关键字获取对应的目标图表类型，例如，用户可以预设关键字中包括时间时，对应的目标图表类型为折线图。可选的，还可以预设包含多个具体关键字时对应的目标图表类型(包括具体的混合图表类型，例如折线图与柱形图混合)，或者预设关键字和/或数据来源对应的图表类型，从而根据关键字和/或数据来源确定目标图表类型，例如，某一数据来源的数据都适合以柱形图的形式进行展示时，可以预先设置该数据来源的数据对应的目标图表类型为柱形图。可选的，也可以在获得上述关键字之后，从云端查询获取对应的目标图表类型或者分析获得最佳的目标图表类型，在此不做具体限定。
具体的，本实施例中，上述图表生成模块640用于：将上述关键字和上述数据值作为图表参数，基于上述目标图表类型生成目标图表。
具体的，根据上述关键字和上述数据值生成与目标图表类型相对应的目标图表，从而为用户提供数据的直观展示，方便用户进行判断和决策。可选的，还可以在生成目标图表后对其进行排版调整，提高美观性和观看的便利性。本实施例中，可以使用Python的matplotlib库进行企业级图表生成，并对图表进行排版，实际使用过程中还可以有其它生成方式和调整方式，在此不做具体限定。可选的，基于目标数据生成的目标图表中可以展示企业的运营情况、部门核心指标、工程进度等重要信息。
具体的，本实施例中，上述输出模块650用于：获取目标对象以及与上述目标对象对应的通讯工具；通过上述通讯工具将上述目标图表发送给上述目标对象。
其中，上述目标对象是需要获取对应的目标图表的用户，可以是需要根据上述多源数据进行数据化决策的决策者或者对应的执行者，还可以是其他用户，在此不做具体限定。上述目标对象对应的通讯工具可以是用户预先设置的通讯工具，例如社交软件、通讯软件、邮箱、预先设置的数据显示软件、对应的数据获取终端等工具中的一种或多种，用户可以根据实际需求进行设置和调整，在此不做具体限定。本实施例中，预设通讯工具为企业微信。
可选的，在上述图表生成模块640生成上述目标图表之后，上述输出模块650还可以用于将上述目标图表转换成图片格式并发送给目标对象，便于用户直接查看，而不需安装对应的图表查看软件。可选的，上述图表生成模块640还可以用于为上述目标图表添加综合类文字描述，便于用户分析判断。本实施例中，上述通讯工具为即时通讯工具，上述目标对象可以为多个用户，从而通过API对指定人群播报即时生成的信息，以提高生产效率。
图6是本发明实施例提供的一种多源数据处理框架示意图，如图6所示，在一种具体的应用场景中，播报应用从多数据源获取对应的多源数据，然后通过ETL进行数据处理，获取处理后的目标数据，通过目标数据即时生成具有数据特征的直观图表及描述，可用于描述企业运营情况、核心指标及工程进度，然后将对应的图表及描述发送到企业微信、邮箱等即时通讯工具，从而更高效的直接为决策者、执行者提供数据支撑。如此，可以将多维度的数据源进行整合，支持离线文件，大数据数仓，业务后台，接口等数据接入方式；直接生成对应图表或进一步处理生成图片，展示直观生动，让决策者、执行者直击问题，一针见血；最后通知及时，将关键指标信息以最直观的方式发送给用户，可以达到事半功倍的效果。
基于上述实施例，本发明还提供了一种智能终端，其原理框图可以如图7所示。上述智能终端包括通过系统总线连接的处理器、存储器、网络接口以及显示屏。其中，该智能终端的处理器用于提供计算和控制能力。该智能终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和多源数据处理程序。该内存储器为非易失性存储介质中的操作系统和多源数据处理程序的运行提供环境。该智能终端的网络接口用于与外部的终端通过网络连接通信。该多源数据处理程序被处理器执行时实现上述任意一种多源数据处理方法的步骤。该智能终端的显示屏可以是液晶显示屏或者电子墨水显示屏。
本领域技术人员可以理解，图7中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的智能终端的限定，具体的智能终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种智能终端，上述智能终端包括存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的多源数据处理程序，上述多源数据处理程序被上述处理器执行时进行以下操作指令：
获取多源数据；
对上述多源数据进行聚合，获得目标数据；
基于上述目标数据获取目标图表类型；
基于上述目标数据和上述目标图表类型生成目标图表；
输出上述目标图表。
本发明实施例还提供一种计算机可读存储介质，上述计算机可读存储介质上存储有多源数据处理程序，上述多源数据处理程序被处理器执行时实现本发明实施例提供的任意一种多源数据处理方法的步骤。
应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟是以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以由另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
上述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不是相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种多源数据处理方法，其特征在于，所述方法包括：
获取多源数据；
对所述多源数据进行聚合，获得目标数据；
基于所述目标数据获取目标图表类型；
基于所述目标数据和所述目标图表类型生成目标图表；
输出所述目标图表。
2.根据权利要求1所述的多源数据处理方法，其特征在于，所述获取多源数据，包括：
获取目标数据源，其中，所述目标数据源包括离线文件、大数据数仓、业务后台和预设的数据接口中的至少两个数据源；
获取所述目标数据源中的数据，作为所述多源数据。
3.根据权利要求1所述的多源数据处理方法，其特征在于，所述对所述多源数据进行聚合，获得目标数据，包括：
对所述多源数据进行聚合统计，获得基于所述多源数据的统计信息，作为所述目标数据，其中，所述目标数据包括关键字和所述关键字对应的数据值。
4.根据权利要求3所述的多源数据处理方法，其特征在于，所述基于所述目标数据获取目标图表类型，包括：
获取所述目标数据的关键字；
基于所述关键字获取所述目标图表类型。
5.根据权利要求4所述的多源数据处理方法，其特征在于，所述目标图表类型包括柱形图、折线图、饼图或圆环图。
6.根据权利要求3所述的多源数据处理方法，其特征在于，所述基于所述目标数据和所述目标图表类型生成目标图表，包括：
将所述关键字和所述数据值作为图表参数，基于所述目标图表类型生成目标图表。
7.根据权利要求1所述的多源数据处理方法，其特征在于，所述输出所述目标图表，包括：
获取目标对象以及与所述目标对象对应的通讯工具；
通过所述通讯工具将所述目标图表发送给所述目标对象。
8.一种多源数据处理装置，其特征在于，所述装置包括：
多源数据获取模块，用于获取多源数据；
数据聚合模块，用于对所述多源数据进行聚合，获得目标数据；
图表类型获取模块，用于基于所述目标数据获取目标图表类型；
图表生成模块，用于基于所述目标数据和所述目标图表类型生成目标图表；
输出模块，用于输出所述目标图表。
9.一种智能终端，其特征在于，所述智能终端包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的多源数据处理程序，所述多源数据处理程序被所述处理器执行时实现如权利要求1-7任意一项所述多源数据处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有多源数据处理程序，所述多源数据处理程序被处理器执行时实现如权利要求1-7任意一项所述多源数据处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110608639.8A CN113434568A (zh) | 2021-06-01 | 2021-06-01 | 一种多源数据处理方法、装置、智能终端及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110608639.8A CN113434568A (zh) | 2021-06-01 | 2021-06-01 | 一种多源数据处理方法、装置、智能终端及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113434568A true CN113434568A (zh) | 2021-09-24 |
Family
ID=77803376
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110608639.8A Pending CN113434568A (zh) | 2021-06-01 | 2021-06-01 | 一种多源数据处理方法、装置、智能终端及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113434568A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114978216A (zh) * | 2022-05-19 | 2022-08-30 | 泉州市拓科信息技术有限公司 | 一种基于物联网的多源数据处理系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110837545A (zh) * | 2019-11-13 | 2020-02-25 | 贵州医渡云技术有限公司 | 交互式数据分析方法、装置、介质及电子设备 |
| CN112084208A (zh) * | 2019-06-14 | 2020-12-15 | 北京京东尚科信息技术有限公司 | 数据可视化方法及系统、存储介质及电子设备 |
| CN112130845A (zh) * | 2020-09-21 | 2020-12-25 | 厦门南讯股份有限公司 | 一种基于人工智能的图表智能化生成方法 |
| CN112445854A (zh) * | 2020-11-25 | 2021-03-05 | 平安普惠企业管理有限公司 | 多源业务数据实时处理方法、装置、终端及存储介质 |
-
2021
- 2021-06-01 CN CN202110608639.8A patent/CN113434568A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112084208A (zh) * | 2019-06-14 | 2020-12-15 | 北京京东尚科信息技术有限公司 | 数据可视化方法及系统、存储介质及电子设备 |
| CN110837545A (zh) * | 2019-11-13 | 2020-02-25 | 贵州医渡云技术有限公司 | 交互式数据分析方法、装置、介质及电子设备 |
| CN112130845A (zh) * | 2020-09-21 | 2020-12-25 | 厦门南讯股份有限公司 | 一种基于人工智能的图表智能化生成方法 |
| CN112445854A (zh) * | 2020-11-25 | 2021-03-05 | 平安普惠企业管理有限公司 | 多源业务数据实时处理方法、装置、终端及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114978216A (zh) * | 2022-05-19 | 2022-08-30 | 泉州市拓科信息技术有限公司 | 一种基于物联网的多源数据处理系统 |
| CN114978216B (zh) * | 2022-05-19 | 2023-11-10 | 泉州市拓科信息技术有限公司 | 一种基于物联网的多源数据处理系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109634801B (zh) | 数据趋势分析方法、系统、计算机装置及可读存储介质 | |
| US10963347B1 (en) | Data snapshots for configurable screen on a wearable device | |
| US8401990B2 (en) | System and method for aggregating raw data into a star schema | |
| US9043717B2 (en) | Multi-lane time-synched visualizations of machine data events | |
| US20140173509A1 (en) | Device, Method and User Interface for Emphasizing Divisions in Data | |
| US11755635B2 (en) | Presentation and sorting of summaries of alert instances triggered by search queries | |
| CN109684162B (zh) | 设备状态预测方法、系统、终端及计算机可读存储介质 | |
| CN111143697B (zh) | 一种内容推荐的方法以及相关装置 | |
| CN113420043A (zh) | 数据实时监控方法、装置、设备及存储介质 | |
| CN110888974A (zh) | 数据可视化方法及装置 | |
| CN113297279A (zh) | 一种数据分析及展示方法、系统、设备及存储介质 | |
| CN112035320A (zh) | 业务监控方法、装置、电子设备及可读存储介质 | |
| CN110990445A (zh) | 一种数据处理方法、装置、设备和介质 | |
| CN113641567B (zh) | 一种数据库巡检方法、装置、电子设备及存储介质 | |
| CN112052134A (zh) | 一种业务数据的监控方法及装置 | |
| CN112328658B (zh) | 用户档案数据处理方法、装置、设备及存储介质 | |
| CN113434568A (zh) | 一种多源数据处理方法、装置、智能终端及存储介质 | |
| CN117151350A (zh) | 用于决策管理的可视化看板系统、方法、设备以及介质 | |
| CN107122464B (zh) | 一种辅助决策系统及方法 | |
| CN112100177A (zh) | 数据存储方法、装置、计算机设备及存储介质 | |
| US11836869B1 (en) | Generating three-dimensional data visualizations in an extended reality environment | |
| CN112527529B (zh) | 消息处理方法、装置、电子设备及存储介质 | |
| CN114510708A (zh) | 实时数据仓库构建、异常检测方法、装置、设备及产品 | |
| CN114625763A (zh) | 用于数据库的信息分析方法、装置、电子设备和可读介质 | |
| CN113704273A (zh) | 数据管理方法、装置、存储介质及服务器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210924 |
|
| RJ01 | Rejection of invention patent application after publication |