CN108959480B - 对流数据实现数据可视化的方法及装置 - Google Patents

对流数据实现数据可视化的方法及装置 Download PDF

Info

Publication number
CN108959480B
CN108959480B CN201810642920.1A CN201810642920A CN108959480B CN 108959480 B CN108959480 B CN 108959480B CN 201810642920 A CN201810642920 A CN 201810642920A CN 108959480 B CN108959480 B CN 108959480B
Authority
CN
China
Prior art keywords
processing result
processing
time node
current time
result data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810642920.1A
Other languages
English (en)
Other versions
CN108959480A (zh
Inventor
邢加和
衣大欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Sairui Information Technology Co ltd
Original Assignee
Jiangsu Sairui Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Sairui Information Technology Co ltd filed Critical Jiangsu Sairui Information Technology Co ltd
Priority to CN201810642920.1A priority Critical patent/CN108959480B/zh
Publication of CN108959480A publication Critical patent/CN108959480A/zh
Application granted granted Critical
Publication of CN108959480B publication Critical patent/CN108959480B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Complex Calculations (AREA)

Abstract

本发明提供了一种对流数据实现数据可视化的方法及装置,其中,该方法包括:实时获取当前时间节点所需处理的流数据;对所述当前时间节点的流数据进行处理,确定相应的当前时间节点的处理结果;保存所述当前时间节点的处理结果,并将所述当前时间节点的处理结果添加至预设的可视化图表的相应位置处。该方法在实时确定相应的当前时间节点的处理结果之后,保存所述当前时间节点的处理结果,并将所述当前时间节点的处理结果添加至预设的可视化图表的相应位置处,从而使得可视化图表可以直观地显示所有时间节点的处理结果,方便用户直观地了解历史处理结果;同时,通过保存处理结果,方便用户随时查询所需的时间节点的处理结果。

Description

对流数据实现数据可视化的方法及装置
技术领域
本发明涉及流数据处理技术领域,特别涉及一种对流数据实现数据可视化的方法及装置。
背景技术
随着互联网技术和物联网技术的飞速发展,产生了大量的多维流数据,如金融数据、图像数据、文本数据等。相比于传统的静态数据,流数据具有如下特点:1)数据潜在大小是无限的;2)数据在线不断到达,需要实时处理;3)数据到达的顺序与数量每时每刻不同;4)除非可以保存,每条数据只能被处理一次。
由于流数据的处理过程一般是针对海量数据进行的,现有的流数据处理方式只关注当前时间的处理结果,导致用户只能得知当前时间的处理结果;且现有的处理方式并未综合分析之前时间的处理结果,处理方式单一。
发明内容
本发明提供一种对流数据实现数据可视化的方法及装置,用以解决现有流数据处理方式只提供当前时间的处理结果的缺陷。
本发明实施例提供的一种对流数据实现数据可视化的方法,包括:
实时获取当前时间节点所需处理的流数据;
对所述当前时间节点的流数据进行处理,确定相应的当前时间节点的处理结果;
保存所述当前时间节点的处理结果,并将所述当前时间节点的处理结果添加至预设的可视化图表的相应位置处。
在一种可能的实现方式中,所述对所述当前时间节点的流数据进行处理包括:
获取上一个时间节点的处理结果,根据所述上一个时间节点的处理结果对所述当前时间节点的流数据进行处理。
在一种可能的实现方式中,在所述确定相应的当前时间节点的处理结果之后,该方法还包括:
获取预设时间段内的所有时间节点的处理结果,所述预设时间段的结束时间节点为所述当前时间节点;
根据所述预设时间段内的所述处理结果的时间属性将所述处理结果分为n处理结果数据组,每个处理结果数据组中有k个按照时间属性依次排列的处理结果,且n处理结果数据组中第m个处理结果数据组的数据组权重Wm为:
Figure BDA0001702830280000021
根据第m个处理结果数据组Bm的数据组权重Wm对处理结果数据组Bm中的处理结果进行依次扩展,确定扩展后的处理结果数据组Cm;其中,扩展后的处理结果数据组Cm中第a个元素cma=bma,a∈[1,k];且扩展后的处理结果数据组Cm中第k+i个元素cm(k+i)为:
Figure BDA0001702830280000022
其中,k为奇数;wj为第j个权重值,且
Figure BDA0001702830280000023
确定滤波序列H,且所述滤波序列H的第j个元素hj为:
Figure BDA0001702830280000024
其中,j=1,2,…,k;
根据所述滤波序列H和扩展后的处理结果数据组Cm进行滤波处理,并生成滤波数组Ym,所述滤波数组Ym的第i个元素ymi为:
Figure BDA0001702830280000031
其中
Figure BDA0001702830280000032
将所述滤波数组Y中所有元素的平均值所确定的值作为第m个处理结果数据组Bm的扩展数据bm
根据每个处理结果数据组的扩展数据和相邻的处理结果数据组之间的时间差ΔT确定处理结果数据组的变化趋势p,并根据处理结果数据组的变化趋势p确定所述处理结果的变化趋势P:
Figure BDA0001702830280000033
在一种可能的实现方式中,所述将所述当前时间节点的处理结果添加至预设的可视化图表的相应位置处,包括:
获取自然语言形式的原始指令,并对所述原始指令进行自然语言理解处理,确定处理后相对应的机器指令;
根据所述机器指令将所述当前时间节点的处理结果添加至预设的可视化图表的相应位置处。
基于同样的发明构思,本发明实施例还提供一种对流数据实现数据可视化的装置,包括:
第一获取模块,用于实时获取当前时间节点所需处理的流数据;
处理模块,用于对所述当前时间节点的流数据进行处理,确定相应的当前时间节点的处理结果;
可视化模块,用于保存所述当前时间节点的处理结果,并将所述当前时间节点的处理结果添加至预设的可视化图表的相应位置处。
在一种可能的实现方式中,所述处理模块用于:
获取上一个时间节点的处理结果,根据所述上一个时间节点的处理结果对所述当前时间节点的流数据进行处理。
在一种可能的实现方式中,该装置还包括:第二获取模块、截取模块和扩展模块;
在所述处理模块确定相应的当前时间节点的处理结果之后,所述第二获取模块用于获取预设时间段内的所有时间节点的处理结果,所述预设时间段的结束时间节点为所述当前时间节点;
所述分割模块用于根据所述预设时间段内的所述处理结果的时间属性将所述处理结果分为n处理结果数据组,每个处理结果数据组中有k个按照时间属性依次排列的处理结果,且n处理结果数据组中第m个处理结果数据组的数据组权重Wm为:
Figure BDA0001702830280000041
所述扩展模块用于根据第m个处理结果数据组Bm的数据组权重Wm对处理结果数据组Bm中的处理结果进行依次扩展,确定扩展后的处理结果数据组Cm;其中,扩展后的处理结果数据组Cm中第a个元素cma=bma,a∈[1,k];且扩展后的处理结果数据组Cm中第k+i个元素cm(k+i)为:
Figure BDA0001702830280000042
其中,k为奇数;wj为第j个权重值,且
Figure BDA0001702830280000043
确定滤波序列H,且所述滤波序列H的第j个元素hj为:
Figure BDA0001702830280000044
其中,j=1,2,…,k;
根据所述滤波序列H和扩展后的处理结果数据组Cm进行滤波处理,并生成滤波数组Ym,所述滤波数组Ym的第i个元素ymi为:
Figure BDA0001702830280000045
其中
Figure BDA0001702830280000046
将所述滤波数组Y中所有元素的平均值所确定的值作为第m个处理结果数据组Bm的扩展数据bm
根据每个处理结果数据组的扩展数据和相邻的处理结果数据组之间的时间差ΔT确定处理结果数据组的变化趋势p,并根据处理结果数据组的变化趋势p确定所述处理结果的变化趋势P:
Figure BDA0001702830280000051
在一种可能的实现方式中,所述可视化模块用于:
获取自然语言形式的原始指令,并对所述原始指令进行自然语言理解处理,确定处理后相对应的机器指令;
根据所述机器指令将所述当前时间节点的处理结果添加至预设的可视化图表的相应位置处。
本发明实施例提供的一种对流数据实现数据可视化的方法及装置,在实时确定相应的当前时间节点的处理结果之后,保存所述当前时间节点的处理结果,并将所述当前时间节点的处理结果添加至预设的可视化图表的相应位置处,从而使得可视化图表可以直观地显示所有时间节点的处理结果,方便用户直观地了解历史处理结果;同时,通过保存处理结果,方便用户随时查询所需的时间节点的处理结果。扩展数据综合所有处理结果的维值,且不同处理结果的权重值随着时间属性呈二次幂函数增长,使得扩展数据与最新得到的处理结果之间的相关度更高,在处理结果变化较大时也可以有效保证扩展数据的实时性;同时通过滤波处理可以降低处理结果组内处理结果的变化波动,使得最终确定的变化趋势更加符合处理结果的实际变化情况。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例中对流数据实现数据可视化的方法流程图;
图2为本发明实施例中对流数据实现数据可视化的装置第一结构图;
图3为本发明实施例中对流数据实现数据可视化的装置第二结构图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
本发明实施例提供的一种对流数据实现数据可视化的方法,参见图1所示,包括步骤101-103:
步骤101:实时获取当前时间节点所需处理的流数据。
本发明实施例中,当前时间节点所需处理的流数据具体可以为当前时间节点与上一个时间节点之间所产生的数据,可以基于互联网或物联网来提取各种分布式系统所产生的新数据。
步骤102:对当前时间节点的流数据进行处理,确定相应的当前时间节点的处理结果。
本发明实施例中,根据流数据的内容或要求可以采用不同的处理方式,也可以采用现有的流数据处理产品(比如Storm、S4系统等)对该流数据进行处理;对流数据处理后即可确定相应的处理结果,一个时间节点对应一个处理结果。
步骤103:保存当前时间节点的处理结果,并将当前时间节点的处理结果添加至预设的可视化图表的相应位置处。
本发明实施例中,预先设置用于直观表示处理结果的可视化图标,该可视化图标可以为表格形式,也可以为柱状图或折线图等,具体根据实际情况而定。当确定当前时间节点的处理结果后,将当前时间节点的处理结果添加至预设的可视化图表的相应位置处,从而在可视化图表中可以直观地显示该当前时间节点的处理结果。之后当到下一个时间节点时,继续重复执行步骤101-103,并通过可视化图表直观地显示下一个时间节点的处理结果……从而使得可视化图表可以直观地显示所有时间节点的处理结果,方便用户直观地了解历史处理结果;同时,通过保存处理结果,方便用户随时查询所需的时间节点的处理结果。
本发明实施例提供的一种对流数据实现数据可视化的方法,在实时确定相应的当前时间节点的处理结果之后,保存所述当前时间节点的处理结果,并将所述当前时间节点的处理结果添加至预设的可视化图表的相应位置处,从而使得可视化图表可以直观地显示所有时间节点的处理结果,方便用户直观地了解历史处理结果;同时,通过保存处理结果,方便用户随时查询所需的时间节点的处理结果。
本发明另一实施例提供一种对流数据实现数据可视化的方法,该方法包括上述实施例中的步骤101-103,其实现原理以及技术效果参见图1对应的实施例。同时,本发明实施例中,步骤102“对当前时间节点的流数据进行处理”具体包括:
获取上一个时间节点的处理结果,根据上一个时间节点的处理结果对当前时间节点的流数据进行处理。
本发明实施例中,由于某些情况下处理当前时间节点的流数据时,还需要结合上一个时间节点的处理结果,故此时需要根据上一个时间节点的处理结果对当前时间节点的流数据进行处理。例如,当需要实时统计交易总金额时,则此时根据当前时间节点所需处理的流数据(即上一个时间节点至当前时间节点之间所产生的交易数据)可以确定上一个时间节点至当前时间节点这一时间段内的交易金额,此时需要加上上一个时间节点所确定的交易总金额(即上一个时间节点的处理结果)才可以确定当前时间节点的交易总金额,即当前时间节点的处理结果。
在上述实施例的基础上,在步骤102确定相应的当前时间节点的处理结果之后,该方法还包括确定处理结果变化趋势的过程,该过程包括步骤A1-A3:
步骤A1:获取预设时间段内的所有时间节点的处理结果,预设时间段的结束时间节点为当前时间节点。
本发明实施例中,以当前时间节点为基准,获取之前一个时间段(即预设时间段)内的所有时间节点的处理结果,根据选取的处理结果来确定当前时间节点的变化趋势。
步骤A2:根据所述预设时间段内的所述处理结果的时间属性将所述处理结果分为n处理结果数据组,每个处理结果数据组中有k个按照时间属性依次排列的处理结果,且n处理结果数据组中第m个处理结果数据组的数据组权重Wm为:
Figure BDA0001702830280000081
本发明实施例中,由于处理结果与时间节点是一一对应的,故流数据的处理结果均具有时间属性,且该时间属性是与时间节点相关的。根据时间属性可以将预设时间段内的处理结果的全部或部分分为多个处理结果数据组;同时,由于预设时间段的时间长度是可调的,通过确定合适的预设时间段则可以保证将全部的处理结果划分为多个处理结果数据组。例如,预设时间段包括30个时间节点,则包括30个处理结果,且最后一个处理结果为当前时间节点的处理结果,若预设每个处理结果数据组中包含10个处理结果(即k=10),则可以按照时间的先后顺序截取第1个至第10个处理结果作为第一个处理结果数据组,截取第11个至第20个处理结果作为第二个处理结果数据组,截取第21个至第30个处理结果作为第三个处理结果数据组,第30个处理结果即为当前时间节点的处理结果。
在将预设时间段内的处理结果分为n个处理结果数据组后,由于不同的处理结果数据组具有不同的时间属性,距离当前时间越近的处理结果数据组越能体现预设时间段内处理结果的特性,故本发明实施例中按照时间先后顺序为处理结果数据组分配数据组权重。同时:
Figure BDA0001702830280000091
即,所有的数据组权重之和为1,可以使得所有的处理结果数据组在整体上尽可能保持之前元素的特性。
同时,步骤A2中等时间间隔地截取处理结果数据组,以保证相邻的两个处理结果数据组之间的时间差为固定值。其中,处理结果数据组的时间具体可以为处理结果数据组中第一个处理结果的时间属性,也可以为最后一个处理结果的时间属性,本实施例对此不做限定,只要不同的处理结果数据组按照统一标准确定处理结果数据组的时间即可。
步骤A3:根据第m个处理结果数据组Bm的数据组权重Wm对处理结果数据组Bm中的处理结果进行依次扩展,确定扩展后的处理结果数据组Cm;其中,扩展后的处理结果数据组Cm中第a个元素cma=bma,a∈[1,k];且扩展后的处理结果数据组Cm中第k+i个元素cm(k+i)为:
Figure BDA0001702830280000092
其中,k为奇数;wj为第j个权重值,且
Figure BDA0001702830280000093
本发明实施例中,第m个处理结果数据组Bm中包含k个处理结果,依次为bm1,bm2,…,bmk;之后对处理结果数据组Bm进行扩展,得到扩展后的处理结果数据组Cm。其中,当a∈[1,k]时,扩展后的处理结果数据组Cm中第a个元素cma与处理结果数据组Bm中的第a个元素bma相同,即扩展后的处理结果数据组Cm中的前k个元素与处理结果数据组Bm完全相同。扩展后的处理结果数据组Cm一共有2k个元素,数据组Cm中的后k个元素的值具体为:
Figure BDA0001702830280000101
其中,cm(k+i)(或者cmk+i)为扩展后的处理结果数据组Cm中第k+i个元素,cm(i+j-1)表示扩展后的处理结果数据组Cm中第(i+j-1)个元素,以此类推。本发明实施例中“依次扩展”指的是先扩展得到cmk+1,之后扩展得到cmk+2,再扩展得到cmk+3,……,直至扩展得到所有所需的元素,即得到cm2k。即,当确定扩展后的处理结果数据组Cm的前k个元素后,首先确定cmk+1
Figure BDA0001702830280000102
其中,预设k个权重值,第j个权重值为wj
Figure BDA0001702830280000103
j越大,权重值wj越大(j=1,2,…,k),且权重值呈二次幂函数增长,由于处理结果为按照时间属性排列,则时间靠后的处理结果的权重值越大,从而使得扩展后的元素cmk+i与时间靠后的处理结果之间的相关度更高。同时,k个权重值之和为:
Figure BDA0001702830280000104
即k个权重值之和为1,从而可以使得计算后的扩展元素cmk+i尽可能保持之前元素的总体特性,尽量降低扩展处理所带来的误差。
步骤A4:确定滤波序列H,且所述滤波序列H的第j个元素hj为:
Figure BDA0001702830280000105
其中,j=1,2,…,k。
本发明实施例中,在确定扩展后的处理结果数据组Cm后,由于该扩展后的处理结果数据组Cm中的扩展元素并不是真实的采样值,在计算过程中会引入误差;故本发明实施例中基于该滤波序列H去除数据组Cm中的误差。同时,滤波序列H的元素个数k与之前计算扩展元素时所参考的元素个数(即k)相同,以保证前后处理的一致性。
步骤A5:根据所述滤波序列H和扩展后的处理结果数据组Cm进行滤波处理,并生成滤波数组Ym,所述滤波数组Ym的第i个元素ymi为:
Figure BDA0001702830280000111
其中
Figure BDA0001702830280000112
本发明实施例中,滤波数组Ym中的元素实际上是对处理结果数据组Cm中扩展元素cm(k+i)的进一步处理。如上所述,由于计算cm(k+i)容易引入误差,在利用滤波序列H去除误差后,即可得到滤波数组Ym的元素ymi,即扩展元素cm(k+i)去除误差后即为ymi。同时,由于滤波序列H的长度为k,滤波序列只能对前半部分的扩展元素进行处理,故生成的滤波数组Ym的长度为
Figure BDA0001702830280000113
即对于ymi
Figure BDA0001702830280000114
步骤A6:将所述滤波数组Y中所有元素的平均值所确定的值作为第m个处理结果数据组Bm的扩展数据bm
步骤A7:根据每个处理结果数据组的扩展数据和相邻的处理结果数据组之间的时间差ΔT确定处理结果数据组的变化趋势p,并根据处理结果数据组的变化趋势p确定所述处理结果的变化趋势P:
Figure BDA0001702830280000115
本发明实施例中,由于为了强调不同处理结果数据组的时效性而引入了数据组权重,即处理结果数据组的变化趋势p实际包含了数据组权重的变化趋势;而数据组权重Wm为一次幂函数,其变化率为
Figure BDA0001702830280000116
去除处理结果数据组的变化趋势中数据组权重Wm的变化,即可确定处理结果的变化趋势。为了方便确定最终处理结果的变化趋势P,对数据组权重设为一次幂函数的权重函数。
需要说明的是,本发明实施例中的i和j只是用来表示参数的个数,并无实际含义,在不同的式中i和j所表示的含义和取值范围可能会不同,也可用其他字母代替i或j。
本发明实施例中确定的扩展数据综合所有处理结果的维值,且不同处理结果的权重值随着时间属性呈二次幂函数增长,使得扩展数据与最新得到的处理结果之间的相关度更高,在处理结果变化较大时也可以有效保证扩展数据的实时性;同时通过滤波处理可以降低处理结果组内处理结果的变化波动,使得最终确定的变化趋势更加符合处理结果的实际变化情况。
在上述实施例的基础上,步骤103中“将当前时间节点的处理结果添加至预设的可视化图表的相应位置处”,具体包括步骤B1-B2:
步骤B1:获取自然语言形式的原始指令,并对原始指令进行自然语言理解处理,确定处理后相对应的机器指令。
步骤B2:根据机器指令将当前时间节点的处理结果添加至预设的可视化图表的相应位置处。
本发明实施例中,用户通过输入自然语言形式(包括文字形式和语音形式等)的原始指令实现对可视化过程的调整或控制。具体的,在接收到原始指令后自动将自然语言的原始指令解析为机器语言,并根据语义的不同,精准匹配处理之后的数据,并将数据加载到预设的可视化图表中。其中,原始指令可以为多个。
此外,还可以通过自然语言形式的原始指令来切换不同的可视化图表,或者改变数据的加载频率。
例如:原始指令为“帮我查一下上证指数行情”,此时系统自动根据该语句解析出关键词有“上证指数”和“行情”,其中:“上证指数”表示要查询的数据,“行情”则表示为此次查询为时实数据。解析完成后,系统会定时查询“上证指数”的数据,并更新该数据到可视化图表上。
若原始指令为“切换为线图”,此时系统会根据该语句解析出关键词有“切换”和“线图”,其中“切换”表示动作,“线图”表示目的。解析完成后,系统会把当前的图表转换成为线形图,并定时查询“上证指数”的数据,更新该数据到线形图表上。
若原始指令为“调整为1分钟加载1次”,系统会根据该语句解析出关键词有“调整”、“1分钟”、“加载1次”,其中“调整”表示动作,“1分钟”表示时长,“加载1次”表示数据加载的频率。解析完成后,系统会把当前定时查询“上证指数”数据的频次变更为1分钟查询1次。
本发明实施例中用户通过输入自然语言形式的原始指令,不需要用户记忆死板的指令,方便用户输入指令,可以提高操作效率,有利于人机交互,从而可以提高用户体验。
以上详细介绍了对流数据实现数据可视化的方法流程,该方法也可以通过相应的装置实现,下面详细介绍该装置的结构和功能。
本发明实施例提供的一种对流数据实现数据可视化的装置,参见图2所示,包括:
第一获取模块21,用于实时获取当前时间节点所需处理的流数据;
处理模块22,用于对所述当前时间节点的流数据进行处理,确定相应的当前时间节点的处理结果;
可视化模块23,用于保存所述当前时间节点的处理结果,并将所述当前时间节点的处理结果添加至预设的可视化图表的相应位置处。
在一种可能的实现方式中,所述处理模块22用于:
获取上一个时间节点的处理结果,根据所述上一个时间节点的处理结果对所述当前时间节点的流数据进行处理。
在一种可能的实现方式中,参见图3所示,该装置还包括:第二获取模块24、分割模块25和扩展模块26;
在所述处理模块22确定相应的当前时间节点的处理结果之后,所述第二获取模块24用于获取预设时间段内的所有时间节点的处理结果,所述预设时间段的结束时间节点为所述当前时间节点;
所述分割模块25用于根据所述预设时间段内的所述处理结果的时间属性将所述处理结果分为n处理结果数据组,每个处理结果数据组中有k个按照时间属性依次排列的处理结果,且n处理结果数据组中第m个处理结果数据组的数据组权重Wm为:
Figure BDA0001702830280000141
所述扩展模块26用于根据第m个处理结果数据组Bm的数据组权重Wm对处理结果数据组Bm中的处理结果进行依次扩展,确定扩展后的处理结果数据组Cm;其中,扩展后的处理结果数据组Cm中第a个元素cma=bma,a∈[1,k];且扩展后的处理结果数据组Cm中第k+i个元素cm(k+i)为:
Figure BDA0001702830280000142
其中,k为奇数;wj为第j个权重值,且
Figure BDA0001702830280000143
确定滤波序列H,且所述滤波序列H的第j个元素hj为:
Figure BDA0001702830280000144
其中,j=1,2,…,k;
根据所述滤波序列H和扩展后的处理结果数据组Cm进行滤波处理,并生成滤波数组Ym,所述滤波数组Ym的第i个元素ymi为:
Figure BDA0001702830280000145
其中
Figure BDA0001702830280000146
将所述滤波数组Y中所有元素的平均值所确定的值作为第m个处理结果数据组Bm的扩展数据bm
根据每个处理结果数据组的扩展数据和相邻的处理结果数据组之间的时间差ΔT确定处理结果数据组的变化趋势p,并根据处理结果数据组的变化趋势p确定所述处理结果的变化趋势P:
Figure BDA0001702830280000151
在一种可能的实现方式中,所述可视化模块用于:
获取自然语言形式的原始指令,并对所述原始指令进行自然语言理解处理,确定处理后相对应的机器指令;
根据所述机器指令将所述当前时间节点的处理结果添加至预设的可视化图表的相应位置处。
本发明实施例提供的一种对流数据实现数据可视化的装置,在实时确定相应的当前时间节点的处理结果之后,保存所述当前时间节点的处理结果,并将所述当前时间节点的处理结果添加至预设的可视化图表的相应位置处,从而使得可视化图表可以直观地显示所有时间节点的处理结果,方便用户直观地了解历史处理结果;同时,通过保存处理结果,方便用户随时查询所需的时间节点的处理结果。扩展数据综合所有处理结果的维值,且不同处理结果的权重值随着时间属性呈二次幂函数增长,使得扩展数据与最新得到的处理结果之间的相关度更高,在处理结果变化较大时也可以有效保证扩展数据的实时性;同时通过滤波处理可以降低处理结果组内处理结果的变化波动,使得最终确定的变化趋势更加符合处理结果的实际变化情况。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种对流数据实现数据可视化的方法,其特征在于,包括:
实时获取当前时间节点所需处理的流数据;
对所述当前时间节点的流数据进行处理,确定相应的当前时间节点的处理结果;
保存所述当前时间节点的处理结果,并将所述当前时间节点的处理结果添加至预设的可视化图表的相应位置处;
在所述确定相应的当前时间节点的处理结果之后,还包括:
获取预设时间段内的所有时间节点的处理结果,所述预设时间段的结束时间节点为所述当前时间节点;
根据所述预设时间段内的所述处理结果的时间属性将所述处理结果分为n处理结果数据组,每个处理结果数据组中有k个按照时间属性依次排列的处理结果,且n处理结果数据组中第m个处理结果数据组的数据组权重Wm为:
Figure FDA0002435446050000011
根据第m个处理结果数据组Bm的数据组权重Wm对处理结果数据组Bm中的处理结果进行依次扩展,确定扩展后的处理结果数据组Cm;其中,扩展后的处理结果数据组Cm中第a个元素cma=bma,a∈[1,k];且扩展后的处理结果数据组Cm中第k+i个元素cm(k+i)为:
Figure FDA0002435446050000012
其中,k为奇数;wj为第j个权重值,且
Figure FDA0002435446050000013
确定滤波序列H,且所述滤波序列H的第j个元素hj为:
Figure FDA0002435446050000014
其中,j=1,2,…,k;
根据所述滤波序列H和扩展后的处理结果数据组Cm进行滤波处理,并生成滤波数组Ym,所述滤波数组Ym的第i个元素ymi为:
Figure FDA0002435446050000021
其中
Figure FDA0002435446050000022
将所述滤波数组Y中所有元素的平均值所确定的值作为第m个处理结果数据组Bm的扩展数据bm;
根据每个处理结果数据组的扩展数据和相邻的处理结果数据组之间的时间差ΔT确定处理结果数据组的变化趋势p,并根据处理结果数据组的变化趋势p确定所述处理结果的变化趋势P:
Figure FDA0002435446050000023
2.根据权利要求1所述的方法,其特征在于,所述对所述当前时间节点的流数据进行处理包括:
获取上一个时间节点的处理结果,根据所述上一个时间节点的处理结果对所述当前时间节点的流数据进行处理。
3.根据权利要求1所述的方法,其特征在于,所述将所述当前时间节点的处理结果添加至预设的可视化图表的相应位置处,包括:
获取自然语言形式的原始指令,并对所述原始指令进行自然语言理解处理,确定处理后相对应的机器指令;
根据所述机器指令将所述当前时间节点的处理结果添加至预设的可视化图表的相应位置处。
4.一种对流数据实现数据可视化的装置,其特征在于,包括:
第一获取模块,用于实时获取当前时间节点所需处理的流数据;
处理模块,用于对所述当前时间节点的流数据进行处理,确定相应的当前时间节点的处理结果;
可视化模块,用于保存所述当前时间节点的处理结果,并将所述当前时间节点的处理结果添加至预设的可视化图表的相应位置处;
还包括:第二获取模块、分割模块和扩展模块;
在所述处理模块确定相应的当前时间节点的处理结果之后,所述第二获取模块用于获取预设时间段内的所有时间节点的处理结果,所述预设时间段的结束时间节点为所述当前时间节点;
所述分割模块用于根据所述预设时间段内的所述处理结果的时间属性将所述处理结果分为n处理结果数据组,每个处理结果数据组中有k个按照时间属性依次排列的处理结果,且n处理结果数据组中第m个处理结果数据组的数据组权重Wm为:
Figure FDA0002435446050000031
所述扩展模块用于根据第m个处理结果数据组Bm的数据组权重Wm对处理结果数据组Bm中的处理结果进行依次扩展,确定扩展后的处理结果数据组Cm;其中,扩展后的处理结果数据组Cm中第a个元素cma=bma,a∈[1,k];且扩展后的处理结果数据组Cm中第k+i个元素cm(k+i)为:
Figure FDA0002435446050000032
其中,k为奇数;wj为第j个权重值,且
Figure FDA0002435446050000033
确定滤波序列H,且所述滤波序列H的第j个元素hj为:
Figure FDA0002435446050000034
其中,j=1,2,…,k;
根据所述滤波序列H和扩展后的处理结果数据组Cm进行滤波处理,并生成滤波数组Ym,所述滤波数组Ym的第i个元素ymi为:
Figure FDA0002435446050000035
其中
Figure FDA0002435446050000036
将所述滤波数组Y中所有元素的平均值所确定的值作为第m个处理结果数据组Bm的扩展数据bm;
根据每个处理结果数据组的扩展数据和相邻的处理结果数据组之间的时间差ΔT确定处理结果数据组的变化趋势p,并根据处理结果数据组的变化趋势p确定所述处理结果的变化趋势P:
Figure FDA0002435446050000037
5.根据权利要求4所述的装置,其特征在于,所述处理模块用于:
获取上一个时间节点的处理结果,根据所述上一个时间节点的处理结果对所述当前时间节点的流数据进行处理。
6.根据权利要求4所述的装置,其特征在于,所述可视化模块用于:
获取自然语言形式的原始指令,并对所述原始指令进行自然语言理解处理,确定处理后相对应的机器指令;
根据所述机器指令将所述当前时间节点的处理结果添加至预设的可视化图表的相应位置处。
CN201810642920.1A 2018-06-21 2018-06-21 对流数据实现数据可视化的方法及装置 Active CN108959480B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810642920.1A CN108959480B (zh) 2018-06-21 2018-06-21 对流数据实现数据可视化的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810642920.1A CN108959480B (zh) 2018-06-21 2018-06-21 对流数据实现数据可视化的方法及装置

Publications (2)

Publication Number Publication Date
CN108959480A CN108959480A (zh) 2018-12-07
CN108959480B true CN108959480B (zh) 2020-07-14

Family

ID=64491972

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810642920.1A Active CN108959480B (zh) 2018-06-21 2018-06-21 对流数据实现数据可视化的方法及装置

Country Status (1)

Country Link
CN (1) CN108959480B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102340485A (zh) * 2010-07-19 2012-02-01 中国科学院计算技术研究所 基于信息关联的网络安全态势感知系统及其方法
CN103297861A (zh) * 2013-06-05 2013-09-11 中国科学院自动化研究所 一种基于PeerSim的P2P视频点播仿真系统
CN106997394A (zh) * 2017-04-12 2017-08-01 成都四方伟业软件股份有限公司 一种数据乱序到达处理方法和系统
CN107103050A (zh) * 2017-03-31 2017-08-29 海通安恒(大连)大数据科技有限公司 一种大数据建模平台及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI260591B (en) * 2002-10-14 2006-08-21 Samsung Electronics Co Ltd Information storage medium with structure for multi-angle data, and recording and reproducing apparatus therefor

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102340485A (zh) * 2010-07-19 2012-02-01 中国科学院计算技术研究所 基于信息关联的网络安全态势感知系统及其方法
CN103297861A (zh) * 2013-06-05 2013-09-11 中国科学院自动化研究所 一种基于PeerSim的P2P视频点播仿真系统
CN107103050A (zh) * 2017-03-31 2017-08-29 海通安恒(大连)大数据科技有限公司 一种大数据建模平台及方法
CN106997394A (zh) * 2017-04-12 2017-08-01 成都四方伟业软件股份有限公司 一种数据乱序到达处理方法和系统

Also Published As

Publication number Publication date
CN108959480A (zh) 2018-12-07

Similar Documents

Publication Publication Date Title
US11288444B2 (en) Optimization techniques for artificial intelligence
US11829874B2 (en) Neural architecture search
US11144831B2 (en) Regularized neural network architecture search
US20240135955A1 (en) Generating audio using neural networks
KR102392094B1 (ko) 컨볼루션 신경망을 이용한 시퀀스 프로세싱
US20200265315A1 (en) Neural architecture search
WO2019114423A1 (zh) 对模型预测值进行融合的方法、装置和设备
WO2021196954A1 (zh) 序列化数据处理方法和装置、文本处理方法和装置
US20190087730A1 (en) Non-transitory computer-readable storage medium storing improved generative adversarial network implementation program, improved generative adversarial network implementation apparatus, and learned model generation method
US11829884B2 (en) Augmenting attentioned-based neural networks to selectively attend to past inputs
CN105068993B (zh) 一种评估文本难度的方法
CN113326767A (zh) 视频识别模型训练方法、装置、设备以及存储介质
US20240211764A1 (en) Compound model scaling for neural networks
CN112818025B (zh) 试题生成方法、装置和系统、计算机存储介质和程序产品
CN110751030A (zh) 一种视频分类方法、设备及系统
CN110276456A (zh) 一种机器学习模型辅助构建方法、系统、设备及介质
CN115576502B (zh) 一种数据存储的方法、装置、电子设备以及存储介质
CN108369664A (zh) 调整神经网络的大小
WO2015192798A1 (zh) 主题挖掘方法和装置
CN113360711B (zh) 视频理解任务的模型训练和执行方法、装置、设备及介质
US20170372331A1 (en) Marking of business district information of a merchant
CN107623862A (zh) 多媒体信息推送控制方法、装置及服务器
KR20180092732A (ko) 순환신경망을 이용한 문서요약시스템 및 방법
CN115668170A (zh) 时间序列预测
CN109558543A (zh) 一种样本采样方法、样本采样装置、服务器和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant