CN113297040A - 洞察数据的确定方法和装置,计算机存储介质和电子设备 - Google Patents
洞察数据的确定方法和装置,计算机存储介质和电子设备 Download PDFInfo
- Publication number
- CN113297040A CN113297040A CN202010730829.2A CN202010730829A CN113297040A CN 113297040 A CN113297040 A CN 113297040A CN 202010730829 A CN202010730829 A CN 202010730829A CN 113297040 A CN113297040 A CN 113297040A
- Authority
- CN
- China
- Prior art keywords
- data
- insight
- operation data
- target
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
- G06F11/323—Visualisation of programs or trace data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3438—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment monitoring of user actions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3452—Performance evaluation by statistical analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Computer Hardware Design (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开一种洞察数据的确定方法和装置,数据洞察的交互方法,数据洞察系统,以及计算机存储介质和电子设备。其中,所述确定方法包括:获取用户针对目标数据库的操作数据;按照所述操作数据和针对所述操作数据的操作执行顺序,构建操作数据矩阵;根据所述操作数据矩阵,确定目标操作数据集合;将所述目标操作数据集合中的目标操作数据确定为洞察数据进行输出。从而能够根据操作数据的实时更新,自动的更新界面上输出展示的洞察数据内容,突破数据领域认知的局限,提高洞察数据产出的效率。
Description
技术领域
本申请涉及计算机应用技术,具体涉及一种洞察数据的确定方法和装置,数据洞察的交互方法和装置,数据洞察系统以及计算机存储介质和电子设备。
背景技术
数据存在于生活的方方面面,应用软件的使用,购买商品的,出行的导航等等,其背后都是数据的处理。很显然,计算机和互联网技术的发展必然突显出数据的重要性、数据分析的重要性,数据洞察的重要性等。
那么,数据是什么,数据分析是什么,数据洞察又是什么?
通常情况下,数据是没有经过过多的处理的原始信息,数据分析是从这些原始信息中发现的规律、趋势等,而数据洞察则是通过数据分析得出的价值,包括决策运营、预测机会等,换言之,数据洞察是依附于数据分析,通过数据洞察能够获得更为有利的指导性数据的过程,经过数据洞察获得的数据可以称为洞察数据。
然而,对于专业的数据分析师、数据科学家、算法工程师而言,在领域数据上的研究,需要耗费大量时间在数据探索和数据分析上。在此过程中,需要通过不断地多维度下探索数据,去积攒领域数据知识,获得洞察数据,但是,数据洞察通常是一个投入产出比较低的过程,其不仅受数据领域认知的局限,也会受到数据波动的干扰。
发明内容
本申请提供一种洞察数据的确定方法,以解决现有技术中获取洞察数据存在局限性的问题。
本申请提供一种洞察数据的确定方法,包括:
获取用户针对目标数据库的操作数据;
按照所述操作数据和针对所述操作数据的操作执行顺序,构建操作数据矩阵;
根据所述操作数据矩阵,确定目标操作数据集合;
将所述目标操作数据集合中的目标操作数据确定为洞察数据进行输出。
在一些实施例中,所述获取用户针对目标数据库的操作数据,包括:
按照所述用户基于洞察数据可视化界面或者外接数据界面的操作数据的执行顺序,获取所述用户的操作日志。
在一些实施例中,还包括:
按照所述用户的操作数据的执行顺序,采集基于所述洞察数据可视化界面或者外接数据界面产生的操作日志;
将采集的所述操作日志存储到日志数据库中;
所述获取用户的操作数据,包括:
从所述日志数据库中获取所述操作日志。
在一些实施例中,所述按照所述用户的操作数据的执行顺序,采集基于所述洞察数据可视化界面或者外接数据界面产生的操作日志,包括:
按照设置的采集周期,根据所述用户的操作数据的执行顺序,采集基于所述洞察数据可视化界面或者外接数据界面产生的操作日志。
在一些实施例中,所述获取用户针对目标数据库的操作数据,包括:
基于洞察数据可视化界面或者外接数据界面,以查询、浏览和选择操作方式中的至少一种操作方式,获取所述操作数据。
在一些实施例中,所述获取用户针对目标数据库的操作数据,包括:
基于洞察数据可视化界面或者外接数据界面,在设定时间范围内获取所述用户的所述操作数据。
在一些实施例中,所述基于所述洞察数据可视化界面或者外接数据界面,在设定时间范围内获取所述用户的所述操作数据,包括:
基于所述洞察数据可视化界面或者所述外接数据界面,在至少两次执行洞察数据任务开始时刻之间的时间范围内,获取所述用户的所述操作数据。
在一些实施例中,所述按照所述操作数据和针对所述操作数据的操作执行顺序,构建操作数据矩阵,包括:
将以获取的所述操作数据中操作次数最大值,作为列数;
对所述操作次数不满足所述最大值要求的列,以空值填充;
将以获取的所述操作数据中的用户数,作为行数;
根据所述列数和所述行数,以及获取的所述操作数据,按照所述操作执行顺序构建操作数据矩阵。
在一些实施例中,所述根据所述操作数据矩阵,确定目标操作数据集合,包括:
采用频繁项集的方式,在所述操作数据矩阵中选取满足选取阈值要求的目标操作数据;
根据选取的所述目标操作数据,确定所述操作数据集合操作数据集合。
在一些实施例中,所述将所述操作数据集合操作数据集合中的目标操作数据确定为洞察数据进行输出,包括:
根据所述操作数据集合操作数据集合中的所述目标操作数据,生成洞察数据报表页面;
将所述洞察数据报表页面展示到洞察数据可视化界面上,其中,所述洞察数据报表页面中展示所述洞察数据。
在一些实施例中,所述将所述目标操作数据集合中的目标操作数据确定为洞察数据进行输出,包括:
根据所述目标操作数据集合中的所述目标操作数据,生成洞察数据报表页面,其中,所述洞察数据报表页面中展示所述洞察数据;
将洞察数据可视化界面显示的原洞察数据页面替换为所述洞察数据报表页面。
在一些实施例中,所述按照所述操作数据和针对所述操作数据的操作执行顺序,构建操作数据矩阵,包括:
将以获取的所述操作数据中操作次数最大值,作为列数;
对所述操作次数不满足所述最大值要求的列,以空值填充;
将以获取的所述操作数据中的用户数,作为行数;
根据所述列数和所述行数,以及获取的所述操作数据,按照所述操作执行顺序,构建第一操作数据矩阵;
将所述第一操作数据矩阵中的所述操作数据中的参数替换为模板参数,获得转换后的第一操作数据模板矩阵;
对所述第一操作数据模板矩阵中相邻且相同的操作数据模板进行合并,获得第二操作数据模板矩阵;
将所述第二操作数据模板矩阵,确定为所述操作数据矩阵。
在一些实施例中,所述根据所述操作数据矩阵,确定目标操作数据集合,包括:
采用频繁项集的方式,在所述第二操作数据模板矩阵中选取满足选取要求的目标操作数据模板;
根据选取的所述目标操作数据,确定所述目标操作数据模板集合;
将所述目标操作数据模板集合确定为所述目标操作数据集合。
在一些实施例中,所述将所述目标操作数据集合中的目标操作数据确定为洞察数据进行输出,包括:
根据所述目标操作数据模板集合中的所述目标操作数据模板,生成具有针对参数可操作的交互式洞察数据报表页面,其中,所述交互式洞察数据报表页面能够根据用户的操作,展示与所述操作匹配的所述洞察数据;
将所述交互式洞察数据报表页面展示到洞察数据可视化界面上。
在一些实施例中,所述将所述目标操作数据集合中的目标操作数据确定为洞察数据进行输出,包括:
根据所述目标操作数据集合中的所述目标操作数据模板,生成具有针对参数可操作的交互式洞察数据报表页面,其中,所述交互式洞察数据报表页面能够根据用户的操作,展示与所述操作匹配的所述洞察数据;
将洞察数据可视化界面显示的原洞察数据页面替换为所述交互式洞察数据报表页面。
在一些实施例中,所述按照所述操作数据和针对所述操作数据的操作执行顺序,构建操作数据矩阵,包括:
将以获取的所述操作数据中操作次数最大值,作为矩阵列数;
对所述操作次数不满足所述最大值要求的列,以空值填充;
将以获取的所述操作数据中的用户数,作为矩阵行数;
根据所述列数和所述行数,以及获取的所述操作数据,按照所述操作执行顺序,构建第一操作数据矩阵;
将所述第一操作数据矩阵中的所述操作数据中的参数替换为模板参数,获得转换后的第一操作数据模板矩阵;
对所述第一操作数据模板矩阵中相邻且相同的所述操作数据进行合并,获得第二操作数据模板矩阵;
根据所述用户使用所述第二操作数据模板矩阵中数据模板的频率或次数,构建第三操作数据模板矩阵;
将所述第三操作数据模板矩阵,确定为所述操作数据矩阵。
在一些实施例中,所述根据所述操作数据矩阵,确定目标操作数据集合,包括:
采用协同过滤的方式,在所述第三操作数据模板矩阵中,选取使用次数满足选取相似度要求的目标操作数据模板;
根据选取的所述目标操作数据模板,确定目标操作数据模板使用集合;
将所述目标操作数据模板使用集合确定为所述目标操作数据集合。
在一些实施例中,所述将所述目标操作数据集合中的目标操作数据确定为洞察数据进行输出,包括:
根据所述目标操作数据模板使用集合中的目标操作数据模板,生成与所述用户的操作数据相匹配的、且具有针对参数可操作的交互式洞察数据报表页面,其中,所述交互式洞察数据报表页面能够根据所述用户的操作,展示与所述操作匹配的所述洞察数据;
将所述交互式洞察数据报表页面展示到洞察数据可视化界面上。
在一些实施例中,所述将所述目标操作数据集合中的目标操作数据确定为洞察数据进行输出,包括:
根据所述目标操作数据模板使用集合中的目标操作数据模板,生成与所述用户的操作数据相匹配的、且具有针对参数可操作的交互式洞察数据报表页面,其中,所述交互式洞察数据报表页面能够根据所述用户的操作,展示与所述操作匹配的所述洞察数据;
将洞察数据可视化界面显示的原洞察数据页面替换为所述交互式洞察数据报表页面。
在一些实施例中,所述将所述目标操作数据集合中的目标操作数据确定为洞察数据进行输出,包括:
将所述目标操作数据集合中的目标操作数据确定为洞察数据存储到洞察数据库中;
从所述洞察数据库中获取所述洞察数据进行输出。
本申请还提供一种洞察数据的确定装置,包括:
获取单元,用于获取用户的操作数据;
构建单元,用于按照所述操作数据和针对所述操作数据的操作执行顺序,构建操作数据矩阵;
确定单元,用于根据所述操作数据矩阵,确定目标操作数据集合;
输出单元,用于将所述目标操作数据集合中的目标操作数据确定为洞察数据进行输出。
本申请还提供一种数据洞察的交互方法,包括:
基于查询操作界面发送操作数据查询请求;
根据接收的所述操作数据查询请求,采集用户针对目标数据库的操作数据,并按照所述操作数据和针对所述操作数据的操作执行顺序,构建操作数据矩阵,根据所述操作数据矩阵,确定目标操作数据集合,将所述目标操作数据集合中的目标操作数据确定为洞察数据进行输出;
所述查询操作界面根据接收的所述洞察数据生成能够展示所述洞察数据的洞察数据界面,并在所述查询操作界面进行展示。
本申请还提供一种数据洞察系统,包括:操作数据采集模块、目标数据库、数据洞察模块和洞察数据界面生成模块;
所述操作数据采集模块用于采集用户针对所述目标数据库的操作数据;
所述数据洞察模块用于按照所述操作数据和针对所述操作数据的操作执行顺序,构建操作数据矩阵;根据所述操作数据矩阵,确定目标操作数据集合;将所述目标操作数据集合中的目标操作数据确定为洞察数据;
所述洞察数据界面生成模块,用于根据所述洞察数据生成能够展示所述洞察数据的洞察数据界面。
在一些实施例中,还包括:操作日志数据库,用于存储所述操作数据采集模块采集的所述操作数据。
在一些实施例中,还包括:
洞察数据库,用于存储所述数据洞察模块确定的所述洞察数据;所述洞察数据界面生成模块从所述洞察数据库中获取所述洞察数据,并生成所述交互式界面。
在一些实施例中,还包括:
查询操作模块,用于向提供用户进行数据查询的查询界面;
所述操作数据采集模块,用于基于所述查询界面,采集所述用户针对所述目标数据库的操作数据;
所述洞察数据界面生成模块,用于根据所述洞察数据对所述查询界面进行再生成,生成能够展示所述洞察数据的所述洞察数据界面。
本申请还提供一种计算机存储介质,用于存储网络平台产生数据,以及对应所述网络平台产生数据进行处理的程序;
所述程序在被读取执行时,执行如下步骤:
获取用户针对目标数据库的操作数据;
按照所述操作数据和针对所述操作数据的操作执行顺序,构建操作数据矩阵;
根据所述操作数据矩阵,确定目标操作数据集合;
将所述目标操作数据集合中的目标操作数据确定为洞察数据进行输出;
或者,执行如下步骤:
基于查询操作界面发送操作数据查询请求;
根据接收的所述操作数据查询请求,采集用户针对目标数据库的操作数据,并按照所述操作数据和针对所述操作数据的操作执行顺序,构建操作数据矩阵,根据所述操作数据矩阵,确定目标操作数据集合,将所述目标操作数据集合中的目标操作数据确定为洞察数据进行输出;
所述查询操作界面接收所述洞察数据,并根据所述洞察数据生成能够展示所述洞察数据的洞察数据界面。
本申请还提供一种电子设备,包括:
处理器;
存储器,用于存储对网络平台产生数据进行处理的程序,所述程序在被所述处理器读取执行时,执行如下步骤:
获取用户针对目标数据库的操作数据;
按照所述操作数据和针对所述操作数据的操作执行顺序,构建操作数据矩阵;
根据所述操作数据矩阵,确定目标操作数据集合;
将所述目标操作数据集合中的目标操作数据确定为洞察数据进行输出;
或者,执行如下步骤:
基于查询操作界面发送操作数据查询请求;
根据接收的所述操作数据查询请求,采集用户针对目标数据库的操作数据,并按照所述操作数据和针对所述操作数据的操作执行顺序,构建操作数据矩阵,根据所述操作数据矩阵,确定目标操作数据集合,将所述目标操作数据集合中的目标操作数据确定为洞察数据进行输出;
所述查询操作界面接收所述洞察数据,并根据所述洞察数据生成能够展示所述洞察数据的洞察数据界面。
与现有技术相比,本申请具有以下优点:
本申请提供的洞察数据的确定方法,通过获取用户针对目标数据库的操作数据;按照所述操作数据和针对所述操作数据的操作执行顺序,构建操作数据矩阵;根据所述操作数据矩阵,确定目标操作数据集合;将所述目标操作数据集合中的目标操作数据确定为洞察数据进行输出,从而能够根据操作数据的变化,自动的更新界面上输出展示的洞察数据内容,突破数据领域认知的局限,提高洞察数据产出的效率。
附图说明
图1是本申请提供的一种洞察数据的确定方法实施例的流程图;
图2是本申请提供的一种洞察数据的确定装置实施例的结构示意图;
图3是本申请提供的一种洞察数据的交互方法实施例的数据交互示意图;
图4是本申请提供的一种数据洞察系统实施例的结构示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本申请内涵的情况下做类似推广,因此本申请不受下面公开的具体实施的限制。
本申请中使用的术语是仅仅出于对特定实施例描述的目的,而非旨在限制本申请。在本申请中和所附权利要求书中所使用的描述方式例如:“一种”、“第一”、和“第二”等,并非对数量上的限定或先后顺序上的限定,而是用来将同一类型的信息彼此区分。
结合背景技术部分,可知,洞察数据对于行业发展具有举足轻重的作用。本方案的技术构思核心思想在于减少数据洞察投入成本的基础上,提高数据洞察的生产效率。鉴于此构思,本申请提供出一种洞察数据的确定方法,请参考图1所示,图1是本申请提供的一种洞察数据的确定方法实施例的流程图,所述确定方法实施例,包括:
步骤S101:获取用户针对目标数据库的操作数据;
所述步骤S101中的操作数据可以是用户对数据库的操作数据。获取的操作数据可以是单独用户的操作数据也可以是至少两个以上用户的操作数据。
在本实施例中,所述步骤S101的具体实现过程可以包括:
也就是说,在本实施例中,操作数据可以是操作日志,即SQL操作日志。对于操作日志的获取方式可以包括多种方式,例如在上述步骤:101-1中描述的可以是基于洞察数据可视化界面或者外接数据界面。下面分别对两种获取方式进行说明:
方式一:洞察数据可视化界面
洞察数据可视化界面是数据洞察系统提供的一种操作界面,具体数据洞察系统后续会描述,此处先略过。所述洞察数据可视化界面可以进行数据操作,也可以针对数据操作显示相关数据。
在本实施例中,通过洞察数据可视化界面获取用户的操作日志,可以通过在所述洞察数据可视化界面上设置埋点,并按照所述用户的操作数据的执行顺序采集操作日志。采集的操作日志可以存储到日志数据库中,之后从所述日志数据库中获取用户的操作日志。那么,操作日志中可以包括用户的信息、操作对象信息以及的数据信息等内容。那么用户的操作可以是针对目标数据库的。
考虑到洞察数据确定过程中,通过洞察系统提供的洞察数据可视化界面获取数据日志时,洞察系统本身不存在数据日志或者数据日志有限的情况,因此,可以第二种方式获取数据日志,即利用外接数据界面获取用户的历史操作日志,当然,所述洞察系统本身对于操作日志提供量不足是采用第二种方式的原因之一,但,在不考虑所述原因的情况下,也同样可以采用第二种方式获取数据日志。
方式二:外接数据界面
所述外接数据界面可以理解为针对目标数据库的操作,针对外接数据界面的操作所产生的操作日志也可以存储到日志数据库中,之后从所述日志数据库中获取用户的操作日志。
上述内容是对应获取用户的操作日志的方式进行的举例说明,实际上,步骤S101的目的在于,获取用户针对目标数据库的历史操作日志,日志中会记录关于操作的相关数据内容,至于通过什么方式获取并不受上述方式的限制。
需要特别说明的是,获取用户的操作日志时,通常可以通过采集用户输入的SQL的方式,即以SQL文本输入进行的查询方式进行采集,或者是用户对于某一数据图库的浏览操作,包括:点击操作;或者是针对某一数据图库的选择操作;当然,还可以包括针对以数据图表等形式展示数据时,对数据图表的停留时间等等。也就是说,操作日志可以来源于任何一种针对数据或数据表现形式的操作行为,也可以将不属于SQL操作的操作行为转化为SQL操作,以便洞察系统更好识别或记录。
为确保获取的操作日志的实时性,可以按照设置的采集周期,根据所述用户的操作数据的执行顺序,采集基于所述洞察数据可视化界面或者外接数据界面产生的操作日志。同样的,获取用户的操作数据也可以按照设定的时间范围进行获取,即:基于洞察数据可视化界面或者外接数据界面,在设定时间范围内获取所述用户的所述操作数据。在本实施例中,获取用户的操作数据可以是基于所述洞察数据可视化界面或者所述外接数据界面,在至少两次执行洞察数据任务开始时刻之间的时间(Δt)范围内,获取所述用户的所述操作日志,获取的操作日志其中,U表示用户标识信息,S表示操作日志,j表示用户数。获取操作日志的用户可以是单独用户也可以是至少两个用户。在本实施例中,主要以Δt时间范围内所有用户的操作日志,所述用户可以是具有获取洞察数据的认证用户。
步骤S102:按照所述操作数据和针对所述操作数据的操作执行顺序,构建操作数据矩阵。
所述步骤S102的目的在于根据所有用户的操作日志构建操作数据矩阵,从而便于后续对操作数据进行洞察分析。
需要说明的是,在本实施例中,操作数据主要是指操作日志,即SQL操作日志,因此,下述涉及的操作数据即为SQL操作日志。
在本实施例中提供三种构建操作数据矩阵的方式,下面将分别依次描述;
构建方式1:
步骤S102-11:将以获取的所述操作数据中操作次数最大值,作为列数;
步骤S102-12:对所述操作次数不满足所述最大值要求的列,以空值填充;
步骤S102-13:将以获取的所述操作数据中的用户数,作为行数;
步骤S102-13:根据所述列数和所述行数,以及获取的所述操作数据,按照所述操作执行顺序构建操作数据矩阵;如下:
其中,1,…n表示用户执行SQL操作的顺序次数,n则为在所有用户中,执行SQL操作次数的最大值。若用户Ui执行SQL的次数<n,则在所述矩阵中填充null(空值)。S为操作日志。
构建方式2:
步骤S102-21:将以获取的所述操作数据中操作次数最大值,作为列数;
步骤S102-22:对所述操作次数不满足所述最大值要求的列,以空值填充;
步骤S102-23:将以获取的所述操作数据中的用户数,作为行数;
步骤S102-24:根据所述列数和所述行数,以及获取的所述操作数据,按照所述操作执行顺序,构建第一操作数据矩阵;如下:
在所述第一操作数据矩阵中,1,…n表示用户执行SQL操作的顺序次数,n则为在所有用户中,执行SQL操作次数的最大值。若用户Ui执行SQL的次数<n,则在所述矩阵中填充null(空值)。S为操作日志。
步骤S102-25:将所述第一操作数据矩阵中的所述操作数据中的参数替换为模板参数,获得转换后的第一操作数据模板矩阵;
在本实施例中,所述模板参数可以是“?”,或者其他可以表示模板化的参数。所述第一操作数据模板矩阵可以如下:
步骤S102-26:对所述第一操作数据模板矩阵中相邻且相同的操作数据模板进行合并,获得第二操作数据模板矩阵;
所述步骤S102-26的目的在于,基于步骤S102-25中获得的第一操作数据模板矩阵中,表示同一用户的相邻且相同的操作日志的数组进行合并,合并后记录为获得第二操作数据模板矩阵可以如下:所述第二操作数据模板矩阵可以如下:
可以理解的是,合并后获得第二操作数据模板矩阵,在矩阵列数不满足最大值要求的情况下,也可以通过用空值进行填充。例如:转换前SP=["select*from tableA whereid=?","select*from tableA where id=?","select*from tableB where id=?"]---用户A的三个操作模板,["select*from tableC group by name,-"]--用户B的一个操作模板,“-”表示没有(填空值),转换后:SP=[("select*from tableA where id=?")+,"select*from tableB where id=?"],["select*from tableC group by name,-,-"]。
需要说明的是,合并后的第二操作数据模板矩阵中n值可能会发生变化,所述第二操作数据模板矩阵的列数根据合并后最大n值确定。
步骤S102-27:将所述第二操作数据模板矩阵,确定为所述操作数据矩阵。
构建方式3:
步骤S102-31:将以获取的所述操作数据中操作次数最大值,作为矩阵列数;
步骤S102-32:对所述操作次数不满足所述最大值要求的列,以空值填充;
步骤S102-33:将以获取的所述操作数据中的用户数,作为矩阵行数;
步骤S102-34:根据所述列数和所述行数,以及获取的所述操作数据,按照所述操作执行顺序,构建第一操作数据矩阵;如下:
其中,1,…n表示用户执行SQL操作的顺序次数,n则为在所有用户中,执行SQL操作次数的最大值。若用户Ui执行SQL的次数<n,则在所述矩阵中填充null(空值)。S为操作日志。
步骤S102-35:将所述第一操作数据矩阵中的所述操作数据中的参数替换为模板参数,获得转换后的第一操作数据模板矩阵;
在本实施例中,所述模板参数可以是“?”,或者其他可以表示模板化的参数。所述第一操作数据模板矩阵可以如下:
步骤S102-36:对所述第一操作数据模板矩阵中相邻且相同的所述操作数据进行合并,获得第二操作数据模板矩阵;
所述步骤S102-36的目的在于,基于步骤S102-35中获得的第一操作数据模板矩阵中,表示同一用户的相邻且相同的操作日志的数组进行合并,合并后记录为获得第二操作数据模板矩阵可以如下:所述第二操作数据模板矩阵可以如下:
可以理解的是,合并后获得第二操作数据模板矩阵,在矩阵列数不满足最大值要求的情况下,也可以通过用空值进行填充。
步骤S102-37:根据所述用户使用所述第二操作数据模板矩阵中数据模板的频率或次数,构建第三操作数据模板矩阵;
本实施例中,所述第三操作数据模板矩阵形式如下表:
步骤S102-38:将所述第三操作数据模板矩阵,确定为所述操作数据矩阵。
步骤S103:根据所述操作数据矩阵,确定目标操作数据集合;
所述步骤S103的目的在于,对所述操作数据矩阵进行数据分析,获得包括有目标操作日志的集合,在本实施例中,所述目标操作数据集合可以理解为洞察数据集合。
所述步骤S103的具体实现过程可以与上述构建的操作数据矩阵相匹配。即:对应上述构建方式1、2和3分别对步骤S103进行描述。
确定方式1(对应于构建方式1):
步骤S103-11:采用频繁项集的方式,在所述操作数据矩阵中选取满足选取阈值要求的目标操作数据;
所述频繁项集是使用一种逐层搜索的迭代算法,在本实施例中,可以将所述操作数据矩阵每行作为一个数据集确定每个数组的支持度,获得第一候选项集;例如:和中的每个数组的支持度,如:包括:SA、SC、SD、S0四个操作日志,包括:SB、SC、SE、S0,包括:SA、SB、SC、SE,包括:SB、SE、S0、S0;第一候选项集为{SA}=50%(支持度),{SB}=75%,{SC}=75%,{SD}=25%,{SE}=75%。
再对每个第一候选项集的支持度进行选取或者是剪枝,选取满足支持度要求的数据集作为第一候选频繁项集;例如:选取后第一候选频繁项集可以为:{SA}=50%,{SB}=75%,{SC}=75%,{SE}=75%,舍弃支持度25%,即支持度阈值为50%。
将第一候选频繁项集中各个项集中的数组进行组合,获得第二候选项集,计算第二候选项集的支持度,将所述第二候选项集中的支持度满足支持度要求的确定第二候选频繁项集;例如:{SA,SB}=25%,{SA,SC}=50%,{SA,SE}=25%,{SB,SC}=50%,{SB,SE}=75%,{SC、SE}=50%,满足支持度要求的为{SA,SC}=50%,{SB,SC}=50%,{SB,SE}=75%,{SC、SE}=50%,即为第二候选频繁项集。
将所述第二候选频繁项集中每个数据集中的数组进行组合,获得第三候选项集,计算所述第三候选项集中各个数据集的支持度,将满足支持度要求的作为最终的频繁项集,也即目标操作数据模板。例如:第二候选频繁项集中包括的数组元素有A、B、C、E,组合后第三候选项集为{SA,SB,SC},{SA,SC,SE},{SA,SB,SE},{SB,SC,SE}对应的支持度分别是25%,25%,25%,50%。满足支持度要求的只有{SB,SC,SE}=50%,因此,将{SB,SC,SE}确定为针对所述操作数据矩阵的目标操作数据集合,其中,SB,SC,SE为目标操作数据。
频繁项集可以理解为是一个迭代过程,以上仅为简要性描述,具体迭代的次数与数组的数量有关。由于频繁项集属于现有技术,此处仅进行笼统描述。
需要说明的是,选取要求可以是设置的支持度阈值,支持度阈值可以根据实际需求进行设置。
步骤S103-12:根据选取的所述目标操作数据,确定所述目标操作数据集合。
所述步骤S103-12可以选取Top-K的SQL操作日志项为目标操作数据,从而确定出目标操作数据集合,K值可以预设的值。目标操作数据集合可以记录为SI={SI1,...,SIk},沿用上述举例,SI={SIB,SIC,SIE}。
确定方式2(对应于构建方式2):
步骤S103-21:采用频繁项集的方式,在所述第二操作数据模板矩阵中选取满足选取要求的目标操作数据模板;
步骤S103-21与上述步骤S103-11相似,在本实施例中,可以将所述第二操作数据矩阵每行作为一个数据集确定每个数组的支持度,获得第一候选项集;例如:和中每个模板数组的支持度,如:包括:SPA、SPC、SPD、SP0四个操作日志,包括:SPB、SPC、SPE、SP0,包括:SPA、SPB、SPC、SPE,包括:SPB、SPE、SP0、SP0;第一候选项集为{SPA}=50%(支持度),{SPB}=75%,{SPC}=75%,{SPD}=25%,{SPE}=75%。最后确定满足选取要求的目标操作数据模板可以是SB,SC,SE。
步骤S103-22:根据选取的所述目标操作数据模板,确定所述目标操作数据模板集合;
所述步骤S103-23可以选取Top-K的SQL操作日志模板项为目标操作数据,从而确定出目标操作数据集合,K值可以预设的值。目标操作数据集合可以记录为SPI={SPI1,...,SPIk},沿用上述举例,SPI={SPIB,SPIC,SPIE}。
步骤S103-23:将所述目标操作数据模板集合确定为所述目标操作数据集合。
确定方式3(对应于构建方式3):
步骤S102-31:采用协同过滤的方式,在所述第三操作数据模板矩阵中,选取使用次数满足选取相似度要求的目标操作数据模板;
本实施例中,协同过滤的方式实际上可以理解为一种推荐方式,例如:用户U1使用模板为2次,使用模板为3次,使用模板为0次,使用模板为0次;用户U2使用模板为2次,使用模板为1次,使用模板为2次,使用模板为0次;用户U3使用模板为2次,使用模板为1次,使用模板为2次,使用模板为0次;用户U4使用模板为0次,使用模板为2次,使用模板为2次,使用模板为1次。
即:
根据用户模板使用的次数可以获得用户操作之间的相似度,然后根据相似度值选取出满足相似度要求的SQL操作模板,作为用户潜在使用的SQL操作模板或者是向用户推荐的SQL操作模板,进而确定目标操作模板。例如:根据U1和U2的操作模板使用相似度,可以将U2的模板推荐给U1。最后将推荐的操作数据模板作为选取的目标操作数据模板。
协同过滤属于现有技术,因此上述内容仅为概要性描述。
步骤S103-32:根据选取的所述目标操作数据模板,确定目标操作数据模板使用集合;
步骤S102-33:将所述目标操作数据模板使用集合确定为所述目标操作数据集合。
步骤S104:将所述目标操作数据集合中的目标操作数据确定为洞察数据进行输出。
所述步骤S104的目的在于,将目标操作数据确定为洞察数据进行展示,以便用户能够直观的获知。在本实施例中,根据不同的目标操作数据可以采用不同的方式进行输出。同样地,基于上述三种构建方式和确定方式,可以以不同输出方式展示洞察数据。
本实施例中,可以将洞察数据通过洞察数据可视化界面进行展示,下面结合上述三种洞察数据的确定方式进行说明。
展示方式1(对应确定方式1):
第一实施例中,所述步骤S104包括:
步骤S104-1-11:根据所述目标操作数据集合中的所述目标操作数据,生成洞察数据报表页面,其中,所述洞察数据报表页面中展示所述洞察数据;
所述步骤S104-1-11中所述目标操作数据集合中的目标操作数据是按照执行顺序进行排列的,因此,可以根据所述目标操作数据集合中元素的排列顺序生成洞察数据报表,所述洞察数据报表可以是趋势图、饼图或表格中至少一种形式。如果目标操作数据也即洞察数据来自多个用户的操作数据,那么,所述洞察数据报表可以对多个用户可见,相应的如果仅来自单独用户则可以仅针对单独用户可见。因此,基于上述构建方式1和确定方式1生成的洞察数据报表是不具有交互性质的报表。
步骤S104-1-12:将所述洞察数据报表页面展示到洞察数据可视化界面上,其中,所述洞察数据报表页面中展示所述洞察数据。
所述步骤S104-1-12具体实现过程是将步骤S104-1-11中生成洞察数据报表输出到洞察数据可视化界面上进行展示,从而便于用户能够获取洞察数据。
需要说明的是,如果所述洞察数据可视化界面处于冷启动状态,即不存在任何历史洞察数据报表展示,则直接展示步骤S104-1-12中的洞察数据报表,如果非冷启动状态,则可以通过步骤S104-1-12中的洞察数据报表替换历史洞察数据报表。如果步骤S104-1-12中的洞察数据报表是基于历史洞察数据报表,在洞察数据更新时而生成,则可以根据更新的洞察数据对所述历史洞察数据报表进行更新调整。
第二实施例中,所述步骤S104可以包括:
步骤S104-1-21:根据所述目标操作数据集合中的所述目标操作数据,生成洞察数据报表页面,其中,所述洞察数据报表页面中展示所述洞察数据;
步骤S104-1-22:将洞察数据可视化界面显示的原洞察数据页面替换为所述洞察数据报表页面。
上述第一实施例和第二实施例中的洞察数据报表页面可以是全局式洞察数据报表页面或者是单独用户的洞察数据报表页面,至于是哪种报表页面可以根据操作数据获取的方式,如果获取的为多用户的,那么可以是全局式洞察数据报表页面,若获取的是单独用户的,那么可以是单独用户的洞察数据报表页面。
展示方式2(对应确定方式2):
第一实施例中,所述步骤S104包括:
步骤S104-2-11:根据所述目标操作数据模板集合中的所述目标操作数据模板,生成具有针对参数可操作的交互式洞察数据报表页面,其中,所述交互式洞察数据报表页面能够根据用户的操作,展示与所述操作匹配的所述洞察数据;其中交互式洞察数据报表页面可以具有下拉筛选、输入框的报表图形,下拉筛选可以根据用户的需求进行选择需要查看与洞察数据相对应的操作数据选项。报表图形可以是趋势图、饼图和表格中至少一种表现形式。所述步骤S104-2-11的具体实现过程可以参考上述步骤S104-1-11。
步骤S104-2-12:将所述交互式洞察数据报表页面展示到洞察数据可视化界面上。
第二实施例中,所述步骤S104可以包括:
步骤S104-2-21:根据所述目标操作数据集合中的所述目标操作数据模板,生成具有针对参数可操作的交互式洞察数据报表页面,其中,所述交互式洞察数据报表页面能够根据用户的操作,展示与所述操作匹配的所述洞察数据;其中交互式洞察数据报表页面可以具有下拉筛选、输入框的报表图形,下拉筛选可以根据用户的需求进行选择需要查看与洞察数据相对应的操作数据选项。报表图形可以是趋势图、饼图和表格中至少一种表现形式。所述步骤S104-2-11的具体实现过程可以参考上述步骤S104-1-11。
步骤S104-2-22:将洞察数据可视化界面显示的原洞察数据页面替换为所述交互式洞察数据报表页面。关于步骤S104-2-22也可以参考上述步骤S104-1-22。
展示方式3(对应确定方式3):
第一实施例中,所述步骤S104包括:
步骤S104-3-11:根据所述目标操作数据模板使用集合中的目标操作数据模板,生成与所述用户的操作数据相匹配的、且具有针对参数可操作的交互式洞察数据报表页面,其中,所述交互式洞察数据报表页面能够根据所述用户的操作,展示与所述操作匹配的所述洞察数据;
步骤S104-3-12:将所述交互式洞察数据报表页面展示到洞察数据可视化界面上。
第二实施例中,所述步骤S104包括:
步骤S104-3-21:根据所述目标操作数据模板使用集合中的操作数据模板,生成与所述用户的操作数据相匹配的、且具有针对参数可操作的交互式洞察数据报表页面,其中,所述交互式洞察数据报表页面能够根据所述用户的操作,展示与所述操作匹配的所述洞察数据;
所述步骤S104-3-21与所述步骤S104-2-21相似,相似的是:交互式洞察数据报表页面可以具有下拉筛选、输入框的报表图形,下拉筛选可以根据用户的需求进行选择需要查看与洞察数据相对应的操作数据选项。报表图形可以是趋势图、饼图和表格中至少一种表现形式。不同的是,所述步骤S104-3-21中的交互式洞察数据报表页面可以为操作数据模板矩阵中的每个用户生成对应的交互式洞察数据报表页面,即,每个用户Ui可见的页面对应着SPR中的根据中每条操作日志(SQL Pattern),会顺序构建为带有下拉筛选、输入框的报表图形(趋势图、饼图、表格)。因此,本实施例中,交互式洞察数据报表页面可以是个性化交互式洞察数据报表页面。
步骤S104-3-22:将洞察数据可视化界面显示的原洞察数据页面替换为所述交互式洞察数据报表页面。
需要说明的是,上述展示方式2和展示方式3均是基于模板矩阵的分析获得洞察数据,模板矩阵是针对多用户而言,因此,交互式洞察数据报表页面是全局性的。当然,不排除模板矩阵分析是仅针对单独用户的情况。
基于上述内容,可以理解的是,步骤S104还可以包括:
将所述目标操作数据集合中的目标操作数据确定为洞察数据存储到洞察数据库中;
从所述洞察数据库中获取所述洞察数据进行输出。
因为,洞察数据库中存储的洞察数据可以根据用户的操作日志进行实时更新,进而所述洞察数据可视化界面能够从洞察数据库库中获取实时更新的最新洞察数据生成相应的报表进行展示输出。
综上可知,本申请提供的洞察数据的确定方法实施例基于用户的操作数据进行分析获得洞察数据,洞察数据可视化界面能够根据洞察数据的实时更新自动的更新界面上输出展示的洞察数据内容,从而突破护具领域认知的局限,提高洞察数据产出的效率。
基于上述内容,本申请还提供一种洞察数据的确定装置,如图2所示,所述确定装置实施例包括:
获取单元201,用于获取用户的操作数据;
所述获取单元201包括:日志获取子单元,用于按照所述用户基于洞察数据可视化界面或者外接数据界面的操作数据的执行顺序,获取所述用户的操作日志。
还包括:采集单元和存储单元,所述采集单元,用于按照所述用户的操作数据的执行顺序,采集基于所述洞察数据可视化界面或者外接数据界面产生的操作日志。所述存储单元,用于将采集的所述操作日志存储到日志数据库中。
其中,所述采集单元具体可以用于按照设置的采集周期,根据所述用户的操作数据的执行顺序,采集基于所述洞察数据可视化界面或者外接数据界面产生的操作日志。
所述获取单元201具体可以用于从所述存储单元中的所述日志数据库中获取所述操作日志。
所述获取单元201还可以用于基于洞察数据可视化界面或者外接数据界面,以文本输入方式和以组件操作方式中的至少一种操作方式,获取所述操作数据。
所述获取单元201还可以用于基于洞察数据可视化界面或者外接数据界面,在设定时间范围内获取所述用户的所述操作数据。具体地,可以是基于所述洞察数据可视化界面或者所述外接数据界面,在至少两次执行洞察数据任务开始时刻之间的时间范围内,获取所述用户的所述操作数据。
构建单元202,用于按照所述操作数据和针对所述操作数据的操作执行顺序,构建操作数据矩阵;
所述构建单元包括三种实施例,下面将分别描述。
第一实施例,包括:
列数确定子单元,用于将以获取的所述操作数据中操作次数最大值,作为矩阵列数;
填充子单元,用于对所述操作次数不满足所述最大值要求的列,以空值填充;
行数确定子单元,用于将以获取的所述操作数据中的用户数,作为矩阵行数;
构建子单元,用于根据所述列数和所述行数,以及获取的所述操作数据,按照所述操作执行顺序构建操作数据矩阵。
第二实施例,包括:
列数确定子单元,用于将以获取的所述操作数据中操作次数最大值,作为矩阵列数;
填充子单元,用于对所述操作次数不满足所述最大值要求的列,以空值填充;
行数确定子单元,用于将以获取的所述操作数据中的用户数,作为矩阵行数;
构建子单元,用于根据所述列数和所述行数,以及获取的所述操作数据,按照所述操作执行顺序,构建第一操作数据矩阵;
转换子单元,用于将所述第一操作数据矩阵中的所述操作数据中的参数替换为模板参数,获得转换后的第一操作数据模板矩阵;
合并子单元,用于对所述第一操作数据模板矩阵中相邻且相同的操作数据模板进行合并,获得第二操作数据模板矩阵;
确定子单元,用于将所述第二操作数据模板矩阵,确定为所述操作数据矩阵。
第三实施例,包括:
列数确定子单元,用于将以获取的所述操作数据中操作次数最大值,作为矩阵列数;
填充子单元,用于对所述操作次数不满足所述最大值要求的列,以空值填充;
行数确定子单元,用于将以获取的所述操作数据中的用户数,作为矩阵行数;
第一构建子单元,用于根据所述列数和所述行数,以及获取的所述操作数据,按照所述操作执行顺序,构建第一操作数据矩阵;
转换子单元,用于将所述第一操作数据矩阵中的所述操作数据中的参数替换为模板参数,获得转换后的第一操作数据模板矩阵;
合并子单元,用于对所述第一操作数据模板矩阵中相邻且相同的所述操作数据进行合并,获得第二操作数据模板矩阵;
第二构建子单元,用于根据所述用户使用所述第二操作数据模板矩阵中数据模板的频率或次数,构建第三操作数据模板矩阵;
确定子单元,用于将所述第三操作数据模板矩阵,确定为所述操作数据矩阵。
确定单元203,用于根据所述操作数据矩阵,确定目标操作数据集合;
所述确定单元203基于上述构建单元202中的三种实施例也具有三种实现方式,下面对应于所述构建单元202的描述,进行说明。
在第一实施例中,所述确定单元203包括:
选取子单元,采用频繁项集的方式,在所述操作数据矩阵中选取满足选取阈值要求的目标操作数据;
集合确定子单元,用于根据选取的所述目标操作数据,确定所述目标操作数据集合。
在第二实施例中,所述确定单元203包括:
选取子单元,用于采用频繁项集的方式,在所述第二操作数据模板矩阵中选取满足选取要求的目标操作数据模板;
第一确定子单元,用于根据选取的所述目标操作数据,确定所述目标操作数据模板集合;
第二确定子单元,用于将所述目标操作数据模板集合确定为所述目标操作数据集合。
在第三实施例中,所述确定单元203包括:
选取子单元,用于采用协同过滤的方式,在所述第三操作数据模板矩阵中,选取使用次数满足选取相似度要求的目标操作数据模板;
第一确定子单元,用于根据选取的所述目标操作数据模板,确定目标操作数据模板使用集合;
第二确定子单元,用于将所述目标操作数据模板使用集合确定为所述目标操作数据集合。
输出单元204,用于将所述目标操作数据集合中的目标操作数据确定为洞察数据进行输出。
所述输出单元204对应于上述构建单元202和确定单元203也包括三种实现方式,下面也依次进行相应说明,描述顺序与上述实施例的排序相同。
在第一实施例中,所述输出单元204具有两种子实现方式,第一子实现方式包括:
生成子单元,用于根据所述目标操作数据集合中的所述目标操作数据,生成洞察数据报表页面;
展示子单元,用于将所述洞察数据报表页面展示到洞察数据可视化界面上,其中,所述洞察数据报表页面中展示所述洞察数据。
第二子实现方式,包括:
生成子单元,用于根据所述目标操作数据集合中的所述目标操作数据,生成洞察数据报表页面,其中,所述洞察数据报表页面中展示所述洞察数据;
替换子单元,用于将洞察数据可视化界面显示的原洞察数据页面替换为所述洞察数据报表页面。
在第二实施例中,所述输出单元204也具有两种子实现方式,第一子实现方式包括:
生成子单元,用于根据所述目标操作数据模板集合中的所述目标操作数据模板,生成具有针对参数可操作的交互式洞察数据报表页面,其中,所述交互式洞察数据报表页面能够根据用户的操作,展示与所述操作匹配的所述洞察数据;
展示子单元,用于将所述交互式洞察数据报表页面展示到洞察数据可视化界面上。
第二自实现方式包括:
生成子单元,用于根据所述目标操作数据集合中的所述目标操作数据模板,生成具有针对参数可操作的交互式洞察数据报表页面,其中,所述交互式洞察数据报表页面能够根据用户的操作,展示与所述操作匹配的所述洞察数据;
替换子单元,用于将洞察数据可视化界面显示的原洞察数据页面替换为所述交互式洞察数据报表页面。
在第三实施例中,所述输出单元204也具有两种子实现方式,第一子实现方式包括:
生成子单元,用于根据所述目标操作数据模板使用集合中的目标操作数据模板,生成与所述用户的操作数据相匹配的、且具有针对参数可操作的交互式洞察数据报表页面,其中,所述交互式洞察数据报表页面能够根据所述用户的操作,展示与所述操作匹配的所述洞察数据;
展示子单元,用于将所述交互式洞察数据报表页面展示到洞察数据可视化界面上。
第二子实现方式包括:
生成子单元,用于根据所述目标操作数据模板使用集合中的操作数据模板,生成与所述用户的操作数据相匹配的、且具有针对参数可操作的交互式洞察数据报表页面,其中,所述交互式洞察数据报表页面能够根据所述用户的操作,展示与所述操作匹配的所述洞察数据;
替换子单元,用于将洞察数据可视化界面显示的原洞察数据页面替换为所述交互式洞察数据报表页面。
在本实施例中,所述输出单元204可以包括:
存储单元,用于将所述目标操作数据集合中的目标操作数据确定为洞察数据存储到洞察数据库中;
输出子单元,用于从所述存储单元中的所述洞察数据库中获取所述洞察数据进行输出。所述输出子单元,具体可以是通过从所述洞察数据库中获取洞察数据在所述洞察数据可视化界面上以报表的形式展示出来,报表可以是交互式的也可以是非交互式的,如上步骤S103中所述。
基于上述内容,本本申请还提供一种数据洞察的交互方法,请参考图3所示,所述交互方法实施例包括:
步骤S301:基于查询操作界面发送针对目标数据库的数据查询请求;
步骤S302:根据所述数据查询请求,采集用户针对目标数据库的操作数据,并按照所述操作数据和针对所述操作数据的操作执行顺序,构建操作数据矩阵,根据所述操作数据矩阵,确定目标操作数据集合,将所述目标操作数据集合中的目标操作数据确定为洞察数据进行输出;
步骤S303:所述查询操作界面根据接收的所述洞察数据生成能够展示所述洞察数据的洞察数据界面,并在所述查询操作界面进行展示。此处的展示可以理解为对所述洞察数据界面进行渲染操作。
关于上述步骤S301-步骤S303可以参考上述关于洞察数据的确定方法实施例中的内容,此处不再重复赘述。
基于上述内容,本申请还提供一种数据洞察系统,请参考图4所示,所述数据洞察系统实施例包括:操作数据采集模块401、目标数据库402、数据洞察模块403和洞察数据界面生成模块404。
所述操作数据采集模块401用于采集用户针对所述目标数据库402的操作数据;
所述数据洞察模块403用于按照所述操作数据和针对所述操作数据的操作执行顺序,构建操作数据矩阵;根据所述操作数据矩阵,确定目标操作数据集合;将所述目标操作数据集合中的目标操作数据确定为洞察数据;
所述洞察数据界面生成模块404,用于根据所述洞察数据生成能够展示所述洞察数据的洞察数据界面。
还可以包括:查询操作模块405,用于向提供用户进行数据查询的查询界面;
所述操作数据采集模块401,用于基于所述查询界面,采集所述用户针对所述目标数据库的操作数据;
所述洞察数据界面生成模块404,用于根据所述洞察数据对所述查询界面进行再生成,生成能够展示所述洞察数据的所述洞察数据界面。
可以理解的是,在本实施例中,所述操作数据的获取可以是用户基于所述查询操作模块405提供的所述查询界面进行的查询操作,也可以基于外接数据界面进行的查询操作。
可以理解的是,还可以包括:洞察数据库406用于存储所述数据洞察模块403确定的所述洞察数据;所述洞察数据界面生成模块404从所述洞察数据库406中获取所述洞察数据,并生成所述交互式界面,所述交互式界面与所述查询界面可以显示在同一终端设备,即洞察数据系统平台上。其中洞察数据的确定可以参考上述步骤S102和步骤S103的描述。
可以理解的是,在本实施例中所述目标数据库402,可以是各个领域的独立目标数据库,也可以是综合数据库。
可以理解的是,还可以包括:操作日志数据库407,用于存储所述操作数据采集模块401采集的所述操作数据,所述操作数据采集模块401采集的所述操作数据可以是操作日志数据。所述操作日志数据库407可以通过将所述操作数据采集模块401采集的所述操作数据通过操作数据存储模块408进行存储处理,之后存储到所述操作日志数据库407中。所述数据洞察模块403可以通过所述操作数据库获取按照预定的时间周期或频率周期获取操作数据之间进行矩阵的构建等相关洞察分析的操作。具体内容请结合上述步骤S101-步骤S104的描述,此处不再重复赘述。
基于上述内容,本申请还提供一种计算机存储介质,用于存储网络平台产生数据,以及对应所述网络平台产生数据进行处理的程序;
所述程序在被读取执行时,执行如下步骤:
获取用户的操作数据;
按照所述操作数据和针对所述操作数据的操作执行顺序,构建操作数据矩阵;
根据所述操作数据矩阵,确定目标操作数据集合;
将所述目标操作数据集合中的目标操作数据确定为洞察数据进行输出。
基于上述内容,本申请还提供一种电子设备,包括:
处理器;
存储器,用于存储对网络平台产生数据进行处理的程序,所述程序在被所述处理器读取执行时,执行如下步骤:
获取用户的操作数据;
按照所述操作数据和针对所述操作数据的操作执行顺序,构建操作数据矩阵;
根据所述操作数据矩阵,确定目标操作数据集合;
将所述目标操作数据集合中的目标操作数据确定为洞察数据进行输出。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
2、本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请虽然以较佳实施例公开如上,但其并不是用来限定本申请,任何本领域技术人员在不脱离本申请的精神和范围内,都可以做出可能的变动和修改,因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
Claims (28)
1.一种洞察数据的确定方法,包括:
获取用户针对目标数据库的操作数据;
按照所述操作数据和针对所述操作数据的操作执行顺序,构建操作数据矩阵;
根据所述操作数据矩阵,确定目标操作数据集合;
将所述目标操作数据集合中的目标操作数据确定为洞察数据进行输出。
2.根据权利要求1所述的洞察数据的确定方法,所述获取用户针对目标数据库的操作数据,包括:
按照所述用户基于洞察数据可视化界面或者外接数据界面的操作数据的执行顺序,获取所述用户的操作日志。
3.根据权利要求1所述的洞察数据的确定方法,还包括:
按照所述用户的操作数据的执行顺序,采集基于所述洞察数据可视化界面或者外接数据界面产生的操作日志;
将采集的所述操作日志存储到日志数据库中;
所述获取用户的操作数据,包括:
从所述日志数据库中获取所述操作日志。
4.根据权利要求3所述的洞察数据的确定方法,所述按照所述用户的操作数据的执行顺序,采集基于所述洞察数据可视化界面或者外接数据界面产生的操作日志,包括:
按照设置的采集周期,根据所述用户的操作数据的执行顺序,采集基于所述洞察数据可视化界面或者外接数据界面产生的操作日志。
5.根据权利要求1所述的洞察数据的确定方法,所述获取用户针对目标数据库的操作数据,包括:
基于洞察数据可视化界面或者外接数据界面,以查询、浏览和选择操作方式中的至少一种操作方式,获取所述操作数据。
6.根据权利要求1所述的洞察数据的确定方法,所述获取用户针对目标数据库的操作数据,包括:
基于洞察数据可视化界面或者外接数据界面,在设定时间范围内获取所述用户的所述操作数据。
7.根据权利要求6所述的洞察数据的确定方法,所述基于所述洞察数据可视化界面或者外接数据界面,在设定时间范围内获取所述用户的所述操作数据,包括:
基于所述洞察数据可视化界面或者所述外接数据界面,在至少两次执行洞察数据任务开始时刻之间的时间范围内,获取所述用户的所述操作数据。
8.根据权利要求1所述的洞察数据的确定方法,所述按照所述操作数据和针对所述操作数据的操作执行顺序,构建操作数据矩阵,包括:
将以获取的所述操作数据中操作次数最大值,作为列数;
对所述操作次数不满足所述最大值要求的列,以空值填充;
将以获取的所述操作数据中的用户数,作为行数;
根据所述列数和所述行数,以及获取的所述操作数据,按照所述操作执行顺序构建操作数据矩阵。
9.根据权利要求8所述的洞察数据的确定方法,所述根据所述操作数据矩阵,确定目标操作数据集合,包括:
采用频繁项集的方式,在所述操作数据矩阵中选取满足选取阈值要求的目标操作数据;
根据选取的所述目标操作数据,确定所述目标操作数据集合。
10.根据权利要求9所述的洞察数据的确定方法,所述将所述目标操作数据集合中的目标操作数据确定为洞察数据进行输出,包括:
根据所述目标操作数据集合中的所述目标操作数据,生成洞察数据报表页面;
将所述洞察数据报表页面展示到洞察数据可视化界面上,其中,所述洞察数据报表页面中展示所述洞察数据。
11.根据权利要求9所述的洞察数据的确定方法,所述将所述目标操作数据集合中的目标操作数据确定为洞察数据进行输出,包括:
根据所述目标操作数据集合中的所述目标操作数据,生成洞察数据报表页面,其中,所述洞察数据报表页面中展示所述洞察数据;
将洞察数据可视化界面显示的原洞察数据页面替换为所述洞察数据报表页面。
12.根据权利要求1所述的洞察数据的确定方法,所述按照所述操作数据和针对所述操作数据的操作执行顺序,构建操作数据矩阵,包括:
将以获取的所述操作数据中操作次数最大值,作为列数;
对所述操作次数不满足所述最大值要求的列,以空值填充;
将以获取的所述操作数据中的用户数,作为行数;
根据所述列数和所述行数,以及获取的所述操作数据,按照所述操作执行顺序,构建第一操作数据矩阵;
将所述第一操作数据矩阵中的所述操作数据中的参数替换为模板参数,获得转换后的第一操作数据模板矩阵;
对所述第一操作数据模板矩阵中相邻且相同的操作数据模板进行合并,获得第二操作数据模板矩阵;
将所述第二操作数据模板矩阵,确定为所述操作数据矩阵。
13.根据权利要求12所述的洞察数据的确定方法,所述根据所述操作数据矩阵,确定目标操作数据集合,包括:
采用频繁项集的方式,在所述第二操作数据模板矩阵中选取满足选取要求的目标操作数据模板;
根据选取的所述目标操作数据,确定所述目标操作数据模板集合;
将所述目标操作数据模板集合确定为所述目标操作数据集合。
14.根据权利要求13所述的洞察数据的确定方法,所述将所述目标操作数据集合中的目标操作数据确定为洞察数据进行输出,包括:
根据所述目标操作数据模板集合中的所述目标操作数据模板,生成具有针对参数可操作的交互式洞察数据报表页面,其中,所述交互式洞察数据报表页面能够根据用户的操作,展示与所述操作匹配的所述洞察数据;
将所述交互式洞察数据报表页面展示到洞察数据可视化界面上。
15.根据权利要求13所述的洞察数据的确定方法,所述将所述目标操作数据集合中的目标操作数据确定为洞察数据进行输出,包括:
根据所述目标操作数据集合中的所述目标操作数据模板,生成具有针对参数可操作的交互式洞察数据报表页面,其中,所述交互式洞察数据报表页面能够根据用户的操作,展示与所述操作匹配的所述洞察数据;
将洞察数据可视化界面显示的原洞察数据页面替换为所述交互式洞察数据报表页面。
16.根据权利要求1所述的洞察数据的确定方法,所述按照所述操作数据和针对所述操作数据的操作执行顺序,构建操作数据矩阵,包括:
将以获取的所述操作数据中操作次数最大值,作为矩阵列数;
对所述操作次数不满足所述最大值要求的列,以空值填充;
将以获取的所述操作数据中的用户数,作为矩阵行数;
根据所述列数和所述行数,以及获取的所述操作数据,按照所述操作执行顺序,构建第一操作数据矩阵;
将所述第一操作数据矩阵中的所述操作数据中的参数替换为模板参数,获得转换后的第一操作数据模板矩阵;
对所述第一操作数据模板矩阵中相邻且相同的所述操作数据进行合并,获得第二操作数据模板矩阵;
根据所述用户使用所述第二操作数据模板矩阵中数据模板的频率或次数,构建第三操作数据模板矩阵;
将所述第三操作数据模板矩阵,确定为所述操作数据矩阵。
17.根据权利要求16所述的洞察数据的确定方法,所述根据所述操作数据矩阵,确定目标操作数据集合,包括:
采用协同过滤的方式,在所述第三操作数据模板矩阵中,选取使用次数满足选取相似度要求的目标操作数据模板;
根据选取的所述目标操作数据模板,确定目标操作数据模板使用集合;
将所述目标操作数据模板使用集合确定为所述目标操作数据集合。
18.根据权利要求17所述的洞察数据的确定方法,所述将所述目标操作数据集合中的目标操作数据确定为洞察数据进行输出,包括:
根据所述目标操作数据模板使用集合中的目标操作数据模板,生成与所述用户的操作数据相匹配的、且具有针对参数可操作的交互式洞察数据报表页面,其中,所述交互式洞察数据报表页面能够根据所述用户的操作,展示与所述操作匹配的所述洞察数据;
将所述交互式洞察数据报表页面展示到洞察数据可视化界面上。
19.根据权利要求17所述的洞察数据的确定方法,所述将所述目标操作数据集合中的目标操作数据确定为洞察数据进行输出,包括:
根据所述目标操作数据模板使用集合中的目标操作数据模板,生成与所述用户的操作数据相匹配的、且具有针对参数可操作的交互式洞察数据报表页面,其中,所述交互式洞察数据报表页面能够根据所述用户的操作,展示与所述操作匹配的所述洞察数据;
将洞察数据可视化界面显示的原洞察数据页面替换为所述交互式洞察数据报表页面。
20.根据权利要求1所述的洞察数据的确定方法,所述将所述目标操作数据集合中的目标操作数据确定为洞察数据进行输出,包括:
将所述目标操作数据集合中的目标操作数据确定为洞察数据存储到洞察数据库中;
从所述洞察数据库中获取所述洞察数据进行输出。
21.一种洞察数据的确定装置,包括:
获取单元,用于获取用户的操作数据;
构建单元,用于按照所述操作数据和针对所述操作数据的操作执行顺序,构建操作数据矩阵;
确定单元,用于根据所述操作数据矩阵,确定目标操作数据集合;
输出单元,用于将所述目标操作数据集合中的目标操作数据确定为洞察数据进行输出。
22.一种数据洞察的交互方法,包括:
基于查询操作界面发送针对目标数据库的数据查询请求;
根据所述数据查询请求,采集用户针对目标数据库的操作数据,并按照所述操作数据和针对所述操作数据的操作执行顺序,构建操作数据矩阵,根据所述操作数据矩阵,确定目标操作数据集合,将所述目标操作数据集合中的目标操作数据确定为洞察数据进行输出;
所述查询操作界面根据接收的所述洞察数据生成能够展示所述洞察数据的洞察数据界面,并在所述查询操作界面进行展示。
23.一种数据洞察系统,包括:操作数据采集模块、目标数据库、数据洞察模块和洞察数据界面生成模块;
所述操作数据采集模块用于采集用户针对所述目标数据库的操作数据;
所述数据洞察模块用于按照所述操作数据和针对所述操作数据的操作执行顺序,构建操作数据矩阵;根据所述操作数据矩阵,确定目标操作数据集合;将所述目标操作数据集合中的目标操作数据确定为洞察数据;
所述洞察数据界面生成模块,用于根据所述洞察数据生成能够展示所述洞察数据的洞察数据界面。
24.根据权利要求23所述的数据洞察系统,还包括:操作日志数据库,用于存储所述操作数据采集模块采集的所述操作数据。
25.根据权利要求23所述的数据洞察系统,还包括:
洞察数据库,用于存储所述数据洞察模块确定的所述洞察数据;所述洞察数据界面生成模块从所述洞察数据库中获取所述洞察数据,并生成所述交互式界面。
26.根据权利要求23所述的数据洞察系统,还包括:
查询操作模块,用于向提供用户进行数据查询的查询界面;
所述操作数据采集模块,用于基于所述查询界面,采集所述用户针对所述目标数据库的操作数据;
所述洞察数据界面生成模块,用于根据所述洞察数据对所述查询界面进行再生成,生成能够展示所述洞察数据的所述洞察数据界面。
27.一种计算机存储介质,用于存储网络平台产生数据,以及对应所述网络平台产生数据进行处理的程序;
所述程序在被读取执行时,执行如下步骤:
获取用户针对目标数据库的操作数据;
按照所述操作数据和针对所述操作数据的操作执行顺序,构建操作数据矩阵;
根据所述操作数据矩阵,确定目标操作数据集合;
将所述目标操作数据集合中的目标操作数据确定为洞察数据进行输出;
或者,执行如下步骤:
基于查询操作界面发送操作数据查询请求;
根据接收的所述操作数据查询请求,采集用户针对目标数据库的操作数据,并按照所述操作数据和针对所述操作数据的操作执行顺序,构建操作数据矩阵,根据所述操作数据矩阵,确定目标操作数据集合,将所述目标操作数据集合中的目标操作数据确定为洞察数据进行输出;
所述查询操作界面接收所述洞察数据,并根据所述洞察数据生成能够展示所述洞察数据的洞察数据界面。
28.一种电子设备,包括:
处理器;
存储器,用于存储对网络平台产生数据进行处理的程序,所述程序在被所述处理器读取执行时,执行如下步骤:
获取用户针对目标数据库的操作数据;
按照所述操作数据和针对所述操作数据的操作执行顺序,构建操作数据矩阵;
根据所述操作数据矩阵,确定目标操作数据集合;
将所述目标操作数据集合中的目标操作数据确定为洞察数据进行输出;
或者,执行如下步骤:
基于查询操作界面发送操作数据查询请求;
根据接收的所述操作数据查询请求,采集用户针对目标数据库的操作数据,并按照所述操作数据和针对所述操作数据的操作执行顺序,构建操作数据矩阵,根据所述操作数据矩阵,确定目标操作数据集合,将所述目标操作数据集合中的目标操作数据确定为洞察数据进行输出;
所述查询操作界面接收所述洞察数据,并根据所述洞察数据生成能够展示所述洞察数据的洞察数据界面。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010730829.2A CN113297040A (zh) | 2020-07-27 | 2020-07-27 | 洞察数据的确定方法和装置,计算机存储介质和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010730829.2A CN113297040A (zh) | 2020-07-27 | 2020-07-27 | 洞察数据的确定方法和装置,计算机存储介质和电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113297040A true CN113297040A (zh) | 2021-08-24 |
Family
ID=77318008
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010730829.2A Pending CN113297040A (zh) | 2020-07-27 | 2020-07-27 | 洞察数据的确定方法和装置,计算机存储介质和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113297040A (zh) |
-
2020
- 2020-07-27 CN CN202010730829.2A patent/CN113297040A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10740548B2 (en) | Dynamic report building using a heterogeneous combination of filtering criteria | |
US20200226133A1 (en) | Knowledge map building system and method | |
CN107016001B (zh) | 一种数据查询方法及装置 | |
US20060190432A1 (en) | System and method for graphically distinguishing levels of a multidimensional database | |
CN105474231A (zh) | 对数据的自动识别和洞察 | |
US11341449B2 (en) | Data distillery for signal detection | |
WO2008070240A2 (en) | Data charting with adaptive learning | |
CN105786808A (zh) | 一种用于分布式执行关系型计算指令的方法与设备 | |
EP2889788A1 (en) | Accessing information content in a database platform using metadata | |
CN103218365A (zh) | 一种SSTable文件数据处理方法及其系统 | |
WO2011090519A1 (en) | Accessing large collection object tables in a database | |
US11921991B2 (en) | Data visualization tool with guided visualization creation and secure publication features, and graphical user interface thereof | |
CN106605222B (zh) | 有指导的数据探索 | |
CN111782951A (zh) | 确定展示页面的方法和装置、以及计算机系统和介质 | |
US20190179638A1 (en) | Automatic creation of macro-services | |
US9606997B2 (en) | Inferred operations for data analysis | |
Schulz et al. | A systematic view on data descriptors for the visual analysis of tabular data | |
Navarro-Lopez et al. | “The statistical analysis of compositional data” by John Aitchison (1986): a bibliometric overview | |
US11803761B2 (en) | Analytic insights for hierarchies | |
Beilschmidt et al. | Interactive data exploration for geoscience | |
Ganguly | R data analysis Cookbook | |
Destandau et al. | S-Paths: Set-based visual exploration of linked data driven by semantic paths | |
CN113297040A (zh) | 洞察数据的确定方法和装置,计算机存储介质和电子设备 | |
US8417594B2 (en) | Dimension-based financial reporting using multiple combinations of dimensions | |
CN115857929A (zh) | 资源数据处理方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40058615 Country of ref document: HK |