CN108874926A - 海量数据查询方法、装置、计算机设备和存储介质 - Google Patents

海量数据查询方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN108874926A
CN108874926A CN201810548098.2A CN201810548098A CN108874926A CN 108874926 A CN108874926 A CN 108874926A CN 201810548098 A CN201810548098 A CN 201810548098A CN 108874926 A CN108874926 A CN 108874926A
Authority
CN
China
Prior art keywords
data
event
query
attribute
platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810548098.2A
Other languages
English (en)
Other versions
CN108874926B (zh
Inventor
王小亮
王凯柳
王玉
石峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kang Keyi Information Technology (shenzhen) Co Ltd
Original Assignee
Kang Keyi Information Technology (shenzhen) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kang Keyi Information Technology (shenzhen) Co Ltd filed Critical Kang Keyi Information Technology (shenzhen) Co Ltd
Priority to CN201810548098.2A priority Critical patent/CN108874926B/zh
Publication of CN108874926A publication Critical patent/CN108874926A/zh
Application granted granted Critical
Publication of CN108874926B publication Critical patent/CN108874926B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本申请涉及一种海量数据查询方法、装置、计算机设备和存储介质。所述方法包括:获取业务人员通过数据查询平台选择的数据源;根据选取的数据源在属性选择区域中展示对应的供选择的属性,该属性包括条件、维度、指标和计算方式;根据获取的属性生成查询语句,在数据仓库查询与所述查询语句相应的数据,将查询到的数据结果在该数据查询平台展示。采用本方法能够避免了不同业务场景下需要不断确认用户范围和边界条件的情形,可以让业务人员自行设置条件进行查询,从而节省了时间成本,不会造成人力资源的浪费。

Description

海量数据查询方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域,特别是涉及一种海量数据查询方法、装置、计算机设备和存储介质。
背景技术
为了从根本上解决业务人员根据不同的业务场景探究当前数据状况的一系列需求,使业务人员可以定制、实时的根据当下场景进行数据的简单分析,因此需要一个能够提供海量数据,且又能够根据当下场景的需求实时、自助的进行数据查询的平台。
正常的数据需求,通常需要运营、产品人员整理需求,提出需求给开发团队进行排期开发,才能得到反馈。而一些业务场景需要不断确认用户范围或边界条件。因此会有诸多简单的探索性数据需求。而此类需求需要反复尝试多次方可找出最优解,让通过开发团队完成需求,时间成本高,也造成了人力资源的浪费。
发明内容
基于此,有必要针对上述技术问题,提供一种能够能节省时间成本,能减轻人力资源浪费的海量数据查询方法、装置、计算机设备和存储介质。
一种海量数据查询方法,该方法包括:
获取业务人员在数据查询平台选择的数据源;
获取属性选择区域显示的与该数据源对应的属性,该属性包括条件、维度、指标和计算方式;
根据获取的属性生成查询语句,在数据仓库查询与所述查询语句相应的数据,将查询到的数据结果在该数据查询平台展示。
在其中一个实施例中,还包括:
创建数据表,该数据表附加数据相应的日期后缀;
将创建的数据表导入该数据仓库,该数据仓库用于根据该数据表中的日期后缀根据时间顺序对数据和数据结构进行更新。
在其中一个实施例中,还包括:
检测新增数据表,进入新增数据表的配置页面;
通过在该配置页面中配置数据表的描述信息以及配置数据表的字段作为条件、维度和指标以及该字段运行的计算方式。
在其中一个实施例中,还包括:
获取选择的数据源和属性,根据该选择的数据源和属性生成查询模板。
在其中一个实施例中,还包括:
展示漏斗分析平台页面,该漏斗分析平台页面展示了路径编辑区;
通过路径编辑区进入事件选择页面,通过该事件选择页面添加多个事件;
获取事件对应的事件编码,根据事件编码获取查询结果并展示;
每次展示查询结果获取业务人员选择的不同维度,在不同维度下展示不同指标的查询结果。
在其中一个实施例中,还包括:
当业务人员选择的事件个数大于1时,获取模板生成指令;
根据模板生成指令按照选择事件的顺序生成路径查询模板;
获取路径查询模板请求指令;
根据路径查询模板请求指令按照事件的顺序进行查询。
在其中一个实施例中,还包括:
为添加的事件标注描述,生成事件规则表,该事件规则表中包含事件和描述参数;
从数据仓库中获取用户行为日志,根据用户行为日志生成事件源,该事件源包含事件和事件描述;
根据该事件规则表中的事件和事件源中的事件描述生成事件的唯一事件编码;
将用户标识、事件、事件描述和事件编码加入到用户行为日志中,将用户行为日志转换为唯一的事件编码。
一种海量数据查询装置,该装置包括:
数据源选择模块,用于获取业务人员在数据查询平台选择的数据源;
属性选择模块,用于获取属性选择区域显示的与该数据源对应的属性,该属性包括条件、维度、指标和计算方式;
查询模块,用于根据获取的属性生成查询语句,在数据仓库查询与所述查询语句相应的数据,将查询到的数据结果在该数据查询平台展示。
一种计算机设备,包括存储器和处理器,该存储器存储有计算机程序,该处理器执行该计算机程序时实现以下步骤:
获取业务人员通过数据查询平台选择的数据源;
根据选取的数据源在属性选择区域中展示对应的供选择的属性,该属性包括条件、维度、指标和计算方式;
根据获取的属性生成查询语句,在数据仓库查询与所述查询语句相应的数据,将查询到的数据结果在该数据查询平台展示。
一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取业务人员通过数据查询平台选择的数据源;
根据选取的数据源在属性选择区域中展示对应的供选择的属性,该属性包括条件、维度、指标和计算方式;
根据获取的属性生成查询语句,在数据仓库查询与所述查询语句相应的数据,将查询到的数据结果在该数据查询平台展示。
上述海量数据查询方法、装置、计算机设备和存储介质,通过在数据查询平台中选择数据源,并可以通过数据查询平台选择对应的属性,其中包括可以选择条件、未读、指标和计算方式,根据获取的属性生成查询语句进行查询,避免了不同业务场景下需要不断确认用户范围和边界条件的情形,可以让业务人员自行设置条件进行查询,从而节省了时间成本,不会造成人力资源的浪费。
附图说明
图1为一个实施例中海量数据查询方法的应用场景图;
图2为一个实施例中海量数据查询方法的流程示意图;
图3为一个实施例中创建数据表的步骤的流程示意图;
图4为一个实施例中用户自助查询的流程示意图;
图5为一个实施例中自助查询页面的示意图;
图6为一个实施例中漏斗分析的流程示意图;
图7为一个实施例中漏斗分析平台页面的示意图;
图8为一个实施例中漏斗事件选择页面的示意图;
图9为一个实施例中漏洞分析后的数据查看界面示意图;
图10为一个实施例中海量数据查询方法的平台架构的示意图;
图11为一个实施例中海量数据查询装置的结构框图;
图12为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的海量数据查询方法,可以应用于如图1所示的应用环境中。其中,终端110与服务器120通过网络进行通信。服务器120获取业务人员通过数据查询平台选择的数据源;根据选取的数据源在属性选择区域中展示对应的供选择的属性,该属性包括条件、维度、指标和计算方式;根据获取的属性生成查询语句,在数据仓库查询与所述查询语句相应的数据,将查询到的数据结果在该数据查询平台展示。该数据查询平台在终端110上展示。其中,终端1110可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种海量数据查询方法,以该方法应用于图1中的服务器120为例进行说明,包括以下步骤:
S202,获取业务人员通过数据查询平台选择的数据源。
其中,业务人员是操作数据查询平台进行数据查询的用户。数据查询平台具体可以是一种海量数据查询平台,该海量数据查询平台采用hadoop(分布式)架构,是一种分布式集群系统架构的数据查询平台。Hadoop架构的系统可以包括HDFS(Hadoop DistributedFile System,分布式文件系统)、MapReduce(分布式系统的编程模型)、HBase(HadoopDatabase,分布式存储系统)、Hive(数据库工具)和ZooKeeper(分布式系统的可靠协调系统)等模块。数据源是存储了与数据库建立连接的指示信息的数据集合。
在一个实施例中,服务器在接收到终端发送的数据查询页面展示请求后,向终端反馈数据查询页面的页面文件,页面文件中提供了可选择的数据源相应的标识。终端接收到服务器反馈的页面文件后,可以在终端上展示数据查询页面,且数据查询页面上可以展示多个供选择的数据源。终端接收到业务人员通过鼠标和键盘触发的数据源选取指令,将该数据源选取指令发送至服务器。
S204,根据选取的数据源在属性选择区域中展示对应的供选择的属性,该属性包括条件、维度、指标和计算方式;
其中,属性选择区域是数据查询平台上选择数据查询相应的属性的部分页面。条件是数据查询所要选择的属性。维度是查询结果在数据查询平台上展示的属性。指标是维度下的查询结果的数量特征的属性。计算方式是通过条件计算出维度下的指标的方式。计算方式具体可以包括去重累计数、累计数、平均值、累加值、最大值和最小值等中的至少一种。具体的,根据选取的数据源在属性选择区域中展示对应的供选择的属性,可以是通过鼠标或触摸屏等输入装置点击属性的选择按键,也可以是通过鼠标或触摸屏等输入装置拖动属性的选择按键。
S206,根据获取的属性生成查询语句,在数据仓库查询与所述查询语句相应的数据,将查询到的数据结果在该数据查询平台展示。
其中,查询语句是用于查询数据的计算机语句。数据仓库是存储海量数据查询平台中数据的数据库。数据仓库具体可以是HDFS。
在一个实施例中,服务器在接收到终端反馈的属性时,根据属性中的条件生成查询语句,并根据查询语句在数据库中查询出查询结果。服务器还根据属性中的维度生成不同的指标,并将生成的指标发送给终端。终端上根据选择的维度可以展示相应的指标。
上述海量数据查询方法中,通过在数据查询平台中选择数据源,并可以通过数据查询平台选择对应的属性,其中包括可以选择条件、未读、指标和计算方式,根据获取的属性生成查询语句进行查询,避免了不同业务场景下需要不断确认用户范围和边界条件的情形,可以让业务人员自行设置条件进行查询,从而节省了时间成本,不会造成人力资源的浪费。
如图3所示,在其中一个实施例中,还包括创建数据表的步骤:S302,创建数据表,该数据表附加数据相应的日期后缀;S304,将创建的数据表导入该数据仓库,该数据仓库用于根据该数据表中的日期后缀根据时间顺序对数据和数据结构进行更新。
其中,数据表上附加数据相应的日期后缀,具体可以是在数据表的最后一列添加日期表格,在日期表格中添加数据获取到的日期。数据结构是数据仓库中数据的存储、组织方式。
在一个实施例中,服务器在获取到用户行为信息时,使用zeus宙斯脚本将用户行为信息写入到数据表中,并将获取到该用户行为信息的时间作为日期后缀添加在数据表中。在服务器使用hive脚本将数据表导入数据仓库时,预先识别数据表中的日期后缀,按照预设的时间段选取相应日期后缀的数据,并将选取的数据统一更新到数据仓库中。其中,zeus宙斯脚本是分布式工作流调度作业平台的自动调度脚本。hive脚本是更新数据仓库的自动调度脚本。
本实施例中,通过在zeus宙斯脚本创建数据表时,在数据表上附加数据相应的日期后缀,就可以在将数据表导入数据仓库时,根据数据表中的日期后缀自动进行数据和数据结构的更新,不仅能够通过自动更新提高将数据表导入数据仓库的效率,还可以根据日期后缀分时间段进行更新,避免了更新数据时出现错误,提高了数据更新的准确率。
在其中一个实施例中,还包括:检测新增数据表,进入新增数据表的配置页面;通过在该配置页面中配置数据表的描述信息以及配置数据表的字段作为条件、维度和指标以及该字段运行的计算方式。
其中,配置页面是将新增数据表配置为数据源的页面。描述信息是描述数据表中数据的详细信息。数据表的字段是指示数据表中数据的类列,一般情况下数据表的列被成为字段。举例说明,在通讯录数据表中,姓名、联系电话和家庭地址可以被称为字段。
在一个实施例中,服务器检测到数据库更新数据和更新表结构后,进行数据表的配置,在选取数据表相应的数据源后,判断数据表中的字段是否可以作为指标,在判断结果为是时,则配置指标相应的计算方式,若判断结果为否时,则取消配置指标的计算方式,并保存最后的配置结果。
本实施例中,在检测到新增数据表时,通过进入到新增数据表的配置页面,根据数据表的描述信息和字段作为条件、维度、指标和计算方式,可以保证新增的数据表都能够在进行数据查询时被查询到,从而保证了数据查询的完善性。
如图4所示,在其中一个实施例中,该方法还包括用户自助查询的步骤:S402,获取选择的数据源和属性;S404,根据该选择的数据源和属性生成查询模板。
其中,查询模板是数据源、条件、维度、指标和计算方式的组合。
如图5所示,为一个实施例中自助查询页面的示意图,在本实施例中,可以通过鼠标和触摸屏等输入装置将属性标签拖拽至条件区、维度区和指标区,还可以预览查询结果,以决定是否进行下一步的数据查询。
在一个实施例中,服务器接收到终端发送的查询模板生成指令时,根据终端选取的数据源、条件、维度、指标和计算方式,生成查询模板并保存至数据仓库。
在一个实施例中,服务器接收到终端发送的数据查询指令,且在终端选取条件时,从数据仓库中检索包含了终端选取的条件的查询模板,并将查询到的查询模板推送给终端。
本实施例中,通过将数据源、条件、维度、指标和计算方式作为查询模板,可以在后续的查询中,不用再次选取数据源、条件、维度、指标和计算方式,而可以直接进行查询,得到查询结果,大幅度的提高了数据查询的效率。
如图6所示,在其中一个实施例中,该方法还包括漏斗分析的步骤:S602,展示漏斗分析平台页面,该漏斗分析平台页面展示了路径编辑区;S604,通过路径编辑区进入事件选择页面,通过该事件选择页面添加多个事件;S606,获取事件对应的事件编码,根据事件编码获取查询结果并展示;S608,每次展示查询结果获取业务人员选择的不同维度,在不同维度下展示不同指标的查询结果。如图7所示,为一个实施例中漏斗分析平台页面的示意图,如图8所示,为一个实施例中漏斗事件选择页面的示意图,如图9所示,为一个实施例中漏斗分析后的数据查看界面示意图。
其中,漏斗分析平台页面是用于漏斗分析查询的页面。路径编辑区是漏斗分析平台页面上选取用于进行漏斗分析查询的事件的分区。事件编码是对事件进行区分的编码。
在一个实施例中,在选择事件编码进行数据查询时,可以选择进行参数查询,当选择了进行参数查询时,在选择事件的同时选择相应的参数,并根据事件和参数进行计算,得到查询结果。
本实施例中,在进行数据查询时,可以通过路径编辑区进入事件选择页面,在事件选择页面中添加多个事件,并获取添加的事件对应的事件编码,就可以根据事件编码获取查询结果,而相同的查询结果可以在业务人员选择不同的维度时,展示不同指标的查询结果,从而可以尽可能多的展示出不同的查询结果。
在其中一个实施例中,还包括:当业务人员选择的事件个数大于1时,获取模板生成指令;根据模板生成指令按照选择事件的顺序生成路径查询模板;获取路径查询模板请求指令;根据路径查询模板请求指令按照事件的顺序进行查询。
其中,模板生成指令是用于生成路径查询模板的指令。路径查询模板是将事件的选择顺序作为查询顺序的模板。路径查询模板请求指令是请求根据路径查询模板进行查询的指令。
在一个实施例中,服务器根据路径查询模板进行查询时,将每个查询步骤下查询到的查询结果按照查询的顺序进行排列,生成查询结果模板,并将查询结果模板反馈给终端。
本实施例中,在业务人员选取的事件个数大于1时,根据选取事件的顺序生成路径查询模板,再根据路径查询模板按照事件的选取顺序进行查询,由于事件选取的顺序不同,在查询过程中得到的查询结果也会不同,因此通过路径查询模板来查询,可以保证查询到的结果满足业务人员的需求,从而保证了查询结果的准确率。
在其中一个实施例中,还包括:为添加的事件标注描述,生成事件规则表,该事件规则表中包含事件和描述参数;从数据仓库中获取用户行为日志,根据用户行为日志生成事件源,该事件源包含事件和事件描述;根据该事件规则表中的事件和事件源中的事件描述生成事件的唯一事件编码;将用户标识、事件、事件描述和事件编码加入到用户行为日志中,将用户行为日志转换为唯一的事件编码。
在一个实施例中,海量数据查询平台在进行数据查询时,向服务器发送选取的事件编码。服务器根据接收到的事件编码,在数据仓库中查询与该事件编码相对应的用户行为日志,再根据计算方式将用户行为日志转换成查询结果。
本实施例中,通过对事件标注描述,生成事件规则表,再根据用户行为日志获取事件源。根据事件规则表中的事件和事件源中的事件描述生成唯一事件编码,再将用户标识、事件、事件描述和事件编码加入到用户行为日志中后,将用户行为日志转换为唯一的事件编码,可以在根据事件编码进行数据查询时,快速定位到相应的用户行为日志,减少了查询数据所花费的时间,提高了数据查询的效率。
应该理解的是,虽然图2-4和6的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-4和6中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
如图10所示,在一个实施例中,还提供了一种海量数据查询平台的平台架构,该海量数据查询平台可以实现一种海量数据查询方法。在海量数据查询平台的平台架构中,服务器可以是图10中的ES后端服务、ES-SQL插件、ES查询引擎和presto查询引擎。图10中的分析平台页面可以是终端上展示的海量数据查询平台的页面。在分析平台页面提交查询对象时,ES后端服务将查询对象转换成sql数据源能够识别的语句,即查询sql。再通过ES-SQL插件将sql语句解析成es查询语句,通过ES查询引擎和presto查询引擎进行查询。再通过ES后端服务和ES-SQL插件将查询到的数据转换成查询结果,在分析平台页面上展示。
在一个实施例中,如图11所示,提供了一种海量数据查询装置1100,包括:数据源选择模块1102、属性选择模块1104和查询模块1106,其中:
数据源选择模块1102,用于获取业务人员通过数据查询平台选择的数据源;
属性选择模块1104,用于根据选取的数据源在该属性选择区域中展示对应的供选择的属性,该属性包括条件、维度、指标和计算方式;
查询模块1106,用于根据获取的属性生成查询语句,在数据仓库查询与所述查询语句相应的数据,将查询到的数据结果在该数据查询平台展示。
在其中一个实施例中,该装置还包括:日期后缀添加模块,用于创建数据表,该数据表附加数据相应的日期后缀;数据仓库更新模块,用于将创建的数据表导入该数据仓库,该数据仓库根据该数据表中的日期后缀根据时间顺序对数据和数据结构进行更新。
在其中一个实施例中,该装置还包括:配置页面进入模块,用于检测新增数据表,进入新增数据表的配置页面;数据表属性配置模块,用于通过在该配置页面中配置数据表的描述信息以及配置数据表的字段作为条件、维度和指标以及该字段运行的计算方式。
在其中一个实施例中,该装置还包括:查询模板生成模块,用于获取选择的数据源和属性,根据该选择的数据源和属性生成查询模板。
在其中一个实施例中,该装置还包括:页面展示模块,用于展示漏斗分析平台页面,该漏斗分析平台页面展示了路径编辑区;事件选择模块,用于通过路径编辑区进入事件选择页面,通过该事件选择页面添加多个事件;事件编码获取模块,用于获取事件对应的事件编码,根据事件编码获取查询结果并展示;结果展示模块,用于每次展示查询结果获取业务人员选择的不同维度,在不同维度下展示不同指标的查询结果。
在其中一个实施例中,该装置还包括:指令获取模块,用于当业务人员选择的事件个数大于1时,获取模板生成指令;模板生成模块,用于根据模板生成指令按照选择事件的顺序生成路径查询模板;该指令获取模块,还用于获取路径查询模板请求指令;查询模块,用于根据路径查询模板请求指令按照事件的顺序进行查询。
在其中一个实施例中,该装置还包括:事件标注模块,用于为添加的事件标注描述,生成事件规则表,该事件规则表中包含事件和描述参数;事件源生成模块,用于从数据仓库中获取用户行为日志,根据用户行为日志生成事件源,该事件源包含事件和事件描述;事件编码生成模块,用于根据该事件规则表中的事件和事件源中的事件描述生成事件的唯一事件编码;事件编码转换模块,用于将用户标识、事件、事件描述和事件编码加入到用户行为日志中,将用户行为日志转换为唯一的事件编码。
关于海量数据查询装置的具体限定可以参见上文中对于海量数据查询方法的限定,在此不再赘述。上述海量数据查询装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据表和用户行为日志。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种海量数据查询方法。
本领域技术人员可以理解,图12中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,该存储器存储有计算机程序,该处理器执行计算机程序时实现以下步骤:获取业务人员通过数据查询平台选择的数据源;根据选取的数据源在属性选择区域中展示对应的供选择的属性,该属性包括条件、维度、指标和计算方式;根据获取的属性生成查询语句,在数据仓库查询与所述查询语句相应的数据,将查询到的数据结果在该数据查询平台展示。
上述计算机设备,通过在数据查询平台中选择数据源,并可以通过数据查询平台选择对应的属性,其中包括可以选择条件、未读、指标和计算方式,根据获取的属性生成查询语句进行查询,避免了不同业务场景下需要不断确认用户范围和边界条件的情形,可以让业务人员自行设置条件进行查询,从而节省了时间成本,不会造成人力资源的浪费。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:创建数据表,该数据表附加数据相应的日期后缀;将创建的数据表导入该数据仓库,该数据仓库根据该数据表中的日期后缀根据时间顺序对数据和数据结构进行更新。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:检测新增数据表,进入新增数据表的配置页面;通过在该配置页面中配置数据表的描述信息以及配置数据表的字段作为条件、维度和指标以及该字段运行的计算方式。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:获取选择的数据源和属性,根据该选择的数据源和属性生成查询模板。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:展示漏斗分析平台页面,该漏斗分析平台页面展示了路径编辑区;通过路径编辑区进入事件选择页面,通过该事件选择页面添加多个事件;获取事件对应的事件编码,根据事件编码获取查询结果并展示;每次展示查询结果获取业务人员选择的不同维度,在不同维度下展示不同指标的查询结果。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:当业务人员选择的事件个数大于1时,获取模板生成指令;根据模板生成指令按照选择事件的顺序生成路径查询模板;获取路径查询模板请求指令;根据路径查询模板请求指令按照事件的顺序进行查询。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:为添加的事件标注描述,生成事件规则表,该事件规则表中包含事件和描述参数;从数据仓库中获取用户行为日志,根据用户行为日志生成事件源,该事件源包含事件和事件描述;根据该事件规则表中的事件和事件源中的事件描述生成事件的唯一事件编码;将用户标识、事件、事件描述和事件编码加入到用户行为日志中,将用户行为日志转换为唯一的事件编码。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:获取业务人员通过数据查询平台选择的数据源;根据选取的数据源在属性选择区域中展示对应的供选择的属性,该属性包括条件、维度、指标和计算方式;根据获取的属性生成查询语句,在数据仓库查询与所述查询语句相应的数据,将查询到的数据结果在该数据查询平台展示。
上述计算机可读存储介质,通过在数据查询平台中选择数据源,并可以通过数据查询平台选择对应的属性,其中包括可以选择条件、未读、指标和计算方式,根据获取的属性生成查询语句进行查询,避免了不同业务场景下需要不断确认用户范围和边界条件的情形,可以让业务人员自行设置条件进行查询,从而节省了时间成本,不会造成人力资源的浪费。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:创建数据表,该数据表上附加数据相应的日期后缀;将创建的数据表导入数据仓库,该数据仓库根据该数据表中的日期后缀根据时间顺序对数据和数据结构进行更新。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:检测新增数据表,进入新增数据表的配置页面;通过在该配置页面中配置数据表的描述信息以及配置数据表的字段作为条件、维度和指标以及该字段运行的计算方式。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:获取选择的数据源和属性,根据该选择的数据源和属性生成查询模板。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:展示漏斗分析平台页面,该漏斗分析平台页面展示了路径编辑区;通过路径编辑区进入事件选择页面,通过该事件选择页面添加多个事件;获取事件对应的事件编码,根据事件编码获取查询结果并展示;每次展示查询结果获取业务人员选择的不同维度,在不同维度下展示不同指标的查询结果。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:当业务人员选择的事件个数大于1时,获取模板生成指令;根据模板生成指令按照选择事件的顺序生成路径查询模板;获取路径查询模板请求指令;根据路径查询模板请求指令按照事件的顺序进行查询。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:为添加的事件标注描述,生成事件规则表,该事件规则表中包含事件和描述参数;从数据仓库中获取用户行为日志,根据用户行为日志生成事件源,该事件源包含事件和事件描述;根据该事件规则表中的事件和事件源中的事件描述生成事件的唯一事件编码;将用户标识、事件、事件描述和事件编码加入到用户行为日志中,将用户行为日志转换为唯一的事件编码。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种海量数据查询方法,所述方法包括:
获取业务人员在数据查询平台选择的数据源;
获取属性选择区域显示的与所述数据源对应的属性,所述属性包括条件、维度、指标和计算方式;
根据获取的属性生成查询语句,在数据仓库查询与所述查询语句相应的数据,将查询到的数据结果在所述数据查询平台展示。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
创建数据表,所述数据表附加数据相应的日期后缀;
将创建的数据表导入所述数据仓库,所述数据仓库用于根据所述数据表中的日期后缀根据时间顺序对数据和数据结构进行更新。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
检测新增数据表,进入新增数据表的配置页面;
通过在所述配置页面中配置数据表的描述信息以及配置数据表的字段作为条件、维度和指标以及所述字段运行的计算方式。
4.根据权利要求1所述的方法,其特征在于,在将查询到的数据结果在所述数据查询平台展示之后,还包括:
获取选择的数据源和属性;
根据所述选择的数据源和属性生成查询模板。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
展示漏斗分析平台页面,所述漏斗分析平台页面展示了路径编辑区;
通过路径编辑区进入事件选择页面,通过所述事件选择页面添加多个事件;
获取事件对应的事件编码,根据事件编码获取查询结果并展示;
每次展示查询结果获取业务人员选择的不同维度,在不同维度下展示不同指标的查询结果。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
当业务人员选择的事件个数大于1时,获取模板生成指令;
根据模板生成指令按照选择事件的顺序生成路径查询模板;
获取路径查询模板请求指令;
根据路径查询模板请求指令按照事件的顺序进行查询。
7.根据权利要求5所述的方法,其特征在于,所述方法还包括:
为添加的事件标注描述,生成事件规则表,所述事件规则表中包含事件和描述参数;
从数据仓库中获取用户行为日志,根据用户行为日志生成事件源,所述事件源包含事件和事件描述;
根据所述事件规则表中的事件和事件源中的事件描述生成事件的唯一事件编码;
将用户标识、事件、事件描述和事件编码加入到用户行为日志中,将用户行为日志转换为唯一的事件编码。
8.一种海量数据查询装置,其特征在于,所述装置包括:
数据源选择模块,用于获取业务人员在数据查询平台选择的数据源;
属性选择模块,用于获取属性选择区域显示的与所述数据源对应的属性,所述属性包括条件、维度、指标和计算方式;
查询模块,用于根据获取的属性生成查询语句,在数据仓库查询与所述查询语句相应的数据,将查询到的数据结果在所述数据查询平台展示。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN201810548098.2A 2018-05-31 2018-05-31 海量数据查询方法、装置、计算机设备和存储介质 Active CN108874926B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810548098.2A CN108874926B (zh) 2018-05-31 2018-05-31 海量数据查询方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810548098.2A CN108874926B (zh) 2018-05-31 2018-05-31 海量数据查询方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN108874926A true CN108874926A (zh) 2018-11-23
CN108874926B CN108874926B (zh) 2023-07-25

Family

ID=64335975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810548098.2A Active CN108874926B (zh) 2018-05-31 2018-05-31 海量数据查询方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN108874926B (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635075A (zh) * 2018-12-11 2019-04-16 广州市西美信息科技有限公司 一种文本内容划词标识的方法及装置
CN109815283A (zh) * 2018-12-18 2019-05-28 中科曙光南京研究院有限公司 一种异构数据源可视化查询方法
CN110008232A (zh) * 2019-04-11 2019-07-12 北京启迪区块链科技发展有限公司 结构化查询语句的生成方法、装置、服务器及介质
CN110162542A (zh) * 2019-04-19 2019-08-23 平安科技(深圳)有限公司 基于cassandra的数据翻页方法、装置、计算机设备和存储介质
CN110413614A (zh) * 2019-07-09 2019-11-05 北京三快在线科技有限公司 一种数据表生成的方法及装置
CN110688541A (zh) * 2019-10-08 2020-01-14 中国建设银行股份有限公司 一种报表数据的查询方法、装置、存储介质及电子设备
CN110716951A (zh) * 2019-09-23 2020-01-21 北京明略软件系统有限公司 方便配置的标签配置方法、装置、设备及存储介质
CN110795478A (zh) * 2019-09-29 2020-02-14 北京淇瑀信息科技有限公司 一种应用于金融业务的数据仓库更新方法、装置和电子设备
CN110888901A (zh) * 2019-10-22 2020-03-17 浙江大搜车软件技术有限公司 系统管理方法、装置、计算机设备和存储介质
CN111026524A (zh) * 2019-10-25 2020-04-17 北京奇艺世纪科技有限公司 处理延时任务的方法、装置、计算机设备和存储介质
CN111367899A (zh) * 2020-02-26 2020-07-03 中国工商银行股份有限公司 金融业务数据展示方法及装置
CN111597237A (zh) * 2020-05-22 2020-08-28 北京学之途网络科技有限公司 数据查询结果的生成方法及装置、电子设备、存储介质
CN111611320A (zh) * 2020-06-17 2020-09-01 天津异乡好居网络科技有限公司 一种基于日志服务包统计数据的方法及存储介质
CN111858596A (zh) * 2020-07-22 2020-10-30 广东电网有限责任公司 数据获取方法、装置、计算机设备和存储介质
CN111984659A (zh) * 2020-07-28 2020-11-24 招联消费金融有限公司 数据更新方法、装置、计算机设备和存储介质
CN112069223A (zh) * 2020-09-09 2020-12-11 苏宁云计算有限公司 数据获取需求处理方法、装置、计算机设备和存储介质
CN112417283A (zh) * 2020-11-23 2021-02-26 珠海格力电器股份有限公司 机组的能效查询方法、装置、计算机设备和存储介质
CN112632136A (zh) * 2020-12-11 2021-04-09 北京国电通网络技术有限公司 一种数据统计分析方法、装置、电子设备及存储介质
CN112749194A (zh) * 2020-06-03 2021-05-04 腾讯科技(深圳)有限公司 可视化的数据处理方法、装置、电子设备及可读存储介质
CN113190605A (zh) * 2021-04-30 2021-07-30 携程商旅信息服务(上海)有限公司 票价展示方法及系统、电子设备及存储介质
CN113641735A (zh) * 2021-08-16 2021-11-12 掌阅科技股份有限公司 联邦式集群数据可视化展示方法、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106066895A (zh) * 2016-06-30 2016-11-02 广东亿迅科技有限公司 一种智能查询系统
CN106776834A (zh) * 2016-11-28 2017-05-31 中通服公众信息产业股份有限公司 一种基于指标的数据分析自取数方法及系统
CN106997393A (zh) * 2017-04-10 2017-08-01 深圳乐信软件技术有限公司 数据查询方法、装置、服务器及存储介质
CN107391739A (zh) * 2017-08-07 2017-11-24 北京奇艺世纪科技有限公司 一种查询语句生成方法、装置及电子设备
CN107515875A (zh) * 2016-06-16 2017-12-26 阿里巴巴集团控股有限公司 数据查询方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107515875A (zh) * 2016-06-16 2017-12-26 阿里巴巴集团控股有限公司 数据查询方法及装置
CN106066895A (zh) * 2016-06-30 2016-11-02 广东亿迅科技有限公司 一种智能查询系统
CN106776834A (zh) * 2016-11-28 2017-05-31 中通服公众信息产业股份有限公司 一种基于指标的数据分析自取数方法及系统
CN106997393A (zh) * 2017-04-10 2017-08-01 深圳乐信软件技术有限公司 数据查询方法、装置、服务器及存储介质
CN107391739A (zh) * 2017-08-07 2017-11-24 北京奇艺世纪科技有限公司 一种查询语句生成方法、装置及电子设备

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635075A (zh) * 2018-12-11 2019-04-16 广州市西美信息科技有限公司 一种文本内容划词标识的方法及装置
CN109815283A (zh) * 2018-12-18 2019-05-28 中科曙光南京研究院有限公司 一种异构数据源可视化查询方法
CN109815283B (zh) * 2018-12-18 2020-10-09 中科曙光南京研究院有限公司 一种异构数据源可视化查询方法
CN110008232A (zh) * 2019-04-11 2019-07-12 北京启迪区块链科技发展有限公司 结构化查询语句的生成方法、装置、服务器及介质
CN110162542B (zh) * 2019-04-19 2023-06-16 平安科技(深圳)有限公司 基于cassandra的数据翻页方法、装置、计算机设备和存储介质
CN110162542A (zh) * 2019-04-19 2019-08-23 平安科技(深圳)有限公司 基于cassandra的数据翻页方法、装置、计算机设备和存储介质
CN110413614A (zh) * 2019-07-09 2019-11-05 北京三快在线科技有限公司 一种数据表生成的方法及装置
CN110716951A (zh) * 2019-09-23 2020-01-21 北京明略软件系统有限公司 方便配置的标签配置方法、装置、设备及存储介质
CN110716951B (zh) * 2019-09-23 2022-10-25 北京明略软件系统有限公司 方便配置的标签配置方法、装置、设备及存储介质
CN110795478A (zh) * 2019-09-29 2020-02-14 北京淇瑀信息科技有限公司 一种应用于金融业务的数据仓库更新方法、装置和电子设备
CN110688541A (zh) * 2019-10-08 2020-01-14 中国建设银行股份有限公司 一种报表数据的查询方法、装置、存储介质及电子设备
CN110888901A (zh) * 2019-10-22 2020-03-17 浙江大搜车软件技术有限公司 系统管理方法、装置、计算机设备和存储介质
CN110888901B (zh) * 2019-10-22 2023-07-04 浙江大搜车软件技术有限公司 系统管理方法、装置、计算机设备和存储介质
CN111026524A (zh) * 2019-10-25 2020-04-17 北京奇艺世纪科技有限公司 处理延时任务的方法、装置、计算机设备和存储介质
CN111367899A (zh) * 2020-02-26 2020-07-03 中国工商银行股份有限公司 金融业务数据展示方法及装置
CN111367899B (zh) * 2020-02-26 2024-04-16 中国工商银行股份有限公司 金融业务数据展示方法及装置
CN111597237B (zh) * 2020-05-22 2024-03-29 北京明略昭辉科技有限公司 数据查询结果的生成方法及装置、电子设备、存储介质
CN111597237A (zh) * 2020-05-22 2020-08-28 北京学之途网络科技有限公司 数据查询结果的生成方法及装置、电子设备、存储介质
CN112749194A (zh) * 2020-06-03 2021-05-04 腾讯科技(深圳)有限公司 可视化的数据处理方法、装置、电子设备及可读存储介质
CN111611320A (zh) * 2020-06-17 2020-09-01 天津异乡好居网络科技有限公司 一种基于日志服务包统计数据的方法及存储介质
CN111858596A (zh) * 2020-07-22 2020-10-30 广东电网有限责任公司 数据获取方法、装置、计算机设备和存储介质
CN111984659A (zh) * 2020-07-28 2020-11-24 招联消费金融有限公司 数据更新方法、装置、计算机设备和存储介质
CN112069223B (zh) * 2020-09-09 2022-11-25 苏宁云计算有限公司 数据获取需求处理方法、装置、计算机设备和存储介质
CN112069223A (zh) * 2020-09-09 2020-12-11 苏宁云计算有限公司 数据获取需求处理方法、装置、计算机设备和存储介质
CN112417283A (zh) * 2020-11-23 2021-02-26 珠海格力电器股份有限公司 机组的能效查询方法、装置、计算机设备和存储介质
CN112632136A (zh) * 2020-12-11 2021-04-09 北京国电通网络技术有限公司 一种数据统计分析方法、装置、电子设备及存储介质
CN113190605A (zh) * 2021-04-30 2021-07-30 携程商旅信息服务(上海)有限公司 票价展示方法及系统、电子设备及存储介质
CN113641735A (zh) * 2021-08-16 2021-11-12 掌阅科技股份有限公司 联邦式集群数据可视化展示方法、电子设备及存储介质

Also Published As

Publication number Publication date
CN108874926B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
CN108874926A (zh) 海量数据查询方法、装置、计算机设备和存储介质
CN109857667B (zh) 接口自动化测试方法、测试装置、测试设备及存储介质
CN109087054B (zh) 协同办公数据流处理方法、装置、计算机设备及存储介质
US20210318851A1 (en) Systems and Methods for Dataset Merging using Flow Structures
CN110377851A (zh) 多级联动下拉框的实现方法、装置和计算机设备
EP2778929B1 (en) Test script generation system
CN109271420A (zh) 信息推送方法、装置、计算机设备和存储介质
CN109788031A (zh) 业务数据获取方法、装置、计算机设备和存储介质
CN111104635A (zh) 一种表格网页的生成方法和装置
CN110689232A (zh) 工作流配置的优化处理方法、装置和计算机设备
CN108492005A (zh) 项目数据处理方法、装置、计算机设备和存储介质
CN110471585A (zh) 应用程序功能图标展示方法、装置和计算机设备
CN110109712A (zh) 业务组件加载方法、装置、计算机设备和存储介质
CN110413922A (zh) 页面信息显示方法、装置、计算机设备和存储介质
CN108334625A (zh) 用户信息的处理方法、装置、计算机设备和存储介质
CN110704095A (zh) 基于工作流的配置处理方法、装置、计算机设备和存储介质
CN109308258A (zh) 测试数据的构造方法、装置、计算机设备和存储介质
CN109361628A (zh) 报文组装方法、装置、计算机设备和存储介质
CN111124872A (zh) 基于差异代码分析的分支检测方法、装置及存储介质
CN110213067B (zh) 业务请求的跟踪信息处理方法、装置和系统
CN110232018A (zh) 接口测试方法、装置、计算机设备
CN111522881B (zh) 业务数据处理方法、装置、服务器及存储介质
CN108399125A (zh) 自动化测试方法、装置、计算机设备和存储介质
CN116911588A (zh) 业务流程执行方法、装置、设备及存储介质
CN110362478A (zh) 应用升级测试方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant