CN109766368B - 一种基于Hive的数据查询多类型视图产出系统及方法 - Google Patents

Abstract

本发明涉及大数据处理领域，特别是一种基于Hive的数据查询多类型视图产出系统及方法。本发明系统包括：查询条件管理模块、查询结果管理模块、查询结果展示模块、自定义模板生成模块；所述的查询结果展示模块包括多视图输出切换装置、结果过滤筛查装置、结果排序装置、结果字段切换装置；多视图输出切换装置包括视图种类和切换方式两部分；结果过滤筛查装置可将已有的结果数据更改，以满足过滤条件和筛查手段。本发明为用户提供基于大数据的智能决策引导和手段，可让用户认清现状、把握趋势。

Description

一种基于Hive的数据查询多类型视图产出系统及方法

技术领域

本发明涉及大数据处理领域，特别是一种基于Hive的数据查询多类型视图产出系统及方法。

背景技术

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行，可以通过类SQL语句快速实现简单的MapReduce统计；十分适合数据仓库的统计分析。Hive的最佳使用场合是大数据集的批处理作业，例如，网络日志分析、数字营销分析、智能推荐分析、大数据舆情分析等。

发明内容

本发明解决的技术问题在于提供一种基于Hive的数据查询多类型视图产出系统及方法，实现多输入手段和多输出方式的海量数据集的统计分析。

本发明解决上述技术问题的技术方案是：

所述的系统包括：查询条件管理模块、查询结果管理模块、查询结果展示模块、自定义模板生成模块；

所述的查询条件管理模块包括查询条件构建器、历史查询条件仓库、查询条件分类器、查询条件存储仓库；查询条件构建器容纳多种查询输入手段；历史查询条件仓库对用户的查询纳入历史查询条件仓库，供用户查阅、调取；查询条件分类器与存储仓库的分类器用于用户手动将查询条件按一定的逻辑进行分类存储；

所述的查询结果管理模块包括历史记录仓库、历史记录对比装置、结果集导出装置；历史记录仓库,历史记录仓库将每次查询的结果进行自动/手动保存；历史记录对比装置对历史查询结果进行自定义的比较；结果集导出装置可以将历史查询结果批量导出；

所述的查询结果展示模块包括多视图输出切换装置、结果过滤筛查装置、结果排序装置、结果字段切换装置；多视图输出切换装置包括视图种类和切换方式两部分；结果过滤筛查装置内嵌在表格、图表、自定义语段和语音中，通过点击操作，可将已有的结果数据更改，以满足过滤条件和筛查手段；结果排序装置和结果字段切换装置内嵌在表格、图表、自定义语段和语音中，用户可自定义调整；内嵌在表格、图表、自定义语段和语音中，用户可自定义调整；

所述的自定义模板生成模块包括语段输入模板、语段输出模板、文字转语音装置；语段输入模板使用户可手动调节，当输入某段自然语言风格的语段时，系统将按何种模板抽取字段，以组装成Hive风格的查询条件；语段输出模板使用户可手动调节，根据某种自然语言的风格组合字段；文字转语音装置，将文字转为语音，根据自然语言风格选择主播性别、主播语气。

所述的查询条件构建器的查询手段包括HQL语句、表单查询和自定义预置语段查询。

所述的历史查询条件仓库按多种字段进行条件排序，包括：查询时间顺序、查询数据集规模。

所述的查询条件分类器与存储仓库每次查询的对象不同，则每次的查询条件分别存储；当查询对象存在嵌套行为时，则按父->子的顺序排列，并进行标注。

所述的历史记录对比装置的比较方式包括：表格对比统计、图表对比统计；用户可以选择比较的字段，系统也可以推荐字段；在图表对比统计时，对比数据集维度较少时以二维图表展示，复杂维度情况自动转为三维图表展示；对比时可实时过滤对比字段、调整排序。

所述的多视图输出切换装置的视图种类包括多功能表格、多种类图表、自定义报告语段、自定义报告语音；其中：

A、多功能表格：表格中表头固定，为查询字段，来源于查询构建器构建时输入的目标字段；表头以下为表格内容，为查询值，以自定义分页形式展示；同时表格提供序列号排序和字段排序按钮；

B、多种类图表：包括饼状图、柱状图、3维柱状图、折线图以及组合图；各种类图表的导航为智能互动模式；可以点击选择显示/隐藏导航中的字段；可以将两个字段互换，可以替换字段等；经过多重过滤，可以展示多种结果的图表视图；

C、自定义报告语段：包括语段生成和语段解析两部分；两部分都基于自然语言的机器学习，通过数据集训练出能处理自然语言查询的模型；根据查询结果统计出类似“最大”、“最小”、“平均值”等维度，通过自然语言的模型解析数据、组装带有语义的人性化语段；

D、自定义报告语音：以自定义报告语段为基础，通过文字转语音的方式，将人性化语段转成人性化语音。

所述的方法包括：

查询条件构建器容纳多种查询输入手段，用户可选择单一或组合的查询手段；查询手段包括HQL语句、表单查询、自定义预置语段查询；在HQL语句查询网络日志时其流程为：

A：在本系统的HUE WEB UI中，用HQL创建Hive表；创建时，根据网络日志的字段名称和属性创建：第一步判断是否存在这个表，如果存在则删除；第二步创建；

B：创建完成后，点击刷新按钮则可以预览日志数据；全部日志数据以表格形式呈现；

C：查询；

D：查询结果在“结果”选项中以表格、图表和自定义语段、语音等方式展示；

查询网页访问量历史时段的历史记录对比步骤如下：

A：抽取相同字段；

B：将历史结果集的历史数据组合进新的表格、图表和语段、语音；

查询结果展示将展示融合了过滤、筛选、排序等功能的综合视图，包括表格视图、图表视图和语段、语音；在柱状图中，其分布元素包括：

A：X轴的字段选择；

B：Y轴的字段选择；

C：排序选择；

D：实际柱状图内容：包括是否添加group组合、是否stacked；以及基本的字段UI展示和过滤展示；

语段输入、输出模板需要用户设置模板的同时，结合基于自然语言的机器学习完成语段的解析、语段的生成；输出网站访问量的最大时的时间段和平均访问量的流程为：

A：用户设置字段包括时间段{{time}}、访问量{{num}}；设置语气为“新闻联播型”；

B：系统根据模型选择“新闻联播型”的词汇；将字段值带入语句中；其结果可能为：“尊敬的XXX，您的网站访问量最大时为上午9点，这时是上班时间……”。

本发明利用Hive，对海量数据集进行统计分析，通过多输入手段和多输出方式，将数据仓库中的大数据集进行批量统计、挖掘和分析，从而为用户提供基于大数据的智能决策引导和手段，让用户认清现状、把握趋势。

附图说明

下面结合附图对本发明进一步说明：

图1为本发明的流程图。

具体实施方式

下面将结合附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出实质性创造获得的方案，都属于本发明保护的范围。

本发明包括四大模块，分别是：查询条件管理模块、查询结果管理模块、查询结果展示模块、自定义模板生成模块。

查询条件管理模块：包括查询条件构建器、历史查询条件仓库、查询条件分类器、查询条件存储仓库；其中：

A：查询条件构建器。构建器容纳多种查询输入手段，用户可选择单一或组合的查询手段；查询手段包括HQL语句(即Hive的一种类似SQL的查询语句)、表单查询(用户可输入内容、选择维度等)、自定义预置语段查询(基于自然语言的带语义的语段，需要机器学习训练模型)；

B：历史查询条件仓库。用户每新建一次查询，执行后都将纳入历史查询条件仓库，供用户查阅、调取；历史查询条件仓库按多种字段进行条件排序，包括：查询时间顺序、查询数据集规模等；

C：查询条件分类器与存储仓库。分类器主要用户手动将该查询条件按一定的逻辑进行分类存储，如查询对象。每次查询的对象不同，则每次的查询条件分别存储；当查询对象存在嵌套行为时，则按父->子的顺序排列，并进行标注；因此用户在查阅条件保存记录时可以大大节约时间成本；

查询结果管理模块：包括历史记录仓库、历史记录对比装置、结果集导出装置；其中：

A：历史记录仓库。历史记录仓库将每次查询的结果进行自动/手动保存，其结果数据被分布存储在HDFS文件系统中；用于历史记录的对比工作，以及历史记录的导出工作；

B：历史记录对比装置。该装置对历史查询结果进行自定义的比较，方式包括：表格对比统计、图表对比统计；用户可以选择比较的字段，系统也可以推荐字段；以图表对比统计为例：对比数据集维度较少时以二维图表展示，复杂维度情况自动转为三维图表展示；对比时可实时过滤对比字段、调整排序等；

C：结果集导出装置。该装置可以将历史查询结果批量导出，以指定格式存储，如文本格式和Excel文档格式；

查询结果展示模块：包括多视图输出切换装置、结果过滤筛查装置、结果排序装置、结果字段切换装置；该模块为本发明重点，其中：

A：多视图输出切换装置。该装置涉及视图种类和切换方式两部分；视图种类包括多功能表格、多种类图表、自定义报告语段、自定义报告语音；其中：

a：多功能表格：表格中表头固定，为查询字段，来源于查询构建器构建时输入的目标字段；表头以下为表格内容，为查询值，以自定义分页形式展示；同时表格提供序列号排序和字段排序按钮(顺序、倒序)；

b：多种类图表：包括饼状图、柱状图、3维柱状图、折线图以及组合图等；各种类图表的导航为智能互动模式；可以点击选择显示/隐藏导航中的字段；可以将两个字段互换，可以替换字段等；经过多重过滤，可以展示多种结果的图表视图；

c：自定义报告语段：包括语段生成和语段解析两部分；两部分都基于自然语言的机器学习，通过数据集训练出能处理自然语言查询的模型；根据查询结果统计出类似“最大”、“最小”、“平均值”等维度，通过自然语言的模型解析数据、组装带有语义的人性化语段；

d：自定义报告语音：以自定义报告语段为基础，通过文字转语音的方式，将人性化语段转成人性化语音，以适应不同的应用场景；

B：结果过滤筛查装置。该装置被内嵌在表格、图表、自定义语段和语音中；通过简单的点击操作，即可将已有的结果数据更改，以满足过滤条件和筛查手段；同时变更之前的结果集会被临时存储，可以随时恢复条件；

C：结果排序装置。该装置和结果过滤筛查装置一样，内嵌在表格、图表、自定义语段和语音中，用户可自定义调整；

D：结果字段切换装置。该装置和结果过滤筛查装置一样，内嵌在表格、图表、自定义语段和语音中，用户可自定义调整；

自定义模板生成模块：包括语段输入模板、语段输出模板、文字转语音装置；其中：

A：语段输入模板。用户手动调节，当用户输入某段自然语言风格的语段时，系统将按何种模板抽取字段，以组装成Hive风格的查询条件；比如某字段为“name”，则规定当出现两个双引号时，中间的内容为查询字段的KEY(键值)，即{{name}}；

B：语段输出模板。用户手动调节，根据某种自然语言的风格组合字段；如“严肃型”和“关爱型”在语气用词上将会有极大的不同。

C：文字转语音装置。将文字转为语音，根据自然语言风格选择主播性别、主播语气等。

以下是本发明的关于一种基于Hive的数据查询多类型视图产出装置的重要功能点实现方法：

1：查询条件构建器与查询条件管理。构建器容纳多种查询输入手段，用户可选择单一或组合的查询手段；查询手段包括HQL语句、表单查询、自定义预置语段查询；以HQL语句查询网络日志为例，其流程为：

A：在本系统的HUE WEB UI中，用HQL创建Hive表；创建时，根据网络日志的字段名称和属性创建：第一步判断是否存在这个表，如果存在则删除；第二步创建；以下为创建的HQL：

B：创建完成后，点击刷新按钮则可以预览日志数据；全部日志数据以表格形式呈现；

C：查询，以统计网页请求结果为例，以下为查询语句：

SELECT status,count(1)

FROM access_logs

GROUP BY status

以了解网页访问量最大在哪个时段为例，以下为查询语句：

SELECT hour(from_unixtime(unix_timestamp(time_local,'dd/MMMM/yyyy:HH:mm:ss Z')))as hour,count(1)as pv

FROM access_logs

GROUP BY hour(from_unixtime(unix_timestamp(time_local,'dd/MMMM/yyyy:HH:mm:ss Z')))

D：查询结果在“结果”选项中以表格、图表和自定义语段、语音等方式展示；

2：查询结果对比与结果集管理。查询历史对比，以查询网页访问量历史时段为例，其步骤如下：

A：抽取相同字段，如“时间段”；每个历史结果集都包括相同的时间段，如按小时分隔：“9点”、“10点”、“11点”；

B：将历史结果集的历史数据组合进新的表格、图表和语段、语音；

C：以柱状图为例，其展示方式为：

X轴：时间段；

Y轴：访问量；

每个时间段包含被group后的多个历史数据值；假设历史数据共有三次，则每个X轴的时间段都包含三个柱子，以不同颜色区分；

3：查询结果展示。该模块将展示融合(内嵌)了过滤、筛选、排序等功能的综合视图，包括表格视图、图表视图和语段、语音；以柱状图为例，其分布元素包括：

A：X轴的字段选择(下拉框)；

B：Y轴的字段选择(复选框)；

C：排序选择(图标按钮，点击实时切换)；

D：实际柱状图内容：包括是否添加group组合(历史对比)、是否stacked(堆积压缩空间)；以及基本的字段UI展示和过滤展示；

4：语段模板管理。该模块需要用户设置模板的同时，结合基于自然语言的机器学习完成语段的解析(机器学习分析测试)、语段的生成(按自然语言规范和设置)；以输出网站访问量的最大时的时间段和平均访问量为例，其流程为：

A：用户设置字段包括时间段{{time}}、访问量{{num}}；设置语气为“新闻联播型”；

B：系统根据模型选择“新闻联播型”的词汇；将字段值带入语句中；其结果可能为：“尊敬的XXX，您的网站访问量最大时为上午9点，这时是上班时间……”。

本发明基于Hive，对海量数据集进行统计分析，主要特点是多输入手段和多输出方式；其中：多输入手段包括查询构建中的HQL语句查询、表单过滤查询以及以自然语言为基础的自定义语段查询；多输出方式包括表格、图表、自定义报告语段(语音)等，同时提供多种的结果过滤、结果排序、历史查询对比(条件对比、字段对比、值对比)等功能。

Claims (7)

1.一种基于Hive的数据查询多类型视图产出系统，其特征在于：所述的系统包括：查询条件管理模块、查询结果管理模块、查询结果展示模块、自定义模板生成模块；

所述的查询条件管理模块包括查询条件构建器、历史查询条件仓库、查询条件分类器、查询条件存储仓库；查询条件构建器容纳多种查询输入手段；历史查询条件仓库对用户的查询纳入历史查询条件仓库，供用户查阅、调取；查询条件分类器与存储仓库的分类器用于用户手动将查询条件按一定的逻辑进行分类存储；

所述的查询结果管理模块包括历史记录仓库、历史记录对比装置、结果集导出装置；历史记录仓库,历史记录仓库将每次查询的结果进行自动/手动保存；历史记录对比装置对历史查询结果进行自定义的比较；结果集导出装置可以将历史查询结果批量导出；

所述的查询结果展示模块包括多视图输出切换装置、结果过滤筛查装置、结果排序装置、结果字段切换装置；多视图输出切换装置包括视图种类和切换方式两部分；结果过滤筛查装置内嵌在表格、图表、自定义语段和语音中，通过点击操作，可将已有的结果数据更改，以满足过滤条件和筛查手段；结果排序装置和结果字段切换装置内嵌在表格、图表、自定义语段和语音中，用户可自定义调整；内嵌在表格、图表、自定义语段和语音中，用户可自定义调整；

所述的自定义模板生成模块包括语段输入模板、语段输出模板、文字转语音装置；语段输入模板使用户可手动调节，当输入某段自然语言风格的语段时，系统将按何种模板抽取字段，以组装成Hive风格的查询条件；语段输出模板使用户可手动调节，根据某种自然语言的风格组合字段；文字转语音装置，将文字转为语音，根据自然语言风格选择主播性别、主播语气。

2.根据权利要求1所述的系统，其特征在于：

所述的查询条件构建器的查询手段包括HQL语句、表单查询和自定义预置语段查询。

3.根据权利要求1所述的系统，其特征在于：

所述的历史查询条件仓库按多种字段进行条件排序，包括：查询时间顺序、查询数据集规模。

4.根据权利要求1所述的系统，其特征在于：

所述的查询条件分类器与存储仓库每次查询的对象不同，则每次的查询条件分别存储；当查询对象存在嵌套行为时，则按父->子的顺序排列，并进行标注。

5.根据权利要求1所述的系统，其特征在于：

所述的历史记录对比装置的比较方式包括：表格对比统计、图表对比统计；字段由用户选择或者由系统推荐；在图表对比统计时，对比数据集维度较少时以二维图表展示，复杂维度情况自动转为三维图表展示；对比时可实时过滤对比字段、调整排序。

6.根据权利要求1所述的系统，其特征在于：

所述的多视图输出切换装置的视图种类包括多功能表格、多种类图表、自定义报告语段和自定义报告语音；其中：

A、多功能表格：表格中表头固定，为查询字段，来源于查询构建器构建时输入的目标字段；表头以下为表格内容，为查询值，以自定义分页形式展示；同时表格提供序列号排序和字段排序按钮；

B、多种类图表：包括饼状图、柱状图、3维柱状图、折线图以及组合图；各种类图表的导航为智能互动模式；可以点击选择显示/隐藏导航中的字段；可以将两个字段互换，可以替换字段；经过多重过滤，可以展示多种结果的图表视图；

C、自定义报告语段：包括语段生成和语段解析两部分；两部分都基于自然语言的机器学习，通过数据集训练出能处理自然语言查询的模型；根据查询结果统计出“最大”、“最小”、“平均值”，通过自然语言的模型解析数据、组装带有语义的人性化语段；

D、自定义报告语音：以自定义报告语段为基础，通过文字转语音的方式，将人性化语段转成人性化语音。

7.权利要求1至6任一项所述系统的实现方法，其特征在于：所述的方法包括：

查询条件构建器容纳多种查询输入手段，用户可选择单一或组合的查询手段；查询手段包括HQL语句、表单查询、自定义预置语段查询；在HQL语句查询网络日志时其流程为：

A：在本系统的HUE WEB UI中，用HQL创建Hive表；创建时，根据网络日志的字段名称和属性创建：第一步判断是否存在这个表，如果存在则删除；第二步创建；

B：创建完成后，点击刷新按钮则可以预览日志数据；全部日志数据以表格形式呈现；

C：查询；

D：查询结果在“结果”选项中以表格、图表和自定义语段、语音方式展示；

查询网页访问量历史时段的历史记录对比步骤如下：

A：抽取相同字段；

B：将历史结果集的历史数据组合进新的表格、图表和语段、语音；

查询结果展示将展示融合了过滤、筛选、排序功能的综合视图，包括表格视图、图表视图和语段、语音；在柱状图中，其分布元素包括：

A：X轴的字段选择；

B：Y轴的字段选择；

C：排序选择；

D：实际柱状图内容：包括是否添加group组合、是否stacked；以及基本的字段UI展示和过滤展示；

语段输入、输出模板需要用户设置模板的同时，结合基于自然语言的机器学习完成语段的解析、语段的生成；输出网站访问量的最大时的时间段和平均访问量的流程为：

A：用户设置字段包括时间段{{time}}、访问量{{num}}；设置语气为“新闻联播型”；

B：系统根据模型选择“新闻联播型”的词汇；将字段值带入语句中；其结果可能为：“尊敬的XXX，您的网站访问量最大时为上午9点，这时是上班时间……”。

Images