CN107256265B

CN107256265B - 一种搜索引擎结果数据可视化展示方法及系统

Info

Publication number: CN107256265B
Application number: CN201710448370.5A
Authority: CN
Inventors: 谭杰轩; 王纯斌; 刘俊良
Original assignee: Chengdu Sefon Software Co Ltd
Current assignee: Chengdu Sefon Software Co Ltd
Priority date: 2017-06-14
Filing date: 2017-06-14
Publication date: 2019-05-17
Anticipated expiration: 2037-06-14
Also published as: CN107256265A

Abstract

本发明公开了一种搜索引擎结果数据可视化展示方法及系统，涉及搜索引擎结果可视化领域；它包括如下步骤：数据采集与索引、可视化请求输入、数据请求查询、结果数据处理、结果数据处理和呈现在浏览器上面；一种搜索引擎结果数据可视化展示系统，包括：数据采集模块、请求输入模块、请求查询模块、数据处理模块、图形渲染模块和数据呈现模块。实现可同时满足实时数据展示、实时可变维度的数据展示，基于关键词全文检索的数据查询，海量的数据检索，大量的数据渲染，基于B/S架构在浏览器中以3D方式渲染数据。

Description

一种搜索引擎结果数据可视化展示方法及系统

技术领域

本发明涉及搜索引擎结果可视化领域，尤其是一种搜索引擎结果数据可视化展示方法及系统。

背景技术

随着信息数据量的巨大增长，人们对数据探索的需求也日益剧增，如何将数据通过关键字快速的检索数据，并将数据结果清晰，准确，生动，易懂的展示给用户成为了新的问题。为了满足人们的这种需求，绝大多数系统或工具提供了数据检索和查询功能，并通过图表系统或工具将数据以柱状图，饼图等平面图形将结果展示出来，达到数据检索和数据可视的目的。

目前绝大多数数据可视化系统或工具很难同时满足：实时的数据展示，即可以实时的用可视化的方式展示数据变化情况；实时可变维度的数据展示，即可以在系统中实时的切换维度观察数据变化和统计；基于关键词全文检索的数据查询，支持NLP（自然语言处理）处理的关键字搜索；海量的数据检索均在5S秒内返回，支持的数据规模达到PB级，上百亿条的数据量；大量的数据渲染，一般在百万级以上的数据对象的展示；基于B/S架构在浏览器中以3D方式渲染数据，提供了数据多维度同时展示的可能。

发明内容

本发明的目的在于克服现有技术的不足，提供一种搜索引擎结果数据可视化展示方法及系统，实现可同时满足实时数据展示、实时可变维度的数据展示，基于关键词全文检索的数据查询，海量的数据检索，大量的数据渲染，基于B/S架构在浏览器中以3D方式渲染数据。

本发明的目的是通过以下技术方案来实现的：一种搜索引擎结果数据可视化展示方法，它具体包括如下步骤：

S001数据采集与索引：构建实时数据流，通过与搜索引擎关联，搜索引擎完成实时数据索引；构建数据源与搜索引擎的连接，搜索引擎完成与数据源之间异步的数据索引过程；

S002可视化请求输入：用户输入包括关键字、选择数据呈现维度和统计指标的一种或者多种信息。

S003数据请求查询：搜索引擎在收到请求输入之后，对关键字按照预先系统设定的处理规则进行解析，对选择的数据呈现维度，统计指标进行查询语句转化；

S004结果数据处理：将查询结果集转化为用于表示计算机图形的数据结构；

S005得到数据结果集以后，通过图形渲染引擎渲染；

S006将以上的图形数据通过GPU进行渲染，最后呈现在浏览器上面。

进一步限定，所述的数据请求查询，利用NLP技术实现关键字输入即可对数据的内容进行分析。

进一步限定，所述的数据呈现维度，通过搜索引擎的聚类和NOSQL数据的存储结构实现维度变化。

进一步限定，所述的结果数据处理，具体为：

S401将查询结果集以JSON格式返回；

S402将结果集转化或者映射为计算机图形中用于描述基本几何图形的数据结构。

进一步限定，所述的查询结果集以接口或文件的形式返回。

进一步限定，所述的图形渲染，将包括但不限于对结果集转化后的数组和矩阵信息渲染为计算机描述的几何图形。

一种搜索引擎结果数据可视化展示系统，它包括：数据采集模块、请求输入模块、请求查询模块、数据处理模块和图形渲染模块；

所述的数据采集模块，构建了实时数据流和非实时的数据源适配了各种类型的数据源，达到实时处理数据和支持海量数据处理的能力；

所述的请求输入模块，获取包括关键字、选择数据呈现维度和统计指标的一种或者多种信息；

所述的请求查询模块，对关键字按照预先系统设定的处理规则进行解析，对选择的数据呈现维度，统计指标进行查询语句转化；

所述的数据处理模块，将查询结果集转化为用于表示计算机图形的数据结构；

所述的图形渲染模块，对数组和矩阵信息渲染为计算机描述的几何图形。

一种终端系统，所述终端系统包括：

处理器，用于执行程序；

存储器，用于存储由处理器执行的程序，其中所述程序在执行时包括以下步骤：

数据请求查询：搜索引擎在收到请求输入之后，对关键字按照预先系统设定的处理规则进行解析，对选择的数据呈现维度，统计指标进行查询语句转化；

结果数据处理：将查询结果集转化为用于表示计算机图形的数据结构；

得到数据结果集以后，通过图形渲染引擎渲染。

进一步限定，一种存储器，其中程序在执行时包括以下步骤：

得到数据结果集以后，通过图形渲染引擎渲染。

本发明的有益效果是：

（1）实时的数据展示，即可以实时的用可视化的方式展示数据变化情况；

（2）实时可变维度的数据展示，即可以在系统中实时的切换维度观察数据变化和统计；

（3）基于关键词全文检索的数据查询，支持NLP（自然语言处理）处理的关键字搜索；

（4）海量的数据检索均在5S秒内返回，支持的数据规模达到PB级，上百亿条的数据量；

（5）利用GPU实现了大量的数据渲染，一般在百万级以上的数据对象的展示；

（6）基于B/S架构在浏览器中以3D方式渲染数据，提供了数据多维度同时展示。

附图说明

图1为一种搜索引擎结果数据可视化展示方法流程图；

图2为一种搜索引擎结果数据可视化展示系统框架图。

具体实施方式

下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。

如图1所示，一种搜索引擎结果数据可视化展示方法，它具体包括如下步骤：

S001数据采集与索引：构建实时数据流，通过此部分与搜索引擎关联，搜索引擎完成实时数据索引；

构建了数据源与搜索引擎的连接，搜索引擎完成与数据源之间异步的数据索引过程，数据源包含且不限于关系型数据库或非关系型数据库，结构化数据或非结构化数据；

S003数据请求查询：搜索引擎在收到请求输入之后，对关键字按照预先系统设定的处理规则进行解析，对选择的数据呈现维度，统计指标进行查询语句转化；搜索引擎在处理完请求之后对数据进行查询，返回查询结果集；

S004结果数据处理：将查询结果集转化为用于表示计算机图形的数据结构。根据具体的图形展示模型和业务场景，将查询结果集数据重新组合为描述计算机图形的基本几何单元的数据结构如数组，矩阵等；

S005得到数据结果集以后，通过图形渲染引擎渲染，本发明中主要是以WEBGL为主的3D图形库，将得到的数据结果集进行渲染；

进一步限定，所述的结果数据处理，具体为：

S401将查询结果集以JSON格式返回；

进一步限定，所述的图形渲染，将包括但不限于对数组和矩阵信息渲染为计算机描述的几何图形。

如图2所示，一种搜索引擎结果数据可视化展示系统，它包括：数据采集模块、请求输入模块、请求查询模块、数据处理模块和图形渲染模块；

一种终端系统，其特征在于，所述终端系统包括：

处理器，用于执行程序；

得到数据结果集以后，通过图形渲染引擎渲染。

一种存储器，其中程序在执行时包括以下步骤：

得到数据结果集以后，通过图形渲染引擎渲染。

实施例：

构建实时和非实时的数据采集模块，以及适配各种类型的数据源，达到实时处理数据和支持海量数据处理的能力。

利用NLP技术，可以通过关键字输入即可对数据的内容进行分析，达到准确适配用户期望的数据结果。如搜索关键词“成都市人民政府”即可将包含“成都市”、“人民”、“政府”相关的数据查询出来，这里就利用了分词，相关度计算等技术。同样还可以将文本数据进行自动的主题分类。

利用搜索引擎的聚类能力和NOSQL数据的存储结构，当用户选择和调整查询维度的时候，可快速响应用户得到数据查询结果。即选择某个名为“滞纳金”的属性，再选择“求和”，就可以统计出“滞纳金”属性包含的所有数据之和。

将数组，矩阵等信息渲染为计算机描述的几何图形，如获取存储SVG数组中的值，然后绘制成三维空间中的点，再连接成线，再转化为面，再进一步转化为代码地域的三维体。获取存储地理信息的数组数据，绘制成三维坐标点来描述各区县的位置，获取表示地域人口统计数的数据，绘制每一个点。就可以正确的描述一个表示地域的三维体以及各区县在其地理位置上面体现出来的不同的地域人口统计散点图。最后利用物理引擎增加图形中的动画效果，如利用sin（正玄）值变化让每个点都产生随机闪烁的动画。所有的渲染过程都通过计算机GPU进行计算和渲染，使得渲染速度极大的提升。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的方法、系统和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本发明所揭露的方法、系统和模块，可以通过其它的方式实现。例如，以上所描述的实施例仅是示意性的，例如，所述模块的划分，可以仅仅是一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以说通过一些接口，系统或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述分立部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例的方案目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、制度存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims

1.一种搜索引擎结果数据可视化展示装置，其特征在于，它包括：数据采集模块、请求输入模块、请求查询模块、数据处理模块、图形渲染模块和数据呈现模块；

所述的图形渲染模块，对数组和矩阵信息渲染为计算机描述的几何图形；

所述的数据呈现模块，对渲染后的几何图形数据进行呈现;

所述装置对应一种搜索引擎结果数据可视化展示方法，具体包括如下步骤：

得到数据结果集以后，通过图形渲染引擎渲染；

还包括：

数据采集与索引：构建实时数据流，通过与搜索引擎关联，搜索引擎完成实时数据索引；构建数据源与搜索引擎的连接，搜索引擎完成与数据源之间异步的数据索引过程；

可视化请求输入：用户输入包括关键字、选择数据呈现维度和统计指标的一种或者多种信息；

所述的数据请求查询，利用NLP技术实现关键字输入即可对数据的内容进行分析；

所述的数据呈现维度，通过搜索引擎的聚类和NOSQL数据的存储结构实现维度变化；

所述的结果数据处理，具体为：

将查询结果集以JSON格式返回；

将结果集转化或者映射为计算机图形中用于描述基本几何图形的数据结构；

所述的查询结果集以接口或文件的形式返回；

所述的图形渲染，将包括但不限于对结果集转化后的数组和矩阵信息渲染为计算机描述的几何图形；

构建实时和非实时的数据采集模块，以及适配各种类型的数据源，达到实时处理数据和支持海量数据处理的能力；

利用NLP技术，可以通过关键字输入即可对数据的内容进行分析，达到准确适配用户期望的数据结果，这里就利用了分词，相关度计算技术，同样还可以将文本数据进行自动的主题分类；

利用搜索引擎的聚类能力和NOSQL数据的存储结构，当用户选择和调整查询维度的时候，可快速响应用户得到数据查询结果；

将数组，矩阵信息渲染为计算机描述的几何图形，然后绘制成三维空间中的点，再连接成线，再转化为面，再进一步转化为代码地域的三维体；获取存储地理信息的数组数据，绘制成三维坐标点来描述各区县的位置，获取表示地域人口统计数的数据，绘制每一个点；就可以正确的描述一个表示地域的三维体以及各区县在其地理位置上面体现出来的不同的地域人口统计散点图；最后利用物理引擎增加图形中的动画效果；所有的渲染过程都通过计算机GPU进行计算和渲染，使得渲染速度极大的提升。