CN113779231B - 基于知识图谱的大数据可视化分析方法、装置及设备 - Google Patents

Abstract

本发明实施方式提供一种基于知识图谱的大数据可视化分析方法，所述分析方法包括：获取用户的语音，所述语音中包含对数据报表需求的描述；将所述语音进行语义理解，生成多个语义关键字；根据所述语义关键字在多个知识图谱中选择组件，所述组件用于构建报表模型；所述报表模型包括报表数据、数据算法组件与可视化组件；通过所述可视化组件，返回所述数据算法组件对于所述报表数据的处理后的报表模型。同时还提供了一种基于知识图谱的大数据可视化分析装置以及一种基于知识图谱的大数据可视化分析方法设备。本申请的实施方式能够解决在现有数据报表生成中结构化设计导致的灵活性差和开发过程复杂的问题。

Description

基于知识图谱的大数据可视化分析方法、装置及设备

技术领域

本发明涉及数据分析领域，具体地涉及一种基于知识图谱的大数据可视化分析方法、一种基于知识图谱的大数据可视化分析装置、一种基于知识图谱的大数据可视化分析方法设备以及对应的存储介质。

背景技术

传统的数据报表业务需要经过：需求调研、业务建模、技术方案、代码开发、测试、成果交付等多个阶段。当用户需要对数据报表结果进行范围、时段、风格等方面的调整时，或者需要在当前报表中精细化显示相关信息时（例如峰值、均值、差异值），往往需要从父数据报表业务的整体流程，过程冗长，成本巨大，缺乏实时性。现有的方案包括两种主要形式：

形式1，以项目解决方案的方式交付产品。用户的需求由产品经理转化为技术语言后由工程师开发，然后交付给用户使用。这种方式的缺点就是从需求到交付的周期较长，难以应对细碎需求。

形式2，以组件的方式交付产品。用户的需求变更时，需要使用产品组件进行简单拖拽式开发满足需求，这种开发方式较为简单，用户经过一定培训后可以胜任。缺点是具有一定的专业性，非专业客户无法自己开发新需求。

发明内容

本发明的目的是提供一种基于知识图谱的大数据可视化分析方法、装置及系统，旨在解决在现有数据报表生成中结构化设计导致的灵活性差和开发过程复杂的问题。

为了实现上述目的，在本发明的第一方面提供一种基于知识图谱的大数据可视化分析方法，所述分析方法包括：

获取用户的语音，所述语音中包含对数据报表需求的描述；

将所述语音进行语义理解，生成多个语义关键字；

根据所述语义关键字在多个知识图谱中选择组件，所述组件用于构建报表模型；所述报表模型包括报表数据、数据算法组件与可视化组件；

通过所述可视化组件，返回所述数据算法组件对于所述报表数据的处理后的报表模型。

可选的，所述多个知识图谱包括：

数据知识图谱，用于存储所述报表数据；

数据算法组件知识图谱，用于存储所述数据算法组件及其调用方式；以及可视化组件知识图谱，用于存储所述可视化组件及其调用方式。

可选的，所述将所述语音进行语义理解，包括：

采用语音识别方式对所述语音进行语义理解。

可选的，所述组件包括组件功能部分和组件属性部分；

所述组件属性部分包括组件关键字，所述组件关键字用于构建所述数据算法组件知识图谱或可视化组件知识图谱，以及与所述语义关键字的匹配。

可选的，所述根据所述语义关键字在多个知识图谱中选择组件，包括：

对所述语义关键字进行分类，

根据所述语义关键字的类别在对应的知识图谱中进行匹配。

可选的，所述可视化组件被配置为：对所述报表模型进行标准化，使其符合图形化界面的显示格式。

可选的，所述数据算法组件的类型包括：数据接入组件、数据清洗组件、数据关联组件和数据转换组件。

在本发明的第二方面，还提供了一种基于知识图谱的大数据可视化分析装置，包括：

语音获取模块，用于获取用户的语音，所述语音中包含对数据报表需求的描述；

语音解析模块，用于将所述语音进行语义理解，生成多个语义关键字；

组件选择模块，用于根据所述语义关键字在多个知识图谱中选择组件，所述组件用于构建报表模型；所述报表模型包括报表数据、数据算法组件与可视化组件；

结果输出模块，用于通过所述可视化组件，返回所述数据算法组件对于所述报表数据的处理结果。

在本发明的第三方面，还提供了一种基于知识图谱的大数据可视化分析设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前述方法的步骤。

在本发明的第四方面，还提供了一种机器可读存储介质，所述机器可读存储介质上存储有指令，该指令在被控制器执行时能够使得所述控制器执行前述方法的步骤。

本发明提供的技术方案采用大数据分析的专业知识图谱，对用户在大数据分析领域的语义进行精确理解，并对大数据分析的算法模块和可视化模块进行组件化，从而能够自动的相应用户的大数据分析请求，令复杂的算法开发工作转化为简单的语音交互工作。

本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：

图1 为本发明一种实施例中的基于知识图谱的大数据可视化分析方法的流程示意图；

图2 为本发明一种实施例中的基于知识图谱的大数据可视化分析装置的结构示意图；

图3为本发明一种实施例中的基于知识图谱的大数据可视化分析设备的结构示意图；

图4为本发明一种实施例中的基于知识图谱的大数据可视化分析方法的步骤示意图。

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

在本发明实施方式中，在未作相反说明的情况下，使用的方位词如“上、下、顶、底”通常是针对附图所示的方向而言的或者是针对竖直、垂直或重力方向上而言的各部件相互位置关系描述用词。

图1 为本发明一种实施例中的基于知识图谱的大数据可视化分析方法的流程示意图，如图1所示，一种基于知识图谱的大数据可视化分析方法，所述方法包括：

获取用户的语音，所述语音中包含对数据报表需求的描述；将所述语音进行语义理解，生成多个语义关键字；根据所述语义关键字在多个知识图谱中选择组件，所述组件用于构建报表模型；所述报表模型包括报表数据、数据算法组件与可视化组件；通过所述可视化组件，返回所述数据算法组件对于所述报表数据的处理后的报表模型。

如此，本实施方式改变了原有报表需求的生成和反馈流程，通过语音交互的可视化开发，不仅数据通过知识图谱方式获取，还将数据处理算法和可视化也通过知识图谱技术方式获取，以此避免报表生成流程中结构化的弊端，并发挥组件化生成过程的灵活快速优势，降低了产品交付周期和用户开发难度。

具体的，本实施方式将用户的语音作为输入，通过语义理解得到语音对应的语义，并从中提取到用户语音对应的需求的关键字，作为语义关键字。通过语义关键字在知识图谱中查询，得到用户需求对应的数据，即组成报表的报表数据，同时还能够得到的报表数据进行处理，该处理是通过数据算法组件进行功能实现的，本实施方式提供的数据算法组件包括数据的分类、统计、预测等功能，为用户提供更多的选择。最后通过可视化组件对报表数据或者经数据算法组件处理后的数据进行直观显示，本实施方式提供的可视化组件包括数据显示形式（饼状图、折线图、柱状图等），图形显示中的图样（线条样式、颜色等）等。通过本实施方式，用户通过语音的描述，直接得到可视化的报表信息，提升了数据报表的生成效率。

在本发明提供的一种实施方式中，所述多个知识图谱包括：数据知识图谱，用于存储所述报表数据；数据算法组件知识图谱，用于存储所述数据算法组件及其调用方式；以及可视化组件知识图谱，用于存储所述可视化组件及其调用方式。现有的知识图谱中，无论存储形式是采用RDF（资源描述框架）或图数据库，其重点均在于数据以及关系。知识图谱的建立也大多采用主键、对应关系、数据结构对等基础结构来生成数据所对应的知识图谱。本实施方式中采用知识图谱的方式进行数据检索，能够提升数据的全面性。数据算法组件知识图谱，用于提升数据算法对于用户需求的响应，完成大数据分析的功能。可视化组件知识图谱，用于基于用户需求，对输出的数据进行可视化呈现。

在本发明提供的一种实施方式中，所述将所述语音进行语义理解，包括：采用语音识别方式对所述语音进行语义理解。本实施方式中的语义理解为语音识别方式，目前的语音助手方案中，已经能够实现例如音乐检索、天气查询、拨打电话等基本功能，更加智能的如Siri、小度等语音助手，能够准确地对语音输入进行识别，并通过一定的中文分词、语义关键字提取方式得到输入语音中的语义关键字。

在本发明提供的一种实施方式中，所述组件包括组件功能部分和组件属性部分；

所述组件属性部分包括组件关键字，所述组件关键字用于构建所述数据算法组件知识图谱或可视化组件知识图谱，以及与所述语义关键字的匹配；从知识图谱的构建方式可知，算法知识图谱的结构化数据采用组件关键字作为主键进行知识图谱构建。本实施方式中的决定哪些组件会被调用主要是通过在知识图谱中匹配来实现的。通过将语义关键字在对应的实施图谱中进行匹配，以实现对对应的组件的调用。其中组件的功能部分由实现该组件功能的代码组成，优先为Python代码。而组件关键字的作用如下：例如，用户输入的语义关键字包括“预测”等词，那么在选用数据处理组件时，会调用到组件关键字为“预测”的算法处理组件，如果知识图谱中包括多个预测处理算法，那么会调用使用频率最多的那个。如果用户提出了用“线性回归”的方式预测数据，那么会优先匹配到组件关键字与“线性回归”相关的数据处理组件，并采用组件中包含的程序功能对数据进行处理。同理，可视化组件也包括用于标记自身的组件关键字，用于可视化知识图谱的构建。上述的组件关键字的常用表现形式为该组件的“标签”。

在本发明提供的一种实施方式中，所述根据所述语义关键字在多个知识图谱中选择组件，包括：对所述语义关键字进行分类，根据所述语义关键字的类别在对应的知识图谱中进行匹配。在第一步中获得用户的语义及语义关键字之后，可选用包括：神经网络等分类器架构对语义关键字进行分类，即将上一步中的语义关键字分为数据，算法和图形化，例如：语音输入为：“请根据2019年泵车故障数据预测下月故障趋势，并用折线图显示，历史值用实线，趋势值用虚线。”其中 “2019年”“泵车”“故障”为数据标签，“预测”“故障趋势”为数据处理标签，而“折线图、实线、虚线”为显示形式，其所对应的知识图谱是不一样的。通过以上的分类，对不同的数据在不同的知识图谱中进行匹配，能够更准确地得到所需的报表结果。

在本发明提供的一种实施方式中，所述可视化组件被配置为：对所述报表模型进行标准化，使其符合图形化界面的显示格式。目前的可视化组件大多采用JS技术进行渲染和呈现，其也提供了多种可选的可视化组件。以输入的数据为页面的呈现数据，调用绘图JS在显示页面完成图形的绘制。其中输入的数据是在知识图谱中进行检索得到，并经过请求数据接口进行调用的，此处的请求数据接口也可以是从图数据库中取出数据进行展示。

在本发明提供的一种实施方式中，所述数据算法组件的类型包括：数据接入组件、数据清洗组件、数据关联组件和数据转换组件。数据接入组件用于提供数据接入的标准化接口和临时存储，数据清洗组件用于对获得报表数据进行去重、填充、标准化等操作，数据关联组件用于根据报表数据的相关性对数据进行关联分析，以及数据转换组件用于对报表数据的数据格式进行转换。数据算法组件各个类型之间的相互协作，满足了对知识图谱返回数据的操作需求。

以下举例对本发明实施方式进行说明，例如：输入语音为：请展示到现在为止某项传染病在世界范围内确诊案例分布图，根据案例数目设置梯度:0-10, 10-100, 100-1000,1000-10000, 10000以上，每个梯度依次设定为不同深浅的红色，在地图上面染色。那么依照本发明提供的实施方式，首先会在与所述传染病相关的知识图谱中查找出数据信息，即得到查询结果数据，系统基于查询语言和数据获取协议SPARQL推理查询关联案例知识，基于SPARQL协议，获取到匹配该关键字约束的知识资源，将它们作为后续处理的数据基础。然后再是数据处理，对查询出的数据进行按梯度进行分类，即初步的数据分析过程，最后调用对应的图形化组件，即，根据梯度的分类，在地图上对应不同的颜色，以实现显示的效果。其中梯度分类组件的选用也是根据“梯度”等关键语义，在对应的知识图谱中进行选择的。

再例如，输入语音为:请根据A传染病在全世界范围内确诊数量预测明天传染病确诊数量，并用折线图显示，历史值用实线，趋势值用虚线。经语义理解后获取的语义关键字包括：“A传染病”“世界范围”“确诊数量”“预测”“折线图”“实线”“虚线”等，并进行初步的分类，其中，“A传染病”“世界范围”“确诊数量”用于在知识图谱中得到的报表数据，其中的“预测”属于数据处理的步骤，是在报表数据的基础上，调用对应的预测功能组件后得到的。“折线图”“实线”“虚线”为显示格式，是在调用折线图这一可视化组件，以预测功能组件输出的数据为输入，进行的图形化显示，其中对于“实线”“虚线”的处理为显示参数的赋值。经过此处理过程，得到基于历史数据的预测值，并以折线图的形式反馈给用户。

图2 为本发明一种实施例中的基于知识图谱的大数据可视化分析装置的结构示意图，如图2所示。在本发明提供的一种实施方式中，还提供了一种基于知识图谱的大数据可视化分析装置，包括：

语音获取模块，用于获取用户的语音，所述语音中包含对数据报表需求的描述；

语音解析模块，用于将所述语音进行语义理解，生成多个语义关键字；

组件选择模块，用于根据所述语义关键字在多个知识图谱中选择组件，所述组件用于构建报表模型；所述报表模型包括报表数据、数据算法组件与可视化组件；

结果输出模块，用于通过所述可视化组件，返回所述数据算法组件对于所述报表数据的处理结果。

本实施方式提供的基于知识图谱的大数据可视化分析装置的技术细节与前述的方法相对应，此处不再赘述。

在本发明提供的一种实施方式中，还提供了一种基于知识图谱的大数据可视化分析设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前述方法的步骤。

图3为本发明一种实施例中的基于知识图谱的大数据可视化分析设备的结构示意图。如图3所示，该实施例的终端设备10包括：处理器100、存储器101以及存储在所述存储器101中并可在所述处理器100上运行的计算机程序102，例如进行基于知识图谱的大数据可视化分析程序。所述处理器100执行所述计算机程序102时实现上述方法实施例中的步骤，例如，图1所示的基于知识图谱的大数据可视化分析方法的相关步骤。或者，所述处理器100执行所述计算机程序102时实现上述各装置实施例中各模块/单元的功能，例如图2所示的基于知识图谱的大数据可视化分析装置的相关模块的功能。

示例性的，所述计算机程序102可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器101中，并由所述处理器100执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序102在终端设备10中的执行过程。例如，所述计算机程序102可以被分割成语音获取模块1、语音解析模块2组件选择模块3和结果输出模块4（虚拟装置中的模块），各模块具体功能如下：

语音获取模块1，用于获取用户的语音，所述语音中包含对数据报表需求的描述；

语音解析模块2，用于将所述语音进行语义理解，生成多个语义关键字；

组件选择模块3，用于根据所述语义关键字在多个知识图谱中选择组件，所述组件用于构建报表模型；所述报表模型包括报表数据、数据算法组件与可视化组件；

结果输出模块4，用于通过所述可视化组件，返回所述数据算法组件对于所述报表数据的处理结果。

所述终端设备10可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。终端设备10可包括，但不仅限于，处理器100、存储器101。本领域技术人员可以理解，图3仅仅是终端设备10的示例，并不构成对终端设备10的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。

所述处理器100可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器101可以是终端设备10的内部存储单元，例如终端设备10的硬盘或内存。所述存储器101也可以是终端设备10的外部存储设备，例如所述终端设备10上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器101还可以既包括终端设备10的内部存储单元也包括外部存储设备。所述存储器101用于存储所述计算机程序以及终端设备10所需的其他程序和数据。所述存储器101还可以用于暂时地存储已经输出或者将要输出的数据。

图4为本发明一种实施例中的基于知识图谱的大数据可视化分析方法的步骤示意图。如图4所示，首先，用户用自然语言描述数据报表需求，语音识别模块将用户语音转化为自然语言，语义理解知识图谱根据业务知识图谱（图中泵车故障知识图谱）、算法组建接口知识图谱、数据报表知识图谱等相关的知识图谱，识别用户自然语言输入中的实体及实体属性，并将其映射到知识库中对应的算法组件调用方式和数据可视化接口的调用方式，从而将用户的自然语言输入转化为符合业务逻辑的算法组件调用和数据可视化调用。最终将用户要求的数据可视化报表反馈给用户，完成用户请求的响应。

在本发明提供的一种实施方式中，还提供了一种机器可读存储介质，所述机器可读存储介质上存储有指令，该指令在被控制器执行时能够使得所述控制器执行前述方法的步骤。

以上实施方式采用大数据分析的专业知识图谱，并对用户在大数据分析领域的语义进行精确理解，并对大数据分析的算法模块和可视化模块进行组件化，从而能够自动的相应用户的大数据分析请求，令复杂的算法开发工作转化为简单的语音交互工作。

以上结合附图详细描述了本发明的可选实施方式，但是，本发明实施方式并不限于上述实施方式中的具体细节，在本发明实施方式的技术构思范围内，可以对本发明实施方式的技术方案进行多种简单变型，这些简单变型均属于本发明实施方式的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施方式对各种可能的组合方式不再另行说明。

本领域技术人员可以理解实现上述实施方式的方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器（processor）执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施方式的思想，其同样应当视为本发明实施方式所公开的内容。

Claims (9)

1.一种基于知识图谱的大数据可视化分析方法，其特征在于，所述分析方法包括：

获取用户的语音，所述语音中包含对数据报表需求的描述；

将所述语音进行语义理解，生成多个语义关键字；

根据所述语义关键字在多个知识图谱中选择组件，所述组件用于构建报表模型；所述报表模型包括报表数据、数据算法组件与可视化组件；

通过所述可视化组件返回所述数据算法组件对所述报表数据处理后的报表模型；

所述多个知识图谱包括：

数据知识图谱，用于存储所述报表数据；

数据算法组件知识图谱，用于存储所述数据算法组件及其调用方式；以及

可视化组件知识图谱，用于存储所述可视化组件及其调用方式。

2.根据权利要求1所述的方法，其特征在于，所述将所述语音进行语义理解，包括：

采用语音识别方式对所述语音进行语义理解。

3.根据权利要求1所述的方法，其特征在于，所述组件包括组件功能部分和组件属性部分；

所述组件属性部分包括组件关键字，所述组件关键字用于构建所述数据算法组件知识图谱或可视化组件知识图谱，以及与所述语义关键字的匹配。

4.根据权利要求1所述的方法，其特征在于，所述根据所述语义关键字在多个知识图谱中选择组件，包括：

对所述语义关键字进行分类；

根据所述语义关键字的类别在对应的知识图谱中进行匹配。

5.根据权利要求1所述的方法，其特征在于，所述可视化组件被配置为：对所述报表模型进行标准化，使其符合图形化界面的显示格式。

6.根据权利要求1所述的方法，其特征在于，所述数据算法组件的类型包括：数据接入组件、数据清洗组件、数据关联组件和数据转换组件。

7.一种基于知识图谱的大数据可视化分析装置，其特征在于，包括：

语音获取模块，用于获取用户的语音，所述语音中包含对数据报表需求的描述；

语音解析模块，用于将所述语音进行语义理解，生成多个语义关键字；

组件选择模块，用于根据所述语义关键字在多个知识图谱中选择组件，所述组件用于构建报表模型；所述报表模型包括报表数据、数据算法组件与可视化组件；所述多个知识图谱包括：数据知识图谱，用于存储所述报表数据；数据算法组件知识图谱，用于存储所述数据算法组件及其调用方式；以及可视化组件知识图谱，用于存储所述可视化组件及其调用方式；

结果输出模块，用于通过所述可视化组件返回所述数据算法组件对所述报表数据的处理结果。

8.一种基于知识图谱的大数据可视化分析设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项权利要求所述基于知识图谱的大数据可视化分析方法的步骤。

9.一种机器可读存储介质，其特征在于，所述机器可读存储介质上存储有指令，该指令在被控制器执行时能够使得所述控制器执行权利要求1至6中任一项权利要求所述基于知识图谱的大数据可视化分析方法的步骤。