CN116991935B - 一种多模态数据交互方法、设备、存储介质 - Google Patents

Abstract

本发明涉及一种多模态数据交互方法、设备、存储介质，包括如下步骤：输出包括节点选择界面以及数据流画布的可视化信号，获取用户选择多模态数据节点及分析节点，针对分析节点进行解析生成匹配的输出子节点，将所述数据节点、分析节点以及输出子节点添加至所述数据流画布中；获取数据流画布中节点间的连接关系并在所述数据流画布中显示，配置所述分析节点的输入参数，完成数据分析流的创建；获取用户选择的所述数据分析流中的输出子节点，输出与选择输出子节点的数据类型匹配的模态数据可视化信号。与现有技术相比，本发明能够充分挖掘多模态数据间的关联关系、交互简单、整体数据分析效率高的优点。

Description

一种多模态数据交互方法、设备、存储介质

技术领域

本发明涉及数据处理技术领域，尤其是涉及一种多模态数据交互方法、设备、存储介质。

背景技术

数据处理过程通常可以使用数据管道的形式进行呈现，数据管道中的步骤通常包括提取、转换、组合、验证、可视化以及其它此类数据分析过程。数据管道可用于自动化公司使用的任何数据分析流程，一个数据管道甚至可以一次处理多个数据流，包括更简单的数据分析和更复杂的机器学习系统。

下面以现有的KNIME、Tableau prep工具说明存在的问题。

KNIME是一款工业级的开源软件，用户可以通过拖动每个节点到画布中实现搭建自己的数据分析流程。KNIME允许用户直观地通过拖拽的方式去创建数据管道，有选择地执行一些或所有分析步骤，然后检查结果，模型和交互式视图。KNIME能兼容多种数据形式其不但支持纯文本，数据库，文档，图像，网络，甚至还支持基于Hadoop的数据格式兼容多种数据分析工具和语言，包括支持R语言和Python语言的脚本。KNIME支持插件式拓展平台功能，新添加的功能插件在节点库区域中可查找到，并直接拖入画布区域中即可被使用，画布中通过交通灯来区分节点的运行状态，各个节点支持无限延伸。

KNIME产品在结构化数据分析领域应用非常广泛，且在数据流分析中拥有对应的可视化方案表达对应的节点含义，但是在多模态数据分析领域，例如针对视频、文本、PDF等非结构化数据的分析表现不足；另外当一个分析节点有多个输出时，不同的锚点代表输出的内容未进行明确的表达，用户无法快速选择自己的目标输出数据与下一个节点连接以完成后续的分析。

Tableau是用来做数据管理和数据可视化的工具，是在整个数据科学从业公司中广泛应用的数据管理及可视化软件。Tableau prep是该公司推出的一款数据清洗与准备的工具，当数据预处理完成后，在tableau Desktop中进行数据分析，并进行可视化看板的构建及结果呈现。

在tableau prep中，数据的每一个处理过程都是用数据管道形式呈现。点击管道中的节点，下方会展开节点的配置项、处理过程以及节点结果的预览。根据不同的节点属性，下方的配置操作有差异性。Tableau中，数据的预处理目前仅发现在结构化的数据形式上较多，且点击节点右键时，仅支持新增新节点、聚合、转置、联接等基础的数据分析操作或者拉出新的节点，用户无法快捷安装自定义的算法用于数据的深入分析。

上述工具存在如下缺点：

（1）现有的管道式数据分析工具主流仅支持单一的结构化数据分析，而复杂事件的分析往往除了结构化的数据外，还有文本、视频、图片等多种形式，因此现有产品承载的数据分析能力无法满足。例如在消息分析场景下，用户除了系统中能获取到的基础结构化表格以外，还有视频采集、电话录音、微博等非结构化的数据，现有的产品工具无法将以上数据源统一汇聚在同一个分析流中，从而降低数据关联性分析的效率；

（2）即使在工业级的数据分析平台产品KNIME中，针对算法多种输出结果的可视化表达是缺失的，这使得针对算法不同的结果需要采用不同的分析方案时，连接下一节点操作存在迷惑性，对用户的操作门槛较高；

（3）现有的产品主要针对结构化数据的分析，因此针对不同模态数据的输出结果进行可视化表达的方案是缺失的，因此在复杂场景下根据不同形态的数据采用不同的分析方法，需要一套对应的交互方案，以帮助用户提升数据分析效率。

综上，在现有数据管道中更多的是呈现结构化数据的分析流程，并基于结构化数据给出多元化的可视化表达方案，例如柱状图、饼图等等，而在以上的分析流程中的任何一个节点，仅支持单文件的输入输出，即使支持多个输出时，可视化的表达方案非常匮乏；在实际场景应用中，事件的数据分析常会涉及多种数据类型，如文本、表格、图片、视频等多种形态的数据，当不同的数据之间有很大的关联性时，当前已有的数据管道式分析存在较大的瓶颈。因此如何提升多模态数据的处理能力，同时降低分析平台的操作门槛，迫切需要探索出一种简单易懂又高效的工具，以帮助用户提升数据分析的效率。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种多模态数据交互方法、设备、存储介质，通过将多模态数据节点聚合在同一数据流画布下的数据分析流中，可视化地展示数据间的关联关系。

本发明的目的可以通过以下技术方案来实现：

本发明的一个方面，提供了一种多模态数据交互方法，包括如下步骤：

输出包括节点选择界面以及数据流画布的可视化信号，获取用户选择的分析节点以及多模态数据节点，针对分析节点进行解析生成匹配的输出子节点，将所述多模态数据节点、分析节点以及输出子节点添加至所述数据流画布中；

获取数据流画布中节点间的连接关系并在所述数据流画布中显示，配置所述分析节点的输入参数，完成数据分析流的创建；

获取用户选择的所述数据分析流中的输出子节点，输出与选择输出子节点的数据类型匹配的模态数据可视化信号。

作为优选的技术方案，所述的数据流画布中，以不同的图标表示不同的模态数据。

作为优选的技术方案，针对包括多个输入的分析节点，解析后在分析节点下方显示对应的输出子节点，在获取数据流画布中节点间的连接关系后，在所述数据流画布中显示输入所述分析节点的参数名称。

作为优选的技术方案，所述的节点选择界面包括文件目录结构信息。

作为优选的技术方案，所述的节点选择界面中，当接收到用户的定位指令后，在所述数据流画布中高亮显示已经引用的多模态数据节点。

作为优选的技术方案，多模态的数据包括结构化数据和非结构化数据。

作为优选的技术方案，当用户点击所述数据流画布上的分析节点时，显示代码编辑器页面。

作为优选的技术方案，所述的分析节点为算法节点、系统构建节点、SQL节点中的任一种。

本发明的另一个方面，提供了一种电子设备，包括：一个或多个处理器以及存储器，所述存储器内储存有一个或多个程序，所述一个或多个程序包括用于执行上述多模态数据交互方法的指令。

本发明的另一个方面，提供了一种计算机可读存储介质，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行上述多模态数据交互方法的指令。

与现有技术相比，本发明具有以下优点：

（1）充分挖掘多模态数据间的关联关系：本发明同一数据分析流中支持多模态数据作为数据源节点，不同类型的数据可采用不同的分析节点进行连接，基于数据流管道式分析，通过将多模态数据节点聚合在同一数据流画布下的数据分析流中，可视化地展示数据间的关联关系，进而挖掘不同数据间的关联关系，例如在数据流画布中引入文本数据、文本数据经过算法处理后可以获取到三元组数据节点，三元组数据可以与已有的图谱节点进行链接，通过图谱融合算法，将文本数据与图谱数据进行融合，实现不同模态数据之间的关联。

（2）交互简单：根据算法自身的配置，系统自动解析出算法的输入输出配置；在数据流节点中应用算法时，针对多个输入，前置节点与算法连接后，通过参数配置可以快速调整输入顺序；针对算法多个输出，系统自动采用多个子节点的形式进行呈现，并且每个子节点均可直接与其他节点进行关联，通过交互配置算法的输入输出，可以降低算法的操作门槛，针对算法不同的输出结果，在下一个节点中，用户可以直接选择不同的分析方法并进行快速的连接，以提升数据的分析效率，例如系统中使用的时间序列分解算法，在输出时将给出可视化图表和结构化表格两个结果，针对结构化表格可以连接SQL节点进行进一步分析，针对可视化图表可以连接系统构建节点，成为系统构建节点的一个可视化图表。

（3）整体数据分析效率高：通过对不同数据类型在数据流节点中采用图标形式帮助用户高效辨识目标分析数据的数据类型，同时根据数据内容给予不同的可视化方案，可以帮助用户快速选择下一阶段需要的分析方法，例如节点输出的数据类型为JPG格式的文件，用户可以选择支持图片分析的算法，例如OCR识别算法，通过以上交互方式可以帮助用户快速过滤掉不可用的算法节点，从而提升整体数据分析效率。

附图说明

图1为实施例1中多模态数据交互方法的流程图；

图2为节点选择界面的示意图；

图3为算法节点的选择示意图；

图4为上传算法包的示意图；

图5为画布中创建的数据分析流的示意图；

图6为右键算子后的示意图；

图7为算子入参设置的示意图；

图8为代码编辑器页面的示意图；

图9为结构化的多模态数据节点的示意图；

图10为图片类型的多模态数据节点的示意图；

图11为文本类型的多模态数据节点示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

需要说明的是，在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。

实施例1

为了解决或部分解决前述现有技术存在的问题，本实施例提供了一种多模态数据交互方法，以实现以下目的：

（1）目标事件的信息往往拥有多数据源、多数据模态，在同一个数据分析流中做多模态数据分析，高效聚合关键数据，方便用户发现不同数据源、不同模态数据间的关联。

（2）在数据分析的算法应用过程中，基于算法特点提供多数据输入、多结果输出的交互式配置，只需要通过（点击选择……）交互配置操作，即可完成算法应用配置，且针对多输出的场景直接采用子节点的形式进行呈现，方便用户快速抉择目标输出数据进行深入分析，降低用户的使用门槛。

（3）基于多模态数据分析与算法应用，为不同模态数据的数据匹配对应的图标，且算法应用结果拥有自身可视化方案，帮助用户在同一个数据分析流中做多模态数据分析时，高效辨识目标分析数据的数据类型，辅助用户快捷定位算法节点，并完成数据节点与算法节点的交互连。

本申请涉及的专业术语的定义如下：

数据可视化配置：

数据可视化配置是一种使用可视化工具将数据转化为图形化表达的过程，帮助用户更好地理解和分析数据。用户可以使用各种图表、图形和其他可视元素来构建自己的可视化报表。数据可视化配置使得数据分析和决策制定更为直观和易于理解。

数据管道：

数据管道（Data Pipeline）是一种允许数据通过数据分析过程从一个位置高效流向另一个位置的软件。数据管道中的步骤通常包括提取、转换、组合、验证、可视化以及其它此类数据分析过程，在本文中也称为数据分析流。

结构化数据与非结结构化数据：

结构化数据是具有标准化格式的数据，可供软件和人类高效访问。它通常以表格形式呈现，其中行和列清楚地定义数据属性；非结构化数据,非结构化数据是缺少可识别结构或架构的数据，包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。

多模态数据：同一个对象，描述的方式不同（视角或领域不同），把描述这些数据的每一个领域或者视角叫做一个模态（Modality）。例如：在视频分析中，视频可以分解为音频、图像、字幕等多模态信息。每个图片又可以表示成强度或者灰度、纹理等不同模态特征。

参见图1，本实施例提供的多模态数据交互方法包括如下步骤：

S1，输出包括节点选择界面以及数据流画布的可视化信号，获取用户选择的多模态的数据节点以及分析节点，针对分析节点进行解析生成匹配的输出子节点，将数据节点、分析节点以及输出子节点添加至数据流画布中，数据流画布中，以不同的图标表示不同的模态数据，节点选择界面包括文件目录结构信息，多模态的数据包括结构化数据和非结构化数据。

节点选择界面中，当接收到用户的定位指令后，在数据流画布中高亮显示已经引用的数据节点。节点选择界面如图2所述，点击T1可选择不同的节点类型，不同节点类型下选择具体的节点插件，当前重点讲解数据节点的插件使用。点击数据节点，系统加载出所有可用的数据列表。点击T2搜索框，在搜索框中可快速检索目标文件，不同的文件类型采用不同的图标进行标识。点击T3可下拉出针对当前文件的操作；点击T4定位，在数据流画布中会高亮显示当前所引用的数据节点，点击管理数据，会跳转至数据云盘，对原始数据进行管理。点击T5开关，快捷查看当前项目中所引用的文件列表。选中节点后，可直接拖拽至右侧的数据流画布中。

针对包括多个输入的分析节点，在解析后在分析节点下方显示对应的输出子节点，在获取数据流画布中节点间的连接关系后，在数据流画布中显示输入分析节点的参数名称，分析节点为算法节点、系统构建节点、SQL节点中的任一种。参见图3为算法节点选择过程的示意图，点击算法节点，右侧弹出可选的算法列表，点击T6，可在画布中高亮显示当前的算法；点击T7上传算法，弹出上传算法的对话框，如图4所示，上传算法包后，填写好相关的参数（也可不填写，系统有默认配置），点击T8立即上传，系统自动解析算法包中的内容，并在算法节点的列表中显示已上传的算法。

S2，获取数据流画布中节点间的连接关系并在数据流画布中显示，配置分析节点的输入参数，完成数据分析流的创建，当用户点击数据流画布上的分析节点时，显示代码编辑器页面。

参见图5为画布中创建的数据分析流的示意图，通过图2和图3中的节点直接拖拽至画布中，即可继续进行分析。T9鼠标悬浮至节点上时，节点出现锚点，点击后即可与其他的节点进行连接。针对算子节点，针对多个输入的，连接线会显示前一节点对应的算子参数，同时有多个输出时，节点下方直接显示多个子节点，双击T11，可对输出的子节点名称进行重命名。鼠标悬浮至子节点上时，显示输出锚点，可与其他节点进行链接。

参见图6为右键算子后的示意图，右键点击算子，弹出对话操作框，点击T11入参设置，弹出如图7所述的入参设置对话框，在对话框中直接显示算子的输入参数，点击T12下拉选择与当前算子连接的节点名称，实现算子输入参数的切换。点击T13确认参数变更，连接线上会更新对应的参数显示。

参见图8，点击自定义算子节点，画布右侧弹出自定义算子的具体代码配置，如需更改自定义算法的代码，也可直接在YAML编辑器中进行操作；点击T14，可对算子节点的名称进行编辑。

S3，获取用户选择的数据分析流中的输出子节点，输出与选择输出子节点的数据类型匹配的模态数据可视化信号。

参见图9，点击结构化的数据节点，画布右侧弹出节点的明细，点击T15对表格数据进行查询，点击T16，将当前节点数据保存至本地。

参见图10，点击图片类型的数据节点，画布右侧弹出节点的明细，支持图片的预览，点击T17，支持将图片保存至本地。

参见图11，点击文本类型的数据节点，画布右侧弹出节点的明细，支持对文本的预览，点击T18，支持将图片保存至本地。

本发明具有如下有益效果：

首先，本发明基于数据流管道式分析，同一数据分析流中支持多模态数据作为数据源节点，不同类型的数据可采用不同的分析节点进行连接，如与算法节点、系统构建节点、SQL节点进行关联，通过将多数据源、多模态数据聚合在同一画布下的数据流分析中，可以挖掘不同数据间的关联关系。例如在数据流画布中引入文本数据、文本数据经过算法处理后可以获取到三元组数据节点，三元组数据可以与已有的图谱节点进行链接，通过图谱融合算法，将文本数据与图谱数据进行融合，实现不同模态数据之间的关联。

其次，本发明根据算法自身的配置，系统自动解析出算法的输入输出配置；在数据流节点中应用算法时，针对多个输入，前置节点与算法连接后，通过参数配置可以快速调整输入顺序；针对算法多个输出，系统自动采用多个子节点的形式进行呈现，并且每个子节点均可直接与其他节点进行关联。通过交互式的配置算法输入输出，可以降低算法的操作门槛，针对算法不同的输出结果，在下一个节点中，用户可以直接选择不同的分析方法并进行快速的连接，以提升数据的分析效率。例如系统中使用的时间序列分解算法，在输出时将给出可视化图表和结构化表格两个结果，针对结构化表格可以连接SQL节点进行进一步分析，针对可视化图表可以连接系统构建节点，成为系统构建节点的一个可视化图表。

最后，本发明的多模态数据类型在数据流节点中采用图标形式帮助用户高效辨识目标分析数据的数据类型，同时根据数据内容给予不同的可视化方案。通过对不同数据类型给予不同的可视化方案，并在节点中直接给予视觉方案区分，可以帮助用户快速选择下一阶段需要的分析方法。例如节点输出的数据类型为JPG格式的文件，用户可以选择支持图片分析的算法，例如OCR识别算法，通过以上交互方式可以帮助用户快速过滤掉不可用的算法节点，从而提升整体数据分析效率。

实施例2

本实施例提供了一种电子设备，包括：一个或多个处理器以及存储器，所述存储器内储存有一个或多个程序，所述一个或多个程序包括用于执行如实施例1所述多模态数据交互方法的指令。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

实施例3

本实施例提供了一种计算机可读存储介质，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如实施例1所述多模态数据交互方法的指令。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种多模态数据交互方法，其特征在于，包括如下步骤：

输出包括节点选择界面以及数据流画布的可视化信号，获取用户选择多模态数据节点及分析节点，针对分析节点进行解析生成匹配的输出子节点，将所述多模态数据节点、分析节点以及输出子节点添加至所述数据流画布中；

获取数据流画布中节点间的连接关系并在所述数据流画布中显示，配置所述分析节点的输入参数，完成数据分析流的创建；

获取用户选择的所述数据分析流中的输出子节点，输出与选择输出子节点的数据类型匹配的模态数据可视化信号；

针对包括多个输入的分析节点，解析后在分析节点下方显示对应的输出子节点，在获取数据流画布中节点间的连接关系后，在所述数据流画布中显示输入所述分析节点的参数名称。

2.根据权利要求1所述的一种多模态数据交互方法，其特征在于，所述的数据流画布中，以不同的图标表示不同的模态数据。

3.根据权利要求1所述的一种多模态数据交互方法，其特征在于，所述的节点选择界面包括文件目录结构信息。

4.根据权利要求1所述的一种多模态数据交互方法，其特征在于，所述的节点选择界面中，当接收到用户的定位指令后，在所述数据流画布中高亮显示已经引用的多模态数据节点。

5.根据权利要求1所述的一种多模态数据交互方法，其特征在于，多模态的数据包括结构化数据和非结构化数据。

6.根据权利要求1所述的一种多模态数据交互方法，其特征在于，当用户点击所述数据流画布上的分析节点时，显示代码编辑器页面。

7.根据权利要求1所述的一种多模态数据交互方法，其特征在于，所述的分析节点为算法节点、系统构建节点、SQL节点中的任一种。

8.一种电子设备，其特征在于，包括：一个或多个处理器以及存储器，所述存储器内储存有一个或多个程序，所述一个或多个程序包括用于执行如权利要求1-7任一所述多模态数据交互方法的指令。

9.一种计算机可读存储介质，其特征在于，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如权利要求1-7任一所述多模态数据交互方法的指令。