CN117932161B - 一种多源多模态数据的可视化搜索方法及系统 - Google Patents

Abstract

本发明公开了一种多源多模态数据的可视化搜索方法及系统，涉及信息检索技术领域。本发明通过对不同数据类型的数据通过不同特征的提取方式进行提取，并从数据二号库中获取特征并建立特征空间，在特征空间中，实现不同数据类型但同一特征的相关联，该设计能够有效地提高对不同模态数据的处理，通过特征空间直接的相关系数建立出特征空间之间的关联网络，在建立出特征空间之间的关联网络之后，将特征空间之间的关联网络对整个数据二号库进行处理，进而获得完全的特征空间之间的关联网络，从而能够有效地整合不同数据源的多种类型数据，并建立跨模态之间的关联，同时特征空间之间的关联网络也会后续的数据搜索提供了便利。

Description

一种多源多模态数据的可视化搜索方法及系统

技术领域

本发明涉及信息检索技术领域，具体为一种多源多模态数据的可视化搜索方法及系统。

背景技术

多源多模态数据指的是来自不同数据源的不同类型的数据，不同类型包括文本，图像、视频和音频，可视化搜索方法是一种将搜索结果以可视化形式呈现给用户的技术，传统的文本搜索结果通常以列表或网格的形式展示，而可视化搜索方法可以通过图表、地图、图像等视觉化方式呈现搜索结果，使用户更直观地理解和发现信息。

多源多模态数据一般涵盖各种不同的数据类型和格式，例如图片、文本、音频、视频等，由于这些数据之间具有很大的异构性，数据类型都具有特定的表示形式和特征，不同数据类型的数据通常具有不同的数据结构，不同数据类型的数据其表示形式和组织方式各不相同，不同数据类型的数据具有不同的特征表达方式，因此在实现多模态数据的搜索时需要能够有效处理不同模态的数据，在处理多源多模态数据时，面临的关键问题是如何有效地整合来自不同数据源的多种类型数据，并建立跨模态之间的关联，为此发明了一种多源多模态数据的可视化搜索方法及系统。

发明内容

为了实现多模态数据的搜索时能够有效地整合不同模态的数据，同时在建立不同模态数据之间的联系，从而实现多模态数据的搜索以及提高多模态数据搜索的效率，进而实现整合来自不同数据源的多种类型数据，并建立跨模态之间的关联。

为实现上述目的，本发明提供如下技术方案：一种多源多模态数据的可视化搜索方法，方法包括：

S01，多源多模态数据的收集和预处理，从各个数据源中收集多模态数据，通过收集的多模态数据建立数据一号库，并对多模态数据进行预处理，并将预处理后的数据进行集中，获得数据二号库，数据二号库中的数据和数据一号库中的多模态数据建立链接，数据二号库包括预处理后的数据和对应数据的链接；

S02，建立跨模态数据的关联模型，通过关联模型数据二号库中的数据进行处理，增大特征空间之间的关联网络；

S03，建立智能搜索引擎，将结合了自然语言处理技术的人工智能系统与常规数据搜索引擎相结合并建立交互界面,用户通过交互界面发出搜索命令，人工智能系统对搜索命令进行特征提取，获得搜索特征，将搜索特征转化为搜索特征集；

S04，结果反馈，使用跨模态数据的关联模型对搜索特征集进行检索得到反馈数据，智能搜索引擎将反馈数据以可视化方式展示给用户，反馈数据从数据二号库获取并附上与数据一号库的对应链接；

建立跨模态数据的关联模型的方法包括：

第一步，从数据二号库获取建模和训练的训练数据集，训练数据集中包含有不同模态的数据；

第二步，获取训练数据集的特征，每个数据含有至少一个特征值，不同特征值之间存在相关性，将含有相同特征值的数据映射在同一特征空间中，并基于特征值之间存在相关性设置不同特征空间之间的相关系数；

第三步，基于不同特征空间之间的相关系数，创建特征空间之间的关联网络得到关联模型；

第四步，模型优化，通过训练用数据对关联模型进行训练，并在训练中优化和修正关联模型；

S04步骤中，智能搜索引擎将搜索特征集与关联模型中的特征空间相对应得到至少一个目标特征空间，搜索引擎内设置有相关系数，关联模型将与各个目标特征空间均存在关联且相关系数大于关联系数的特征空间作为反馈空间，反馈空间内的特征所对应的数据为反馈数据；

基于反馈数据用户根据自身需求选择是否对反馈数据进行二次筛选。

更进一步地，多模态数据的预处理方法：

第一步，对每种模态的数据进行清洗，去除噪声、重复项和不完整的数据，使用图像处理技术去除图像中的噪点或伪影，对文本进行拼写和语法纠正，对音频进行降噪处理；

第二步，通过特征提取对每种模态的数据提取关键特征。

更进一步地，特征提取包括：对于图像数据，使用卷积神经网络来提取图像特征，对于文本数据，通过自然语言处理技术提取文本特征；对于音频数据，通过梅尔频率倒谱系数提取音频的频谱特征和通过语言识别技术获得音频的音频文字特征。

更进一步地，建立智能搜索引擎的方法包括：

第一步，应用自然语言处理技术，自然语言处理技术对文本信息进行分析和理解，得到文本中的特征；

第二步，利用计算机视觉技术和人工智能，对用户所传的图像内容进行分析，获得图像中的特征；

第三步，应用语音识别和音频特征提取，对用户所传音频内容进行分析，获取音频内容的特征；

第四步，获得搜索特征，将搜索特征转化为搜索特征集，搜索特征集对应特征空间之间关联网络中的特征空间，根据对应特征空间，从数据二号库中选取对应的预处理后数据，在搜索引擎中添加处理模块，处理模块负责接收用户的搜索命令，并将搜索命令进行特征提取；

第五步，利用自然语言生成技术，对搜索结果进行摘要生成，利用自然语言生成技术对搜索结果进行总结，获得总结内容，同时生成摘要，摘要包括主题和重点内容，自然语言生成技术基于搜索结果，判断搜索结果中是否存在数值，在存在数值的情况下，判断数值是否可以生成图表，在能生成图表的情况下，自然语言生成技术获取数值和数值所对应的主体生成图表；

搜索特征包括文本中的特征、图像中的特征和音频内容的特征。

更进一步地，建立智能搜索引擎的方法包括：

第一步，利用自然语言处理和深度学习技术，帮助搜索引擎理解用户意图；

第二步，基于用户的历史搜索记录、浏览行为和兴趣偏好，使用机器学习算法构建个性化推荐；

第三步，结合自然语言处理和特征空间之间的关联网络，开发智能问答系统；

使用自然语言处理技术，将用户输入的搜索命令转化成机器可读的格式，人工智能技术处理搜索命令，并提取搜索命令中的搜索特征。

更进一步地，二次筛选的方法包括，用户通过交互界面发出的搜索命令，人工智能技术利用自然语言处理技术对搜索命令首次进行分析，获得搜索命令的特征，通过搜索命令的特征获得多模态数据后，用户通过交互界面再次发出搜索命令，人工智能技术利用自然语言处理技术对搜索命令再次进行分析，获得第二次搜索命令的特征，根据第二次搜索命令的特征对获得多模态数据进行筛选。

更进一步地，相关系数为不同特征空间之间具有相同预处理后的数据数量与特征空间内预处理后的数据总量之比。

更进一步地，生成图表的方法包括，自然语言生成技术对搜索结果进行处理，自然语言生成技术自动标记搜索结果中数值和数值所对应的主体，自然语言生成技术通过搜索结果表达的信息和数值和数值所对应的主体的表达信息，结合数值和数值所对应的主体自动生成图表，图表显示在交互界面上。

一种多源多模态数据的可视化搜索系统，采用了上述的一种多源多模态数据的可视化搜索方法。

与现有技术相比，本发明的有益效果是：

该多源多模态数据的可视化搜索方法，建立数据二号库，通过对不同数据类型的数据通过不同特征的提取方式进行提取，并从数据二号库中获取特征并建立特征空间，在特征空间中，实现不同数据类型但同一特征的相关联，该设计能够有效地提高对不同模态数据的处理，通过特征空间直接的相关系数建立出特征空间之间的关联网络，在建立出特征空间之间的关联网络之后，将特征空间之间的关联网络对整个数据二号库进行处理，进而获得完全的特征空间之间的关联网络，从而能够有效地整合不同数据源的多种类型数据，并建立跨模态之间的关联，同时特征空间之间的关联网络也会后续的数据搜索提供了便利。

该多源多模态数据的可视化搜索方法及系统，通过建立跨模态数据关联模型来处理多模态数据的特征，并构建出多模态数据特征的特征空间之间的关联网络，能够实现并建立多模态数据特征之间的关联性，并进一步实现多模态数据之间的联系，通过将特征映射到特征空间之间的关联网络中建立联系，该联系会作用到多模态数据上，这种方法可以有效地整合多模态数据，从而在搜索时，通过特征去进行搜索，能够提高搜索引擎的处理速度。

同时，在实现多模态数据搜索的情况下，我们可以通过结合搜索引擎和人工智能的方法来实现多模态搜索，用户提交信息后，搜索引擎将从图像、文本和音频中提取特征，并建立搜索特征集，该搜索特征集会被嵌入到特征空间之间的关联网络中进行搜索，从特征空间之间的关联网络中寻找到对应的特征空间，从而快速搜索对应的预处理的数据，这种方法可以降低计算机的处理负担，从而提高搜索效率。

利用自然语言处理技术对文本信息进行处理，自然语言处理技术可以分析文本中的词汇、语法结构和上下文信息，通过提取关键信息、整合相关内容以及生成摘要，同时自动标记数值以及数值的主体，通过数值和数值的主体自动生产对应图表，图表显示在交互界面上，从而实现文本数据的可视化，进而配合搜索到图像数据或者音频数据，实现多模态数据之间相结合。

附图说明

图1为本发明的多源多模态数据的可视化搜索方法图；

图2为本发明的建立跨模态数据的关联模型的方法图；

图3为本发明实施例一的建立智能搜索引擎的方法图；

图4为本发明实施例二的建立智能搜索引擎的方法图;

图5为特征空间之间的关联网络图;

图6为搜索特征集的示意图；

图7为搜索特征集对应特征空间之间的关联网络的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

多模态数据中，视频课将其拆分为图像和音频，并通过时间的方式建立该图像和音频之间的联系性，进而，实现该视频内图像特征和音频特征的联系。

如图1－图7所示，本发明提供一种技术方案：一种多源多模态数据的可视化搜索方法，方法包括：

S01，多源多模态数据的收集和预处理，从各个数据源中收集多模态数据，通过收集的多模态数据建立数据一号库，并对多模态数据进行预处理，并将预处理后的数据进行集中，获得数据二号库，数据二号库中的数据和数据一号库中的多模态数据建立链接，数据二号库包括预处理后的数据和对应数据的链接；

S02，建立跨模态数据的关联模型，通过关联模型数据二号库中的数据进行处理，增大特征空间之间的关联网络；

S03，建立智能搜索引擎，将结合了自然语言处理技术的人工智能系统与常规数据搜索引擎相结合并建立交互界面,用户通过交互界面发出搜索命令，人工智能系统对搜索命令进行特征提取，获得搜索特征，将搜索特征转化为搜索特征集，常规数据搜索引擎表示的是现有的普通搜索引擎，例如通过关键词寻找原始文本数据的这类数据搜索引擎；

S04，结果反馈，使用跨模态数据的关联模型对搜索特征集进行检索得到反馈数据，智能搜索引擎将反馈数据以可视化方式展示给用户，反馈数据从数据二号库获取并附上与数据一号库的对应链接；

建立跨模态数据的关联模型的方法包括：

第一步，从数据二号库获取建模和训练的训练数据集，训练数据集中包含有不同模态的数据；

第二步，获取训练数据集的特征，每个数据含有至少一个特征值，不同特征值之间存在相关性，将含有相同特征值的数据映射在同一特征空间中，并基于特征值之间存在相关性设置不同特征空间之间的相关系数；

第三步，基于不同特征空间之间的相关系数，创建特征空间之间的关联网络得到关联模型；

第四步，模型优化，通过训练用数据对关联模型进行训练，并在训练中优化和修正关联模型；

S04步骤中，智能搜索引擎将搜索特征集与关联模型中的特征空间相对应得到至少一个目标特征空间，搜索引擎内设置有相关系数，关联模型将与各个目标特征空间均存在关联且相关系数大于关联系数的特征空间作为反馈空间，反馈空间内的特征所对应的数据为反馈数据，相关系数表示两个特征空间之间的关联程度，关联系数作为一个设定值，在使用过程中设定关联系数为0.8，目标相关系数大于目标关联系数的特征空间，则将该特征空间作为反馈空间，同时相关系数大于关联系数的0.8时，说明该特征空间和目标特征空间之间的关联程度高，且该特征空间中的数据可用于反馈。

多模态数据的预处理方法：

第一步，对每种模态的数据进行清洗，去除噪声、重复项和不完整的数据，使用图像处理技术去除图像中的噪点或伪影，对文本进行拼写和语法纠正，对音频进行降噪处理；

第二步，通过特征提取对每种模态的数据提取关键特征。

特征提取包括：对于图像数据，使用卷积神经网络来提取图像特征，对于文本数据，通过自然语言处理技术提取文本特征；对于音频数据，通过梅尔频率倒谱系数提取音频的频谱特征和通过语言识别技术获得音频的音频文字特征。

建立智能搜索引擎的方法包括：

第一步，应用自然语言处理技术，自然语言处理技术对文本信息进行分析和理解，得到文本中的特征；

第二步，利用计算机视觉技术和人工智能，对用户所传的图像内容进行分析，获得图像中的特征；

第三步，应用语音识别和音频特征提取，对用户所传音频内容进行分析，获取音频内容的特征；

第四步，获得搜索特征，将搜索特征转化为搜索特征集，搜索特征集对应特征空间之间关联网络中的特征空间，根据对应特征空间，从数据二号库中选取对应的预处理后数据，将特征空间之间的关联网络和搜索引擎相结合，在搜索引擎中添加处理模块，处理模块负责接收用户的搜索命令，并将搜索命令进行特征提取；

第五步，利用自然语言生成技术，对搜索结果进行摘要生成，利用自然语言生成技术对搜索结果进行总结，获得总结内容，同时生成摘要，摘要包括主题和重点内容，自然语言生成技术基于搜索结果，判断搜索结果中是否存在数值，在存在数值的情况下，判断数值是否可以生成图表，在能生成图表的情况下，自然语言生成技术获取数值和数值所对应的主体生成图表，通过自然语言生成技术，对搜索结果进行摘要生成，生成摘要，其中的摘要包括包括搜索结果的主题和搜索结果的重点内容，主题和重点内容由自然语言生成技术自动生成，利用自然语言生成技术对搜索结果进行总结，获得总结内容，其中自然语言生成技术为现有技术，使用自然语言生成技术对搜索结果进行总结，生成总结内容，总结内容需要易于理解和直观表示搜索结果中的关键点，同时将总结内容展示在可交互界面上。

建立智能搜索引擎的方法包括：

第一步，利用自然语言处理和深度学习技术，帮助搜索引擎理解用户意图；

第二步，基于用户的历史搜索记录、浏览行为和兴趣偏好，使用机器学习算法构建个性化推荐；

第三步，结合自然语言处理和特征空间之间的关联网络，开发智能问答系统；

使用自然语言处理技术，将用户输入的搜索命令转化成机器可读的格式，人工智能技术处理搜索命令，并提取搜索命令中的搜索特征。

基于反馈数据用户根据自身需求选择是否对反馈数据进行二次筛选，二次筛选的方法包括，用户通过交互界面发出的搜索命令，人工智能技术利用自然语言处理技术对搜索命令首次进行分析，获得搜索命令的特征，通过搜索命令的特征获得多模态数据后，用户通过交互界面再次发出搜索命令，人工智能技术利用自然语言处理技术对搜索命令再次进行分析，获得第二次搜索命令的特征，根据第二次搜索命令的特征对获得多模态数据进行筛选。

相关系数为不同特征空间之间具有相同预处理后的数据数量与特征空间内预处理后的数据总量之比。

生成图表的方法包括，自然语言生成技术对搜索结果进行处理，自然语言生成技术自动标记搜索结果中数值和数值所对应的主体，自然语言生成技术通过搜索结果表达的信息和数值和数值所对应的主体的表达信息，结合数值和数值所对应的主体自动生成图表，图表显示在交互界面上，某地的西瓜在某月的价格为为1.2元/斤”此时然语言生成技术寻找数值“1.2”同时寻找主体，“西瓜”会作为主体，以及后续文本信息的变化，或是后续内容为西瓜的价格变化，展示的是折线图，或是后续为其他水果的价格，则展示的是柱状图，从而结合数值和数值所对应的主体自动生成图表。

一种多源多模态数据的可视化搜索系统，采用了上述的一种多源多模态数据的可视化搜索方法。

如图5、图6和图7所示，通过搜索命令建立出搜索特征集，将搜索特征集中的搜索特征对应到特征空间中，对应的特征空间中所对应的数据为反馈数据。

通过网络可从多个数据源中获取多模态数据，将收集的未经处理的多模态数据建立数据一号库，从而保留原始数据，对原始数据进行预处理，预处理可以帮助清洗和去除数据中的噪声和不必要的信息，提高数据质量和准确性，通过特征提取的方法，提取出最相关和重要的特征，从而降低计算复杂度和提高模型效率。

特征空间之间的关联网络是一种用于表示组织知识的图形化结构，在特征空间之间的关联网络中，由于文本信息作为在搜索引擎最常用的搜索方式，因此为了该搜索系统的使用效果，因此将文本特征作为特征空间之间的关联网络的基点，通过特征建立关系和属性等的联系。

卷积神经网络是一种常用的深度学习模型，用于提取图像特征，CNN包含多个卷积层和池化层，以及全连接层等结构，其基本原理是通过卷积操作和池化操作，逐层提取图像中的局部特征，并在全连接层中将这些特征组合起来，最终得到图像的表示，具体来说，卷积层通过滑动窗口的方式将卷积核与输入图像进行卷积运算，从而提取出图像中的局部特征，例如边缘、纹理等，然后，池化层通过对每个局部区域的特征进行汇聚，减少特征的维度，同时保留重要的特征信息，这样，通过多层的卷积和池化操作，CNN可以逐渐提取出更高级别的图像特征，对于文本特征，自然语言在处理时使用词袋模型提取每个词汇的频率作为特征，或者使用Word2Vec将每个词汇映射到一个向量表示，从而寻找文本特征，通过文本特征可以捕捉到文本数据中的重要信息。这样可以更好地理解文本内容，从而支持各种自然语言理解任务，通过文本特征可以更有效地存储和处理，减少计算和存储开销，并为后续的搜索引擎的寻找降低难度；梅尔频率倒谱系数是一种常用于音频信号处理的特征提取方法，它模拟了人耳对音频频谱的感知方式，能够更好地捕捉到人类听觉系统对声音的敏感度，语音识别技术是指将音频数据转换为相应的文本或文字表示的过程。

通过分析音频信号的频谱、声学特征、语言模型等信息，识别出音频中所包含的语音内容，音频文字特征是指通过语音识别技术从音频中提取出的对应的文字信息，我们可以将语音信息转化为可处理的文本形式，方便后续的信息检索等操作。

数据去重复项是指在数据集中删除重复的记录或数据项的过程，当一个数据集中存在重复的数据时，去重操作可以帮助我们识别和删除这些重复项，以确保数据的准确性、一致性和可靠性，数据去重的目的是消除冗余数据，提高数据的质量和效率。

在建立跨模态数据的关联模型时，先从数据二号库随机获取预处理后的数据和对应数据的特征，用于模型的建立以及后续的训练，但需要保证所获取的数据必须包含有不同模态的数据，这样才能帮助模态数据的关联模型以及后续的训练，获取数据的特征后，进行跨模态特征对应，将来自不同模态的数据（如图像、文本和音频等）特征根据特征的属性，映射到相同的特征空间中，以便在此空间中计算它们之间的相似度或相关性，之后在相同的特征空间内，文本特征为构建特征空间之间的关联网络的基点，实现文本特征之间的相互相连，并根据文本特征建立文本特征和图像特征、频谱特征、音频文字特征之间的联系，由于在对数据处理时，文字数据相对于图像数据和音频数据，计算机能够快速的从文字数据获得实体、概念、关系和属性的信息，因此将文本特征作为基点便于计算机的运算，因此将文本特征作为特征空间之间的关联网络的基点，并建立基点之间的相连，同时建立不同的特征空间的相关系数，建立不同特征空间之间的相关系数为不同特征空间之间具有相同预处理后的数据量与该特征空间的预处理后的数据总量，通过两个不同特征空间之间是否存在相同的预处理数据，以及预处理数据的量占自身所有的预处理数据量之比作为相关系数，从而使得计算机能够了解两个不同特征空间之间的关联程度，后续便通过训练数据对关联模型进行训练，在训练中优化和修正关联模型，训练完成之后，通过关联模型对二号库包括预处理后的特征进行处理，从而建立起一个全面的特征空间之间关联网络；通过建立跨模态数据关联模型来处理多模态数据的特征，并构建出多模态数据特征的特征空间之间的关联网络，能够实现并建立多模态数据特征之间的关联性，并进一步实现多模态数据之间的联系，通过将特征映射到特征空间之间的关联网络中建立联系，该联系会作用到多模态数据上，这种方法可以有效地整合多模态数据，从而在搜索时，通过特征去进行搜索，能够提高搜索引擎的处理速度。

如图5所示，其中通过获取的特征建立特征空间，将相同特征值的数据映射在同一特征空间中，同时建立起不同特征空间之间的相关系数，特征空间之间通过相关系数相连，其中相关系数为为不同特征空间之间具有相同预处理后的数据数量与特征空间内预处理后的数据总量之比，根据具有相同数据的量作为判断相关系数的大小，当相关系数等于0时，说明两者之间不存在相同数据，因此两者不相连，当相关系数等于1时，说明，其中一个特征空间中数据在另一个特征空间内能够全部找到，说明两者为包含关系，基于相关系数建立起特征空间之间的相连，形成特征空间之间的关联网络，同时相关系数在两个特征空间之间会由于主体的不同存在不同，比如特征空间A对特征空间B的相关系数0.9，但特征空间B对特征空间A的相关系数可能为0.5，相关系数是以不同特征空间之间具有相同预处理后的数据数量与主体特征空间内预处理后的数据总量之比，特征空间A对特征空间B的相关系数0.9中，特征空间B为主体，如图6所示，展示的用户搜索特征集，将搜索命令中的搜索特征转化成搜索特征集，如图7所示，将搜索特征集对应到对应特征空间之间的关联网络，将对应特征空间作为主体，找到属于搜索特征集的特征空间的关联网络部分，从而从特征空间的关联网络部分中的特征空间中获取对应数据，对主体特征空间的相关系数达到设置值的其他特征空间，同样获取该其他特征空间中的数据。

实施例一：通过建立智能搜索引擎的方式，在搜索引擎加入自然语言处理技术、计算机视觉技术和人工智能和语音识别和音频特征提取，使得该搜索引擎在实现对多模态数据的搜索，同时实现多模态的搜索方式，分别可通过文字、图像和音频实现多模态的搜索方式，从而有助于帮助用户能够精确地寻找到所需信息，同时用户给出的搜索命令，从中提取出搜索命令的特征，构成搜索特征集，将该搜索特征集移至搜索引擎，搜索引擎通过从关联模型中，将搜索特征集通过全面的特征空间之间关联网络中进行寻找，从而能够从数据二号库中获得对应的预处理后的数据，对预处理后的数据进行可视化处理，使其能够可视化地进行展示，可视化处理在处理一个包含文本和图像的数据集时，我们可以使用词云、散点图、折线图等方式来展示文本数据的关键词、出现频率、情感倾向等信息；而对于图片数据，我们可以使用热度图、柱状图、饼图等方式来展示图片的颜色分布、尺寸分布、主体内容分布等信息，同时并考虑数据之间的关系和相互作用，比如可以使用网络图、能力导向图等方式来展示数据之间的关联关系和影响程度，以此实现多模态数据的可视化，使用自然语言处理实现，系统可以分析文本中的词汇、语法结构和上下文信息等，以确定哪些部分最适合回答用户的搜索命令，从而选择并用于可视化展示界面，（文本中包括数据，并自动将截取文本中数据做成关联图或者表格等）对于视频和图片材料，可以使用关键帧预览、图像标签和元数据搜索等技术来加快用户查找的速度和准确性；在实现多模态数据搜索的情况下，我们可以通过结合搜索引擎和人工智能的方法来实现多模态搜索，用户提交搜索命令后，搜索引擎将从图像、文本和音频中提取特征，并建立搜索特征集，该搜索特征集会被嵌入到特征空间之间的关联网络中进行搜索，从特征空间之间的关联网络中寻找到对应的特征空间，从而快速搜索对应的预处理的数据，这种方法可以降低计算机的处理负担，从而提高搜索效率，通过用户给出的搜索命令中特征，根据用户给出的搜索命令中特征，由于其中特征可能不止一个，因此根据给出的多个特征并建立不同特征之间的连接，从而建立搜索特征集。

实施例二：在展示具有实体的物品时，在可视化界面会自动展示其图片等相关信息和数据，同时自然语言处理技术的使用，使得用户在输入搜索命令时，该搜索命令可采用问题的方式，通过自然语言处理技术处理问题，从而通过问题生成特征，从而进行搜索，有助于提高用户的体验。

人员在通过关键词搜索到相关的多模态数据后，由于多模态数据过多，因此部分搜索引擎会设置有筛选方式，例如时间、主题和领域等用于对多模态数据进行筛选，用户通过该筛选方式可选择出自己所想要的，通过与人工智能技术相结合，通过智能问答系统，在智能问答系统上提出问题和要求，使得对多模态数据的筛选不仅只局限于时间、主题和领域等，通过用户所提出的新的搜索命令，人工智能技术可通过新的要求对多模态数据进一步的筛分，从而能够快速寻找到所需数据，同时能够保证所筛选后的数据符合用户需求。

利用自然语言处理技术对文本信息进行处理，自然语言处理技术可以分析文本中的词汇、语法结构和上下文信息，通过提取关键信息、整合相关内容以及生成摘要，同时自动标记数值以及数值的主体，通过数值和数值的主体自动生产对应图表，图表显示在交互界面上，从而实现文本数据的可视化，进而配合搜索到图像数据或者音频数据，实现多模态数据之间相结合，通过界面展示可视化的多模态数据可使用编程语言和库创建交互式图表和图形，或者使用专门的可视化软件来进行数据可视化设计等等，根据二次信息对对应数据进行筛分，通过开始的搜索要求获得对应数据后，由于对应数据过多，因此往往需要再从对应数据中进行筛选，因此此时界面上会出现对话框，在对话框中输入二次信息，二次信息表示的是对对应数据的要求，搜索引擎会根据二次信息中的要求，对对应数据进行筛分，上述可重复进行，知道用户对显示的数据结果满意。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附实施例及其等同物限定。

Claims (9)

1.一种多源多模态数据的可视化搜索方法，其特征在于，所述方法包括：

S01，多源多模态数据的收集和预处理，从各个数据源中收集多模态数据，通过收集的多模态数据建立数据一号库，并对多模态数据进行预处理，并将预处理后的数据进行集中，获得数据二号库，数据二号库中的数据和数据一号库中的多模态数据建立链接，所述数据二号库包括预处理后的数据和对应数据的链接；

S02，建立跨模态数据的关联模型，通过关联模型数据二号库中的数据进行处理，增大特征空间之间的关联网络；

S03，建立智能搜索引擎，将结合了自然语言处理技术的人工智能系统与常规数据搜索引擎相结合并建立交互界面,用户通过交互界面发出搜索命令，所述人工智能系统对搜索命令进行特征提取，获得搜索特征，将搜索特征转化为搜索特征集；

S04，结果反馈，使用跨模态数据的关联模型对搜索特征集进行检索得到反馈数据，智能搜索引擎将反馈数据以可视化方式展示给用户，所述反馈数据从数据二号库获取并附上与数据一号库的对应链接；

所述建立跨模态数据的关联模型的方法包括：

第一步，从数据二号库获取建模和训练的训练数据集，所述训练数据集中包含有不同模态的数据；

第二步，获取训练数据集的特征，每个数据含有至少一个特征值，不同特征值之间存在相关性，将含有相同特征值的数据映射在同一特征空间中，并基于特征值之间存在相关性设置不同特征空间之间的相关系数；

第三步，基于不同特征空间之间的相关系数，创建特征空间之间的关联网络得到关联模型；

第四步，模型优化，通过训练用数据对关联模型进行训练，并在训练中优化和修正关联模型；

所述S04步骤中，智能搜索引擎将搜索特征集与关联模型中的特征空间相对应得到至少一个目标特征空间，所述搜索引擎内设置有相关系数，关联模型将与各个目标特征空间均存在关联且相关系数大于关联系数的特征空间作为反馈空间，反馈空间内的特征所对应的数据为反馈数据；

基于反馈数据用户根据自身需求选择是否对反馈数据进行二次筛选。

2.根据权利要求1所述的一种多源多模态数据的可视化搜索方法，其特征在于：所述多模态数据的预处理方法：

第一步，对每种模态的数据进行清洗，去除噪声、重复项和不完整的数据，使用图像处理技术去除图像中的噪点或伪影，对文本进行拼写和语法纠正，对音频进行降噪处理；

第二步，通过特征提取对每种模态的数据提取关键特征。

3.根据权利要求2所述的一种多源多模态数据的可视化搜索方法，其特征在于：所述特征提取包括：对于图像数据，使用卷积神经网络来提取图像特征，对于文本数据，通过自然语言处理技术提取文本特征，对于音频数据，通过梅尔频率倒谱系数提取音频的频谱特征和通过语言识别技术获得音频的音频文字特征。

4.根据权利要求1所述的一种多源多模态数据的可视化搜索方法，其特征在于：所述建立智能搜索引擎的方法包括：

第一步，应用自然语言处理技术，自然语言处理技术对文本信息进行分析和理解，得到文本中的特征；

第二步，利用计算机视觉技术和人工智能，对用户所传的图像内容进行分析，获得图像中的特征；

第三步，应用语音识别和音频特征提取，对用户所传音频内容进行分析，获取音频内容的特征；

第四步，获得搜索特征，将搜索特征转化为搜索特征集，搜索特征集对应特征空间之间关联网络中的特征空间，根据对应特征空间，从数据二号库中选取对应的预处理后数据，在搜索引擎中添加处理模块，所述处理模块负责接收用户的搜索命令，并将搜索命令进行特征提取；

第五步，利用自然语言生成技术，对搜索结果进行摘要生成，利用自然语言生成技术对搜索结果进行总结，获得总结内容，同时生成摘要，所述摘要包括主题和重点内容，自然语言生成技术基于搜索结果，判断搜索结果中是否存在数值，在存在数值的情况下，判断数值是否可以生成图表，在能生成图表的情况下，自然语言生成技术获取数值和数值所对应的主体生成图表；

所述搜索特征包括文本中的特征、图像中的特征和音频内容的特征。

5.根据权利要求1所述的一种多源多模态数据的可视化搜索方法，其特征在于：所述建立智能搜索引擎的方法包括：

第一步，利用自然语言处理和深度学习技术，帮助搜索引擎理解用户意图；

第二步，基于用户的历史搜索记录、浏览行为和兴趣偏好，使用机器学习算法构建个性化推荐；

第三步，结合自然语言处理和特征空间之间的关联网络，开发智能问答系统；

使用自然语言处理技术，将用户输入的搜索命令转化成机器可读的格式，人工智能技术处理搜索命令，并提取搜索命令中的搜索特征。

6.根据权利要求1所述的一种多源多模态数据的可视化搜索方法，其特征在于：所述二次筛选的方法包括，用户通过交互界面发出的搜索命令，人工智能技术利用自然语言处理技术对搜索命令首次进行分析，获得搜索命令的特征，通过搜索命令的特征获得多模态数据后，用户通过交互界面再次发出搜索命令，人工智能技术利用自然语言处理技术对搜索命令再次进行分析，获得第二次搜索命令的特征，根据第二次搜索命令的特征对获得多模态数据进行筛选。

7.根据权利要求1所述的一种多源多模态数据的可视化搜索方法，其特征在于：所述相关系数为不同特征空间之间具有相同预处理后的数据数量与特征空间内预处理后的数据总量之比。

8.根据权利要求4所述的一种多源多模态数据的可视化搜索方法，其特征在于：所述生成图表的方法包括，自然语言生成技术对搜索结果进行处理，自然语言生成技术自动标记搜索结果中数值和数值所对应的主体，自然语言生成技术通过搜索结果表达的信息和数值和数值所对应的主体的表达信息，结合数值和数值所对应的主体自动生成图表，图表显示在交互界面上。

9.一种多源多模态数据的可视化搜索系统，其特征在于：采用了权利要求1-8任意一项所述的一种多源多模态数据的可视化搜索方法。