CN116050517A - 一种面向公共安全领域的多模态数据管理方法及系统 - Google Patents

Abstract

本发明公开一种面向公共安全领域的多模态数据管理方法及系统，涉及数据识别技术领域；基于元模型建立知识图谱进行多模态数据管理，利用流批一体化计算引擎进行多模态数据加工，建立多模态数据的向量空间，基于多模态数据的向量空间，利用哈希的无监督学习方法检索多模态数据；本发明利用深度学习、向量计算、知识图谱等技术，实现多源异构数据下海量多模态数据统一管理，基于元模型实现公共安全领域下本体模型的自定义管理，将元模型本体下同一实体的多模态数据，建立相关联的多模态向量空间，基于哈希的无监督学习快速检索方法实现多模态数据检索，从而实现公共安全领域下对管控对象在图像、文本、结构化等多模态数据里统一搜索与智能关联比对。

Description

一种面向公共安全领域的多模态数据管理方法及系统

技术领域

本发明公开一种方法及系统，涉及数据识别技术领域，具体地说是一种面向公共安全领域的多模态数据管理方法及系统。

背景技术

由两种或两种以上模态组成的数据可以称之为多模态数据，多模态用来表示不同形态的数据形式，或者同种形态不同的格式。现有模式下图像、语音、文本等不同模态的数据有不同的接收方式，不同模态的数据汇总不同角度、不同方面描述同一个事物。

在公共安全领域中广泛涉及多模态数据，如不同信息来源的视频、语音、结构化、网站论坛文字等， 因此公共安全领域环境中，使用多模态数据常面临多种问题，例如：

一、多模式下多模态数据管理无法统一，无法实现利用元模型、本体模型规范化定义多模态对象；

二、各模态数据的置信水平不一，可能导致某些模式丢失必要数据；

三、多个模态之间如何确认未知本体模型是否存在的前提下，多模态相关性无法有效辨认；

四、各模态数据处理任务分裂，无法在高并发场景下，保障图像、文本等数据处理引擎统一，快速扩展；

五、多模态数据无法实现基于同一事物下，综合多模式下数据进行智能搜索。

发明内容

本发明针对现有技术的问题，提供一种面向公共安全领域的多模态数据管理方法及系统，面向公共安全业务领域，实现多模态数据管理。

本发明提出的具体方案是：

本发明提供一种面向公共安全领域的多模态数据管理方法，包括以下步骤：

步骤1：基于元模型建立知识图谱进行多模态数据管理：根据元模型本体，构建公共安全领域下元模型本体的树形结构，根据所述树形结构遍历获得各个元模型本体的要素数据，建立不同要素数据之间的关系模型，并为每个要素数据建立分类标识，根据要素数据的数据源类型通过关系模型构建知识图谱，通过所述知识图谱建立要素数据中多模态数据与同一实体的初步关联并建立概念模型用于管理多模态数据；

步骤2：利用流批一体化计算引擎进行多模态数据加工，建立多模态数据的向量空间：分别对多模态数据中每种模态数据进行训练学习，获得每种模态数据的特征提取模型，利用所述特征提取模型提取相应模态数据的特征，依据不同模态数据的特征通过决策方式进行融合，根据融合结果针对多模态数据构建多模态数据的向量空间；

步骤3：基于多模态数据的向量空间，利用哈希的无监督学习方法检索多模态数据：利用哈希的无监督学习方法获取所述向量空间内每种模态数据的向量所对应的哈希码，通过哈希码获得向量间的欧式距离，根据欧式距离进行多模态数据的相似搜索。

进一步，所述的一种面向公共安全领域的多模态数据管理方法中所述基于元模型建立知识图谱进行多模态数据管理中根据要素数据的数据源类型通过关系模型构建知识图谱，包括：

判断要素数据的数据源类型，若数据源类型为关系型则获取元模型本体及要素数据对应的分类标识，完成实体节点及关系构建，若数据源类型为非关系型则通过元模型本体获取非关系型实体的数据结构，并获取要素数据对应的属性值，完成实体节点及关系的构建。

进一步，所述的一种面向公共安全领域的多模态数据管理方法中所述利用流批一体化计算引擎进行多模态数据加工，包括：

针对多模态数据中每种模态数据分别采用不同的算法进行训练学习，若多模态数据为图像数据则采用卷积神经网络进行训练学习，获得图像特征提取模型，利用所述图像特征提取模型提取图像数据的特征，若多模态数据为序列化数据则采用循环神经网络进行训练学习，获得序列化数据特征提取模型，利用所述序列化数据特征提取模型提取序列化数据的特征。

进一步，所述的一种面向公共安全领域的多模态数据管理方法中根据所述流批一体化计算引擎部署数据管理组件和组件编排引擎，并通过可视化设计前端展示所述流批一体化计算引擎进行多模态数据加工的过程。

进一步，所述的一种面向公共安全领域的多模态数据管理方法中所述基于多模态数据的向量空间，利用哈希的无监督学习方法检索多模态数据，具体过程为：

设定同一类实体的向量空间内数据集合，也属于数据集合，和表示实体的不同模态下数据样本，为数据样本的第k个模态的哈希码，为数据样本的第k个模态的哈希码，

基于谱聚类算法，根据欧式距离 (Euclidean Distance)对距离的定义，利用如下公式：

获得与两个对应向量之间的欧式距离d，不同向量间根据欧式距离d进行排序，根据排序结果获取多模态数据的相似搜索结果。

本发明还提供一种面向公共安全领域的多模态数据管理系统，包括管理模块、加工处理模块和检索模块，

管理模块基于元模型建立知识图谱进行多模态数据管理：根据元模型本体，构建公共安全领域下元模型本体的树形结构，根据所述树形结构遍历获得各个元模型本体的要素数据，建立不同要素数据之间的关系模型，并为每个要素数据建立分类标识，根据要素数据的数据源类型通过关系模型构建知识图谱，通过所述知识图谱建立要素数据中多模态数据与同一实体的初步关联并建立概念模型用于管理多模态数据；

加工处理模块利用流批一体化计算引擎进行多模态数据加工，建立多模态数据的向量空间：分别对多模态数据中每种模态数据进行训练学习，获得每种模态数据的特征提取模型，利用所述特征提取模型提取相应模态数据的特征，依据不同模态数据的特征通过决策方式进行融合，根据融合结果针对多模态数据构建多模态数据的向量空间；

检索模块基于多模态数据的向量空间，利用哈希的无监督学习方法检索多模态数据：利用哈希的无监督学习方法获取所述向量空间内每种模态数据的向量所对应的哈希码，通过哈希码获得向量间的欧式距离，根据欧式距离进行多模态数据的相似搜索。

进一步，所述的一种面向公共安全领域的多模态数据管理系统中所述管理模块基于元模型建立知识图谱进行多模态数据管理中根据要素数据的数据源类型通过关系模型构建知识图谱，包括：

判断要素数据的数据源类型，若数据源类型为关系型则获取元模型本体及要素数据对应的分类标识，完成实体节点及关系构建，若数据源类型为非关系型则通过元模型本体获取非关系型实体的数据结构，并获取要素数据对应的属性值，完成实体节点及关系的构建。

进一步，所述的一种面向公共安全领域的多模态数据管理系统中所述加工处理模块利用流批一体化计算引擎进行多模态数据加工，包括：

针对多模态数据中每种模态数据分别采用不同的算法进行训练学习，若多模态数据为图像数据则采用卷积神经网络进行训练学习，获得图像特征提取模型，利用所述图像特征提取模型提取图像数据的特征，若多模态数据为序列化数据则采用循环神经网络进行训练学习，获得序列化数据特征提取模型，利用所述序列化数据特征提取模型提取序列化数据的特征。

进一步，所述的一种面向公共安全领域的多模态数据管理系统中根据所述流批一体化计算引擎部署数据管理组件和组件编排引擎，并通过可视化设计前端展示所述流批一体化计算引擎进行多模态数据加工的过程。

进一步，所述的一种面向公共安全领域的多模态数据管理系统中所述检索模块基于多模态数据的向量空间，利用哈希的无监督学习方法检索多模态数据，具体过程为：

设定同一类实体的向量空间内数据集合，也属于数据集合，和表示实体的不同模态下数据样本，为数据样本的第k个模态的哈希码，为数据样本的第k个模态的哈希码，

基于谱聚类算法，根据欧式距离 (Euclidean Distance)对距离的定义，利用如下公式：

获得与两个对应向量之间的欧式距离d，不同向量间根据欧式距离d进行排序，根据排序结果获取多模态数据的相似搜索结果。

本发明的有益之处是：

本发明提供一种面向公共安全领域的多模态数据管理方法，利用大数据、深度学习、向量计算、知识图谱等技术，实现多源异构数据下海量多模态数据统一管理，基于元模型实现公共安全领域下本体模型的自定义管理，将元模型本体下同一实体的多模态数据，建立相关联的多模态向量空间，基于哈希的无监督学习快速检索方法实现多模态数据检索，从而实现公共安全领域下对管控对象在图像、文本、结构化等多模态数据里统一搜索与智能关联比对。

附图说明

图1 本发明方法流程示意图。

图2是本发明中涉及流批一体化计算引擎的应用框架示意图。

图3是本发明中多模态数据融合过程示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

本发明提供一种面向公共安全领域的多模态数据管理方法，包括以下步骤：

步骤1：基于元模型建立知识图谱进行多模态数据管理：根据元模型本体，构建公共安全领域下元模型本体的树形结构，根据所述树形结构遍历获得各个元模型本体的要素数据，建立不同要素数据之间的关系模型，并为每个要素数据建立分类标识，根据要素数据的数据源类型通过关系模型构建知识图谱，通过所述知识图谱建立要素数据中多模态数据与同一实体的初步关联并建立概念模型用于管理多模态数据；

步骤2：利用流批一体化计算引擎进行多模态数据加工，建立多模态数据的向量空间：分别对多模态数据中每种模态数据进行训练学习，获得每种模态数据的特征提取模型，利用所述特征提取模型提取相应模态数据的特征，依据不同模态数据的特征通过决策方式进行融合，根据融合结果针对多模态数据构建多模态数据的向量空间；

步骤3：基于多模态数据的向量空间，利用哈希的无监督学习方法检索多模态数据：利用哈希的无监督学习方法获取所述向量空间内每种模态数据的向量所对应的哈希码，通过哈希码获得向量间的欧式距离，根据欧式距离进行多模态数据的相似搜索。

本发明方法涉及的知识图谱本质上是一种语义网络，图中的结点代表实体或者概念，边代表实体/概念之间的各种语义关系。本发明主要涉及公共安全领域相关元模型本体的模型建立，基于元模型本体的模型完善，根据知识图谱将各种来源、异构、海量的大数据进行汇聚、融合和关联，用于辅助多模态数据建立相关性，优化同一实体对象在同一个向量空间建立空间向量。

本发明方法涉及深度学习，利用深度学习的特征提取能力，通过深度神经网络学习多模态数据的非线形关系，从底层提取不同模态的有效表示，并在高层建立不同模态的语义关联，进行特征融合。

本发明方法涉及大数据计算和存储，通过元数据管理实现数据智能流转。并对海量非结构化数据，如图片/视频/语音/文本可进行检索。利用深度学习实现对非结构数据处理，非结构数据经过深度学习模型的处理，可被向量化。海量非结构数据的分析处理被转化为对海量向量的近似搜索。虽然处理图片，视频，语音和文字的深度学习模型各不相同，但最终的向量处理需求却是相同的。

具体应用中，基于本发明方法的技术方案，参考图1，在本发明方法的一些实施例中，步骤1：基于元模型建立知识图谱进行多模态数据管理，可参考过程如下：

根据元模型本体，构建公共安全领域下元模型本体的树形结构，

根据所述树形结构遍历获得各个元模型本体的要素数据，获得要素数据相关属性值，根据所述属性值建立不同要素数据之间的关系模型，

为每个要素数据建立分类标识，设定要素数据的获取模式和存储模式，

根据要素数据的数据源类型通过关系模型构建知识图谱，先判断要素数据的数据源类型，若数据源类型为关系型则获取元模型本体及要素数据对应的分类标识，完成实体节点及关系构建，若数据源类型为非关系型则通过元模型本体获取非关系型实体的数据结构，并获取要素数据对应的属性值，完成实体节点及关系的构建，

通过所述知识图谱建立要素数据中多模态数据与同一实体的初步关联并建立概念模型用于管理多模态数据。其中概念模型可以采用自顶向下的模式，逐步向下细化，形成良好的公共安全领域分类层次，比如抽取概念词汇、关联概念词汇、组织约束、存储规则等，对于结构化数据基于建立公共安全领域概念模型，从繁杂的数据中抽取实体、属性、关系、指标、规则等显性知识。对于非结构化数据通过ASR和CV技术，通过多模态信息抽取技术实现视频、语音、文本等不同模态数据抽取。

步骤2：利用流批一体化计算引擎进行多模态数据加工，建立多模态数据的向量空间，进一步地，进行多模态数据加工，包括：

针对多模态数据中每种模态数据分别采用不同的算法进行训练学习，若多模态数据为图像数据则采用卷积神经网络进行训练学习，获得图像特征提取模型，利用所述图像特征提取模型提取图像数据的特征，若多模态数据为序列化数据则采用循环神经网络进行训练学习，获得序列化数据特征提取模型，利用所述序列化数据特征提取模型提取序列化数据的特征。

将不同模态数据的特征利用决策融合方式转换成高层特征表示再进行融合，通过对输入数据和输出数据之间的映射关系建立融合模型，利用最小化目标损失函数学习得到期望的融合模型参数，根据融合模型获得融合结果针对多模态数据构建多模态数据的向量空间。如图3中例举针对模态1的数据提取特征1，训练获得模型1，针对模态2的数据提取特征2训练获得模型2，针对模态n的数据提取特征n,训练获得模型n ,再分别利用模型1至模型n提取相应数据特征利用决策融合方式转换成高层特征表示再进行融合，并输出结果。

上述过程均可通过流批一体化框架进行，参考图2，流批一体化框架通过源数据连接器与上游数据库或数据系统连接，通过目标数据连接器与下游数据库或数据系统连接，流批一体化框架提供计算引擎节点监控、数据统计、数据对账服务、日志审计及权限管理，并且提供相关元数据管理。

并且流批一体化框架可通过可视化设计前端展示述流批一体化计算引擎进行多模态数据加工的过程，根据流批一体化方式可部署数据任务管理组件和组件编排引擎，数据任务管理组件涉及数据任务监控、数据任务调度管理及并发控制，组件编排引擎涉及Trans转换编排组件、SQL数据库执行语句解析引擎、JSON数据交换对象解析引擎等，还可进行组件引擎管理，涉及读取组件、转换组件、计算组件及写入组件，并可利用扩展组件适配器进行组件扩展。

流批一体化方式将数据处理工作分为设计阶段和运行阶段，设计阶段支持数据读取/分发、数据提取、数据转换、数据标识、数据关联、数据比对、数据质量等算子进行可视化编排，将数据处理逻辑划分成一个有向无环图，由有向无环图体现数据的流动方向和处理步骤，最终生成数据任务定义包，发往任务定义包统一发送至大数据集群。任务定义包通过传参将目标数据划分分区，提供多线程读取的能力，提高数据摄入效率。

通过流批一体化方式实现图像、文本、语音等多模态数据流式计算任务调度，结合公共安全领域知识构建本体模型，将同一事物的多模态数据构建多模态响量空间，基于向量数据库实现多模态向量的存储。

步骤3：基于流批一体化方式处理后的多模态数据，建立向量空间，利用哈希的无监督学习方法可实现多模态数据快速检索，具体过程为：

设定同一类实体的向量空间内数据集合，也属于数据集合，且和表示实体的不同模态下数据样本，同一实体使用随机投影把每个向量投影为固定长度的二进制码，通过哈希函数生成的哈希码，为数据样本的第k个模态的哈希码，为数据样本的第k个模态的哈希码，

基于谱聚类算法，根据欧式距离 (Euclidean Distance)对距离的定义，二维和三维空间中的欧式距离就是两点之间的直线距离，利用如下公式：

获得与两个对应向量之间的欧式距离d，不同向量间根据欧式距离d进行排序，根据排序结果获取多模态数据的相似搜索结果。

本发明还提供一种面向公共安全领域的多模态数据管理系统，包括管理模块、加工处理模块和检索模块，

管理模块基于元模型建立知识图谱进行多模态数据管理：根据元模型本体，构建公共安全领域下元模型本体的树形结构，根据所述树形结构遍历获得各个元模型本体的要素数据，建立不同要素数据之间的关系模型，并为每个要素数据建立分类标识，根据要素数据的数据源类型通过关系模型构建知识图谱，通过所述知识图谱建立要素数据中多模态数据与同一实体的初步关联并建立概念模型用于管理多模态数据；

加工处理模块利用流批一体化计算引擎进行多模态数据加工，建立多模态数据的向量空间：分别对多模态数据中每种模态数据进行训练学习，获得每种模态数据的特征提取模型，利用所述特征提取模型提取相应模态数据的特征，依据不同模态数据的特征通过决策方式进行融合，根据融合结果针对多模态数据构建多模态数据的向量空间；

检索模块基于多模态数据的向量空间，利用哈希的无监督学习方法检索多模态数据：利用哈希的无监督学习方法获取所述向量空间内每种模态数据的向量所对应的哈希码，通过哈希码获得向量间的欧式距离，根据欧式距离进行多模态数据的相似搜索。

上述系统内的各模块之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。

同样地，本发明系统可以利用大数据、深度学习、向量计算、知识图谱等技术，实现多源异构数据下海量多模态数据统一管理，基于元模型实现公共安全领域下本体模型的自定义管理，将元模型本体下同一实体的多模态数据，建立相关联的多模态向量空间，基于哈希的无监督学习快速检索方法实现多模态数据检索，从而实现公共安全领域下对管控对象在图像、文本、结构化等多模态数据里统一搜索与智能关联比对。

需要说明的是，上述各流程和各系统结构中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。上述各实施例中描述的系统结构可以是物理结构，也可以是逻辑结构，即，有些模块可能由同一物理实体实现，或者，有些模块可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。

以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (10)

1.一种面向公共安全领域的多模态数据管理方法，其特征是包括以下步骤：

步骤1：基于元模型建立知识图谱进行多模态数据管理：根据元模型本体，构建公共安全领域下元模型本体的树形结构，根据所述树形结构遍历获得各个元模型本体的要素数据，建立不同要素数据之间的关系模型，并为每个要素数据建立分类标识，根据要素数据的数据源类型通过关系模型构建知识图谱，通过所述知识图谱建立要素数据中多模态数据与同一实体的初步关联并建立概念模型用于管理多模态数据；

步骤2：利用流批一体化计算引擎进行多模态数据加工，建立多模态数据的向量空间：分别对多模态数据中每种模态数据进行训练学习，获得每种模态数据的特征提取模型，利用所述特征提取模型提取相应模态数据的特征，依据不同模态数据的特征通过决策方式进行融合，根据融合结果针对多模态数据构建多模态数据的向量空间；

步骤3：基于多模态数据的向量空间，利用哈希的无监督学习方法检索多模态数据：利用哈希的无监督学习方法获取所述向量空间内每种模态数据的向量所对应的哈希码，通过哈希码获得向量间的欧式距离，根据欧式距离进行多模态数据的相似搜索。

2.根据权利要求1所述的一种面向公共安全领域的多模态数据管理方法，其特征是所述基于元模型建立知识图谱进行多模态数据管理中根据要素数据的数据源类型通过关系模型构建知识图谱，包括：

判断要素数据的数据源类型，若数据源类型为关系型则获取元模型本体及要素数据对应的分类标识，完成实体节点及关系构建，若数据源类型为非关系型则通过元模型本体获取非关系型实体的数据结构，并获取要素数据对应的属性值，完成实体节点及关系的构建。

3.根据权利要求1所述的一种面向公共安全领域的多模态数据管理方法，其特征是所述利用流批一体化计算引擎进行多模态数据加工，包括：

针对多模态数据中每种模态数据分别采用不同的算法进行训练学习，若多模态数据为图像数据则采用卷积神经网络进行训练学习，获得图像特征提取模型，利用所述图像特征提取模型提取图像数据的特征，若多模态数据为序列化数据则采用循环神经网络进行训练学习，获得序列化数据特征提取模型，利用所述序列化数据特征提取模型提取序列化数据的特征。

4.根据权利要求1所述的一种面向公共安全领域的多模态数据管理方法，其特征是根据所述流批一体化计算引擎部署数据管理组件和组件编排引擎，并通过可视化设计前端展示所述流批一体化计算引擎进行多模态数据加工的过程。

5.根据权利要求1所述的一种面向公共安全领域的多模态数据管理方法，其特征是所述基于多模态数据的向量空间，利用哈希的无监督学习方法检索多模态数据，具体过程为：

设定同一类实体的向量空间内数据集合，也属于数据集合，和表示实体的不同模态下数据样本，为数据样本的第k个模态的哈希码，为数据样本的第k个模态的哈希码，

基于谱聚类算法，根据欧式距离 (Euclidean Distance)对距离的定义，利用如下公式：

获得与两个对应向量之间的欧式距离d，不同向量间根据欧式距离d进行排序，根据排序结果获取多模态数据的相似搜索结果。

6.一种面向公共安全领域的多模态数据管理系统，其特征是包括管理模块、加工处理模块和检索模块，

管理模块基于元模型建立知识图谱进行多模态数据管理：根据元模型本体，构建公共安全领域下元模型本体的树形结构，根据所述树形结构遍历获得各个元模型本体的要素数据，建立不同要素数据之间的关系模型，并为每个要素数据建立分类标识，根据要素数据的数据源类型通过关系模型构建知识图谱，通过所述知识图谱建立要素数据中多模态数据与同一实体的初步关联并建立概念模型用于管理多模态数据；

加工处理模块利用流批一体化计算引擎进行多模态数据加工，建立多模态数据的向量空间：分别对多模态数据中每种模态数据进行训练学习，获得每种模态数据的特征提取模型，利用所述特征提取模型提取相应模态数据的特征，依据不同模态数据的特征通过决策方式进行融合，根据融合结果针对多模态数据构建多模态数据的向量空间；

检索模块基于多模态数据的向量空间，利用哈希的无监督学习方法检索多模态数据：利用哈希的无监督学习方法获取所述向量空间内每种模态数据的向量所对应的哈希码，通过哈希码获得向量间的欧式距离，根据欧式距离进行多模态数据的相似搜索。

7.根据权利要求6所述的一种面向公共安全领域的多模态数据管理系统，其特征是所述管理模块基于元模型建立知识图谱进行多模态数据管理中根据要素数据的数据源类型通过关系模型构建知识图谱，包括：

判断要素数据的数据源类型，若数据源类型为关系型则获取元模型本体及要素数据对应的分类标识，完成实体节点及关系构建，若数据源类型为非关系型则通过元模型本体获取非关系型实体的数据结构，并获取要素数据对应的属性值，完成实体节点及关系的构建。

8.根据权利要求6所述的一种面向公共安全领域的多模态数据管理系统，其特征是所述加工处理模块利用流批一体化计算引擎进行多模态数据加工，包括：

针对多模态数据中每种模态数据分别采用不同的算法进行训练学习，若多模态数据为图像数据则采用卷积神经网络进行训练学习，获得图像特征提取模型，利用所述图像特征提取模型提取图像数据的特征，若多模态数据为序列化数据则采用循环神经网络进行训练学习，获得序列化数据特征提取模型，利用所述序列化数据特征提取模型提取序列化数据的特征。

9.根据权利要求6所述的一种面向公共安全领域的多模态数据管理系统，其特征是根据所述流批一体化计算引擎部署数据管理组件和组件编排引擎，并通过可视化设计前端展示所述流批一体化计算引擎进行多模态数据加工的过程。

10.根据权利要求6所述的一种面向公共安全领域的多模态数据管理系统，其特征是所述检索模块基于多模态数据的向量空间，利用哈希的无监督学习方法检索多模态数据，具体过程为：

设定同一类实体的向量空间内数据集合，也属于数据集合，和表示实体的不同模态下数据样本，为数据样本的第k个模态的哈希码，为数据样本的第k个模态的哈希码，

基于谱聚类算法，根据欧式距离 (Euclidean Distance)对距离的定义，利用如下公式：

获得与两个对应向量之间的欧式距离d，不同向量间根据欧式距离d进行排序，根据排序结果获取多模态数据的相似搜索结果。

Images