CN113254729B - 基于动态超图网络的多模态演化特征自动共形表示方法 - Google Patents

基于动态超图网络的多模态演化特征自动共形表示方法 Download PDF

Info

Publication number
CN113254729B
CN113254729B CN202110723732.3A CN202110723732A CN113254729B CN 113254729 B CN113254729 B CN 113254729B CN 202110723732 A CN202110723732 A CN 202110723732A CN 113254729 B CN113254729 B CN 113254729B
Authority
CN
China
Prior art keywords
hypergraph
modal
conformal
data stream
entropy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110723732.3A
Other languages
English (en)
Other versions
CN113254729A (zh
Inventor
王军平
林建鑫
苑瑞文
施金彤
唐永强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202110723732.3A priority Critical patent/CN113254729B/zh
Publication of CN113254729A publication Critical patent/CN113254729A/zh
Application granted granted Critical
Publication of CN113254729B publication Critical patent/CN113254729B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于大数据机器自动学习领域，具体涉及一种基于动态超图网络的多模态演化特征自动共形表示方法、系统、设备，旨在解决现有多模态特征表示仅能对多模态数据静态特征表示，难以对多模态高阶动态关联特征进行表征的问题。本方法包括获取m个模态的数据流训练样本，作为输入数据流；提取输入数据流中m个模态特征向量的有限节点集合；生成m个模态超图的拉普拉斯矩阵；进行m种模态的超图间高阶相关共形熵求解计算，生成n种主题网络集合的多模态高阶动态关联形态对齐模型；对新增的超图顶点与多模态高阶动态关联形态对齐模型所覆盖的节点进行增减对齐，实现主题网络集合自动更新。本发明解决了多模态高阶大数据多元关联演化特征难表征问题。

Description

基于动态超图网络的多模态演化特征自动共形表示方法
技术领域
本发明属于大数据机器自动学习领域，具体涉及一种基于动态超图网络的多模态演化特征自动共形表示方法、系统、设备。
背景技术
随着互联网、云计算和人工智能等信息技术与制造业、交通、城市管理、医疗等行业的交汇融合，方便了人与人、人与物之间交互，随之而来文本、图像、视频和音频等信息的迅速膨胀，同时伴随着雷达、红外、多媒体传感器和基础设施感知系统等万物互联物联网，不断融入社会计算系统，引发了数据迅猛增长，形成了多源异构、速度快、难甄别的海量数据集合，并以多模态（如文字、语言、声音、图形等）形式普遍存在，正日益对各行各业的生产、流通、分配、消费活动以及自身运行机制产生重要影响。多模演化是大数据本质特征，为了使机器学习像人类一样认知多模态数据，必须赋予机器学习表征动态业务场景中多模态信息特征能力，方可帮助多模态深度学习方法快速准确从大数据中获取有价值知识。
现有多模态特征表示主要聚焦在三个方面：1. 基于图模型的多模态融合表示学习，该方法聚焦采用PCA方法抽取多个模态的数据源的特征，通过坐标轴转换，寻找数据分布的最优子空间，通过关联度量统计学习方法，衡量多个特征与响应变量之间的关系，从而构建了多模态融合。2. 基于深度学习的多模态特征表示学习，用张量法对大数据进行抽象建模，捕捉数据在高阶张量空间的分布特征，利用最大信息系数，根据特征分布密度函数互斥或者互助分布，完成宏观和微观相结合超几何描述和行为趋势预测；3. 基于自动机器学习的特征工程构建方法，将原始多模态数据源转变为模型的训练数据的过程自动化，解决了无需领域科学家根据经验找出最佳的特征组合形式，获取更好的训练数据特征，使得机器学习模型逼近这个上限。
现有三类方法基于向量计算模型，从降维、去燥和消除异构等角度，从文字、语言、声音、图形等多模态数据中，快速准确学习到特征张量，然后根据具体业务场景，完成单模态特征张量关联组合，寻找出数据最优特征张量概率分布。然而现有信息空间的数据基本都是由三维几何、文本、音视频图像等数据伴随着各种设备、网络终端和业务系统运行过程而产生的多模态动态演化数据集，上述三类方法仅能解决多模态数据静态特征表示，难以从动态演化表征的视角解决。
发明内容
为了解决现有技术中的上述问题，即为了解决现有多模态静态特征表示，难以对多模态高阶动态关联进行表示的问题，本发明第一方面，提出了一种基于动态超图网络的多模态演化特征自动共形表示方法，该方法包括：
S10，获取m个模态的数据流训练样本，作为输入数据流，所述输入数据流包括各种文本、数值、图片、视频和富媒体组成的广义多模态数据以及不同版本软件系统为载体组成的狭义多模态数据；将每组数据流训练样本作为一组学习目标任务；
S20，对所述输入数据流中m个模态数据，采用多模态特征选择计算求解，提取所述 输入数据流中m个模态特征向量的有限节点集合
Figure 919716DEST_PATH_IMAGE001
；
S30，以所述的m个模态特征向量的有限节点集合作为超图的顶点集合，通过超图 表示学习计算求解，生成m条超边集合
Figure 982350DEST_PATH_IMAGE002
，并为每个超边赋予权重
Figure 745513DEST_PATH_IMAGE003
和时间 戳
Figure 450164DEST_PATH_IMAGE004
，生成m个模态超图的拉普拉斯矩阵；
S40，对所述m个模态的超图拉普拉斯矩阵，进行m种模态的超图间高阶相关共形熵求解计算，生成n种主题网络集合的多模态高阶动态关联形态对齐模型；
S50，获取新的输入数据流，按照S20，生成新增的超图顶点；通过基于超图网络的超边卷积求解计算，对新增的超图顶点与步骤S40获取的所述n种主题网络集合的多模态高阶动态关联形态对齐模型所覆盖的节点进行增减对齐，进而实现主题网络集合的自动更新。
在一些优选的实施方式中，步骤S20中“采用多模态特征选择计算求解，提取所述输入数据流中m个模态特征向量的有限集合”，其方法为：
所述m个模态的数据流训练样本
Figure 726424DEST_PATH_IMAGE005
，其中
Figure 835326DEST_PATH_IMAGE006
表示 第i个数据流训练样本的特征D维张量，本次输入总共有N个样本序列，那么通过多模态特征 选择方法，获得
Figure 462616DEST_PATH_IMAGE007
有限训练样本系数矩阵，具体计算过程如下：
Figure 174220DEST_PATH_IMAGE008
其中，
Figure 695200DEST_PATH_IMAGE009
表示输入数据流对应的先验向量，
Figure 365216DEST_PATH_IMAGE010
表示第i个模态的张量系数矩阵，将当 前已获得的所有多模态张量系数矩阵存放在
Figure 214223DEST_PATH_IMAGE011
；
对多模态特征选择计算的目标函数进行
Figure 604885DEST_PATH_IMAGE012
范数正则化泛化计算，获得
Figure 121317DEST_PATH_IMAGE013
多模态转秩，形成m个模态特征向量的有限节点集合
Figure 696654DEST_PATH_IMAGE001
。
在一些优选的实施方式中，步骤S30中 “以所述的m个模态特征向量的有限节点集 合作为超图的顶点集合，通过动态超图表示学习计算求解，生成m条超边集合，并为每个超 边赋予权重
Figure 659056DEST_PATH_IMAGE003
和时间戳
Figure 978042DEST_PATH_IMAGE004
，生成m个模态超图的拉普拉斯矩阵”，其方法为：
在所述m个模态特征向量的有限集合
Figure 348981DEST_PATH_IMAGE001
中，采用k - means 聚类算法，任意选择一个特征顶点
Figure 970586DEST_PATH_IMAGE014
作为中心节点，不断计算中心节点与其他节点
Figure 794186DEST_PATH_IMAGE015
，进行欧式距离计算，最后把中心节点与距它邻接的m-1其他顶点，即欧式距 离最近的m-1其他节点，连接起来，且
Figure 916862DEST_PATH_IMAGE016
，
Figure 1362DEST_PATH_IMAGE017
，构造出N条超边， 每个超边赋予权重
Figure 184082DEST_PATH_IMAGE003
和时间戳
Figure 494977DEST_PATH_IMAGE004
，定义超图关联矩阵：
Figure 31132DEST_PATH_IMAGE018
其中，
Figure 845504DEST_PATH_IMAGE019
表示节点
Figure 464704DEST_PATH_IMAGE020
到中心节点
Figure 620486DEST_PATH_IMAGE014
的距离，
Figure 819386DEST_PATH_IMAGE021
表示当前
Figure 753844DEST_PATH_IMAGE022
对应的各顶点 间的欧式距离。
根据超图的顶点度对角矩阵
Figure 419312DEST_PATH_IMAGE023
，生成超图拉普拉斯半角矩阵
Figure 173641DEST_PATH_IMAGE024
生成，其中，
Figure 441811DEST_PATH_IMAGE025
为超图的顶点度矩阵，
Figure 620989DEST_PATH_IMAGE026
为超图的超边的度矩 阵，H为超图的关联矩阵，W为超图超边权重的系统矩阵。
在一些优选的实施方式中，步骤S40中 “对所述m个模态的超图拉普拉斯矩阵，进行m种模态的超图间高阶相关共形熵求解计算”，其方法为：
Figure 50833DEST_PATH_IMAGE027
Figure 558038DEST_PATH_IMAGE028
其中，
Figure 505265DEST_PATH_IMAGE029
表示m种模态的超图间高阶相关共形熵函数，
Figure 148736DEST_PATH_IMAGE030
为曲面模态联合分布熵，用于表示超图之间各超边的共形概率，
Figure 15061DEST_PATH_IMAGE031
表 示第
Figure 743983DEST_PATH_IMAGE032
个模态特征的超图，
Figure 245633DEST_PATH_IMAGE033
表示
Figure 9190DEST_PATH_IMAGE032
个模态特征矩阵的联合概率分布。
在一些优选的实施方式中，“生成n种主题网络集合的多模态高阶动态关联形态对齐模型”，其方法为：
求解第一共形熵和第二共形熵；所述第一共形熵为m种模态的超图共形熵；所述第二共形熵为m=2时共形熵；
如果第一共形熵大于第二共形熵，则将不同模态的超图合并为一个主题；如果第一共形熵小于第二共形熵，则该超图独立成一个主题；
通过不断多次迭代计算，完成了n种主题网络集合生成任务，从而生成n种主题网络集合的多模态高阶动态关联形态对齐模型。
在一些优选的实施方式中，步骤S50中“通过基于超图网络的超边卷积求解计算，对新增的超图顶点与步骤S40获取的所述n种主题网络集合的多模态高阶动态关联形态对齐模型所覆盖的节点进行增减对齐，进而实现主题网络集合的自动更新”，其方法为：
对所述新增的输入数据流，如果通过S20获得新增的孤立节点，则在n种主题网络的集合空间中，计算孤立节点与步骤S40获取的所述n种主题网络集合的多模态高阶动态关联形态对齐模型所覆盖的节点的互补熵，并将孤立节点合并到与其互补熵小于设定阈值的节点对应的超边；
如果从新增的数据流训练样本获得新增顶点和一条新超边，则对新增的超图顶点跟已有超图顶点，按照步骤S30进行超图节点卷积计算，完成进行超图顶点的增减处理；对新增超边与已有超边，按照步骤S40进行超图超边卷积计算，生成m种多模态高阶动态关联形态对齐模型。
本发明的第二方面，提出了一种基于动态超图网络的多模态演化特征自动共形表示系统，该系统包括：模态数据获取模块、节点提取模块、矩阵生成模块、共形计算模块、模型更新模块；
所述模态数据获取模块，配置为获取m个模态的数据流训练样本，作为输入数据流，所述输入数据流包括各种文本、数值、图片、视频和富媒体组成的广义多模态数据以及不同版本软件系统为载体组成的狭义多模态数据；将每组数据流训练样本作为一组学习目标任务；；
所述节点提取模块，配置为对所述输入数据流中m个模态数据，采用多模态特征选 择计算求解，提取所述输入数据流中m个模态特征向量的有限节点集合
Figure 780837DEST_PATH_IMAGE034
；
所述矩阵生成模块，配置为以所述的m个模态特征向量的有限节点集合作为超图 的顶点集合，通过超图表示学习计算求解，生成m条超边集合
Figure 138000DEST_PATH_IMAGE035
，并为每个超 边赋予权重
Figure 551664DEST_PATH_IMAGE036
和时间戳
Figure 169727DEST_PATH_IMAGE037
，生成m个模态超图的拉普拉斯矩阵；
所述共形计算模块，配置为对所述m个模态的超图拉普拉斯矩阵，进行m种模态的超图间高阶相关共形熵求解计算，生成n种主题网络集合的多模态高阶动态关联形态对齐模型；
所述模型更新模块，配置为获取新的输入数据流，按照节点提取模块的方法，生成新增的超图顶点；通过基于超图网络的超边卷积求解计算，对新增的超图顶点与共形计算模块获取的所述n种主题网络集合的多模态高阶动态关联形态对齐模型所覆盖的节点进行增减对齐，进而实现主题网络集合的自动更新。
本发明的第三方面，提出了一种电子设备，至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现权利要求上述的基于动态超图网络的多模态演化特征自动共形表示方法。
本发明的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现权利要求上述的基于动态超图网络的多模态演化特征自动共形表示方法。
本发明的有益效果：
本发明解决了多模态高阶大数据多元关联演化特征难以表征问题。本发明引入超图网络共形计算数学方法，从对源源不断海量多模态数据流中，自动构建了多模态特征张量共形表示学习流水线。从动态演化表征的视角对同一事理不同特征张量进行谱域共形表示，动态整合不同模态相关拓扑结构，并对大规模持续增量N个特征张量拉普拉斯矩阵进行卷积更新，这样不仅解决了多模态高阶多元动态关联特征难以表征问题，而且赋予了机器学习表示动态业务场景中多模态信息能力，快速准确从大数据中获取有价值知识。与传统的超图网络表示方法相比，本发明方法同时满足平滑性、时间和空间相干性、稀疏性和自然聚类等多模态表示特性。
附图说明
通过阅读参照以下附图所做的对非限制性实施例所做的详细描述，本申请的其他特征、目的和优点将会变得更明显。
图1是本发明一种实施例的基于动态超图网络的多模态演化特征自动共形表示方法的流程示意图；
图2是本发明一种实施例的基于动态超图网络的多模态特征自动共形表示系统的框架示意图；
图3是本发明一种实施例的PB级多模态结构化与非结构数据混合存储的结构示意图；
图4本发明一种实施例的不同模态特征对齐的示意图；
图5是本发明一种实施例的超图多元共性计算的示意图；
图6是本发明一种实施例的适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
发明的一种基于动态超图网络的多模态演化特征自动共形表示方法，如图1所示，该方法包括以下步骤：
S10，获取m个模态的数据流训练样本，作为输入数据流，所述输入数据流包括各种文本、数值、图片、视频和富媒体组成的广义多模态数据以及不同版本软件系统为载体组成的狭义多模态数据；将每组数据流训练样本作为一组学习目标任务；
S20，对所述输入数据流中m个模态数据，采用多模态特征选择计算求解，提取所述 输入数据流中m个模态特征向量的有限节点集合
Figure 236909DEST_PATH_IMAGE001
；
S30，以所述的m个模态特征向量的有限节点集合作为超图的顶点集合，通过超图 表示学习计算求解，生成m条超边集合
Figure 206002DEST_PATH_IMAGE002
，并为每个超边赋予权重
Figure 157778DEST_PATH_IMAGE003
和时间 戳
Figure 505713DEST_PATH_IMAGE004
，生成m个模态超图的拉普拉斯矩阵；
S40，对所述m个模态的超图拉普拉斯矩阵，进行m种模态的超图间高阶相关共形熵求解计算，生成n种主题网络集合的多模态高阶动态关联形态对齐模型；
S50，获取新的输入数据流，按照S20，生成新增的超图顶点；通过基于超图网络的超边卷积求解计算，对新增的超图顶点与步骤S40获取的所述n种主题网络集合的多模态高阶动态关联形态对齐模型所覆盖的节点进行增减对齐，进而实现主题网络集合的自动更新。
为了更清晰地对本发明螺旋扫描磁粒子投影断层成像方法进行说明，下面结合附图对本发明方法一种实施例中各步骤进行展开详述。
S10，获取m个模态的数据流训练样本，作为输入数据流，所述输入数据流包括各种文本、数值、图片、视频和富媒体组成的广义多模态数据以及不同版本软件系统为载体组成的狭义多模态数据；将每组数据流训练样本作为一组学习目标任务；
在本实施例中，采用kafka和深度卷积神经学习组合成分布式数据采集网络，特定时间间隔内，大规模从不同渠道获取各种文本、数值、图片、视频和富媒体等广义多模态数据以及不同版本软件系统为载体的狭义多模态组成输入数据流，也简称为历史数据。
如图3所示，通过融合HBase分布式数据列式存储优势和HDFS非结构数据分布式优势，建立了广义多模态和狭义多模态的PB级全结构数据存储系统，实现了PB级多模态结构化和非结构数据流混合存储、克服了传统关系型数据库难以实现非结构和结构化数据混合存储、数据吞吐量低，数据传送不超过100GB等指标约束、实时检索查准率低和高延时等性能约束，整合多来源异构系统之间数据传送、存储和预处理的基准不兼容问题。
S20，对所述输入数据流中m个模态数据，采用多模态特征选择计算求解，提取所述 输入数据流中m个模态特征向量的有限节点集合
Figure 884742DEST_PATH_IMAGE001
；
在本实施例中，所述m个模态的数据流训练样本
Figure 75552DEST_PATH_IMAGE005
，其中
Figure 454187DEST_PATH_IMAGE006
表示第i个数据流训练样本的特征D维张量，本次输入总共有N个样本序列，那么多 模态特征选择计算的目标函数如下：
Figure 46843DEST_PATH_IMAGE008
（1）
其中，
Figure 596773DEST_PATH_IMAGE009
表示输入数据流对应的先验向量，
Figure 150245DEST_PATH_IMAGE010
表示第i个模态的张量系数矩阵，将当 前已获得的所有多模态张量系数矩阵存放在
Figure 443823DEST_PATH_IMAGE011
；
对（1）式进行
Figure 890985DEST_PATH_IMAGE012
范数正则化泛化计算，获得
Figure 611816DEST_PATH_IMAGE013
多模态转秩，形成m个模 态特征向量的有限节点集合
Figure 901852DEST_PATH_IMAGE001
。
S30，以所述的m个模态特征向量的有限节点集合作为超图的顶点集合，通过超图 表示学习计算求解，生成m条超边集合
Figure 999121DEST_PATH_IMAGE002
，并为每个超边赋予权重
Figure 300790DEST_PATH_IMAGE003
和时间 戳
Figure 67888DEST_PATH_IMAGE004
，生成m个模态超图的拉普拉斯矩阵；
在本实施例中，对所述m个模态特征向量的有限集合
Figure 455007DEST_PATH_IMAGE001
，采 用k - means聚类算法，任意选择一个特征顶点
Figure 355967DEST_PATH_IMAGE014
作为中心节点，不断计算中心节点与其他 节点
Figure 403820DEST_PATH_IMAGE015
的欧式距离，最后把中心节点与距它邻接的m-1其他顶点，即欧式距离 最近的m-1个其他节点，连接起来，且
Figure 466454DEST_PATH_IMAGE016
，
Figure 340869DEST_PATH_IMAGE017
，构造出N条超边， 每个超边赋予权重
Figure 514361DEST_PATH_IMAGE003
和时间戳
Figure 931567DEST_PATH_IMAGE004
，我们定义超图关联矩阵：
Figure 165103DEST_PATH_IMAGE018
（2）
其中，
Figure 526814DEST_PATH_IMAGE019
表示节点
Figure 894210DEST_PATH_IMAGE020
到中心节点
Figure 290556DEST_PATH_IMAGE014
的距离，
Figure 694993DEST_PATH_IMAGE021
表示当前
Figure 153787DEST_PATH_IMAGE022
对应的各顶点 间的欧式距离，那么超图的顶点度对角矩阵
Figure 934661DEST_PATH_IMAGE023
，从而获得m个多模态高阶结 构信息通过超图拉普拉斯半角矩阵
Figure 451093DEST_PATH_IMAGE024
生成，其中，
Figure 649600DEST_PATH_IMAGE025
为超图的顶 点度矩阵，
Figure 720324DEST_PATH_IMAGE026
为超图的超边的度矩阵，H为超图的关联矩阵，W为超图超边权重的系统矩阵。 如图4所示，例如假定m=4从
Figure 39310DEST_PATH_IMAGE038
，通过k – means欧式距离计算方法，以
Figure 144669DEST_PATH_IMAGE039
为核 心节点，先后与
Figure 31854DEST_PATH_IMAGE040
节点结合进行比较，获得与
Figure 855454DEST_PATH_IMAGE039
的欧式基本距离0.1，与
Figure 712551DEST_PATH_IMAGE041
欧式基 本距离0.2，与
Figure 62630DEST_PATH_IMAGE042
欧式基本距离0.3，
Figure 979770DEST_PATH_IMAGE043
距离通过与
Figure 290666DEST_PATH_IMAGE044
组合获得欧式距离0.6，通过不断 欧式距离计算，生成了由
Figure 826821DEST_PATH_IMAGE040
组成超图子群。
采用傅里叶变换方法，对超图拉普拉斯半角矩阵进行特征张量进行增减动态分 解，可得超图的卷积表达式
Figure 906772DEST_PATH_IMAGE045
，其中，
Figure 260393DEST_PATH_IMAGE046
表示超图拉普拉斯半角矩 阵特征分解转秩，
Figure 419104DEST_PATH_IMAGE047
表示超图卷积核函数
Figure 149163DEST_PATH_IMAGE048
，
Figure 83621DEST_PATH_IMAGE049
为哈达玛乘积，
Figure 217930DEST_PATH_IMAGE050
为 m个模态的数据流训练样本，从而完成构建一个多模态动态超图卷积网络。
S40，对所述m个模态的超图拉普拉斯矩阵，进行m种模态的超图间高阶相关共形熵求解计算，生成n种主题网络集合的多模态高阶动态关联形态对齐模型；
在本实施例中，如图5所示，在左面部分初始构建超图子群，共形熵求解计算，获得 所有超图子群形态分布熵
Figure 503418DEST_PATH_IMAGE051
，通过求解m种模态的超图共形熵和m=2时共 形熵，将m种模态的超图共形熵作为第一共形熵，将m=2时共形熵作为第二共形熵，通过联合 概率的迭代反投射，如图5所示右半部分手工画圈；
如果超图共形熵大于当m=2时共形熵，则不同模态间超边关联度强，合并成一个主题，具体计算过程为：
Figure 771588DEST_PATH_IMAGE052
，
Figure 685186DEST_PATH_IMAGE053
其中，
Figure 115031DEST_PATH_IMAGE054
表示m种模态的超图间高阶相关共形熵函数，
Figure 622235DEST_PATH_IMAGE055
为曲面模态联合分布熵，用于表示超图之间各超边的共形概率，
Figure 569463DEST_PATH_IMAGE031
表 示第
Figure 212934DEST_PATH_IMAGE032
个模态特征的超图，
Figure 79259DEST_PATH_IMAGE051
表示
Figure 808180DEST_PATH_IMAGE032
个模态特征矩阵的联合概率分布。
如果超图共形熵小于当m=2时共形熵，则该超图独立成一个主题，通过不断多次迭代计算，完成了n种主题网络集合生成任务，从而生成n种主题网络集合的多模态高阶动态关联形态对齐模型。
S50，获取新的输入数据流，按照S20，生成新增的超图顶点；通过基于超图网络的超边卷积求解计算，对新增的超图顶点与步骤S40获取的所述n种主题网络集合的多模态高阶动态关联形态对齐模型所覆盖的节点进行增减对齐，进而实现主题网络集合的自动更新。
在本实施例中，对所述新增的数据流训练样本，如果通过S20获得新增的孤立节点 （孤立的节点/顶点），在n种主题网络集合空间，以共形概率分布
Figure 41322DEST_PATH_IMAGE056
为遍历基点，进行超 边卷积求解计算，找到共形超边，主动合并到该多模态超边主题模型；即计算孤立节点与步 骤S40获取的所述n种主题网络集合的多模态高阶动态关联形态对齐模型所覆盖的节点的 互补熵，并将孤立节点合并到与其互补熵小于设定阈值的节点对应的超边。
如果从新增的数据流训练样本获得新增顶点和一条新超边，则对新增的超图顶点跟已有超图顶点，按照步骤S30进行超图节点卷积计算，完成进行超图顶点的增减处理；对新增超边与已有超边，按照步骤S40进行超图超边卷积计算，生成m种多模态高阶动态关联形态对齐模型。
另外，本发明方法可以从工业装备扭曲度、道具模型和设备震动等多模态信号数据，通过多模态高阶动态关联形态对齐模型，生成了基于超图的设备预测维护主题模型，然而发现电压稳定性对设备健壮性影响最大，通过超图超边卷积，让电压信号语义节点汇聚到设备预测维护主题模型，提升模型预测准确度。
本发明第二实施例的一种基于动态超图网络的多模态演化特征自动共形表示系统，如图2所示，具体包括以下模块：模态数据获取模块100、节点提取模块200、矩阵生成模块300、共形计算模块400、模型更新模块500；
所述模态数据获取模块100，配置为获取m个模态的数据流训练样本，作为输入数据流，所述输入数据流包括各种文本、数值、图片、视频和富媒体组成的广义多模态数据以及不同版本软件系统为载体组成的狭义多模态数据；将每组数据流训练样本作为一组学习目标任务；
所述节点提取模块200，配置为对所述输入数据流中m个模态数据，采用多模态特 征选择计算求解，提取所述输入数据流中m个模态特征向量的有限节点集合
Figure 804879DEST_PATH_IMAGE034
；
所述矩阵生成模块300，配置为以所述的m个模态特征向量的有限节点集合作为超 图的顶点集合，通过超图表示学习计算求解，生成m条超边集合
Figure 842105DEST_PATH_IMAGE035
，并为每个 超边赋予权重
Figure 933689DEST_PATH_IMAGE036
和时间戳
Figure 81773DEST_PATH_IMAGE037
，生成m个模态超图的拉普拉斯矩阵；
所述共形计算模块400，配置为对所述m个模态的超图拉普拉斯矩阵，进行m种模态的超图间高阶相关共形熵求解计算，生成n种主题网络集合的多模态高阶动态关联形态对齐模型；
所述模型更新模块500，配置为获取新的输入数据流，按照节点提取模块的方法，生成新增的超图顶点；通过基于超图网络的超边卷积求解计算，对新增的超图顶点与共形计算模块获取的所述n种主题网络集合的多模态高阶动态关联形态对齐模型所覆盖的节点进行增减对齐，进而实现主题网络集合的自动更新。
所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的系统具体的工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于动态超图网络的多模态演化特征自动共形表示系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种电子设备，至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现权利要求上述的基于动态超图网络的多模态演化特征自动共形表示方法。
本发明第四实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现权利要求上述的基于动态超图网络的多模态演化特征自动共形表示方法。
本发明第五实施例的一种基于动态超图网络的多模态演化特征自动共形表示装置，包括采集设备、中央处理设备；
所述采集设备包括传感器、摄像机，用于采集m个模态的数据流，作为训练样本；所述数据流包括各种文本、数值、图片、视频和富媒体组成的广义多模态数据以及不同版本软件系统为载体组成的狭义多模态数据；
所述中央处理设备包括GPU，配置为对数据流中m个模态数据，采用多模态特征选择计算求解，提取数据流中m个模态特征向量的有限节点集合；以m个模态特征向量的有限节点集合作为超图的顶点集合，通过超图表示学习计算求解，生成m条超边集合，并为每个超边赋予权重和时间戳，生成m个模态超图的拉普拉斯矩阵；对m个模态的超图拉普拉斯矩阵，进行m种模态的超图间高阶相关共形熵求解计算，生成n种主题网络集合的多模态高阶动态关联形态对齐模型；获取新的输入数据流，按照多模态特征选择计算求解，生成新增的超图顶点；通过基于超图网络的超边卷积求解计算，对新增的超图顶点与n种主题网络集合的多模态高阶动态关联形态对齐模型所覆盖的节点进行增减对齐，进而实现主题网络集合的自动更新。
本发明第六实施例的一种工业设备的预测维护装置，基于上述的基于动态超图网络的多模态演化特征自动共形表示方法，包括工业采集设备、中央处理设备；
所述工业采集设备，配置为通过传感器从工业装备扭曲度、道具模型和设备震动采集多模态信号数据；
所述中央处理设备包括GPU，配置为通过基于上述的基于动态超图网络的多模态演化特征自动共形表示方法获取多模态高阶动态关联形态对齐模型，生成基于超图的设备预测维护主题模型；还配置为获取电压稳定性对设备健壮性的影响程度，若影响程度大于设定阈值，则通过超图超边卷积，将电压信号语义节点汇聚到设备预测维护主题模型，对电压稳定性进行预测。
所述技术领域的技术人员可以清楚的了解到，未描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实例中的对应过程，在此不再赘述。
下面参考图6，其示出了适于用来实现本申请系统、方法、设备实施例的服务器的计算机系统的结构示意图。图6示出的服务器仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示，计算机系统包括中央处理单元（CPU，Central Processing Unit）601，其可以根据存储在只读存储器（ROM，Read Only Memory）602中的程序或者从存储部分608加载到随机访问存储器（RAM，Random Access Memory）603中的程序而执行各种适当的动作和处理。在RAM603中，还存储有系统操作所需的各种程序和数据。CPU601、ROM 602以及RAM603通过总线604彼此相连。输入/输出（I/O，Input/Output）接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管、液晶显示器等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如局域网卡、调制解调器等的网络接口卡的通讯部分609。通讯部分609经由诸如因特网的网络执行通讯处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通讯部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被CPU601执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、RAM、ROM、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言，如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，如C语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网或广域网连接到用户计算机，或者可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (6)

1.一种基于动态超图网络的多模态演化特征自动共形表示方法，其特征在于，所述方法包括：
S10，获取m个模态的数据流训练样本，作为输入数据流；所述输入数据流包括各种文本、数值、图片、视频和富媒体组成的广义多模态数据以及不同版本软件系统为载体组成的狭义多模态数据；将每组数据流训练样本作为一组学习目标任务；
S20，对所述输入数据流中m个模态数据，采用多模态特征选择计算求解，提取所述输入数据流中m个模态特征向量的有限节点集合
Figure DEST_PATH_IMAGE001
，包括：
所述m个模态的数据流训练样本
Figure 207673DEST_PATH_IMAGE002
，其中
Figure DEST_PATH_IMAGE003
表示第i个数据流训练样本的特征D维张量，N表示本次输入总共有N个样本序列，多模态特征选择计算的目标函数为：
Figure DEST_PATH_IMAGE005
其中，
Figure 643946DEST_PATH_IMAGE006
表示输入数据流对应的先验向量，
Figure DEST_PATH_IMAGE007
表示第i个模态的张量系数矩阵，将当前已获得的所有多模态张量系数矩阵存放在
Figure 296644DEST_PATH_IMAGE008
；
对多模态特征选择计算的目标函数进行
Figure DEST_PATH_IMAGE009
范数正则化泛化计算，获得
Figure 745074DEST_PATH_IMAGE010
多模态转秩，形成m个模态特征向量的有限节点集合
Figure 370090DEST_PATH_IMAGE001
；
S30，以所述的m个模态特征向量的有限节点集合作为超图的顶点集合，通过超图表示学习计算求解，生成m条超边集合
Figure DEST_PATH_IMAGE011
，并为每个超边赋予权重
Figure 495041DEST_PATH_IMAGE012
和时间戳
Figure DEST_PATH_IMAGE013
，生成m个模态超图的拉普拉斯矩阵，包括：
在m个模态特征向量的有限集合
Figure 635036DEST_PATH_IMAGE001
中，采用k - means聚类算法，任意选择一个特征顶点
Figure 90419DEST_PATH_IMAGE014
作为中心节点，不断计算中心节点与其他节点
Figure DEST_PATH_IMAGE015
的欧式距离，最后把中心节点与距它邻接的m-1其他顶点连接起来，构造出N条超边，每个超边赋予权重
Figure 632259DEST_PATH_IMAGE012
和时间戳
Figure 131373DEST_PATH_IMAGE013
，并定义超图关联矩阵：
Figure DEST_PATH_IMAGE017
其中，
Figure 493084DEST_PATH_IMAGE018
表示节点
Figure DEST_PATH_IMAGE019
到中心节点
Figure 283317DEST_PATH_IMAGE014
的距离，
Figure 882925DEST_PATH_IMAGE020
表示当前
Figure DEST_PATH_IMAGE021
对应的各顶点间的欧式距离；
基于超图的顶点度对角矩阵
Figure 349679DEST_PATH_IMAGE022
，生成超图的拉普拉斯半角矩阵
Figure DEST_PATH_IMAGE023
，其中，
Figure 206209DEST_PATH_IMAGE024
为超图的顶点度矩阵，
Figure DEST_PATH_IMAGE025
为超图的超边的度矩阵，H为超图的关联矩阵，W为超图超边权重的系统矩阵；
S40，对所述m个模态的超图拉普拉斯矩阵，进行m种模态的超图间高阶相关共形熵求解计算，生成n种主题网络集合的多模态高阶动态关联形态对齐模型；其中，共形熵的求解计算方法为：
Figure 721504DEST_PATH_IMAGE026
Figure 503515DEST_PATH_IMAGE028
其中，
Figure DEST_PATH_IMAGE029
表示m种模态的超图间高阶相关共形熵函数，
Figure 344432DEST_PATH_IMAGE030
为曲面模态联合分布熵，用于表示超图之间各超边的共形概率，
Figure DEST_PATH_IMAGE031
表示第
Figure 697047DEST_PATH_IMAGE032
个模态特征的超图，
Figure DEST_PATH_IMAGE033
表示
Figure 16033DEST_PATH_IMAGE032
个模态特征矩阵的联合概率分布，
Figure 386971DEST_PATH_IMAGE034
表示超图卷积核函数；
S50，获取新的输入数据流，按照S20，生成新增的超图顶点；通过基于超图网络的超边卷积求解计算，对新增的超图顶点与步骤S40获取的所述n种主题网络集合的多模态高阶动态关联形态对齐模型所覆盖的节点进行增减对齐，进而实现主题网络集合的自动更新。
2.根据权利要求1所述的基于动态超图网络的多模态演化特征自动共形表示方法，其特征在于，“生成n种主题网络集合的多模态高阶动态关联形态对齐模型”，其方法为：
求解第一共形熵和第二共形熵；所述第一共形熵为m种模态的超图共形熵；所述第二共形熵为m=2时共形熵；
如果第一共形熵大于第二共形熵，则将不同模态的超图合并为一个主题；如果第一共形熵小于第二共形熵，则该超图独立成一个主题；
不断多次迭代计算，生成n种主题网络集合的多模态高阶动态关联形态对齐模型。
3.根据权利要求1所述的基于动态超图网络的多模态演化特征自动共形表示方法，其特征在于，步骤S50中“通过基于超图网络的超边卷积求解计算，对新增的超图顶点与步骤S40获取的所述n种主题网络集合的多模态高阶动态关联形态对齐模型所覆盖的节点进行增减对齐，进而实现主题网络集合的自动更新”，其方法为：
对所述新增的输入数据流，如果通过S20获得新增的孤立节点，则在n种主题网络的集合空间中，计算孤立节点与步骤S40获取的所述n种主题网络集合的多模态高阶动态关联形态对齐模型所覆盖的节点的互补熵，并将孤立节点合并到与其互补熵小于设定阈值的节点对应的超边；
如果从新增的输入数据流获得新增顶点和一条新超边，则对新增的超图顶点跟已有超图顶点，按照步骤S30进行超图节点卷积计算，完成进行超图顶点的增减处理；对新增超边与已有超边，按照步骤S40进行超图超边卷积计算，生成m种多模态高阶动态关联形态对齐模型。
4.一种基于动态超图网络的多模态演化特征自动共形表示系统，其特征在于，该系统包括：模态数据获取模块、节点提取模块、矩阵生成模块、共形计算模块、模型更新模块；
所述模态数据获取模块，配置为获取m个模态的数据流训练样本，作为输入数据流，所述输入数据流包括各种文本、数值、图片、视频和富媒体组成的广义多模态数据以及不同版本软件系统为载体组成的狭义多模态数据；将每组输入模态数据流作为一组学习目标任务；
所述节点提取模块，配置为对所述输入数据流中m个模态数据，采用多模态特征选择计算求解，提取所述输入数据流中m个模态特征向量的有限节点集合
Figure 664369DEST_PATH_IMAGE001
，包括：
所述m个模态的数据流训练样本
Figure 691231DEST_PATH_IMAGE002
，其中
Figure 95798DEST_PATH_IMAGE003
表示第i个数据流训练样本的特征D维张量，N表示本次输入总共有N个样本序列，多模态特征选择计算的目标函数为：
Figure 524506DEST_PATH_IMAGE005
其中，
Figure 972805DEST_PATH_IMAGE006
表示输入数据流对应的先验向量，
Figure 752542DEST_PATH_IMAGE007
表示第i个模态的张量系数矩阵，将当前已获得的所有多模态张量系数矩阵存放在
Figure 944489DEST_PATH_IMAGE008
；
对多模态特征选择计算的目标函数进行
Figure 24440DEST_PATH_IMAGE009
范数正则化泛化计算，获得
Figure 846903DEST_PATH_IMAGE010
多模态转秩，形成m个模态特征向量的有限节点集合
Figure 661406DEST_PATH_IMAGE001
；
所述矩阵生成模块，配置为以所述的m个模态特征向量的有限节点集合作为超图的顶点集合，通过超图表示学习计算求解，生成m条超边集合
Figure 594727DEST_PATH_IMAGE011
，并为每个超边赋予权重
Figure 794764DEST_PATH_IMAGE012
和时间戳
Figure 788128DEST_PATH_IMAGE013
，生成m个模态超图的拉普拉斯矩阵，包括：
在m个模态特征向量的有限集合
Figure 339195DEST_PATH_IMAGE001
中，采用k - means聚类算法，任意选择一个特征顶点
Figure 886327DEST_PATH_IMAGE014
作为中心节点，不断计算中心节点与其他节点
Figure 940870DEST_PATH_IMAGE015
的欧式距离，最后把中心节点与距它邻接的m-1其他顶点连接起来，构造出N条超边，每个超边赋予权重
Figure 105135DEST_PATH_IMAGE012
和时间戳
Figure 612340DEST_PATH_IMAGE013
，并定义超图关联矩阵：
Figure 949780DEST_PATH_IMAGE017
其中，
Figure 875142DEST_PATH_IMAGE018
表示节点
Figure 944729DEST_PATH_IMAGE019
到中心节点
Figure 204809DEST_PATH_IMAGE014
的距离，
Figure 814782DEST_PATH_IMAGE020
表示当前
Figure 109497DEST_PATH_IMAGE021
对应的各顶点间的欧式距离；
基于超图的顶点度对角矩阵
Figure 349986DEST_PATH_IMAGE022
，生成超图的拉普拉斯半角矩阵
Figure 848095DEST_PATH_IMAGE023
，其中，
Figure 527338DEST_PATH_IMAGE024
为超图的顶点度矩阵，
Figure 614242DEST_PATH_IMAGE025
为超图的超边的度矩阵，H为超图的关联矩阵，W为超图超边权重的系统矩阵；
所述共形计算模块，配置为对所述m个模态的超图拉普拉斯矩阵，进行m种模态的超图间高阶相关共形熵求解计算，生成n种主题网络集合的多模态高阶动态关联形态对齐模型；其中，共形熵的求解计算方法为：
Figure 353528DEST_PATH_IMAGE026
Figure DEST_PATH_IMAGE035
其中，
Figure 57042DEST_PATH_IMAGE029
表示m种模态的超图间高阶相关共形熵函数，
Figure 759550DEST_PATH_IMAGE030
为曲面模态联合分布熵，用于表示超图之间各超边的共形概率，
Figure 28857DEST_PATH_IMAGE031
表示第
Figure 611148DEST_PATH_IMAGE032
个模态特征的超图，
Figure 67537DEST_PATH_IMAGE033
表示
Figure 88583DEST_PATH_IMAGE032
个模态特征矩阵的联合概率分布，
Figure 700480DEST_PATH_IMAGE034
表示超图卷积核函数；
所述模型更新模块，配置为获取新的输入数据流，按照节点提取模块的方法，生成新增的超图顶点；通过基于超图网络的超边卷积求解计算，对新增的超图顶点与共形计算模块获取的所述n种主题网络集合的多模态高阶动态关联形态对齐模型所覆盖的节点进行增减对齐，进而实现主题网络集合的自动更新。
5.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与至少一个所述处理器通信连接的存储器；其中，
所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现权利要求1-3任一项所述的基于动态超图网络的多模态演化特征自动共形表示方法。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现权利要求1-3任一项所述的基于动态超图网络的多模态演化特征自动共形表示方法。
CN202110723732.3A 2021-06-29 2021-06-29 基于动态超图网络的多模态演化特征自动共形表示方法 Active CN113254729B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110723732.3A CN113254729B (zh) 2021-06-29 2021-06-29 基于动态超图网络的多模态演化特征自动共形表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110723732.3A CN113254729B (zh) 2021-06-29 2021-06-29 基于动态超图网络的多模态演化特征自动共形表示方法

Publications (2)

Publication Number Publication Date
CN113254729A CN113254729A (zh) 2021-08-13
CN113254729B true CN113254729B (zh) 2021-10-08

Family

ID=77190026

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110723732.3A Active CN113254729B (zh) 2021-06-29 2021-06-29 基于动态超图网络的多模态演化特征自动共形表示方法

Country Status (1)

Country Link
CN (1) CN113254729B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114927162B (zh) * 2022-05-19 2024-06-14 大连理工大学 基于超图表征与狄利克雷分布的多组学关联表型预测方法
CN116232921B (zh) * 2023-05-08 2023-09-12 中国电信股份有限公司四川分公司 一种基于超图的确定性网络数据集构建装置及其方法
CN117391314B (zh) * 2023-12-13 2024-02-13 深圳市上融科技有限公司 综合场站运营管理平台

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109215780A (zh) * 2018-08-24 2019-01-15 齐鲁工业大学 高拉普拉斯正则化低秩表示的多模态数据分析方法及系统
CN111695011A (zh) * 2020-06-16 2020-09-22 清华大学 一种基于张量表示的动态超图结构学习分类方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10740348B2 (en) * 2016-06-06 2020-08-11 Georgetown University Application programming interface and hypergraph transfer protocol supporting a global hypergraph approach to reducing complexity for accelerated multi-disciplinary scientific discovery
CN112951386B (zh) * 2021-01-09 2023-08-29 深圳先进技术研究院 影像驱动的脑图谱构建方法、装置、设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109215780A (zh) * 2018-08-24 2019-01-15 齐鲁工业大学 高拉普拉斯正则化低秩表示的多模态数据分析方法及系统
CN111695011A (zh) * 2020-06-16 2020-09-22 清华大学 一种基于张量表示的动态超图结构学习分类方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Dynamic Hypergraph Neural Networks;Jianwen Jiang等;《Proceedings of the Twenty-Seventh International Joint Conference on Artificial Intelligence-19》;20190816;第3162-3169页 *
Dynamic Hypergraph Structure Learning;Zizhao Zhang等;《Proceedings of the Twenty-Seventh International Joint Conference on Artificial Intelligence-18》;20180719;第2635-2641页 *
基于超图的多模态关联特征处理方法;罗永恩等;《计算机工程》;20170131;第226-230页 *

Also Published As

Publication number Publication date
CN113254729A (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
CN113254729B (zh) 基于动态超图网络的多模态演化特征自动共形表示方法
Xie et al. Point clouds learning with attention-based graph convolution networks
CN113762322B (zh) 基于多模态表示的视频分类方法、装置和设备及存储介质
US10776710B2 (en) Multimodal data fusion by hierarchical multi-view dictionary learning
Li et al. MapReduce-based fast fuzzy c-means algorithm for large-scale underwater image segmentation
CN111930992A (zh) 神经网络训练方法、装置及电子设备
CN111046275A (zh) 基于人工智能的用户标签确定方法及装置、存储介质
CN110929161A (zh) 一种面向大规模用户的个性化教学资源推荐方法
CN112258625B (zh) 基于注意力机制的单幅图像到三维点云模型重建方法及系统
Zhu et al. Research on big data mining based on improved parallel collaborative filtering algorithm
Concolato et al. Data science: A new paradigm in the age of big-data science and analytics
Tang et al. Point scene understanding via disentangled instance mesh reconstruction
CN115083435A (zh) 音频数据处理方法、装置、计算机设备和存储介质
CN114282055A (zh) 视频特征提取方法、装置、设备及计算机存储介质
WO2023173552A1 (zh) 目标检测模型的建立方法、应用方法、设备、装置及介质
CN117033657A (zh) 一种信息检索方法及装置
Li et al. An accelerating convolutional neural networks via a 2D entropy based-adaptive filter search method for image recognition
CN112394982A (zh) 生成语音识别系统的方法、装置、介质及电子设备
CN112668608A (zh) 一种图像识别方法、装置、电子设备及存储介质
CN115937516B (zh) 一种图像语义分割方法、装置、存储介质及终端
CN115880556A (zh) 一种多模态数据融合处理方法、装置、设备及存储介质
CN116796288A (zh) 一种面向工业文档的多模态信息提炼方法和系统
CN113568983B (zh) 场景图生成方法、装置、计算机可读介质及电子设备
Lv et al. Pf-face: A parallel framework for face classification and search from massive videos based on spark
CN113822293A (zh) 用于图数据的模型处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant