CN113408703A - 基于神经与符号的多模态大数据机器自动学习系统 - Google Patents

基于神经与符号的多模态大数据机器自动学习系统 Download PDF

Info

Publication number
CN113408703A
CN113408703A CN202110723736.1A CN202110723736A CN113408703A CN 113408703 A CN113408703 A CN 113408703A CN 202110723736 A CN202110723736 A CN 202110723736A CN 113408703 A CN113408703 A CN 113408703A
Authority
CN
China
Prior art keywords
hyper
parameter
hypergraph
automatic
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110723736.1A
Other languages
English (en)
Other versions
CN113408703B (zh
Inventor
王军平
苑瑞文
林建鑫
唐永强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202110723736.1A priority Critical patent/CN113408703B/zh
Publication of CN113408703A publication Critical patent/CN113408703A/zh
Application granted granted Critical
Publication of CN113408703B publication Critical patent/CN113408703B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computational Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明属于人工智能、机器学习与认知计算领域，具体涉及一种基于神经与符号的多模态大数据机器自动学习系统，旨在解决现有的机器学习方法难以从动态演化数据中获取高保真机理模型的问题。本发明系统：特征工程自动构建模块包括数据获取单元、事理超图网络自动构建单元、网络结构自动更新单元；机理模型自动构建模块包括领域任务定义单元、模型博弈设计搜索单元，搜索网格加速优化单元；超参数寻优优化模块包括超参数初始空间构建单元、超参数自适应选择策略单元、自适应寻优推理单元和超参数自动迁移单元、模型数据处理模块。本发明通过大数据机器自动学习方法，迭代保真度评价，获得高保真机理模型，提高了复杂系统行为认知预测的精度。

Description

基于神经与符号的多模态大数据机器自动学习系统
技术领域
本发明属于人工智能、机器学习与认知计算领域，具体涉及一种基于神经与符号的多模态大数据机器自动学习系统。
背景技术
大数据已经成为全球工业生产、流通、分配、消费活动以及经济运行等领域资源配置和优化的核心要素。探索认知大数据的方法为人工智能领域重要研究方向，归根结底大数据记录了现实世界复杂系统独立运行机理，以及复杂系统与环境之间的依赖、竞争、关联等运动轨迹。这些知识对科学及时准确掌握国民经济发展、优化产业结构、推进社会科学治理等，具有十分重要研究价值。然而传统机器学习方法需要依靠大量专业数据分析科学家收集数据。
然而数据分析科学家收集的数据原生于复杂系统，衍生出非线性、涌现、自发秩序、适应性以及反馈回路等特性，使得现有人工智能还原论（如统计机器学习、贝叶斯网络、神经网络等）难以有效解释大数据隐含系统普适性规律。因此，从大数据中获得系统运行普适性规律成为人工智能认知学研究重要方向，具体来说：既从感知观测角度学习到复杂系统运行多模态数据分布规律，又需要从系统运行机理认知角度，从新增数据流中推演出系统运行潜在风险或者发展趋势，即：大数据认知建模分析，成为人工智能3.0领域发展前沿主题之一。
现有大数据驱动系统建模分析主要聚焦在三个方面：1. 基于无监督生成学习的大数据建模分析，该方法聚焦从复杂系统中及时获取系统数据特征属性，通过学习系统运行数据之间时间空间关联，形象刻画出特定时间区域的系统运行机理；2. 基于时空结构度量的数据空间吸引规则认知，采用时空结构度量在特定场景属性运动基本规律，进行宏观和微观相结合超几何描述和行为趋势预测，这些简洁、富有洞察力，借助常识等先验知识，揭示系统机理动力演化基本规律；3.基于自动机器学习型的模型自动构建方法，通过不断对系统产生数据流进行采样，从高质量训练样本空间，通过多次迭代搜索出适应特定业务场景模型，从而实现系统自动建模。然而上述三类方法仍然基于系统还原论，借助机器学习工具从大数据中还原系统机理，这种思路既无法把整个系统运行机理简单理解为个体的加总，也无法从整体的行为有效推断出系统运行机理模型确定性质，同时增加模型训练计算复杂度。基于此，本发明提出了一种基于神经与符号的多模态大数据机器自动学习系统。
发明内容
为了解决现有技术中的上述问题，即为了解决现有的机器学习方法无法自动碎片化动态演化数据中获取高保真机理模型的问题，本发明第一方面，提出了一种基于神经与符号的多模态大数据机器自动学习系统，该系统包括：特征工程自动构建模块、机理模型自动构建模块、超参数寻优优化模块、模型数据处理模块；
所述特征工程自动构建模块包括数据获取单元、事理超图网络自动构建单元、网络结构自动更新单元；
所述数据获取单元，配置为获取碎片化、多模态、动态演化的大数据，作为输入数据；所述输入数据包括多个领域不同模态的文本、图像、音频、视频数据；
所述事理超图网络自动构建单元，配置为通过自编码神经网络提取所述输入数据中所包含不同领域的事理的概念符号，构建事理概念符号空间；基于所述事理概念符号空间，通过多模态特征自动共形表示方法，自动聚合出不同模态的超边并进行共形计算，生成事理超图网络；
所述网络结构自动更新单元，配置为从新的输入数据中提取事理的概念符号，获取新增的超图顶点；通过超边多模态动态演化计算，对新增的超图顶点与所述事理超图网络所覆盖的节点进行增减对齐卷积计算，进而实现事理超图网络的自动更新；
所述机理模型自动构建模块包括领域任务定义单元、模型博弈设计搜索单元，搜索网格加速优化单元；
所述领域任务定义单元，配置为针对设定领域的输入数据集，结合神经+符号特征工程的先验，划分出该领域的事理的概念符号及超参数分布情况，并预先构建模型结构及超参数搜索空间；所述超参数包括：学习率、神经元网络层数、网络结构、卷积核选择、迭代次数、隐含层层数、神经元规模、滑动窗口和流行共性指数、激活函数、聚类个数和话题个数；
所述模型博弈设计搜索单元，配置为在预先构建的模型结构及超参数搜索空间中，通过博弈树搜索策略，从事理超图网络的节点中蒸馏出一系列模型结构候选模型，包括神经网络预测算法和一组超参数，并对一系列候选模型结构及超参数集进行迭代高保真评估，自动搜索出最适合当前输入数据集的最佳机理模型；所述机理模型包括描述、预测、预警的神经网络模型；
所述搜索网格加速优化单元，配置为通过基于强化学习的神经网络结构预测技术，获得模型结构对应的学习曲线；根据学习曲线预测出的模型结构分布和超参数过程权值，拟合出从训练样本集训练出模型和从测试样本集自动生成模型误差最小方差均值权值，并在各模型结构中全局共享该权值；所述训练样本集为基于事理超图网络中事理的概念符号构建样本集；所述测试样本集为所述设定领域的输入数据集；
所述超参数寻优优化模块包括超参数空间构建单元、超参数自适应选择策略单元、自适应寻优推理单元和超参数自动迁移单元；
所述超参数空间构建单元，配置为基于现有自动机器学习算法的超参数数据，将所述现有自动机器学习算法的超参数数据划分为不同自动机器学习算法超参数种群，进而构建超参数空间；
所述超参数自适应选择策略单元，配置为以更新后的事理超图网络中所包含的各领域的事理的概念符号为学习目标任务，结合各领域的先验知识、预定义的超参数自适应选择策略函数，从所述超参数空间筛选出满足所述学习目标任务的多类型候选超参数集合；
所述自适应寻优推理单元，配置为基于所述候选超参数集合，通过自适应寻优推理算法，根据学习目标任务，采用并行和序列相结合的方法迭代探索候选算法最优结构及学习速率、正则化和网络结构深度的超参数组合，每次探索一次超参数组合生成超参数最优曲线，自动比对多次生成的超参数最优曲线的变异，增加干扰信息直至变异超过阈值，终止自适应寻优，获得最优超参数组合；
所述自动迁移单元，配置为将新增学习目标任务与已有的学习目标任务进行同类匹配，将类型相似度高于预设阈值的已有的学习目标任务对应的超参数组合迁移到新增学习目标任务的超参数空间，为新增学习目标任务配置最优超参数；
所述模型数据处理模块，配置为结合机理模型自动构建模块筛选的最佳机理模型、超参数寻优优化模块获取的最优超参数组合，对各设定领域的输入数据进行处理；所述处理包括描述、预警、预测。
在一些优选的实施方式中，“基于所述事理概念符号空间，通过多模态特征自动共形表示方法，自动聚合出不同模态的超边并进行共形计算，生成事理超图网络”，其方法为：
A10，对所述事理概念符号空间，采用多模态特征选择计算求解，提取所述输入数据中事理的概念符号的有限节点集合；
A20，以事理的概念符号的有限节点集合作为超图的顶点集合，通过超图表示学习计算求解，生成超边集合，并为每个超边赋予权重和时间戳，生成多个模态超图的拉普拉斯矩阵，即得到多个模态的超边结构群；
A30，对多个模态超图的拉普拉斯矩阵，进行不同模态的超图间高阶相关共形熵求解计算，生成事理超图网络。
在一些优选的实施方式中，“采用多模态特征选择计算求解，提取所述输入数据中事理的概念符号的有限节点集合”，其方法为：
Figure 903698DEST_PATH_IMAGE001
其中，
Figure 476631DEST_PATH_IMAGE002
，表示事理概念符号空间，
Figure 53106DEST_PATH_IMAGE003
表 示第i个事理概念符号的特征D维张量，m表示输入数据中模态的数量，N表示本次输入总共 有N个样本序列，
Figure 182736DEST_PATH_IMAGE004
表示输入数据对应的先验向量，
Figure 669212DEST_PATH_IMAGE005
表示第i个模态的张量系数矩阵，将 当前已获得的所有多模态张量系数向量存放在
Figure 22833DEST_PATH_IMAGE006
；
对多模态特征选择计算的目标函数进行
Figure 24287DEST_PATH_IMAGE007
范数正则化泛化计算，获得
Figure 144558DEST_PATH_IMAGE008
多模态转秩，形成m个模态特征向量的有限节点集合，即输入数据中事理 的概念符号的有限节点集合
Figure 547858DEST_PATH_IMAGE009
。
在一些优选的实施方式中，“通过超图表示学习计算求解，生成超边集合，并为每个超边赋予权重和时间戳，生成多个模态超图的拉普拉斯矩阵”，其方法为：
在有限节点集合
Figure 337959DEST_PATH_IMAGE010
中，采用k - means聚类算法，任 意选择一个特征顶点
Figure 826710DEST_PATH_IMAGE011
作为中心节点，不断计算中心节点与其他节点
Figure 235825DEST_PATH_IMAGE012
的欧式距离，最后把中心节点与距它邻接的m-1其他顶点连接起来，构造出N条超边，每个超 边赋予权重
Figure 290369DEST_PATH_IMAGE013
和时间戳
Figure 454634DEST_PATH_IMAGE014
，并定义超图关联矩阵：
Figure 617631DEST_PATH_IMAGE015
其中，
Figure 627175DEST_PATH_IMAGE016
表示节点
Figure 67384DEST_PATH_IMAGE017
到中心节点
Figure 136971DEST_PATH_IMAGE011
的距离，
Figure 537997DEST_PATH_IMAGE018
表示当前
Figure 351232DEST_PATH_IMAGE019
对应的 各顶点间的欧式距离；
基于超图的顶点度对角矩阵
Figure 380368DEST_PATH_IMAGE020
，生成超图的拉普拉斯半角矩 阵
Figure 76316DEST_PATH_IMAGE021
，其中，
Figure 761375DEST_PATH_IMAGE022
为超图的顶点度矩阵，
Figure 440618DEST_PATH_IMAGE023
为超图的超 边的度矩阵，H为超图的关联矩阵，W为超图超边权重的系统矩阵。
在一些优选的实施方式中，“对多个模态超图的拉普拉斯矩阵，进行不同模态的超图间高阶相关共形熵求解计算，生成事理超图网络”，其方法为：
求解第一共形熵和第二共形熵；所述第一共形熵为m种模态的超图共形熵；所述第二共形熵为m=2时共形熵；
如果第一共形熵大于第二共形熵，则将不同模态的超图合并为一个主题；如果第一共形熵小于第二共形熵，则该超图独立成一个主题；
不断多次迭代计算，生成事理超图网络；
所述共形熵的计算方法为：
Figure 199627DEST_PATH_IMAGE024
，
Figure 876596DEST_PATH_IMAGE025
其中，
Figure 111268DEST_PATH_IMAGE026
表示m种模态的超图间高阶相关共形熵函数，
Figure 266306DEST_PATH_IMAGE027
为曲面模态联合分布熵，用于表示超图之间各超边的共形概率，
Figure 660247DEST_PATH_IMAGE028
表示第
Figure 508117DEST_PATH_IMAGE029
个模态特征的超图，
Figure 230085DEST_PATH_IMAGE030
表示
Figure 860918DEST_PATH_IMAGE029
个模态特征矩阵的联合 概率分布。
在一些优选的实施方式中，“通过超边多模态动态演化计算，对新增的超图顶点与所述事理超图网络所覆盖的节点进行增减对齐卷积计算，进而实现事理超图网络的自动更新”，其方法为：
对所述新增的输入数据流，如果通过A10获得新增的孤立节点，计算孤立节点与事理超图网络自动构建单元获取的事理超图网络所覆盖的节点的互补熵，并将孤立节点合并到与其互补熵小于设定阈值的节点对应的超边；
如果从新增的数据流训练样本获得新增顶点和一条新超边，则对新增的超图顶点跟已有超图顶点，按照步骤A20进行超图节点卷积计算，完成进行超图顶点的增减处理；对新增超边与已有超边，按照步骤A30进行超图超边卷积计算，对事理超图网络进行更新。
在一些优选的实施方式中，所述超参数自适应选择策略函数
Figure 656836DEST_PATH_IMAGE031
为：
Figure 737924DEST_PATH_IMAGE032
其中，
Figure 884872DEST_PATH_IMAGE033
用来度量具有候选超参数
Figure 568663DEST_PATH_IMAGE034
的算法
Figure 546983DEST_PATH_IMAGE035
在超参数空 间
Figure 471077DEST_PATH_IMAGE036
和学习目标任务数据集
Figure 43004DEST_PATH_IMAGE037
中的损失，A表示超参数空间中的算法。
在一些优选的实施方式中，所述自适应寻优推理算法目标函数y为：
Figure 343535DEST_PATH_IMAGE038
其中，
Figure 176362DEST_PATH_IMAGE039
表示超参数选择策略函数
Figure 458307DEST_PATH_IMAGE040
的组合最优曲线函数，
Figure 579847DEST_PATH_IMAGE041
表示按 照超参数选择策略从候选超参数集合
Figure 746386DEST_PATH_IMAGE042
中筛选自适应寻优训练函数，所述自适应寻优训练 函数结合实时获取的数据样本，自动为每个算法设置最优超参数，所述数据样本来源于学 习目标任务，c表示第i个历史数据样本的超参数组合数目。
在一些优选的实施方式中，所述自动迁移单元中自动迁移学习时的目标函数为：
Figure 371403DEST_PATH_IMAGE043
其中，
Figure 840561DEST_PATH_IMAGE044
为新增学习目标任务域超参数变量，
Figure 980556DEST_PATH_IMAGE045
表示超参数空间中算法对应的目 标预测函数，
Figure 888469DEST_PATH_IMAGE039
表示超参数
Figure 823451DEST_PATH_IMAGE040
的组合最优曲线函数，
Figure 525828DEST_PATH_IMAGE046
表示迁移权重，
Figure 153118DEST_PATH_IMAGE047
表示具 有最优超参数选择策略
Figure 536826DEST_PATH_IMAGE048
的超参数集合，
Figure 136435DEST_PATH_IMAGE049
表示源算法集合数量，
Figure 72030DEST_PATH_IMAGE050
表示循环迭代计数器，
Figure 389879DEST_PATH_IMAGE048
表示迭代了
Figure 560966DEST_PATH_IMAGE050
次的源算法；所述源算法为已有的学习目标任务对应的超参数的算法。
本发明的有益效果：
本发明通过大数据机器自动学习方法，不断迭代保真度评价推理，自动获得高保真机理模型，提高了复杂系统行为认知预测的精度。
本发明模拟大脑的神经+符号认知学习行为，将超图表示模型和自动博弈交互学习相结合，从海量的碎片化多模态的动态数据中，在有限时间和计算复杂条件下，自动设计出满足特定任务规划的行业机理模型，通过不断迭代模型保真度评价推理，对系统机理模型逻辑关系进行预测分析，提升复杂系统行为认知精度，从而解决了现有机器学习方法难以从动态演化数据中获取高保真机理模型问题，建立真正具有可解释和鲁棒性的大数据机器学习系统。
附图说明
通过阅读参照以下附图所做的对非限制性实施例所做的详细描述，本申请的其他特征、目的和优点将会变得更明显。
图1是本发明一种实施例的基于神经与符号的多模态大数据机器自动学习系统的整体架构的示例图；
图2是本发明一种实施例的基于神经与符号的多模态大数据机器自动学习系统的特征工程自动构建模块的架构示例图；
图3是本发明一种实施例的基于神经与符号的多模态大数据机器自动学习系统的机理模型自动构建模块的架构示例图；
图4是本发明一种实施例的基于神经与符号的多模态大数据机器自动学习系统的超参数寻优优化模块的架构示例图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明的基于神经与符号的多模态大数据机器自动学习系统，该系统包括：特征工程自动构建模块、机理模型自动构建模块、超参数寻优优化模块、模型数据处理模块；
所述特征工程自动构建模块包括数据获取单元、事理超图网络自动构建单元、网络结构自动更新单元、模型数据处理模块；
所述数据获取单元，配置为获取碎片化、多模态、动态演化的大数据，作为输入数据；所述输入数据包括多个领域不同模态的文本、图像、音频、视频数据；
所述事理超图网络自动构建单元，配置为通过自编码神经网络提取所述输入数据中所包含不同领域的事理的概念符号，构建事理概念符号空间；基于所述事理概念符号空间，通过多模态特征自动共形表示方法，自动聚合出不同模态的超边并进行共形计算，生成事理超图网络；
所述网络结构自动更新单元，配置为从新的输入数据中提取事理的概念符号，获取新增的超图顶点；通过超边多模态动态演化计算，对新增的超图顶点与所述事理超图网络所覆盖的节点进行增减对齐卷积计算，进而实现事理超图网络的自动更新；
所述机理模型自动构建模块包括领域任务定义单元、模型博弈设计搜索单元，搜索网格加速优化单元；
所述领域任务定义单元，配置为针对设定领域的输入数据集，结合神经+符号特征工程的先验，划分出该领域的事理的概念符号及超参数分布情况，并预先构建模型结构及超参数搜索空间；所述超参数包括：学习率、神经元网络层数、网络结构、卷积核选择、迭代次数、隐含层层数、神经元规模、滑动窗口和流行共性指数、激活函数、聚类个数和话题个数；
所述模型博弈设计搜索单元，配置为在预先构建的模型结构及超参数搜索空间中，通过博弈树搜索策略，从事理超图网络的节点中蒸馏出一系列模型结构候选模型，包括神经网络预测算法和一组超参数，并对一系列候选模型结构及超参数集进行迭代高保真评估，自动搜索出最适合当前输入数据集的最佳机理模型；所述机理模型包括描述、预测、预警的神经网络模型；
所述搜索网格加速优化单元，配置为通过基于强化学习的神经网络结构预测技术，获得模型结构对应的学习曲线，根据学习曲线预测出的模型结构分布和超参数过程权值共享，拟合出从训练样本集训练出模型和从测试样本集自动生成模型误差最小方差均值权值，并在各模型结构全局共享该权值；所述训练样本集为基于事理超图网络中事理的概念符号构建样本集；所述测试样本集为所述设定领域的输入数据集；
所述超参数寻优优化模块包括超参数空间构建单元、超参数自适应选择策略单元、自适应寻优推理单元和超参数自动迁移单元；
所述超参数空间构建单元，配置为基于现有自动机器学习算法的超参数数据，将所述现有自动机器学习算法的超参数数据划分为不同自动机器学习算法超参数种群，进而构建超参数空间；
所述超参数自适应选择策略单元，配置为以更新后的事理超图网络中所包含的各领域的事理的概念符号为学习目标任务，结合各领域的先验知识、预定义的超参数自适应选择策略函数，从所述超参数空间筛选出满足所述学习目标任务的多类型候选超参数集合；
所述自适应寻优推理单元，配置为基于所述候选超参数集合，通过自适应寻优推理算法，根据学习目标任务，采用并行和序列相结合的方法迭代探索候选算法最优结构及学习速率、正则化和网络结构深度的超参数组合，每次探索一次超参数组合生成超参数最优曲线，自动比对多次生成的超参数最优曲线的变异，增加干扰信息直至变异超过阈值，终止自适应寻优，获得最优超参数组合；
所述自动迁移单元，配置为将新增学习目标任务与已有的学习目标任务进行同类匹配，将类型相似度高于预设阈值的已有的学习目标任务对应的超参数组合迁移到新增学习目标任务的超参数空间，为新增学习目标任务配置最优超参数。
所述模型数据处理模块，配置为结合机理模型自动构建模块筛选的最佳机理模型、超参数寻优优化模块获取的最优超参数组合，对各设定领域的输入数据集进行处理；所述处理包括描述、预警、预测。
为了更清晰地对本发明基于神经与符号的多模态大数据机器自动学习系统进行说明，下面结合附图对本发明系统一种实施例中各模块进行展开详述。
本发明一种实施例的基于神经与符号的多模态大数据机器自动学习系统，如图1所示，该系统分为特征工程自动构建模块100、机理模型自动构建模块200、超参数寻优优化模块300、模型数据处理模块400；
1、特征工程自动构建模块
特征工程自动构建模块包括数据获取单元101、事理超图网络自动构建单元102、网络结构自动更新单元103，如图2所示；主要用于从海量的碎片化、多模态、动态演化的大数据流中，自动归纳表示系统事理符号空间，通过超图神经网络实时刻画系统事理概念符号之间逻辑关联、时间顺序和发展关系，从而实现符号学习推理优势和神经网络数据感知优势深度融合，即：神经+符号事理超图网络。通过不断获取新的观测样本数据，将观测样本映射到事理超图网络中，进而进行归纳、演绎和统计分析, 发现样本在事理超图网络不同区域内的规律, 从而达到算法要实现的任务目标，自我更新事理符号及关联结构，自动构建一种具有自进化能力的神经+符号特征的事理超图网络。具体如下：
所述数据获取单元101，配置为获取碎片化、多模态、动态演化的大数据，作为输入数据；所述输入数据包括多个领域不同模态的文本、图像、音频、视频数据；
在本实施例中，获取海量的碎片化、多模态、动态演化的大数据，包括多个领域（或行业）不同模态的文本、图像、音频、视频数据，即多模态数据，作为输入数据；所述多模态数据中包括数值、模型结构参数、超参数等。
所述事理超图网络自动构建单元102，配置为通过自编码神经网络提取所述输入数据中所包含不同领域的事理的概念符号，构建事理概念符号空间；基于所述事理概念符号空间，通过多模态特征自动共形表示方法，自动聚合出不同模态的超边并进行共形计算，生成事理超图网络；
在本实施例中，通过自编码神经网络从获取的多模态数据中，自动感知到各领域的实体符号，即实体，例如设备、物料、工序和流程法则等，并从实体中抽取成千上万的不同领域的事理概念符号，即事件特征，构建事理概念符号空间，即事件特征的张量域。
基于抽取的事件特征，通过预设的多模态特征自动共形表示方法，聚合出不同模态超边结构群并进行共形计算，生成事理超图网络。
A10，对所述事理概念符号空间，采用多模态特征选择计算求解，提取所述输入数据中事理的概念符号的有限节点集合；
多模态特征选择计算对应的目标函数为：
Figure 280660DEST_PATH_IMAGE001
其中，
Figure 387157DEST_PATH_IMAGE002
，表示事理概念符号空间，
Figure 864405DEST_PATH_IMAGE003
表 示第i个事理概念符号的特征D维张量，m表示输入数据中模态的数量，N表示本次输入总共 有N个样本序列，
Figure 652233DEST_PATH_IMAGE004
表示输入数据对应的先验向量，
Figure 288751DEST_PATH_IMAGE005
表示第i个模态的张量系数矩阵，将 当前已获得的所有多模态张量系数向量存放在
Figure 503831DEST_PATH_IMAGE006
；
对多模态特征选择计算的目标函数进行
Figure 717644DEST_PATH_IMAGE007
范数正则化泛化计算，获得
Figure 309162DEST_PATH_IMAGE008
多模态转秩，形成m个模态特征向量的有限节点集合，即输入数据中事理 的概念符号的有限节点集合
Figure 800186DEST_PATH_IMAGE009
。
A20，以事理的概念符号的有限节点集合作为超图的顶点集合，通过超图表示学习计算求解，生成超边集合，并为每个超边赋予权重和时间戳，生成多个模态超图的拉普拉斯矩阵，即得到多个模态的超边结构群；
在有限节点集合
Figure 186168DEST_PATH_IMAGE010
中，采用k - means聚类算法，任 意选择一个特征顶点
Figure 638009DEST_PATH_IMAGE011
作为中心节点，不断计算中心节点与其他节点
Figure 829956DEST_PATH_IMAGE012
的欧式距离，最后把中心节点与距它邻接的m-1其他顶点连接起来，构造出N条超边，每个超 边赋予权重
Figure 113170DEST_PATH_IMAGE013
和时间戳
Figure 122583DEST_PATH_IMAGE014
，并定义超图关联矩阵：
Figure 124037DEST_PATH_IMAGE051
其中，
Figure 119675DEST_PATH_IMAGE016
表示节点
Figure 257395DEST_PATH_IMAGE017
到中心节点
Figure 922863DEST_PATH_IMAGE011
的距离，
Figure 473930DEST_PATH_IMAGE018
表示当前
Figure 945363DEST_PATH_IMAGE019
对应的 各顶点间的欧式距离；
基于超图的顶点度对角矩阵
Figure 404768DEST_PATH_IMAGE052
，生成超图的拉普拉斯半角矩 阵
Figure 569033DEST_PATH_IMAGE053
，其中，
Figure 341817DEST_PATH_IMAGE054
为超图的顶点度矩阵，
Figure 616940DEST_PATH_IMAGE055
为超图的超边 的度矩阵，H为超图的关联矩阵，W为超图超边权重的系统矩阵。
采用傅里叶变换方法，对超图拉普拉斯半角矩阵进行特征张量进行增减动态分 解，可得超图的卷积表达式
Figure 666936DEST_PATH_IMAGE056
，其中，
Figure 798840DEST_PATH_IMAGE057
表示超图拉普拉斯 半角矩阵特征分解转秩，
Figure 262183DEST_PATH_IMAGE058
表示超图卷积核函数
Figure 262368DEST_PATH_IMAGE059
，
Figure 494767DEST_PATH_IMAGE060
为哈 达玛乘积，
Figure 797572DEST_PATH_IMAGE061
为m个模态的多模态数据，从而完成构建一个多模态动态超图卷积网络，即初 始的事理超图网络。
A30，对多个模态超图的拉普拉斯矩阵，进行不同模态的超图间高阶相关共形熵求解计算，生成事理超图网络。
所述共形熵的计算方法为：
Figure 748210DEST_PATH_IMAGE062
，
Figure 37241DEST_PATH_IMAGE063
其中，
Figure 186462DEST_PATH_IMAGE026
表示m种模态的超图间高阶相关共形熵函数，
Figure 863431DEST_PATH_IMAGE027
为曲面模态联合分布熵，用于表示超图之间各超边的共形概率，
Figure 222737DEST_PATH_IMAGE028
表示第
Figure 377775DEST_PATH_IMAGE029
个模态特征的超图，
Figure 647082DEST_PATH_IMAGE030
表示
Figure 229373DEST_PATH_IMAGE029
个模态特征矩阵的联合 概率分布。
“对多个模态超图的拉普拉斯矩阵，进行不同模态的超图间高阶相关共形熵求解计算，生成事理超图网络”具体如下：
求解第一共形熵和第二共形熵；所述第一共形熵为m种模态的超图共形熵；所述第二共形熵为m=2时共形熵；
如果第一共形熵大于第二共形熵，则将不同模态的超图合并为一个主题；如果第一共形熵小于第二共形熵，则该超图独立成一个主题；
不断多次迭代计算，更新事理超图网络。
所述网络结构自动更新单元103，配置为从新的输入数据中提取事理的概念符号，获取新增的超图顶点；通过超边多模态动态演化计算，对新增的超图顶点与所述事理超图网络所覆盖的节点进行增减对齐卷积计算，进而实现事理超图网络的自动更新；
在本实施例中，通过自我归纳博弈（Self -Inductive Play）算法从新增的多模态数据中获得新超节点，卷积聚合出事理概念符号作为超图网络的主题顶点，通过超图神经卷积方法，输出事理节点符号间多元逻辑关系，生成超图网络的超边，表示群体特征之间依赖、从属和关联等逻辑关系，具体过程如下：
对所述新增的输入数据流，如果通过A10获得新增的孤立节点，计算孤立节点与事理超图网络自动构建单元获取的事理超图网络所覆盖的节点的互补熵，并将孤立节点合并到与其互补熵小于设定阈值的节点对应的超边；
如果从新增的数据流训练样本获得新增顶点和一条新超边，则对新增的超图顶点跟已有超图顶点，按照步骤A20进行超图节点卷积计算，完成进行超图顶点的增减处理；对新增超边与已有超边，按照步骤A30进行超图超边卷积计算，对事理超图网络进行更新。
将源源不断新增数据作为测试样本，对新增超图网络的超点和超边进行迭代图卷积，无需人的经验和常识干预，挖掘新的特征在动态超图网络更新位置，自动构建一种具有自进化能力的动态超图卷积网络，即神经+符号特征的事理超图网络。
本发明中超图构建模块支持多模态异构数据源深度感知与自动合成，单模表示投影到多模空间，自动完成各种模态数据符号化编码，解决数据源地质冗余问题，通过计算共性超几何关联建模方式，将实现成千上万的不同领域事理概念符号合作关联模式，实时刻画各种模态事理之间互动动力学扩展关系，还揭示了在不同规模的群体中存在的枢纽节点和相互作用的共存，如何影响合作的演化。建立三维可视化超图归纳表示网络，从而消除海量数据特征的冗余和相关性，从根本上解决海量训练数据特征的求同存异表示问题。
2、机理模型自动构建模块
所述机理模型自动构建模块包括领域任务定义单元201、模型博弈设计搜索单元202，搜索网格加速优化单元203，如图3所示；主要用于多模态交互式学习算法自动从超大规模候选模型空间和特定数据集进行零和/非零和、完全信息/非完全信息等交互式博弈分析比对，然后选择满足特定系统机理认知的模型搜索策略，并对训练后的模型做保真度评估，从而快速准确搜索出适合于该数据集的高保真度机理模型。具体如下：
所述领域任务定义单元201，配置为针对设定领域的输入数据集，结合神经+符号特征工程的先验，划分出该领域的事理的概念符号及超参数分布情况，并预先构建模型结构及超参数搜索空间；所述超参数包括：学习率、神经元网络层数、网络结构、卷积核选择、迭代次数、隐含层层数、神经元规模、滑动窗口和流行共性指数、激活函数、聚类个数和话题个数；
在本实施例中，针对不同领域的输入数据集，即多模态数据，结合神经+符号特征工程的先验，即特征工程自动构建模块构建的事理超图网络，划分出设定领域的输入数据集在事理网络超图中对应的模型结构参数节点（即事理的概念符号）以及超参数分布情况，并进一步构建模型结构及超参数搜索空间。
所述模型博弈设计搜索单元202，配置为在预先构建的模型结构及超参数搜索空间中，通过博弈树搜索策略，从事理超图网络的节点中蒸馏出一系列模型结构候选模型，包括神经网络预测算法和一组超参数，并对一系列候选模型结构及超参数集进行迭代高保真评估，自动搜索出最适合当前输入数据集的最佳机理模型；所述机理模型包括描述、预测、预警的神经网络模型；
在本实施例中，在预先构建的模型结构及超参数搜索空间中，通过支持零和/非零和、完全信息/非完全信息等模型超参数自动搜索策略，即博弈树搜索算法，从事理超图网络的节点中蒸馏出一系列模型结构候选模型，所述模型结构候选模型包括神经网络预测算法和一组超参数。
蒸馏后，不断裁剪、组合和分解出各种候选模型子网结构，选定模型预测搜索算法，跟人脑一样从数据中预测出高保真系统机理模型，再结合源源不断数据流，不断修正评估算子、交叉算子，并根据适应度迭代评价预测结果、迭代进化、直到模型适应度满足现有测试数据集就可以结束，从而获得结构和参数最优的模型。即对一系列候选模型结构及超参数集进行迭代高保真评估，自动搜索出最适合当前输入数据集的最佳机理模型；所述机理模型包括描述、预测、预警的神经网络模型。即将保真度评价值最高的机理模型作为最适合当前输入数据集的机理模型。
所述搜索网格加速优化单元203，配置为所述搜索网格加速优化单元，配置为通过基于强化学习的神经网络结构预测技术，获得模型结构对应的学习曲线；根据学习曲线预测出的模型结构分布和超参数过程权值，拟合出从训练样本集训练出模型和从测试样本集自动生成模型误差最小方差均值权值，并在各模型结构中全局共享该权值；所述训练样本集为基于事理超图网络中事理的概念符号构建样本集；所述测试样本集为所述设定领域的输入数据集。
搜索网格加速优化负责优化网络结构设计器自动按照全局和局部协同策略，不断迭代搜索从巨大搜索空间预测模型结构和参数过程权值共享，网络结构边共享等方式，缩短搜索空间规模和搜索时间复杂度。
在本实施例中，通过基于强化学习的神经网络结构预测技术，获得模型结构对应的学习曲线；根据学习曲线预测出的模型结构分布和超参数过程权值，拟合出从训练样本集训练出模型和从测试样本集自动生成模型误差最小方差均值权值，并在各模型结构全局共享该权值。
其中，当新增的输入数据集和历史输入数据集的相似度高于设定阈值，则将历史输入数据集对应的模型结构分布和超参数过程权值共享给新增的输入数据集。
本发明从神经+符号特征工程的事理超图网络，一方面按照特定任务训练样本，从事理超图网络的超图网络结构中蒸馏出一系列预测神经元网络结构候选模型，包括神经网络预测算法和一组超参数。另一方面，对一系列候选模型结构及参数集进行迭代高保真评价，获得训练样本和测试样本误差最小方差均值，从而主动搜索出最适合当前数据集的最佳描述、诊断、预测和预警等行为认知的神经网络模型。
并通过采用自动化“交互-试错”博弈交互式学习机制，对三维可视化超图归纳表示网络的超节点内部和超边的裁剪、分解、重组等各种自动化操作，在有限时间生成多类型任务认知模型，完全不依赖领域专家经验，自动迭代评估搜出满足当前数据集的高保真模型结构和参数，大大缩短了模型搜索空间，克服当前基于自动机器学习NAS机制的大数据环境自动建模问计算复杂度高问题，加速了模型结构搜索成功率。
另外，本发明数据驱动的复杂系统机理自动学习方法，引入灾熵突变因果推断技术，实现了对复杂系统的非线性、涌现、平衡阶跃、适应性和反馈回路的特殊性质的失稳、周期性震荡以及突变的因果要素实时主动侦听，借助案例库、专家库与预案库，实现系统运行过程中重大故障事前主动预警。具体如下：
微分残差学习模块，配置为基于搜索出的最佳机理模型，通过模拟生物进化的复制微分方程，通过模拟生物进化的复制微分方程，完成计算运行过程种群调整产生的收益，在种群适应度中通过微分残差学习函数，自动捕获系统运行过程中系统失稳和周期性震荡的因果要素；并在整个系统动力学控制法则适应度中通过微分残差学习函数，获得系统连续失稳哈密顿方程；
在本实施例中，具体过程如下：
（1）基于所述最佳机理模型
Figure 826708DEST_PATH_IMAGE064
，以
Figure 582174DEST_PATH_IMAGE065
表示N种不同个体行为集合，即 节点，以
Figure 643671DEST_PATH_IMAGE019
表示群体两两之间行为因果博弈关系，即超边；
（2）基于所述最佳机理模型
Figure 849393DEST_PATH_IMAGE064
，通过模拟生物进化的复制微分方程，计算运行过程 种群调整产生的第一博弈收益
Figure 996341DEST_PATH_IMAGE066
，基于所述第一博弈收益在种群适应度中 通过微分残差学习函数，自动捕获系统运行过程中系统失稳和周期性震荡的因果要素，获 得系统连续失稳哈密顿方程；
Figure 555498DEST_PATH_IMAGE067
表示行为
Figure 471502DEST_PATH_IMAGE068
和
Figure 598858DEST_PATH_IMAGE069
之间的因果相对效用；
所述模拟生物进化的复制微分方程为：
Figure 29839DEST_PATH_IMAGE070
，
Figure 330370DEST_PATH_IMAGE071
其中，
Figure 290761DEST_PATH_IMAGE072
表示个体行为适应度，
Figure 651335DEST_PATH_IMAGE073
表示平均度，
Figure 835192DEST_PATH_IMAGE068
表示个体行为，
Figure 673835DEST_PATH_IMAGE074
表示进化复制 后的个体行为；
若个体行为适应度
Figure 502113DEST_PATH_IMAGE072
大于平均度
Figure 830326DEST_PATH_IMAGE073
，表示个体行为
Figure 173583DEST_PATH_IMAGE068
群体数量快速增长；若个体 行为适应度
Figure 268447DEST_PATH_IMAGE072
小于平均度
Figure 13549DEST_PATH_IMAGE073
，表示个体行为
Figure 778243DEST_PATH_IMAGE068
群体数量快速减少；若个体行为适应度
Figure 608795DEST_PATH_IMAGE072
等 于平均度
Figure 726924DEST_PATH_IMAGE073
，表示个体行为
Figure 388850DEST_PATH_IMAGE068
群体数量不变；并在整个系统动力学控制法则适应度中通过 微分残差学习函数，获得系统连续失稳哈密顿方程；
突变因果模型构建模块，配置为基于所述系统运行过程中诱发系统失稳、和周期 性震荡以及突变的因果要素，通过模拟生物进化突变微分方程，完成计算运行过程种群调 整产生的收益
Figure 262128DEST_PATH_IMAGE075
，在整个系统动力学控制法则适应度中通过微分残差学习函 数，完成动力系统不同层神经元参数化隐含单元连续涨落动态微观结构训练获得系统连续 突变哈密顿方程；构建系统内部所有参数及属性的完全同质对称行为网络，完全异质对称 行为网络和非对称行为网络等突变因果模型。
在本实施例中，（1）基于所述系统失稳和周期性震荡的因果要素，通过模拟生物进 化突变微分方程，计算种群调整产生的第二博弈收益
Figure 766927DEST_PATH_IMAGE076
，基于所述第二博弈 收益在种群适应度中通过微分残差学习函数，完成动力系统不同层神经元参数化隐含单元 连续涨落动态微观结构训练；所述生物进化突变微分方程为：
Figure 751064DEST_PATH_IMAGE077
，
Figure 533075DEST_PATH_IMAGE071
（2）基于训练好的动力系统，获得动力系统连续突变哈密顿方程，进而获得系统内部所有参数及属性在完全同质对称行为网络，完全异质对称行为网络和非对称行为网络等突变因果模型。
关于突变因果模型构建模块的构建模型等内容，可参见文献：“田磊, 董希旺, 赵启伦, 李清东, 吕金虎, 任章. 异构集群系统分布式自适应输出时变编队跟踪控制. 自动化学报, 2020”.以及“郑志明, 吕金虎, 韦卫，糖紹婷. 精准智能理论:面向复杂动态对象的人工智能. 《中国科学》杂志, 2021”。
预测获取模块，配置为基于所述完全同质对称行为网络，完全异质对称行为网络和非对称行为网络等突变因果模型，对时序长程关联超图模型的每个节点-邻居对的格兰杰因果权重，进行哈密顿方程求解计算，构造出哈密顿函数，进行因果随机梯度的干预和反事实计算，使得历史时序与未来时序的预测因果权重误差最大，获得复杂系统行为预测结果。
在本实施例中，通过本发明的数据驱动的复杂系统机理自动学习方法构建的风险主动预警，能够在输入数据后自动分析出复杂系统可能出现的故障风险和故障位置，提高复杂系统的可靠性。并且提高了预测的准确性。
3、超参数寻优优化模块
所述超参数寻优优化模块包括超参数初始空间构建单元301、超参数自适应选择策略单元302、自适应寻优推理单元303和超参数自动迁移单元304，如图4所示；主要用于在有限时间约束条件下，进行自动化完成超参数配置，并对这些超参数进行各种自动搜索，组合、拟合、评估和经验迁移等优化推理，减少了预定义的损失函数，精准获得多目标实体机理演化状态，产生各种高价值语义符号，提高给定独立数据的预测或者分类精度。
所述超参数初始空间构建单元301，配置为基于现有自动机器学习算法的超参数数据，将所述现有自动机器学习算法的超参数数据划分为不同自动机器学习算法超参数种群，进而构建超参数初始空间；
在本实施例中，超参数空间作为多种类型机器学习模型算法（即上述描述的神经 网络模型）超参数配置空间，主要用于定义被参数
Figure 577254DEST_PATH_IMAGE078
实例化的各种认知模型算法，每种机器 学习算法的实数变量、整数变量、二值变量和学习管道PipeLine等，方便优化器遍历全部超 参数问题定义和描述，相关性配置。
将所述超参数分类，生成多种自动机器学习算法的超参数种群，计算超参数种群中的超参数欧式相似度，将欧式相似度大于或等于预设共享边阈值的超参数间设置共享边，将欧式相似度小于预设共享边阈值的超参数生成不同种群算法节点相关超参数分布子图，构建超参数空间。
所述超参数自适应选择策略单元302，配置为以更新后的事理超图网络中所包含的各领域的事理的概念符号为学习目标任务，结合各领域的先验知识、预定义的超参数自适应选择策略函数，从所述超参数空间筛选出满足所述学习目标任务的多类型候选超参数集合；
在本实施例中，所述超参数自适应选择策略函数
Figure 320082DEST_PATH_IMAGE079
为：
Figure 904648DEST_PATH_IMAGE032
其中，
Figure 478848DEST_PATH_IMAGE080
用来度量具有候选超参数
Figure 880880DEST_PATH_IMAGE081
的算法
Figure 907742DEST_PATH_IMAGE082
在超参数空 间
Figure 561577DEST_PATH_IMAGE083
和学习目标任务数据集
Figure 990284DEST_PATH_IMAGE084
中的损失，A表示超参数空间中的算法。
Figure 313949DEST_PATH_IMAGE082
可选取的策略优选算法的包括：基于强化学习的学习式超参数优化、基于进化 算法的搜索式超参数优化和基于贝叶斯优化的概率式超参数优化等，通过单个或者组合的 超参搜索策略，自动训练评估具有
Figure 93686DEST_PATH_IMAGE081
参数的算法
Figure 285633DEST_PATH_IMAGE082
在实验验证数据集
Figure 493148DEST_PATH_IMAGE084
和已有超参空 间
Figure 315611DEST_PATH_IMAGE083
之间损失。
所述自适应寻优推理单元303，配置为基于所述候选超参数集合
Figure 379382DEST_PATH_IMAGE085
，通过自适应寻 优推理算法，根据学习目标任务，采用并行和序列相结合的方法迭代探索候选算法最优结 构及学习速率、正则化和网络结构深度的超参数组合，每次探索一次超参数组合生成超参 数最优曲线，自动比对多次生成的超参数最优曲线的变异，增加干扰信息直至变异超过阈 值，终止自适应寻优，获得最优超参数组合；
在本实施例中，所述自适应寻优推理算法目标函数y为：
Figure 47123DEST_PATH_IMAGE038
其中，
Figure 388106DEST_PATH_IMAGE086
表示超参数选择策略函数
Figure 178208DEST_PATH_IMAGE087
的组合最优曲线函数，
Figure 401378DEST_PATH_IMAGE088
表示按 照超参数选择策略从候选超参数集合
Figure 325341DEST_PATH_IMAGE085
中筛选自适应寻优训练函数，所述自适应寻优训练 函数结合实时获取的数据样本，自动为每个算法设置最优超参数，所述数据样本来源于学 习目标任务，c表示第i个历史数据样本的超参数组合数目。
所述自动迁移单元304，配置为将新增学习目标任务与已有的学习目标任务进行同类匹配，将类型相似度高于预设阈值的已有的学习目标任务对应的超参数组合迁移到新增学习目标任务的超参数空间，为新增学习目标任务配置最优超参数。
在本实施例中，自动迁移学习时的目标函数为：
Figure 583147DEST_PATH_IMAGE043
其中，
Figure 544150DEST_PATH_IMAGE044
为新增学习目标任务域超参数变量，
Figure 520196DEST_PATH_IMAGE045
表示超参数空间中算法对应的目 标预测函数，
Figure 733003DEST_PATH_IMAGE039
表示超参数
Figure 642053DEST_PATH_IMAGE040
的组合最优曲线函数，
Figure 977219DEST_PATH_IMAGE046
表示迁移权重，
Figure 361933DEST_PATH_IMAGE047
表示具 有最优超参数选择策略
Figure 440747DEST_PATH_IMAGE048
的超参数集合，
Figure 735463DEST_PATH_IMAGE049
表示源算法集合数量，
Figure 975951DEST_PATH_IMAGE050
表示循环迭代计数器，
Figure 864273DEST_PATH_IMAGE048
表示迭代了
Figure 277936DEST_PATH_IMAGE050
次的源算法；所述源算法为已有的学习目标任务对应的超参数的算法。
本发明在有限时间约束条件下，进行自动化设置的超参数，并对这些超参数进行各种搜索，组合、拟合、评估和经验迁移等优化，减少了预定义的损失函数，提升认知神经元网络算法在动态数据流性能，进而提高了给定独立数据的预测或者分类精度。
另外，本发明按照问题感知-组合优化-自我评估等自动化流水线超参闭环优化机制，综合学习式超参数优化、概率式超参优化和搜索式超参优化等方法，解决当前超参优化的非线性、非凸、组合优化和混合优化等超参数遍历空间无穷大、难以收敛和信息增益小等难题。
4、模型数据处理模块
所述模型数据处理模块，配置为结合机理模型自动构建模块筛选的最佳机理模型、超参数寻优优化模块获取的最优超参数组合，对各设定领域的输入数据集进行处理；所述处理包括描述、预警、预测。
需要说明的是，上述实施例提供的基于神经与符号的多模态大数据机器自动学习系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (9)

1.一种基于神经与符号的多模态大数据机器自动学习系统，其特征在于，该系统包括：特征工程自动构建模块、机理模型自动构建模块、超参数寻优优化模块、模型数据处理模块；
所述特征工程自动构建模块包括数据获取单元、事理超图网络自动构建单元、网络结构自动更新单元；
所述数据获取单元，配置为获取碎片化、多模态、动态演化的大数据，作为输入数据；所述输入数据包括多个领域不同模态的文本、图像、音频、视频数据；
所述事理超图网络自动构建单元，配置为通过自编码神经网络提取所述输入数据中所包含不同领域的事理的概念符号，构建事理概念符号空间；基于所述事理概念符号空间，通过多模态特征自动共形表示方法，自动聚合出不同模态的超边并进行共形计算，生成事理超图网络；
所述网络结构自动更新单元，配置为从新的输入数据中提取事理的概念符号，获取新增的超图顶点；通过超边多模态动态演化计算，对新增的超图顶点与所述事理超图网络所覆盖的节点进行增减对齐卷积计算，进而实现事理超图网络的自动更新；
所述机理模型自动构建模块包括领域任务定义单元、模型博弈设计搜索单元，搜索网格加速优化单元；
所述领域任务定义单元，配置为针对设定领域的输入数据集，结合神经+符号特征工程的先验，划分出该领域的事理的概念符号及超参数分布情况，并预先构建模型结构及超参数搜索空间；所述超参数包括：学习率、神经元网络层数、网络结构、卷积核选择、迭代次数、隐含层层数、神经元规模、滑动窗口和流行共性指数、激活函数、聚类个数和话题个数；
所述模型博弈设计搜索单元，配置为在预先构建的模型结构及超参数搜索空间中，通过博弈树搜索策略，从事理超图网络的节点中蒸馏出一系列模型结构候选模型，包括神经网络预测算法和一组超参数，并对一系列候选模型结构及超参数集进行迭代高保真评估，自动搜索出最适合当前输入数据集的最佳机理模型；所述机理模型包括描述、预测、预警的神经网络模型；
所述搜索网格加速优化单元，配置为通过基于强化学习的神经网络结构预测技术，获得模型结构对应的学习曲线，根据学习曲线预测出的模型结构分布和超参数过程权值，拟合出从训练样本集训练出模型和从测试样本集自动生成模型误差最小方差均值权值，并在各模型结构中全局共享该权值；所述训练样本集为基于事理超图网络中事理的概念符号构建样本集；所述测试样本集为所述设定领域的输入数据集；
所述超参数寻优优化模块包括超参数空间构建单元、超参数自适应选择策略单元、自适应寻优推理单元和超参数自动迁移单元；
所述超参数空间构建单元，配置为基于现有自动机器学习算法的超参数数据，将所述现有自动机器学习算法的超参数数据划分为不同自动机器学习算法超参数种群，进而构建超参数空间；
所述超参数自适应选择策略单元，配置为以更新后的事理超图网络中所包含的各领域的事理的概念符号为学习目标任务，结合各领域的先验知识、预定义的超参数自适应选择策略函数，从所述超参数空间筛选出满足所述学习目标任务的多类型候选超参数集合；
所述自适应寻优推理单元，配置为基于所述候选超参数集合，通过自适应寻优推理算法，根据学习目标任务，采用并行和序列相结合的方法迭代探索候选算法最优结构及学习速率、正则化和网络结构深度的超参数组合，每次探索一次超参数组合生成超参数最优曲线，自动比对多次生成的超参数最优曲线的变异，增加干扰信息直至变异超过阈值，终止自适应寻优，获得最优超参数组合；
所述自动迁移单元，配置为将新增学习目标任务与已有的学习目标任务进行同类匹配，将类型相似度高于预设阈值的已有的学习目标任务对应的超参数组合迁移到新增学习目标任务的超参数空间，为新增学习目标任务配置最优超参数；
所述模型数据处理模块，配置为结合机理模型自动构建模块筛选的最佳机理模型、超参数寻优优化模块获取的最优超参数组合，对各设定领域的输入数据集进行处理；所述处理包括描述、预警、预测。
2.根据权利要求1所述的基于神经与符号的多模态大数据机器自动学习系统，其特征在于，“基于所述事理概念符号空间，通过多模态特征自动共形表示方法，自动聚合出不同模态的超边并进行共形计算，生成事理超图网络”，其方法为：
A10，对所述事理概念符号空间，采用多模态特征选择计算求解，提取所述输入数据中事理的概念符号的有限节点集合；
A20，以事理的概念符号的有限节点集合作为超图的顶点集合，通过超图表示学习计算求解，生成超边集合，并为每个超边赋予权重和时间戳，生成多个模态超图的拉普拉斯矩阵，即得到多个模态的超边结构群；
A30，对多个模态超图的拉普拉斯矩阵，进行不同模态的超图间高阶相关共形熵求解计算，生成事理超图网络。
3.根据权利要求2所述的基于神经与符号的多模态大数据机器自动学习系统，其特征在于，“采用多模态特征选择计算求解，提取所述输入数据中事理的概念符号的有限节点集合”，其方法为：
Figure 830073DEST_PATH_IMAGE001
其中，
Figure 311870DEST_PATH_IMAGE002
，表示事理概念符号空间，
Figure 725534DEST_PATH_IMAGE003
表示第i 个事理概念符号的特征D维张量，m表示输入数据中模态的数量，N表示本次输入总共有N个 样本序列，
Figure 922027DEST_PATH_IMAGE004
表示输入数据对应的先验向量，
Figure 130155DEST_PATH_IMAGE005
表示第i个模态的张量系数矩阵，将当前已 获得的所有多模态张量系数向量存放在
Figure 833669DEST_PATH_IMAGE006
；
对多模态特征选择计算的目标函数进行
Figure 785444DEST_PATH_IMAGE007
范数正则化泛化计算，获得
Figure 523593DEST_PATH_IMAGE008
多模态转秩，形成m个模态特征向量的有限节点集合，即输入数据中事 理的概念符号的有限节点集合
Figure 637042DEST_PATH_IMAGE009
。
4.根据权利要求3所述的基于神经与符号的多模态大数据机器自动学习系统，其特征在于，“通过超图表示学习计算求解，生成超边集合，并为每个超边赋予权重和时间戳，生成多个模态超图的拉普拉斯矩阵”，其方法为：
在有限节点集合
Figure 93432DEST_PATH_IMAGE009
中，采用k - means聚类算法，任意选 择一个特征顶点
Figure 583319DEST_PATH_IMAGE010
作为中心节点，不断计算中心节点与其他节点
Figure 441553DEST_PATH_IMAGE011
的欧 式距离，最后把中心节点与距它邻接的m-1其他顶点连接起来，构造出N条超边，每个超边赋 予权重
Figure 991483DEST_PATH_IMAGE012
和时间戳
Figure 669589DEST_PATH_IMAGE013
，并定义超图关联矩阵：
Figure 464632DEST_PATH_IMAGE014
其中，
Figure 911794DEST_PATH_IMAGE015
表示节点
Figure 898205DEST_PATH_IMAGE016
到中心节点
Figure 63607DEST_PATH_IMAGE010
的距离，
Figure 160876DEST_PATH_IMAGE017
表示当前
Figure 728123DEST_PATH_IMAGE018
对应的各顶 点间的欧式距离；
基于超图的顶点度对角矩阵
Figure 619856DEST_PATH_IMAGE019
，生成超图的拉普拉斯半角矩阵
Figure 538133DEST_PATH_IMAGE020
，其中，
Figure 907935DEST_PATH_IMAGE021
为超图的顶点度矩阵，
Figure 329689DEST_PATH_IMAGE022
为超图的超边 的度矩阵，H为超图的关联矩阵，W为超图超边权重的系统矩阵。
5.根据权利要求2所述的基于神经与符号的多模态大数据机器自动学习系统，其特征在于，“对多个模态超图的拉普拉斯矩阵，进行不同模态的超图间高阶相关共形熵求解计算，生成事理超图网络”，其方法为：
求解第一共形熵和第二共形熵；所述第一共形熵为m种模态的超图共形熵；所述第二共形熵为m=2时共形熵；
如果第一共形熵大于第二共形熵，则将不同模态的超图合并为一个主题；如果第一共形熵小于第二共形熵，则该超图独立成一个主题；
不断多次迭代计算，生成事理超图网络；
所述共形熵的计算方法为：
Figure 392323DEST_PATH_IMAGE023
Figure 30852DEST_PATH_IMAGE024
其中，
Figure 735503DEST_PATH_IMAGE025
表示m种模态的超图间高阶相关共形熵函数，
Figure 11764DEST_PATH_IMAGE026
为曲面模态联合分布熵，用于表示超图之间各超边的共形概率，
Figure 510878DEST_PATH_IMAGE027
表示第
Figure 872589DEST_PATH_IMAGE028
个模态特征的超图，
Figure 584193DEST_PATH_IMAGE029
表示
Figure 246119DEST_PATH_IMAGE028
个模态特征矩阵的联合 概率分布。
6.根据权利要求2所述的基于神经与符号的多模态大数据机器自动学习系统，其特征在于，“通过超边多模态动态演化计算，对新增的超图顶点与所述事理超图网络所覆盖的节点进行增减对齐卷积计算，进而实现事理超图网络的自动更新”，其方法为：
对所述新增的输入数据流，如果通过A10获得新增的孤立节点，计算孤立节点与事理超图网络自动构建单元获取的事理超图网络所覆盖的节点的互补熵，并将孤立节点合并到与其互补熵小于设定阈值的节点对应的超边；
如果从新增的数据流训练样本获得新增顶点和一条新超边，则对新增的超图顶点跟已有超图顶点，按照步骤A20进行超图节点卷积计算，完成进行超图顶点的增减处理；对新增超边与已有超边，按照步骤A30进行超图超边卷积计算，对事理超图网络进行更新。
7.根据权利要求1所述的基于神经与符号的多模态大数据机器自动学习系统，其特征 在于，所述超参数自适应选择策略函数
Figure 650555DEST_PATH_IMAGE030
为：
Figure 499563DEST_PATH_IMAGE031
其中，
Figure 280437DEST_PATH_IMAGE032
用来度量具有候选超参数
Figure 796869DEST_PATH_IMAGE033
的算法
Figure 873672DEST_PATH_IMAGE034
在超参数空间
Figure 475554DEST_PATH_IMAGE035
和学习目标任务数据集
Figure 794540DEST_PATH_IMAGE036
中的损失，A表示超参数空间中的算法。
8.根据权利要求7所述的基于神经与符号的多模态大数据机器自动学习系统，其特征在于，所述自适应寻优推理算法目标函数y为：
Figure 899899DEST_PATH_IMAGE037
其中，
Figure 911718DEST_PATH_IMAGE038
表示超参数选择策略函数
Figure 469738DEST_PATH_IMAGE039
的组合最优曲线函数，
Figure 592415DEST_PATH_IMAGE040
表示按照超 参数选择策略从候选超参数集合
Figure 552281DEST_PATH_IMAGE041
中筛选自适应寻优训练函数，所述自适应寻优训练函数 结合实时获取的数据样本，自动为每个算法设置最优超参数，所述数据样本来源于学习目 标任务，c表示第i个历史数据样本的超参数组合数目。
9.根据权利要求8所述的基于神经与符号的多模态大数据机器自动学习系统，其特征在于，所述自动迁移单元中自动迁移学习时的目标函数为：
Figure 469421DEST_PATH_IMAGE042
其中，
Figure 45896DEST_PATH_IMAGE043
为新增学习目标任务域超参数变量，
Figure 706684DEST_PATH_IMAGE044
表示超参数空间中算法对应的目标预测 函数，
Figure 521057DEST_PATH_IMAGE038
表示超参数
Figure 874678DEST_PATH_IMAGE039
的组合最优曲线函数，
Figure 177264DEST_PATH_IMAGE045
表示迁移权重，
Figure 376164DEST_PATH_IMAGE046
表示具有最优 超参数选择策略
Figure 576201DEST_PATH_IMAGE047
的超参数集合，
Figure 100723DEST_PATH_IMAGE048
表示源算法集合数量，
Figure 120632DEST_PATH_IMAGE049
表示循环迭代计数器，
Figure 388802DEST_PATH_IMAGE047
表 示迭代了
Figure 177767DEST_PATH_IMAGE049
次的源算法；所述源算法为已有的学习目标任务对应的超参数的算法。
CN202110723736.1A 2021-06-29 2021-06-29 基于神经与符号的多模态大数据机器自动学习系统 Active CN113408703B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110723736.1A CN113408703B (zh) 2021-06-29 2021-06-29 基于神经与符号的多模态大数据机器自动学习系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110723736.1A CN113408703B (zh) 2021-06-29 2021-06-29 基于神经与符号的多模态大数据机器自动学习系统

Publications (2)

Publication Number Publication Date
CN113408703A true CN113408703A (zh) 2021-09-17
CN113408703B CN113408703B (zh) 2022-01-28

Family

ID=77679952

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110723736.1A Active CN113408703B (zh) 2021-06-29 2021-06-29 基于神经与符号的多模态大数据机器自动学习系统

Country Status (1)

Country Link
CN (1) CN113408703B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114997325A (zh) * 2022-06-20 2022-09-02 上海电器科学研究所（集团）有限公司 一种基于网络协同的深度学习算法管理系统
WO2023115596A1 (zh) * 2021-12-21 2023-06-29 浙江工业大学台州研究院 一种基于迁移学习融合模型的桁架应力预测及轻量化方法
TWI814619B (zh) * 2021-10-20 2023-09-01 香港商墨子國際有限公司 用於以少量學習訓練樣本產生器之系統及方法，以及非暫時性電腦可讀儲存媒體
CN116975731A (zh) * 2023-08-08 2023-10-31 山东大学 一种基于迁移学习的跨域刀具破损监测方法及系统
CN117391314A (zh) * 2023-12-13 2024-01-12 深圳市上融科技有限公司 综合场站运营管理平台
CN117767579A (zh) * 2024-02-22 2024-03-26 国网山东省电力公司电力科学研究院 基于AutoML的电网大数据分析方法及自动化建模系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050197875A1 (en) * 1999-07-01 2005-09-08 Nutech Solutions, Inc. System and method for infrastructure design
CN104899921A (zh) * 2015-06-04 2015-09-09 杭州电子科技大学 基于多模态自编码模型的单视角视频人体姿态恢复方法
CN106203488A (zh) * 2016-07-01 2016-12-07 福州大学 一种基于受限玻尔兹曼机的乳腺图像特征融合方法
CN108985458A (zh) * 2018-07-23 2018-12-11 东北大学 一种序贯同步博弈的双树蒙特卡洛搜索算法
CN112735570A (zh) * 2021-01-09 2021-04-30 深圳先进技术研究院 影像驱动的脑图谱构建方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050197875A1 (en) * 1999-07-01 2005-09-08 Nutech Solutions, Inc. System and method for infrastructure design
CN104899921A (zh) * 2015-06-04 2015-09-09 杭州电子科技大学 基于多模态自编码模型的单视角视频人体姿态恢复方法
CN106203488A (zh) * 2016-07-01 2016-12-07 福州大学 一种基于受限玻尔兹曼机的乳腺图像特征融合方法
CN108985458A (zh) * 2018-07-23 2018-12-11 东北大学 一种序贯同步博弈的双树蒙特卡洛搜索算法
CN112735570A (zh) * 2021-01-09 2021-04-30 深圳先进技术研究院 影像驱动的脑图谱构建方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DI FENG ETC.: ""Deep Multi-Modal Object Detection and Semantic Segmentation for Autonomous Driving：Datasets, Methods, and Challenges"", 《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》 *
JIANHANG GAO ETC.: ""Dynamic Shortest Path Algorithms for Hypergraphs"", 《IEEE/ACM TRANSACTIONS ON NETWORKING》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI814619B (zh) * 2021-10-20 2023-09-01 香港商墨子國際有限公司 用於以少量學習訓練樣本產生器之系統及方法，以及非暫時性電腦可讀儲存媒體
WO2023115596A1 (zh) * 2021-12-21 2023-06-29 浙江工业大学台州研究院 一种基于迁移学习融合模型的桁架应力预测及轻量化方法
CN114997325A (zh) * 2022-06-20 2022-09-02 上海电器科学研究所（集团）有限公司 一种基于网络协同的深度学习算法管理系统
CN114997325B (zh) * 2022-06-20 2024-04-26 上海电器科学研究所（集团）有限公司 一种基于网络协同的深度学习算法管理系统
CN116975731A (zh) * 2023-08-08 2023-10-31 山东大学 一种基于迁移学习的跨域刀具破损监测方法及系统
CN116975731B (zh) * 2023-08-08 2024-02-20 山东大学 一种基于迁移学习的跨域刀具破损监测方法及系统
CN117391314A (zh) * 2023-12-13 2024-01-12 深圳市上融科技有限公司 综合场站运营管理平台
CN117391314B (zh) * 2023-12-13 2024-02-13 深圳市上融科技有限公司 综合场站运营管理平台
CN117767579A (zh) * 2024-02-22 2024-03-26 国网山东省电力公司电力科学研究院 基于AutoML的电网大数据分析方法及自动化建模系统
CN117767579B (zh) * 2024-02-22 2024-05-17 国网山东省电力公司电力科学研究院 基于AutoML的电网大数据分析方法及自动化建模系统

Also Published As

Publication number Publication date
CN113408703B (zh) 2022-01-28

Similar Documents

Publication Publication Date Title
CN113408703B (zh) 基于神经与符号的多模态大数据机器自动学习系统
Mahdavinejad et al. Machine learning for Internet of Things data analysis: A survey
Alam et al. Research on particle swarm optimization based clustering: a systematic review of literature and techniques
Bajic et al. Machine learning techniques for smart manufacturing: Applications and challenges in industry 4.0
Teng et al. Deep into hypersphere: Robust and unsupervised anomaly discovery in dynamic networks
Garg et al. Comparative analysis of various data mining techniques on educational datasets
CN113177626B (zh) 数据驱动的复杂系统机理自动学习方法、系统及设备
Shan et al. The data-driven fuzzy cognitive map model and its application to prediction of time series
Xingrong Research on time series data mining algorithm based on Bayesian node incremental decision tree
Zhang et al. A view-reduction based multi-view TSK fuzzy system and its application for textile color classification
Dekhovich et al. Continual prune-and-select: class-incremental learning with specialized subnetworks
CN114463540A (zh) 使用神经网络对图像进行分割
Azevedo et al. Hybrid approaches to optimization and machine learning methods: a systematic literature review
Leite Evolving granular systems
Sayed et al. An efficient artificial intelligence-based educational data mining approach for higher education and early recognition system
CN111708919B (zh) 一种大数据处理方法及系统
Yang Optimized and Automated Machine Learning Techniques Towards IoT Data Analytics and Cybersecurity
Zhou et al. Online recommendation based on incremental-input self-organizing map
Li et al. Intelligent unsupervised learning method of physical education image resources based on genetic algorithm
Singh et al. Optimizing kernel possibilistic fuzzy C-means clustering using metaheuristic algorithms
Shokrzade et al. ELM-NET, a closer to practice approach for classifying the big data using multiple independent ELMs
Rashed et al. Multi-objective clustering algorithm using particle swarm optimization with crowding distance (MCPSO-CD)
Khan et al. An analysis of particle swarm optimization with data clustering-technique for optimization in data mining
Åleskog et al. A Graph-Based Multi-view Clustering Approach for Continuous Pattern Mining
Khan et al. Entropy in Fuzzy k-Means Algorithm for Multi-view Data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant