CN115034374A - 一种图小样本学习的存内计算方法、装置和电子设备 - Google Patents

一种图小样本学习的存内计算方法、装置和电子设备 Download PDF

Info

Publication number
CN115034374A
CN115034374A CN202210681923.2A CN202210681923A CN115034374A CN 115034374 A CN115034374 A CN 115034374A CN 202210681923 A CN202210681923 A CN 202210681923A CN 115034374 A CN115034374 A CN 115034374A
Authority
CN
China
Prior art keywords
feature vector
binary feature
encoder
binary
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210681923.2A
Other languages
English (en)
Inventor
尚大山
张握瑜
王少聪
李熠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Microelectronics of CAS
Original Assignee
Institute of Microelectronics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Microelectronics of CAS filed Critical Institute of Microelectronics of CAS
Priority to CN202210681923.2A priority Critical patent/CN115034374A/zh
Priority to PCT/CN2022/112494 priority patent/WO2023240779A1/zh
Publication of CN115034374A publication Critical patent/CN115034374A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种图小样本学习的存内计算方法、装置和电子设备，涉及机器学习及人工智能领域，开发记忆增强图网络模型实现图小样本学习功能，并采用存内计算架构进行硬件实现。方法包括：将编码器的参数进行初始化处理，将图数据集分为训练集和测试集；在训练集中随机选取一个预设类别和预设数量的支持集，将支持集输入至控制器和编码器获得第一二值特征向量；将第一二值特征向量和第一二值特征向量对应的标签存储至外部记忆单元中；在训练集中随机选取一个预设类别和预设数量的查询集，将查询集输入至控制器和编码器获得第二二值特征向量；基于第一二值特征向量和第二二值特征向量确定样本的预测类别，可以快速确定样本类别。

Description

一种图小样本学习的存内计算方法、装置和电子设备
技术领域
本发明涉及机器学习及人工智能领域，尤其涉及一种图小样本学习的存内计算方法、装置和电子设备。
背景技术
随着机器学习及人工智能领域的发展，深度学习在人工智能和机器学习中占据极其重要的部分，大数据时代的到来加快了深度学习的发展。但是在实际的开放环境中，数据的获取和标注均是十分耗时耗力的，神经网络需要在有限的样本数量下提高泛化能力。
记忆增强网络(Memory Augmented Neural Network，MANN)通过引入外部记忆单元，将一些与任务相关的信息保存在外部记忆单元中，在需要的时候可以从外部记忆单元中进行读取，这种学习方法可以有效解决小样本学习问题。在MANN的硬件实现上，可以采用传统的数字电路中央处理器(Central Processing Unit，CPU)加动态随机存取存储器(Dynamic Random Access Memory,DRAM)的方式，但是由于受到冯诺依曼瓶颈的限制，大量数据的存取会导致高延时和高功耗的问题。尽管基于内容可寻址存储器(Content-addressable Memory,CAM)的外部记忆单元能高速并行地进行检索，MANN在算法和硬件实现上仍面临挑战。
在算法上，由传统的深度学习算法(如卷积神经网络)构成的记忆增强网络能够成功处理欧式空间中的数据，如图像、文本等。但是在位于非欧空间中的图数据上，采用传统卷积神经网络构建记忆增强网络的效果较差。这是由于图数据是不规则的，图中节点间相互连接的特点。图神经网络能够有效提取图数据特征，由其构成的记忆增强网络能实现图的小样本学习，但是该记忆增强网络会面临耗时耗能的参数优化问题。
在硬件实现上，尽管基于CAM的外部记忆单元能够降低检索时的延时和功耗，MANN的控制器仍然采用GPU实现，在特征提取的过程中导致大量的功耗。此外，由于控制器和外部记忆采用不同的器件结构和外围电路设计，很难将二者集成到同一块芯片上，这限制了MANN网络的扩展。
发明内容
本发明的目的在于提供一种图小样本学习的存内计算方法、装置和电子设备，通过开发记忆增强图网络，并利用存内计算器件构成的阵列全硬件实现了记忆增强图网络，解决了图小样本学习面临的算法和硬件实现的问题
第一方面，本发明提供一种图小样本学习的存内计算方法，应用于包括相互连接的控制器、编码器和外部记忆单元的记忆增强图网络中，所述方法包括：
将所述编码器的参数进行初始化处理，将图数据集分为训练集和测试集；
在所述训练集中随机选取一个预设类别和预设数量的支持集，将所述支持集输入至所述控制器和所述编码器，获得第一二值特征向量；
将所述第一二值特征向量和所述第一二值特征向量对应的标签存储至所述外部记忆单元中；
在所述训练集中随机选取一个所述预设类别和所述预设数量的查询集，将所述查询集输入至所述控制器和所述编码器获得第二二值特征向量；
基于所述第一二值特征向量和所述第二二值特征向量确定样本的预测类别。
采用上述技术方案的情况下，本发明提供的图小样本学习的存内计算方法，应用于包括相互连接的控制器、编码器和外部记忆单元的记忆增强图网络中，可以通过将所述编码器的参数进行初始化处理，将图数据集分为训练集和测试集，在所述训练集中随机选取一个预设类别和预设数量的支持集，将所述支持集输入至所述控制器和所述编码器，获得第一二值特征向量，将所述第一二值特征向量和所述第一二值特征向量对应的标签存储至所述外部记忆单元中，在所述训练集中随机选取一个所述预设类别和所述预设数量的查询集，将所述查询集输入至所述控制器和所述编码器获得第二二值特征向量，基于所述第一二值特征向量和所述第二二值特征向量确定样本的预测类别，可以快速确定样本类别，降低耗时降低耗能，提高记忆增强图网络的可靠性和稳定性。
在一种可能的实现方式中，所述基于所述第一二值特征向量和所述第二二值特征向量确定样本的预测类别，包括：
确定所述第一二值特征向量和所述第二二值特征向量的特征相似度；
基于所述特征相似度确定样本的预测类别。
在一种可能的实现方式中，在基于所述第一二值特征向量和所述第二二值特征向量确定样本的预测类别之后，所述方法还包括：
在对所述记忆增强图网络进行训练的过程中，根据所述预测类别和所述标签确定预测误差值；
基于所述预测误差值更新所述编码器的参数。
在一种可能的实现方式中，所述在所述训练集中随机选取一个预设类别和预设数量的支持集，将所述支持集输入至所述控制器和所述编码器，获得第一二值特征向量，包括：
在所述训练集中随机选取一个预设类别和预设数量的所述支持集，将所述支持集输入至所述控制器，通过所述控制器的回声状态图网络对所述图数据集进行特征提取，获得所述图数据集的节点特征；
将所述节点特征输入至所述编码器，通过所述编码器的二值神经网络，将所述节点特征转换为所述第一二值特征向量。
在一种可能的实现方式中，所述确定所述第一二值特征向量和所述第二二值特征向量的特征相似度，包括：
在进行检索时，采用点乘公式计算所述第一二值特征向量和所述第二二值特征向量的所述特征相似度。
在一种可能的实现方式中，所述训练集和所述测试集的类别不交叉。
第二方面，本发明还提供一种图小样本学习的存内计算装置，应用于包括相互连接的控制器、编码器和外部记忆单元的记忆增强图网络中，所述装置包括：
初始化模块，用于将所述编码器的参数进行初始化处理，将图数据集分为训练集和测试集；
第一获得模块，用于在所述训练集中随机选取一个预设类别和预设数量的支持集，将所述支持集输入至所述控制器和所述编码器，获得第一二值特征向量；
第一存储模块，用于将所述第一二值特征向量和所述第一二值特征向量对应的标签存储至所述外部记忆单元中；
第二获得模块，用于在所述训练集中随机选取一个所述预设类别和所述预设数量的查询集，将所述查询集输入至所述控制器和所述编码器获得第二二值特征向量；
第一确定模块，用于基于所述第一二值特征向量和所述第二二值特征向量确定样本的预测类别。
在一种可能的实现方式中，所述装置还包括：
第三获得模块，用于在所述测试集中随机选取一个预设类别和预设数量的所述支持集，将所述支持集输入至所述控制器和所述编码器，获得所述第一二值特征向量；
第二存储模块，用于将所述第一二值特征向量和所述第一二值特征向量对应的标签存储至所述外部记忆单元中；
第四获得模块，用于在所述测试集中随机选取一个所述预设类别和所述预设数量的所述查询集，将所述查询集输入至所述控制器和所述编码器获得第二二值特征向量；
第二确定模块，用于基于所述第一二值特征向量和所述第二二值特征向量确定样本的预测类别。
在一种可能的实现方式中，所述第一确定模块包括：
第一确定子模块，用于确定所述第一二值特征向量和所述第二二值特征向量的特征相似度；
第二确定子模块，用于基于所述特征相似度确定样本的预测类别。
在一种可能的实现方式中，所述装置还包括：
第三确定模块，用于在对所述记忆增强图网络进行训练的过程中，根据所述预测类别和所述标签确定预测误差值；
更新模块，用于基于所述预测误差值更新所述编码器的参数。
在一种可能的实现方式中，所述第一获得模块包括：
获得子模块，用于在所述训练集中随机选取一个预设类别和预设数量的所述支持集，将所述支持集输入至所述控制器，通过所述控制器的回声状态图网络对所述图数据集进行特征提取，获得所述图数据集的节点特征；
转换子模块，用于将所述节点特征输入至所述编码器，通过所述编码器的二值神经网络，将所述节点特征转换为所述第一二值特征向量。
在一种可能的实现方式中，所述第一确定子模块包括：
计算单元，用于在进行检索时，采用点乘公式计算所述第一二值特征向量和所述第二二值特征向量的所述特征相似度。
在一种可能的实现方式中，所述训练集和所述测试集的类别不交叉。
第二方面提供的图小样本学习的存内计算装置的有益效果与第一方面或第一方面任一可能的实现方式描述的图小样本学习的存内计算方法的有益效果相同，此处不做赘述。
第三方面，本发明还提供一种电子设备，包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述装置执行第二方面任一可能的实现方式描述的图小样本学习的存内计算装置。
第三方面提供的电子设备的有益效果与第二方面或第二方面任一可能的实现方式描述的图小样本学习的存内计算装置的有益效果相同，此处不做赘述。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1示出了本申请实施例提供的一种记忆增强图网络的结构示意图；
图2示出了本申请实施例提供的一种图小样本学习的存内计算方法的流程示意图；
图3示出了本申请实施例提供的另一种图小样本学习的存内计算方法的流程示意图；
图4示出了本申请实施例提供的一种实现图小样本学习的存内计算硬件示意图；
图5示出了本申请实施例提供的一种图小样本学习的存内计算装置的结构流程图；
图6为本发明实施例提供的一种电子设备的硬件结构示意图；
图7为本发明实施例提供的芯片的结构示意图。
具体实施方式
为了便于清楚描述本发明实施例的技术方案，在本发明的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如，第一阈值和第二阈值仅仅是为了区分不同的阈值，并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
需要说明的是，本发明中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本发明中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，a和b的结合，a和c的结合，b和c的结合，或a、b和c的结合，其中a，b，c可以是单个，也可以是多个。
图1示出了本申请实施例提供的一种记忆增强图网络的结构示意图，如图1所示，所述记忆增强图网络包括相互连接的控制器101、编码器102和外部记忆单元103。
图2示出了本申请实施例提供的一种图小样本学习的存内计算方法的流程示意图，应用于包括相互连接的控制器、编码器和外部记忆单元的记忆增强图网络中，如图2所示，该图小样本学习的存内计算方法包括：
步骤201：将所述编码器的参数进行初始化处理，将图数据集分为训练集和测试集。
在本申请中，所述训练集和所述测试集的类别不交叉。
步骤202：在所述训练集中随机选取一个预设类别和预设数量的支持集，将所述支持集输入至所述控制器和所述编码器，获得第一二值特征向量。
在本申请中，可以在所述训练集中随机选取一个预设类别和预设数量的所述支持集，将所述支持集输入至所述控制器，通过所述控制器的回声状态图网络对所述图数据集进行特征提取，获得所述图数据集的节点特征；进一步的，将所述节点特征输入至所述编码器，通过所述编码器的二值神经网络，将所述节点特征转换为所述第一二值特征向量。
步骤203：将所述第一二值特征向量和所述第一二值特征向量对应的标签存储至所述外部记忆单元中。
步骤204：在所述训练集中随机选取一个所述预设类别和所述预设数量的查询集，将所述查询集输入至所述控制器和所述编码器获得第二二值特征向量。
步骤205：基于所述第一二值特征向量和所述第二二值特征向量确定样本的预测类别。
需要说明的是，在本申请中，存内计算实现使用的器件不限于随机存取存储器(RRAM)器件，也包括闪存(Flash)，铁电场效应晶体管(FeFET)，非易失性的磁性随机存储器(MRAM)等非易失性器件。
本发明实施例提供的图小样本学习的存内计算方法，应用于包括相互连接的控制器、编码器和外部记忆单元的记忆增强图网络中，可以通过将所述编码器的参数进行初始化处理，将图数据集分为训练集和测试集，在所述训练集中随机选取一个预设类别和预设数量的支持集，将所述支持集输入至所述控制器和所述编码器，获得第一二值特征向量，将所述第一二值特征向量和所述第一二值特征向量对应的标签存储至所述外部记忆单元中，在所述训练集中随机选取一个所述预设类别和所述预设数量的查询集，将所述查询集输入至所述控制器和所述编码器获得第二二值特征向量，基于所述第一二值特征向量和所述第二二值特征向量确定样本的预测类别，可以快速确定样本类别，降低耗时降低耗能，提高记忆增强图网络的可靠性和稳定性。
可选的，图3示出了本申请实施例提供的另一种图小样本学习的存内计算方法的流程示意图，应用于包括相互连接的控制器、编码器和外部记忆单元的记忆增强图网络中，参见图3，该图小样本学习的存内计算方法包括：
步骤301：将所述编码器的参数进行初始化处理，将图数据集分为训练集和测试集。
在本申请中，可以将所述编码器的参数进行初始化，将图数据集划分为训练集和测试集，训练集和测试集的类别不交叉。
步骤302：在所述训练集中随机选取一个预设类别和预设数量的支持集，将所述支持集输入至所述控制器和所述编码器，获得第一二值特征向量。
在本申请中，可以在所述训练集中随机选取一个预设类别和预设数量的所述支持集，将所述支持集输入至所述控制器，通过所述控制器的回声状态图网络对所述图数据集进行特征提取，获得所述图数据集的节点特征；将所述节点特征输入至所述编码器，通过所述编码器的二值神经网络，将所述节点特征转换为所述第一二值特征向量。
可选的，控制器可以采用回声状态图网络，利用随机矩阵提取图的节点特征，节点状态迭代过程如公式(1)所示，第t时间步下的第i个节点的特征
Figure BDA0003696592680000081
表示为：
Figure BDA0003696592680000082
Figure BDA0003696592680000083
其中，
Figure BDA0003696592680000091
表示第i个节点在(t-1)时间步的节点特征，ui表示第i个节点的输入信息，输入矩阵Win与节点状态Xi相乘得到ui；N(i)表示第i个节点的邻居节点集合，输入矩阵Win和隐藏矩阵Wh是随机矩阵，α表示泄露率。
可选的，编码器可以采用一层二值神经网络，将回声状态图网络输出的节点特征转化为二值特征向量，并存储到外部记忆单元中，在编码器前向传播的过程中采用的权值二值化函数和激活函数是符号函数，如公式(3)所示：
Figure BDA0003696592680000092
步骤303：将所述第一二值特征向量和所述第一二值特征向量对应的标签存储至所述外部记忆单元中。
在本申请中，外部记忆单元可以存储节点的第一二值特征向量及其对应的标签。
在本申请中，在训练时，可以从训练集中随时选取一个Support Set(支持集)，其中，支持集由m个类别，每个类别随机选取n个样本组成。可以将支持集中的样本通过控制器和编码器获得第二二值特征向量，并且将该第二二值特征向量及其对应的标签存储到外部记忆单元中。
步骤304：在所述训练集中随机选取一个所述预设类别和所述预设数量的查询集，将所述查询集输入至所述控制器和所述编码器获得第二二值特征向量。
进一步的，可以在训练集中随机选取查询集(Query set)，其中，查询集和支持集的类别相同，从这m个类别中剩下的样本中选取n个样本，将查询集的样本通过控制器和编码器获得第二二值特征向量。
步骤305：基于所述第一二值特征向量和所述第二二值特征向量确定样本的预测类别。
在本申请中，可以确定所述第一二值特征向量和所述第二二值特征向量的特征相似度；进一步的，基于所述特征相似度确定样本的预测类别。
具体的，在进行检索时，可以采用点乘公式计算所述第一二值特征向量和所述第二二值特征向量的所述特征相似度，如公式(4)所示：
Dot product(A，B)＝A·B。
步骤306：在对所述记忆增强图网络进行训练的过程中，根据所述预测类别和所述标签确定预测误差值。
在本申请中，可以根据查询集的预测类别和真实类别计算预测误差值。
步骤307：基于所述预测误差值更新所述编码器的参数。
在本申请中，可以基于预测误差值对编码器中的参数进行调整，以提高学习能力。
在本申请中，在推理时，可以执行以下步骤：
步骤S1：在所述测试集中随机选取一个预设类别和预设数量的所述支持集，将所述支持集输入至所述控制器和所述编码器，获得所述第一二值特征向量。
步骤S2：将所述第一二值特征向量和所述第一二值特征向量对应的标签存储至所述外部记忆单元中。
步骤S3：在所述测试集中随机选取一个所述预设类别和所述预设数量的所述查询集，将所述查询集输入至所述控制器和所述编码器获得第二二值特征向量。
步骤S4：基于所述第一二值特征向量和所述第二二值特征向量确定样本的预测类别。
图4示出了本申请实施例提供的一种实现图小样本学习的存内计算硬件示意图，如图4所示，控制器中包括随机RRAM(随机存取存储器)阵列，编码器中包括可编程RRAM阵列，外部记忆单元中包括可编程RRAM阵列，其中，外部记忆单元可以存储编码器输入的内容，外部记忆单元可以对编码器中的内容进行检索。利用主变存储器件在获取集合(SET)过程中的阻值变化的随机性实现控制器中的随机矩阵(输入矩阵Win和隐藏矩阵Wh)，利用阻变存储器件的二值状态实现编码器中的二值权重和外部记忆单元的特征向量和标签，利用忆阻器器件的随机性和二值阻态特性，在同一忆阻器阵列上实现了随机矩阵和二值矩阵，由于忆阻器器件具备可擦写的能力，是的记忆增强图网络的硬件实现具备了可重构特性。
本发明实施例提供的图小样本学习的存内计算方法，应用于包括相互连接的控制器、编码器和外部记忆单元的记忆增强图网络中，可以通过将所述编码器的参数进行初始化处理，将图数据集分为训练集和测试集，在所述训练集中随机选取一个预设类别和预设数量的支持集，将所述支持集输入至所述控制器和所述编码器，获得第一二值特征向量，将所述第一二值特征向量和所述第一二值特征向量对应的标签存储至所述外部记忆单元中，在所述训练集中随机选取一个所述预设类别和所述预设数量的查询集，将所述查询集输入至所述控制器和所述编码器获得第二二值特征向量，基于所述第一二值特征向量和所述第二二值特征向量确定样本的预测类别，可以快速确定样本类别，降低耗时降低耗能，提高记忆增强图网络的可靠性和稳定性。
图5示出了本申请实施例提供的一种图小样本学习的存内计算装置的结构示意图，应用于包括相互连接的控制器、编码器和外部记忆单元的记忆增强图网络中，如图5所示，该图小样本学习的存内计算装置400包括：
初始化模块401，用于将所述编码器的参数进行初始化处理，将图数据集分为训练集和测试集；
第一获得模块402，用于在所述训练集中随机选取一个预设类别和预设数量的支持集，将所述支持集输入至所述控制器和所述编码器，获得第一二值特征向量；
存储模块403，用于将所述第一二值特征向量和所述第一二值特征向量对应的标签存储至所述外部记忆单元中；
第二获得模块404，用于在所述训练集中随机选取一个所述预设类别和所述预设数量的查询集，将所述查询集输入至所述控制器和所述编码器获得第二二值特征向量；
第一确定模块405，用于基于所述第一二值特征向量和所述第二二值特征向量确定样本的预测类别。
在一种可能的实现方式中，所述装置还包括：
第三获得模块，用于在所述测试集中随机选取一个预设类别和预设数量的所述支持集，将所述支持集输入至所述控制器和所述编码器，获得所述第一二值特征向量；
第二存储模块，用于将所述第一二值特征向量和所述第一二值特征向量对应的标签存储至所述外部记忆单元中；
第四获得模块，用于在所述测试集中随机选取一个所述预设类别和所述预设数量的所述查询集，将所述查询集输入至所述控制器和所述编码器获得第二二值特征向量；
第二确定模块，用于基于所述第一二值特征向量和所述第二二值特征向量确定样本的预测类别。
在一种可能的实现方式中，所述第一确定模块包括：
第一确定子模块，用于确定所述第一二值特征向量和所述第二二值特征向量的特征相似度；
第二确定子模块，用于基于所述特征相似度确定样本的预测类别。
在一种可能的实现方式中，所述装置还包括：
第三确定模块，用于在对所述记忆增强图网络进行训练的过程中，根据所述预测类别和所述标签确定预测误差值；
更新模块，用于基于所述预测误差值更新所述编码器的参数。
在一种可能的实现方式中，所述第一获得模块包括：
获得子模块，用于在所述训练集中随机选取一个预设类别和预设数量的所述支持集，将所述支持集输入至所述控制器，通过所述控制器的回声状态图网络对所述图数据集进行特征提取，获得所述图数据集的节点特征；
转换子模块，用于将所述节点特征输入至所述编码器，通过所述编码器的二值神经网络，将所述节点特征转换为所述第一二值特征向量。
在一种可能的实现方式中，所述第一确定子模块包括：
计算单元，用于在进行检索时，采用点乘公式计算所述第一二值特征向量和所述第二二值特征向量的所述特征相似度。
在一种可能的实现方式中，所述训练集和所述测试集的类别不交叉。
本发明实施例提供的图小样本学习的存内计算装置，应用于包括相互连接的控制器、编码器和外部记忆单元的记忆增强图网络中，可以通过将所述编码器的参数进行初始化处理，将图数据集分为训练集和测试集，在所述训练集中随机选取一个预设类别和预设数量的支持集，将所述支持集输入至所述控制器和所述编码器，获得第一二值特征向量，将所述第一二值特征向量和所述第一二值特征向量对应的标签存储至所述外部记忆单元中，在所述训练集中随机选取一个所述预设类别和所述预设数量的查询集，将所述查询集输入至所述控制器和所述编码器获得第二二值特征向量，基于所述第一二值特征向量和所述第二二值特征向量确定样本的预测类别，可以快速确定样本类别，降低耗时降低耗能，提高记忆增强图网络的可靠性和稳定性。
本发明提供的一种图小样本学习的存内计算装置，应用于包括控制器以及与控制器电连接的至少一个检测电路的如图1至图4任一所示的图小样本学习的存内计算方法，为避免重复，这里不再赘述。
本发明实施例中的电子设备可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personaldigital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本发明实施例不作具体限定。
本发明实施例中的电子设备可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为IOS操作系统，还可以为其他可能的操作系统，本发明实施例不作具体限定。
图6示出了本发明实施例提供的一种电子设备的硬件结构示意图。如图6所示，该电子设备500包括处理器510。
如图6所示，上述处理器510可以是一个通用中央处理器(central processingunit，CPU)，微处理器，专用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本发明方案程序执行的集成电路。
如图6所示，上述电子设备500还可以包括通信线路540。通信线路540可包括一通路，在上述组件之间传送信息。
可选的，如图6所示，上述电子设备还可以包括通信接口520。通信接口520可以为一个或多个。通信接口520可使用任何收发器一类的装置，用于与其他设备或通信网络通信。
可选的，如图6所示，该电子设备还可以包括存储器530。存储器530用于存储执行本发明方案的计算机执行指令，并由处理器来控制执行。处理器用于执行存储器中存储的计算机执行指令，从而实现本发明实施例提供的方法。
如图6所示，存储器530可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、只读光盘(compactdisc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器530可以是独立存在，通过通信线路540与处理器510相连接。存储器530也可以和处理器510集成在一起。
可选的，本发明实施例中的计算机执行指令也可以称之为应用程序代码，本发明实施例对此不作具体限定。
在具体实现中，作为一种实施例，如图6所示，处理器510可以包括一个或多个CPU，如图6中的CPU0和CPU1。
在具体实现中，作为一种实施例，如图6所示，终端设备可以包括多个处理器，如图6中的第一处理器5101和第二处理器5102。这些处理器中的每一个可以是一个单核处理器，也可以是一个多核处理器。
图7是本发明实施例提供的芯片的结构示意图。如图7所示，该芯片600包括一个或两个以上(包括两个)处理器510。
可选的，如图7所示，该芯片还包括通信接口520和存储器530，存储器530可以包括只读存储器和随机存取存储器，并向处理器提供操作指令和数据。存储器的一部分还可以包括非易失性随机存取存储器(non-volatile random access memory，NVRAM)。
在一些实施方式中，如图7所示，存储器530存储了如下的元素，执行模块或者数据结构，或者他们的子集，或者他们的扩展集。
在本发明实施例中，如图7所示，通过调用存储器存储的操作指令(该操作指令可存储在操作系统中)，执行相应的操作。
如图7所示，处理器510控制终端设备中任一个的处理操作，处理器510还可以称为中央处理单元(central processing unit，CPU)。
如图7所示，存储器530可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器530的一部分还可以包括NVRAM。例如应用中存储器、通信接口以及存储器通过总线系统耦合在一起，其中总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图7中将各种总线都标为总线系统640。
如图7所示，上述本发明实施例揭示的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(digital signal processing，DSP)、ASIC、现成可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
一方面，提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当指令被运行时，实现上述实施例中由终端设备执行的功能。
一方面，提供一种芯片，该芯片应用于终端设备中，芯片包括至少一个处理器和通信接口，通信接口和至少一个处理器耦合，处理器用于运行指令，以实现上述实施例中由图小样本学习的存内计算方法执行的功能。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机程序或指令。在计算机上加载和执行所述计算机程序或指令时，全部或部分地执行本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、终端、用户设备或者其它可编程装置。所述计算机程序或指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机程序或指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是集成一个或多个可用介质的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，例如，软盘、硬盘、磁带；也可以是光介质，例如，数字视频光盘(digital video disc，DVD)；还可以是半导体介质，例如，固态硬盘(solid state drive，SSD)。
尽管在此结合各实施例对本发明进行了描述，然而，在实施所要求保护的本发明过程中，本领域技术人员通过查看附图、公开内容、以及所附权利要求书，可理解并实现公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
尽管结合具体特征及其实施例对本发明进行了描述，显而易见的，在不脱离本发明的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本发明的示例性说明，且视为已覆盖本发明范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (10)

1.一种图小样本学习的存内计算方法，其特征在于，应用于包括相互连接的控制器、编码器和外部记忆单元的记忆增强图网络中，所述方法包括：
将所述编码器的参数进行初始化处理，将图数据集分为训练集和测试集；
在所述训练集中随机选取一个预设类别和预设数量的支持集，将所述支持集输入至所述控制器和所述编码器，获得第一二值特征向量；
将所述第一二值特征向量和所述第一二值特征向量对应的标签存储至所述外部记忆单元中；
在所述训练集中随机选取一个所述预设类别和所述预设数量的查询集，将所述查询集输入至所述控制器和所述编码器获得第二二值特征向量；
基于所述第一二值特征向量和所述第二二值特征向量确定样本的预测类别。
2.根据权利要求1所述的方法，其特征在于，在所述将图数据集分为训练集和测试集之后，所述方法还包括：
在所述测试集中随机选取一个预设类别和预设数量的所述支持集，将所述支持集输入至所述控制器和所述编码器，获得所述第一二值特征向量；
将所述第一二值特征向量和所述第一二值特征向量对应的标签存储至所述外部记忆单元中；
在所述测试集中随机选取一个所述预设类别和所述预设数量的所述查询集，将所述查询集输入至所述控制器和所述编码器获得第二二值特征向量；
基于所述第一二值特征向量和所述第二二值特征向量确定样本的预测类别。
3.根据权利要求1或2所述的方法，其特征在于，所述基于所述第一二值特征向量和所述第二二值特征向量确定样本的预测类别，包括：
确定所述第一二值特征向量和所述第二二值特征向量的特征相似度；
基于所述特征相似度确定样本的预测类别。
4.根据权利要求1所述的方法，其特征在于，在基于所述第一二值特征向量和所述第二二值特征向量确定样本的预测类别之后，所述方法还包括：
在对所述记忆增强图网络进行训练的过程中，根据所述预测类别和所述标签确定预测误差值；
基于所述预测误差值更新所述编码器的参数。
5.根据权利要求1所述的方法，其特征在于，所述在所述训练集中随机选取一个预设类别和预设数量的支持集，将所述支持集输入至所述控制器和所述编码器，获得第一二值特征向量，包括：
在所述训练集中随机选取一个预设类别和预设数量的所述支持集，将所述支持集输入至所述控制器，通过所述控制器的回声状态图网络对所述图数据集进行特征提取，获得所述图数据集的节点特征；
将所述节点特征输入至所述编码器，通过所述编码器的二值神经网络，将所述节点特征转换为所述第一二值特征向量。
6.根据权利要求3所述的方法，其特征在于，所述确定所述第一二值特征向量和所述第二二值特征向量的特征相似度，包括：
在进行检索时，采用点乘公式计算所述第一二值特征向量和所述第二二值特征向量的所述特征相似度。
7.根据权利要求1所述的方法，其特征在于，所述训练集和所述测试集的类别不交叉。
8.一种图小样本学习的存内计算装置，其特征在于，应用于包括相互连接的控制器、编码器和外部记忆单元的记忆增强图网络中，所述装置包括：
初始化模块，用于将所述编码器的参数进行初始化处理，将图数据集分为训练集和测试集；
第一获得模块，用于在所述训练集中随机选取一个预设类别和预设数量的支持集，将所述支持集输入至所述控制器和所述编码器，获得第一二值特征向量；
第一存储模块，用于将所述第一二值特征向量和所述第一二值特征向量对应的标签存储至所述外部记忆单元中；
第二获得模块，用于在所述训练集中随机选取一个所述预设类别和所述预设数量的查询集，将所述查询集输入至所述控制器和所述编码器获得第二二值特征向量；
第一确定模块，用于基于所述第一二值特征向量和所述第二二值特征向量确定样本的预测类别。
9.根据权利要求8所述的装置，其特征在于，所述第一确定模块包括：
第一确定子模块，用于确定所述第一二值特征向量和所述第二二值特征向量的特征相似度；
第二确定子模块，用于基于所述特征相似度确定样本的预测类别；
所述装置还包括：
第三确定模块，用于在对所述记忆增强图网络进行训练的过程中，根据所述预测类别和所述标签确定预测误差值；
更新模块，用于基于所述预测误差值更新所述编码器的参数。
10.一种电子设备，其特征在于，包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述装置执行权利要求8-9任一所述的图小样本学习的存内计算装置。
CN202210681923.2A 2022-06-15 2022-06-15 一种图小样本学习的存内计算方法、装置和电子设备 Pending CN115034374A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210681923.2A CN115034374A (zh) 2022-06-15 2022-06-15 一种图小样本学习的存内计算方法、装置和电子设备
PCT/CN2022/112494 WO2023240779A1 (zh) 2022-06-15 2022-08-15 一种图小样本学习的存内计算方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210681923.2A CN115034374A (zh) 2022-06-15 2022-06-15 一种图小样本学习的存内计算方法、装置和电子设备

Publications (1)

Publication Number Publication Date
CN115034374A true CN115034374A (zh) 2022-09-09

Family

ID=83125037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210681923.2A Pending CN115034374A (zh) 2022-06-15 2022-06-15 一种图小样本学习的存内计算方法、装置和电子设备

Country Status (2)

Country Link
CN (1) CN115034374A (zh)
WO (1) WO2023240779A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11295242B2 (en) * 2019-11-13 2022-04-05 International Business Machines Corporation Automated data and label creation for supervised machine learning regression testing
CN113313254B (zh) * 2021-06-10 2024-03-29 浙江工业大学 面向记忆增强元学习的深度学习模型去偏方法
CN113314188B (zh) * 2021-06-16 2022-07-15 中国科学技术大学 图结构增强的小样本学习方法、系统、设备及存储介质
CN113688878B (zh) * 2021-07-30 2022-08-19 华东师范大学 一种基于记忆力机制和图神经网络的小样本图像分类方法

Also Published As

Publication number Publication date
WO2023240779A1 (zh) 2023-12-21

Similar Documents

Publication Publication Date Title
WO2019174393A1 (zh) 图结构模型训练和垃圾账号识别
US20210089871A1 (en) Processing system and method for binary weight convolutional neural network
US20220011982A1 (en) Parallel Memory Access and Computation in Memory Devices
CN113469354B (zh) 受存储器限制的神经网络训练
WO2021218037A1 (zh) 目标检测方法、装置、计算机设备和存储介质
WO2023130725A1 (zh) 一种基于随机电阻阵列的储备池计算模型的硬件实现方法、装置及电子设备
CN112070219A (zh) 用于存储器内计算的元件
WO2020005599A1 (en) Trend prediction based on neural network
US20200117449A1 (en) Accelerated Access to Computations Results Generated from Data Stored in Memory Devices
US20220044107A1 (en) Optimized sensor fusion in deep learning accelerator with integrated random access memory
US11435941B1 (en) Matrix transpose hardware acceleration
CN111914949B (zh) 基于强化学习的零样本学习模型的训练方法及装置
US11567690B2 (en) Semiconductor memory device and electronic system the same
US11334358B2 (en) Hardware accelerator having reconfigurable instruction set and reconfigurable decoder
Kim et al. Image recognition accelerator design using in-memory processing
WO2023197857A1 (zh) 一种模型切分方法及其相关设备
US10997497B2 (en) Calculation device for and calculation method of performing convolution
CN115034374A (zh) 一种图小样本学习的存内计算方法、装置和电子设备
CN112183088B (zh) 词语层级确定的方法、模型构建方法、装置及设备
CN112348121A (zh) 一种目标检测方法、设备及计算机存储介质
WO2021146977A1 (zh) 网络结构搜索方法和装置
US20220044102A1 (en) Fault tolerant artificial neural network computation in deep learning accelerator having integrated random access memory
US20200301704A1 (en) Operation method, apparatus and related product
US11841792B1 (en) Instructions with multiple memory access modes
CN115481562B (zh) 多并行度优化方法、装置、识别方法和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination