CN114239466A - 基于忆阻器bam实现多模态信息融合联想的电路及其应用 - Google Patents

基于忆阻器bam实现多模态信息融合联想的电路及其应用 Download PDF

Info

Publication number
CN114239466A
CN114239466A CN202111577983.1A CN202111577983A CN114239466A CN 114239466 A CN114239466 A CN 114239466A CN 202111577983 A CN202111577983 A CN 202111577983A CN 114239466 A CN114239466 A CN 114239466A
Authority
CN
China
Prior art keywords
input
information
memristor
bottom layer
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111577983.1A
Other languages
English (en)
Other versions
CN114239466B (zh
Inventor
王小平
杨子佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202111577983.1A priority Critical patent/CN114239466B/zh
Publication of CN114239466A publication Critical patent/CN114239466A/zh
Application granted granted Critical
Publication of CN114239466B publication Critical patent/CN114239466B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/30—Circuit design
    • G06F30/39—Circuit design at the physical level

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Amplifiers (AREA)

Abstract

本发明公开了一种基于忆阻器BAM实现多模态信息融合联想的电路及其应用，属于电路设计领域，包括：顶层激活模块和多个底层模块；底层模块中的底层输入单元用于将对应模态的信息输入至第一特征提取单元；底层模块中的第一特征提取单元用于对输入的信息执行乘累加运算，以提取其特征，得到输入特征信息；顶层激活模块用于对多种模态的输入特征信息融合后的信息进行阈值判别；底层模块中的第二特征提取单元用于对顶层激活模块的阈值判别结果执行乘累加运算，以提取其特征，得到融合特征信息；底层模块中的底层激活单元对融合特征信息进行阈值判别，以完成对应模态在当前循环中的融合联想。本发明能够提高多模态信息融合联想的速度和通用性。

Description

基于忆阻器BAM实现多模态信息融合联想的电路及其应用
技术领域
本发明属于电路设计领域，更具体地，涉及一种基于忆阻器BAM实现多模态信息融合联想的电路及其应用。
背景技术
现实生活中，获得的信息的来源往往是复杂的，对于同一个对象，用于描述它的方式是多种多样的，包含多种模态。例如，一段视频是音频、图像、文本等多种单一模态的集合。对多模态信息的融合与联想是人类大脑实现对现实世界的感知与认知的一项重要能力。多模态融合也称多源信息融合或者多传感器融合，是指从图像、音频、文本等领域中获取信息，建立关联，并进行融合以实现异质互补。
在信息处理的过程中，单一模态通常不能包括所需的全部内容，而不同模态之间的数据既有冗余性，也有互补性，可以较为全面地展示数据信息。多模态信息的融合中难点是构建不同模态间的联系，多重双向联想记忆网络是解决这一问题的方法之一。多重双向联想记忆网络由一个顶层和多个底层组成，各底层之间互不连通，而每一个底层都与顶层单独地构成一个双向联想记忆网络(Bidirectional associative memory，BAM)。底层用于接收不同模态的输入信息，顶层则构建模态间的联系，进行多融合与联想。
目前，多模态融合联想都是通过冯.诺依曼计算机串行软件来实现，无法快速地进行大规模的运算，使得实际应用中，多模态信息融合联想的速度受到了极大的限制。
发明内容
针对现有技术的缺陷和改进需求，本发明提供了一种基于忆阻器BAM实现多模态信息融合联想的电路及其应用，其目的在于，利用硬件的并行处理能力提高多模信息融合联想的速度。
为实现上述目的，按照本发明的一个方面，提供了一种基于忆阻器BAM实现多模态信息融合联想的电路，通过自循环实现N种模态的融合联想，N≥2；该电路包括：顶层激活模块，以及与N种模态一一对应的N个底层模块；
底层模块包括：底层输入单元，其第一输入端用于接收对应模态的原始输入信息；第一特征提取单元，其输入端连接至底层输入单元的输出端，其输出端与其他底层模块中的第一特征提取单元的输出端相连后连接至顶层激活模块的输入端；第二特征提取单元，其输入端连接至顶层激活模块的输出端；以及底层激活单元，其输入端连接至第二特征提取单元的输出端，其输入端连接至底层输入单元的第二输入端；第一特征提取单元和第二特征提取单元均包含忆阻器交叉阵列；
在每一次循环中，底层输入单元用于将对应模态在当前循环中的输入信息输入至第一特征提取单元；第一特征提取单元用于对输入的信息执行乘累加运算，以提取其特征，得到输入特征信息；顶层激活模块，用于对当前循环中N种模态对应的输入特征信息融合所得的融合信息进行阈值判别；第二特征提取单元，用于对顶层激活模块输出的阈值判别结果执行乘累加运算，以提取其特征，得到融合特征信息；底层激活单元，用于对融合特征信息进行阈值判别，以完成对应模态在当前循环中的融合联想；首次循环时，各模态的输入信息为原始输入信息，在之后的循环中，各模态的输入信息为上一次循环融合联想的结果；底层模块中，各单元的输入输出信息维度均为M。
进一步地，忆阻器交叉阵列包括：
M条水平纳米线、M条垂直纳米线以及M×M个忆阻器；
M条水平纳米线和M条垂直纳米线相交共形成M×M个交叉点；M×M个忆阻器分别设置于M×M个交叉点，且各忆阻器的两端分别与一条水平纳米线和一条垂直纳米线相连。
进一步地，第一特征提取单元还包括：
M个偏置电阻、M个第一反馈电阻、一个第一运算放大器、一个第二反馈电阻、M个第二运算放大器和M个求和电阻；
M个偏置电阻的一端分别与忆阻器交叉阵列中的M条水平纳米线的一端相连，构成第一特征提取单元的输入端；M个偏置电阻的另一端相连后连接至第一运算放大器的反向输入端；
M个第一反馈电阻的一端分别与忆阻器交叉阵列中的M条垂直纳米线的一端相连相连，M个第一反馈电阻的另一端相连后连接至第一运算放大器的输出端；
第二反馈电阻的两端分别与第一运算放大器的反相输入端和输出端相连；第一运算放大器的正向输入端接地；
每个求和电阻的两端分别与一个第二运算放大器的反向输入端和输出端相连；
M个第二运算放大器的反向输入端分别与忆阻器交叉阵列中的M条垂直纳米线的另一端相连，M个第二运算放大器的正向输入端分别接地；M个第二运算放大器的输出端共同构成第一特征提取单元的输出端。
进一步地，第一特征提取单元的输出端与其他底层模块中的第一特征提取单元的输出端的连接端之间，还包括：
M个融合电阻，用于调整不同模态在融合信息中的比重。
进一步地，第二特征提取单元的结构与第一特征提取单元的结构相同。
进一步地，底层输入单元包括：M个MOS管；
M个MOS管的栅极相连，且与控制电压相连；
M个MOS管的漏极作为底层输入单元的第一输入端，用于接收对应模态的初始输入信号；
M个MOS管的源极作为底层输入单元的第二输入端，用于接收对应模态在上一次循环融合联想的结果。
进一步地，顶层激活模块包括：M个第三运算放大器；
M个第三运算放大器的反向输入端构成顶层激活模块的输入端；
M个第三运算放大器的正向输入端分别接地；
M个第三运算放大器的输出端构成顶层激活模块的输出端。
进一步地，底层激活单元包括：M个第四运算放大器；
M个第四运算放大器的反向输入端构成底层激活单元的输入端；
M个第四运算放大器的正向输入端分别接地；
M个第四运算放大器的输出端构成底层激活单元的输出端。
按照本发明的另一个方面，提供了一种多模态信息融合联想方法，包括：
通过调整忆阻器两端电压的方式，对本发明提供的基于忆阻器BAM实现多模态信息融合联想的电路中的各忆阻器阻值进行调整，使各忆阻器的阻值为相应的设定值；
将各模态的原始输入信息整理为M维输入向量，并以电压的形式输入至电路中对应的底层输入单元，以使电路进入到自循环的状态，直到整个电路达到稳定；
在电路稳定时，提取电路中顶层激活模块的输出信息，作为多模态信息融合联想的结果。
进一步地，电路中各忆阻器阻值的设定值，其确定方法包括：
将忆阻器作为电子突触，对本发明提供的基于忆阻器BAM实现多模态信息融合联想的电路进行软件建模，通过离线训练的方式调整所建立的模型中各电子突触处的权重，将训练完成后的电子突触权重作为各忆阻器阻值的设定值。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
(1)本发明利用忆阻器作为电子突触实现了多重双向联想记忆网络硬件电路，该电路可实现多模态信息融合联想的功能，利用硬件的并行处理能力极大地提高了多模态融合联想的速度，有效地解决了目前多模态融合联想都是通过冯.诺依曼计算机串行软件来实现，无法快速地进行大规模的运算问题。
(2)本发明利用忆阻器作为电子突触实现了多重双向联想记忆网络硬件电路，由于忆阻器具有非易失存储性能，其忆阻值更新规则与一定时间内通过器件的电荷数有关；相比传统晶体管和电容搭建的突触电路，纳米尺度的忆阻器也让突触结构的超大规模集成成为可能。
(3)本发明利用忆阻器作为电子突触实现了多重双向联想记忆网络硬件电路，忆阻器的阻值即为网络权重，由于忆阻器阻值可调，电路在面对不同任务时能够对权重进行修改，更具通用性和灵活性。
(4)本发明利用忆阻器作为电子突触实现了多重双向联想记忆网络硬件电路，由于忆阻器能够同时实现网络信息的存储和电路计算，整个电路结构简单、体积小、功耗低、可靠性高、与CMOS制造工艺兼容性好。
附图说明
图1为本发明实施例提供的基于忆阻器BAM实现多模态信息融合联想的电路示意图；
图2为本发明实施例提供的激活函数示意图；
图3为本发明实施例提供的多模态信息融合联想中数字2的代表序列；
图4为本发明实施例提供的多模态信息联想中字母B的图像；
图5为本发明实施例提供的输入数字2的语音信息和图像信息后顶层Z的电路输出，本实验采用发明中5*5的交叉阵列；
图6为本发明实施例提供的输入带噪声的语音信息和完整图像信息时底层X的电路输出。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
在本发明中，本发明及附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了解决现有的多模态融合联想都是通过冯.诺依曼计算机串行软件来实现，无法快速地进行大规模的运算问题，本发明利用忆阻器纳米级尺寸、可同时实现信息存储和计算等特点，结合双向联想记忆网络解决优化问题的能力，采用解决多模态融合联想问题的方案，提出了基于忆阻的双向联想记忆网络实现多模态融合联想的电路。
本发明所提供的基于忆阻器BAM实现多模态信息融合联想的电路，通过自循环实现N种模态的融合联想，N表示需要融合的模态的数量，根据实际应用确定；
该电路包括：顶层激活模块，以及与N种模态一一对应的N个底层模块；每个底层模块与顶层激活模块分别构成一个双向联想记忆网络(Bidirectional associativememory，BAM)；
由于各底层模块的内部结构相同，区别仅在于处理的模态不同；为使本发明技术方案更为清楚，在以下实施例中，仅以两种模态的融合联想为例，对本发明的技术方案进行解释说明。
以下为实施例。
实施例1：
一种基于忆阻器BAM实现多模态信息融合联想的电路，用于通过自循环实现N种模态的融合联想；本实施例中，N＝2，且两种模态的信息分别为语音信息和图像信息，分别记为X和Y，维度均为3；
如图1所示，本实施例提供的电路包括：顶层激活模块，以及与2种模态一一对应的2个底层模块；两个底层模块的结构相同；以下以语音信息X对应的底层模块为例，对每个底层模块的结构进行说明。
如图1所示，语音信息X对应的底层模块包括：
底层输入单元，其第一输入端用于接收对应模态的原始输入信息，即XI＝(XI1、XI2、XI3)；可选地，本实施例中，底层输入单元具体包括
第一特征提取单元，其输入端连接至底层输入单元的输出端，其输出端与其他底层模块，即图像信息Y对应的底层模块中的第一特征提取单元的输出端相连后连接至顶层激活模块的输入端；不同模态对应的第一特征提取单元的输出端相连，可实现多模态信息的融合，故输入顶层激活模块的信息，记为多模态信息融合后的信息；
第二特征提取单元，其输入端连接至顶层激活模块的输出端；
以及底层激活单元，其输入端连接至第二特征提取单元的输出端，其输入端连接至底层输入单元的第二输入端；
第一特征提取单元和第二特征提取单元均包含忆阻器交叉阵列；
语音信息X的原始输入信息XI＝(XI1、XI2、XI3)为脉冲电压，仅在首次循环中起作用；在首次循环中，底层输入单元用于将语音信息X的原始输入信息XI＝(XI1、XI2、XI3)输入到第一特征提取单元中，第一特征提取单元中的忆阻器交叉阵列会对该信息执行乘累加运算，实现对原始输入信息XI1、XI2和XI3的特征提取，得到语音信息X对应的输入特征信息；该输入特征信息会与图像信息Y对应的输入特征信息融合，得到融合信息，并输入到顶层激活模块中；顶层激活模块，用于对该融合信息进行阈值判别，以构建模态之间的联系，阈值判别结果为顶层激活模块的输出信息，记为Z＝(Z1、Z2、Z3)，该输出信息会输出至各模态对应的第二特征提取单元；第二特征提取单元，用于对顶层激活模块输出的阈值判别结果执行乘累加运算，以提取其特征，得到融合特征信息；底层激活单元，用于对融合特征信息进行阈值判别，以完成对应模态在当前循环中的融合联想，其输出即为语音信息X在当前循环中融合联想后的结果，记为(X1、X2、X3)，该信息将反馈输入至对应的底层输入单元中，作为下一次循环的输入信息；
在首次循环之后的循环中，底层输入单元则用于将上一次循环所得到的融合联想的结果，即(X1、X2、X3)输入到第一特征提取单元，其余过程与首次循环相同。
同样以语音X对应的底层模块为例，对各单元的具体结构做进一步的解释说明：
如图1所示，底层输入单元包括：3个MOS管，即M1、M2和M3；
3个MOS管的栅极相连，且与控制电压Vctrlx相连；
3个MOS管的漏极作为底层输入单元的第一输入端，用于接收对应模态的初始输入信号，即XI1、XI2和XI3；
3个MOS管的源极作为底层输入单元的第二输入端，用于接收对应模态在上一次循环融合联想的结果，即X1、X2和X3；
忆阻器交叉阵列包括：
3条水平纳米线、3条垂直纳米线，以及3×3个忆阻器；
3条水平纳米线和3条垂直纳米线相交共形成3×3个交叉点；3×3个忆阻器分别设置于3×3个交叉点，且各忆阻器的两端分别与一条水平纳米线和一条垂直纳米线相连；忆阻器阵列中，3×3个忆阻器即图1中所示的A11、A12、A13、A21、A22、A23、A31、A32和A33；
如图1所示，第一特征提取单元还包括：
3个偏置电阻，即Rs1、Rs2和Rs3；
3个第一反馈电阻，即Rf1、Rf2和Rf3；
一个第一运算放大器，即Uf1；
一个第二反馈电阻，即Rf4；
3个第二运算放大器，即U1、U2和U3；
以及3个求和电阻，即R1、R2和R3；
3个偏置电阻Rs1、Rs2和Rs3的一端分别与忆阻器交叉阵列中的3条水平纳米线的一端相连，构成第一特征提取单元的输入端；3个偏置电阻Rs1、Rs2和Rs3的另一端相连后连接至第一运算放大器Uf1的反向输入端；
3个第一反馈电阻Rf1、Rf2和Rf3的一端分别与忆阻器交叉阵列中的3条垂直纳米线的一端相连相连，3个第一反馈电阻Rf1、Rf2和Rf3的另一端相连后连接至第一运算放大器Uf1的输出端；
第二反馈电阻Rf4的两端分别与第一运算放大器Uf1的反相输入端和输出端相连；第一运算放大器Uf1的正向输入端接地；
每个求和电阻的两端分别与一个第二运算放大器的反向输入端和输出端相连；如图1所示，求和电阻R1、R2和R3分别与第二运算放大器U1、U2和U3相连；
3个第二运算放大器U1、U2和U3的反向输入端分别与忆阻器交叉阵列中的3条垂直纳米线的另一端相连，3个第二运算放大器U1、U2和U3的正向输入端分别接地；3个第二运算放大器U1、U2和U3的输出端共同构成第一特征提取单元的输出端；
如图1所示，语音信息X对应的第一特征提取单元的输出端与其他底层模块中的第一特征提取单元的输出端的连接端之间，还包括：
3个融合电阻Rz1、Rz2和Rz3，用于调整不同模态在融合信息中的比重；
不同模态在融合信息中的比重，可在离线训练的过程中预先确定；各融合电阻的阻值根据模态在融合信息中的比重相应调整即可；本实施例中，经融合电阻调整后，两种模态的比重为1:1。
如图1所示，顶层激活模块包括：3个第三运算放大器，即V1、V2和V3；
3个第三运算放大器V1、V2和V3的反向输入端构成顶层激活模块的输入端，用于接收多模态信息融合得到的融合信息；
3个第三运算放大器V1、V2和V3的正向输入端分别接地；
3个第三运算放大器V1、V2和V3的输出端构成顶层激活模块的输出端，输出信息即为Z＝(Z1、Z2、Z3)；
顶层激活模块在对输入的融合信息进行阈值判别时，相应的激活函数如图2所示；
第二特征提取单元的结构与第一特征提取单元的结构相同，如图1所示，其中的忆阻器交叉阵列包括：
3条水平纳米线、3条垂直纳米线，以及3×3个忆阻器；
3条水平纳米线和3条垂直纳米线相交共形成3×3个交叉点；3×3个忆阻器分别设置于3×3个交叉点，且各忆阻器的两端分别与一条水平纳米线和一条垂直纳米线相连；忆阻器阵列中，3×3个忆阻器即图1中所示的C11、C12、C13、C21、C22、C23、C31、C32和C33；
如图1所示，第二特征提取单元还包括：
3个偏置电阻，即Rs7、Rs8和Rs9；
3个第一反馈电阻，即Rf9、Rf10和Rf11；
一个第一运算放大器，即Uf3；
一个第二反馈电阻，即Rf12；
3个第二运算放大器，即U7、U8和U9；
以及3个求和电阻，即R7、R8和R9；
3个偏置电阻Rs7、Rs8和Rs9的一端分别与忆阻器交叉阵列中的3条水平纳米线的一端相连，构成第二特征提取单元的输入端，用于接收顶层激活模块输出的阈值判别结果，即Z＝(Z1、Z2、Z3)；3个偏置电阻Rs7、Rs8和Rs9的另一端相连后连接至第一运算放大器Uf3的反向输入端；
3个第一反馈电阻Rf9、Rf10和Rf11的一端分别与忆阻器交叉阵列中的3条垂直纳米线的一端相连相连，3个第一反馈电阻Rf9、Rf10和Rf11的另一端相连后连接至第一运算放大器Uf3的输出端；
第二反馈电阻Rf12的两端分别与第一运算放大器Uf3的反相输入端和输出端相连；第一运算放大器Uf3的正向输入端接地；
每个求和电阻的两端分别与一个第二运算放大器的反向输入端和输出端相连；如图1所示，求和电阻R7、R8和R9分别与第二运算放大器U7、U8和U9相连；
3个第二运算放大器U7、U8和U9的反向输入端分别与忆阻器交叉阵列中的3条垂直纳米线的另一端相连，3个第二运算放大器U7、U8和U9的正向输入端分别接地；3个第二运算放大器U7、U8和U9的输出端共同构成第二特征提取单元的输出端。
如图1所示，底层激活单元包括：3个第四运算放大器，即V4、V5和V6；
3个第四运算放大器V4、V5和V6的反向输入端构成底层激活单元的输入端；
3个第四运算放大器V4、V5和V6的正向输入端分别接地；
3个第四运算放大器V4、V5和V6的输出端构成底层激活单元的输出端，输出语音信息X经过当前循环的融合联想后的信息，即(X1、X2、X3)。
图像信息Y对应的底层模块与语音信息X对应的底层模块的结构相同，同样包括底层输入单元、第一特征提取单元、第二特征提取单元和底层激活单元，各单元的结构如图1所示，具体如下：
底层输入单元包括：3个MOS管，即M4、M5和M6；
3个MOS管的栅极相连，且与控制电压Vctrly相连；
3个MOS管的漏极作为底层输入单元的第一输入端，用于接收对应模态的初始输入信号，即YI1、YI2和YI3；
3个MOS管的源极作为底层输入单元的第二输入端，用于接收对应模态在上一次循环融合联想的结果，即Y1、Y2和Y3；
忆阻器交叉阵列包括：
3条水平纳米线、3条垂直纳米线，以及3×3个忆阻器；
3条水平纳米线和3条垂直纳米线相交共形成3×3个交叉点；3×3个忆阻器分别设置于3×3个交叉点，且各忆阻器的两端分别与一条水平纳米线和一条垂直纳米线相连；忆阻器阵列中，3×3个忆阻器即图1中所示的B11、B12、B13、B21、B22、B23、B31、B32和B33；
如图1所示，第一特征提取单元还包括：
3个偏置电阻，即Rs4、Rs5和Rs6；
3个第一反馈电阻，即Rf5、Rf6和Rf7；
一个第一运算放大器，即Uf2；
一个第二反馈电阻，即Rf8；
3个第二运算放大器，即U4、U5和U6；
以及3个求和电阻，即R4、R5和R6；
3个偏置电阻Rs4、Rs5和Rs6的一端分别与忆阻器交叉阵列中的3条水平纳米线的一端相连，构成第一特征提取单元的输入端；3个偏置电阻Rs4、Rs5和Rs6的另一端相连后连接至第一运算放大器Uf2的反向输入端；
3个第一反馈电阻Rs4、Rs5和Rs6的一端分别与忆阻器交叉阵列中的3条垂直纳米线的一端相连相连，3个第一反馈电阻Rs4、Rs5和Rs6的另一端相连后连接至第一运算放大器Uf2的输出端；
第二反馈电阻Rf8的两端分别与第一运算放大器Uf2的反相输入端和输出端相连；第一运算放大器Uf2的正向输入端接地；
每个求和电阻的两端分别与一个第二运算放大器的反向输入端和输出端相连；如图1所示，求和电阻R4、R5和R6分别与第二运算放大器U4、U5和U6相连；
3个第二运算放大器U4、U5和U6的反向输入端分别与忆阻器交叉阵列中的3条垂直纳米线的另一端相连，3个第二运算放大器U4、U5和U6的正向输入端分别接地；3个第二运算放大器U4、U5和U6的输出端共同构成第一特征提取单元的输出端；
如图1所示，图像信息Y对应的第一特征提取单元的输出端与其他底层模块中的第一特征提取单元的输出端的连接端之间，还包括：
3个融合电阻Rz4、Rz5和Rz6，用于调整不同模态在融合信息中的比重。
第二特征提取单元中的忆阻器交叉阵列包括：
3条水平纳米线、3条垂直纳米线，以及3×3个忆阻器；
3条水平纳米线和3条垂直纳米线相交共形成3×3个交叉点；3×3个忆阻器分别设置于3×3个交叉点，且各忆阻器的两端分别与一条水平纳米线和一条垂直纳米线相连；忆阻器阵列中，3×3个忆阻器即图1中所示的D11、D12、D13、D21、D22、D23、D31、D32和D33；
如图1所示，第二特征提取单元还包括：
3个偏置电阻，即Rs10、Rs11和Rs12；
3个第一反馈电阻，即Rf13、Rf14和Rf15；
一个第一运算放大器，即Uf4；
一个第二反馈电阻，即Rf16；
3个第二运算放大器，即U10、U11和U12；
以及3个求和电阻，即R10、R11和R12；
3个偏置电阻Rs10、Rs11和Rs12的一端分别与忆阻器交叉阵列中的3条水平纳米线的一端相连，构成第二特征提取单元的输入端，用于接收顶层激活模块输出的阈值判别结果，即Z＝(Z1、Z2、Z3)；3个偏置电阻Rs10、Rs11和Rs12的另一端相连后连接至第一运算放大器Uf4的反向输入端；
3个第一反馈电阻Rf13、Rf14和Rf15的一端分别与忆阻器交叉阵列中的3条垂直纳米线的一端相连相连，3个第一反馈电阻Rf13、Rf14和Rf15的另一端相连后连接至第一运算放大器Uf4的输出端；
第二反馈电阻Rf16的两端分别与第一运算放大器Uf4的反相输入端和输出端相连；第一运算放大器Uf4的正向输入端接地；
每个求和电阻的两端分别与一个第二运算放大器的反向输入端和输出端相连；如图1所示，求和电阻R10、R11和R12分别与第二运算放大器U10、U11和U12相连；
3个第二运算放大器U10、U11和U12的反向输入端分别与忆阻器交叉阵列中的3条垂直纳米线的另一端相连，3个第二运算放大器U10、U11和U12的正向输入端分别接地；3个第二运算放大器U10、U11和U12的输出端共同构成第二特征提取单元的输出端。
如图1所示，底层激活单元包括：3个第四运算放大器，即V7、V8和V9；
3个第四运算放大器V7、V8和V9的反向输入端构成底层激活单元的输入端；
3个第四运算放大器V7、V8和V9的正向输入端分别接地；
3个第四运算放大器V7、V8和V9的输出端构成底层激活单元的输出端，输出图像信息Y经过当前循环的融合联想后的信息，即(Y1、Y2、Y3)。
基于图1所示的电路，在初始时刻，将语音信息X和图像信息Y的初始输入信息分别经对应的底层输入单元输入后，电路即可进入自循环的状态，直至整个电路达到稳定状态；在电路处于稳定状态下，顶层激活模块输出的阈值判别结果Z＝(Z1、Z2、Z3)即为最终多模态信息融合联想的结果。
实施例2：
一种多模态信息融合联想方法，包括：
通过调整忆阻器两端电压的方式，对上述实施例1提供的基于忆阻器BAM实现多模态信息融合联想的电路中的各忆阻器阻值进行调整，使各忆阻器的阻值为相应的设定值；忆阻器两端电压，可通过调整其在阵列中所对应的行电压和列电压来调整；
将各模态的原始输入信息整理为M维输入向量，并以电压的形式输入至电路中对应的底层输入单元，以使电路进入到自循环的状态，直到整个电路达到稳定；
在电路稳定时，提取电路中顶层激活模块的输出信息，作为多模态信息融合联想的结果；
上述实施例1所建立的电路中，忆阻器作为神经网络中的电子突触，忆阻器的阻值，即为神经网络中电子突触的网络权值；可选地，本实施例中，电路中各忆阻器阻值的设定值，其确定方法包括：
将忆阻器作为电子突触，对上述实施例1提供的基于忆阻器BAM实现多模态信息融合联想的电路进行软件建模，通过离线训练的方式确定所建立的模型中各电子突触处的权重；将训练完成后的电子突触权重作为各忆阻器阻值的设定值；离线训练过程所使用的训练数据，由已知的多种模态构成。
应当说明的是，上述实施例中，关于模态的数量，以及各模态信息的维度，仅为示例性的说明，不应理解为对本发明的唯一限定；在实际应用中，各模态信息的维度可灵活设置；如果模态数量发生变化时，为每一个模态建立相应的底层模块即可。
图3为多模态信息联想中数字2的代表序列；当输入数字2的语音信息，X层网络能够稳定输出图3所示序列时，称其成功联想到了数字2。
图4为多模态信息融合中字母B的图像，当输入数字2的语音信息和图像信息，顶层Z能够稳定输出图4所示字母图像时，称其成功联想到了字母B。
图5为电路采用5*5的忆阻器交叉阵列时，输入数字2的语音信息和图像信息后顶层Z的电路输出，根据图5可知，输出电压数值与图4字母像素值对应，说明电路成功联想到了字母B，即该电路实现了异联想。
图6为输入带有高斯噪声的数字1的语音信息和完整图像信息时底层X的电路输出，根据图6可知，输入噪声信息后X层电压曲线出现波动，但最终输出稳定收敛，说明在噪声干扰下电路仍然能完成两种模态信息的融合以及模态间的相互联想；该电路在输入带有高斯噪声的数字1的语音信息和完整图像信息时能联想到数字1的清晰的图像，说明该电路实现了自联想。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于忆阻器BAM实现多模态信息融合联想的电路，其特征在于，通过自循环实现N种模态的融合联想，N≥2；所述电路包括：顶层激活模块，以及与N种模态一一对应的N个底层模块；
所述底层模块包括：底层输入单元，其第一输入端用于接收对应模态的原始输入信息；第一特征提取单元，其输入端连接至所述底层输入单元的输出端，其输出端与其他底层模块中的第一特征提取单元的输出端相连后连接至所述顶层激活模块的输入端；第二特征提取单元，其输入端连接至所述顶层激活模块的输出端；以及底层激活单元，其输入端连接至所述第二特征提取单元的输出端，其输入端连接至所述底层输入单元的第二输入端；所述第一特征提取单元和所述第二特征提取单元均包含忆阻器交叉阵列；
在每一次循环中，所述底层输入单元用于将对应模态在当前循环中的输入信息输入至所述第一特征提取单元；所述第一特征提取单元用于对输入的信息执行乘累加运算，以提取其特征，得到输入特征信息；所述顶层激活模块，用于对当前循环中N种模态对应的输入特征信息融合所得的融合信息进行阈值判别；所述第二特征提取单元，用于对所述顶层激活模块输出的阈值判别结果执行乘累加运算，以提取其特征，得到融合特征信息；所述底层激活单元，用于对所述融合特征信息进行阈值判别，以完成对应模态在当前循环中的融合联想；首次循环时，各模态的输入信息为原始输入信息，在之后的循环中，各模态的输入信息为上一次循环融合联想的结果；所述底层模块中，各单元的输入输出信息维度均为M。
2.如权利要求1所述的基于忆阻器BAM实现多模态信息融合联想的电路，其特征在于，所述忆阻器交叉阵列包括：
M条水平纳米线、M条垂直纳米线以及M×M个忆阻器；
所述M条水平纳米线和M条垂直纳米线相交共形成M×M个交叉点；所述M×M个忆阻器分别设置于所述M×M个交叉点，且各忆阻器的两端分别与一条水平纳米线和一条垂直纳米线相连。
3.如权利要求2所述的基于忆阻器BAM实现多模态信息融合联想的电路，其特征在于，所述第一特征提取单元还包括：
M个偏置电阻、M个第一反馈电阻、一个第一运算放大器、一个第二反馈电阻、M个第二运算放大器和M个求和电阻；
所述M个偏置电阻的一端分别与所述忆阻器交叉阵列中的M条水平纳米线的一端相连，构成所述第一特征提取单元的输入端；所述M个偏置电阻的另一端相连后连接至所述第一运算放大器的反向输入端；
所述M个第一反馈电阻的一端分别与所述忆阻器交叉阵列中的M条垂直纳米线的一端相连相连，所述M个第一反馈电阻的另一端相连后连接至所述第一运算放大器的输出端；
所述第二反馈电阻的两端分别与所述第一运算放大器的反相输入端和输出端相连；所述第一运算放大器的正向输入端接地；
每个求和电阻的两端分别与一个第二运算放大器的反向输入端和输出端相连；
所述M个第二运算放大器的反向输入端分别与所述忆阻器交叉阵列中的M条垂直纳米线的另一端相连，所述M个第二运算放大器的正向输入端分别接地；所述M个第二运算放大器的输出端共同构成所述第一特征提取单元的输出端。
4.如权利要求3所述的基于忆阻器BAM实现多模态信息融合联想的电路，其特征在于，所述第一特征提取单元的输出端与其他底层模块中的第一特征提取单元的输出端的连接端之间，还包括：
M个融合电阻，用于调整不同模态在所述融合信息中的比重。
5.如权利要求3所述的基于忆阻器BAM实现多模态信息融合联想的电路，其特征在于，所述第二特征提取单元的结构与所述第一特征提取单元的结构相同。
6.如权利要求1～5任一项所述的基于忆阻器BAM实现多模态信息融合联想的电路，其特征在于，所述底层输入单元包括：M个MOS管；
所述M个MOS管的栅极相连，且与控制电压相连；
所述M个MOS管的漏极作为所述底层输入单元的第一输入端，用于接收对应模态的初始输入信号；
所述M个MOS管的源极作为所述底层输入单元的第二输入端，用于接收对应模态在上一次循环融合联想的结果。
7.如权利要求1～5任一项所述的基于忆阻器BAM实现多模态信息融合联想的电路，其特征在于，所述顶层激活模块包括：M个第三运算放大器；
所述M个第三运算放大器的反向输入端构成所述顶层激活模块的输入端；
所述M个第三运算放大器的正向输入端分别接地；
所述M个第三运算放大器的输出端构成所述顶层激活模块的输出端。
8.如权利要求1～5任一项所述的基于忆阻器BAM实现多模态信息融合联想的电路，其特征在于，所述底层激活单元包括：M个第四运算放大器；
所述M个第四运算放大器的反向输入端构成所述底层激活单元的输入端；
所述M个第四运算放大器的正向输入端分别接地；
所述M个第四运算放大器的输出端构成所述底层激活单元的输出端。
9.一种多模态信息融合联想方法，其特征在于，包括：
通过调整忆阻器两端电压的方式，对权利要求1～8任一项所述的基于忆阻器BAM实现多模态信息融合联想的电路中的各忆阻器阻值进行调整，使各忆阻器的阻值为相应的设定值；
将各模态的原始输入信息整理为M维输入向量，并以电压的形式输入至所述电路中对应的底层输入单元，以使所述电路进入到自循环的状态，直到整个电路达到稳定；
在所述电路稳定时，提取所述电路中顶层激活模块的输出信息，作为多模态信息融合联想的结果。
10.如权利要求9所述的多模态信息融合联想方法，其特征在于，所述电路中各忆阻器阻值的设定值，其确定方法包括：
将忆阻器作为电子突触，对权利要求1～8任一项所述的基于忆阻器BAM实现多模态信息融合联想的电路进行软件建模，通过离线训练的方式调整所建立的模型中各电子突触处的权重；将训练完成后的电子突触权重作为各忆阻器阻值的设定值。
CN202111577983.1A 2021-12-22 2021-12-22 基于忆阻器bam实现多模态信息融合联想的电路及其应用 Active CN114239466B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111577983.1A CN114239466B (zh) 2021-12-22 2021-12-22 基于忆阻器bam实现多模态信息融合联想的电路及其应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111577983.1A CN114239466B (zh) 2021-12-22 2021-12-22 基于忆阻器bam实现多模态信息融合联想的电路及其应用

Publications (2)

Publication Number Publication Date
CN114239466A true CN114239466A (zh) 2022-03-25
CN114239466B CN114239466B (zh) 2024-06-04

Family

ID=80760984

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111577983.1A Active CN114239466B (zh) 2021-12-22 2021-12-22 基于忆阻器bam实现多模态信息融合联想的电路及其应用

Country Status (1)

Country Link
CN (1) CN114239466B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117335957A (zh) * 2023-10-10 2024-01-02 盐城工学院 一种bam忆阻神经网络修正函数投影同步的保密通信方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015167438A1 (en) * 2014-04-28 2015-11-05 Hewlett-Packard Development Company, L.P. Multimodal memristor memory
CN106845634A (zh) * 2016-12-28 2017-06-13 华中科技大学 一种基于忆阻器件的神经元电路
CN111076770A (zh) * 2019-12-09 2020-04-28 电子科技大学 一种传感元件与忆阻器结合的多模态智能传感器
US20210097379A1 (en) * 2019-09-26 2021-04-01 Qatar Foundation For Education, Science And Community Development Circuit for calculating weight adjustments of an artificial neural network, and a module implementing a long short-term artificial neural network
CN113469334A (zh) * 2021-06-29 2021-10-01 中国地质大学（武汉） 一种忆阻递归神经网络电路

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015167438A1 (en) * 2014-04-28 2015-11-05 Hewlett-Packard Development Company, L.P. Multimodal memristor memory
CN106845634A (zh) * 2016-12-28 2017-06-13 华中科技大学 一种基于忆阻器件的神经元电路
US20210097379A1 (en) * 2019-09-26 2021-04-01 Qatar Foundation For Education, Science And Community Development Circuit for calculating weight adjustments of an artificial neural network, and a module implementing a long short-term artificial neural network
CN111076770A (zh) * 2019-12-09 2020-04-28 电子科技大学 一种传感元件与忆阻器结合的多模态智能传感器
CN113469334A (zh) * 2021-06-29 2021-10-01 中国地质大学（武汉） 一种忆阻递归神经网络电路

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
施路平;裴京;赵蓉;: "面向人工通用智能的类脑计算", 人工智能, no. 01, 10 February 2020 (2020-02-10) *
朱航涛;王丽丹;段书凯;杨婷;: "基于神经元晶体管和忆阻器的Hopfield神经网络及其在联想记忆中的应用", 西南大学学报(自然科学版), no. 02, 22 January 2018 (2018-01-22) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117335957A (zh) * 2023-10-10 2024-01-02 盐城工学院 一种bam忆阻神经网络修正函数投影同步的保密通信方法
CN117335957B (zh) * 2023-10-10 2024-03-26 盐城工学院 一种bam忆阻神经网络修正函数投影同步的保密通信方法

Also Published As

Publication number Publication date
CN114239466B (zh) 2024-06-04

Similar Documents

Publication Publication Date Title
Pei et al. Towards artificial general intelligence with hybrid Tianjic chip architecture
Liu et al. Neuromorphic sensory systems
Gao et al. Demonstration of convolution kernel operation on resistive cross-point array
Choi et al. A high-precision VLSI winner-take-all circuit for self-organizing neural networks
Zamarreño-Ramos et al. On spike-timing-dependent-plasticity, memristive devices, and building a self-learning visual cortex
Camunas-Mesa et al. An event-driven multi-kernel convolution processor module for event-driven vision sensors
WO2021057056A1 (zh) 神经网络架构搜索方法、图像处理方法、装置和存储介质
US20150088797A1 (en) Synapse circuits for connecting neuron circuits, unit cells composing neuromorphic circuit, and neuromorphic circuits
Farabet et al. Comparison between frame-constrained fix-pixel-value and frame-free spiking-dynamic-pixel convnets for visual processing
CN110914906A (zh) 用于执行具有多位输入矢量的矩阵计算的多级单元(mlc)非易失性(nv)存储器(nvm)矩阵电路
US11604971B2 (en) Neuromorphic apparatus having 3D stacked synaptic structure and memory device having the same
KR102221763B1 (ko) 이진 신경망에서의 저항성 메모리 기반 배치 정규화 장치
CN114303153A (zh) 算术设备以及乘法累加算术系统
Bin et al. Study of convolutional neural network in recognizing static American sign language
JPH0650533B2 (ja) 電子回路及びテンプレートマッチング回路
JP2023130364A (ja) 半導体装置
Lu et al. FRNet: Factorized and regular blocks network for semantic segmentation in road scene
CN114239466B (zh) 基于忆阻器bam实现多模态信息融合联想的电路及其应用
WO2018217632A1 (en) Deep learning in bipartite memristive networks
Liu et al. 3D Convolutional Neural Network based on memristor for video recognition
Yu et al. Hand gesture recognition based on attentive feature fusion
Gao et al. Generalized pyramid co-attention with learnable aggregation net for video question answering
Krieg et al. Analog signal processing using cellular neural networks
Danneville et al. Sub-0.3 V CMOS neuromorphic technology and its potential application
Lehman et al. An anarchy of methods: Current trends in how intelligence is abstracted in ai

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant