CN110443168A - 一种基于忆阻器的神经网络人脸识别系统 - Google Patents

一种基于忆阻器的神经网络人脸识别系统 Download PDF

Info

Publication number
CN110443168A
CN110443168A CN201910666405.1A CN201910666405A CN110443168A CN 110443168 A CN110443168 A CN 110443168A CN 201910666405 A CN201910666405 A CN 201910666405A CN 110443168 A CN110443168 A CN 110443168A
Authority
CN
China
Prior art keywords
module
memristor
neural network
face
weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910666405.1A
Other languages
English (en)
Inventor
李祎
冯贵荣
缪向水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201910666405.1A priority Critical patent/CN110443168A/zh
Publication of CN110443168A publication Critical patent/CN110443168A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于忆阻器的神经网络人脸识别系统，包括人脸捕捉模块、预处理模块、输入模块、忆阻神经网络模块、输出模块以及权重更新模块；人脸捕捉模块用于捕捉画面中的人脸图片；预处理模块用于将人脸图片进行降维处理；输入模块用于将降维后的图片转换为电信号；忆阻神经网络模块用于存储网络权重，并对电信号进行矩阵向量乘法运算，运算结果传入输出模块；输出模块将所述运算结果传入权重更新模块进行权重更新，更新后的权重传入忆阻神经网络模块，输出模块读取网络的识别结果；忆阻神经网络模块由忆阻器阵列构成。本发明利用主成分分析算法减小忆阻神经网络的结构规模，从而加快运算速度、降低运算能耗、降低硬件成本。

Description

一种基于忆阻器的神经网络人脸识别系统
技术领域
本发明属于人工神经网络技术领域，更具体地，涉及一种基于忆阻器的神经网络人脸识别系统。
背景技术
随着网络技术和计算机视觉技术的发展，在日常生活中如何正确识别个人的身份信息已经成为现在社会急需解决的重大问题。传统的证件和密码等信息容易造假，使得相关的认证识别技术无法满足生活的需要。生物特征具有唯一性、稳定性和不容易造假的特性使得其受到广泛关注，其中人脸识别是一个活跃的研究领域，是人类视觉最杰出的能力之一。虽然人脸识别的可靠性要低于虹膜和视网膜的识别可靠性，但是由于它无需行为配合、非常高的便捷度和很高的接受程度，使得人脸识别技术成为最容易被接受的生物特征识别方式，从而在视频监控、门禁系统、机器人和网络应用等各个领域得到了广泛的应用。人脸识别在神经网络方面的研究受到研究人员的广泛关注。
人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。神经元之间突触的联系强度是可变的，这是学习和记忆的基础。人工神经网络可以通过“训练”而具有自学习和自适应的能力，神经网络技术的关键是权重设计，权重的硬件实现需要一个长期保持记忆且不耗能的纳米级元件。传统的人工神经网络技术都是在传统计算机基础上进行的，其主要缺点是运算量巨大且运算不是并行处理。如果在硬件上实现人工神经网络的并行分布式处理、非线性处理、自我学习功能和自我适应等功能，就能够解决人工神经网络在传统计算机上运算量巨大的缺点。而忆阻器的出现便可以实现神经突触功能的模拟，而且忆阻器能够很容易与纳米交叉连接技术相结合，具有大规模并行处理、分布式信息存储、巨大存储量等优势。所以利用忆阻器来构造神经网络是人工神经网络实现神经突触功能模拟的最好方式之一，忆阻器的电导能随着施加电信号的变化而改变的特性被用于构建神经网络的突触模块，从而成为近年来的研究热点。
发明内容
针对现有技术的缺陷，本发明的目的在于提供一种基于忆阻器的神经网路人脸识别系统，旨在解决现有人工神经网路人脸识别系统运算速度低的问题。
为实现上述目的，本发明提供了一种基于忆阻器的神经网络人脸识别系统，包括人脸捕捉模块、预处理模块、输入模块、忆阻神经网络模块、输出模块以及权重更新模块；
人脸捕捉模块利用摄像机捕捉画面中的人脸图片；预处理模块用于将人脸图片进行降维处理，以减小忆阻神经网络中的阵列规模，并加快运算速度；输入模块与预处理模块相连，用于将降维后的图片转换为电信号输入到忆阻神经网络模块中；忆阻神经网络模块用于存储网络权重，并对所述电信号进行大规模并行的矩阵向量乘法运算，运算结果传入输出模块；输出模块分别连接忆阻神经网络模块和权重更新模块，将所述运算结果传入所述权重更新模块，权重更新模块根据实际输出与理论输出来调整忆阻神经网络模块中忆阻器的电导值，再将电导值映射到权重值，进行权重更新，更新后的权重传入所述忆阻神经网络模块，输出模块读取网络的识别结果；
忆阻神经网络模块由忆阻器阵列构成。
优选地，人脸捕捉模块捕捉人脸图片，并将所述人脸图片处理为灰度图片。
优选地，预处理模块将人脸捕捉模块捕捉到的人脸图像经过主成分分析，将其进行降维处理，并将降维之后的灰度图片传递给输入模块。
进一步地，主成分分析通过输入的图像信号矩阵特征值对人脸信息保留度的贡献率将高维灰度图片降到低维灰度图片。
优选地，输入模块的电信号的幅值或脉宽与图片灰度值相关，灰度值越大，电信号的幅值或脉宽越大，灰度值越小，电信号的幅值或脉宽越小。
优选地，忆阻神经网络模块采用二端忆阻器件作为突触的构建模块，将忆阻神经网络中的权重值存储在忆阻器阵列中，基于忆阻器件的多值特性：忆阻器件的电导大小会随着所施加脉冲信号的变化而变化，即忆阻器的电导渐变特性，将忆阻器的电导值映射到神经网络中的权重值，把网络中的计算结果传递到输出模块。
优选地，忆阻器阵列的主要功能是存储和计算。存储是通过权重值与忆阻器件电导值的映射关系，将权重大小存储到忆阻阵列的单元器件中；计算是基于基尔霍夫电流定律实现矩阵向量乘法运算，实现数据的并行处理，加快运算速度。
优选地，权重更新模块采用逆误差传播算法实现网络中权重的更新与调整，包括输出比较、误差计算和权重更新。输出比较是比较输出模块得到的输出结果o和理想的输出结果y，并将比较之后的结果传递到误差计算中；误差计算是结合输出比较的结果，计算忆阻神经网络的误差e，为防止过拟合而引入L2正则化项；权重更新是根据计算出的误差e，采用逆误差传播算法算出忆阻神经网络的权重更新量Δw，再求出Δw所对应的引起权重增加或减少的脉冲序列VΔw，基于忆阻器件的脉冲电导调制现象和引起权重增加或减少的脉冲序列VΔw，对忆阻器的电导值进行更新，从而实现权重的更新和调整。
通过本发明所构思的以上技术方案，与现有技术相比，能够取得以下有益效果：
1、本发明提供的神经网络人脸识别系统相比于传统的计算机系统其计算和存储分离耗时长、速度低、硬件成本高，基于忆阻器的神经网络人脸识别系统其存储与计算相融合，采用的忆阻器阵列不仅可以解决神经网络中的矩阵向量乘法运算，并且计算之后的权值可以存储到每个忆阻器中，同时采用主成分分析算法对输入图像信号做预处理，降低输入信号维度，从而减小忆阻神经网络的结构规模，从而加快运算速度、降低运算能耗、降低硬件成本；
2、本发明在忆阻神经网络中采用新型器件忆阻器的电导值随着施加电学信号而变化的电导多阶渐变特性来模拟突触权重值的连续调节，使用一个忆阻器作为一个突触，可以在忆阻器上实现权重的计算与存储；并且基于忆阻器阵列的高度并行性可以很大程度使整个系统的运算速度和密度有很大提升，运行能耗大幅降低，实现了信息存储与计算的融合，有望实现对大脑大规模神经网络的实时与低能耗模拟，对进一步解决冯诺依曼瓶颈起到推动作用。
附图说明
图1是本发明实施例提供的基于忆阻器的神经网络人脸识别系统结构示意图；
图2(a)是本发明实施例提供的ORL人脸库示例；
图2(b)是本发明实施例提供的主成分分析算法的流程示意图；
图3(a)是本发明实施例提供的忆阻器件单元示意图；
图3(b)是本发明实施例提供的忆阻器单元I-V特性曲线图；
图4(a)是本发明提供的一种脉冲激励信号的示意图；
图4(b)是本发明提供的另一种脉冲激励信号的示意图；
图4(c)是本发明提供的对称的忆阻器的电导渐变特性曲线图；
图4(d)是本发明提供的非对称的忆阻器的电导渐变特性曲线图；
图5是本发明实施例提供的由多个忆阻器件组成的存储与计算阵列示意图；
图6是本发明实施例提供的基于忆阻阵列以及基尔霍夫电流定律实现的矩阵向量乘法示意图；
图7是本发明实施例提供的权重更新模块中忆阻阵列的权重映射操作示意图；
图8是发明实施例提供的权重更新中计算过程的示意图；
图9是本发明实施例提供的忆阻器阵列中权重更新操作的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供了一种基于忆阻器的神经网络人脸识别系统，如图1所示，包括人脸捕捉模块、预处理模块、输入模块、忆阻神经网络模块、输出模块以及权重更新模块；
人脸捕捉模块利用摄像机捕捉画面中的人脸图片；预处理模块用于将人脸图片进行降维处理，以减小忆阻神经网络中的阵列规模，并加快运算速度；输入模块与预处理模块相连，用于将降维后的图片转换为电信号输入到忆阻神经网络模块中；忆阻神经网络模块用于存储网络权重，并对所述电信号进行大规模并行的矩阵向量乘法运算，运算结果传入输出模块；输出模块分别连接忆阻神经网络模块和权重更新模块，将所述运算结果传入所述权重更新模块，权重更新模块根据实际输出与理论输出来调整忆阻神经网络模块中忆阻器的电导值，再将电导值映射到权重值，进行权重更新，更新后的权重传入所述忆阻神经网络模块，输出模块读取网络的识别结果。
具体地，人脸捕捉模块捕捉人脸图片，并将所述人脸图片处理为灰度图片。
具体地，预处理模块将人脸捕捉模块捕捉到的人脸图像经过主成分分析，将其进行降维处理，并将降维之后的灰度图片传递给输入模块。
进一步地，主成分分析通过输入的图像信号矩阵特征值对人脸信息保留度的贡献率将高维灰度图片降到低维灰度图片。
具体地，输入模块的电信号的幅值或脉宽与图片灰度值相关，灰度值越大，电信号的幅值或脉宽越大，灰度值越小，电信号的幅值或脉宽越小。
具体地，忆阻神经网络模块采用二端忆阻器件作为突触的构建模块，将忆阻神经网络中的权重值存储在忆阻器阵列中，基于忆阻器件的多值特性：忆阻器件的电导大小会随着所施加脉冲信号的变化而变化，即忆阻器的电导渐变特性，将忆阻器的电导值映射到神经网络中的权重值，把网络中的计算结果传递到输出模块。
具体地，忆阻器阵列的主要功能是存储和计算。存储是通过权重值与忆阻器件电导值的映射关系，将权重大小存储到忆阻阵列的单元器件中；计算是基于基尔霍夫电流定律实现矩阵向量乘法运算，实现数据的并行处理，加快运算速度。
具体地，权重更新模块采用逆误差传播算法实现网络中权重的更新与调整，包括输出比较、误差计算和权重更新。输出比较是比较输出模块得到的输出结果o和理想的输出结果y，并将比较之后的结果传递到误差计算中；误差计算是结合输出比较的结果，计算忆阻神经网络的误差e，为防止过拟合而引入L2正则化项；权重更新是根据计算出的误差e，采用逆误差传播算法算出忆阻神经网络的权重更新量Δw，再求出Δw所对应的引起权重增加或减少的脉冲序列VΔw，基于忆阻器件的脉冲电导调制现象和引起权重增加或减少的脉冲序列VΔw，对忆阻器的电导值进行更新，从而实现权重的更新和调整。
图2(a)是本发明实施例提供的ORL人脸库示例，ORL人脸库是剑桥大学OlivettiResearch Laboratory实验室发布的，内含40个人物，每个人10张图像，共400张人脸图像。本发明实施例使用ORL人脸库对所设计的忆阻神经网络进行学习训练，评估网络的识别率。也可以通过人脸捕捉模块捕捉画面中的人脸图像用于构建应对实际问题所需的人脸库。
图2(b)是本发明实施例提供的主成分分析算法的计算流程示意图。多特征/多属性问题是经常会遇到的，特征太多，无疑会增加分析问题的难度与复杂性，在许多实际问题中，多个特征之间是具有一定的相关关系的。因此，在各个变量之间相关关系的研究基础上，用较少的新特征代替原来较多的特征，并且使这些较少的新特征尽可能多地保留原来较多特征所反映的信息是必要的。PCA算法就是在力求数据信息丢失最少的原则下，对高维的特征空间降维，即研究指标体系的少数几个现行组合，并且这几个现行组合所构成的综合指标将尽可能多地保留原来指标变异方面的信息。
本发明实施例使用的主成分分析算法中，人脸捕捉模块传递过来的输入信号是一个m×n的矩阵，是将每张人脸图像改写为1×n的矩阵堆叠到一个矩阵中组成。计算其协方差矩阵的特征值，通过特征值的贡献率确定信息的保留度，选择合适的维度r，将样本矩阵从m×n投影到m×r(r<n)。使用主成分分析算法对输入图像做降维处理目的在于对输入信号进行降维处理，减小输入信号的维度(将输入样本从n维降到r维)，从而对神经网络进行简化，结合硬件实现考虑有更高的可行性。
图3(a)是本发明实施例提供的忆阻器件单元符号表示，作为新型的非易失性器件，忆阻器件的读写速度、器件集成密度、编程电压等各项指标都达到了现有技术的领先水平。图3(b)是本发明实施例提供的忆阻器件单元I-V特性曲线的示意图。忆阻器在电压扫描下器件的电导状态会随之发生变化，当电压达到一定值时，忆阻器的电阻会发生阻态突变，由高阻态变为低阻态，或者由低阻态变为高阻态。在两种不同极性的周期性电信号的激励下，忆阻器在I-V特性上呈现为捏滞回曲线，具有这样特性的器件在某种程度上可以称之为忆阻器。
忆阻器件的模拟记忆功能类似于生物突触，其电导可以通过施加相对较大的电压偏置而连续改变，但在施加较小的偏压或无偏压时保持不变。通过利用忆阻器件的不同电导状态来区分不同的存储状态，忆阻器件在脉冲作用下的电导渐变特性用于模拟生物突触权重的变化过程，即模拟神经网络自适应学习的功能。忆阻器件的类型可以为两端、三端忆阻器件或其他常见的类型。并且可以施加正负读取电压脉冲，这一特性可以在实现正负权重值时避免额外的减法电路的引入，在一定程度上减小了电路规模。
图4(a)至(d)是本发明实施例提供的忆阻器的脉冲操作方式以及电导渐变特性示意图。本发明实施例中所涉及的忆阻神经网络是用单个忆阻器来构建神经网络中的突触部分，把神经网络中的权重值映射到忆阻器的电导值。在本发明实施例所设计的忆阻神经网络中，忆阻器的电导随所施加脉冲的渐变特性，是通过对忆阻器施加方波电压脉冲信号来实现对忆阻器的电导调控，而在实际器件操作与测量中，对忆阻器电导进行调控的脉冲激励不仅限于方波信号，也有可能是三角波或正弦波等脉冲激励信号(如图4(a)中所示)；图4(a)中所示的脉冲激励信号均是等幅等宽，在实际器件操作与测量中也有可能是幅值和脉宽不等的脉冲激励信号(如图4(b)中所示)。对方波信号而言，可分为三类：幅值和脉宽相等的第一类方波信号，等脉宽变幅值的第二类方波信号，等幅值变脉宽的第三类方波信号。同理，对三角波和正弦波也有同样的分法。
对忆阻器施加如图4(a)或图4(b)所示的脉冲激励信号就有可能会测量出如图4(c)或图4(d)所示的电导与施加脉冲数之间的关系。电导值随所施加脉冲的增加而增大的过程称为长时程增强效应(Long-term potentiation,LTP)，电导值随所施加脉冲的增加而减小的过程称为长时程抑制效应(Long-term depression,LTD)。由于器件所用材料和结构等的不同，测量得出的电导渐变特性可以分为对称和非对称两种，在不同的对称性的曲线中，不同曲率的曲线代表了不同的非线性度。在本发明实施例中是使用电导值与权重值的映射关系以及这样的电导渐变特性，来实现权重更新操作，具体实施方式参见图7、图8与图9。
图5是本发明实施例提供的忆阻器存储与计算阵列示意图。忆阻器阵列是交叉横闩结构，行表示字线(WL)，列表示位线(BL)，行与列的交叉点连接一个忆阻器，每个忆阻器存储当前状态的电导值。输入信号从WL端并行输入的电压信号，输出信号是BL端收集到的电流信号。输出端的电流信号遵循基尔霍夫电流定律，将输入电压信号流经忆阻器之后的电流按列进行收集。
图6是本发明实施例提供的矩阵向量乘法的原理示意图。在设计神经网络的过程中，矩阵运算会占用大量的资源，然而用忆阻器阵列来进行矩阵向量乘法运算则会减少资源占用，加快运算速度，同时还可以大批量处理数据。用忆阻器阵列进行神经网络中涉及的权重矩阵向量乘法运算，首先将输入信息编码为相应的电压脉冲信号，将权重大小映射到忆阻器的电导值，再由基尔霍夫电流定律计算出阵列中每一列的电流值，即得到了矩阵向量乘法运算的输出结果。
图7是本发明实施例提供的忆阻器阵列级联示意图以及权重值与忆阻器电导值的映射原理图。其中输入端的bias是神经网络中的偏置。将忆阻器阵列用作神经网络中的权重计算与存储，其中涉及到阵列的级联问题，在忆阻器阵列中，输入是电压信号，输出是电流信号，在多层神经网络的设计当中级联会存在问题，参考图6，在每一列计算的电流信号后使用运算放大器将电流信号转换成电压信号，这样就可以实现层与层，阵列与阵列之间的相互级联。
而在神经网络的设计当中，忆阻器阵列主要是其存储与计算作用，其中把突触的权重值与忆阻器的电导值的映射关系显得尤为重要。在权重映射中，本发明实施例使用一个忆阻器件代表一个突触，存储一个权重值，由于权重有正负之分，于是采用一个定值电阻的电导值与每个忆阻器件电导值的差值正负来表示权重的正负之分，由于忆阻器是电阻可调的器件，所以在实际忆阻神经网络的设计过程中，选择将忆阻阵列的某一行调为定值电阻，以减小网络的复杂度。R0是放大倍数，将权重映射到某一个固定范围，可以加快忆阻神经网络的训练速度。具体推导方式如下：
对运算放大器M1，其正向输入端为电流信号I1：
输出端为电压信号Vo1：
Vo1＝I1×R0
即每个权重值都可以用一个忆阻器件来存储：w＝R0×(Gs-Gij)。
图8为本发明实施例提供的权重更新中计算过程的示意图。比较理论输出y与输出模块得到的实际输出结果o，结合比较结果，计算忆阻神经网络的误差e，在误差计算中，为避免神经网络出现过拟合的问题而引入L2正则化项：
其中，w为神经网络中的权重，λ为正则化参数。将误差结果传入下一级进行权重更新计算，采用逆误差传播算法算出每个权重值的改变量Δw，再由图4所示的电导多阶渐变特性曲线，求出Δw所对应的引起权重增加或减少的脉冲序列VΔw，最后利用忆阻器的电导渐变特性，将引起权重增加或减少的脉冲序列VΔw映射到忆阻器电导变化，进而通过电导与权重的映射关系实现对忆阻器的权重更新。
图9为本发明实施例所提供的忆阻器阵列中权重更新操作的示意图。在对某一个忆阻器进行权重更新时先选中该忆阻器所在的行，在该忆阻器所在的列上施加引起权重更增加或减少的脉冲序列VΔw。要注意的是，为了防止在权重更新期间对未选定单元的写入干扰，需要在所有未选择的行和列上施加中间电压(V/2)。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于忆阻器的神经网络人脸识别系统，其特征在于，包括人脸捕捉模块、预处理模块、输入模块、忆阻神经网络模块、输出模块以及权重更新模块；
所述人脸捕捉模块用于捕捉画面中的人脸图片；所述预处理模块用于将所述人脸图片进行降维处理；所述输入模块用于将所述降维后的图片转换为电信号；所述忆阻神经网络模块用于存储网络权重，并对所述电信号进行矩阵向量乘法运算，运算结果传入输出模块；所述输出模块将所述运算结果传入所述权重更新模块进行权重更新，更新后的权重传入所述忆阻神经网络模块，所述输出模块读取网络的识别结果；
所述忆阻神经网络模块由忆阻器阵列构成。
2.根据权利要求1所述的人脸识别系统，其特征在于，所述人脸捕捉模块捕捉人脸图片，并将所述人脸图片处理为灰度图片。
3.根据权利要求1所述的人脸识别系统，其特征在于，所述预处理模块包括主成分分析，将经过主成分分析的图片进行降维处理得到维度值降低的灰度图片。
4.根据权利要求3所述的人脸识别系统，其特征在于，所述主成分分析基于输入的图像信号矩阵特征值对人脸信息保留度的贡献率。
5.根据权利要求1所述的人脸识别系统，其特征在于，所述输入模块的电信号的幅值或脉宽与图片灰度值相关，灰度值越大，电信号的幅值或脉宽越大，灰度值越小，电信号的幅值或脉宽越小。
6.根据权利要求1所述的人脸识别系统，其特征在于，所述忆阻神经网络对所述电信号进行矩阵向量乘法运算为并行运算。
7.根据权利要求1所述的人脸识别系统，其特征在于，所述忆阻神经网络的忆阻器阵列的电导随着所施加的电信号的变化而变化。
8.根据权利要求7所述的人脸识别系统，其特征在于，所述忆阻神经网络的忆阻器阵列的电导值映射到神经网络的权重值。
9.根据权利要求1所述的人脸识别系统，其特征在于，所述权重更新模块根据实际输出与理论输出来调整忆阻神经网络模块中忆阻器的电导值，再将电导值映射到权重值，实现神经网络权重值的更新。
10.根据权利要求9所述的人脸识别系统，其特征在于，所述权重更新模块采用逆误差传播算法，包括输出比较、误差计算和权重更新；所述输出比较是比较输出模块得到的输出结果和理想的输出结果，并将比较之后的结果传递到误差计算中；误差计算是结合输出比较的结果，计算忆阻神经网络的误差e；权重更新是根据计算出的误差e，计算忆阻神经网络的权重更新量Δw，再求出Δw所对应的引起权重增加或减少的脉冲序列VΔw，对忆阻器的电导值进行更新，从而实现权重的更新。
CN201910666405.1A 2019-07-23 2019-07-23 一种基于忆阻器的神经网络人脸识别系统 Pending CN110443168A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910666405.1A CN110443168A (zh) 2019-07-23 2019-07-23 一种基于忆阻器的神经网络人脸识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910666405.1A CN110443168A (zh) 2019-07-23 2019-07-23 一种基于忆阻器的神经网络人脸识别系统

Publications (1)

Publication Number Publication Date
CN110443168A true CN110443168A (zh) 2019-11-12

Family

ID=68431177

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910666405.1A Pending CN110443168A (zh) 2019-07-23 2019-07-23 一种基于忆阻器的神经网络人脸识别系统

Country Status (1)

Country Link
CN (1) CN110443168A (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110956256A (zh) * 2019-12-09 2020-04-03 清华大学 利用忆阻器本征噪声实现贝叶斯神经网络的方法及装置
CN111027619A (zh) * 2019-12-09 2020-04-17 华中科技大学 一种基于忆阻器阵列的K-means分类器及其分类方法
CN111403600A (zh) * 2020-03-27 2020-07-10 华中科技大学 一种大规模集成神经网络系统及其权重控制方法
CN111460365A (zh) * 2020-03-10 2020-07-28 华中科技大学 一种基于忆阻线性神经网络的方程组求解器及其操作方法
CN111553415A (zh) * 2020-04-28 2020-08-18 哈尔滨理工大学 一种基于忆阻器的esn神经网络图像分类处理方法
CN111737932A (zh) * 2020-06-09 2020-10-02 安徽大学 基于盲分离与卡尔曼滤波器的忆阻器窄带干扰处理系统及方法
CN111833278A (zh) * 2020-07-13 2020-10-27 西南大学 基于忆阻器遗忘特性的图片处理方法
CN112199234A (zh) * 2020-09-29 2021-01-08 中国科学院上海微系统与信息技术研究所 一种基于忆阻器的神经网络容错方法
CN112488308A (zh) * 2020-12-18 2021-03-12 清华大学 基于动态忆阻器的储备池计算系统
CN112737765A (zh) * 2021-02-03 2021-04-30 安徽理工大学 一种基于忆阻器混沌神经网络和改进Logistic混沌映射的图像加密算法
WO2021098821A1 (zh) * 2019-11-20 2021-05-27 华为技术有限公司 神经网络系统中数据处理的方法、神经网络系统
CN113076827A (zh) * 2021-03-22 2021-07-06 华中科技大学 一种传感器信号智能处理系统
CN113205102A (zh) * 2021-04-13 2021-08-03 宜宾电子科技大学研究院 一种基于忆阻神经网络的车辆标志识别方法
CN113465635A (zh) * 2021-06-10 2021-10-01 电子科技大学 一种传感器与神经网络计算单元信号转换的装置
CN114279491A (zh) * 2021-11-23 2022-04-05 电子科技大学 一种基于忆阻交叉阵列的传感器信号注意力权重分配方法
CN115099396A (zh) * 2022-05-09 2022-09-23 清华大学 基于忆阻器阵列的全权重映射方法及装置
CN115481562A (zh) * 2021-06-15 2022-12-16 中国科学院微电子研究所 多并行度优化方法、装置、识别方法和电子设备
CN116523012A (zh) * 2023-07-03 2023-08-01 湖南师范大学 一种基于生成对抗神经网络的忆阻器自学习电路

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810497A (zh) * 2014-01-26 2014-05-21 华中科技大学 一种基于忆阻器的图像识别系统及方法
WO2018235449A1 (ja) * 2017-06-19 2018-12-27 株式会社デンソー 人工ニューラルネットワーク回路の訓練方法、訓練プログラム、及び訓練装置
CN109978019A (zh) * 2019-03-07 2019-07-05 东北师范大学 图像模式识别模拟与数字混合忆阻设备及制备，实现stdp学习规则和图像模式识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810497A (zh) * 2014-01-26 2014-05-21 华中科技大学 一种基于忆阻器的图像识别系统及方法
WO2018235449A1 (ja) * 2017-06-19 2018-12-27 株式会社デンソー 人工ニューラルネットワーク回路の訓練方法、訓練プログラム、及び訓練装置
CN109978019A (zh) * 2019-03-07 2019-07-05 东北师范大学 图像模式识别模拟与数字混合忆阻设备及制备，实现stdp学习规则和图像模式识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
熊欣: "《人脸识别技术与应用》", 31 August 2018 *
牟庆丰: "基于忆阻神经网络的车牌识别研究", 《中国优秀硕士学位论文全文数据库信息科辑》 *
王晋: "基于忆阻器的神经网络研究", 《中国优秀硕士学位论文全文数据库信息科辑》 *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021098821A1 (zh) * 2019-11-20 2021-05-27 华为技术有限公司 神经网络系统中数据处理的方法、神经网络系统
CN111027619A (zh) * 2019-12-09 2020-04-17 华中科技大学 一种基于忆阻器阵列的K-means分类器及其分类方法
CN110956256A (zh) * 2019-12-09 2020-04-03 清华大学 利用忆阻器本征噪声实现贝叶斯神经网络的方法及装置
CN110956256B (zh) * 2019-12-09 2022-05-17 清华大学 利用忆阻器本征噪声实现贝叶斯神经网络的方法及装置
CN111027619B (zh) * 2019-12-09 2022-03-15 华中科技大学 一种基于忆阻器阵列的K-means分类器及其分类方法
CN111460365B (zh) * 2020-03-10 2021-12-03 华中科技大学 一种基于忆阻线性神经网络的方程组求解器及其操作方法
CN111460365A (zh) * 2020-03-10 2020-07-28 华中科技大学 一种基于忆阻线性神经网络的方程组求解器及其操作方法
CN111403600A (zh) * 2020-03-27 2020-07-10 华中科技大学 一种大规模集成神经网络系统及其权重控制方法
CN111403600B (zh) * 2020-03-27 2022-02-15 华中科技大学 一种大规模集成神经网络系统及其权重控制方法
CN111553415A (zh) * 2020-04-28 2020-08-18 哈尔滨理工大学 一种基于忆阻器的esn神经网络图像分类处理方法
CN111553415B (zh) * 2020-04-28 2022-11-15 宁波工程学院 一种基于忆阻器的esn神经网络图像分类处理方法
CN111737932A (zh) * 2020-06-09 2020-10-02 安徽大学 基于盲分离与卡尔曼滤波器的忆阻器窄带干扰处理系统及方法
CN111833278A (zh) * 2020-07-13 2020-10-27 西南大学 基于忆阻器遗忘特性的图片处理方法
CN111833278B (zh) * 2020-07-13 2022-05-17 西南大学 基于忆阻器遗忘特性的图片处理方法
CN112199234A (zh) * 2020-09-29 2021-01-08 中国科学院上海微系统与信息技术研究所 一种基于忆阻器的神经网络容错方法
CN112488308A (zh) * 2020-12-18 2021-03-12 清华大学 基于动态忆阻器的储备池计算系统
CN112737765A (zh) * 2021-02-03 2021-04-30 安徽理工大学 一种基于忆阻器混沌神经网络和改进Logistic混沌映射的图像加密算法
CN113076827A (zh) * 2021-03-22 2021-07-06 华中科技大学 一种传感器信号智能处理系统
CN113205102A (zh) * 2021-04-13 2021-08-03 宜宾电子科技大学研究院 一种基于忆阻神经网络的车辆标志识别方法
CN113205102B (zh) * 2021-04-13 2022-11-01 宜宾电子科技大学研究院 一种基于忆阻神经网络的车辆标志识别方法
CN113465635A (zh) * 2021-06-10 2021-10-01 电子科技大学 一种传感器与神经网络计算单元信号转换的装置
CN115481562A (zh) * 2021-06-15 2022-12-16 中国科学院微电子研究所 多并行度优化方法、装置、识别方法和电子设备
CN114279491A (zh) * 2021-11-23 2022-04-05 电子科技大学 一种基于忆阻交叉阵列的传感器信号注意力权重分配方法
CN115099396A (zh) * 2022-05-09 2022-09-23 清华大学 基于忆阻器阵列的全权重映射方法及装置
CN115099396B (zh) * 2022-05-09 2024-04-26 清华大学 基于忆阻器阵列的全权重映射方法及装置
CN116523012A (zh) * 2023-07-03 2023-08-01 湖南师范大学 一种基于生成对抗神经网络的忆阻器自学习电路
CN116523012B (zh) * 2023-07-03 2023-09-08 湖南师范大学 一种基于生成对抗神经网络的忆阻器自学习电路

Similar Documents

Publication Publication Date Title
CN110443168A (zh) 一种基于忆阻器的神经网络人脸识别系统
Vlachas et al. Backpropagation algorithms and reservoir computing in recurrent neural networks for the forecasting of complex spatiotemporal dynamics
Krestinskaya et al. Neuromemristive circuits for edge computing: A review
Long et al. Design of reliable DNN accelerator with un-reliable ReRAM
Hei et al. Hawk: Rapid android malware detection through heterogeneous graph attention networks
Ko et al. Controlled dropout: A different approach to using dropout on deep neural network
Hu et al. Leveraging stochastic memristor devices in neuromorphic hardware systems
Lin et al. Structure-aware prototypical neural process for few-shot graph classification
Zheng et al. Learning associative memories by error backpropagation
Rathore et al. Reliability analysis of memristive reservoir computing architecture
Wang et al. A memristor-based learning engine for synaptic trace-based online learning
Duykuluoglu The significance of artificial neural networks in educational research a summary of research and literature
Sun et al. Quaternary synapses network for memristor-based spiking convolutional neural networks
Singh et al. Cloud Hopfield neural network: Analysis and simulation
Barra et al. About the ergodic regime in the analogical Hopfield neural networks: moments of the partition function
Chang et al. ANODE-GAN: Incomplete Time Series Imputation by Augmented Neural ODE-Based Generative Adversarial Networks
Zhang et al. Stock Index Forecasting Using PSO Based Selective Neural Network Ensemble.
Gavrilov et al. Capacity, fidelity, and noise tolerance of associative spatial-temporal memories based on memristive neuromorphic networks
Zheng et al. Pairwise weights for temporal credit assignment
Svenson Extremal optimization for sensor report pre-processing
Mahat A Human Face Recognition using Alyuda Neurointelligence
Song et al. A novel adaptive learning deep belief network based on automatic growing and pruning algorithms
Tang Design and Implementation of Neural Network Digital Recognition
Henderson et al. Memristor Based Liquid State Machine with Method for In-Situ Training
Zhang et al. Applications of 3D RRAM beyond Storage

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191112