CN113191402B - 基于忆阻器的朴素贝叶斯分类器设计方法、系统及分类器 - Google Patents

基于忆阻器的朴素贝叶斯分类器设计方法、系统及分类器 Download PDF

Info

Publication number
CN113191402B
CN113191402B CN202110403525.XA CN202110403525A CN113191402B CN 113191402 B CN113191402 B CN 113191402B CN 202110403525 A CN202110403525 A CN 202110403525A CN 113191402 B CN113191402 B CN 113191402B
Authority
CN
China
Prior art keywords
memristor
naive bayes
bayes classifier
conductance
row
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110403525.XA
Other languages
English (en)
Other versions
CN113191402A (zh
Inventor
孙华军
周佐湃
李莉
缪向水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202110403525.XA priority Critical patent/CN113191402B/zh
Priority to US17/775,591 priority patent/US20230334824A1/en
Priority to PCT/CN2021/092106 priority patent/WO2022217673A1/zh
Publication of CN113191402A publication Critical patent/CN113191402A/zh
Application granted granted Critical
Publication of CN113191402B publication Critical patent/CN113191402B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Neurology (AREA)
  • Testing Of Individual Semiconductor Devices (AREA)
  • Tests Of Electronic Circuits (AREA)

Abstract

本发明公开了一种基于忆阻器的朴素贝叶斯分类器设计方法、系统及分类器，属于信息技术领域，方法包括：构建包含M行×2N列忆阻器阵列的朴素贝叶斯分类器，M为分类类型数量，N为图片中像素点的个数；计算第j训练样本中第i个像素点中像素值为0的个数hj,2i‑1和像素值为1的个数hj,2i，j＝1，2，……，M；在第j行第2i‑1列的忆阻器Rj,2i‑1上施加hj,2i‑1个脉冲以对Rj,2i‑1的电导进行调制，在第j行第2i列的忆阻器Rj,2i上施加hj,2i个脉冲以对Rj,2i的电导进行调制，调制后的朴素贝叶斯分类器用于识别待分类图片的类型。有效克服忆阻器在神经网络应用中电导变化的非对称性和非线性制约，避免非理想阻变行为导致的精度下降，提高朴素贝叶斯分类器的普适性。

Description

基于忆阻器的朴素贝叶斯分类器设计方法、系统及分类器
技术领域
本发明属于信息技术领域，更具体地，涉及一种基于忆阻器的朴素贝叶斯分类器设计方法、系统及分类器。
背景技术
人工智能的发展和数据大爆炸对计算机性能提出了更高的要求。基于新型存储器的存内计算架构能够实现存储和计算的融合，有望突破传统计算机体系架构，极大提高现有计算机的性能。忆阻器作为最有希望的存算一体器件，其非易失性、读写速度快、易集成、低功耗等特点使其成为下一代存储器的热点，其独特的存内计算架构能够很好地模拟人脑存储和计算一体的机制。神经网络为机器学习中非常重要的学习算法，利用忆阻器实现神经网络时，通常对器件的一致性和对称性有很高要求。此外，神经网络学习算法具有复杂求导计算，其计算过程难以在忆阻器上实现，需要额外的计算资源。实际应用时，忆阻器存在的器件不一致性、器件错误、电导状态数有限、电导分布非线性和非对称性等非理想特性对神经网络系统性能有很大的影响，也制约了其应用进程。
朴素贝叶斯分类器是一种以贝叶斯定理为基础的概率分类器。相比其他神经网络算法，朴素贝叶斯分类器结构简单、性能稳定，对硬件更为友好。朴素贝叶斯分类器主要利用训练数据学习联合概率分布，然后求得后验概率分布。学习联合概率分布需要对数计算，这也制约了朴素贝叶斯分类器在忆阻器上实现。现有基于忆阻器实现朴素贝叶斯算法的方法中，通常通过忆阻器的crossbar阵列，基于欧姆定律实现朴素贝叶斯算法中的乘法过程，并累加得到最后结果，但是只能实现属性不超过三个的识别任务，极大限制了其普适性。
发明内容
针对现有技术的缺陷和改进需求，本发明提供了一种基于忆阻器的朴素贝叶斯分类器设计方法、系统及分类器，其目的在于克服忆阻器在神经网络应用中电导变化的非对称性和非线性制约，避免非理想阻变行为导致的精度下降，提高朴素贝叶斯分类器的普适性。
为实现上述目的，按照本发明的一个方面，提供了一种基于忆阻器的朴素贝叶斯分类器设计方法，包括：S1，构建包含M行×2N列忆阻器阵列的朴素贝叶斯分类器，M为所述朴素贝叶斯分类器输出的类型的数量，N为图片中像素点的个数，每一像素点的像素值为0或1；S2，从训练样本中选取第j个类型对应的第j训练样本，计算所述第j训练样本中第i个像素点中像素值为0的个数hj，2i-1和像素值为1的个数hj，2i，j＝1，2，……，M，i＝1，2，……，N；S3，在第j行第2i-1列的忆阻器Rj，2i-1上施加hj，2i-1个脉冲以对所述忆阻器Rj，2i-1的电导进行调制，在第j行第2i列的忆阻器Rj，2i上施加hj，2i个脉冲以对所述忆阻器Rj，2i的电导进行调制，调制后的朴素贝叶斯分类器用于识别待分类图片的类型。
更进一步地，调制过程中，所述忆阻器的电导为：
G＝a×ln(N1)+b
所述忆阻器对应的分类统计计算概率与所述忆阻器的电导满足：
ln P∝-G
其中，G为所述忆阻器的电导，N1为所述忆阻器上施加的脉冲的数量，P为所述忆阻器对应的条件概率值，lnP为所述分类统计计算概率，a为第一拟合参数，b为第二拟合参数。
更进一步地，所述S3之后还包括：获取所述待分类图片中各像素点的像素值，当第i个像素点的像素值为0时，在第2i-1列忆阻器上施加脉冲，否则，在第2i列忆阻器上施加脉冲；比较所述朴素贝叶斯分类器中各行忆阻器输出端的电流，最小电流对应行的类型为所述待分类图片的类型。
更进一步地，所述S1包括：获取所述训练样本中样本类型的数量M，并对所述训练样本进行像素点划分，以将每一训练样本划分为N个像素点；将所述忆阻器阵列的行数设计为M，并将所述忆阻器阵列的列数设计为2N。
更进一步地，当所述训练样本的数量超出所述忆阻器的电导范围对应的样本数量范围时，所述S2还包括：对hj，2i-1和hj，2i进行等比例缩放，以将各hj，2i-1和hj，2i缩小至所述忆阻器的电导范围对应的样本数量范围；所述S3中根据hj，2i-1和hj，2i缩小后的结果分别对所述忆阻器Rj，2i-1和所述忆阻器Rj，2i的电导进行调制。
更进一步地，当所述训练样本中新增训练样本时，所述S3之后还包括：根据新增训练样本的类型j′、新增训练样本中各像素点i的像素值，在调制后的朴素贝叶斯分类器中第j′行第2i-1列或第j′行第2i列的忆阻器上施加脉冲以进行电导调制。
更进一步地，当所述忆阻器阵列的列数存在冗余时，所述S3之后还包括：通过剪枝处理对调制后朴素贝叶斯分类器中各像素点对应的忆阻器列进行优化。
更进一步地，所述S3中进行调制之前还包括：将所述忆阻器阵列中各忆阻器的电导初始化为所述忆阻器的最大电导值。
按照本发明的另一个方面，提供了一种基于忆阻器的朴素贝叶斯分类器设计系统，包括：构建模块，用于构建包含M行×2N列忆阻器阵列的朴素贝叶斯分类器，M为所述朴素贝叶斯分类器输出的类型的数量，N为图片中像素点的个数，每一像素点的像素值为0或1；选取及计算模块，用于从训练样本中选取第j个类型对应的第j训练样本，计算所述第j训练样本中第i个像素点中像素值为0的个数hj，2i-1和像素值为1的个数hj，2i，j＝1，2，……，M，i＝1，2，……，N；调制模块，用于在第j行第2i-1列的忆阻器Rj，2i-1上施加hj，2i-1个脉冲以对所述忆阻器Rj，2i-1的电导进行调制，在第j行第2i列的忆阻器Rj，2i上施加hj，2i个脉冲以对所述忆阻器Rj，2i的电导进行调制，调制后的朴素贝叶斯分类器用于识别待分类图片的类型。
按照本发明的另一个方面，提供了一种基于忆阻器的朴素贝叶斯分类器，所述朴素贝叶斯分类器由如上所述的基于忆阻器的朴素贝叶斯分类器设计方法得到。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
(1)将忆阻器电导的非线性、非对称性与朴素贝叶斯算法相结合，发现了分类统计计算概率与忆阻器电导之间的反向关系，基于此发现，将朴素贝叶斯算法中的概率值计算过程映射到忆阻器电导随着脉冲数量渐变成对数函数的特性中，通过调节忆阻器中输入脉冲的数量来计算相应类别的输出概率值以实现分类，使得朴素贝叶斯分类器的训练和推断均可在忆阻器上实现，有效利用了忆阻器的非线性电导并同时避免了繁琐的计算过程以及消耗额外的计算资源，提高朴素贝叶斯分类器的普适性；该朴素贝叶斯分类器完全在忆阻器阵列上实现真正的学习，无需额外的计算资源；
(2)当训练样本的数量过多超出忆阻器的电导范围对应的样本数量范围时，通过对各属性的属性信息进行缩放处理，使得一个脉冲对应多个样本的信息，从而实现根据所有训练样本对分类器进行训练，保证训练后分类器的分类准确度；
(3)通过剪枝处理，对训练样本的属性进行筛选，以实现对朴素贝叶斯分类器的优化，将其进一步改进为基于忆阻器的选择贝叶斯分类器，可以更好地容忍忆阻器的非理想特性。
附图说明
图1为本发明实施例提供的基于忆阻器的朴素贝叶斯分类器设计方法的流程图；
图2为本发明实施例提供的基于忆阻器的朴素贝叶斯分类器的电路结构示意图；
图3为本发明实施例提供的忆阻器reset过程电导随外加脉冲数量变化的拟合曲线示意图；
图4为本发明实施例提供的基于忆阻器的朴素贝叶斯分类器设计系统的框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
在本发明中，本发明及附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
图1为本发明实施例提供的基于忆阻器的朴素贝叶斯分类器设计方法的流程图。参阅图1，结合图2-图3，对本实施例中基于忆阻器的朴素贝叶斯分类器设计方法进行详细说明。参阅图1，方法包括操作S1-操作S3。
操作S1，构建包含M行×2N列忆阻器阵列的朴素贝叶斯分类器，M为朴素贝叶斯分类器输出的类型的数量，N为图片中像素点的个数，每一像素点的像素值为0或1。
本发明实施例中，获取训练样本中样本类型的数量M，并对训练样本中的样本图片进行像素点划分，以将每一训练样本划分为N个像素点。训练样本中的样本图片二值化为黑白图像，由此，每一像素点具有0、1两个属性值，为每一像素点对应设计两列忆阻器。进一步地，将忆阻器阵列的行数设计为M行，将忆阻器阵列的列数设计为2N，形成M×2N的忆阻器阵列，如图2所示。
以朴素贝叶斯分类器用于识别样本图片中的数字0～9为例，训练样本中样本类型包括0、1、2、3、4、5、6、7、8以及9这十种类型，即样本类型的数量M为10，由此需要设计10行忆阻器。每行忆阻器对应一种样本类型，例如图2中电路结构从上至下各行依次对应样本类型0、1、2、3、4、5、6、7、8和9。
进一步地，例如选用MNIST数据集作为训练样本，将MNIST数据图片二值化为黑白图像，每张图片中包含28×28个像素点，每一像素点表示一个属性，共784个属性。每个像素点具有0、1两种像素值(即属性值)，像素值0表示该像素点为白色，像素值1表示该像素点为黑色。采用两个忆阻器表示一个属性，分别表示该像素值为0和1这两种情况，因此每行需要设计1568个忆阻器。
基于此，构建的朴素贝叶斯分类器包含一10行×1568列的忆阻器阵列，每两列代表一个属性，每一行代表一个类别。可以理解的是，本实施例中，忆阻器阵列的行列可以互换，互换之后，列对应各分类类型，行对应各相应属性值。
操作S2，从训练样本中选取第j个类型对应的第j训练样本，计算第j训练样本中第i个像素点中像素值为0的个数hj,2i-1和像素值为1的个数hj,2i，j＝1，2，……，M，i＝1，2，……，N。
仍以图2中示出的用于识别图片中数字0～9的朴素贝叶斯分类器为例，基于训练样本的各样本图片中的数字将样本图片划分为10个类型。以第一类型样本图片的第一个像素点为例，假设第一类型中样本图片的数量为s个，第一个像素点为黑色的样本图片的数量为s1，第一个像素点为白色的样本图片的数量为s2，s1+s2＝s，则第一训练样本中第一个像素点中像素值0出现的次数h1,1为s2，第一训练样本中第一个像素点中像素值1出现的次数h1,2为s1。以此类推，计算每一类型对应的训练样本中每一像素点中像素值0出现的次数和像素值1出现的次数。
进一步地，本发明实施例中，通过分析朴素贝叶斯算法可知，在样本的所有类别数量相同的情况下，朴素贝叶斯分类器只需求出每个属性在该类别的条件概率P的对数形式lnP。而条件概率P正比于输入特征的出现次数n。忆阻器reset过程中，其电导值G与忆阻器上施加的脉冲的数量N1的对数成反比，满足以下关系式：
G＝a×ln(N1)+b
需要说明的是，实际应用中，电导值G与脉冲数量N1之间的关系符合上述关系式限定的趋势，即在一定程度上可拟合为上述关系式，二者并非完全一致。本实施例中选取的忆阻器的脉冲电学特性曲线应尽可能符合上述关系式。进一步地，将输入数据属性值的次数n与忆阻器上施加的脉冲数量N1进行线性映射，满足以下关系式：
N1＝a×n
由此，忆阻器对应的分类统计计算概率与忆阻器的电导成反比，满足以下关系式：
ln P∝ln n∝ln N1∝-G
其中，G为忆阻器的电导，N1为忆阻器上施加的脉冲的数量，P为忆阻器对应的条件概率值，lnP为分类统计计算概率，a为第一拟合参数，b为第二拟合参数。
基于此，本发明实施例中实现了概率值到忆阻器电导值的映射。由于朴素贝叶斯分类器主要将输入数据分类到后验概率最大的类，不需要详细的概率值，所以可以通过上述映射过程在忆阻器上完整的实现朴素贝叶斯分类器。
操作S3，在第j行第2i-1列的忆阻器Rj,2i-1上施加hj,2i-1个脉冲以对忆阻器Rj,2i-1的电导进行调制，在第j行第2i列的忆阻器Rj,2i上施加hj,2i个脉冲以对忆阻器Rj,2i的电导进行调制，调制后的朴素贝叶斯分类器用于识别待分类图片的类型。
忆阻器reset过程电导随外加脉冲数量变化的拟合曲线如图3所示，本实施例中，可以根据训练样本的类别和属性值确定脉冲所应该施加的位置，在对应的行和列上施加脉冲调整电导值，实现朴素贝叶斯分类器的训练。
训练之前，将忆阻器阵列中各忆阻器的电导初始化为忆阻器的最大电导值，初始化之后再对各忆阻器进行训练。在crossbar阵列中，每两列代表一个属性，每一行则代表一个类别，本实施例中，操作S2和操作S3中至少存在以下两种忆阻器电导调制方案：
第一种调制方案，逐张训练各样本图片，每训练一张样本图片，选中该样本图片类别对应的行，在该样本图片各属性的属性值对应列的忆阻器上施加一个脉冲进行电导调制，以训练该样本图片。
第二种调制方案，并行训练各样本图片，统计出各类样本图片中各属性中每个属性值出现的次数，得到相应的各忆阻器上应施加的脉冲数量，选中相应的忆阻器施加其对应脉冲数量的脉冲进行电导调制，以完成所有样本图片的训练。
具体地，仍以图2中示出的电路结构为例，训练过程中，数字1的第一个像素点为黑，选中第一个像素点中特征值为1的那一列，施加幅值大小为VP的脉冲电压。同时，为了避免这一列中代表其他数字的行都被选中而受到影响，在所有的不是数字1的行施加VP/2电导，这样在选中的第一列中，除了第二行的脉冲电压为VP，其他所有未被选中的行则是VP/2的电压。通过控制VP/2小于器件的阈值电压Vd，而VP大于阈值电压Vd，这样就可以避免在训练过程中同时选中所有行，可以精准控制每一个忆阻器电导值的设置。并且可以同时在所有列加相应的脉冲电压，从而在训练过程中实现逐行操作，这样在训练过程中通过一次操作就能完成一张图片、或一类图片的训练，显著降低了训练过程的时间复杂度。
以图2所示电路结构为例，对于任一像素点，其对应的第一列忆阻器对应像素值1，其对应的第二列忆阻器对应像素值0，此时操作S3中，在第j行第2i列的忆阻器Rj,2i上施加hj,2i-1个脉冲以对忆阻器Rj,2i的电导进行调制，在第j行第2i-1列的忆阻器Rj,2i-1上施加hj,2i个脉冲以对忆阻器Rj，2i-1的电导进行调制。可以理解的是，也可以将其对应的第一列忆阻器对应像素值0，其对应的第二列忆阻器对应像素值1，此时操作S3中，在第j行第2i-1列的忆阻器Rj，2i-1上施加hj，2i-1个脉冲以对忆阻器Rj，2i-1的电导进行调制，在第j行第2i列的忆阻器Rj，2i上施加hj，2i个脉冲以对忆阻器Rj,2i的电导进行调制。
本发明实施例中，当训练样本的数量超出忆阻器的电导范围对应的样本数量范围时，可以将忆阻器的电导全部set到初始状态，之后操作S2还包括：对hj,2i-1和hj,2i进行等比例缩放，以将各hj,2i-1和hj,2i缩小至忆阻器的电导范围对应的样本数量范围。此时，操作S3中根据hj,2i-1和hj，2i缩小后的结果分别对忆阻器Rj，2i-1和忆阻器Rj，2i的电导进行调制，j＝1，2，……，M，i＝1，2，……，N。具体地，在第j行第2i-1列的忆阻器Rj,2i-1上施加hj，2i-1′个脉冲以对Rj,2i-1的电导进行调制，在第j行第2i列的忆阻器Rj,2i上施加hj,2i′个脉冲以对Rj，2i的电导进行调制，hj，2i-1′和hj，2i′分别为hj,2i-1和hj,2i缩放后的结果。
本发明实施例中，当训练样本中新增训练样本时，可以直接在原有阵列的基础上继续训练新增的样本，只需要控制每一个类别的样本的数量相同即可，此时操作S3之后还包括：根据新增训练样本的类型j′、新增训练样本中各像素点i的像素值，在调制后的朴素贝叶斯分类器中第j′行第2i-1列或第j′行第2i列的忆阻器上施加脉冲以进行电导调制，j′＝1，2，……，M。新增训练样本的训练过程与原有训练样本的训练过程相同，此处不再赘述。
本发明实施例中，当忆阻器阵列的列数存在冗余时，操作S3之后还包括：通过剪枝处理对调制后朴素贝叶斯分类器中各像素点对应的忆阻器列进行优化。因为忆阻器特性不稳定会导致其电导值并没有达到预设的电导值，从而造成一定的误差。所以当训练样本属性数量足够多时，可以通过验证集对属性进行筛选。具体地，在训练完成后，通过删除相应的属性，再通过验证集对朴素贝叶斯分类器的准确度进行测试，若准确度下降，则删除该属性；否则，继续筛选下一个属性，直到删除任何属性都不会降低朴素贝叶斯分类器的准确度时结束，最终该属性集为剪枝后的最优子集。
相应的，也可以通过向空集中不断添加属性，并判断朴素贝叶斯分类器的准确度是否会下降，会下降则不添加该属性，否则添加该属性后继续遍历下一个属性，直到添加任何属性朴素贝叶斯分类器的准确度都会下降时停止。
本实施例中，当训练后的朴素贝叶斯分类器需要重新其他训练集时，可以将各忆阻器全部reset到初始状态，然后利用其他训练集中的训练样本对该朴素贝叶斯分类器进行训练，使其实现其他分类功能。
本发明实施例中，操作S3之后还包括：获取待分类图片中各像素点的像素值，当第i个像素点的像素值为0时，在第2i-1列忆阻器上施加脉冲，否则，在第2i列忆阻器上施加脉冲；比较朴素贝叶斯分类器中各行忆阻器输出端的电流，最小电流对应行的类型为待分类图片的类型。预测过程中则只需要将待分类图片输入到每一列上，然后同时选中所有行，即在每一行都施加电压0，由此便可并行计算出各个类别的概率值，此时输出电流最小的一行即代表朴素贝叶斯分类器的分类结果。
图4为本发明实施例提供的基于忆阻器的朴素贝叶斯分类器设计系统的框图。参阅图4，该基于忆阻器的朴素贝叶斯分类器设计系统400包括构建模块410、选取及计算模块420以及调制模块430。
构建模块410例如执行操作S1，用于构建包含M行×2N列忆阻器阵列的朴素贝叶斯分类器，M为朴素贝叶斯分类器输出的类型的数量，N为图片中像素点的个数，每一像素点的像素值为0或1。
选取及计算模块420例如执行操作S2，用于从训练样本中选取第j个类型对应的第j训练样本，计算第j训练样本中第i个像素点中像素值为0的个数hj,2i-1和像素值为1的个数hj,2i，j＝1，2，……，M；i＝1，2，……，N。
调制模块430例如执行操作S3，用于在第j行第2i-1列的忆阻器Rj,2i-1上施加hj,2i-1个脉冲以对忆阻器Rj,2i-1的电导进行调制，在第j行第2i列的忆阻器Rj,2i上施加hj,2i个脉冲以对忆阻器Rj,2i的电导进行调制，调制后的朴素贝叶斯分类器用于识别待分类图片的类型。
基于忆阻器的朴素贝叶斯分类器设计系统400用于执行上述图1-图3所示实施例中的基于忆阻器的朴素贝叶斯分类器设计方法。本实施例未尽之细节，请参阅前述图1-图3所示实施例中的基于忆阻器的朴素贝叶斯分类器设计方法，此处不再赘述。
本发明实施例还提供了一种基于忆阻器的朴素贝叶斯分类器，由前述图1-图3所示实施例中的基于忆阻器的朴素贝叶斯分类器设计方法得到，其结构例如图2所示。本实施例未尽之细节，请参阅前述图1-图3所示实施例中的基于忆阻器的朴素贝叶斯分类器设计方法，此处不再赘述。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于忆阻器的朴素贝叶斯分类器设计方法，其特征在于，包括：
S1，构建包含M行×2N列忆阻器阵列的朴素贝叶斯分类器，M为所述朴素贝叶斯分类器输出的类型的数量，N为图片中像素点的个数，每一像素点的像素值为0或1；
S2，从训练样本中选取第j个类型对应的第j训练样本，计算所述第j训练样本中第i个像素点中像素值为0的个数hj,2i-1和像素值为1的个数hj,2i，j＝1，2，……，M，i＝1，2，……，N；
S3，在第j行第2i-1列的忆阻器Rj,2i-1上施加hj,2i-1个脉冲以对所述忆阻器Rj,2i-1的电导进行调制，在第j行第2i列的忆阻器Rj,2i上施加hj,2i个脉冲以对所述忆阻器Rj,2i的电导进行调制，调制后的朴素贝叶斯分类器用于识别待分类图片的类型；
调制过程中，所述忆阻器的电导为：
G＝a×ln(N1)+b
所述忆阻器对应的分类统计计算概率与所述忆阻器的电导满足：
ln P∝-G
其中，G为所述忆阻器的电导，N1为所述忆阻器上施加的脉冲的数量，P为所述忆阻器对应的条件概率值，ln P为所述分类统计计算概率，a为第一拟合参数，b为第二拟合参数；
所述S3之后还包括：
获取所述待分类图片中各像素点的像素值，当第i个像素点的像素值为0时，在第2i-1列忆阻器上施加脉冲，否则，在第2i列忆阻器上施加脉冲；
比较所述朴素贝叶斯分类器中各行忆阻器输出端的电流，最小电流对应行的类型为所述待分类图片的类型。
2.如权利要求1所述的基于忆阻器的朴素贝叶斯分类器设计方法，其特征在于，所述S1包括：
获取所述训练样本中样本类型的数量M，并对所述训练样本进行像素点划分，以将每一训练样本划分为N个像素点；
将所述忆阻器阵列的行数设计为M，并将所述忆阻器阵列的列数设计为2N。
3.如权利要求1所述的基于忆阻器的朴素贝叶斯分类器设计方法，其特征在于，当所述训练样本的数量超出所述忆阻器的电导范围对应的样本数量范围时，所述S2还包括：对hj,2i-1和hj,2i进行等比例缩放，以将各hj,2i-1和hj,2i缩小至所述忆阻器的电导范围对应的样本数量范围；
所述S3中根据hj,2i-1和hj,2i缩小后的结果分别对所述忆阻器Rj,2i-1和所述忆阻器Rj,2i的电导进行调制。
4.如权利要求1所述的基于忆阻器的朴素贝叶斯分类器设计方法，其特征在于，当所述训练样本中新增训练样本时，所述S3之后还包括：
根据新增训练样本的类型j′、新增训练样本中各像素点i的像素值，在调制后的朴素贝叶斯分类器中第j′行第2i-1列或第j′行第2i列的忆阻器上施加脉冲以进行电导调制。
5.如权利要求1所述的基于忆阻器的朴素贝叶斯分类器设计方法，其特征在于，当所述忆阻器阵列的列数存在冗余时，所述S3之后还包括：通过剪枝处理对调制后朴素贝叶斯分类器中各像素点对应的忆阻器列进行优化。
6.如权利要求1-5任一项所述的基于忆阻器的朴素贝叶斯分类器设计方法，其特征在于，所述S3中进行调制之前还包括：将所述忆阻器阵列中各忆阻器的电导初始化为所述忆阻器的最大电导值。
7.一种基于忆阻器的朴素贝叶斯分类器设计系统，其特征在于，包括：
构建模块，用于构建包含M行×2N列忆阻器阵列的朴素贝叶斯分类器，M为所述朴素贝叶斯分类器输出的类型的数量，N为图片中像素点的个数，每一像素点的像素值为0或1；
选取及计算模块，用于从训练样本中选取第j个类型对应的第j训练样本，计算所述第j训练样本中第i个像素点中像素值为0的个数hj,2i-1和像素值为1的个数hj,2i，j＝1，2，……，M，i＝1，2，……，N；
调制模块，用于在第j行第2i-1列的忆阻器Rj,2i-1上施加hj,2i-1个脉冲以对所述忆阻器Rj,2i-1的电导进行调制，在第j行第2i列的忆阻器Rj,2i上施加hj,2i个脉冲以对所述忆阻器Rj,2i的电导进行调制，调制后的朴素贝叶斯分类器用于识别待分类图片的类型；
调制过程中，所述忆阻器的电导为：
G＝a×ln(N1)+b
所述忆阻器对应的分类统计计算概率与所述忆阻器的电导满足：
ln P∝-G
其中，G为所述忆阻器的电导，N1为所述忆阻器上施加的脉冲的数量，P为所述忆阻器对应的条件概率值，ln P为所述分类统计计算概率，a为第一拟合参数，b为第二拟合参数；
识别模块，用于获取所述待分类图片中各像素点的像素值，当第i个像素点的像素值为0时，在第2i-1列忆阻器上施加脉冲，否则，在第2i列忆阻器上施加脉冲；比较所述朴素贝叶斯分类器中各行忆阻器输出端的电流，最小电流对应行的类型为所述待分类图片的类型。
8.一种基于忆阻器的朴素贝叶斯分类器，其特征在于，所述朴素贝叶斯分类器由如权利要求1-6任一项所述的基于忆阻器的朴素贝叶斯分类器设计方法得到。
CN202110403525.XA 2021-04-14 2021-04-14 基于忆阻器的朴素贝叶斯分类器设计方法、系统及分类器 Active CN113191402B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110403525.XA CN113191402B (zh) 2021-04-14 2021-04-14 基于忆阻器的朴素贝叶斯分类器设计方法、系统及分类器
US17/775,591 US20230334824A1 (en) 2021-04-14 2021-05-07 Method and system of designing memristor-based naive bayes classifier and classifier
PCT/CN2021/092106 WO2022217673A1 (zh) 2021-04-14 2021-05-07 基于忆阻器的朴素贝叶斯分类器设计方法、系统及分类器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110403525.XA CN113191402B (zh) 2021-04-14 2021-04-14 基于忆阻器的朴素贝叶斯分类器设计方法、系统及分类器

Publications (2)

Publication Number Publication Date
CN113191402A CN113191402A (zh) 2021-07-30
CN113191402B true CN113191402B (zh) 2022-05-20

Family

ID=76975564

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110403525.XA Active CN113191402B (zh) 2021-04-14 2021-04-14 基于忆阻器的朴素贝叶斯分类器设计方法、系统及分类器

Country Status (3)

Country Link
US (1) US20230334824A1 (zh)
CN (1) CN113191402B (zh)
WO (1) WO2022217673A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436664B (zh) * 2021-08-26 2021-12-14 之江实验室 一种阻变存储单元的电导线性对称调节方法
CN114358146B (zh) * 2021-12-17 2024-09-06 华中科技大学 基于忆阻器的图像特征选择方法及模块、神经网络模型
CN114819128A (zh) * 2022-05-09 2022-07-29 清华大学 基于忆阻器阵列的贝叶斯神经网络的变分推理方法和装置
CN114742218A (zh) * 2022-05-09 2022-07-12 清华大学 基于忆阻器阵列的数据处理方法和数据处理装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015127110A2 (en) * 2014-02-21 2015-08-27 Qualcomm Incorporated Event-based inference and learning for stochastic spiking bayesian networks
CN110956256A (zh) * 2019-12-09 2020-04-03 清华大学 利用忆阻器本征噪声实现贝叶斯神经网络的方法及装置
CN110993004A (zh) * 2019-11-12 2020-04-10 华中科技大学 基于阻变存储阵列的朴素贝叶斯分类方法、引擎及系统
CN112257795A (zh) * 2020-10-28 2021-01-22 重庆邮电大学 一种基于朴素贝叶斯的空间光通信系统非线性补偿方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11100397B2 (en) * 2015-05-21 2021-08-24 Rochester Institute Of Technology Method and apparatus for training memristive learning systems
US11200466B2 (en) * 2015-10-28 2021-12-14 Hewlett-Packard Development Company, L.P. Machine learning classifiers
CN111027619B (zh) * 2019-12-09 2022-03-15 华中科技大学 一种基于忆阻器阵列的K-means分类器及其分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015127110A2 (en) * 2014-02-21 2015-08-27 Qualcomm Incorporated Event-based inference and learning for stochastic spiking bayesian networks
CN110993004A (zh) * 2019-11-12 2020-04-10 华中科技大学 基于阻变存储阵列的朴素贝叶斯分类方法、引擎及系统
CN110956256A (zh) * 2019-12-09 2020-04-03 清华大学 利用忆阻器本征噪声实现贝叶斯神经网络的方法及装置
CN112257795A (zh) * 2020-10-28 2021-01-22 重庆邮电大学 一种基于朴素贝叶斯的空间光通信系统非线性补偿方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Exponential stability analysis for delayed complex-valued memristor-based recurrent neural networks;Zhang, ZY,et al.;《Neural Computing & Applications》;20191231;全文 *

Also Published As

Publication number Publication date
US20230334824A1 (en) 2023-10-19
CN113191402A (zh) 2021-07-30
WO2022217673A1 (zh) 2022-10-20

Similar Documents

Publication Publication Date Title
CN113191402B (zh) 基于忆阻器的朴素贝叶斯分类器设计方法、系统及分类器
US11875249B2 (en) Counter based resistive processing unit for programmable and reconfigurable artificial-neural-networks
US11580411B2 (en) Systems for introducing memristor random telegraph noise in Hopfield neural networks
US10755170B2 (en) Resistive processing unit with hysteretic updates for neural network training
US11087204B2 (en) Resistive processing unit with multiple weight readers
WO2022179533A1 (zh) 一种量子卷积操作器
GB2513105A (en) Signal processing systems
Yu et al. Simple and effective stochastic neural networks
Ernoult et al. Using memristors for robust local learning of hardware restricted Boltzmann machines
Li et al. Energy-based models for continual learning
US20230185998A1 (en) System and method for ai-assisted system design
US20210383497A1 (en) Interpretation Maps with Guaranteed Robustness
CN112633482A (zh) 一种高效宽度图卷积神经网络模型及其训练方法
Einbinder et al. Conformal prediction is robust to label noise
CN112365384B (zh) 目标事件结果指标权重、影响因素值确定方法及相关装置
US11195089B2 (en) Multi-terminal cross-point synaptic device using nanocrystal dot structures
Manousakas et al. Black-box coreset variational inference
US20220180167A1 (en) Memory-augmented neural network system
Song et al. Non-parametric calibration of probabilistic regression
CN114169509A (zh) 概率人工突触单元、1t1r阵列结构及神经网络信息识别方法
Fehérvári et al. Noise tailoring, noise annealing, and external perturbation injection strategies in memristive Hopfield neural networks
KR20220084774A (ko) 시냅스 소자로 구성된 딥러닝 기반 뉴로모픽 신경망을 위한 온칩 학습 시스템
CN112651492A (zh) 一种自连接宽度图卷积神经网络模型及其训练方法
KR102425229B1 (ko) 강화학습 기반의 이미지 공간 변환을 통한 이미지 분류 성능 향상 시스템
McInroe et al. Learning representations for control with hierarchical forward models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant