CN111076770A - 一种传感元件与忆阻器结合的多模态智能传感器 - Google Patents

一种传感元件与忆阻器结合的多模态智能传感器 Download PDF

Info

Publication number
CN111076770A
CN111076770A CN201911248554.2A CN201911248554A CN111076770A CN 111076770 A CN111076770 A CN 111076770A CN 201911248554 A CN201911248554 A CN 201911248554A CN 111076770 A CN111076770 A CN 111076770A
Authority
CN
China
Prior art keywords
memristor
array
sensor
sensing
sensing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911248554.2A
Other languages
English (en)
Inventor
帅垚
潘忻强
王杰军
乔石珺
罗文博
吴传贵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201911248554.2A priority Critical patent/CN111076770A/zh
Publication of CN111076770A publication Critical patent/CN111076770A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass

Abstract

本发明属于电子信息材料与元器件MEMS微细加工领域，具体涉及一种传感元件与忆阻器结合的多模态智能传感器。本发明通过在传感单元阵列中的每一个像素点中集成多种不同的传感单元，从同一角度同时探测不同物理量的分布；将传感单元阵列与忆阻器阵列结合，通过忆阻器阵列来完成人工神经网络的计算，从而在传感器端对传感单元阵列的信号进行初步的智能识别与判断，实现人工智能的功能，从而极大地减少传感器与中央处理器之间的数据传输量和次数，进而减少后续应用的计算时间与能耗，同时使某些由于传输条件的原因无法实现大量多次传感器与中央处理器之间数据传输而无法实现的功能得以实现。

Description

一种传感元件与忆阻器结合的多模态智能传感器
技术领域
本发明属于电子信息材料与元器件MEMS微细加工领域，具体涉及一种传感元件与忆阻器结合的多模态智能传感器。
背景技术
目前在人工智能领域，探测不同信号的传感器被广泛使用。传感器探测到的信号为之后的功能实现提供所需的信息。一些复杂的功能仅仅依靠单一种类的传感器提供的信息是无法完成的，要实现更高级别更复杂的功能必须要依赖多种传感器的信息，但是目前人工智能领域采用的探测不同信号的传感器是分立的，不能从同一个角度同时探测不同的物理量的分布。因此需要可以同时从同一角度同时探测多种模态物理量的分布。
此外，目前传感器的输出全部直接传输到中央处理器中，被在中央处理器中运行的实现特定人工智能功能的程序所利用，而在传感器端无法实现对信号的初步的计算和处理，所有的计算和处理工作都要由中央处理器完成，需要大量并且多次的在传感器与中央处理器之间的数据传输。在很多场景下，传感器是与中央处理器分离的，或者物理空间分布上相距很远，无法或者不便于数据的传输，或者大量的数据传输消耗很长的时间。例如，用于疾病诊疗的进入人体内部的传感器，若需要完成实时的识别功能，传统方法就需要一直不断的将信号通过某种方式传递给位于体外的远程的中央处理器。在类似的场景下，大量并且多次的传输数据会使运算速度减慢，能耗增大。
现有的传感器技术中，传感器端的数据处理不具有识别判断的功能，最终还是会输入到中央处理器进行识别判断；数据在中央处理器和传感器之间的传输成为限制其后期应用时速度和能耗的瓶颈。
发明内容
针对上述存在问题或不足，为解决现有传感器技术中数据处理手段相对简单，无法提升后续应用速度和能耗相对低下的问题，本发明提供了一种传感元件与忆阻器结合的多模态智能传感器，通过将传感器元件与忆阻器结合实现多模态智能传感器。
该传感元件与忆阻器结合的多模态智能传感器，由传感单元阵列和忆阻器阵列组成。
所述传感单元阵列中包括2-100000000个呈阵列排布的像素点，每一个像素点由n个不同类型的传感单元构成，2≤n≤10，各传感单元分别采集相应的信息，并将采集到的信息输入到忆阻器阵列中的输入端；忆阻器阵列中的输入端数量与传感单元的总数量相等，且传感单元与忆阻器阵列的输入端一一对应相连。
传感器阵列中的每一个像素点集成多种不同类型的传感单元，每一个像素点探测到的信息代表这一个像素点区域的传感单元类型的信息，通过这种方式，从同一角度同时获取到该像素点区域各种传感单元类型的信息。在传感器端利用多种传感单元的信号(而不再是单一的信号)，将传感单元阵列与忆阻器阵列结合(实现结构与功能上的集成)，通过忆阻器阵列来完成人工神经网络的计算，从而在传感器端对传感单元阵列的信号进行初步的智能识别与判断，实现人工智能的功能(例如，识别、决策等)。
所述忆阻器阵列中以一个忆阻器单元的电阻值对应于人工神经网络中的一个权重，每一个忆阻器单元的电阻值通过前期训练过程的调整，调整电阻值后忆阻器阵列实现人工神经网络的识别判断功能，即完成训练之后的忆阻器阵列实现人工神经网络的识别判断的功能；当输入上述各像素点信息时，根据当前的输入状况进行分类并输出识别判断的结果；并将识别决策判断的结果输出给中央处理器而不再是将传感单元采集到的信息直接输出给中央处理器。
所述传感单元阵列的像素点阵列规模为A×B，A为1到10000之间的任意整数值，B为1到10000之间的任意整数值，且A和B的值既可以相等也可以不相等。
所述传感单元阵列的像素点上集成的传感单元为压力传感单元、温度传感单元、红外传感单元、光学传感单元、声学传感器或/和磁传感单元。
所述传感器单元阵列的传感单元输出的信号不是电压脉冲信号时，将传感单元的输出信号经过外围电路的信号转换，转换成相应的电压脉冲信号；最终传感单元输入到忆阻器阵列的信号均为电压脉冲信号。
忆阻器是一种新型的电子元件，在外加电压的作用下，其电阻值能够发生相应的变化。基于其最基本的特性，其电阻的可塑性与类似于神经突触的特性也被发现。而且忆阻器本身阻值调节所需的能耗很低，且具有阻值调节速度快、可以实现高密度集成的特点。基于上述特点，忆阻器开始被应用于神经形态计算来实现神经网络的功能。基于上述原因，本发明将忆阻器与传感元件进行结合来完成在传感器端的基于人工神经网络的计算使得传感器变得具有智能。而且基于忆阻器阵列可以进行并行运算，例如，可直接完成基于人工神经网络中所需的向量与矩阵的乘法运算。此外，忆阻器可以直接利用传感器输出的模拟信号来完成其本身的阻值更新，这样就可以省去模拟信号与数字信号之间的来回转换及其相关的电路，从而降低能耗、信号延迟以及片上集成的空间。
本发明通过在传感单元阵列中的每一个像素点中集成多种不同的传感单元，从同一角度同时探测不同物理量的分布；在传感器端利用多种传感元件的信号(而不再是单一的信号)，将传感单元阵列与忆阻器阵列结合(实现结构与功能上的集成)，通过忆阻器阵列来完成人工神经网络的计算，从而在传感器端对传感单元阵列的信号进行初步的智能识别与判断，实现人工智能的功能，从而极大地减少传感器与中央处理器之间的数据传输量和次数，进而减少后续应用的计算时间与能耗，同时使某些由于传输条件的原因无法实现大量多次传感器与中央处理器之间数据传输而无法实现的功能得以实现，充分发挥了忆阻器可以直接利用模拟信号以及其在神经形态计算方面的优势。
在本发明中，不再是将所有的计算工作都在中央处理器中完成，而是在传感器端完成简单的人工神经网络的计算，只将计算的结果输出给中央处理器。相比以往所有计算工作都在中央处理器中完成的情况，本发明大大减少了传感器与中央处理器之间的数据传输量和次数，从而减少计算时间与能耗，也会让某些由于传输条件的原因无法实现大量多次传感器与中央处理器之间数据传输而无法实现的功能得以实现。同时，因为上述计算是基于人工神经网络，所以可以使传感器具备智能特性。
综上所述，本发明实现了从同一角度同时探测不同物理量的分布；并在传感器端结合忆阻器阵列实现人工神经网络计算，使传感器具备智能，减少了计算时间与能耗，同时使某些由于传输条件的原因无法实现大量多次传感器与中央处理器之间数据传输而无法实现的功能得以实现。
附图说明
图1为实施例1的多模态智能传感器结构示意图；
图2为实施例1中的像素点传感单元的信号输入到忆阻器阵列中输入端的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。
通过将传感器元件与忆阻器结合实现的多模态智能传感器，多模态智能传感器由多种传感单元阵列和忆阻器阵列组成。
实施方式1：
多模态智能传感器中的多种传感单元阵列中有36个像素点。每一个像素点由压力传感单元和温度传感单元构成。压力传感单元探测到的压力信息代表这一个像素点区域的压力信息，温度传感单元探测到的温度信息代表这一个像素点区域的温度信息。通过这种方式，从同一角度同时获取到压力分布和温度分布。
将压力和温度分布中的所有像素点的信息(总数量为72)输入到多模态智能传感器中的忆阻器阵列中。
忆阻器阵列中的每一个忆阻器单元对应于人工神经网络中的一个权重，电阻值对应于权重值，通过前期训练过程将忆阻器阵列中忆阻器单元的电阻值进行调整。完成训练之后的忆阻器阵列实现人工神经网络的识别判断的功能，当输入上述像素点信息时，将当前的输入状况分类，并输出识别判断的结果。多模态智能传感器输出决策判断的结果给中央处理器而不再是将传感单元探测到的物理信息直接输出给中央处理器。
在优选的实施方式1的基础之上：
优选地，像素点阵列的规模为A×B，A为1到10000之间的任意整数值，B为1到10000之间的任意整数值，且A和B的值既可以相等也可以不相等。忆阻器阵列的规模为C×D，C的值与A、B的值相匹配构成一一对应的关系，D的值与识别的种类相关，对应于识别种类的数量。
优选地，使用输出电压脉冲信号的传感单元。
优选地，当传感单元输出的信号不是电压脉冲信号时，将传感单元的输出信号经过外围电路的信号转换，转换成相应的电压脉冲信号，作为忆阻器阵列的输入信号。

Claims (4)

1.一种传感元件与忆阻器结合的多模态智能传感器，由传感单元阵列和忆阻器阵列组成，其特征在于：
所述传感单元阵列中包括2-100000000个呈阵列排布的像素点，每一个像素点由n个不同类型的传感单元构成，2≤n≤10，各传感单元分别采集相应的信息，并将采集到的信息输入到忆阻器阵列中的输入端；忆阻器阵列中的输入端数量与传感单元的总数量相等，且传感单元与忆阻器阵列的输入端一一对应相连。
所述忆阻器阵列中以一个忆阻器单元的电阻值对应于人工神经网络中的一个权重，每一个忆阻器单元的电阻值通过前期训练过程的调整，调整电阻值后忆阻器阵列实现人工神经网络的识别判断的功能，即完成训练之后的忆阻器阵列实现人工神经网络的识别判断的功能；当输入上述各像素点信息时，根据当前的输入状况进行分类并输出识别判断的结果；并将识别决策判断的结果输出给中央处理器。
2.如权利要求1所述传感元件与忆阻器结合的多模态智能传感器，其特征在于：所述传感单元阵列的像素点阵列规模为A×B，A为1到10000之间的任意整数值，B为1到10000之间的任意整数值，且A和B的值既可以相等也可以不相等。
3.如权利要求1所述传感元件与忆阻器结合的多模态智能传感器，其特征在于：所述传感单元阵列的像素点上集成的传感单元为压力传感单元、温度传感单元、红外传感单元、光学传感单元、声学传感器或/和磁传感单元。
4.如权利要求1所述传感元件与忆阻器结合的多模态智能传感器，其特征在于：所述传感器单元阵列的传感单元输出的信号不是电压脉冲信号时，将传感单元的输出信号经过外围电路的信号转换，转换成相应的电压脉冲信号；最终传感单元输入到忆阻器阵列的信号均为电压脉冲信号。
CN201911248554.2A 2019-12-09 2019-12-09 一种传感元件与忆阻器结合的多模态智能传感器 Pending CN111076770A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911248554.2A CN111076770A (zh) 2019-12-09 2019-12-09 一种传感元件与忆阻器结合的多模态智能传感器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911248554.2A CN111076770A (zh) 2019-12-09 2019-12-09 一种传感元件与忆阻器结合的多模态智能传感器

Publications (1)

Publication Number Publication Date
CN111076770A true CN111076770A (zh) 2020-04-28

Family

ID=70313370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911248554.2A Pending CN111076770A (zh) 2019-12-09 2019-12-09 一种传感元件与忆阻器结合的多模态智能传感器

Country Status (1)

Country Link
CN (1) CN111076770A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112906185A (zh) * 2021-01-15 2021-06-04 中国兵器工业集团第二一四研究所苏州研发中心 一种基于人工智能的mems惯性传感器异构阵列及其设计方法
CN113052024A (zh) * 2021-03-12 2021-06-29 电子科技大学 一种基于忆阻器与传感器的感存算一体电路结构
CN113465635A (zh) * 2021-06-10 2021-10-01 电子科技大学 一种传感器与神经网络计算单元信号转换的装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011097687A1 (en) * 2010-02-11 2011-08-18 Idatamap Pty Ltd Image matching, data compression and tracking architectures
CN106352927A (zh) * 2016-09-29 2017-01-25 中国科学院重庆绿色智能技术研究院 一种石墨烯分布式多物理量传感器阵列系统
US20170261355A1 (en) * 2014-10-27 2017-09-14 Nokia Technologies Oy Sensing system, method and apparatus
CN109298528A (zh) * 2017-07-25 2019-02-01 脸谱科技有限责任公司 传感器组件和头戴式显示器
CN109325588A (zh) * 2018-11-14 2019-02-12 南京邮电大学 基于忆阻器矩阵的权值运算模块
CN109791119A (zh) * 2016-10-04 2019-05-21 牛津布鲁克斯大学 基于忆阻器的传感器
CN110519538A (zh) * 2019-08-09 2019-11-29 上海集成电路研发中心有限公司 一种基于忆阻器的像元电路和图像传感器

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011097687A1 (en) * 2010-02-11 2011-08-18 Idatamap Pty Ltd Image matching, data compression and tracking architectures
US20170261355A1 (en) * 2014-10-27 2017-09-14 Nokia Technologies Oy Sensing system, method and apparatus
CN106352927A (zh) * 2016-09-29 2017-01-25 中国科学院重庆绿色智能技术研究院 一种石墨烯分布式多物理量传感器阵列系统
CN109791119A (zh) * 2016-10-04 2019-05-21 牛津布鲁克斯大学 基于忆阻器的传感器
CN109298528A (zh) * 2017-07-25 2019-02-01 脸谱科技有限责任公司 传感器组件和头戴式显示器
CN109325588A (zh) * 2018-11-14 2019-02-12 南京邮电大学 基于忆阻器矩阵的权值运算模块
CN110519538A (zh) * 2019-08-09 2019-11-29 上海集成电路研发中心有限公司 一种基于忆阻器的像元电路和图像传感器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MAX M. SHULAKER 等: "Three-dimensional integration of nanotechnologies", 《NATURE》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112906185A (zh) * 2021-01-15 2021-06-04 中国兵器工业集团第二一四研究所苏州研发中心 一种基于人工智能的mems惯性传感器异构阵列及其设计方法
CN112906185B (zh) * 2021-01-15 2024-04-30 中国兵器工业集团第二一四研究所苏州研发中心 一种基于人工智能的mems惯性传感器异构阵列及其设计方法
CN113052024A (zh) * 2021-03-12 2021-06-29 电子科技大学 一种基于忆阻器与传感器的感存算一体电路结构
CN113052024B (zh) * 2021-03-12 2022-08-23 电子科技大学 一种基于忆阻器与传感器的感存算一体电路结构
CN113465635A (zh) * 2021-06-10 2021-10-01 电子科技大学 一种传感器与神经网络计算单元信号转换的装置

Similar Documents

Publication Publication Date Title
CN111076770A (zh) 一种传感元件与忆阻器结合的多模态智能传感器
CN109902832B (zh) 机器学习模型的训练方法、异常预测方法及相关装置
CN109816026B (zh) 卷积神经网络和脉冲神经网络的融合装置及方法
CN110751067B (zh) 一种结合生物形态神经元模型的动态表情识别方法
CN107808212B (zh) 基于灰色神经网络的太阳能收集功率预测方法
CN111444947B (zh) 一种桥梁沉降智能检测系统
KR102618546B1 (ko) 2차원 어레이 기반 뉴로모픽 프로세서 및 그 동작 방법
CN111340194B (zh) 脉冲卷积神经网络神经形态硬件及其图像识别方法
CN113313240A (zh) 计算设备及电子设备
Zhang et al. Spiking echo state convolutional neural network for robust time series classification
CN108304926A (zh) 一种适用于神经网络的池化计算装置及方法
CN113158869A (zh) 图像识别方法、装置、终端设备及计算机可读存储介质
JP4931311B2 (ja) ニューラルネットワーク素子
Tanaka et al. Hardware implementation of brain-inspired amygdala model
CN114091652A (zh) 脉冲神经网络模型训练方法、处理芯片以及电子设备
CN109977470B (zh) 忆阻Hopfield神经网络稀疏编码的电路及其操作方法
CN109542513B (zh) 一种卷积神经网络指令数据存储系统及方法
CN114861902A (zh) 处理单元及其操作方法、计算芯片
CN110111234B (zh) 一种基于神经网络的图像处理系统架构
CN212004480U (zh) 阀门的控制设备及控制系统
Alea et al. Power-Efficient and Accurate Texture Sensing Using Spiking Readouts for High-Density e-Skins
EP1403745A3 (en) Off-line diagnosis system
US20180300612A1 (en) Neuromorphic device and a synapse network including a post-synaptic neuron having a subtracting circuit
CN116663632B (zh) 感存算一体智能感知系统
Zhang et al. Digital recognition based on neural network and FPGA implementation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200428

RJ01 Rejection of invention patent application after publication