CN117456577B - 基于光脉冲神经网络实现表情识别的系统及方法 - Google Patents
基于光脉冲神经网络实现表情识别的系统及方法 Download PDFInfo
- Publication number
- CN117456577B CN117456577B CN202311417387.6A CN202311417387A CN117456577B CN 117456577 B CN117456577 B CN 117456577B CN 202311417387 A CN202311417387 A CN 202311417387A CN 117456577 B CN117456577 B CN 117456577B
- Authority
- CN
- China
- Prior art keywords
- neuron
- neurons
- rectangular
- signals
- optical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 95
- 230000014509 gene expression Effects 0.000 title claims abstract description 72
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 title claims abstract description 16
- 210000002569 neuron Anatomy 0.000 claims abstract description 115
- 239000006096 absorbing agent Substances 0.000 claims abstract description 24
- 229920006395 saturated elastomer Polymers 0.000 claims abstract description 22
- 230000010287 polarization Effects 0.000 claims description 21
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 238000010521 absorption reaction Methods 0.000 claims description 9
- 238000002347 injection Methods 0.000 claims description 5
- 239000007924 injection Substances 0.000 claims description 5
- 238000003491 array Methods 0.000 claims description 4
- 239000013307 optical fiber Substances 0.000 claims description 4
- 210000005215 presynaptic neuron Anatomy 0.000 claims description 4
- 239000000969 carrier Substances 0.000 claims description 2
- 230000008878 coupling Effects 0.000 claims description 2
- 238000010168 coupling process Methods 0.000 claims description 2
- 238000005859 coupling reaction Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 claims description 2
- 230000002269 spontaneous effect Effects 0.000 claims description 2
- 230000005855 radiation Effects 0.000 claims 1
- 238000005265 energy consumption Methods 0.000 abstract description 14
- 238000004519 manufacturing process Methods 0.000 abstract 1
- 238000004364 calculation method Methods 0.000 description 30
- 239000004065 semiconductor Substances 0.000 description 14
- 210000005036 nerve Anatomy 0.000 description 9
- 230000010354 integration Effects 0.000 description 6
- 230000001242 postsynaptic effect Effects 0.000 description 5
- 210000000225 synapse Anatomy 0.000 description 5
- 230000003518 presynaptic effect Effects 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 3
- 238000012421 spiking Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000000284 resting effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/067—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means
- G06N3/0675—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means using electro-optical, acousto-optical or opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Neurology (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Semiconductor Lasers (AREA)
- Photometry And Measurement Of Optical Pulse Characteristics (AREA)
Abstract
本发明属于神经网络技术领域，涉及一种基于光脉冲神经网络实现表情识别的系统和方法，所述系统包括：输入编码单元、前神经元输出单元、权重连接单元、后神经元输出单元；本发明使用内置饱和吸收体的垂直腔面发射激光器作为光子神经元，并用多个光子神经元构成光脉冲神经网络；输入编码单元负责对待识别信息进行光脉冲编码并注入到前神经元；前神经元的输出通过可调光衰减器与后神经元连接，可调光衰减器负责调节前神经元和后神经元之间的连接权重，后神经元的输出用来表示表情识别的结果；具有内置饱和吸收体的垂直腔面发射激光器有和生物神经元类似的输出特性，且具有制作成本低、能耗低、运行速度快等优点，该光脉冲神经网络能够以极低的能耗和极快的速度正确地识别四种表情。
Description
技术领域
本发明属于神经网络技术领域，具体涉及一种基于半导体激光器的光脉冲神经网络实现表情识别的系统及方法，其中包括神经形态光子计算和使用有监督算法的尖峰神经网络。
背景技术
神经形态计算启发于人脑计算方式，在神经形态计算中，信息以尖峰的形式传递。在神经形态计算中，神经元接收来自其它神经元的尖峰刺激信号，然后将尖峰信号相加、整合，如果接收到的信号超过神经元尖峰发放阈值，神经元会发放一个尖峰，否则不发放尖峰即处于静息状态。神经元之间通过突触连接，突触可以调节神经元之间连接的权重，以此决定是否发放尖峰。由于只在发放尖峰的时候有能量损耗，在静息状态下无能量消耗，故神经形态计算具有很高的能量效率。
传统计算机使用的是电学平台，然而由于电学平台使用的是冯诺依曼结构，数据在计算单元和存储单元传输会有大量能量消耗。故急需一种新的计算方式解决能量消耗过大的问题。光子平台具有计算速度快、能量消耗低、高带宽、低串扰等优点，在光子平台上进行神经形态计算可以结合光学和生物神经元的优点，有望实现更高性能、更低能耗的计算方式。半导体激光器具有结构简单、能耗低、易于集成等优点。垂直腔面发射激光器作为半导体激光器的一种，具有体积小、易二维集成、动力学特性丰富的特点，并且其在特定的工作条件下可以展现类神经元特性，能够接收信号，整合信号，发出信号，信号能够以光脉冲尖峰的形式传递，并且和生物神经元一样具有阈值特性。
在生物神经元中，突触前后尖峰信号之间具有时间关联性。尖峰时间依赖性可塑性是一种由突触前和突触后神经元尖峰之间紧密的时间相关性诱导的时间不对称Hebbian学习。突触后动作电位前的突触前峰反复到达导致突触的增强,而突触后峰反复到达导致突触的抑制。突触的变化被称为尖峰时间依赖性可塑性功能或学习窗口,是突触前和突触后动作电位相对时间的函数。
在表情识别任务中，神经形态计算特有的高能量效率可以使得光神经形态计算的能耗大大降低。且神经形态计算借鉴人脑计算方式，有利于进一步探索人脑计算的奥秘，并使得系统计算能力不断增强。目前基于光子平台的相关算法还未能充分发挥出光子平台的优势且应用场景还有待进一步拓展。传统神经网络的有监督算法不能有效地利用光学平台中数据的时空信息，故需要更加适合光神经形态计算的算法。本申请使用的光神经形态计算方法结合了空间信息(不同神经元)和时间信息(尖峰发放时间)，能够在空间和时间尺度上表示信息，使得信息的特征更丰富。由于光速很快，所以光神经形态计算具有极快的计算和传输速度。目前基于光子平台的神经网络大多执行的是一些简单任务，比如模式识别，所以本专利进一步的探索光神经形态计算的应用场景，进行表情识别任务，且具有较低能耗和极快计算速度，使光神经形态计算拓展到图像识别，人脸识别等领域，有利于以后大规模硬件实施光计算，和进一步拓宽光神经形态计算的应用场景，比如图像识别，自动驾驶等。
发明内容
本发明要解决的技术问题是实现一种计算速度快，能耗低的能够进行神经形态光子计算并实现表情识别的系统。
为了解决上述问题，本发明提供了一种基于光脉冲神经网络实现表情识别的系统，该系统包括：输入编码单元、前神经元单元、权重连接单元和后神经元单元，其中，
输入编码单元，将待识别表情图像的像素点编码成矩形光脉冲信号；
前神经元单元，包括12个前神经元，前神经元为第一内置饱和吸收体的垂直腔面发射激光器阵列，所述前神经元将所述输入编码单元注入的矩形光脉冲信号转化成激光尖峰信号；
权重连接单元，包括12个第二可调节光衰减器，所述12个前神经元采用全连接的方式通过12个所述第二可调节光衰减器连接到4个后神经元，其中每个前神经元与每个后神经元的连接权值使用有监督算法计算，有监督算法在计算机上训练完成后，连接权重通过有监督算法迭代更新，将训练后的连接权重映射到第二可调节光衰减器上；
后神经元单元，包括4个后神经元，后神经元为第二内置饱和吸收体的垂直腔面发射激光器阵列，4个后神经元接收来自所述权重连接单元输出的加权激光尖峰信号，并产生表情识别最终结果。
作为本发明的优选方案，所述输入编码单元包括可调谐激光器、第一偏振控制器、任意波形发生器以及马赫-曾德尔调制器，用可调谐激光器产生12路光强度相同的连续激光，通过第一偏振控制器调节其偏振度，并输入到马赫-曾德尔调制器；将待识别表情图像的像素点信号调制到任意波形发生器上，任意波形发生器的调制信号加载到马赫-曾德尔调制器上。
作为本发明的优选方案，所述马赫-曾德尔调制器输出的矩形光脉冲信号通过掺铒光纤放大器放大到第一可调节光衰减器，所述第一可调节光衰减器输出的矩形光脉冲信号通过第一光耦合器将矩形光脉冲信号分为两路：一路矩形光脉冲信号通过第一光电探测器传输到第一示波器上；另一路矩形光脉冲信号传输到前神经元单元。
作为本发明的优选方案，所述的第一光耦合器输出的矩形光脉冲信号通过第二偏振控制器调节其偏振度传输到第一内置饱和吸收体的垂直腔面发射激光器阵列，并将矩形光脉冲信号转化成激光尖峰信号。
作为本发明的优选方案，12个第二可调节光衰减器输出的加权激光尖峰信号通过第二光耦合器分为两路加权激光尖峰信号，一路加权激光尖峰信号通过第二光电探测器输入到第二示波器上；另一路加权激光尖峰信号注入4个后神经元。
作为本发明的优选方案，所述的4个后神经元输出信号通过第三光电探测器输入到第三示波器上。
应用所述的基于光脉冲神经网络实现表情识别的系统实现表情识别的方法，该方法包括以下步骤：
(1)、将待识别表情图像的黑白像素点编码成矩形光脉冲信号的步骤；
(2)、调节编码形成的矩形光脉冲信号强度的步骤；
(3)、调整矩形光脉冲信号偏振度的步骤；
(4)、将调整后的矩形光脉冲信号输入所述的前神经元，并将输入的矩形光脉冲信号转换为激光尖峰信号的步骤；
(5)、通过所述的第二可调节光衰减器调节从所述前神经元输出到所述后神经元的激光尖峰信号的权重，并通过施加在第二可调节光衰减器上的有监督算法计算权重值大小的步骤；
(6)、通过所述后神经元将加权后的前神经元输出转化为最终的识别输出结果的步骤。
作为本发明的优选方案，将待识别表情中的黑白像素点编码成矩形光脉冲信号的具体操作过程：用可调谐激光器产生12路光强度相同的连续激光，通过第一偏振控制器调节其偏振度，并注入到马赫-曾德尔调制器，将像素点信号调制到任意波形发生器上，每一个黑色像素点对应一个强度为正的固定的矩形脉冲电信号，任意波形发生器的调制信号加载到马赫-曾德尔调制器上，该强度调制的光注入信号让突触前神经元产生一个尖峰，白色像素点对应强度较低的脉冲电信号，该强度调制的光注入信号不能让前神经元产生一个尖峰，每个像素点对应的脉冲电信号持续时间为1纳秒，且开始时间相同，连续激光经任意波形发生器调制后，黑色像素点会对应一个矩形光脉冲信号，白色像素点无脉冲光信号。
作为本发明的优选方案，所述的表情识别成功的条件为第几个后神经元有尖峰输出代表识别出第几个表情，每一个后神经元输出4个尖峰，对应表情中的4个部分，只有正确的后神经元发出尖峰，且尖峰数目为4个，表情识别才算成功。
有益效果：
本发明基于光脉冲神经网络实现表情识别的系统基于内置饱和吸收体的垂直腔面发射激光器，垂直腔面发射激光器具有类神经元的输出特性，可作为光子神经元，并且具有能耗低，计算速度快的优点，使用内置饱和吸收体的垂直腔面发射激光器进行光神经形态计算可大大提高计算速度，并减少计算能耗。
本发明使用的全连接结构来连接前后神经元，结构简单，计算方便且快速，能够以极低的能耗快速计算。
其次，内置饱和吸收体的垂直腔面发射激光器具有体积小、结构简单、成本低、易于集成等的优点。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，可依照说明书的内容予以实施，并且为了让本发明的其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。
附图说明
图1是本发明优选实施例中基于半导体激光器的光脉冲神经网络实现表情识别的系统的示意图；
图2为本发明中优选实施例中基于半导体激光器的光脉冲神经网络实现表情识别的待识别的4种表情；
图3为本发明中优选实施例中基于半导体激光器的光脉冲神经网络实现表情识别的每个表情待识别的4个部分。
图4为本发明中优选实施例中基于半导体激光器的光脉冲神经网络实现表情识别的系统光子神经元在不同强度矩形光脉冲下的输出；
图5为本发明中优选实施例中基于半导体激光器的光脉冲神经网络实现表情识别系统在输入4种表情下的4种输出结果；
标记说明：1、可调谐激光器；2、第一偏振控制器；3、马赫-曾德尔调制器；4、任意波形发生器；5、掺铒光纤放大器；6、第一可调节光衰减器；7、第一光耦合器；8、第一光电探测器；9、第一示波器；10、第二偏振控制器；11、第一内置饱和吸收体的垂直腔面发射激光器阵列；12、第二可调节光衰减器；13、第二光耦合器；14、第二光电探测器；15、第二示波器；16、第二内置饱和吸收体的垂直腔面发射激光器阵列；17、第三光电探测器；18、第三示波器。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
如图1、图2所示，为本发明优选实施例中的基于半导体激光器的光脉冲神经网络实现表情识别的系统，包括：
输入编码单元，用于将待识别表情图像的像素点信号编码成矩形光脉冲信号，该单元包括可调谐激光器1，第一偏振控制器2，马赫-曾德尔调制器3，任意波形发生器4，用可调谐激光器1产生12路光强度相同的连续激光，通过第一偏振控制器2调节其偏振度，并输入到马赫-曾德尔调制器3；将待识别表情图像的像素点信号调制到任意波形发生器4上，任意波形发生器4的调制信号加载到马赫-曾德尔调制器3上，以实现将待识别表情图像的像素点信号编码成矩形光脉冲信号。
该单元还包括掺铒光纤放大器5和可调节光衰减器6，所述马赫-曾德尔调制器3输出的矩形光脉冲信号通过掺铒光纤放大器5放大到第一可调节光衰减器6上，以负责调节矩形光脉冲信号强度，并用第一光电探测器8将光信号转化为电信号，用第一示波器9观察；
前神经元单元，包括第一内置饱和吸收体的垂直腔面发射激光器阵列11，与所述输入编码单元连接，接收不同强度的矩形光脉冲信号，并由前神经元处理转换为激光尖峰信号；
权重连接单元，包括第二可调节光衰减器12，前神经元的输出通过第二可调节衰减器12连接到后神经元，其中每个前神经元与每个后神经元的连接权值使用结合Tempotron和STDP的有监督算法计算，第二光电探测器14和第二示波器15负责观察加权后的前神经元输出；
后神经元单元，包括第二内置饱和吸收体的垂直腔面发射激光器阵列16、第三光电探测器17和第三示波器18，后神经元输出的尖峰，由第三光电探测器17转换，并在第三示波器18上显示结果；
通过调节输入矩形光脉冲信号的强度对黑白像素点进行编码，在时间段上分为4个时间点，每一个时间点对应表情中的一个部分，一共4个部分，每一个部分有12个像素点，对应12个前神经元。
其中，内置饱和吸收体的垂直腔面发射激光器是一种半导体激光器，于边射型激光器不同的是，其光从垂直于衬底的方向发出，故具有易于集成的特点，且其具有体积小，成本简单的特点，更为重要的是，其输出具有类神经元特性，能够模拟神经元发出尖峰，并且具有整合特性和阈值特性，故可作为光子神经元。
本发明基于半导体激光器的光脉冲神经网络实现表情识别的系统基于内置饱和吸收体的垂直腔面发射激光器，垂直腔面发射激光器具有类神经元的输出特性，可作为光子神经元，并且具有能耗低，计算速度快的优点，使用内置饱和吸收体的垂直腔面发射激光器进行光神经形态计算可大大提高计算速度，并减少计算能耗。
本发明使用的全连接结构来连接前后神经元，结构简单，计算方便且快速，能够以极低的能耗快速计算。其次，内置饱和吸收体的垂直腔面发射激光器具有体积小、结构简单、成本低、易于集成等的优点。
在一些实施例中，所述前神经元单元包括第一内置饱和吸收体的垂直腔面发射激光器阵列11，负责将调节好的矩形光脉冲信号转换为激光尖峰信号，从而进行神经形态计算。
在一些实施例中，所述权重连接单元包括第二可调节光衰减器12，负责加权前神经元的激光尖峰信号，用第二光电探测器14将光信号转化电信号，并用第二示波器15观察，用于展示加权后的尖峰结果。
在一些实施例中，所述后神经元单元还包括第二内置饱和吸收体的垂直腔面发射激光器阵列16，负责将加权后的尖峰信号转化为最后的尖峰结果。
在一些实施例中，所述后神经元输出单元还包括第三光电探测器17和第三示波器18，用第三光电探测器17将光信号转化为电信号，并用第三示波器18展示最终结果。
本发明优选实施例还公开了一种基于半导体激光器的光脉冲神经网络实现表情识别的方法，应用于上述实施例中所述的基于半导体激光器的光脉冲神经网络实现表情识别的系统，其包括以下步骤：
通过所述输入编码单元产生不同强度的矩形光脉冲信号，强度较高的矩形光脉冲对应黑色像素点，强度较低的对应白色像素点；
通过掺铒光纤放大器5对矩形光脉冲信号的放大和第一可调节光衰减器6对光功率的调整来调节矩形脉冲强度；
通过所述前神经元单元将矩形脉冲信号转换为激光尖峰信号，从而进行神经形态计算；
通过所述权重连接单元将前神经元的输出通过第二可调节衰减器12连接到后神经元，其中每个前神经元与每个后神经元的连接权值使用结合Tempotron和STDP的有监督算法计算，其中，有监督的计算方法在计算机上进行计算，12个前神经和4个后神经元以全连接的方式连接，连接权重通过有监督算法迭代更新，将训练后的连接权重映射到可调节衰减器上，较大的权值对应较小的光衰减功率；
通过所述后神经元单元将加权后的激光尖峰信号转换为最终的尖峰输出结果，且在时间尺度上的4个时间点对应表情4个部分。
通过第三光电探测器和示波器观察最终的表情识别结果；
通过对表情像素点编码，以及观察后神经元的不同尖峰来表现识别结果，包括：
将待识别的表情分为4个部分，由虚线框标出，用4个不同时间的输入来编码4个部分，每一个部分包含12个像素点，分别跟前神经元中12个神经元对应，黑色像素点使用较高强度的矩形光脉冲编码，白色像素点使用较低强度的矩形光脉冲编码，第几个后神经元有尖峰输出代表识别出第几个表情，每一个后神经元输出4个尖峰，对应表情中的4个部分，只有正确的后神经元发出尖峰，且尖峰数目为4个，表情识别才算成功。
以待识别的第一个表情为例，其放大图为图3，由于不同的表情的区别在于图3中的4个虚线框中，故只需识别4个虚线框中的像素点。每个窗口的12个像素点信号加载到任意波形发生器上，每个像素点会对应一个矩形脉冲电信号(黑色像素点对应的强度比白色高)，持续时间为1ns，且一个虚线框中的脉冲开始时间相同，并将任意波形发生器的信号加载到马赫-曾德尔调制器上，以调制可调谐激光器发出的连续波激光，从而产生矩形编码光脉冲。一个虚线框中12个像素点的矩形编码光脉冲分别注入到12个前神经元，每一个虚线框对应一个时间窗口，第一个虚线框中的所有像素点对应的光脉冲注入时间为6ns，第二个虚线框都是10ns，第三，四虚线框对应光脉冲开始时间分别为14ns，18ns。黑色像素点对应的矩形光脉冲信号会使神经元有尖峰输出，白色则无。然后得到前神经元的输出，并将前神经元的输出通过光衰减器连接到后神经元(连接权重在计算机上用相应的有监督算法计算)。当识别第一个表情时，第一部分的像素点的编码信号会使第一个后神经元的第一个时间窗口发出尖峰，且其余后神经元的第一个时间窗口不发出尖峰。同理，二、三、四部分使得第一个后神经元的二、三、四时间窗口发出尖峰，而其它神经元相应的时间窗口不发出尖峰，这样就实现了对第一个表情的识别，如图5所示。
本发明所使用的内置饱和吸收体的垂直腔面发射激光器速率方程如下：
其中，下标a和s分别代表有源区和吸收区，Si,o代表腔内光子浓度，na和ns分别代表有源区和吸收区的载流子,τa,τs分别是有源区和吸收区的载流子寿命，τph是激光器载流子寿命,β是自发辐射耦合因子，Br为双分子复合项,ga、gs分别是微分增益和损耗，Φpre,i代表前神经元接收的矩形光脉冲信号，Φpost,o代表后神经元接收的加权后的信号，kei是矩形脉冲强度，τi、Δτ分别是矩形脉冲中心时间和持续时间，Ia、Is分别是有源区和吸收区的偏置电流。e是电子电荷，大小为1.6×10-19C,腔体积Va,s＝2.4×10-18m3,普朗克常量h＝6.63×1034j·s，光速c＝3×108m/s,前后神经元波长分别为λi＝845.58nm,λo＝845.57nm,Γa、Γs分别为有源区限制因子和吸收区限制因子。
仿真中各参数取值为：Γa＝0.06，Γs＝0.05，τa＝1ns,τs＝100ps,τph＝4.8ps，β＝1×10-4，Br＝10×10-16m3s-1,ga＝2.9×10-12m3s-1，gs＝14.5×10-12m3s-1，Δτ＝1ns,Ia＝2mA，Is＝0mA。
图2是待识别的4种表情，黑色像素点用较强的矩形光脉冲编码，白色像素点用较弱的矩形光脉冲编码。
图3将图像划分为4部分，由于每幅图像的不同之处只存在于虚线框包含的地方，故只编码虚线框包围的部分并进行识别，四个部分对应4个时间点，每一个部分的十二个像素点分别由12个前神经元编码。
图4是光子神经元的编码特性，可以看到当注入的矩形光脉冲的强度逐渐变大时，其输出的尖峰强度会逐渐变高，并且尖峰发放的时间也会越快，白色像素点用最左边的矩形脉冲编码，黑色像素点用最右边的矩形脉冲编码。
图5是表情识别的结果，第几个后神经元发出尖峰代表识别的是第几个表情，在每一个后神经元输出中，第几个尖峰代表识别该表情的第几个部分。
以上实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。
Claims (10)
1.基于光脉冲神经网络实现表情识别的系统，其特征在于，该系统包括：输入编码单元、前神经元单元、权重连接单元和后神经元单元，其中，
输入编码单元，将待识别表情图像的像素点编码成矩形光脉冲信号；
前神经元单元，包括12个前神经元，前神经元为第一内置饱和吸收体的垂直腔面发射激光器阵列，所述前神经元将所述输入编码单元注入的矩形光脉冲信号转化成激光尖峰信号；
权重连接单元，包括12个第二可调节光衰减器，所述12个前神经元采用全连接的方式通过12个所述第二可调节光衰减器连接到4个后神经元，其中每个前神经元与每个后神经元的连接权值使用有监督算法计算，有监督算法在计算机上训练完成后，连接权重通过有监督算法迭代更新，将训练后的连接权重映射到第二可调节光衰减器上；
后神经元单元，包括4个后神经元，后神经元为第二内置饱和吸收体的垂直腔面发射激光器阵列，4个后神经元接收来自所述权重连接单元输出的加权激光尖峰信号，并产生表情识别最终结果。
2.依据权利要求1所述的基于光脉冲神经网络实现表情识别的系统，其特征在于，所述输入编码单元包括可调谐激光器、第一偏振控制器、任意波形发生器以及马赫-曾德尔调制器，用可调谐激光器产生至少2路光强度相同的连续激光，通过第一偏振控制器调节其偏振度，并输入到马赫-曾德尔调制器；将待识别表情图像的像素点信号调制到任意波形发生器上，任意波形发生器的调制信号加载到马赫-曾德尔调制器上。
3.依据权利要求2所述的基于光脉冲神经网络实现表情识别的系统，其特征在于，所述马赫-曾德尔调制器输出的矩形光脉冲信号通过掺铒光纤放大器放大到第一可调节光衰减器，所述第一可调节光衰减器输出的矩形光脉冲信号通过第一光耦合器将矩形光脉冲信号分为两路：一路矩形光脉冲信号通过第一光电探测器传输到第一示波器上；另一路矩形光脉冲信号传输到前神经元单元。
4.依据权利要求3所述的基于光脉冲神经网络实现表情识别的系统，其特征在于，所述的第一光耦合器输出的矩形光脉冲信号通过第二偏振控制器调节其偏振度传输到第一内置饱和吸收体的垂直腔面发射激光器阵列，并将矩形光脉冲信号转化成激光尖峰信号。
5.依据权利要求1所述的基于光脉冲神经网络实现表情识别的系统，其特征在于，12个第二可调节光衰减器输出的加权激光尖峰信号通过第二光耦合器分为两路加权激光尖峰信号，一路加权激光尖峰信号通过第二光电探测器输入到第二示波器上；另一路加权激光尖峰信号注入4个后神经元。
6.依据权利要求5所述的基于光脉冲神经网络实现表情识别的系统，其特征在于，所述的4个后神经元输出信号通过第三光电探测器输入到第三示波器上。
7.应用权利要求1所述的基于光脉冲神经网络实现表情识别的系统实现表情识别的方法，其特征在于，该方法包括以下步骤：
(1)、将待识别表情图像的黑白像素点编码成矩形光脉冲信号的步骤；
(2)、调节编码形成的矩形光脉冲信号强度的步骤；
(3)、调整矩形光脉冲信号偏振度的步骤；
(4)、将调整后的矩形光脉冲信号输入所述前神经元，并将输入的矩形光脉冲信号转换为激光尖峰信号的步骤；
(5)、通过所述的第二可调节光衰减器调节从所述前神经元输出到所述后神经元的激光尖峰信号的权重，并通过施加在第二可调节光衰减器上的有监督算法计算权重值大小的步骤；
(6)、通过所述后神经元将加权后的前神经元输出转化为最终的识别输出结果，且在时间尺度上的4个时间点对应表情4个部分的步骤。
8.依据权利要求7所述的实现表情识别的方法，其特征在于，将待识别表情中的黑白像素点编码成矩形光脉冲信号的具体操作过程：用可调谐激光器产生12路光强度相同的连续激光，通过第一偏振控制器调节其偏振度，并注入到马赫-曾德尔调制器，将像素点信号调制到任意波形发生器上，每一个黑色像素点对应一个强度为正的固定的矩形脉冲电信号，任意波形发生器的调制信号加载到马赫-曾德尔调制器上，该强度调制的光注入信号让突触前神经元产生一个尖峰，白色像素点对应强度较低的脉冲电信号，该强度调制的光注入信号不能让前神经元产生一个尖峰，每个像素点对应的脉冲电信号持续时间为1纳秒，且开始时间相同，连续激光经任意波形发生器调制后，黑色像素点会对应一个矩形光脉冲信号，白色像素点无脉冲光信号。
9.依据权利要求7所述的实现表情识别的方法，其特征在于，通过对表情像素点编码，以及观察后神经元的不同尖峰来表现识别结果，包括：将待识别的表情分为4个部分，由虚线框标出，用4个不同时间的输入来编码4个部分，每一个部分包含12个像素点，分别跟前神经元中12个前神经元对应，黑色像素点使用较高强度的矩形光脉冲编码，白色像素点使用较低强度的矩形光脉冲编码，第几个后神经元有尖峰输出代表识别出第几个表情，每一个后神经元输出4个尖峰，对应表情中的4个部分，只有正确的后神经元发出尖峰，且尖峰数目为4个，表情识别才算成功。
10.依据权利要求7所述的实现表情识别的方法，其特征在于，该方法所使用的内置饱和吸收体的垂直腔面发射激光器速率方程如下：
其中，下标a和s分别代表有源区和吸收区，Si,o代表腔内光子浓度，na和ns分别代表有源区和吸收区的载流子,τa,τs分别是有源区和吸收区的载流子寿命，τph是激光器载流子寿命,β是自发辐射耦合因子，Br为双分子复合项,ga、gs分别是微分增益和损耗，Φpre,i代表前神经元接收的矩形光脉冲信号，Φpost,o代表后神经元接收的加权后的信号，kei是矩形脉冲强度，τi、Δτ分别是矩形脉冲中心时间和持续时间，Ia、Is分别是有源区和吸收区的偏置电流，e是电子电荷，大小为1.6×10-19C,腔体积Va,s＝2.4×10-18m3,普朗克常量h＝6.63×1034j·s，光速c＝3×108m/s,前后神经元波长分别为λi＝845.58nm,λo＝845.57nm,Γa、Γs分别为有源区限制因子和吸收区限制因子。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311417387.6A CN117456577B (zh) | 2023-10-30 | 2023-10-30 | 基于光脉冲神经网络实现表情识别的系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311417387.6A CN117456577B (zh) | 2023-10-30 | 2023-10-30 | 基于光脉冲神经网络实现表情识别的系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117456577A CN117456577A (zh) | 2024-01-26 |
| CN117456577B true CN117456577B (zh) | 2024-04-26 |
Family
ID=89588696
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311417387.6A Active CN117456577B (zh) | 2023-10-30 | 2023-10-30 | 基于光脉冲神经网络实现表情识别的系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117456577B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108985447A (zh) * | 2018-06-15 | 2018-12-11 | 华中科技大学 | 一种硬件脉冲神经网络系统 |
| CN110751067A (zh) * | 2019-10-08 | 2020-02-04 | 艾特城信息科技有限公司 | 一种结合生物形态神经元模型的动态表情识别方法 |
| CN114118383A (zh) * | 2021-12-09 | 2022-03-01 | 之江实验室 | 基于多突触可塑性脉冲神经网络快速记忆编码方法和装置 |
| CN114266351A (zh) * | 2021-12-15 | 2022-04-01 | 南京大学 | 基于无监督学习时间编码的脉冲神经网络训练方法及系统 |
| CN115984942A (zh) * | 2023-02-08 | 2023-04-18 | 金陵科技学院 | 基于脉冲神经网络的人脸表情识别方法、存储介质及设备 |
| CN116029343A (zh) * | 2022-12-21 | 2023-04-28 | 西安电子科技大学 | 基于mrr和相变材料的光子脉冲神经网络实现方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220044100A1 (en) * | 2019-07-31 | 2022-02-10 | The Regents Of The University Of California | Parallel architectures for nanophotonic computing |
-
2023
- 2023-10-30 CN CN202311417387.6A patent/CN117456577B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108985447A (zh) * | 2018-06-15 | 2018-12-11 | 华中科技大学 | 一种硬件脉冲神经网络系统 |
| CN110751067A (zh) * | 2019-10-08 | 2020-02-04 | 艾特城信息科技有限公司 | 一种结合生物形态神经元模型的动态表情识别方法 |
| CN114118383A (zh) * | 2021-12-09 | 2022-03-01 | 之江实验室 | 基于多突触可塑性脉冲神经网络快速记忆编码方法和装置 |
| CN114266351A (zh) * | 2021-12-15 | 2022-04-01 | 南京大学 | 基于无监督学习时间编码的脉冲神经网络训练方法及系统 |
| CN116029343A (zh) * | 2022-12-21 | 2023-04-28 | 西安电子科技大学 | 基于mrr和相变材料的光子脉冲神经网络实现方法 |
| CN115984942A (zh) * | 2023-02-08 | 2023-04-18 | 金陵科技学院 | 基于脉冲神经网络的人脸表情识别方法、存储介质及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117456577A (zh) | 2024-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xiang et al. | Computing primitive of fully VCSEL-based all-optical spiking neural network for supervised learning and pattern classification | |
| Hejda et al. | Neuromorphic encoding of image pixel data into rate-coded optical spike trains with a photonic VCSEL-neuron | |
| JP2018180701A (ja) | 計算機システム及び再帰型ニューラルネットワークを用いた演算方法 | |
| US20240078421A1 (en) | Two-dimensional photonic convolutional acceleration system and device for convolutional neural network | |
| CN112101540B (zh) | 光学神经网络芯片及其计算方法 | |
| CN114325932B (zh) | 一种片上集成的全光神经网络光计算芯片 | |
| CN117456577B (zh) | 基于光脉冲神经网络实现表情识别的系统及方法 | |
| Xiang et al. | Photonic integrated neuro-synaptic core for convolutional spiking neural network | |
| Song et al. | A hybrid-integrated photonic spiking neural network framework based on an MZI array and VCSELs-SA | |
| Wu et al. | Photonic bayesian neural network using programmed optical noises | |
| Wei et al. | A wavelength tunable optical neuron based on a fiber laser | |
| CN114757344B (zh) | 模拟生物神经元动力学以实现逻辑运算的系统及方法 | |
| US5220642A (en) | Optical neurocomputer with dynamic weight matrix | |
| CN115222035B (zh) | 一种光子神经网络卷积加速芯片 | |
| Song et al. | Experimental demonstration of photonic spike-timing-dependent plasticity based on a VCSOA | |
| CN116258189A (zh) | 一种交叉阵列的光子突触权重矩阵装置及其权重调整方法 | |
| CN112232487B (zh) | 光学神经网络芯片及其计算方法 | |
| Han et al. | Pattern recognition in multi-synaptic photonic spiking neural networks based on a DFB-SA chip | |
| Zhang et al. | Evolution of neuron-like spiking response and spike-based all-optical XOR operation in a DFB with saturable absorber | |
| WO2023189231A1 (ja) | 非線形変換処理装置 | |
| Zhang et al. | An Enhanced Photonic Spiking Neural Network Based on the VCSEL-SA for Recognition and Classification | |
| Qu et al. | Photonic generation of microwave waveform using delay feedback photonic reservoir computing system with SOA | |
| Zhang et al. | A modified supervised learning rule for training a photonic spiking neural network to recognize digital patterns | |
| CN115689875B (zh) | 动态全光智能感算方法与系统 | |
| CN117669649B (zh) | 深度时延储备池计算系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |