CN114548239A - 一种基于类哺乳动物视网膜结构人工神经网络的图像识别与分类方法 - Google Patents

一种基于类哺乳动物视网膜结构人工神经网络的图像识别与分类方法 Download PDF

Info

Publication number
CN114548239A
CN114548239A CN202210106613.8A CN202210106613A CN114548239A CN 114548239 A CN114548239 A CN 114548239A CN 202210106613 A CN202210106613 A CN 202210106613A CN 114548239 A CN114548239 A CN 114548239A
Authority
CN
China
Prior art keywords
retina
cells
neural network
rod
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210106613.8A
Other languages
English (en)
Inventor
刘海龙
王振东
孙丽飞
孙长凯
马翔
关水
刘蓉
苏志勋
孙长森
汪德刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN202210106613.8A priority Critical patent/CN114548239A/zh
Publication of CN114548239A publication Critical patent/CN114548239A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明提供一种基于类哺乳动物视网膜结构人工神经网络的图像识别与分类方法，属于人工智能(人工神经网络)图像识别与分类领域。本发明的目的是借鉴哺乳动物视网膜结构及其电学活动特性构建一种人工神经网络模型，最终实现对图像识别与分类任务性能的提升。实现该目的的大概思路是1)对哺乳动物视网膜网络电学特性活动进行建模仿真，2)获得视网膜各种功能细胞及其突触连接的输入输出映射曲线与拟合函数，3)以此为基础构建类视网膜前端特征提取网络，4)通过与后端卷积神经网络相结合实现一种新型的类视网膜人工神经网络结构的图像识别模型。

Description

一种基于类哺乳动物视网膜结构人工神经网络的图像识别与 分类方法
技术领域
本发明属于人工智能(人工神经网络)图像识别与分类领域，具体涉及一种基于类哺乳动物视网膜结构的人工神经网络的图像识别与分类方法。
背景技术
人工神经网络(Artificial Neural Network,ANN)作为如今各种研究领域的最大热点之一，已经渗透到人们的生产生活之中。ANN是一种基于生物神经网络结构和功能建立的计算模型,具有类似于人脑的信息处理、学习和存储功能，这种具有认知功能的网络模型是实现人工智能的重要方法之一。ANN最初是由心理学家McCulloch和数理逻辑学家Pitts通过对人脑神经元进行抽象而引出，后被法国地质学家Morle运用在小波分析即寻找地质数据上，近年在模式识别、信息处理、医学等领域应用广泛。
神经网络的发展大致经历了4个阶段。首先是第一阶段——启蒙时期，这是神经网络理论研究的奠基阶段。在这一时期提出了M-P神经网络模型、Hebb规则、感知器模型、ADALINE网络模型等神经网络的基本架构，为神经网络的发展奠定了基础；其次是第二阶段——低潮时期，在这一时期人工智能的创始人Minsky和Papert指出简单的线性感知器的功能是有限的，它无法解决线性不可分的两类样本的分类问题，给当时人工神经网络的研究带来沉重打击。但这一时期同样诞生了自组织神经网络SOM模型、自适应共振理论ART等重要模型与理论，推动人工神经网络缓慢发展；再次是第三阶段——复兴时期，这是神经网络理论研究的主要发展时期，也是理论发展最快的时期。在这一时期研究者们提出了众多人工神经网络模型，包括Hopfield模型、Boltzmann机模型、BP神经网络模型、并行分布处理理论、细胞神经网络模型、Darwinism模型等等，各种理论模型互相融合，不断发展，推动人工神经网络的研究达到一个新的高度；最后是第四阶段——高潮时期，这一时期已有理论在不断深化和得到进一步推广，同时新的理论和方法也从未停止过其不断开拓的步伐，各种深度神经网络不断出现，得到了输入的发展和广泛的应用，并且深入、广泛地融入到了人们的生活和经济等各个领域。随着计算机运算能力的不断增强，神经网络的应用也更加深入和广泛。与此同时，深度学习(网络)也逐渐占据了人工神经网络的主导地位。深度学习本质上是构建含有多隐层的机器学习架构模型，通过大规模数据进行训练，得到大量更具代表性的特征信息。深度学习算法打破了传统神经网络对层数的限制，可根据设计者需要选择网络层数。现阶段深度神经网络的主要模型有卷积神经网络(Convolutional NeuralNetwork,CNN)、循环神经网络(Recurrent Neural Network,RNN)、递归神经网络(Recursive Neural Network,RNN)、生成式对抗网络(Generative AdversarialNetworks,GAN)、脉冲神经网络(Spiking Neuron Networks,SNN)等等，这些网络在各个领域都有广泛的应用。
神经网络经历了几代的发展，虽然其学习算法众多，但众所周知的是不同算法得到的连接权重是不一致的，而且网络各层数据物理含义也不明确。同时，虽然人工神经网络是从动物体的神经系统中抽象而来，但神经系统中的更多信息传递与处理的原理还未真正完全应用于人工神经网络之中。通过研究真实神经系统的信息传输通路及作用机理，并将其应用于人工神经网络之中，以推动其发展，是神经网络理论和应用未来重要发展方向之一。
作为重要的机器学习方法和模型之一，人工神经网络用于图像或其他类型数据模式识别任务时，一般可以通过三种形式实现。其一是对人工计算得到的特征进行分类处理，网络模型只完成分类的任务，此种方法要求对数据要有深入的了解，能计算提取有效的、对分类贡献较大、与分类任务相关的特征，这需要非常丰富的专业领域知识、对特征计算方法有深入的了解，且需要通过试错方法才能不断获得较优的特征和结果，此种方法也是早期的机器学习和模式分类主要采用的方法；其二是通过深度学习方法(如典型的深度神经网络)直接对原始数据进行分类任务的模型训练和使用，此种方法有效避开了对数据进行特征提取和选择的阶段性任务，将其紧密融合进了深度网络的训练当中，使得深度网络在根据分类任务进行学习的过程中，自动获取与分类最相关的特征，具有使用方便和有效的特性。但深度网络为了完成这一功能特性需要大规模数据集及与其相匹配的硬件软件计算资源，而且获得的特征一般不具有可解释性，这些对于分类任务的实现是不利的且具有一定难度的因素。此种实现方法既是深度网络模型的优势，也是其实现广泛应用的一个劣势；其三是目前一些研究采用的研究方案，即有意识地将一些可解释性的特征提取模块加入到网络当中，形成单独的特征提取网络，以此实现对数据的初步处理，完成普适性的、可解释性的数据加工，并以此作为后续分类网络的输入。这种方法中的特征提取网络不以完成某种特定分类或识别任务为目的，计算得到的特征性信息对于特定分类可能有用也可能无用，需要依赖后续的分类网络根据分类任务进行甄别和使用，但由于初步实现了对数据的信息统计，从而一定程度上减轻了后续分类网络的训练负担，当然在特定分类任务中也可以通过自适应或进化方法在模型训练和使用过程中选择保留对分类任务有利的特征。由此可见，第三种应用形式也契合了生物神经网络对信息的处理过程。人们在将图像处理方法纳入特征提取模块的同时，也在思考如何借鉴生物神经网络完成特征提取及后续信息处理任务如分类与识别模型网络的构建。
作为动物体最重要的神经系统组成部分之一，视觉神经通路对动物体获取外界信息的意义不言而喻。以人类为例，人体获取外界信息的所有途径中60％以上是通过人的视觉系统。视网膜中主要分布着五种视觉神经细胞，分别是：光感受器细胞(包括视杆和视锥细胞)、双极细胞、水平细胞、无长突细胞和神经节细胞，每种细胞都有其特定的视觉功能。同时，视网膜中还存在着不同的功能通路。首先可以根据光感受器细胞的种类将信号分为视杆信号与视锥信号。两种信号的传递在视网膜中的传递通路是相对独立的，其相应的细胞和突触连接形成了视杆通路和视锥通路。同时，两种通路的功能也是不一样的，视杆细胞主要在暗光下活动，感受光强；视锥细胞主要在亮光下活动，感受色觉。除此之外，视觉通路还可以分为On(On-center)通路与Off(Off-center)通路。我们的视觉很大程度上取决于对图像与其背景对比的知觉，On通路是用来在暗的背景中检测亮区域，而Off通路是用来在亮的背景下检测暗区域。视网膜神经细胞通路作为生物体最完善成熟的神经系统组成部分之一，对复杂的外界信息的处理能力极其强大，同时视神经通路还具有明显的神经元分层控制、逐级传递信号的特点，与现在的人工神经网络的结构特点极其相似。通过研究动物体视觉神经通路的作用原理，具体分析其中的传输过程，对人工神经网络结构功能的改进具有很大的启示作用，对于实现对图像信息的初步特征提取具有重要的借鉴意义。
发明内容
针对上述的现有神经网络技术进行图像模式识别时的理论和应用暂存问题以及关于进一步提高其性能的思考，本发明的目的是借鉴哺乳动物视网膜结构及其电学活动特性构建一种人工神经网络模型，最终实现对图像识别与分类任务性能的提升。实现该目的的大概思路是1)对哺乳动物视网膜网络电学特性活动进行建模仿真，2)获得视网膜各种功能细胞及其突触连接的输入输出映射曲线与拟合函数，3)以此为基础构建类视网膜前端特征提取网络，4)通过与后端卷积神经网络相结合实现一种新型的类视网膜人工神经网络结构的图像识别模型。
本发明的创新点为，针对众多神经网络学习算法所得连接权重不一致(难以获得最优解)的本质及网络各层数据物理含义不明确的现象，研究了哺乳动物(包括人)视觉通路神经网络连接权重构成模式及其与网络功能之间的联系，构建了相应的人工神经网络(本专利内称为前端神经网络)。实现的类哺乳动物视网膜前端神经网络模拟了视网膜的信息处理过程，在物理层面具有可解释性，也使网络的调整与改进具有一定依据性。同时，将依据视网膜所构建的前端网络与现有的人工神经网络模型相组合，构成新型人工神经神经网络模型，结合了两种网络的优势。将该网络用于图像的识别与分类任务，得到了较好的效果。
该网络模型的构建方法包括以下步骤。
S1，对哺乳动物视网膜电学活动进行建模仿真得到视网膜视杆信号通路，进而得到模型中六种视网膜细胞及三种突触连接的输入输出映射关系数据，对映射关系数据进行函数拟合得到每种视网膜细胞及突触连接的静态非线性输入输出映射曲线函数；所述的六种视网膜细胞包括视杆细胞、视锥细胞、视杆双极细胞、视锥双极细胞、A2无长突细胞、神经节细胞；所述的三种突触连接包括电突触、mGluR6受体化学突触、AMPA受体化学突触；
S2，在人工神经网络和哺乳动物视网膜网络的结构的基础上，基于S1中得到的静态非线性输入输出映射曲线函数，建立类视网膜前端特征提取神经网络，实现对图像输入的特征提取功能；
S3，建立后端模式识别分类模型，与S2构建的类视网膜前端特征提取神经网络相结合，对类视网膜前端特征提取神经网络输出的数据进行训练学习，以实现图像识别与分类的功能。同时与其他图像分类识别的人工神经网络进行性能对比，以验证所提出的基于类哺乳动物视网膜结构人工神经网络模型的有效性与优势。
所述S1具体过程如下：
S11，利用NEURON软件对哺乳动物视网膜视杆信号通路进行建模仿真(通过查阅文献资料，Rodrigo Publio，2009)，得到视网膜网络仿真模型，并验证建立的视网膜网络仿真模型可实现哺乳动物视网膜视杆信号通路的正常电生理活动功能。
视网膜网络仿真模型对单个视网膜细胞采取单舱室模型，实现了视杆通路的主要通路与次级通路的“On”信号传导。模型中最底层是视杆细胞层，由阵列30*50(行*列)共1500个细胞构成，视杆细胞间为电耦合连接。在主要通路中，视杆细胞通过化学突触与视杆双极细胞(10*10阵列)连接，视杆双极细胞也通过化学突触与AII无长突细胞(3*3阵列)连接。无长突细胞之间通过电耦合相互连接，再与视锥双极细胞(2*2阵列)电耦合连接。最后通过化学突触与神经节细胞(1*1阵列)连接。在次级通路中，视杆细胞与视锥细胞(4*4阵列)电突触连接，视锥细胞通过化学突触与视锥双极细胞连接，最后与神经节细胞连接。
视网膜网络仿真模型中所有的电突触都被建模为连接两个相邻细胞的单一电阻。视杆细胞与视杆双极细胞、视杆双极细胞与AII无长突细胞、视锥双极细胞与神经节细胞间的化学突触为谷氨酸带状突触(一种分级突触)，其功能是随着输入刺激强度的变化而持续释放谷氨酸。模型实现了对AMPA和mGluR6谷氨酸受体的模拟，其中，AMPA受体存在于无长突细胞和神经节细胞中，mGluR6受体存在于双极细胞中。这两种受体的模型采用相同的方程。注入突触后神经元的突触电流Isyn(t)方程为：
Isyn(t)＝gmaxS(t)(V(t)-Esyn)
其中，t为时间，gmax为突触最大电导，Esyn为突触反向电势，V(t)为突触前膜电位，变量S(t)决定了突触的激活水平，其随时间和突触前细胞膜电位的变化为：
Figure BDA0003494155410000041
并且
Figure BDA0003494155410000042
其中，τ为时间常数，S∞为无穷时刻S(t)稳定值，Vpre为突触前膜电位，Vth为激活突触的电压阈值，tanh为双曲正切函数。方程参数值如下表所示：
表：化学突触模型参数
Figure BDA0003494155410000043
建模完成后，通过输入光电流刺激验证模型具有视网膜视杆通路的生理特性，为人工神经网络的搭建提供依据；
S12，在S11视网膜网络仿真模型能完成正常生理活动仿真的情况下，对S11中所构建视网膜网络仿真模型的基本构成单元，即六种视网膜细胞以及三种突触连接，进行单独仿真分析，利用NEURON软件在单细胞水平上实现基本构成单元的真实电生理行为；
S13，对S12中获得的六种视网膜细胞进行不同幅值的输入电流刺激，得到对应的细胞膜电位幅值，其中，视杆细胞、视锥细胞、视杆双极细胞、视锥双极细胞和A2无长突细胞的膜电位取刺激诱发的稳态输出值或其震荡的平均值；神经节细胞会产生一系列动作电位，模型因此记录其频率与输入电流幅值间的关系；对两种化学突触连接进行不同幅值的输入膜电位刺激，得到对应的突触后电流幅值；对电突触连接记录中心点细胞刺激能量向四周扩散时随距离的衰减关系。利用MATLAB中的数据拟合工具箱对视网膜细胞及突触连接的输入输出映射数据进行函数拟合，得到各类型细胞单元及突触连接的静态非线性输入输出映射曲线函数。
所述S2类视网膜前端特征提取神经网络构建方法步骤包括：
S21，以哺乳动物视网膜网络视杆信号五种通路结构为基础，在人工神经网络层级结构的基础上，规划类视网膜前端特征提取神经网络结构。其中哺乳动物视网膜网络视杆信号五种通路包括初级ON通路、初级OFF通路、次级ON通路、次级OFF通路和三级OFF通路。
类视网膜前端特征提取神经网络由六个细胞功能层构成，分别是视杆细胞层、视锥细胞层、视杆双极细胞层、A2无长突细胞层、视锥双极细胞层与神经节细胞层。每个细胞功能层为二维网络，最终网络通过神经节细胞层输出，输出数据结构为二维矩阵。
借鉴哺乳动物视杆信号通路，电突触存在于视杆细胞层内、A2无长突细胞层内、视杆细胞层与视锥细胞层之间、以及A2无长突细胞层与视锥双极细胞层之间。mGluR6受体化学突触存在于视杆细胞层与视杆双极细胞层之间、视锥细胞层与视锥双极细胞层之间，AMPA受体化学突触存在于视杆双极细胞层与A2无长突细胞层之间、视锥双极细胞层与神经节细胞层之间；
S22，以S21所述网络结构为基础，利用MATLAB搭建类视网膜前端特征提取神经网络，实现视杆信号五种通路输出。其中，类视网膜前端特征提取神经网络中的每个功能细胞层规模参数可调，以适应不同的输入数据集；
S23，选择合适的数据集，对数据进行预处理以满足所构建的类视网膜前端特征提取神经网络的输入要求。将预处理后的数据输入到类视网膜前端特征提取神经网络中，观察输出结果及特征提取效果，验证是否符合哺乳动物视网膜视杆信号通路功能。
所述S3具体包括：
S31，利用Python平台构建后端模式识别分类模型，与S2中构建的类视网膜前端特征提取神经网络组合，其中后端模式识别分类模型实现对前端网络输出数据的训练学习；
S32，选择合适的数据集进行分类，对构建的基于类哺乳动物视网膜结构人工神经网络和其他图像识别分类网络的性能进行对比分析，验证新模型的有效性。
本发明的有益效果是，构建了一种新型的类哺乳动物视网膜网络结构与电活动特性的人工神经网络模型，仿照实现了哺乳动物视网膜视杆信号通路的功能，可以实现对输入图像的特征提取与分类任务，其在一定程度上比经典卷积神经网络需要更少的训练时间但获得了更高的测试精度。
附图说明
图1为本发明构建基于类哺乳动物视网膜结构人工神经网络的整体结构；
图2为通过NEURON建模仿真的视网膜网络的光电流输入及对应视杆细胞与神经节细胞的膜电位响应；其中，(a)为输入光电流，(b)为输入光电流对应视杆细胞电位响应，(c)为输入光电流对应神经节细胞的膜电位响应；
图3为各种视网膜细胞及化学突触的输入输出关系映射曲线；其中，(a)为视杆细胞，(b)为视锥细胞，(c)为视杆双极细胞，(d)为A2无长突细胞，(e)为视锥双极细胞，(f)为神经节细胞，(g)为mGluR6受体化学突触，(h)为AMPA受体化学突触；
图4为构建的类视网膜前端神经网络对输入图片的处理效果；其中，(a)为输入图片，(b)为初级ON通路神经节细胞输出，(c)为次级ON通路神经节细胞输出，(d)为初级OFF通路神经节细胞输出，(e)为次级OFF通路神经节细胞输出，(f)为三级OFF通路神经节细胞输出；
图5为选取的EMINST数据集中部分图像展示；
图6为本发明构建的人工神经网络与经典卷积神经网络的训练效果对比，其中CNN为经典卷积神经网络，R-CNN为本发明构建的类哺乳动物视网膜结构的人工神经网络；其中，(a)为运行时间比较，(b)为训练精度与测试精度比较；
图7为本发明构建的人工神经网络与经过双线性插值处理后的卷积神经网络的训练效果对比，其中BI-CNN为加入双线性插值处理的普通卷积神经网络，R-CNN为本发明构建的类哺乳动物视网膜结构的人工神经网络。其中，(a)为运行时间比较，(b)为训练精度与测试精度比较；
具体实施方式
为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。
本发明为一种类哺乳动物视网膜结构的人工神经网络模型，具体的网络结构如图1所示，所述方法包括以下步骤：
S1，对哺乳动物视网膜电学活动进行建模仿真得到视网膜视杆信号通路，在此基础上得到模型中六种视网膜细胞(视杆细胞、视锥细胞、视杆双极细胞、视锥双极细胞、A2无长突细胞、神经节细胞)及三种突触连接(电突触、mGluR6受体化学突触、AMPA受体化学突触)的输入输出映射关系数据，对映射关系数据进行函数拟合得到每种视网膜细胞及突触连接的静态非线性输入输出映射曲线函数；
S2，借鉴现有人工神经网络和哺乳动物视网膜网络的结构，基于S1中得到的静态非线性输入输出映射曲线函数，建立类视网膜前端特征提取神经网络，实现对图像输入的特征提取功能；
S3，建立后端人工神经网络，与S2构建的类视网膜前端特征提取神经网络相结合，对类视网膜前端特征提取神经网络输出的数据进行训练学习，以实现图像识别与分类的功能。同时与其他图像分类识别的人工神经网络进行性能对比，以验证所提出的基于类哺乳动物视网膜结构人工神经网络模型的有效性与优势。
所述S1中每种视网膜细胞及突触连接的静态非线性输入输出映射曲线函数具体获取过程如下：
S11，利用NEURON软件对哺乳动物视网膜视杆信号通路进行建模仿真，验证建立的视网膜网络仿真模型可实现哺乳动物视网膜视杆信号通路的正常电生理活动功能。建模完成后，对视杆细胞层输入如下光电流I(t)：
Figure BDA0003494155410000061
其中，t为时间，Idark＝-40pA，代表暗电流；τ1＝50ms，τ2＝450ms，τ3＝800ms，b＝3800ms为时间常数；A(t)为阶跃函数，代表光电流幅值。输入光电流的波形、视杆细胞与神经节细胞的膜电位响应如图2所示。该响应符合之前研究者实验所获得的哺乳动物真实视杆细胞与神经节细胞的膜电位响应，验证了模型的正确性和合理性；
S12，对S11中构建的视网膜网络仿真模型的组成单元(六种视网膜细胞以及三种突触连接)进行单独仿真分析，利用NEURON软件在单细胞水平上实现上述功能模块的真实电生理行为；
S13，对S12中获得的六种视网膜细胞进行不同幅值的输入电流刺激，得到对应的细胞膜电位幅值，其中由于神经节细胞产生一系列动作电位频率，因此需要记录其动作电位出现频率与输入电流幅值间的关系；对两种化学突触连接进行不同幅值的输入膜电位刺激，得到对应的突触后电流幅值。每种视网膜细胞及化学突触的输入输出关系曲线如图3所示。
利用MATLAB中的数据拟合工具箱对视网膜细胞及化学突触连接的输入输出映射数据进行函数拟合，得到各类型细胞单元及化学突触输入输出非线性映射函数关系。拟合后各种视网膜细胞的非线性映射函数如下所示，其中i为输入光电流刺激的幅值，v为输出细胞膜电位幅值。
1.视杆细胞：
v＝a0+a1cos(wi)+b1sin(wi)+a2cos(2wi)+b2sin(2wi)+a3cos(3wi)+b3sin(3wi)+a4cos(4wi)+b4sin(4wi)+a5cos(5wi)+b5sin(5wi)+a6cos(6wi)+b6sin(6wi)+a7cos(7wi)+b7sin(7wi)
其中，参数a0＝-65.04,a1＝7.071,b1＝24.89,a2＝-9.604,b2＝-2.268,a3＝4.136,b3＝0.3282,a4＝-2.579,b4＝1.575,a5＝0.8112,b5＝-1.040,a6＝-0.2069,b6＝1.153,a7＝-0.462,b7＝-0.2049,w＝0.02395。
2.视锥细胞：
v＝a0+a1cos(wi)+b1sin(wi)+a2cos(2wi)+b2sin(2wi)+a3cos(3wi)+b3sin(3wi)+a4cos(4wi)+b4sin(4wi)+a5cos(5wi)+b5sin(5wi)+a6cos(6wi)+b6sin(6wi)+
a7cos(7wi)+b7sin(7wi)
其中，参数a0＝-57.97,a1＝18.58,b1＝14.5,a2＝-11.19,b2＝2.603,a3＝4.166,b3＝-5,a4＝1.405,b4＝3.786,a5＝-1.665,b5＝-0.5608,a6＝1.037,b6＝-0.4898,a7＝0.2008,b7＝0.4438,w＝0.01608。
3.视杆双极细胞：
v＝a0+a1cos(wi)+b1sin(wi)+a2cos(2wi)+b2sin(2wi)+a3cos(3wi)+b3sin(3wi)+a4cos(4wi)+b4sin(4wi)+a5cos(5wi)+b5sin(5wi)+a6cos(6wi)+b6sin(6wi)
其中，参数a0＝-35.76,a1＝-1.078,b1＝15.97,a2＝-0.7384,b2＝-4.922,a3＝-0.09361,b3＝2.714,a4＝-0.2544,b4＝-1.169,a5＝0.009085,b5＝0.4389,a6＝-0.0595,b6＝-0.1521,w＝0.007315。
4.A2无长突细胞：
v＝a0+a1cos(wi)+b1sin(wi)+a2cos(2wi)+b2sin(2wi)+a3cos(3wi)+b3sin(3wi)
其中，参数a0＝-85.36,a1＝12.58,b1＝184.4,a2＝3.11,b2＝-49.82,a3＝0.08849,b3＝12.06,w＝0.005335。
5.视锥双极细胞：
v＝a0+a1cos(wi)+b1sin(wi)+a2cos(2wi)+b2sin(2wi)+a3cos(3wi)+b3sin(3wi)+a4cos(4wi)+b4sin(4wi)
其中，参数a0＝-36.95,a1＝1.345,b1＝16.74,a2＝-2.51,b2＝-4.062,a3＝0.8172,b3＝1.773,a4＝-0.6148,b4＝-0.3252,w＝0.006439。
6.神经节细胞：
v＝ae(bi)+ce(di)
其中，参数a＝183.1,b＝0.0007786,c＝-192.8,d＝-0.01006。
对受体为mGluR6与AMPA的两种化学突触采用同样的处理方法，得到的两种化学突触的非线性映射函数如下所示，其中v为突触前细胞膜电位的幅值，isyn为突触后电流的幅值。
1.mGluR6受体化学突触：
isyn＝a0+a1cos(wv)+b1sin(wv)+a2cos(2wv)+b2sin(2wv)+a3cos(3wv)+b3sin(3wv)+a4cos(4wv)+b4sin(4wv)
其中，参数a0＝0.9234,a1＝-1.238,b1＝-0.8292,a2＝-0.4648,b2＝-0.7716,a3＝-0.07041,b3＝-0.302,a4＝0.001027,b4＝-0.04669,w＝0.04087。
2.AMPA受体化学突触：
isyn＝a0+a1cos(wv)+b1sin(wv)+a2cos(2wv)+b2sin(2wv)+a3cos(3wv)+b3sin(3wv)+a4cos(4wv)+b4sin(4wv)+a5cos(5wv)+b5sin(5wv)
其中，参数a0＝-10.94,a1＝17.73,b1＝-5.956,a2＝-9.525,b2＝6.858,a3＝3.24,b3＝-3.983,a4＝-0.62,b4＝1.271,a5＝0.047,b5＝-0.1808,w＝0.03476。
电突触连接的处理方式为，利用NEURON软件记录中心点细胞刺激能量向四周扩散时随距离的衰减关系，并利用MATLAB软件对该关系进行函数拟合。拟合函数如下所示，其中x为邻域内某个细胞与中心点细胞的距离，y为该细胞与中心点细胞的膜电位比值，反映了能量衰减程度。
y＝ae(bx)
其中，参数a＝0.5554,b＝-2.018。
所述S2类视网膜前端特征提取神经网络构建过程具体实施为：
S21，以哺乳动物视网膜网络视杆信号五种通路结构为基础，在人工神经网络层级结构的基础上，规划类视网膜前端特征提取神经网络结构。其中哺乳动物视网膜网络视杆信号五种通路包括初级ON通路、初级OFF通路、次级ON通路、次级OFF通路和三级OFF通路。
类视网膜前端特征提取神经网络由六个细胞功能层构成，分别是视杆细胞层、视锥细胞层、视杆双极细胞层、A2无长突细胞层、视锥双极细胞层与神经节细胞层。每个细胞功能层为二维网络，最终网络通过神经节细胞层输出，输出数据结构为二维矩阵；
借鉴哺乳动物视杆信号通路，电突触存在于视杆细胞层内和A2无长突细胞层内、视杆细胞层与视锥细胞层之间、以及A2无长突细胞层与视锥双极细胞层之间。mGluR6受体化学突触存在于视杆细胞层与视杆双极细胞层之间、视锥细胞层与视锥双极细胞层之间，AMPA受体化学突触存在于视杆双极细胞层与A2无长突细胞层之间、视锥双极细胞层与神经节细胞层之间；
S22，以S21所述网络结构为基础，利用MATLAB搭建类视网膜前端特征提取神经网络，实现视杆信号五种通路输出。其中，类视网膜前端特征提取神经网络中的每个功能细胞层规模参数可调，以适应不同的输入数据集；
S23，本实例中选择公开的猫狗图片数据集，对数据进行预处理以满足所构建的类视网膜前端特征提取神经网络的输入要求。同时，修改前端网络参数以达到较为理想的效果。前端网络每个细胞层为二维数组，其规模(行数*列数)选取为：视杆细胞层为255*255，视锥细胞层为63*63，视杆双极细胞层为127*127，A2无长突细胞层为63*63，视锥双极细胞层为31*31，神经节细胞层为15*15。
将预处理后的数据输入到类视网膜前端特征提取神经网络中，观察其输出结果及特征提取效果，验证其是否符合哺乳动物视网膜视杆信号通路功能。其中，原始图片及前端网络五种通路输出如图4所示。由结果可以看出，视杆信号初级通路灵敏度最高，阈值最低；次级通路次之；三级通路灵敏度最低，阈值最高。同时，On通路传递光增强信号，Off通路传递光减弱信号。这与哺乳动物视网膜视杆信号通路功能一致，说明所建立的前端网络可以初步模拟哺乳动物视杆信号信息传递的过程。
进一步的，所述S3具体实施例包括：
S31，利用Python构建后端卷积神经网络，与S2中构建的类视网膜前端特征提取神经网络组合，实现对输入图片的特征提取及分类识别。
后端卷积神经网络通过TensorFlow平台构建，由一个卷积层、一个池化层、一个全连接层、一个分类输出层构成。其中，网络初始参数选取如下：卷积层中，卷积核数目(filters)为36，卷积核尺寸(kernel_size)为(3，3)，步长(strides)为(1，1)，激活函数(activation)选取“RELU”函数；池化层选取最大池化层(MaxPooling2D)，池化核尺寸(pool_size)为(2，2)，步长(strides)为(1，1)；全连接层中，神经元个数(units)为512，激活函数(activation)选取“tanh”函数；分类输出层的神经元数目根据具体的数据集类数目来确定(这里为47)。
在后端卷积网络中，加入Dropout层以防止过拟合，提高训练效率，其中rate选取0.1。模型的损失函数(loss)选取“sparse_categorical_crossentropy”函数，优化器(optimizer)选取“adam”；
S32，选择EMINST手写字符数据集进行分类任务，并比较S31构建的基于类哺乳动物视网膜结构的人工神经网络与卷积神经网络、经过双线性插值处理的卷积网络的性能，验证其有效性。
其中，EMNIST(Extended MNIST)手写字符数字数据集，包含手写数字(0～9)与手写英文字母(A～Z，a～z)，源自NIST Special Database 19，并转换为28*28像素的图像格式和数据集结构，是拓展的MNIST数据集。EMNIST数据集提供了六种不同的分割方式，其中Balanced分割方式对于相似的英文大小写进行了类别合并，且每个类别的数据数量分布平均，因此选取该分割方式作为输入数据。数据集中部分手写字符图像展示如图5。Balanced集每一类都包含了数目相同的数据，每一类训练集2400张，测试集400张。将训练集与测试集混合，重新随机排列顺序，取其中的130000张图片，将其划分为13组，每一组有10000张图片。每次取12组为训练集，一组为测试集，进行13次交叉验证，同时训练集中有10％作验证集(validation)。
首先进行加入类视网膜前端神经网络的卷积网络与普通的卷积网络的性能对比。结合原始图片尺寸与视网膜网络自身结构特点，经过多次尝试，选取效果较理想的类视网膜前端网络的参数，其中每个细胞层的规模(行数*列数)为：视杆细胞层为28*28，视锥细胞层为13*13，视杆双极细胞层、A2无长突细胞层、视锥双极细胞层为13*13，神经节细胞输出层为13*13。最终经过前端网络处理后，得到五种通路输出，每种通路单个输出数据输出规模为13*13。
后端卷积神经网络采用S31中所构建的网络，其中一次训练所抓取的数据样本数量(batch_size)取500，迭代次数(epochs)取35。将未经处理的原始图像与经过类视网膜前端特征提取神经网络处理的图像分别输入到后端卷积神经网络中，进行13次交叉验证，比较两者的运行时间与训练和测试精度，结果如图6所示。
其次，将类视网膜前端网络与其他前端图片处理方式进行比较。本质上来说，加入类视网膜前端网络实现的功能为对输入图像的规模压缩与特征提取。因此，我们选取如今应用广泛的双线性插值图像压缩方法，并与后端卷积神经网络相结合，然后与采用相同后端卷积网络结构的类哺乳动物视网膜人工神经网络进行性能对比。
假设源图像像素为m*n，目标图像像素为a*b，那么两幅图像的边长比分别为：m/a和n/b。目标图像的第(i,j)个像素点(表示第i行第j列)可以通过边长比对应回源图像。其对应坐标为(i*m/a,j*n/b)。显然，这个对应坐标一般来说不是整数，而非整数的坐标是无法在图像这种离散数据上使用的。双线性插值通过寻找距离这个对应坐标最近的四个像素点，来计算该点的值(灰度值或者RGB值)。若图像为灰度图像，那么第(i,j)点的灰度值f(i,j)可以通过以下公式计算：
f(i,j)＝w1*p1+w2*p2+w3*p3+w4*p4
其中，pi(i＝1,2,3,4)为最近的四个像素点，wi(i＝1,2,3,4)为各点相应权值。
在数学上，双线性插值是有两个变量的插值函数的线性插值扩展，其核心思想是在两个方向分别进行一次线性插值。
经过前端处理后，输出图像的规模为输入后端网络进行学习的关键影响因素。改变两种前端处理方式的输出图像规模，输入到S31所构建的后端卷积网络中训练学习，同样进行13次交叉验证，在不同前端输出图像规模下取性能指标的平均值，比较经过类视网膜前端网络与经过双线性插值处理后的卷积神经网络的运行时间与训练和测试精度，结果如图7所示。
结果显示，在进行黑白图像(灰度图像)处理任务时，我们所构建的基于哺乳动物视网膜网络的人工神经网络比普通的卷积神经网络提高了训练效率与测试精度。同时，与采用双线性插值先进行图像处理后再用卷积神经网络训练学习的方式相比，先用类视网膜前端网络进行图像处理可在前端网络输出数据规模较小的情况下达到更好的训练效果，在保证训练与测试精度的前提下提高了网络的整体效率。
本发明具体应用途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。

Claims (4)

1.一种基于类哺乳动物视网膜结构人工神经网络的图像识别与分类方法，其特征在于，通过构建网络模型实现，网络模型的构建方法包括以下步骤：
S1，对哺乳动物视网膜电学活动进行建模仿真得到视网膜视杆信号通路，进而得到模型中六种视网膜细胞及三种突触连接的输入输出映射关系数据，对映射关系数据进行函数拟合得到每种视网膜细胞及突触连接的静态非线性输入输出映射曲线函数；所述的六种视网膜细胞包括视杆细胞、视锥细胞、视杆双极细胞、视锥双极细胞、A2无长突细胞、神经节细胞；所述的三种突触连接包括电突触、mGluR6受体化学突触、AMPA受体化学突触；
S2，在人工神经网络和哺乳动物视网膜网络的结构的基础上，基于S1中得到的静态非线性输入输出映射曲线函数，建立类视网膜前端特征提取神经网络，实现对图像输入的特征提取功能；
S3，建立后端模式识别分类模型，与S2构建的类视网膜前端特征提取神经网络相结合，对类视网膜前端特征提取神经网络输出的数据进行训练学习，以实现图像识别与分类的功能。
2.根据权利要求1所述的一种基于类哺乳动物视网膜结构人工神经网络的图像识别与分类方法，其特征在于，所述S1具体过程如下：
S11，利用NEURON软件对哺乳动物视网膜视杆信号通路进行建模仿真，得到视网膜网络仿真模型，并验证建立的视网膜网络仿真模型可实现哺乳动物视网膜视杆信号通路的正常电生理活动功能；
视网膜网络仿真模型对单个视网膜细胞采取单舱室模型，实现了视杆通路的主要通路与次级通路的“On”信号传导；模型中最底层是视杆细胞层，由阵列30*50共1500个细胞构成，视杆细胞间为电耦合连接；在主要通路中，视杆细胞通过化学突触与视杆双极细胞连接，视杆双极细胞也通过化学突触与AII无长突细胞连接；无长突细胞之间通过电耦合相互连接，再与视锥双极细胞电耦合连接；最后通过化学突触与神经节细胞连接；在次级通路中，视杆细胞与视锥细胞电突触连接，视锥细胞通过化学突触与视锥双极细胞连接，最后与神经节细胞连接；
视网膜网络仿真模型中所有的电突触都被建模为连接两个相邻细胞的单一电阻；视杆细胞与视杆双极细胞、视杆双极细胞与AII无长突细胞、视锥双极细胞与神经节细胞间的化学突触为谷氨酸带状突触，其功能是随着输入刺激强度的变化而持续释放谷氨酸；模型实现了对AMPA和mGluR6谷氨酸受体的模拟，其中，AMPA受体存在于无长突细胞和神经节细胞中，mGluR6受体存在于双极细胞中；这两种受体的模型采用相同的方程；注入突触后神经元的突触电流Isyn(t)方程为：
Isyn(t)＝gmaxS(t)(V(t)-Esyn)
其中，t为时间，gmax为突触最大电导，Esyn为突触反向电势，V(t)为突触前膜电位，变量S(t)决定了突触的激活水平，其随时间和突触前细胞膜电位的变化为：
Figure FDA0003494155400000011
并且
Figure FDA0003494155400000012
其中，τ为时间常数，S∞为无穷时刻S(t)稳定值，Vpre为突触前膜电位，Vth为激活突触的电压阈值，tanh为双曲正切函数；
建模完成后，通过输入光电流刺激验证模型具有视网膜视杆通路的生理特性，为人工神经网络的搭建提供依据；
S12，在S11视网膜网络仿真模型能完成正常生理活动仿真的情况下，对S11中所构建视网膜网络仿真模型的基本构成单元，即六种视网膜细胞以及三种突触连接，进行单独仿真分析，利用NEURON软件在单细胞水平上实现基本构成单元的真实电生理行为；
S13，对S12中获得的六种视网膜细胞进行不同幅值的输入电流刺激，得到对应的细胞膜电位幅值，其中，视杆细胞、视锥细胞、视杆双极细胞、视锥双极细胞和A2无长突细胞的膜电位取刺激诱发的稳态输出值或其震荡的平均值；神经节细胞会产生一系列动作电位，模型因此记录其频率与输入电流幅值间的关系；对两种化学突触连接进行不同幅值的输入膜电位刺激，得到对应的突触后电流幅值；对电突触连接记录中心点细胞刺激能量向四周扩散时随距离的衰减关系；利用MATLAB中的数据拟合工具箱对视网膜细胞及突触连接的输入输出映射数据进行函数拟合，得到各类型细胞单元及突触连接的静态非线性输入输出映射曲线函数。
3.根据权利要求1所述的一种基于类哺乳动物视网膜结构人工神经网络的图像识别与分类方法，其特征在于，所述S2类视网膜前端特征提取神经网络构建方法步骤包括：
S21，以哺乳动物视网膜网络视杆信号五种通路结构为基础，在人工神经网络层级结构的基础上，规划类视网膜前端特征提取神经网络结构；其中哺乳动物视网膜网络视杆信号五种通路包括初级ON通路、初级OFF通路、次级ON通路、次级OFF通路和三级OFF通路；
类视网膜前端特征提取神经网络由六个细胞功能层构成，分别是视杆细胞层、视锥细胞层、视杆双极细胞层、A2无长突细胞层、视锥双极细胞层与神经节细胞层；每个细胞功能层为二维网络，最终网络通过神经节细胞层输出，输出数据结构为二维矩阵；
借鉴哺乳动物视杆信号通路，电突触存在于视杆细胞层内、A2无长突细胞层内、视杆细胞层与视锥细胞层之间、以及A2无长突细胞层与视锥双极细胞层之间；mGluR6受体化学突触存在于视杆细胞层与视杆双极细胞层之间、视锥细胞层与视锥双极细胞层之间，AMPA受体化学突触存在于视杆双极细胞层与A2无长突细胞层之间、视锥双极细胞层与神经节细胞层之间；
S22，以S21所述网络结构为基础，利用MATLAB搭建类视网膜前端特征提取神经网络，实现视杆信号五种通路输出；其中，类视网膜前端特征提取神经网络中的每个功能细胞层规模参数可调，以适应不同的输入数据集；
S23，选择合适的数据集，对数据进行预处理以满足所构建的类视网膜前端特征提取神经网络的输入要求；将预处理后的数据输入到类视网膜前端特征提取神经网络中，观察输出结果及特征提取效果，验证是否符合哺乳动物视网膜视杆信号通路功能。
4.根据权利要求1所述的一种基于类哺乳动物视网膜结构人工神经网络的图像识别与分类方法，其特征在于，所述S3具体包括：
S31，利用Python平台构建后端模式识别分类模型，与S2中构建的类视网膜前端特征提取神经网络组合，其中后端模式识别分类模型实现对前端网络输出数据的训练学习；
S32，选择合适的数据集进行分类。
CN202210106613.8A 2022-01-28 2022-01-28 一种基于类哺乳动物视网膜结构人工神经网络的图像识别与分类方法 Pending CN114548239A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210106613.8A CN114548239A (zh) 2022-01-28 2022-01-28 一种基于类哺乳动物视网膜结构人工神经网络的图像识别与分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210106613.8A CN114548239A (zh) 2022-01-28 2022-01-28 一种基于类哺乳动物视网膜结构人工神经网络的图像识别与分类方法

Publications (1)

Publication Number Publication Date
CN114548239A true CN114548239A (zh) 2022-05-27

Family

ID=81673211

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210106613.8A Pending CN114548239A (zh) 2022-01-28 2022-01-28 一种基于类哺乳动物视网膜结构人工神经网络的图像识别与分类方法

Country Status (1)

Country Link
CN (1) CN114548239A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116738352A (zh) * 2023-08-14 2023-09-12 武汉大学人民医院（湖北省人民医院） 视网膜血管阻塞疾病的视杆细胞异常分类方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116738352A (zh) * 2023-08-14 2023-09-12 武汉大学人民医院（湖北省人民医院） 视网膜血管阻塞疾病的视杆细胞异常分类方法及装置
CN116738352B (zh) * 2023-08-14 2023-12-22 武汉大学人民医院（湖北省人民医院） 视网膜血管阻塞疾病的视杆细胞异常分类方法及装置

Similar Documents

Publication Publication Date Title
CN106560848B (zh) 模拟生物双向认知能力的新型神经网络模型及训练方法
Pandya et al. Pattern recognition with neural networks in C++
CN111858989B (zh) 一种基于注意力机制的脉冲卷积神经网络的图像分类方法
AU644116B2 (en) Categorization automata employing neuronal group selection with reentry
CN106503654A (zh) 一种基于深度稀疏自编码网络的人脸情感识别方法
CN106709482A (zh) 基于自编码器的人物亲缘关系识别方法
Perez et al. Genetic design of biologically inspired receptive fields for neural pattern recognition
Fu et al. An ensemble unsupervised spiking neural network for objective recognition
CN109086802A (zh) 一种基于八元数卷积神经网络的图像分类方法
CN106980831A (zh) 基于自编码器的自亲缘关系识别方法
Zheng et al. Unraveling neural coding of dynamic natural visual scenes via convolutional recurrent neural networks
CN106909938A (zh) 基于深度学习网络的视角无关性行为识别方法
CN110070116A (zh) 基于深度树状训练策略的分段式选择集成图像分类方法
CN106980830A (zh) 一种基于深度卷积网络自亲缘关系识别方法与装置
CN105701540A (zh) 一种自生成神经网络构建方法
Luttrell et al. A deep transfer learning approach to fine-tuning facial recognition models
Luttrell et al. Facial recognition via transfer learning: fine-tuning Keras_vggface
Al Bataineh et al. Optimal convolutional neural network architecture design using clonal selection algorithm
CN114548239A (zh) 一种基于类哺乳动物视网膜结构人工神经网络的图像识别与分类方法
CN110188621A (zh) 一种基于ssf-il-cnn的三维人脸表情识别方法
Weng et al. Brain-like emergent spatial processing
CN108764459B (zh) 基于语义定义的目标识别网络设计方法
CN109635942B (zh) 一种仿脑兴奋态和抑制态工作状态神经网络电路结构及方法
Pető et al. Parameter optimization of deep learning models by evolutionary algorithms
CN113420873B (zh) 阿尔茨海默病智能早期筛查系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination