CN113888745A - 基于多模态特征的视网膜编码器构建方法、设备、终端 - Google Patents
基于多模态特征的视网膜编码器构建方法、设备、终端 Download PDFInfo
- Publication number
- CN113888745A CN113888745A CN202110999519.5A CN202110999519A CN113888745A CN 113888745 A CN113888745 A CN 113888745A CN 202110999519 A CN202110999519 A CN 202110999519A CN 113888745 A CN113888745 A CN 113888745A
- Authority
- CN
- China
- Prior art keywords
- stimulation
- input
- modal
- linear
- encoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000001525 retina Anatomy 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000000638 stimulation Effects 0.000 claims abstract description 64
- 230000006870 function Effects 0.000 claims abstract description 53
- 239000011159 matrix material Substances 0.000 claims abstract description 25
- 230000002207 retinal effect Effects 0.000 claims abstract description 24
- 210000002569 neuron Anatomy 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 10
- 238000004364 calculation method Methods 0.000 claims description 27
- 238000011144 upstream manufacturing Methods 0.000 claims description 14
- 238000005457 optimization Methods 0.000 claims description 12
- 238000005286 illumination Methods 0.000 claims description 11
- 230000000007 visual effect Effects 0.000 claims description 11
- 210000003994 retinal ganglion cell Anatomy 0.000 claims description 10
- 208000003098 Ganglion Cysts Diseases 0.000 claims description 7
- 208000005400 Synovial Cyst Diseases 0.000 claims description 7
- 230000001537 neural effect Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 230000002844 continuous effect Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 claims description 3
- 238000010304 firing Methods 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000012886 linear function Methods 0.000 claims description 3
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 claims description 3
- 230000001052 transient effect Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims description 2
- 230000002085 persistent effect Effects 0.000 claims description 2
- 230000002123 temporal effect Effects 0.000 claims description 2
- 238000004883 computer application Methods 0.000 abstract description 2
- 210000004027 cell Anatomy 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000005284 excitation Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 239000011664 nicotinic acid Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Processing (AREA)
Abstract
本发明属于计算机应用领域，公开了一种基于多模态特征的视网膜编码器构建方法、设备、终端，所述基于多模态特征的视网膜编码器的构建方法包括：提取并量化输入视频的多模态刺激特征；利用具有多维时间域特征的基函数对特征序列编码，获得计算单元的外部输入刺激矩阵；通过级联线性‑非线性计算单元训练得到能适应复杂环境的非线性视网膜编码器。为比较分析本发明提出的基于多模态特征的视网膜编码器的实际表现，本发明选取了部分神经元，分别计算编码器预测输出与目标值的似然函数值和互相关系数进行比较。结果表明本发明提出的视网膜编码器相比其他方法在似然函数及互相关系数上性能均显著提升。
Description
技术领域
本发明属于计算机应用技术领域，具体是一种基于多模态特征的视网膜编码器构建方法、设备、终端。
背景技术
目前，视网膜编码器器作为编码视觉信号的一种方法，以模拟视网膜神经节细胞特性为目标，利用非线性计算将多模态视觉刺激编码成一系列尖峰放电序列。视网膜编码器的研究不仅能够加深对于视网膜中非线性计算的理解，而且能为计算机视网膜编码的轻量化提供理论基础。
虽然现存多种视网膜编码方法，但现有方法存在如下问题：基于生物结构的视网膜编码方法通过复杂电路来模拟视网膜内部生物特性，其复杂的连接与大量的计算使该方法仅适用于学术研究，无法用于解决实际问题；基于线性非线性模型、广义线性模型的视网膜编码模型以多输入、单输出结构的神经元为基础的视网膜编码器方法，其简单的结构与计算模式使该类模型体积较小，计算较快，但是该类方法大量简化视网膜生物结构，导致其无法模拟视网膜内复杂的非线性计算；基于卷积神经网络的视网膜编码模型凭借其局部连接、权值共享、多层网络的特点能较好重现神经节细胞在白噪声等人工刺激下产生的尖峰放电序列，但该方法计算量较大，无法应用于计算能力较弱的终端中。因此，亟需一种新的视网膜编码器实现方法。
通过上述分析，现有技术存在的问题及缺陷为：
(1)现有基于生物结构的视网膜编码方法通过复杂电路来模拟视网膜内部生物特性，结构复杂，实用性不强，无法用于解决实际问题。
(2)现有基于线性非线性模型、广义线性模型的视网膜编码模型大量简化视网膜生物结构，导致其无法模拟视网膜内复杂的非线性计算。
(3)现有基于卷积神经网络的视网膜编码模型计算量较大，无法应用于计算能力较弱的终端中。
解决以上问题及缺陷的难度为：基于生物结构的视网膜编码器模型通过大量仿生电路来模拟视网膜对光照刺激的响应，如何去除冗余的网络结构、简化复杂的计算是研究的一个难点；基于卷积神经网络的视网膜编码模型凭借卷积操作能有效提取输入白噪声视频的特征，但是卷积操作的引入导致计算量增加，如何降低计算量是另一个难点。
解决以上问题及缺陷的意义为：视网膜编码器实现方法不仅加深学者对于视网膜中非线性计算的理解，而且为计算机视网膜编码的轻量化提供理论基础。
发明内容
针对现有技术存在的问题，本发明提供了一种基于多模态特征的视网膜编码器实现方法。
本发明是这样实现的，一种基于多模态特征的视网膜编码器的构建方法，所述基于多模态特征的视网膜编码器的构建方法包括以下步骤：
步骤一，提取输入视频的多模态刺激特征；
步骤二，利用具有瞬时极值和持续效应特征的基函数对特征序列编码，获得对视网膜神经节细胞的外部输入刺激矩阵；
步骤三，通过非线性计算单元训练得到能适应复杂环境的多模态刺激输入非线性视网膜编码器。
进一步，步骤一中，所述提取输入视频的多模态刺激特征，包括：
(1)提取输入视频中感受野范围内的视觉输入，获得目标神经元在视频时间内的光照刺激序列，对神经元i的光照刺激的输入强度计算如下：
其中，V(x,y,t)表示输入视频在(x,y,t)点的光照强度，x,y分别表示视频上某一帧的空间位置坐标，t表示视频帧数；
(2)基于获得的神经节i的输入光照刺激
提取视频的光照强度瞬时变化刺激序列
公式如下：
(3)对视频进行三维高斯模糊，每个像素点都经其在空间上附近的点像素值与前后几帧画面间的像素值按三维高斯模糊后计算获得，公式如下：
(4)取目标像素点附近三维空间中一定范围内的数值，根据正态分布密度决定权重系数而相乘获得目标位置的处理后像素值，得到神经元的两帧画面运动输入刺激
公式如下：
进一步，步骤二中，所述利用具有瞬时极值和持续效应特征的基函数对特征序列编码，获得对视网膜神经节细胞的外部输入刺激矩阵，包括：
(1)构建用于快速提取视频资料在时间域和空间域的多模态视觉时空刺激输入矩阵，公式如下：
其中，
表示通过第i种方法构建的刺激基矩阵；通过选择适合应用情景的特征提取方法序列，提取出目标任务所关注的视觉时空特征；
(2)构建刺激基矩阵，公式如下：
其中，
表示神经元i对输入视频资料中提取的第k种刺激特征。
进一步，步骤三中，所述通过非线性计算模型单元训练得到能适应复杂环境的多模态刺激输入非线性视网膜编码器，包括：
(1)建立非线性视网膜编码器模型；
(2)提出模型的优化方案。
进一步，步骤(1)中，所述建立非线性视网膜编码器，包括：
1)利用不同特征权向量对输入刺激进行线性计算以获得其中所包含的对应特征；
2)利用一对线性-非线性的上游滤波器对输入刺激矩阵分别计算其输入的兴奋-抑制性输入；
3)根据脉冲非线性函数对上游特征进行整合激活，从而获得神经元针对输入刺激而引起的激发速率。
进一步，步骤(1)中，所述建立非线性视网膜编码器，还包括：
其中，ki是对特征矩阵Xstim的第i种线性选择滤波器，fi(·)和ωi是该特征对应的上游非线性函数和权重系数，x(t)表示神经元内部的额外因子，h是作用在x上的线性滤波器。
进一步，步骤(2)中，所述提出视网膜编码器模型的优化方案，包括：
1)在该模型中，固定ωi为±1，对线性滤波器组{ki}的优化通过计算似然函数对各个滤波器ki的梯度得到：
其中，
F′[·]和fi′(·)分别是F[·]和fi(·)的导函数；Stimm(t)是输入刺激矩阵中的第m列在t时刻的值；
2)在所述线性滤波被确定后，上游非线性的优化通过无参数的方式进行；利用一组分段线性基底将非线性函数fi(·)表示为
分段线性基
表示为如下形式：
该分段线性基函数计算只需要基于对格点xk的确定即可提供足够的上游非线性；参考fi(·)的参数分布进行格点的选择，即p(gi(t))，其中g(t)＝ki·s(t)，p表示取gi(t)的n分位数，或者函数值空间中的n等分点；同时，使用线性约束aij以保证非线性函数fi(·)是单调递增的，使模型输出结果保持对神经输入的可解释性；
3)针对脉冲非线性函数F(·)，使用下式进行控制计算：
F(x)＝αlog[1+exp(β(G(t)-γ))]；
其中，α控制F(·)尺度，β控制曲线形状，γ是平移控制项，该函数保证其函数值在参数空间内是凸函数；对α、β、γ进行梯度下降法计算从而实现F(·)的优化；
4)根据获得的神经元发射速率曲线，利用随机泊松过程生成视网膜编码器方法的模拟神经元针对输入刺激的随机脉冲序列输出。
本发明的另一目的在于提供一种应用所述的基于多模态特征的视网膜编码器的构建方法构建得到的视网膜编码器。该视网膜编码器相比于其他视网膜编码器可以更准确的模拟视网膜在自然场景输入下产生的尖峰放电序列，实现基于硬件计算的对视网膜神经节细胞对输入视频信号编码的模拟。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
(1)提取输入视频的多模态刺激特征；
(2)利用具有瞬时极值和持续效应特征的基函数对特征序列编码，获得对视网膜神经节细胞的外部输入刺激矩阵；
(3)通过非线性模型训练得到能适应复杂环境的多模态刺激输入非线性视网膜编码器。
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的基于多模态特征的视网膜编码器。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：为比较分析本发明提出的基于多模态特征的视网膜编码器的实际表现，本发明选取了部分神经元，分别计算其预测输出与目标值的似然函数值和互相关系数进行比较。从图4中可以看出，本发明提出的视网膜编码器模型相比其他模型在似然函数及互相关系数上性能均显著提升。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于多模态特征的视网膜编码器的构建方法流程图。
图2是本发明实施例提供的基于多模态特征的视网膜编码器的构建方法原理图。
图3是本发明实施例提供的不同类型基矩阵对输入视频刺激的编码过程示意图。
图4是本发明实施例提供的实际效果对比实验示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种基于多模态特征的视网膜编码器的构建方法，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的基于多模态特征的视网膜编码器的构建方法包括以下步骤：
S101，提取输入视频的多模态刺激特征；
S102，利用具有瞬时极值和持续效应特征的基函数对特征序列编码，获得对视网膜神经节细胞的外部输入刺激矩阵；
S103，通过非线性模型训练得到能适应复杂环境的多模态刺激输入非线性视网膜编码器。
本发明实施例提供的基于多模态特征的视网膜编码器的构建方法原理图如图2所示。
下面结合实施例对本发明的技术方案作进一步描述。
步骤1：提取对神经节细胞的外部输入特征；
步骤2：利用具有瞬时极值和持续时间效应特征的基函数对外部多模态特征编码，获得对视网膜神经节细胞的外部输入刺激矩阵；
步骤3：通过非线性模型训练得到非线性视网膜编码器计算单元中的参数，构建基于神经节细胞刺激处理机制的视网膜编码器。
在具体实施时，提取外部输入特征的步骤如下：
(1)提取输入视频中感受野范围内的视觉输入，获得目标神经元在视频时间内的光照刺激序列。对神经元i，其光照刺激的输入强度计算如下：
其中，V(x,y,t)表示输入视频在(x,y,t)点的光照强度，x,y分别表示视频上某一帧的空间位置坐标，t表示视频帧数。实验中视频尺寸大小为360*360，共包含1600帧视频图像。
(2)基于获得的神经节i的输入光照刺激
进一步提取视频的光照强度瞬时变化刺激序列
公式如下：
(3)对视频进行三维高斯模糊，每个像素点都经其在空间上附近的点像素值与前后几帧画面间的像素值按三维高斯模糊后计算获得，公式如下：
(4)取目标像素点附近三维空间中一定范围内的数值，根据正态分布密度决定权重系数而相乘获得目标位置的处理后像素值。最后得到神经元的两帧画面运动输入刺激
公式如下：
步骤2中计算获得对视网膜神经节细胞的外部输入刺激矩阵的具体步骤如下：
(1)应用图3中不同时空特征的基函数对输入刺激特征序列编码，不同特征的刺激效应通过基函数类型和基函数形态参数控制，公式如下：
其中，
表示神经元i对输入视频资料中提取的第k种刺激特征，bs(·)表示基函数构建函数，s,d,nb分别控制刺激基函数形态、持续时间和刺激基序列数量。
(2)将多种刺激对应的编码刺激基函数组合成为针对目标计算神经元的多模态刺激输入外部矩阵Xstim：
最后，步骤3中对本发明中的视网膜编码器模型训练过程步骤如下：
(1)建立非线性视网膜编码模型，步骤如下：
1)通过一组滤波器向量提取输入的多模态外部刺激矩阵中包含的刺激信息以获得对计算神经元模型的刺激输入；
2)利用一对平行的线性-非线性上游滤波器分别提取输入刺激中的“兴奋-抑制”信号，并引入线性控制项整合额外信息以获得对神经元当前时刻的激发状态；
3)利用下游的脉冲非线性单元激活上游获得的激发状态信息以获得神经元对目标输入的激发速率曲线r(t)，并通过一定的泊松过程生成随机脉冲输出。
以上过程可表示为下式：
其中，{ki}是对特征矩阵Xstim的滤波器组，fi(·)和ωi是该特征对应的上游非线性函数和权重系数，x(t)表示神经元内部的额外因子，如历史激发信息，h是作用在x上的线性滤波器。
(2)对提出模型的优化方案，步骤如下：
1)对线性滤波器组{ki}的优化可以通过计算似然函数对各个滤波器{ki}的梯度得到：
其中，G(t)＝∑igi(t)＝∑iwifi(ki·s(t))，F′[·]和fi′(·)分别是F[·]和fi(·)的导函数。Stimm(t)是输入刺激矩阵中的第m列在t时刻的值。
2)在该模型中，本发明固定ωi为±1，在前一步骤中的线性滤波器组{ki}被确定后，后续的非线性计算优化可以通过一种无参数的方式进行。本发明利用一组分段线性基底将非线性函数fi(·)表示为
分段线性基
可以表示为如下形式：
该分段线性基函数计算只需要基于对格点xk的确定即可提供足够的上游非线性。对这些格点的选择可以参考fi(·)的参数分布来选择，也就是p(gi(t))，其中g(t)＝ki·s(t)，p表示取gi(t)的n分位数，或者函数值空间中的n等分点。同时，为了使本发明的模型具有对神经输入的可解释性，本发明使用线性约束aij以保证非线性函数fi(·)是单调递增的。
3)针对脉冲非线性函数F[·]，本发明使用下式进行控制计算：
F(x)＝αlog[1+exp(β(G(t)-γ))]
其中，α控制F[·]尺度，β控制曲线形状，γ是平移控制项，该函数保证了其函数值在参数空间内是凸函数。通过对α、β、γ进行梯度下降法计算更新实现F[·]的优化。
最后，根据获得的神经元发射速率曲线，利用随机泊松过程生成视网膜编码器神经元针对输入刺激的随机脉冲序列输出。
如图4所示，为比较分析本发明提出的基于多模态特征的视网膜编码器的实际表现。本发明选取了部分神经元，分别计算其预测输出与目标值的似然函数值和互相关系数进行比较。从图4中可以看出，本发明提出的视网膜编码器相比其他模型在似然函数及互相关系数上性能均显著提升。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种基于多模态特征的视网膜编码器的实现方法，其特征在于，首先提取输入视频的多模态刺激特征；然后利用具有多维时间域效应特征的基函数对特征序列编码，获得对视网膜神经节细胞的外部输入刺激矩阵；最后通过线性-非线性计算单元训练得到能适应复杂环境的多模态刺激输入非线性视网膜编码器。
2.如权利要求1所述的基于多模态特征的视网膜编码器实现方法，其特征在于，所述提取输入视频的多模态刺激特征，包括：
(1)提取输入视频中感受野范围内的视觉输入，获得目标神经元在视频时间内的光照刺激序列，对神经元i的光照刺激的输入强度计算如下：
其中，V(x,y,t)表示输入视频在(x,y,t)点的光照强度，x,y分别表示视频上某一帧的空间位置坐标，实验中视频尺寸为360*360；t表示视频帧数，实验视频共包含1600帧图像；
(2)基于获得的神经节i的输入光照刺激
提取视频的光照强度瞬时变化刺激序列
公式如下：
(3)对视频进行三维高斯模糊，每个像素点都经其在空间上附近的点像素值与前后几帧画面间的像素值按三维高斯模糊后计算获得，公式如下：
(4)取目标像素点附近三维空间中一定范围内的数值，根据正态分布密度决定权重系数而相乘获得目标位置的处理后像素值，得到神经元的两帧画面运动输入刺激
公式如下：
3.如权利要求1所述的基于多模态特征的视网膜编码器的实现方法，其特征在于，所述利用具有瞬时极值和持续效应特征的基函数对特征序列编码，获得对视网膜神经节细胞的外部输入刺激矩阵，包括：
(1)构建用于快速提取视频资料在时间域和空间域的多模态视觉时空刺激输入矩阵，公式如下：
其中，
表示通过第i种方法构建的刺激基矩阵；通过选择适合应用情景的特征提取方法序列，提取出目标任务所关注的视觉时空特征；
(2)构建刺激基矩阵，公式如下：
其中，
表示神经元i对输入视频资料中提取的第k种刺激特征。
4.如权利要求1所述的基于多模态特征的视网膜编码器的实现方法，其特征在于，所述通过线性-非线性计算单元训练得到能适应复杂环境的多模态输入非线性视网膜编码器，包括：
(1)建立非线性视网膜编码模型；
(2)提出模型的优化方案。
5.如权利要求4所述的基于多模态特征的视网膜编码器的构建方法，其特征在于，步骤(1)中，所述建立非线性视网膜编码器，包括：
1)利用不同特征权向量对输入刺激进行线性计算以获得其中所包含的对应特征；
2)利用一对线性-非线性的上游滤波器对输入刺激矩阵分别计算其输入的兴奋-抑制性输入；
3)根据脉冲非线性函数对上游特征进行整合激活，从而获得神经元针对输入刺激而引起的激发速率。
6.如权利要求4所述的基于多模态特征的视网膜编码器的构建方法，其特征在于，步骤(1)中，所述建立非线性视网膜编码模型，还包括：
其中，ki是对特征矩阵Xstim的第i种线性选择滤波器，fi(·)和ωi是该特征对应的上游非线性函数和权重系数，x(t)表示神经元内部的额外因子，h是作用在x上的线性滤波器。
7.如权利要求4所述的基于多模态特征的视网膜编码器的构建方法，其特征在于，步骤(2)中，所述提出视网膜编码器模型的优化方案，包括：
1)在该模型中，固定ωi为±1，对线性滤波器组{ki}的优化通过计算似然函数对各个滤波器ki的梯度得到：
其中，G(t)＝∑igi(t)＝∑iwifi(ki·s(t))，F′[·]和fi′(·)分别是F[·]和fi(·)的导函数；Stimm(t)是输入刺激矩阵中的第m列在t时刻的值；
2)在所述线性滤波被确定后，上游非线性的优化通过无参数的方式进行；利用一组分段线性基底将非线性函数fi(·)表示为
分段线性基
表示为如下形式：
该分段线性基函数计算只需要基于对格点xk的确定即可提供足够的上游非线性；参考fi(·)的参数分布进行格点的选择，即p(gi(t))，其中g(t)＝ki·s(t)，p表示取gi(t)的n分位数，或者函数值空间中的n等分点；同时，使用线性约束aij以保证非线性函数fi(·)是单调递增的，使模型具有对神经输入的可解释性；
3)针对脉冲非线性函数F(·)，使用下式进行控制计算：
F(x)＝αlog[1+exp(β(G(t)-γ))]；
其中，α控制F[·]尺度，β控制曲线形状，γ是平移控制项，该函数保证其函数值在参数空间内是凸函数；对α、β、γ进行梯度下降法计算从而实现F[·]的优化；
4)根据获得的神经元发射速率曲线，利用随机泊松过程生成视网膜编码器神经元针对输入刺激的随机脉冲序列输出。
8.一种实施如权利要求1～7任意一项所述的基于多模态特征的视网膜编码器的构建方法构建得到的视网膜编码器。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
(1)提取输入视频的多模态刺激特征；
(2)利用具有瞬时极值和持续效应特征的基函数对特征序列编码，获得对视网膜神经节细胞的外部输入刺激矩阵；
(3)通过非线性模型训练得到能适应复杂环境的基于多模态特征的视网膜编码器。
10.一种编码视觉信号的信息数据处理终端，其特征在于，所述编码视觉信号的信息数据处理终端用于实现如权利要求8所述的基于多模态特征的视网膜编码器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110999519.5A CN113888745A (zh) | 2021-08-29 | 2021-08-29 | 基于多模态特征的视网膜编码器构建方法、设备、终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110999519.5A CN113888745A (zh) | 2021-08-29 | 2021-08-29 | 基于多模态特征的视网膜编码器构建方法、设备、终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113888745A true CN113888745A (zh) | 2022-01-04 |
Family
ID=79011385
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110999519.5A Pending CN113888745A (zh) | 2021-08-29 | 2021-08-29 | 基于多模态特征的视网膜编码器构建方法、设备、终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113888745A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140355861A1 (en) * | 2011-08-25 | 2014-12-04 | Cornell University | Retinal encoder for machine vision |
| CN106137531A (zh) * | 2010-02-26 | 2016-11-23 | 康奈尔大学 | 视网膜假体 |
| US20170213134A1 (en) * | 2016-01-27 | 2017-07-27 | The Regents Of The University Of California | Sparse and efficient neuromorphic population coding |
| CN113068035A (zh) * | 2021-03-17 | 2021-07-02 | 之江实验室 | 一种基于深度神经网络的自然场景重建的方法 |
-
2021
- 2021-08-29 CN CN202110999519.5A patent/CN113888745A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106137531A (zh) * | 2010-02-26 | 2016-11-23 | 康奈尔大学 | 视网膜假体 |
| US20140355861A1 (en) * | 2011-08-25 | 2014-12-04 | Cornell University | Retinal encoder for machine vision |
| US20170213134A1 (en) * | 2016-01-27 | 2017-07-27 | The Regents Of The University Of California | Sparse and efficient neuromorphic population coding |
| CN113068035A (zh) * | 2021-03-17 | 2021-07-02 | 之江实验室 | 一种基于深度神经网络的自然场景重建的方法 |
Non-Patent Citations (2)
| Title |
|---|
| ALEJANDRO BARRIGA-RIVERA等: "Optic nerve and retinal electrostimulation in rats: direct activation of the retinal ganglion cells", 《2018 40TH ANNUAL INTERNATIONAL CONFERENCE OF THE IEEE ENGINEERING IN MEDICINE AND BIOLOGY SOCIETY (EMBC)》, 28 October 2018 (2018-10-28) * |
| 严圳: "基于多模态刺激输入的非线性视网膜编码模型研究", 《中国优秀硕士学位论文全文数据库》, 15 May 2022 (2022-05-15) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108898168B (zh) | 用于目标检测的卷积神经网络模型的压缩方法和系统 | |
| Liang et al. | MCFNet: Multi-layer concatenation fusion network for medical images fusion | |
| CN111914997B (zh) | 训练神经网络的方法、图像处理方法及装置 | |
| Fu et al. | A model-driven deep unfolding method for jpeg artifacts removal | |
| CN111507993A (zh) | 一种基于生成对抗网络的图像分割方法、装置及存储介质 | |
| Fu et al. | Continual image deraining with hypergraph convolutional networks | |
| CN112613581A (zh) | 一种图像识别方法、系统、计算机设备和存储介质 | |
| CN106408550A (zh) | 一种改进的自适应多字典学习的图像超分辨率重建方法 | |
| Hu et al. | A multi-stage underwater image aesthetic enhancement algorithm based on a generative adversarial network | |
| KR102093577B1 (ko) | 학습네트워크를 이용한 예측 영상 생성 방법 및 예측 영상 생성 장치 | |
| CN111105017A (zh) | 神经网络量化方法、装置及电子设备 | |
| CN112417752B (zh) | 基于卷积lstm神经网络的云层轨迹预测方法及系统 | |
| CN107240100B (zh) | 一种基于遗传算法的图像分割方法和系统 | |
| CN117237756A (zh) | 一种训练目标分割模型的方法、目标分割方法及相关装置 | |
| Ye et al. | Glow in the dark: Low-light image enhancement with external memory | |
| CN114757334A (zh) | 模型构建方法及装置、存储介质及电子设备 | |
| CN117237547B (zh) | 图像重建方法、重建模型的处理方法和装置 | |
| CN112989955A (zh) | 基于空时双流异构嫁接卷积神经网络人体动作识别方法 | |
| CN113888745A (zh) | 基于多模态特征的视网膜编码器构建方法、设备、终端 | |
| Bao et al. | Half quadratic splitting method combined with convolution neural network for blind image deblurring | |
| Yu et al. | Single image super-resolution based on improved WGAN | |
| CN116106909A (zh) | 一种雷达回波外推方法、系统及存储介质 | |
| US20220083867A1 (en) | Methods and systems for simulating dynamical systems via synaptic descent in artificial neural networks | |
| CN112950501B (zh) | 基于噪声场的图像降噪方法、装置、设备及存储介质 | |
| Tapiador-Morales et al. | Event-based row-by-row multi-convolution engine for dynamic-vision feature extraction on fpga |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |