CN100367310C - 视网膜神经节细胞感受野尺度可变层次网络模型及其算法 - Google Patents

Abstract

本发明为一种基于视网膜神经节细胞感受野特征的层次网络模型设计及其实现算法。其基本思想是：通过模拟生物视觉神经系统的早期视觉的信息加工流程与结构，设计效仿视网膜多层信号处理方式的层次网络结构，设计拟神经节计算单元在传感器层上的变尺度感受野分布，设计拟神经节计算单元、第三层运动方位检测计算单元局部性的、逐级的计算的机理，再设计用于运动事件探测的警觉算法。使得计算结构能够用来缓解计算效率、计算精度与计算资源间的矛盾，使机器视觉系统在将注意汇聚于首要信息的同时，还对周遭信息保持警觉。

Description

视网膜神经节细胞感受野尺度可变层次网络模型及其算法

技术领域

本发明属于模式识别、计算机视觉、人工神经元网络和认知模型技术领域，具体涉及以生物视网膜的早期视觉神经机制为基础设计的一种对视图像信息进行等级处理的层次网络结构模型，它能有效缓解计算效率、计算精度与计算资源间的矛盾，使机器视觉系统在将计算能力汇聚于首要信息的同时，还对周遭信息保持警觉。

背景技术

计算机视觉是人工智能的一个年轻的分支，80年代初Marr的计算机视觉理论的提出把计算机视觉的研究水平提高到了一个新的层次。视觉计算理论认为对于视觉系统这样复杂的信息加工系统，必须从三个不同的层次上加以研究和理解：(1)计算理论，研究计算的目的是什么？为什么这一计算是合适的？执行这一计算的策略逻辑是什么样的？(2)表示和算法，研究如何实现这个计算理论？输入、输出表示是怎样的？为实现表示间的变换应当采用什么算法？(3)硬件实现，研究在物理上如何实现这种表示和算法？然而作为一个研究学科而言，计算机视觉似乎还不存在一个基本的理论框架[1]。视觉过程的“广义图像表示、分割图像表示、几何表示、关系表示”信息表达方式的描述[2]考虑了认知心理过程，但实现的难度非常大。机器视觉的难点在：三维景物投影到二维图像，深度信息丢失；图像象素的亮度是许多因素混合作用的结果，在图像上很难区别开各种因素；理解需要先验知识；心理学、生理学基础知识的一度缺乏；计算量很大[3]。

在计算机视觉中有几种水平的信息处理：低级视觉，从光强度阵列中抽取基本特征；分割，对线条、区域之类较高级的特征以及表面的方向和闭合形状等信息进行抽取；高级视觉，依据领域特定的知识构成对景物的描述。对比计算视觉和神经视觉的不同模型，虽然从将视觉信息的细节数据上升到抽象的表示这样一个转化和再组织过程来看，生物视觉过程在“从信号到符号”这样一个抽象高度上和经典的计算机视觉过程基本相似，但两者所使用的计算结构完全不同，前者具有极佳的实时性。我们认为通过对人视觉神经机制的借鉴，借助于神经生理和认知心理理论，完全可能找到一些新的突破点。

视觉的产生经过了光学与神经处理这两个阶段，前一个阶段的结束与后一个阶段的开始会聚在视网膜(retina)，它将光量子刺激转化为神经脉冲编码(neural impulse)。人类视网膜由三层细胞组成，从外到内分别为感受器细胞(receptor cell)层、双极细胞(bipolar cell)层和神经节细胞(ganglion cell)层。各层之间以及每一层之内的细胞有着广泛的联系，形成视觉信息初步加工的形态学基础[4]。

人的视网膜中约有1.25亿个视杆细胞(rod cell)和7百万个视锥细胞(cone cell)。在视网膜的不同区域内，各种细胞的分布情况是不同的。视杆基本上位于视网膜的周边区域，视锥更集中于中间区域。在中央凹(fovea)处只有视锥细胞，每平方毫米约15万个以上，中央凹的这种结构特点为高的视锐度创造了条件。中央凹以外的视网膜部分称为周边(或外周)。在由视网膜中心向外周放射排列区域中，视锥与视杆混合分布，但视锥密度迅速下降[5]。视杆感受明暗刺激，更擅长于探测刺激的出现，视锥感受颜色刺激，更擅长于探测刺激的细节[6，7]。神经节细胞具有大的视杆细胞感受野和小的甚至是一对一的视锥细胞感受野。从视神经束中包含的神经纤维数量与视网膜上光传感器总量对比来看(1.3亿个视锥与视杆细胞对1百万个神经节细胞)，信息经过了初步的处理与压缩。感受野的多尺度特性直接导致了注意汇聚处的高视锐度，同时为保持足够的警觉又能对外周信息作粗略处理，保证对整个视野范围的完整覆盖。这种平衡具有重要的生物物理意义。

神经节细胞感受野在反应敏感性的空间分布上呈同心圆拮抗形式，即感受野一般是由中心的兴奋区和周边的抑制区所组成的同心圆结构，它们在功能上是相互拮抗的。神经节细胞的反应可分为给光型(on-型)和撤光型(off-型)两大类[8]：给光型神经节细胞当给光或光强剧增时，动作电位(action potential)发放频率增加；撤光型神经节细胞在撤光或刺激光强突降时，动作电位发放频率增加，而当给光时无反应或动作电位发放频率下降。由于感受野中心区和周边区的相互拮抗作用，当神经节细胞感受野受到大面积的弥散光刺激时，两部分的反应倾向于相互抵消，给光型(on-型)和撤光型(off-型)神经节细胞都得到较弱的反应。从视觉系统信息处理的效率角度来看，视觉信息的重要部分往往是图像的边缘信息(漫画家用寥寥数笔的线条便可勾划出一些人物的鲜活特征)，视觉信息处理系统抽提存在于图像边界处的最有意义的信息，神经节细胞这样的反应机制提高了对图像边缘处的反应，减小了对大面积灰度相似的区域的反应，从而大大提高的视觉系统处理信息的高效性，并经济地使用了有限的计算资源[9]。基于生物视觉机制的人工视觉模型研究是个具有吸引力的方向，可以在视通路的不同阶段，以及综合心理学的方法展开[10-12]。

本项发明的主要贡献在于基于生物视网膜的生理物理学特性，选择对视觉信息处理具有重要意义的神经节细胞作为人工神经元功能设计的计算模型，设计了模拟视网膜视觉信息处理的多尺度感受野的层次网络结构，并实现了拟神经节计算单元感受野随位置变化的形态设计和对视野的交叉覆盖、局域化信息汇聚与处理、用于运动方位探测的警觉算法，以实现在对视焦点信息进行精细处理的同时保持对视野内外周信息的警觉。

参考文献

1.吴健康，肖锦云，计算机视觉，中国科技大学出版社，1993

2.Ballard D.H.&Brown C.M.，Computer vision，Prentice-Hall Inc.，1982

3.Cohen Paul R.&Feigenbaum Edward A.，The handbook of artificial intelligence volume III，William Kaufmann Inc.，1983，p129-130

4.寿天德，视觉信息处理的脑机制，上海：上海科技教育出版社，1997

5.Schneider A M，Trarshis B.，″Elements ofphysiological psychology″，McGraw-Hill Inc.，1995，209-255.

6.Kandel E R，Schwartz J H，Jessell T M.，″Principles ofNeural Science″，McGraw-Hill Inc.，2000，507-522.

7.R.W.Rodieck，″The first steps in seeing″，SinauerAssociates，Inc.，1997，87-124.

8.Kuffler，S.W.，Nicholls，J.G.，″From Neuron to Brain″，Sinauer Associates，Inc.Publishers，Sunderland，Massachusetts，1976.

9.William R.Hendee，Peter N.T.Wells，″The perception of visual information″，Springer-Verlag New York，Inc.，1997.

10.Aapo Hyvrinen，Patrik O.Hoyer，″A two-layer sparse coding model learns simple andcomplex cell receptive fields and topography from natural images″，Vision Research，2413-2423.

11.危辉、何新贵，视知觉下颞叶皮层区功能柱结构的多变元有理平方逼近模拟，模式识别与人工智能，Vol.11(2)，1998，125-131

12.危辉、何新贵，基于视中枢神经机制的层次网络计算模型，计算机学报，Vol.23(6)，2000，620-628

13.Fleet，D.J.，″The Early processing of Spatio-Temporal Visual Information″，Master′sThesis，University of Toronto，1984.

发明内容

本发明的目的在于提出一种基于生物视网膜神经节细胞感受野特征的层次结构设计及其实现算法。这种结构设计和算法(1)在理论上，具有生物物理背景、能对视觉认知机理的信息加工过程进行解释；(2)在工程上，能有效缓解计算效率、计算精度与计算资源间的矛盾，使机器视觉系统在将计算能力汇聚于首要信息的同时，还对周遭信息保持警觉。本发明的基本思想如下：(1)首先模拟生物视觉的神经系统结构中第一阶段的视网膜结构，依据其光传感器、中间层、神经节细胞层的解剖学结构，设计一个早期视觉模型；(2)这个早期视觉模型是一个层次网络计算结构，它由传感器层、拟神经节计算单元层和运动探测层组成，构成一个对信息进行逐级处理的加工序列；(3)各级计算结构的基本组成单元是对局部物理特征进行提取的二值型响应单位，有直接的生物物理学意义，计算单元间的连接也不同于传统人工神经元网络的全连接模型和带权值的连接。模仿生物视觉系统建立相应的计算模型成为解决机器视觉中存在的诸多难题的一个有效手段。

本发明提出的基于生物视网膜神经节细胞感受野特征的层次结构设计及其实现算法，是基于神经视觉早期机制的一种人工神经元网络结构，它通过一个多层次信息加工的等级结构对视野不同区域进行不同精度的处理，也即让等级结构的不同区域分别担负分析功能和监视功能这两类不同的任务，经过拟神经节计算单元对传感器层上局部范围的灰度非均衡性计算后，由运动探测层进行相邻时间段内的差分计算，并通过由层内连接而导致的竞争机制找到变化发生显著的区域，再利用工作记忆的机制保存片段性的变化发生方位，从而获得运动物体的轨迹，为视轴线的转移提供线索。

本发明提出的基于生物视网膜神经节细胞感受野特征的层次结构是一种感受野尺度可变的层次网络模型。

源于生物视网膜结构特点以及信息逐级被提取的逻辑简单性启示^[7]，网络模型设计为三层等级信息加工结构。如图1所示：第一层是图像输入层，由光传感器阵列组成。阵列大小对应生物视觉的视野范围，具体可由人工视觉系统的要求而定。以视野范围内的图像作为外界作用于视网膜上的内像，图像的每个象素对应一个光传感器；第二层是拟神经节单元层，该层的每个节点对应视网膜神经节细胞，获取位于其感受野内的第一层光传感器的输出，对此范围内的第一层信息初步处理；第三层是变化探测层，接收第二层的输出为输入，判别是否有需要加以注意的信息(如图像的显著变化)以转移视焦点。第三层内有局部连接，构成竞争，以突出显著变化。

生物视网膜上视凹点的特征主要表现在光电传感器的分布密度和传感器输出汇聚程度两方面，本发明在传感器均衡分布的基础上通过拟神经节计算单元不均衡的采样密度来实现，生物视网膜视凹点的模拟，简化了系统地复杂性。具体地，本发明提出了多尺度感受野的分布设计，即拟神经节计算单元在对传感器层输入进行处理时所负责的区域形态设计。这个拟神经节计算单元采集信息的区域称为其在传感器层上的感受野。在拟神经节计算单元层的中心部位设置半径可调节的区域作为视凹点模拟区域，感受野的直径随着拟神经节计算单元距离视凹点模拟区域中心增大而增大，从而形成一个在辐向不均衡的感受野尺寸分布；为了保证不出现采样遗漏，空间位置相邻的感受野之间存在一定程度的交叉覆盖。每一个拟神经节计算单元与处于其下层的感受野中的每一个传感器单元相连接，接收输入的汇聚。

生物视网膜的视锥、视杆细胞的分布，以及神经节细胞感受野的分布特点使得中央凹位置处感受到的信息最精细，并得到充分的后续处理。而对外围部分的信息只有简略的处理，但提供视觉警觉或捕获突然出现的目标已足够了。也就是说，生物的这种选择使得在有限的资源下能对尽可能大的视野范围进行感知。受此启发，本发明将拟神经节在视网膜的感受野覆盖区域设计如图2所示，即对中央凹位置处的特定位置的图像进行精细处理，同时兼顾对周围更大范围的图像进行感知，以提供一定的警觉和捕获环境的显著变化的能力。值得强调的是，为清晰起见，图2中未画出那些感受野有重叠的部分。

基于上述层次网络模型和感受野的分布设计。本发明进一步提出了警觉算法，其思想是用少量的计算资源在视野周边区域进行监视，探测是否发生有运动事件发生，以及运动发生的大致方位，为视觉焦点的转移提供线索。警觉算法是在拟神经节计算单元层后再设计一个上面的运动探测层(即第三层)，该层在拟神经节计算单元层上同样分布感受野，但感受野的尺寸均衡，而且半径达到拟神经节计算单元层以粒度计算的规模的几分之一。每个第三层计算单元对运动探测的计算通过拟神经节计算单元层输出的时间导数的乘积来增强。

附图说明

图1为感受野尺度可变的层次网络模型结构。

图2为拟神经节单元在视网膜上的感受野分布示意图。

图3为On-DOG算子和Off-DOG算子图示。其中，图3(a)和图3(b)分别为δ_c＜δ_s时的纵截面视图与俯视图；图3(c)和图3(d)分别为δ_c＞δ_s时纵截面视图与俯视图。

具体实施方式

1.变尺度感受野的实现

生物视网膜中，神经节细胞的感受野尺寸在视网膜上的分布是由中央凹处向外围迅速增大的，同时，视锐度相应迅速减小。我们知道，所能分辨的两个刺激物之间的最小距离越大，视锐度越小。如果将能分辨两个刺激物理解为有两个不同的神经节细胞产生兴奋，那么，视锐度便与感受野的直径关联起来。如果两个刺激物的距离大于相应位置神经节细胞感受野的直径，可以推断会有两个不同的神经节细胞分别产生兴奋。由于视锐度随着离中央凹的距离增大而迅速减小，用函数描述感受野的直径D与此感受野中心距视网膜中心点距离l的关系时，本发明采用指数函数形式： $D=a^{\frac{l}{k}},$ a＞1，其中k是控制视锐度下降速度的参数。为便于图像处理，感受野采用边长为奇数个象素的正方形。如果以视野中心为坐标原点，坐标单位为象素，则位置(x，y)处对应的拟神经节单元在第一层的感受野直径D_(x，y)的计算公式(1)可表示为： $D_{(x,y)}=f\left(a^{\frac{\sqrt{x^2+y^2}}{k}}\right),$ 其中

$f\left(z\right)=\left\{\begin{array}{ccc}2n-1& 2n-1\&le;z<2n+1& n\&Element;N\\ 1& 0<z<1& \end{array}---\left(1\right).\right.$

N为视野区域的边长，参数a可根据参数k、中央凹要求大小及最外围(这里的最外围定义为视野的内切圆圆周处)感受野的大小来确定。例如，对于N×N象素的视野范围，如果要求中央凹的半径为R_f，由于网络模型感受野采用边长为奇数个象素的正方形，因此，拟神经节单元在第一层的感受野直径达到3之前，均位于中央凹内，其在第一层的感受野直径为1，可由公式(1)计算如下： $\left\{\begin{array}{c}f\left(a^{\frac{r}{k}}\right)=1\\ f\left(a^{\frac{R_f}{k}}\right)=3\end{array}\right.$ 0≤r＜R_f，得 $a=3^{\frac{k}{R_f}}.$ 如果要求最外围感受野直径为D_o，即位于距视野中心

处对应的拟神经节单元在第一层的感受野直径为D_o，由公式(1)可得： $a=D_o^{\frac{2k}{N}}.$ 一般情况下，我们先确定一个需对图像精确处理区域的范围大小，即先确定中央凹的半径，然后再求取相应的a。

2.拟神经节单元生成

人类视觉生理结构的形成无疑是千百万年来自然选择的结果，神经节细胞在视网膜上的感受野存在交叉现象，然而具体遵循一个什么样的机制还不是很清楚。但是可以肯定的是感受野的合集覆盖了整个视网膜区域，并且对任何方位的覆盖超过1次。在此，我们通过下列算法完成网络第二层On型与Off型拟神经节单元的生成。具体步骤如下：

(1)将第一层内所有光感受器标记为自由点；

(2)随机在第一层内选取一自由点α_(i，j)，概率均等地在第二层增加一On型或Off型拟神经节细胞β_(i，j)；

(3)将神经节细胞β_(i，j)感受野内所有光感受器标记为非自由点，建立感受野内所有光感受器与拟神经节细胞β_(i，j)的连接，感受野范围的计算遵循1中的原则。

这个生成拓扑连接的过程是一次性的，可以将连接关系贮存起来，以后继续使用。

3.神经节感受野的特性的计算

神经节细胞感受野的反应敏感性在空间分布上呈同心圆拮抗形式，并可分为给光型(on-型)和撤光型(off-型)两大类。Rodieck于1965年提出了关于同心圆拮抗式感受野的数学模型——高斯差模型(difference of Gaussian，DOG)，它由一个兴奋作用强的中心机制和一个作用较弱但面积更大的抑制性周边机制所构成。这是两个有相互拮抗作用的机制，都具有高斯分布的性质，但中心机制有更高的峰敏感度，而且彼此方向相反。这种方法还可以有很多^[7]，由于其计算复杂性低，从纯软件实现的角度看，便于实现并行计算的多线程实现，免除存贮个异性的神经连接的巨大开销。本发明借鉴高斯插模型(DOG模型)在神经节模型上对感受野进行计算，具体实施如下。

DOG模型由两个脉冲响应函数组成，分别用来模拟视网膜细胞对感受野中央区域和外围区域的反应，数学表达式为：(采用时间t的连续而非离散的函数表达形式，为第二、三层探测连续信号的变化打下基础)

$\mathrm{DOG}\left(\stackrel{-}{x}\right)={\mathrm{\&alpha;}}_{c}G(\stackrel{-}{x};{\mathrm{\&delta;}}_c)-{\mathrm{\&alpha;}}_{s}G(\stackrel{-}{x};{\mathrm{\&delta;}}_s)---\left(2\right)$

G为二维高斯算子，在处的响应为：

$G(\stackrel{-}{x};\mathrm{\&delta;})=\frac{1}{{2\mathrm{\&pi;\&delta;}}^2}{e}^{\frac{{\left|\stackrel{-}{x}\right|}^2}{{2\mathrm{\&delta;}}^2}}=\frac{1}{{2\mathrm{\&pi;\&delta;}}^2}{e}^{\frac{{x_1}^2+{x_2}^2}{{2\mathrm{\&delta;}}^2}}$

其中，δ_c和δ_s分别是中央和外周高斯函数的标准差，α_c和α_s分别为中央和外周的敏感系数。DOG函数将随着δ_c/δ_s与α_c/α_s的不同而呈现不同的形状。至于这些参数如何改变DOG算子形状可参阅文献[13]。

如果以

表示t时刻

处的输入信号，则以

为中心的拟神经节执行DOG算子，在

处，t时刻的响应

可表示为：

$R(\stackrel{-}{x},t)={\&Integral;}_{-\&infin;}^{+\&infin;}\mathrm{DOG}(\stackrel{-}{x}-\stackrel{-\&prime;}{x})s(\stackrel{-\&prime;}{x},t)d\stackrel{-\&prime;}{x}$

令： $\stackrel{-}{x}-\stackrel{-\&prime;}{x}=\stackrel{-}{\mathrm{\&omega;}}=(x,y)$ 即

是

距中心点

的距离，则公式可重写为：

$R(\stackrel{-}{x},t)=\&Integral;{\&Integral;}_{\left|\stackrel{-}{\mathrm{\&omega;}}\right|<\&infin;}\mathrm{DOG}\left(\stackrel{-}{\mathrm{\&omega;}}\right)s(\stackrel{-}{x}-\stackrel{-}{\mathrm{\&omega;}},t)\mathrm{dxdy}$

$=\&Integral;{\&Integral;}_{\left|\stackrel{-}{\mathrm{\&omega;}}\right|<\&infin;}({\mathrm{\&alpha;}}_{c}G(\stackrel{-}{\mathrm{\&omega;}};{\mathrm{\&delta;}}_c)-{\mathrm{\&alpha;}}_{s}G(\stackrel{-}{\mathrm{\&omega;}};{\mathrm{\&delta;}}_s))s(\stackrel{-}{x}-\stackrel{-}{\mathrm{\&omega;}},t)\mathrm{dxdy}$

那么，以此为基础，可设计On-DOG算子(δ_c＜δ_s)和Off-DOG算子(δ_c＞δ_s)。如图3所示。

对于On-DOG算子与Off-DOG算子，我们希望其对于灰度均衡区域，即图像无变化区域的响应为0，此时需要满足α_c/α_s＝1，因为需要满足 $\&Integral;{\&Integral;}_{\left|\stackrel{-}{\mathrm{\&omega;}}\right|<\&infin;}\mathrm{DOG}\left(\stackrel{-}{\mathrm{\&omega;}}\right)s(\stackrel{-}{x}-\stackrel{-}{\mathrm{\&omega;}},t)\mathrm{dxdy}=0,$ 这相当于用弥散光照射感受野的情况。

4.On事件与Off事件的检测

网络模型通过检测显著的On事件和Off事件来实现对视野外周信息的警觉。如果感受野中央部分灰度增强，称此事件为On事件。反之，如果感受野中央部分灰度减弱则称其为Off事件。On事件发生于诸如光照强度的增强、灰度较高物体的出现及低灰度物体的消失等类事件。Off事件则发生于光照强度的减弱、灰度较高的物体消失及灰度较低的物体出现等事件。

以

作为On-DOG算子对于

处on事件的响应，对于On-DOG算子，由于δ_c＜δ_s，在中心点处及其附近区域是正贡献的，从On事件的特点可知此刻的On-DOG算子响应必定大于前一时刻的响应。即

的导数大于0。据此，设定网络模型判定On事件的条件如下：

$\begin{array}{c}1.\frac{\&PartialD;\mathrm{Ron}(\stackrel{-}{x},t)}{\&PartialD;t}\end{array}>{\mathrm{\&theta;}}_1$

$\begin{array}{c}2.\frac{{\&PartialD;\mathrm{Ron}}_{-}c(\stackrel{-}{x},t)}{\&PartialD;t}\end{array}>{\mathrm{\&theta;}}_2$

其中： $\mathrm{Ron}(\stackrel{-}{x},t)=\&Integral;{\&Integral;}_{\left|\stackrel{-}{\mathrm{\&omega;}}\right|<\&infin;}\mathrm{DOG}\left(\stackrel{-}{\mathrm{\&omega;}}\right)s(\stackrel{-}{x}-\stackrel{-}{\mathrm{\&omega;}},t)\mathrm{dxdy}$

${\mathrm{Ron}}_{-}c(\stackrel{-}{x},t)={\&Integral;\&Integral;}_{\left\{\stackrel{-}{\mathrm{\&omega;}}\right|\mathrm{DOG}\left(\stackrel{-}{\mathrm{\&omega;}}\right)>0\}}\mathrm{DOG}\left(\stackrel{-}{\mathrm{\&omega;}}\right)s(\stackrel{-}{x}-\stackrel{-}{\mathrm{\&omega;}},t)\mathrm{dxdy}$

为减少对噪声的敏感和确保变化的显著性，条件1引入了域值θ₁，要求算子响应的变化率达到一定的水平。条件2中

是算子在其正贡献区域内的响应，要求此响应变化率达到一定的水平是为确保感受野的中央部分发生了变化。确定域值θ₁和θ₂的原则是拟神经节感受野内图像发生变化的强度，它随感受野面积的变化而变化，考虑到灵敏度不能太低，所以上述变化不是线性的，也就是说会维持一个限度。本发明选择函数 ${\mathrm{\&theta;}}_1={(1+\frac{1}{s_{-}f})}^{s_{-}f}$ 作为参数θ₁选择的计算公式，其中s_f为感受野区域的面积，域值θ₂的选择是在域值θ₁的基础上进行的，根据域值θ₂的意义，可以选择kθ₁作为θ₂的值，其中0.5≤k＜1.0。

同理，以作为Off-DOG算子对于

处off事件的响应。对于Off-DOG算子，由于δ_c＞δ_s，在中心点处及其附近区域是负贡献的。从Off事件的特点可知，此刻的Off-DOG算子响应必定大于前一时刻的响应。即

的导数大于0。网络模型判定Off事件的条件如下：

$\begin{array}{c}1.\frac{\&PartialD;\mathrm{Roff}(\stackrel{-}{x},t)}{\&PartialD;t}\end{array}>{\mathrm{\&theta;}}_3$

$\begin{array}{c}2.\frac{{\&PartialD;\mathrm{Roff}}_{-}c(\stackrel{-}{x},t)}{\&PartialD;t}\end{array}>{\mathrm{\&theta;}}_4$

其中： $\mathrm{Roff}(\stackrel{-}{x},t)=\&Integral;{\&Integral;}_{\left|\stackrel{-}{\mathrm{\&omega;}}\right|<\&infin;}\mathrm{DOG}\left(\stackrel{-}{\mathrm{\&omega;}}\right)s(\stackrel{-}{x}-\stackrel{-}{\mathrm{\&omega;}},t)\mathrm{dxdy}$

${\mathrm{Roff}}_{-}c(\stackrel{-}{x},t)=\&Integral;{\&Integral;}_{\left\{\right|\stackrel{-}{\mathrm{\&omega;}}|\mathrm{DOG}\left(\stackrel{-}{\mathrm{\&omega;}}\right)<0\}}\mathrm{DOG}\left(\stackrel{-}{\mathrm{\&omega;}}\right)s(\stackrel{-}{x}-\stackrel{-}{\mathrm{\&omega;}},t)\mathrm{dxdy}$

为减少对噪声的敏感和确保变化的显著性，条件1引入了域值θ₃，要求算子响应的变化率达到一定的水平。条件2中

是算子在其负贡献区域内的响应，要求此响应变化率达到一定的水平是为确保感受野的中央部分发生了变化。域值θ₃和θ₄的确定原则同前述域值θ₁和θ₂的确定原则。

为确保DOG算子在感受野内进行卷积是足够的，即要求DOG算子对感受野外的象素点对反应要足够小，设定域值θ₅，要求DOG算子在感受野最外处的权值小于θ₅。

设感受野中心坐标为

最外处为

$G\left({\stackrel{-}{x}}_o;\mathrm{\&delta;}\right)=\frac{1}{{2\mathrm{\&pi;\&delta;}}^2}{e}^{\frac{{|{\stackrel{-}{x}}_o-{\stackrel{-}{x}}_c|}^2}{{2\mathrm{\&delta;}}^2}}<{\mathrm{\&theta;}}_5---\left(3\right).$

θ₅确定的原则由感受野的面积与整个视网膜面积的比来确定，本发明选择有渐近线的正函数 ${\mathrm{\&theta;}}_5=\frac{\ln (1-\frac{s_{-}f}{S_{N*N}})}{-\frac{s_{-}f}{S_{N*N}}}$ 作为计算依据。

对于On型DOG算子，δ_c与δ_s选取方法可描述如下：

(1)设定域值θ₅，对各尺寸感受野执行(2)-(3)步；

(2)依公式(1)选取一满足条件的δ作为δ_y；

(3)计算相应权值w₀，w₁，w₂，...w_n；

(4)取一小于δ_s的δ作为δ_s；

(5)计算相应权值w′₀，w′₁，w′₂，...w′_n；

(6)转(2)，直至所有感受野的δ_s与δ_c确定。

算法中第4步在选取δ_s时，要求满足条件： $|\underset{i}{\overset{n}{\mathrm{\&Sigma;}}}{w}_i-\underset{i}{\overset{n}{\mathrm{\&Sigma;}}}{w^{\&prime;}}_i|<{\mathrm{\&theta;}}_6,$ 以确保截得权值后，对灰度均衡区域DOG算子反应足够小。

对于Off型算子，δ_c与δ_s选取算法可类似得到，由于Off型算子要求δ_c＞δ_s，因此算法第二步得到的最大δ作为δ_c，然后再选取合适的δ_s。

在实验中，对应不同感受野选取的δ_c与δ_s如表1所示，其中可见θ₆的确定依据：

表1

5.警觉探测算法

在具体程序的计算实现上，从图像序列中检测图像的显著变化，即检测显著的On事件或Off事件的算法描述如下：

(1)对每个感受野位于视凹点外(探测发生在视野周边区域的景物变化)的神经节单元执行(2)-(5)步；

(2)计算

和

(3)计算ΔRon，ΔRoff，ΔRon_c，ΔRoff_c；

(4)如果ΔRon＞θ₁，ΔRon_c＞θ₂则 $R(\stackrel{-}{x},t)=\mathrm{\&Delta;Ron};$ 否则， $R(\stackrel{-}{x},t)=0;$

(5)如果ΔRoff＞θ₃，ΔRoff_c＞θ₄则 $R(\stackrel{-}{x},t)=\mathrm{\&Delta;Roff};$ 否则， $R(\stackrel{-}{x},t)=0;$

(6)第三层接收来自第二层感受野内的输出，以

作为自己的能量值，即接收来自第二层的拟神经节单元的输出，从而放大各感受野内的输出，突出变化集中区域，以屏蔽噪声影响；判断最显著的On事件或Off事件，以决定是否转移视焦点，实现系统对视野外周区域的警觉。

对于网络第二层的每个拟神经节单元，同时检测该细胞感受野的On事件和Off事件，并将输出响应传递给决策层。决策层通过选取响应最大的On事件或Off事件，作为视焦点转移目标。

Claims (9)

1.一种基于视网膜神经节细胞感受野尺度可变的层次网络模型的警觉方法，其特征在于：

步骤一，建立该层次网络模型，对视网膜神经节细胞感受野进行模拟，该层次网络模型为三层等级信息加工结构：第一层是图像输入层，由光传感器阵列组成，阵列大小对应生物视觉的视野范围，由人工视觉系统的要求而定；以视野范围内的图像作为外界作用于视网膜上的内像，图像的每个像素对应一个光传感器；第二层是拟神经节计算单元层，该层的每个节点对应视网膜神经节细胞；第三层是变化探测层，第三层内有局部连接，构成竞争，以突出显著变化；

步骤二，第二层获取位于该视网膜神经节细胞感受野内的第一层的光传感器阵列的输出，对该视网膜神经节细胞感受野范围内的第一层信息初步处理；

步骤三，第三层接收第二层的输出为输入，用部分的计算资源在视野周边区域进行监视，探测是否有运动事件发生，以及运动事件发生的大致方位，为视觉焦点的转移提供线索，以转移视觉焦点。

2.根据权利要求1所述的层次网络模型的警觉方法，其特征在于所述    视网膜上有视凹点，在光传感器阵列均衡分布的基础上通过拟神经节计算单元层不均衡的采样密度来实现对该    视网膜上视凹点模拟，其步骤是，在拟神经节计算单元层的中心部位设置半径可调节的区域作为视凹点模拟区域，感受野的直径随着拟神经节计算单元层距离视凹点模拟区域中心增大而增大，从而形成一个在辐向不均衡的感受野尺寸分布；为了保证不出现采样遗漏，空间位置相邻的感受野之间存在一定程度的交叉覆盖；拟神经节计算单元层中的每一个拟神经节计算单元与处于其下层的感受野中的每一个光传感器相连接，接收输入的汇聚。

3.根据权利要求2所述的层次网络模型的警觉方法，其特征在于在位置(x，y)处对应的拟神经节计算单元层中拟神经节计算单元在第一层的感受野的直径D(x，y)由下式表示： $D_{(x,y)}=f\left(a^{\frac{\sqrt{x^2+y^2}}{k}}\right),$ 其中

$f\left(z\right)=\left\{\begin{array}{ccc}2n-1& 2n-1\&le;z<2n+1& n\&Element;N\\ 1& 0<z<1& \end{array}\right.---\left(1\right),$

N为视野区域的边长，参数a可根据参数k、中央凹要求大小及最外围感受野的大小来确定。

4.根据权利要求3所述的层次网络模型的警觉方法，其特征在于所述拟神经节单元层中的拟神经节单元其生成步骤如下：

(1)将第一层内所有光传感器标记为自由点；

(2)随机在第一层内选取一自由点α_(i，j)，概率均等地在第二层增加一On型或Off型拟神经节细胞β_(i，j)；

(3)将神经节细胞β_(i，j)感受野内所有光传感器标记为非自由点，建立感受野内所有光传感器与拟神经节细胞β_(i，j)的连接，感受野范围按公式(1)计算。

5.根据权利要求2所述的层次网络模型的警觉方法，其特征在于所述层次网络模型上的感受野计算采用DOG模型，该模型由两个脉冲响应函数组成，分别用来模拟视网膜神经节细胞对感受野中央区域和外围区域的反应，数学表达式为：

$\mathrm{DOG}\left(\stackrel{\&OverBar;}{x}\right)={\mathrm{\&alpha;}}_{c}G(\stackrel{\&OverBar;}{x};{\mathrm{\&delta;}}_c)-{\mathrm{\&alpha;}}_{s}G(\stackrel{\&OverBar;}{x};{\mathrm{\&delta;}}_s)---\left(2\right)$

G为二维高斯算子，在

处的响应为：

$G(\stackrel{\&OverBar;}{x};\mathrm{\&delta;})=\frac{1}{2\mathrm{\&pi;}{\mathrm{\&delta;}}^2}{e}^{-\frac{{\left|\stackrel{\&OverBar;}{x}\right|}^2}{2{\mathrm{\&delta;}}^2}}=\frac{1}{2\mathrm{\&pi;}{\mathrm{\&delta;}}^2}{e}^{-\frac{{x_1}^2+{x_2}^2}{2{\mathrm{\&delta;}}^2}}$

其中，δ_c和δ_s分别是中央和外周高斯函数的标准差，α_c和α_s分别为中央和外周的敏感系数，x₁，x₂为点处的坐标。

6.根据权利要求5所述的层次网络模型的警觉方法，其特征在于该层次网络模型通过检测显著的On事件和Off事件来实现对视野外周信息的警觉，这里的on事件是指感受野中央部分灰度增强，off事件是指感受野中央部分灰度减弱。

7.根据权利要求6所述的层次网络模型的警觉方法，其特征在于：

(1)on事件的判定条件如下：

1. $\frac{\&PartialD;\mathrm{Ron}(\stackrel{\&OverBar;}{x},t)}{\&PartialD;t}>{\mathrm{\&theta;}}_1$

2. $\frac{\&PartialD;\mathrm{Ron}\_c(\stackrel{\&OverBar;}{x},t)}{\&PartialD;t}>{\mathrm{\&theta;}}_2$

其中： $\mathrm{Ron}(\stackrel{\&OverBar;}{x},t)=\&Integral;{\&Integral;}_{\left|\stackrel{\&OverBar;}{\mathrm{\&omega;}}\right|<\&infin;}\mathrm{DOG}\left(\stackrel{\&OverBar;}{\mathrm{\&omega;}}\right)s(\stackrel{\&OverBar;}{x}-\stackrel{\&OverBar;}{\mathrm{\&omega;}},t)\mathrm{dxdy}$

$\mathrm{Ron}\_c(\stackrel{\&OverBar;}{x},t)=\&Integral;{\&Integral;}_{\left\{\right|\stackrel{\&OverBar;}{\mathrm{\&omega;}}|\mathrm{DOG}\left(\stackrel{\&OverBar;}{\mathrm{\&omega;}}\right)>0\}}\mathrm{DOG}\left(\stackrel{\&OverBar;}{\mathrm{\&omega;}}\right)s(\stackrel{\&OverBar;}{x}-\stackrel{\&OverBar;}{\mathrm{\&omega;}},t)\mathrm{dxdy}$

${\mathrm{\&theta;}}_1={(1+\frac{1}{s\_f})}^{s\_f},$ s_f为感受野区域的面积，θ₂＝kθ₁，0.5≤k＜1.0；

(2)off事件的判定条件如下：

1. $\frac{\&PartialD;\mathrm{Roff}(\stackrel{\&OverBar;}{x},t)}{\&PartialD;t}>{\mathrm{\&theta;}}_3---\left(4\right)$

2. $2.\frac{\&PartialD;\mathrm{Roff}\_c(\stackrel{\&OverBar;}{x},t)}{\&PartialD;t}>{\mathrm{\&theta;}}_4---\left(5\right)$

其中： $\mathrm{Roff}(\stackrel{\&OverBar;}{x},t)=\&Integral;{\&Integral;}_{\left|\stackrel{\&OverBar;}{\mathrm{\&omega;}}\right|<\&infin;}\mathrm{DOG}\left(\stackrel{\&OverBar;}{\mathrm{\&omega;}}\right)s(\stackrel{\&OverBar;}{x}-\stackrel{\&OverBar;}{\mathrm{\&omega;}},t)\mathrm{dxdy}---\left(6\right)$

$\mathrm{Roff}\_c(\stackrel{\&OverBar;}{x},t)=\&Integral;{\&Integral;}_{\left\{\right|\stackrel{\&OverBar;}{\mathrm{\&omega;}}|\mathrm{DOG}\left(\stackrel{\&OverBar;}{\mathrm{\&omega;}}\right)<0\}}\mathrm{DOG}\left(\stackrel{\&OverBar;}{\mathrm{\&omega;}}\right)s(\stackrel{\&OverBar;}{x}-\stackrel{\&OverBar;}{\mathrm{\&omega;}},t)\mathrm{dxdy}---\left(7\right)$

θ₃和θ₄的取值分别与θ₁和θ₂相同；其中，算子

见(2)式所示，

表示时刻t时处的输入信号； $\stackrel{\&OverBar;}{\mathrm{\&omega;}}=\stackrel{\&OverBar;}{x}-{\stackrel{\&OverBar;}{x}}^{\&prime;},$ 而

为感受野区域内的点，

为

与

的距离；

8.根据权利要求7所述的层次网络模型的警觉方法，其特征在于DOG算子在感受野最外处满足： $G({\stackrel{\&OverBar;}{x}}_o;\mathrm{\&delta;})=\frac{1}{2\mathrm{\&pi;}{\mathrm{\&delta;}}^2}{e}^{-\frac{{|{\stackrel{\&OverBar;}{x}}_o-{\stackrel{\&OverBar;}{x}}_c|}^2}{2{\mathrm{\&delta;}}^2}}<{\mathrm{\&theta;}}_5---\left(3\right)$

其中， ${\mathrm{\&theta;}}_5=\frac{\ln (1-\frac{s\_f}{S_{N*N}})}{-\frac{s\_f}{S_{N*N}}},$

为感受野最外处坐标，S_N*N为整个视网膜面积，

为感受野中心坐标。

9.根据权利要求6所述的层次网络模型的警觉方法，其特征在于检测显著的on事件或off事件的方法步骤如下：

(1)对每个感受野位于视凹点外的拟神经节计算单元层执行(2)-(5)步；

(2)计算 $\mathrm{Ron}(\stackrel{\&OverBar;}{x},t),\mathrm{Ron}(\stackrel{\&OverBar;}{x},t-1),\mathrm{Roff}(\stackrel{\&OverBar;}{x},t),\mathrm{Roff}(\stackrel{\&OverBar;}{x},t-1),$ 和

$\mathrm{Ron}\_c(\stackrel{\&OverBar;}{x},t),\mathrm{Ron}\_c(\stackrel{\&OverBar;}{x},t-1),\mathrm{Roff}\_c(\stackrel{\&OverBar;}{x},t),\mathrm{Roff}\_c(\stackrel{\&OverBar;}{x},t-1);$

(3)计算ΔRon，ΔRoff，ΔRon_c，ΔRoff_c；

(4)如果ΔRon＞θ₁，ΔRon_c＞θ₂，则 $R(\stackrel{\&OverBar;}{x},t)=\mathrm{\&Delta;Ron};$ 否则， $R(\stackrel{\&OverBar;}{x},t)=0;$

(5)如果ΔRoff＞θ₃，ΔRoff_c＞θ₄，则 $R(\stackrel{\&OverBar;}{x},t)=\mathrm{\&Delta;Roff};$ 否则， $R(\stackrel{\&OverBar;}{x},t)=0;$

(6)第三层接收来自第二层感受野内的输出，以

作为自己的能量值，即接收来自第二层的拟神经节计算单元层的输出，从而放大各感受野内的输出，突出变化集中区域，以屏蔽噪声影响；判断最显著的On事件或Off事件，以决定是否转移视觉焦点，实现层次网络模型对视野外周区域的警觉；其中，

为On-DOG算子对

处On事件的响应，为On-DOG算子在正贡献区内的影响，

为Off-DOG算子对

处Off事件的响应，

为Off-DOG算子在正贡献区内的影响，ΔRon为

与

的差值，ΔR_off为

与

的差值，ΔRon_c为

与的差值，ΔR_off-c为

与

的差值。

Images