CN104361395A - 基于视觉仿生的超分辨率图像信息获取方法 - Google Patents

Abstract

本发明公开了一种基于视觉仿生的超分辨率图像信息获取方法，属于图像处理领域。本发明受人眼在微动模式下能够获取超分辨率图像信息的启发，结合人眼固视微动和超分辨率特性，提出一种基于视觉仿生的超分辨率图像信息获取方法。该方法建立了超分辨率图像信息获取的模型，揭示了人眼固视微动与超分辨率图像信息获取之间的定量关系，并通过实际图像数据进行仿真验证。本发明方法获取的图像细节大幅增加，视觉效果显著改善，即获取了超分辨率的图像信息，具有应用和推广价值。

Description

基于视觉仿生的超分辨率图像信息获取方法

技术领域

本发明涉及图像处理领域，具体属于超分辨率图像获取技术。

背景技术

人类视觉系统的视网膜承担着视觉信号的初级处理功能，总的来说，视网膜由三层细胞组成。第一层是感光细胞层，主要负责感受外界的光照刺激；第二层是双极细胞层，负责联络作用，将感光细胞与神经节细胞相联系；第三层是神经节细胞层，它是唯一能将视网膜处理后的视觉信息编码为神经电信号传输到大脑的细胞。视网膜中有一个非常重要的概念—感受野。神经节细胞的感受野是指一定区域范围内的神经节细胞，这些细胞能够同时感受来自上一层细胞的某个刺激，并产生相应的响应输出。在感知外界自然场景时，外部光信号入射到视网膜的感光细胞上，并经视网膜双极细胞回路传递至神经节细胞，神经节细胞将接收到的光刺激转化为神经电信号，经视交叉神经和外膝体神经中转，最终到达大脑的视觉皮层，视觉皮层对电信号进行处理加工后还原出视觉图像。

18世纪30年代，科学家们发现人眼具有固视微动现象，即在注视某一静止物体时，人眼并不是静止不动的，而是以自身无法觉察的频率和幅度进行着微小运动，这种微小运动称为人眼的固视微动。19世纪70年代，Westhemer G.发现人眼具有超分辨能力现象，即在正常人眼视网膜的中央凹区，两个视锥细胞的最小中心距离为30″到1′，理论分析认为，人眼的分辨能力受视网膜内感光细胞的排列密度限制。心理物理实验研究表明，在某些刺激图形下，人眼可以分辨空间上相距大约1″到6″视角的两个点，这大大超出了视网膜中央窝区感光细胞的最大排列密度，比理论值高出一个数量级，这种现象被称为人眼的超分辨率。

2000年，S.Martinez通过在实验室条件下建立绝对的眼球固定状态，以抑制固视微动的发生，实验证实当不存在眼球的微动时，视网膜上成的像将突然模糊并消失，这就是著名的“Troxler效应”，可见眼球的微动与视网膜感知成像有着密切的关系。对于“Troxler效应”，早期的科学家认为，由于视觉系统对于移动的物体更加敏感，因此固视微动的意义就是制造这样的运动以防止视觉信号的持续不变导致视觉神经系统的适应过程，而使得感知信息退化消失。但是越来越多的观测和实验结果表明这样的理解并不能够解释固视微动的全部意义，因此持续涌现出对于眼动功能的大量解释。当前主流意见一致认为，当人注视着一个特殊的物体或者背景时，固视微动对于视觉的敏度和精度也有相应的意义和作用，但眼球固视微动与超分辨率之间的具体关系并没有被详细研究。

发明内容

采用人工神经元MP模型来模拟视觉神经元的工作过程，即通过构建一个MP神经单元来模拟视觉神经对外界输入光强的感知、响应及编码过程。MP神经元有一个阈值，当输入光强信号累加超过神经细胞阈值时，神经元即被激活，否则处于抑制状态。假定x₁,x₂…x_n是传来的输入信号，w₁,w₂…w_n表示输入信号的权重，θ_i表示神经元的响应阈值，则第i个神经元的输入与输出关系表示为在不同光强L的刺激下，神经元激发出的响应信号不同，每个神经元的激励响应输出由式进行表达，式中L为入射光强，O为神经元响应输出，i表示第i个神经元被激励，R为各神经元响应阈值所满足的分辨率。这样由多个神经元被激励后所构成的光强量化序列，即形成了一组神经编码，不同的神经编码序列代表不同的外界输入光强。

在人眼固视微动模式下，眼球的随机运动使得外界入射到视网膜上的光强信号发生随机变化，即L_R(x,y)＝L(x,y)+ΔL(x,y)，其中L_R为固视微动后的光强，ΔL为固视微动引起的随机变化量。人眼固视微动导致视觉刺激的变化可用光流方程表达为ΔL(x,y)＝a(x,y)Δx+b(x,y)Δy，式中ΔL(x,y)表示点(x,y)上的光强度变化，a(x,y)、b(x,y)分别为点(x,y)的水平方向梯度和垂直方向梯度，Δx,Δy分别表示固视微动引起的水平和垂直方向的眼动幅度。本发明采用分数阶微分表示a(x,y)、b(x,y)，即：

$\begin{array}{c}a(x,y)=\frac{{\∂}^{v}L(x,y)}{\∂x^v}\≈L(x,y)+(-v)L(x-1,y)+\frac{(-v)(-v+1)}{2}L(x-2,y)\\ +...+\frac{\mathrm{\Γ}(n-v-1)}{(n-1)!\mathrm{\Γ}(-v)}L(x-n+1,y)\end{array}$

$\begin{array}{c}b(x,y)=\frac{{\∂}^{v}L(x,y)}{\∂y^v}\≈L(x,y)+(-v)L(x,y-1)+\frac{(-v)(-v+1)}{2}L(x,y-2)\\ +...+\frac{\mathrm{\Γ}(n-v-1)}{(n-1)!\mathrm{\Γ}(-v)}L(x,y-n+1)\end{array}$

本发明规定Δx和Δy均服从标准正态分布，即 根据正态分布的线性可加性，ΔL同样服从正态分布，则ΔL的概率密度函数可表示为即人眼的固视微动导致单个视网膜感光细胞感知到的灰度变化为ΔL，它是一个期望为0、方差为a²+b²的高斯随机变量。考虑到统计时间t，ΔL(x,y)应相应地表达为ΔL(x,y,t)，即L_R(x,y)＝L(x,y)+ΔL(x,y,t)。当眼动产生的刺激到达视觉系统后，神经网络将会产生相应的神经信号序列[L(x，y)+ΔL(x,y,t)]，对应的固视微动影响下神经元[L]+i被激活的概率P_[L]+i可以表示为：规定神经元的数目为M，由于M的限制导致了静态情况下感知图像的分辨率较低，本发明通过神经元的随机编码统计分析以提高分辨率。对神经编码在T个周期内进行采样统计，时间统计值可以作为对原始光刺激强度的最终估计值，即：其中，T_[L]+i＝T×P_[L]+i表示在周期T中神经元[L]+i被激活的概率学次数。

本发明方法深入发掘了人眼固视微动与超分辨率信息获取之间的关系，建立了超分辨率图像信息获取的理论模型，揭示了人眼固视微动与超分辨率图像信息获取之间的定量关系，并通过实际图像数据进行了仿真验证。本发明方法运用视觉的微动特性和神经系统的统计特性突破了视网膜细胞分辨率的限制，以较少的神经元编码较多的亮度信息，使感知到的图像细节信息大幅增加，视觉效果显著改善，获取了超分辨率的图像信息。且本发明方法实现简单，运算量小，具有较大的实用价值和应用前景。

附图说明

图1为本发明方法流程示意图；

图2为本发明方法处理效果图，图2中(a)表示256级的灰度原图，(b)表示无固视微动时的感知图像，(c)表示周期为4微动次数为331次的本发明方法感知图像；

图3为局部放大图像，图3中(a),(b),(c)分别表示图2(a),图2(b),图2(c)的同一局部区域放大图；

图4为局部放大图像的灰度级信息图表。

具体实施方式

下面结合附图给出一个非限定性的实施例对本发明作进一步的阐述。

图1为本发明方法的实施流程图，具体包括以下步骤：建立超分辨率图像信息获取模型，揭示人眼固视微动与超分辨率图像信息获取之间的定量关系，并通过实际图像数据进行仿真验证。下面具体阐述各个步骤的实施过程：

(1)建立超分辨率图像信息获取模型

采用人工神经元MP模型来模拟视觉神经元的工作过程，即通过构建一个MP神经单元来模拟视觉神经对外界输入光强的感知、响应及编码过程。MP神经元有一个阈值，当输入光强信号累加超过神经细胞阈值时，神经元即被激活，否则处于抑制状态。假定x₁,x₂…x_n是传来的输入信号，w₁,w₂…w_n表示输入信号的权重，θ_i表示神经元的响应阈值，则第i个神经元的输入与输出关系表示为在不同光强L的刺激下，神经元激发出的响应信号不同，每个神经元的激励响应输出由式进行表达，式中L为入射光强，O为神经元响应输出，i表示第i个神经元被激励，R为各神经元响应阈值所满足的分辨率。这样由多个神经元被激励后所构成的光强量化序列，即形成了一组神经编码，不同的神经编码序列代表不同的外界输入光强。

(2)揭示固视微动与超分辨率图像信息获取之间的定量关系

在人眼固视微动模式下，眼球的随机运动使得外界入射到视网膜上的光强信号发生随机变化，即L_R(x,y)＝L(x,y)+ΔL(x,y)，其中L_R为固视微动后的光强，ΔL为固视微动引起的随机变化量。人眼固视微动导致视觉刺激的变化可用光流方程表达为ΔL(x,y)＝a(x,y)Δx+b(x,y)Δy，式中ΔL(x,y)表示点(x,y)上的光强度变化，a(x,y)、b(x,y)分别为点(x,y)的水平方向梯度和垂直方向梯度，Δx,Δy分别表示固视微动引起的水平和垂直方向的眼动幅度。本发明采用分数阶微分表示a(x,y)、b(x,y)，即：

$\begin{array}{c}a(x,y)=\frac{{\∂}^{v}L(x,y)}{\∂x^v}\≈L(x,y)+(-v)L(x-1,y)+\frac{(-v)(-v+1)}{2}L(x-2,y)\\ +...+\frac{\mathrm{\Γ}(n-v-1)}{(n-1)!\mathrm{\Γ}(-v)}L(x-n+1,y)\end{array}$

$\begin{array}{c}b(x,y)=\frac{{\∂}^{v}L(x,y)}{\∂y^v}\≈L(x,y)+(-v)L(x,y-1)+\frac{(-v)(-v+1)}{2}L(x,y-2)\\ +...+\frac{\mathrm{\Γ}(n-v-1)}{(n-1)!\mathrm{\Γ}(-v)}L(x,y-n+1)\end{array}$

本发明规定Δx和Δy均服从标准正态分布，即 根据正态分布的线性可加性，ΔL同样服从正态分布，则ΔL的概率密度函数可表示为即人眼的固视微动导致单个视网膜感光细胞感知到的灰度变化为ΔL，它是一个期望为0、方差为a²+b²的高斯随机变量。考虑到统计时间t，ΔL(x,y)应相应地表达为ΔL(x,y,t)，即L_R(x,y)＝L(x,y)+ΔL(x,y,t)。当眼动产生的刺激到达视觉系统后，神经网络将会产生相应的神经信号序列[L(x,y)+ΔL(x,y,t)]，对应的固视微动影响下神经元[L]+i被激活的概率P_[L]+i可以表示为：规定神经元的数目为M，由于M的限制导致了静态情况下感知图像的分辨率较低，本发明通过神经元的随机编码统计分析以提高分辨率。对神经编码在T个周期内进行采样统计，时间统计值可以作为对原始光刺激强度的最终估计值，即：其中，T_[L]+i＝T×P_[L]+i表示在周期T中神经元[L]+i被激活的概率学次数。

(3)通过实际图像数据进行仿真验证

量化级数为M级，分辨率为R，二者之间的关系为本发明中M＝4,R＝64；a(x,y),b(x,y)采用分数阶微分，公式右侧结果保留前三项，则：

$a(x,y)=\frac{{\∂}^{v}L(x,y)}{\∂x^v}\≈L(x,y)+(-v)L(x-1,y)+\frac{(-v)(-v+1)}{2}L(x-2,y)$

$b(x,y)=\frac{{\∂}^{v}L(x,y)}{\∂y^v}\≈L(x,y)+(-v)L(x,y-1)+\frac{(-v)(-v+1)}{2}L(x,y-2);$ 根据式 $f\left(\mathrm{\ΔL}\right)=\frac{1}{\sqrt{2\mathrm{\π}}}{e}^{-\mathrm{\Δ}{L}^2/2(a^2+b^2)},P_{\left[L\right]+i}={\∫}_{\left(\right[L]+i-\frac{1}{2})R-I}^{\left(\right[L]+i+\frac{1}{2})R-I}f\left(u\right)\mathrm{du},$ $\left[{\stackrel{\‾}{L}}_R\right]=\underset{-M}{\overset{M}{\mathrm{\Σ}}}\left(\right[L]+i)T_{\left[L\right]+i}/\underset{-M}{\overset{M}{\mathrm{\Σ}}}{T}_{\left[L\right]+i},$ 计算得到神经元统计输出为 $\left[{\stackrel{\‾}{L}}_R\right]=\underset{-M}{\overset{M}{\mathrm{\Σ}}}\left(\right[L]+i)(T\×P_{\left[L\right]+i})/\underset{-M}{\overset{M}{\mathrm{\Σ}}}(T\×P_{\left[L\right]+i}),$ 本发明规定v＝0.36,T＝4。

图2中，(a)表示256级的灰度原图，(b)表示无固视微动时的感知图像，(c)表示周期为4微动次数为331次的本发明方法感知图像；图3(a),(b),(c)分别表示图2(a),图2(b),图2(c)的同一局部区域放大图。从视觉效果看，图2(b)感知效果模糊，仅能辨认出目标大致轮廓，灰度细节信息无法得到感知；采用本发明方法获取的图2(c)感知效果得到明显改善，高度还原了真实输入图像的轮廓、细节等信息。

由图4可知，原图像的灰度分布较为均匀，灰度级有可能为[0,255]的任一值；在非固视微动模式下，由于仿真中的神经元数目仅为4，因此根据本文模型神经元量化输出的灰度值仅包括0,64,128,192，自然图像在一定区域内具有相关性，即非边缘区域的像素点灰度级往往相差不大，量化级数的限制导致感知图像中的多个像素点灰度无差别，视觉效果很差；而采用本发明方法后，图3(c)的灰度级信息有了大幅度的增加，出现了固有量化值之外的多个灰度级信息，这些灰度级信息相较原图，虽有一定的偏差，但处于统计分布的可允许范围之内。这说明通过对神经元量化编码进行统计可以突破现有阈值结构导致的量化分辨率限制，从而获得更高的分辨率，即超分辨率特性。

本发明提出了基于视觉仿生的超分辨率图像信息获取方法，深入发掘了人眼固视微动现象与超分辨率信息获取之间的关系，建立了超分辨率图像信息获取的模型，揭示了人眼固视微动与超分辨率图像信息获取之间的定量关系，并通过实际图像数据进行了仿真验证。本发明方法运用视觉的微动特性和神经系统的统计特性突破了视网膜细胞分辨率的限制，以较少的神经元编码较多的亮度信息，使感知到的图像细节信息大幅增加，视觉效果显著改善，获取了超分辨率的图像信息。本发明方法实现简单，运算量小，具有较大的实用价值和应用前景。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (10)

1.基于视觉仿生的超分辨率图像信息获取方法，其特征在于：采用人工神经元MP模型来模拟视觉神经元的工作过程，即通过构建一个MP神经单元来模拟视觉神经对外界输入光强的感知、响应及编码过程。

2.根据权利要求1所述的基于视觉仿生的超分辨率图像信息获取方法，其特征在于：MP神经元有一个阈值，当输入光强信号累加超过神经细胞阈值时，神经元即被激活，否则处于抑制状态。

3.根据权利要求1所述的基于视觉仿生的超分辨率图像信息获取方法，其特征在于：假定x₁,x₂…x_n是传来的输入信号，w₁,w₂…w_n表示输入信号的权重，θ_i表示神经元的响应阈值，则第i个神经元的输入与输出关系表示为 $O_i=f(\underset{i}{\overset{n}{\mathrm{\Σ}}}{w}_i{x}_i-{\mathrm{\θ}}_i).$

4.根据权利要求1所述的基于视觉仿生的超分辨率图像信息获取方法，其特征在于：在不同光强L的刺激下，神经元激发出的响应信号不同，每个神经元的激励响应输出由式进行表达，式中L为入射光强，O为神经元响应输出，i表示第i个神经元被激励，R为各神经元响应阈值所满足的分辨率。这样由多个神经元被激励后所构成的光强量化序列，即形成了一组神经编码，不同的神经编码序列代表不同的外界输入光强。

5.根据权利要求1所述的基于视觉仿生的超分辨率图像信息获取方法，其特征在于：在人眼固视微动模式下，眼球的随机运动使得外界入射到视网膜上的光强信号发生随机变化，即L_R(x,y)＝L(x,y)+ΔL(x,y)，其中L_R为固视微动后的光强，ΔL为固视微动引起的随机变化量。

6.根据权利要求5所述的基于视觉仿生的超分辨率图像信息获取方法，其特征在于：人眼固视微动导致视觉刺激的变化可用光流方程表达为ΔL(x,y)＝a(x,y)Δx+b(x,y)Δy，式中ΔL(x,y)表示点(x,y)上的光强度变化，a(x,y)、b(x,y)分别为点(x,y)的水平方向梯度和垂直方向梯度，Δx,Δy分别表示固视微动引起的水平和垂直方向的眼动幅度。

7.根据权利要求6所述的基于视觉仿生的超分辨率图像信息获取方法，其特征在于：本发明采用分数阶微分表示a(x,y)、b(x,y)，即：

$\begin{array}{c}a(x,y)=\frac{{\∂}^{v}L(x,y)}{{\∂x}^v}\≈L(x,y)+(-v)L(x-1,y)+\frac{(-v)(-v+1)}{2}L(x-2,y)\\ +\·\·\·+\frac{\mathrm{\Γ}(n-v-1)}{(n-1)!\mathrm{\Γ}(-v)}L(x-n+1,y)\end{array}$

$\begin{array}{c}b(x,y)=\frac{{\∂}^{v}L(x,y)}{{\∂y}^v}\≈L(x,y)+(-v)L(x,y-1)+\frac{(-v)(-v+1)}{2}L(x,y-2)\\ +\·\·\·+\frac{\mathrm{\Γ}(n-v-1)}{(n-1)!\mathrm{\Γ}(-v)}L(x,y-n+1)\end{array}$

8.根据权利要求6所述的基于视觉仿生的超分辨率图像信息获取方法，其特征在于：本发明规定Δx和Δy均服从标准正态分布，即 根据正态分布的线性可加性，ΔL同样服从正态分布，则ΔL的概率密度函数可表示为即人眼的固视微动导致单个视网膜感光细胞感知到的灰度变化为ΔL，它是一个期望为0、方差为a²+b²的高斯随机变量。

9.根据权利要求6所述的基于视觉仿生的超分辨率图像信息获取方法，其特征在于：考虑到统计时间t，ΔL(x,y)应相应地表达为ΔL(x,y,t)，即L_R(x,y)＝L(x,y)+ΔL(x,y,t)。当眼动产生的刺激到达视觉系统后，神经网络将会产生相应的神经信号序列[L(x,y)+ΔL(x,y,t)]，对应的固视微动影响下神经元[L]+i被激活的概率P_[L]+i可以表示为：

10.根据权利要求9所述的基于视觉仿生的超分辨率图像信息获取方法，其特征在于：规定神经元的数目为M，由于M的限制导致了静态情况下感知图像的分辨率较低，本发明通过神经元的随机编码统计分析以提高分辨率。对神经编码在T个周期内进行采样统计，时间统计值可以作为对原始光刺激强度的最终估计值，即：其中，T_[L]+i＝T×P_[L]+i表示在周期T中神经元[L]+i被激活的概率学次数。