CN110738619B - 基于仿生自适应忆阻细胞神经网络的图像增强方法 - Google Patents
基于仿生自适应忆阻细胞神经网络的图像增强方法 Download PDFInfo
- Publication number
- CN110738619B CN110738619B CN201910979130.7A CN201910979130A CN110738619B CN 110738619 B CN110738619 B CN 110738619B CN 201910979130 A CN201910979130 A CN 201910979130A CN 110738619 B CN110738619 B CN 110738619B
- Authority
- CN
- China
- Prior art keywords
- neural network
- adaptive
- image
- self
- cell
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 72
- 239000011664 nicotinic acid Substances 0.000 title claims abstract description 26
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000001413 cellular effect Effects 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 23
- 210000004027 cell Anatomy 0.000 claims description 65
- 230000003044 adaptive effect Effects 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000002093 peripheral effect Effects 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 10
- 210000000225 synapse Anatomy 0.000 claims description 7
- 230000000694 effects Effects 0.000 abstract description 12
- 230000000007 visual effect Effects 0.000 abstract description 8
- 230000007246 mechanism Effects 0.000 abstract description 5
- 238000013461 design Methods 0.000 abstract description 4
- 230000008901 benefit Effects 0.000 abstract description 3
- 230000010354 integration Effects 0.000 abstract description 3
- 230000001133 acceleration Effects 0.000 abstract description 2
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000015572 biosynthetic process Effects 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 32
- 238000010586 diagram Methods 0.000 description 10
- 230000005764 inhibitory process Effects 0.000 description 8
- 238000001914 filtration Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 208000003098 Ganglion Cysts Diseases 0.000 description 4
- 208000005400 Synovial Cyst Diseases 0.000 description 4
- 230000005284 excitation Effects 0.000 description 4
- 230000001629 suppression Effects 0.000 description 4
- 230000002964 excitative effect Effects 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000946 synaptic effect Effects 0.000 description 3
- CIWBSHSKHKDKBQ-JLAZNSOCSA-N Ascorbic acid Chemical compound OC[C@H](O)[C@H]1OC(=O)C(O)=C1O CIWBSHSKHKDKBQ-JLAZNSOCSA-N 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000002401 inhibitory effect Effects 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000003592 biomimetic effect Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 210000003994 retinal ganglion cell Anatomy 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于仿生自适应忆阻细胞神经网络的图像增强方法，融合了模拟人类视觉机制的自适应三高斯模型、细胞神经网络和纳米忆阻器,在典型自适应三高斯模型的基础上,提出了便于硬件实现的线性化自适应三高斯模型,利用高斯核函数和细胞神经网络的图像处理特征，克服了固定图像增强模板和纯数学算法的局限性，大大增强图像增强优势,其增强效果与人眼增强效果更为接近；同时，基于忆阻器的硬件设计,有利于大规模电路集成,便于实现硬件加速和芯片化的端侧实时图像处理。
Description
技术领域
本发明涉及图像处理技术领域，更具体地说，涉及一种基于仿生自适应忆阻细胞神经网络的图像增强方法。
背景技术
图像增强可以将图像上感兴趣的特征强调突出,将不需要的特征抑制,从而增强图像的有用信息,提高图像质量。细胞神经网络具有简单的局部互联结构和高速并行处理能力,是构造人工视网膜的基础模型,可被应用于机器视觉中图像处理时的图像增强等方面.然而,现有的此类图像增强方法尚存在一些不足,例如,在处理实际复杂图像时,采用固定模板难以取得理想效果；而且,未能模拟人类视觉系统的全局和局部自适应调节特性,缺乏仿生考虑。
发明内容
为解决上述技术问题，本发明提供一种基于仿生自适应忆阻细胞神经网络的图像增强方法。
为实现上述目的，本发明所采用的具体技术方案如下：
一种基于仿生自适应忆阻细胞神经网络的图像增强方法，包括以下步骤：
S1：对原始图像进行全局亮度归一化处理，得到忆阻细胞神经网络的输入矩阵ug；
S2：针对所述原始图像上的每一像素点，计算出以该像素点为中心时所对应的空间邻近三高斯核函数中参数A1和σ2的值，从而确定关于对应的中心细胞Ci,j和其邻域细胞Ck,l的空间邻近三高斯核函数gij,kl；
S3：由三高斯核函数gij,kl和对应的单高斯核函数gv(Iij,kl)组成的高斯方程组计算与该像素点所处位置对应的神经网络自适应控制模板参数B，其中：
A1、A2和A3分别表示中心区、外周区和边缘区的峰值系数，σ1、σ2和σ3分别表示中心区、外周区和边缘区的尺度参数，σv表示数值高斯滤波的尺度参数，I(i,j)是核函数中心的像素值,I(k,l)是半径为1的邻域内细胞的像素值，k＝i-1,i,i+1，l＝j-1,j,j+1；
S4：利用忆阻细胞神经网络的输入矩阵ug和神经网络自适应控制模板参数B进行忆阻细胞神经网络的迭代处理,当网络稳定时,得到仿生增强后的图像；
S5：对忆阻细胞神经网络输出的仿生增强后的图像进行恢复处理。
进一步地，步骤S1包括：
针对彩色原始图像中的每一像素点，获取其对应的像素在R通道、G通道和B通道中的最大值后进行归一化处理；
或，
针对灰度原始图像，对全部像素值做归一化处理。
进一步地，步骤S2中根据以下公式确定参数A1和σ2的值：
其中，Con表示中心细胞Ci,j所对应的像素点在其3×3的邻域范围内所有像素值的标准差，Lum表示中心细胞Ci,j所对应的像素点的像素值。
进一步地，神经网络自适应控制模板B由忆阻器构成的桥突触电路的权值实现。
本发明提供的基于仿生自适应忆阻细胞神经网络的图像增强方法融合了模拟人类视觉机制的自适应三高斯模型、细胞神经网络和纳米忆阻器,在典型自适应三高斯模型的基础上,提出了便于硬件实现的线性化自适应三高斯模型,利用高斯核函数和细胞神经网络的图像处理特征，克服了固定图像增强模板和纯数学算法的局限性，大大增强图像增强优势,其增强效果与人眼增强效果更为接近；同时，基于忆阻器的硬件设计,有利于大规模电路集成,便于实现硬件加速和芯片化的端侧实时图像处理。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1为本发明实施例提供的M×N的二维细胞神经网络的结构示意图；
图2为基于仿生自适应忆阻细胞神经网络的图像增强方法的流程示意图；
图3为忆阻细胞的等效电路图示意图；
图4为忆阻器构成的桥突触电路的结构示意图；
图5为两个模板对系统动态行为的影响和作用示意图；
图6-1为中心兴奋模块的空间结构示意图；
图6-2为外周抑制模块的空间结构示意图；
图6-3为边缘兴奋模块的空间结构示意图；
图6-4为三高斯模型的空间结构示意图；
图7-1为感受野中心兴奋区敏感区Ai随Con的变化曲线图；
图7-2为感受野抑制区半径σ2随Lum的变化曲线图；
图8为彩色图像的增强流程示意图；
图9-1为Room图像的原始图像；
图9-2为Room图像的经过直方图均衡化增强后的图像；
图9-3为Room图像的使用SICNN增强后的图像；
图9-4为Room图像的使用BAM-CNN增强后的图像；
图10-1为Tower图像的原始图像；
图10-2为Tower图像的经过直方图均衡化增强后的图像；
图10-3为Tower图像的使用Retinex方法增强后的图像；
图10-4为Tower图像的使用BAM-CNN增强后的图像。
具体实施方式
为了使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
细胞神经网络是一种大规模并行模拟信息处理阵列,网络中单元细胞结构相同,细胞与细胞之间具有规律的局部连接特征,是最适宜大规模集成电路实现的神经网络模型之一。细胞神经网络广泛应用于图像处理、目标检测和模式识别等诸多领域，也是构造人工视网膜的模型基础。在细胞神经网络中，模板是决定网络输出的关键因素，不同参数模板实现不同功能.因而,通过设计合适的参数模板,利用细胞神经网络可有效实现图像增强。对于模板的设计,可直接基于理论推导进行参数求值；也可通过在网络状态方程中加入相应的约束条件进行反复训练,得到能处理与该样本类似问题的模板,如:分流抑制细胞神经网络、具有复杂权值的细胞神经网络等。但这类方法得到的模板往往存在过拟合现象,缺乏自适应性，当处理大型复杂图像时,细胞神经网络的规模会对应增大.由于传统CMOS制造工艺和单元电路尺寸的限制,难以高效实现大规模细胞神经网络硬件电路。然而,新兴的纳米级器件忆阻器的出现为此带来新的希望.忆阻器具有高速、低功耗、状态切换、非易失性、易集成、可编程等特性,是实现新一代高密度存储器和非易失运算器的新型有力技术.同时,基于忆阻器状态转换特征与生物突触的极大相似性,纳米忆阻器成为构建微纳米神经突触电路的理想元件。二维细胞神经网络由一层规则排列的神经细胞构成,是一种非线性模拟信息处理系统.细胞神经网络中任一细胞仅与相邻细胞相连并且相互影响,如图1所示,图1为M×N的二维细胞神经网络的结构示意图，每个圆形代表一个细胞,是信息处理的基本单元。
请参见图2所示，使用本实施例所提供的基于仿生自适应忆阻细胞神经网络的图像增强方法包括以下步骤：
S1：对原始图像进行全局亮度归一化处理，得到忆阻细胞神经网络的输入矩阵ug；
S2：针对原始图像上的每一像素点，计算出以该像素点为中心时所对应的空间邻近三高斯核函数中参数A1和σ2的值，从而确定关于对应的中心细胞Ci,j和其邻域细胞Ck,l的空间邻近三高斯核函数gij,kl；
S3：由三高斯核函数gij,kl和对应的单高斯核函数gv(Iij,kl)组成的自适应的高斯方程组计算与该像素点所处位置对应的神经网络自适应控制模板参数B，其中：
A1、A2和A3分别表示中心区、外周区和边缘区的峰值系数，σ1、σ2和σ3分别表示中心区、外周区和边缘区的尺度参数，σv表示数值高斯滤波的尺度参数，I(i,j)是核函数中心的像素值,I(k,l)是半径为1的邻域内细胞的像素值，k＝i-1,i,i+1，l＝j-1,j,j+1；
S4：利用忆阻细胞神经网络的输入矩阵ug和神经网络自适应控制模板参数B进行忆阻细胞神经网络的迭代处理,当网络稳定时,得到仿生增强后的图像。
S5：对忆阻细胞神经网络输出的仿生增强后的图像进行恢复处理。
下面对上述流程进行具体的阐述。
忆阻细胞神经网络与传统细胞神经网络类似，同样具有规则的阵列结构,也即如图1所示，其中每一个基本单元都拥有与其它单元相同的内部电路结构。图3展示了忆阻细胞的等效电路图，电路中含有一个忆阻器状态电阻M、一个独立电压源Eij、一个独立电流源I、一个线性电容C和2m个压控电流源，其中电压源Eij输入为uij,xij表示中心细胞Ci,j的状态,yij为输出电压。在忆阻器模型选择方面,本实施例可以采用结构简单、准确、计算复杂度低,并能模拟多种忆阻器模型的器件特性的VTEAM忆阻器模型，其中i＝1,2,3LM，i＝1,2,3LN。
细胞神经元Ci,j的动态特性主要取决于独立电流源提供的电流I,输入电流uij和自身状态变量xij.基于电路KCL原理,其状态方程如下：
其中,xij(t)表示中心细胞Ci,j的状态，Nr(i,j)表示中心Ci,j的半径大小为1的邻域，Ck,l表示该邻域内所有细胞,C和m为常数，Aij,kl表示邻域细胞Ck,l的输出ykl(t)与中心细胞Ci,j的连接权值,Bij,kl表示邻域细胞Ck,l的输入ukl(t)与中心细胞Ci,j的连接权值。
对于大小为M×N的忆阻细胞神经网络，其输入方程:
uij＝Eij,1≤i≤M；1≤j≤N (2)
输出方程:
yij(t)＝f(xij(t))
其中，Eij表示电压源,其输入为uij，xij(t)表示中心细胞Ci,j的状态,yij(t)为输出电压。
相邻神经元之间的权值由3×3的反馈模板A和控制模板B表示，而A和B模板参数通过由忆阻器构成的桥突触电路的权值实现，如图4所示，此结构实现的突触输入与输出之间的关系式及突触权值分别为:
其中,Vin表示突触的输入电压,Vout表示突触的输出电压，W表示突触权值，M1、M2、M3和M4分别表示忆阻桥突触电路中忆阻器M1、M2、M3和M4的忆阻值。A、B两个模板对系统动态行为的影响和作用示意图如图5所示。
在本图像增强应用中,模板A的参数固定为零，模板B的参数设计将由基于视觉机制的三高斯核函数和单高斯核函数实现.
视网膜神经节细胞感受野的三高斯模型用三个高斯核函数分别表示神经节细胞感受野的中心区、外周区和边缘区，三高斯模型的公式为:
其中,(x,y)为感受野平面,g(x,y)由中心兴奋模块、外周抑制模块和边缘兴奋模块构成。A1、A2、A3分别表示中心、外周、边缘的峰值系数,σ1、σ2、σ3分别表示中央、外周和边缘的尺度参数。利用该模型来处理亮度对比边缘时,既能很好地增强边缘对比,又可有效地提升被传统感受野中心或外周拮抗机制所滤除的区域亮度对比和梯度信息，三高斯模型的空间结构如图6-1，图6-2，图6-3和图6-4所示。
虽然传统三高斯模型仿生了神经节细胞感受野,具有较好的图像增强效果,但是模型函数使用固定参数,缺乏针对不同处理对象的灵活适应特性，而自适应三高斯模型根据像素点的局部特征,利用非线性函数来灵活调节模型中参数A1和σ2的大小.具体地,在一幅图像中,选取一个被处理点,该点的像素值定义为Lum.以该点为中心取大小为3×3的邻域,邻域内所有像素值的标准差定义为Con.自适应三高斯模型根据图像某一像素点的局部对比度Con和处理点亮度Lum,利用Sigmoid函数,更新三高斯模型中参数A1和σ2的大小,实现参数的自适应调节.模型其它参数A2、A3、σ1和σ3为常值.
自适应三高斯模型中感受野兴奋区敏感度A1与Con的关系如式(7)所示:
自适应三高斯模型中感受野抑制区半径σ2与Lum的关系如式(8)所示:
图7-1是感受野中心兴奋区敏感度A1随Con的变化曲线图。可以看出当刺激(如图片的像素值)对比度降低时,A1减小,即中心兴奋区的兴奋响应在一定程度上被抑制,意味着感受野抑制区对中心区的抑制作用增强；当刺激对比度升高时,A1增大,即中心兴奋区的响应增强,感受野抑制区对中心区的抑制作用减弱。图7-2是感受野抑制区半径σ2随Lum的变化曲线，可见当刺激降低时,感受野抑制区的半径σ2变大,抑制区对中心兴奋区的抑制作用增强,像素值差异越小的点之间对比度越弱；而当刺激增大时,感受野抑制区的半径σ2变小,抑制区对中心兴奋区的抑制作用减弱,局部像素值差异越大的点之间对比度越强.这种动态自适应机制能增强图像的局部对比,符合人眼感知光亮时“暗处越暗、亮处越亮”的视觉特征。
在Con和Lum的值很小或很大的区间,感受野中心兴奋区敏感度A1随Con的变化趋势和感受野抑制区半径σ2随Lum的变化趋势都很平缓。这使得在对图像中的这些区域进行滤波增强时,A1和σ2不会产生剧烈的变化,在一定程度上可以避免噪声的产生。
虽然Sigmoid函数可以较好地模拟视觉模型参数的自适应性,但这种光滑的非线性曲线在实际电路中难以实现.因此,本文把非线性Sigmoid函数曲线分成若干个区段,进行分段线性化处理,以简化自适应三高斯模型的数值计算以及硬件实现。由式(7)和式(8)中两个非线性Sigmoid函数得到的分段线性函数F1和F2分别如式(9a)和式(9b)所示,这样对应的线性化自适应三高斯模型可以表示为式(6)、式(9a)和(9b)：
由上可知，对于图像上某像素点,由分段线性函数F1和F2分别计算出以该点为中心点时空间邻近三高斯核函数的可变参数A1、σ2的值,可以得到分段线性化自适应三高斯函数。而与传统忆阻细胞神经网络类似,仿生自适应的忆阻细胞神经网络具有如下图像增强模板形式:
其中,模板A的参数a＝0,阈值I＝Z＝0。.
模板B的参数不是固定的数值,而是由三高斯模型的位置滤波和单高斯模型的亮度滤波相结合的双边滤波决定,同时考虑了邻域像素在数值和位置上与中心像素点之间的相似性。表达式如下:
其中,A1、A2、A3分别表示神经节细胞感受野中心区、外周区、边缘区的峰值系数,σ1、σ2、σ3分别表示神经节细胞感受野中心区、外周区、边缘区的尺度参数,k＝i-1,i,i+1；l＝j-1,j,j+1，I(i,j)是核函数中心的像素值,I(k,l)是半径为1的邻域内细胞的像素值，σv是数值高斯滤波的尺度参数,控制了函数的径向作用范围。
gij,kl表示位置滤波,反映邻域内各像素点到中心像素点的位置相似性,由关于中心细胞Ci,j和半径为1的邻域内细胞Ck,l的空间邻近三高斯核函数决定。。gv(Iij,kl)表示亮度滤波，反映了领域内各像素与中心像素的相似性，其大小因各像素与中心像素的亮度差而改变,亮度差越大,其值越小,反之则越大。
由参数线性化自适应的空间邻近三高斯核函数式(11b)和数值相似性高斯核函数式(11c)计算细胞神经网络控制模板B的参数,可设计出具有双重自适应特性的细胞神经网络控制模板B：(i)细胞神经网络控制模板B通过高斯方程组自适应变化；(ii)高斯方程组中三高斯核函数的部分参数A1和σ2,分别通过函数F1和F2,根据像素点的局部信息自适应变化.
根据上述忆阻细胞神经网络的自适应控制模板B,本实施例使用该模板实现仿生图像增强。首先对图像进行预处理,即对原始图像进行全局亮度归一化变换，通过对全局明暗度的线性调整,同时实现对图像中暗区域增强，其变换公式为:
ug＝u/255(12)
其中,u是大小为m×n的矩阵,储存原始图像(大小为m×n)各像素点的三个颜色通道分值的最大值，ug是归一化后的亮度矩阵。
图像矩阵ug符合自适应仿生图像增强方法的输入要求，而且由数据可知,输入矩阵ug的数值在[0,1]之间,符合忆阻细胞神经网络输入量的范围要求.接着使用自适应控制模板B实现仿生图像增强，忆阻细胞神经网络实现图像增强时,不需要使用反馈模板A而只需要用到控制模板B,因此忆阻细胞Ci,j的状态方程可以改写为:
其中,xij(t)表示中心细胞Ci,j的状态,Nr(i,j)表示中心细胞的半径大小为1的邻域,Ck,l表示该邻域内所有细胞,B(i,j；k,l)表示邻域细胞Ck,l的输入ug(t)与中心细胞Ci,j的连接权。
对于大小为M×N的忆阻细胞神经网络，其输入方程:
uij＝Eij,1≤i≤M；1≤j≤N (15)
输出方程:
yij(t)＝f(xij(t))
其中，Eij表示电压源，其输入为uij,，xij(t)表示中心细胞Ci,j的状态,yij(t)为输出电压。
经过忆阻细胞神经网络迭代后,由相关参数计算可证明xij总是满足-1<xij<1,所以简化忆阻细胞神经网络的输出公式,得到输出方程:
yij(t)＝xij(t) (17)
约束条件:
|xij(0)|≤1,1≤i≤M；1≤j≤N (18)
|uij(t)|≤1,1≤i≤M；1≤j≤N (19)
对称条件:
A(i,j；k,l)＝A(k,l；i,j),1≤i≤M；1≤j≤N (20)
使用融合视觉特性的具有双重自适应性的忆阻细胞神经网络控制模板,实现基于忆阻细胞神经网络和视觉特性的仿生图像增强.
图8展示了图像增强的流程示意图：
S1：对原始图像进行全局亮度归一化处理，得到忆阻细胞神经网络的输入矩阵ug。
当原始图像为彩色图像时，步骤S1针对原始图像中的每一像素点，获取其对应的像素在R通道、G通道和B通道中的最大值后进行归一化处理。当原始图像为灰度图像时，对原始图像的所有像素值进行归一化处理。
S2：针对原始图像上的每一像素点，计算Con值和Lum值，从而计算出以该像素点为中心时所对应的空间邻近三高斯核函数中参数A1和σ2的值，从而确定关于该像素点对应的中心细胞Ci,j和其邻域细胞Ck,l的空间邻近三高斯核函数gij,kl，由三高斯核函数gij,kl和对应的单高斯核函数gv(Iij,kl)组成的自适应的高斯方程组计算与该像素点所处位置对应的神经网络自适应控制模板参数B。S3：利用忆阻细胞神经网络的输入矩阵ug和神经网络自适应控制模板参数B进行忆阻细胞神经网络的迭代处理,当网络稳定时,得到仿生增强后的亮度图像。
S4：对忆阻细胞神经网络输出的亮度图像进行恢复处理，恢复图像像素信息。
为验证本实施例所提供的方法的有效性，本实施例在标准图像处理库DIP3E_Original_Images中随机选取了大量图片进行实验，并进行统计分析。进一步，选择了大量来自真实医疗图像数据库ALL-Mias中的图片进行处理，以给出更为全面的评价.具体的,本实施例比较了典型图像增强技术(如直方图均衡化、对于灰度图的分流抑制细胞神经网络(SICNN)和对于彩色图像的Retinex方法等)和本文提出的BAM-CNN之间的比较。选取Room图像和Tower图像作为展示图像,Room图像的增强结果如图9-1，图9-2，图9-3以及图9-4所示,依次是原始图像、经过直方图均衡化增强后的图像、使用SICNN增强后的图像和使用本实施例提出的BAM-CNN增强后的图像；Tower图像的增强结果如图10-1，图10-2，图10-3以及图10-4所示,依次是原始图像、经过直方图均衡化增强后的图像、Retinex方法增强后的图像和使用本实施例提出的BAM-CNN增强后的图像。由此可知:原始图像整体较暗；直方图均衡化的增强结果在明暗对比上得到一定程度的提升,但是也存在很大的不足,经过直方图均衡化处理,图像在局部细节上没有达到比较好的增强效果,损失了许多细节信息；使用SICNN(分流抑制细胞神经网络)实现的图像增强,虽然在一定程度上实现了亮度增强,但是图像有的部分增强过亮(如Room图像的天空和窗户部分)；使用Retinex的图像增强结果在一定程度上实现了亮度增强,但是色彩对比度不强。而本实施例提出的BAM-CNN(仿生自适应忆阻细胞神经网络)则很好地实现了图像增强,整体亮度得到了显著的提高,而且局部对比度明显加强,符合人眼的视觉特性.
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。
Claims (4)
1.一种基于仿生自适应忆阻细胞神经网络的图像增强方法，其特征在于，包括以下步骤：
S1：对原始图像进行全局亮度归一化处理，得到忆阻细胞神经网络的输入矩阵ug；
S2：针对所述原始图像上的每一像素点，计算出以该像素点为中心时所对应的空间邻近三高斯核函数中参数A1和σ2的值，从而确定关于对应的中心细胞Ci,j和其邻域细胞Ck,l的空间邻近三高斯核函数gij,kl；
S3：由三高斯核函数gij,kl和对应的单高斯核函数gv(Iij,kl)组成的高斯方程组计算与该像素点所处位置对应的神经网络自适应控制模板B的参数，其中：
A1、A2和A3分别表示中心区、外周区和边缘区的峰值系数，σ1、σ2和σ3分别表示中心区、外周区和边缘区的尺度参数，σv表示数值高斯滤波的尺度参数，I(i,j)是核函数中心的像素值,I(k,l)是半径为1的邻域内细胞的像素值，k＝i-1,i,i+1，l＝j-1,j,j+1；
S4：利用忆阻细胞神经网络的输入矩阵ug和神经网络自适应控制模板B的参数进行忆阻细胞神经网络的迭代处理,当网络稳定时,得到仿生增强后的图像；
S5：对忆阻细胞神经网络输出的仿生增强后的图像进行恢复处理。
2.如权利要求1所述的基于仿生自适应忆阻细胞神经网络的图像增强方法，其特征在于，步骤S1包括：
针对彩色原始图像中的每一像素点，获取其对应的像素在R通道、G通道和B通道中的最大值后进行归一化处理；
或，
针对灰度原始图像，对全部像素值做归一化处理。
3.如权利要求1或2所述的基于仿生自适应忆阻细胞神经网络的图像增强方法，其特征在于，步骤S2中根据以下公式确定参数A1和σ2的值：
其中，Con表示中心细胞Ci,j所对应的像素点在其3×3的邻域范围内所有像素值的标准差，Lum表示中心细胞Ci,j所对应的像素点的像素值。
4.如权利要求1所述的基于仿生自适应忆阻细胞神经网络的图像增强方法，其特征在于，神经网络自适应控制模板B的参数由忆阻器构成的桥突触电路的权值实现。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910979130.7A CN110738619B (zh) | 2019-10-15 | 2019-10-15 | 基于仿生自适应忆阻细胞神经网络的图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910979130.7A CN110738619B (zh) | 2019-10-15 | 2019-10-15 | 基于仿生自适应忆阻细胞神经网络的图像增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110738619A CN110738619A (zh) | 2020-01-31 |
| CN110738619B true CN110738619B (zh) | 2022-03-01 |
Family
ID=69270083
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910979130.7A Active CN110738619B (zh) | 2019-10-15 | 2019-10-15 | 基于仿生自适应忆阻细胞神经网络的图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110738619B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111402145B (zh) * | 2020-02-17 | 2022-06-07 | 哈尔滨工业大学 | 一种基于深度学习的自监督低照度图像增强方法 |
| CN113077046B (zh) * | 2021-03-30 | 2022-12-30 | 西南大学 | 一种基于遗忘忆阻桥的并行多算子卷积运算器 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102682432A (zh) * | 2012-05-11 | 2012-09-19 | 中国科学院半导体研究所 | 基于三高斯滤波的低质指纹灰度图像增强方法 |
| CN107016200A (zh) * | 2017-04-14 | 2017-08-04 | 江西理工大学 | 一种基于磁控忆阻器的光滑细胞神经网络的电路设计方法 |
| CN107085628A (zh) * | 2017-03-21 | 2017-08-22 | 东南大学 | 一种细胞神经网络可调权值模块仿真方法 |
| CN109685742A (zh) * | 2018-12-29 | 2019-04-26 | 哈尔滨理工大学 | 一种暗光环境下的图像增强方法 |
| DE102018200534A1 (de) * | 2018-01-15 | 2019-07-18 | Robert Bosch Gmbh | Verfahren zum Betreiben eines künstlichen neuronalen Netzes |
-
2019
- 2019-10-15 CN CN201910979130.7A patent/CN110738619B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102682432A (zh) * | 2012-05-11 | 2012-09-19 | 中国科学院半导体研究所 | 基于三高斯滤波的低质指纹灰度图像增强方法 |
| CN107085628A (zh) * | 2017-03-21 | 2017-08-22 | 东南大学 | 一种细胞神经网络可调权值模块仿真方法 |
| CN107016200A (zh) * | 2017-04-14 | 2017-08-04 | 江西理工大学 | 一种基于磁控忆阻器的光滑细胞神经网络的电路设计方法 |
| DE102018200534A1 (de) * | 2018-01-15 | 2019-07-18 | Robert Bosch Gmbh | Verfahren zum Betreiben eines künstlichen neuronalen Netzes |
| CN109685742A (zh) * | 2018-12-29 | 2019-04-26 | 哈尔滨理工大学 | 一种暗光环境下的图像增强方法 |
Non-Patent Citations (2)
| Title |
|---|
| 一种基于忆阻交叉阵列的自适应三高斯模型及其在图像增强中的应用;刘琦 等;《物理学报》;20170526;第66卷(第12期);第1-11页 * |
| 用于图像增强的仿生自适应忆阻细胞神经网络;郑雅文 等;《中国科学:信息科学》;20201021;第50卷(第12期);第1-17页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110738619A (zh) | 2020-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110991299B (zh) | 一种物理域上针对人脸识别系统的对抗样本生成方法 | |
| US10311326B2 (en) | Systems and methods for improved image textures | |
| Linsley et al. | Learning long-range spatial dependencies with horizontal gated recurrent units | |
| US9047568B1 (en) | Apparatus and methods for encoding of sensory data using artificial spiking neurons | |
| WO2020052342A1 (zh) | 一种基于非易失存储器的卷积神经网络片上学习系统 | |
| CN110998611B (zh) | 神经形态处理装置 | |
| CN108805270A (zh) | 一种基于存储器的卷积神经网络系统 | |
| CN111160217B (zh) | 一种行人重识别系统对抗样本生成方法及系统 | |
| US9311594B1 (en) | Spiking neuron network apparatus and methods for encoding of sensory data | |
| US9014416B1 (en) | Sensory processing apparatus and methods | |
| CN110738619B (zh) | 基于仿生自适应忆阻细胞神经网络的图像增强方法 | |
| Ji et al. | Where-what network 1:“Where” and “What” assist each other through top-down connections | |
| CN108537777A (zh) | 一种基于神经网络的作物病害识别方法 | |
| Fu et al. | An ensemble unsupervised spiking neural network for objective recognition | |
| US11423287B2 (en) | Computer for spiking neural network with maximum aggregation | |
| US20210192327A1 (en) | Apparatus and method for neural network computation | |
| CN114881070A (zh) | 一种基于仿生分层脉冲神经网络的aer对象识别方法 | |
| Ganesan et al. | A novel feature descriptor based coral image classification using extreme learning machine with ameliorated chimp optimization algorithm | |
| WO2015010164A1 (en) | Enhancing vision for a vision impaired user | |
| CN108537852B (zh) | 一种基于图像局部对比度的自适应颜色恒常性方法 | |
| CN114626500A (zh) | 一种神经网络计算方法及相关设备 | |
| Coen-Cagli et al. | Statistical models of linear and nonlinear contextual interactions in early visual processing | |
| CN109190708A (zh) | 基于视觉皮层处理机制的概念机神经网络图像分类方法 | |
| Elmansori et al. | An enhanced face detection method using skin color and back-propagation neural network | |
| Ghosh et al. | Neuro-visually inspired figure-ground segregation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |