CN111931816A - 一种视网膜图像平行处理方法及装置 - Google Patents
一种视网膜图像平行处理方法及装置 Download PDFInfo
- Publication number
- CN111931816A CN111931816A CN202010654695.0A CN202010654695A CN111931816A CN 111931816 A CN111931816 A CN 111931816A CN 202010654695 A CN202010654695 A CN 202010654695A CN 111931816 A CN111931816 A CN 111931816A
- Authority
- CN
- China
- Prior art keywords
- image
- retina
- virtual
- fuzzy
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000001525 retina Anatomy 0.000 title claims abstract description 60
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 230000004256 retinal image Effects 0.000 claims abstract description 71
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 51
- 238000000034 method Methods 0.000 claims abstract description 51
- 238000012549 training Methods 0.000 claims abstract description 36
- 230000000739 chaotic effect Effects 0.000 claims abstract description 26
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000003062 neural network model Methods 0.000 claims abstract description 14
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 8
- 230000002708 enhancing effect Effects 0.000 claims abstract description 7
- 230000010354 integration Effects 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 118
- 238000013528 artificial neural network Methods 0.000 claims description 37
- 230000009466 transformation Effects 0.000 claims description 25
- 238000005457 optimization Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 17
- 238000013527 convolutional neural network Methods 0.000 claims description 16
- 230000004913 activation Effects 0.000 claims description 14
- 238000009826 distribution Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000011478 gradient descent method Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 5
- 241001562081 Ikeda Species 0.000 claims description 4
- 150000001875 compounds Chemical class 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000011426 transformation method Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 abstract description 23
- 238000010276 construction Methods 0.000 abstract description 3
- 239000010410 layer Substances 0.000 description 58
- 239000000047 product Substances 0.000 description 55
- 238000005516 engineering process Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000001308 synthesis method Methods 0.000 description 4
- 238000013145 classification model Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000002207 retinal effect Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 239000002243 precursor Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 101100517651 Caenorhabditis elegans num-1 gene Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/043—Architecture, e.g. interconnection topology based on fuzzy logic, fuzzy membership or fuzzy inference, e.g. adaptive neuro-fuzzy inference systems [ANFIS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Fuzzy Systems (AREA)
- Computational Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Automation & Control Theory (AREA)
- Pure & Applied Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Human Computer Interaction (AREA)
- Ophthalmology & Optometry (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明属于图像处理技术领域,尤其涉及一种视网膜图像平行处理方法,包括:步骤1:采用混沌供需算法优化目标函数,对真实视网膜图像进行增强;步骤2:基于混合图像生成方法合成虚拟视网膜图像;步骤3:基于虚拟视网膜图像及增强后的真实视网膜图像,构建平行多层分解区间二型直觉模糊卷积神经网络模型;步骤4:将多个平行多层分解区间二型直觉模糊卷积神经网络模型的输出进行集成,作为最终分类结果;本发明还公开一种视网膜图像平行处理装置,包括:图像增强模块、虚拟视网膜图像生成模块、模型构建模块及集成模块。本发明克服了视网膜图像训练数据样本数量和质量无法保证的难题,提高了视网膜图像特征提取和分类识别的准确性。
Description
技术领域
本发明属于图像处理技术领域,尤其涉及一种视网膜图像平行处理方法及装置。
背景技术
目前视网膜图像中相关目标的处理多数采用手动设计的方式。这种方式无论是在精确度还是在客观性上都有极大的局限性。得益于计算机软硬件技术的快速发展和计算机视觉技术的日臻成熟,研究者试图寻找一种高效智能的方式,能够在排除主观干扰的前提下自动处理视网膜图像的相关特征,为相应的应用领域,例如生物特征识别技术提供更加可靠有效的技术保障。林机鹏(林机鹏,眼底视网膜图像处理与分析关键技术研究[D],华侨大学,2019.)采用小波域MRF的模型进行分割,该模型结合了视网膜图像的先验知识,提供像素间的约束信息,提高了分割的精确度;在模型参数的估计上,采用期望最大化EM算法,一定程度上提高了参数估计的收敛效率。殷婷婷(殷婷婷,基于计算机视觉的视网膜图像处理关键技术研究[D],长春工业大学,2018.)通过YIQ空间亮度信息进行图像的视场提取,通过腐蚀操作得到有效信息区域;接着通过高斯函数结合Hessian矩阵构造多尺度线性滤波器对血管的特征进行增强处理,设置弹性尺度因子迭代得到最大滤波值。在以上研究中,实现了智能化的视网膜图像相应目标处理,得到较好的结果。然而由于视网膜图像样本获取较为困难,多样性更难保证,深度学习模型需要针对具体领域的问题进行专门设计,所有这些都使得视网膜图像处理效果不佳,模型泛化性能得不到保证。
发明内容
本发明针对现有智能化的视网膜图像处理效果不佳,模型泛化性能得不到保证的问题,提出一种视网膜图像平行处理方法及装置。
为了实现上述目的,本发明采用以下技术方案:
一种视网膜图像平行处理方法,包括:
步骤1:采用混沌供需算法优化目标函数,对真实视网膜图像进行增强;
步骤2:基于混合图像生成方法合成虚拟视网膜图像;
步骤3:基于虚拟视网膜图像及增强后的真实视网膜图像,构建平行多层分解区间二型直觉模糊卷积神经网络模型;
步骤4:将多个平行多层分解区间二型直觉模糊卷积神经网络模型的输出进行集成,作为最终分类结果。
进一步地,所述步骤1包括:
步骤1.1:对输入原始真实视网膜图像进行函数变换M,进而得到输出增强图像,即
EI(i,j)=M(I(i,j)|θ) (1)
其中,I(i,j)表示输入视网膜图像局部,EI(i,j)表示对应的增强的视网膜图像局部,i,j=1,2,…,n;θ=(r,β,ρ,σ)是函数的待定参数; 表示图像增强函数,表示图像局部像素平均,表示图像局部像素均方差,P(p,q)表示像素,n表示图像局部像素数目,P表示全体像素的均值;
步骤1.2:根据图像增强要达到的要求设定相应的目标函数J(θ),采用混沌供需优化算法得到目标函数最优时的参数值,从而得到合理的图像增强变换函数,进而得到符合要求的增强视网膜图像:
J(θ)=npe(EI(θ))×log(log(EI(θ)))×entropy(EI(θ)) (2)
所述混沌供需优化算法包括:
步骤1.2.1:初始化市场种群:
对于pij和qij分别取单位区间内均匀分布的随机数,得到初始单位产品价格种群pi(0)和数量种群qi(0);
然后采用pij(0)和qij(0)分别作为初值迭代计算二维Ikeda映射;经过混沌迭代,得到候选初始产品价格种群pi和数量种群qi,1≤i≤NpNT,NT表示迭代次数;
步骤1.2.2:确定参数值,计算初始最优产品:
步骤1.2.3:当迭代次数t≤Ter时,Ter表示最大迭代数目,执行以下迭代过程:
计算种群产品数量目标函数的绝对方差,归一化后根据轮盘赌方法选择产品数量作为平衡点对于产品价格平衡点的确定分为两个阶段:1、当迭代次数t≤Ter/2时,首先计算种群产品价格目标函数的绝对方差,再归一化,最后根据轮盘赌原理选择产品价格作为平衡点2、当迭代次数t>Ter/2时,采用种群产品价格的平均作为平衡点;
进一步地,所述步骤2包括:
步骤2.1:对实际采集的视网膜图像采用几何变换方法初步生成虚拟视网膜图像:
输入真实视网膜图像RImi,几何变换算子Tg分别作用于真实图像,得到虚拟视网膜图像SImj,i=1,2,…,n,j=1,2,…,m
SImj=Tg(RImi) (7)
其中Tg可以是翻转、裁剪、旋转、平移几何变换算子中的单一或复合算子;
步骤2.2:根据初步生成的虚拟视网膜图像和真实视网膜图像采用生成对抗网络生成新的虚拟视网膜图像;其中生成对抗网络的判别器由分解模糊宽度卷积神经网络构成,生成器由多个区间二型模糊卷积神经网络和/或多层区间二型模糊神经网络构成;
采用不同的目标函数作为训练目标,训练生成器,得到多个虚拟视网膜图像,采用以下标准从中选取最终生成的虚拟图像:
||μr-μg||p+tr(Cr+Cg-2(CrCg)1/2) (11)
其中,μr和μg,Cr和Cg分别表示输入真实视网膜图像样本的概率分布pdata和生成器合成的虚拟视网膜图像样本的概率分布pg的样本均值向量、协方差矩阵;||·||p表示p向量范数,tr(·)表示矩阵的迹;
当生成的虚拟视网膜图像使得公式(11)达到最小时,即为选定的虚拟视网膜图像。
进一步地,所述步骤3包括:
步骤3.1:构建平行多层分解区间二型直觉模糊卷积神经网络;
步骤3.2:将虚拟视网膜图像及增强后的真实视网膜图像分别输入平行多层分解区间二型直觉模糊卷积神经网络,分别进行特征提取并进行特征共享,基于共享的特征进行卷积计算,进一步提取相关特征,基于相关特征得到最终输出,所述最终输出为类别号或属于某类别的概率,按照上述过程进行网络计算,得到平行多层分解区间二型直觉模糊卷积神经网络输出。
进一步地,所述步骤4包括:
步骤4.1:构建决策器训练数据集其中是个体决策器输出,wr和wv分别表示虚实两端权值,和分别表示个体决策器的虚实两端对应的类别号或属于某类别的概率,k=1,...,Ne,Ne是决策器训练数据集样本数目, 是第i个平行多层分解区间二型直觉模糊卷积神经网络的输出,i=1,…,D;是输出标签;
步骤4.2:通过构建的决策器训练数据集训练基于混合参数优化的直觉模糊决策器:
其中α∈(0,1),Yse k是决策器最终输出,是第i个平行多层分解区间二型直觉模糊卷积神经网络的输出,i=1,…,D;wj和vj是直觉模糊规则后件;和分别表示三角范数和反三角范数;j=1,2,…,M,M是模糊规则数目;和分别表示从1到D进行和运算;
采用分批梯度下降方法调整直觉模糊决策器的前件参数,最小二乘法估计直觉模糊决策器的后件参数;整个过程如下:
步骤4.2.1:随机产生直觉模糊决策器的前件隶属函数和非隶属函数的中心cij、宽度σij、尺度系数rij,采用分批梯度下降方法,调整前件参数
根据公式(22)可得F′和G′合成的矩阵Φ=[αF′|(1-α)G′],对于模糊规则隶属函数部分后件参数W=[w1 … wM]T和非隶属函数部分后件参数V=[v1 … vM]T,可得参数向量Θ=[W V],根据公式(20)可得ΦΘ=ESe,因为Φ是Nb×2M矩阵,ESe是Nb×1输出标签向量,采用广义逆可得后件参数向量Θ=Φ+ESe。
一种视网膜图像平行处理装置,包括:
图像增强模块,用于采用混沌供需算法优化目标函数,对真实视网膜图像进行增强;
虚拟视网膜图像生成模块,用于基于混合图像生成方法合成虚拟视网膜图像;
模型构建模块,用于基于虚拟视网膜图像及增强后的真实视网膜图像,构建平行多层分解区间二型直觉模糊卷积神经网络模型;
集成模块,用于将多个平行多层分解区间二型直觉模糊卷积神经网络模型的输出进行集成,作为最终分类结果。
与现有技术相比,本发明具有的有益效果:
1)克服了视网膜图像训练数据样本数量和质量无法保证的难题
本发明采用混合虚拟视网膜图像生成方法,将基本图像合成方法和生成对抗网络相结合,根据真实视网膜眼底图像产生虚拟图像,很好解决了训练样本质量和数量问题。
2)解决了增强的真实视网膜图像样本和虚拟视网膜图像样本分布差异对数据驱动的分类模型性能的影响
生成对抗网络产生的虚拟视网膜图像样本的概率分布和增强的真实视网膜图像样本的概率分布存在差异,极大影响了传统图像处理方法的分类准确性。本发明提出的平行多层分解区间二型直觉模糊卷积神经网络采用虚实互动的特征共享技术实现特征空间特征元素的最大覆盖,能够同时嵌入差异化的特征表示,解决了由于分布差异对建模效果带来的负面影响。
3)采用集成技术进一步提高了平行多层分解区间二型直觉模糊卷积神经网络对视网膜图像特征的表现力和分类的准确性
本发明提出直觉模糊决策器输出最终的分类结果,将个体平行多层分解区间二型直觉模糊卷积神经网络的输出作为决策器的输入,相应的标签作为决策器的标签,混合参数优化方法调整决策器参数,进一步提高了对视网膜图像正确分类的鲁棒性。
附图说明
图1为本发明实施例一种视网膜图像平行处理方法的基本流程图;
图2为本发明实施例一种视网膜图像平行处理方法的虚拟视网膜图像合成流程图;
图3为本发明实施例一种视网膜图像平行处理方法的生成对抗网络的判别器结构示意图;
图4为本发明实施例一种视网膜图像平行处理方法的生成对抗网络的生成器结构示意图;
图5为本发明实施例一种视网膜图像平行处理方法的平行多层分解区间二型直觉模糊卷积神经网络结构示意图;
图6为本发明实施例一种视网膜图像平行处理方法的平行多层分解区间二型直觉模糊卷积神经网络模型示意图;
图7为本发明实施例一种视网膜图像平行处理方法的集成平行多层分解区间二型直觉模糊卷积神经网络模型示意图;
图8为本发明实施例一种视网膜图像平行处理装置结构示意图。
具体实施方式
下面结合附图和具体的实施例对本发明做进一步的解释说明:
本发明首先采用混沌供需算法优化目标函数(根据图像增强的具体要求确定)确定变换函数的待定参数从而对收集到的视网膜图像进行增强;然后按照合适的顺序对增强后的视网膜图像进行传统的变换(旋转、翻转、增加对比度、平移等),之后采用生成对抗网络及其变种以前面的视网膜图像为真实图像通过对抗训练合成图像,再次以上述图像作为真实图像输入生成模型和虚实互动的多层分解区间二型直觉模糊卷积神经网络组成的联合训练模型,在合成视网膜图像的同时训练神经网络;最后,采用集成的多层分解区间二型直觉模糊卷积神经网络模型进行分类。
具体地,如图1所示,一种视网膜图像平行处理方法,包括以下几个步骤:
步骤S101:采用混沌供需算法优化目标函数,对真实视网膜图像进行增强。
由于视网膜成像系统受设备性能、成像环境以及相关噪声的影响,无法保证视网膜图像质量能够完全满足分类的要求。所以,需要研究视网膜图像增强问题。本质上,图像增强是对输入原始真实视网膜图像进行函数变换M,进而得到输出增强图像,即
EI(i,j)=M(I(i,j)|θ) (1)
其中,I(i,j)表示输入视网膜图像局部,EI(i,j)表示对应的增强的视网膜图像局部,i,j=1,2,…,n;θ=(r,β,ρ,σ)是函数的待定参数; 表示图像增强函数,表示图像局部像素平均,表示图像局部像素均方差,P(p,q)表示像素,n表示图像局部像素数目,P表示全体像素的均值。
所以,根据图像增强要达到的要求(增强血管等)设定相应的目标函数J(θ),采用混沌供需优化算法得到目标函数最优时的参数值,从而得到合理的图像增强变换函数,进而得到符合要求的增强视网膜图像。J(θ)如公式(1)所示,原始视网膜图像经过变换函数M(·|θ)的作用得到增强图像,图像增强的目标可用下式表示
J(θ)=npe(EI(θ))×log(log(EI(θ)))×entropy(EI(θ)) (2)
所以,图像增强转化为优化问题minθ∈ΘJ(θ),即确定合适的参数向量使目标函数达到最优。本发明提出混沌供需优化算法对以上问题进行求解。混沌供需优化算法是采用市场经济中商品的供需关系引发商品价格的波动,经过市场上商品价格和数量的相互作用从而最终达到合理的价格定位(最优参数向量)的非梯度优化算法。整个算法的计算步骤如下:
步骤S101A.初始化市场种群:
对于pij和qij分别取单位区间内均匀分布的随机数,得到初始单位产品价格种群pi(0)和数量种群qi(0),然后采用pij(0)和qij(0)分别作为初值迭代计算二维Ikeda映射如下:
pij(k+1)=1+μ(pij(k)cos(0.4-6/(1+pij(k)2+qij(k)2)-qij(k)sin(0.4-6/(1+pij(k)2+qij(k)2)))
(3a)
qij(k+1)=μ(pij(k)sin(0.4-6/(1+pij(k)2+qij(k)2)+qij(k)cos(0.4-6/(1+pij(k)2+qij(k)2)))
(3b)
其中参数μ∈(0.6,∞),k=0,1,…,NT-1;NT表示迭代次数。经过以上的混沌迭代,可以得到候选初始产品价格种群pi和数量种群qi,1≤i≤NpNT。
然后对每一维pij和qij进行线性变换得到
步骤S101B.确定参数值,计算初始最优产品:
步骤S101C.当迭代次数t≤Ter时,Ter表示最大迭代数目,执行以下迭代过程:
计算种群产品数量目标函数的绝对方差归一化后根据轮盘赌方法选择产品数量作为平衡点对于产品价格平衡点的确定分为两个阶段:①当迭代次数t≤Ter/2时,为加强优化算法探索能力,采用和产品数量相似的方法确定价格平衡点;首先计算种群产品价格目标函数的绝对方差再归一化,最后根据轮盘赌原理选择产品价格作为平衡点②当迭代次数t>Ter/2时,为加强算法开发能力,直接采用种群产品价格的平均作为平衡点其中w是服从单位区间均匀分布的随机数。
其中参数u和v是随机数,在步骤S101B中确定。比较目标函数值,若则被代替, 如果则否则保持不变。如果连续迭代十次,均保持不变,而迭代仍未到达Ter,则采用logistic混沌映射对公式(5)中参数u和v进行扰动,即
u(t+1)=ψu(t)(1-u(t)) (6a)
v(t+1)=ωv(t)(1-v(t)) (6b)
其中参数ψ和ω取大于4的实数,且ω≠ψ。采用混沌参数对公式(5)进行扰动,使种群产品价格和数量不易陷入局部最优,增加全局搜索能力。
步骤S102:基于混合图像生成方法合成虚拟视网膜图像。
进行视网膜图像分类时,高质量的视网膜图像的获取和准确标注需要耗费大量的人力物力,因此很难获取海量的标注样本。这将极大的影响模型的训练,进而无法有效发挥模型的高精度分类性能。采用深度生成模型合成虚拟视网膜图像,基于平行学习虚实互动训练分类模型,解决训练图像难以大规模有效采集和标注的瓶颈。为了有效保证虚拟视网膜图像的多样性,本发明提出混合图像生成方法进行虚拟图像的获取,它将传统的图像合成方法几何变换(翻转、裁剪、旋转、注入噪声)和深度学习合成方法(生成对抗网络、元学习等)混合使用,从而得到高质量的虚拟视网膜眼底图像,如图2所示。整个过程如下:
步骤S102A.对于实际采集的视网膜图像采用几何变换方法初步生成虚拟视网膜图像。
输入真实视网膜图像RImi,几何变换算子Tg(翻转Tf、裁剪Tc、旋转Tr、平移Tt等)分别作用于真实图像,得到虚拟视网膜图像SImj,i=1,2,…,n,j=1,2,…,m。
SImj=Tg(RImi) (7)
其中Tg可以是以上变换算子的单一或复合算子。
步骤S102B.根据初步生成的虚拟视网膜图像和真实视网膜图像采用生成对抗网络及其变种生成新的虚拟视网膜图像。
将真实视网膜图像Rim和初步生成的虚拟视网膜图像Sim作为输入视网膜图像Imin={Rim,Sim},对于任意噪声图像Imns,输入生成对抗网络及其变种通过对抗博弈产生新的虚拟视网膜图像Simn。其中生成对抗网络的判别器由分解模糊宽度卷积神经网络构成,生成器由多个区间二型模糊卷积神经网络和/或多层区间二型模糊神经网络(卷积残差网络)构成;生成对抗网络的判别器结构如图3所示。
判别器的第一层是特征提取层(初级层),为有效抑制视网膜图像中存在的随机噪声分解直觉模糊推理系统被使用,同时使用单层神经元增加的结构增加图像提取特征的多样性。输入图像为Imin,直觉模糊推理规则前件直觉模糊集合的隶属函数和非隶属函数被分别分解为三个直觉模糊集合的隶属函数和非隶属函数,即
直觉模糊推理包括隶属部分和非隶属部分,根据(8a)-(8f)计算直觉模糊规则激活力和其中和分别表示三角范数和反三角范数,字符*表示l、c、r,即分解后的三种隶属和非隶属函数。直觉模糊规则后件wj和vj,则分解直觉模糊推理子系统输出
其中Outr (1)(X)表示第一层(初始特征提取层)的输出,α,β∈(0,1),α+β=1,Mr表示第r个分解直觉模糊子系统的规则数目,r=1,2,…,R。为了进一步增强提取特征的多样性,宽度可变的特征提取方法被采用,视网膜图像Imin输入特征抽取模块组Fp,p=1,2,…,P,激活函数是则抽取模块的输出特征 其中是随机权值,是随机偏置。为提高特征的多样性,将之前的输出特征作为输入到特征抽取模组Tq(q=1,2,…,Q)再次进行特征提取,即其中分别与类似。根据实际问题需要,以上过程可以继续,最后得到初级特征提取层的特征向量然后它作为卷积层的输入进一步进行特征提取,经过全连接层和softmax得到概率输出表示输入视网膜图像的真实程度。
生成对抗网络的生成器的构成比判别器更加复杂,分别采用区间二型模糊卷积神经网络、多层区间二型模糊神经网络等组成,然后对它们的输出视网膜图像根据决策准则选出最优的虚拟图像。整个过程如下。区间二型模糊卷积神经网络和多层区间二型模糊神经网络的区别主要在于各隐层节点是完全连接还是按照卷积规律的部分连接;生成对抗网络的生成器结构如图4所示。
选用N个多层区间二型模糊神经网络或区间二型模糊卷积神经网络产生虚拟视网膜图像,在训练过程中,它们分别采用不同的目标函数作为训练目标,同时随机输入信号所服从的先验分布pZ也各自不同。常用的目标函数包括
根据公式(10a)-(10b)训练生成器,各自得到N个虚拟视网膜图像,采用以下标准从中选取最终生成的虚拟图像。
其中,μr和μg,Cr和Cg分别表示输入视网膜图像样本的概率分布pdata和生成器合成视网膜图像样本的概率分布pg的样本均值向量、协方差矩阵。||·||p表示p向量范数,tr(·)表示矩阵的迹。当生成的虚拟视网膜图像使得公式(11)达到最小时,即为选定的虚拟视网膜图像。
步骤S103:建立平行多层分解区间二型直觉模糊卷积神经网络模型。
在模型的构建过程中,为了进一步提高分类识别精度和模型泛化能力,本发明提出平行多层分解区间二型直觉模糊卷积神经网络(VRIMLDIT2FCNN)作为分类器,如图5所示。区间二型直觉模糊推理具有较好的处理不确定信息的能力,同时为了增强特征提取能力进一步采用分解直觉模糊推理方法作为神经网络的初级特征提取模块。在此基础上,堆叠卷积模块(包括卷积层、池化层和抽样层等),最后再通过分类器(全连接层)输出分类识别结果。在以上神经网络模型中采用真实视网膜图像和虚拟视网膜图像分别进行特征提取,然后通过虚实数据特征互动机制进行特征共享,提高分类模型的泛化能力和识别效果。
为了得到符合高精度分类识别要求的虚拟视网膜图像,同时训练得到识别性能好泛化能力强的分类器,本发明提出平行分类识别方法。平行分类识别是利用虚拟数据和真实数据的相互作用和补充,充分训练机器学习模型(不限于深度学习)以保证模型高质量完成既定任务(高准确度和强泛化能力)的分类识别方法。
对于如图6中的平行多层分解区间二型直觉模糊卷积神经网络模型(平行分类器),在本发明中采用虚实互动的多层分解区间二型直觉模糊卷积神经网络实现,该网络的初级特征提取模块采用分解区间二型直觉模糊推理,即在区间二型直觉模糊推理的基础上,将每一条区间二型直觉模糊规则转换为一个对应的分解区间二型直觉模糊推理子系统,由于描述系统的区间二型隶属函数和非隶属函数的增多,系统的表示能力(特征提取)进一步增强,为后续的卷积模块的特征提取打下坚实基础。同时,在这一层将真实视网膜图像的特征和虚拟视网膜图像的特征实现共享,通过特征层面的‘虚实互动’提高平行分类识别模型的表示能力。在分解区间二型直觉模糊推理的过程中,隶属度和非隶属度是单位区间的子区间,即
其中表示分解后区间二型直觉模糊集合的隶属函数上下界和非隶属函数上下界;※表示l、c、r。分解区间二型直觉模糊推理系统的模糊规则前件激活力(firing interval of the precondition)也是单位区间的子集,即
其中fj (X)和 g j(X)和分别表示模糊规则隶属函数和非隶属函数激活区间的上下界。对以上激活区间上下界分别归一化得到f′j (X)和 g′j(X)和当一批视网膜图像输入时,经过公式(13)-(16)可以得到四个激活力矩阵F(xk)、 G(xk)和采用奇异值分解技术进行模糊规则选择,重要的模糊规则(对应能量较大的奇异值)经过对应法则映射到各个分解区间二型直觉模糊子系统的集合分别为FS j, GS j和j=1,2,...,M。则各个子系统保留的规则为如果则子系统j被剪除。重新计算归一化激活区间上下界和和则各个子系统输出
其中表示初始特征提取层的特征,m,n∈R+,m+n=1。wr、vr表示模糊规则后件,Mj表示保留下的子系统模糊规则数目。在图6所示的模型(平行分类器)中,真实视网膜图像和虚拟视网膜图像分别输入平行多层分解区间二型直觉模糊卷积神经网络,采用公式(13)-(17)计算得到初始特征提取层的输出特征和真实特征向量Rout(1)共享参数pα、cα,虚拟特征向量Vout(1)共享参数qα、dα,则特征共享层的输入向量 计算它的均值向量和协方差矩阵归一化后 ζ、η是可调参数。经过线性或非线性激活函数作用计算得到NOut(1)=f(NIn(1))。然后采用服从拉普拉斯分布的抽样dropout方法,从特征共享层中随机选取特征作为卷积特征抽取层的输入,采用相关的卷积计算特征提取技术(滤波器设计、池化设计、采样策略设计等)提取相应特征,然后用全连接层和相应的激活函数(softmax)得到最终输出(可以为0-9之间的类别号,也可以为0-1之间的属于某类别的概率值)。在特征提取过程中,为有效改善参数训练效果,激活函数采用残差函数及其变种。作为虚拟视网膜图像的生成模型,卷积直觉模糊深度神经网络被采用,它的特征提取层采用卷积计算高效提取视网膜图像的特征,它的输出为num是网络层数。深度生成网络的最后一层采用直觉模糊推理系统,模糊规则前件隶属函数和非隶属函数为
其中p,q∈R+,p+q=1,wj和vj是直觉模糊规则后件,n是输入Out(num-1)维度,M是模糊规则数目。
步骤S104:建立集成平行多层分解区间二型直觉模糊卷积神经网络分类识别模型。
集成学习是机器学习中一个非常前沿的技术,采用集成学习技术可以得到比使用单个分类器精度更高泛化性能更加出色的机器学习模型。在本发明中,采用新颖的集成方式将D个平行多层分解区间二型直觉模糊卷积神经网络(平行分类器)的识别输出(类别号)进行集成输出作为最终分类识别结果,集成平行分类识别模型结构如图7所示。具体过程如下。
步骤S104A.生成决策器训练数据。
对于步骤S103得到的D个平行分类器,选用不同于之前训练使用的视网膜图像作为决策器训练数据集(真实视网膜图像),作用到之前训练好的D个平行分类器的虚实两端,各自输出对应的类别号或属于某类别的概率和用虚实两端权值wr和wv进行加权计算得到 从而形成决策器训练数据集其中 是对应输出标签,Ne是决策器训练数据集样本数目。
步骤S104B.通过生成的决策器训练数据集构建基于混合参数优化的直觉模糊决策器。
采用以上决策器训练样本生成基于混合参数优化的决策器。决策器的输入输出
其中α∈(0,1),Yse k是决策器最终输出,是第i个平行多层分解区间二型直觉模糊卷积神经网络的输出,i=1,…,D;和分别表示从1到D进行和运算。采用分批梯度下降方法调整直觉模糊决策器的前件参数,最小二乘法估计它的后件参数。整个过程如下。
步骤S104B.1随机产生直觉模糊决策器的前件参数隶属函数和非隶属函数的中心cij、宽度σij、尺度系数rij,采用分批梯度下降方法,调整前件参数
根据公式(22)可得Φ=[αF′|(1-α)G′],对于模糊规则隶属函数部分后件参数W=[w1 … wM]T和非隶属函数部分后件参数V=[v1 … vM]T,可得参数向量Θ=[W V],根据公式(20)可得ΦΘ=ESe,因为Φ是Nb×2M矩阵,ESe是Nb×1输出标签向量,采用广义逆可得后件参数向量Θ=Φ+ESe。
在上述实施例的基础上,如图8所示,本申请还公开一种视网膜图像平行处理装置,包括:
图像增强模块201,用于采用混沌供需算法优化目标函数,对真实视网膜图像进行增强;
虚拟视网膜图像生成模块202,用于基于混合图像生成方法合成虚拟视网膜图像;
模型构建模块203,用于基于虚拟视网膜图像及增强后的真实视网膜图像,构建平行多层分解区间二型直觉模糊卷积神经网络模型;
集成模块204,用于将多个平行多层分解区间二型直觉模糊卷积神经网络模型的输出进行集成,作为最终分类结果。
进一步地,所述图像增强模块201包括:
函数变换子模块,用于对输入原始真实视网膜图像进行函数变换M,进而得到输出增强图像,即
EI(i,j)=M(I(i,j)|θ) (1)
其中,I(i,j)表示输入视网膜图像局部,EI(i,j)表示对应的增强的视网膜图像局部,i,j=1,2,…,n;θ=(r,β,ρ,σ)是函数的待定参数; 表示图像增强函数,表示图像局部像素平均,表示图像局部像素均方差,P(p,q)表示像素,n表示图像局部像素数目,P表示全体像素的均值;
参数确定子模块,用于根据图像增强要达到的要求设定相应的目标函数J(θ),采用混沌供需优化算法得到目标函数最优时的参数值,从而得到合理的图像增强变换函数,进而得到符合要求的增强视网膜图像:
J(θ)=npe(EI(θ))×log(log(EI(θ)))×entropy(EI(θ)) (2)
所述混沌供需优化算法包括:
初始化市场种群:
对于pij和qij分别取单位区间内均匀分布的随机数,得到初始单位产品价格种群pi(0)和数量种群qi(0);
然后采用pij(0)和qij(0)分别作为初值迭代计算二维Ikeda映射;经过混沌迭代,得到候选初始产品价格种群pi和数量种群qi,1≤i≤NpNT,NT表示迭代次数;
确定参数值,计算初始最优产品:
当迭代次数t≤Ter时,Ter表示最大迭代数目,执行以下迭代过程:
计算种群产品数量目标函数的绝对方差,归一化后根据轮盘赌方法选择产品数量作为平衡点对于产品价格平衡点的确定分为两个阶段:1、当迭代次数t≤Ter/2时,首先计算种群产品价格目标函数的绝对方差,再归一化,最后根据轮盘赌原理选择产品价格作为平衡点2、当迭代次数t>Ter/2时,采用种群产品价格的平均作为平衡点;
进一步地,所述虚拟视网膜图像生成模块202包括:
几何变换子模块,用于对实际采集的视网膜图像采用几何变换方法初步生成虚拟视网膜图像:
输入真实视网膜图像RImi,几何变换算子Tg分别作用于真实图像,得到虚拟视网膜图像SImj,i=1,2,…,n,j=1,2,…,m
SImj=Tg(RImi) (7)
其中Tg可以是翻转、裁剪、旋转、平移几何变换算子中的单一或复合算子;
虚拟视网膜图像生成子模块,用于根据初步生成的虚拟视网膜图像和真实视网膜图像采用生成对抗网络生成新的虚拟视网膜图像;其中生成对抗网络的判别器由分解模糊宽度卷积神经网络构成,生成器由多个区间二型模糊卷积神经网络和/或多层区间二型模糊神经网络构成;
采用不同的目标函数作为训练目标,训练生成器,得到多个虚拟视网膜图像,采用以下标准从中选取最终生成的虚拟图像:
||μr-μg||p+tr(Cr+Cg-2(CrCg)1/2) (11)
其中μr和μg,Cr和Cg分别表示输入真实视网膜图像样本的概率分布pdata和生成器合成的虚拟视网膜图像样本的概率分布pg的样本均值向量、协方差矩阵;||·||p表示p向量范数,tr(·)表示矩阵的迹;
当生成的虚拟视网膜图像使得公式(11)达到最小时,即为选定的虚拟视网膜图像。
进一步地,所述模型构建模块203包括:
模型构建子模块,用于构建平行多层分解区间二型直觉模糊卷积神经网络;
模型训练子模块,用于将虚拟视网膜图像及增强后的真实视网膜图像分别输入平行多层分解区间二型直觉模糊卷积神经网络,分别进行特征提取并进行特征共享,基于共享的特征进行卷积计算,进一步提取相关特征,基于相关特征得到最终输出,所述最终输出为类别号或属于某类别的概率,按照上述过程进行网络训练,得到平行多层分解区间二型直觉模糊卷积神经网络模型。
进一步地,所述集成模块204包括:
决策器训练数据集构建子模块,用于构建决策器训练数据集其中是个体决策器最终输出,wr和wv分别表示虚实两端权值,和分别表示个体决策器的虚实两端对应的类别号或属于某类别的概率,k=1,...,Ne,Ne是决策器训练数据集样本数目, 是第i个平行多层分解区间二型直觉模糊卷积神经网络的输出,i=1,…,D;是输出标签;
直觉模糊决策器构建子模块,用于通过构建的决策器训练数据集训练基于混合参数优化的直觉模糊决策器:
其中α∈(0,1),Yse k是决策器最终输出,是第i个平行多层分解区间二型直觉模糊卷积神经网络的输出,i=1,…,D;wj和vj是直觉模糊规则后件;和分别表示三角范数和反三角范数;j=1,2,…,M,M是模糊规则数目;和分别表示从1到D进行和运算;
采用分批梯度下降方法调整直觉模糊决策器的前件参数,最小二乘法估计直觉模糊决策器的后件参数;整个过程如下:
随机产生直觉模糊决策器的前件隶属函数和非隶属函数的中心cij、宽度σij、尺度系数rij,采用分批梯度下降方法,调整前件参数
根据公式(22)可得F′和G′合成的矩阵Φ=[αF′|(1-α)G′],对于模糊规则隶属函数部分后件参数W=[w1 … wM]T和非隶属函数部分后件参数V=[v1 ... vM]T,可得参数向量Θ=[W V],根据公式(20)可得ΦΘ=ESe,因为Φ是Nb×2M矩阵,ESe是Nb×1输出标签向量,采用广义逆可得后件参数向量Θ=Φ+ESe。
以上所示仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (6)
1.一种视网膜图像平行处理方法,其特征在于,包括:
步骤1:采用混沌供需算法优化目标函数,对真实视网膜图像进行增强;
步骤2:基于混合图像生成方法合成虚拟视网膜图像;
步骤3:基于虚拟视网膜图像及增强后的真实视网膜图像,构建平行多层分解区间二型直觉模糊卷积神经网络模型;
步骤4:将多个平行多层分解区间二型直觉模糊卷积神经网络模型的输出进行集成,作为最终分类结果。
2.根据权利要求1所述的一种视网膜图像平行处理方法,其特征在于,所述步骤1包括:
步骤1.1:对输入原始真实视网膜图像进行函数变换M,进而得到输出增强图像,即
EI(i,j)=M(I(i,j)|θ) (1)
其中,I(i,j)表示输入视网膜图像局部,EI(i,j)表示对应的增强的视网膜图像局部,i,j=1,2,...,n;θ=(r,β,ρ,σ)是函数的待定参数; 表示图像增强函数,表示图像局部像素平均,表示图像局部像素均方差,P(p,q)表示像素,n表示图像局部像素数目,P表示全体像素的均值;
步骤1.2:根据图像增强要达到的要求设定相应的目标函数J(θ),采用混沌供需优化算法得到目标函数最优时的参数值,从而得到合理的图像增强变换函数,进而得到符合要求的增强视网膜图像:
J(θ)=npe(EI(θ))×log(log(EI(θ)))×entropy(EI(θ)) (2)
所述混沌供需优化算法包括:
步骤1.2.1:初始化市场种群:
对于pij和qij分别取单位区间内均匀分布的随机数,得到初始单位产品价格种群pi(0)和数量种群qi(0);
然后采用pij(0)和qij(0)分别作为初值迭代计算二维Ikeda映射;经过混沌迭代,得到候选初始产品价格种群pi和数量种群qi,1≤i≤NpNT,NT表示迭代次数;
步骤1.2.2:确定参数值,计算初始最优产品:
步骤1.2.3:当迭代次数t≤Ter时,Ter表示最大迭代数目,执行以下迭代过程:
计算种群产品数量目标函数的绝对方差,归一化后根据轮盘赌方法选择产品数量作为平衡点对于产品价格平衡点的确定分为两个阶段:1、当迭代次数t≤Ter/2时,首先计算种群产品价格目标函数的绝对方差,再归一化,最后根据轮盘赌原理选择产品价格作为平衡点2、当迭代次数t>Ter/2时,采用种群产品价格的平均作为平衡点;
3.根据权利要求1所述的一种视网膜图像平行处理方法,其特征在于,所述步骤2包括:
步骤2.1:对实际采集的视网膜图像采用几何变换方法初步生成虚拟视网膜图像:
输入真实视网膜图像RImi,几何变换算子Tg分别作用于真实图像,得到虚拟视网膜图像SImj,i=1,2,...,n,j=1,2,...,m
SImj=Tg(RImi) (7)
其中Tg可以是翻转、裁剪、旋转、平移几何变换算子中的单一或复合算子;
步骤2.2:根据初步生成的虚拟视网膜图像和真实视网膜图像采用生成对抗网络生成新的虚拟视网膜图像;其中生成对抗网络的判别器由分解模糊宽度卷积神经网络构成,生成器由多个区间二型模糊卷积神经网络和/或多层区间二型模糊神经网络构成;
采用不同的目标函数作为训练目标,训练生成器,得到多个虚拟视网膜图像,采用以下标准从中选取最终生成的虚拟图像:
||μr-μg||p+tr(Cr+Cg-2(CrCg)1/2) (11)
其中,μr和μg,Cr和Cg分别表示输入真实视网膜图像样本的概率分布pdata和生成器合成的虚拟视网膜图像样本的概率分布pg的样本均值向量、协方差矩阵;||·||p表示p向量范数,tr(·)表示矩阵的迹;
当生成的虚拟视网膜图像使得公式(11)达到最小时,即为选定的虚拟视网膜图像。
4.根据权利要求1所述的一种视网膜图像平行处理方法,其特征在于,所述步骤3包括:
步骤3.1:构建平行多层分解区间二型直觉模糊卷积神经网络;
步骤3.2:将虚拟视网膜图像及增强后的真实视网膜图像分别输入平行多层分解区间二型直觉模糊卷积神经网络,分别进行特征提取并进行特征共享,基于共享的特征进行卷积计算,进一步提取相关特征,基于相关特征得到最终输出,所述最终输出为类别号或属于某类别的概率,按照上述过程进行网络计算,得到平行多层分解区间二型直觉模糊卷积神经网络输出。
5.根据权利要求1所述的一种视网膜图像平行处理方法,其特征在于,所述步骤4包括:
步骤4.1:构建决策器训练数据集其中是个体决策器输出,wr和wv分别表示虚实两端权值,和分别表示个体决策器的虚实两端对应的类别号或属于某类别的概率,k=1,...,Ne,Ne是决策器训练数据集样本数目, 是第i个平行多层分解区间二型直觉模糊卷积神经网络的输出,i=1,...,D;是输出标签;
步骤4.2:通过构建的决策器训练数据集训练基于混合参数优化的直觉模糊决策器:
其中α∈(0,1),Yse k是决策器最终输出,是第i个平行多层分解区间二型直觉模糊卷积神经网络的输出,i=1,...,D;wj和vj是直觉模糊规则后件;和分别表示三角范数和反三角范数;j=1,2,...,M,M是模糊规则数目;和分别表示从1到D进行和运算;
采用分批梯度下降方法调整直觉模糊决策器的前件参数,最小二乘法估计直觉模糊决策器的后件参数;整个过程如下:
步骤4.2.1:随机产生直觉模糊决策器的前件隶属函数和非隶属函数的中心cij、宽度σij、尺度系数rij,采用分批梯度下降方法,调整前件参数
根据公式(22)可得F′和G′合成的矩阵Φ=[αF′|(1-α)G′],对于模糊规则隶属函数部分后件参数W=[w1…wM]T和非隶属函数部分后件参数V=[v1…vM]T,可得参数向量Θ=[WV],根据公式(20)可得ΦΘ=ESe,因为Φ是Nb×2M矩阵,ESe是Nb×1输出标签向量,采用广义逆可得后件参数向量Θ=Φ+ESe。
6.基于权利要求1-5任一所述的一种视网膜图像平行处理方法的一种视网膜图像平行处理装置,其特征在于,包括:
图像增强模块,用于采用混沌供需算法优化目标函数,对真实视网膜图像进行增强;
虚拟视网膜图像生成模块,用于基于混合图像生成方法合成虚拟视网膜图像;
模型构建模块,用于基于虚拟视网膜图像及增强后的真实视网膜图像,构建平行多层分解区间二型直觉模糊卷积神经网络模型;
集成模块,用于将多个平行多层分解区间二型直觉模糊卷积神经网络模型的输出进行集成,作为最终分类结果。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010654695.0A CN111931816B (zh) | 2020-07-09 | 2020-07-09 | 一种视网膜图像平行处理方法及装置 |
US17/228,747 US11875488B2 (en) | 2020-07-09 | 2021-04-13 | Method and device for parallel processing of retinal images |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010654695.0A CN111931816B (zh) | 2020-07-09 | 2020-07-09 | 一种视网膜图像平行处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111931816A true CN111931816A (zh) | 2020-11-13 |
CN111931816B CN111931816B (zh) | 2024-08-20 |
Family
ID=73312652
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010654695.0A Active CN111931816B (zh) | 2020-07-09 | 2020-07-09 | 一种视网膜图像平行处理方法及装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11875488B2 (zh) |
CN (1) | CN111931816B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112367130A (zh) * | 2020-11-20 | 2021-02-12 | 河南工业大学 | 一种无线网络信号传输强度计算方法及计算机存储介质 |
CN114004360A (zh) * | 2021-12-30 | 2022-02-01 | 北京壬工智能科技有限公司 | 基于模糊专家模型的智能装备诊断设备和方法 |
CN114359104A (zh) * | 2022-01-10 | 2022-04-15 | 北京理工大学 | 一种基于分级生成的白内障眼底图像增强方法 |
CN114372985A (zh) * | 2021-12-17 | 2022-04-19 | 中山大学中山眼科中心 | 适应多中心图像的糖尿病视网膜病变病灶分割方法及系统 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11900534B2 (en) * | 2021-07-30 | 2024-02-13 | The Boeing Company | Systems and methods for synthetic image generation |
US20230085156A1 (en) * | 2021-09-03 | 2023-03-16 | Nvidia Corporation | Entropy-based pre-filtering using neural networks for streaming applications |
CN114494196B (zh) * | 2022-01-26 | 2023-11-17 | 南通大学 | 基于遗传模糊树的视网膜糖尿病变深度网络检测方法 |
CN115147401B (zh) * | 2022-08-02 | 2023-05-05 | 中国水利水电科学研究院 | 一种基于数字图像处理的土石坝坝料合格性智能检测方法 |
CO2022011610A1 (es) * | 2022-08-17 | 2024-02-26 | Univ Simon Bolivar | Método implementado por aprendizaje de máquina para la detección de vasos sanguíneos a través de clustering de píxeles |
CN116452865B (zh) * | 2023-04-03 | 2023-11-07 | 南通大学 | 基于模糊逻辑的跳跃式注意力肺部病理图像分类方法 |
CN116934768B (zh) * | 2023-08-16 | 2024-05-10 | 中国人民解放军总医院 | 用于提高cta影像模态中血管分割精度的方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108985440A (zh) * | 2018-09-05 | 2018-12-11 | 河南工业大学 | 区间二型直觉模糊随机向量函数连接神经网络设计方法 |
CN109584162A (zh) * | 2018-11-30 | 2019-04-05 | 江苏网进科技股份有限公司 | 一种基于生成网络的图像超分辨率重构的方法 |
CN110264424A (zh) * | 2019-06-20 | 2019-09-20 | 北京理工大学 | 一种基于生成对抗网络的模糊视网膜眼底图像增强方法 |
CN110706172A (zh) * | 2019-09-27 | 2020-01-17 | 郑州轻工业学院 | 基于自适应混沌粒子群优化的低照度彩色图像增强方法 |
CN111062310A (zh) * | 2019-12-13 | 2020-04-24 | 哈尔滨工程大学 | 一种基于虚拟样本生成的少样本无人机图像识别方法 |
-
2020
- 2020-07-09 CN CN202010654695.0A patent/CN111931816B/zh active Active
-
2021
- 2021-04-13 US US17/228,747 patent/US11875488B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108985440A (zh) * | 2018-09-05 | 2018-12-11 | 河南工业大学 | 区间二型直觉模糊随机向量函数连接神经网络设计方法 |
CN109584162A (zh) * | 2018-11-30 | 2019-04-05 | 江苏网进科技股份有限公司 | 一种基于生成网络的图像超分辨率重构的方法 |
CN110264424A (zh) * | 2019-06-20 | 2019-09-20 | 北京理工大学 | 一种基于生成对抗网络的模糊视网膜眼底图像增强方法 |
CN110706172A (zh) * | 2019-09-27 | 2020-01-17 | 郑州轻工业学院 | 基于自适应混沌粒子群优化的低照度彩色图像增强方法 |
CN111062310A (zh) * | 2019-12-13 | 2020-04-24 | 哈尔滨工程大学 | 一种基于虚拟样本生成的少样本无人机图像识别方法 |
Non-Patent Citations (1)
Title |
---|
WEIGUO ZHAO等: "Supply-Demand-Based Optimization: A Novel Economics-Inspired Algorithm for Global Optimization", IEEE ACCESS, vol. 7, 23 May 2019 (2019-05-23), pages 73182 - 73206, XP011730200, DOI: 10.1109/ACCESS.2019.2918753 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112367130A (zh) * | 2020-11-20 | 2021-02-12 | 河南工业大学 | 一种无线网络信号传输强度计算方法及计算机存储介质 |
CN112367130B (zh) * | 2020-11-20 | 2023-04-07 | 河南工业大学 | 一种无线网络信号传输强度计算方法及计算机存储介质 |
CN114372985A (zh) * | 2021-12-17 | 2022-04-19 | 中山大学中山眼科中心 | 适应多中心图像的糖尿病视网膜病变病灶分割方法及系统 |
CN114372985B (zh) * | 2021-12-17 | 2024-07-09 | 中山大学中山眼科中心 | 适应多中心图像的糖尿病视网膜病变病灶分割方法及系统 |
CN114004360A (zh) * | 2021-12-30 | 2022-02-01 | 北京壬工智能科技有限公司 | 基于模糊专家模型的智能装备诊断设备和方法 |
CN114004360B (zh) * | 2021-12-30 | 2022-04-01 | 北京壬工智能科技有限公司 | 基于模糊专家模型的智能装备诊断设备和方法 |
CN114359104A (zh) * | 2022-01-10 | 2022-04-15 | 北京理工大学 | 一种基于分级生成的白内障眼底图像增强方法 |
Also Published As
Publication number | Publication date |
---|---|
US20220012859A1 (en) | 2022-01-13 |
US11875488B2 (en) | 2024-01-16 |
CN111931816B (zh) | 2024-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111931816B (zh) | 一种视网膜图像平行处理方法及装置 | |
CN111368896B (zh) | 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法 | |
Chouhan et al. | Image segmentation using computational intelligence techniques | |
Wang et al. | Adaptive pruning of transfer learned deep convolutional neural network for classification of cervical pap smear images | |
CN110046671A (zh) | 一种基于胶囊网络的文本分类方法 | |
CN111368926B (zh) | 图像筛选方法、装置和计算机可读存储介质 | |
CN117541844B (zh) | 一种基于超图学习的弱监督组织病理学全切片图像分析方法 | |
Wu et al. | Cost-sensitive latent space learning for imbalanced PolSAR image classification | |
CN110349170A (zh) | 一种全连接crf级联fcn和k均值脑肿瘤分割算法 | |
Zhao et al. | Broad learning approach to Surrogate-Assisted Multi-Objective evolutionary fuzzy clustering algorithm based on reference points for color image segmentation | |
CN115810109A (zh) | 一种舌像特征提取方法、系统和存储介质 | |
Zhang et al. | Complex image recognition algorithm based on immune random forest model | |
CN110111300B (zh) | 一种图像变化检测方法 | |
Chang et al. | Intelligent fault diagnosis scheme via multi-module supervised-learning network with essential features capture-regulation strategy | |
Atkale et al. | Multi-scale feature fusion model followed by residual network for generation of face aging and de-aging | |
Zhan et al. | Semisupervised hyperspectral image classification based on generative adversarial networks and spectral angle distance | |
Askari et al. | Quantitative evaluation of image segmentation algorithms based on fuzzy convolutional neural network | |
Jiang et al. | A massive multi-modal perception data classification method using deep learning based on internet of things | |
Lee et al. | Learning non-homogenous textures and the unlearning problem with application to drusen detection in retinal images | |
Wan et al. | SGBGAN: minority class image generation for class-imbalanced datasets | |
Zhang et al. | SVM methods in image segmentation | |
Zhao et al. | Modified generative adversarial networks for image classification | |
CN113409351B (zh) | 基于最优传输的无监督领域自适应遥感图像分割方法 | |
CN114529063A (zh) | 一种基于机器学习的金融领域数据预测方法、设备及介质 | |
Warkar et al. | A survey on multiclass image classification based on Inception-v3 transfer learning model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |