CN111931816A - 一种视网膜图像平行处理方法及装置 - Google Patents

一种视网膜图像平行处理方法及装置 Download PDF

Info

Publication number
CN111931816A
CN111931816A CN202010654695.0A CN202010654695A CN111931816A CN 111931816 A CN111931816 A CN 111931816A CN 202010654695 A CN202010654695 A CN 202010654695A CN 111931816 A CN111931816 A CN 111931816A
Authority
CN
China
Prior art keywords
image
retina
virtual
fuzzy
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010654695.0A
Other languages
English (en)
Inventor
赵亮
周川
冯晓霞
李晶晶
刘园园
司冉冉
谢志峰
付园坤
金军委
张坤鹏
张磊
石世猛
王天赐
刘东江
李萌
石志远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University of Technology
Second Affiliated Hospital of Zhengzhou Unviersity
Original Assignee
Henan University of Technology
Second Affiliated Hospital of Zhengzhou Unviersity
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University of Technology, Second Affiliated Hospital of Zhengzhou Unviersity filed Critical Henan University of Technology
Priority to CN202010654695.0A priority Critical patent/CN111931816A/zh
Publication of CN111931816A publication Critical patent/CN111931816A/zh
Priority to US17/228,747 priority patent/US11875488B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/043—Architecture, e.g. interconnection topology based on fuzzy logic, fuzzy membership or fuzzy inference, e.g. adaptive neuro-fuzzy inference systems [ANFIS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Fuzzy Systems (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Automation & Control Theory (AREA)
  • Pure & Applied Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明属于图像处理技术领域，尤其涉及一种视网膜图像平行处理方法，包括：步骤1：采用混沌供需算法优化目标函数，对真实视网膜图像进行增强；步骤2：基于混合图像生成方法合成虚拟视网膜图像；步骤3：基于虚拟视网膜图像及增强后的真实视网膜图像，构建平行多层分解区间二型直觉模糊卷积神经网络模型；步骤4：将多个平行多层分解区间二型直觉模糊卷积神经网络模型的输出进行集成，作为最终分类结果；本发明还公开一种视网膜图像平行处理装置，包括：图像增强模块、虚拟视网膜图像生成模块、模型构建模块及集成模块。本发明克服了视网膜图像训练数据样本数量和质量无法保证的难题，提高了视网膜图像特征提取和分类识别的准确性。

Description

一种视网膜图像平行处理方法及装置
技术领域
本发明属于图像处理技术领域，尤其涉及一种视网膜图像平行处理方法及装置。
背景技术
目前视网膜图像中相关目标的处理多数采用手动设计的方式。这种方式无论是在精确度还是在客观性上都有极大的局限性。得益于计算机软硬件技术的快速发展和计算机视觉技术的日臻成熟，研究者试图寻找一种高效智能的方式，能够在排除主观干扰的前提下自动处理视网膜图像的相关特征，为相应的应用领域，例如生物特征识别技术提供更加可靠有效的技术保障。林机鹏(林机鹏，眼底视网膜图像处理与分析关键技术研究[D]，华侨大学，2019.)采用小波域MRF的模型进行分割，该模型结合了视网膜图像的先验知识，提供像素间的约束信息，提高了分割的精确度；在模型参数的估计上，采用期望最大化EM算法，一定程度上提高了参数估计的收敛效率。殷婷婷(殷婷婷，基于计算机视觉的视网膜图像处理关键技术研究[D]，长春工业大学，2018.)通过YIQ空间亮度信息进行图像的视场提取，通过腐蚀操作得到有效信息区域；接着通过高斯函数结合Hessian矩阵构造多尺度线性滤波器对血管的特征进行增强处理，设置弹性尺度因子迭代得到最大滤波值。在以上研究中，实现了智能化的视网膜图像相应目标处理，得到较好的结果。然而由于视网膜图像样本获取较为困难，多样性更难保证，深度学习模型需要针对具体领域的问题进行专门设计，所有这些都使得视网膜图像处理效果不佳，模型泛化性能得不到保证。
发明内容
本发明针对现有智能化的视网膜图像处理效果不佳，模型泛化性能得不到保证的问题，提出一种视网膜图像平行处理方法及装置。
为了实现上述目的，本发明采用以下技术方案：
一种视网膜图像平行处理方法，包括：
步骤1：采用混沌供需算法优化目标函数，对真实视网膜图像进行增强；
步骤2：基于混合图像生成方法合成虚拟视网膜图像；
步骤3：基于虚拟视网膜图像及增强后的真实视网膜图像，构建平行多层分解区间二型直觉模糊卷积神经网络模型；
步骤4：将多个平行多层分解区间二型直觉模糊卷积神经网络模型的输出进行集成，作为最终分类结果。
进一步地，所述步骤1包括：
步骤1.1：对输入原始真实视网膜图像进行函数变换M，进而得到输出增强图像，即
EI(i，j)＝M(I(i，j)|θ) (1)
其中，I(i,j)表示输入视网膜图像局部，EI(i,j)表示对应的增强的视网膜图像局部，i,j＝1,2,…,n；θ＝(r,β,ρ,σ)是函数的待定参数；
Figure BDA0002576300650000021
Figure BDA0002576300650000022
表示图像增强函数，
Figure BDA0002576300650000023
表示图像局部像素平均，
Figure BDA0002576300650000024
表示图像局部像素均方差，P(p,q)表示像素，n表示图像局部像素数目，P表示全体像素的均值；
步骤1.2：根据图像增强要达到的要求设定相应的目标函数J(θ)，采用混沌供需优化算法得到目标函数最优时的参数值，从而得到合理的图像增强变换函数，进而得到符合要求的增强视网膜图像：
J(θ)＝npe(EI(θ))×log(log(EI(θ)))×entropy(EI(θ)) (2)
其中J(θ)表示目标函数；npe(EI(θ))表示图像边缘像素数目，log(log(EI(θ)))表示图像边缘密度的Sobel算子，
Figure BDA0002576300650000025
其中pt表示增强图像第t亮度级概率；
所述混沌供需优化算法包括：
步骤1.2.1：初始化市场种群：
种群的数目是Np，种群中产品价格向量pi和产品数量向量qi的维度是dim(θ)＝4，根据参数向量θ＝(r,β,ρ,σ)中每一维参数的搜索范围确定pi和qi的取值空间
Figure BDA0002576300650000026
对于pij和qij分别取单位区间内均匀分布的随机数，得到初始单位产品价格种群pi(0)和数量种群qi(0)；
然后采用pij(0)和qij(0)分别作为初值迭代计算二维Ikeda映射；经过混沌迭代，得到候选初始产品价格种群pi和数量种群qi，1≤i≤NpNT，NT表示迭代次数；
然后对每一维pij和qij进行线性变换，得到候选初始产品价格
Figure BDA0002576300650000031
和数量
Figure BDA0002576300650000032
根据公式(2)分别计算种群中每个产品价格和数量的目标函数值
Figure BDA0002576300650000033
和
Figure BDA0002576300650000034
分别进行归一化，然后两者分别与服从均匀分布的随机数比较大小，从中选取Np个产品价格和数量分别组成初始产品价格和数量种群；
步骤1.2.2：确定参数值，计算初始最优产品：
比较初始种群中产品价格和数量的目标函数值的大小，如果满足
Figure BDA0002576300650000035
则
Figure BDA0002576300650000036
被
Figure BDA0002576300650000037
代替；目标函数值最大的产品价格
Figure BDA0002576300650000038
步骤1.2.3：当迭代次数t≤Ter时，Ter表示最大迭代数目，执行以下迭代过程：
计算种群产品数量目标函数的绝对方差，归一化后根据轮盘赌方法选择产品数量
Figure BDA0002576300650000039
作为平衡点
Figure BDA00025763006500000310
对于产品价格平衡点的确定分为两个阶段：1、当迭代次数t≤Ter/2时，首先计算种群产品价格目标函数的绝对方差，再归一化，最后根据轮盘赌原理选择产品价格
Figure BDA00025763006500000311
作为平衡点
Figure BDA00025763006500000312
2、当迭代次数t>Ter/2时，采用种群产品价格的平均作为平衡点；
比较目标函数值，若
Figure BDA00025763006500000313
则
Figure BDA00025763006500000314
被
Figure BDA00025763006500000315
代替，
Figure BDA00025763006500000316
如果
Figure BDA00025763006500000317
则
Figure BDA00025763006500000318
否则
Figure BDA00025763006500000319
保持不变；如果连续迭代十次，
Figure BDA00025763006500000320
均保持不变，而迭代仍未到达Ter，则采用logistic混沌映射进行扰动；
步骤1.2.4：当迭代结束时，输出最优解
Figure BDA00025763006500000321
则增强图像
Figure BDA00025763006500000322
即为所求增强视网膜图像。
进一步地，所述步骤2包括：
步骤2.1：对实际采集的视网膜图像采用几何变换方法初步生成虚拟视网膜图像：
输入真实视网膜图像RImi，几何变换算子Tg分别作用于真实图像，得到虚拟视网膜图像SImj，i＝1,2,…,n，j＝1,2,…,m
SImj＝Tg(RImi) (7)
其中Tg可以是翻转、裁剪、旋转、平移几何变换算子中的单一或复合算子；
步骤2.2：根据初步生成的虚拟视网膜图像和真实视网膜图像采用生成对抗网络生成新的虚拟视网膜图像；其中生成对抗网络的判别器由分解模糊宽度卷积神经网络构成，生成器由多个区间二型模糊卷积神经网络和/或多层区间二型模糊神经网络构成；
采用不同的目标函数作为训练目标，训练生成器，得到多个虚拟视网膜图像，采用以下标准从中选取最终生成的虚拟图像：
||μr-μg||p+tr(Cr+Cg-2(CrCg)1/2) (11)
其中，μr和μg，Cr和Cg分别表示输入真实视网膜图像样本的概率分布pdata和生成器合成的虚拟视网膜图像样本的概率分布pg的样本均值向量、协方差矩阵；||·||p表示p向量范数，tr(·)表示矩阵的迹；
当生成的虚拟视网膜图像使得公式(11)达到最小时，即为选定的虚拟视网膜图像。
进一步地，所述步骤3包括：
步骤3.1：构建平行多层分解区间二型直觉模糊卷积神经网络；
步骤3.2：将虚拟视网膜图像及增强后的真实视网膜图像分别输入平行多层分解区间二型直觉模糊卷积神经网络，分别进行特征提取并进行特征共享，基于共享的特征进行卷积计算，进一步提取相关特征，基于相关特征得到最终输出，所述最终输出为类别号或属于某类别的概率，按照上述过程进行网络计算，得到平行多层分解区间二型直觉模糊卷积神经网络输出。
进一步地，所述步骤4包括：
步骤4.1：构建决策器训练数据集
Figure BDA0002576300650000041
其中
Figure BDA0002576300650000042
是个体决策器输出，
Figure BDA0002576300650000043
wr和wv分别表示虚实两端权值，
Figure BDA0002576300650000044
和
Figure BDA0002576300650000045
分别表示个体决策器的虚实两端对应的类别号或属于某类别的概率，k＝1，...，Ne，Ne是决策器训练数据集样本数目，
Figure BDA0002576300650000046
Figure BDA0002576300650000047
是第i个平行多层分解区间二型直觉模糊卷积神经网络的输出，i＝1,…,D；
Figure BDA0002576300650000051
是输出标签；
步骤4.2：通过构建的决策器训练数据集训练基于混合参数优化的直觉模糊决策器：
Figure BDA0002576300650000052
其中α∈(0,1)，Yse k是决策器最终输出，
Figure BDA0002576300650000053
是第i个平行多层分解区间二型直觉模糊卷积神经网络的输出，i＝1,…,D；wj和vj是直觉模糊规则后件；
Figure BDA0002576300650000054
和
Figure BDA0002576300650000055
分别表示三角范数和反三角范数；j＝1,2,…,M，M是模糊规则数目；
Figure BDA0002576300650000056
和
Figure BDA0002576300650000057
分别表示从1到D进行
Figure BDA0002576300650000058
和
Figure BDA0002576300650000059
运算；
采用分批梯度下降方法调整直觉模糊决策器的前件参数，最小二乘法估计直觉模糊决策器的后件参数；整个过程如下：
步骤4.2.1：随机产生直觉模糊决策器的前件隶属函数和非隶属函数的中心cij、宽度σij、尺度系数rij，采用分批梯度下降方法，调整前件参数
Figure BDA00025763006500000510
其中
Figure BDA00025763006500000511
表示梯度向量，
Figure BDA00025763006500000512
是输出误差函数；Nb表示每批数据数目；
步骤4.2.2：采用步骤4.2.1调整后的前件参数计算模糊规则隶属函数和非隶属函数激活力分别为
Figure BDA00025763006500000513
和
Figure BDA00025763006500000514
进行归一化得
Figure BDA00025763006500000515
和
Figure BDA00025763006500000516
对于一批数据可得矩阵F′和G′
Figure BDA00025763006500000517
根据公式(22)可得F′和G′合成的矩阵Φ＝[αF′|(1-α)G′]，对于模糊规则隶属函数部分后件参数W＝[w1 … wM]T和非隶属函数部分后件参数V＝[v1 … vM]T，可得参数向量Θ＝[W V]，根据公式(20)可得ΦΘ＝ESe，因为Φ是Nb×2M矩阵，ESe是Nb×1输出标签向量，采用广义逆可得后件参数向量Θ＝Φ+ESe。
一种视网膜图像平行处理装置，包括：
图像增强模块，用于采用混沌供需算法优化目标函数，对真实视网膜图像进行增强；
虚拟视网膜图像生成模块，用于基于混合图像生成方法合成虚拟视网膜图像；
模型构建模块，用于基于虚拟视网膜图像及增强后的真实视网膜图像，构建平行多层分解区间二型直觉模糊卷积神经网络模型；
集成模块，用于将多个平行多层分解区间二型直觉模糊卷积神经网络模型的输出进行集成，作为最终分类结果。
与现有技术相比，本发明具有的有益效果：
1)克服了视网膜图像训练数据样本数量和质量无法保证的难题
本发明采用混合虚拟视网膜图像生成方法，将基本图像合成方法和生成对抗网络相结合，根据真实视网膜眼底图像产生虚拟图像，很好解决了训练样本质量和数量问题。
2)解决了增强的真实视网膜图像样本和虚拟视网膜图像样本分布差异对数据驱动的分类模型性能的影响
生成对抗网络产生的虚拟视网膜图像样本的概率分布和增强的真实视网膜图像样本的概率分布存在差异，极大影响了传统图像处理方法的分类准确性。本发明提出的平行多层分解区间二型直觉模糊卷积神经网络采用虚实互动的特征共享技术实现特征空间特征元素的最大覆盖，能够同时嵌入差异化的特征表示，解决了由于分布差异对建模效果带来的负面影响。
3)采用集成技术进一步提高了平行多层分解区间二型直觉模糊卷积神经网络对视网膜图像特征的表现力和分类的准确性
本发明提出直觉模糊决策器输出最终的分类结果，将个体平行多层分解区间二型直觉模糊卷积神经网络的输出作为决策器的输入，相应的标签作为决策器的标签，混合参数优化方法调整决策器参数，进一步提高了对视网膜图像正确分类的鲁棒性。
附图说明
图1为本发明实施例一种视网膜图像平行处理方法的基本流程图；
图2为本发明实施例一种视网膜图像平行处理方法的虚拟视网膜图像合成流程图；
图3为本发明实施例一种视网膜图像平行处理方法的生成对抗网络的判别器结构示意图；
图4为本发明实施例一种视网膜图像平行处理方法的生成对抗网络的生成器结构示意图；
图5为本发明实施例一种视网膜图像平行处理方法的平行多层分解区间二型直觉模糊卷积神经网络结构示意图；
图6为本发明实施例一种视网膜图像平行处理方法的平行多层分解区间二型直觉模糊卷积神经网络模型示意图；
图7为本发明实施例一种视网膜图像平行处理方法的集成平行多层分解区间二型直觉模糊卷积神经网络模型示意图；
图8为本发明实施例一种视网膜图像平行处理装置结构示意图。
具体实施方式
下面结合附图和具体的实施例对本发明做进一步的解释说明：
本发明首先采用混沌供需算法优化目标函数(根据图像增强的具体要求确定)确定变换函数的待定参数从而对收集到的视网膜图像进行增强；然后按照合适的顺序对增强后的视网膜图像进行传统的变换(旋转、翻转、增加对比度、平移等)，之后采用生成对抗网络及其变种以前面的视网膜图像为真实图像通过对抗训练合成图像，再次以上述图像作为真实图像输入生成模型和虚实互动的多层分解区间二型直觉模糊卷积神经网络组成的联合训练模型，在合成视网膜图像的同时训练神经网络；最后，采用集成的多层分解区间二型直觉模糊卷积神经网络模型进行分类。
具体地，如图1所示，一种视网膜图像平行处理方法，包括以下几个步骤：
步骤S101：采用混沌供需算法优化目标函数，对真实视网膜图像进行增强。
由于视网膜成像系统受设备性能、成像环境以及相关噪声的影响，无法保证视网膜图像质量能够完全满足分类的要求。所以，需要研究视网膜图像增强问题。本质上，图像增强是对输入原始真实视网膜图像进行函数变换M，进而得到输出增强图像，即
EI(i，j)＝M(I(i，j)|θ) (1)
其中，I(i,j)表示输入视网膜图像局部，EI(i,j)表示对应的增强的视网膜图像局部，i,j＝1,2,…,n；θ＝(r,β,ρ,σ)是函数的待定参数；
Figure BDA0002576300650000081
Figure BDA0002576300650000082
表示图像增强函数，
Figure BDA0002576300650000083
表示图像局部像素平均，
Figure BDA0002576300650000084
表示图像局部像素均方差，P(p,q)表示像素，n表示图像局部像素数目，P表示全体像素的均值。
所以，根据图像增强要达到的要求(增强血管等)设定相应的目标函数J(θ)，采用混沌供需优化算法得到目标函数最优时的参数值，从而得到合理的图像增强变换函数，进而得到符合要求的增强视网膜图像。J(θ)如公式(1)所示，原始视网膜图像经过变换函数M(·|θ)的作用得到增强图像，图像增强的目标可用下式表示
J(θ)＝npe(EI(θ))×log(log(EI(θ)))×entropy(EI(θ)) (2)
其中J(θ)表示目标函数，npe(EI(θ))表示图像边缘像素数目，log(log(EI(θ)))表示图像边缘密度的Sobel算子，
Figure BDA0002576300650000085
其中pt表示增强图像第t亮度级概率。
所以，图像增强转化为优化问题minθ∈ΘJ(θ)，即确定合适的参数向量使目标函数达到最优。本发明提出混沌供需优化算法对以上问题进行求解。混沌供需优化算法是采用市场经济中商品的供需关系引发商品价格的波动，经过市场上商品价格和数量的相互作用从而最终达到合理的价格定位(最优参数向量)的非梯度优化算法。整个算法的计算步骤如下：
步骤S101A.初始化市场种群：
种群的数目是Np，种群中产品价格向量pi和产品数量向量qi的维度是dim(θ)＝4，根据参数向量θ＝(r,β,ρ,σ)中每一维参数的搜索范围确定pi和qi的取值空间
Figure BDA0002576300650000086
对于pij和qij分别取单位区间内均匀分布的随机数，得到初始单位产品价格种群pi(0)和数量种群qi(0)，然后采用pij(0)和qij(0)分别作为初值迭代计算二维Ikeda映射如下：
pij(k+1)＝1+μ(pij(k)cos(0.4-6/(1+pij(k)2+qij(k)2)-qij(k)sin(0.4-6/(1+pij(k)2+qij(k)2)))
(3a)
qij(k+1)＝μ(pij(k)sin(0.4-6/(1+pij(k)2+qij(k)2)+qij(k)cos(0.4-6/(1+pij(k)2+qij(k)2)))
(3b)
其中参数μ∈(0.6,∞)，k＝0,1,…,NT-1；NT表示迭代次数。经过以上的混沌迭代，可以得到候选初始产品价格种群pi和数量种群qi，1≤i≤NpNT。
然后对每一维pij和qij进行线性变换得到
Figure BDA0002576300650000091
Figure BDA0002576300650000092
其中pj min，pj max表示候选初始产品价格的最值，qj min，qj max表示候选初始产品数量的最值。经过以上变换得到候选初始产品价格
Figure BDA0002576300650000093
和数量
Figure BDA0002576300650000094
根据公式(2)分别计算种群中每个产品价格和数量的目标函数值
Figure BDA0002576300650000095
和
Figure BDA0002576300650000096
分别进行归一化
Figure BDA0002576300650000097
和
Figure BDA0002576300650000098
然后两者分别与服从均匀分布的随机数比较大小，从中选取Np个产品价格和数量分别组成初始产品价格和数量种群。
步骤S101B.确定参数值，计算初始最优产品：
混沌供需优化算法的超参数u和v被随机确定。比较以上初始种群中产品价格和数量的目标函数值的大小，如果满足
Figure BDA0002576300650000099
则
Figure BDA00025763006500000910
被
Figure BDA00025763006500000911
代替。目标函数值最大的产品价格
Figure BDA00025763006500000912
步骤S101C.当迭代次数t≤Ter时，Ter表示最大迭代数目，执行以下迭代过程：
计算种群产品数量目标函数的绝对方差
Figure BDA00025763006500000913
归一化后
Figure BDA00025763006500000914
根据轮盘赌方法选择产品数量
Figure BDA00025763006500000915
作为平衡点
Figure BDA00025763006500000916
对于产品价格平衡点的确定分为两个阶段：①当迭代次数t≤Ter/2时，为加强优化算法探索能力，采用和产品数量相似的方法确定价格平衡点；首先计算种群产品价格目标函数的绝对方差
Figure BDA0002576300650000101
再归一化，最后根据轮盘赌原理选择产品价格
Figure BDA0002576300650000102
作为平衡点
Figure BDA0002576300650000103
②当迭代次数t>Ter/2时，为加强算法开发能力，直接采用种群产品价格的平均作为平衡点
Figure BDA0002576300650000104
其中w是服从单位区间均匀分布的随机数。
Figure BDA0002576300650000105
Figure BDA0002576300650000106
其中参数u和v是随机数，在步骤S101B中确定。比较目标函数值，若
Figure BDA0002576300650000107
则
Figure BDA0002576300650000108
被
Figure BDA0002576300650000109
代替，
Figure BDA00025763006500001010
Figure BDA00025763006500001011
如果
Figure BDA00025763006500001012
则
Figure BDA00025763006500001013
否则
Figure BDA00025763006500001014
保持不变。如果连续迭代十次，
Figure BDA00025763006500001015
均保持不变，而迭代仍未到达Ter，则采用logistic混沌映射对公式(5)中参数u和v进行扰动，即
u(t+1)＝ψu(t)(1-u(t)) (6a)
v(t+1)＝ωv(t)(1-v(t)) (6b)
其中参数ψ和ω取大于4的实数，且ω≠ψ。采用混沌参数对公式(5)进行扰动，使种群产品价格和数量不易陷入局部最优，增加全局搜索能力。
步骤S101D.当迭代结束时，输出最优解
Figure BDA00025763006500001016
则增强图像
Figure BDA00025763006500001017
即为所求增强视网膜图像。
步骤S102：基于混合图像生成方法合成虚拟视网膜图像。
进行视网膜图像分类时，高质量的视网膜图像的获取和准确标注需要耗费大量的人力物力，因此很难获取海量的标注样本。这将极大的影响模型的训练，进而无法有效发挥模型的高精度分类性能。采用深度生成模型合成虚拟视网膜图像，基于平行学习虚实互动训练分类模型，解决训练图像难以大规模有效采集和标注的瓶颈。为了有效保证虚拟视网膜图像的多样性，本发明提出混合图像生成方法进行虚拟图像的获取，它将传统的图像合成方法几何变换(翻转、裁剪、旋转、注入噪声)和深度学习合成方法(生成对抗网络、元学习等)混合使用，从而得到高质量的虚拟视网膜眼底图像，如图2所示。整个过程如下：
步骤S102A.对于实际采集的视网膜图像采用几何变换方法初步生成虚拟视网膜图像。
输入真实视网膜图像RImi，几何变换算子Tg(翻转Tf、裁剪Tc、旋转Tr、平移Tt等)分别作用于真实图像，得到虚拟视网膜图像SImj，i＝1,2,…,n，j＝1,2,…,m。
SImj＝Tg(RImi) (7)
其中Tg可以是以上变换算子的单一或复合算子。
步骤S102B.根据初步生成的虚拟视网膜图像和真实视网膜图像采用生成对抗网络及其变种生成新的虚拟视网膜图像。
将真实视网膜图像Rim和初步生成的虚拟视网膜图像Sim作为输入视网膜图像Imin＝{Rim,Sim}，对于任意噪声图像Imns，输入生成对抗网络及其变种通过对抗博弈产生新的虚拟视网膜图像Simn。其中生成对抗网络的判别器由分解模糊宽度卷积神经网络构成，生成器由多个区间二型模糊卷积神经网络和/或多层区间二型模糊神经网络(卷积残差网络)构成；生成对抗网络的判别器结构如图3所示。
判别器的第一层是特征提取层(初级层)，为有效抑制视网膜图像中存在的随机噪声分解直觉模糊推理系统被使用，同时使用单层神经元增加的结构增加图像提取特征的多样性。输入图像为Imin，直觉模糊推理规则前件直觉模糊集合的隶属函数
Figure BDA0002576300650000111
和非隶属函数
Figure BDA0002576300650000112
被分别分解为三个直觉模糊集合的隶属函数和非隶属函数，即
Figure BDA0002576300650000113
Figure BDA0002576300650000114
Figure BDA0002576300650000115
Figure BDA0002576300650000116
Figure BDA0002576300650000117
Figure BDA0002576300650000121
直觉模糊推理包括隶属部分和非隶属部分，根据(8a)-(8f)计算直觉模糊规则激活力
Figure BDA0002576300650000122
和
Figure BDA0002576300650000123
其中
Figure BDA0002576300650000124
和
Figure BDA0002576300650000125
分别表示三角范数和反三角范数，字符*表示l、c、r，即分解后的三种隶属和非隶属函数。直觉模糊规则后件wj和vj，则分解直觉模糊推理子系统输出
Figure BDA00025763006500001217
其中Outr (1)(X)表示第一层(初始特征提取层)的输出，α，β∈(0,1)，α+β＝1，Mr表示第r个分解直觉模糊子系统的规则数目，r＝1,2,…,R。为了进一步增强提取特征的多样性，宽度可变的特征提取方法被采用，视网膜图像Imin输入特征抽取模块组Fp，p＝1,2,…,P，激活函数是
Figure BDA0002576300650000126
则抽取模块的输出特征
Figure BDA0002576300650000127
Figure BDA0002576300650000128
其中
Figure BDA0002576300650000129
是随机权值，
Figure BDA00025763006500001210
是随机偏置。为提高特征的多样性，将之前的输出特征
Figure BDA00025763006500001211
作为输入到特征抽取模组Tq(q＝1,2,…,Q)再次进行特征提取，即
Figure BDA00025763006500001212
其中
Figure BDA00025763006500001213
分别与
Figure BDA00025763006500001214
类似。根据实际问题需要，以上过程可以继续，最后得到初级特征提取层的特征向量
Figure BDA00025763006500001215
然后它作为卷积层的输入进一步进行特征提取，经过全连接层和softmax得到概率输出表示输入视网膜图像的真实程度。
生成对抗网络的生成器的构成比判别器更加复杂，分别采用区间二型模糊卷积神经网络、多层区间二型模糊神经网络等组成，然后对它们的输出视网膜图像根据决策准则选出最优的虚拟图像。整个过程如下。区间二型模糊卷积神经网络和多层区间二型模糊神经网络的区别主要在于各隐层节点是完全连接还是按照卷积规律的部分连接；生成对抗网络的生成器结构如图4所示。
选用N个多层区间二型模糊神经网络或区间二型模糊卷积神经网络产生虚拟视网膜图像，在训练过程中，它们分别采用不同的目标函数作为训练目标，同时随机输入信号所服从的先验分布pZ也各自不同。常用的目标函数包括
Figure BDA00025763006500001216
Figure BDA0002576300650000131
Figure BDA0002576300650000132
根据公式(10a)-(10b)训练生成器，各自得到N个虚拟视网膜图像，采用以下标准从中选取最终生成的虚拟图像。
Figure BDA0002576300650000133
其中，μr和μg，Cr和Cg分别表示输入视网膜图像样本的概率分布pdata和生成器合成视网膜图像样本的概率分布pg的样本均值向量、协方差矩阵。||·||p表示p向量范数，tr(·)表示矩阵的迹。当生成的虚拟视网膜图像使得公式(11)达到最小时，即为选定的虚拟视网膜图像。
步骤S103：建立平行多层分解区间二型直觉模糊卷积神经网络模型。
在模型的构建过程中，为了进一步提高分类识别精度和模型泛化能力，本发明提出平行多层分解区间二型直觉模糊卷积神经网络(VRIMLDIT2FCNN)作为分类器，如图5所示。区间二型直觉模糊推理具有较好的处理不确定信息的能力，同时为了增强特征提取能力进一步采用分解直觉模糊推理方法作为神经网络的初级特征提取模块。在此基础上，堆叠卷积模块(包括卷积层、池化层和抽样层等)，最后再通过分类器(全连接层)输出分类识别结果。在以上神经网络模型中采用真实视网膜图像和虚拟视网膜图像分别进行特征提取，然后通过虚实数据特征互动机制进行特征共享，提高分类模型的泛化能力和识别效果。
为了得到符合高精度分类识别要求的虚拟视网膜图像，同时训练得到识别性能好泛化能力强的分类器，本发明提出平行分类识别方法。平行分类识别是利用虚拟数据和真实数据的相互作用和补充，充分训练机器学习模型(不限于深度学习)以保证模型高质量完成既定任务(高准确度和强泛化能力)的分类识别方法。
对于如图6中的平行多层分解区间二型直觉模糊卷积神经网络模型(平行分类器)，在本发明中采用虚实互动的多层分解区间二型直觉模糊卷积神经网络实现，该网络的初级特征提取模块采用分解区间二型直觉模糊推理，即在区间二型直觉模糊推理的基础上，将每一条区间二型直觉模糊规则转换为一个对应的分解区间二型直觉模糊推理子系统，由于描述系统的区间二型隶属函数和非隶属函数的增多，系统的表示能力(特征提取)进一步增强，为后续的卷积模块的特征提取打下坚实基础。同时，在这一层将真实视网膜图像的特征和虚拟视网膜图像的特征实现共享，通过特征层面的‘虚实互动’提高平行分类识别模型的表示能力。在分解区间二型直觉模糊推理的过程中，隶属度和非隶属度是单位区间的子区间，即
Figure BDA0002576300650000141
Figure BDA0002576300650000142
Figure BDA0002576300650000143
Figure BDA0002576300650000144
其中
Figure BDA0002576300650000145
和μ ij(xi)、
Figure BDA0002576300650000146
和v ij(xi)分别表示隶属函数上下界、非隶属函数上下界，cij∈R，
Figure BDA0002576300650000147
对公式(12a)-(12d)表示的隶属函数和非隶属函数进行分解得到
Figure BDA0002576300650000148
Figure BDA0002576300650000149
Figure BDA00025763006500001410
Figure BDA00025763006500001411
Figure BDA00025763006500001412
Figure BDA00025763006500001413
Figure BDA00025763006500001414
Figure BDA00025763006500001415
Figure BDA00025763006500001416
Figure BDA0002576300650000151
Figure BDA0002576300650000152
Figure BDA0002576300650000153
其中
Figure BDA0002576300650000154
表示分解后区间二型直觉模糊集合的隶属函数上下界和非隶属函数上下界；※表示l、c、r。分解区间二型直觉模糊推理系统的模糊规则前件激活力(firing interval of the precondition)也是单位区间的子集，即
Figure BDA0002576300650000155
Figure BDA0002576300650000156
其中fj (X)和
Figure BDA0002576300650000157
g j(X)和
Figure BDA0002576300650000158
分别表示模糊规则隶属函数和非隶属函数激活区间的上下界。对以上激活区间上下界分别归一化得到f′j (X)和
Figure BDA0002576300650000159
g′j(X)和
Figure BDA00025763006500001510
当一批视网膜图像
Figure BDA00025763006500001511
输入时，经过公式(13)-(16)可以得到四个激活力矩阵F(xk)、
Figure BDA00025763006500001512
G(xk)和
Figure BDA00025763006500001513
采用奇异值分解技术进行模糊规则选择，重要的模糊规则(对应能量较大的奇异值)经过对应法则映射到各个分解区间二型直觉模糊子系统的集合分别为FS j，
Figure BDA00025763006500001514
GS j和
Figure BDA00025763006500001515
j＝1，2，...，M。则各个子系统保留的规则为
Figure BDA00025763006500001516
如果
Figure BDA00025763006500001517
则子系统j被剪除。重新计算归一化激活区间上下界
Figure BDA00025763006500001518
和
Figure BDA00025763006500001519
和
Figure BDA00025763006500001520
则各个子系统输出
Figure BDA00025763006500001521
其中
Figure BDA00025763006500001522
表示初始特征提取层的特征，m,n∈R+，m+n＝1。wr、vr表示模糊规则后件，Mj表示保留下的子系统模糊规则数目。在图6所示的模型(平行分类器)中，真实视网膜图像和虚拟视网膜图像分别输入平行多层分解区间二型直觉模糊卷积神经网络，采用公式(13)-(17)计算得到初始特征提取层的输出特征
Figure BDA0002576300650000161
和
Figure BDA0002576300650000162
真实特征向量Rout(1)共享参数pα、cα，虚拟特征向量Vout(1)共享参数qα、dα，则特征共享层的输入向量
Figure BDA0002576300650000163
Figure BDA0002576300650000164
计算它的均值向量
Figure BDA0002576300650000165
和协方差矩阵
Figure BDA0002576300650000166
归一化后
Figure BDA0002576300650000167
Figure BDA0002576300650000168
ζ、η是可调参数。经过线性或非线性激活函数作用计算得到NOut(1)＝f(NIn(1))。然后采用服从拉普拉斯分布的抽样dropout方法，从特征共享层中随机选取特征作为卷积特征抽取层的输入，采用相关的卷积计算特征提取技术(滤波器设计、池化设计、采样策略设计等)提取相应特征，然后用全连接层和相应的激活函数(softmax)得到最终输出(可以为0-9之间的类别号，也可以为0-1之间的属于某类别的概率值)。在特征提取过程中，为有效改善参数训练效果，激活函数采用残差函数及其变种。作为虚拟视网膜图像的生成模型，卷积直觉模糊深度神经网络被采用，它的特征提取层采用卷积计算高效提取视网膜图像的特征，它的输出为
Figure BDA0002576300650000169
num是网络层数。深度生成网络的最后一层采用直觉模糊推理系统，模糊规则前件隶属函数和非隶属函数为
Figure BDA00025763006500001610
其中ι，κ>0，aij>bij，cij＝aijι+bijκ/aij+κ是隶属函数中心，σij＝bij-aij是隶属函数宽度。相应的非隶属函数
Figure BDA00025763006500001611
采用直觉模糊推理方法得到
Figure BDA00025763006500001612
其中p,q∈R+，p+q＝1，wj和vj是直觉模糊规则后件，n是输入Out(num-1)维度，M是模糊规则数目。
对于平行多层分解区间二型直觉模糊卷积神经网络，虚拟图像生成所依赖的卷积直觉模糊深度神经网络的参数调节，根据最终的输出误差函数
Figure BDA0002576300650000171
Figure BDA0002576300650000172
采用分批梯度下降方法调节相应参数。
Figure BDA0002576300650000173
Num表示待调节参数数目。
步骤S104：建立集成平行多层分解区间二型直觉模糊卷积神经网络分类识别模型。
集成学习是机器学习中一个非常前沿的技术，采用集成学习技术可以得到比使用单个分类器精度更高泛化性能更加出色的机器学习模型。在本发明中，采用新颖的集成方式将D个平行多层分解区间二型直觉模糊卷积神经网络(平行分类器)的识别输出(类别号)进行集成输出作为最终分类识别结果，集成平行分类识别模型结构如图7所示。具体过程如下。
步骤S104A.生成决策器训练数据。
对于步骤S103得到的D个平行分类器，选用不同于之前训练使用的视网膜图像
Figure BDA0002576300650000174
作为决策器训练数据集(真实视网膜图像)，作用到之前训练好的D个平行分类器的虚实两端，各自输出对应的类别号或属于某类别的概率
Figure BDA0002576300650000175
和
Figure BDA0002576300650000176
用虚实两端权值wr和wv进行加权计算得到
Figure BDA0002576300650000177
Figure BDA0002576300650000178
从而形成决策器训练数据集
Figure BDA0002576300650000179
其中
Figure BDA00025763006500001710
Figure BDA00025763006500001711
是对应输出标签，Ne是决策器训练数据集样本数目。
步骤S104B.通过生成的决策器训练数据集构建基于混合参数优化的直觉模糊决策器。
采用以上决策器训练样本生成基于混合参数优化的决策器。决策器的输入输出
Figure BDA00025763006500001712
其中α∈(0,1)，Yse k是决策器最终输出，
Figure BDA00025763006500001713
是第i个平行多层分解区间二型直觉模糊卷积神经网络的输出，i＝1,…,D；
Figure BDA00025763006500001714
和
Figure BDA00025763006500001715
分别表示从1到D进行
Figure BDA00025763006500001716
和
Figure BDA00025763006500001717
运算。采用分批梯度下降方法调整直觉模糊决策器的前件参数，最小二乘法估计它的后件参数。整个过程如下。
步骤S104B.1随机产生直觉模糊决策器的前件参数隶属函数和非隶属函数的中心cij、宽度σij、尺度系数rij，采用分批梯度下降方法，调整前件参数
Figure BDA0002576300650000181
其中
Figure BDA0002576300650000182
表示梯度向量，
Figure BDA0002576300650000183
是输出误差函数，Nb表示每批数据数目。
步骤S104B.2采用步骤S104B.1调整后的参数计算模糊规则隶属函数和非隶属函数激活力分别为
Figure BDA0002576300650000184
和
Figure BDA0002576300650000185
进行归一化得
Figure BDA0002576300650000186
和
Figure BDA0002576300650000187
对于一批数据可得矩阵F′和G′
Figure BDA0002576300650000188
根据公式(22)可得Φ＝[αF′|(1-α)G′]，对于模糊规则隶属函数部分后件参数W＝[w1 … wM]T和非隶属函数部分后件参数V＝[v1 … vM]T，可得参数向量Θ＝[W V]，根据公式(20)可得ΦΘ＝ESe，因为Φ是Nb×2M矩阵，ESe是Nb×1输出标签向量，采用广义逆可得后件参数向量Θ＝Φ+ESe。
在上述实施例的基础上，如图8所示，本申请还公开一种视网膜图像平行处理装置，包括：
图像增强模块201，用于采用混沌供需算法优化目标函数，对真实视网膜图像进行增强；
虚拟视网膜图像生成模块202，用于基于混合图像生成方法合成虚拟视网膜图像；
模型构建模块203，用于基于虚拟视网膜图像及增强后的真实视网膜图像，构建平行多层分解区间二型直觉模糊卷积神经网络模型；
集成模块204，用于将多个平行多层分解区间二型直觉模糊卷积神经网络模型的输出进行集成，作为最终分类结果。
进一步地，所述图像增强模块201包括：
函数变换子模块，用于对输入原始真实视网膜图像进行函数变换M，进而得到输出增强图像，即
EI(i，j)＝M(I(i，j)|θ) (1)
其中，I(i,j)表示输入视网膜图像局部，EI(i,j)表示对应的增强的视网膜图像局部，i,j＝1,2,…,n；θ＝(r,β,ρ,σ)是函数的待定参数；
Figure BDA0002576300650000191
Figure BDA0002576300650000192
表示图像增强函数，
Figure BDA0002576300650000193
表示图像局部像素平均，
Figure BDA0002576300650000194
表示图像局部像素均方差，P(p,q)表示像素，n表示图像局部像素数目，P表示全体像素的均值；
参数确定子模块，用于根据图像增强要达到的要求设定相应的目标函数J(θ)，采用混沌供需优化算法得到目标函数最优时的参数值，从而得到合理的图像增强变换函数，进而得到符合要求的增强视网膜图像：
J(θ)＝npe(EI(θ))×log(log(EI(θ)))×entropy(EI(θ)) (2)
其中J(θ)表示目标函数；npe(EI(θ))表示图像边缘像素数目，log(log(EI(θ)))表示图像边缘密度的Sobel算子，
Figure BDA0002576300650000195
其中pt表示增强图像第t亮度级概率；
所述混沌供需优化算法包括：
初始化市场种群：
种群的数目是Np，种群中产品价格向量pi和产品数量向量qi的维度是dim(θ)＝4，根据参数向量θ＝(r,β,ρ,σ)中每一维参数的搜索范围确定pi和qi的取值空间
Figure BDA0002576300650000196
对于pij和qij分别取单位区间内均匀分布的随机数，得到初始单位产品价格种群pi(0)和数量种群qi(0)；
然后采用pij(0)和qij(0)分别作为初值迭代计算二维Ikeda映射；经过混沌迭代，得到候选初始产品价格种群pi和数量种群qi，1≤i≤NpNT，NT表示迭代次数；
然后对每一维pij和qij进行线性变换，得到候选初始产品价格
Figure BDA0002576300650000201
和数量
Figure BDA0002576300650000202
根据公式(2)分别计算种群中每个产品价格和数量的目标函数值
Figure BDA0002576300650000203
和
Figure BDA0002576300650000204
分别进行归一化，然后两者分别与服从均匀分布的随机数比较大小，从中选取Np个产品价格和数量分别组成初始产品价格和数量种群；
确定参数值，计算初始最优产品：
比较初始种群中产品价格和数量的目标函数值的大小，如果满足
Figure BDA0002576300650000205
则
Figure BDA0002576300650000206
被
Figure BDA0002576300650000207
代替；目标函数值最大的产品价格
Figure BDA0002576300650000208
当迭代次数t≤Ter时，Ter表示最大迭代数目，执行以下迭代过程：
计算种群产品数量目标函数的绝对方差，归一化后根据轮盘赌方法选择产品数量
Figure BDA0002576300650000209
作为平衡点
Figure BDA00025763006500002010
对于产品价格平衡点的确定分为两个阶段：1、当迭代次数t≤Ter/2时，首先计算种群产品价格目标函数的绝对方差，再归一化，最后根据轮盘赌原理选择产品价格
Figure BDA00025763006500002011
作为平衡点
Figure BDA00025763006500002012
2、当迭代次数t>Ter/2时，采用种群产品价格的平均作为平衡点；
比较目标函数值，若
Figure BDA00025763006500002013
则
Figure BDA00025763006500002014
被
Figure BDA00025763006500002015
代替，
Figure BDA00025763006500002016
如果
Figure BDA00025763006500002017
则
Figure BDA00025763006500002018
否则
Figure BDA00025763006500002019
保持不变；如果连续迭代十次，
Figure BDA00025763006500002020
均保持不变，而迭代仍未到达Ter，则采用logistic混沌映射进行扰动；
当迭代结束时，输出最优解
Figure BDA00025763006500002021
则增强图像
Figure BDA00025763006500002022
即为所求增强视网膜图像。
进一步地，所述虚拟视网膜图像生成模块202包括：
几何变换子模块，用于对实际采集的视网膜图像采用几何变换方法初步生成虚拟视网膜图像：
输入真实视网膜图像RImi，几何变换算子Tg分别作用于真实图像，得到虚拟视网膜图像SImj，i＝1,2,…,n，j＝1,2,…,m
SImj＝Tg(RImi) (7)
其中Tg可以是翻转、裁剪、旋转、平移几何变换算子中的单一或复合算子；
虚拟视网膜图像生成子模块，用于根据初步生成的虚拟视网膜图像和真实视网膜图像采用生成对抗网络生成新的虚拟视网膜图像；其中生成对抗网络的判别器由分解模糊宽度卷积神经网络构成，生成器由多个区间二型模糊卷积神经网络和/或多层区间二型模糊神经网络构成；
采用不同的目标函数作为训练目标，训练生成器，得到多个虚拟视网膜图像，采用以下标准从中选取最终生成的虚拟图像：
||μr-μg||p+tr(Cr+Cg-2(CrCg)1/2) (11)
其中μr和μg，Cr和Cg分别表示输入真实视网膜图像样本的概率分布pdata和生成器合成的虚拟视网膜图像样本的概率分布pg的样本均值向量、协方差矩阵；||·||p表示p向量范数，tr(·)表示矩阵的迹；
当生成的虚拟视网膜图像使得公式(11)达到最小时，即为选定的虚拟视网膜图像。
进一步地，所述模型构建模块203包括：
模型构建子模块，用于构建平行多层分解区间二型直觉模糊卷积神经网络；
模型训练子模块，用于将虚拟视网膜图像及增强后的真实视网膜图像分别输入平行多层分解区间二型直觉模糊卷积神经网络，分别进行特征提取并进行特征共享，基于共享的特征进行卷积计算，进一步提取相关特征，基于相关特征得到最终输出，所述最终输出为类别号或属于某类别的概率，按照上述过程进行网络训练，得到平行多层分解区间二型直觉模糊卷积神经网络模型。
进一步地，所述集成模块204包括：
决策器训练数据集构建子模块，用于构建决策器训练数据集
Figure BDA0002576300650000211
其中
Figure BDA0002576300650000212
是个体决策器最终输出，
Figure BDA0002576300650000213
wr和wv分别表示虚实两端权值，
Figure BDA0002576300650000214
和
Figure BDA0002576300650000215
分别表示个体决策器的虚实两端对应的类别号或属于某类别的概率，k＝1，...，Ne，Ne是决策器训练数据集样本数目，
Figure BDA0002576300650000216
Figure BDA0002576300650000217
是第i个平行多层分解区间二型直觉模糊卷积神经网络的输出，i＝1,…,D；
Figure BDA0002576300650000218
是输出标签；
直觉模糊决策器构建子模块，用于通过构建的决策器训练数据集训练基于混合参数优化的直觉模糊决策器：
Figure BDA0002576300650000219
Figure BDA0002576300650000221
其中α∈(0,1)，Yse k是决策器最终输出，
Figure BDA0002576300650000222
是第i个平行多层分解区间二型直觉模糊卷积神经网络的输出，i＝1,…,D；wj和vj是直觉模糊规则后件；
Figure BDA0002576300650000223
和
Figure BDA0002576300650000224
分别表示三角范数和反三角范数；j＝1,2,…,M，M是模糊规则数目；
Figure BDA0002576300650000225
和
Figure BDA0002576300650000226
分别表示从1到D进行
Figure BDA0002576300650000227
和
Figure BDA0002576300650000228
运算；
采用分批梯度下降方法调整直觉模糊决策器的前件参数，最小二乘法估计直觉模糊决策器的后件参数；整个过程如下：
随机产生直觉模糊决策器的前件隶属函数和非隶属函数的中心cij、宽度σij、尺度系数rij，采用分批梯度下降方法，调整前件参数
Figure BDA0002576300650000229
其中
Figure BDA00025763006500002210
表示梯度向量，
Figure BDA00025763006500002211
是输出误差函数；Nb表示每批数据数目；
采用式(21)调整后的前件参数计算模糊规则隶属函数和非隶属函数激活力分别为
Figure BDA00025763006500002212
和
Figure BDA00025763006500002213
进行归一化得
Figure BDA00025763006500002214
和
Figure BDA00025763006500002215
Figure BDA00025763006500002216
对于一批数据可得矩阵F′和G′
Figure BDA00025763006500002217
根据公式(22)可得F′和G′合成的矩阵Φ＝[αF′|(1-α)G′]，对于模糊规则隶属函数部分后件参数W＝[w1 … wM]T和非隶属函数部分后件参数V＝[v1 ... vM]T，可得参数向量Θ＝[W V]，根据公式(20)可得ΦΘ＝ESe，因为Φ是Nb×2M矩阵，ESe是Nb×1输出标签向量，采用广义逆可得后件参数向量Θ＝Φ+ESe。
以上所示仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种视网膜图像平行处理方法，其特征在于，包括：
步骤1：采用混沌供需算法优化目标函数，对真实视网膜图像进行增强；
步骤2：基于混合图像生成方法合成虚拟视网膜图像；
步骤3：基于虚拟视网膜图像及增强后的真实视网膜图像，构建平行多层分解区间二型直觉模糊卷积神经网络模型；
步骤4：将多个平行多层分解区间二型直觉模糊卷积神经网络模型的输出进行集成，作为最终分类结果。
2.根据权利要求1所述的一种视网膜图像平行处理方法，其特征在于，所述步骤1包括：
步骤1.1：对输入原始真实视网膜图像进行函数变换M，进而得到输出增强图像，即
EI(i，j)＝M(I(i，j)|θ) (1)
其中，I(i，j)表示输入视网膜图像局部，EI(i，j)表示对应的增强的视网膜图像局部，i，j＝1，2，...，n；θ＝(r，β，ρ，σ)是函数的待定参数；
Figure FDA0002576300640000011
Figure FDA0002576300640000012
表示图像增强函数，
Figure FDA0002576300640000013
表示图像局部像素平均，
Figure FDA0002576300640000014
表示图像局部像素均方差，P(p，q)表示像素，n表示图像局部像素数目，P表示全体像素的均值；
步骤1.2：根据图像增强要达到的要求设定相应的目标函数J(θ)，采用混沌供需优化算法得到目标函数最优时的参数值，从而得到合理的图像增强变换函数，进而得到符合要求的增强视网膜图像：
J(θ)＝npe(EI(θ))×log(log(EI(θ)))×entropy(EI(θ)) (2)
其中J(θ)表示目标函数；npe(EI(θ))表示图像边缘像素数目，log(log(EI(θ)))表示图像边缘密度的Sobel算子，
Figure FDA0002576300640000015
其中pt表示增强图像第t亮度级概率；
所述混沌供需优化算法包括：
步骤1.2.1：初始化市场种群：
种群的数目是Np，种群中产品价格向量pi和产品数量向量qi的维度是dim(θ)＝4，根据参数向量θ＝(r，β，ρ，σ)中每一维参数的搜索范围确定pi和qi的取值空间
Figure FDA0002576300640000021
对于pij和qij分别取单位区间内均匀分布的随机数，得到初始单位产品价格种群pi(0)和数量种群qi(0)；
然后采用pij(0)和qij(0)分别作为初值迭代计算二维Ikeda映射；经过混沌迭代，得到候选初始产品价格种群pi和数量种群qi，1≤i≤NpNT，NT表示迭代次数；
然后对每一维pij和qij进行线性变换，得到候选初始产品价格
Figure FDA0002576300640000022
和数量
Figure FDA0002576300640000023
根据公式(2)分别计算种群中每个产品价格和数量的目标函数值
Figure FDA0002576300640000024
和
Figure FDA0002576300640000025
分别进行归一化，然后两者分别与服从均匀分布的随机数比较大小，从中选取Np个产品价格和数量分别组成初始产品价格和数量种群；
步骤1.2.2：确定参数值，计算初始最优产品：
比较初始种群中产品价格和数量的目标函数值的大小，如果满足
Figure FDA0002576300640000026
则
Figure FDA0002576300640000027
被
Figure FDA0002576300640000028
代替；目标函数值最大的产品价格
Figure FDA0002576300640000029
步骤1.2.3：当迭代次数t≤Ter时，Ter表示最大迭代数目，执行以下迭代过程：
计算种群产品数量目标函数的绝对方差，归一化后根据轮盘赌方法选择产品数量
Figure FDA00025763006400000210
作为平衡点
Figure FDA00025763006400000211
对于产品价格平衡点的确定分为两个阶段：1、当迭代次数t≤Ter/2时，首先计算种群产品价格目标函数的绝对方差，再归一化，最后根据轮盘赌原理选择产品价格
Figure FDA00025763006400000212
作为平衡点
Figure FDA00025763006400000213
2、当迭代次数t＞Ter/2时，采用种群产品价格的平均作为平衡点；
比较目标函数值，若
Figure FDA00025763006400000214
则
Figure FDA00025763006400000215
被
Figure FDA00025763006400000216
代替，
Figure FDA00025763006400000217
如果
Figure FDA00025763006400000218
则
Figure FDA00025763006400000219
否则
Figure FDA00025763006400000220
保持不变；如果连续迭代十次，
Figure FDA00025763006400000221
均保持不变，而迭代仍未到达Ter，则采用logistic混沌映射进行扰动；
步骤1.2.4：当迭代结束时，输出最优解
Figure FDA00025763006400000222
则增强图像
Figure FDA00025763006400000223
即为所求增强视网膜图像。
3.根据权利要求1所述的一种视网膜图像平行处理方法，其特征在于，所述步骤2包括：
步骤2.1：对实际采集的视网膜图像采用几何变换方法初步生成虚拟视网膜图像：
输入真实视网膜图像RImi，几何变换算子Tg分别作用于真实图像，得到虚拟视网膜图像SImj，i＝1，2，...，n，j＝1，2，...，m
SImj＝Tg(RImi) (7)
其中Tg可以是翻转、裁剪、旋转、平移几何变换算子中的单一或复合算子；
步骤2.2：根据初步生成的虚拟视网膜图像和真实视网膜图像采用生成对抗网络生成新的虚拟视网膜图像；其中生成对抗网络的判别器由分解模糊宽度卷积神经网络构成，生成器由多个区间二型模糊卷积神经网络和/或多层区间二型模糊神经网络构成；
采用不同的目标函数作为训练目标，训练生成器，得到多个虚拟视网膜图像，采用以下标准从中选取最终生成的虚拟图像：
||μr-μg||p+tr(Cr+Cg-2(CrCg)1/2) (11)
其中，μr和μg，Cr和Cg分别表示输入真实视网膜图像样本的概率分布pdata和生成器合成的虚拟视网膜图像样本的概率分布pg的样本均值向量、协方差矩阵；||·||p表示p向量范数，tr(·)表示矩阵的迹；
当生成的虚拟视网膜图像使得公式(11)达到最小时，即为选定的虚拟视网膜图像。
4.根据权利要求1所述的一种视网膜图像平行处理方法，其特征在于，所述步骤3包括：
步骤3.1：构建平行多层分解区间二型直觉模糊卷积神经网络；
步骤3.2：将虚拟视网膜图像及增强后的真实视网膜图像分别输入平行多层分解区间二型直觉模糊卷积神经网络，分别进行特征提取并进行特征共享，基于共享的特征进行卷积计算，进一步提取相关特征，基于相关特征得到最终输出，所述最终输出为类别号或属于某类别的概率，按照上述过程进行网络计算，得到平行多层分解区间二型直觉模糊卷积神经网络输出。
5.根据权利要求1所述的一种视网膜图像平行处理方法，其特征在于，所述步骤4包括：
步骤4.1：构建决策器训练数据集
Figure FDA0002576300640000041
其中
Figure FDA0002576300640000042
是个体决策器输出，
Figure FDA0002576300640000043
wr和wv分别表示虚实两端权值，
Figure FDA0002576300640000044
和
Figure FDA0002576300640000045
分别表示个体决策器的虚实两端对应的类别号或属于某类别的概率，k＝1，...，Ne，Ne是决策器训练数据集样本数目，
Figure FDA0002576300640000046
Figure FDA0002576300640000047
是第i个平行多层分解区间二型直觉模糊卷积神经网络的输出，i＝1，...，D；
Figure FDA0002576300640000048
是输出标签；
步骤4.2：通过构建的决策器训练数据集训练基于混合参数优化的直觉模糊决策器：
Figure FDA0002576300640000049
其中α∈(0，1)，Yse k是决策器最终输出，
Figure FDA00025763006400000410
是第i个平行多层分解区间二型直觉模糊卷积神经网络的输出，i＝1，...，D；wj和vj是直觉模糊规则后件；
Figure FDA00025763006400000411
和
Figure FDA00025763006400000412
分别表示三角范数和反三角范数；j＝1，2，...，M，M是模糊规则数目；
Figure FDA00025763006400000413
和
Figure FDA00025763006400000414
分别表示从1到D进行
Figure FDA00025763006400000415
和
Figure FDA00025763006400000416
运算；
采用分批梯度下降方法调整直觉模糊决策器的前件参数，最小二乘法估计直觉模糊决策器的后件参数；整个过程如下：
步骤4.2.1：随机产生直觉模糊决策器的前件隶属函数和非隶属函数的中心cij、宽度σij、尺度系数rij，采用分批梯度下降方法，调整前件参数
Figure FDA00025763006400000417
其中
Figure FDA00025763006400000418
表示梯度向量，
Figure FDA00025763006400000419
是输出误差函数；Nb表示每批数据数目；
步骤4.2.2：采用步骤4.2.1调整后的前件参数计算模糊规则隶属函数和非隶属函数激活力分别为
Figure FDA00025763006400000420
和
Figure FDA00025763006400000421
进行归一化得
Figure FDA00025763006400000422
和
Figure FDA00025763006400000423
对于一批数据可得矩阵F′和G′
Figure FDA0002576300640000051
根据公式(22)可得F′和G′合成的矩阵Φ＝[αF′|(1-α)G′]，对于模糊规则隶属函数部分后件参数W＝[w1…wM]T和非隶属函数部分后件参数V＝[v1…vM]T，可得参数向量Θ＝[WV]，根据公式(20)可得ΦΘ＝ESe，因为Φ是Nb×2M矩阵，ESe是Nb×1输出标签向量，采用广义逆可得后件参数向量Θ＝Φ+ESe。
6.基于权利要求1-5任一所述的一种视网膜图像平行处理方法的一种视网膜图像平行处理装置，其特征在于，包括：
图像增强模块，用于采用混沌供需算法优化目标函数，对真实视网膜图像进行增强；
虚拟视网膜图像生成模块，用于基于混合图像生成方法合成虚拟视网膜图像；
模型构建模块，用于基于虚拟视网膜图像及增强后的真实视网膜图像，构建平行多层分解区间二型直觉模糊卷积神经网络模型；
集成模块，用于将多个平行多层分解区间二型直觉模糊卷积神经网络模型的输出进行集成，作为最终分类结果。
CN202010654695.0A 2020-07-09 2020-07-09 一种视网膜图像平行处理方法及装置 Pending CN111931816A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010654695.0A CN111931816A (zh) 2020-07-09 2020-07-09 一种视网膜图像平行处理方法及装置
US17/228,747 US11875488B2 (en) 2020-07-09 2021-04-13 Method and device for parallel processing of retinal images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010654695.0A CN111931816A (zh) 2020-07-09 2020-07-09 一种视网膜图像平行处理方法及装置

Publications (1)

Publication Number Publication Date
CN111931816A true CN111931816A (zh) 2020-11-13

Family

ID=73312652

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010654695.0A Pending CN111931816A (zh) 2020-07-09 2020-07-09 一种视网膜图像平行处理方法及装置

Country Status (2)

Country Link
US (1) US11875488B2 (zh)
CN (1) CN111931816A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112367130A (zh) * 2020-11-20 2021-02-12 河南工业大学 一种无线网络信号传输强度计算方法及计算机存储介质
CN114004360A (zh) * 2021-12-30 2022-02-01 北京壬工智能科技有限公司 基于模糊专家模型的智能装备诊断设备和方法
CN114359104A (zh) * 2022-01-10 2022-04-15 北京理工大学 一种基于分级生成的白内障眼底图像增强方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11900534B2 (en) * 2021-07-30 2024-02-13 The Boeing Company Systems and methods for synthetic image generation
CN114494196B (zh) * 2022-01-26 2023-11-17 南通大学 基于遗传模糊树的视网膜糖尿病变深度网络检测方法
CN115147401B (zh) * 2022-08-02 2023-05-05 中国水利水电科学研究院 一种基于数字图像处理的土石坝坝料合格性智能检测方法
CO2022011610A1 (es) * 2022-08-17 2024-02-26 Univ Simon Bolivar Método implementado por aprendizaje de máquina para la detección de vasos sanguíneos a través de clustering de píxeles
CN116452865B (zh) * 2023-04-03 2023-11-07 南通大学 基于模糊逻辑的跳跃式注意力肺部病理图像分类方法
CN116934768B (zh) * 2023-08-16 2024-05-10 中国人民解放军总医院 用于提高cta影像模态中血管分割精度的方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112367130A (zh) * 2020-11-20 2021-02-12 河南工业大学 一种无线网络信号传输强度计算方法及计算机存储介质
CN112367130B (zh) * 2020-11-20 2023-04-07 河南工业大学 一种无线网络信号传输强度计算方法及计算机存储介质
CN114004360A (zh) * 2021-12-30 2022-02-01 北京壬工智能科技有限公司 基于模糊专家模型的智能装备诊断设备和方法
CN114004360B (zh) * 2021-12-30 2022-04-01 北京壬工智能科技有限公司 基于模糊专家模型的智能装备诊断设备和方法
CN114359104A (zh) * 2022-01-10 2022-04-15 北京理工大学 一种基于分级生成的白内障眼底图像增强方法

Also Published As

Publication number Publication date
US11875488B2 (en) 2024-01-16
US20220012859A1 (en) 2022-01-13

Similar Documents

Publication Publication Date Title
CN111931816A (zh) 一种视网膜图像平行处理方法及装置
CN111368896B (zh) 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法
Chouhan et al. Image segmentation using computational intelligence techniques
CN110046671A (zh) 一种基于胶囊网络的文本分类方法
Wang et al. Adaptive pruning of transfer learned deep convolutional neural network for classification of cervical pap smear images
CN111368926A (zh) 图像筛选方法、装置和计算机可读存储介质
Wu et al. Cost-sensitive latent space learning for imbalanced PolSAR image classification
CN110349170A (zh) 一种全连接crf级联fcn和k均值脑肿瘤分割算法
Zhang et al. Complex image recognition algorithm based on immune random forest model
CN110111300B (zh) 一种图像变化检测方法
Chang et al. Intelligent fault diagnosis scheme via multi-module supervised-learning network with essential features capture-regulation strategy
Kamsu-Foguem et al. Generative Adversarial Networks based on optimal transport: a survey
Ouadiay et al. Simultaneous object detection and localization using convolutional neural networks
Atkale et al. Multi-scale feature fusion model followed by residual network for generation of face aging and de-aging
Jiang et al. A massive multi-modal perception data classification method using deep learning based on internet of things
Lee et al. Learning non-homogenous textures and the unlearning problem with application to drusen detection in retinal images
Chen et al. DGCNN network architecture with densely connected point pairs in multiscale local regions for ALS point cloud classification
Zhang et al. SVM methods in image segmentation
Askari et al. Quantitative evaluation of image segmentation algorithms based on fuzzy convolutional neural network
CN113409351B (zh) 基于最优传输的无监督领域自适应遥感图像分割方法
CN115810109A (zh) 一种舌像特征提取方法、系统和存储介质
Sivabalaselvamani et al. Skin Melanoma Detection Using Image Augmentation
CN114529063A (zh) 一种基于机器学习的金融领域数据预测方法、设备及介质
CN114386494A (zh) 基于可扩展本体的产品全生命周期质量追溯方法和装置
Warkar et al. A survey on multiclass image classification based on inception-v3 transfer learning model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination