CN116433644B - 一种基于识别模型的眼部图像动态诊断方法 - Google Patents
一种基于识别模型的眼部图像动态诊断方法 Download PDFInfo
- Publication number
- CN116433644B CN116433644B CN202310435853.7A CN202310435853A CN116433644B CN 116433644 B CN116433644 B CN 116433644B CN 202310435853 A CN202310435853 A CN 202310435853A CN 116433644 B CN116433644 B CN 116433644B
- Authority
- CN
- China
- Prior art keywords
- disease
- image
- sample
- diagnosis
- strategy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 46
- 201000010099 disease Diseases 0.000 claims abstract description 150
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 150
- 238000012549 training Methods 0.000 claims abstract description 28
- 238000004364 calculation method Methods 0.000 claims description 39
- 238000012360 testing method Methods 0.000 claims description 21
- 238000011176 pooling Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 9
- 230000003321 amplification Effects 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 7
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 6
- 239000003550 marker Substances 0.000 claims description 5
- 238000012546 transfer Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 6
- 238000000605 extraction Methods 0.000 abstract description 6
- 230000000875 corresponding effect Effects 0.000 description 39
- 210000001508 eye Anatomy 0.000 description 37
- 208000030533 eye disease Diseases 0.000 description 19
- 210000005252 bulbus oculi Anatomy 0.000 description 11
- 230000008569 process Effects 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 206010012601 diabetes mellitus Diseases 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 208000002177 Cataract Diseases 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 208000010412 Glaucoma Diseases 0.000 description 4
- 206010020772 Hypertension Diseases 0.000 description 4
- 206010064930 age-related macular degeneration Diseases 0.000 description 4
- 208000002780 macular degeneration Diseases 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 208000001309 degenerative myopia Diseases 0.000 description 3
- 230000004340 degenerative myopia Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 206010025421 Macule Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000001631 hypertensive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Multimedia (AREA)
- Pathology (AREA)
- Quality & Reliability (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于识别模型的眼部图像动态诊断方法，其特征在于：包括模型训练策略、特征识别策略、疾病诊断策略；通过样本集训练识别模型，使识别模型的对人眼图像的检测结果趋向于实际病例诊断结果，这样使得识别模型可以随着样本的增加而提高其对疾病的辨识精度，另一方面，通过点卷积的方式减少图像识别时的计算量，同时通过动态感受野实现关键特征提取，在保证识别效率的同时，不容易忽略细节的特征要素。
Description
技术领域
本发明涉及图像识别技术，更具体地说，涉及一种基于识别模型的眼部图像动态诊断方法。
背景技术
现阶段，中国正在逐步不如老龄化国家阶段，常见的老年疾病例如糖尿病、白内障、皮肤黄斑、高血压等诊断过程大多采用抽血、理化检测等技术手段，该类方法具有检测成本高、耗时长、测试环境故要求高等缺点。早期眼病检测是预防由糖尿病，青光眼，白内障，年龄相关性黄斑变性和许多其他疾病引起的失明的经济有效方法。目前，基于人工智能的诊断方法已经被逐渐应用于图像识别、目标检测、自然语言处理、故障诊断等各个领域。在医学图像诊断的应用方面，基于深度学习的诊断方法已经被广泛应用，并取得了良好的诊断效果。然而，该方法的限制条件较多。首先，深度学习方法包含大量的可训练参数，这需要大量的图像样本对网络进行训练；然后，经典的卷积计算方法对图像的特征提取能力有限，表征疾病信息的关键特征不能有效获取，或需要大量的样本库学习才可获得有效特征。最后，在网络训练过程中，获取关键特征的途径多采用平均池化和最大池化的方法，未充分考虑图像的细节信息。
发明内容
有鉴于此，本发明目的是提供一种基于识别模型的眼部图像动态诊断方法。
为了解决上述技术问题，本发明的技术方案是：一种基于识别模型的眼部图像动态诊断方法，包括模型训练策略、特征识别策略、疾病诊断策略；
所述模型训练策略用于训练所述识别模型，所述模型训练策略包括
步骤A1、获取疾病样本集，所述疾病样本集包括样本图像以及对应的疾病信息，将所述疾病样本集筛选训练子集；
步骤A2、通过特征识别策略处理所述训练子集的样本图像以获得样本图像对应的疾病特征；
步骤A3、根据疾病特征和对应的疾病信息关联，并根据疾病特征和对应疾病信息的关联关系配置对应的关联参数以生成识别模型；
所述疾病诊断策略包括
步骤B1、获取目标图像；
步骤B2、通过特征识别策略处理所述目标图像以获得目标图像对应的疾病特征；
步骤B3、将获得的疾病特征带入识别模型以计算每一疾病对应的特征关联值；
步骤B4、根据每一疾病的特征关联值输出对应目标图像的诊断结果；
所述特征识别策略包括
步骤C1、处理目标图像以使图像大小统一为第一预设尺寸；
步骤C2、利用点卷积计算对目标图像进行通道拓展；
步骤C3、通过动态感受野确定目标图像中的获取关键特征；
步骤C4、通过全卷积算法将关键特征映射至标记空间以生成所述疾病特征。
进一步的：所述步骤C3中，所述动态感受野包括一次感受野和二次感受野；
所述步骤C3包括
步骤C3-1，通过一次感受野获取目标图像中的关键特征；
步骤C3-2，对步骤C3-1获得的图像进行池化操作处理；
步骤C3-3，通过二次感受野获取步骤C3-2中获得的图像中的关键特征；
步骤C3-4，对步骤C3-3获得的图像进行池化操作处理。
进一步的：所述步骤C3中，配置注意力竞争算法用于生成特征矩阵，通过所述特征矩阵表示所述关键特征；
所述注意力竞争算法为X”＝s1cU1+s2cU2+…sncUn，其中，Un为第n个感受野对应的深度可分离卷积计算结果，n为感受野的数量，snc是sn的第c个元素，其中，Snc是Sn的第c行，/>R为注意力权重。
进一步的：所述步骤C3中，配置多维注意算法计算注意力权重，所述多维注意算法为R＝r(Rhc+Rec)，r为注意力关联权值；
有以及/>，δ为Sigmoid传递函数去映射通道注意力机制的计算结果，k为调参预设值，Rhc为熵注意算法中熵注意值和Rec为能量注意算法中能量注意值；i和j分别代表图像分别在长和宽方向的像素位置，P为基于灰度度量计算的灰度共生矩阵。
进一步的：所述注意力关联权值的初始值设置为1，所述步骤C3中配置动态权值算法，所述动态权值算法根据关键特征的匹配结果更新所述注意力关联权值，r＝[(χ1d1-φt1)+(χ2d2-φt2)…+(χmdm-φtm)]r，其中χm为第m个匹配的疾病特征的关联参数，m为匹配相关度超过预设的匹配阈值的疾病特征的数量，dm为第m个匹配的疾病特征的匹配相关度，φ为预设的衰减因子，tm为第m个匹配的疾病特征的匹配时距。
进一步的：所述的感受野设置为3个，感受野大小分别为1×1、3×3、5×5。
进一步的：还包括样本扩增策略，所述样本扩增策略用于扩增疾病样本集；
所述样本扩增策略包括
步骤E1、计算不同疾病的样本相关性，若样本相关性大于预设的第一相关值，则进入步骤E2-1,若样本相关性小于预设的第一相关值，则进入步骤E2-2；
步骤E2-1，将对应的两个样本图像进行预设比例的整列或整行互换样本图像以形成新的样本图像；
步骤E2-2，将该样本图像拆分为左眼图像和右眼图像，并根据预设的比例整列或整行替换左眼图像和右眼图像以形成新的样本图像。
进一步的：配置相关匹配算法用于计算样本相关性，T＝α1Ws+α2(Gx-Gsa)+α3Lp，其中T为样本相关性，Ws为外部相关度，所述外部相关度反映疾病类型在外部数据库中的相关度，Gx为不同疾病类型的样本图像的实际相似度值，Gsa为预设的基准相似度值，Lp为并发两种不同类型疾病的患者数量，α1为预设的外部权重，α2为预设的相似权重，α3为预设的并发权重，α1+α2+α3＝1。
进一步的：还包括测试修正策略，所述测试修正策略包括
步骤D1、从疾病样本集中筛选测试子集；
步骤D2、将测试子集的样本图像作为目标图像带入疾病诊断策略以获得诊断结果；
步骤D3、将诊断结果和对应的疾病信息比对以获得诊断偏差值；
步骤D4、根据诊断偏差值修正所述识别模型中的关联参数。
进一步的：所述步骤B3中配置比对识别子策略，所述比对识别子策略根据每一识别的疾病特征计算特征相似度，并根据得到的特征相似度调取对应的识别权重，并根据识别权重加权对应的关联参数以得到特征关联值；
所述步骤B4中，根据特征关联值大小生成对应疾病的诊断情况以生成所述诊断结果。
本发明技术效果主要体现在以下方面：通过样本集训练识别模型，使识别模型的对人眼图像的检测结果趋向于实际病例诊断结果，这样使得识别模型可以随着样本的增加而提高其对疾病的辨识精度，另一方面，通过点卷积的方式减少图像识别时的计算量，同时通过动态感受野实现关键特征提取，在保证识别效率的同时，不容易忽略细节的特征要素。
附图说明
图1：本发明一种基于识别模型的眼部图像动态诊断方法工作逻辑原理图；
图2：本发明一种基于识别模型的眼部图像动态诊断方法步骤C3中自适应竞争模块原理图；
图3A：本发明样本图像实例中正常眼球图像；
图3B：本发明样本图像实例中糖尿病眼球图像；
图3C：本发明样本图像实例中青光眼眼球图像；
图3D：本发明样本图像实例中白内障眼球图像；
图3E：本发明样本图像实例中年龄相关性黄斑变性眼球图像；
图3F：本发明样本图像实例中高血压眼球图像；
图3G：本发明样本图像实例中病理性近视眼球图像；
图3H：本发明样本图像实例中其他疾病/异常眼球图像；
图4：本发明一种基于识别模型的眼部图像动态诊断方法步骤E1中相关图分析图；
图5：迭代次数与准确率关系波形图；
图6：迭代次数与损失值关系波形图。
具体实施方式
以下结合附图，对本发明的具体实施方式作进一步详述，以使本发明技术方案更易于理解和掌握。
参照图1所示，一种基于识别模型的眼部图像动态诊断方法，包括模型训练策略、特征识别策略、疾病诊断策略；
所述模型训练策略用于训练所述识别模型，所述模型训练策略包括
步骤A1、获取疾病样本集，所述疾病样本集包括样本图像以及对应的疾病信息，将所述疾病样本集筛选训练子集；样本图像是通过采集医院病患的图像眼部图像获得的，而疾病信息可以包括两个大的方面，一个是基本信息，例如用户的年龄、性别、体重等信息，另一方面是用户的患病情况的信息，例如普通(N)、糖尿病(D)、青光眼(G)、白内障(C)、与年龄有关的黄斑变性(A)、高血压(H)、病理性近视(M)，其他疾病/异常(O)，例如一个结构化的眼科数据库，其中包含5000名年龄，左眼和右眼的彩色眼底照片以及医生的诊断关键词的患者。该数据集旨在表示由上工医疗技术有限公司从中国不同医院/医疗中心收集的“真实”患者信息集。在这些机构中，眼底图像由市场上的各种相机(例如佳能，蔡司和Kowa)捕获，从而产生不同的图像分辨率。批注由经过培训的人类读者进行质量控制管理来标记。他们将患者分为八个标签，包括：普通(N)、糖尿病(D)、青光眼(G)、白内障(C)、与年龄有关的黄斑变性(A)、高血压(H)、病理性近视(M)，其他疾病/异常(O)。以左眼的眼部图像为例，图3(图3A-图3H)显示了八种眼部疾病图像,。通过对疾病类型进行分类，然后在每个类别下对疾病的病程或危重程度进行数值化标记，使得图像识别的诊断结果可以根据不同的危重情况分析其不同的表征特性，从而使疾病诊断的精细化更高，需要说明的是，如果采用传统的图像识别方式，采用全局最大池化核全局平均池化的方法进行有效特征的关注，这很显然忽略了图像的细节信息。而如果基于上述方式，对疾病向下的危重程度输入到样本，全局最大池化核明显无法对多种疾病的不同眼部细节进行精细化分析，所以本发明的其一贡献是对疾病的危重情况信息也能够通过本发明的方法进行识别，例如糖尿病(D)根据病程而言，可以分为前期，中期，后期，分别通过(D-A)、(D-B)、(D-C)表示，然后就可以根据每个病患病程对应的眼部图像的不同细节特征，从而进行病程的诊断的训练判断。
步骤A2、通过特征识别策略处理所述训练子集的样本图像以获得样本图像对应的疾病特征；特征识别策略的目的是在样本图像中识别出疾病特征，具体内容下文做出介绍，疾病特征是图像的特征点位置关系，图像纹路轨迹以及特征点的像素值等多方面组成，不同疾病对应的眼球纹理细节有所不同，通过疾病特征进行表征。
步骤A3、根据疾病特征和对应的疾病信息关联，并根据疾病特征和对应疾病信息的关联关系配置对应的关联参数以生成识别模型；由于在样本中，实际患者当时的疾病类型以及病程为已知量，所以就可以将疾病特征和这个疾病类型以及对应病程进行关联，就可以生成关联模型，而每个疾病特征对应每个疾病类型对应有关联参数，而如果相同或者相似的疾病特征对应同一疾病类型的数量越多，对应的关联参数也就越大，反映该疾病特征与疾病类型相关性也就越大，而在训练过程中，疾病特征的提取逻辑是较于经过大量训练的正常人眼图像，而正常人眼图像偏差越大的图像部分，就越容易被识别为疾病特征。而通过这种方式就可以完成对疾病特征的提取以及关联模型的构建。当初始关联模型构建完成时，需要通过测试修正策略的测试，才能够被认为对关联模型的构建完成。
本发明还包括测试修正策略，所述测试修正策略包括
步骤D1、从疾病样本集中筛选测试子集；测试子集和训练子集都是在疾病样本集中获取的。
步骤D2、将测试子集的样本图像作为目标图像带入疾病诊断策略以获得诊断结果；由于疾病诊断策略是基于关联模型构建的，所以通过疾病诊断策略就可以获得目前关联模型下的诊断结果。
步骤D3、将诊断结果和对应的疾病信息比对以获得诊断偏差值；基于准短结果可以与实际的病人的疾病信息进行比对，通过将比对结果进行量化可以获得诊断偏差值。
步骤D4、根据诊断偏差值修正所述识别模型中的关联参数。根据诊断结果而言，实际偏差为X1，那么这个疾病对应的每个特征的关联参数分别调整一定值，例如调整量为0.02*X1，这个值和偏差值的大小相关，以使诊断结果和实际疾病信息更加趋近。而测试修正策略中，连续的预设数量的样本的诊断偏差值小于第一偏差阈值时，判断为测试完成，但是此时就出现了一种情况，
但是由于本发明引入了测试修正策略，而测试修正策略也需要大量的测试样本，这样一来，样本的数量是在正常情况下是难以支持同时完成训练和测试的，所以本发明还包括样本扩增策略，所述样本扩增策略用于扩增疾病样本集；
所述样本扩增策略包括
步骤E1、计算不同疾病的样本相关性，若样本相关性大于预设的第一相关值，则进入步骤E2-1,若样本相关性小于预设的第一相关值，则进入步骤E2-2；例如配置有相关匹配算法用于计算样本相关性，有T＝α1Ws+α2(Gx-Gsa)+α3Lp，其中T为样本相关性，Ws为外部相关度，所述外部相关度反映疾病类型在外部数据库中的相关度，Gx为不同疾病类型的样本图像的实际相似度值，Gsa为预设的基准相似度值，Lp为并发两种不同类型疾病的患者数量，α1为预设的外部权重，α2为预设的相似权重，α3为预设的并发权重，有α1+α2+α3＝1。通过引入样本相关性，计算样本之间的相关度，样本相关性由以下几个数据表征，第一是通过外部数据库引入的相关度，例如外部文件对两种不同疾病的并发信息的记载，通过频次和对文件可靠性的分值预设，就可以获得外部相关度，而因为样本中存在不同的样本图像，若两个样本图像近似度较高，则说明两种疾病的相关度可能较高，所以通过图像比对算法可以比较两个不同疾病的相似度值，通过不同类型疾病图像近似度，反映疾病的相关程度，最后一方面，还可以通过病患信息中同时患两种不同疾病的患者的数量，这里的病患信息可以不局限为具有疾病图像的病患，仅仅是病患病史中出现两种疾病的病患就可以，这样就可以量化两种疾病的相关值。参照图4所示，在不考虑病程的情况下，相关性的计算结果实例为。
步骤E2-1，将对应的两个样本图像进行预设比例的整列或整行互换样本图像以形成新的样本图像；
步骤E2-2，将该样本图像拆分为左眼图像和右眼图像，并根据预设的比例整列或整行替换左眼图像和右眼图像以形成新的样本图像。
例如：首先计算眼部疾病之间的相关性，相关性在15％以上，则在识别出眼部疾病图片中眼球的基础上对眼球中的列像素、行像素分别用相关性高的疾病对应的图片中眼球的列、行按照10％比例随机整列和整行替代目标图像；相关性低于15％，则采用左眼疾病图像和右眼疾病图像对应眼球中列、行像素按照10％比例随机整列和整行替代右眼和左眼眼球目标图像的方式来进行数据扩增；以上两种联合方法可以解决眼部疾病图像样本数据不均衡问题。这样就可以对图像的样本数量进行扩增，提高了样本的丰富性，保证训练和测试得以有充分的数据源。
所述疾病诊断策略包括
步骤B1、获取目标图像；目标图像是通过图像获取镜头采集输入生成。
步骤B2、通过特征识别策略处理所述目标图像以获得目标图像对应的疾病特征；通过特征识别策略处理后，就可以得到对应的疾病特征。
步骤B3、将获得的疾病特征带入识别模型以计算每一疾病对应的特征关联值；所述步骤B3中配置有比对识别子策略，所述比对识别子策略根据每一识别的疾病特征计算特征相似度，并根据得到的特征相似度调取对应的识别权重，并根据识别权重加权对应的关联参数以得到特征关联值；通过特征相似度和关联参数的加权，计算特征关联值，这样就可以得到对应每一疾病的特征关联值，理论上，特征关联值越高，这个疾病诊断的患病概率也就也高，所以通过这种方式可以量化疾病和特征之间的相关性，从而通过图像分析出患者的患病情况。
步骤B4、根据每一疾病的特征关联值输出对应目标图像的诊断结果；具体的，所述步骤B4中，根据特征关联值大小生成对应疾病的诊断情况以生成所述诊断结果。
对于本发明另一个核心内容，所述特征识别策略包括
步骤C1、处理目标图像以使图像大小统一为第一预设尺寸；
步骤C2、利用点卷积计算对目标图像进行通道拓展；针对于眼部疾病图像数据集样本量小的特点，先采用点卷积实现通道扩展，再采用深度可分离卷积进行串并融合超轻计算和特征提取，在不降低眼部疾病图像诊断精度的前提下，可以极大程度上减少计算量和参数量，提升计算效率。
步骤C3、通过动态感受野确定目标图像中的获取关键特征；所述步骤C3中，所述动态感受野包括一次感受野和二次感受野；与人类视觉系统的信息自适应获取机制对应，提出多分支可竞争计算方法；
所述步骤C3包括
步骤C3-1，通过一次感受野获取目标图像中的关键特征；
步骤C3-2，对步骤C3-1获得的图像进行池化操作处理；
步骤C3-3，通过二次感受野获取步骤C3-2中获得的图像中的关键特征；
步骤C3-4，对步骤C3-3获得的图像进行池化操作处理。
参照图2所示，所述步骤C3中，配置有注意力竞争算法用于生成特征矩阵，通过所述特征矩阵表示所述关键特征；
所述注意力竞争算法为X”＝s1cU1+s2cU2+...sncUn，其中，Un为第n个感受野对应的深度可分离卷积计算结果，n为感受野的数量，snc是sn的第c个元素，有其中，Snc是Sn的第c行，有/>R为注意力权重。Sn待处理的图像空间，sn处理完成对应的图像空间。
所述步骤C3中，配置有多维注意算法计算注意力权重，所述多维注意算法为R＝r(Rhc+Rec)，r为注意力关联权值；
有以及/>
，δ为Sigmoid传递函数去映射通道注意力机制的计算结果，k为调参预设值，Rhc为熵注意算法中熵注意值和Rec为能量注意算法中能量注意值；i和j分别代表图像分别在长和宽方向的像素位置，P为基于灰度度量计算的灰度共生矩阵。熵注意计算方法充分考虑了图像信息的整体离散性和丰富性，能量注意计算方法充分考虑了图像信息的整体均匀性和平滑性。所述注意力关联权值的初始值设置为1，所述步骤C3中配置有动态权值算法，所述动态权值算法根据关键特征的匹配结果更新所述注意力关联权值，有r＝[(χ1d1-φt1)+(χ2d2-φt2)...+(χmdm-φtm)]r，其中χm为第m个匹配的疾病特征的关联参数，m为匹配相关度超过预设的匹配阈值的疾病特征的数量，dm为第m个匹配的疾病特征的匹配相关度，φ为预设的衰减因子，tm为第m个匹配的疾病特征的匹配时距，通过更新衰减函数计算注意力关联权值，通过上一识别极端的匹配程度计算下一区域的注意力程度，提高可靠性。所述的感受野设置为3个，感受野大小分别为1×1、3×3、5×5。它与人类视觉系统的信息感知机制相同，针对不同的图像信息，可以自适应的调节感受野的大小去获取眼部疾病图像的深层信息。结合眼部疾病图像的数据特点，将感受野大小设计为1×1、3×3、5×5，并利用Padding项调整实现不同卷积核大小下的多分支核计算。例如设设原始的眼部疾病图像的特征矩阵为为了尽可能减少卷积过程的计算量，在多分支的计算过程中，采用深度可分离卷积实现轻量化计算。由于眼部疾病图像的尺寸为256×256，过大的感受野尺寸不能获取图像的细节特征，过小的感受野尺寸不能充分提取全局特征。因此，本发明将感受野大小设计为1×1、3×3、5×5，并利用Padding项调整实现不同卷积核大小下的多分支核计算。为了自适应地调整感受野并控制多尺度信息的流动，按元素求和方式，形成融合后的计算结果X′。有公式1-4。
X′＝U1+U2+U3 (4)
其中，F为深度可分离卷积计算映射，U1，U2和U3分别代表1×1、3×3、5×5的深度可分离卷积计算结果。例如在网络的训练过程中，经过参数预调整设计网络的训练超参数如下：迭代计算次数为200，批训练大小设置为200，网络学习速率为0.1，批量归一化方法应用于卷积计算之后以实现参数的均匀分布，ReLU激活参数应用于批量归一化计算之后加强特征的非线性映射能力，带有L2正则项的交叉熵损失函数被应用实现网络的损失计算(正则化系数为0.01)。为了有效评价网络的分类性能，本文取分类准确率、精确率、召回率以及F1分数这四个评价指标对超轻眼网络自适应竞争模型进行性能分析。图5和图6分别显示了测试集准确率和损失值变化曲线，可以看出，随着迭代次数的增加，准确率变化呈不断上升趋势，而损失值也呈现稳步下降的趋势。最终，超轻眼网络自适应竞争模型获得了93.90％的分类准确率，92.57％的精确率、93.70％的召回率、以及92.92％的F1分数，实现了眼部疾病图像的有效诊断。
步骤C4、通过全卷积算法将关键特征映射至标记空间以生成所述疾病特征。建立超轻眼网络自适应竞争模块，融合点卷积、深度可分离卷积、全卷积的超轻量计算方法实现眼部疾病图像的特征提取与标记空间的非线性映射；在点卷积和深度可分离卷积串并融合计算的基础上，以全卷积计算形式替换全连接层的连接形式，将眼部疾病图像的深层有效特征向标记空间进行非线性转换，在降低计算量和参数量的基础上，提升了特征空间的交互能力。在一个实施例中，为了设计高效准确的眼部疾病图像的识别网络，本文建立了浅层网络的决策框架，并提出利用点卷积和深层可分离卷积的计算方式减少计算量和参数量。在卷积神经网络训练和分类过程中，全连接层起到了分类器的作用，同时，大部分参数也来自于全连接层，它实现了从特征空间向标记空间的非线性映射。因此，进一步轻量化网络结构，提出利用全卷积的计算方式去替换全连接层的连接形式。经过网络框架的预先调整，确定进行眼部疾病图像识别的超轻眼网络决策框架如表1所示。
表1超轻眼网络决策框架
具体的计算过程如下：
(1)首先统一图像的尺寸大小为256×256×3，然后利用点卷积的计算形式将其进行通道扩展，以方便后续的图像深层关键特征的有效获取；
(2)基于本发明提出了眼网络自适应竞争模块实现不同感受野下的眼部图像关键特征的自适应竞争获取；
(3)基于平均池化的计算形式，降低图像在特征空间中的维度，降低后续计算量；
(4)再次基于本发明提出了眼网络自适应竞争模块实现不同感受野下的眼部图像关键特征的自适应竞争获取，同时再次利用平均池化的计算形式，降低图像在特征空间中的维度；
(5)基于全卷积的计算形式实现特征空间向标记空间的非线性映射，利用SoftMax函数实现眼部疾病图像的智能识别。
人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人类视觉系统在对图像进行识别时，可以自适应的关注不同的区域，获取区域的特征信息也会根据距离的远近调节视觉感受野。而现阶段以卷积神经网络为主的深度学习方法在进行图像识别时显然忽略了人类视觉系统的作用机制，而经典的注意力机制方法大多采用全局最大池化核全局平均池化的方法进行有效特征的关注，这很显然忽略了图像的细节信息。人类视觉系统是长期与自然博弈形成的，其稳定性和低泛化性能的人工智能算法已经形成了对比。因此，应该提出一种有效的理论方法，结合视觉系统的作用机制，提升医学图像诊断的稳定性和准确性。
当然，以上只是本发明的典型实例，除此之外，本发明还可以有其它多种具体实施方式，凡采用等同替换或等效变换形成的技术方案，均落在本发明要求保护的范围之内。
Claims (8)
1.一种基于识别模型的眼部图像动态诊断方法，其特征在于：包括模型训练策略、特征识别策略、疾病诊断策略；
所述模型训练策略用于训练所述识别模型，所述模型训练策略包括
步骤A1、获取疾病样本集，所述疾病样本集包括样本图像以及对应的疾病信息，将所述疾病样本集筛选训练子集；
步骤A2、通过特征识别策略处理所述训练子集的样本图像以获得样本图像对应的疾病特征；
步骤A3、根据疾病特征和对应的疾病信息关联，并根据疾病特征和对应疾病信息的关联关系配置对应的关联参数以生成识别模型；
所述疾病诊断策略包括
步骤B1、获取目标图像；
步骤B2、通过特征识别策略处理所述目标图像以获得目标图像对应的疾病特征；
步骤B3、将获得的疾病特征带入识别模型以计算每一疾病对应的特征关联值；
步骤B4、根据每一疾病的特征关联值输出对应目标图像的诊断结果；
所述特征识别策略包括
步骤C1、处理目标图像以使图像大小统一为第一预设尺寸；
步骤C2、利用点卷积计算对目标图像进行通道拓展；
步骤C3、通过动态感受野确定目标图像中的获取关键特征；
步骤C4、通过全卷积算法将关键特征映射至标记空间以生成所述疾病特征；
所述步骤C3中，所述动态感受野包括一次感受野和二次感受野；
所述步骤C3包括
步骤C3-1，通过一次感受野获取目标图像中的关键特征；
步骤C3-2，对步骤C3-1获得的图像进行池化操作处理；
步骤C3-3，通过二次感受野获取步骤C3-2中获得的图像中的关键特征；
步骤C3-4，对步骤C3-3获得的图像进行池化操作处理；
所述步骤C3中，配置注意力竞争算法用于生成特征矩阵，通过所述特征矩阵表示所述关键特征；
所述注意力竞争算法为X”＝s1cU1+s2cU2+…sncUn，其中，Un为第n个感受野对应的深度可分离卷积计算结果，n为感受野的数量，snc是sn的第c个元素，其中，Snc是Sn的第c行，/>R为注意力权重。
2.如权利要求1所述的一种基于识别模型的眼部图像动态诊断方法，其特征在于：所述步骤C3中，配置多维注意算法计算注意力权重，所述多维注意算法为R＝r(Rhc+Rec)，r为注意力关联权值；
有以及/>，δ为Sigmoid传递函数去映射通道注意力机制的计算结果，k为调参预设值，Rhc为熵注意算法中熵注意值和Rec为能量注意算法中能量注意值；i和j分别代表图像分别在长和宽方向的像素位置，P为基于灰度度量计算的灰度共生矩阵。
3.如权利要求2所述的一种基于识别模型的眼部图像动态诊断方法，其特征在于：所述注意力关联权值的初始值设置为1，所述步骤C3中配置动态权值算法，所述动态权值算法根据关键特征的匹配结果更新所述注意力关联权值，r＝[(χ1d1-φt1)+(χ2d2-φt2)…+(χmdm-φtm)]r，其中χm为第m个匹配的疾病特征的关联参数，m为匹配相关度超过预设的匹配阈值的疾病特征的数量，dm为第m个匹配的疾病特征的匹配相关度，φ为预设的衰减因子，tm为第m个匹配的疾病特征的匹配时距。
4.如权利要求1所述的一种基于识别模型的眼部图像动态诊断方法，其特征在于：所述的感受野设置为3个，感受野大小分别为1×1、3×3、5×5。
5.如权利要求1所述的一种基于识别模型的眼部图像动态诊断方法，其特征在于：还包括样本扩增策略，所述样本扩增策略用于扩增疾病样本集；
所述样本扩增策略包括
步骤E1、计算不同疾病的样本相关性，若样本相关性大于预设的第一相关值，则进入步骤E2-1，若样本相关性小于预设的第一相关值，则进入步骤E2-2；
步骤E2-1，将对应的两个样本图像进行预设比例的整列或整行互换样本图像以形成新的样本图像；
步骤E2-2，将该样本图像拆分为左眼图像和右眼图像，并根据预设的比例整列或整行替换左眼图像和右眼图像以形成新的样本图像。
6.如权利要求5所述的一种基于识别模型的眼部图像动态诊断方法，其特征在于：配置相关匹配算法用于计算样本相关性，T＝α1Ws+α2(Gx-Gsa)+α3Lp，其中T为样本相关性，Ws为外部相关度，所述外部相关度反映疾病类型在外部数据库中的相关度，Gx为不同疾病类型的样本图像的实际相似度值，Gsa为预设的基准相似度值，Lp为并发两种不同类型疾病的患者数量，α1为预设的外部权重，α2为预设的相似权重，α3为预设的并发权重，α1+α2+α3＝1。
7.如权利要求1所述的一种基于识别模型的眼部图像动态诊断方法，其特征在于：还包括测试修正策略，所述测试修正策略包括
步骤D1、从疾病样本集中筛选测试子集；
步骤D2、将测试子集的样本图像作为目标图像带入疾病诊断策略以获得诊断结果；
步骤D3、将诊断结果和对应的疾病信息比对以获得诊断偏差值；
步骤D4、根据诊断偏差值修正所述识别模型中的关联参数。
8.如权利要求1所述的一种基于识别模型的眼部图像动态诊断方法，其特征在于：所述步骤B3中配置比对识别子策略，所述比对识别子策略根据每一识别的疾病特征计算特征相似度，并根据得到的特征相似度调取对应的识别权重，并根据识别权重加权对应的关联参数以得到特征关联值；
所述步骤B4中，根据特征关联值大小生成对应疾病的诊断情况以生成所述诊断结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310435853.7A CN116433644B (zh) | 2023-04-22 | 2023-04-22 | 一种基于识别模型的眼部图像动态诊断方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310435853.7A CN116433644B (zh) | 2023-04-22 | 2023-04-22 | 一种基于识别模型的眼部图像动态诊断方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116433644A CN116433644A (zh) | 2023-07-14 |
| CN116433644B true CN116433644B (zh) | 2024-03-08 |
Family
ID=87094216
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310435853.7A Active CN116433644B (zh) | 2023-04-22 | 2023-04-22 | 一种基于识别模型的眼部图像动态诊断方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116433644B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116646079B (zh) * | 2023-07-26 | 2023-10-10 | 武汉大学人民医院（湖北省人民医院） | 一种眼科病症辅助诊断方法及装置 |
| CN117197145B (zh) * | 2023-11-08 | 2024-02-13 | 天津医科大学眼科医院 | 一种基于深度学习的白内障病变图像识别系统 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108460343A (zh) * | 2018-02-06 | 2018-08-28 | 北京达佳互联信息技术有限公司 | 图像处理方法、系统及服务器 |
| CN109447962A (zh) * | 2018-10-22 | 2019-03-08 | 天津工业大学 | 一种基于卷积神经网络的眼底图像硬性渗出物病变检测方法 |
| CN111080643A (zh) * | 2019-12-31 | 2020-04-28 | 上海鹰瞳医疗科技有限公司 | 基于眼底图像的糖尿病及相关疾病的分类方法及设备 |
| CN111563884A (zh) * | 2020-04-26 | 2020-08-21 | 北京小白世纪网络科技有限公司 | 基于神经网络的眼底疾病识别方法、计算机设备及介质 |
| CN112884729A (zh) * | 2021-02-04 | 2021-06-01 | 北京邮电大学 | 基于双模态深度学习的眼底疾病辅助诊断方法和装置 |
| CN113962311A (zh) * | 2021-10-27 | 2022-01-21 | 厦门大学 | 知识数据和人工智能驱动的眼科多病种识别系统 |
| CN114155306A (zh) * | 2021-08-27 | 2022-03-08 | 北京工业大学 | 一种计算机视觉和深度学习的眼底疾病可视化分析方法 |
| CN114419335A (zh) * | 2022-01-06 | 2022-04-29 | 百果园技术(新加坡)有限公司 | 一种纹理识别模型的训练、纹理迁移方法与相关装置 |
| CN114511738A (zh) * | 2022-01-25 | 2022-05-17 | 阿里巴巴（中国）有限公司 | 眼底病变识别方法、装置、电子设备和可读存储介质 |
| WO2022145542A1 (ko) * | 2020-12-30 | 2022-07-07 | 주식회사 메디웨일 | 심혈관 질병 진단 보조 방법 및 장치 |
| CN115187547A (zh) * | 2022-07-09 | 2022-10-14 | 河海大学 | 一种基于增量神经网络的社区居民眼部疾病辅助识别方法 |
| CN115578783A (zh) * | 2022-11-09 | 2023-01-06 | 北京鹰瞳科技发展股份有限公司 | 基于眼部图像进行眼部疾病识别的装置、方法及相关产品 |
-
2023
- 2023-04-22 CN CN202310435853.7A patent/CN116433644B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108460343A (zh) * | 2018-02-06 | 2018-08-28 | 北京达佳互联信息技术有限公司 | 图像处理方法、系统及服务器 |
| CN109447962A (zh) * | 2018-10-22 | 2019-03-08 | 天津工业大学 | 一种基于卷积神经网络的眼底图像硬性渗出物病变检测方法 |
| CN111080643A (zh) * | 2019-12-31 | 2020-04-28 | 上海鹰瞳医疗科技有限公司 | 基于眼底图像的糖尿病及相关疾病的分类方法及设备 |
| CN111563884A (zh) * | 2020-04-26 | 2020-08-21 | 北京小白世纪网络科技有限公司 | 基于神经网络的眼底疾病识别方法、计算机设备及介质 |
| WO2022145542A1 (ko) * | 2020-12-30 | 2022-07-07 | 주식회사 메디웨일 | 심혈관 질병 진단 보조 방법 및 장치 |
| CN112884729A (zh) * | 2021-02-04 | 2021-06-01 | 北京邮电大学 | 基于双模态深度学习的眼底疾病辅助诊断方法和装置 |
| CN114155306A (zh) * | 2021-08-27 | 2022-03-08 | 北京工业大学 | 一种计算机视觉和深度学习的眼底疾病可视化分析方法 |
| CN113962311A (zh) * | 2021-10-27 | 2022-01-21 | 厦门大学 | 知识数据和人工智能驱动的眼科多病种识别系统 |
| CN114419335A (zh) * | 2022-01-06 | 2022-04-29 | 百果园技术(新加坡)有限公司 | 一种纹理识别模型的训练、纹理迁移方法与相关装置 |
| CN114511738A (zh) * | 2022-01-25 | 2022-05-17 | 阿里巴巴（中国）有限公司 | 眼底病变识别方法、装置、电子设备和可读存储介质 |
| CN115187547A (zh) * | 2022-07-09 | 2022-10-14 | 河海大学 | 一种基于增量神经网络的社区居民眼部疾病辅助识别方法 |
| CN115578783A (zh) * | 2022-11-09 | 2023-01-06 | 北京鹰瞳科技发展股份有限公司 | 基于眼部图像进行眼部疾病识别的装置、方法及相关产品 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116433644A (zh) | 2023-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116433644B (zh) | 一种基于识别模型的眼部图像动态诊断方法 | |
| Kwasigroch et al. | Deep CNN based decision support system for detection and assessing the stage of diabetic retinopathy | |
| Ran et al. | Cataract detection and grading based on combination of deep convolutional neural network and random forests | |
| CN112132817B (zh) | 一种混合注意力机制的眼底图像视网膜血管分割方法 | |
| CN108717869B (zh) | 基于卷积神经网络的糖尿病视网膜并发症诊断辅助系统 | |
| CN111476283A (zh) | 基于迁移学习的青光眼眼底图像识别方法 | |
| Weni et al. | Detection of cataract based on image features using convolutional neural networks | |
| Bilal et al. | Diabetic retinopathy detection using weighted filters and classification using CNN | |
| Singh et al. | Collaboration of features optimization techniques for the effective diagnosis of glaucoma in retinal fundus images | |
| CN112869697A (zh) | 同时识别糖尿病视网膜病变的分期和病变特征的判断方法 | |
| CN111986814A (zh) | 一种红斑狼疮患者的狼疮性肾炎预测模型的建模方法 | |
| CN111700582A (zh) | 一种基于智能终端的常见眼表疾病诊断系统 | |
| Sharma et al. | Harnessing the Strength of ResNet50 to Improve the Ocular Disease Recognition | |
| CN111028230A (zh) | 一种基于yolo-v3的眼底图像视盘及黄斑定位检测算法 | |
| CN117557840B (zh) | 一种基于小样本学习的眼底病变分级方法 | |
| Kabir et al. | Multi-classification based Alzheimer's disease detection with comparative analysis from brain MRI scans using deep learning | |
| Triyadi et al. | Deep learning in image classification using vgg-19 and residual networks for cataract detection | |
| CN113273959B (zh) | 一种便携式糖尿病视网膜病变诊疗仪 | |
| CN116091449A (zh) | 一种基于无监督异构蒸馏框架的视网膜oct图像病变分类方法 | |
| CN112598028B (zh) | 眼底图像配准模型训练方法、眼底图像配准方法和装置 | |
| Chakraborty et al. | Early Prediction of Cataract using Convolutional Neural Network | |
| CN113011362A (zh) | 基于双线性池化与注意力机制的细粒度眼底图像分级算法 | |
| CN113593698A (zh) | 一种基于图注意网络的中医证型识别方法 | |
| Meena et al. | Plant Diseases Detection Using Deep Learning | |
| Patil et al. | Automatic Pathological Myopia Detection Using Ensemble Model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |