CN109902717A - 病灶自动识别方法、装置及计算机可读存储介质 - Google Patents
病灶自动识别方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN109902717A CN109902717A CN201910064338.6A CN201910064338A CN109902717A CN 109902717 A CN109902717 A CN 109902717A CN 201910064338 A CN201910064338 A CN 201910064338A CN 109902717 A CN109902717 A CN 109902717A
- Authority
- CN
- China
- Prior art keywords
- lesion
- eye fundus
- fundus image
- image
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003902 lesion Effects 0.000 title claims abstract description 129
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000012549 training Methods 0.000 claims abstract description 81
- 238000013527 convolutional neural network Methods 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 21
- 238000003709 image segmentation Methods 0.000 claims description 13
- 238000012952 Resampling Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims 2
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000005070 sampling Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 206010012601 diabetes mellitus Diseases 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 210000000416 exudates and transudate Anatomy 0.000 description 4
- 238000005303 weighing Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 206010012689 Diabetic retinopathy Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 208000030533 eye disease Diseases 0.000 description 2
- 238000013095 identification testing Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 210000002189 macula lutea Anatomy 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000004381 surface treatment Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 208000002177 Cataract Diseases 0.000 description 1
- 206010011844 Dacryocystitis Diseases 0.000 description 1
- 208000010412 Glaucoma Diseases 0.000 description 1
- 208000032843 Hemorrhage Diseases 0.000 description 1
- 206010038848 Retinal detachment Diseases 0.000 description 1
- 208000006288 Vascular Tissue Neoplasms Diseases 0.000 description 1
- 208000034700 Vitreous opacities Diseases 0.000 description 1
- 208000029185 blood vessel neoplasm Diseases 0.000 description 1
- 230000003925 brain function Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 208000026106 cerebrovascular disease Diseases 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 208000002780 macular degeneration Diseases 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 208000001749 optic atrophy Diseases 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004264 retinal detachment Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 201000011531 vascular cancer Diseases 0.000 description 1
- 208000029257 vision disease Diseases 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种人工智能技术，揭露了一种病灶自动识别方法，该方法包括：采集眼底图像数据，并对所述眼底图像数据执行预处理操作；利用预处理操作之后的眼底图像数据训练病灶识别模型；及将需要进行病灶识别的眼底图像以预设的N个像素为步长均匀地产生图像块，对每个图像块运用所述病灶识别模型得到该图像块的概率值，对所有图像块的概率值进行平均运算，得到该输入的眼底图像中病灶的概率值。本发明还提出一种装置以及一种计算机可读存储介质。本发明可以实现眼底病灶的自动识别。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种病灶自动识别方法、装置及计算机可读存储介质。
背景技术
糖尿病视网膜病变是一种主要的致盲疾病，然而糖尿病患者如果能及时发现并且获得规范的治疗，多数可以摆脱失明的危险。几乎所有的眼病都可能发生在糖尿病患者身上，如眼底血管瘤、眼底出血、泪囊炎、青光眼、白内障、玻璃体浑浊、视神经萎缩、黄斑变性、视网膜脱落。而且糖尿病患者发生这些眼病的几率明显高于非糖尿病人群。
目前，糖尿病视网膜病变诊治过程中存在的关键问题是如何更加安全准确，更加及早的发现相关症状，从而采取相应措施预防视力障碍。目前主要的诊断方法仍然是依靠人工的诊断，从眼底彩片中人工识别是否含有病灶，而随着患者数目的增加，传统的人工诊暴露出了成本高、效率低、偶然因素大等问题，亟待自动化的辅助诊断手段。
深度学习在医学影像中已经得到了广泛成熟的应用，医学图像分析已广泛应用于良恶性肿瘤、脑功能与精神障碍、心脑血管疾病等重大疾病的临床辅助筛查、诊断、分级、治疗决策与引导、疗效评估等方面。医学图像分类与识别、定位与检测、组织器官与病灶分割是当前医学图像分析深度学习方法研究的主要应用领域，但同时不同成像原理的医学图像分析和计算机视觉领域中的自然图像分析存在较大的差别。
发明内容
本发明提供一种病灶自动识别方法、装置及计算机可读存储介质，其主要目的在于提供一种实现眼底病灶的自动识别方案。
为实现上述目的，本发明的病灶自动识别方法，包括：
采集眼底图像数据，并对所述眼底图像数据执行预处理操作；
利用预处理操作之后的眼底图像数据训练病灶识别模型；及
将需要进行病灶识别的眼底图像以预设的N个像素为步长均匀地产生图像块，对每个图像块运用所述病灶识别模型得到该图像块的概率值，对所有图像块的概率值进行平均运算，得到该输入的眼底图像中病灶的概率值。
可选地，所述预处理操作包括图像剪裁处理，所述图像剪裁处理通阈值图像分割法把眼底部分从所述眼底图像数据中提取出来。
可选地，所述预处理操作包括归一化处理，所述归一化处理通过下述公式，将所述眼底图像数据从RGB颜色空间转换为LUV颜色空间：
u*＝13L*·(u′-u′n)
v*＝13L*·(v′-v′n)，②
其中，b为定值，u'和v'是色度坐标，将式子①中得到的X、Y、Z的值以及所述色度坐标u'和v'代入式子②中，得到调整后的L通道值L*与U和V通道的值u*和v*后，再将所述眼底图像数据转换回RGB色彩空间，完成归一化处理。
可选地，所述病灶识别模型为卷积神经网络模型，以及所述利用经上述预处理操作之后的眼底图像数据训练病灶识别模型包括：
以64个像素为步长从所述眼底图像提取256x256的小图像块，形成初始训练样本；
采用数据增强方法增加所述初始训练数量样本；
将包含有病灶的图像块放入正样本的训练集，将没有包含有病灶的图像块放入负样本的训练集；
通过自举法，对正样本进行多次重采样，使得正负样本的比例接近1:1；及
利用正负样本的训练集训练所述卷积神经网络模型。
可选地，所述病灶自动识别方法还包括：
利利用损失函数调节所述正负样本比例，其中，所述损失函数结合dice函数和交叉熵函数：
L＝-mean(w10*yi,j*log(xi,j)+w11*(1-yi,j)*log(1-xi,j))+w2*dice(y)，
其中，xi,j、yi,j表示像素坐标，w2，w10及w11为预先设定的系数，以对正负样本的不平衡进行调节。
此外，为实现上述目的，本发明还提供一种装置，该装置包括存储器和处理器，所述存储器中存储有可在所述处理器上运行的病灶自动识别程序，所述病灶自动识别程序被所述处理器执行时实现如下步骤：
采集眼底图像数据，并对所述眼底图像数据执行预处理操作；
利用预处理操作之后的眼底图像数据训练病灶识别模型；及
将需要进行病灶识别的眼底图像以预设的N个像素为步长均匀地产生图像块，对每个图像块运用所述病灶识别模型得到该图像块的概率值，对所有图像块的概率值进行平均运算，得到该输入的眼底图像中病灶的概率值。
可选地，所述预处理操作包括图像剪裁处理，所述图像剪裁处理通阈值图像分割法把眼底部分从所述眼底图像数据中提取出来。
可选地，所述预处理操作包括归一化处理，所述归一化处理通过下述公式，将所述眼底图像数据从RGB颜色空间转换为LUV颜色空间：
u*＝13L*·(u′-u′n)
v*＝13L*·(v′-v′n)，②
其中，b为定值，u'和v'是色度坐标，将式子①中得到的X、Y、Z的值以及所述色度坐标u'和v'代入式子②中，得到调整后的L通道值L*与U和V通道的值u*和v*后，再将所述眼底图像数据转换回RGB色彩空间，完成归一化处理。
可选地，所述病灶识别模型为卷积神经网络模型，以及所述利用预处理操作之后的眼底图像数据训练病灶识别模型包括：
以64个像素为步长从所述眼底图像提取256x256的小图像块，形成初始训练样本；
采用数据增强方法增加所述初始训练数量样本；
将包含有病灶的图像块放入正样本的训练集，将没有包含有病灶的图像块放入负样本的训练集；
通过自举法，对正样本进行多次重采样，使得正负样本的比例接近1:1；及
利用正负样本的训练集训练所述卷积神经网络模型。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有病灶自动识别程序，所述病灶自动识别程序可被一个或者多个处理器执行，以实现如上所述的病灶自动识别方法的步骤。
本发明提出的病灶自动识别方法、装置及计算机可读存储介质采集眼底图像数据，并对所述图像数据进行预处理操作；利用经上述预处理操作之后的眼底图像数据训练病灶识别模型；及利用上述训练好的病灶识别模型对眼底图像进行病灶识别，输出病灶的概率值。因此，本发明可以实现眼底病灶的自动识别。
附图说明
图1为本发明一实施例提供的病灶自动识别方法的流程示意图；
图2为本发明一实施例提供的装置的内部结构示意图；
图3为本发明一实施例提供的装置中病灶自动识别程序的模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，所述“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
进一步地，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
本发明提供一种病灶自动识别方法。
详细地，参照图1所示，为本发明一实施例提供的病灶自动识别方法的流程示意图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。
S1、采集眼底图像数据，并对所述图像数据进行预处理操作。
深度学习的模型训练需要获取大量的训练数据，本发明较佳实施例使用具有50度视场(FOV)的数字眼底相机(比如Kowa VX-10α)获取眼底图像，并且所有图像都要求居中靠近黄斑。
较佳地，所获取的眼底图像的分辨率为4288×2848像素，并以jpg文件格式存储以待使用。
通常，从数字眼底相机中获取的照片无法直接利用于模型训练，因此，本发明较佳实施例进一步对所述图像数据进行预处理操作，以生成合适的训练数据集。
本发明较佳实施例中，所述预处理操作包括图像剪裁处理及归一化处理等。
所述图像剪裁处理用于把眼底的部分从所述图像数据的背景中提取出来。本文采用阈值图像分割法进行图像剪裁处理。
所述阈值图像分割法是一种基于区域的图像分割技术，原理是要按照灰度级，对图像像素集合进行划分，得到的每个子集形成一个与现实景物相对应的区域，各个区域内部具有一致的属性，而相邻区域不具有这种一致属性。这样的划分可以通过从灰度级出发选取一个或多个阈值来实现。
在眼底图像中，人的眼底和背景有明显的分界。眼底图像由亮的对象和深的背景组成，这样的组成方式将对象和背景具有灰度级的像素分成两组不同的支配模式。从背景中提取对象的方法是选择一个门限值T，其中，在眼底图像中，灰度值f(x，y)>T的像素点(x，y)称为对象点；灰度值f(x，y)<＝T的像素点(x，y)称为背景点。
本发明通过所述阈值分割法，裁减去掉眼底图像中的背景，得到目标区域，即眼底区域。
所述归一化处理是通过一系列变换(即利用图像的不变矩寻找一组参数使其能够消除其他变换函数对图像变换的影响)，将待处理的原始图像转换成相应的唯一标准形式(该标准形式图像对平移、旋转、缩放等仿射变换具有不变特性)。
本发明较佳实施例中，对眼底图像的归一化处理通过下述公式，将彩色的眼底图像从RGB颜色空间转换为LUV颜色空间：
u*＝13L*·(u′-u′n)
v*＝13L*·(v′-v′n)，②
其中，b为定值，u'和v'是色度坐标，将式子①中得到的X、Y、Z的值以及所述色度坐标u'和v'代入式子②中，得到调整后的L通道值L*与U和V通道的值u*和v*后，再将所述眼底图像数据转换回RGB色彩空间，完成归一化处理。LUV模型中L通道描述图形的亮度，因此在L通道上利用归一化算法(如普通的取平均值)消除局部对比度和不均匀亮度这些不需要的特征。
S2、利用预处理操作之后的眼底图像数据训练病灶识别模型。
本发明较佳实施例中，所述病灶识别模型为卷积神经网络(ConvolutionalNeural Networks,简称CNN)模型。所述卷积神经网络是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。CNN包括卷积层和池化层，从图像中获取像素特征后进行层层的卷积与池化操作完成对目标的训练。
本发明使用基于图像块的CNN图像分割模型，将所述眼底图像按照预设方式提取的图像块作为卷积神经网络模型的训练数据样本。
为了制作所述训练数据样本，本发明以64个像素为步长从所述眼底图像提取256x256的小图像块。
为了提高所述卷积神经网络模型训练出来的识别效果，模型的训练需要大量的训练数据，因此本发明采用数据增强方法来增加训练数量样本。本发明所述数据增强方法包括镜面处理，90、180和270度的随机旋转，以及对数据的色彩增强。所述色彩增强主要包括对像素的RGB值进行PCA处理，对于每张图，对主成分增加一个其大小与对应的特征值成比例的高斯随机变量。
进一步地，对于有硬性渗出物的眼底图片，本发明较佳实施例将包含有病灶的图像块放入正样本的训练集，将没有包含有病灶的图像块放入负样本的训练集。
通常，包含硬性渗出物的病灶的图像块只占整张眼底图片的一小部分，因此在训练数据中，负样本的数量往往要大于正样本的数量。正负样本不平衡的训练集也会影响最后所述卷积神经网络模型的识别效果。
为了解决训练数据样本中，正负样本严重不平衡的问题，本发明较佳实施例通过自举法，对正样本进行多次重采样，使得正负样本的比例接近1:1。
进一步地，为了解决正负样本不均衡的问题，本文还设计了如下损失函数，该损失函数结合dice函数和交叉熵函数：
L＝-mean(w10*yi,j*log(xi,j)+w11*(1-yi,j)*log(1-xi,j))+w2*dice(y)
其中，xi,j、yi,j表示像素坐标，w2，w10及w11为预先设定的系数，以对正负样本的不平衡进行调节。本发明较佳实施例中，所述w10可以设成0.7，w11可以设成0.3。
本发明利用上述得到的正负样本的训练集训练所述卷积神经网络模型。
本发明较佳实施例中，所述卷积神经网络的架构由下采样路径和上采样路径组成，下采样路径具有2个下采样块(TD)，2个扩展块(DL)，上采样路径包括两个上采样块，DenseNets(DB)由四层构成。其中，扩展块(DL)将膨胀率(1，3，5)的卷积块输出合并连接起来作为卷积的输入，以利用多尺度特征。
S3、将需要进行病灶识别的眼底图像以预设的N个像素为步长均匀地产生图像块，对每个图像块运用所述病灶识别模型得到该图像块的概率值，对所有图像块的概率值进行平均运算，得到该输入的眼底图像中病灶的概率值。
本发明较佳实施例在所述病灶识别模型训练好后，将此模型应用于所有提取出来的图像块来得到整个眼底图像的概率图。在病灶的识别测试阶段，本发明较佳实施例可以对眼底图像以预设的N个像素，如32个像素为步长均匀地产生图像块，对每个图像块运用所述病灶识别模型得到该图像块的概率值，对所有图像块的概率值进行平均运算，得到该输入的眼底图像中病灶的概率值。
本发明还提供一种执行病灶自动识别的装置。参照图2所示，为本发明一实施例提供的装置的内部结构示意图。
在本实施例中，所述装置1可以是智能手机、平板电脑、便携计算机等终端设备，可以是PC(Personal Computer，个人电脑)，也可以是服务器、服务器群组等。该装置1至少包括存储器11、处理器12，通信总线13，以及网络接口14。
其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是装置1的内部存储单元，例如该装置1的硬盘。存储器11在另一些实施例中也可以是装置1的外部存储设备，例如装置1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器11还可以既包括装置1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于装置1的应用软件及各类数据，例如病灶自动识别程序01的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行病灶自动识别程序01等。
通信总线13用于实现这些组件之间的连接通信。
网络接口14可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该装置1与其他电子设备之间建立通信连接。
可选地，该装置1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在装置1中处理的信息以及用于显示可视化的用户界面。
图2仅示出了具有组件11-14以及病灶自动识别程序01的装置1，本领域技术人员可以理解的是，图1示出的结构并不构成对装置1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
在图2所示的装置1实施例中，存储器11中存储有病灶自动识别程序01；处理器12执行存储器11中存储的病灶自动识别程序01时实现如下步骤：
步骤一、采集眼底图像数据，并对所述图像数据进行预处理操作。
深度学习的模型训练需要获取大量的训练数据，本发明较佳实施例使用具有50度视场(FOV)的数字眼底相机(比如Kowa VX-10α)获取眼底图像，并且所有图像都要求居中靠近黄斑。
较佳地，所获取的眼底图像的分辨率为4288×2848像素，并以jpg文件格式存储以待使用。
通常，从数字眼底相机中获取的照片无法直接利用于模型训练，因此，本发明较佳实施例进一步对所述图像数据进行预处理操作，以生成合适的训练数据集。
本发明较佳实施例中，所述预处理操作包括：图像剪裁处理、归一化处理等。
所述图像剪裁处理用于把眼底的部分从所述图像数据的背景中提取出来。本文采用阈值图像分割法进行图像剪裁处理。
所述阈值图像分割法是一种基于区域的图像分割技术，原理是要按照灰度级，对图像像素集合进行划分，得到的每个子集形成一个与现实景物相对应的区域，各个区域内部具有一致的属性，而相邻区域不具有这种一致属性。这样的划分可以通过从灰度级出发选取一个或多个阈值来实现。
在眼底图像中，人的眼底和背景有明显的分界。眼底图像由亮的对象和深的背景组成，这样的组成方式将对象和背景具有灰度级的像素分成两组不同的支配模式。从背景中提取对象的方法是选择一个门限值T，其中，在眼底图像中，灰度值f(x，y)>T的像素点(x，y)称为对象点；f(x，y)<＝T的像素点(x，y)称为背景点。
本发明通过所述阈值分割法，裁减去掉眼底图像中的背景，得到目标区域，即眼底区域。
所述归一化处理是通过一系列变换(即利用图像的不变矩寻找一组参数使其能够消除其他变换函数对图像变换的影响)，将待处理的原始图像转换成相应的唯一标准形式(该标准形式图像对平移、旋转、缩放等仿射变换具有不变特性)。
本发明较佳实施例中，对眼底图像的归一化处理通过下述公式，将彩色的眼底图像从RGB颜色空间转换为LUV颜色空间：
u*＝13L*·(u′-u′n)
v*＝13Lw·(v′-v′n)，②
其中，b为定值，u'和v'是色度坐标，将式子①中得到的X、Y、Z的值以及所述色度坐标u'和v'代入式子②中，得到调整后的L通道值L*与U和V通道的值u*和v*后，再将所述眼底图像数据转换回RGB色彩空间，完成归一化处理。LUV模型中L通道描述图形的亮度，因此在L通道上利用归一化算法(如普通的取平均值)消除局部对比度和不均匀亮度这些不需要的特征。
步骤二、利用预处理操作之后的眼底图像数据训练病灶识别模型。
本发明较佳实施例中，所述病灶识别模型为卷积神经网络(ConvolutionalNeural Networks,简称CNN)模型。所述卷积神经网络是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。CNN包括卷积层和池化层，从图像中获取像素特征后进行层层的卷积与池化操作完成对目标的训练。
本发明使用基于图像块的CNN图像分割模型，将所述眼底图像按照预设方式提取的图像块作为卷积神经网络模型的训练数据样本。
为了制作所述训练数据样本，本发明以64个像素为步长从所述眼底图像提取256x256的小图像块，形成初始训练样本。
为了提高所述卷积神经网络模型训练出来的识别效果，模型的训练需要大量的训练数据，因此本发明采用数据增强方法来增加所述初始训练数量样本。本发明所述数据增强方法包括镜面处理，90、180和270度的随机旋转，以及对数据的色彩增强。所述色彩增强主要包括对像素的RGB值进行PCA处理，对于每张图，对主成分增加一个其大小与对应的特征值成比例的高斯随机变量。
进一步地，对于有硬性渗出物的眼底图片，本发明较佳实施例将包含有病灶的图像块放入正样本的训练集，将没有包含有病灶的图像块放入负样本的训练集。
通常，包含硬性渗出物的病灶的图像块只占整张眼底图片的一小部分，因此在训练数据中，负样本的数量往往要大于正样本的数量。正负样本不平衡的训练集也会影响最后所述卷积神经网络模型的识别效果。
为了解决训练数据样本中，正负样本严重不平衡的问题，本发明较佳实施例通过自举法，对正样本进行多次重采样，使得正负样本的比例接近1:1。
进一步地，为了解决正负样本不均衡的问题，本文还设计了如下损失函数，该损失函数结合dice函数和交叉熵函数：
L＝-mean(w10*yi,j*log(xi,j)+w11*(1-yi,j)*log(1-xi,j))+w2*dice(y)
其中，xi,j、yi,j表示像素坐标，w2，w10及w11为预先设定的系数，以对正负样本的不平衡进行调节。本发明较佳实施例中，所述w10可以设成0.7，w11可以设成0.3。
本发明利用上述操作获得的正负样本的训练集训练所述卷积神经网络模型。
本发明较佳实施例中，所述卷积神经网络的架构由下采样路径和上采样路径组成，下采样路径具有2个下采样块(TD)，2个扩展块(DL)，上采样路径包括两个上采样块，DenseNets(DB)由四层构成。其中，扩展块(DL)将膨胀率(1，3，5)的卷积块输出合并连接起来作为卷积的输入，以利用多尺度特征。
步骤三、将需要进行病灶识别的眼底图像以预设的N个像素为步长均匀地产生图像块，对每个图像块运用所述病灶识别模型得到该图像块的概率值，对所有图像块的概率值进行平均运算，得到该输入的眼底图像中病灶的概率值。
本发明较佳实施例在所述病灶识别模型训练好后，将此模型应用于所有提取出来的图像块来得到整个眼底图像的概率图。在病灶的识别测试阶段，本发明较佳实施例可以对眼底图像以预设的N个像素，如32个像素为步长均匀地产生图像块，对每个图像块运用所述病灶识别模型得到该图像块的概率值，对所有图像块的概率值进行平均运算，得到该输入的眼底图像中病灶的概率值。
可选地，在本发明实施例中，所述病灶自动识别程序01还可以被分割为一个或者多个模块，一个或者多个模块被存储于存储器11中，并由一个或多个处理器(本实施例为处理器12)所执行以完成本发明，本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段，用于描述病灶自动识别程序在所述装置中的执行过程。
例如，参照图3所示，为本发明装置一实施例中的病灶自动识别程序的程序模块示意图，该实施例中，病灶自动识别程序01可以被分割为数据采集模块10、模型训练模块20、及病灶识别模块30。
示例性地：
所述数据采集模块10用于：采集眼底图像数据，并对所述眼底图像数据执行预处理操作。
本发明较佳实施例中，所述预处理操作包括图像剪裁处理以及归一化处理。
优选地，所述图像剪裁处理通阈值图像分割法把眼底的部分从所述眼底图像数据的背景中提取出来；及
所述归一化处理通过下述公式，将彩色的眼底图像从RGB颜色空间转换为LUV颜色空间：
u*＝13L*·(u′-u′n)
v*＝13L*·(v′-v′n)，②
其中，b为定值，u'和v'是色度坐标，将式子①中得到的X、Y、Z的值以及所述色度坐标u'和v'代入式子②中，得到调整后的L通道值L*与U和V通道的值u*和v*后，再将所述眼底图像数据转换回RGB色彩空间，完成归一化处理。
所述模型训练模块20用于：利用预处理操作之后的眼底图像数据训练病灶识别模型。
本发明较佳实施例中，所述病灶识别模型为卷积神经网络模型，以及所述利用经上述预处理操作之后的眼底图像数据训练病灶识别模型包括：
以64个像素为步长从所述眼底图像提取256x256的小图像块，形成初始训练样本；
采用数据增强方法增加所述初始训练数量样本；
将包含有病灶的图像块放入正样本的训练集，将没有包含有病灶的图像块放入负样本的训练集；
通过自举法，对正样本进行多次重采样，使得正负样本的比例接近1:1；及
利用正负样本的训练集训练所述卷积神经网络模型。
本发明较佳实施例进一步地利用损失函数调节所述正负样本比例：
L＝-mean(w10*yi,j*log(xi,j)+w11*(1-yi,j)*log(1-xi,j))+w2*dice(y)，
其中，xi,j、yi,j表示像素坐标，w2，w10及w11为预先设定的系数，以对正负样本的不平衡进行调节。
所述病灶识别模块30用于：将需要进行病灶识别的眼底图像以预设的N个像素为步长均匀地产生图像块，对每个图像块运用所述病灶识别模型得到该图像块的概率值，对所有图像块的概率值进行平均运算，得到该输入的眼底图像中病灶的概率值。
上述数据采集模块10、模型训练模块20及病灶识别模块30等程序模块被执行时所实现的功能或操作步骤与上述实施例大体相同，在此不再赘述。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有病灶自动识别程序，所述病灶自动识别程序可被一个或多个处理器执行，以实现如下操作：
采集眼底图像数据，并对所述图像数据进行预处理操作；
利用预处理操作之后的眼底图像数据训练病灶识别模型；及
将需要进行病灶识别的眼底图像以预设的N个像素为步长均匀地产生图像块，对每个图像块运用所述病灶识别模型得到该图像块的概率值，对所有图像块的概率值进行平均运算，得到该输入的眼底图像中病灶的概率值。
本发明计算机可读存储介质具体实施方式与上述病灶自动识别装置和方法各实施例基本相同，在此不作累述。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种病灶自动识别方法，其特征在于，所述方法包括：
采集眼底图像数据，并对所述眼底图像数据执行预处理操作；
利用预处理操作之后的眼底图像数据训练病灶识别模型；及
将需要进行病灶识别的眼底图像以预设的N个像素为步长均匀地产生图像块，对每个图像块运用所述病灶识别模型得到该图像块的概率值，对所有图像块的概率值进行平均运算，得到该输入的眼底图像中病灶的概率值。
2.如权利要求1所述的病灶自动识别方法，其特征在于，所述预处理操作包括图像剪裁处理，所述图像剪裁处理通阈值图像分割法把眼底部分从所述眼底图像数据中提取出来。
3.如权利要求1或2所述的病灶自动识别方法，其特征在于，所述预处理操作包括归一化处理，所述归一化处理通过下述公式，将所述眼底图像数据从RGB颜色空间转换为LUV颜色空间：
u*＝13L*·(u′-u′n)
υ*＝13L*·(v′-υ′n)，②
其中，b为定值，u'和v'是色度坐标，将式子①中得到的X、Y、Z的值以及所述色度坐标u'和v'代入式子②中，得到调整后的L通道值L*与U和V通道的值u*和v*后，再将所述眼底图像数据转换回RGB色彩空间，完成归一化处理。
4.如权利要求1中任意一项所述的病灶自动识别方法，其特征在于，所述病灶识别模型为卷积神经网络模型，以及所述利用预处理操作之后的眼底图像数据训练病灶识别模型包括：
以64个像素为步长从所述眼底图像提取256x256的小图像块，形成初始训练样本；
采用数据增强方法增加所述初始训练数量样本；
将包含有病灶的图像块放入正样本的训练集，将没有包含有病灶的图像块放入负样本的训练集；
通过自举法，对正样本进行多次重采样，使得正负样本的比例接近1:1；及
利用正负样本的训练集训练所述卷积神经网络模型。
5.如权利要求4所述的病灶自动识别方法，其特征在于，所述病灶自动识别方法还包括：
利用损失函数调节所述正负样本比例，其中，所述损失函数结合dice函数和交叉熵函数：
L＝-mean(w10*yi,j*log(xi,j)+w11*(1-yi,j)*log(1-xi,j))
+w2*dice(y)，
其中，xi,j、yi,j表示像素坐标，w2，w10及w11为预先设定的系数，以对正负样本的不平衡进行调节。
6.一种病灶自动识别装置，其特征在于，所述装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的病灶自动识别程序，所述病灶自动识别程序被所述处理器执行时实现如下步骤：
采集眼底图像数据，并对所述眼底图像数据执行预处理操作；
利用预处理操作之后的眼底图像数据训练病灶识别模型；及
将需要进行病灶识别的眼底图像以预设的N个像素为步长均匀地产生图像块，对每个图像块运用所述病灶识别模型得到该图像块的概率值，对所有图像块的概率值进行平均运算，得到该输入的眼底图像中病灶的概率值。
7.如权利要求6所述的病灶自动识别装置，其特征在于，所述预处理操作包括图像剪裁处理，所述图像剪裁处理通阈值图像分割法把眼底部分从所述眼底图像数据中提取出来。
8.如权利要求6或7所述的病灶自动识别装置，其特征在于，所述预处理操作包括归一化处理，所述归一化处理通过下述公式，将所述眼底图像数据从RGB颜色空间转换为LUV颜色空间：
u*＝13L*，(u′-u′n)
υ*＝13L*，(v′-υ′n)，②
其中，b为定值，u'和v'是色度坐标，将式子①中得到的X、Y、Z的值以及所述色度坐标u'和v'代入式子②中，得到调整后的L通道值L*与U和V通道的值u*和v*后，再将所述眼底图像数据转换回RGB色彩空间，完成归一化处理。
9.如权利要求6所述的病灶自动识别装置，其特征在于，所述病灶识别模型为卷积神经网络模型，以及所述利用预处理操作之后的眼底图像数据训练病灶识别模型包括：
以64个像素为步长从所述眼底图像提取256x256的小图像块，形成初始训练样本；
采用数据增强方法增加所述初始训练数量样本；
将包含有病灶的图像块放入正样本的训练集，将没有包含有病灶的图像块放入负样本的训练集；
通过自举法，对正样本进行多次重采样，使得正负样本的比例接近1:1；及
利用正负样本的训练集训练所述卷积神经网络模型。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有病灶自动识别程序，所述病灶自动识别程序可被一个或者多个处理器执行，以实现如权利要求1至5中任一项所述的病灶自动识别方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910064338.6A CN109902717A (zh) | 2019-01-23 | 2019-01-23 | 病灶自动识别方法、装置及计算机可读存储介质 |
| PCT/CN2019/116558 WO2020151307A1 (zh) | 2019-01-23 | 2019-11-08 | 病灶自动识别方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910064338.6A CN109902717A (zh) | 2019-01-23 | 2019-01-23 | 病灶自动识别方法、装置及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109902717A true CN109902717A (zh) | 2019-06-18 |
Family
ID=66944109
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910064338.6A Pending CN109902717A (zh) | 2019-01-23 | 2019-01-23 | 病灶自动识别方法、装置及计算机可读存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109902717A (zh) |
| WO (1) | WO2020151307A1 (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110428377A (zh) * | 2019-07-26 | 2019-11-08 | 北京百度网讯科技有限公司 | 数据扩充方法、装置、设备和介质 |
| CN111259986A (zh) * | 2020-02-20 | 2020-06-09 | 中南大学 | 自由瞬目条件下的眼表指标数据分类方法 |
| WO2020151307A1 (zh) * | 2019-01-23 | 2020-07-30 | 平安科技（深圳）有限公司 | 病灶自动识别方法、装置及计算机可读存储介质 |
| CN112541906A (zh) * | 2020-12-17 | 2021-03-23 | 上海鹰瞳医疗科技有限公司 | 一种数据处理的方法及装置、电子设备、存储介质 |
| CN113111960A (zh) * | 2021-04-25 | 2021-07-13 | 北京文安智能技术股份有限公司 | 图像处理方法和装置以及目标检测模型的训练方法和系统 |
| WO2021189909A1 (zh) * | 2020-09-22 | 2021-09-30 | 平安科技（深圳）有限公司 | 病灶检测分析方法、装置、电子设备及计算机存储介质 |
| CN114332128A (zh) * | 2021-12-30 | 2022-04-12 | 推想医疗科技股份有限公司 | 医学图像处理方法及其装置、电子设备和计算机存储介质 |
| CN110378885B (zh) * | 2019-07-19 | 2023-07-04 | 王晓骁 | 一种基于机器学习的wsi病灶区域自动标注方法及系统 |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112016634B (zh) * | 2020-09-30 | 2023-07-28 | 北京百度网讯科技有限公司 | 医学图像识别方法、装置、设备以及存储介质 |
| CN112580530A (zh) * | 2020-12-22 | 2021-03-30 | 泉州装备制造研究所 | 一种基于眼底图像的身份识别方法 |
| CN112561918A (zh) * | 2020-12-31 | 2021-03-26 | 中移（杭州）信息技术有限公司 | 卷积神经网络的训练方法和病灶分割方法 |
| CN113077434B (zh) * | 2021-03-30 | 2023-01-24 | 零氪智慧医疗科技(天津)有限公司 | 基于多模态信息的肺癌识别方法、装置及存储介质 |
| CN113077464A (zh) * | 2021-05-06 | 2021-07-06 | 吴国军 | 一种医学图像处理方法、医学图像识别方法及装置 |
| CN115578554B (zh) * | 2021-06-21 | 2024-02-02 | 数坤(上海)医疗科技有限公司 | 一种血管病灶识别方法、装置、电子设备和可读存储介质 |
| CN113706514B (zh) * | 2021-08-31 | 2023-08-11 | 平安科技（深圳）有限公司 | 基于模板图像的病灶定位方法、装置、设备及存储介质 |
| CN117152128B (zh) * | 2023-10-27 | 2024-02-27 | 首都医科大学附属北京天坛医院 | 神经影像的病灶识别方法、装置、电子设备和存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10719936B2 (en) * | 2017-04-27 | 2020-07-21 | Retinascan Limited | System and method for automated funduscopic image analysis |
| CN108021916B (zh) * | 2017-12-31 | 2018-11-06 | 南京航空航天大学 | 基于注意力机制的深度学习糖尿病视网膜病变分类方法 |
| CN108520278A (zh) * | 2018-04-10 | 2018-09-11 | 陕西师范大学 | 一种基于随机森林的路面裂缝检测方法及其评价方法 |
| CN108665447B (zh) * | 2018-04-20 | 2021-07-30 | 浙江大学 | 一种基于眼底照相深度学习的青光眼图像检测方法 |
| CN108846835B (zh) * | 2018-05-31 | 2020-04-14 | 西安电子科技大学 | 基于深度可分离卷积网络的图像变化检测方法 |
| CN109902717A (zh) * | 2019-01-23 | 2019-06-18 | 平安科技（深圳）有限公司 | 病灶自动识别方法、装置及计算机可读存储介质 |
-
2019
- 2019-01-23 CN CN201910064338.6A patent/CN109902717A/zh active Pending
- 2019-11-08 WO PCT/CN2019/116558 patent/WO2020151307A1/zh active Application Filing
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020151307A1 (zh) * | 2019-01-23 | 2020-07-30 | 平安科技（深圳）有限公司 | 病灶自动识别方法、装置及计算机可读存储介质 |
| CN110378885B (zh) * | 2019-07-19 | 2023-07-04 | 王晓骁 | 一种基于机器学习的wsi病灶区域自动标注方法及系统 |
| CN110428377A (zh) * | 2019-07-26 | 2019-11-08 | 北京百度网讯科技有限公司 | 数据扩充方法、装置、设备和介质 |
| CN111259986A (zh) * | 2020-02-20 | 2020-06-09 | 中南大学 | 自由瞬目条件下的眼表指标数据分类方法 |
| CN111259986B (zh) * | 2020-02-20 | 2023-10-31 | 中南大学 | 自由瞬目条件下的眼表指标数据分类方法 |
| WO2021189909A1 (zh) * | 2020-09-22 | 2021-09-30 | 平安科技（深圳）有限公司 | 病灶检测分析方法、装置、电子设备及计算机存储介质 |
| CN112541906A (zh) * | 2020-12-17 | 2021-03-23 | 上海鹰瞳医疗科技有限公司 | 一种数据处理的方法及装置、电子设备、存储介质 |
| CN113111960A (zh) * | 2021-04-25 | 2021-07-13 | 北京文安智能技术股份有限公司 | 图像处理方法和装置以及目标检测模型的训练方法和系统 |
| CN113111960B (zh) * | 2021-04-25 | 2024-04-26 | 北京文安智能技术股份有限公司 | 图像处理方法和装置以及目标检测模型的训练方法和系统 |
| CN114332128A (zh) * | 2021-12-30 | 2022-04-12 | 推想医疗科技股份有限公司 | 医学图像处理方法及其装置、电子设备和计算机存储介质 |
| CN114332128B (zh) * | 2021-12-30 | 2022-07-26 | 推想医疗科技股份有限公司 | 医学图像处理方法及其装置、电子设备和计算机存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020151307A1 (zh) | 2020-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109902717A (zh) | 病灶自动识别方法、装置及计算机可读存储介质 | |
| Li et al. | Iternet: Retinal image segmentation utilizing structural redundancy in vessel networks | |
| US20220076420A1 (en) | Retinopathy recognition system | |
| Sugeno et al. | Simple methods for the lesion detection and severity grading of diabetic retinopathy by image processing and transfer learning | |
| CN108021916B (zh) | 基于注意力机制的深度学习糖尿病视网膜病变分类方法 | |
| CN108986106B (zh) | 面向青光眼的视网膜血管自动分割方法 | |
| Martinez-Murcia et al. | Deep residual transfer learning for automatic diagnosis and grading of diabetic retinopathy | |
| Tian et al. | Multi-path convolutional neural network in fundus segmentation of blood vessels | |
| Mayya et al. | Automated microaneurysms detection for early diagnosis of diabetic retinopathy: A Comprehensive review | |
| CN112017185B (zh) | 病灶分割方法、装置及存储介质 | |
| CN109602391A (zh) | 眼底出血点的自动检测方法、装置及计算机可读存储介质 | |
| CN107229952A (zh) | 图像的识别方法及装置 | |
| CN109919179A (zh) | 微动脉瘤自动检测方法、装置及计算机可读存储介质 | |
| CN113240655B (zh) | 一种自动检测眼底图像类型的方法、存储介质及装置 | |
| Vimala et al. | Automatic detection of optic disk and exudate from retinal images using clustering algorithm | |
| Nayak et al. | Automatic identification of diabetic maculopathy stages using fundus images | |
| CN108921836A (zh) | 一种提取眼底图像标注的方法及装置 | |
| da Rocha et al. | An unsupervised approach to improve contrast and segmentation of blood vessels in retinal images using CLAHE, 2D Gabor wavelet, and morphological operations | |
| Sadek et al. | Automatic classification of bright retinal lesions via deep network features | |
| Xu et al. | GLA-Net: A global-local attention network for automatic cataract classification | |
| Liu et al. | Automatic corneal ulcer segmentation combining Gaussian mixture modeling and Otsu method | |
| Qin et al. | A review of retinal vessel segmentation for fundus image analysis | |
| Brady et al. | Comparison of texture-based classification and deep learning for plantar soft tissue histology segmentation | |
| Li et al. | MCANet: Multi-channel attention network with multi-color space encoder for underwater image classification | |
| Chakravarthy et al. | An approach towards automatic detection of toxoplasmosis using fundus images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |