CN115082459A - 对用于屈光度检测的检测模型进行训练的方法及相关产品 - Google Patents
对用于屈光度检测的检测模型进行训练的方法及相关产品 Download PDFInfo
- Publication number
- CN115082459A CN115082459A CN202210991880.8A CN202210991880A CN115082459A CN 115082459 A CN115082459 A CN 115082459A CN 202210991880 A CN202210991880 A CN 202210991880A CN 115082459 A CN115082459 A CN 115082459A
- Authority
- CN
- China
- Prior art keywords
- training
- image data
- fundus image
- detection
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 123
- 238000012549 training Methods 0.000 title claims abstract description 120
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000013434 data augmentation Methods 0.000 claims description 21
- 230000004927 fusion Effects 0.000 claims description 13
- 230000003190 augmentative effect Effects 0.000 claims description 7
- 238000012417 linear regression Methods 0.000 claims description 5
- 230000003416 augmentation Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 13
- 238000009826 distribution Methods 0.000 description 13
- 238000012360 testing method Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本公开涉及一种对用于屈光度检测的检测模型进行训练的方法及相关产品。其中,所述检测模型包括多个第一子模型和一个第二子模型,并且所述方法包括:获取眼底图像数据;利用所述眼底图像数据对所述多个第一子模型进行训练,以获得所述多个第一子模型各自对应的训练结果;以及利用所述多个第一子模型各自对应的训练结果对所述第二子模型进行训练,以便完成对所述检测模型的训练。利用本公开的方案,可以有效降低检测模型对眼底图像数据量的依赖,提高屈光度检测结果的拟合水平。
Description
技术领域
本公开一般地涉及屈光度检测技术领域。更具体地,本公开涉及一种对用于屈光度检测的检测模型进行训练的方法、设备及其计算机可读存储介质。进一步,本公开还涉及一种用于屈光度检测的方法、设备及其计算机可读存储介质。
背景技术
屈光度检测是为了了解眼球的屈光程度,从而决定所需配戴眼镜的度数所进行的一系列检测。目前,已经有通过利用深度学习基于眼底图像进行屈光度检测的方法,例如首先利用resnetblock和attention的网络结构,通过注意力机制对眼底黄斑区中央凹区域进行特征提取。接着,通过全连接层,实现对屈光度进行预测。然而,目前的方法往往需要采集大量的眼底图像数据,不适用于数据采集量不足的场景。例如对于数据采集量不足的场景,会使得数据分布较为集中,外加上眼底图像对屈光标签本身拟合水平的限制,在没有其他辅助标签进行训练时很难达到较高的拟合水平。
发明内容
为了至少部分地解决背景技术中提到的技术问题,本公开的方案提供了一种对用于屈光度检测的检测模型进行训练以及基于眼底图像数据进行屈光度检测的方案。利用本公开的方案,可以在数据量较少、数据分布集中的情况下,确保屈光度检测的性能。为此,本公开在如下的多个方面提供解决方案。
在第一方面,本公开提供一种对用于屈光度检测的检测模型进行训练的方法,所述检测模型包括多个第一子模型和一个第二子模型,并且所述方法包括:获取眼底图像数据;利用所述眼底图像数据对所述多个第一子模型进行训练,以获得所述多个第一子模型各自对应的训练结果;以及利用所述多个第一子模型各自对应的训练结果对所述第二子模型进行训练,以便完成对所述检测模型的训练。
在一个实施例中,其中利用所述眼底图像数据对所述多个第一子模型进行训练,以获得所述多个第一子模型各自对应的训练结果包括:将所述眼底图像数据作为第一训练集输入各个所述第一子模型中并且对各个所述第一子模型分别进行训练,以获得所述多个第一子模型各自对应的训练结果。
在另一个实施例中,其中利用所述多个第一子模型各自对应的训练结果对所述第二子模型进行训练,以便完成对所述检测模型的训练包括:将所述多个第一子模型各自对应的训练结果作为第二训练集输入所述第二子模型中并且对所述第二子模型进行训练,以便完成对所述检测模型的训练。
在又一个实施例中,所述方法还包括:对一个或者多个所述第一子模型中的眼底图像数据执行数据增广操作,以获得对应的增广数据;以及利用所述对应的增广数据对相应第一子模型进行训练。
在又一个实施例中,其中对一个或者多个所述第一子模型中的眼底图像数据执行数据增广操作包括:改变眼底图像数据的色相,以执行数据增广操作;和/或对任意两个眼底图像数据以及其对应的标签进行特征融合,以执行数据增广操作。
在又一个实施例中,其中对任意两个眼底图像数据以及其对应的标签进行特征融合包括:使用第一目标系数将任意两个眼底图像数据以及其对应的标签进行加权求和,以进行特征融合;或者对任意两个眼底图像数据的目标位置进行替换,并且使用第二目标系数将替换目标位置后的两个眼底图像数据对应的标签进行加权求和,以进行特征融合。
在又一个实施例中,其中所述多个第一子模型包括Inception模型、ResNet模型或者InceptionResNet模型中的一种或者多种,所述第二子模型包括线性回归模型。
在第二方面,本公开还提供一种对用于屈光度检测的检测模型进行训练的设备,包括:处理器;以及存储器,其存储有对用于屈光度检测的检测模型进行训练的程序指令,当所述程序指令由所述处理器执行时,使得所述设备实现前述第一方面中的多个实施例。
在第三方面,本公开还提供一种计算机可读存储介质,其上存储有对用于屈光度检测的检测模型进行训练的计算机可读指令,该计算机可读指令被一个或多个处理器执行时,实现前述第一方面中的多个实施例。
在第四方面,本公开还提供一种用于屈光度检测的方法,包括:获取待进行屈光度检测的眼底图像数据;将所述眼底图像数据输入至前述第一方面中的多个实施例完成训练的检测模型中,以输出屈光度检测的检测结果。
在第五方面,本公开还提供一种用于屈光度检测的设备,包括:处理器;以及存储器,其存储有用于屈光度检测的程序指令,当所述程序指令由所述处理器执行时,使得所述设备实现前述第四方面中的实施例。
在第六方面,本公开还提供一种计算机可读存储介质,其上存储有用于屈光度检测的计算机可读指令,该计算机可读指令被一个或多个处理器执行时,实现前述第四方面中的实施例。
通过本公开的方案,通过利用眼底图像数据对多个第一子模型进行训练,再利用对多个第一子模型的训练结果对第二子模型进行训练。即,本公开通过对多个第一子模型训练后,再以多个第一子模型的训练结果作为训练数据对第二子模型进行训练。由此能够有效降低检测模型对眼底图像数据量的依赖以及降低屈光度分布集中的影响,确保了屈光度检测的性能。进一步地,本公开利用多个第一子模型的训练结果作为训练数据对第二子模型进行训练,相当于对多个训练结果执行二次判断,进而减小了单个模型对于单张图像的判断误差,从而有效提升了屈光度的检测水平。此外,本公开实施例还对第一子模型中的眼底图像执行数据增广操作,以使得各第一子模型具有不同的特征感知方式,获得不同的训练结果,以有利于提高训练结果的准确性。
附图说明
通过参考附图阅读下文的详细描述,本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本公开的若干实施方式,并且相同或对应的标号表示相同或对应的部分其中:
图1是示出根据本公开实施例的对用于屈光度检测的检测模型进行训练的方法的示例性流程框图;
图2是示出根据本公开实施例的对用于屈光度检测的检测模型进行训练的训练过程的示例性示意图;
图3是示出根据本公开实施例的几种数据增广操作对应的增广数据的示例性示意图;
图4是示出根据本公开实施例的用于屈光度检测的方法的示例性流程框图;
图5是示出根据本公开实施例的用于屈光度检测的示例性示意图;以及
图6是示出根据本公开实施例的对用于屈光度检测的检测模型进行训练或者用于屈光度检测的设备的框图。
具体实施方式
下面将结合附图对本公开实施例中的技术方案进行清楚和完整地描述。应当理解的是本说明书所描述的实施例仅是本公开为了便于对方案的清晰理解和符合法律的要求而提供的部分实施例,而并非可以实现本公开的所有实施例。基于本说明书公开的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
图1是示出根据本公开实施例的对用于屈光度检测的检测模型进行训练的方法100的示例性流程框图。基于下文的描述,本领域技术人员将可以理解此处的方法100可以由计算装置来执行。根据不同的实施方式,计算装置可以是包括处理器和存储器的通用计算设备,或者是包括专用处理器(例如人工智能处理器)和存储器的人工智能设备。
如图1中所示,在步骤S102处,获取眼底图像数据。在一个实施例中,可以采用例如数字眼底照相机的图像采集装置来对眼底进行拍摄,从而采集到多个前述眼底图像数据。优选地,前述眼底图像数据是针对青少年的眼底进行采集的眼底图像数据。可以理解,青少年的眼底屈光水平普遍偏向于正常水平,并且绝大部分都处于正视或轻度近视区间,也即青少年的眼底图像数据分布(例如屈光度)集中。
在获取上述眼底图像数据后,在步骤S104处,利用眼底图像数据对多个第一子模型进行训练,以获得多个第一子模型各自对应的训练结果。在一个实施场景中,在利用眼底图像数据进行训练之前,可以对前述采集的眼底图像数据进行筛选,以筛选出具有相同分布的眼底图像数据。具体而言,将单个眼底图像数据的屈光度分布与所有眼底图像数据的屈光度分布进行比较,筛选出与所有眼底图像数据的屈光度分布相同的眼底图像数据,从而筛选出具有相同分布的眼底图像数据。
接着,可以利用具有相同分布的眼底图像数据对多个第一子模型进行训练,以获得多个第一子模型各自对应的训练结果。在一个实施例中,可以将眼底图像数据作为第一训练集输入各个第一子模型中并且对各个第一子模型分别进行训练,以获得多个第一子模型各自对应的训练结果。也即,以眼底图像数据为训练数据并分别作为每个第一子模型的输入,以分别对每个第一子模型进行训练,从而获得每个第一子模型各自对应的训练结果。在实现场景中,具体可以分别以眼底图像数据和屈光度为每个第一子模型的输入和标签,通过神经网络训练过程中的前向传播和后向传播完成对每个第一子模型的训练,并且获得每个第一子模型对应的训练结果(或者为预测结果、输出结果)。作为示例,前述训练结果为屈光度,例如一个第一子模型的训练结果为-2。可以理解,前述各个第一子模型的屈光度标签是基于眼底图像数据为训练集获取的预测标签。
在一些实施例中,上述多个第一子模型可以包括Inception模型、ResNet模型或者InceptionResNet模型中的一种或者多种。也就是说,前述多个第一子模型可以是相同模型,也可以是不同的模型。优选地,前述多个第一子模型为不同的模型。例如在一个示例性场景中,假设采用三个第一子模型,该三个第一子模型可以分别是Inception模型、ResNet模型和InceptionResNet模型。在该场景下,由于不同的第一子模型的结构、参数量以及训练方式存在差异,使得每个第一子模型对同一张眼底图像数据提取的特征略有差异而每个第一子模型的导致训练结果不同。基于此,后续再以各个第一子模型的训练结果训练第二子模型时,可以减少模型对单张眼底图像数据的判断误差。
基于上述获得的多个第一子模型各自对应的训练结果,在步骤S106处,利用多个第一子模型各自对应的训练结果对第二子模型进行训练,以便完成对检测模型的训练。在一个实施例中,将多个第一子模型各自对应的训练结果作为第二训练集输入第二子模型中并且对第二子模型进行训练,以便完成对检测模型的训练。与上述第一子模型的训练类似,在应用场景中,具体可以分别以每个第一子模型对应的训练结果和屈光度为第二子模型的输入和标签,通过神经网络训练过程中的前向传播和后向传播完成对第二子模型的训练,并且获得第二子模型对应的训练结果。由此,完成对检测模型的训练,利用训练后的检测模型可以基于采集的眼底图像数据,获得屈光度。类似地,该训练结果为屈光度。可以理解,前述第二子模型的屈光度标签为真实屈光度标签。
在一些实施例中,上述第二子模型可以例如是线性回归模型。在本公开实施例中,通过该第二子模型对前述各个第一子模型对应的训练结果再次进行回归,相当于对多个训练结果进行二次判断。基于此,可以有效减小模型的判断误差,提高检测模型的准确性。
结合上述描述可知,本公开实施例通过一种模型的集成手段,首先通过对多个第一子模型进行训练,接着以多个第一子模型的训练结果为训练数据对第二子模型进行训练,以有效降低检测模型对眼底图像数据量的依赖以及降低屈光度分布集中的影响,确保了屈光度检测的性能。进一步地,本公开实施例通过对多个第一子模型的训练结果进行二次判断,可以有效减小模型的判断误差,从而提升了屈光度的检测水平。
图2是示出根据本公开实施例的对用于屈光度检测的检测模型进行训练的训练过程的示例性示意图。需要理解的是,图2是上述图1的一个具体实施例,因此关于上述图1所作的描述同样适用于图2。
如图2中所示,首先可以经由例如眼底相机采集获得的多个眼底图像数据201。在实现场景中,可以对该多个眼底图像数据201进行筛选,以筛选出具有相同分布的眼底图像数据。接着,将眼底图像数据201分别输入至多个第一子模型中,并且分别对每个第一子模型进行训练。例如图中示例性示出三个第一子模型,即第一子模型202、第一子模型203和第一子模型204。在一个实施例中,前述第一子模型202、第一子模型203和第一子模型204可以分别为Inception模型、ResNet模型和InceptionResNet模型。根据前文知,将眼底图像数据201和基于眼底图像数据获取的预测屈光度分别作为第一子模型202、第一子模型203和第一子模型204的输入和标签,以分别对第一子模型202、第一子模型203和第一子模型204进行训练,并且获得其各自对应的训练结果。
进一步地,将上述第一子模型202、第一子模型203和第一子模型204各自对应的训练结果输入至第二子模型205中,以对第二子模型205进行训练。在一个实施例中,前述第二子模型205可以例如是线性回归模型。具体来说,将第一子模型202、第一子模型203和第一子模型204各自对应的训练结果和真实屈光度分别作为第二子模型205的输入和标签,以对第二子模型205进行训练,从而完成检测模型的训练。
在一些实施场景中,可以从具有相同分布的眼底图像数据中划分出验证集和测试集,以用于测试检测模型对应的检测结果的效果。即,测试检测模型对应的检测结果的优与劣(或者是好与坏)。其中,前述验证集可以用于在模型训练阶段进行测试,而前述测试集可以用于在模型训练完成后进行测试,以便于优化检测模型。
在一个实施例中,为了使不同的模型具有不同的特征感知方式,本公开实施例还涉及对一个或者多个第一子模型中的眼底图像数据执行数据增广操作,以获得对应的增广数据,从而可以利用对应的增广数据对相应第一子模型进行训练。在应用场景中,对一个或者多个第一子模型中的眼底图像数据执行数据增广操作可以包括改变眼底图像数据的色相(也即随机色相),以执行数据增广操作和/或对任意两个眼底图像数据以及其对应的标签进行特征融合,以执行数据增广操作。其中,前述数据增广操作可以在模型训练阶段的任一节点处,对输入各个第一子模型的眼底图像数据进行执行。
对于上述改变眼底图像数据的色相操作而言,其是通过调整任意眼底图像数据的三通道比例,进而改变眼底图像数据的色相。对于上述对任意两个眼底图像数据以及其对应的标签进行特征融合而言,可以包括使用第一目标系数将任意两个眼底图像数据以及其对应的标签进行加权求和,以进行特征融合(也即Mixup操作),或者对任意两个眼底图像数据的目标位置进行替换,并且使用第二目标系数将替换目标位置后的两个眼底图像数据对应的标签进行加权求和(也即CutMix操作),以进行特征融合。在一个实施例中,前述第一目标系数和第二目标系数均可以包括两个,并且均由例如Beta函数来确定。作为示例,前述第一目标系数和第二目标系数均可以为0.1和0.9。
具体地,在执行Mixup操作时,可以使用第一目标系数分别与任意两个眼底图像数据中的数值(位于0-255之间)进行加权求和,并且对任意两个眼底图像数据各自对应的屈光度标签进行加权求和,从而实现特征融合。例如以第一目标系数为0.1和0.9为例,首先将0.1与任意一张眼底图像数据中的数值相乘,接着将0.9与另一张眼底图像数据中的数值相乘,并且将两个乘积结果相加,即加权求和。类似地,利用0.1和0.9分别与前述两张眼底图像数据对应的屈光度标签相乘并且相加,实现特征融合。
在执行CutMix操作时,首先将任意两个眼底图像数据中的一个眼底图像数据的目标位置处的图像切除,接着用另一个眼底图像数据的同一目标位置处的图像来替换,替换目标位置后的两个眼底图像数据对应的标签进行加权求和,从而实现特征融合。以上述第一目标系数类似,第二目标系数也可以例如是0.1和0.9,利用0.1和0.9分别与替换目标位置后的两个眼底图像数据对应的标签进行相乘并且相加,即加权求和。
图3是示出根据本公开实施例的几种数据增广操作对应的增广数据的示例性示意图。如图3中(a)图所示为未经数据增广操作的眼底图像数据(即原始眼底图像数据),图3中(b)图所示为经改变眼底图像数据的色相(随机色相)操作对应的眼底图像数据。进一步地,图3中(c)图所示为执行Mixup操作后对应的眼底图像数据,图3中(d)图所示为执行CutMix操作后对应的眼底图像数据。其中,矩形框内所示为另一个眼底图像数据的目标位置处的图像,其用来替换图3中(d)图中的眼底图像数据的目标位置处的图像,以实现特征融合。
作为优先地,可以对不同的第一子模型中的眼底图像数据执行不同的数据增广操作。例如在一个示例性场景中,假设有三个第一子模型,并且这三个第一子模型分别为Inception模型、ResNet模型和InceptionResNet模型。对于每个第一子模型中的眼底图像数据可以分别对应执行随机色相操作、Mixup操作和CutMix操作,以使得各个第一子模型提取的特征存在差异。即,对Inception模型中的眼底图像数据执行随机色相操作;对ResNet模型中的眼底图像数据执行Mixup操作以及对InceptionResNet模型中的眼底图像数据执行CutMix操作。
在一些实施例中,也可以采用相同的第一子模型,而每个第一子模型的数据增广操作不同,例如均采用Inception模型,对每个Inception模型中的眼底图像数据分别执行随机色相操作、Mixup操作和CutMix操作。或者,也可以采用不同的第一子模型,每个第一子模型采取相同的数据增广操作。例如对Inception模型、ResNet模型和InceptionResNet模型中的眼底图像数据均采用Mixup操作。另外,还可以对一个或者多个第一子模型中的眼底图像数据执行混合的数据增广操作,例如执行随机色相操作、Mixup操作和CutMix操作中的至少两种。
基于上述训练完成的检测模型,可以将该检测模型用于屈光度检测,通过将眼底图像数据输入检测模型后输出检测结果,也即屈光度。下面将结合图4来详细描述用于屈光度检测的方法。
图4是示出根据本公开实施例的用于屈光度检测的方法400的示例性流程框图。如图4中所示,在步骤S402处,获取待进行屈光度检测的眼底图像数据。在一个实施例中,该眼底图像数据可以采用例如眼底照相机进行采集。基于获取的眼底图像数据,在步骤S404处,将眼底图像数据输入至完成训练的检测模型中,以输出屈光度检测的检测结果。在一个实施例中,该检测模型可以包括多个第一子模型和一个第二子模型。如前所述,多个第一子模型可以包括Inception模型、ResNet模型或者InceptionResNet模型中的一个或者多个,并且多个第一子模型可以相同,也可以不同。优选地,可以选择不同的多个第一子模型。前述第二子模型可以例如是线性回归模型。
在实现场景中,输入的眼底图像数据首先经由多个第一子模型进行处理(例如特征提取)并且输出对应的输出结果,接着各个第一子模型对应的输出结果均输入至第二子模型中。进一步地,经由第二子模型处理并且输出检测结果。
图5是示出根据本公开实施例的用于屈光度检测的示例性示意图。如图5中所示,首先可以经由例如眼底相机采集待进行屈光度检测的眼底图像数据501。接着,将该眼底图像数据501输入至完成训练的检测模型中,依次通过检测模型中的多个第一子模型202、第一子模型203和第一子模型204和一个第二子模型205处理后,输出检测结果502。
图6是示出根据本公开实施例的对用于屈光度检测的检测模型进行训练或者用于屈光度检测的设备600的框图。可以理解的是,实现本公开方案的设备可以是单一的设备(例如计算设备)或包括各种外围设备的多功能设备。
如图6中所示,本公开的设备可以包括中央处理器或中央处理单元(“CPU”)611,其可以是通用CPU、专用CPU或者其他信息处理以及程序运行的执行单元。进一步,设备600还可以包括大容量存储器612和只读存储器(“ROM”)613,其中大容量存储器612可以配置用于存储各类数据,包括各种与用于训练检测模型的眼底图像或者待进行屈光度检测的眼底图像数据、算法数据、中间结果和运行设备600所需要的各种程序。ROM 613可以配置成存储对于设备600的加电自检、系统中各功能模块的初始化、系统的基本输入/输出的驱动程序及引导操作系统所需的数据和指令。
可选地,设备600还可以包括其他的硬件平台或组件,例如示出的张量处理单元(“TPU”)614、图形处理单元(“GPU”)615、现场可编程门阵列(“FPGA”)616和机器学习单元(“MLU”)617。可以理解的是,尽管在设备600中示出了多种硬件平台或组件,但这里仅仅是示例性的而非限制性的,本领域技术人员可以根据实际需要增加或移除相应的硬件。例如,设备600可以仅包括CPU、相关存储设备和接口设备来实现本公开的对用于屈光度检测的检测模型进行训练的方法或者用于屈光度检测的方法。
在一些实施例中,为了便于数据与外部网络的传递和交互,本公开的设备600还包括通信接口618,从而可以通过该通信接口618连接到局域网/无线局域网(“LAN/WLAN”)605,进而可以通过该LAN/WLAN连接到本地服务器606或连接到因特网(“Internet”)607。替代地或附加地,本公开的设备600还可以通过通信接口618基于无线通信技术直接连接到因特网或蜂窝网络,例如基于第3代(“3G”)、第4代(“4G”)或第5代(“5G”)的无线通信技术。在一些应用场景中,本公开的设备600还可以根据需要访问外部网络的服务器608和数据库609,以便获得各种已知的图像模型、数据和模块,并且可以远程地存储各种数据,例如用于呈现例如检测结果、检测模型训练等的各类数据或指令。
设备600的外围设备可以包括显示装置602、输入装置603和数据传输接口604。在一个实施例中,显示装置602可以例如包括一个或多个扬声器和/或一个或多个视觉显示器,其配置用于对本公开的利用眼底图像数据对多个第一子模型进行训练的训练过程、数据增广操作获得的增广数据或者最终屈光度检测的检测结果进行语音提示和/或图像视频显示。输入装置603可以包括例如键盘、鼠标、麦克风、姿势捕捉相机等其他输入按钮或控件,其配置用于接收眼底图像数据的输入和/或用户指令。数据传输接口604可以包括例如串行接口、并行接口或通用串行总线接口(“USB”)、小型计算机系统接口(“SCSI”)、串行ATA、火线(“FireWire”)、PCI Express和高清多媒体接口(“HDMI”)等,其配置用于与其他设备或系统的数据传输和交互。根据本公开的方案,该数据传输接口604可以接收来自于眼底相机采集的用于训练的眼底图像数据或者待进行屈光度检测的眼底图像数据,并且向设备600传送包括眼底图像数据或各种其他类型的数据或结果。
本公开的设备600的上述CPU 611、大容量存储器612、ROM 613、TPU 614、GPU 615、FPGA 616、MLU 617和通信接口618可以通过总线619相互连接,并且通过该总线与外围设备实现数据交互。在一个实施例中,通过该总线619,CPU 611可以控制设备600中的其他硬件组件及其外围设备。
以上结合图6描述了可以用于执行本公开的用于对用于屈光度检测的检测模型进行训练或者用于屈光度检测的设备。需要理解的是这里的设备结构或架构仅仅是示例性的,本公开的实现方式和实现实体并不受其限制,而是可以在不偏离本公开的精神下做出改变。
根据上述结合附图的描述,本领域技术人员也可以理解本公开的实施例还可以通过软件程序来实现。由此本公开还提供了一种计算机程序产品。该计算机程序产品可以用于实现本公开结合附图1所描述的对用于屈光度检测的检测模型进行训练的方法以及结合附图4所描述的用于屈光度检测的方法。
应当注意,尽管在附图中以特定顺序描述了本公开方法的操作,但是这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。相反,流程图中描绘的步骤可以改变执行顺序。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
应当理解,当本公开的权利要求、当说明书及附图中使用到术语“第一”、“第二”、“第三”和“第四”等时,其仅用于区别不同对象,而不是用于描述特定顺序。本公开的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本公开说明书中所使用的术语仅仅是出于描述特定实施例的目的,而并不意在限定本公开。如在本公开说明书和权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解,在本公开说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
虽然本公开的实施方式如上,但所述内容只是为便于理解本公开而采用的实施例,并非用以限定本公开的范围和应用场景。任何本公开所述技术领域内的技术人员,在不脱离本公开所揭露的精神和范围的前提下,可以在实施的形式上及细节上作任何的修改与变化,但本公开的专利保护范围,仍须以所附的权利要求书所界定的范围为准。
Claims (12)
1.一种对用于屈光度检测的检测模型进行训练的方法,所述检测模型包括多个第一子模型和一个第二子模型,并且所述方法包括:
获取眼底图像数据;
利用所述眼底图像数据对所述多个第一子模型进行训练,以获得所述多个第一子模型各自对应的训练结果;以及
利用所述多个第一子模型各自对应的训练结果对所述第二子模型进行训练,以便完成对所述检测模型的训练。
2.根据权利要求1所述的方法,其中利用所述眼底图像数据对所述多个第一子模型进行训练,以获得所述多个第一子模型各自对应的训练结果包括:
将所述眼底图像数据作为第一训练集输入各个所述第一子模型中并且对各个所述第一子模型分别进行训练,以获得所述多个第一子模型各自对应的训练结果。
3.根据权利要求2所述的方法,其中利用所述多个第一子模型各自对应的训练结果对所述第二子模型进行训练,以便完成对所述检测模型的训练包括:
将所述多个第一子模型各自对应的训练结果作为第二训练集输入所述第二子模型中并且对所述第二子模型进行训练,以便完成对所述检测模型的训练。
4.根据权利要求2所述的方法,还包括:
对一个或者多个所述第一子模型中的眼底图像数据执行数据增广操作,以获得对应的增广数据;以及
利用所述对应的增广数据对相应第一子模型进行训练。
5.根据权利要求4所述的方法,其中对一个或者多个所述第一子模型中的眼底图像数据执行数据增广操作包括:
改变眼底图像数据的色相,以执行数据增广操作;和/或
对任意两个眼底图像数据以及其对应的标签进行特征融合,以执行数据增广操作。
6.根据权利要求5所述的方法,其中对任意两个眼底图像数据以及其对应的标签进行特征融合包括:
使用第一目标系数将任意两个眼底图像数据以及其对应的标签进行加权求和,以进行特征融合;或者
对任意两个眼底图像数据的目标位置进行替换,并且使用第二目标系数将替换目标位置后的两个眼底图像数据对应的标签进行加权求和,以进行特征融合。
7.根据权利要求1所述的方法,其中所述多个第一子模型包括Inception模型、ResNet模型或者InceptionResNet模型中的一种或者多种,所述第二子模型包括线性回归模型。
8.一种对用于屈光度检测的检测模型进行训练的设备,包括:
处理器;以及
存储器,其存储有对用于屈光度检测的检测模型进行训练的程序指令,当所述程序指令由所述处理器执行时,使得所述设备实现根据权利要求1-7任意一项所述的方法。
9.一种计算机可读存储介质,其上存储有对用于屈光度检测的检测模型进行训练的计算机可读指令,该计算机可读指令被一个或多个处理器执行时,实现如权利要求1-7任意一项所述的方法。
10.一种用于屈光度检测的方法,包括:
获取待进行屈光度检测的眼底图像数据;
将所述眼底图像数据输入至根据权利要求1-7任意一项所述的方法完成训练的检测模型中,以输出屈光度检测的检测结果。
11.一种用于屈光度检测的设备,包括:
处理器;以及
存储器,其存储有用于屈光度检测的程序指令,当所述程序指令由所述处理器执行时,使得所述设备实现根据权利要求10所述的方法。
12.一种计算机可读存储介质,其上存储有用于屈光度检测的计算机可读指令,该计算机可读指令被一个或多个处理器执行时,实现如权利要求10所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210991880.8A CN115082459A (zh) | 2022-08-18 | 2022-08-18 | 对用于屈光度检测的检测模型进行训练的方法及相关产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210991880.8A CN115082459A (zh) | 2022-08-18 | 2022-08-18 | 对用于屈光度检测的检测模型进行训练的方法及相关产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115082459A true CN115082459A (zh) | 2022-09-20 |
Family
ID=83245432
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210991880.8A Pending CN115082459A (zh) | 2022-08-18 | 2022-08-18 | 对用于屈光度检测的检测模型进行训练的方法及相关产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115082459A (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180315193A1 (en) * | 2017-04-27 | 2018-11-01 | Retinopathy Answer Limited | System and method for automated funduscopic image analysis |
CN111028218A (zh) * | 2019-12-10 | 2020-04-17 | 上海志唐健康科技有限公司 | 眼底图像质量判定模型训练方法、装置和计算机设备 |
CN111553436A (zh) * | 2020-04-30 | 2020-08-18 | 上海鹰瞳医疗科技有限公司 | 训练数据生成方法、模型训练方法及设备 |
CN112580580A (zh) * | 2020-12-28 | 2021-03-30 | 厦门理工学院 | 一种基于数据增强与模型融合的病理性近视识别方法 |
CN113486925A (zh) * | 2021-06-07 | 2021-10-08 | 北京鹰瞳科技发展股份有限公司 | 模型训练方法、眼底图像生成方法、模型评估方法及装置 |
US20210327051A1 (en) * | 2018-06-08 | 2021-10-21 | Shanghai Sixth People's Hospital | Method, computer device and storage medium of fundus oculi image analysis |
CN113768461A (zh) * | 2021-09-14 | 2021-12-10 | 北京鹰瞳科技发展股份有限公司 | 一种眼底图像分析方法、系统和电子设备 |
-
2022
- 2022-08-18 CN CN202210991880.8A patent/CN115082459A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180315193A1 (en) * | 2017-04-27 | 2018-11-01 | Retinopathy Answer Limited | System and method for automated funduscopic image analysis |
US20210327051A1 (en) * | 2018-06-08 | 2021-10-21 | Shanghai Sixth People's Hospital | Method, computer device and storage medium of fundus oculi image analysis |
CN111028218A (zh) * | 2019-12-10 | 2020-04-17 | 上海志唐健康科技有限公司 | 眼底图像质量判定模型训练方法、装置和计算机设备 |
CN111553436A (zh) * | 2020-04-30 | 2020-08-18 | 上海鹰瞳医疗科技有限公司 | 训练数据生成方法、模型训练方法及设备 |
CN112580580A (zh) * | 2020-12-28 | 2021-03-30 | 厦门理工学院 | 一种基于数据增强与模型融合的病理性近视识别方法 |
CN113486925A (zh) * | 2021-06-07 | 2021-10-08 | 北京鹰瞳科技发展股份有限公司 | 模型训练方法、眼底图像生成方法、模型评估方法及装置 |
CN113768461A (zh) * | 2021-09-14 | 2021-12-10 | 北京鹰瞳科技发展股份有限公司 | 一种眼底图像分析方法、系统和电子设备 |
Non-Patent Citations (1)
Title |
---|
康莉等: "基于分步生成模型的视网膜眼底图像合成", 《中国体视学与图像分析》 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102378850B1 (ko) | 컨볼루션 신경망을 사용하는 의미적 세그먼트화 및 깊이 완성 방법 및 장치 | |
CN111369681B (zh) | 三维模型的重构方法、装置、设备及存储介质 | |
CN111369440B (zh) | 模型训练、图像超分辨处理方法、装置、终端及存储介质 | |
CN107636690B (zh) | 基于卷积神经网络的全参考图像质量评估 | |
CN109949219B (zh) | 一种超分辨率图像的重构方法、装置及设备 | |
CN111429402B (zh) | 高级视觉感知特征与深度特征融合的图像质量评价方法 | |
CN115526891B (zh) | 一种缺陷数据集的生成模型的训练方法及相关装置 | |
CN111667459A (zh) | 一种基于3d可变卷积和时序特征融合的医学征象检测方法、系统、终端及存储介质 | |
CN111882516B (zh) | 一种基于视觉显著性和深度神经网络的图像质量评价方法 | |
CN109712092A (zh) | 档案扫描图像修复方法、装置及电子设备 | |
CN107729885B (zh) | 一种基于多重残差学习的人脸增强方法 | |
CN111582459A (zh) | 执行操作的方法、电子设备、装置及存储介质 | |
CN116229066A (zh) | 人像分割模型的训练方法及相关装置 | |
CN116543433A (zh) | 一种基于改进YOLOv7模型的口罩佩戴检测方法和装置 | |
CN115375663A (zh) | 基于深度互学习和双尺度特征融合的图像质量评价方法 | |
CN117057413B (zh) | 强化学习模型微调方法、装置、计算机设备及存储介质 | |
US20230342626A1 (en) | Model processing method and related apparatus | |
CN115760646B (zh) | 一种针对不规则孔洞的多模态人脸图像修复方法和系统 | |
CN115082459A (zh) | 对用于屈光度检测的检测模型进行训练的方法及相关产品 | |
CN115587967B (zh) | 一种基于HA-UNet网络的眼底图像视盘检测方法 | |
CN116309170A (zh) | 一种输电线路巡检图像去雾方法和装置 | |
CN113033757A (zh) | 用于测试神经网络中算子精度的方法、装置和计算机可读存储介质 | |
CN116246140A (zh) | 融合Res-50与CBAM的地震断层自动识别方法 | |
CN115631192A (zh) | 一种阀门试压机的控制方法、装置、设备及介质 | |
CN113222843B (zh) | 一种图像修复方法及其相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220920 |