CN110428410B - 眼底医学图像处理方法、装置、设备及存储介质 - Google Patents
眼底医学图像处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN110428410B CN110428410B CN201910702242.8A CN201910702242A CN110428410B CN 110428410 B CN110428410 B CN 110428410B CN 201910702242 A CN201910702242 A CN 201910702242A CN 110428410 B CN110428410 B CN 110428410B
- Authority
- CN
- China
- Prior art keywords
- image
- fundus
- type
- target
- fundus image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 55
- 238000013145 classification model Methods 0.000 claims abstract description 49
- 230000002950 deficient Effects 0.000 claims abstract description 6
- 201000010099 disease Diseases 0.000 claims description 29
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 29
- 238000012502 risk assessment Methods 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 14
- 238000011109 contamination Methods 0.000 claims description 9
- 238000000034 method Methods 0.000 abstract description 32
- 230000008569 process Effects 0.000 abstract description 19
- 238000004891 communication Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 17
- 238000012546 transfer Methods 0.000 description 14
- 238000013441 quality evaluation Methods 0.000 description 12
- 238000012544 monitoring process Methods 0.000 description 8
- 238000013473 artificial intelligence Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 210000000720 eyelash Anatomy 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 238000003908 quality control method Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000002177 Cataract Diseases 0.000 description 1
- 206010012689 Diabetic retinopathy Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002062 proliferating effect Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Abstract
本申请公开了一种眼底医学图像处理方法、装置、设备及存储介质；在本申请中，对于用户拍摄的目标眼底图像，需要利用图像分类模型对目标眼底图像进行处理，得到目标眼底图像属于每种图像类型的概率值，并通过概率值判断目标眼底图像是否为合格图像；若目标眼底图像为不合格图像，则生成提示信息，以通过该提示信息提示用户重新拍摄眼底图像。可见，本申请可通过图像分类模型自动识别出质量不合格的眼底图像，并生成提示信息，这样操作人员便可针对不合格的眼底图像，及时重新拍摄出高质量的图像，在后续对眼底图像的使用过程中，便可避免出现因图像质量差而导致的重新拍摄问题。
Description
技术领域
本申请涉及图像处理技术领域，特别涉一种眼底医学图像处理方法、装置、设备及存储介质。
背景技术
目前，操作人员用眼底相机设备为患者拍摄眼底图像后，医生可以通过阅片来检查眼底病或者辅助医疗人员判断其它器官的病情；但是，拍摄眼底图像与阅片是分为两个不同的步骤。拍摄由技师、护士或经过专门培训的操作人员在拍照室为患者拍照，得到的眼底图像需经过打印或上传到阅片系统后，送到诊室的医生处进行阅片，如果图像合格，则可以给出患者罹患眼底疾病或风险的判断。如果图像不合格，则需打回重拍，否则会造成误判。
但是在上述过程中，眼底相机设备的操作人员由于对设备不熟悉、对拍摄内容的不了解，拍照的质量往往不能满足临床的要求。而在审核医生进行远程阅片的时候，往往患者已经离开，因此造成废片，降低筛查效率。
发明内容
有鉴于此，本申请的目的在于提供一种眼底医学图像处理方法、装置、设备及存储介质，以实现对眼底图像质量的鉴别，对于质量不合格的眼底图像提示操作者重新拍摄，使得拍摄的眼底医学图像满足后续处理需求，避免出现因图像质量问题而导致重新拍摄。
为实现上述目的，一方面，本申请提供了一种眼底医学图像处理方法，包括：
获取用户拍摄的目标眼底图像；
利用图像分类模型对所述目标眼底图像进行处理，得到所述目标眼底图像属于每种图像类型的概率值；
根据所述概率值判断所述目标眼底图像是否为合格图像；
若所述目标眼底图像为不合格图像，则生成提示信息，所述提示信息用来提示用户重新拍摄眼底图像。
优选的，所述利用图像分类模型对所述目标眼底图像进行处理，得到所述目标眼底图像属于每种图像类型的概率值，包括：
利用所述图像分类模型对所述目标眼底图像进行处理，得到所述目标眼底图像分别属于清晰眼底类型、大面积污损类型、局部曝光类型、全局曝光类型、屈光间质浑浊类型、非眼底类型的概率值。
优选的，根据所述概率值判断所述目标眼底图像是否为合格图像，包括：
根据所述概率值确定所述目标眼底图像所属的目标图像类型；所述目标图像类型为概率值最大的图像类型；
判断所述目标图像类型是否为全局曝光类型、屈光间质浑浊类型、非眼底类型中的任意一者；
若是，则判定所述目标眼底图像为不合格图像；
若否，则判定所述目标眼底图像为合格图像。
优选的，所述判定所述目标眼底图像为合格图像之后，还包括：
判断所述目标图像类型是否为清晰眼底类型；
若否，则生成瑕疵提醒信息。
优选的，所述判定所述目标眼底图像为合格图像之后，还包括：
将所述目标眼底图像输入疾病风险评估系统。
优选的，所述图像分类模型为：预先通过不同类型的眼底图像集训练得到的密集连接卷积网络模型。
优选的，所述提示信息包括：质量评分信息、不合格原因信息、拍摄建议信息中的至少一者。
又一方面，本申请还提供了一种眼底医学图像处理装置，包括：
图像获取模块，用于获取用户拍摄的目标眼底图像；
图像处理模块，用于利用图像分类模型对所述目标眼底图像进行处理，得到所述目标眼底图像属于每种图像类型的概率值；
判断模块，用于根据所述概率值判断所述目标眼底图像是否为合格图像；
提示信息生成模块，用于在所述目标眼底图像为不合格图像时，生成提示信息，所述提示信息用来提示用户重新拍摄眼底图像。
又一方面，本申请还提供了一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现上述的眼底医学图像处理方法的步骤。
又一方面，本申请还提供了一种存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的眼底医学图像处理方法的步骤。
通过以上方案可知，本申请提供了一种眼底医学图像处理方法、装置、设备及存储介质；在本申请中，对于用户拍摄的目标眼底图像，需要利用图像分类模型对目标眼底图像进行处理，得到目标眼底图像属于每种图像类型的概率值，并通过概率值判断目标眼底图像是否为合格图像；若目标眼底图像为不合格图像，则生成提示信息，提示信息用来提示用户重新拍摄眼底图像。可见，本申请可通过图像分类模型自动识别出质量不合格的眼底图像，并生成提示信息，这样操作人员便可针对不合格的眼底图像，及时重新拍摄出高质量的图像，在后续对眼底图像的使用过程中，便可避免出现因图像质量差而导致的重新拍摄问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请提供的一种眼底医学图像处理系统结构示意图；
图2为本申请提供的另一种眼底医学图像处理系统结构示意图；
图3为本申请提供的一种眼底医学图像处理方法的流程图；
图4为本申请提供的一提示信息显示示意图；
图5为本申请提供的另一种眼底医学图像处理方法的流程图；
图6a为本申请提供的一种眼底图像示意图；
图6b为本申请提供的另一种眼底图像示意图；
图6c为本申请提供的另一种眼底图像示意图；
图6d为本申请提供的另一种眼底图像示意图；
图6e为本申请提供的另一种眼底图像示意图；
图6f为本申请提供的另一种眼底图像示意图；
图7为本申请提供的一种眼底医学图像处理方法整体逻辑框图；
图8为本申请提供的DenseNet结构示意图；
图9为本申请提供的一种眼底图像处理方法的流程图；
图10为本申请提供的一种眼底医学图像处理装置结构示意图；
图11为本申请提供的一种服务器结构图；
图12为本申请提供的一种终端结构图。
具体实施方式
目前，在医院体检、基层医院、社区等眼底照相工作站，会直接将读取的眼底照片进行展示，由操作人员进行人工核对，选择图像质量好的图片保留和打印，并将质量不好的图片进行删除。但是，由于操作人员没有足够的眼科阅片经验，所以不能实时的判断所拍摄照片是否符合阅片质量要求，也就无法进行相应的调整。而眼科医生的阅片与拍摄有时空差异，如果发现图片质量不好，此时患者已经不在拍照室，这时患者需要在拍照室和眼科诊室之间来回跑，如果患者已经离开眼底照相工作站，无法重拍，则会造成废片。
鉴于目前所存在的上述问题，本申请提出了一种眼底医学图像处理方案，通过该技术方案，能够对眼底图像质量进行鉴别，对于质量不合格的眼底图像提示操作者重新拍摄，使得拍摄的图像满足后续处理需求，避免出现因图像质量问题而导致的重新拍摄。
为了便于理解，下面对本申请的技术方案所适用的系统架构进行介绍。
参见图1，为本申请提供的一种眼底医学图像处理系统结构示意图，该系统可以包括终端11和服务器12；
其中，终端11为可以拍摄眼底图像的设备，例如：手机、可穿戴设备、照相机等等；用户在通过终端11拍摄眼底图像之后，可以选择需要质控的眼底图像作为目标眼底图像，并通过终端11与服务器12之间的第一通讯网络传输至服务器12，通过服务器12来对目标眼底图像的质量进行分析。在本申请中，可以预先设定目标眼底图像的选取规则，例如：可以设定为用户拍摄的所有图像，均需要通过服务器12进行质控，这时用户拍摄的所有图像，便均需要通过第一通讯网络上传至服务器12；也可以设定为在选取目标眼底图像时，如果检测到预定时长内拍摄的图像数量大于预定阈值，则按照预定规则从中抽取目标眼底图像。如：若检测到用户每秒拍摄三张图像，那么可从每秒钟拍摄的图像中选择一张在先拍摄的图像作为目标眼底图像，并通过第一通讯网络上传至服务器12；也可以设定为通过用户主动选择待处理的目标眼底图像，并上传至服务器12。
在本申请中，服务器12可以为本地服务器，也可以为云端服务器；若用户拍摄的图像比较重要或者比较隐私，则可在本地设置服务器，用户通过终端11拍摄完图像之后，可选择目标眼底图像，并通过第一通讯网络发送至本地服务器12，该本地服务器12上安装有图像分析模型，本地服务器通过该图像分类模型对目标眼底图像进行处理，若判定目标眼底图像为不合格图像，则生成提示信息，并发送至终端11，以提示用户目标眼底图像质量不合格，需要重新拍摄图像。若需要质控的目标眼底图像并不重要，用户可选择云端服务器来对目标眼底图像进行处理，通过云端服务器内安装的图像分类模型确定目标眼底图像是否为合格图像；如果该目标眼底图像不合格，则云端服务器同样会生成提示信息并发送至终端11，以提示用户重新拍摄图片。
需要说明的是，在本实施例中，除了通过服务器来对目标眼底图像进行处理之外，还可设置为终端自行处理；也就是说，对于具有处理能力的终端，可在终端内安装图像分类模型；用户拍摄完图像后，便可利用终端内的图像分类模型对选择的目标眼底图像处理，确定该目标眼底图像是否为合格图像；如果目标眼底图像不合格，则将生成的提示信息直接在终端上进行显示，以提醒用户重新拍摄图像。
参见图2，为本申请提供的另一种眼底医学图像处理系统结构示意图，该系统可以包括终端21和服务器22和终端23；终端21通过第二通信网络将目标眼底图像发送至服务器22，服务器通过第三通讯网络将提示信息发送至终端23。
需要说明的是，对于一些拍摄图像的终端21来说，可能并不具备显示提示信息的功能，因此在本系统中，包括两个终端，终端21和终端23；其中，终端21为拍摄眼底图像的终端，该终端21将选择的目标眼底图像发送至服务器22后，如果服务器22判定目标眼底图像不合格，则将生成的提示信息发送至终端23，通过终端23来显示该提示信息。可以理解的是，终端23可以为电脑、手机等可显示提示信息的设备，并且该终端23在显示该提示信息时，可以通过浏览器来显示提示信息，也可以通过安装在终端23上的客户端显示提示信息，在此并不具体限定；如果通过客户端显示提示信息，则需要预先在终端23上安装对应的客户端，以便通过客户端对提示信息进行显示。
需要说明的是，本申请的上述第一通讯网络、第二通讯网络、第三通讯网络可以根据实际应用过程中的网络状况和需求来确定，既可以是无线通讯网络，如移动通讯网络或WIFI网络等，也可以是有线通讯网络；既可以是广域网，在情况允许时也可以采用局域网。
综上可以看出，在本申请中，无论是通过终端、本地服务器还是云端服务器，均可利用图像分类模型自动识别出质量不合格的图像，并提醒操作人员重新拍摄，这样操作人员便可及时重新拍摄出高质量的图像，在后续对图像的使用过程中，便可避免出现因图像质量差而导致的重新拍摄问题。
图3为本申请实施例提供的一种眼底医学图像处理方法的流程图。参见图3所示，该图像处理方法可以包括以下步骤：
S101、获取用户拍摄的目标眼底图像；
在本申请中，该目标眼底图像可以为用户通过终端拍摄的，例如：用户通过手机终端拍摄的眼底图像，也可以为用户通过眼底相机拍摄的眼底照片，对于需要质控的图像则称之为目标眼底图像。
并且，本申请获取的目标眼底图像的数量可以为一个也可以为多个，在此并不具体限定；在利用图像分类模型对目标眼底图像进行处理时，可以根据获取目标眼底图像的数量来决定如何处理，例如：获取的目标眼底图像的数量为一个，则仅对这一个目标眼底图像进行处理，如果获取的目标眼底图像的数量为多个，则可根据目标眼底图像的获取时间先后顺序、或者目标眼底图像的重要级顺序，依次对每张图像进行处理；如果图像分类模型支持对目标眼底图像的并行处理，则可同时对多张目标眼底图像进行处理。
S102、利用图像分类模型对所述目标眼底图像进行处理，得到所述目标眼底图像属于每种图像类型的概率值；
需要说明的是，本申请中的图像分类模型可以为深度学习模型，例如：CNN(Convolutional Neural Networks，卷积神经网络模型)，DNN(Deep Neural Network，深度神经网络模型)，RNN(Recurrent Neural Network，循环神经网络)，或者DenseNet(DenseConvolutional Network，密集卷积网络模型)等等；无论该深度学习模型是哪种模型，均需要预先通过图像集进行训练。
在本申请中，该图像集包括与不同图像类型对应的图像集，该图像类型可以包括合格图像类型的图像集和不合格图像类型的图像集，还可以根据图像的内容，对图像集的类型进行细化分类，如：可根据图像中是否存在眼底进行分类，可根据图像是否存在曝光现象进行分类，可根据图像中是否存在镜头污染进行分类，还可根据图像的受影响大小进行分类等等，在此并不具体限定。
需要说明的是，图像集的类型便为图像分类模型能识别的图像类型，因此通过不同类型的图像集对图像分类模型进行训练后，便可使用训练后的模型来对获取的目标眼底图像进行处理，以确定该目标眼底图像属于各个图片类型的概率。例如：将目标眼底图像输入图像分类模型之后，通过该目标眼底图像对该目标眼底图像进行处理，可以得到目标眼底图像属于合格图像类型的概率值以及目标眼底图像属于不合格图像类型的概率值。
S103、根据所述概率值判断所述目标眼底图像是否为合格图像；
可以理解的是，如果图像分类模型得到的分类结果只包括合格图像类型的概率值和不合格图像类型的概率值，则根据这两个概率值便可直接确定目标眼底图像是否为合格图像，例如：图像分类模型判定目标眼底图像属于合格图像类型的概率值为80％，图像分类模型判定目标眼底图像属于不合格图像类型的概率值为20％，则在本步骤中，很容易确定该目标眼底图像属于合格图像类型的眼底图像。
但是，如果图像类型为根据眼底图像的内容所划分的，如上文提及的：根据图像中是否存在眼底进行分类，根据图像是否存在曝光现象进行分类，根据图像中是否存在镜头污染进行分类，根据图像的受影响大小进行分类等等，这时根据上述图像类型并不能准确分辨出每种类型的图像的是否为合格图像类型，这时需要预先设定每种类型的图像是否为合格图像；例如：图像类型用分为四种图像类型：第一图像类型、第二图像类型、第三图像类型和第四图像类型，并设定这四类图像类型中，第一图像类型和第二图像类型为合格图像的类型，第三图像类型和第四图像类型为不合格图像的类型，这时利用图像分类模型得到属于每种图像类型的概率值后，便可根据各概率值确定目标眼底图像是否为合格图像。
例如：若目标眼底图像属于第一图像类型的概率值为10％、属于第二图像类型的概率值为70％、属于第三图像类型的概率值为15％、属于第四图像类型的概率值为5％，可以看出，目标眼底图像属于第二图像类型的概率较大，并且由于第二图像类型为合格图像的类型，这时便可判定目标眼底图像为合格图像。
需要说明的是，如果得到的与不同图像类型对应的概率值中，存在概率值相差预定阈值的者少两种图像类型，则判断这者少两种图像类型是否均为合格图像的类型，或者判断这者少两种图像类型是否均为不合格图像的类型；如果均属于合格图像的类型，或者均属于不合格图像的类型，则不需要执行任何操作，否则，说明得到的判断结果中，存在判定结果完全相反的两种情况，例如：若得到的概率值中，目标眼底图像属于第一图像类型的概率值为2％、属于第二图像类型的概率值为50％、属于第三图像类型的概率值为45％、属于第四图像类型的概率值为3％，设定预定阈值为10％，可以看出目标眼底图像属于第二图像类型的概率值与属于第三图像类型的概率值的差值小于预定阈值，并且，第二图像类型属于合格类型的图像，而第三图像类型属于不合格类型的图像，这时说明分类结果出现问题，有可能是图片导致的，也有可能是因为图像分类模型而导致的，这时可生成对应的信息，以提示拍摄人员重新拍摄照片，或者通过图片分类模型重新对该目标眼底图像进行分析。
S104、若目标眼底图像为不合格图像，则生成提示信息，提示信息用来提示用户重新拍摄眼底图像。
在本申请中，若目标眼底图像为不合格图像，则说明用户拍摄的图像质量较差，这时可生成提示信息，通过该提示信息提醒拍摄人员所拍摄的目标眼底图像为不合格图像，这时拍摄人员可重新拍摄图像，以便获得质量更好的图像。需要说明的是，用户可预先设定提示信息的生成条件；如：可设置为只有目标眼底图像为不合格图像时，才生成提示信息；还可以设置为无论图像是否合格，均生成提示信息，在此并不具体限定。
在本实施例中，如果目标眼底图像为不合格图像，则生成的提示信息不仅仅可以包括目标眼底图像为不合格图像的提示信息，还可以包括能反应目标眼底图像质量的评分、或者图像不合格的原因信息等等；若目标眼底图像为合格图像，则生成的提示信息可以包括：提示图像合格的提示信息、反应目标眼底图像质量的评分等等。例如：若目标眼底图像为不合格图像，则生成的提示信息可以为：目标眼底图像不合格，评分50分，请重新拍摄；若目标眼底图像为合格图像，则生成的提示信息可以为：目标眼底图像合格，评分90分。
可以看出，本申请可通过图像分类模型自动识别出质量不合格的眼底图像，并提醒重新拍摄，这样操作人员便可及时重新拍摄出高质量的图像，在后续对图像的使用过程中，可避免出现因图像质量差而导致的重新拍摄问题。
基于上述实施例，在本实施例中，若目标眼底图像为不合格图像，则生成的提示信息包括：质量评分信息、不合格原因信息、拍摄建议信息中的至少一者。
需要说明的是，在本申请中，该提示信息可以提醒用户重新拍摄图像，并向用户反馈该目标眼底图像的详细信息；例如在本申请中，通过图像分类模型对目标眼底图像进行分类后，可根据目标眼底图像所属的目标图像类型，对目标眼底图像进行质量评分，通过该评分反应目标眼底图像质量的高低，例如：若图像质量较高，可评为9-10分，若图像质量中等，可评为6-8分，若图像质量较差，可评为0-5分，用户通过该评分，便可对目标眼底图像的质量程度有个基础了解；如在上文提及的第一类图像、第二类图像、第三类图像、第四类图像中，对于第一类图像可评为9-10分，第二类图像可评为7-8分、第三类图像可评为5-6分，第四类图像可评为0-4分。
进一步，该提示信息中还可以包括不合格的原因信息，例如：如果是根据图像中是否存在眼底进行分类，则生成的不合格原因中可包括未拍摄到眼底图像这一原因，如果是根据图像是否存在曝光现象进行分类，则生成的不合格原因中可包括出现曝光现象这一原因，如果是根据图像中是否存在镜头污染进行分类，则生成的不合格原因中可包括镜头污染导致这一原因，如果是根据图像的受影响大小进行分类，则生成的不合格原因中可包括受影响范围过大这一原因等等；当然，同一眼底图像中可存在至少一个上述原因，在生成原因信息时，可根据实际情况选择不合格原因。
并且，该提示信息还可以包括拍摄建议信息，该拍摄建议信息为给用户提示的拍摄建议，例如：若不合格的原因信息为镜头污染，则生成的拍摄建议信息可以为：提示用户重新拍摄，检查镜头是否存在污染这一拍摄建议，通过该提示信息，可以指导用户进行拍摄，帮助用户拍摄高质量的眼底图像。可以看出，在本申请中，用户可以通过提示信息的指导，逐渐清楚的了解图片质量差的原因，并且通过提示信息反馈培训方式，可以逐步提高拍照质量。
参见图4，为本申请提供的一提示信息显示示意图；图4中的眼底图像为由于全局曝光导致图像不合格，因此在显示界面上，可显示对应的提示信息，包括：质量评分信息：2分，不合格原因信息：大范围曝光导致图像整体发暗，拍摄建议信息：建议减少漏光的影响，重新拍摄眼底图像。
可以看出，本申请可通过图像分类模型对目标眼底图像进行质量分析，确定该目标眼底图像是否为合格图像，并且用户通过反馈的提示信息，可更具体的了解目标眼底图像不合格原因，以及重新拍摄的拍摄建议，使操作人员可根据提示信息有针对性的重新拍摄，得到合格的图像，并且通过这种提示信息反馈培训的方式，可逐步提高操作人员的拍照水平，提高拍照质量。
图5为本申请实施例提供的一种眼底医学图像处理方法的流程图。参见图5所示，该图像处理方法可以包括以下步骤：
S201、获取用户拍摄的目标眼底图像；
S202、利用图像分类模型对目标眼底图像进行处理，得到目标眼底图像分别属于清晰眼底类型、大面积污损类型、局部曝光类型、全局曝光类型、屈光间质浑浊类型、非眼底类型的概率值；
需要说明的是，当前在眼底照相工作站，操作人员直接将读取的眼底照片进行展示，由操作人员人工进行核对，但是由于操作员没有足够的眼科阅片经验，所以不能实时准确的判断所拍摄照片是否符合阅片质量要求，也就无法进行相应的调整。并且，操作人员选择眼底图像后，会将已选择的眼底图像直接输入疾病风险评估系统，该疾病风险评估系统为AI(Artificial Intelligence，人工智能)分析系统，将选取的眼底图像送入AI分析系统进行分析后，会给出相应的疾病判断结果；但是，由于拍摄的眼底图像质量不好，会造成疾病风险评估系统出现误判现象。
因此，本申请为了对眼底图像进行更好的质量分析，需要通过图像分析模型对眼底图像进行分析处理，来对不同类型的眼底图像进行识别，协助操作人员拍摄出合格的眼底图像。
需要说明的是，在《我国糖尿病视网膜病变筛查的图像采集及阅片指南(2017年)》中，对眼底图像的采集质量作出了要求。因此本申请预先结合该指南，以及实际情况中可能出现的图像质量影响因素，将眼底图像的质量划分为不同类别，如：清晰眼底类型、大面积污损类型、局部曝光类型、全局曝光类型、屈光间质浑浊类型、非眼底类型。
参见图6a-6f，为本申请提供的不同类型眼底图像示意图；其中，图6a为清晰眼底类型，清晰眼底类型是指：正常或包含疾病的眼底图像(包含局部增殖膜、包含玻璃体积血)，该图像不存在严重曝光问题、屈光间质浑浊、局部曝光、大面积污损的眼底图像；图6b为大面积污损类型，大面积污损类型是指：由于镜头原因导致的大片污渍、严重反光，或人为拍摄失误引起的睫毛遮挡、镜头光晕。图6c为全局曝光类型，全局曝光类型是指：图像存在大片黑影(本类型需移除可接受黑影)、整体发暗(本类型需移除可以接受发暗)、大范围过曝(本类型需移除由于疾病引起的过曝)。图6d为局部曝光类型，局部曝光类型是指存在过曝圈，过曝角，或疾病导致不影响大部分结构的阴影，暗圈。图6e为非眼底类型，非眼底类型是指拍摄的图像不是眼底图像；图6f为屈光间质浑浊类型，屈光间质浑浊类型是指没有曝光缺陷，仅由白内障引起的屈光浑浊。
因此在本申请中，预先对图像分类模型进行训练时，主要通过清晰眼底类型、大面积污损类型、局部曝光类型、全局曝光类型、屈光间质浑浊类型、非眼底类型这六类图像集对图像分类模型进行训练，通过训练后的图像分类模型，便能得到目标眼底图像分别属于清晰眼底类型、大面积污损类型、局部曝光类型、全局曝光类型、屈光间质浑浊类型、非眼底类型的概率值，以便根据各个概率值确定目标眼底图像是否为合格图像，从而决定是否需要重新拍摄眼底图像。
S203、根据概率值确定目标眼底图像所属的目标图像类型；目标图像类型为概率值最大的图像类型；
在本申请中，确定目标眼底图像的类型时，可将概率值最大的图像类型作为目标眼底图像的目标图像类型，例如：目标眼底图像属于清晰眼底类型的概率为5％、目标眼底图像属于大面积污损类型的概率为20％、目标眼底图像属于局部曝光类型的概率为65％、目标眼底图像属于全局曝光类型的概率为3％、目标眼底图像属于屈光间质浑浊类型的概率为6％、目标眼底图像属于非眼底类型的概率为1％，可以看出，概率值最大的图像类型为局部曝光类型，因此，该目标眼底图像所属的目标图像类型便为局部曝光类型。
S204、判断目标图像类型是否为全局曝光类型、屈光间质浑浊类型、非眼底类型中的任意一者；若是，则执行S205；若否，则执行S206；
在本实施例中，这六种类型中，可设定清晰眼底类型为没有瑕疵的合格眼底图像类型，大面积污损类型和局部曝光类型为存在瑕疵，但是不影响诊断的合格眼底图像类型，而全局曝光类型、屈光间质浑浊类型、非眼底类型则作为不合格眼底图像类型。
因此在本申请中，得到目标眼底图像所属的目标图像类型之后，可以首先判断该目标图像类型是否属于全局曝光类型、屈光间质浑浊类型、非眼底类型中的任意一者，如果是，则说明目标眼底图像为不合格眼底图像，执行S205，如果不是，则继续S206。
S205、判定目标眼底图像为不合格图像，并生成提示信息，提示信息用来提示用户重新拍摄眼底图像；
S206、判定目标眼底图像为合格图像，将目标眼底图像输入疾病风险评估系统。
在本申请中，如果判定目标眼底图像为合格图像，则还需要判断目标图像类型是否为清晰眼底类型；若否，则生成瑕疵提醒信息。
也就是说，在本申请中，属于全局曝光类型、屈光间质浑浊类型、非眼底类型这三类的图像为非合格图像，属于清晰眼底类型、大面积污损类型和局部曝光类型这三类为合格图像，但是，合格图像并不能说明没有问题，只是说明合格图像对医生阅片或者疾病风险评估系统来说，造成的影响较小。例如：对于大面积污损类型和局部曝光类型的图片，还是存在一定问题的，这时虽然可以将目标眼底图像输入疾病风险评估系统，但是还需要生成瑕疵提醒信息，通过该瑕疵提醒信息来建议拍摄人员重新拍摄图像；同样的，该瑕疵提醒信息与提示信息相同，同样可以包括：质量评分信息、瑕疵原因信息、拍摄建议信息中的至少一者。
例如，目标眼底图像为大面积污损类型，则瑕疵提醒信息中的瑕疵原因信息可以为：由于镜头原因导致的大片污渍、严重反光，或人为拍摄失误引起的睫毛遮挡、镜头光晕，对应的拍摄建议为：建议检查镜头是否有遮挡物，并在拍摄过程中注意是否存在睫毛遮挡、镜头光晕等现象，通过这种辅助拍照方式，能培训拍摄人员的图像内容识别能力以及拍照水平，从而逐渐提高拍摄出的图像质量。
需要说明的是，正常情况下，如果目标眼底图像为合格图像，则会将合格图像直接输入疾病风险评估系统；但是，由于通过瑕疵提醒信息提醒用户后，用户可以选择是否重新拍摄图像；如果重新拍摄图像，则可重新获取目标眼底图像并执行本方案；如果用户选择不重新拍摄图像，则可将目标眼底图像直接输入疾病风险评估系统，通过疾病风险评估系统来进行风险评估。
在这个过程中，如果目标眼底图像为合格图像后，直接将目标眼底图像输入疾病风险评估系统，会出现疾病风险评估系统的重复评估，为了避免疾病风险评估系统对同一患者的重复评估，在本申请中，生成瑕疵提醒信息之后，可以向用户发送是否需要重新拍摄的询问框，如果用户选择重新拍摄图像，则不将目标眼底图像输入疾病风险评估系统；如果用户选择不重新拍摄图像，则将目标眼底图像直接输入疾病风险评估系统；或者，在生成瑕疵提醒信息之后，设定计时器，检测在预定时长内是否接收到重新拍摄的目标眼底图像，如果在该预定时长内，没有接收到拍摄人员重新拍摄的目标眼底图像，则直接将目标眼底图像发送至疾病风险评估系统。
可以看出，在本申请中，读取眼底照片后，首先对图像进行总体的质量判断，合格的类别将送入疾病风险评估系统进行疾病风险评估；不合格的将不会进行疾病风险评估，而只是提示图像质量不合格需要重新拍摄。参见图7，为本申请提供的一种眼底医学图像处理方法整体逻辑框图。通过图7可以看出，将眼底图像输入图像分类模型后，可以分析出眼底图像的类型，针对不合格类型的眼底图像，则提醒质量不合格，重新拍摄，针对合格类型的眼底图像，通过疾病风险评估系统进行风险评估，得出该眼底图像是否患有疾病的结论。
通过本申请提供的这种眼底医学图像处理方法，可以在接收到眼底图像后，利用智能的图像分类算法实时反馈图片质量，并给出相应的打分和提示，使操作人员可以在当场进行相应的调节以获得高质量的图片；通过这种方式，可以显著提高眼底图像的质量，从而可以极大的提高AI产品的评估准确度，从而提高了AI产品的临床适用性，提高筛查效率。
基于上述任意方法实施例，在本实施例中，该图像分类模型为：预先通过不同类型的眼底图像集训练得到的密集连接卷积网络模型。
需要说明的是，目前虽然有很多深度学习模型可以实现对图像进行分类，但是为了提高不同类别特征之间的重用性，降低网络训练难度，本申请主要采用DenseNet(DenseConvolutional Network，密集连接卷积网络模型)作为网络的主干进行训练，DenseNet主要分为密集模块Dense Block和转移模块TransLayer，密集模块主要用于复用图像各级特征，增强网络的反向传导过程，转移模块用于密集模块之间的降维连接，使得特征能在各级网络间复用。将目标眼底图像输入DenseNet后，可通过不同密集模块与转移模块对该目标眼底图像的特征进行识别，得到该目标眼底图像属于不同类型的概率值，该不同类型的概率值的相加为1，通过目标眼底图像属于不同类型的概率值，便可确定目标眼底图像的具体类型，从而来判定目标眼底图像是否为合格图像。
进一步，DenseNet在特征传递过程中梯度信息会损失，因此本申请为了使DenseNet的特征复用更加流畅，通过侧监督模块减轻梯度消失，参见图8，为本申请提供的DenseNet结构示意图，通过该图可以看出，本申请中的DenseNet模型包括：密集模块1、转移模块1、密集模块2、转移模块2、密集模块3、转移模块3、密集模块4和转移模块4，在训练过程中，转移模块1的输出需要输入侧监督模块1，转移模块2的输出需要输入侧监督模块2，转移模块3的输出需要输入侧监督模块3，转移模块4的网络输出需要输入侧监督模块4，通过各个侧监督模块，可以对密集模块和转移模块的输出结果进行监督，以调整密集模块和转移模块权重系数，提高DenseNet的识别准确度。
由于转移模块可减少网络运算，因此本申请将侧监督模块设置在转移模块之后，通过转移模块压缩计算量之后再利用侧监督模块计算，这样方式与在转移模块前利用侧监督模块计算相比，会减少计算量，从而能够极大程度上减少网络的运算，提升DenseNet的训练及分类速度，提高DenseNet的整体性能。在本申请中，侧监督模块主要由1x1卷积层，全连接层以及交叉熵函数构成，参见表1，为本申请提供的DenseNet的完整网络结构，本申请并不对网络结构进行具体限定，用户可通过不同的基础网络结构来对图像进行处理。
表1
可以看出，本方案在接收到眼底图像之后，便会利用密集连接卷积网络模型实时分析眼底图像的质量，并通过相应的提示信息反馈给拍摄人员，以使操作人员在当场进行相应的调节，以获得高质量的图像，并且通过这种反馈培训的方式，逐步提高拍照质量。
下面通过一个具体的应用场景实例描述，来对上述实施例中眼底图像处理方法进行具体说明。参见图9，为本申请提供的一种眼底图像处理方法流程示意图；该处理方法包括：
S301、前端设备A拍摄患者的眼底图像，并将眼底图像发送至服务器；
可以理解的是，该前端设备A可以为眼底相机，用户通过眼底相机拍摄患者的眼底图像后，可以通过自动或手动方式上传至服务器，以通过服务器内的算法引擎，完成对眼底图像的智能判断。该服务器可以为云端服务器也可以是本地服务器；
S302、服务器将眼底图像输入图像分类模型，确定该眼底图像的类型，得到分类结果，得到该眼底图像的质量评价结果，并发送至前端设备B；
需要说明的是，服务器得到的分类结果可以为上文提及的清晰眼底类型、大面积污损类型、局部曝光类型、全局曝光类型、屈光间质浑浊类型、非眼底类型中的任意一者，在本实施例中，无论该眼底图像是合格的眼底图像，还是不合格的眼底图像，均需要向前端设备B发送提示信息，也就是说，该质量评价结果可以为：眼底图像为合格图像或者眼底图像为不合格图像的结果信息、眼底图像的质量评分、眼底图像的分类结果、眼底图像不合格的原因信息、眼底图像的拍摄建议信息中的至少一者。
S303、前端设备B接收质量评价结果，并在界面上进行显示。
在本实施例中，前端设备B的显示界面，可搭载于浏览器或者用来显示医学图像的客户端等等。该前端设备A和前端设备B可以为不同的设备，也就是说，用户通过前端设备A拍摄完眼底图像后，通过服务器处理得到质量评价结果，并通过设备B来显示质量评价结果，当然，如果眼底相机可以显示质量评价结果，则可将该质量评价结果回传到眼底相机设备界面进行展示，以让拍摄人员方面查看质量评价结果。
综上可以看出，本申请通过图像分类模型得到眼底图像的质量评价结果，并通过前端设备的展示页面进行实时显示，通过这种方式，可以及时将质量评价结果反馈给拍摄人员，必要时进行调节，这种长期训练，可以有效提高拍摄人员的拍摄水平。
图10为本申请实施例提供的一种眼底医学图像处理装置结构示意图；参见图10，该图像处理装置可以包括：
图像获取模块31，用于获取用户拍摄的目标眼底图像；
图像处理模块32，用于利用图像分类模型对目标眼底图像进行处理，得到目标眼底图像属于每种图像类型的概率值；
判断模块33，用于根据概率值判断目标眼底图像是否为合格图像；
提示信息生成模块34，用于在目标眼底图像为不合格图像时，生成提示信息，提示信息用来提示用户重新拍摄眼底图像。
其中，图像处理模块32具体用于：利用图像分类模型对目标眼底图像进行处理，得到目标眼底图像分别属于清晰眼底类型、大面积污损类型、局部曝光类型、全局曝光类型、屈光间质浑浊类型、非眼底类型的概率值。
其中，判断模块33包括：
目标图像类型确定单元，用于根据概率值确定目标眼底图像所属的目标图像类型；目标图像类型为概率值最大的图像类型；
第一判断单元，用于判断目标图像类型是否为全局曝光类型、屈光间质浑浊类型、非眼底类型中的任意一者；
第一判定单元，用于在目标图像类型为全局曝光类型、屈光间质浑浊类型、非眼底类型中的任意一者时，判定目标眼底图像为不合格图像；
第二判定单元，用于在目标图像类型不为全局曝光类型、屈光间质浑浊类型、非眼底类型中的任意一者时，判定目标眼底图像为合格图像。
其中，该装置还包括：
类型判断模块，用于判断目标图像类型是否为清晰眼底类型；
提醒信息生成模块，用于在目标图像类型不为清晰眼底类型时，生成瑕疵提醒信息。
其中，该装置还包括：
图像输入模块，用于在目标眼底图像为合格图像时，将目标眼底图像输入疾病风险评估系统。
其中，图像分类模型为：预先通过不同类型的眼底图像集训练得到的密集连接卷积网络模型。
其中，提示信息包括：质量评分信息、不合格原因信息、拍摄建议信息中的至少一者。
可以看出，本申请通过图像处理装置，可以自动识别出质量不合格的眼底图像，并提醒操作人员重新拍摄，这样操作人员便可及时重新拍摄出高质量的图像，在后续对图像的使用过程中，可避免出现因图像质量差而导致的重新拍摄问题。
进一步的，本申请实施例还提供了一种电子设备。其中，该电子设备既可以是如图11所示的服务器40，也可以是如图12所示的终端50。图11和图12均是根据一示例性实施例示出的电子设备结构图，图中的内容不能被认为是对本申请的使用范围的任何限制。
图11为本申请实施例提供的一种服务器的结构示意图。该服务器40，具体可以包括：至少一个处理器41、至少一个存储器42、电源43、通信接口44、输入输出接口45和通信总线46。其中，所述存储器42用于存储计算机程序，所述计算机程序由所述处理器41加载并执行，以实现前述任一实施例公开的由眼底医学图像处理方法中的相关步骤。
本实施例中，电源43用于为服务器40上的各硬件设备提供工作电压；通信接口44能够为服务器40创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口45，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
另外，存储器42作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作系统421、计算机程序422及数据423等，存储方式可以是短暂存储或者永久存储。
其中，操作系统421用于管理与控制服务器40上的各硬件设备以及计算机程序422，以实现处理器41对存储器42中海量数据423的运算与处理，其可以是Windows Server、Netware、Unix、Linux等。计算机程序422除了包括能够用于完成前述任一实施例公开的执行眼底医学图像处理方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。数据423除了可以包括从终端接收的目标眼底图像之外，还可以包括游戏数据、电商交易数据等业务数据。
图12为本申请实施例提供的一种终端的结构示意图，该终端50具体可以包括但不限于智能手机、平板电脑、笔记本电脑或台式电脑等。
通常，本实施例中的终端50包括有：处理器51和存储器52。
其中，处理器51可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器51可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器51也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器51可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器51还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器主要通过图像分析模型实现对目标眼底图像或者目标眼底图像的处理。
存储器52可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器52还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器52至少用于存储执行眼底医学图像处理方法的计算机程序521，其中，该计算机程序被处理器51加载并执行之后，能够实现前述任一实施例公开的眼底医学图像处理方法中的相关步骤。另外，存储器52所存储的资源还可以包括操作系统522和数据523等，存储方式可以是短暂存储或者永久存储。其中，操作系统522可以包括Windows、Unix、Linux等。数据523可以包括但不限于目标眼底图像等。
在一些实施例中，终端50还可包括有显示屏53、输入输出接口54、通信接口55、传感器56、电源57以及通信总线58。
本领域技术人员可以理解，图12中示出的结构并不构成对终端50的限定，可以包括比图示更多或更少的组件。
进一步的，本申请实施例还公开了一种存储介质，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现前述任一实施例公开的眼底医学图像处理方法中的相关步骤。
需要指出的是，上述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
以上对本申请所提供的一种眼底医学图像处理方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (16)
1.一种眼底医学图像处理方法，其特征在于，包括：
获取用户拍摄的目标眼底图像；
利用图像分类模型对所述目标眼底图像进行处理，得到所述目标眼底图像属于每种图像类型的概率值；
根据所述概率值判断所述目标眼底图像是否为合格图像；
若所述目标眼底图像属于合格图像类型的概率值与所述目标眼底图像属于不合格图像类型的概率值之间的差值小于预定阈值，则生成对应的信息，以提示用户重新拍摄眼底图像，或通过所述图像分类模型重新对所述目标眼底图像进行分析；
若所述目标眼底图像为不合格图像，则生成提示信息，所述提示信息用来提示并指导用户重新拍摄眼底图像；所述提示信息包括：不合格原因信息和拍摄建议信息中的至少一者；所述不合格原因信息与所述目标眼底图像属于的图像类型相对应，所述拍摄建议信息与所述不合格原因信息相对应。
2.根据权利要求1所述的眼底医学图像处理方法，其特征在于，所述利用图像分类模型对所述目标眼底图像进行处理，得到所述目标眼底图像属于每种图像类型的概率值，包括：
利用所述图像分类模型对所述目标眼底图像进行处理，得到所述目标眼底图像分别属于清晰眼底类型、大面积污损类型、局部曝光类型、全局曝光类型、屈光间质浑浊类型、非眼底类型的概率值。
3.根据权利要求2所述的眼底医学图像处理方法，其特征在于，根据所述概率值判断所述目标眼底图像是否为合格图像，包括：
根据所述概率值确定所述目标眼底图像所属的目标图像类型；所述目标图像类型为概率值最大的图像类型；
判断所述目标图像类型是否为全局曝光类型、屈光间质浑浊类型、非眼底类型中的任意一者；
若是，则判定所述目标眼底图像为不合格图像；
若否，则判定所述目标眼底图像为合格图像。
4.根据权利要求3所述的眼底医学图像处理方法，其特征在于，所述判定所述目标眼底图像为合格图像之后，还包括：
判断所述目标图像类型是否为清晰眼底类型；
若否，则生成瑕疵提醒信息。
5.根据权利要求3所述的眼底医学图像处理方法，其特征在于，所述判定所述目标眼底图像为合格图像之后，还包括：
将所述目标眼底图像输入疾病风险评估系统。
6.根据权利要求1所述的眼底医学图像处理方法，其特征在于，所述图像分类模型为：预先通过不同类型的眼底图像集训练得到的密集连接卷积网络模型。
7.根据权利要求1至6中任意一项所述的眼底医学图像处理方法，其特征在于，所述提示信息还包括：质量评分信息。
8.一种眼底医学图像处理装置，其特征在于，包括：
图像获取模块，用于获取用户拍摄的目标眼底图像；
图像处理模块，用于利用图像分类模型对所述目标眼底图像进行处理，得到所述目标眼底图像属于每种图像类型的概率值；
判断模块，用于根据所述概率值判断所述目标眼底图像是否为合格图像；
提示信息生成模块，用于若所述目标眼底图像属于合格图像类型的概率值与所述目标眼底图像属于不合格图像类型的概率值之间的差值小于预定阈值，则生成对应的信息，以提示用户重新拍摄眼底图像，或通过所述图像分类模型重新对所述目标眼底图像进行分析；
所述提示信息生成模块，还用于在所述目标眼底图像为不合格图像时，生成提示信息，所述提示信息用来提示用户重新拍摄眼底图像；所述提示信息包括：不合格原因信息和拍摄建议信息中的至少一者；所述不合格原因信息与所述目标眼底图像属于的图像类型相对应，所述拍摄建议信息与所述不合格原因信息相对应。
9.根据权利要求8所述的眼底医学图像处理装置，其特征在于，所述图像处理模块，具体用于：
利用所述图像分类模型对所述目标眼底图像进行处理，得到所述目标眼底图像分别属于清晰眼底类型、大面积污损类型、局部曝光类型、全局曝光类型、屈光间质浑浊类型、非眼底类型的概率值。
10.根据权利要求9所述的眼底医学图像处理装置，其特征在于，所述判断模块，包括：
目标图像类型确定单元，用于根据所述概率值确定所述目标眼底图像所属的目标图像类型；所述目标图像类型为概率值最大的图像类型；
第一判断单元，用于判断所述目标图像类型是否为全局曝光类型、屈光间质浑浊类型、非眼底类型中的任意一者；
第一判定单元，用于在所述目标图像类型为全局曝光类型、屈光间质浑浊类型、非眼底类型中的任意一者时，判定所述目标眼底图像为不合格图像；
第二判定单元，用于在所述目标图像类型不为全局曝光类型、屈光间质浑浊类型、非眼底类型中的任意一者时，判定所述目标眼底图像为合格图像。
11.根据权利要求10所述的眼底医学图像处理装置，其特征在于，所述装置，还包括：
类型判断模块，用于判断所述目标图像类型是否为清晰眼底类型；
提醒信息生成模块，用于在目标图像类型不为清晰眼底类型时，生成瑕疵提醒信息。
12.根据权利要求10所述的眼底医学图像处理装置，其特征在于，所述装置，还包括：
图像输入模块，用于在所述目标眼底图像为合格图像时，将所述目标眼底图像输入疾病风险评估系统。
13.根据权利要求8所述的眼底医学图像处理装置，其特征在于，所述图像分类模型为：预先通过不同类型的眼底图像集训练得到的密集连接卷积网络模型。
14.根据权利要求8至13中任意一项所述的眼底医学图像处理装置，其特征在于，所述提示信息还包括：质量评分信息。
15.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述的眼底医学图像处理方法的步骤。
16.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的眼底医学图像处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910702242.8A CN110428410B (zh) | 2019-07-31 | 2019-07-31 | 眼底医学图像处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910702242.8A CN110428410B (zh) | 2019-07-31 | 2019-07-31 | 眼底医学图像处理方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110428410A CN110428410A (zh) | 2019-11-08 |
| CN110428410B true CN110428410B (zh) | 2024-02-27 |
Family
ID=68411861
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910702242.8A Active CN110428410B (zh) | 2019-07-31 | 2019-07-31 | 眼底医学图像处理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110428410B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111161257A (zh) * | 2019-12-31 | 2020-05-15 | 中山大学中山眼科中心 | 一种广域眼底图像质量控制的方法及人工智能系统 |
| WO2021114638A1 (zh) * | 2020-05-20 | 2021-06-17 | 平安科技（深圳）有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN112330469A (zh) * | 2020-11-04 | 2021-02-05 | 阳光保险集团股份有限公司 | 一种医疗保险理赔材料的预审方法及装置 |
| CN112381821A (zh) * | 2020-12-08 | 2021-02-19 | 北京青燕祥云科技有限公司 | 一种智能手持式眼底相机以及图像分析方法 |
| CN112741651B (zh) * | 2020-12-25 | 2022-11-25 | 上海交通大学烟台信息技术研究院 | 一种内窥镜超声影像的处理方法及系统 |
| CN113132632B (zh) * | 2021-04-06 | 2022-08-19 | 蚂蚁胜信(上海)信息技术有限公司 | 一种针对宠物的辅助拍摄方法和装置 |
| CN113192609A (zh) * | 2021-05-20 | 2021-07-30 | 上海商汤智能科技有限公司 | 数据展示方法及装置、电子设备和存储介质 |
| CN113744254A (zh) * | 2021-09-08 | 2021-12-03 | 中山大学中山眼科中心 | 一种眼底图像分析方法、系统、存储介质和计算机设备 |
| CN114566263A (zh) * | 2022-04-24 | 2022-05-31 | 杭州太美星程医药科技有限公司 | 医学检查图像序列的标记方法、装置、系统及计算机设备 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN204158362U (zh) * | 2014-10-16 | 2015-02-18 | 深圳市莫廷影像技术有限公司 | 用于眼底相机中成像光路的辅助调屈光路 |
| CN106295543A (zh) * | 2016-08-03 | 2017-01-04 | 广州极飞电子科技有限公司 | 多光谱图像获取装置、植被监测方法和装置 |
| CN107451998A (zh) * | 2017-08-08 | 2017-12-08 | 北京大恒普信医疗技术有限公司 | 一种眼底图像质量控制方法 |
| CN107945870A (zh) * | 2017-12-13 | 2018-04-20 | 四川大学 | 基于深度神经网络的早产儿视网膜病变检测方法及装置 |
| CN108182456A (zh) * | 2018-01-23 | 2018-06-19 | 哈工大机器人（合肥）国际创新研究院 | 一种基于深度学习的目标检测模型及其训练方法 |
| CN108346149A (zh) * | 2018-03-02 | 2018-07-31 | 北京郁金香伙伴科技有限公司 | 图像检测、处理方法、装置及终端 |
| CN108399665A (zh) * | 2018-01-03 | 2018-08-14 | 平安科技（深圳）有限公司 | 基于人脸识别的安全监控方法、装置及存储介质 |
| CN108428275A (zh) * | 2018-01-03 | 2018-08-21 | 平安科技（深圳）有限公司 | 基于人脸识别的排号方法、服务器及存储介质 |
| CN109241972A (zh) * | 2018-08-20 | 2019-01-18 | 电子科技大学 | 基于深度学习的图像语义分割方法 |
| CN109902701A (zh) * | 2018-04-12 | 2019-06-18 | 华为技术有限公司 | 图像分类方法和装置 |
| CN110021009A (zh) * | 2019-01-18 | 2019-07-16 | 平安科技（深圳）有限公司 | 一种评估眼底图像质量的方法、装置及存储介质 |
| CN110037651A (zh) * | 2018-01-15 | 2019-07-23 | 江威 | 眼底图像的质量控制方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9706111B2 (en) * | 2015-07-08 | 2017-07-11 | Santa Clara | No-reference image and video quality evaluation |
-
2019
- 2019-07-31 CN CN201910702242.8A patent/CN110428410B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN204158362U (zh) * | 2014-10-16 | 2015-02-18 | 深圳市莫廷影像技术有限公司 | 用于眼底相机中成像光路的辅助调屈光路 |
| CN106295543A (zh) * | 2016-08-03 | 2017-01-04 | 广州极飞电子科技有限公司 | 多光谱图像获取装置、植被监测方法和装置 |
| CN107451998A (zh) * | 2017-08-08 | 2017-12-08 | 北京大恒普信医疗技术有限公司 | 一种眼底图像质量控制方法 |
| CN107945870A (zh) * | 2017-12-13 | 2018-04-20 | 四川大学 | 基于深度神经网络的早产儿视网膜病变检测方法及装置 |
| CN108399665A (zh) * | 2018-01-03 | 2018-08-14 | 平安科技（深圳）有限公司 | 基于人脸识别的安全监控方法、装置及存储介质 |
| CN108428275A (zh) * | 2018-01-03 | 2018-08-21 | 平安科技（深圳）有限公司 | 基于人脸识别的排号方法、服务器及存储介质 |
| CN110037651A (zh) * | 2018-01-15 | 2019-07-23 | 江威 | 眼底图像的质量控制方法及装置 |
| CN108182456A (zh) * | 2018-01-23 | 2018-06-19 | 哈工大机器人（合肥）国际创新研究院 | 一种基于深度学习的目标检测模型及其训练方法 |
| CN108346149A (zh) * | 2018-03-02 | 2018-07-31 | 北京郁金香伙伴科技有限公司 | 图像检测、处理方法、装置及终端 |
| CN109902701A (zh) * | 2018-04-12 | 2019-06-18 | 华为技术有限公司 | 图像分类方法和装置 |
| CN109241972A (zh) * | 2018-08-20 | 2019-01-18 | 电子科技大学 | 基于深度学习的图像语义分割方法 |
| CN110021009A (zh) * | 2019-01-18 | 2019-07-16 | 平安科技（深圳）有限公司 | 一种评估眼底图像质量的方法、装置及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 许莉莉 ; 梁歌 ; 杨智 ; .糖尿病视网膜病变筛查中的眼底图像质量控制.北京生物医学工程.2019,(第02期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110428410A (zh) | 2019-11-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110428410B (zh) | 眼底医学图像处理方法、装置、设备及存储介质 | |
| CN110826519B (zh) | 人脸遮挡检测方法、装置、计算机设备及存储介质 | |
| KR20200005409A (ko) | 안저 이미지 관리 장치 및 안저 이미지의 적합성 판단 방법 | |
| JP2014530730A (ja) | 目の症状を特定するためのシステムおよび方法 | |
| CN109544548A (zh) | 餐盒的缺陷检测方法、装置、服务器、设备和存储介质 | |
| WO2021135557A1 (zh) | 一种人工智能多模成像分析装置 | |
| CN105630175B (zh) | 一种虚拟现实设备及虚拟现实图像生成方法 | |
| CN110808096A (zh) | 基于卷积神经网络的心脏病变自动检测系统 | |
| CN111476777A (zh) | 胸片图像处理方法、系统、可读存储介质和设备 | |
| CN111863216A (zh) | 视力筛查与管理系统及方法 | |
| US11823385B2 (en) | Processing fundus images using machine learning models to generate blood-related predictions | |
| CN108133189B (zh) | 医院候诊信息显示方法 | |
| CN109528156A (zh) | 一种自助式智能化视功能筛查系统 | |
| US20180199876A1 (en) | User Health Monitoring Method, Monitoring Device, and Monitoring Terminal | |
| CN108682013A (zh) | 一种胃镜图像智能处理装置 | |
| CN117495941B (zh) | 一种脂质层厚度评估方法、装置和存储介质 | |
| CN107811606A (zh) | 基于无线传感器网络的智能视力检测仪 | |
| CN204698578U (zh) | 一种基于云服务的医用x射线成像系统 | |
| US11361590B2 (en) | Method and apparatus for monitoring working state | |
| CN109273072A (zh) | 一种远程医疗就诊方法 | |
| CN204909387U (zh) | 基于移动智能终端的检影镜 | |
| CN111161257A (zh) | 一种广域眼底图像质量控制的方法及人工智能系统 | |
| CN116704401A (zh) | 操作类考试的评分校验方法、装置、电子设备及存储介质 | |
| CN102655565B (zh) | 防红眼人像拍摄系统及方法 | |
| CN113744254A (zh) | 一种眼底图像分析方法、系统、存储介质和计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |