CN111696100A - 基于眼底影像确定吸烟程度的方法及设备 - Google Patents
基于眼底影像确定吸烟程度的方法及设备 Download PDFInfo
- Publication number
- CN111696100A CN111696100A CN202010554247.3A CN202010554247A CN111696100A CN 111696100 A CN111696100 A CN 111696100A CN 202010554247 A CN202010554247 A CN 202010554247A CN 111696100 A CN111696100 A CN 111696100A
- Authority
- CN
- China
- Prior art keywords
- fundus
- smoking
- network
- information
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000391 smoking effect Effects 0.000 title claims abstract description 103
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000010801 machine learning Methods 0.000 claims abstract description 33
- 230000004927 fusion Effects 0.000 claims abstract description 31
- 238000000605 extraction Methods 0.000 claims abstract description 22
- 206010025421 Macule Diseases 0.000 claims description 3
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 7
- 210000003161 choroid Anatomy 0.000 description 6
- 201000010099 disease Diseases 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 230000007774 longterm Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000006378 damage Effects 0.000 description 3
- 210000002189 macula lutea Anatomy 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 206010020772 Hypertension Diseases 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 208000026106 cerebrovascular disease Diseases 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 208000029078 coronary artery disease Diseases 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 241000282373 Panthera pardus Species 0.000 description 1
- 208000018262 Peripheral vascular disease Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 206010012601 diabetes mellitus Diseases 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000004220 fundus oculi Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000004256 retinal image Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Abstract
本发明提供基于眼底影像确定吸烟程度的方法及设备，所述方法包括：获取眼底彩照和眼底OCT图像；利用机器学习模型对所述眼底彩照和所述眼底OCT图像进行识别，所述机器学习模型包括第一特征提取网络、第二特征提取网络、融合网络和输出网络，所述第一特征提取网络用于对所述眼底彩照提取第一特征数据，所述第二特征提取网络用于对所述眼底OCT图像提取第二特征数据，所述融合网络用于融合所述第一特征数据和所述第二特征数据得到融合特征数据，所述输出网络用于根据所述融合特征数据确定吸烟程度信息。
Description
技术领域
本发明涉及医学图像识别领域，具体涉及一种基于眼底影像确定吸烟程度的方法及设备。
背景技术
近年来机器学习技术在医学领域得到了广泛的应用，尤其以深度学习为代表的机器学习技术在医疗影像领域被广泛关注。在眼底图像检测方面，深度学习技术可以较为准确的检测出眼底图像某一特征，如利用大量糖尿病患者的眼底图像样本对深度学习模型进行训练，利用训练后的模型即可对眼底图像进行糖尿病检测。
吸烟是许多心、脑血管疾病的主要危险因素，吸烟者的冠心病、高血压病、脑血管病及周围血管病的发病率均明显升高。统计资料表明，冠心病和高血压病患者中75％有吸烟史。长期的医学研究表明，吸烟可以导致眼底的诸多变化，医学上比较明显的就是长期吸烟会导致眼底的脉络膜厚度变薄。
吸烟程度与对身体健康的损害程度有直接的关系，对于很多疾病而言，为了更准确地了解疾病情况或者病因等，都有必要了解患者的吸烟情况，而目前常由吸烟者主观表达是否有吸烟史，或者表达其大概的吸烟量等等，通过患者主观描述了解吸烟情况的准确性较差。
发明内容
有鉴于此，本发明提供一种基于眼底影像确定吸烟程度的方法，包括：
获取眼底彩照和眼底OCT图像；
利用机器学习模型对所述眼底彩照和所述眼底OCT图像进行识别，所述机器学习模型包括第一特征提取网络、第二特征提取网络、融合网络和输出网络，所述第一特征提取网络用于对所述眼底彩照提取第一特征数据，所述第二特征提取网络用于对所述眼底OCT图像提取第二特征数据，所述融合网络用于融合所述第一特征数据和所述第二特征数据得到融合特征数据，所述输出网络用于根据所述融合特征数据确定吸烟程度信息。
可选地，在利用机器学习模型对所述眼底彩照和所述眼底OCT图像进行识别之前，还包括：获取年龄信息和/或性别信息；
所述机器学习模型包括多个输出网络，其中一个输出网络用于根据所述融合特征数据确定吸烟程度信息，其它输出网络用于根据所述融合特征数据确定年龄信息和/或性别信息。
本发明还提供一种吸烟程度模型训练方法，包括：
获取多个训练数据，所述训练数据包括眼底彩照、眼底OCT图像和吸烟程度信息；
利用所述多个训练数据对机器学习模型进行训练，所述机器学习模型包括第一特征提取网络、第二特征提取网络、融合网络和输出网络，所述第一特征提取网络用于对所述眼底彩照提取第一特征数据，所述第二特征提取网络用于对所述眼底OCT图像提取第二特征数据，所述融合网络用于融合所述第一特征数据和所述第二特征数据得到融合特征数据，所述输出网络用于根据所述融合特征数据确定吸烟程度信息；
根据输出网络输出的吸烟程度信息与训练数据中的吸烟程度信息的差异优化所述机器学习模型的参数。
可选地，所述训练数据还包括年龄信息和/或性别信息；
所述机器学习模型包括多个输出网络，其中一个输出网络用于根据所述融合特征数据确定吸烟程度信息，其它输出网络用于根据所述融合特征数据确定年龄信息和/或性别信息；
根据输出网络输出的吸烟程度信息与训练数据中的吸烟程度信息的差异，以及输出网络输出的年龄信息和/或性别信息与训练数据中的年龄信息和/或性别信息的差异优化所述机器学习模型的参数。
可选地，所述眼底OCT图像包括黄斑中心区域。
可选地，所述眼底彩照是与所述眼底OCT图像位置相应的局部图像。
可选地，所述融合网络为全连接网络。
可选地，所述吸烟程度信息是用于表示是否有超过一年的吸烟史的信息。
相应地，本发明提供一种基于眼底影像确定吸烟程度的设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述基于眼底影像确定吸烟程度的方法。
相应地，本发明还提供一种吸烟程度模型训练设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述吸烟程度模型训练方法。
本发明方案使用机器学习模型对眼底彩照和OCT图像这两种图像进行特征提取，由于长期吸烟会导致眼底的脉络膜厚度变薄，眼底彩照中如豹纹状线条等特征能够体现脉络膜厚度的变化，OCT图像能够更直接地体现这一重要特征，融合来自两种眼底影像的特征，从而得到关于吸烟程度的客观量化指标，此结果更佳准确，该指标可用于表达吸烟对人体的危害程度或者对疾病的影响程度。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中的一种机器学习模型的结构图；
图2为本发明实施例中的眼底OCT图像与眼底彩照的整合对应示意图；
图3为本发明实施例中的眼底局部彩照；
图4为本发明实施例中的一种优选的机器学习模型的结构图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本发明实施例提供一种基于眼底影像确定吸烟程度的方法，由计算机或服务器等电子设备执行，根据眼底影像判断人体的吸烟情况。
首先获取眼底彩照和眼底OCT图像。眼底彩照是通过眼底相机对视网膜拍摄的照片，通常也称之为眼底图像或者眼底视网膜图像。
眼底OCT图像是利用眼中不同组织对光的反射性，通过低相干性光干涉测量仪，比较反射光波和参照光波测定发射光波的延迟时间和反射强度，分析出不同组织的结构及其距离，经计算及处理得到的图像，图像以伪彩形式显示组织的断面结构。对一只眼睛采集的眼底OCT图像通常是多张，每次扫描一个区域生成该区域的OCT图像，即每张OCT图像所反映的眼底区域不同。
本方案可以只获取一张对应一个区域的眼底OCT图像，也可以是多张对应不同区域的眼底OCT图像。获取的眼底彩照、眼底OCT图像应当来自同一人，眼底彩照、眼底OCT图像可以是不同眼睛的图像，优选为同一眼睛的图像，不限于左眼或右眼。
利用机器学习模型对眼底彩照和眼底OCT图像进行识别。如图1所示，本实施例的机器学习模型包括第一特征提取网络11、第二特征提取网络12、融合网络13和输出网络14。本申请所述的网络是指神经网络，尤其是卷积神经网络，这些网络可以被理解为整个模型的子网络或者层。
第一特征提取网络11、第二特征提取网络12的结构可以是相同或不同的。第一特征提取网络11用于对眼底彩照提取第一特征数据，第二特征提取网络12用于对眼底OCT图像提取第二特征数据，这些特征数据也称为特征向量或特征图(feature map)。
融合网络13用于融合第一特征数据和第二特征数据得到融合特征数据，本领域中融合两组特征数据的方式有多种，比如通道数增加或者特征图相加通道数不变的融合方式都是可行的，因此融合网络13有多种可选的结构。
输出网络14用于根据融合特征数据确定吸烟程度信息。吸烟程度信息有多种可选实施方式，比如可以是吸烟频率(如每天吸烟只数)、吸烟严重等级(如不吸烟、轻度吸烟、中度吸烟、重度吸烟)、吸烟指数(每天吸烟的数量×吸烟年数)等信息，所以可以将吸烟程度的判断问题作为分类问题或者回归预测问题，并根据需求配置合适的输出网络和激活函数。
本发明实施例使用机器学习模型对眼底彩照和OCT图像这两种图像进行特征提取，由于长期吸烟会导致眼底的脉络膜厚度变薄，眼底彩照中如豹纹状线条等特征能够体现脉络膜厚度的变化，OCT图像能够更直接地体现这一重要特征，融合来自两种眼底影像的特征，从而得到关于吸烟程度的客观量化指标，此结果更佳准确，该指标可用于表达吸烟对人体的危害程度或者对疾病的影响程度。
在一个优选的实施例中，使用一张眼底OCT图像和相应的眼底局部彩照作为模型的输入。如图2所示，本实施例的眼底OCT图像包括黄斑中心区域，在黄斑部分纵向切面图选择黄斑中心的切面，整合对应眼底图像的局部区域02，进而获得如图3所示的与眼底OCT图像位置相应的局部图像。
本实施例采用如图4所示的模型结构，其中包括两个卷积神经网络(Convolutional Neural Networks,CNN)和全连接网络(全连接层)。第一卷积神经网络21用于对如图2所示的眼底OCT图像提取特征数据，第二卷积神经网络22用于对如图3所示的眼底图像提取特征数据，两个CNN的特征空间通过全连接网络23连接在一起得到融合特征数据，最终通过融合特征数据得到吸烟程度信息。
为了进一步提高模型的准确性，在训练模型时加入年龄信息和/或性别信息进行损失计算，使得模型还能够根据上述融合特征数据确定年龄信息和/或性别信息。因此可以为模型配置更多的输出网络，比如三个输出网络，分别根据全连接层23输出的融合特征数据确定吸烟程度信息、年龄信息、性别信息。这种优选的实施方式不但增加了模型的功能，即判断年龄和/或性别的功能，还能够通过增加对辅助信息的判断来提高模型对吸烟程度的判断准确性。
下面介绍模型训练方式，本实施例提供一种吸烟程度模型训练方法，由计算机或服务器等电子设备执行，训练一个能够确定人体吸烟程度的机器学习模型，即训练如图1或图4所示模型的方案。模型中的网络具有初始化的参数，本实施例使用训练数据对这些网络进行训练以优化这些参数，从而使网络能够输出吸烟程度信息。模型结构及其中各个网络的处理方式可参照上述实施例，此处不再赘述。
所使用的训练数据包括眼底彩照、眼底OCT图像和吸烟程度信息(吸烟程度标签)。吸烟程度标签可以是如过去一年平均每天吸烟量、吸烟指数(每天吸烟的数量×吸烟年数)的数值标签；也可以如重度吸烟、轻度吸烟、不吸烟等分类标签。
本方案所使用的训练数据中可以只包括一张对应一个区域的眼底OCT图像，也可以是多张对应不同区域的眼底OCT图像。训练数据优选为一张包括黄斑中心区域的眼底OCT图像，和与其位置相应的局部眼底彩照。
一个训练数据中的眼底彩照、眼底OCT图像和吸烟程度信息应当来自同一人，眼底彩照、眼底OCT图像可以是不同眼睛的图像，优选为同一眼睛的图像，不限于左眼或右眼。
利用大量训练数据对机器学习模型进行训练，训练过程中，根据输出网络输出的吸烟程度信息与训练数据中的吸烟程度信息(吸烟程度标签)的差异优化机器学习模型的参数。模型根据上述差异确定损失值(loss)，通过反向传递来优化自身的参数，从而减小上述差异。
本发明实施例使用眼底OCT图像和眼底彩照这两种影像对机器学习模型进行训练，眼底OCT图像可体现长期吸烟导致的脉络膜变薄特征，机器学习模型对眼底彩照和OCT图像这两种图像进行特征提取并融合特征，进而输出关于吸烟程度的量化结果，通过与吸烟程度标签比对来优化模型参数，可以提高模型对于吸烟程度判断的准确性。
为了进一步提高模型的准确性，所使用的训练数据还包括年龄信息(年龄标签)和/或性别信息(性别标签)。机器学习模型包括多个输出网络，其中一个输出网络用于根据融合特征数据确定吸烟程度信息，其它输出网络用于根据融合特征数据确定年龄信息和/或性别信息。
由此，根据输出网络输出的吸烟程度信息与训练数据中的吸烟程度信息的差异，以及输出网络输出的年龄信息和/或性别信息与训练数据中的年龄信息和/或性别信息的差异优化机器学习模型的参数。
作为举例，比如训练数据中有吸烟程度标签、年龄标签、性别标签，以及眼底彩照和眼底OCT图像，模型有三个输出网络，分别输出吸烟程度信息、年龄信息、性别信息，总的损失函数可表示为Ltot＝f(Lsmoking，Lage,LGENDER)，其中Lsmoking表示以吸烟程度信息和吸烟程度标签为输入的损失函数，Lage表示以年龄信息和年龄标签为输入的损失函数，LGENDER表示以性别信息和性别标签为输入的损失函数。上述各种损失函数，根据标签形式可采用交叉熵、均方误差(MSE，Mean Square Error)和均方差(MAE,Mean Average Error)等函数。
这三个损失与总的损失之间是一种函数关系，比如是线性或非线性加权关系，如Ltot＝wageLage+wgenderLgender+wsmokingLsmoking，wage、wgender、wsmoking分别为权重。
在训练模型时加入年龄信息、性别信息这种附加的信息，使模型预测吸烟程度的同时，对这些附加信息进行预测，通过附加的损失计算可以优化模型的性能，提高对吸烟程度的判断准确性。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (10)
1.一种基于眼底影像确定吸烟程度的方法，其特征在于，包括：
获取眼底彩照和眼底OCT图像；
利用机器学习模型对所述眼底彩照和所述眼底OCT图像进行识别，所述机器学习模型包括第一特征提取网络、第二特征提取网络、融合网络和输出网络，所述第一特征提取网络用于对所述眼底彩照提取第一特征数据，所述第二特征提取网络用于对所述眼底OCT图像提取第二特征数据，所述融合网络用于融合所述第一特征数据和所述第二特征数据得到融合特征数据，所述输出网络用于根据所述融合特征数据确定吸烟程度信息。
2.根据权利要求1所述的方法，其特征在于，在利用机器学习模型对所述眼底彩照和所述眼底OCT图像进行识别之前，还包括：获取年龄信息和/或性别信息；
所述机器学习模型包括多个输出网络，其中一个输出网络用于根据所述融合特征数据确定吸烟程度信息，其它输出网络用于根据所述融合特征数据确定年龄信息和/或性别信息。
3.一种吸烟程度模型训练方法，其特征在于，包括：
获取多个训练数据，所述训练数据包括眼底彩照、眼底OCT图像和吸烟程度信息；
根据输出网络输出的吸烟程度信息与训练数据中的吸烟程度信息的差异优化所述机器学习模型的参数。
4.根据权利要求3所述的方法，其特征在于，所述训练数据还包括年龄信息和/或性别信息；
所述机器学习模型包括多个输出网络，其中一个输出网络用于根据所述融合特征数据确定吸烟程度信息，其它输出网络用于根据所述融合特征数据确定年龄信息和/或性别信息；
根据输出网络输出的吸烟程度信息与训练数据中的吸烟程度信息的差异，以及输出网络输出的年龄信息和/或性别信息与训练数据中的年龄信息和/或性别信息的差异优化所述机器学习模型的参数。
5.根据权利要求1-4中任一项所述的方法，其特征在于，所述眼底OCT图像包括黄斑中心区域。
6.根据权利要求1-5中任一项所述的方法，其特征在于，所述眼底彩照是与所述眼底OCT图像位置相应的局部图像。
7.根据权利要求1-4中任一项所述的方法，其特征在于，所述融合网络为全连接网络。
8.根据权利要求1-4中任一项所述的方法，其特征在于，所述吸烟程度信息是用于表示是否有超过一年的吸烟史的信息。
9.一种基于眼底影像确定吸烟程度的设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如权利要求1、2、5-8中任意一项所述的基于眼底影像确定吸烟程度的方法。
10.一种吸烟程度模型训练设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如权利要求3-8中任意一项所述的吸烟程度模型训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010554247.3A CN111696100A (zh) | 2020-06-17 | 2020-06-17 | 基于眼底影像确定吸烟程度的方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010554247.3A CN111696100A (zh) | 2020-06-17 | 2020-06-17 | 基于眼底影像确定吸烟程度的方法及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111696100A true CN111696100A (zh) | 2020-09-22 |
Family
ID=72481711
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010554247.3A Pending CN111696100A (zh) | 2020-06-17 | 2020-06-17 | 基于眼底影像确定吸烟程度的方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111696100A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113158822A (zh) * | 2021-03-29 | 2021-07-23 | 中国科学院深圳先进技术研究院 | 基于跨模态关系推理的眼部检测数据的分类方法及装置 |
| CN113158821A (zh) * | 2021-03-29 | 2021-07-23 | 中国科学院深圳先进技术研究院 | 基于多模态的眼部检测数据的处理方法、装置及终端设备 |
| CN113499033A (zh) * | 2021-05-20 | 2021-10-15 | 北京鹰瞳科技发展股份有限公司 | 一种医疗数据方法及系统 |
| CN114120433A (zh) * | 2021-11-30 | 2022-03-01 | 北京百度网讯科技有限公司 | 图像处理方法、图像处理装置、电子设备和介质 |
| CN114847871A (zh) * | 2022-07-06 | 2022-08-05 | 北京鹰瞳科技发展股份有限公司 | 用于分析被检者的眼底变化趋势的方法、系统和相关产品 |
| WO2022166399A1 (zh) * | 2021-02-04 | 2022-08-11 | 北京邮电大学 | 基于双模态深度学习的眼底疾病辅助诊断方法和装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108573209A (zh) * | 2018-02-28 | 2018-09-25 | 天眼智通(香港)有限公司 | 一种基于人脸的单模型多输出的年龄性别识别方法及系统 |
| WO2019206209A1 (zh) * | 2018-04-26 | 2019-10-31 | 上海鹰瞳医疗科技有限公司 | 基于机器学习的眼底图像检测方法、装置及系统 |
| CN110599480A (zh) * | 2019-09-18 | 2019-12-20 | 上海鹰瞳医疗科技有限公司 | 多源输入的眼底图像分类方法和设备 |
| CN110838358A (zh) * | 2019-10-09 | 2020-02-25 | 南通大学 | 一种个性化的结合眼底图像的糖尿病智能信息管理系统 |
| CN111028232A (zh) * | 2019-12-31 | 2020-04-17 | 上海鹰瞳医疗科技有限公司 | 基于眼底图像的糖尿病分类方法及设备 |
| CN111048210A (zh) * | 2019-12-31 | 2020-04-21 | 上海鹰瞳医疗科技有限公司 | 基于眼底图像评估疾病风险的方法及设备 |
| CN111080643A (zh) * | 2019-12-31 | 2020-04-28 | 上海鹰瞳医疗科技有限公司 | 基于眼底图像的糖尿病及相关疾病的分类方法及设备 |
| CN111292286A (zh) * | 2018-11-21 | 2020-06-16 | 福州依影健康科技有限公司 | 糖网眼底特征数据变化的分析方法与系统，及存储设备 |
-
2020
- 2020-06-17 CN CN202010554247.3A patent/CN111696100A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108573209A (zh) * | 2018-02-28 | 2018-09-25 | 天眼智通(香港)有限公司 | 一种基于人脸的单模型多输出的年龄性别识别方法及系统 |
| WO2019206209A1 (zh) * | 2018-04-26 | 2019-10-31 | 上海鹰瞳医疗科技有限公司 | 基于机器学习的眼底图像检测方法、装置及系统 |
| CN111292286A (zh) * | 2018-11-21 | 2020-06-16 | 福州依影健康科技有限公司 | 糖网眼底特征数据变化的分析方法与系统，及存储设备 |
| CN110599480A (zh) * | 2019-09-18 | 2019-12-20 | 上海鹰瞳医疗科技有限公司 | 多源输入的眼底图像分类方法和设备 |
| CN110838358A (zh) * | 2019-10-09 | 2020-02-25 | 南通大学 | 一种个性化的结合眼底图像的糖尿病智能信息管理系统 |
| CN111028232A (zh) * | 2019-12-31 | 2020-04-17 | 上海鹰瞳医疗科技有限公司 | 基于眼底图像的糖尿病分类方法及设备 |
| CN111048210A (zh) * | 2019-12-31 | 2020-04-21 | 上海鹰瞳医疗科技有限公司 | 基于眼底图像评估疾病风险的方法及设备 |
| CN111080643A (zh) * | 2019-12-31 | 2020-04-28 | 上海鹰瞳医疗科技有限公司 | 基于眼底图像的糖尿病及相关疾病的分类方法及设备 |
Non-Patent Citations (3)
| Title |
|---|
| EHSAN VAGHEFI ET.AL: "Detection of smoking status from retinal images; a Convolutional Neural Network study", pages 1 - 9 * |
| WEISEN WANG ET.AL: "Two-Stream CNN with Loose Pair Training for Multi-modal AMD Categorization", pages 156 - 164 * |
| 杜霞;: "基于深度卷积网络的糖尿病性视网膜病变分类", no. 11, pages 16 - 21 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022166399A1 (zh) * | 2021-02-04 | 2022-08-11 | 北京邮电大学 | 基于双模态深度学习的眼底疾病辅助诊断方法和装置 |
| CN113158822A (zh) * | 2021-03-29 | 2021-07-23 | 中国科学院深圳先进技术研究院 | 基于跨模态关系推理的眼部检测数据的分类方法及装置 |
| CN113158821A (zh) * | 2021-03-29 | 2021-07-23 | 中国科学院深圳先进技术研究院 | 基于多模态的眼部检测数据的处理方法、装置及终端设备 |
| WO2022205779A1 (zh) * | 2021-03-29 | 2022-10-06 | 中国科学院深圳先进技术研究院 | 基于多模态的眼部检测数据的处理方法、装置及终端设备 |
| CN113158822B (zh) * | 2021-03-29 | 2023-09-29 | 中国科学院深圳先进技术研究院 | 基于跨模态关系推理的眼部检测数据的分类方法及装置 |
| CN113158821B (zh) * | 2021-03-29 | 2024-04-12 | 中国科学院深圳先进技术研究院 | 基于多模态的眼部检测数据的处理方法、装置及终端设备 |
| CN113499033A (zh) * | 2021-05-20 | 2021-10-15 | 北京鹰瞳科技发展股份有限公司 | 一种医疗数据方法及系统 |
| CN114120433A (zh) * | 2021-11-30 | 2022-03-01 | 北京百度网讯科技有限公司 | 图像处理方法、图像处理装置、电子设备和介质 |
| CN114120433B (zh) * | 2021-11-30 | 2022-12-30 | 北京百度网讯科技有限公司 | 图像处理方法、图像处理装置、电子设备和介质 |
| CN114847871A (zh) * | 2022-07-06 | 2022-08-05 | 北京鹰瞳科技发展股份有限公司 | 用于分析被检者的眼底变化趋势的方法、系统和相关产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111696100A (zh) | 基于眼底影像确定吸烟程度的方法及设备 | |
| US11869184B2 (en) | Method and device for assisting heart disease diagnosis | |
| KR20200005404A (ko) | 진단 보조 시스템 | |
| Kim et al. | Effects of hypertension, diabetes, and smoking on age and sex prediction from retinal fundus images | |
| EP3373798B1 (en) | Method and system for classifying optic nerve head | |
| CN108771530A (zh) | 基于深度神经网络的眼底病变筛查系统 | |
| JP2023145613A (ja) | 視力を予測するための眼の画像を処理するための深層学習の使用 | |
| CN111080643A (zh) | 基于眼底图像的糖尿病及相关疾病的分类方法及设备 | |
| CN111862020B (zh) | 一种眼前节生理年龄预测方法、装置、服务器及存储介质 | |
| JP7066959B2 (ja) | 網膜血管系画像からの高血圧のレベルの判定 | |
| Aslam et al. | Iris recognition in the presence of ocular disease | |
| Kumar et al. | Automated detection of eye related diseases using digital image processing | |
| CN112869697A (zh) | 同时识别糖尿病视网膜病变的分期和病变特征的判断方法 | |
| CN114496243A (zh) | 数据处理方法、装置、存储介质及电子设备 | |
| Zia et al. | A multilevel deep feature selection framework for diabetic retinopathy image classification | |
| Reddy et al. | Discovering optimal algorithm to predict diabetic retinopathy using novel assessment methods | |
| Phridviraj et al. | A bi-directional Long Short-Term Memory-based Diabetic Retinopathy detection model using retinal fundus images | |
| Asirvatham et al. | Hybrid deep learning network to classify eye diseases | |
| US20230047199A1 (en) | Apparatus and method for predicting biometrics based on fundus image | |
| Rakhmetulayeva et al. | IMPLEMENTATION OF CONVOLUTIONAL NEURAL NETWORK FOR PREDICTING GLAUCOMA FROM FUNDUS IMAGES. | |
| CN115170492A (zh) | 一种基于ai技术的白内障患者术后视力智能预测评估系统 | |
| US11766223B1 (en) | Systems and methods for processing of fundus images | |
| Sivapriya et al. | Detection and Segmentation of Retinopathy Diseases using EAD-Net with Fundus Images | |
| Bhuiyan et al. | A Novel Retinal Vascular Feature and Machine Learning-based Brain White Matter Lesion Prediction Model | |
| US20240144478A1 (en) | Method and device for assisting heart disease diagnosis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200922 |