CN114680822A - 一种基于眼部图像的快速筛查系统 - Google Patents
一种基于眼部图像的快速筛查系统 Download PDFInfo
- Publication number
- CN114680822A CN114680822A CN202110941069.4A CN202110941069A CN114680822A CN 114680822 A CN114680822 A CN 114680822A CN 202110941069 A CN202110941069 A CN 202110941069A CN 114680822 A CN114680822 A CN 114680822A
- Authority
- CN
- China
- Prior art keywords
- image
- eye
- rapid screening
- eye region
- feature extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012216 screening Methods 0.000 title claims abstract description 62
- 238000000605 extraction Methods 0.000 claims abstract description 53
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000007781 pre-processing Methods 0.000 claims abstract description 22
- 238000010586 diagram Methods 0.000 claims abstract description 17
- 230000000007 visual effect Effects 0.000 claims abstract description 6
- 210000001508 eye Anatomy 0.000 claims description 177
- 201000010099 disease Diseases 0.000 claims description 45
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 45
- 238000001514 detection method Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 12
- 210000005252 bulbus oculi Anatomy 0.000 claims description 7
- 238000013145 classification model Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 210000000744 eyelid Anatomy 0.000 claims description 3
- 210000001747 pupil Anatomy 0.000 claims description 3
- 238000001467 acupuncture Methods 0.000 claims description 2
- 230000001815 facial effect Effects 0.000 claims description 2
- 238000012546 transfer Methods 0.000 claims description 2
- 241000745988 Phyllostachys Species 0.000 claims 1
- 240000005499 Sasa Species 0.000 claims 1
- 210000000887 face Anatomy 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 5
- 238000013135 deep learning Methods 0.000 description 6
- 206010035664 Pneumonia Diseases 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 238000012800 visualization Methods 0.000 description 3
- 206010012601 diabetes mellitus Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 208000030533 eye disease Diseases 0.000 description 2
- 208000024827 Alzheimer disease Diseases 0.000 description 1
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- 206010051625 Conjunctival hyperaemia Diseases 0.000 description 1
- 206010010741 Conjunctivitis Diseases 0.000 description 1
- 206010012667 Diabetic glaucoma Diseases 0.000 description 1
- 206010012689 Diabetic retinopathy Diseases 0.000 description 1
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 208000029560 autism spectrum disease Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000028327 secretion Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000009385 viral infection Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Primary Health Care (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Ophthalmology & Optometry (AREA)
- Epidemiology (AREA)
- Signal Processing (AREA)
- Radiology & Medical Imaging (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Evolutionary Computation (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Fuzzy Systems (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于眼部图像的快速筛查系统，包括人脸图像预处理单元，用于对人脸图像进行预处理并得到眼部区域图像；眼部图像特征提取单元，用于通过训练后的眼部图像特征提取模型提取眼部区域图像的基础特征；图像级分类单元，用于根据基础特征进行图像级的多类患病类别预测并得到图像级分类结果；病患级分类单元，根据图像级分类结果进行病患级分类得到病患级预测结果；以及可视化辅助决策单元，根据图像级分类过程中的所述眼部图像特征提取模型的注意力分布生成相应的热力图。本发明还涉及相应的方法。
Description
技术领域
本发明涉及计算机视觉领域，具体而言，涉及一种基于眼部图像的快速筛查系统。本发明还涉及相关的方法。
背景技术
在过去的几十年里，基于深度学习(DL)的人工智能技术在各种计算机视觉任务方面取得了显著的进展，例如目标检测、图像分类、实例分割和物体识别等等。
深度学习的优势使其在医学图像分析中也得到了广泛的应用，例如，根据医学图像用来对不同疾病进行分类。已知的应用领域已经不可自闭症谱系障碍或大脑中的阿尔茨海默病，乳腺癌，糖尿病性视网膜病变和青光眼，以及肺癌或肺炎等常见病症。
此外，已有一些工作采用深度学习技术学习并提取CT影像特征进行疾病患者的识别与筛查，并取得良好效果。但是，CT影像的拍摄需要使用专业的CT设备进行拍摄并需要依赖专业人员进行操作，同时由于进行拍摄并成像的耗时较长，所以无法快速对CT影像特征进行提取并完成疾病患者的识别与筛查。也就是说，现有的基于CT影像特征的疾病患者筛查技术中存在时效性差、设备要求高、依赖专业人员等不足，难以满足大规模和快速筛查的需求。
发明内容
本发明能够解决上述问题。本发明提供一种基于眼表图像的快速筛查系统。本发明利用普通照相机就可提取图像，不需使用专业的CT设备；并且不需依赖专业人员就可操作。利用本发明，可以通过拍摄得到的人脸图像中的眼部区域来进行患者的疾病风险筛查，例如可以对已知的基于眼表特征的多类疾病(如新冠肺炎，非新冠肺炎，眼病，糖尿病等)的患者进行风险筛查。
根据本发明的一个主要方面，本发明提供一种基于眼表图像的快速筛查系统，包括：
人脸图像预处理单元，用于对人脸图像进行预处理并得到眼部区域图像；
眼部图像特征提取单元，用于通过训练后的眼部图像特征提取模型提取眼部区域图像的基础特征；
图像级分类单元，用于根据基础特征进行图像级的多类患病类别预测并得到图像级分类结果；
病患级分类单元，根据图像级分类结果进行病患级分类得到病患级预测结果；以及
可视化辅助决策单元，根据所述图像级分类过程中的模型注意力分布生成相应的热力图。
优选地，该快速筛查系统还包括图像获取单元。更优选地，该图像获取单元是照相机。
优选地，该快速筛查系统还包括系统控制单元，用于负责各单元的状态控制以及各单元间的信息传递。
优选地，在人脸图像预处理单元中部署了人脸检测模型，该模型包括三个部分功能：A1，通过人脸检测模型获取人脸图像中人脸的位置区域以及面部关键点坐标；A2，根据面部关键点坐标中的人脸左右眼关键点，得到人脸眼部区域的横纵坐标的最大值和最小值，同时对横纵坐标进行一定数值的向外扩充来确保人脸眼部区域全部纳入特征提取范围内，并对人脸眼部区域进行截取，得到眼部截取图像；A3，对眼部截取图像进行筛选，得到眼部区域图像。
优选地，眼部图像特征提取模型包括以下功能：B1，将眼部区域图像输入眼部图像特征提取模型中提取基础特征。更优选地，该眼部图像特征提取模型包括神经网络。
优选地，图像级分类单元的功能，包含了以下功能：C1，基于提取的特征，优选地采用线性分类器，进行结果预测和分类；C2，通过构建损失函数，根据图像级分类结果和眼部区域图像的真实患病类别，对眼部图像特征提取模型和分类特征进行监督学习；C3，优选地采用SGD优化器对眼部图像特征提取模型进行迭代训练。
优选地，该病患级分类部单元，包括以下功能：D1，将患病类别中最紧急的疾病设为最高优先级别患病类别，对于一位患者的多张眼部区域图像中，当预测得到的图像级分类结果中的最高优先级别患病类别的个数大于等于1时，判断患者患有该疾病的可能性较大，从而得到病患级预测结果。
优选地，该可视化辅助决策单元，包括以下功能：E1，根据模型分类过程中图像各区域参与得分评估的权重和影响力，优选地以热力图的形式将各区域的重要度进行可视化展示。
根据本发明的一个主要方面提供一种基于眼表图像的快速筛查方法，包括：
用于对人脸图像进行预处理并得到眼部区域图像；
用于通过训练后的眼部图像特征提取模型提取眼部区域图像的基础特征；
用于根据基础特征进行图像级的多类患病类别预测并得到图像级分类结果；
根据图像级分类结果进行病患级分类得到病患级预测结果；以及根据所述图像级分类过程中的模型注意力分布生成相应的热力图。
优选地，该快速筛查方法包括获取人脸图像。
根据本发明的另一个主要方面，提供一种基于眼表图像的快速筛查系统，包括：
人脸图像预处理单元，用于对人脸图像进行预处理并得到眼部区域图像；
眼部图像特征提取单元，用于通过训练后的眼部图像特征提取模型提取眼部区域图像的基础特征；以及
图像级分类单元，用于根据基础特征进行图像级的类别预测并得到图像级分类结果。
优选地，所述类别是患病类别。
根据本发明的又一个主要方面，提供一种基于眼表图像的快速筛查方法，包括：
对人的图像进行预处理并得到眼部区域图像；
用通过训练后的眼部图像特征提取模型提取眼部区域图像的基础特征；以及
根据基础特征进行图像级的类别预测并得到图像级分类结果；其中，将针对同一眼睛的多张眼部区域图像都输入到图像级分类模型进行图像级分类之后，将图像级分类结果都输入到病患级分类模型进行病患级分类。
优选地，该人的图像是人脸图像。
优选地，该眼部区域包括眼珠、眼白及上下眼睑。
优选地，左右眼各自包括至少32个分布在所述眼部区域中的关键点；所述用通过训练后的眼部图像特征提取模型提取眼部区域图像的基础特征的步骤包括，根据这些关键点的坐标得到所述眼部区域的横纵坐标的最大值和最小值。
优选地，该同时对横纵坐标进行第一数值的向外扩充来确保人脸眼部区域全部纳入特征提取范围内。
优选地，该第一数值是左右眼中心点之间的距离的30％。
优选地，该用通过训练后的眼部图像特征提取模型提取眼部区域图像的基础特征的步骤包括，将所述眼部区域图像与标准眼部区域图像对齐。
优选地，该将所述眼部区域图像与标准眼部区域图像对齐的步骤包括，把所述眼部区域图像与标准眼部区域图像的晴明、承泣、瞳子、球后、攒竹、丝竹空、太阳穴这7个眼部穴位对齐。
优选地，该用通过训练后的眼部图像特征提取模型提取眼部区域图像的基础特征的步骤包括，分别以所述7个眼部穴位为中心，以第二数值为半径，取一个眼部圆的面积，利用所述特征提取模型，以此分别提取7个局部特征向量；并且，以眼部整体图像区域作为输入，利用所述特征提取模型，提取1个全局特征向量。
优选地，该第二数值是眼球直径。
优选地，该第二数值是左右眼中心点之间的距离的30％。
优选地，该根据基础特征进行图像级的类别预测的步骤包括，根据所述7个局部特征向量，以及所述1个全局特征向量作为输入，对图像进行类别预测。
因为疾病患者眼表往往有着类结膜炎的表现，包括结膜充血、化瘀、溢液或分泌物增多等特征，根据本发明所涉及深度学习网络的特征提取和分类预测能力，通过眼部图像特征提取模型提取的基础特征来进行图像级以及病患级的患病类别预测，针对人脸眼部区域进行特征的学习表达，通过捕获更具分辨力和识别力的特征，能够实现基于眼部特征的疾病患者风险筛查。并且本发明通过拍摄人脸图像并根据人脸图像中的眼部区域图像就能够进行疾病患者的筛查工作，能够提高疾病风险筛查的快捷性、准确性以及方便性，同时能够摆脱专业人员依赖等限制，可大规模普及；如果遇到疫情爆发情况，在疫情阶段能够实现随时随地的定量检测，动态监测病毒感染的程度，观察治疗效果，进行疫情跟踪和疫情地图绘制，从而实现高效的疫情防控。
附图说明
通过结合附图进行阅读，将会更好地了解以上概述以及以下详细描述。为了便于说明，附图中示出本公开的某些实施例。但是，应当理解，本发明并不局限于所示的准确布置和工具。结合到本说明书中并且构成其部分的附图示出按照本发明的系统和设备的实现，并且连同本描述一起用来说明按照本发明的优点和原理。
图1是根据本发明的一个实施例的快速筛查系统的功能框图；
图2是根据本发明的一个实施例的快速筛查系统的硬件系统图；
图3是根据本发明的一个实施例的快速筛查系统的工作流程图；
图4是根据本发明的一个实施例的快速筛查系统的疾病筛查示意图；
图5以放大图的形式显示了图4中疾病筛查示意图的热力图样例示意图；
图6显示了根据本发明的一个实施例的标准眼部区域图像的示意图。
具体实施方式
在详细说明本发明的至少一个实施例之前，要理解，本发明并不局限于它在以下描述中提出或者在附图中示出的构造的细节以及组件的布置的应用。提供附图和书面描述，以指导本领域的技术人员进行和使用对其寻求专利保护的本发明。本发明适用于其他实施例并且能够按照各种方式来实施和执行。本领域的技术人员将会理解，为了清楚起见和便于了解，并非示出一商业实施例的所有特征。本领域的技术人员还将会理解，结合本发明的方面的实际商业实施例的开发将要求许多实现特定判定来取得开发人员的商业实施例的最终目标。虽然这些工作会是复杂和费时的，但是这些工作是获益于本公开的领域的技术人员的例行任务。
另外，要理解，本文所采用的用语和术语是为了便于描述，而不应当被视作限制。例如，单数术语、例如“一”、“一个”的使用不是意在限制项的数量。另外，非限制性地诸如“顶部”、“底部”、“左”、“右”、“上”、“下”、“向下”、“向上”、“侧”之类的关系术语的使用为了清楚起见而具体参照附图用于本描述中，而不是意在限制本发明或者所附权利要求书的范围。此外，应当理解，本发明的特征的任一个可单独地或者与其他特征结合使用。通过阅读附图和详细描述，本领域的技术人员将会清楚地知道本发明的其他系统、方法、特征和优点。预计所有这类其他系统、方法、特征和优点都包含在本描述之内，包含在本发明的范围之内，并且受到所附权利要求书保护。
本说明书中描述的主题的实施例以及功能性操作，可选地能够实现在数字电路、计算机软件、固件、硬件中，包括在本说明书中公开的结构及其等同结构，或其中一个或多个的结合。本说明书中描述的主题的实施例可以例如实现在一个或多个计算机程序产品中，例如一个或多个计算机指令模块，其编码在计算机可读媒介中，用于被数据处理装置执行，或控制其运行。
另外，本领域普通技术人员应当明白，由于软硬件(包括固件)结合的多样性，一种软件功能并不必然只由一个硬件实施，多种软件功能既可以集成在一个硬件中实现，也可以分散在多个硬件中实现。如非特别说明，硬件的分离或集成并不对软件的功能构成限制。特别地，由于云存储和云计算技术的发展，有些功能既可以在本地实现，也可以在“云”上实现，或者兼而有之。如非特别说明，这些替代方案都不应该排除在本发明的范围之外。
图1是根据本发明的一个实施例的快速筛查系统10的功能结构框图。如图1所示，本系统是基于眼表特征的多类疾病患者风险筛查深度学习系统，用于通过拍摄得到的人脸图像中的眼部区域来进行患者的疾病风险筛查，总的来说，其包括人脸图像预处理单元1、眼部图像特征提取单元2、图像级分类模块单元3、病患级分类模块单元4、可视化辅助决策单元5。当然，应当理解，该快速筛查系统10还会包括系统控制部分，用于负责各单元的状态控制以及各单元间的信息传递。
图2显示的是图1中实施例的硬件系统图。如图2所示，该系统分为服务端和客户端两部分。在优选的实施形式中，计算模型部署在服务端。服务端的计算机设备由处理器以及内存构成：处理器是用于计算以及运行可执行代码的硬件处理器，如中央处理器CPU或图形计算处理器GPU；内存是非易失的存储设备，用于储存可执行代码从而让处理器执行相应的计算过程。同时，内存也会存储各类中间数据及参数。内存存储内容包括模型相关参数、可执行代码。硬盘存储包含了模型所需要的训练数据。服务容器运行在服务器的计算和存储资源之上，为多类疾病患者风险筛查深度学习模型提供底层支持。
本实施例中，媒体数据通过各类数据采集设备拍摄得到，如普通相机、智能手机、红外相机等，媒体数据可以是视频内容，也可以是图像内容。当然，应当理解，本发明的其他实施例中，也可以将媒体数据采集设备，例如照相机，集成在本发明的系统中。优选地，从媒体数据中得到人脸图像数据。更优选地，人脸图像数据包括多个不同身份以及患病类型的患者的人脸图像数据。应当理解，在其他实施形式中，也可以不采用人脸图像，而是采用人的半身图像或全身图像，只要能从该图像中获得用于本发明目的的眼部图像信息即可。
图3是根据本发明的一个实施例的快速筛查系统的工作流程图。人脸图像预处理单元1、眼部图像特征提取单元2、图像级分类模块单元3、病患级分类模块单元4和可视化辅助决策单元5按顺序依次进行处理。
首先，为了保证模型输入的统一性，输入图像首先必须经过预处理对齐。在本实施例中，人脸图像预处理单元1用于对人脸图像进行预处理并得到眼部区域图像。
其中，人脸图像预处理单元1中配置有人脸检测模型，人脸图像预处理单元1基于该人脸检测模型对人脸图像进行预处理，如图3中预处理单元所示，该预处理包括以下部分:
A1：通过人脸检测模型获取人脸图像中人脸的位置区域以及面部关键点坐标。应当理解，由于数据采集的非标性，原始的人脸图像通常不仅包含眼部区域，还可能会包括背景或面部的其他区域，如鼻子、耳朵和嘴巴。如果直接使用原始的人脸图像进行分类，必然会引入噪声或者不相关的信息，比如背景噪声或鼻子的特征，这有可能使得眼部图像特征的提取结果不准确、不可靠。因此，为了聚焦于提取眼部图像特征，在本实施例采用人脸检测模型获取图像中人脸的位置区域以及面部关键点坐标。该面部关键点坐标中包括人脸左右眼以及优选的面部其他器官的位置坐标。
A2：根据面部关键点坐标中的人脸左右眼关键点坐标，计算得到人脸眼部区域的横纵坐标的最大值和最小值。在本实施例中，该眼部区域包括眼珠、眼白及上下眼睑等区域。左右眼各自包括至少32个分布在该眼部区域中的关键点，优选地各自包括至少64个关键点。根据这些关键点的坐标，可以得到眼部区域的横纵坐标的最大值和最小值。在本实施例中，优选地同时对横纵坐标进行一定数值(例如，左右眼中心点之间的距离的30％)的向外扩充来确保人脸眼部区域全部纳入特征提取范围内，然后对人脸眼部区域进行截取，得到眼部截取图像。在其他实施例中，该一定数值也可以是左右眼中心点之间的距离的10％或20％。
A3：对眼部截取图像进行筛选，得到眼部区域图像。对眼部截取图像进行筛选时，优选地将眼部截取图像中纵向长度长于横向长度的图像进行剔除，然后得到眼部区域图像。应当理解，考虑到因存在人脸角度、背景噪声等影像，人脸检测模型得到的面部关键点坐标并非完全准确无误，因而人脸眼部区域的截取也随之会有相应的偏差；又考虑到人脸眼部区域应为横向较长的长方形区域，因此优选地在横纵长度上凡纵向长度长于横向的均可以认为是人脸眼部区域定位失败的结果，需将此类眼部截取图像剔除。
A4:将眼部区域图像与标准眼部区域图像(见图6)对齐。在本实施例中，把两张图像的眼珠整体轮廓对齐；并且，把两张图像的晴明、承泣、瞳子、球后、攒竹、丝竹空、太阳穴，这7个眼部穴位对齐。
在本实施例中，眼部图像特征提取单元2用于将眼部区域图像输入眼部图像特征提取模型中提取基础特征(B1)。优选地，采用神经网络提取高阶特征，并用于分类器的输入。在本实施例中，以上述7个眼部穴位为中心，以在图像中测算的眼球直径大小为半径，取一个眼部圆的面积，利用特征提取模型，分别提取7个局部特征向量；并且，以眼部整体图像区域作为输入，利用特征提取模型，提取1个全局特征向量。其中，该在图像中测算的眼球直径即可以以毫米为单位进行表征，也可以以像素为单位进行表征。在其他实施例中，也可以不用眼球直径为半径，而以左右眼中心点之间的距离的30％为半径；当然也可以以左右眼中心点之间的距离的10％或20％为半径。
图像级分类单元3根据基础特征预测眼部区域图像中对应患者是否患有多类疾病并输出图像级分类结果。在本实施例中，根据上文提取的7个局部特征向量，以及1个全局特征向量作为输入，对图像进行类别预测。其数据处理流程则包括以下部分：
C1：分类部根据前述基础特征预测眼部区域图像中对应患者的多类患病类别并输出图像级分类结果。本实施例中，该分类结果为判断眼部区域图像对应的患者是否患有某种疾病(例如，新冠肺炎，非新冠肺炎，眼病，糖尿病等)。应当理解，这种判断并非对该类疾病的诊断，只是基于该类疾病的患者可能具有的眼部特征，例如眼表特征，对所输入的眼部区域图像进行标记。
C2：通过构建损失函数(例如、交叉熵)，根据图像级分类结果和眼部区域图像对应患者的真实患病类别，对眼部图像特征提取模型提取的基础特征进行监督。
C3：采用SGD(随机梯度下降，stochastic gradient descent)优化器对眼部图像特征提取模型进行迭代训练。例如，采用带动量的SGD优化器来提高训练速度。
应当理解，在本发明的其他实施形式中，图像级分类单元也可以不包括特征监督(C1)和迭代训练(C2)这两个部分，而是使用已经充分训练好的眼部图像特征提取模型。
继续参见图3，病患级分类单元4用于进行病患级分类，其采用最高优先级投票决策。具体而言，将患病类别中最紧急的疾病设为最高优先级别患病类别，对于一位患者的多张眼部区域图像中，当预测得到的图像级分类结果中的最高优先级别患病类别的个数大于等于1时，则判断患者患有该疾病的可能性较大，从而得到病患级预测结果。
应当理解，在本发明的其他实施形式中，可以不集成病患级分类单元，而是将图像级分类单元的输出结果呈现给医疗人员，交由他们去判断。
可视化辅助决策单元5则根据模型分类过程中图像各区域参与得分评估的权重和影响力，优选地以热力图的形式将各区域的重要度进行可视化展示(E1)，从而增强模型的可解释性。关于热力图的内容可以参考图5.
应当理解，该可视化辅助决策单元5也可以用于辅助医疗人员进行判断。还应当理解，在本发明的其他实施形式中，也可以不配备可视化辅助决策单元5。
图4显示了根据本发明的一个实施例的疾病筛查示意图。如图所示，预处理之后的眼睛图像被输入到图像级分类模型之后，进行图像级分类；将针对同一眼睛的多张眼睛图像都输入到图像级分类模型进行图像级分类之后，将图像级分类结果都输入到病患级分类模型进行病患级分类，生成疾病分类的概率预测分布。另外，判断基于的重点区域也以热力图的形式呈现。其中热力图示意图部分以放大图的形式显示在图5中。以图5所示为例，在右眼中红色区域的眼表特征所受关注最高，而左眼区域的眼表特征所受关注程度则较低。
本领域的技术人员将会理解，可对上述实施例进行变更，而不背离其广义的发明概述。因此要理解，本文所公开的本发明并不局限于所公开的具体实施例，而是意在涵盖如所附权利要求书所限定的本发明的精神和范围之内的所有变体。另外，即使是按照本发明中所公开的实施例来解读所附权利要求书所限定的本发明的精神和范围，除非申请人明确做出特别说明，否则不应当适用捐献原则对本发明的本发明的精神和范围进行取舍。
Claims (26)
1.一种基于眼部图像的快速筛查系统，包括：
人脸图像预处理单元，用于对人脸图像进行预处理并得到眼部区域图像；
眼部图像特征提取单元，用于通过训练后的眼部图像特征提取模型提取眼部区域图像的基础特征；
图像级分类单元，用于根据基础特征进行图像级的多类患病类别预测并得到图像级分类结果；
病患级分类单元，根据图像级分类结果进行病患级分类得到病患级预测结果；以及
可视化辅助决策单元，根据图像级分类过程中的所述眼部图像特征提取模型的注意力分布生成相应的热力图。
2.根据权利要求1所述的快速筛查系统，其特征在于，还包括图像获取单元，用于获取人脸图像。
3.根据权利要求1所述的快速筛查系统，其特征在于，该快速筛查系统还包括系统控制单元，用于负责各单元的状态控制以及各单元间的信息传递。
4.根据权利要求1所述的快速筛查系统，其特征在于，在所述人脸图像预处理单元中部署了人脸检测模型；
所述人脸检测模型获取所述人脸图像中人脸的位置区域以及面部关键点坐标；根据面部关键点坐标对人脸眼部区域进行截取，得到眼部截取图像；以及，对眼部截取图像进行筛选，从而得到眼部区域图像。
5.根据权利要求4所述的快速筛查系统，其特征在于，在所述眼部图像特征提取单元中部署了眼部图像特征提取模型，将所述眼部区域图像输入所述眼部图像特征提取模型中从而提取基础特征。
6.根据权利要求5所述的快速筛查系统，其特征在于，所述图像级分类单元，基于所述基础特征，利用分类器进行结果预测和分类，获得图像级分类结果。
7.根据权利要求6所述的快速筛查系统，其特征在于，所述图像级分类单元，还通过构建损失函数，根据所述图像级分类结果和所述眼部区域图像的真实患病类别，对所述眼部图像特征提取模型和分类特征进行监督学习；并对眼部图像特征提取模型进行迭代训练。
8.根据权利要求7所述的快速筛查系统，其特征在于，所述病患级分类部单元，对于一位患者的多张眼部区域图像，当预测得到的图像级分类结果中的最高优先级别患病类别的个数大于等于1时，判断该患者患有该疾病的可能性较大，从而得到病患级预测结果；其中最高优先级别患病类别是将患病类别中最紧急的疾病的类别。
9.根据权利要求4所述的快速筛查系统，其特征在于，所述面部关键点坐标包括人脸左右眼关键点，所述人脸检测模型根据该人脸左右眼关键点得到人脸眼部区域的横纵坐标的最大值和最小值，由此对人脸眼部区域进行截取。
10.根据权利要求9所述的快速筛查系统，其特征在于，所述人脸检测模型根据上述人脸眼部区域的横纵坐标的最大值和最小值，对横纵坐标进行向外扩充来确保人脸眼部区域全部纳入特征提取范围内。
11.根据权利要求4所述的快速筛查系统，其特征在于，所述人脸检测模型将不符合长宽比范围的所述眼部截取图像剔除，从而得到眼部区域图像。
12.根据权利要求5所述的快速筛查系统，其特征在于，所述该眼部图像特征提取模型包括神经网络。
13.根据权利要求6所述的快速筛查系统，其特征在于，所述分类器是线性分类器。
14.根据权利要求7所述的快速筛查系统，其特征在于，采用SGD优化器对所述眼部图像特征提取模型进行迭代训练。
15.一种基于眼表图像的快速筛查方法，包括：
对人的图像进行预处理并得到眼部区域图像；
用通过训练后的眼部图像特征提取模型提取眼部区域图像的基础特征；以及
根据所述基础特征进行图像级的类别预测并得到图像级分类结果；其中，将针对同一眼睛的多张眼部区域图像都输入到图像级分类模型进行图像级分类之后，将图像级分类结果都输入到病患级分类模型进行病患级分类。
16.根据权利要求15所述的快速筛查方法，其特征在于，所述图像是人脸图像。
17.根据权利要求15所述的快速筛查方法，其特征在于，所述眼部区域包括眼珠、眼白及上下眼睑。
18.根据权利要求15所述的快速筛查方法，其特征在于，左右眼各自包括至少32个分布在所述眼部区域中的关键点；所述用通过训练后的眼部图像特征提取模型提取眼部区域图像的基础特征的步骤包括，根据这些关键点的坐标得到所述眼部区域的横纵坐标的最大值和最小值。
19.根据权利要求15所述的快速筛查方法，其特征在于，同时对横纵坐标进行第一数值的向外扩充来确保人脸眼部区域全部纳入特征提取范围内。
20.根据权利要求19所述的快速筛查方法，其特征在于，所述第一数值是左右眼中心点之间的距离的30％。
21.根据权利要求15所述的快速筛查方法，其特征在于，所述用通过训练后的眼部图像特征提取模型提取眼部区域图像的基础特征的步骤包括，将所述眼部区域图像与标准眼部区域图像对齐。
22.根据权利要求21所述的快速筛查方法，其特征在于，所述将所述眼部区域图像与标准眼部区域图像对齐的步骤包括，把所述眼部区域图像与标准眼部区域图像的晴明、承泣、瞳子、球后、攒竹、丝竹空、太阳穴这7个眼部穴位对齐。
23.根据权利要求22所述的快速筛查方法，其特征在于，所述用通过训练后的眼部图像特征提取模型提取眼部区域图像的基础特征的步骤包括，分别以所述7个眼部穴位为中心，以第二数值为半径，取一个眼部圆的面积，利用所述特征提取模型，以此分别提取7个局部特征向量；并且，以眼部整体图像区域作为输入，利用所述特征提取模型，提取1个全局特征向量。
24.根据权利要求23所述的快速筛查方法，其特征在于，所述第二数值是眼球直径。
25.根据权利要求23所述的快速筛查方法，其特征在于，所述第二数值是左右眼中心点之间的距离的30％。
26.根据权利要求23所述的快速筛查方法，其特征在于，所述根据基础特征进行图像级的类别预测的步骤包括，根据所述7个局部特征向量，以及所述1个全局特征向量作为输入，对图像进行类别预测。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2020115928070 | 2020-12-29 | ||
| CN202011592807 | 2020-12-29 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114680822A true CN114680822A (zh) | 2022-07-01 |
Family
ID=82136484
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110941069.4A Pending CN114680822A (zh) | 2020-12-29 | 2021-08-16 | 一种基于眼部图像的快速筛查系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114680822A (zh) |
| WO (1) | WO2022142368A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115578783B (zh) * | 2022-11-09 | 2023-10-31 | 北京鹰瞳科技发展股份有限公司 | 基于眼部图像进行眼部疾病识别的装置、方法及相关产品 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020176039A1 (en) * | 2019-02-26 | 2020-09-03 | Ngee Ann Polytechnic | System and method for classifying eye images |
| CN110458806A (zh) * | 2019-07-05 | 2019-11-15 | 中山大学中山眼科中心 | 一种眼部图片和属性信息的分析方法和系统 |
| CN110459304A (zh) * | 2019-07-19 | 2019-11-15 | 汕头大学 | 一种基于面部图像的健康状态诊断系统 |
| CN110837803B (zh) * | 2019-11-07 | 2022-11-29 | 复旦大学 | 基于深度图网络的糖尿病视网膜病变分级方法 |
| CN111046835A (zh) * | 2019-12-24 | 2020-04-21 | 杭州求是创新健康科技有限公司 | 一种基于区域特征集合神经网络的眼底照多病种检测系统 |
| CN111986211A (zh) * | 2020-08-14 | 2020-11-24 | 武汉大学 | 一种基于深度学习的眼科超声自动筛查方法及系统 |
-
2021
- 2021-08-16 CN CN202110941069.4A patent/CN114680822A/zh active Pending
- 2021-08-16 WO PCT/CN2021/112854 patent/WO2022142368A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022142368A1 (en) | 2022-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11775056B2 (en) | System and method using machine learning for iris tracking, measurement, and simulation | |
| US20190191988A1 (en) | Screening method for automated detection of vision-degenerative diseases from color fundus images | |
| WO2015149696A1 (en) | Method and system for extracting characteristic of three-dimensional face image | |
| CN110869938A (zh) | 人员识别系统和方法 | |
| CN104123543B (zh) | 一种基于人脸识别的眼球运动识别方法 | |
| TW201137768A (en) | Face recognition apparatus and methods | |
| WO2022041396A1 (zh) | 一种基于眼表特征的新冠肺炎（covid-19）疾病患者风险筛查深度学习系统 | |
| WO2020195732A1 (ja) | 画像処理装置、画像処理方法、およびプログラムが格納された記録媒体 | |
| Usman et al. | Intelligent automated detection of microaneurysms in fundus images using feature-set tuning | |
| Ramachandran et al. | A deep learning framework for the detection of Plus disease in retinal fundus images of preterm infants | |
| US20240112329A1 (en) | Distinguishing a Disease State from a Non-Disease State in an Image | |
| WO2022129591A1 (en) | System for determining one or more characteristics of a user based on an image of their eye using an ar/vr headset | |
| Lu et al. | Automated strabismus detection for telemedicine applications | |
| CN115496700A (zh) | 一种基于眼部图像的疾病检测系统及方法 | |
| Mosayyebi et al. | Gender recognition in masked facial images using EfficientNet and transfer learning approach | |
| CN114680822A (zh) | 一种基于眼部图像的快速筛查系统 | |
| CN112818899A (zh) | 人脸图像处理方法、装置、计算机设备和存储介质 | |
| WO2022252107A1 (zh) | 一种基于眼部图像的疾病检测系统及方法 | |
| Hamid et al. | An intelligent strabismus detection method based on convolution neural network | |
| Dasgupta et al. | Deep learning based framework for automatic diagnosis of glaucoma based on analysis of focal notching in the optic nerve head | |
| US10956735B1 (en) | System and method for determining a refractive error from red reflex images of eyes | |
| Doan et al. | Implementation of complete glaucoma diagnostic system using machine learning and retinal fundus image processing | |
| CN113283340B (zh) | 一种基于眼表特征的疫苗接种情况检测方法、装置及系统 | |
| KR102616230B1 (ko) | 사용자 이미지에 기반하여 사용자의 집중력을 판단하는방법 및 이를 수행하는 운영 서버 | |
| Robin et al. | A novel approach to detect & track iris for a different and adverse dataset |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |