CN117541560A - 一种计算机设备及可读存储介质 - Google Patents

一种计算机设备及可读存储介质 Download PDF

Info

Publication number
CN117541560A
CN117541560A CN202311551272.6A CN202311551272A CN117541560A CN 117541560 A CN117541560 A CN 117541560A CN 202311551272 A CN202311551272 A CN 202311551272A CN 117541560 A CN117541560 A CN 117541560A
Authority
CN
China
Prior art keywords
specular reflection
image
eyelid
eyelid image
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311551272.6A
Other languages
English (en)
Inventor
怀莲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Technology Development Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Technology Development Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202311551272.6A priority Critical patent/CN117541560A/zh
Publication of CN117541560A publication Critical patent/CN117541560A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开一种计算机设备及可读存储介质。该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器配置为加载计算机程序时执行下述步骤：获取原始眼睑图像样本；利用全局阈值检测得到原始眼睑图像样本中的镜面反射区；根据所述镜面反射区将所述原始眼睑图像样本转换为镜面反射掩码图像和所述镜面反射区被纯色填充的图像；将所述镜面反射掩码图像和所述镜面反射区被纯色填充的图像输入已训练的生成对抗网络得到去除镜面反射的眼睑图像样本。该实施方式能够有效去除镜面反射，避免由于镜面反射导致的干眼症检测准确率低的问题；同时能够根据对图像的理解来填充镜面反射区域，使填充后的图片便于后续处理。

Description

一种计算机设备及可读存储介质
技术领域
本发明涉及计算机技术领域。更具体地，涉及一种计算机设备及可读存储介质。
背景技术
目前，干眼症检测常使用基于眼睑图像的检测方式来实现，但存在检测准确率低的问题。
发明内容
本发明的目的在于提供一种计算机设备及可读存储介质，以解决现有技术存在的问题中的至少一个。
为达到上述目的，本发明采用下述技术方案：
本发明第一方面提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器配置为加载所述计算机程序时执行下述步骤
获取原始眼睑图像样本；
利用全局阈值检测得到所述原始眼睑图像样本中的镜面反射区；
根据所述镜面反射区将所述原始眼睑图像样本转换为镜面反射掩码图像和所述镜面反射区被纯色填充的图像；
将所述镜面反射掩码图像和所述镜面反射区被纯色填充的图像输入已训练的生成对抗网络得到去除镜面反射的眼睑图像样本。
可选地，所述处理器配置为加载所述计算机程序时还执行下述步骤
将所述去除镜面反射的眼睑图像样本的图像尺寸转换为预设图像尺寸。
可选地，所述利用全局阈值检测得到所述原始眼睑图像样本中的镜面反射区包括
将所述原始眼睑图像样本中的灰度值低于预设灰度阈值的区域作为镜面反射区。
本发明第二方面提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器配置为加载所述计算机程序时执行下述步骤
获取多个去除镜面反射的眼睑图像样本；
通过对所述去除镜面反射的眼睑图像样本中的眼睑区域和睑板腺萎缩区域的标注得到已标注的去除镜面反射的眼睑图像样本；
利用所述已标注的去除镜面反射的眼睑图像样本进行训练得到已训练的干眼症检测模型。
可选地，所述获取多个去除镜面反射的眼睑图像样本包括
获取原始眼睑图像样本；
利用全局阈值检测得到所述原始眼睑图像样本中的镜面反射区；
根据所述镜面反射区将所述原始眼睑图像样本转换为镜面反射掩码图像和所述镜面反射区被纯色填充的图像；
将所述镜面反射掩码图像和所述镜面反射区被纯色填充的图像输入已训练的生成对抗网络得到去除镜面反射的眼睑图像样本。
本发明第三方面提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器配置为加载所述计算机程序时执行下述步骤
获取待测用户的第一眼睑图像；
对所述第一眼睑图像进行预处理得到去除镜面反射的第一眼睑图像；
将所述去除镜面反射的第一眼睑图像输入已训练的干眼症检测模型得到干眼症检测结果。
可选地，所述对所述第一眼睑图像进行预处理得到去除镜面反射的第一眼睑图像包括
利用全局阈值检测得到所述第一眼睑图像中的镜面反射区；
根据所述镜面反射区将所述第一眼睑图像转换为第一镜面反射掩码图像和所述镜面反射区被纯色填充的第一图像；
将所述第一镜面反射掩码图像和所述镜面反射区被纯色填充的第一图像输入已训练的生成对抗网络得到去除镜面反射的第一眼睑图像。
可选地，所述已训练的干眼症检测模型，用于预测睑板腺萎缩区域和眼睑区域并根据所述睑板腺萎缩区域和所述眼睑区域得到睑板腺萎缩比例，及根据所述睑板腺萎缩比例得到干眼症检测结果。
可选地，所述已训练的干眼症检测模型包括金字塔式场景解析模型。
可选地，所述金字塔式场景解析模型包括
卷积神经网络，用于提取全局特征；
池化层，用于将每个子区域内部各自进行平均池化；
金字塔解析模型，用于获取不同子区域的子区域特征；
上采样层，用于对每个子区域进行特征上采样；
连接层，用于将所述上采样的结果与所述全局特征进行融合，得到睑板腺萎缩和眼睑区域的分割掩模。
本发明第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器加载时执行下述步骤
获取原始眼睑图像样本；
利用全局阈值检测得到所述原始眼睑图像样本中的镜面反射区；
根据所述镜面反射区将所述原始眼睑图像样本转换为镜面反射掩码图像和所述镜面反射区被纯色填充的图像；
将所述镜面反射掩码图像和所述镜面反射区被纯色填充的图像输入已训练的生成对抗网络得到去除镜面反射的眼睑图像样本。
本发明第五方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器加载时执行下述步骤
获取多个去除镜面反射的眼睑图像样本；
通过对所述去除镜面反射的眼睑图像样本中的眼睑区域和睑板腺萎缩区域的标注得到已标注的去除镜面反射的眼睑图像样本；
利用所述已标注的去除镜面反射的眼睑图像样本进行训练得到已训练的干眼症检测模型。
本发明第六方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器加载时执行下述步骤
获取待测用户的第一眼睑图像；
对所述第一眼睑图像进行预处理得到去除镜面反射的第一眼睑图像；
将所述去除镜面反射的第一眼睑图像输入已训练的干眼症检测模型得到干眼症检测结果。
本发明的有益效果如下：
本发明提供的一种计算机设备，能够有效去除镜面反射，避免由于镜面反射导致的干眼症检测准确率低的问题；同时能够根据对图像的理解来填充镜面反射区域，使填充后的图片便于后续处理。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明。
图1示出本发明第一个实施例提供的计算机设备中所述处理器配置为加载所述计算机程序时执行步骤示意图。
图2示出相关技术中健康的眼睑图。
图3示出相关技术中患有干眼症的眼睑图。
图4示出本发明提供的利用第一个实施例实现一种眼睑图像样本生成方法的示意图。
图5示出本发明第二个实施例提供的计算机设备中所述处理器配置为加载所述计算机程序时执行步骤示意图。
图6示出本发明第二个实施例提供的计算机设备中标注后的睑板腺图片中整个眼睑区域图。
图7示出本发明第二个实施例提供的计算机设备中标注后的睑板腺图片中睑板腺萎缩的区域图。
图8示出本发明第三个实施例提供的计算机设备中所述处理器配置为加载所述计算机程序时执行步骤示意图。
图9示出本发明提供的利用第三个实施例实现一种干眼症检测方法的示意图。
具体实施方式
为了更清楚地说明本发明，下面结合实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。
随着电子产品的发展，人类依赖电子屏幕的时间越来越长，也极大提高了干眼症患病率。干眼症是世界上最常见的疾病之一，全球患病率可达10％-40％，严重影响患者的生活质量。同时现在干眼症的患病群体也逐渐低龄化，很多年轻人尤其科研技术从业者的干眼症患者也越来越多。因此对于干眼症的预防、诊断和治疗的需求也日益增多。
对于患者或潜在患者，监控自己的干眼症情况以及通过检测来预防干眼症对于眼部监控有着极其重要的作用。对于医疗人员，由于患者的数量增多，针对检测的工作量也需要更加自动化并且具有一定高准确度的设备或系统来辅助检测，可以有效提高工作效率和节省人力资源；也能提高由于人为失误及主观性而缺乏定量分析导致的检测准确率降低的情况，以及医生主观能力的差异性带来的诊断不确定性。
目前，干眼症的临床研究备受关注，尤其在引起干眼症的主要原因的睑板腺功能障碍的研究中，可以通过直接观察其形态学来诊断腺体的功能障碍。睑板腺被认为通过将脂质分泌到泪膜中以缓解泪水蒸发速度并最大程度地减少干眼症状，从而在眼健康中发挥关键作用。在相关技术中，通过红外光对睑板腺进行照片记录得到红外睑板图像，使睑板腺的二维轮廓可视化，可以提供有关睑板腺脱落量、睑板腺泡面积以及睑板腺导管长度的信息，常用于干眼症的检测和治疗。而且对睑板腺体萎缩的比例的测量对临床有着相当重要的影响，通过计算腺体丢失面积与眼睑总面积的比率得到萎缩百分比，是估计睑板腺功能障碍严重程度的重要因素。
然而，相关技术中存在干眼症检测准确率低的问题，发明人发现，导致该问题的重要原因是采集眼睑图像时存在镜面反射，这会严重影响对睑板腺区域的判断。
有鉴于此，本发明第一个实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，如图1所示，所述处理器配置为加载所述计算机程序时执行下述步骤：获取原始眼睑图像样本；利用全局阈值检测得到所述原始眼睑图像样本中的镜面反射区；根据所述镜面反射区将所述原始眼睑图像样本转换为镜面反射掩码图像和所述镜面反射区被纯色填充的图像；将所述镜面反射掩码图像和所述镜面反射区被纯色填充的图像输入已训练的生成对抗网络得到去除镜面反射的眼睑图像样本。
在一个具体的示例中，如图2和图3所示，所述获取原始眼睑图像样本包括：选取1000个实验者，年龄在18岁-70岁；其中有各种程度的干眼症患者及非干眼症者，并获取书面之情同意书。
进一步的，在裂隙灯生物显微镜Topcon SL-7上安装红外投射滤光片和红外摄像机XC-ST5CE0。拍摄图像时，将患者的下巴靠在下巴托上，前额靠近裂隙灯生物显微镜。将患者的上下眼睑外翻以暴露内结膜和内部的睑板腺，通过10倍裂隙灯放大倍数获取图像，这个标准操作流程不会给患者造成痛苦，采集图像时注意避免眼见表面的光反射。
本实施例通过非接触式和对患者友好的红外线显示摄影方法，可以大大减少患者的不适，提高提取患者的红外睑板腺图片的速度。
在一种可能的实现方式中，所述利用全局阈值检测得到所述原始眼睑图像样本中的镜面反射区包括：将所述原始眼睑图像样本中的灰度值低于预设灰度阈值的区域作为镜面反射区。
在一个具体的示例中，睑板腺图片中的镜面反射通常由高光强度表示，即图像中的高像素值。
在一个具体的示例中，首先将有镜面反射的原始眼睑图片基于一个预设的全局阈值，检测出所有的镜面反射区。
进一步的，所述全局阈值包括灰度图上强度值为200的像素的值域。强度值低于200的像素被纯色填充，并作为另一幅图的掩码部门。
在一个具体的示例中，所述根据所述镜面反射区将所述原始眼睑图像样本转换为镜面反射掩码图像和所述镜面反射区被纯色填充的图像包括：将原始图片转换成两张图片，即一张镜面反射掩码图和一张反射部分被纯色填充的原始图片。
在一个具体的示例中，通过生成对抗网络(Generative Adversarial Network,GAN)来校正镜面反射。所述生成对抗网络的输入为两张图像，即一张镜面反射掩码图和一张反射部分被纯色填充的原始图片，输出为去除镜面反射的预测图片。
进一步的，所述将所述镜面反射掩码图像和所述镜面反射区被纯色填充的图像输入已训练的生成对抗网络得到去除镜面反射的眼睑图像样本包括：
所述生成对抗网络由一个生成器和一个鉴别器组成。生成器首先以边缘图的形式预测缺失区域的图像结构；然后将预测出的边缘图片传到下一层来引导图片修复过程；修复过程包括基于对整个图像周围信息的理解构建镜面反射部分，进而生成去镜面反射图片。
在一个具体的示例中，如图4所示，包括有镜面反射的眼睑图片、全局阈值、只有反射区的图片、删除反射区的图片、基于GAN的深度学习模型网络和无镜面反射的眼睑图片。
进一步的，基于GAN的深度学习模型网络包括边缘图生成器和图片修复。
在一个具体的示例中，所述生成对抗网络使用不同类型的公开可用的数据集进行预训练，来获得修复这些图像中缺失部分的先验知识。
进一步的，所述生成对抗网络的损失函数包括：风格损失、感知损失、重建损失和GAN损失。
进一步的，生成器用于填充镜面反射部分，鉴别器用于重复验证最终的输出结果，直到输出的无反射图像达到最优算法性能。
本实施例的所述生成对抗网络能够有效去除镜面反射，避免由于镜面反射导致的干眼症准确率低的问题；同时利用对图像的理解来填充镜面反射区域，使图片便于后续处理。
在一种可能的实现方式中，所述处理器配置为加载所述计算机程序时还执行下述步骤：将所述去除镜面反射的眼睑图像样本的图像尺寸转换为预设图像尺寸。
在一个具体的示例中，在去除干扰因素(例如镜面反射)后，同时将图片调整为420*420的像素大小，再用人工智能的算法来进行后续处理。
本实施例的所述生成对抗网络能够有效去除镜面反射，避免由于镜面反射导致的干眼症准确率低的问题；同时利用对图像的理解来填充镜面反射区域，使图片便于后续处理。
本发明第二个实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，如图5所示，所述处理器配置为加载所述计算机程序时执行下述步骤：获取多个去除镜面反射的眼睑图像样本；通过对所述去除镜面反射的眼睑图像样本中的眼睑区域和睑板腺萎缩区域的标注得到已标注的去除镜面反射的眼睑图像样本；利用所述已标注的去除镜面反射的眼睑图像样本进行训练得到已训练的干眼症检测模型。
在一个具体的示例中，所述通过对所述去除镜面反射的眼睑图像样本中的眼睑区域和睑板腺萎缩区域的标注得到已标注的去除镜面反射的眼睑图像样本包括：先由训练有素的专业人员用多边形工具对所述去除镜面反射的眼睑图像样本进行标注并测量整个眼睑和萎缩区域。
进一步的，在标记整个区域时，对于上眼睑图片，睑板腺的孔口作为上边缘，下边缘定义为近端跗骨板的边界；侧边界则是外边界与内边界相交的地方。
进一步的，标记整个上眼睑的萎缩区域时，上边界画在正常腺体边界的近端，下边界为近端跗骨板的边界，侧边界则是外边界与内边界相交的地方。
进一步的，对于变淡或变薄的睑板腺体部分，也标注成萎缩区域。
进一步的，对于下眼睑的标注，类似于上眼睑标注，但是上下方向颠倒。
在一个具体的示例中，如图6和图7所示，第一曲线10标记出整个眼睑区域；第二曲线20和第一填充区域30标记出睑板腺萎缩的区域。
在一个具体的示例中，由临床医生专家对这些图像根据表1对图像睑板萎缩程度进行标注，即标注睑板得分。需要说明的是，这些专家都不知道受试者的眼表健康状况，仅根据已标注的去除镜面反射的眼睑图像样本进行打分。
表1睑板腺萎缩比率与睑板打分表
睑板腺萎缩比率 睑板打分
0％ 0
大于0且小于等于25％ 1
大于25且小于等于50％ 2
大于50且小于等于75％ 3
进一步的，表1中睑板打分为0表示受试者为无干眼症的健康状态；睑板打分为1表示受试者为临界干眼症状态；睑板打分为2表示受试者为中度干眼症；睑板打分为3表示受试者为重度干眼症。
在一个具体的示例中，如图6所示的睑板腺萎缩比例为0％，如图7所示的睑板腺萎缩比例约为43％。根据表1，如图6所示睑板的分数为0，如图7所示睑板的分数为2。
在一个具体的示例中，标注出的区域和萎缩率被用作真实值(Ground Truth)，根据表1进行分数映射，并作为分数真实值。
在一种可能的实现方式中，所述获取多个去除镜面反射的眼睑图像样本包括：获取原始眼睑图像样本；利用全局阈值检测得到所述原始眼睑图像样本中的镜面反射区；根据所述镜面反射区将所述原始眼睑图像样本转换为镜面反射掩码图像和所述镜面反射区被纯色填充的图像；将所述镜面反射掩码图像和所述镜面反射区被纯色填充的图像输入已训练的生成对抗网络得到去除镜面反射的眼睑图像样本。
本实施例的所述生成对抗网络能够有效去除镜面反射，避免由于镜面反射导致的干眼症准确率低的问题；同时利用对图像的理解来填充镜面反射区域，使图片便于后续处理。
本发明第三个实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，如图8所示，所述处理器配置为加载所述计算机程序时执行下述步骤：获取待测用户的第一眼睑图像；对所述第一眼睑图像进行预处理得到去除镜面反射的第一眼睑图像；将所述去除镜面反射的第一眼睑图像输入已训练的干眼症检测模型得到干眼症检测结果。
在一个具体的示例中，本实施例利用深度学习的方法，对受试者进行红外睑板腺图片采集，并将预处理后得到的睑板图片进行自动检测来判断睑板腺萎缩程度及睑板腺功能障碍，再作为依据来判断干眼症的整套解决方案及流程。
在一个具体的示例中，本实施例首先通过非接触式和对患者友好的红外线显示摄影方法，可以大大减少患者不适，并速度提取患者的红外睑板腺图片。然后对采集到的图片进行图像预处理，使图片更便于后续处理。再通过深度学习算法来自动提取及计算睑板腺损失面积，对睑板腺的萎缩比率进行标准化的分级，根据严重程度对萎缩百分比进行分类。最后根据腺体损失图像分级，评估睑板腺图像，来分析睑板腺功能障碍，并判断干眼症的可能性。
本实施例可以快速和省力的分析睑板腺功能障碍并判断干眼症的可能性，同时减少了对特定检查者的主观性的依赖。
在一种可能的实现方式中，所述对所述第一眼睑图像进行预处理得到去除镜面反射的第一眼睑图像包括：利用全局阈值检测得到所述第一眼睑图像中的镜面反射区；根据所述镜面反射区将所述第一眼睑图像转换为第一镜面反射掩码图像和所述镜面反射区被纯色填充的第一图像；将所述第一镜面反射掩码图像和所述镜面反射区被纯色填充的第一图像输入已训练的生成对抗网络得到去除镜面反射的第一眼睑图像。
本实施例的所述生成对抗网络能够有效去除镜面反射，避免由于镜面反射导致的准确率低的问题；同时利用对图像的理解来填充镜面反射区域，使图片便于后续处理。
在一种可能的实现方式中，所述已训练的干眼症检测模型，用于预测睑板腺萎缩区域和眼睑区域并根据所述睑板腺萎缩区域和所述眼睑区域得到睑板腺萎缩比例，及根据所述睑板腺萎缩比例得到干眼症检测结果。
在一个具体的示例中，将所述去除镜面反射的第一眼睑图像按6：2：2随机分为三个数据集：训练集、验证集和评估集。
进一步的，600张训练数据集中的图像用于训练深度学习模型；200张验证数据集中的图像用于调整模型超参数，如网络构架和学习率等，这两个数据集的数据都用于深度学习算法的开发；剩下的200张评估数据集的图像，由于和训练集及验证集没有任何重复数据，用于评估算法的性能。
在一个具体的示例中，通过用训练集的数据对网络训练来获得神经网络的参数。反复地输入训练图片以及已知的真实值(例如萎缩区域和眼睑区域的分割掩模及萎缩是否存在的向量)；通过随机梯度下降优化模型参数，在每一个轮次(epoch)通过验证集评估模型性能，最终选取评估集训练结果中最好性能的参数作为最终训练的结果。
在一种可能的实现方式中，所述已训练的干眼症检测模型包括金字塔式场景解析模型。
在一个具体的示例中，所述已训练的干眼症检测模型可以选取能自动提取特征并进行分割的金字塔式场景解析网络(Pyramid Scene Parsing Network,PSPNet)。该网络首先用卷积神经网络(Convolutional Neural Networks,CNN)获取最后一个卷积层的特征；然后用一个金字塔式解析模型来获取不同的子区域表示；然后通过上采样和连接层产生最终的特征表示。
在一个具体的示例中，金字塔式场景解析网络包括多层计算和几百万个参数，并通过深度学习自动将输入的整个睑板图片输出为睑板萎缩和眼睑区域的分割掩模，通过睑板图片量化睑板腺萎缩程度。另外，金字塔式场景解析网络还生成一个向量，表示给定的睑板图片中是否存在睑板腺萎缩。
在一种可能的实现方式中，所述金字塔式场景解析模型包括：卷积神经网络，用于提取全局特征；池化层，用于将每个子区域内部各自进行平均池化；金字塔解析模型，用于获取不同子区域的子区域特征；上采样层，用于对每个子区域进行特征上采样；连接层，用于将所述上采样的结果与所述全局特征进行融合，得到睑板腺萎缩和眼睑区域的分割掩模。
在一个具体的示例中，所述金字塔式场景解析网络的图像首先输入到一个CNN网络，从最后一层卷积层获取特征图；经过池化后，再用金字塔解析模块来获取不同区域的表示；然后经过一个上采样以及一个连接层，来形成最终的特征表示，所述最终的特征表示携带了局部和全局的信息；最后所述最终的特征表示被输入到一个卷积层中以获取每一个像素最终对应的预测。
在一个具体的示例中，如图9所示，包括生物显微镜、红外摄像机、睑板图片、图片预处理、深度学习框架(PyTorch)、金字塔式场景解析网络、预测的眼睑区域及睑板萎缩区域、睑板萎缩比例和睑板打分。
进一步的，深度学习框架包括第一图形处理器和第二图形处理器；其中第一图形处理器和第二图形处理器均为NVIDIA GeForce GTX 1080GPU。
进一步的，第一图形处理器包括显卡(NVIDIA CUDA v8.0)和深度神经网络的GPU加速库(NVIDIA cuDNN v5.1 acceleration)；第二图形处理器包括显卡(NVIDIA CUDAv8.0)和深度神经网络的GPU加速库(NVIDIA cuDNN v5.1 acceleration)。
在一个具体的示例中，当预测的萎缩区域和眼睑区域产生后，萎缩百分比等于萎缩区域面积与眼睑区域总面积的比值。
本实施例可以快速和省力的分析睑板腺功能障碍并判断干眼症的可能性，同时减少了对特定检查者的主观性的依赖。
本发明第四个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器加载时执行下述步骤：获取原始眼睑图像样本；利用全局阈值检测得到所述原始眼睑图像样本中的镜面反射区；根据所述镜面反射区将所述原始眼睑图像样本转换为镜面反射掩码图像和所述镜面反射区被纯色填充的图像；将所述镜面反射掩码图像和所述镜面反射区被纯色填充的图像输入已训练的生成对抗网络得到去除镜面反射的眼睑图像样本。
需要说明的是，本实施例提供的一种计算机可读存储介质中的所述计算机程序被处理器加载时执行的步骤，与上述一种计算机设备中的所述处理器配置为加载所述计算机程序时执行的步骤相似，相关之处可以参照上述说明，在此不再赘述。
本实施例能够有效去除镜面反射，避免由于镜面反射导致的干眼症检测准确率低的问题；同时能够根据对图像的理解来填充镜面反射区域，使填充后的图片便于后续处理。
本发明第五个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器加载时执行下述步骤：获取多个去除镜面反射的眼睑图像样本；通过对所述去除镜面反射的眼睑图像样本中的眼睑区域和睑板腺萎缩区域的标注得到已标注的去除镜面反射的眼睑图像样本；利用所述已标注的去除镜面反射的眼睑图像样本进行训练得到已训练的干眼症检测模型。
需要说明的是，本实施例提供的一种计算机可读存储介质中的所述计算机程序被处理器加载时执行的步骤，与上述一种计算机设备中的所述处理器配置为加载所述计算机程序时执行的步骤相似，相关之处可以参照上述说明，在此不再赘述。
本实施例可以快速和省力的分析睑板腺功能障碍并判断干眼症的可能性，同时减少了对特定检查者的主观性的依赖。
本发明第六个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器加载时执行下述步骤：获取待测用户的第一眼睑图像；对所述第一眼睑图像进行预处理得到去除镜面反射的第一眼睑图像；将所述去除镜面反射的第一眼睑图像输入已训练的干眼症检测模型得到干眼症检测结果。
需要说明的是，本实施例提供的一种计算机可读存储介质中的所述计算机程序被处理器加载时执行的步骤，与上述一种计算机设备中的所述处理器配置为加载所述计算机程序时执行的步骤相似，相关之处可以参照上述说明，在此不再赘述。
本实施例可以快速和省力的分析睑板腺功能障碍并判断干眼症的可能性，同时减少了对特定检查者的主观性的依赖。
在本发明的描述中，需要说明的是，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
还需要说明的是，在本发明的描述中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于本领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (13)

1.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器配置为加载所述计算机程序时执行下述步骤
获取原始眼睑图像样本；
利用全局阈值检测得到所述原始眼睑图像样本中的镜面反射区；
根据所述镜面反射区将所述原始眼睑图像样本转换为镜面反射掩码图像和所述镜面反射区被纯色填充的图像；
将所述镜面反射掩码图像和所述镜面反射区被纯色填充的图像输入已训练的生成对抗网络得到去除镜面反射的眼睑图像样本。
2.根据权利要求1所述的计算机设备，其特征在于，所述处理器配置为加载所述计算机程序时还执行下述步骤
将所述去除镜面反射的眼睑图像样本的图像尺寸转换为预设图像尺寸。
3.根据权利要求2所述的计算机设备，其特征在于，所述利用全局阈值检测得到所述原始眼睑图像样本中的镜面反射区包括
将所述原始眼睑图像样本中的灰度值低于预设灰度阈值的区域作为镜面反射区。
4.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器配置为加载所述计算机程序时执行下述步骤
获取多个去除镜面反射的眼睑图像样本；
通过对所述去除镜面反射的眼睑图像样本中的眼睑区域和睑板腺萎缩区域的标注得到已标注的去除镜面反射的眼睑图像样本；
利用所述已标注的去除镜面反射的眼睑图像样本进行训练得到已训练的干眼症检测模型。
5.根据权利要求4所述的计算机设备，其特征在于，所述获取多个去除镜面反射的眼睑图像样本包括
获取原始眼睑图像样本；
利用全局阈值检测得到所述原始眼睑图像样本中的镜面反射区；
根据所述镜面反射区将所述原始眼睑图像样本转换为镜面反射掩码图像和所述镜面反射区被纯色填充的图像；
将所述镜面反射掩码图像和所述镜面反射区被纯色填充的图像输入已训练的生成对抗网络得到去除镜面反射的眼睑图像样本。
6.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器配置为加载所述计算机程序时执行下述步骤
获取待测用户的第一眼睑图像；
对所述第一眼睑图像进行预处理得到去除镜面反射的第一眼睑图像；
将所述去除镜面反射的第一眼睑图像输入已训练的干眼症检测模型得到干眼症检测结果。
7.根据权利要求6所述的计算机设备，其特征在于，所述对所述第一眼睑图像进行预处理得到去除镜面反射的第一眼睑图像包括
利用全局阈值检测得到所述第一眼睑图像中的镜面反射区；
根据所述镜面反射区将所述第一眼睑图像转换为第一镜面反射掩码图像和所述镜面反射区被纯色填充的第一图像；
将所述第一镜面反射掩码图像和所述镜面反射区被纯色填充的第一图像输入已训练的生成对抗网络得到去除镜面反射的第一眼睑图像。
8.根据权利要求6所述的计算机设备，其特征在于，所述已训练的干眼症检测模型，用于预测睑板腺萎缩区域和眼睑区域并根据所述睑板腺萎缩区域和所述眼睑区域得到睑板腺萎缩比例，及根据所述睑板腺萎缩比例得到干眼症检测结果。
9.根据权利要求6所述的计算机设备，其特征在于，所述已训练的干眼症检测模型包括金字塔式场景解析模型。
10.根据权利要求9所述的计算机设备，其特征在于，所述金字塔式场景解析模型包括
卷积神经网络，用于提取全局特征；
池化层，用于将每个子区域内部各自进行平均池化；
金字塔解析模型，用于获取不同子区域的子区域特征；
上采样层，用于对每个子区域进行特征上采样；
连接层，用于将所述上采样的结果与所述全局特征进行融合，得到睑板腺萎缩和眼睑区域的分割掩模。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器加载时执行下述步骤
获取原始眼睑图像样本；
利用全局阈值检测得到所述原始眼睑图像样本中的镜面反射区；
根据所述镜面反射区将所述原始眼睑图像样本转换为镜面反射掩码图像和所述镜面反射区被纯色填充的图像；
将所述镜面反射掩码图像和所述镜面反射区被纯色填充的图像输入已训练的生成对抗网络得到去除镜面反射的眼睑图像样本。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器加载时执行下述步骤
获取多个去除镜面反射的眼睑图像样本；
通过对所述去除镜面反射的眼睑图像样本中的眼睑区域和睑板腺萎缩区域的标注得到已标注的去除镜面反射的眼睑图像样本；
利用所述已标注的去除镜面反射的眼睑图像样本进行训练得到已训练的干眼症检测模型。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器加载时执行下述步骤
获取待测用户的第一眼睑图像；
对所述第一眼睑图像进行预处理得到去除镜面反射的第一眼睑图像；
将所述去除镜面反射的第一眼睑图像输入已训练的干眼症检测模型得到干眼症检测结果。
CN202311551272.6A 2023-11-20 2023-11-20 一种计算机设备及可读存储介质 Pending CN117541560A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311551272.6A CN117541560A (zh) 2023-11-20 2023-11-20 一种计算机设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311551272.6A CN117541560A (zh) 2023-11-20 2023-11-20 一种计算机设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN117541560A true CN117541560A (zh) 2024-02-09

Family

ID=89789528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311551272.6A Pending CN117541560A (zh) 2023-11-20 2023-11-20 一种计算机设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN117541560A (zh)

Similar Documents

Publication Publication Date Title
Gao et al. Automatic feature learning to grade nuclear cataracts based on deep learning
CN112088394A (zh) 生物组织的计算机分类
KR20190087272A (ko) 안저영상을 이용한 녹내장 진단 방법 및 이를 위한 장치
CN114612389B (zh) 基于多源多尺度特征融合的眼底图像质量评价方法和装置
Lin et al. Retinal image quality assessment for diabetic retinopathy screening: A survey
CN113768461B (zh) 一种眼底图像分析方法、系统和电子设备
CN114694236B (zh) 一种基于循环残差卷积神经网络的眼球运动分割定位方法
CN113576508A (zh) 一种基于神经网络的脑出血辅助诊断系统
CN117764957A (zh) 基于人工神经网络的青光眼图像特征提取的训练系统
CN113610842B (zh) 基于CAS-Net的OCT图像视网膜脱离和劈裂自动分割方法
WO2021132307A1 (ja) 眼科画像処理方法、眼科画像処理装置及び眼科画像処理プログラム
Bağbaba et al. An automated grading and diagnosis system for evaluation of dry eye syndrome
CN110598652B (zh) 眼底数据预测方法和设备
CN117274278A (zh) 基于模拟感受野的视网膜图像病灶部位分割方法及系统
Fang et al. PALM: Open Fundus Photograph Dataset with Pathologic Myopia Recognition and Anatomical Structure Annotation
CN117541560A (zh) 一种计算机设备及可读存储介质
Li et al. A Deep-Learning-Enabled Monitoring System for Ocular Redness Assessment
CN116261418A (zh) 用于指示洪纳病变的程序、已学习模型及其生成方法
McIntyre et al. Toward glaucoma classification with moment methods
CN115909470B (zh) 基于深度学习的全自动眼睑疾病术后外观预测系统和方法
Azeroual et al. Convolutional Neural Network for Segmentation and Classification of Glaucoma.
Kamothi et al. Automatic Detection of Diabetic Retinopathy Using Convolution Neural Network
TWI821063B (zh) 視網膜自動分層模型之建立方法、視網膜分層量化系統、眼部照護裝置、視網膜分層厚度及視網膜分層面積的檢測方法及神經退化性疾病評估和預測方法
Zhang et al. Pilot Clinical Validation of a Machine Learning Platform for Noninvasive Smartphone-Based Assessment of Corneal Epithelial Integrity
Gokulradhai et al. GLAUCOMA PREDICTION IN RETINAL IMAGE USING VESSEL SEGMENTATION WITH DIFFERENT CLASSIFICATION ANALYTICAL MODEL

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination