CN116570231A - 一种屈光度计算方法及装置 - Google Patents

一种屈光度计算方法及装置 Download PDF

Info

Publication number
CN116570231A
CN116570231A CN202310235805.3A CN202310235805A CN116570231A CN 116570231 A CN116570231 A CN 116570231A CN 202310235805 A CN202310235805 A CN 202310235805A CN 116570231 A CN116570231 A CN 116570231A
Authority
CN
China
Prior art keywords
diopter
tested person
eye image
information
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310235805.3A
Other languages
English (en)
Inventor
唐微
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dijia Jishi Intelligent Technology Co ltd
Original Assignee
Shenzhen Dijia Jishi Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dijia Jishi Intelligent Technology Co ltd filed Critical Shenzhen Dijia Jishi Intelligent Technology Co ltd
Priority to CN202310235805.3A priority Critical patent/CN116570231A/zh
Publication of CN116570231A publication Critical patent/CN116570231A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/103—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining refraction, e.g. refractometers, skiascopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Veterinary Medicine (AREA)
  • Computational Linguistics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明提供了一种屈光度计算方法及装置，通过基于深度学习方法的成像质量判断模型，能够在计算屈光度之前给出成像质量是否影响屈光度计算的预估信息，不仅能避免偏心摄影图片质量引起的误差问题，还能在使用过程中，及时提醒操作者改进操作方法或被测者纠正配合方式。其次，通过使用基于深度学习屈光度预测模型，输入被测者眼部图像，可直接预测被测者的屈光度信息，避免了之前方法中，环节过多导致的误差累积。同时基于深度学习屈光度预测模型是通过大量数据学习得到的，降低了对检测环境的要求，并摆脱了之前屈光度计算过程中依赖人工经验反复校准的过程。

Description

一种屈光度计算方法及装置
技术领域
本发明涉及屈光度计算技术领域，具体而言，涉及一种屈光度计算方法及装置。
背景技术
视觉健康已经成为影响我国青少年健康成长的重要问题之一。近视防控已经上升为国家战略，且成为刻不容缓的重大公共卫生问题。定期的眼部检查，尤其是屈光检查，有利于及早发现远视、近视、散光、弱视等视力问题，是近视防控非常重要的组成部分。推动传统屈光检查设备准确率的提高，准确获取屈光状态，以便于在视力波动的早期采取干预措施，意义十分重大。
偏心摄影验光技术是一种能够快速检测人眼屈光度的方法，广泛用于屈光度检查尤其是大规模视力筛查等场景中。偏心摄影验光的基本原理是使用具有一定偏心距的若干光源照射人眼，光线通过瞳孔进入眼睛后，经过视网膜漫反射射出瞳孔进入摄像头成像。成像画面中瞳孔明暗度变化梯度值或新月形光斑面积占整个瞳孔面积的比例与人眼屈光度具有相关性。通过构建瞳孔明暗度变化梯度值或新月形光斑面积占整个瞳孔面积的比例与人眼屈光度之间的数学映射模型，利用该数学映射模型就可以计算得到用户眼睛的屈光度信息。
现有偏心摄影验光方法主要是一个包含多个环节，且高度依赖人工经验调教的图像处理和数学建模过程。包括瞳孔定位、瞳孔明暗梯度值计算或瞳孔新月形光斑面积计算、根据构建的数学映射公式计算用户眼睛屈光度。其中瞳孔定位可以通过传统图像处理中边缘提取方法或深度学习方法计算；瞳孔明暗梯度值计算可以采用最小二乘法估计；瞳孔新月形光斑面积计算可以采用传统图像方法或深度学习方法计算；构建的数学映射公式和系数需要在不同年龄人群中，分别进行拟合和校准计算。
现有的偏心摄影验光方法主要存在以下缺陷：
首先，现有方法包含多个环节和模块，前一个环节的误差会传递给下一环节导致误差累计，最终导致屈光度计算不准确。
其次，当前构建瞳孔明暗度变化梯度值或新月形光斑面积占整个瞳孔面积的比例与人眼屈光度之间的数学映射模型的方法，一般采取的是比较简的线性或非线性模型，如y＝ax+b，其中x表示瞳孔明暗度变化梯度值或新月形光斑面积占整个瞳孔面积的比例，y表示屈光度，参数a，b是校准得到的转换系数。这类模型数据拟合能力不强，因此需要针对不同年龄阶段人群单独进行系数校准，且这类模型对输入的变化非常敏感，轻微的输入变化就可能导致输出完全不一样，这导致目前基于该方法研发的设备要想获得较准确的屈光度信息，对环境，例如环境的光线、眼球的遮挡等要求极高。
第三，当前数学映射模型，只利用了年龄信息构建了不同年龄的模型，不能刻画年龄、性别、病史等对眼底反射的影响，而且不同年龄人群间校准信息也无法共享。
最后，实际使用中，避免不了使用者操作中会出现抖动，以及被测者会出现头部晃动或眼球转动，这些将导致成像质量发生变化，现有方法不对偏心摄影获取到的图像进行质量评估，只能依赖操作者和被测者高度配合，以及操作者人工确认成像是否满足要求。无法避免偏心摄影图片质量问题引起的误差。
因此，如何提供一种误差更小且适用性更强的屈光度计算，是目前亟待解决的问题。
发明内容
为了改善上述问题，本发明提供了一种屈光度计算方法及装置。
本发明实施例的第一方面，提供了一种屈光度计算方法，包括：
获取被测者的眼部图像；
通过基于深度学习方法的成像质量判断模型对所述眼部图像的质量进行判断；
如果质量不满足屈光度预测要求，则进行提示并返回重新获取被测者的眼部图像；
如果质量满足屈光度预测要求，则将所述眼部图像输入基于端到端深度学习的屈光度预测模型中，通过屈光度预测模型计算被测者的眼睛屈光信息。
可选地，所述通过基于深度学习方法的成像质量判断模型对所述眼部图像的质量进行判断的步骤，具体包括：
将所述眼部图像对应的眼部图片序列输入成像质量判断模型；
通过深度学习模型，提取特征并计算输出该组图像合格或存在各类问题的概率；
根据输出的每类问题的概率评估所述眼部图像的质量是否会影响屈光度计算。
可选地，所述通过深度学习模型，提取特征并计算输出该组图像合格或存在各类问题的概率的步骤，具体包括：
提取所述眼部图片序列内单个图像帧的特征；
对图像帧序列的特征建模，提取包含图像时序特征和帧内特征的特征图；
将所述特征图输入分类模块获取每个类别的概率。
可选地，所述成像质量判断模型的训练方法为：
将人工模拟使用者产生的图像序列以及用户实际拍摄的存在质量问题的图像序列，作为训练数据集；
对采集获得的图像序列标注标签，标签包括合格或存在某类影响屈光检查问题，得到训练数据集；
模型训练的目标函数是最小化模型在训练数据集上的损失。
可选地，所述通过屈光度预测模型计算被测者的眼睛屈光信息的步骤，具体包括：
如果所述眼部图像对应的眼部图片序列为单个子午线方向红外灯照射下眼部图片序列，则计算被测者对应的单个子午线上屈光度；
如果所述眼部图像对应的眼部图片序列为多个子午线方向红外灯照射下眼部图片序列，则计算被测者对应的多个子午线上屈光度以及球镜、柱镜、轴位信息。
可选地，所述通过屈光度预测模型计算被测者的眼睛屈光信息的步骤，还具体包括：
接收输入的眼部图片序列以及被测者的个人特征信息序列；
提取所述眼部图片序列内单个图像帧的特征；
对提取的图像帧特征进行注意力加权，得到单个图像帧的加权特征；
对图像帧序列的加权特征建模，提取包含图像时序特征和帧内特征的特征图；
将被测者的个人特征信息序列的离散特征转化为连续的向量特征；
根据所述特征图及所述连续的向量特征计算被测者屈光度信息。
可选地，所述屈光度预测模型的训练方法为:
考虑影响屈光度计算多个影响因素以及被测者的个人特征信息，分别进行数据采集，作为模型训练数据集；
模型训练的目标函数是最小化模型在训练数据集上的损失。
可选地，所述模型训练数据集的构建方法具体包括：
针对每一位被测者，使用红外偏心摄像机获取不同影响屈光度计算因素下眼部图像序列；
获取被测者的个人特征信息，所述个人特征信息包括年龄、性别、病史信息；
获取被测者对应的屈光度信息，所述屈光度信息包括球镜、柱镜、轴位信息；
根据上述获取的信息构建训练数据集。
可选地，所述屈光度预测模型的训练方法还包括：
加入额外的瞳孔和虹膜的分割及检测数据集；
使用多任务学习方法在计算屈光度信息同时预测瞳孔、虹膜的分割MASK或位置。
本发明实施例的第二方面，提供了一种屈光度计算装置，包括：
图像获取单元，用于获取被测者的眼部图像；
质量判断单元，用于通过基于深度学习方法的成像质量判断模型对所述眼部图像的质量进行判断；如果质量不满足屈光度预测要求，则进行提示并返回重新获取被测者的眼部图像；
屈光计算单元，用于如果质量满足屈光度预测要求，则将所述眼部图像输入基于端到端深度学习的屈光度预测模型中，通过屈光度预测模型计算被测者的眼睛屈光信息。
综上所述，本发明提供了一种屈光度计算方法及装置，通过基于深度学习方法的成像质量判断模型，能够在计算屈光度之前给出成像质量是否影响屈光度计算的预估信息，不仅能避免偏心摄影图片质量引起的误差问题，还能在使用过程中，及时提醒操作者改进操作方法或被测者纠正配合方式。其次，通过使用基于深度学习屈光度预测模型，输入被测者眼部图像，可直接预测被测者的屈光度信息，避免了之前方法中，环节过多导致的误差累积。同时基于深度学习屈光度预测模型是通过大量数据学习得到的，降低了对检测环境的要求，并摆脱了之前屈光度计算过程中依赖人工经验反复校准的过程。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例的屈光度计算方法的方法流程图；
图2为本发明实施例的对眼部图像的质量进行判断的方法流程图；
图3为本发明实施例的成像质量判断模型的示意图；
图4为本发明实施例的通过屈光度预测模型计算被测者的眼睛屈光信息的方法流程图；
图5为本发明实施例的输入为单个子午线方向的眼部图片序列的屈光度预测模型的示意图；
图6为本发明实施例的输入为多个子午线方向的眼部图片序列的屈光度预测模型的示意图；
图7为本发明实施例的屈光度计算装置的功能模块框图。
附图标记：
图像获取单元110；质量判断单元120；屈光计算单元130。
具体实施方式
现有的偏心摄影验光方法主要存在以下缺陷：
首先，现有方法包含多个环节和模块，前一个环节的误差会传递给下一环节导致误差累计，最终导致屈光度计算不准确。
其次，当前构建瞳孔明暗度变化梯度值或新月形光斑面积占整个瞳孔面积的比例与人眼屈光度之间的数学映射模型的方法，一般采取的是比较简的线性或非线性模型，如y＝ax+b，其中x表示瞳孔明暗度变化梯度值或新月形光斑面积占整个瞳孔面积的比例，y表示屈光度，参数a，b是校准得到的转换系数。这类模型数据拟合能力不强，因此需要针对不同年龄阶段人群单独进行系数校准，且这类模型对输入的变化非常敏感，轻微的输入变化就可能导致输出完全不一样，这导致目前基于该方法研发的设备要想获得较准确的屈光度信息，对环境，例如环境的光线、眼球的遮挡等要求极高。
第三，当前数学映射模型，只利用了年龄信息构建了不同年龄的模型，不能刻画年龄、性别、病史等对眼底反射的影响，而且不同年龄人群间校准信息也无法共享。
最后，实际使用中，避免不了使用者操作中会出现抖动，以及被测者会出现头部晃动或眼球转动，这些将导致成像质量发生变化，现有方法不对偏心摄影获取到的图像进行质量评估，只能依赖操作者和被测者高度配合，以及操作者人工确认成像是否满足要求。无法避免偏心摄影图片质量问题引起的误差。
因此，如何提供一种误差更小且适用性更强的屈光度计算，是目前亟待解决的问题。
鉴于此，本发明设计者设计了一种屈光度计算方法及装置，通过基于深度学习方法的成像质量判断模型，能够在计算屈光度之前给出成像质量是否影响屈光度计算的预估信息，不仅能避免偏心摄影图片质量引起的误差问题，还能在使用过程中，及时提醒操作者改进操作方法或被测者纠正配合方式。其次，通过使用基于深度学习屈光度预测模型，输入被测者眼部图像，可直接预测被测者的屈光度信息，避免了之前方法中，环节过多导致的误差累积。同时基于深度学习屈光度预测模型是通过大量数据学习得到的，降低了对检测环境的要求，并摆脱了之前屈光度计算过程中依赖人工经验反复校准的过程。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，需要说明的是，术语“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
请参阅图1，本发明提供的一种屈光度计算方法，该方法包括：
步骤S101,获取被测者的眼部图像。
其中，眼部图像的获取可以通过红外偏心摄像机实现，使用红外偏心摄像机拍摄被测者的眼部图像，也可以是通过其他方式直接获取已经拍摄的被测者的眼部图像。
步骤S102，通过基于深度学习方法的成像质量判断模型对所述眼部图像的质量进行判断，如果质量不满足屈光度预测要求，则进行提示并返回重新获取被测者的眼部图像。
如果质量满足屈光度预测要求，则执行步骤S103，将所述眼部图像输入基于端到端深度学习的屈光度预测模型中，通过屈光度预测模型计算被测者的眼睛屈光信息。
在本实施例提供的屈光度计算方法，通过深度学习方法的成像质量判断模型评估拍摄图像质量是否会影响屈光度预测。如果质量不合格，则给出错误信息进行提示，并返回前面的获取步骤，重新获取眼部图像。
如果质量合格，将拍摄的眼部图像输入基于端到端深度学习的屈光度预测模块，直接获取被测者眼睛屈光信息。
具体地，基于深度学习方法的成像质量判断模型，其对所述眼部图像的质量进行判断的逻辑，是将成像质量判断转化为一个多分类问题，对于输入的一组被测者眼部图像,使用深度神经网络计算该组图像出现某种影响屈光度预测问题的概率。
基于端到端深度学习的屈光度预测模型，其计算眼睛屈光信息的逻辑，是将屈光度计算转化为一个由图像序列到屈光度的回归问题，对于输入的一组被测者眼部图像,使用一个端到端深度神经网络计算被测者的屈光信息，包括球镜、柱镜和轴位等。
下面将对本实施例提供的屈光度计算方法进行具体的展开说明。
如图2所示，对于通过基于深度学习方法的成像质量判断模型对所述眼部图像的质量进行判断的方法，具体包括：
步骤S201,将所述眼部图像对应的眼部图片序列输入成像质量判断模型；
步骤S202,通过深度学习模型，提取特征并计算输出该组图像合格或存在各类问题的概率；
步骤S203,根据输出的每类问题的概率评估所述眼部图像的质量是否会影响屈光度计算。
成像质量判断模型将成像质量判断转化为一个多分类问题，模型输入红外偏心摄像机拍摄的一组眼部图像序列，输出该组图像合格或存在某类问题的概率。例如红外偏心摄像机拍摄图片影响屈光度计算的问题包括设备晃动、瞳孔运动、图像失焦、瞳孔遮挡、佩戴框架眼镜等等。模型根据输出的每类问题的概率评估拍摄图像是否会影响屈光度计算，对于存在问题的图片序列给出用户导致问题的原因和拍摄建议。
进一步地，上述通过深度学习模型，提取特征并计算输出该组图像合格或存在各类问题的概率的步骤，具体包括：
提取所述眼部图片序列P＝(p1，…pm)内单个图像帧的特征，其中m为图片序列中图片数量；
对图像帧序列的特征建模，提取包含图像时序特征和帧内特征的特征图；
将所述特征图输入分类模块获取每个类别的概率C＝(c1，c2，...，ck)，其中k为分类类别数量。
成像质量判断模型的结构如图3所示，作为优选的实施方式，可选用多层卷积神经网络提取所述眼部图片序列内单个图像帧的特征；可选用多层循环神经网络提取包含图像时序特征和帧内特征的特征图；分类模块可选用Softmax分类层。
针对成像质量判断模型的训练，其训练数据采集可以从两个不同的渠道进行。
一个是通过人工模拟使用者产生，对于人工模拟使用者常出现的拍摄问题，如在拍摄过程中晃动设备采集图像序列，调节拍摄距离模拟图像失焦等，采集相应的图像序列。另一个是从用户实际使用过程中所拍摄的红外偏心摄影图像序列中筛选出存在质量问题的图像序列。
对采集到的图像序列进行标签的标注，标签的内容对应图像序列质量合格或图像序列存在某一类问题。通过这样的方式，构成训练数据集 其中Pi为图片序列，Ti为对应标签向量，N1为训练数据集D1中样本数量。
构建了训练数据集后，开始进行模型训练，由于本模型是一个多分类问题，因此训练的目标函数是最小化模型在训练数据集D1上的损失
其中Ci为模型输出的每个类别的概率，loss用于度量模型输出分布和数据标签分布之间的差别，可选用交叉熵损失、KL损失等。
本发明实施例所使用的成像质量判断模型不仅使用卷积神经网络提取单帧图像特征，还通过引入循环神经网络提取图像帧之间的序列特征,使得模型既能刻画图像失焦、瞳孔遮挡等单帧图像的质量问题，又能刻画设备晃动、瞳孔运动等连续图像帧的质量问题。
对于质量满足屈光度预测要求的眼部图像序列，就需要通过屈光度预测模型计算被测者的眼睛屈光信息。在进行计算时，根据眼部图像对应的眼部图片序列的类型(对应不同形式的红外偏心摄像机)，可以分为两种情况：
如果所述眼部图像对应的眼部图片序列为单个子午线方向红外灯照射下眼部图片序列P＝(p1，...pm)，则计算被测者对应的单个子午线上屈光度y；
如果所述眼部图像对应的眼部图片序列为多个(不少于3个方向)子午线方向红外灯照射下眼部图片序列P＝(p11，p12，...p1m；p21，p22，…p2m；...；pn1，pn2，…pnm），则计算被测者对应的多个子午线上屈光度Y＝(y1，y2，...，yn)以及球镜、柱镜、轴位信息R＝(s，c，a)。其中n表示输入的子午线个数，n>＝3。
具体的计算过程如图4所示，包括：
步骤S301,接收输入的眼部图片序列P以及被测者的个人特征信息序列I；
步骤S302,提取所述眼部图片序列内单个图像帧的特征；
步骤S303,对提取的图像帧特征进行注意力加权，得到单个图像帧的加权特征；加权后的特征图，使得特征图专注于图像瞳孔区域，缓解人眼睫毛、上下眼睑遮挡对瞳孔特征提取的干扰。
步骤S304,对图像帧序列的加权特征建模，提取包含图像时序特征和帧内特征的特征图；
步骤S305,将被测者的个人特征信息序列的离散特征转化为连续的向量特征；其中，个人特征信息序列包括年龄、性别、病史等离散特征。
步骤S306,根据所述特征图及所述连续的向量特征计算被测者屈光度信息。其中，对应输入为单个子午线方向的眼部图片序列，输出该子午线上屈光度y，其屈光度预测模型结构如图5所示；对应输入为多个子午线方向的眼部图片序列，输出每个子午线上屈光度Y，以及球镜，柱镜，轴位信息Q，其屈光度预测模型结构如图6所示。
作为优选的实施方式，可选用多层卷积神经网络进行图像帧内特征提取，可选用自注意力网络进行注意力加权，可选用多层循环神经网络(如LSTM，Transformer模型)提取包含图像时序特征和帧内特征的特征图，可选用全连接网络将被测者的个人特征信息序列的离散特征转化为连续的向量特征。
在对屈光度预测模型的训练中，为了使本发明实施例提供的屈光度计算方法对多种场景屈光检查具有很好的鲁棒性，进行模型训练数据采集时，针对每种影响瞳孔图像的因素制定采集策略，考虑影响屈光度计算多个影响因素以及被测者的个人特征信息，分别进行数据采集，作为模型训练数据集。模型训练数据集具体的构建方法包括：
针对每一位被测者，使用红外偏心摄像机获取不同影响因素下眼部图像序列；其中具体的采集策略为：1.环境光变化：环境光能够刺激被测者瞳孔放大或缩小，在数据采集过程中，通过改变环境光采集多种瞳孔直径的眼部图像序列。2.瞳孔遮挡情况：理想情况下，偏心摄影图像包含采集人员的完整瞳孔，但是实际使中，人眼睫毛、上下眼睑都可能遮挡部分瞳孔，影响瞳孔图像分析。在数据采集过程中，采集部分睫毛较长、眼睑下垂人员眼部图像序列。3.偏心光强度变化：偏心光强度能够明显改变图像的整体亮度，进而影响瞳孔图像特征。在数据采集过程中，采集不同偏心光强度下眼部图像序列。
获取被测者的个人特征信息，所述个人特征信息包括年龄、性别、病史信息；
获取被测者对应的屈光度信息，所述屈光度信息包括球镜、柱镜、轴位信息：
根据上述获取的信息构建训练数据集。构建训练数据集 其中Pi为拍摄的图像序列，Ii为被测者的年龄、性别、病史信息，Zi是红外偏心摄像机红外灯每个子午线上被测者的屈光度，Ri是被测者的球镜、柱镜、轴位信息，N2为训练数据集D2中样本数量。
在进行训练时，考虑到屈光度预测模型一个回归问题，训练的目标函数是最小化模型在训练数据集D2上的损失L2。对应两种形式的输入和输出，模型损失分别为：
当输入为单个子午线方向红外灯照射下眼部图片序列时，模型损失为
其中loss表示模型输出屈光度向量Yi和真实屈光度向量Zi之间的误差，可选用均方误差、平均绝对误差等。当输入为多个子午线方向红外灯照射下眼部图片序列时，模型损失为
其中loss1表示模型输出的每个子午线上屈光度向量Yi和真实屈光度向量Zi之间的误差，loss2表示模型输出的球镜，柱镜，轴位向量Qi和真实球镜，柱镜，轴位向量Ri之间的误差，λ1＞0表示两个损失的权重比。loss1和loss2可选用均方误差、平均绝对误差等差。
由于红外偏心摄像基本原理是对瞳孔图像的分析，模型中图像帧信息提取模块提取的特征图应更关注瞳孔信息，作为本发明实施例的优选实施方式，训练过程可加入额外的瞳孔、虹膜分割、检测数据集，并使用多任务学习方法在预测屈光度信息同时预测瞳孔、虹膜的分割MASK或位置，这有助于减少模型训练所需的数据量。此时训练的目标函数是最小化模型在多个训练任务上的损失。
其中，lossseg和lossdet分别表示分割任务和检测任务的损失，λ2＞0，λ3＞0分别表示分割任务和检测任务损失的权重。
本发明实施例所使用的屈光度预测模型，当输入多个方向的红外灯照射下眼睛图像时，模型引入的循环神经网络能够提取图像帧之间的序列特征，刻画了不同方向红外灯对应图像存在的相关性，提高了屈光度预测，尤其是柱镜、轴位预测的准确性。其次，模型训练中通过多任务学习方法，加入额外的瞳孔、虹膜分割、检测任务，降低了模型训练所需收集的屈光数据规模，从而节约了成本。最后，模型使用注意力机制，使得特征图专注于图像瞳孔区域，缓解人眼睫毛、上下眼睑遮挡对瞳孔特征提取的干扰，提高模型预测的准确性，降低模型所需的参数量。
综上，本实施例提供的屈光度计算方法，通过基于深度学习方法的成像质量判断模型，能够在计算屈光度之前给出成像质量是否影响屈光度计算的预估信息，不仅能避免偏心摄影图片质量引起的误差问题，还能在使用过程中，及时提醒操作者改进操作方法或被测者纠正配合方式；其次，通过使用基于深度学习屈光度预测模型，输入被测者眼部图像，可直接预测被测者的屈光度信息，避免了之前方法中，环节过多导致的误差累积。基于深度学习屈光度预测模型是通过大量数据学习得到的，摆脱了之前依赖人工经验反复校准的过程。同时深度学习模型是一种高度非线性的模型，与之前方法中利用的线性模型或者简单非线性模型相比，对图像中可能存在的光照变化，不同直径的瞳孔，以及其他眼球变化信息，具有更好的鲁棒性，抗干扰性，对检测环境的要求更低；在端到端深度神经网络模型中，还可以加入被检测者的年龄、性别、病史等特征信息，从更多维度获取信息来提高了屈光度预测的准确性。
如图7所示，本发明实施例提供的一种屈光度计算装置，包括：
本图像获取单元110，用于获取被测者的眼部图像；
质量判断单元120，用于通过基于深度学习方法的成像质量判断模型对所述眼部图像的质量进行判断；如果质量不满足屈光度预测要求，则进行提示并返回重新获取被测者的眼部图像；
屈光计算单元130，用于如果质量满足屈光度预测要求，则将所述眼部图像输入基于端到端深度学习的屈光度预测模型中，通过屈光度预测模型计算被测者的眼睛屈光信息本发明实施例提供的屈光度计算装置，用于实现上述屈光度计算方法，因此具体实施方式与上述方法相同，在此不再赘述。
综上所述，本发明提供了一种屈光度计算方法及装置，通过基于深度学习方法的成像质量判断模型，能够在计算屈光度之前给出成像质量是否影响屈光度计算的预估信息，不仅能避免偏心摄影图片质量引起的误差问题，还能在使用过程中，及时提醒操作者改进操作方法或被测者纠正配合方式；其次，通过使用基于深度学习屈光度预测模型，输入被测者眼部图像，可直接预测被测者的屈光度信息，避免了之前方法中，环节过多导致的误差累积。基于深度学习屈光度预测模型是通过大量数据学习得到的，摆脱了之前依赖人工经验反复校准的过程。同时深度学习模型是一种高度非线性的模型，与之前方法中利用的线性模型或者简单非线性模型相比，对图像中可能存在的光照变化，不同直径的瞳孔，以及其他眼球变化信息，具有更好的鲁棒性，抗干扰性，对检测环境的要求更低；在端到端深度神经网络模型中，还可以加入被检测者的年龄、性别、病史等特征信息，从更多维度获取信息来提高了屈光度预测的准确性。
在本申请所公开的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种屈光度计算方法，其特征在于，包括：
获取被测者的眼部图像；
通过基于深度学习方法的成像质量判断模型对所述眼部图像的质量进行判断；
如果质量不满足屈光度预测要求，则进行提示并返回重新获取被测者的眼部图像；
如果质量满足屈光度预测要求，则将所述眼部图像输入基于端到端深度学习的屈光度预测模型中，通过屈光度预测模型计算被测者的眼睛屈光信息。
2.根据权利要求1所述的屈光度计算方法，其特征在于，所述通过基于深度学习方法的成像质量判断模型对所述眼部图像的质量进行判断的步骤，具体包括：
将所述眼部图像对应的眼部图片序列输入成像质量判断模型；
通过深度学习模型，提取特征并计算输出该组图像合格或存在各类问题的概率；
根据输出的每类问题的概率评估所述眼部图像的质量是否会影响屈光度计算。
3.根据权利要求2所述的屈光度计算方法，其特征在于，所述通过深度学习模型，提取特征并计算输出该组图像合格或存在各类问题的概率的步骤，具体包括：
提取所述眼部图片序列内单个图像帧的特征；
对图像帧序列的特征建模，提取包含图像时序特征和帧内特征的特征图；
将所述特征图输入分类模块获取每个类别的概率。
4.根据权利要求3所述的屈光度计算方法，其特征在于，所述成像质量判断模型的训练方法为：
收集人工模拟和实际使用过程中产生的图像序列，作为训练数据集；
对采集获得的图像序列标注标签，标签包括合格或存在某类影响屈光检查问题，得到训练数据集；
模型训练的目标函数是最小化模型在训练数据集上的损失。
5.根据权利要求2所述的屈光度计算方法，其特征在于，所述通过屈光度预测模型计算被测者的眼睛屈光信息的步骤，具体包括：
如果所述眼部图像对应的眼部图片序列为单个子午线方向红外灯照射下眼部图片序列，则计算被测者对应的单个子午线上屈光度；
如果所述眼部图像对应的眼部图片序列为多个子午线方向红外灯照射下眼部图片序列，则计算被测者对应的多个子午线上屈光度以及球镜、柱镜、轴位信息。
6.根据权利要求5所述的屈光度计算方法，其特征在于，所述通过屈光度预测模型计算被测者的眼睛屈光信息的步骤，还具体包括：
接收输入的眼部图片序列以及被测者的个人特征信息序列；
提取所述眼部图片序列内单个图像帧的特征；
对提取的图像帧特征进行注意力加权，得到单个图像帧的加权特征；
对图像帧序列的加权特征建模，提取包含图像时序特征和帧内特征的特征图；
将被测者的个人特征信息序列的离散特征转化为连续的向量特征；
根据所述特征图及所述连续的向量特征计算被测者屈光度信息。
7.根据权利要求6所述的屈光度计算方法，其特征在于，所述屈光度预测模型的训练方法为:
考虑影响屈光度计算多个影响因素以及被测者的个人特征信息，分别进行数据采集，作为模型训练数据集；
模型训练的目标函数是最小化模型在训练数据集上的损失。
8.根据权利要求7中所述的屈光度计算方法，其特征在于，所述模型训练数据集的构建方法具体包括：
针对每一位被测者，使用红外偏心摄像机获取不同影响屈光度计算因素下眼部图像序列；
获取被测者的个人特征信息，所述个人特征信息包括年龄、性别、病史信息；
获取被测者对应的屈光度信息，所述屈光度信息包括球镜、柱镜、轴位信息；
根据上述获取的信息构建训练数据集。
9.根据权利要求7所述的屈光度计算方法，其特征在于，所述屈光度预测模型的训练方法还包括：
加入额外的瞳孔和虹膜的分割及检测数据集；
使用多任务学习方法在计算屈光度信息同时预测瞳孔、虹膜的分割MASK或位置。
10.一种屈光度计算装置，其特征在于，包括：
图像获取单元，用于获取被测者的眼部图像；
质量判断单元，用于通过基于深度学习方法的成像质量判断模型对所述眼部图像的质量进行判断；如果质量不满足屈光度预测要求，则进行提示并返回重新获取被测者的眼部图像；
屈光计算单元，用于如果质量满足屈光度预测要求，则将所述眼部图像输入基于端到端深度学习的屈光度预测模型中，通过屈光度预测模型计算被测者的眼睛屈光信息。
CN202310235805.3A 2023-03-13 2023-03-13 一种屈光度计算方法及装置 Pending CN116570231A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310235805.3A CN116570231A (zh) 2023-03-13 2023-03-13 一种屈光度计算方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310235805.3A CN116570231A (zh) 2023-03-13 2023-03-13 一种屈光度计算方法及装置

Publications (1)

Publication Number Publication Date
CN116570231A true CN116570231A (zh) 2023-08-11

Family

ID=87540180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310235805.3A Pending CN116570231A (zh) 2023-03-13 2023-03-13 一种屈光度计算方法及装置

Country Status (1)

Country Link
CN (1) CN116570231A (zh)

Similar Documents

Publication Publication Date Title
CN110399929B (zh) 眼底图像分类方法、装置以及计算机可读存储介质
JP6672529B2 (ja) 予測自覚屈折データまたは予測矯正値を確定するための装置およびコンピュータプログラム
US20130308094A1 (en) Use of an optical system simulating behavior of human eye to generate retinal images and an image quality metric to evaluate same
KR102320580B1 (ko) 딥러닝을 이용한 근시 진행 예측 방법 및 시스템
JP7008815B2 (ja) 視力検査
US20200029802A1 (en) Vision screening device and methods
CN114694236B (zh) 一种基于循环残差卷积神经网络的眼球运动分割定位方法
CN116563932A (zh) 基于多任务学习的眼部图像识别方法及相关设备
CN110575132A (zh) 一种基于偏心摄影的斜视程度的计算方法
KR20210089222A (ko) 시력-관련 파라미터의 시간 경과에 따른 진화를 예측하는 방법 및 장치
KR20210088654A (ko) 시력-관련 파라미터의 시간 경과에 따른 진화를 예측하기 위한 모델을 구축하는 방법 및 장치
CN113989217A (zh) 一种基于深度学习的人眼屈光度检测方法
Xu et al. Deep learning for predicting refractive error from multiple photorefraction images
CN117577319A (zh) 一种糖尿病视网膜病变日常监测及预警方法
CN117338234A (zh) 一种屈光度与视力联合检测方法
CN117237711A (zh) 一种基于对抗学习的双模态眼底图像分类方法
CN116570231A (zh) 一种屈光度计算方法及装置
Thanh et al. A real-time classification of glaucoma from retinal fundus images using AI technology
CN113854957A (zh) 一种基于眼部图像的人工智能屈光度精准测量方法
EP4197427A1 (en) Method and device for evaluating refraction of an eye of an individual using machine learning
CN110287797A (zh) 一种基于手机的屈光筛选方法
ÇİFTCİ ARTIFICIAL INTELLIGENCE FOR CATARACT
CN117058148B (zh) 一种眼球震颤患者成像质量检测方法、装置及设备
CN116056623B (zh) 用于确定至少一只眼睛的至少一个散光作用的方法和装置
CN109008936A (zh) 基于参照物的屈光度检测方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination