CN114693587A - 眼底图像的数据标注的质量控制方法及质量控制系统 - Google Patents

眼底图像的数据标注的质量控制方法及质量控制系统 Download PDF

Info

Publication number
CN114693587A
CN114693587A CN202011588182.0A CN202011588182A CN114693587A CN 114693587 A CN114693587 A CN 114693587A CN 202011588182 A CN202011588182 A CN 202011588182A CN 114693587 A CN114693587 A CN 114693587A
Authority
CN
China
Prior art keywords
consistency
self
labeling
target
fundus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011588182.0A
Other languages
English (en)
Inventor
王娟
胡娟
胡志钢
赖铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sibionics Intelligent Technology Co Ltd
Original Assignee
Shenzhen Sibionics Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sibionics Intelligent Technology Co Ltd filed Critical Shenzhen Sibionics Intelligent Technology Co Ltd
Priority to CN202011588182.0A priority Critical patent/CN114693587A/zh
Priority to EP21912791.7A priority patent/EP4258205A1/en
Priority to US18/259,390 priority patent/US20240062378A1/en
Priority to PCT/CN2021/091225 priority patent/WO2022142029A1/zh
Publication of CN114693587A publication Critical patent/CN114693587A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本公开描述了一种眼底图像的数据标注的质量控制方法。其包括获取多张眼底图像；对各张眼底图像进行标准化处理以获得多张标准化眼底图像；对各张标准化眼底图像的质量进行初步筛选以获取多张合格眼底图像；准备目标眼底图集；由多个第一标注医生分别对目标眼底图集中的各张图像进行标注以获取多组医生标注结果；基于医生标注结果计算相应的第一标注医生的自我一致性和金标准一致性，获取符合预设条件的第一标注医生的医生标注结果作为目标标注结果；将多组目标标注结果进行汇总以获取最终标注结果。根据本公开，能够提供一种准确率较高的眼底图像的数据标注的质量控制方法及质量控制系统。

Description

眼底图像的数据标注的质量控制方法及质量控制系统
技术领域
本公开涉及一种眼底图像的数据标注的质量控制方法及质量控制系统。
背景技术
随着人工智能技术的发展，基于机器学习的监督学习技术被应用到越来越多的领域，特别是在医疗影像领域，基于机器学习的监督学习技术取得了巨大的成功。在监督学习中，机器学习模型利用由训练数据(例如眼底图像)和训练数据的标注结果(例如糖尿病性视网膜病变分期)组成的训练集进行训练，因此训练数据的数据标注质量对模型的训练至关重要。
目前，为了使训练数据的标注结果更准确，常常让专业的标注人员例如专业的眼科医生对训练数据进行标注并结合质量控制方法对标注结果进行质量控制。例如文献(CN110991486A)公开了一种多人协作图像标注质量控制的方法，该方法在标注包中按预设比例投入金标准数据，以验证标注用户针对任一标注包的标注质量，在多人拟合步骤，将一份图像分发给多位用户，收集多位用户对图像的标注结果，获取重复标签后，得到真实标签。然而，训练数据的标注结果的准确率还有待提高。
发明内容
本公开是有鉴于上述的状况而提出的，其目的在于提供一种准确率较高的眼底图像的数据标注的质量控制方法及质量控制系统。
为此，本公开第一方面提供了一种眼底图像的数据标注的质量控制方法，包括：获取多张眼底图像；对各张所述眼底图像进行标准化处理以获得多张标准化眼底图像；对各张所述标准化眼底图像的质量进行初步筛选以获取多张合格眼底图像；准备目标眼底图集，所述目标眼底图集包括包括所述多张合格眼底图像的待标定数据集、包括第一预设数量的已知正确标注结果的金标准眼底图像的金标准数据集和由至少一张所述待标定数据集中的图像构成的自我一致性判定数据集，所述目标眼底图集的各张图像作为各张目标眼底图像；由多个第一标注医生分别对所述目标眼底图集中的各张图像进行标注以获取多组医生标注结果，所述医生标注结果包括至少一个判定结果，所述判定结果至少包括无明显异常或一种疾病的疾病信息；基于所述医生标注结果计算相应的第一标注医生的自我一致性和金标准一致性以获取符合预设条件的第一标注医生的所述医生标注结果作为目标标注结果，所述自我一致性通过将所述自我一致性判定数据集中的各张图像的所述医生标注结果和所述待标定数据集中的与所述自我一致性判定数据集中的各张图像重复的图像的所述医生标注结果两组标注结果中的任意一组标注结果作为第一组标注结果且另一组作为第二组标注结果并利用自我一致性判断评估方法进行评估获得的，所述金标准一致性通过将所述金标准数据集的所述正确标注结果作为第一组标注结果且所述金标准数据集中的各张图像的所述医生标注结果作为第二组标注结果并利用金标准一致性判断评估方法进行评估获得的；将多组所述目标标注结果进行汇总以获取最终标注结果。在这种情况下，可以基于金标准数据集和自我一致性判定数据集获取符合预设条件的第一标注医生的医生标注结果作为目标标注结果并进行汇总。由此，能够提高眼底图像的数据标注的准确率。
另外，在本公开第一方面所涉及的质量控制方法中，可选地，所述预设条件为所述自我一致性大于自我一致性阈值且所述金标准一致性大于金标准一致性阈值。由此，能够基于自我一致性阈值和金标准一致性阈值确定预设条件。
另外，在本公开第一方面所涉及的质量控制方法中，可选地，不符合所述预设条件的第一标注医生的所述医生标注结果由第二标注医生对所述目标眼底图集中的各张图像进行重新标注，直至获得符合所述预设条件的医生标注结果作为所述目标标注结果。由此，能够获得目标标注结果。
另外，在本公开第一方面所涉及的质量控制方法中，可选地，所述自我一致性判断方法为利用二次方加权kappa系数计算各个第一标注医生对各个所述疾病进行判定的疾病自我一致性并对各个所述疾病自我一致性进行加权以计算各个第一标注医生的所述自我一致性；所述金标准一致性判断方法为利用二次方加权kappa系数计算各个第一标注医生对各个所述疾病进行判定的疾病金标准一致性并对各个所述疾病金标准一致性进行加权以计算各个第一标注医生的所述金标准一致性。由此，能够基于自我一致性判断方法计算各个第一标注医生的自我一致性和基于金标准一致性判断方法计算各个第一标注医生的金标准一致性。
另外，在本公开第一方面所涉及的质量控制方法中，可选地，所述二次方加权kappa系数κ为
Figure BDA0002866409870000031
其中，Wij表示二次加权系数，Xij表示第一组标注结果中的判定结果为i并且第二组标注结果中的判定结果为j的所述目标眼底图像的数量，Eij表示第一组标注结果中的判定结果为i并且第二组标注结果中的判定结果为j的所述目标眼底图像的期望数量。由此，能够对第一组标注结果和第二组标注结果进行一致性检验。
另外，在本公开第一方面所涉及的质量控制方法中，可选地，分析不同阈值标注医生的目标自我一致性和目标金标准一致性并采用异常检测的方式确定所述自我一致性阈值和所述金标准一致性阈值。由此，能够确定自我一致性阈值和金标准一致性阈值。
另外，在本公开第一方面所涉及的质量控制方法中，可选地，所述异常检测的方式为获取所述不同阈值标注医生的目标自我一致性并计算自我一致性均值μ0和自我一致性方差σ0，在目标自我一致性满足高斯分布的假设下，所述自我一致性阈值为μ0-1.96×σ0，并且获取所述不同阈值标注医生的目标金标准一致性并计算金标准一致性均值μ1和金标准一致性方差σ1，在目标金标准一致性满足高斯分布的假设下，所述金标准一致性阈值为μ1-1.96×σ1。由此，能够确定自我一致性阈值和金标准一致性阈值。
另外，在本公开第一方面所涉及的质量控制方法中，可选地，所述汇总为利用绝对多数投票法比较各张所述目标眼底图像在多组所述目标标注结果中的各个标注结果以确定各张所述目标眼底图像的所述最终标注结果，若无法确定所述最终标注结果，则将该目标眼底图像标记为疑难眼底图像；对所述疑难眼底图像进行标注和仲裁以获取所述最终标注结果。由此，能够基于绝对多数投票法获取最终标注结果。
另外，在本公开第一方面所涉及的质量控制方法中，可选地，所述汇总为比较各张所述目标眼底图像在多组所述目标标注结果中的各个标注结果，在各个标注结果一致的情况下，将该标注结果作为该目标眼底图像的所述最终标注结果，在多个标注结果不一致的情况下，若多个标注结果中同时包括相同的判定结果且仅一个标注结果中包括其他标注结果中未识别的判定结果，则将该目标眼底图像标记为待质控眼底图像，否则将该目标眼底图像标记为疑难眼底图像；对所述待质控眼底图像进行质控并获取所述最终标注结果并对疑难眼底图像进行标注和仲裁以获取所述最终标注结果。在这种情况下，通过比较各张目标眼底图像在多组目标标注结果中的各个标注结果，能够将目标眼底图像分成具有最终标注结果的目标眼底图像、待质控眼底图像以及疑难眼底图像并获取最终标注结果。
另外，在本公开第一方面所涉及的质量控制方法中，可选地，对所述待质控眼底图像进行质控，若判定所述未识别的判定结果不存在，则将所述相同的判定结果作为所述最终标注结果，若判定所述未识别的判定结果存在，则将所述待质控眼底图像标记为疑难眼底图像并对疑难眼底图像进行标注和仲裁以获取所述最终标注结果。由此，能够将待质控眼底图像分成具有最终标注结果的待质控眼底图像以及疑难眼底图像并获取最终标注结果。
另外，在本公开第一方面所涉及的质量控制方法中，可选地，由仲裁医生对疑难眼底图像进行标注和仲裁以获取所述最终标注结果。由此，能够获取疑难眼底图像的最终标注结果。
另外，在本公开第一方面所涉及的质量控制方法中，可选地，所述标准化处理包括按患者对所述眼底图像进行划分、统一所述眼底图像的名称格式、筛选出非眼底图像、统一所述眼底图像的图片格式和统一所述眼底图像的背景中的至少一种。由此，能够对眼底图像进行标准化处理。
另外，在本公开第一方面所涉及的质量控制方法中，可选地，所述初步筛选包括将所述标准化眼底图像至少分成包括合格和不合格两种图像质量等级，所述合格眼底图像为所述图像质量等级为合格的所述标准化眼底图像。由此，能够对标准化眼底图像的质量进行初步筛选以快速地获取合格眼底图像。
另外，在本公开第一方面所涉及的质量控制方法中，可选地，在所述标注中，还将所述目标眼底图集中的各张图像分成包括很好、好、一般、差和极差五种图像质量等级。在这种情况下，后续可以结合更详细的图像质量等级确定最终标注结果。
另外，在本公开第一方面所涉及的质量控制方法中，可选地，所述疾病包括糖尿病性视网膜病变、高血压性视网膜病变、青光眼、视网膜静脉阻塞、视网膜动脉阻塞、年龄相关性黄斑病变、高度近视性黄斑病变、视网膜脱离、视神经疾病、视盘发育先天异常中的至少一种。由此，能够对至少一种疾病进行标注。
另外，在本公开第一方面所涉及的质量控制方法中，可选地，所述预设条件为dself≤D且dgold≤D，其中，dself为基于所述自我一致性的自我评价指标，dgold为基于所述金标准一致性的金标准评价指标，D为评价指标阈值；所述自我评价指标dself满足公式：dself＝|Jself-κself|/κself×100％，其中，Jself＝SEself+SPself-1，SEself为基于用于评估所述自我一致性的两组标注结果获得的第一标注医生的敏感性，SPself为基于用于评估所述自我一致性的两组标注结果获得的第一标注医生的特异性，κself为第一标注医生的所述自我一致性；所述金标准评价指标dgold满足公式：dgold＝|Jgold-κgold|/κgold×100％，其中，Jgold＝SEgold+SPgold-1，SEgold为基于用于评估所述金标准一致性的两组标注结果获得的第一标注医生的敏感性，SPgold为基于用于评估所述金标准一致性的两组标注结果获得的第一标注医生的特异性，κgold为第一标注医生的所述金标准一致性。由此，能够基于评价指标阈值确定预设条件。
本公开第二方面提供了一种眼底图像的数据标注的质量控制系统，包括：获取模块，其用于获取多张眼底图像；标准化处理模块，其用于对各张所述眼底图像进行标准化处理以获得多张标准化眼底图像；初筛模块，其用于对各张所述标准化眼底图像的质量进行初步筛选以获取多张合格眼底图像；数据准备模块，其用于准备目标眼底图集，所述目标眼底图集包括包括所述多张合格眼底图像的待标定数据集、包括第一预设数量的已知正确标注结果的金标准眼底图像的金标准数据集和由至少一张所述待标定数据集中的图像构成的自我一致性判定数据集，所述目标眼底图集的各张图像作为各张目标眼底图像；标注模块，其用于获取由多个第一标注医生分别对所述目标眼底图集中的各张图像进行标注的多组医生标注结果，所述医生标注结果包括至少一个判定结果，所述判定结果至少包括无明显异常或一种疾病的疾病信息；评估模块，其基于所述医生标注结果计算相应的第一标注医生的自我一致性和金标准一致性以获取符合预设条件的第一标注医生的所述医生标注结果作为目标标注结果，所述自我一致性通过将所述自我一致性判定数据集中的各张图像的所述医生标注结果和所述待标定数据集中的与所述自我一致性判定数据集中的各张图像重复的图像的所述医生标注结果两组标注结果中的任意一组标注结果作为第一组标注结果且另一组作为第二组标注结果并利用自我一致性判断评估方法进行评估获得的，所述金标准一致性通过将所述金标准数据集的所述正确标注结果作为第一组标注结果且所述金标准数据集中的各张图像的所述医生标注结果作为第二组标注结果并利用金标准一致性判断评估方法进行评估获得的；汇总模块，其用于将多组所述目标标注结果进行汇总以获取最终标注结果。在这种情况下，可以基于金标准数据集和自我一致性判定数据集获取符合预设条件的第一标注医生的医生标注结果作为目标标注结果并进行汇总。由此，能够提高眼底图像的数据标注的准确率。
根据本公开，能够提供一种准确率较高的眼底图像的数据标注的质量控制方法及质量控制系统。
附图说明
现在将仅通过参考附图的例子进一步详细地解释本公开，其中：
图1是示出了本公开示例所涉及的眼底图像的数据标注的质量控制方法的使用场景图。
图2是示出了本公开示例所涉及的眼底图像的数据标注的质量控制方法的流程图。
图3是示出了本公开示例所涉及的目标眼底图集的框图。
图4是示出了本公开示例所涉及的确定自我一致性阈值的流程图。
图5是示出了本公开示例所涉及的目标自我一致性和目标金标准一致性的统计图。
图6是示出了本公开示例所涉及的汇总方式的流程图。
图7是示出了本公开示例所涉及的对待质控眼底图像进行质控并获取最终标注结果的流程图。
图8是示出了本公开示例所涉及的眼底图像的数据标注的质量控制系统的框图。
主要标号说明：
100…使用场景，110…人眼，120…采集设备，130…医生标注结果，140…目标标注结果，150…最终标注结果，A…第一标注医生，A1…第一标注医生，A2…第一标注医生，A3…第一标注医生，B…第二标注医生，200…目标眼底图集，210…待标定数据集，220…金标准数据集，230…自我一致性判定数据集，D1…第一区域，D2…第二区域，D3…第三区域，D4…第四区域，300…质量控制系统，310…获取模块，320…标准化处理模块，330…初筛模块，340…数据准备模块，350…标注模块，360…评估模块，370…汇总模块。
具体实施方式
以下，参考附图，详细地说明本公开的优选实施方式。在下面的说明中，对于相同的部件赋予相同的符号，省略重复的说明。另外，附图只是示意性的图，部件相互之间的尺寸的比例或者部件的形状等可以与实际的不同。需要说明的是，本公开中的术语“包括”和“具有”以及它们的任何变形，例如所包括或所具有的一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可以包括或具有没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。本公开所描述的所有方法可以以任何合适的顺序执行，除非在此另有指示或者与上下文明显矛盾。
图1是示出了本公开示例所涉及的眼底图像的数据标注的质量控制方法的使用场景图。在一些示例中，本公开所涉及的眼底图像的数据标注的质量控制方法(有时也可以简称为质量控制方法)，可以应用于如图1所示的使用场景100中。在使用场景100中，首先，可以由多个第一标注医生A例如3个第一标注医生A，3个第一标注医生A可以为第一标注医生A1、第一标注医生A2和第一标注医生A3对多个人眼110的眼底的多张眼底图像进行标注以获取医生标注结果130(稍后描述)。其次，可以将符合预设条件(稍后描述)的医生标注结果130中作为目标标注结果140(稍后描述)。例如，如图1所示，在假设第一标注医生A2和第一标注医生A3的医生标注结果130符合自我一致性和金标准一致性要求的情况下，可以将第一标注医生A2和第一标注医生A3的医生标注结果130作为目标标注结果140。最后，可以对目标标注结果140进行汇总以获取最终标注结果150(稍后描述)。
在一些示例中，人眼110的眼底是指眼球内后部的组织，可以包括眼球的内膜、视网膜、黄斑和血管。在一些示例中，人眼110的眼底的眼底图像可以由采集设备120获得。在一些示例中，采集设备120可以包括但不限于是相机等。相机例如可以是彩色眼底相机。
在一些示例中，不符合预设条件的医生标注结果130可以由第二标注医生B进行重新标注并最终获取目标标注结果140。但本公开的示例不限于此，在另一些示例中，可以将不符合预设条件的医生标注结果130筛除。在一些示例中，第二标注医生B可以是1个或多个。在一些示例中，若由第二标注医生B重新标注的医生标注结果130不符合预设条件，可以由另一个第二标注医生B继续进行重新标注直至获取符合预设条件的医生标注结果130作为目标标注结果140。在一些示例中，第二标注医生B可以与第一标注医生A不同。在一些示例中，第二标注医生B和第一标注医生A可以包括但不限于是专业的眼科医生或经验丰富的医师。
以下结合附图，详细说明本公开所涉及的质量控制方法，图2是示出了本公开示例所涉及的眼底图像的数据标注的质量控制方法的流程图。在一些示例中，如图2所示，质量控制方法可以包括获取多张眼底图像(步骤S110)，对各张眼底图像进行标准化处理以获得多张标准化眼底图像(步骤S120)，对各张标准化眼底图像的质量进行初步筛选以获取多张合格眼底图像(步骤S130)，准备包括待标定数据集(参见图3)、金标准数据集和自我一致性判定数据集的目标眼底图集(步骤S140)，由多个第一标注医生分别对目标眼底图集中的各张图像进行标注以获取多组医生标注结果(步骤S150)，基于符合预设条件的多组医生标注结果获取多组目标标注结果(步骤S160)和将多组目标标注结果进行汇总以获取最终标注结果(步骤S170)。在这种情况下，可以基于金标准数据集和自我一致性判定数据集获取符合预设条件的第一标注医生的医生标注结果作为目标标注结果并进行汇总。由此，能够提高眼底图像的数据标注的准确率。
在一些示例中，在步骤S110中，可以获取多张眼底图像。在一些示例中，眼底图像可以为彩色的眼底图像。彩色的眼底图像能够清晰的呈现视盘、视杯、黄斑、血管等丰富的眼底信息。另外，眼底图像可以为RGB模式或灰度模式的图像等。在一些示例中，眼底图像可以为由采集设备120采集的眼底图像。在另一些示例中，眼底图像可以为预先存储在服务器中的图像。在一些示例中，多张眼底图像可以是来自合作医院且去除患者信息的例如5-20万幅眼底图像。
在一些示例中，在步骤S120中，可以对各张眼底图像进行标准化处理以获得多张标准化眼底图像。在一些示例中，标准化处理可以包括按患者对眼底图像进行划分、统一眼底图像的名称格式、筛选出非眼底图像、统一眼底图像的图片格式和统一眼底图像的背景中的至少一种。另外，在一些示例中，非眼底图像可以包括但不限于是眼底拼接图或眼前节图。在一些示例中，非眼底图像可以是除以视盘和黄斑为中心的45度眼底图像以外的图像。另外，在一些示例中，可以统一眼底图像的名称格式，例如可以去除眼底图像的名称中的患者信息并将眼底图像的名称标准化。另外，在一些示例中，可以将眼底图像的名称转成哈希值。另外，在一些示例中，可以统一眼底图像的图片格式(例如jpg格式)。另外，在一些示例中，可以统一眼底图像的背景(例如可以将眼底图像统一转成黑色背景)。
在一些示例中，在步骤S130中，可以对各张标准化眼底图像的质量进行初步筛选以获取多张合格眼底图像。
在一些示例中，初步筛选可以包括将标准化眼底图像至少分成包括合格和不合格两种图像质量等级。由此，能够对标准化眼底图像的质量进行初步筛选以快速地获取合格眼底图像。
在一些示例中，可以由多个第一标注医生A对标准化眼底图像的质量进行判定以将标准化眼底图像分成多种图像质量等级。在一些示例中，可以基于影响眼底图像的质量的因素对标准化眼底图像进行分级。在一些示例中，影响眼底图像的质量的因素可以包括但不限于眼底图像的拍摄位置、眼底图像的曝光度和眼底图像的清晰度中的至少一种。例如图像质量等级为合格的标准化眼底图像可以是拍摄位置正确、曝光度适中和清晰度好的图像。在这种情况下，对标准化眼底图像的质量进行分级。由此，能够方便地获取合格眼底图像。
但本公开的示例不限于此，在另一些示例中，在初步筛选中，可以对标准化眼底图像进行更细致地划分。例如可以将标准化眼底图像分成至少包括五种图像质量等级。在一些示例中，五种图像质量等级可以包括很好、好、一般、差和极差。在一些示例中，图像质量等级还可以包括拍摄区域异常(例如非眼底图像)、无图像或图像采集技术问题以及其他问题导致无法判读。在一些示例中，图像质量等级可以为达标、勉强达标和不达标。
另外，在一些示例中，在步骤S130中，可以获取多张合格眼底图像。在一些示例中，合格眼底图像可以为图像质量等级为合格的标准化眼底图像。但本公开的示例不限于此，在另一些示例中，合格眼底图像可以为图像质量等级为很好、好、一般和差的标准化眼底图像。合格眼底图像可以为图像质量等级为很好、好和一般的标准化眼底图像或合格眼底图像可以为图像质量等级为很好和好的标准化眼底图像。在另一些示例中，合格眼底图像可以为图像质量等级为达标和勉强达标的标准化眼底图像。由此，能够获取合格眼底图像。
图3是示出了本公开示例所涉及的目标眼底图集的框图。如上所述，质量控制方法可以包括步骤S140(参见图2)。在一些示例中，在步骤S140中，可以准备包括待标定数据集210、金标准数据集220和自我一致性判定数据集230的目标眼底图集200。如图3所示，在一些示例中，目标眼底图集200可以包括待标定数据集210、金标准数据集220和自我一致性判定数据集230。
在一些示例中，待标定数据集210可以包括多张合格眼底图像。在一些示例中，待标定数据集210可以包括步骤S130获得的全部合格眼底图像。在一些示例中，待标定数据集210可以包括步骤S130获得的部分合格眼底图像。在一些示例中，可以将步骤S130获得的全部合格眼底图像进行分组并将各组合格眼底图像作为一个待标定数据集210。例如，可以按80张、90张或100张一组的方式对步骤S130获得的全部合格眼底图像进行分组。
另外，在一些示例中，金标准数据集220可以包括第一预设数量的金标准眼底图像。金标准眼底图像可以是已知正确标注结果的眼底图像。在一些示例中，金标准眼底图像可以是来自标注数据库的已知正确标注结果的眼底图像。在一些示例中，第一预设数量可以为5至20。例如，第一预设数量可以为5、10、15或20等。但本公开的示例不限于此，在另一些示例中，第一预设数量可以是其他值。
另外，在一些示例中，自我一致性判定数据集230可以由待标定数据集210中的图像构成。在一些示例中，自我一致性判定数据集230中图像的数量可以为至少一张。在一些示例中，自我一致性判定数据集230中的图像的数量可以为5至20。例如，自我一致性判定数据集230中图像的数量可以为5、10、15或20等。但本公开的示例不限于此，在另一些示例中，自我一致性判定数据集230中图像的数量可以是其他值。在一些示例中，自我一致性判定数据集230中的图像的数量可以小于待标定数据集210中的图像的数量。由此，自我一致性判定数据集230中的图像能够与待标定数据集210中的部分图像重复。另外，在一些示例中，目标眼底图集200的各张图像可以作为各张目标眼底图像。
在一些示例中，在步骤S150中，可以由多个第一标注医生A分别对目标眼底图集200中的各张图像进行标注以获取多组医生标注结果130。例如，假设3个第一标注医生A分别对目标眼底图集200进行标注，则3个第一标注医生A可以获取3组医生标注结果130。在一些示例中，多个第一标注医生A可以利用在线标注系统对目标眼底图集200中的各张图像进行标注。在一些示例中，第一标注医生A的数量可以大于等于3。例如第一标注医生A的数量可以为3、5、7或9等。
在一些示例中，目标眼底图集200中的各张图像的医生标注结果130可以包括至少一个判定结果。在一些示例中，判定结果可以包括无明显异常或一种疾病的疾病信息。在一些示例中，如果目标眼底图集200中的图像不存在任何一种疾病，则该图像的医生标注结果130可以为无明显异常。在一些示例中，医生标注结果130可以是多种疾病的判定结果。例如医生标注结果130可以为糖尿病性视网膜病变Ⅰ期和存在青光眼。
在一些示例中，医生标注结果130可以包括目标眼底图集200中的各张图像的质量的图像质量等级和眼别(例如左眼或者右眼)。在一些示例中，若在初步筛选中，未对各张标准化眼底图像的质量进行更细致地划分，在标注过程中，第一标注医生A可以对目标眼底图集200中的各张图像的质量进行更细致地划分。在另一些示例中，若在初步筛选中，对各张标准化眼底图像的质量进行更细致地划分，在标注过程中，第一标注医生A可以对目标眼底图集200中的各张图像的质量进行再次划分。具体内容参照对标准化眼底图像进行更细致地划分的相关描述。在这种情况下，后续可以结合更详细的图像质量等级确定最终标注结果150。在一些示例中，医生标注结果130中的图像质量等级可以包括初步筛选获得的图像质量等级和标注过程获得的图像质量等级。
在一些示例中，疾病可以包括糖尿病性视网膜病变、高血压性视网膜病变、青光眼、视网膜静脉阻塞、视网膜动脉阻塞、年龄相关性黄斑病变、高度近视性黄斑病变、视网膜脱离、视神经疾病、视盘发育先天异常中的至少一种。由此，能够对至少一种疾病进行标注。但本公开的示例不限于此，本公开的质量控制方法可以容易地推广到其他疾病的数据标注或者其他领域的数据标注的质量控制。在一些示例中，疾病信息可以是基于疾病的严重程度的分期。例如糖尿病性视网膜病变的分期可以为Ⅰ期、Ⅱ期、Ⅲ期、Ⅳ期、Ⅴ期和Ⅵ期。在另一些示例中，疾病信息可以是存在某个疾病，例如疾病信息可以为存在青光眼。
如上所述，质量控制方法可以包括步骤S160(参见图2)。在一些示例中，在步骤S160中，可以基于符合预设条件的多组医生标注结果130获取多组目标标注结果140。在一些示例中，在步骤S160中，可以基于医生标注结果130计算相应的第一标注医生A的自我一致性和金标准一致性。
如上所述，目标眼底图集200的各张图像可以作为各张目标眼底图像。在一些示例中，可以通过判断各个第一标注医生A对同一张目标眼底图像进行两次标注获得的医生标注结果130是否一致获得自我一致性。在一些示例中，自我一致性越高，可以说明第一标注医生A的标注水平越稳定。具体地，在一些示例中，在计算自我一致性的时，可以获取自我一致性判定数据集230中的各张图像的医生标注结果130，和待标定数据集210中的与自我一致性判定数据集230中的各张图像重复的图像的医生标注结果130两组标注结果。在一些示例中，可以通过将两组标注结果中的任意一组标注结果作为第一组标注结果，且另一组作为第二组标注结果，并利用自我一致性判断评估方法进行评估以获得自我一致性。
在一些示例中，自我一致性判断方法可以为利用二次方加权kappa系数计算各个第一标注医生A对各个疾病进行判定的疾病自我一致性。在一些示例中，单个疾病的二次方加权kappa系数κ可以为
Figure BDA0002866409870000131
其中，Wij可以表示二次加权系数，Xij可以表示第一组标注结果中的判定结果为i并且第二组标注结果中的判定结果为j的目标眼底图像的数量，Eij可以表示第一组标注结果中的判定结果为i并且第二组标注结果中的判定结果为j的目标眼底图像的期望数量。在一些示例中，当i不等于j的时候，Eij可以为零。在一些示例中，可以根据需要设置二次加权系数Wij以突显某个判定结果的重要性。由此，能够对第一组标注结果和第二组标注结果进行一致性检验。
在一些示例中，在自我一致性判断方法中，可以对各个疾病自我一致性进行加权以计算各个第一标注医生A的自我一致性。例如可以设置糖尿病性视网膜病变的疾病自我一致性的权重为1，其他疾病的疾病自我一致性的权重为0.5。由此，能够基于自我一致性判断方法计算各个第一标注医生A的自我一致性。但本公开的示例不限于此，在另一些示例中，可以通过其他方式计算自我一致性。
如上所述，在步骤S160中，可以基于医生标注结果130计算相应的第一标注医生A的金标准一致性。具体地，在一些示例中，在计算金标准一致性时，可以将金标准数据集220的正确标注结果作为第一组标注结果，也即金标准眼底图像的标注结果作为第一组标注结果，且将金标准数据集220中的各张图像的医生标注结果130作为第二组标注结果。在一些示例中，可以基于第一组标注结果和第二组标注结果并利用金标准一致性判断评估方法进行评估获得金标准一致性。
在一些示例中，金标准一致性判断方法可以为利用二次方加权kappa系数计算各个第一标注医生A对各个疾病进行判定的疾病金标准一致性。在一些示例中，可以对各个疾病金标准一致性进行加权以计算各个第一标注医生A的金标准一致性。由此，能够基于金标准一致性判断方法计算各个第一标注医生A的自我一致性。具体内容可以参见自我一致性判断方法的详细描述。但本公开的示例不限于此，在另一些示例中，可以通过其他方式计算金标准一致性。
在一些示例中，在步骤S160中，可以获取符合预设条件的第一标注医生A的医生标注结果130，并将该医生标注结果130作为目标标注结果140。在一些示例中，预设条件可以为dself≤D且dgold≤D，其中，dself为基于自我一致性的自我评价指标，dgold为基于金标准一致性的金标准评价指标，D为评价指标阈值。在一些示例中，D≤5％。由此，能够基于评价指标阈值确定预设条件。
在一些示例中，自我评价指标dself可以满足公式：dself＝|Jself-κself|/κself×100％，其中，Jself＝SEself+SPself-1，SEself为基于用于评估自我一致性的两组标注结果获得的第一标注医生A的敏感性，SPself为基于用于评估自我一致性的两组标注结果获得的第一标注医生A的特异性，κself为第一标注医生A的自我一致性。在一些示例中，可以将用于评估自我一致性的两组标注结果中的任意一组作为金标准来评价另一组以获得第一标注医生A的敏感性和特异性。
在一些示例中，金标准评价指标dgold可以满足公式：dgold＝|Jgold-κgold|/κgold×100％，其中，Jgold＝SEgold+SPgold-1，SEgold为基于用于评估金标准一致性的两组标注结果获得的第一标注医生A的敏感性，SPgold为基于用于评估金标准一致性的两组标注结果获得的第一标注医生A的特异性，κgold为第一标注医生A的金标准一致性。在一些示例中，可以将用于评估金标准一致性的两组标注结果中的第一组标注结果作为金标准来评价第二组标注结果以获得第一标注医生A的敏感性和特异性。
图4是示出了本公开示例所涉及的确定自我一致性阈值的流程图。图5是示出了本公开示例所涉及的目标自我一致性和目标金标准一致性的统计图。其中，第一区域D1、第二区域D2、第三区域D3和第四区域D4是统计图中的四个区域。在一些示例中，预设条件可以为自我一致性大于自我一致性阈值且金标准一致性大于金标准一致性阈值。在一些示例中，可以分析不同阈值标注医生的目标自我一致性和目标金标准一致性并采用异常检测的方式确定自我一致性阈值和金标准一致性阈值。由此，能够确定自我一致性阈值和金标准一致性阈值。
在一些示例中，如图4所示，基于异常检测的方式确定自我一致性阈值的流程可以包括获取不同阈值标注医生的目标自我一致性(步骤S161)，计算自我一致性均值μ0和自我一致性方差σ0(步骤S162)以及基于自我一致性均值μ0和自我一致性方差σ0计算自我一致性阈值(步骤S163)。由此，能够确定自我一致性阈值。
在一些示例中，在步骤S161中，可以获取不同阈值标注医生的目标自我一致性。具体地，可以分析不同阈值标注医生的目标自我一致性。例如可以分析资质合格的1至4年年资的阈值标注医生、5至9年年资的阈值标注医生和10年以上阈值标注医生的目标自我一致性。在一些示例中，可以同时获取目标自我一致性和目标金标准一致性(稍后描述)。作为目标自我一致性和目标金标准一致性统计结果的示例，图5示出了不同年资的阈值标注医生的目标自我一致性和目标金标准一致性的统计结果。其中，圆形可以表示1至4年年资的阈值标注医生的目标自我一致性和目标金标准一致性。正方形可以表示5至9年年资的阈值标注医生的目标自我一致性和目标金标准一致性。三角形可以表示10年以上阈值标注医生的目标自我一致性和目标金标准一致性。第一区域D1、第二区域D2、第三区域D3和第四区域D4是统计图中的四个区域。从图5中可以看出，1至4年年资的阈值标注医生的目标自我一致性和目标金标准一致性的统计结果存在落入第一区域D1和第四区域D4的情况，而5年以上年资的阈值标注医生的目标自我一致性和目标金标准一致性的统计结果主要落入第二区域D2。
在一些示例中，在步骤S162中，可以计算自我一致性均值μ0和自我一致性方差σ0。在一些示例中，可以计算目标自我一致性的自我一致性均值μ0和自我一致性方差σ0。
在一些示例中，在步骤S163中，可以基于自我一致性均值μ0和自我一致性方差σ0计算自我一致性阈值。具体地，在一些示例中，在目标自我一致性满足高斯分布的假设下，自我一致性阈值可以为μ0-1.96×σ0。在这种情况下，异常发生的概率小于2.5％。在一些示例中，自我一致性阈值可以为0.7977。
在一些示例中，基于异常检测的方式确定金标准一致性阈值的流程可以包括获取不同阈值标注医生的目标金标准一致性，计算目标金标准一致性的金标准一致性均值μ1和金标准一致性方差σ1以及基于金标准一致性均值μ1和金标准一致性方差σ1计算金标准一致性阈值。由此，能够确定金标准一致性阈值。在一些示例中，在目标金标准一致性满足高斯分布的假设下，金标准一致性阈值可以为μ1-1.96×σ1。在这种情况下，异常发生的概率小于2.5％。在一些示例中，金标准一致性阈值可以为0.6235。确定金标准一致性阈值的流程的详细描述可以参见确定自我一致性阈值的流程，此处不再赘述。
但本公开的示例不限于此，在另一些示例中，可以使用其他异常检测的方式确定自我一致性阈值和金标准一致性阈值。
在一些示例中，在步骤S160中，不符合预设条件的第一标注医生A的医生标注结果130可以由第二标注医生B对目标眼底图集200中的各张图像进行重新标注。在一些示例中，可以不断地对不符合预设条件的医生标注结果130进行重新标注，直至获得符合预设条件的医生标注结果130作为目标标注结果140。在这种情况下，对不符合预设条件的第一标注医生A的医生标注结果130进行重新标注。由此，能够获得目标标注结果140。在一些示例中，进行第二标注医生可以与步骤S150中的第一标注医生不同。
图6是示出了本公开示例所涉及的汇总方式的流程图。如上所述，质量控制方法可以包括步骤S170(参见图2)。在一些示例中，在步骤S170中，可以将多组目标标注结果140进行汇总以获取最终标注结果150。
在一些示例中，可以利用绝对多数投票法(Majority Voting)比较各张目标眼底图像在多组目标标注结果140中的各个标注结果以确定各张目标眼底图像的最终标注结果150。具体地，在利用绝对多数投票法比较各个标注结果时，若超过一半的标注结果中的判定结果一致才能将该标注结果作为最终标注结果150的一部分(也即需要有效票过半数才认可)。在一些示例中，若无法确定最终标注结果150(也即有效票未过半数)，则将该目标眼底图像标记为疑难眼底图像。在一些示例中，可以对疑难眼底图像进行标注和仲裁以获取最终标注结果150。由此，能够基于绝对多数投票法获取最终标注结果150。
在一些示例中，可以由仲裁医生对疑难眼底图像进行标注以获取仲裁标注结果。在一些示例中，仲裁标注结果可以包括至少一个判定结果。在一些示例中，可以将仲裁标注结果作为最终标注结果150。
但本公开的示例不限于此，在另一些示例中，如图6所示，步骤S170的汇总方式的流程可以包括步骤S171至步骤S179。在这种情况下，通过比较各张目标眼底图像在多组目标标注结果140中的各个标注结果，能够将目标眼底图像分成具有最终标注结果150的目标眼底图像、待质控眼底图像以及疑难眼底图像并获取最终标注结果150。
在一些示例中，在步骤S171中，可以获取各张目标眼底图像。具体地，在一些示例中，可以依次遍历目标眼底图集200中的各张目标眼底图像并在步骤S172中进行比较。
在一些示例中，在步骤S172中，可以比较步骤S171中获得的各张目标眼底图像在多组目标标注结果140中的各个标注结果。例如，假设存在三组目标标注结果140，那么各张目标眼底图像可以有来源于每组目标标注结果140的三个标注结果。
在一些示例中，在步骤S173中，可以判断各个标注结果是否一致。例如，可以比较上述步骤S172的三个标注结果是否一致。
在一些示例中，在各个标注结果一致的情况下，可以进入步骤S174。在一些示例中，在步骤S174中，可以将该标注结果作为该目标眼底图像的最终标注结果150。在一些示例中，各个标注结果包括的判定结果完全相同时可以判定各个标注结果一致。例如若各个标注结果都是无明显异常，则可以判定各个标注结果一致。又例如若各个标注结果都是糖尿病性视网膜病变Ⅰ期和存在青光眼则可以判定各个标注结果一致。
在一些示例中，在多个标注结果不一致的情况下，可以进入步骤S175。在一些示例中，在步骤S175中，可以判断各个标注结果是否同时包括相同的判定结果，且仅一个标注结果中包括其他标注结果中未识别的判定结果，若是，则可以进入步骤S176，否则可以进入步骤S177。
例如，假设该目标眼底图像的多个标注结果分别为第一标注结果、第二标注结果和第三标注结果，其中，第一标注结果为糖尿病性视网膜病变Ⅰ期，第二标注结果为糖尿病性视网膜病变Ⅰ期，第三标注结果为糖尿病性视网膜病变Ⅰ期和存在青光眼。在这种情况下，糖尿病性视网膜病变Ⅰ期为各个标注结果中同时包括的相同判定结果。存在青光眼为未识别的判定结果，并且仅有一个标注结果中包括存在青光眼。但本公开示例不限于此，在另一些示例中，可以通过其他判断条件进行判断。例如可以将各个标注结果同时包括相同的判定结果，且至少一个标注结果中包括其他标注结果中未识别的判定结果作为步骤S175的判断条件。
在一些示例中，在步骤S176中，可以将目标眼底图像标记为待质控眼底图像。
图7是示出了本公开示例所涉及的对待质控眼底图像进行质控并获取最终标注结果的流程图。在一些示例中，在步骤S177中，可以对待质控眼底图像进行质控并获取最终标注结果150。如图7所示，在一些示例中，对待质控眼底图像进行质控并获取最终标注结果的流程可以包括步骤S1771至步骤S1775。
在一些示例中，在步骤S1771中，可以对待质控眼底图像进行质控。在一些示例中，可以由质控医生对待质控眼底图像进行质控以获取质控判断结果。在一些示例中，可以对待质控眼底图像中未识别的判定结果(例如在步骤S175中所述的仅有一个标注结果中包括存在青光眼的情况)进行评估以获取质控判断结果(例如存在未识别的判定结果或者不存在未识别的判定结果)。
在一些示例中，在步骤S1772中，可以基于步骤S1771的质控判断结果判断未识别的判定结果是否存在，若不存在，则可以进入步骤S1773，否则可以进入步骤S1774。
在一些示例中，在步骤S1773中，可以将相同的判定结果作为最终标注结果150。例如，假设目标眼底图像的多个标注结果分别为第一标注结果、第二标注结果和第三标注结果，其中，第一标注结果为糖尿病性视网膜病变Ⅰ期，第二标注结果为糖尿病性视网膜病变Ⅰ期，第三标注结果为糖尿病性视网膜病变Ⅰ期和存在青光眼。在这种情况下，糖尿病性视网膜病变Ⅰ期为各个标注结果同时包括的相同的判定结果，可以作为该目标眼底图像的最终标注结果150。
在一些示例中，在步骤S1774中，可以将待质控眼底图像标记为疑难眼底图像。
在一些示例中，在步骤S1775中，可以对疑难眼底图像进行标注和仲裁以获取最终标注结果150。在一些示例中，可以由仲裁医生对疑难眼底图像进行标注以获取仲裁标注结果。在一些示例中，仲裁标注结果可以包括至少一个判定结果。在一些示例中，可以将仲裁标注结果作为最终标注结果150。在一些示例中，可以基于疑难眼底图像的多个目标标注结果140、质控判断结果和仲裁标注结果获取最终标注结果150。
如上所述，步骤S170的汇总方式的流程可以包括步骤S178。在一些示例中，在步骤S178中，可以将目标眼底图像标记为疑难眼底图像。
在一些示例中，在步骤S179中，可以对疑难眼底图像进行标注和仲裁以获取最终标注结150。在一些示例中，可以基于疑难眼底图像的多个目标标注结果140和仲裁标注结果获取最终标注结果150。由此，能够获取疑难眼底图像的最终标注结果150。具体内容可以参见步骤S1775中的相关描述。
在一些示例中，可以对目标眼底图集200的医生标注结果130进行统计以获取统计结果。在一些示例中，统计结果可以包括金标准一致性重新标注占比。在一些示例中，金标准一致性重新标注占比可以为由于金标准一致性未达标，被重新标注的目标眼底图像在目标眼底图集200中的占比。在一些示例中，统计结果可以包括自我一致性重新标注占比。在一些示例中，由于自我一致性未达标，被重新标注的目标眼底图像在目标眼底图集200中的占比。
在一些示例中，可以基于统计结果对标注过程进行质量控制。例如，若金标准一致性重新标注占比超过预设值，则后续可以减少或者取消给相关标注医生派发标注任务。
在一些示例中，可以导出标注报告。在一些示例中，标注报告可以包括医生标注结果130、目标标注结果140、最终标注结果150、质控判断结果、仲裁标注结果和统计结果中的至少一种。
以下，结合图8详细描述本公开所涉及的眼底图像的数据标注的质量控制系统300。本公开中的眼底图像的数据标注的质量控制系统300有时可以简称为“质量控制系统300”。质量控制系统300用于实施上述质量控制方法。图8是示出了本公开示例所涉及的眼底图像的数据标注的质量控制系统的框图。
在一些示例中，如图8所示，质量控制系统300可以包括获取模块310，标准化处理模块320，初筛模块330，数据准备模块340，标注模块350，评估模块360和汇总模块370。获取模块310可以用于获取多张眼底图像。标准化处理模块320可以用于对各张眼底图像进行标准化处理以获得多张标准化眼底图像。初筛模块330可以用于对各张标准化眼底图像的质量进行初步筛选以获取多张合格眼底图像。数据准备模块340可以用于准备包括待标定数据集210、金标准数据集220和自我一致性判定数据集230的目标眼底图集200。标注模块350可以用于获取多个第一标注医生A分别对目标眼底图集中的各张图像进行标注的多组医生标注结果130。评估模块360可以用于基于符合预设条件的多组医生标注结果获取多组目标标注结果140。汇总模块370可以用于将多组目标标注结果140进行汇总以获取最终标注结果150。在这种情况下，可以基于金标准数据集和自我一致性判定数据集获取符合预设条件的第一标注医生A的医生标注结果130作为目标标注结果140并进行汇总。由此，能够提高眼底图像的数据标注的准确率。
在一些示例中，在获取模块310中，眼底图像可以为彩色的眼底图像。彩色的眼底图像能够清晰的呈现视盘、视杯、黄斑、血管等丰富的眼底信息。具体描述可以参见步骤S110的相关描述，此处不再赘述。
在一些示例中，在标准化处理模块320中，在一些示例中，标准化处理可以包括按患者对眼底图像进行划分、统一眼底图像的名称格式、筛选出非眼底图像、统一眼底图像的图片格式和统一眼底图像的背景中的至少一种。由此，能够对眼底图像进行标准化处理。具体描述可以参见步骤S120的相关描述，此处不再赘述。
在一些示例中，在初筛模块330中，在一些示例中，初步筛选可以包括将标准化眼底图像至少分成包括合格和不合格两种图像质量等级。由此，能够对标准化眼底图像的质量进行初步筛选以快速地获取合格眼底图像。在一些示例中，合格眼底图像可以为图像质量等级为合格的标准化眼底图像。由此，能够获取合格眼底图像。但本公开的示例不限于此，在另一些示例中，在初步筛选中，可以对标准化眼底图像进行更细致地划分。具体描述可以参见步骤S130的相关描述，此处不再赘述。
在一些示例中，在数据准备模块340中，目标眼底图集可以包括待标定数据集210、金标准数据集220和自我一致性判定数据集230。在一些示例中，待标定数据集210可以包括多张合格眼底图像。在一些示例中，金标准数据集220可以包括第一预设数量的金标准眼底图像。金标准眼底图像可以是已知正确标注结果的眼底图像。在一些示例中，自我一致性判定数据集230可以由待标定数据集210中的图像构成。在一些示例中，自我一致性判定数据集230中图像的数量可以为至少一张。在一些示例中，目标眼底图集200的各张图像可以作为各张目标眼底图像。具体描述可以参见步骤S140的相关描述，此处不再赘述。
在一些示例中，在标注模块350中，目标眼底图集200中的各张图像的医生标注结果130可以包括至少一个判定结果。在一些示例中，判定结果可以包括无明显异常或一种疾病的疾病信息。在一些示例中，疾病可以包括糖尿病性视网膜病变、高血压性视网膜病变、青光眼、视网膜静脉阻塞、视网膜动脉阻塞、年龄相关性黄斑病变、高度近视性黄斑病变、视网膜脱离、视神经疾病、视盘发育先天异常中的至少一种。由此，能够对至少一种疾病进行标注。在一些示例中，在标注中，还可以将目标眼底图集中的各张图像分成包括很好、好、一般、差和极差五种图像质量等级。在这种情况下，后续可以结合更详细的图像质量等级确定最终标注结果150。具体描述可以参见步骤S150的相关描述，此处不再赘述。
在一些示例中，在评估模块360中，可以获取符合自我一致性和金标准一致性要求的第一标注医生A的医生标注结果130，并将该医生标注结果130作为目标标注结果140。在一些示例中，预设条件可以为自我一致性大于自我一致性阈值且金标准一致性大于金标准一致性阈值的第一标注医生A的医生标注结果130。由此，能够基于自我一致性阈值和金标准一致性阈值确定预设条件。在一些示例中，预设条件可以为dself≤D且dgold≤D，其中，dself为基于自我一致性的自我评价指标，dgold为基于金标准一致性的金标准评价指标，D为评价指标阈值。在一些示例中，D≤5％。由此，能够基于评价指标阈值确定预设条件。在一些示例中，不符合预设条件的第一标注医生A的医生标注结果130可以由第二标注医生B对目标眼底图集200中的各张图像进行重新标注，直至获得符合预设条件的医生标注结果130作为目标标注结果140。具体描述可以参见步骤S160的相关描述，此处不再赘述。
在一些示例中，在评估模块360中，自我评价指标dself可以满足公式：dself＝|Jself-κself|/κself×100％，其中，Jself＝SEself+SPself-1，SEself为基于用于评估自我一致性的两组标注结果获得的第一标注医生A的敏感性，SPself为基于用于评估自我一致性的两组标注结果获得的第一标注医生A的特异性，κself为第一标注医生A的自我一致性。在一些示例中，可以将用于评估自我一致性的两组标注结果中的任意一组作为金标准来评价另一组以获得第一标注医生A的敏感性和特异性。
在一些示例中，在评估模块360中，金标准评价指标dgold可以满足公式：dgold＝|Jgold-κgold|/κgold×100％，其中，Jgold＝SEgold+SPgold-1，SEgold为基于用于评估金标准一致性的两组标注结果获得的第一标注医生A的敏感性，SPgold为基于用于评估金标准一致性的两组标注结果获得的第一标注医生A的特异性，κgold为第一标注医生A的金标准一致性。在一些示例中，可以将用于评估金标准一致性的两组标注结果中的第一组标注结果作为金标准来评价第二组标注结果以获得第一标注医生A的敏感性和特异性。
在一些示例中，在计算自我一致性的时，评估模块360可以获取自我一致性判定数据集中的各张图像的医生标注结果130，和待标定数据集210中的与自我一致性判定数据集230中的各张图像重复的图像的医生标注结果130两组标注结果。在一些示例中，可以通过将两组标注结果中的任意一组标注结果作为第一组标注结果，且另一组作为第二组标注结果，并利用自我一致性判断评估方法进行评估以获得自我一致性。由此，能够基于自我一致性判断方法计算各个第一标注医生A的自我一致性。具体描述可以参见步骤S160的相关描述，此处不再赘述。
在一些示例中，在计算金标准一致性时，评估模块360可以将金标准数据集220的正确标注结果作为第一组标注结果，也即金标准眼底图像的标注结果作为第一组标注结果，且将金标准数据集220中的各张图像的医生标注结果130作为第二组标注结果。在一些示例中，可以基于第一组标注结果和第二组标注结果并利用金标准一致性判断评估方法进行评估获得自我一致性。由此，能够基于金标准一致性判断方法计算各个第一标注医生A的自我一致性。具体描述可以参见步骤S160的相关描述，此处不再赘述。
在一些示例中，评估模块360中的自我一致性判断方法可以为利用二次方加权kappa系数计算各个第一标注医生A对各个疾病进行判定的疾病自我一致性。在一些示例中，单个疾病的二次方加权kappa系数k可以为
Figure BDA0002866409870000231
其中，Wij可以表示二次加权系数，Xij可以表示第一组标注结果中的判定结果为i并且第二组标注结果中的判定结果为j的目标眼底图像的数量，Eij可以表示第一组标注结果中的判定结果为i并且第二组标注结果中的判定结果为j的目标眼底图像的期望数量。在一些示例中，当i不等于j的时候，Eij可以为零。在一些示例中，可以根据需要设置二次加权系数Wij以突显某个判定结果的重要性。由此，能够对第一组标注结果和第二组标注结果进行一致性检验。在一些示例中，在自我一致性判断方法中，可以对各个疾病自我一致性进行加权以计算各个第一标注医生A的自我一致性。具体描述可以参见步骤S160的相关描述，此处不再赘述。
在一些示例中，评估模块360中的金标准一致性判断方法可以为利用二次方加权kappa系数计算各个第一标注医生A对各个疾病进行判定的疾病金标准一致性。在一些示例中，可以对各个疾病金标准一致性进行加权以计算各个第一标注医生A的金标准一致性。由此，能够基于金标准一致性判断方法计算各个第一标注医生A的自我一致性。具体描述可以参见步骤S160的相关描述，此处不再赘述。
在一些示例中，评估模块360可以分析不同阈值标注医生的目标自我一致性和目标金标准一致性并采用异常检测的方式确定自我一致性阈值和金标准一致性阈值。由此，能够确定自我一致性阈值和金标准一致性阈值。在一些示例中，自我一致性阈值的异常检测的方式可以为获取不同阈值标注医生的目标自我一致性并计算自我一致性均值μ0和自我一致性方差σ0，在目标自我一致性满足高斯分布的假设下，自我一致性阈值可以为μ0-1.96×σ0。在一些示例中，自我一致性阈值可以为0.7977。在一些示例中，金标准一致性阈值的异常检测的方式可以为获取不同阈值标注医生的目标金标准一致性并计算金标准一致性均值μ1和金标准一致性方差σ1，在目标金标准一致性满足高斯分布的假设下，金标准一致性阈值可以为μ1-1.96×σ1。在一些示例中，金标准一致性阈值可以为0.6235。具体描述可以参见步骤S160的相关描述，此处不再赘述。
在一些示例中，可以利用绝对多数投票法(Majority Voting)比较各张目标眼底图像在多组目标标注结果140中的各个标注结果以确定各张目标眼底图像的最终标注结果150。具体地，在利用绝对多数投票法比较各个标注结果时，若超过一半的标注结果中的判定结果一致才能将该标注结果作为最终标注结果150的一部分(也即需要有效票过半数才认可)。在一些示例中，若无法确定最终标注结果150(也即有效票未过半数)，则将该目标眼底图像标记为疑难眼底图像。在一些示例中，可以对疑难眼底图像进行标注和仲裁以获取最终标注结果150。由此，能够基于绝对多数投票法获取最终标注结果150。具体描述可以参见步骤S170的相关描述，此处不再赘述。
但本公开的示例不限于此，在另一些示例中，汇总可以为比较各张目标眼底图像在多组目标标注结果140中的各个标注结果。在一些示例中，在各个标注结果一致的情况下，将可以该标注结果作为该目标眼底图像的最终标注结果150。在一些示例中，在多个标注结果不一致的情况下，若多个标注结果中同时包括相同的判定结果且仅一个标注结果中包括其他标注结果中未识别的判定结果，则可以将该目标眼底图像标记为待质控眼底图像，否则可以将该目标眼底图像标记为疑难眼底图像。在这种情况下，通过比较各张目标眼底图像在多组目标标注结果140中的各个标注结果，能够将目标眼底图像分成具有最终标注结果150的目标眼底图像、待质控眼底图像以及疑难眼底图像并获取最终标注结果150。在一些示例中，可以对待质控眼底图像进行质控。在一些示例中，若判定未识别的判定结果不存在，则可以将相同的判定结果作为最终标注结果150。在一些示例中，若判定未识别的判定结果存在，则可以将待质控眼底图像标记为疑难眼底图像。在一些示例中，可以对疑难眼底图像进行标注和仲裁以获取最终标注结果150。由此，能够获取疑难眼底图像的最终标注结果150。具体描述可以参见步骤S170的相关描述，此处不再赘述。
虽然以上结合附图和示例对本公开进行了具体说明，但是可以理解，上述说明不以任何形式限制本公开。本领域技术人员在不偏离本公开的实质精神和范围的情况下可以根据需要对本公开进行变形和变化，这些变形和变化均落入本公开的范围内。

Claims (13)

1.一种眼底图像的数据标注的质量控制方法，其特征在于，包括：
获取多张眼底图像；对各张所述眼底图像进行标准化处理以获得多张标准化眼底图像；对各张所述标准化眼底图像的质量进行初步筛选以获取多张合格眼底图像；准备目标眼底图集，所述目标眼底图集包括包括所述多张合格眼底图像的待标定数据集、包括第一预设数量的已知正确标注结果的金标准眼底图像的金标准数据集和由至少一张所述待标定数据集中的图像构成的自我一致性判定数据集，所述目标眼底图集的各张图像作为各张目标眼底图像；由多个第一标注医生分别对所述目标眼底图集中的各张图像进行标注以获取多组医生标注结果，所述医生标注结果包括至少一个判定结果，所述判定结果至少包括无明显异常或一种疾病的疾病信息；基于所述医生标注结果计算相应的第一标注医生的自我一致性和金标准一致性以获取符合预设条件的第一标注医生的所述医生标注结果作为目标标注结果，所述自我一致性通过将所述自我一致性判定数据集中的各张图像的所述医生标注结果和所述待标定数据集中的与所述自我一致性判定数据集中的各张图像重复的图像的所述医生标注结果两组标注结果中的任意一组标注结果作为第一组标注结果且另一组作为第二组标注结果并利用自我一致性判断评估方法进行评估获得的，所述金标准一致性通过将所述金标准数据集的所述正确标注结果作为第一组标注结果且所述金标准数据集中的各张图像的所述医生标注结果作为第二组标注结果并利用金标准一致性判断评估方法进行评估获得的；将多组所述目标标注结果进行汇总以获取最终标注结果。
2.根据权利要求1所述的质量控制方法，其特征在于：
所述预设条件为所述自我一致性大于自我一致性阈值且所述金标准一致性大于金标准一致性阈值。
3.根据权利要求1所述的质量控制方法，其特征在于：
不符合所述预设条件的第一标注医生的所述医生标注结果由第二标注医生对所述目标眼底图集中的各张图像进行重新标注，直至获得符合所述预设条件的医生标注结果作为所述目标标注结果。
4.根据权利要求1所述的质量控制方法，其特征在于：
所述自我一致性判断方法为利用二次方加权kappa系数计算各个第一标注医生对各个所述疾病进行判定的疾病自我一致性并对各个所述疾病自我一致性进行加权以计算各个第一标注医生的所述自我一致性；
所述金标准一致性判断方法为利用二次方加权kappa系数计算各个第一标注医生对各个所述疾病进行判定的疾病金标准一致性并对各个所述疾病金标准一致性进行加权以计算各个第一标注医生的所述金标准一致性。
5.根据权利要求4所述的质量控制方法，其特征在于：
所述二次方加权kappa系数κ为
Figure FDA0002866409860000021
其中，Wij表示二次加权系数，Xij表示第一组标注结果中的判定结果为i并且第二组标注结果中的判定结果为j的所述目标眼底图像的数量，Eij表示第一组标注结果中的判定结果为i并且第二组标注结果中的判定结果为j的所述目标眼底图像的期望数量。
6.根据权利要求2所述的质量控制方法，其特征在于：
分析不同阈值标注医生的目标自我一致性和目标金标准一致性并采用异常检测的方式确定所述自我一致性阈值和所述金标准一致性阈值。
7.根据权利要求6所述的质量控制方法，其特征在于：
所述异常检测的方式为获取所述不同阈值标注医生的目标自我一致性并计算自我一致性均值μ0和自我一致性方差σ0，在目标自我一致性满足高斯分布的假设下，所述自我一致性阈值为μ0-1.96×σ0，并且获取所述不同阈值标注医生的目标金标准一致性并计算金标准一致性均值μ1和金标准一致性方差σ1，在目标金标准一致性满足高斯分布的假设下，所述金标准一致性阈值为μ1-1.96×σ1。
8.根据权利要求1所述的质量控制方法，其特征在于：
所述汇总为利用绝对多数投票法比较各张所述目标眼底图像在多组所述目标标注结果中的各个标注结果以确定各张所述目标眼底图像的所述最终标注结果，若无法确定所述最终标注结果，则将该目标眼底图像标记为疑难眼底图像；对所述疑难眼底图像进行标注和仲裁以获取所述最终标注结果。
9.根据权利要求1所述的质量控制方法，其特征在于：
所述初步筛选包括将所述标准化眼底图像至少分成包括合格和不合格两种图像质量等级，所述合格眼底图像为所述图像质量等级为合格的所述标准化眼底图像。
10.根据权利要求1所述的质量控制方法，其特征在于：
在所述标注中，还将所述目标眼底图集中的各张图像分成包括很好、好、一般、差和极差五种图像质量等级。
11.根据权利要求1所述的质量控制方法，其特征在于：
所述疾病包括糖尿病性视网膜病变、高血压性视网膜病变、青光眼、视网膜静脉阻塞、视网膜动脉阻塞、年龄相关性黄斑病变、高度近视性黄斑病变、视网膜脱离、视神经疾病、视盘发育先天异常中的至少一种。
12.根据权利要求1所述的质量控制方法，其特征在于：
所述预设条件为dself≤D且dgold≤D，其中，dself为基于所述自我一致性的自我评价指标，dgold为基于所述金标准一致性的金标准评价指标，D为评价指标阈值；所述自我评价指标dself满足公式：dself＝|Jself-κself|/κself×100％，其中，Jself＝SEself+SPself-1，SEself为基于用于评估所述自我一致性的两组标注结果获得的第一标注医生的敏感性，SPself为基于用于评估所述自我一致性的两组标注结果获得的第一标注医生的特异性，κself为第一标注医生的所述自我一致性；所述金标准评价指标dgold满足公式：dgold＝|Jgold-κgold|/κgold×100％，其中，Jgold＝SEgold+SPgold-1，SEgold为基于用于评估所述金标准一致性的两组标注结果获得的第一标注医生的敏感性，SPgold为基于用于评估所述金标准一致性的两组标注结果获得的第一标注医生的特异性，κgold为第一标注医生的所述金标准一致性。
13.一种眼底图像的数据标注的质量控制系统，其特征在于，包括：
获取模块，其用于获取多张眼底图像；标准化处理模块，其用于对各张所述眼底图像进行标准化处理以获得多张标准化眼底图像；初筛模块，其用于对各张所述标准化眼底图像的质量进行初步筛选以获取多张合格眼底图像；数据准备模块，其用于准备目标眼底图集，所述目标眼底图集包括包括所述多张合格眼底图像的待标定数据集、包括第一预设数量的已知正确标注结果的金标准眼底图像的金标准数据集和由至少一张所述待标定数据集中的图像构成的自我一致性判定数据集，所述目标眼底图集的各张图像作为各张目标眼底图像；标注模块，其用于获取由多个第一标注医生分别对所述目标眼底图集中的各张图像进行标注的多组医生标注结果，所述医生标注结果包括至少一个判定结果，所述判定结果至少包括无明显异常或一种疾病的疾病信息；评估模块，其基于所述医生标注结果计算相应的第一标注医生的自我一致性和金标准一致性以获取符合预设条件的第一标注医生的所述医生标注结果作为目标标注结果，所述自我一致性通过将所述自我一致性判定数据集中的各张图像的所述医生标注结果和所述待标定数据集中的与所述自我一致性判定数据集中的各张图像重复的图像的所述医生标注结果两组标注结果中的任意一组标注结果作为第一组标注结果且另一组作为第二组标注结果并利用自我一致性判断评估方法进行评估获得的，所述金标准一致性通过将所述金标准数据集的所述正确标注结果作为第一组标注结果且所述金标准数据集中的各张图像的所述医生标注结果作为第二组标注结果并利用金标准一致性判断评估方法进行评估获得的；汇总模块，其用于将多组所述目标标注结果进行汇总以获取最终标注结果。
CN202011588182.0A 2020-12-28 2020-12-28 眼底图像的数据标注的质量控制方法及质量控制系统 Pending CN114693587A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202011588182.0A CN114693587A (zh) 2020-12-28 2020-12-28 眼底图像的数据标注的质量控制方法及质量控制系统
EP21912791.7A EP4258205A1 (en) 2020-12-28 2021-04-29 Quality control method and quality control system for data annotation on fundus image
US18/259,390 US20240062378A1 (en) 2020-12-28 2021-04-29 Quality control method and quality control system for data annotation on fundus image
PCT/CN2021/091225 WO2022142029A1 (zh) 2020-12-28 2021-04-29 眼底图像的数据标注的质量控制方法及质量控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011588182.0A CN114693587A (zh) 2020-12-28 2020-12-28 眼底图像的数据标注的质量控制方法及质量控制系统

Publications (1)

Publication Number Publication Date
CN114693587A true CN114693587A (zh) 2022-07-01

Family

ID=82129563

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011588182.0A Pending CN114693587A (zh) 2020-12-28 2020-12-28 眼底图像的数据标注的质量控制方法及质量控制系统

Country Status (4)

Country Link
US (1) US20240062378A1 (zh)
EP (1) EP4258205A1 (zh)
CN (1) CN114693587A (zh)
WO (1) WO2022142029A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115424707A (zh) * 2022-09-01 2022-12-02 郑州大学第一附属医院 基于图像比对的医学图像数据众包标注方法、系统及终端

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109166126B (zh) * 2018-08-13 2022-02-18 苏州比格威医疗科技有限公司 一种基于条件生成式对抗网络在icga图像上分割漆裂纹的方法
EP3850638B1 (en) * 2018-10-17 2024-04-10 Google LLC Processing fundus camera images using machine learning models trained using other modalities
CN110991486B (zh) 2019-11-07 2023-12-29 北京邮电大学 多人协作图像标注质量控制的方法和装置
CN111063422A (zh) * 2019-12-26 2020-04-24 北京推想科技有限公司 一种医学图像标注方法、装置、设备及介质

Also Published As

Publication number Publication date
EP4258205A1 (en) 2023-10-11
WO2022142029A1 (zh) 2022-07-07
US20240062378A1 (en) 2024-02-22

Similar Documents

Publication Publication Date Title
US10441160B2 (en) Method and system for classifying optic nerve head
Araújo et al. DR| GRADUATE: Uncertainty-aware deep learning-based diabetic retinopathy grading in eye fundus images
Gao et al. Automatic feature learning to grade nuclear cataracts based on deep learning
Cheng et al. Sparse dissimilarity-constrained coding for glaucoma screening
Prentašić et al. Diabetic retinopathy image database (DRiDB): a new database for diabetic retinopathy screening programs research
CN108553079A (zh) 基于眼底图像的病变识别系统
EP3944185A1 (en) Computer-implemented method, system and computer program product for detecting a retinal condition from eye fundus images
Aquino Establishing the macular grading grid by means of fovea centre detection using anatomical-based and visual-based features
US11197608B2 (en) Eye disease diagnosis method and system using artificial intelligence
Lin et al. Retinal image quality assessment for diabetic retinopathy screening: A survey
Goldbaum et al. Using unsupervised learning with independent component analysis to identify patterns of glaucomatous visual field defects
Zhang et al. MRMR optimized classification for automatic glaucoma diagnosis
US20200065967A1 (en) Computer system, method, and program for diagnosing subject
Murugan et al. An abnormality detection of retinal fundus images by deep convolutional neural networks
CN114693587A (zh) 眼底图像的数据标注的质量控制方法及质量控制系统
Quellec et al. Estimating maximal measurable performance for automated decision systems from the characteristics of the reference standard. application to diabetic retinopathy screening
WO2020016836A1 (en) System and method for managing the quality of an image
CN115206494A (zh) 基于眼底图像分类的阅片系统及阅片方法
Niemeijer Automatic detection of diabetic retinopathy in digital fundus photographs
Santos et al. A semiautomatic superpixel based approach to cup-to-disc ratio measurement
Kauppi et al. A framework for constructing benchmark databases and protocols for retinopathy in medical image analysis
Luculescu et al. Computer-aided diagnosis system for retinal diseases in medical imaging
Makandar et al. Convolutional Neural Networks with the ID3 Algorithm: A Hybrid Approach for Accurate Retinal OCT Analysis
Borova et al. Automated Diagnostic Method of Color Vision Disorders Integrated with a Hospital Information System
Obulesu et al. Optic disk segmentation for glaucoma detection in retinal images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination