CN117897779A - 用于活动期甲状腺眼病医疗的医院就诊指导方法及其执行系统 - Google Patents

用于活动期甲状腺眼病医疗的医院就诊指导方法及其执行系统 Download PDF

Info

Publication number
CN117897779A
CN117897779A CN202280059376.2A CN202280059376A CN117897779A CN 117897779 A CN117897779 A CN 117897779A CN 202280059376 A CN202280059376 A CN 202280059376A CN 117897779 A CN117897779 A CN 117897779A
Authority
CN
China
Prior art keywords
edema
eye
image
eyelid
predicted value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280059376.2A
Other languages
English (en)
Inventor
申圭普
金钟瓒
朴宰民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cyrus Corfu
Original Assignee
Cyrus Corfu
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cyrus Corfu filed Critical Cyrus Corfu
Priority claimed from PCT/KR2022/009452 external-priority patent/WO2023277622A1/ko
Publication of CN117897779A publication Critical patent/CN117897779A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4222—Evaluating particular parts, e.g. particular organs
    • A61B5/4227—Evaluating particular parts, e.g. particular organs endocrine glands, i.e. thyroid, adrenals, hypothalamic, pituitary
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6814—Head
    • A61B5/6821—Eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/63—Static or dynamic means for assisting the user to position a body part for biometric acquisition by static guides
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Multimedia (AREA)
  • Pathology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Endocrinology (AREA)
  • Urology & Nephrology (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Eye Examination Apparatus (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

根据本申请，提供了一种用于预测结膜充血的临床活动评分的计算机实现的方法。本申请中描述的方法包括：使用训练集训练结膜充血预测模型，其中所述训练集包括训练图像、结膜充血的评估值、结膜水肿的评估值、眼睑发红的评估值、眼睑水肿的评估值和泪腺水肿的评估值，其中根据对所述训练图像的诊断，所述训练图像注释有所述评估值；获取第一图像，所述第一图像包含受试者的至少一只眼睛和所述至少一只眼睛的轮廓的外部区域；通过在处理器上执行的所述结膜充血预测模型，输出结膜充血的第一预测值、结膜水肿的第一预测值、眼睑发红的第一预测值、眼睑水肿的第一预测值和泪腺水肿的第一预测值；基于预定设置，在五个所述第一预测值中选择所述结膜充血的第一预测值；和基于所选择的结膜充血的所述第一预测值，生成所述结膜充血的评分。

Description

用于活动期甲状腺眼病医疗的医院就诊指导方法及其执行 系统
技术领域
本申请涉及一种用于活动期甲状腺眼病医疗的医院就诊指导方法以及用于执行该方法的系统。
背景技术
眼病是发生在眼球及其周围部位的疾病。世界上有许多人都患有眼病，严重情况下，眼病会给生活带来极大的不便(如视力受损)，因此有必要监测眼病的发生或程度。
同时，眼病可以是由其他疾病引起的若干种并发症中的一种。例如，甲状腺眼病是由甲状腺功能异常引起的并发症。
当甲状腺眼病恶化时，眼球会突出并且不通过手术无法被治疗。因此，甲状腺眼病的早期诊断对甲状腺眼病的治疗非常重要。然而，很难在早期诊断甲状腺眼病，因为该疾病不会显示出明确的预后症状。在医学界，致力于通过1989年提出的临床活动评分(clinicalactivity score,CAS)评估方法对甲状腺眼病进行早期诊断。
在确定甲状腺眼病的临床活动评分时，共考虑七个项目，该七个项目是：1)自发性眼球后疼痛、2)尝试向上或向下注视时疼痛、3)眼睑发红、4)结膜发红、5)眼睑肿胀、6)结膜肿胀和7)泪阜肿胀。
为了确定临床活动评分，个体亲自到医院或诊所就诊，并且医生通过面诊和肉眼观察执行医学检查是至关重要的。例如，医生可以通过面诊检查自发性眼球后疼痛和尝试向上或向下注视时的疼痛，以及医生可以通过肉眼观察检查眼睑发红、结膜发红、眼睑肿胀、结膜肿胀和泪阜肿胀。医生通过肉眼执行医学检查和面诊的方法以确定临床活动评分，这需要患者为了诊断甲状腺眼病亲自到医院就诊作为前提，因此很难在早期诊断甲状腺眼病。
因此，需要开发一种方法，使个体无需亲自去医院就诊就能够更加容易、更加快速地识别眼病风险，从而执行连续监测。
发明内容
技术问题
本申请中的公开内容旨在提供一种通过使用普通人能够使用的数码相机获得的图像而不是专业医疗诊断设备获得的图像的用于预测甲状腺眼病的临床活动评分的学习模型。
此外，本申请的公开内容旨在提供一种方法和系统，使普通人能够在没有医生帮助和没有亲自到医院就诊的情况下，对甲状腺眼病的临床活动评分执行连续监测。
本申请要解决的技术问题不限于上述技术问题，本领域技术人员将从本说明书和附图中清楚地理解未提及的其他技术问题。
技术方案
根据本申请的一个方面，公开了一种计算机实现的方法。该方法包括：使用训练集训练结膜充血预测模型，其中所述训练集包括训练图像、结膜充血的评估值、结膜水肿的评估值、眼睑发红的评估值、眼睑水肿的评估值和泪腺水肿的评估值，其中根据对所述训练图像的诊断，所述训练图像注释有所述评估值；获取第一图像，所述第一图像包含受试者的至少一只眼睛和所述至少一只眼睛的轮廓的外部区域；通过在处理器上执行的所述结膜充血预测模型，输出结膜充血的第一预测值、结膜水肿的第一预测值、眼睑发红的第一预测值、眼睑水肿的第一预测值和泪腺水肿的第一预测值；基于预定设置，在五个所述第一预测值中选择所述结膜充血的第一预测值；和基于所选择的所述结膜充血的第一预测值，生成所述结膜充血的评分。
在一些实施例中，其中所述第一图像是关于两只眼睛中的任意一只眼睛生成的，并且其中所生成的预测值是针对该只眼睛的预测值。
在一些实施例中，该方法还包括：获取第二图像，所述第二图像包含所述受试者的另一只眼睛和所述另一只眼睛的轮廓的外部区域；通过在所述处理器上执行的所述结膜充血预测模型，输出所述结膜充血的第二预测值、所述结膜水肿的第二预测值、所述眼睑发红的第二预测值、所述眼睑水肿的第二预测值和所述泪腺水肿的第二预测值；和基于预定设置，在五个所述第二预测值中选择所述结膜充血的第二预测值，并且其中，所述生成所述结膜充血的评分是考虑所选择的所述结膜充血的第一预测值和所选择的所述结膜充血的第二预测值而生成所述结膜充血的所述评分。
在一些实施例中，其中所述生成所述结膜充血的评分包括：响应于以下，将预定值分配至所述评分：确定所述结膜充血的第一预测值大于阈值；确定所述结膜充血的第二预测值大于所述阈值或确定所述结膜充血的第一预测值和第二预测值大于所述阈值。
根据本申请的一个方面，公开了一种计算机实现的方法。该方法包括：使用训练集训练结膜水肿预测模型，其中所述训练集包括训练图像、结膜充血的评估值、结膜水肿的评估值、眼睑发红的评估值、眼睑水肿的评估值和泪腺水肿的评估值，根据对所述训练图像的诊断，所述训练图像注释有所述评估值；获取第一图像，所述第一图像包含受试者的至少一只眼睛和所述至少一只眼睛的轮廓的外部区域；通过在处理器上执行的所述结膜水肿预测模型，输出结膜充血的第一预测值、结膜水肿的第一预测值、眼睑发红的第一预测值、眼睑水肿的第一预测值和泪腺水肿的第一预测值；基于预定设置，在五个所述第一预测值中选择所述结膜水肿的第一预测值；和基于所选择的所述结膜水肿的第一预测值，生成所述结膜水肿的评分。
在一些实施例中，其中所述第一图像是关于两只眼睛中的任意一只眼睛生成的，并且其中所生成的预测值是针对该只眼睛的预测值。
在一些实施例中，该方法还包括：获取第二图像，所述第二图像包含所述受试者的另一只眼睛和所述另一只眼睛的轮廓的外部区域；通过在所述处理器上执行的所述结膜水肿预测模型，输出所述结膜充血的第二预测值、所述结膜水肿的第二预测值、所述眼睑发红的第二预测值、所述眼睑水肿的第二预测值和所述泪腺水肿的第二预测值；和基于预定设置，在五个所述第二预测值中选择所述结膜水肿的第二预测值，并且其中，所述生成所述结膜水肿的评分是考虑所选择的所述结膜水肿的第一预测值和所选择的所述结膜水肿的第二预测值而生成所述结膜水肿的所述评分。
在一些实施例中，其中所述生成所述结膜水肿的评分包括：响应于以下，将预定值分配至所述评分：确定所述结膜水肿的第一预测值大于阈值；确定所述结膜水肿的第二预测值大于所述阈值或确定所述结膜水肿的第一预测值和第二预测值大于所述阈值。
根据本申请的一个方面，公开了一种计算机实现的方法。该方法包括：使用训练集训练泪腺水肿预测模型，其中所述训练集包括训练图像、结膜充血的评估值、结膜水肿的评估值、眼睑发红的评估值、眼睑水肿的评估值和泪腺水肿的评估值，根据对所述训练图像的诊断，所述训练图像注释有所述评估值；获取第一图像，所述第一图像包含受试者的至少一只眼睛和所述至少一只眼睛的轮廓的外部区域；通过在处理器上执行的所述泪腺水肿预测模型，输出结膜充血的第一预测值、结膜水肿的第一预测值、眼睑发红的第一预测值、眼睑水肿的第一预测值和泪腺水肿的第一预测值；基于预定设置，在五个所述第一预测值中选择所述泪腺水肿的所述第一预测值；和基于所选择的所述泪腺水肿的第一预测值，生成所述泪腺水肿的评分。
在一些实施例中，其中所述第一图像是关于两只眼睛中的任意一只眼睛生成的，并且其中所生成的预测值是针对该只眼睛的预测值。
在一些实施例中，该方法还包括：获取第二图像，所述第二图像包含所述受试者的另一只眼睛和所述另一只眼睛的轮廓的外部区域；通过在所述处理器上执行的所述泪腺水肿预测模型，输出所述结膜充血的第二预测值、所述结膜水肿的第二预测值、所述眼睑发红的第二预测值、所述眼睑水肿的第二预测值和所述泪腺水肿的第二预测值；和基于预定设置，在五个所述第二预测值中选择所述泪腺水肿的第二预测值，并且其中，所述生成所述泪腺水肿的评分是考虑所选择的所述泪腺水肿的第一预测值和所选择的所述泪腺水肿的第二预测值而生成所述泪腺水肿的所述评分。
在一些实施例中，其中所述生成所述泪腺水肿的评分包括：响应于以下，将预定值分配至所述评分：确定所述泪腺水肿的第一预测值大于阈值；确定所述泪腺水肿的第二预测值大于所述阈值或确定所述泪腺水肿的第一预测值和第二预测值大于所述阈值。
根据本申请的一个方面，公开了一种计算机实现的方法。该方法包括：使用训练集训练眼睑发红预测模型，其中所述训练集包括训练图像、结膜充血的评估值、结膜水肿的评估值、眼睑发红的评估值、眼睑水肿的评估值和泪腺水肿的评估值，根据对所述训练图像的诊断，所述训练图像注释有所述评估值；获取第一图像，所述第一图像包含受试者的至少一只眼睛和所述至少一只眼睛的轮廓的外部区域；通过在处理器上执行的所述眼睑发红预测模型，输出结膜充血的第一预测值、结膜水肿的第一预测值、眼睑发红的第一预测值、眼睑水肿的第一预测值和泪腺水肿的第一预测值；基于预定设置，在五个所述第一预测值中选择所述眼睑发红的第一预测值；和基于所选择的所述眼睑发红的第一预测值，生成所述眼睑发红的评分。
在一些实施例中，其中所述第一图像是关于两只眼睛中的任意一只眼睛生成的，并且其中所生成的预测值是针对该只眼睛的预测值。
在一些实施例中，该方法还包括：获取第二图像，所述第二图像包含所述受试者的另一只眼睛和所述另一只眼睛的轮廓的外部区域；通过在所述处理器上执行的所述眼睑发红模型，输出所述结膜充血的第二预测值、所述结膜水肿的第二预测值、所述眼睑发红的第二预测值、所述眼睑水肿的第二预测值和所述泪腺水肿的第二预测值；和基于预定设置，在五个所述第二预测值中选择所述眼睑发红的所述第二预测值，并且其中，所述生成所述眼睑发红的评分是考虑所选择的所述眼睑发红的第一预测值和所选择的所述眼睑发红的第二预测值而生成所述眼睑发红的所述评分。
在一些实施例中，其中所述生成所述眼睑发红的评分包括：响应于以下，将预定值分配至所述评分：确定所述眼睑发红的第一预测值大于阈值；确定所述眼睑发红的第二预测值大于所述阈值或确定所述眼睑发红的第一预测值和第二预测值大于所述阈值。
根据本申请的一个方面，公开了一种计算机实现的方法。该方法包括：使用训练集训练眼睑水肿预测模型，其中所述训练集包括训练图像、结膜充血的评估值、结膜水肿的评估值、眼睑发红的评估值、眼睑水肿的评估值和泪腺水肿的评估值，根据对所述训练图像的诊断，所述训练图像注释有所述评估值；获取第一图像，所述第一图像包含受试者的至少一只眼睛和所述至少一只眼睛的轮廓的外部区域；通过在处理器上执行的所述眼睑水肿预测模型，输出结膜充血的第一预测值、结膜水肿的第一预测值、眼睑发红的第一预测值、眼睑水肿的第一预测值和泪腺水肿的第一预测值；基于预定设置，在五个所述第一预测值中选择所述眼睑水肿的第一预测值；和基于所选择的所述眼睑水肿的第一预测值，生成所述眼睑水肿的评分。
在一些实施例中，其中所述第一图像是关于两只眼睛中的任意一只眼睛生成的，并且其中所生成的预测值是针对该只眼睛的预测值。
在一些实施例中，该方法还包括：获取第二图像，所述第二图像包含所述受试者的另一只眼睛和所述另一只眼睛的轮廓的外部区域；通过在所述处理器上执行的所述眼睑水肿预测模型，输出所述结膜充血的第二预测值、所述结膜水肿的第二预测值、所述眼睑发红的第二预测值、所述眼睑水肿的第二预测值和所述泪腺水肿的第二预测值；和基于预定设置，在五个所述第二预测值中选择所述眼睑水肿的第二预测值，并且其中，所述生成所述眼睑水肿的评分是考虑所选择的所述眼睑水肿的第一预测值和所选择的所述眼睑水肿的第二预测值而生成所述眼睑水肿的所述评分。
在一些实施例中，其中所述生成所述眼睑水肿的评分包括：响应于以下，将预定值分配至所述评分：确定所述眼睑水肿的第一预测值大于阈值；确定所述眼睑水肿的第二预测值大于所述阈值或确定所述眼睑水肿的第一预测值和第二预测值大于所述阈值。
有益效果
根据本申请中的公开内容，可以通过普通人能够使用的数码相机而不是专业医疗诊断设备获得的图像来预测甲状腺眼病的临床活动评分。
附图说明
图1为根据本申请中描述的实施例的用于预测甲状腺眼病的临床活动评分的系统的示意图。
图2示出了本申请中提供的用户终端的框图。
图3示出了本申请中描述的服务器的框图。
图4示出了眼睛和暴露于外部的周围组织，以使得当使用相机拍摄面部照片时，所述眼睛和所述周围组织被所述相机捕获。
图5为暴露于外部的眼球的示意图。
图6为暴露于外部的角膜示意图。
图7为暴露于外部的结膜示意图。
图8为面部图像和双眼图像的示意图。
图9为眼睛轮廓的检测方法的示意图。
图10为第一裁剪区域示意图。
图11为第一裁剪图像的示例的示意图。
图12为以各种方式确定的第二裁剪区域的示例的示意图。
图13为第二裁剪图像的示例的示意图。
图14为第三裁剪区域的确定方法的示意图。
图15为第三裁剪区域的示例的示意图。
图16为第三裁剪图像的示例的示意图。
图17为各种原始图像和横向翻转图像的示例的示意图。
图18为经调整大小的图像的示例的示意图。
图19为结膜充血预测方法的流程示意图。
图20为结膜水肿预测方法的流程示意图。
图21为泪腺水肿预测方法的流程示意图。
图22为眼睑发红预测方法的流程示意图。
图23为眼睑水肿预测方法的流程示意图。
图24为用于预测甲状腺眼病的临床活动评分的方法示意图。
具体实施方式
通过参考以下结合附图的详细描述，本申请的上述目的、特征和优点将更加明显。此外，可以对本申请进行各种修改，并且本申请的各种实施例可以被实践。因此，下面将结合附图对具体实施例进行详细描述。
在说明书中，相同的参考数字原则上表示相同的元素。此外，使用相同的参考数字对实施例的附图中所示的相同范围内具有相同功能的元素进行描述，并省略了冗余描述。
当确定与本申请有关的公知功能或配置会混淆本申请的本质和要点时，省略其详细说明。此外，在本说明书中，术语第一、第二等仅用于区分一个元素与另一个元素。
此外，以下描述中用于命名元素的术语“模块”和“部分”的使用仅出于容易地编写本说明书的考虑。这些术语并不意味着具有不同的特殊含义或功能，因此可以被单独使用或互换使用。
在以下实施例中，除非在上下文中具有明显不同的含义，否则单数形式的表达也涵盖复数形式的表达。
以下实施例中，应当理解的是，“包括”、“具有”等术语旨在表示说明书中公开的特征或元素的存在，并不旨在排除可以添加一个或多个其他特征或元素的可能性。
为了便于描述，附图中的元素的尺寸可能被放大或缩小。例如，附图中显示的每个元素的任何尺寸和厚度均是为了便于描述而示出，但本公开内容不限于此。
在以其他方式实现特定实施例的情况下，可以按照与所述顺序不同的顺序执行特定过程。例如，所描述的两个连续的过程可以基本上同时被执行，或者可以按照与所描述的顺序相反的顺序执行。
在以下实施例中，当元件被称为彼此连接时，元件彼此间直接连接，或元件彼此间通过其中间媒介元件间接连接。例如，在本说明书中，当元件被称为彼此电连接时，元件彼此直接电连接，或元件彼此间通过其中间媒介元件间接电连接。
根据本申请的一个方面，公开了一种计算机实现的方法。该方法包括：使用训练集训练结膜充血预测模型，其中所述训练集包括训练图像、结膜充血的评估值、结膜水肿的评估值、眼睑发红的评估值、眼睑水肿的评估值和泪腺水肿的评估值，根据对所述训练图像的诊断，所述训练图像注释有所述评估值；获取第一图像，所述第一图像包含受试者的至少一只眼睛和所述至少一只眼睛的轮廓的外部区域；通过在处理器上执行的所述结膜充血预测模型，输出结膜充血的第一预测值、结膜水肿的第一预测值、眼睑发红的第一预测值、眼睑水肿的第一预测值和泪腺水肿的第一预测值；基于预定设置，在五个所述预测值中选择所述结膜充血的第一预测值；和基于所选择的所述结膜充血的第一预测值，生成所述结膜充血的评分。
在一些实施例中，其中所述第一图像是关于两只眼睛中的任意一只眼睛生成的，并且其中所生成的预测值是针对该只眼睛的预测值。
在一些实施例中，该方法还包括：获取第二图像，所述第二图像包含所述受试者的另一只眼睛和所述另一只眼睛的轮廓的外部区域；通过在所述处理器上执行的所述结膜充血预测模型，输出所述结膜充血的第二预测值、所述结膜水肿的第二预测值、所述眼睑发红的第二预测值、所述眼睑水肿的第二预测值和所述泪腺水肿的第二预测值；和基于预定设置，在五个所述预测值中选择所述结膜充血的第二预测值，并且其中，所述生成所述结膜充血的评分是考虑所选择的所述结膜充血的第一预测值和所选择的所述结膜充血的第二预测值，生成所述结膜充血的评分。
在一些实施例中，其中所述生成所述结膜充血的评分包括：响应于以下，将预定值分配至所述评分：确定所述结膜充血的第一预测值大于阈值；确定所述结膜充血的第二预测值大于所述阈值或确定所述结膜充血的第一预测值和第二预测值大于所述阈值。
根据本申请的一个方面，公开了一种计算机实现的方法。该方法包括：使用训练集训练结膜水肿预测模型，其中所述训练集包括训练图像、结膜充血的评估值、结膜水肿的评估值、眼睑发红的评估值、眼睑水肿的评估值和泪腺水肿的评估值，根据对所述训练图像的诊断，所述训练图像注释有所述评估值；获取第一图像，所述第一图像包含受试者的至少一只眼睛和所述至少一只眼睛的轮廓的外部区域；通过在处理器上执行的所述结膜水肿预测模型，输出结膜充血的第一预测值、结膜水肿的第一预测值、眼睑发红的第一预测值、眼睑水肿的第一预测值和泪腺水肿的第一预测值；基于预定设置，在五个所述预测值中选择所述结膜水肿的第一预测值；和基于所选择的所述结膜水肿的第一预测值，生成所述结膜水肿的评分。
在一些实施例中，其中所述第一图像是关于两只眼睛中的任意一只眼睛生成的，并且其中所生成的预测值是针对该只眼睛的预测值。
在一些实施例中，该方法还包括：获取第二图像，所述第二图像包含所述受试者的另一只眼睛和所述另一只眼睛的轮廓的外部区域；通过在所述处理器上执行的所述结膜水肿预测模型，输出所述结膜充血的第二预测值、所述结膜水肿的第二预测值、所述眼睑发红的第二预测值、所述眼睑水肿的第二预测值和所述泪腺水肿的第二预测值；和基于预定设置，在五个所述预测值中选择所述结膜水肿的第二预测值，并且其中，所述生成所述结膜水肿的评分是考虑所选择的所述结膜水肿的第一预测值和所选择的所述结膜水肿的第二预测值，生成所述结膜水肿的评分。
在一些实施例中，其中所述生成所述结膜水肿的评分包括：响应于以下，将预定值分配至所述评分：确定所述结膜水肿的第一预测值大于阈值；确定所述结膜水肿的第二预测值大于所述阈值或确定所述结膜水肿的第一预测值和第二预测值大于所述阈值。
根据本申请的一个方面，公开了一种计算机实现的方法。该方法包括：使用训练集训练泪腺水肿预测模型，其中所述训练集包括训练图像、结膜充血的评估值、结膜水肿的评估值、眼睑发红的评估值、眼睑水肿的评估值和泪腺水肿的评估值，根据对所述训练图像的诊断，所述训练图像注释有所述评估值；获取第一图像，所述第一图像包含受试者的至少一只眼睛和所述至少一只眼睛的轮廓的外部区域；通过在处理器上执行的所述泪腺水肿预测模型，输出结膜充血的第一预测值、结膜水肿的第一预测值、眼睑发红的第一预测值、眼睑水肿的第一预测值和泪腺水肿的第一预测值；基于预定设置，在五个所述预测值中选择所述泪腺水肿的所述第一预测值；和基于所选择的所述泪腺水肿的第一预测值，生成所述泪腺水肿的评分。
在一些实施例中，其中所述第一图像是关于两只眼睛中的任意一只眼睛生成的，并且其中所生成的预测值是针对该只眼睛的预测值。
在一些实施例中，该方法还包括：获取第二图像，所述第二图像包含所述受试者的另一只眼睛和所述另一只眼睛的轮廓的外部区域；通过在所述处理器上执行的所述泪腺水肿预测模型，输出所述结膜充血的第二预测值、所述结膜水肿的第二预测值、所述眼睑发红的第二预测值、所述眼睑水肿的第二预测值和所述泪腺水肿的第二预测值；和基于预定设置，在五个所述预测值中选择所述泪腺水肿的第二预测值，并且其中，所述生成所述泪腺水肿的评分是考虑所选择的所述泪腺水肿的第一预测值和所选择的所述泪腺水肿的第二预测值，生成所述泪腺水肿的评分。
在一些实施例中，其中所述生成所述泪腺水肿的评分包括：响应于以下，将预定值分配至所述评分：确定所述泪腺水肿的第一预测值大于阈值；确定所述泪腺水肿的第二预测值大于所述阈值或确定所述泪腺水肿的第一预测值和第二预测值大于所述阈值。
根据本申请的一个方面，公开了一种计算机实现的方法。该方法包括：使用训练集训练眼睑发红预测模型，其中所述训练集包括训练图像、结膜充血的评估值、结膜水肿的评估值、眼睑发红的评估值、眼睑水肿的评估值和泪腺水肿的评估值，根据对所述训练图像的诊断，所述训练图像注释有所述评估值；获取第一图像，所述第一图像包含受试者的至少一只眼睛和所述至少一只眼睛的轮廓的外部区域；通过在处理器上执行的所述眼睑发红预测模型，输出结膜充血的第一预测值、结膜水肿的第一预测值、眼睑发红的第一预测值、眼睑水肿的第一预测值和泪腺水肿的第一预测值；基于预定设置，在五个所述预测值中选择所述眼睑发红的第一预测值；和基于所选择的所述眼睑发红的第一预测值，生成所述眼睑发红的评分。
在一些实施例中，其中所述第一图像是关于两只眼睛中的任意一只眼睛生成的，并且其中所生成的预测值是针对该只眼睛的预测值。
在一些实施例中，该方法还包括：获取第二图像，所述第二图像包含所述受试者的另一只眼睛和所述另一只眼睛的轮廓的外部区域；通过在所述处理器上执行的所述眼睑发红模型，输出所述结膜充血的第二预测值、所述结膜水肿的第二预测值、所述眼睑发红的第二预测值、所述眼睑水肿的第二预测值和所述泪腺水肿的第二预测值；和基于预定设置，在五个所述预测值中选择所述眼睑发红的所述第二预测值，并且其中，所述生成所述眼睑发红的评分是考虑所选择的所述眼睑发红的第一预测值和所选择的所述眼睑发红的第二预测值，生成所述眼睑发红的评分。
在一些实施例中，其中所述生成所述眼睑发红的评分包括：响应于以下，将预定值分配至所述评分：确定所述眼睑发红的第一预测值大于阈值；确定所述眼睑发红的第二预测值大于所述阈值或确定所述眼睑发红的第一预测值和第二预测值大于所述阈值。
根据本申请的一个方面，公开了一种计算机实现的方法。该方法包括：使用训练集训练眼睑水肿预测模型，其中所述训练集包括训练图像、结膜充血的评估值、结膜水肿的评估值、眼睑发红的评估值、眼睑水肿的评估值和泪腺水肿的评估值，根据对所述训练图像的诊断，所述训练图像注释有所述评估值；获取第一图像，所述第一图像包含受试者的至少一只眼睛和所述至少一只眼睛的轮廓的外部区域；通过在处理器上执行的所述眼睑水肿预测模型，输出结膜充血的第一预测值、结膜水肿的第一预测值、眼睑发红的第一预测值、眼睑水肿的第一预测值和泪腺水肿的第一预测值；基于预定设置，在五个所述预测值中选择所述眼睑水肿的第一预测值；和基于所选择的所述眼睑水肿的第一预测值，生成所述眼睑水肿的评分。
在一些实施例中，其中所述第一图像是关于两只眼睛中的任意一只眼睛生成的，并且其中所生成的预测值是针对该只眼睛的预测值。
在一些实施例中，该方法还包括：获取第二图像，所述第二图像包含所述受试者的另一只眼睛和所述另一只眼睛的轮廓的外部区域；通过在所述处理器上执行的所述眼睑水肿预测模型，输出所述结膜充血的第二预测值、所述结膜水肿的第二预测值、所述眼睑发红的第二预测值、所述眼睑水肿的第二预测值和所述泪腺水肿的第二预测值；和基于预定设置，在五个所述预测值中选择所述眼睑水肿的第二预测值，并且其中，所述生成所述眼睑水肿的评分是考虑所选择的所述眼睑水肿的第一预测值和所选择的所述眼睑水肿的第二预测值，生成所述眼睑水肿的评分。
在一些实施例中，其中所述生成所述眼睑水肿的评分包括：响应于以下，将预定值分配至所述评分：确定所述眼睑水肿的第一预测值大于阈值；确定所述眼睑水肿的第二预测值大于所述阈值或确定所述眼睑水肿的第一预测值和第二预测值大于所述阈值。
根据本申请，公开了一种用于预测用户的甲状腺眼病的临床活动评分(clinicalactivity score，CAS)的系统。
1.整体系统
(1)系统的硬件构造
图1为根据本申请中描述的实施例的用于预测甲状腺眼病的临床活动评分的系统的示意图。
参照图1，系统1包括多个用户终端10和服务器20。
在下文中，将对多个用户终端10和服务器20进行详细描述。
(2)用户终端的功能
多个用户终端10通过各种网络向服务器20传输信息，并从服务器20接收信息。
多个用户终端10获得用户的上眼睑、下眼睑以及由上眼睑和下眼睑暴露于外部的眼球的图像(下文中，被称为眼睛图像)。多个用户终端10可以对所获得的眼睛图像执行必要的处理，或者可以将所获得的眼睛图像或经处理的眼睛图像传输到服务器20。
多个用户终端10可以从服务器20接收由服务器20处理的关于临床活动评分的预测结果。
(3)服务器的功能
服务器20通过各种网络向多个用户终端10传输信息，并从多个用户终端10接收信息。
服务器20可从多个用户终端10接收眼睛图像。在此，服务器20可以处理眼睛图像。或者，服务器20可以接收经处理的眼睛图像。
服务器20可以基于经处理的眼睛图像获得关于用户的甲状腺眼病的临床活动评分的预测结果。
服务器20可以将关于临床活动评分的预测结果发送到多个用户终端10。
(4)系统的软件构造
为使系统1运行，若干种软件结构是必需的。
为了在用户终端10和服务器20之间进行通信，需要在多个用户终端10上安装终端软件，并且在服务器20上安装服务器软件。
为了执行眼睛图像所需的预处理，可以使用各种预处理算法。
可以基于经预处理的眼睛图像使用用于预测临床活动评分的多个预测模型。
多个预处理算法可以由安装在用户终端10上的终端软件运行，也可以由安装在服务器20上的软件运行。或者，多个预处理算法中的一些可以由用户终端10执行，而另一些可以由服务器20执行。
多个预测模型可以由安装在服务器20上的软件运行。或者，多个预测模型可以由安装在用户终端10上的终端软件运行。或者，多个预测模型中的一些可以由用户终端10执行，而另一些可以由服务器20执行。
(5)用户终端的元件
图2示出了本申请中描述的用户终端的框图。
参照图2，本申请中描述的用户终端10包括输出部分110、通信部分120、存储器130、相机140和控制器150。
输出部分110根据控制器150的控制命令输出各种类型的信息。根据一个实施例，输出部分110可以包括显示器112，用于向用户视觉性地输出信息。可选地，尽管未在图中示出，输出部分110可以包括扬声器，用于向用户听觉性地输出信息；和振动电机，用于向用户触觉性地输出信息。
通信部分120可以包括无线通信模块和/或有线通信模块。本文中，无线通信模块的示例可以包括Wi-Fi通信模块、蜂窝通信模块等。
存储器130在其中存储有控制器150可读取的可执行代码、处理结果值、必要数据等。存储器130的示例可包括硬盘驱动器(hard disk drive，HDD)、固态盘(solid statedisk，SSD)、硅盘驱动器(silicon disk drive，SDD)、ROM、RAM等。存储器130中可存储上述终端软件，并可存储用于实现上述各种预处理算法和/或学习模型的可执行代码。此外，存储器130中可存储通过相机140获得的眼睛图像、经预处理的眼睛图像等。
相机140为数码相机，可以包括图像传感器和图像处理器。图像传感器为将光学图像转换为电信号的装置，可以集成多个光电二极管的芯片的形式被提供。图像传感器的示例可包括电荷耦合器件(charge-coupled device，CCD)、互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)等。同时，图像处理器可对捕获的结果执行图像处理，并可以生成图像信息。
控制器150可以包括至少一个处理器。本文中，每个处理器可以通过执行存储在存储器130中的至少一个指令来执行预定运算。具体而言，控制器150可以根据在用户终端10上运行的终端软件、预处理算法和/或学习模型来处理信息。同时，控制器150控制用户终端10的整体运算。
尽管未在图中示出，用户终端10可以包括用户输入部分。用户终端10可通过用户输入部分，从用户处接收用户终端10的运算所需的各种类型的信息。
(6)服务器元件
图3示出了本申请中描述的服务器的框图。
参照图3，本申请中描述的服务器20包括通信部分210、存储器220和控制器230。
通信部分210可以包括无线通信模块和/或有线通信模块。本文中，无线通信模块的示例可以包括Wi-Fi通信模块、蜂窝通信模块等。
存储器220在其中存储有控制器230可读取的可执行代码、处理结果值、必要数据等。存储器220的示例可包括硬盘驱动器(HDD)、固态盘(SSD)、硅盘驱动器(SDD)、ROM、RAM等。存储器220中可存储上述服务器软件，并可存储用于实现上述各种预处理算法和/或学习模型的可执行代码。此外，存储器220中可存储从用户终端10接收的眼睛图像、经预处理的眼睛图像等。
控制器230可包括至少一个处理器。本文中，每个处理器可通过执行存储在存储器220中的至少一个指令来执行预定运算。具体而言，控制器230可根据在服务器20上运行的服务器软件、预处理算法和/或学习模型来处理信息。同时，控制器230控制服务器20的整体运算。
在下文中，为了更清楚和更容易地理解本申请中描述的技术，将简要描述眼睛、眼球和眼球附近的组织，其包括上眼睑、下眼睑和泪阜，并对本说明书中使用的与眼睛和其周围组织相关的术语进行定义。
2.眼睛构造及术语定义
(1)眼球及周围组织
图4示出了眼睛和暴露于外部的周围组织，以使得当使用相机拍摄面部照片时，眼睛和周围组织被相机捕获。
图4示出如下：眼睑(上眼睑和下眼睑)；泪阜；部分暴露于外部且部分被上眼睑、下眼睑和泪阜覆盖的结膜或眼白；角膜或虹膜；和眉毛。
一般来说，眼睛或眼球大于其在图4中所示。但是，眼球受到上眼睑和下眼睑等组织的保护而不受外部影响，因此，即使当人睁开眼睛时，也只有部分眼球暴露于外部。
(2)术语定义
结膜、眼白
在下文中，结膜通常对应于眼白的位置，因此术语结膜和眼白可以互换使用。
角膜、虹膜
在下文中，角膜通常对应于眼睛虹膜的位置，因此角膜和虹膜这两个术语可以互换使用。与此同时，在本说明书中，“虹膜”一词在某种意义上包括瞳孔区域。
眼睑
眼睑是覆盖眼球前部的上、下方各一的两皮肤褶皱。眼睑(Eyelids)也称为palpebrae。眼球上方的眼睑称为上眼睑，眼球下方的眼睑称为下眼睑。外表面是皮肤，内表面是结膜，其中间有肌肉和睑板，肌肉移动眼睑，睑板含有睑板腺，由此保持了眼睑的形状。眼睑保护眼球，同时通过眨眼用眼泪清洁眼球或使角膜闪亮透明。
眉毛
眉毛是指沿着眼睛上方的骨嵴呈弧形生长的毛发。
睫毛
睫毛是指上下眼睑边缘约10毫米长的毛发。
暴露于外部的眼球
在下文中，“暴露于外部的眼球”指没有被上眼睑、下眼睑和泪阜覆盖的部分，即当一个人睁开眼睛时，被上眼睑、下眼睑和泪阜暴露于外部的部分。例如，图5中虚线所示的内部区域称为“暴露于外部的眼球”。
眼睛轮廓
在下文中，“眼睛轮廓”指当他或她睁开眼睛时，暴露于外部的眼球和眼睑(上眼睑和下眼睑)之间的界限。也就是说，暴露于外部的眼球的轮廓被称为“眼睛轮廓”。例如，图5中所示的虚线被称为“眼睛轮廓”。
暴露于外部的角膜(暴露于外部的虹膜)
在下文中，“暴露于外部的角膜”是指未被上眼睑和下眼睑覆盖的角膜部分，即当人睁开他或她的眼睛时，被上眼睑和下眼睑暴露于外部的角膜部分。例如，图6中虚线所示的内部区域称为“暴露于外部的角膜”。
暴露于外部的结膜(暴露于外部的眼白)
在下文中，“暴露于外部的结膜”是指未被上眼睑、下眼睑和泪阜覆盖的结膜部分，即当人睁开他或她的眼睛时，被上眼睑、下眼睑和泪阜暴露于外部的结膜部分。例如，图7中所示的虚线内部区域称为“暴露于外部的结膜”。
在下文中，将对用于执行本申请中描述的图像预处理的各种图像预处理算法进行描述。
3.图像预处理算法
(1)图像预处理的必要性
本申请旨在提供一种通过使用普通人能够使用的数码相机获得的图像而不是专业医疗诊断设备获得的图像来预测甲状腺眼病的临床活动评分的学习模型。
为此，在预测甲状腺眼病的临床活动评分时，需要使用普通人可以容易地获得的眼球和眼球周围组织的图像。例如，使用由普通人可以容易地使用的数码相机或智能手机内置的相机获得的数字图像，而不是医疗机构所使用的专用医疗设备获得的数字图像进行图像分析。
在这种环境下，难以对用户获得的数字图像执行标准化，为了更准确、更快地识别用户获得的数字图像，需要对获得的图像执行各种类型的预处理。
同时，本申请的发明人建立了一种系统，其用于通过使用如图8所示的面部图像预测与甲状腺眼病相关的五个项目的评分，但发现其预测准确性较低。
本申请的发明人确定了所述预测的准确性较低是因为面部图像包含许多分析非必需的区域，并确定了获得更精细的裁剪图像是必需的。
(2)应用不同裁剪方法的必要性
同时，已经描述了用于评估甲状腺眼病的临床活动评分的七个项目中，有五个项目是根据医生用肉眼观察用户眼球及其周围区域而进行评估的。根据医生用肉眼观察而评估的五个项目如下：
1)结膜充血(结膜发红)，
2)结膜水肿(结膜肿胀)，
3)泪腺水肿(泪阜肿胀)，
4)眼睑发红，和
5)眼睑水肿(眼睑肿胀)。
在下文中，如稍后所述，为了评估本申请中提供的甲状腺眼病的临床活动评分，已确定了生成能够执行约共五种症状的预测的共三个预测模型，可以提高预测模型的准确性，其关注于将肉眼观察的对象分为三个部分，即“结膜”、“泪阜”和“眼睑”。也就是说，在训练三个预测模型时，确定了对于预测模型，对待用作训练数据的图像使用不同的裁剪方法是更有利的。
在下文中，将描述更有利于分析“结膜”的裁剪方法，更有利于分析“泪阜”的裁剪方法以及更有利于分析“眼睑”的裁剪方法。
(3)第一裁剪(暴露于外部的眼球的裁剪)
在下文中，将描述更有利于分析结膜的裁剪方法。该裁剪方法被称为“第一裁剪”或“暴露于外部的眼球的裁剪”。第一裁剪可被应用于左眼图像和右眼图像两者，但为方便起见，对基于获得左眼裁剪图像的情况进行描述。
第一裁剪的目的
第二裁剪是为了生成在稍后描述的预测模型中作为一些模型的输入图像的图像，该模型为用于预测结膜是否发红的模型、用于预测结膜是否肿胀的模型。第二裁剪是为了生成暴露于外部的角膜的信息最大化而其他区域的信息最小化的图像。
输入图像
第一裁剪可以应用于面部图像或包含双眼的部分面部图像。
眼睛轮廓检测
根据一个实施例，特征点检测算法(landmark detection algorithm)可用于检测眼睛轮廓。例如，dlib提供的面部特征点检测算法可用于检测位于眼睛轮廓处的像素。
与眼睛轮廓相对应的像素数量可根据特征点检测算法的类型而变化。然而，根据上述面部特征点检测算法，六个像素可以对应于两只眼睛轮廓中的每一个轮廓，并且可以被检测。六个像素中的一个(例如，图9(a)中所示的P4)可以对应于被确定为图像内眼睛轮廓的最左边部分的像素。六个像素中的另一个(例如，图9(a)中所示的P1)可以对应于被确定为图像内眼睛轮廓的最右侧部分的像素。六个像素中的另外两个像素(例如，图9(a)中所示的P2和P3)可以是图像内的暴露在外部的眼球和上眼睑之间的边界相对应的像素。六个像素中的另外两个(例如，图9(a)中所示的P5和P6)可以是图像内的暴露在外部的眼球和下眼睑之间的边界相对应的像素。
在本说明书中，检测眼睛轮廓可指检测与眼睛的轮廓相对应的所有像素，或者可指通过使用特征点检测等等来检测与眼睛轮廓相对应的一些像素。
在下文中，将假定检测与眼睛轮廓相对应的六个像素的情况来给出描述。
确定第一裁剪区域
在确定检测到的像素时，设置包括全部六个像素的最小尺寸的矩形。例如，确定六个像素的X坐标值中的最大值Xmax、六个像素的X坐标值中的最小值Xmin、六个像素的Y坐标值中的最大值Ymax和六个像素的Y坐标值中的最小值Ymin。基于所确定的Xmax、Xmin、Ymax和Ymin，可以生成具有以下四个点作为顶点的四边形，并且可以将包括在该四边形内部的区域确定为第一裁剪区域。
(Xmin,Ymax),
(Xmax,Ymax),
(Xmax,Ymin),和
(Xmin,Ymin)
图10为第一裁剪区域示意图。特别地，图10(a)为确定上述六个像素的X坐标值中的最大值Xmax、六个像素的X坐标值中的最小值Xmin、六个像素的Y坐标值中的最大值Ymax和六个像素的Y坐标值中的最小值Ymin的示意图。图10(b)为使用所确定的X坐标的最大值和最小值以及所确定的Y坐标的最大值和最小值生成的第一裁剪区域的示意图。
如上所述，可以以相同的方式为右眼确定第一裁剪区域。
第一裁剪图像的生成
确定第一裁剪区域，并且基于所确定的第一裁剪区域(例如如图11所示)，可以通过使用包含在第一裁剪区域内的像素从面部图像或包含双眼的部分面部图像生成第一裁剪图像。第一裁剪图像包括为右眼生成的第一右眼裁剪图像(图11(b))和为左眼生成的第一左眼裁剪图像(见图11(a))。
在下文中，术语“第一裁剪图像”和术语“暴露于外部的眼球的裁剪图像”可以互换使用。术语“第一右眼裁剪图像”和术语“暴露于外部的右眼球的裁剪图像”可以互换使用。术语“第一左眼裁剪图像”和术语“暴露于外部的左眼球的裁剪图像”可以互换使用。
此外，在下文中没有具体提及的情况下，术语“第一裁剪图像(或暴露于外部的眼球的裁剪图像)”可以指第一右眼裁剪图像或第一左眼裁剪图像，或者根据上下文可以指两者。
第一裁剪图像是指以使得暴露在外部的眼球相对应的像素数量与所裁剪的图像中包含的所有像素数量的比例最大化的方法裁剪的图像。如果裁剪区域以使得尽可能多地包含关于暴露于外部的眼球的信息的形式生成，则以与上述方法不同的该方法所生成的裁剪图像也被称为第一裁剪图像(暴露于外部的眼球的裁剪图像)。
同时，本申请中的X坐标值和Y坐标值根据相对于参考点的相对位置而具有不同的大小和方向，因此，最大值和最小值应理解为相对意义，而不是绝对意义。也就是说，随着坐标系原点的位置变化，上述X坐标值的最大值可以是原点改变后的坐标系中X坐标值的最小值，X坐标值的最小值可以是原点改变后的坐标系中X坐标值的最大值。这同样适用于Y坐标值。
(4)第二裁剪(包含眼睑的裁剪)
在下文中，将描述更有利于分析“眼睑”的裁剪方法。该裁剪方法被称为“第二裁剪”或“包含眼睑的裁剪”。第二裁剪可被应用于左眼图像和右眼图像两者，但为方便起见，针对基于获得左眼裁剪图像的情况进行描述。
第二裁剪的目的
第二裁剪是为了生成在预测模型(稍后描述)中作为一些模型的输入图像的图像，该模型为用于预测眼睑是否发红的模型以及用于预测眼睑是否肿胀的模型。第二裁剪是为了将有关眼睑的信息包含在图像中。在本文中，更好的是生成裁剪图像以便将眼睛轮廓中所包含的所有像素都包含在内，而不是仅裁剪与眼睑对应的像素。这是因为为了预测眼睑是否发红，需要对颜色值进行推断和确定，并且可以使用与虹膜和/或眼白对应的像素的颜色值。
输入图像
第二裁剪可以应用于面部图像或包含双眼的部分面部图像。
检测眼睛轮廓以及确定轮廓像素的X和Y坐标最大值和最小值
根据实施例，第一裁剪中描述的眼睛轮廓检测方法可以被原样应用。与眼睛的轮廓的最外侧部分相对应的轮廓像素可被检测。确定检测到的像素就可确定X坐标值中的最大值Xmax，X坐标值中的最小值Xmin，Y坐标值中的最大值Ymax和Y坐标值中的最小值Ymin。以下，为了便于描述，将以使用上述方法确定的点作为顶点生成的四边形称为参考四边形。同时，该参考四边形的水平长度被称为参考水平长度或眼睛轮廓的水平长度。参考四边形的垂直长度称为参考垂直长度或眼睛轮廓的垂直长度。
确定裁剪区域
为了确定具有四边形的形状的第二裁剪区域，确定了第二裁剪区域的垂直长度、水平长度和中心点。当第二个裁剪区域的顶点坐标为(Xa，Ya)，(Xa，Yb)，(Xb，Ya)和(Xb，Yb)(本文中，Xa的值低于Xb的值，Ya的值低于Yb的值)时，中心点的坐标被确定为((Xa+Xb)/2，(Ya+Yb)/2)或((Xa+(Xb-Xa)/2，Ya+(Yb+Ya)/2)。
垂直长度和水平长度的确定#1
根据一些实施例，第二裁剪区域的垂直长度可以通过将参考垂直长度乘以预定数字来获得。该预定数字可以是1.6、1.7、1.8、1.9、2.0、2.1、2.2、2.3、2.4、2.5、2.6、2.7、2.8、2.9、3.0、3.1、3.2、3.3、3.4、3.5、3.6、3.7、3.8、3.9或4.0。另外，第二裁剪区域的水平长度可以通过将参考水平长度乘以预定数字来获得。该预定数字可以是1.1、1.2、1.3、1.4、1.5、1.6、1.7、1.8、1.9、2.0、2.1、2.2、2.3、2.4或2.5。本文中，与参考垂直长度相乘的预定数字和与参考水平长度相乘的预定数字彼此独立地被确定。因此，生成的第二裁剪区域的形状可以是矩形。
垂直长度和水平长度的确定#2
根据其他一些实施例，第二裁剪区域的形状可以是正方形。正方形的第二裁剪区域的边长可以基于通过将参考垂直长度乘以预定数字而获得的值和通过将参考水平长度乘以预定数字而获得的值来确定。例如，可以通过将参考垂直长度乘以预定数字和参考水平长度的预定数字而获得的值的较大值确定为边长。本文中，与参考垂直长度相乘的预定数字和与参考水平长度相乘的预定数字彼此独立地被确定。
中心点位置的确定
第二裁剪区域的中心点的位置可不同于参考四边形的中心点的位置。所确定的参考四边形的中心点的位置和第二裁剪区域的中心点的位置彼此不同的原因是上眼睑和下眼睑的形状彼此不对称，并且上眼睑和下眼睑的形状通常并非相对于穿过参考四边形中心的垂直线线性对称。
通常，第二裁剪区域的中心点的y坐标值越高于参考四边形的中心点的y坐标值，有关眉毛的信息就越多。第二裁剪区域的中心点的y坐标值越低于参考四边形的中心点的y坐标值，有关眉毛的信息就越少。
对于左眼，通常，第二裁剪区域的中心点的x坐标值越高于参考四边形的中心点的x坐标值，双眼之间区域的信息越少。第二裁剪区域的中心点的x坐标值越低于参考四边形的中心点的x坐标值，眼睛和太阳穴之间区域的信息就越少。
在本申请的一些实施例中，第二裁剪区域的中心点的y坐标值可以低于参考四边形的中心点的y坐标值。
在本申请的一些实施例中，针对左眼，第二裁剪区域的中心点的x坐标值可以高于参考四边形的中心点的x坐标值。然而，就右眼而言，第二裁剪区域的中心点的x坐标值可低于参考四边形的中心点的y坐标值。
然而，为了实现本申请的目的，第二裁剪区域的中心点的位置与参考四边形的中心点的位置之间的关系不必需是上述关系，对于本领域技术人员来说，在能够实现本申请目标的范围内允许进行的适当的改变是显而易见的。
图12为以各种方式确定的第二裁剪区域的示例的示意图。图12(a)示出了第二裁剪区域的示例，其中第二裁剪区域是矩形，并且第二裁剪区域的中心点与参考四边形的中心点相匹配。图12(b)示出了第二裁剪区域的示例，其中第二裁剪区域是矩形，并且第二裁剪区域的中心点和参考四边形的中心点不匹配。图12(c)示出了第二裁剪区域的示例，其中第二裁剪区域是正方形，并且第二裁剪区域的中心点与参考四边形的中心点相匹配。图12(d)显示了第二裁剪区域的示例，其中第二裁剪区域是正方形，并且第二裁剪区域的中心点和参考四边形的中心点不匹配。
在下文中，为了方便起见，将基于第二裁剪区域被设置成如图12(d)所示的情况进行描述。
生成第二裁剪图像
确定第二裁剪区域，并且可基于所确定的第二裁剪区域(如图13所示)，通过使用被包含在第二裁剪区域内的像素从面部图像或包含双眼的部分面部图像的中生成第二裁剪图像。第二裁剪图像包括针对右眼生成的第二右眼裁剪图像(图13(b))和针对左眼生成的第二左眼裁剪图像(图13(a))。
在下文中，术语“第二裁剪图像”和术语“包含眼睑的裁剪图像”可以互换使用。术语“第二右眼裁剪图像”和术语“包含右眼眼睑的裁剪图像”可以互换使用。术语“第二左眼裁剪图像”和术语“包含左眼眼睑的裁剪图像”可以互换使用。
另外，在下文中没有特别提及的情况下，术语“第二裁剪图像(或包含眼睑的裁剪图像)”可以意味着第二右眼裁剪图像或第二左眼裁剪图像，或者可以指两者，具体取决于上下文。
第二裁剪图像是指以使得包括关于眼睑的信息所生成的图像。如果裁剪区域的边界被确定为使得额外包含对应于眼睑的像素，则以不同于上述方法的方法生成的裁剪图像也被称为第二裁剪图像(包含眼睑的裁剪图像)。
(5)第三裁剪(包含泪阜的裁剪)
在下文中，将描述更有利于分析泪阜的裁剪方法。该裁剪方法被称为“第三裁剪”或“包含泪阜的裁剪”。第三裁剪可被应用于右眼图像和左眼图像两者，但是为方便起见，对基于获得左眼裁剪图像的情况进行描述。
第三裁剪的目的
第三裁剪是为了生成用作在稍后描述的预测模型中的模型的输入图像的图像，该模型为用于预测是否存在泪阜肿胀的模型。第三裁剪是为了使图像中包含关于泪阜的信息。
输入图像
第三裁剪可以被应用于面部图像或包含双眼的部分面部图像。
眼睛轮廓的检测
根据实施例，第一裁剪中描述的眼睛轮廓检测方法可以被原样应用。即，可以通过检测眼睛轮廓获得六个像素值。
确定裁剪区域
在下文中，将基于左眼进行描述。
在六个像素中，被选择的像素如下(图14(a))：最靠近泪阜的像素(图9的P4，在下文中被称为第一像素)；上眼睑侧的上眼睑或睫毛与暴露于外部的眼球之间的边界处的两个像素(图9的P3和P2)中更靠近泪阜的像素(图9的P3，在下文中被称为第二像素)；以及下眼睑侧的下眼睑或睫毛与暴露于外部的眼球之间的边界处的两个像素(图9的P5和P6)中更靠近泪阜的像素(图9的P5，在下文中被称为第三像素)。
随后，确定对应于睫毛和暴露于外部的眼球之间的边界处的四个像素(P3、P2、P5和P6)的中心点的像素(在下文中被称为第四像素)(图14(b))。
随后，基于上述四个像素(第一像素至第四像素)，可以确定X坐标值的最大值Xmax、X坐标值中的最小值Xmin、Y坐标值中的最大值Ymax和Y坐标值中的最小值Ymin。
基于所确定的Xmax、Xmin、Ymax和Ymin，可以生成具有以下四个点作为顶点的四边形，并且可以将包含在该四边形内部的区域确定为第三裁剪区域。
(Xmin,Ymax),
(Xmax,Ymax),
(Xmax,Ymin)，和
(Xmin,Ymin)
图15为第三裁剪区域的示意图。具体而言，图15(a)是确定上述四个像素(第一像素至第四像素)中的X坐标值的最大值Xmax、四个像素中的X坐标值中的最小值Xmin、四个像素中的Y坐标值中的最大值Ymax和四个像素中的Y坐标值中的最小值Ymin的示意图。图15(b)为使用所确定的X坐标的最大值和最小值以及所确定的Y坐标的最大值和最小值生成的第三裁剪区域的示意图。
如上所述，可以以相同的方式为右眼确定第三裁剪区域。
生成第三裁剪图像
确定第三裁剪区域，并且可基于所确定的第三裁剪区域(如图16所示)，通过使用包含在第三裁剪区域内的像素，从面部图像或包含双眼的部分面部图像生成第三裁剪图像。第三裁剪图像包括针对右眼生成的第三右眼裁剪图像(图16(b))和针对左眼生成的第三左眼裁剪图像(图16(a))。
在下文中，术语“第三裁剪图像”和术语“包含泪阜的裁剪图像”可以互换使用。术语“第三右眼裁剪图像”和术语“包含右泪阜的裁剪图像(包含右眼睑的裁剪图像)”可以互换使用。术语“第三左眼裁剪图像”和术语“包含左泪阜的裁剪图像(包含左眼睑的裁剪图像)”可以互换使用。
另外，在下文中没有特别提及的情况下，术语“第三裁剪图像(或包含泪阜的裁剪图像)”可以是指第三右眼裁剪图像或第三左眼裁剪图像，或者可以包含两者，具体取决于上下文。
第三裁剪图像是指以使得包括关于泪阜的信息所生成的图像。如果裁剪区域的边界的确定使得包含对应于泪阜的像素，则以不同于上述方法的方法生成的裁剪图像也被称为第三裁剪图像(包含泪阜的裁剪图像)。
(6)横向翻转
横向翻转的必要性
根据本申请中提供的用于预测甲状腺眼病临床活动评分的方法，使用了左眼裁剪图像和右眼裁剪图像，而不是双眼图像。
同时，眼睛的轮廓是不对称的。例如，对于右眼，泪阜位于右眼的左端，但上眼睑和下眼睑自然相交的点位于右眼的右端。
因此，为了更快的学习和更准确的预测，区分并使用经针对左眼训练的学习模型和经针对右眼训练的学习模型是更高效的。
然而，当基于左眼和右眼之间的对称线将左眼翻转为右眼时，右眼和左眼的形状特征彼此相似。
因此，根据本申请，右眼或左眼的一只不执行横向翻转地被使用，另一只眼睛则执行横向翻转，从而可以仅使用一个预测模型。或者，当计划训练左眼和右眼的单独的预测模型时，训练数据集可被加倍。
横向翻转的方法
横向翻转图像(转换图像的左右)是指当第一像素值对应于图像中的像素(a+△，Y)和第二像素值对应于像素(a-△，Y)时，通过垂直穿过待翻转的图像且将该图像划分为左右两半的左右参考线(X＝a)，(a+△，Y)的像素值从第一像素值被更改为第二像素值，并且(a-△，Y)的像素值从第二像素值被更改为第一像素值。
横向翻转目标图像
对左眼图像或右眼图像中的一者执行横向翻转是足够的。对左眼图像和右眼图像中的哪一者被执行横向翻转是根据对预测模型(稍后将描述)执行训练时是基于左眼图像和右眼图像中的哪一者所确定的。
图17为各种示例的原始图像和横向翻转图像示意图。具体而言，图17(a)示出了第一裁剪图像及其横向翻转图像。图17(b)示出了第二裁剪图像及其横向翻转图像。图17(c)示出了第三裁剪图像及其横向翻转图像。
横向翻转选项
然而，如上所述，横向翻转被应用于统一左眼的预测模型和右眼的预测模型，或增加训练数据量。因此，必要时可以省略横向翻转的预处理。
(8)调整大小
调整大小的必要性
如上所述，当针对眼睛轮廓对图像执行裁剪并使用该裁剪图像时，眼睛的尺寸因人而异，且裁剪图像的尺寸因人而异。
同时，当左眼图像和右眼图像被独立地裁剪并得到时，由于左眼和右眼之间的尺寸差异，同一人的左眼裁剪图像和右眼裁剪图像彼此不同。
因此，在将眼睛图像输入到预测模型(稍后将描述)之前，需要将眼睛图像调整为与各个预测模型对应的标准尺寸。
每个预测模型的标准尺寸
对应于第一预测模型至第五预测模型的各标准尺寸可以彼此不同。
使用第二裁剪图像作为输入图像的预测模型所对应的标准尺寸可以相同。
使用第三裁剪图像作为输入图像的预测模型所对应的标准尺寸可以相同。
使用第二裁剪图像作为输入图像的预测模型所对应的标准尺寸可以与使用第三裁剪图像作为输入图像的预测模型所对应的标准尺寸不同。
或者，第一预测模型至第五预测模型相对应的各标准尺寸可以相同。
图18示出了当第一预测模型到第五预测模型的标准尺寸相同时调整大小的示例。
调整大小的方法
将要调整大小的目标图像的尺寸调整为标准尺寸。
当要调整大小的目标图像的宽度或高度大于标准尺寸的宽度或高度时，可以增加要调整大小的目标图像的宽度或高度。
当要调整大小的目标图像的宽度或高度小于标准尺寸的宽度或高度时，可以减小要调整大小的目标图像的宽度或高度。
在调整大小时，调整大小之前的图像的纵横比可能与调整大小之后的图像的纵横比不同。
4.预测模型
(1)第一预测模型
第一预测模型的目的和运行
第一预测模型是用于预测是否存在结膜充血的模型。
第一预测模型可以接收眼睛图像作为输入数据，并且可以输出在输入的眼睛图像中捕获的结膜充血的概率值。特别地，第一预测模型是经训练以用于预测是否存在结膜充血的预测模型，因此上述第一裁剪图像可用于第一预测模型。
当第一预测模型包括第一左眼预测模型和第一右眼预测模型时，第一左眼预测模型可以接收左眼图像并输出在左眼图像中捕获的结膜充血的概率值，并且第一右眼预测模型可以接收右眼图像并可以输出在右眼图像中捕获的结膜充血的概率值。
当第一预测模型未被二元化并且以一个模型进行时，第一预测模型可以接收右眼图像或左眼图像以输出在输入图像中捕获的结膜充血的概率值，并且可以接收另一图像以输出在输入图像中捕获的结膜充血的概率值。
眼睛图像可以是通过上述预处理算法预处理的图像。
例如，眼睛图像可以是对其执行了根据第一裁剪的预处理的图像。
作为另一示例，眼睛图像可以是对其执行了包括第一裁剪和调整大小的预处理的图像。
作为又一示例，眼睛图像可以是对其执行了包括第一裁剪、横向翻转和调整大小的预处理的图像。
在本说明书中，第一预测模型可以被称为结膜充血预测模型。然而，除结膜充血预测的结果值之外，本申请中描述的第一预测模型还可以输出结膜水肿预测的结果值、泪腺水肿预测的结果值以及眼睑发红和眼睑水肿预测的结果值。
人工智能模型的结构
为了训练第一预测模型，可以准备人工智能模型。
人工智能模型的示例可以是支持向量机(support-vector machine，SVM)、随机森林、梯度提升算法、残差网络(Residual Networks，ResNet)、Visual Geometry Group(VGG)，GoogLeNet、MobileNet以及Vision Transformer。
第一预测模型可以使用ViT作为主要架构。ViT模型是一种简单的非分层(non-hierarchical)模型，具有单尺度特征图，是一种被证明对视觉识别有效的模型。
ViT由线性嵌入、transformer编码器和分类器组成，当输入图像被输入到模型时，该输入图像可以被划分成多个输入补丁。由划分产生的输入补丁被提供给编码器并提供给分类器，以便预测多个标签。
在本申请中，人工智能模型可具有五个输出节点。
训练数据集的准备
为了训练第一预测模型，可以准备多个训练数据集。
训练数据集包括眼睛图像和与其相对应的多个评估值。该眼睛图像是上述第一裁剪图像，并且该多个评估值包括与眼睛图像相对应的以下五个评估值：结膜充血的评估值、结膜水肿的评估值、泪腺水肿的评估值、眼睑发红的评估值和眼睑水肿的评估值。
也就是说，为了训练用于分析结膜充血的第一预测模型，可以使用包括第一裁剪图像和仅对应于其的结膜充血的评估值的训练数据集，但是在本申请中，第一裁剪图像和全部上述五种评估值被用于训练第一预测模型。
因此，本申请中描述的第一预测模型被训练以在分析结膜充血时考虑结膜水肿、泪腺水肿、眼睑发红和眼睑水肿的症状，从而更准确地预测结膜充血。
训练第一预测模型
使用如上所述的所准备的多个训练数据集，将所准备的多个训练数据集中包含的眼睛图像输入到人工智能模型，并使用与每个输入的眼睛图像相对应的评估值和从人工智能模型输出的输出值执行训练。
当第一预测模型包括第一左眼预测模型和第一右眼预测模型时，用于训练第一左眼预测模型的多个训练数据集可以包括：左眼图像和对应于左眼图像的结膜充血的评估值、结膜水肿的评估值、泪腺水肿的评估值、眼睑发红的评估值和眼睑水肿的评估值，用于训练第一右眼预测模型的多个训练数据集可以包括：右眼图像和对应于右眼图像的结膜充血的评估值、结膜水肿的评估值、泪腺水肿的评估值、眼睑发红的评估值和眼睑水肿的评估值。同时，为了增加训练数据集的数量，用于训练第一左眼预测模型的多个训练数据集可以包括对其执行了横向翻转处理的右眼图像和对应于右眼图像的五种类型的评估值，用于训练第一右眼预测模型的多个训练数据集可以包括对其执行了横向翻转处理的左眼图像和对应于左眼图像的五种类型的评估值。
当不打算将第一预测模型二元化，而是将第一预测模型以一个模型进行时，多个训练数据集可包括右眼图像和对应于右眼图像的结膜充血的评估值、结膜水肿的评估值、泪腺水肿的评估值、眼睑发红的评估值和眼睑水肿的评估值，或者可包括对其执行了横向翻转处理的左眼图像和对应于左眼图像的结膜充血的评估值、结膜水肿的评估值、泪腺水肿的评估值、眼睑发红的评估值和眼睑水肿的评估值。或者，多个训练数据集可以包括左眼图像和对应于左眼图像的五种评估值，或者可以包括对其执行了横向翻转处理的右眼图像和对应于右眼图像的五种评估值。
同时，在训练第一预测模型时，为了在不区分右眼图像和左眼图像的情况下预测结膜是否充血，所有右眼图像、对其执行了横向翻转的右眼图像、左眼图像和对其执行了横向翻转的左眼图像被用作训练数据以训练一个模型。
例如，当第一预测模型包括第一左眼预测模型和第一右眼预测模型时，用于训练第一左眼预测模型的多个训练数据集可以包括：左眼图像和对应于左眼图像的五种评估值；以及对其执行了横向翻转处理的右眼图像和对应于右眼图像的五种类型的评估值，并且用于训练第一右眼预测模型的多个训练数据集可以包括：右眼图像和对应于右眼图像的五种类型的评估值；以及对其执行了横向翻转处理的左眼图像和对应于左眼图像的五种类型的评估值。
当不打算将第一预测模型二元化，而是将第一预测模型以一个模型进行时，多个训练数据集可以包括：右眼图像和对应于右眼图像的五种类型的评估值；对其执行了横向翻转处理的右眼图像和对应于右眼图像的五种类型的评估值；左眼图像和对应于左眼图像的五种类型的评估值；以及对其执行了横向翻转处理的左眼图像和对应于左眼图像的五种类型的评估值。
(2)第二预测模型
第二预测模型的目的和运行
第二预测模型是用于预测是否存在结膜水肿的模型。
第二预测模型可以接收眼睛图像作为输入数据，并且可以输出在输入眼睛图像中捕获的结膜水肿存在的概率值。特别地，第二预测模型是经训练以用于预测是否存在结膜水肿的预测模型，因此上述第一裁剪图像可用于第二预测模型。
当第二预测模型包括第二左眼预测模型和第二右眼预测模型时，第二左眼预测模型可以接收左眼图像并输出左眼图像中捕获的结膜水肿存在的概率值，并且第二右眼预测模型可以接收右眼图像并输出右眼图像中捕获的结膜水肿存在的概率值。
当第二预测模型未被二元化并且以一个模型进行时，第二预测模型可以接收右眼图像或左眼图像以输出在输入图像中捕获的结膜水肿存在的概率值，并且可以接收另一图像以输出在输入图像中捕获的结膜水肿存在的概率值。
眼睛图像可以是通过上述预处理算法预处理的图像。
例如，眼睛图像可以是对其执行了根据第一裁剪的预处理的图像。
作为另一示例，眼睛图像可以是对其执行了包括第一裁剪和调整大小的预处理的图像。
作为又一示例，眼睛图像可以是对其执行了包括第一裁剪、横向翻转和调整大小的预处理的图像。
在本说明书中，第二预测模型可以被称为结膜水肿预测模型。然而，除结膜水肿预测的结果值之外，本申请中描述的第二预测模型还可以输出结膜充血预测的结果值、泪腺水肿预测的结果值以及眼睑发红和眼睑水肿预测的结果值。
人工智能模型的结构
为了训练第二预测模型，可以准备人工智能模型。
人工智能模型的示例可以是支持向量机(support-vector machine，SVM)、随机森林、梯度提升算法、残差网络(Residual Networks，ResNet)、Visual Geometry Group(VGG)，GoogLeNet、MobileNet以及Vision Transformer。
在本申请中，人工智能模型可具有五个输出节点。
对用于训练第二预测模型的人工智能模型的描述与上述训练第一预测模型的描述相同或非常相似，因此在此将省略详细描述。
训练数据集的准备
为了训练第二预测模型，可以准备多个训练数据集。
训练数据集包括眼睛图像和与其相对应的多个评估值。该眼睛图像是上述第一裁剪图像，并且该多个评估值包括与眼睛图像相对应的以下五个评估值：结膜充血的评估值、结膜水肿的评估值、泪腺水肿的评估值、眼睑发红的评估值和眼睑水肿的评估值。
也就是说，为了训练用于分析结膜水肿的第二预测模型，可以使用包括第一裁剪图像和仅对应于其的结膜水肿的评估值的训练数据集，但是在本申请中，第一裁剪图像和全部上述五种评估值被用于训练第二预测模型。
因此，本申请中描述的第二预测模型被训练以在分析结膜水肿时考虑结膜充血、泪腺水肿、眼睑发红和眼睑水肿的症状，从而更准确地预测结膜水肿。
训练第二预测模型
使用如上所述的所准备的多个训练数据集，将所准备的多个训练数据集中包含的眼睛图像输入到人工智能模型，并使用与每个输入的眼睛图像相对应的评估值和从人工智能模型输出的输出值执行训练。
当第二预测模型包括第二左眼预测模型和第二右眼预测模型时，用于训练第二左眼预测模型的多个训练数据集可以包括：左眼图像和对应于左眼图像的结膜充血的评估值、结膜水肿的评估值、泪腺水肿的评估值、眼睑发红的评估值和眼睑水肿的评估值，用于训练第二右眼预测模型的多个训练数据集可以包括：右眼图像和对应于右眼图像的结膜充血的评估值、结膜水肿的评估值、泪腺水肿的评估值、眼睑发红的评估值和眼睑水肿的评估值。同时，为了增加训练数据集的数量，用于训练第二左眼预测模型的多个训练数据集可以包括对其执行了横向翻转处理的右眼图像和对应于右眼图像的五种类型的评估值，用于训练第二右眼预测模型的多个训练数据集可以包括对其执行了横向翻转处理的左眼图像和对应于左眼图像的五种类型的评估值。
当不打算将第二预测模型二元化，而是将第二预测模型以一个模型进行时，多个训练数据集可包括右眼图像和对应于右眼图像的结膜充血的评估值、结膜水肿的评估值、泪腺水肿的评估值、眼睑发红的评估值和眼睑水肿的评估值，或者可包括对其执行了横向翻转处理的左眼图像和对应于左眼图像的结膜充血的评估值、结膜水肿的评估值、泪腺水肿的评估值、眼睑发红的评估值和眼睑水肿的评估值。或者，多个训练数据集可以包括左眼图像和对应于左眼图像的五种评估值，或者可以包括对其执行了横向翻转处理的右眼图像和对应于右眼图像的五种评估值。
同时，在训练第二预测模型时，为了在不区分右眼图像和左眼图像的情况下预测结膜是否水肿，所有右眼图像、对其执行了横向翻转的右眼图像、左眼图像和对其执行了横向翻转的左眼图像被用作训练数据以训练一个模型。
例如，当第二预测模型包括第二左眼预测模型和第二右眼预测模型时，用于训练第二左眼预测模型的多个训练数据集可以包括：左眼图像和对应于左眼图像的五种评估值；以及对其执行了横向翻转的右眼图像和对应于右眼图像的五种类型的评估值，并且用于训练第二右眼预测模型的多个训练数据集可以包括：右眼图像和对应于右眼图像的五种类型的评估值；以及对其执行了横向翻转处理的左眼图像和对应于左眼图像的五种类型的评估值。
当不打算将第二预测模型二元化，而是将第二预测模型以一个模型进行时，多个训练数据集可以包括：右眼图像和对应于右眼图像的五种类型的评估值；对其执行了横向翻转的右眼图像和对应于右眼图像的五种类型的评估值；左眼图像和对应于左眼图像的五种类型的评估值；以及对其执行了横向翻转的左眼图像和对应于左眼图像的五种类型的评估值。
(3)第三预测模型
第三预测模型的目的和运行
第三预测模型是用于预测是否存在泪腺水肿的模型。
第三预测模型可以接收眼睛图像作为输入数据，并且可以输出在输入眼睛图像中捕获的泪腺水肿存在的概率值。特别地，第三预测模型是经训练以用于预测是否存在泪腺水肿的预测模型，因此上述第三裁剪图像可用于第三预测模型。
当第三预测模型包括第三左眼预测模型和第三右眼预测模型时，第三左眼预测模型可以接收左眼图像并输出左眼图像中捕获的泪腺水肿存在的概率值，并且第三右眼预测模型可以接收右眼图像并输出右眼图像中捕获的泪腺水肿存在的概率值。
当第三预测模型未被二元化并且以一个模型进行时，第三预测模型可以接收右眼图像或左眼图像以输出在输入图像中捕获的泪腺水肿存在的概率值，并且可以接收另一图像以输出在输入图像中捕获的泪腺水肿存在的概率值。
眼睛图像可以是通过上述预处理算法预处理的图像。
例如，眼睛图像可以是对其执行了根据第三裁剪的预处理的图像。
作为另一示例，眼睛图像可以是对其执行了包括第三裁剪和调整大小的预处理的图像。
作为又一示例，眼睛图像可以是对其执行了包括第三裁剪、横向翻转和调整大小的预处理的图像。
在本说明书中，第三预测模型可以被称为泪腺水肿预测模型。然而，除泪腺水肿预测的结果值之外，本申请中描述的第三预测模型还可以输出结膜充血预测的结果值、结膜水肿预测的结果值以及眼睑发红和眼睑水肿预测的结果值。
人工智能模型的结构
为了训练第三预测模型，可以准备人工智能模型。
人工智能模型的示例可以是支持向量机(support-vector machine，SVM)、随机森林、梯度提升算法、残差网络(Residual Networks，ResNet)、Visual Geometry Group(VGG)，GoogLeNet、MobileNet以及Vision Transformer。
在本申请中，人工智能模型可具有五个输出节点。
对用于训练第三预测模型的人工智能模型的描述与上述训练第一预测模型的描述相同或非常相似，因此在此将省略详细描述。
训练数据集的准备
为了训练第三预测模型，可以准备多个训练数据集。
训练数据集包括眼睛图像和与其相对应的多个评估值。该眼睛图像是上述第三裁剪图像，并且该多个评估值包括与眼睛图像相对应的以下五个评估值：结膜充血的评估值、结膜水肿的评估值、泪腺水肿的评估值、眼睑发红的评估值和眼睑水肿的评估值。
也就是说，为了训练用于分析泪腺水肿的第三预测模型，可以使用包括第三裁剪图像和仅对应于其的泪腺水肿的评估值的训练数据集，但是在本申请中，第三裁剪图像和全部上述五种评估值被用于训练第三预测模型。
因此，本申请中描述的第三预测模型被训练以在分析泪腺水肿时考虑结膜充血、结膜水肿、眼睑发红和眼睑水肿的症状，从而更准确地预测泪腺水肿。
训练第三预测模型
使用如上所述的所准备的多个训练数据集，将所准备的多个训练数据集中包含的眼睛图像输入到人工智能模型，并使用与每个输入的眼睛图像相对应的评估值和从人工智能模型输出的输出值执行训练。
当第三预测模型包括第三左眼预测模型和第三右眼预测模型时，用于训练第三左眼预测模型的多个训练数据集可以包括：左眼图像和对应于左眼图像的结膜充血的评估值、结膜水肿的评估值、泪腺水肿的评估值、眼睑发红的评估值和眼睑水肿的评估值，用于训练第三右眼预测模型的多个训练数据集可以包括：右眼图像和对应于右眼图像的结膜充血的评估值、结膜水肿的评估值、泪腺水肿的评估值、眼睑发红的评估值和眼睑水肿的评估值。同时，为了增加训练数据集的数量，用于训练第三左眼预测模型的多个训练数据集可以包括对其执行了横向翻转处理的右眼图像和对应于右眼图像的五种类型的评估值，用于训练第三右眼预测模型的多个训练数据集可以包括对其执行了横向翻转处理的左眼图像和对应于左眼图像的五种类型的评估值。
当不打算将第三预测模型二元化，而是将第三预测模型以一个模型进行时，多个训练数据集可包括右眼图像和对应于右眼图像的结膜充血的评估值、结膜水肿的评估值、泪腺水肿的评估值、眼睑发红的评估值和眼睑水肿的评估值，或者可包括对其执行了横向翻转处理的左眼图像和对应于左眼图像的结膜充血的评估值、结膜水肿的评估值、泪腺水肿的评估值、眼睑发红的评估值和眼睑水肿的评估值。或者，多个训练数据集可以包括左眼图像和对应于左眼图像的五种评估值，或者可以包括对其执行了横向翻转处理的右眼图像和对应于右眼图像的五种评估值。
同时，在训练第三预测模型时，为了在不区分右眼图像和左眼图像的情况下预测泪腺是否水肿，所有右眼图像、对其执行了横向翻转的右眼图像、左眼图像和对其执行了横向翻转的左眼图像被用作训练数据以一个训练模型。
例如，当第三预测模型包括第三左眼预测模型和第三右眼预测模型时，用于训练第三左眼预测模型的多个训练数据集可以包括：左眼图像和对应于左眼图像的五种评估值；以及对其执行了横向翻转处理的右眼图像和对应于右眼图像的五种类型的评估值，并且用于训练第三右眼预测模型的多个训练数据集可以包括：右眼图像和对应于右眼图像的五种类型的评估值；以及对其执行了横向翻转处理的左眼图像和对应于左眼图像的五种类型的评估值。
当不打算将第三预测模型二元化，而是将第三预测模型以一个模型进行时，多个训练数据集可以包括：右眼图像和对应于右眼图像的五种类型的评估值；对其执行了横向翻转处理的右眼图像和对应于右眼图像的五种类型的评估值；左眼图像和对应于左眼图像的五种类型的评估值；以及对其执行了横向翻转处理的左眼图像和对应于左眼图像的五种类型的评估值。
(4)第四预测模型
第四预测模型的目的和运行
第四预测模型是用于预测眼睑是否发红的模型。
第四预测模型可以接收眼睛图像作为输入数据，并且可以输出在输入眼睛图像中捕获的眼睑发红的存在的概率值。
当第四预测模型包括第四左眼预测模型和第四右眼预测模型时，第四左眼预测模型可以接收左眼图像并输出左眼图像中捕获的眼睑发红存在的概率值，并且第四右眼预测模型可以接收右眼图像并输出在右眼图像中捕获的眼睑发红的存在的概率值。
当第四预测模型未被二元化并且以一个模型进行时，第四预测模型可以接收右眼图像或左眼图像以输出在输入图像中捕获的眼睑发红的存在的概率值，并且可以接收另一图像以输出在输入图像中捕获的眼睑发红的存在的概率值。
眼睛图像可以是通过上述预处理算法预处理的图像。
例如，眼睛图像可以是对其执行了根据第二裁剪的预处理的图像。
作为另一示例，眼睛图像可以是对其执行了包括第二裁剪和调整大小的预处理的图像。
作为又一示例，眼睛图像可以是对其执行了包括第二裁剪、横向翻转和调整大小的预处理的图像。
在本说明书中，第四预测模型可以被称为眼睑发红预测模型。然而，除眼睑发红预测的结果值之外，本申请中描述的第四预测模型还可以输出结膜充血预测的结果值、结膜水肿预测的结果值、泪腺水肿预测的结果值和眼睑水肿预测的结果值。
人工智能模型的结构
为了训练第四预测模型，可以准备人工智能模型。
人工智能模型的示例可以是支持向量机(support-vector machine，SVM)、随机森林、梯度提升算法、残差网络(Residual Networks，ResNet)、Visual Geometry Group(VGG)，GoogLeNet、MobileNet以及Vision Transformer。
在本申请中，人工智能模型可具有五个输出节点。
对用于训练第四预测模型的人工智能模型的描述与上述训练第一预测模型的描述相同或非常相似，因此在此将省略详细描述。
训练数据集的准备
为了训练第四预测模型，可以准备多个训练数据集。
训练数据集包括眼睛图像和与其相对应的多个评估值。该眼睛图像是上述第二裁剪图像，并且该多个评估值包括与眼睛图像相对应的以下五个评估值：结膜充血的评估值、结膜水肿的评估值、泪腺水肿的评估值、眼睑发红的评估值和眼睑水肿的评估值。
也就是说，为了训练用于分析眼睑发红的第四预测模型，可以使用包括第二裁剪图像和仅对应于其的眼睑发红的评估值的训练数据集，但是在本申请中，第二裁剪图像和全部上述五种评估值被用于训练第四预测模型。
因此，本申请中描述的第四预测模型被训练以在分析眼睑发红时考虑结膜充血、结膜水肿、泪腺水肿和眼睑水肿的症状，从而更准确地预测眼睑发红。
训练第四预测模型
使用如上所述的所准备的多个训练数据集，将所准备的多个训练数据集中包含的眼睛图像输入到人工智能模型，并使用与每个输入的眼睛图像相对应的评估值和从人工智能模型输出的输出值执行训练。
当第四预测模型包括第四左眼预测模型和第四右眼预测模型时，用于训练第四左眼预测模型的多个训练数据集可以包括：左眼图像和对应于左眼图像的结膜充血的评估值、结膜水肿的评估值、泪腺水肿的评估值、眼睑发红的评估值和眼睑水肿的评估值，用于训练第四右眼预测模型的多个训练数据集可以包括：右眼图像和对应于右眼图像的结膜充血的评估值、结膜水肿的评估值、泪腺水肿的评估值、眼睑发红的评估值和眼睑水肿的评估值。同时，为了增加训练数据集的数量，用于训练第四左眼预测模型的多个训练数据集可以包括对其执行了横向翻转的右眼图像和对应于右眼图像的五种类型的评估值，用于训练第四右眼预测模型的多个训练数据集可以包括对其执行了横向翻转的左眼图像和对应于左眼图像的五种类型的评估值。
当不打算将第四预测模型二元化，而是将第四预测模型以一个模型进行时，多个训练数据集可以包括右眼图像和对应于右眼图像的结膜充血的评估值、结膜水肿的评估值、泪腺水肿的评估值、眼睑发红的评估值和眼睑水肿的评估值，或者可以包括对其执行了横向翻转的左眼图像和对应于左眼图像的结膜充血的评估值、结膜水肿的评估值、泪腺水肿的评估值、眼睑发红的评估值和眼睑水肿的评估值。或者，多个训练数据集可以包括左眼图像和对应于左眼图像的五种评估值，或者可以包括对其执行了横向翻转的右眼图像和对应于右眼图像的五种评估值。
同时，在训练第四预测模型时，为了在不区分右眼图像和左眼图像的情况下预测眼睑是否发红，所有右眼图像、对其执行了横向翻转的右眼图像、左眼图像和对其执行了横向翻转的左眼图像被用作训练数据以训练一个模型。
例如，当第四预测模型包括第四左眼预测模型和第四右眼预测模型时，用于训练第四左眼预测模型的多个训练数据集可以包括：左眼图像和对应于左眼图像的五种类型的评估值以及对其执行了横向翻转的右眼图像和对应于右眼图像的五种类型的评估值，并且用于训练第四右眼预测模型的多个训练数据集可以包括：右眼图像和对应于右眼图像的五种类型的评估值以及对其执行了横向翻转的左眼图像和对应于左眼图像的五种类型的评估值。
当不打算将第四预测模型二元化，而是将第四预测模型以一个模型进行时，多个训练数据集可以包括：右眼图像和对应于右眼图像的五种类型的评估值；对其执行了横向翻转的右眼图像和对应于右眼图像的五种类型的评估值；左眼图像和对应于左眼图像的五种类型的评估值；以及对其执行了横向翻转的左眼图像和对应于左眼图像的五种类型的评估值。
(5)第五预测模型
第五预测模型的目的和运行
第五预测模型是用于预测眼睑是否水肿的模型。
第五预测模型可以接收眼睛图像作为输入数据，并且可以输出在输入眼睛图像中捕获的眼睑水肿存在的概率值。
当第五预测模型包括第五左眼预测模型和第五右眼预测模型时，第五左眼预测模型可以接收左眼图像并输出左眼图像中捕获的眼睑水肿存在的概率值，并且第五右眼预测模型可以接收右眼图像并输出在右眼图像中捕获的眼睑水肿存在的概率值。
当第五预测模型未被二元化并且被以一个模型进行时，第五预测模型可以接收右眼图像或左眼图像以输出在输入图像中捕获的眼睑水肿存在的概率值，并且可以接收另一图像以输出在输入图像中捕获的眼睑水肿存在的概率值。
眼睛图像可以是通过上述预处理算法预处理的图像。
例如，眼睛图像可以是对其执行了根据第二裁剪的预处理的图像。
作为另一示例，眼睛图像可以是对其执行了包括第二裁剪和调整大小的预处理的图像。
作为又一示例，眼睛图像可以是对其执行了包括第二裁剪、横向翻转和调整大小的预处理的图像。
在本说明书中，第五预测模型可以被称为眼睑水肿预测模型。然而，除眼睑水肿预测的结果值之外，本申请中描述的第五预测模型还可以输出结膜充血预测的结果值、结膜水肿预测的结果值、泪腺水肿预测的结果值和眼睑发红预测的结果值。
人工智能模型的结构
为了训练第五预测模型，可以准备人工智能模型。
人工智能模型的示例可以是支持向量机(support-vector machine，SVM)、随机森林、梯度提升算法、残差网络(Residual Networks，ResNet)、Visual Geometry Group(VGG)，GoogLeNet、MobileNet以及Vision Transformer。
在本申请中，人工智能模型可具有五个输出节点。
对用于训练第五预测模型的人工智能模型的描述与上述训练第一预测模型的描述相同或非常相似，因此在此将省略详细描述。
训练数据集的准备
为了训练第五预测模型，可以准备多个训练数据集。
训练数据集包括眼睛图像和与其相对应的多个评估值。该眼睛图像是上述第二裁剪图像，并且该多个评估值包括与眼睛图像相对应的以下五个评估值：结膜充血的评估值、结膜水肿的评估值、泪腺水肿的评估值、眼睑发红的评估值和眼睑水肿的评估值。
也就是说，为了训练用于分析眼睑水肿的第五预测模型，可以使用包括第二裁剪图像和仅对应于其的眼睑水肿的评估值的训练数据集，但是在本申请中，第二裁剪图像和全部上述五种评估值被用于训练第五预测模型。
因此，本申请中描述的第五预测模型被训练以在分析眼睑水肿时考虑结膜充血、结膜水肿、泪腺水肿和眼睑发红的症状，从而更准确地预测眼睑水肿。
训练第五预测模型
使用如上所述的所准备的多个训练数据集，将所准备的多个训练数据集中包含的眼睛图像输入到人工智能模型，并使用与每个输入的眼睛图像相对应的评估值和从人工智能模型输出的输出值执行训练。
当第五预测模型包括第五左眼预测模型和第五右眼预测模型时，用于训练第五左眼预测模型的多个训练数据集可以包括：左眼图像和对应于左眼图像的结膜充血的评估值、结膜水肿的评估值、泪腺水肿的评估值、眼睑发红的评估值和眼睑水肿的评估值，用于训练第五右眼预测模型的多个训练数据集可以包括：右眼图像和对应于右眼图像的结膜充血的评估值、结膜水肿的评估值、泪腺水肿的评估值、眼睑发红的评估值和眼睑水肿的评估值。同时，为了增加训练数据集的数量，用于训练第五左眼预测模型的多个训练数据集可以包括对其执行了横向翻转的右眼图像和对应于右眼图像的五种类型的评估值，用于训练第五右眼预测模型的多个训练数据集可以包括对其执行了横向翻转的左眼图像和对应于左眼图像的五种类型的评估值。
当不打算将第五预测模型二元化，而是将第五预测模型以一个模型进行时，多个训练数据集可以包括右眼图像和对应于右眼图像的结膜充血的评估值、结膜水肿的评估值、泪腺水肿的评估值、眼睑发红的评估值和眼睑水肿的评估值，或者可以包括对其执行了横向翻转的左眼图像和对应于左眼图像的结膜充血的评估值、结膜水肿的评估值、泪腺水肿的评估值、眼睑发红的评估值和眼睑水肿的评估值。或者，多个训练数据集可以包括左眼图像和对应于左眼图像的五种评估值，或者可以包括对其执行了横向翻转的右眼图像和对应于右眼图像的五种评估值。
同时，在训练第五预测模型时，为了在不区分右眼图像和左眼图像的情况下预测眼睑是否水肿，所有右眼图像、对其执行了横向翻转的右眼图像、左眼图像和对其执行了横向翻转的左眼图像被用作训练数据以训练一个模型。
例如，当第五预测模型包括第五左眼预测模型和第五右眼预测模型时，用于训练第五左眼预测模型的多个训练数据集可以包括：左眼图像和对应于左眼图像的五种类型的评估值以及对其执行了横向翻转的右眼图像和对应于右眼图像的五种类型的评估值，并且用于训练第五右眼预测模型的多个训练数据集可以包括：右眼图像和对应于右眼图像的五种类型的评估值以及对其执行了横向翻转的左眼图像和对应于左眼图像的五种类型的评估值。
当不打算将第五预测模型二元化，而是将第五预测模型以一个模型进行时，多个训练数据集可以包括：右眼图像和对应于右眼图像的五种类型的评估值；对其执行了横向翻转的右眼图像和对应于右眼图像的五种类型的评估值；左眼图像和对应于左眼图像的五种类型的评估值；以及对其执行了横向翻转的左眼图像和对应于左眼图像的五种类型的评估值。
预测模型的训练可由电子设备执行，特别地，可由上述服务器20执行。此外，电子设备或服务器20对预测模型的训练是指使得预测模型针对输入数据的输出值成为与标记在输入数据中的输出值相类似的值的一系列过程。为此，电子设备或服务器20可使用预测模型的输出值和标记值之间的差异来改变预测模型中包括的每个节点的权重值。本文中，电子设备或服务器20可通过使用各种反馈函数来确定每个节点的权重值的改变的量。
在下文中，将对通过上述系统1的以下方法进行描述：一种通过预处理眼睛图像并将经预处理的眼睛图像输入到上述预测模型预测与甲状腺眼病的临床活动评分相关的各症状的方法；一种基于各症状的预测结果预测临床活动评分的方法；以及一种监测临床活动评分的预测结果并根据监测结果提供指导或推荐，以便用户去医院就诊并进行医学检查的方法。
5.结膜充血预测方法
本申请中描述的结膜充血预测方法可以由服务器20执行。
图19为结膜充血预测方法的流程示意图。
参考图19，服务器20在步骤S100中获取面部图像，在步骤S110中对所获取的面部图像执行预处理，在步骤S120中将经预处理的图像输入到上述第一预测模型(结膜充血预测模型)中，并在步骤S130中获取第一预测模型的输出值。
获取面部图像
服务器20在步骤S100中获取面部图像。服务器20可以从用户终端10获取该面部图像。
面部图像预处理
服务器20可在步骤S110中对所获取的面部图像执行预处理。服务器20可在所获取的面部图像上执行如上所述的第一裁剪、横向翻转和大小调整。
裁剪处理
服务器20可以裁剪面部图像或包含双眼的部分面部图像的。服务器20可以裁剪面部图像等以生成左眼裁剪图像和右眼裁剪图像。在执行结膜充血预测方法时，服务器20可以使用上述三种裁剪方法中的第一裁剪(暴露于外部的眼球的裁剪)方法。由于第一裁剪方法已被详细描述，此处将其详细描述省略。
调整大小处理和横向翻转处理
服务器20可以将左眼裁剪图像的尺寸和右眼裁剪图像的尺寸调整为预定尺寸。
同时，如上所述，服务器20可以横向翻转左眼裁剪图像和右眼裁剪图像中的一者。服务器20不会横向翻转左眼裁剪图像和右眼裁剪图像中的另一者。本文中确定的是，用于确定左眼图像和左眼图像中的哪一者被执行横向翻转的标准与训练第一预测模型时应用的标准相同。也就是说，在训练第一预测模型时，当左眼图像被翻转而右眼图像未被翻转时，服务器20将类似地翻转左眼图像而不翻转右眼图像。
如上所述，在实现第一预测模型时，当第一预测模型被二元化为第一左眼预测模型和第一右眼预测模型时，服务器20可以不执行横向翻转处理。
同时，已经描述了当执行预处理时，执行裁剪处理、调整大小处理和横向翻转处理，但是这些预处理类型的顺序可以在能够实现本申请中公开的结膜充血预测方法的目的的范围内进行改变。
预处理图像的输入
在步骤S120中，服务器20可以将经预处理的图像输入到第一预测模型。
当第一预测模型未被二元化并且被以一个模型进行时，服务器20将右眼预处理图像和经横向翻转的左眼预处理图像按顺序输入到第一预测模型。
在实现第一预测模型时，当第一预测模型被二元化为第一左眼预测模型和第一右眼预测模型时，服务器20将左眼预处理图像输入到第一左眼预测模型，并将右眼预处理图像输入到第一右眼预测模型。或者，服务器20可以将左眼预处理图像和经横向翻转的右眼预处理图像输入到第一左眼预测模型，并且可以将右眼预处理图像和经横向翻转的左眼预处理图像输入到第一右眼预测模型。
在实现第一预测模型时，当第一预测模型未被二元化且以一个模型进行时，并且同时被训练为能够在不区分右眼图像和左眼图像的情况下确定结膜是否充血时，服务器20可以在不执行横向翻转的情况下将左眼预处理图像和右眼预处理图像输入到第一预测模型。或者，服务器20可以将左眼预处理图像、经横向翻转的左眼预处理图像、右眼预处理图像和经横向翻转的右眼预处理图像输入到第一预测模型。
结膜充血预测结果
在步骤S130中，服务器20可输出从第一预测模型输出的结果值。该结果值可为针对图像中捕获的结膜充血预测的概率值。然而，如上所述，由于除结膜充血预测值外，第一预测模型经训练还输出结膜水肿预测值、泪腺水肿预测值、眼睑发红预测值和眼睑水肿预测值，服务器20可以从第一预测模型获得与五种评估值相关的全部结果值。本文中，服务器20在结膜充血预测值、结膜水肿预测值、泪腺水肿预测值、眼睑发红预测值和眼睑水肿预测值中，仅选择了结膜充血预测值。此外，基于左眼及右眼的所选择的结膜充血预测值、阈值和预测结果之间的关系，最终输出结膜是否充血的结果。
当服务器20将左眼预处理图像输入到第一左眼预测模型，将经横向翻转的左眼预处理图像输入到第一右眼预测模型，将右眼预处理图像输入到第一右眼预测模型，并将经横向翻转的右眼预处理图像输入到第一左眼预测模型时，服务器20可同时考虑通过将左眼预处理图像输入到第一左眼预测模型获得的结果和通过将经横向翻转的左眼预处理图像输入到第一右眼预测模型获得的结果，获得左眼的预测结果。本文中，服务器20可同时考虑通过将右眼预处理图像输入到第一右眼预测模型获得的结果和通过将经横向翻转的右眼预处理图像输入到第一左眼预测模型获得的结果，获得右眼的预测结果。
例如，服务器20可以基于通过将左眼预处理图像输入到第一左眼预测模型获得的结果和通过将经横向翻转的左眼预处理图像输入到第一右眼预测模型获得的结果的平均值是否等于或大于阈值来获得左眼的预测结果。
作为另一个示例，当通过将左眼预处理图像输入到第一左眼预测模型而获得的结果或通过将经横向翻转的左眼预处理图像输入到第一右眼预测模型而获得的结果的值等于或大于上述阈值时，服务器20可以预测左眼结膜充血。
作为另一个示例，当通过将左眼预处理图像输入到第一左眼预测模型获得的结果和通过将经横向翻转的左眼预处理图像输入到第一右眼预测模型获得的结果两者都等于或大于上述阈值时，服务器20可以预测左眼结膜充血。
当服务器20将左眼预处理图像、经横向翻转的左眼预处理图像、右眼预处理图像和经横向翻转的右眼预处理图像输入到未被二元化的第一预测模型时，服务器20可以同时考虑通过将左眼预处理图像输入到第一预测模型而获得的结果和通过将经横向翻转的左眼预处理的图像输入到第一预测模型而得到的结果，来获得左眼的预测结果。本文中，服务器20可以同时考虑通过将右眼预处理图像输入到第一预测模型而获得的结果和通过将经横向翻转的右眼预处理的图像输入到该第一预测模型所获得的结果，来获得右眼的预测结果。
例如，服务器20可以基于通过将左眼预处理图像输入到第一预测模型获得的结果和通过将经横向翻转的左眼预处理图像输入到第一预测模型获得的结果的平均值是否等于或大于阈值来获得左眼的预测结果。
作为另一个示例，当通过将左眼预处理图像输入到第一预测模型获得的结果或通过将经横向翻转的左眼预处理图像输入到第一预测模型获得的结果的值等于或大于上述阈值时，服务器20可以预测左眼结膜充血。
作为另一个示例，当通过将左眼预处理图像输入到第一预测模型而获得的结果和通过将经横向翻转的左眼预处理图像输入到第一预测模型而获得的结果两者都等于或大于上述阈值时，服务器20可以预测左眼结膜充血。
上述方法可以类似地应用于确定右眼结膜是否充血。
6.结膜水肿预测方法
本申请中描述的结膜水肿预测方法可以由服务器20执行。
图20为结膜水肿预测方法的流程示意图。
参考图20，服务器20在步骤S200中获取面部图像，在步骤S210中对所获取的面部图像执行预处理，在步骤S220中将经预处理的图像输入到上述第二预测模型(结膜水肿预测模型)，并在步骤S230中获取第二预测模型的输出值。
除了使用第二预测模型代替第一预测模型和最终获得的结果值是是否存在结膜水肿的预测值(在五种类型的结果值中，仅选择结膜水肿的结果值)之外，结膜水肿预测方法与结膜充血预测方法相同或非常相似，因此将省略结膜水肿预测方法的详细描述。
7、泪腺水肿预测方法
本申请中描述的泪腺水肿预测方法可以由服务器20执行。
图21为泪腺水肿预测方法的流程示意图。
参考图21，服务器20在步骤S300中获取面部图像，在步骤S310中对所获取的面部图像执行预处理，在步骤S320中将经预处理的图像输入到上述第三预测模型(泪腺水肿预测模型)，并在步骤S330中获取第三预测模型的输出值。
除了使用第三预测模型代替第一预测模型、使用第三裁剪图像代替第一裁剪图像和最终获取的结果值是是否存在泪腺水肿的预测值(在五种类型的结果值中，仅选择泪腺水肿的结果值)，结膜水肿预测方法与结膜充血预测方法相同或非常相似，因此将省略结膜水肿预测方法的详细描述。
8.眼睑发红预测方法
本申请中描述的眼睑发红预测方法可以由服务器20执行。
图22为眼睑发红预测方法的流程示意图。
参考图22，服务器20在步骤S400中获取面部图像，在步骤S410中对所获取的面部图像执行预处理，在步骤S420中将经预处理的图像输入到上述第四预测模型(眼睑发红预测模型)，并在步骤S430中获取第四预测模型的输出值。
除了使用第四预测模型代替第一预测模型、使用第二裁剪图像代替第一裁剪图像和最终获取的结果值是是否存在眼睑发红的预测值(在五种类型的结果值中，仅选择眼睑发红的结果值)，眼睑发红预测方法与结膜充血预测方法相同或非常相似，因此将省略眼睑发红预测方法的详细描述。
9.眼睑水肿预测方法
本申请中描述的眼睑水肿预测方法可以由服务器20执行。
图23为眼睑水肿预测方法的流程示意图。
参考图23，服务器20在步骤S500中获取面部图像，在步骤S510中对所获取的面部图像执行预处理，在步骤S520中将经预处理的图像输入到上述第五预测模型(眼睑水肿预测模型)，并在步骤S530中获取第五预测模型的输出值。
除了使用第五预测模型代替第一预测模型、使用第二裁剪图像代替第一裁剪图像和最终获得的结果值是是否存在眼睑水肿的预测值(在五种类型的结果值中，仅选择眼睑水肿的结果值)，眼睑发红预测方法与结膜充血预测方法相同或非常相似，因此将省略眼睑发红预测方法的详细描述。
10.用于预测甲状腺眼病的临床活动评分的方法
下文将对本申请中描述的用于预测甲状腺眼病的临床活动评分的方法进行描述。
图24为用于预测甲状腺眼病的临床活动评分的方法示意图。
服务器20可以获取面部图像。
服务器20对一张面部图像执行三种不同类型的预处理。第一种预处理(以下称为第一预处理)包括第一裁剪(暴露于外部的眼球的裁剪)，调整大小和横向翻转。第二种预处理(以下称为第二预处理)包括第二裁剪(包含眼睑的裁剪)，调整大小和横向翻转。第三种预处理(以下称为第三预处理)包括第三裁剪(包含泪阜的裁剪)，调整大小和横向翻转。然而，如上所述，是否执行横向翻转在所有预处理方法中都可以被省略，并且是否执行横向翻转可以根据哪种方法被于各个预测模型的训练方法来确定。
服务器20通过对获取的面部图像执行第一预处理来获取第一预处理图像，并且第一预处理图像包括第一左眼预处理图像和第一右眼预处理图像。本文中，第一左眼预处理图像或第一右眼预处理图像可以是对其执行了横向翻转处理的图像。或者，可以生成第一左眼预处理图像、经横向翻转的第一左眼预处理图像、第一右眼预处理图像和经横向翻转的第一右眼预处理图像。此外，如已详细描述的，由于第一预处理图像是使用第一裁剪所获得的图像，因此第一预处理图像内与眼睑相对应的像素数量被最小化，并且包含了与暴露于外部的眼球相对应的像素。
另外，服务器20通过对获取的面部图像执行第二预处理来获得第二预处理图像，并且第二预处理图像包括第二左眼预处理图像和第二右眼预处理图像。本文中，第二左眼预处理图像或第二右眼预处理图像可以是对其了执行横向翻转处理的图像。或者，可以生成第二左眼预处理图像、经横向翻转的第二左眼预处理图像、第二右眼预处理图像和经横向翻转的第二右眼预处理图像。此外，如已详细描述的，由于第二预处理图像是通过使用第二裁剪所获得的图像，因此第二预处理图像包含充足的对应于眼睑的像素。
此外，服务器20通过对获取的面部图像执行第三预处理来获得第三预处理图像，并且第三预处理图像包括第三左眼预处理图像和第三右眼预处理图像。本文中，第三左眼预处理图像或第三右眼预处理图像可以是对其执行了横向翻转处理的图像。或者，可以生成第三左眼预处理图像、经横向翻转的第三左眼预处理图像、第三右眼预处理图像和经横向翻转的第三右眼预处理图像。此外，如已详细描述的，由于第三预处理图像是通过使用第三裁剪所获得的图像，因此第三预处理图像包含充足的对应于泪阜的像素。
服务器20将第一预处理图像(第一左眼预处理图像和第一右眼预处理图像)按顺序输入到第一预测模型。服务器20获得第一预测模型对第一左眼预处理图像的结果值(概率值)，并根据结果值确定是否存在左眼结膜充血。此外，服务器20获得第一预测模型对第一右眼预处理图像的结果值(概率值)，并根据结果值确定是否存在右眼结膜充血。
服务器20综合左眼的确定结果和右眼的确定结果，并最终确定双眼结膜是否存在充血。例如，当确定左眼或右眼或双眼存在结膜充血时，服务器20最终确定存在结膜充血。
随后，服务器20将第一预处理图像(第一左眼预处理图像和第一右眼预处理图像)按顺序输入到第二预测模型。服务器20获得第二预测模型对第一左眼预处理图像的结果值(概率值)，并根据结果值确定是否存在左眼结膜水肿。此外，服务器20获得第二预测模型对第一右眼预处理图像的结果值(概率值)，并根据结果值确定是否存在右眼结膜水肿。
服务器20综合左眼的确定结果和右眼的确定结果，最终确定双眼结膜是否存在水肿。例如，当确定左眼或右眼或双眼存在结膜水肿时，服务器20最终确定存在结膜水肿。
随后，服务器20将第三预处理图像(第三左眼预处理图像和第三右眼预处理图像)按顺序输入到第三预测模型。服务器20获得第三预测模型对第三左眼预处理图像的结果值(概率值)，并根据结果值确定是否存在左眼泪腺水肿。此外，服务器20获得第三预测模型对第三右眼预处理图像的结果值(概率值)，并根据结果值确定是否存在右眼泪腺水肿。
服务器20综合左眼的确定结果和右眼的确定结果，并最终确定双眼泪腺是否存在水肿。例如，当确定左眼或右眼或双眼存在泪腺水肿时，服务器20最终确定存在泪腺水肿。
服务器20将第二预处理图像(第二左眼预处理图像和第二右眼预处理图像)按顺序输入到第四预测模型。服务器20获得第四预测模型对第二左眼预处理图像的结果值(概率值)，并根据结果值确定是否存在左眼眼睑发红。此外，服务器20获得第四预测模型对第二右眼预处理图像的结果值(概率值)，并根据结果值确定是否存在右眼眼睑发红。
服务器20综合左眼的确定结果和右眼的确定结果，最终确定双眼的眼睑是否存在发红。例如，当确定存在左眼或右眼或双眼的眼睑发红时，服务器20最终确定存在眼睑发红。
服务器20将第二预处理图像(第二左眼预处理图像和第二右眼预处理图像)按顺序输入到第五预测模型。服务器20获得第五预测模型对第二左眼预处理图像的结果值(概率值)，并根据结果值确定左眼眼睑是否存在水肿。此外，服务器20获得第五预测模型对第二右眼预处理图像的结果值(概率值)，并根据结果值确定右眼眼睑是否存在水肿。
服务器20综合左眼的确定结果和右眼的确定结果，并最终确定双眼眼睑是否存在水肿。例如，当确定左眼或右眼或双眼存在眼睑水肿时，服务器20最终确定存在眼睑水肿。
当通过预测模型确定存在症状时，服务器20可以给出症状的预定评分(例如，1分)。服务器可以根据五个预测模型的确定结果给出五个相应症状的评分，并且还可以通过将全部评分相加获得值。
同时，服务器20可以将由预测模型确定的结果和/或根据结果给出的评分的信息发送到用户终端10。
另外，用户终端10或服务器20可以获得用户对两个项目的响应，这两个项目包括自发性眼球后疼痛和尝试向上或向下注视时的疼痛，并且基于获得的用户响应，用户终端10或服务器20可以为每个项目给出预定评分(例如，1分)。例如，当用户提供用户患有自发性眼球后疼痛的输入时，可以给出1分。此外，当用户提供用户在试图尝试向上或向下注视时感到疼痛的输入时，可以给出1分。
考虑到基于预测模型确定的结果的评分以及关于自发性眼球后疼痛和尝试向上或向注视时的疼痛确定的评分，服务器20或用户终端10可以推荐用户去医院就诊并进行详细的医学检查。
本申请中描述的用于预测甲状腺眼病临床活动评分的上述方法已被描述为由服务器20执行。但是，上述方法可由用户终端10执行。或者，上述方法的预处理可由用户终端10执行，每种症状的确定可由服务器执行。也就是说，上述步骤可适当地分配给用户终端10和服务器20并由用户终端10和服务器20执行。
11.实验示例#1
(1)面部图像的准备
准备了1020张面部图像。每张面部图像都是包括左眼和右眼的图像，并且是根据预定摄影结构获得的图像。
(2)获得面部图像的标签信息
对于1020张面部图像中的每一张图像，获得左眼的结膜充血、结膜水肿、泪腺水肿、眼睑发红和眼睑水肿的信息以及右眼的结膜充血、结膜水肿、泪腺水肿、眼睑发红和眼睑水肿的信息，并且将这些数据用作标签数据。
在1020个数据集中，714个数据集被用作训练数据集(训练集)，102个数据集被用作验证集，204个数据集被用作测试集。
此外，将1020个数据集随机分为训练数据集、验证集和测试集30次，并相应地创建了第一训练数据集组至第30训练数据集组。
(3)获得面部图像的预处理图像
对于1020张面部图像中的每一张图像，以上述方式对左眼和右眼中的每一只执行第一裁剪(眼球暴露于外部裁剪)处理，以获得第一左眼预处理图像和第一右眼预处理图像。在此，经横向翻转图像用作第一右眼预处理图像，非横向翻转图像用作第一左眼预处理图像。
对于1020张面部图像中的每一张图像，以上述方式对左眼和右眼的每一只进行第二裁剪(包含眼睑的裁剪)处理，以获得第二左眼预处理图像和第二右眼预处理图像。在此，经横向翻转图像用作第二右眼预处理图像，非横向翻转图像用作第二左眼预处理图像。
对于1020张面部图像中的每一张图像，以上述方式对左眼和右眼的每一个进行第三裁剪(包含泪阜的裁剪)处理，以获得第三左眼预处理图像和第三右眼预处理图像。在此，横向翻转图像用作第三右眼预处理图像，非横向翻转图像用作第三左眼预处理图像。
对全部30个数据集组执行上述图像处理。
(4)根据实验示例#1训练第一至第五预测模型
使用获得的预处理图像和获得的标签信息训练预测模型。使用上述ViT作为主要架构的模型被用作预测模型，并且最终设计有五个输出节点。如上所述的使用全部五种评估值的用于训练每个模型的方法被作为训练方法。
同时，使用上述ViT作为主要架构的模型被用作预测模型，且每个预测模型都在没有区分左眼预测模型和右眼预测模型的情况下，通过合为一个模型被训练。
(5)通过使用预测模型获得每种症状的预测结果
使用用于经训练的第一至第五预测模型的测试数据集获得预测结果。在此，将横向翻转的预处理图像用作右眼图像，将非横向翻转的预处理图像用作左眼图像。
(6)根据实验示例#1的预测模型的准确性、灵敏度、特异性、阳性预测值(PPV)和阴性预测值(NPV)
[表1]中所示的值是根据上述实验示例#1的针对30个数据集组中的每个数据集组所训练的第一至第五预测模型所测量的准确性、灵敏度、特异性、PPV和NPV的平均值。
[表1]
12.对比示例#1
(1)面部图像的准备
原样使用实验示例#1中使用的面部图像。
(2)获得面部图像的标签信息
原样使用实验示例#1中使用的面部图像的标签信息。然而，在生成数据集时，使用了通过将不同评估值匹配每个模型来生成数据集的方法，而不是使用通过将全部五种类型的评估值匹配每个图像来生成数据集的方法。
(3)针对面部图像获得包含眉毛的预处理图像
原样使用实验示例#1中使用的预处理图像。
对全部30个数据集组进行了上述图像处理。
(4)根据对比示例#2训练第一至第五预测模型
使用获得的预处理图像和获得的标签信息训练预测模型。使用上述ViT作为主要架构的模型被用作预测模型，并且最终设计有一个输出节点(与实验示例#1不同)。
在此，使用结膜充血的评估值训练第一预测模型，使用结膜水肿的评估值训练第二预测模型，使用泪腺水肿的评估值训练第三预测模型，使用眼睑发红的评估值训练第四预测模型，使用眼睑水肿的评估值训练第五预测模型。
(5)通过使用预测模型获取每种症状的预测结果
使用经训练的第一至第五预测模型的测试数据集获取预测结果。在此，将横向翻转的预处理图像用作右眼图像，将非横向翻转的预处理图像用作左眼图像。
(6)根据对比示例#2的预测模型的准确性、灵敏度、特异性、阳性预测值(PPV)和阴性预测值(NPV)
[表2]中所示的值是根据上述实验示例#2的针对30个数据集组中的每个数据集组所训练的第一至第五预测模型所测量的准确性、灵敏度、特异性、PPV和NPV的平均值。
[表2]
13.实验示例#2
(1)面部图像的准备
原样使用实验示例#1中使用的面部图像。
(2)获得面部图像的标签信息
原样使用实验示例#1中使用的面部图像的标签信息。
(3)针对面部图像获得包含眉毛的预处理图像
对于1020张面部图像中的每一张图像，以上述方式对左眼和右眼的每一个执行第二裁剪(包含眼睑的裁剪)处理，以获得第二左眼预处理图像和第二右眼预处理图像。在此，横向翻转图像用作第一右眼预处理图像，非横向翻转图像用作第一左眼预处理图像。
(4)根据实验示例#2训练第四和第五预测模型
使用获得的预处理图像和获得的标签信息训练预测模型。使用上述ViT作为主要架构的模型被用作预测模型，并且最终设计有五个输出节点。如上所述的使用全部五种评估值的用于训练每个模型的方法被用作训练方法。
(5)根据实验示例#2的眼睑发红预测模型和眼睑水肿预测模型的准确性、灵敏度、特异性、阳性预测值(PPV)和阴性预测值(NPV)
[表3]中所示的值是根据上述实验示例#2的针对30个数据集组中的每个数据集组所训练的第四和第五预测模型所测量的准确性、灵敏度、特异性、PPV和NPV的平均值。
[表3]
14.实验示例#3
(1)面部图像的准备
原样使用实验示例#1中使用的面部图像。
(2)获得面部图像的标签信息
原样使用实验示例#1中使用的面部图像的标签信息。
(3)针对面部图像获得包含眉毛的预处理图像
对于1020张面部图像中的每一张图像，以上述方式对左眼和右眼的每一个执行第二裁剪(包含眼睑的裁剪)处理。但是，与实验示例#2不同的是，第二裁剪区域的确定使得第二裁剪区域的中心位置高于参考四边形的中心位置。因此，第二裁剪图像包含眉毛(睫毛)。在此，在获得第二左眼预处理图像和第二右眼预处理图像时未执行横向翻转处理。
(4)根据实验示例#3训练第四和第五预测模型
使用获得的预处理图像和获得的标签信息训练预测模型。使用上述ViT作为主要架构的模型被用作预测模型，并且最终设计有五个输出节点。如上所述的使用全部五种评估值用于训练每个模型的方法被用作训练方法。
(5)根据实验示例#3的眼睑发红预测模型和眼睑水肿预测模型的准确性、灵敏度、特异性、阳性预测值(PPV)和阴性预测值(NPV)
[表4]中所示的值是根据上述实验示例#3的针对30个数据集组中的每个数据集组所训练的第四和第五预测模型所测量的准确性、灵敏度、特异性、PPV和NPV的平均值。
[表4]
1：系统
10：用户终端
20：服务器

Claims (20)

1.一种计算机实现的方法，包括：
使用训练集训练结膜充血预测模型，其中所述训练集包括训练图像、结膜充血的评估值、结膜水肿的评估值、眼睑发红的评估值、眼睑水肿的评估值和泪腺水肿的评估值，其中根据对所述训练图像的诊断，所述训练图像注释有所述评估值，
获取第一图像，所述第一图像包含受试者的至少一只眼睛和所述至少一只眼睛的轮廓的外部区域，
通过在处理器上执行的所述结膜充血预测模型，输出结膜充血的第一预测值、结膜水肿的第一预测值、眼睑发红的第一预测值、眼睑水肿的第一预测值和泪腺水肿的第一预测值，
基于预定设置，在五个所述第一预测值中选择所述结膜充血的第一预测值，和
基于所选择的所述结膜充血的第一预测值，生成所述结膜充血的评分。
2.根据权利要求1所述的计算机实现的方法，
其中所述第一图像是关于两只眼睛中的任意一只眼睛生成的，并且
其中所生成的预测值是针对该只眼睛的预测值。
3.根据权利要求2所述的计算机实现的方法，还包括：
获取第二图像，所述第二图像包含所述受试者的另一只眼睛和所述另一只眼睛的轮廓的外部区域；
通过在所述处理器上执行的所述结膜充血预测模型，输出所述结膜充血的第二预测值、所述结膜水肿的第二预测值、所述眼睑发红的第二预测值、所述眼睑水肿的第二预测值和所述泪腺水肿的第二预测值；和
基于预定设置，在五个所述第二预测值中选择所述结膜充血的第二预测值，并且
其中所述生成所述结膜充血的评分是考虑所选择的所述结膜充血的第一预测值和所选择的所述结膜充血的第二预测值而生成所述结膜充血的所述评分。
4.根据权利要求3所述的计算机实现的方法，
其中所述生成所述结膜充血的评分包括：
响应于以下，将预定值分配至所述评分：
确定所述结膜充血的第一预测值大于阈值，
确定所述结膜充血的第二预测值大于所述阈值，或
确定所述结膜充血的第一预测值和第二预测值大于所述阈值。
5.一种计算机实现的方法，包括：
使用训练集训练结膜水肿预测模型，其中所述训练集包括训练图像、结膜充血的评估值、结膜水肿的评估值、眼睑发红的评估值、眼睑水肿的评估值和泪腺水肿的评估值，其中根据对所述训练图像的诊断，所述训练图像注释有所述评估值，
获取第一图像，所述第一图像包含受试者的至少一只眼睛和所述至少一只眼睛的轮廓的外部区域，
通过在处理器上执行的所述结膜水肿预测模型，输出结膜充血的第一预测值、结膜水肿的第一预测值、眼睑发红的第一预测值、眼睑水肿的第一预测值和泪腺水肿的第一预测值，
基于预定设置，在五个所述第一预测值中选择所述结膜水肿的第一预测值，和
基于所选择的所述结膜水肿的第一预测值，生成所述结膜水肿的评分。
6.根据权利要求5所述的计算机实现的方法，
其中所述第一图像是关于两只眼睛中的任意一只眼睛生成的，并且
其中所生成的预测值是针对该只眼睛的预测值。
7.根据权利要求6所述的计算机实现的方法，还包括：
获取第二图像，所述第二图像包含所述受试者的另一只眼睛和所述另一只眼睛的轮廓的外部区域；
通过在所述处理器上执行的所述结膜水肿预测模型，输出所述结膜充血的第二预测值、所述结膜水肿的第二预测值、所述眼睑发红的第二预测值、所述眼睑水肿的第二预测值和所述泪腺水肿的第二预测值；和
基于预定设置，在五个所述第二预测值中选择所述结膜水肿的第二预测值，并且
其中，所述生成所述结膜水肿的评分是考虑所选择的所述结膜水肿的第一预测值和所选择的所述结膜水肿的第二预测值而生成所述结膜水肿的所述评分。
8.根据权利要求7所述的计算机实现的方法，
其中所述生成所述结膜水肿的评分包括：
响应于以下，将预定值分配至所述评分：
确定所述结膜水肿的第一预测值大于阈值，
确定所述结膜水肿的第二预测值大于所述阈值，或
确定所述结膜水肿的第一预测值和第二预测值大于所述阈值。
9.一种计算机实现的方法，包括：
使用训练集训练泪腺水肿预测模型，其中所述训练集包括训练图像、结膜充血的评估值、结膜水肿的评估值、眼睑发红的评估值、眼睑水肿的评估值和泪腺水肿的评估值，其中根据对所述训练图像的诊断，所述训练图像注释有所述评估值，
获取第一图像，所述第一图像包含受试者的至少一只眼睛和所述至少一只眼睛的轮廓的外部区域，
通过在处理器上执行的所述泪腺水肿预测模型，输出结膜充血的第一预测值、结膜水肿的第一预测值、眼睑发红的第一预测值、眼睑水肿的第一预测值和泪腺水肿的第一预测值，
基于预定设置，在五个所述第一预测值中选择所述泪腺水肿的第一预测值，和
基于所选择的所述泪腺水肿的第一预测值，生成所述泪腺水肿的评分。
10.根据权利要求9所述的计算机实现的方法，
其中所述第一图像是关于两只眼睛中的任意一只眼睛生成的，并且
其中所生成的预测值是针对该只眼睛的预测值。
11.根据权利要求10所述的计算机实现的方法，还包括：
获取第二图像，所述第二图像包含所述受试者的另一只眼睛和所述另一只眼睛的轮廓的外部区域；
通过在所述处理器上执行的所述泪腺水肿预测模型，输出所述结膜充血的第二预测值、所述结膜水肿的第二预测值、所述眼睑发红的第二预测值、所述眼睑水肿的第二预测值和所述泪腺水肿的第二预测值；和
基于预定设置，在五个所述第二预测值中选择所述泪腺水肿的第二预测值，并且
其中所述生成所述泪腺水肿的评分是考虑所选择的所述泪腺水肿的第一预测值和所选择的所述泪腺水肿的第二预测值而生成所述泪腺水肿的所述评分。
12.根据权利要求11所述的计算机实现的方法，
其中所述生成所述泪腺水肿的评分包括：
响应于以下，将预定值分配至所述评分：
确定所述泪腺水肿的第一预测值大于阈值，
确定所述泪腺水肿的第二预测值大于所述阈值，或
确定所述泪腺水肿的第一预测值和第二预测值大于所述阈值。
13.一种计算机实现的方法，包括：
使用训练集训练眼睑发红预测模型，其中所述训练集包括训练图像、结膜充血的评估值、结膜水肿的评估值、眼睑发红的评估值、眼睑水肿的评估值和泪腺水肿的评估值，其中根据对所述训练图像的诊断，所述训练图像注释有所述评估值，
获取第一图像，所述第一图像包含受试者的至少一只眼睛和所述至少一只眼睛的轮廓的外部区域，
通过在处理器上执行的所述眼睑发红预测模型，输出结膜充血的第一预测值、结膜水肿的第一预测值、眼睑发红的第一预测值、眼睑水肿的第一预测值和泪腺水肿的第一预测值，
基于预定设置，在五个所述第一预测值中选择所述眼睑发红的第一预测值，和
基于所选择的所述眼睑发红的第一预测值，生成所述眼睑发红的评分。
14.根据权利要求13所述的计算机实现的方法，
其中所述第一图像是关于两只眼睛中的任意一只眼睛生成的，并且
其中所生成的预测值是针对该只眼睛的预测值。
15.根据权利要求14所述的计算机实现的方法，还包括：
获取第二图像，所述第二图像包含所述受试者的另一只眼睛和所述另一只眼睛的轮廓的外部区域；
通过在所述处理器上执行的所述眼睑发红模型，输出所述结膜充血的第二预测值、所述结膜水肿的第二预测值、所述眼睑发红的第二预测值、所述眼睑水肿的第二预测值和所述泪腺水肿的第二预测值；和
基于预定设置，在五个所述第二预测值中选择所述眼睑发红的第二预测值，并且
其中所述生成所述眼睑发红的评分是考虑所选择的所述眼睑发红的第一预测值和所选择的所述眼睑发红的第二预测值而生成所述眼睑发红的所述评分。
16.根据权利要求15所述的计算机实现的方法，
其中所述生成所述眼睑发红的评分包括：
响应于以下，将预定值分配至所述评分：
确定所述眼睑发红的第一预测值大于阈值，
确定所述眼睑发红的第二预测值大于所述阈值，或
确定所述眼睑发红的第一预测值和第二预测值大于所述阈值。
17.一种计算机实现的方法，包括：
使用训练集训练眼睑水肿预测模型，其中所述训练集包括训练图像、结膜充血的评估值、结膜水肿的评估值、眼睑发红的评估值、眼睑水肿的评估值和泪腺水肿的评估值，其中根据对所述训练图像的诊断，所述训练图像注释有所述评估值，
获取第一图像，所述第一图像包含受试者的至少一只眼睛和所述至少一只眼睛的轮廓的外部区域，
通过在处理器上执行的所述眼睑水肿预测模型，输出结膜充血的第一预测值、结膜水肿的第一预测值、眼睑发红的第一预测值、眼睑水肿的第一预测值和泪腺水肿的第一预测值，
基于预定设置，在五个所述第一预测值中选择所述眼睑水肿的第一预测值，和
基于所选择的所述眼睑水肿的第一预测值，生成所述眼睑水肿的评分。
18.根据权利要求17所述的计算机实现的方法，
其中所述第一图像是关于两只眼睛中的任意一只眼睛生成的，并且
其中所生成的预测值是针对该只眼睛的预测值。
19.根据权利要求18所述的计算机实现的方法，还包括：
获取第二图像，所述第二图像包含所述受试者的另一只眼睛和所述另一只眼睛的轮廓的外部区域；
通过在所述处理器上执行的所述眼睑水肿模型，输出所述结膜充血的第二预测值、所述结膜水肿的第二预测值、所述眼睑发红的第二预测值、所述眼睑水肿的第二预测值和所述泪腺水肿的第二预测值；和
基于预定设置，在五个所述第二预测值中选择所述眼睑水肿的第二预测值，并且
其中所述生成所述眼睑水肿的评分是考虑所选择的所述眼睑水肿的第一预测值和所选择的所述眼睑水肿的第二预测值而生成所述眼睑水肿的所述评分。
20.根据权利要求19所述的计算机实现的方法，
其中所述生成所述眼睑水肿的评分包括：
响应于以下，将预定值分配至所述评分：
确定所述眼睑水肿的第一预测值大于阈值，
确定所述眼睑水肿的第二预测值大于所述阈值，或确定所述眼睑水肿的第一预测值和第二预测值大于所述阈值。
CN202280059376.2A 2021-06-30 2022-06-30 用于活动期甲状腺眼病医疗的医院就诊指导方法及其执行系统 Pending CN117897779A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020210085542A KR102379061B1 (ko) 2021-06-30 2021-06-30 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 장치
KR10-2021-0085542 2021-06-30
PCT/KR2022/009452 WO2023277622A1 (ko) 2021-06-30 2022-06-30 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 시스템

Publications (1)

Publication Number Publication Date
CN117897779A true CN117897779A (zh) 2024-04-16

Family

ID=81181653

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202280059360.1A Pending CN117897778A (zh) 2021-06-30 2022-06-28 用于获取侧面图像以进行眼睛突出分析的方法、执行方法的图像捕获设备和记录介质
CN202280059381.3A Pending CN117897780A (zh) 2021-06-30 2022-06-29 用于活动期甲状腺眼病医疗的医院就诊指导方法及其执行系统
CN202280059376.2A Pending CN117897779A (zh) 2021-06-30 2022-06-30 用于活动期甲状腺眼病医疗的医院就诊指导方法及其执行系统

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202280059360.1A Pending CN117897778A (zh) 2021-06-30 2022-06-28 用于获取侧面图像以进行眼睛突出分析的方法、执行方法的图像捕获设备和记录介质
CN202280059381.3A Pending CN117897780A (zh) 2021-06-30 2022-06-29 用于活动期甲状腺眼病医疗的医院就诊指导方法及其执行系统

Country Status (3)

Country Link
EP (2) EP4134981A4 (zh)
KR (2) KR102379061B1 (zh)
CN (3) CN117897778A (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023277589A1 (ko) 2021-06-30 2023-01-05 주식회사 타이로스코프 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 시스템
JP7521748B1 (ja) 2021-06-30 2024-07-24 サイロスコープ インコーポレイテッド 眼球突出の度合いの分析のための側方画像を取得するための方法及び撮影デバイス、及びそのための記録媒体
KR102498785B1 (ko) * 2022-06-30 2023-02-10 주식회사 타이로스코프 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 시스템
WO2023277622A1 (ko) 2021-06-30 2023-01-05 주식회사 타이로스코프 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 시스템
WO2024035131A1 (ko) * 2022-08-09 2024-02-15 주식회사 타이로스코프 갑상선 안질환 상태 모니터링 방법 및 이를 수행하는 시스템
CN117936101B (zh) * 2024-03-21 2024-05-24 深圳大学总医院 一种智能检测甲状腺相关眼病的方法及检测系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015137788A1 (en) * 2014-03-14 2015-09-17 Samsung Electronics Co., Ltd. Electronic apparatus for providing health status information, method of controlling the same, and computer-readable storage medium
JP6269377B2 (ja) * 2014-07-31 2018-01-31 株式会社Ｊｖｃケンウッド 診断支援装置および診断支援方法
US20190191995A1 (en) * 2017-07-28 2019-06-27 Pupilscan Corporation Systems and Methods for Capturing and Analyzing Pupil Images to Determine Toxicology and Neurophysiology
KR20190082149A (ko) * 2017-12-29 2019-07-09 주식회사 피디젠 녹내장 발생 예측 방법
US10580133B2 (en) * 2018-05-30 2020-03-03 Viswesh Krishna Techniques for identifying blepharoptosis from an image
US10468142B1 (en) * 2018-07-27 2019-11-05 University Of Miami Artificial intelligence-based system and methods for corneal diagnosis
DK3671536T3 (da) * 2018-12-20 2024-06-17 Optos Plc Påvisning af patologier i øjenbilleder
KR102293824B1 (ko) * 2019-05-21 2021-08-24 (의) 삼성의료재단 이동통신 단말기에서의 안면 인식을 이용한 관련 질환 모니터링 방법 및 시스템
CN111839455A (zh) * 2020-08-11 2020-10-30 上海鹰瞳医疗科技有限公司 甲状腺相关眼病的眼部体征识别方法及设备

Also Published As

Publication number Publication date
CN117897778A (zh) 2024-04-16
KR102379061B1 (ko) 2022-04-05
KR20230005733A (ko) 2023-01-10
EP4138094A1 (en) 2023-02-22
EP4138094A4 (en) 2023-10-25
EP4134981A1 (en) 2023-02-15
EP4134981A4 (en) 2023-11-08
CN117897780A (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
CN117897779A (zh) 用于活动期甲状腺眼病医疗的医院就诊指导方法及其执行系统
US11967075B2 (en) Application to determine reading/working distance
JP7066959B2 (ja) 網膜血管系画像からの高血圧のレベルの判定
US20190265784A1 (en) Operation determination device and operation determination method
US20230360204A1 (en) Method for hospital visit guidance for medical treatment for active thyroid eye disease, and system for performing same
KR102657095B1 (ko) 탈모 상태 정보 제공 방법 및 장치
JP2018007792A (ja) 表情認知診断支援装置
KR102477694B1 (ko) 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 시스템
Khumdat et al. Development of a computer system for strabismus screening
US20230337913A1 (en) Method and photographing device for acquiring side image for ocular proptosis degree analysis, and recording medium therefor
US10956735B1 (en) System and method for determining a refractive error from red reflex images of eyes
US11741610B2 (en) Method for hospital visit guidance for medical treatment for active thyroid eye disease, and system for performing same
KR102498785B1 (ko) 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 시스템
JP2024125332A (ja) 活動性甲状腺眼症の医学的治療のための病院訪問ガイダンスのための方法、及びこれを実行するためのシステム
EP4134980A1 (en) Method for guiding visit for active thyroid eye disease examination, and system for performing same
US20240032856A1 (en) Method and device for providing alopecia information
KR100291861B1 (ko) 뇌 이미지에서 백질과 회백질의 분리 및 체적 산출방법
KR20220095856A (ko) 신경정신질환 및 피부질환을 진단하기 위한 장치 및 방법
Padmasini et al. Automatic Detection And Segmentation Of Retinal Manifestations Due To Diabetic Retinopathy
CN116801800A (zh) 皮肤状态推定方法、装置、程序、系统、已学习模型生成方法及已学习模型

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination