CN116646079B - 一种眼科病症辅助诊断方法及装置 - Google Patents
一种眼科病症辅助诊断方法及装置 Download PDFInfo
- Publication number
- CN116646079B CN116646079B CN202310925344.2A CN202310925344A CN116646079B CN 116646079 B CN116646079 B CN 116646079B CN 202310925344 A CN202310925344 A CN 202310925344A CN 116646079 B CN116646079 B CN 116646079B
- Authority
- CN
- China
- Prior art keywords
- eyeball
- disease
- model
- probability
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 33
- 208000024891 symptom Diseases 0.000 title description 2
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 263
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 237
- 201000010099 disease Diseases 0.000 claims abstract description 233
- 238000003062 neural network model Methods 0.000 claims abstract description 33
- 238000003325 tomography Methods 0.000 claims abstract description 8
- 210000001508 eye Anatomy 0.000 description 8
- 238000004590 computer program Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 208000035475 disorder Diseases 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 206010070834 Sensitisation Diseases 0.000 description 1
- 210000000795 conjunctiva Anatomy 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 210000003195 fascia Anatomy 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 210000004561 lacrimal apparatus Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000008313 sensitization Effects 0.000 description 1
- 230000026683 transduction Effects 0.000 description 1
- 238000010361 transduction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000004382 visual function Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Epidemiology (AREA)
- Heart & Thoracic Surgery (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Primary Health Care (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Ophthalmology & Optometry (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明公开了一种眼科病症辅助诊断方法及装置，涉及自动化诊断领域，该方法包括通过环绕布置的摄像头和距离传感器，对眼球图像进行多角度采集，并对眼球进行距离感应，得到眼球的立体图像和距离信息；基于广角波面断层扫描术扫描得到眼球的3D结构，以进行眼球3D模型的建立；基于距离信息将眼球的立体图像贴合至眼球3D模型上，得到仿真的立体眼球模型；基于训练完成的神经网络模型，并结合患者信息对得到的立体眼球模型进行自动识别，得到病症第一患病概率；根据自动识别得到的病症第一患病概率，以及主动诊断得到的病症第二患病概率，确定最终患病概率。本发明能够准确实现眼科疾病患病概率的计算。
Description
技术领域
本发明涉及自动化诊断领域，具体涉及一种眼科病症辅助诊断方法及装置。
背景技术
眼睛由眼球及其辅助结构组成。其中，眼球是视觉器官的主要部分，它具有折光成象和感光换能两种作用。眼的辅助部分有眼睑、结膜、泪器、眼肌及眼眶内筋膜和脂肪等，对眼球有保护、运动和支持作用。眼各部结构的完善，对眼完成视觉功能具有重要意义。
身处信息时代，人们的用眼时间比过去数十年翻了几番，越来越多地依赖电脑、电视等视频显示终端进行各种活动。近些年来，眼科疾病的患病人数也呈几何级增长。
当前，对于眼科疾病的诊断，大多采用医生主动观察的方式进行，即通过打光于眼部，医生对患者眼睛进行主动观察，从而实现对患者眼睛疾病的诊断，在缺乏辅助诊断方式的情况下，受限于主动观察方式的局限性，大多数情况下，对于患者眼科疾病的诊断不够准确。
发明内容
针对现有技术中存在的缺陷，本发明的目的在于提供一种眼科病症辅助诊断方法及装置，能够实现对患者眼科疾病的精准自动化诊断。
本发明提供的一种眼科病症辅助诊断方法，具体包括以下步骤：
通过环绕布置的摄像头和距离传感器，对眼球图像进行多角度采集，并对眼球进行距离感应，得到眼球的立体图像和距离信息；
基于广角波面断层扫描术扫描得到眼球的3D结构，以进行眼球3D模型的建立；
基于距离信息将眼球的立体图像贴合至眼球3D模型上，得到仿真的立体眼球模型；
基于训练完成的神经网络模型，并结合患者信息对得到的立体眼球模型进行自动识别，得到病症第一患病概率；
根据自动识别得到的病症第一患病概率，以及主动诊断得到的病症第二患病概率，确定最终患病概率。
本发明提供的一种眼科病症辅助诊断装置，包括：
采集模块，其用于通过环绕布置的摄像头和距离传感器，对眼球图像进行多角度采集，并对眼球进行距离感应，得到眼球的立体图像和距离信息；
创建模块，其用于基于广角波面断层扫描术扫描得到眼球的3D结构，以进行眼球3D模型的建立；
贴合模块，其用于基于距离信息将眼球的立体图像贴合至眼球3D模型上，得到仿真的立体眼球模型；
识别模块，其用于基于训练完成的神经网络模型，并结合患者信息对得到的立体眼球模型进行自动识别，得到病症第一患病概率；
执行模块，其用于根据自动识别得到的病症第一患病概率，以及主动诊断得到的病症第二患病概率，确定最终患病概率。
在上述技术方案的基础上，
所述摄像头和距离传感器布置半球形的曲面上，且摄像头和距离传感器均为多个，且多个摄像头和距离传感器在半球形的曲面上均匀分布，且摄像头和距离传感器间一一对应。
在上述技术方案的基础上，
所述摄像头的底部设有用于带动摄像头进行朝向角度调整的旋转座。
在上述技术方案的基础上，
所述半球形的曲面上布置有多个柔光源，且多个柔光源在半球形的曲面上均匀分布。
在上述技术方案的基础上，
所述柔光源的底部设有用于带动柔光源进行朝向角度调整的旋转座。
在上述技术方案的基础上，所述通过环绕布置的摄像头和距离传感器，对眼球图像进行多角度采集，并对眼球进行距离感应，得到眼球的立体图像信息和距离信息，具体步骤包括：
基于半球形的曲面上其中一摄像头进行人脸图像的拍摄，并根据拍摄得到的人脸图像，采用人脸识别算法识别得到半球形的曲面内眼球的位置；
调整摄像头和柔光源的朝向角度，以使摄像头和柔光源均对向眼球，并进行眼球图像的拍摄，得到多张眼球图像；
距离传感器对半球形的曲面内的眼球进行距离感应，以使每张眼球图像均带有距离信息；
基于每张眼球图像的距离信息，以及每张眼球图像对应摄像头的位置信息，对得到的多张眼球图像进行拼接，得到眼球的立体图像信息。
在上述技术方案的基础上，所述基于距离信息将眼球的立体图像贴合至眼球3D模型上，得到仿真的立体眼球模型，具体步骤包括：
对于得到的眼球立体图像，选择预设数量的标记点，并在眼球立体图像中进行标记；
对于建立的眼球3D模型，选择预设数量的标记点，并在眼球3D模型中进行标记；
根据距离信息确定眼球立体图像的空间位置信息，然后根据眼球立体图像和眼球3D模型的标记点间的对应关系，将眼球立体图像贴合至眼球3D模型上。
在上述技术方案的基础上，所述基于训练完成的神经网络模型，并结合患者信息对得到的立体眼球模型进行自动识别，得到病症第一患病概率，具体步骤包括：
获取已有的存在眼科疾病的患者的眼球图像，并对应创建立体眼球模型；
将患者信息和创建的立体眼球模型作为训练集对神经网络模型进行训练，以使神经网络模型具有识别眼科疾病的能力；
基于训练完成的神经网络模型，以及当前患者的患者信息，对当前患者的立体眼球模型进行自动识别，得到当前患者的病症第一患病概率。
在上述技术方案的基础上，所述根据自动识别得到的病症第一患病概率，以及主动诊断得到的病症第二患病概率，确定最终患病概率，具体步骤包括：
基于主动诊断方式，诊断得到当前患者的病症第二患病概率；
将当前患者的病症第一患病概率与病症第二患病概率进行对比，并基于对比结果：
若一致，则病症第一患病概率或病症第二患病概率即为当前患者的最终患病概率；
若不一致，则将当前患者的诊断结果标记为待定。
在上述技术方案的基础上，对于标记为待定的诊断结果：
再次进行眼球图像采集并得到立体眼球模型，并核实患者信息，将再次得到的立体眼球模型和核实的患者信息输入神经网络模型，再次得到病症第一患病概率，并将再次得到的病症第一患病概率与病症第二患病概率进行对比；或者
再次基于主动诊断方式，诊断得到当前患者的病症第二患病概率，将再次诊断得到的病症第二患病概率与病症第一患病概率进行对比。
与现有技术相比，本发明的优点在于：通过对眼球图像进行多角度采集，然后通过建立眼球3D模型并结合采集的眼球图像，构建得到立体眼球模型，基于训练完成的神经网络模型，并结合患者信息对得到的立体眼球模型进行自动识别，得到病症第一患病概率，最后根据自动识别得到的病症第一患病概率，以及主动诊断得到的病症第二患病概率，采用自动诊断和主动诊断相结合的方式，从而最终病症的患病概率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种眼科病症辅助诊断方法的流程图；
图2为本发明实施例中一种眼科病症辅助诊断装置的结构图。
实施方式
本发明实施例提供一种眼科病症辅助诊断方法，通过对眼球图像进行多角度采集，然后通过建立眼球3D模型并结合采集的眼球图像，构建得到立体眼球模型，基于训练完成的神经网络模型，并结合患者信息对得到的立体眼球模型进行自动识别，得到病症第一患病概率，最后根据自动识别得到的病症第一患病概率，以及主动诊断得到的病症第二患病概率，采用自动诊断和主动诊断相结合的方式，从而最终确定病症的患病概率。本发明相应地还提供了一种眼科病症辅助诊断装置。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。
参见图1所示，本发明实施例提供的一种眼科病症辅助诊断方法，具体包括以下步骤：
S1：通过环绕布置的摄像头和距离传感器，对眼球图像进行多角度采集，并对眼球进行距离感应，得到眼球的立体图像和距离信息；
S2：基于广角波面断层扫描术扫描得到眼球的3D结构，以进行眼球3D模型的建立；
S3：基于距离信息将眼球的立体图像贴合至眼球3D模型上，得到仿真的立体眼球模型；
S4：基于训练完成的神经网络模型，并结合患者信息对得到的立体眼球模型进行自动识别，得到病症第一患病概率；
S5：根据自动识别得到的病症第一患病概率，以及主动诊断得到的病症第二患病概率，确定最终患病概率。
参见图2所示，本发明实施例提供的一种眼科病症辅助诊断装置，包括采集模块、创建模块、贴合模块、执行模块和执行模块。
采集模块用于通过环绕布置的摄像头和距离传感器，对眼球图像进行多角度采集，并对眼球进行距离感应，得到眼球的立体图像和距离信息；创建模块用于基于广角波面断层扫描术扫描得到眼球的3D结构，以进行眼球3D模型的建立；贴合模块用于基于距离信息将眼球的立体图像贴合至眼球3D模型上，得到仿真的立体眼球模型；识别模块用于基于训练完成的神经网络模型，并结合患者信息对得到的立体眼球模型进行自动识别，得到病症第一患病概率；执行模块用于根据自动识别得到的病症第一患病概率，以及主动诊断得到的病症第二患病概率，确定最终患病概率。
本发明中，摄像头和距离传感器布置半球形的曲面上，且摄像头和距离传感器均为多个，且多个摄像头和距离传感器在半球形的曲面上均匀分布，且摄像头和距离传感器间一一对应；摄像头的底部设有用于带动摄像头进行朝向角度调整的旋转座。
由于摄像头是可进行角度调整的，故可通过调整各摄像头的角度，从而更好的对眼球图像进行拍摄。同时，摄像头和距离传感器间为对应关系，且摄像头的位置是固定的，故对于当前摄像头拍摄的眼球图像，基于距离传感器的距离感应，能够知晓该眼球图像相较于摄像头的距离，因此，在摄像头位置确定，距离确定的基础上，能够知晓当前摄像头拍摄的眼球图像相较于当前摄像头的空间方位，进而确定当前眼球图像的空间方位，以便于后续进行眼球图像的拼接合成以得到眼球的立体图像。
本发明中，半球形的曲面上布置有多个柔光源，且多个柔光源在半球形的曲面上均匀分布；柔光源的底部设有用于带动柔光源进行朝向角度调整的旋转座。通过调整柔光源的照射角度，对眼球进行打光，以便更好地对眼球图像进行拍摄。
本发明中，通过环绕布置的摄像头和距离传感器，对眼球图像进行多角度采集，并对眼球进行距离感应，得到眼球的立体图像信息和距离信息，具体步骤包括：
S101：基于半球形的曲面上其中一摄像头进行人脸图像的拍摄，并根据拍摄得到的人脸图像，采用人脸识别算法识别得到半球形的曲面内眼球的位置；
S102：调整摄像头和柔光源的朝向角度，以使摄像头和柔光源均对向眼球，并进行眼球图像的拍摄，得到多张眼球图像，即得到多张不同角度的眼球图像；
S103：距离传感器对半球形的曲面内的眼球进行距离感应，以使每张眼球图像均带有距离信息；
S104：基于每张眼球图像的距离信息，以及每张眼球图像对应摄像头的位置信息，对得到的多张眼球图像进行拼接，得到眼球的立体图像信息。由于每张眼球图像都带有空间位置信息，故通过将多张眼球图像进行拼接融合，即可得到眼球的立体图像信息。
本发明通过扫描得到患者眼球的真实3D结构，然后基于真实3D结构进行眼球3D模型的建立。
本发明中，基于距离信息将眼球的立体图像贴合至眼球3D模型上，得到仿真的立体眼球模型，具体步骤包括：
S301：对于得到的眼球立体图像，选择预设数量的标记点，并在眼球立体图像中进行标记；例如，选择眼球立体图像的中点，以及中点左右两侧预设距离的点作为标记点。
S302：对于建立的眼球3D模型，选择预设数量的标记点，并在眼球3D模型中进行标记；例如，选择眼球3D模型的中点，以及中点左右两侧预设距离的点作为标记点。
S303：根据距离信息确定眼球立体图像的空间位置信息，然后根据眼球立体图像和眼球3D模型的标记点间的对应关系，将眼球立体图像贴合至眼球3D模型上。由于眼球3D模型是通过扫描患者的眼球得到的，眼球立体图像是通过拍摄患者的眼球图像得到的，故眼球3D模型和眼球立体图像的尺寸是一致的，故可以通过标记点间对应关系，实现眼球3D模型和眼球立体图像间的定位，从而将眼球立体图像贴合至眼球3D模型上。
本发明中，基于训练完成的神经网络模型，并结合患者信息对得到的立体眼球模型进行自动识别，得到病症第一患病概率，具体步骤包括：
S401：获取已有的存在眼科疾病的患者的眼球图像，并对应创建立体眼球模型；
S402：将患者信息和创建的立体眼球模型作为训练集对神经网络模型进行训练，以使神经网络模型具有识别眼科疾病的能力；患者信息包括年龄、性别等。眼科疾病大多数情况下还与患者年龄等因数相关，故在对神经网络模型进行训练时，考虑患者信息，从而实现后续的识别更加精准。
S403：基于训练完成的神经网络模型，以及当前患者的患者信息，对当前患者的立体眼球模型进行自动识别，得到当前患者的病症第一患病概率。
本发明中，根据自动识别得到的病症第一患病概率，以及主动诊断得到的病症第二患病概率，确定最终患病概率，具体步骤包括：
S501：基于主动诊断方式，诊断得到当前患者的病症第二患病概率，即医生基于当前患者的立体眼球模型，进行主动诊断，得到病症第二患病概率，且医生是基于立体的眼球模型图像进行诊断，医生也能够更加准确的得出诊断结果；
S502：将当前患者的病症第一患病概率与病症第二患病概率进行对比，并基于对比结果：
若一致，则病症第一患病概率或病症第二患病概率即为当前患者的最终患病概率；
若不一致，则将当前患者的诊断结果标记为待定。
本发明中，对于标记为待定的诊断结果：
再次进行眼球图像采集并得到立体眼球模型，并核实患者信息，将再次得到的立体眼球模型和核实的患者信息输入神经网络模型，再次得到病症第一患病概率，并将再次得到的病症第一患病概率与病症第二患病概率进行对比；或者
再次基于主动诊断方式，诊断得到当前患者的病症第二患病概率，将再次诊断得到的病症第二患病概率与病症第一患病概率进行对比。
即对于对比结果不一致的情况，采用进一步的病症方式，如咨询更加资深的医生，或调整神经网络模型、调整输入参数等。
本发明实施例的眼科病症辅助诊断装置，通过对眼球图像进行多角度采集，然后通过建立眼球3D模型并结合采集的眼球图像，构建得到立体眼球模型，基于训练完成的神经网络模型，并结合患者信息对得到的立体眼球模型进行自动识别，得到病症第一患病概率，最后根据自动识别得到的病症第一患病概率，以及主动诊断得到的病症第二患病概率，采用自动诊断和主动诊断相结合的方式，从而最终确定病症的患病概率。
在一种可能的实施方式中，本发明实施例还提供一种可读存储介质，可读存储介质位于PLC（Programmable Logic Controller，可编程逻辑控制器）控制器中，可读存储介质上存储有计算机程序，该程序被处理器执行时实现以下步骤：
通过环绕布置的摄像头和距离传感器，对眼球图像进行多角度采集，并对眼球进行距离感应，得到眼球的立体图像和距离信息；
基于广角波面断层扫描术扫描得到眼球的3D结构，以进行眼球3D模型的建立；
基于距离信息将眼球的立体图像贴合至眼球3D模型上，得到仿真的立体眼球模型；
基于训练完成的神经网络模型，并结合患者信息对得到的立体眼球模型进行自动识别，得到病症第一患病概率；
根据自动识别得到的病症第一患病概率，以及主动诊断得到的病症第二患病概率，确定最终患病概率。
本发明中，摄像头和距离传感器布置半球形的曲面上，且摄像头和距离传感器均为多个，且多个摄像头和距离传感器在半球形的曲面上均匀分布，且摄像头和距离传感器间一一对应；摄像头的底部设有用于带动摄像头进行朝向角度调整的旋转座；半球形的曲面上布置有多个柔光源，且多个柔光源在半球形的曲面上均匀分布；柔光源的底部设有用于带动柔光源进行朝向角度调整的旋转座。
本发明中，通过环绕布置的摄像头和距离传感器，对眼球图像进行多角度采集，并对眼球进行距离感应，得到眼球的立体图像信息和距离信息，具体过程包括：
基于半球形的曲面上其中一摄像头进行人脸图像的拍摄，并根据拍摄得到的人脸图像，采用人脸识别算法识别得到半球形的曲面内眼球的位置；
调整摄像头和柔光源的朝向角度，以使摄像头和柔光源均对向眼球，并进行眼球图像的拍摄，得到多张眼球图像；
距离传感器对半球形的曲面内的眼球进行距离感应，以使每张眼球图像均带有距离信息；
基于每张眼球图像的距离信息，以及每张眼球图像对应摄像头的位置信息，对得到的多张眼球图像进行拼接，得到眼球的立体图像信息。
本发明中，基于距离信息将眼球的立体图像贴合至眼球3D模型上，得到仿真的立体眼球模型，具体过程包括：
对于得到的眼球立体图像，选择预设数量的标记点，并在眼球立体图像中进行标记；
对于建立的眼球3D模型，选择预设数量的标记点，并在眼球3D模型中进行标记；
根据距离信息确定眼球立体图像的空间位置信息，然后根据眼球立体图像和眼球3D模型的标记点间的对应关系，将眼球立体图像贴合至眼球3D模型上。
本发明中，基于训练完成的神经网络模型，并结合患者信息对得到的立体眼球模型进行自动识别，得到病症第一患病概率，具体过程包括：
获取已有的存在眼科疾病的患者的眼球图像，并对应创建立体眼球模型；
将患者信息和创建的立体眼球模型作为训练集对神经网络模型进行训练，以使神经网络模型具有识别眼科疾病的能力；
基于训练完成的神经网络模型，以及当前患者的患者信息，对当前患者的立体眼球模型进行自动识别，得到当前患者的病症第一患病概率。
本发明中，根据自动识别得到的病症第一患病概率，以及主动诊断得到的病症第二患病概率，确定最终患病概率，具体过程包括：
基于主动诊断方式，诊断得到当前患者的病症第二患病概率；
将当前患者的病症第一患病概率与病症第二患病概率进行对比，并基于对比结果：
若一致，则病症第一患病概率或病症第二患病概率即为当前患者的最终患病概率；
若不一致，则将当前患者的诊断结果标记为待定。
本发明中，对于标记为待定的诊断结果：
再次进行眼球图像采集并得到立体眼球模型，并核实患者信息，将再次得到的立体眼球模型和核实的患者信息输入神经网络模型，再次得到病症第一患病概率，并将再次得到的病症第一患病概率与病症第二患病概率进行对比；或者
再次基于主动诊断方式，诊断得到当前患者的病症第二患病概率，将再次诊断得到的病症第二患病概率与病症第一患病概率进行对比。
存储介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
本发明是参照根据本发明实施例的方法、设备（系统）和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
Claims (9)
1.一种眼科病症辅助诊断方法，其特征在于，具体包括以下步骤：
通过环绕布置的摄像头和距离传感器，对眼球图像进行多角度采集，并对眼球进行距离感应，得到眼球的立体图像和距离信息；
基于广角波面断层扫描术扫描得到眼球的3D结构，以进行眼球3D模型的建立；
基于距离信息将眼球的立体图像贴合至眼球3D模型上，得到仿真的立体眼球模型；
基于训练完成的神经网络模型，并结合患者信息对得到的立体眼球模型进行自动识别，得到病症第一患病概率；
根据自动识别得到的病症第一患病概率，以及主动诊断得到的病症第二患病概率，确定最终患病概率；
其中，所述基于距离信息将眼球的立体图像贴合至眼球3D模型上，得到仿真的立体眼球模型，具体步骤包括：
对于得到的眼球立体图像，选择预设数量的标记点，并在眼球立体图像中进行标记；
对于建立的眼球3D模型，选择预设数量的标记点，并在眼球3D模型中进行标记；
根据距离信息确定眼球立体图像的空间位置信息，然后根据眼球立体图像和眼球3D模型的标记点间的对应关系，将眼球立体图像贴合至眼球3D模型上。
2.一种眼科病症辅助诊断装置，其特征在于，包括：
采集模块，其用于通过环绕布置的摄像头和距离传感器，对眼球图像进行多角度采集，并对眼球进行距离感应，得到眼球的立体图像和距离信息；
创建模块，其用于基于广角波面断层扫描术扫描得到眼球的3D结构，以进行眼球3D模型的建立；
贴合模块，其用于基于距离信息将眼球的立体图像贴合至眼球3D模型上，得到仿真的立体眼球模型；
识别模块，其用于基于训练完成的神经网络模型，并结合患者信息对得到的立体眼球模型进行自动识别，得到病症第一患病概率；
执行模块，其用于根据自动识别得到的病症第一患病概率，以及主动诊断得到的病症第二患病概率，确定最终患病概率；
其中，所述基于距离信息将眼球的立体图像贴合至眼球3D模型上，得到仿真的立体眼球模型，具体步骤包括：
对于得到的眼球立体图像，选择预设数量的标记点，并在眼球立体图像中进行标记；
对于建立的眼球3D模型，选择预设数量的标记点，并在眼球3D模型中进行标记；
根据距离信息确定眼球立体图像的空间位置信息，然后根据眼球立体图像和眼球3D模型的标记点间的对应关系，将眼球立体图像贴合至眼球3D模型上。
3.如权利要求2所述的一种眼科病症辅助诊断装置，其特征在于：
所述摄像头和距离传感器布置半球形的曲面上，且摄像头和距离传感器均为多个，且多个摄像头和距离传感器在半球形的曲面上均匀分布，且摄像头和距离传感器间一一对应。
4.如权利要求3所述的一种眼科病症辅助诊断装置，其特征在于：
所述摄像头的底部设有用于带动摄像头进行朝向角度调整的旋转座；
所述半球形的曲面上布置有多个柔光源，且多个柔光源在半球形的曲面上均匀分布。
5.如权利要求4所述的一种眼科病症辅助诊断装置，其特征在于：
所述柔光源的底部设有用于带动柔光源进行朝向角度调整的旋转座。
6.如权利要求5所述的一种眼科病症辅助诊断装置，其特征在于，所述通过环绕布置的摄像头和距离传感器，对眼球图像进行多角度采集，并对眼球进行距离感应，得到眼球的立体图像信息和距离信息，具体步骤包括：
基于半球形的曲面上其中一摄像头进行人脸图像的拍摄，并根据拍摄得到的人脸图像，采用人脸识别算法识别得到半球形的曲面内眼球的位置；
调整摄像头和柔光源的朝向角度，以使摄像头和柔光源均对向眼球，并进行眼球图像的拍摄，得到多张眼球图像；
距离传感器对半球形的曲面内的眼球进行距离感应，以使每张眼球图像均带有距离信息；
基于每张眼球图像的距离信息，以及每张眼球图像对应摄像头的位置信息，对得到的多张眼球图像进行拼接，得到眼球的立体图像信息。
7.如权利要求2所述的一种眼科病症辅助诊断装置，其特征在于，所述基于训练完成的神经网络模型，并结合患者信息对得到的立体眼球模型进行自动识别，得到病症第一患病概率，具体步骤包括：
获取已有的存在眼科疾病的患者的眼球图像，并对应创建立体眼球模型；
将患者信息和创建的立体眼球模型作为训练集对神经网络模型进行训练，以使神经网络模型具有识别眼科疾病的能力；
基于训练完成的神经网络模型，以及当前患者的患者信息，对当前患者的立体眼球模型进行自动识别，得到当前患者的病症第一患病概率。
8.如权利要求7所述的一种眼科病症辅助诊断装置，其特征在于，所述根据自动识别得到的病症第一患病概率，以及主动诊断得到的病症第二患病概率，确定最终患病概率，具体步骤包括：
基于主动诊断方式，诊断得到当前患者的病症第二患病概率；
将当前患者的病症第一患病概率与病症第二患病概率进行对比，并基于对比结果：
若一致，则病症第一患病概率或病症第二患病概率即为当前患者的最终患病概率；
若不一致，则将当前患者的诊断结果标记为待定。
9.如权利要求7所述的一种眼科病症辅助诊断装置，其特征在于，对于标记为待定的诊断结果：
再次进行眼球图像采集并得到立体眼球模型，并核实患者信息，将再次得到的立体眼球模型和核实的患者信息输入神经网络模型，再次得到病症第一患病概率，并将再次得到的病症第一患病概率与病症第二患病概率进行对比；或者
再次基于主动诊断方式，诊断得到当前患者的病症第二患病概率，将再次诊断得到的病症第二患病概率与病症第一患病概率进行对比。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310925344.2A CN116646079B (zh) | 2023-07-26 | 2023-07-26 | 一种眼科病症辅助诊断方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310925344.2A CN116646079B (zh) | 2023-07-26 | 2023-07-26 | 一种眼科病症辅助诊断方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116646079A CN116646079A (zh) | 2023-08-25 |
| CN116646079B true CN116646079B (zh) | 2023-10-10 |
Family
ID=87643743
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310925344.2A Active CN116646079B (zh) | 2023-07-26 | 2023-07-26 | 一种眼科病症辅助诊断方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116646079B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002034924A (ja) * | 2000-07-19 | 2002-02-05 | Tohoku Techno Arch Co Ltd | ステレオ眼底画像からの眼底形状の３次元復元・表示 |
| CN101862177A (zh) * | 2010-04-20 | 2010-10-20 | 中山大学中山眼科中心 | 一种视网膜裂孔三维定位的方法及其装置 |
| CN108231165A (zh) * | 2018-01-30 | 2018-06-29 | 深圳汇创联合自动化控制有限公司 | 一种眼科疾病诊断的辅助系统 |
| CN109480767A (zh) * | 2018-12-13 | 2019-03-19 | 孙艳 | 一种医用眼科手术前用辅助检查装置 |
| CN111667906A (zh) * | 2020-06-15 | 2020-09-15 | 上海交通大学医学院附属仁济医院 | 一种眼球结构虚拟教学系统及其数字模型建立方法 |
| CN112513999A (zh) * | 2017-10-13 | 2021-03-16 | 人工智能技术公司 | 眼科疾病和病症的基于深度学习的诊断和转诊 |
| CN112806956A (zh) * | 2021-02-01 | 2021-05-18 | 上海市内分泌代谢病研究所 | 眼球突出度测量仪及测量方法 |
| CN113850901A (zh) * | 2021-09-08 | 2021-12-28 | 南方科技大学 | 三维人眼模型构建方法、系统、设备及存储介质 |
| CN113995374A (zh) * | 2021-10-13 | 2022-02-01 | 佛山市灵觉科技有限公司 | 一种全眼球三维成像装置及方法 |
| CN114973392A (zh) * | 2022-06-15 | 2022-08-30 | 极智视觉科技(合肥)有限公司 | 一种人眼运动追踪系统及方法 |
| CN116407080A (zh) * | 2023-04-20 | 2023-07-11 | 天津市眼科医院 | 近视患者眼底结构的演变识别及3d可视化系统和方法 |
| CN116433644A (zh) * | 2023-04-22 | 2023-07-14 | 深圳市江机实业有限公司 | 一种基于识别模型的眼部图像动态诊断方法 |
-
2023
- 2023-07-26 CN CN202310925344.2A patent/CN116646079B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002034924A (ja) * | 2000-07-19 | 2002-02-05 | Tohoku Techno Arch Co Ltd | ステレオ眼底画像からの眼底形状の３次元復元・表示 |
| CN101862177A (zh) * | 2010-04-20 | 2010-10-20 | 中山大学中山眼科中心 | 一种视网膜裂孔三维定位的方法及其装置 |
| CN112513999A (zh) * | 2017-10-13 | 2021-03-16 | 人工智能技术公司 | 眼科疾病和病症的基于深度学习的诊断和转诊 |
| CN108231165A (zh) * | 2018-01-30 | 2018-06-29 | 深圳汇创联合自动化控制有限公司 | 一种眼科疾病诊断的辅助系统 |
| CN109480767A (zh) * | 2018-12-13 | 2019-03-19 | 孙艳 | 一种医用眼科手术前用辅助检查装置 |
| CN111667906A (zh) * | 2020-06-15 | 2020-09-15 | 上海交通大学医学院附属仁济医院 | 一种眼球结构虚拟教学系统及其数字模型建立方法 |
| CN112806956A (zh) * | 2021-02-01 | 2021-05-18 | 上海市内分泌代谢病研究所 | 眼球突出度测量仪及测量方法 |
| CN113850901A (zh) * | 2021-09-08 | 2021-12-28 | 南方科技大学 | 三维人眼模型构建方法、系统、设备及存储介质 |
| CN113995374A (zh) * | 2021-10-13 | 2022-02-01 | 佛山市灵觉科技有限公司 | 一种全眼球三维成像装置及方法 |
| CN114973392A (zh) * | 2022-06-15 | 2022-08-30 | 极智视觉科技(合肥)有限公司 | 一种人眼运动追踪系统及方法 |
| CN116407080A (zh) * | 2023-04-20 | 2023-07-11 | 天津市眼科医院 | 近视患者眼底结构的演变识别及3d可视化系统和方法 |
| CN116433644A (zh) * | 2023-04-22 | 2023-07-14 | 深圳市江机实业有限公司 | 一种基于识别模型的眼部图像动态诊断方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于眼球生理结构和眼模型的眼底三维重建方法;肖志涛;李敏;吴骏;耿磊;张芳;温佳;苏龙;;天津工业大学学报(06);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116646079A (zh) | 2023-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2014229610B2 (en) | Wavefront generation for ophthalmic applications | |
| EP1870855A2 (en) | A device, method and system for automatic montage of segmented retinal images | |
| CN107890337A (zh) | 用于确定受试者的眼睛的几何参数的方法 | |
| CN105308494A (zh) | 用于确定定制视力补偿设备的参数的至少一个值的方法 | |
| WO2020110121A1 (en) | Systems and methods for anatomy-constrained gaze estimation | |
| US9110312B2 (en) | Measurement method and equipment for the customization and mounting of corrective ophthalmic lenses | |
| CN114599266A (zh) | 光场基于视力的测试设备、用于其的经调整的像素渲染方法、以及使用其的在线基于视力的测试管理系统和方法 | |
| US20210004957A1 (en) | Systems and methods of measuring the body based on image analysis | |
| JP7168953B2 (ja) | 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム | |
| US20220148218A1 (en) | System and method for eye tracking | |
| CN112099622B (zh) | 一种视线追踪方法及装置 | |
| CN109044263A (zh) | 眼睛视线的检测方法、装置、设备及存储介质 | |
| WO2022129591A1 (en) | System for determining one or more characteristics of a user based on an image of their eye using an ar/vr headset | |
| CN114365510A (zh) | 选择用于音频个性化的空间定位 | |
| CN114973392A (zh) | 一种人眼运动追踪系统及方法 | |
| JP2017191546A (ja) | 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法 | |
| CN116646079B (zh) | 一种眼科病症辅助诊断方法及装置 | |
| JP3711053B2 (ja) | 視線測定装置及びその方法と、視線測定プログラム及びそのプログラムを記録した記録媒体 | |
| CN113138664A (zh) | 基于光场感知的眼球追踪系统、方法 | |
| WO2024038134A1 (en) | Methods and devices in performing a vision testing procedure on a person | |
| JP2015123262A (ja) | 角膜表面反射画像を利用した視線計測方法及びその装置 | |
| CN115997159B (zh) | 使用移动设备确定眼睛旋转中心的位置的方法 | |
| CN111599004B (zh) | 一种3d血管成像系统、方法及装置 | |
| US11614623B2 (en) | Holographic real space refractive system | |
| JP2017189498A (ja) | 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20230825 Assignee: Wuhan Weier Laibo Technology Co.,Ltd. Assignor: RENMIN HOSPITAL OF WUHAN University (HUBEI GENERAL Hospital) Contract record no.: X2024980000792 Denomination of invention: An auxiliary diagnostic method and device for ophthalmic diseases Granted publication date: 20231010 License type: Common License Record date: 20240118 |