CN113837988A - 血管疾病预测支持方法以及支持装置、包含其的系统 - Google Patents
血管疾病预测支持方法以及支持装置、包含其的系统 Download PDFInfo
- Publication number
- CN113837988A CN113837988A CN202110151865.8A CN202110151865A CN113837988A CN 113837988 A CN113837988 A CN 113837988A CN 202110151865 A CN202110151865 A CN 202110151865A CN 113837988 A CN113837988 A CN 113837988A
- Authority
- CN
- China
- Prior art keywords
- fundus image
- vascular disease
- disease prediction
- fundus
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000019553 vascular disease Diseases 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000010801 machine learning Methods 0.000 claims abstract description 45
- 238000013507 mapping Methods 0.000 claims abstract description 10
- 230000008859 change Effects 0.000 claims description 30
- 210000004204 blood vessel Anatomy 0.000 claims description 23
- 238000013528 artificial neural network Methods 0.000 claims description 20
- 238000013527 convolutional neural network Methods 0.000 claims description 17
- 210000001210 retinal vessel Anatomy 0.000 claims description 15
- 210000003733 optic disk Anatomy 0.000 claims description 11
- 210000004126 nerve fiber Anatomy 0.000 claims description 10
- 230000007547 defect Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 230000002207 retinal effect Effects 0.000 claims description 8
- 206010025421 Macule Diseases 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 6
- 235000006694 eating habits Nutrition 0.000 claims description 2
- 238000005259 measurement Methods 0.000 claims description 2
- 230000000391 smoking effect Effects 0.000 claims description 2
- 230000035622 drinking Effects 0.000 claims 2
- 238000004590 computer program Methods 0.000 claims 1
- 125000004122 cyclic group Chemical group 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 14
- 238000007781 pre-processing Methods 0.000 description 10
- 208000024172 Cardiovascular disease Diseases 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000010295 mobile communication Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 201000001320 Atherosclerosis Diseases 0.000 description 4
- 206010038862 Retinal exudates Diseases 0.000 description 4
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- 238000012014 optical coherence tomography Methods 0.000 description 4
- 230000000306 recurrent effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 210000004351 coronary vessel Anatomy 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- OYPRJOBELJOOCE-UHFFFAOYSA-N Calcium Chemical compound [Ca] OYPRJOBELJOOCE-UHFFFAOYSA-N 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 2
- 108010074864 Factor XI Proteins 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 229910052791 calcium Inorganic materials 0.000 description 2
- 239000011575 calcium Substances 0.000 description 2
- 208000026106 cerebrovascular disease Diseases 0.000 description 2
- 229910052802 copper Inorganic materials 0.000 description 2
- 239000010949 copper Substances 0.000 description 2
- 230000034994 death Effects 0.000 description 2
- 231100000517 death Toxicity 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000002526 effect on cardiovascular system Effects 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 230000004410 intraocular pressure Effects 0.000 description 2
- 210000002189 macula lutea Anatomy 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 206010002383 Angina Pectoris Diseases 0.000 description 1
- 206010003210 Arteriosclerosis Diseases 0.000 description 1
- 229920000742 Cotton Polymers 0.000 description 1
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 1
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 1
- 208000011775 arteriosclerosis disease Diseases 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000001715 carotid artery Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000008103 glucose Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 208000010125 myocardial infarction Diseases 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0041—Operational features thereof characterised by display arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
- A61B3/1241—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes specially adapted for observation of ocular blood flow, e.g. by fluorescein angiography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/02007—Evaluating blood vessel condition, e.g. elasticity, compliance
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Theoretical Computer Science (AREA)
- Ophthalmology & Optometry (AREA)
- General Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Data Mining & Analysis (AREA)
- Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Vascular Medicine (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Hematology (AREA)
- Databases & Information Systems (AREA)
- Physiology (AREA)
- Computational Linguistics (AREA)
- Psychiatry (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Cardiology (AREA)
Abstract
本申请提供利用眼底图像的血管疾病预测支持装置以及支持方法，所述方法包括以下步骤：基于机器学习模型，从被检测者的第一眼底图像提取属性信息，对所述第一眼底图像映射显著因子(Saliency factor)，生成具有与所述属性信息相对应的特征的第二眼底图像，向外部实体提供所述第一眼底图像和所述第二眼底图像。
Description
技术领域
本发明涉及活用生物体图像，例如眼底图像，预测支持被检测者的动脉硬化、心绞痛、心肌梗塞等心血管疾病的方法以及装置、包含其的利用眼底图像的血管疾病预测支持系统。
背景技术
心血管疾病(Cardiovascular disease,CVD)是世界上最常见的死亡原因，在所有的死亡中约占30％，因此在临床上心血管疾病危险的评估以及预防是非常重要的。
最近随着人工智能学习模型的发展，在读取医疗图像时，利用很多的机器学习模型。尤其，在医疗领域中，眼科领域也是利用如上所述学习模型用于支持图像的读取(发现/诊断；finding/diagnosis)以预测被检测者的疾病。
例如，在大韩民国公开专利10-2019-0074477(以下，称为“现有专利”)中，记载有利用眼球图像的心脑血管疾病预测方法。具体为，现有专利是利用OCT(光学相干断层成像术；Optical Coherence Tomography)图像，预测心脑血管疾病，然而实际上是基于与OCT眼球图像不同的标记，例如通过冠状动脉CT拍摄的冠状动脉钙化积分、冠状动脉内的钙量、通过超声波拍摄的颈动脉厚度等之间的相关关系，预测患者是否有心脑血管疾病。即，利用标注(labeling)至少一个标记(marker)值的学习数据，使显示眼球图像和标记之间的相关关系的模型学习，从而预测患者是否有心脑血管疾病。
然而，利用人工智能学习模型预测疾病时，重要的是能够减少人工智能的学习数据量的同时，提高准确度。
另外，现有专利中虽然有记载利用学习过的模型，仅利用OCT眼球图像就能预测是否存在心脑血管疾病，然而没有出现与能够支持预测心脑血管疾病所作出的判断准确的说明有关的方法以及设备，因此可靠性上存在问题。
【现有技术文献】
【专利文献】
大韩民国公开专利10-2019-0074477
发明内容
本发明的实施例想要提供基于机器学习模型，利用眼底图像预测是否存在血管疾病时，能够提供可以对预测进行说明的方法的利用眼底图像的血管疾病预测支持方法、利用眼底图像的血管疾病预测支持装置以及包含其的血管疾病预测支持系统。
本发明的实施例想要提供可以减少机器学习模型的学习数据量的同时，提高血管疾病的预测度的利用眼底图像的血管疾病预测支持方法、利用眼底图像的血管疾病预测支持装置以及包含其的血管疾病预测支持系统。
本申请的课题不限于以上提及的课题，尚未提及的其他课题可通过以下记载供本领域技术人员明确理解。
根据本发明的一方面，利用被检测者的眼底图像的血管疾病预测支持方法包括：基于机器学习模型，从所述被检测者的第一眼底图像提取属性信息的步骤；对所述第一眼底图像映射显著因子(Saliency factor)，生成具有与所述属性信息相对应的特征的第二眼底图像的步骤；以及向外部实体提供所述第一眼底图像和所述第二眼底图像的步骤。
根据本发明的其他方面，利用被检测者的眼底图像的血管疾病预测支持装置包括：记忆部，存储有所述被检测者的第一眼底图像；以及处理器，基于机器学习模型，从所述第一眼底图像提取属性信息，对所述第一眼底图像映射显著因子(Saliency factor)，生成具有与所述属性信息相对应的特征的第二眼底图像。
第一眼底图像的第一属性信息可以为眼底图像中包含的视网膜血管(RetinalVessel)的变化信息、包含中央凹(Fovea)的黄斑部(Macula)的变化信息、是否存在棉絮状斑(Cotton Wool Spot)的信息、视神经乳头(Optic Disc)的变化信息中的至少一个。
显著因子可以为调整表示第一眼底图像的R、G、B像素的渐变等级(Gradationlevel)的值、能够调整R、G、B像素的颜色(Color)变化的值、在所述第一眼底图像调整局部对比度(Contrast Ratio)的值、在所述第一眼底图像调整方向特征(Orientationfeature)的值中的至少一个。
根据本发明的实施例，具有在利用基于机器学习模型的眼底图像来预测血管疾病时，能够支持可说明的读取的效果。
另外，具有利用少的学习数据量也能基于机器学习模型进行准确度高的血管疾病预测的效果。
另外，具有将用于机器学习模型的眼底图像进行图像预处理而成为多样化，从而可以提高血管疾病预测能力的效果。
本申请的效果不限于以上提及的效果，尚未提及的其他效果可通过以下记载供通常的技术人员明确理解。
附图说明
图1是说明根据本发明的一实施例的用于预测血管疾病的眼底图像读取支持方法的图。
图2是概略示出根据本发明的一实施例，利用被检测者的眼底图像，预测支持血管疾病的装置的图。
图3是概略示出根据本发明的一实施例，利用被检测者的眼底图像，预测支持血管疾病的系统的图。
图4是在根据本发明的血管疾病预测支持装置的一实施例中，用于说明为了比较读取眼底图像中包含的属性信息而进行支持的方法的图。
图5是在根据本发明的血管疾病预测支持装置的一实施例中，用于说明视网膜血管的变化信息的图。
图6是在根据本发明的血管疾病预测支持装置的一实施例中，用于说明视神经乳头的变化信息的图。
图7a以及图7b是在根据本发明的血管疾病预测支持装置的一实施例中，用于说明用于机器学习模型的眼底图像生成方法的图。
图8是示出针对眼底图像利用本发明的血管疾病预测支持装置，基于机器学习模型获得的动脉粥样硬化的预测准确度性能(DL-FAS,AUROC)的图表。
图9是示例性示出根据本发明的一实施例的血管疾病预测支持方法的流程图。
附图标记：
10：第一眼底图像，20：第二眼底图像，30：第一属性信息，40：第三眼底图像，110：计算设备，111：处理器，113：记忆部，115：存储设备，117：输出入接口，118：网络适配器，119：显示适配器，130：显示设备。
具体实施方式
以下参考附图详细说明本发明的实施例。然而，只要是本技术领域具有通常知识的人就应该容易理解附图仅是为了更加容易公开本发明的内容而进行的说明，本发明的范围并不由附图的范围进行限定。
另外，本发明的详细说明以及权利要求中使用的术语仅是为了说明特定的实施例而使用的，意图不在于限定本发明。在文脉上没有明确其他含义时，单数的表述包括复数的表述。
在本发明的详细说明以及权利要求中，应理解“包括”或“具有”等术语是用于指定说明书中所记载的特征、数字、步骤、动作、构成要素、部件或它们组合的存在，并不是预先排除一个或其以上的其它特征、或者数字、步骤、动作、构成要素、部件或它们组合的存在或附加可能性。
在本发明的详细说明以及权利要求中，“学习(learning)”是指按照步骤通过计算(computing)执行机器学习(machine learning)的术语，因此应理解意图不在于指代教育活动之类的精神作用。
进一步地，本发明包括本说明书中表示的实施例的所有可能的组合。应理解本发明的多种实施例虽然彼此不同，然而彼此没有排他性的必要。例如，在一实施例中，在此记载的特定形状、结构以及特性在不脱离本发明的思想以及范围的情况下可以由其他实施例体现。另外，应理解各个公开的实施例内的个别构成要素的位置或者配置可以在不脱离本发明的思想以及范围的情况下发生改变。因此，后述的详细说明并不是作为限定的含义采用，只要是适当进行说明，本发明的范围是在该权利要求所主张的均等的所有范围的基础上，仅由随附的权利要求进行限定。附图中，类似的附图标记在多个方面指代相同或者类似的功能。
图1是说明根据本发明的一实施例的用于预测血管疾病的眼底图像读取支持方法的图。
通常，从被检测者获取眼底图像，则利用机器学习模型对所述眼底图像进行标注(Labeling)，从而导出属性信息。然而，针对眼底图像的属性信息，如上所述，因在机器学习模型输入的学习量的差异而无法导出可靠的属性信息。另外，即便是初次导出眼底图像的属性信息，也在由此预测以及判断血管疾病的过程中缺乏能够支持它的说明，因此无法可靠地支持读取眼底图像。
参考图1，根据本发明的一实施例的血管疾病预测支持装置100，如上所述，为了解决如上所述缺乏可靠性的眼底图像读取支持，在利用眼底图像预测血管疾病时，可以使所导出的眼底图像的属性信息具有可靠性，自动生成能够支持医护人员进行准确读取的眼底图像的属性信息。即，根据本发明的血管疾病预测支持装置100首先能够有助于从通过相机等拍摄被检测者的眼底获得的眼底图像10了解属性信息，其次能够有助于读取或者说明包括属性信息的被检测者的眼底图像实际上是否为可靠的眼底图像。
为了生成如上所述眼底图像的属性信息，血管疾病预测支持装置100可以利用机器学习模型(Machine Learning Model)从所拍摄的第一眼底图像10提取第一眼底图像10的第一属性信息30，所提取的第一眼底图像10的第一属性信息30存储在后述的系统记忆部113或者存储设备115中。机器学习模型可以被输入到处理器111来执行，虽未图示，但可以被输入到计算机可读记录介质来执行。另外，机器学习模型可以被输入到记忆部113或者存储设备115，由所述处理器111动作而执行。
进一步地，血管疾病预测支持装置100可以将被检测者，例如被检测者(患者)的临床信息进一步存储在后述的记忆部113或者存储设备115中。处理器111可以活用存储在记忆体或者存储设备中的对象的临床信息，提取基于机器学习模型的第一眼底图像的第一属性信息。临床信息可以为对象(患者)的年龄、性别、病历、门诊信息、检测值、运动习惯、饮食习惯、与所述病历有关的家族病历、患者的酒量以及是否吸烟等，而且不限于此。门诊信息可以包括医生可以向患者执行的神经医学门诊等，其与病历不同，可以是指目前观察到的理想意见。另外，检测值可以考虑例如测定眼压(Intraocular pressure)的值、血压、血糖数值等。
第一属性信息30可以包括可以支持医护人员之类的实体(entity)预测以及诊断病名的信息，例如，在被检测者的眼底图像预测以及诊断动脉粥样硬化(Atherosclerosis)之类的心血管疾病(Cardiovasculardisease,CVD)时，第一属性信息可以包括眼底图像中包含的视网膜血管(Retinal Vessel)的变化信息、包含中央凹(Fovea)的黄斑部(Macula)的变化信息、是否存在棉絮状斑(Cotton Wool Spot)的信息、视神经乳头(Optic Disc)的变化信息等。此时，视网膜血管的变化信息可以包括血管的厚度、血管的膨胀度、血管膨胀进行速度、通过血管膨胀进行速度的血管的弹性度中的至少一个，视神经乳头(OpticDisc)的变化信息可以包括C/D比(Cup-to-Disk ratio：杯盘比)的信息、对盘沿变薄(DiscRim Thinning)的厚度变化信息、与视网膜神经纤维层缺损(Retinal Nerve Fiber LayerDefect)有关的明暗信息中的至少一个。
第一属性信息可以由是否存在意见(Finding)表示或者由可以确认是否存在意见的预测值(Prediction Value)表示，所述意见是指是否存在动脉粥样硬化之类的血管疾病。所述预测值为百分率，可以由0和1之间的数字表示，然而不限于此。
根据本发明的一实施例的血管疾病预测支持方法，其对经拍摄的第一眼底图像10映射(Mapping)显著因子(Saliency factor)11，生成具有与第一眼底图像10的属性信息相对应的特征的第二眼底图像20。此时，映射显著因子11可以是通过显著滤波器(SaliencyFilter)15由处理器111执行，生成的第二眼底图像20可以与第一眼底图像10一起存储在后述的记忆部113或者存储设备115中。
映射到第一眼底图像10的显著因子11可以包括调整表示第一眼底图像的R、G、B像素的渐变等级(Gradation level)的值、能够调整R、G、B像素的颜色(Colar)变化的值、在第一眼底图像调整局部对比度(Contrast Ratio)的值、调整第一眼底图像的方向特征(Orientation feature)的值等，而且不限于此，只要是能够使第一眼底图像的第一属性信息引起变化的因素，可以全部包含于此。
第二眼底图像20可以是将显著因子映射一次来生成，然而可以是根据基于机器学习模型获取的预测值(Prediction Value)，反复映射来生成。
如上所述，具有基于机器学习模型获得的属性信息的第一眼底图像和映射显著因子而具有与第一眼底图像的属性信息相对应的特征的第二眼底图像可以通过后述的显示适配器118或者网络适配器119之类的传送模块提供给外部实体或者提供给通过互联网络与计算设备110联动的远程计算设备或者其他装置。
由于第二眼底图像20显示与第一眼底图像10的属性信息相对应的特征，因此，使实体读取第一眼底图像时，容易与第二眼底图像进行比较读取，可以对读取的结果进行说明，由此，可以在具有第一属性信息的第一眼底图像的读取中提高可靠性。
另外，生成的第二眼底图像20被图像处理以与第一眼底图像重叠(Overlay)，从而生成第三眼底图像40，生成的第三眼底图像40可以提供给实体。第三眼底图像40可以通过视觉告知与第一眼底图像10的属性信息相对应的特征显示在眼底图像的哪一区域，因此可以提高准确的读取以及可以对读取进行说明。
图2是概略示出根据本发明的一实施例，利用被检测者的眼底图像，预测支持血管疾病的装置的图。
参考图2，根据本发明的一实施例的血管疾病预测支持装置100可以包括计算设备(Computing Device)110、显示设备(Display Device)130。计算设备110可以包括处理器(Processor)111、记忆部(Memory Unit)113、存储设备(Storage Device)115、输出入接口117、网络适配器(Network Adapter)118、显示适配器(Display Adapter)119、将处理器在内的多种系统构成要素与记忆部113进行连接的系统总线(System bus)112，然而不限于此。另外，血管疾病预测支持装置不仅包括用于传递信息的总线112，还可以包括其他通信机制。
总线或者其他通信机制使处理器、作为计算机可读记录介质的记忆体、近距离通信模块(例如，蓝牙或者NFC(近场通信))、包括网络接口或者移动通信模块的网络适配器、显示设备(例如，CRT(阴极射线管)或者LCD(液晶显示器)等)、输入装置(例如，键盘、小键盘、虚拟键盘、鼠标、跟踪球、触针、触控感应单元等)以及/或者下位系统彼此接通。
处理器111可以为利用机器学习模型13自动处理的处理模块，可以为CPU(中央处理器)、AP(Application Processor；应用处理器)、微控制器等，然而不限于此。
处理器111可以与显示设备用硬件控制器，例如显示适配器119进行通信，从而在显示设备130上显示血管疾病预测支持装置的动作以及用户界面。
处理器111通过与记忆部113接通来执行存储在记忆部中的指令或者逻辑的一个以上的序列，由此控制后述的根据本发明的实施例的血管疾病预测支持装置的动作。
所述指令也可以是在记忆体内由静态存储部(Static storage)或者磁盘驱动器之类其他计算机可读记录介质进行读取。在其他实施形态中，也可以代替用于体现本公开的软件指令或者使用与软件指令组合的硬件内部中存储的电路部(hard-wiredcircuitry)。逻辑也可以是指参与到通过处理器提供指令的任意的介质，也可以加载到记忆部113。
系统总线(System bus)112表示在多种总线结构(architectures)中任意使用的存储总线或者包括存储控制器、周边装置总线、加速图形端口以及处理器或者局部总线的多种可能类型的总线结构中的一个以上。例如，所述结构(architectures)可以包括ISA(Industry Standard Architecture；工业标准体系结构)总线、MCA(Micro ChannelArchitecture；微通道体系结构)总线、EISA(Enhanced ISA；增强的工业标准体系结构)总线、VESA(Video Electronics Standard Association；美国视频电子标准协会)局部总线、AGP(Accelerated Graphics Port；加速图形端口)总线以及PCI(Peripheral ComponentInterconnects；外部部件互联标准)、串行(PCI-Express)总线、PCMCIA(PersonalComputer Memory Card Industry Association；个人计算机记忆卡工业协会)、USB(Universal Serial Bus；通用串行总线)之类。
系统总线(System bus)112可以通过有无线网络连接来执行。包括处理器(Processor)111、大容量存储设备(Mass Storage Device)、操作系统(OperatingSystem)、成像软件(Imaging Software)、成像数据(Imaging Data)、网络适配器(NetworkAdapter)、系统记忆体(System Memory)、输入/输出接口(Input/Output Interface)、显示适配器(Display Adapter)、显示设备(Display Device)的子系统各自可以在物理分离的位置包含在一个以上的远程计算设备(Remote Computing Device)200、300、400内，在有效执行分散的系统时，可以通过如上所述形态的总线进行连接。
包括总线的布线(wires)的传输介质可以包括同轴电缆、铜线(copper wire)以及光纤。在一例中，传输介质也可以采用无线电波通信或者红外线数据通信期间生成的声波或者光波的形态。
根据本发明的实施例的血管疾病预测支持装置100也可以通过网络链路以及网络适配器(Network Adapter)118收发包括消息、数据、信息以及一个以上的程序(即，应用代码)的指令。
网络适配器(Network Adapter)118也可以包括单独或者合并的天线以能够通过网络链路收发信号。网络适配器118可以接通网络，从而与远程血管疾病预测支持装置之类的远程计算设备(Remote Computing Device)200、300、400进行通信。网络可以包括LAN(局域网)、WLAN(无线局域网)、PSTN(公用电话交换网)以及蜂窝电话网络中的至少一个，然而不限于此。
网络适配器118可以包括网络接口以及移动通信模块中的至少一个以接通所述网络。移动通信模块可以接通各个时代的移动通信网(例如，2G至5G移动通信网)。
程序代码在接收时也可以由处理器111执行，以及/或者为了执行也可以存储在记忆部113的磁盘驱动器或者与磁盘驱动器不同种类的非易失性存储器中。
计算设备(Computing device)110可以包括多种计算机可读记录介质。可读取介质可以为可由计算设备访问的任意的多种介质，例如，可以包括易失性(volatile)或者非易失性介质(non-volatile media)、可移动介质(removable media)、固定介质(non-removable media)，然而不限于此。
记忆部113可以存储根据本发明的实施例的血管疾病预测支持装置的动作中所需的操作系统、驱动器、应用程序、数据以及数据库等，然而不限于此。另外，记忆部113可以以RAM(Random Acces Memory；随机存取存储器)之类的易失性存储器、ROM(Read OnlyMemory；只读存储器)以及闪速存储器之类的非易失性存储器形态包括计算机可读介质，另外，可以包括磁盘驱动器，例如硬盘驱动器(Hard Disk Drive)、固态硬盘(Solid StateDrive)、光盘驱动器等，然而不限于此。另外，记忆部113和存储设备115各自可以包括如典型的对象的眼底图像的成像数据(Imaging Data)113a、115a之类的数据、可以立即接通以由处理器111进行动作的成像软件113b、115b和操作系统113c、115c之类的程序模块。
机器学习模型13可以插入到处理器111、记忆部113或者存储设备115。此时的机器学习模型13可以包括作为机器学习算法之一的深度神经网络(Deep Neural Network,DNN)、卷积神经网络(Convolutional Neural Network,CNN)、循环神经网络(RecurrentNeural Network,RNN)等，而且不限于此。
深度神经网络(Deep Neural Network,DNN)是在输入层(input layer)和输出层(output layer)之间由多个隐藏层(hidden layer)构成的人工神经网络(ArtificialNeural Network,ANN)。深度神经网络(Deep Neural Network,DNN)与一般的人工神经网络相同，可以建模复杂的非线性关系(non-linear relationship)。例如，在用于物体识别模型的深度神经网络结构中，各个物体可以由图像的基本因素的层结构表示。此时，追加层可以聚合逐渐聚集的下位层的特征。深度神经网络的所述特征相比类似执行的人工神经网络，仅通过更少数量的单元(unit,node)也能建模复杂的数据。
卷积神经网络(CNN)是为了使用最小限度的预处理(preprocess)而设计的多层感知器(multilayer perceptrons)的一种。卷积神经网络(CNN)由一个或多个卷积层和在其上的一般的人工神经网络层构成，进一步活用权重和池化层(pooling layer)。由于所述结构，卷积神经网络(CNN)可以充分活用二维结构的输入数据。与其他深度学习结构相比较，卷积神经网络(CNN)在图像、语音领域全部显示优秀的性能。卷积神经网络(CNN)又可以通过标准反向传播来训练。卷积神经网络(CNN)相比其他的前馈人工神经网络技术，具有容易训练且使用少数的参数的优点。
在深度学习中，开发出卷积深度信念网络(Convolutional Deep BeliefNetwork,CDBN)，其与现有的卷积神经网络(CNN)在结构上非常类似，因此可以很好地利用二维结构，与此相同，也可以采用基于深度信念网络(Deep Belief Network,CDBN)中的先训练的优点。卷积深度信念网络(CDBN)提供可以用在多种图像和信号处理技术中的一般结构，用在CIFAR之类与标准图像数据有关的多个基准结果。
循环神经网络(Recurrent Neural Network,RNN)是指构成人工神经网络的单元之间的连接构成有向圈(directed cycle)的神经网络。循环神经网络为了处理任意的输入，可以活用神经网络内部的记忆体。由于所述特性，循环神经网络活用在手写识别(Handwriting recognition)之类的领域，显示高的识别率。
图3是概略示出根据本发明的一实施例，利用被检测者的眼底图像，预测支持血管疾病的系统的图。
参考图3，根据本发明的一实施例的血管疾病预测支持系统500包括根据本发明的一实施例的血管疾病预测支持装置100的构成要素，进一步包括相机部(Camera)150。因此，省略与已经说明的利用眼底图像的血管疾病预测支持装置的构成要素有关的动作以及说明。相机部15包括图像传感器(未图示)，并拍摄对象的眼底图像，所述图像传感器拍摄物体的图像，将该图像利用光电子转换为图像信号。所拍摄的对象的眼底图像通过输入/输出接口117提供至处理器111，基于机器学习模型进行处理。
图4是在根据本发明的血管疾病预测支持装置的一实施例中，用于说明为了能够比较读取眼底图像中包含的属性信息而进行支持的方法的图。
参考图4，(a)是根据本发明的血管疾病预测支持装置基于机器学习模型从被检测者获得的第一眼底图像，(b)是对第一眼底图像映射显著因子(Saliency factor)获得的第二眼底图像，(c)是进行图像处理以使第一眼底图像和第二眼底图像重叠，从而可以将第一眼底图像和第二眼底图像同时视觉化的第三眼底图像。
在第一眼底图像(a)中，属性信息可以为视网膜血管(Retinal Vessel)①的变化信息、包含中央凹(Fovea)的黄斑部(Macula)②的变化信息、是否存在棉絮状斑(CottonWool Spot)③的信息、视神经乳头(Optic Disc)④的变化信息中的至少一个，只要是在第一眼底图像中预测血管疾病时给予信息的部位，皆包含于此。第二眼底图像(b)显示与第一眼底图像的属性信息的区域相对应的区域。对于显著因子(Saliency factor)的映射方法已经有过说明，因此省略对其的说明。
具体观察的话，基于机器学习模型获得的第一眼底图像(a)为，通过多个属性信息而医护人员之类的实体给出具有血管疾病的意见的眼底图像。然而，即便是如上所述基于机器学习模型存在意见的第一眼底图像，无法了解实际上基于哪一区域判断出是否存在血管疾病，因此对第一眼底图像的意见的可靠性低，缺少可以确认意见的说明。
根据本发明的血管疾病预测支持装置如(b)所示，识别对血管疾病的预测做出贡献的区域的同时，生成第二眼底图像以显示能够支持意见的区域，例如与第一眼底图像的属性信息相对应的区域的特征，并提供给实体，从而可以基于第一眼底图像具有预测血管疾病的可靠性和说明意见的依据。
图5是在根据本发明的血管疾病预测支持装置的一实施例中，用于说明视网膜血管的变化信息的图，图6是在根据本发明的血管疾病预测支持装置的一实施例中，用于说明视神经乳头的变化信息的图。
参考图5，(a)为第一眼底图像，(b)为为了在第一眼底图像获取与视网膜血管有关的信息，进行图像处理并放大的眼底图像，(c1)、(c2)以及(c3)为显示视网膜血管的变化信息的图像。即，(c1)在放大的眼底图像表示血管厚度，(c2)在放大的眼底图像表示血管膨胀度，(c3)在放大的眼底图像表示血管膨胀进行速度或者血管的弹性度。此时，血管厚度是在血管的外壁和与血管的中心线呈直角的线的交叉点上测量的距离，血管膨胀度为在血管的相同点上发生的时间差异导致的血管的厚度变化，血管膨胀进行速度表示将血管膨胀从一点向另一点移动的距离用移动时间相除的值或者利用傅里叶变换(Fourier Transform)算出的与其相对应的速度值。
参考图6，(a)是用于C/D比(Cup-to-Diskratio)的第一眼底图像，(a＇)是为了在视神经乳头区域获取C/D比(Cup-to-Disk)的信息而进行图像处理，并放大的眼底图像，(b)是用于盘沿变薄(Disc Rim Thinning)的第一眼底图像，(b＇)是为了获取对盘沿变薄(DiscRim Thinning)的厚度信息而进行图像处理，并放大的眼底图像，(c)是用于视网膜神经纤维层缺损(Retinal Nerve Fiber Layer Defect)的第一眼底图像，(c＇)是为了获取与视网膜神经纤维层缺损(Retinal Nerve Fiber Layer Defect)有关的明暗信息而进行图像处理，并放大的眼底图像。
C/D比是指将相当于眼底图像的视杯(Cup)的面积的上下(在眼底图像所定义的方向的Superior(上)、Inferior(下))方向的最大距离用相当于视盘(Disc)的面积的上下方向的最大距离相除的值。所述C/D比信息是在眼底图像预测血管疾病的标准。
盘沿变薄(Disc Rim Thinning)是指，在眼底图像的视盘(Disc)面积中，将除去属于视杯(Cup)的面积的部分称为边缘(Rim)，在眼底图像所定义的上外缘(Superiotemporal,Stemp)、上(Superior)、下外缘(Inferiotempal)、下(Inferior)的方向的边缘(Rim)的厚度变窄的程度。通常，当将朝上外缘、上、下外缘、下方向的边缘(Rim)的厚度各自用朝外缘(Temporal,Temp)方向的边缘(Rim)的厚度相除的值中的某一个大致为1.6以下时，或者为视盘(Disc)的最大长度的约0.1倍以下时，可以预测血管疾病。
视网膜神经纤维层缺损(RNFL Defect)是指视网膜神经纤维层从眼底图像的视盘(Disc)开始以扇形形态显示，而所述神经纤维发生缺损的情况，当发生视网膜神经纤维层缺损时，在眼底图像中对应部位变暗，亮的神经纤维类型的图案发生损失，从而可以预测血管疾病。
如上所述，根据本发明的血管疾病预测支持方法可以通过视网膜血管的多种变化信息，直接预测被检测者的血管疾病，可以通过视神经乳头的变化信息，间接预测被检测者的血管疾病，从而可以提高预测的可靠性。
图7a以及图7b是在根据本发明的血管疾病预测支持装置的一实施例中，说明用于机器学习模型的眼底图像生成方法的图。
参考图7a，为了重点确认第一眼底图像的特定区域，例如包括视网膜血管的视神经乳头区域的信息，对于通过相机拍摄获取或者已经存储的被检测者的第一眼底图像(a)进行图像预处理以放大对应区域，并生成眼底图像(b)。所述眼底图像基于通过机器学习模型获得的属性信息，预测是否存在血管疾病。
另外，如图7b所示，对于进行图像预处理而放大的图像(a)，如(b)所述，可以局部划分而生成多个眼底图像(c)。此时，多个眼底图像可以是眼底部位局部重叠而生成。所述多个眼底图像也是基于通过机器学习模型获得的属性信息，预测是否存在血管疾病。
如上所述，对被检测者的初始第一眼底图像，通过多种方法生成新的眼底图像，并输入到机器学习模型，由此提高血管疾病的预测准确度。
一方面，在图7a以及图7b中，将用于机器学习模型的新的眼底图像通过对特定区域进行放大或者利用局部划分进行图像预处理来生成，然而不限于此，可以生成多种新的眼底图像。例如，可以以第一眼底图像的特定基准轴为中心进行旋转来生成眼底图像，或者调整第一眼底图像的对比度(Contrast)或者亮度(Brightness)来生成眼底图像，或者以第一眼底图像的水平或者垂直轴为中心进行翻转(flip)来生成眼底图像。另外，可以对如上所述方法进行多种组合来生成新的眼底图像。
图8是示出针对眼底图像利用本发明的血管疾病预测支持装置，基于机器学习模型获得的动脉粥样硬化的预测准确度性能(DL-FAS,AUROC)的图表。
根据本发明的一实施例的血管疾病预测支持装置，将用于机器学习模型的学习的眼底图像的训练集(Training set)设为12,362，将眼底图像的训练集(Training set)设为1,526并执行，由此预测准确度性能值(AUROC)显示0.713。此时，作为训练集(Trainingset)使用的眼底图像没有进行图像预处理，是活用机器学习模型的图像。虽然预测准确度性能值(AUROC)没有接近理想值，然而对血管疾病的预测准确度充分高，另外，针对用于如上所述机器学习模型的眼底图像进行图像预处理，由此可以得到更高的预测准确度。
图9是示例性示出根据本发明的一实施例的血管疾病预测支持方法的流程图。
参考图9，从外部设备装置，例如从眼底相机(Fundus Camera)或者与计算设备110联动的其他装置(未图示)获取被检测者的第一眼底图像，则计算设备110基于机器学习模型从第一眼底图像提取属性信息S910。第一眼底图像可以存储在记忆部113或者存储设备115中。然后，计算设备110对第一眼底图像进行图像预处理S920。进行图像预处理的方法与如上所述的方法相同，因此省略对其的说明。然后，对第一眼底图像映射显著因子(Saliency factor)。显著因子的映射方法与如上所述的方法相同，因此省略对其的说明。由此，生成具有与第一眼底图像的属性信息相对应的特征的第二眼底图像S930。该情况下，为了使第二眼底图像对第一眼底图像发生重叠而进行图像处理，从而生成第三眼底图像。第二眼底图像也是可以存储在记忆部113或者存储设备115中。通过计算设备的网络适配器118和显示适配器119之类的传送模块，向外部实体提供第一眼底图像和第二眼底图像S940。
如上所述，根据本发明的血管疾病预测支持装置以及方法在读取基于机器学习模型的眼底图像时，可以支持读取可以说明的眼底图像，从而可以使医护人员通过更加可靠的眼底图像，预测血管疾病。
如上述实施例所述，应明确理解本发明可以通过软件和硬件的结合达成或者仅通过硬件达成。本发明的技术方法的对象或者为现有技术做贡献的部分可以体现为可以通过多种计算机构成要素执行的程序指令形态，从而记录在机器可读记录介质中。所述机器可读记录介质可以单独或者组合包括程序指令、数据文件、数据结构等。记录在所述机器可读记录介质中的程序指令也可以是为了本发明而特别设计并构成的，或者对计算机软件领域的通常的技术人员公知而可以使用的。
作为机器可读记录介质的例子，包括硬盘、软磁盘以及磁带之类的磁性介质、CD-ROM(只读光盘驱动器)、DVD之类的光记录介质、软式光盘(floptical disk)之类的磁-光介质(magneto-optical media)以及ROM、RAM、闪速存储器等之类特别构成的硬件装置以存储程序指令并执行。作为程序指令的例子，不仅包括如通过编译制得的机器语言代码，还包括使用解释器并可由计算机执行的高级语言代码。
所述硬件装置为了执行本发明的处理，可以构成为作为一个以上的软件模块动作，其作用也相同。所述硬件装置可以包括CPU或者GPU之类的处理器，可以包括可以与外部设备收发信号的通信部，其中，所述CPU或者GPU之类的处理器构成为与用于存储程序指令的ROM/RAM等之类的记忆体结合，执行存储在所述记忆体中的指令。进一步地，所述硬件装置可以包括键盘、鼠标、其他外部输入装置以传递得到由开发者编写的指令。
如上所述，观察了根据本发明的实施例，本技术领域中具有通常知识的人应明确除了上述说明的实施例之外，本发明也可以在不脱离该主旨或者范畴的情况下具体化为其他特定形态。因此，应理解上述实施例不用于限定而是用于示例，由此，本发明不局限于上述说明，也可以在随附的权利要求的范畴以及其均等范围内进行变更。
Claims (17)
1.一种利用眼底图像的血管疾病预测支持方法，其为支持被检测者的血管疾病预测的方法，所述方法包括：
(a)基于机器学习模型，从所述被检测者的第一眼底图像提取属性信息的步骤；
(b)对所述第一眼底图像映射显著因子，生成具有与所述属性信息相对应的特征的第二眼底图像的步骤；以及
(c)向外部实体提供所述第一眼底图像和所述第二眼底图像的步骤。
2.根据权利要求1所述的利用眼底图像的血管疾病预测支持方法，其中，所述显著因子包括：
调整表示所述第一眼底图像的R、G、B像素的渐变等级的值、能够调整R、G、B像素的颜色变化的值、在所述第一眼底图像中调整局部对比度的值、调整所述第一眼底图像的方向特征的值中的至少一个。
3.根据权利要求1所述的利用眼底图像的血管疾病预测支持方法，其中，
所述机器学习模型包括深度神经网络、卷积神经网络、循环神经网络。
4.根据权利要求1所述的利用眼底图像的血管疾病预测支持方法，其中，所述第一眼底图像的属性信息为，
眼底图像中包含的视网膜血管的变化信息、包含中央凹的黄斑部的变化信息、是否存在棉絮状斑的信息、视神经乳头的变化信息中的至少一个。
5.根据权利要求4所述的利用眼底图像的血管疾病预测支持方法，其中，所述视网膜血管的变化信息包括：
所述血管的厚度、所述血管的膨胀度、所述血管膨胀进行速度、通过所述血管膨胀进行速度的所述血管的弹性度中的至少一个。
6.根据权利要求4所述的利用眼底图像的血管疾病预测支持方法，其中，所述视神经乳头的变化信息包括：
杯盘比的信息、对盘沿变薄的厚度变化信息、与视网膜神经纤维层缺损有关的明暗信息中的至少一个。
7.根据权利要求1所述的利用眼底图像的血管疾病预测支持方法，所述方法还包括：将所述第一眼底图像进行局部划分来生成多个眼底图像，或者放大所述第一眼底图像的特定区域来生成眼底图像，或者以所述第一眼底图像的基准轴为中心进行旋转来生成眼底图像，或者调整所述第一眼底图像的对比度或者亮度来生成眼底图像，或者以所述第一眼底图像的水平或者垂直轴为中心进行翻转来生成眼底图像的步骤。
8.根据权利要求1所述的利用眼底图像的血管疾病预测支持方法，所述方法还包括：为了使映射显著因子的第二眼底图像对所述第一眼底图像发生重叠而进行图像处理，从而生成视觉化的第三眼底图像的步骤。
9.根据权利要求1所述的利用眼底图像的血管疾病预测支持方法，其中，所述第一眼底图像的属性信息是利用所述被检测者的临床信息来提取的。
10.根据权利要求9所述的血管疾病预测支持方法，其中，所述临床信息包括所述被检测者的年龄、性别、病历、门诊信息、检测值、运动习惯、饮食习惯、吸烟以及饮酒与否中的至少一个。
11.一种存储在机器可读记录介质中的计算机程序，其包括指令，所述指令被配置为执行权利要求1至10中任一项所述的方法。
12.一种利用眼底图像的血管疾病预测支持装置，所述装置包括：
记忆部，所述记忆部存储有被检测者的第一眼底图像；以及
处理器，所述处理部基于机器学习模型，从所述第一眼底图像提取属性信息，对所述第一眼底图像映射显著因子，生成具有与所述属性信息相对应的特征的第二眼底图像。
13.根据权利要求12所述的血管疾病预测支持装置，其中，所述第一眼底图像的属性信息为，
眼底图像中包含的视网膜血管的变化信息、包含中央凹的黄斑部的变化信息、是否存在棉絮状斑的信息、视神经乳头的变化信息中的至少一个。
14.根据权利要求12所述的血管疾病预测支持装置，其中，所述显著因子包括：
调整表示所述第一眼底图像的R、G、B像素的渐变等级的值、能够调整R、G、B像素的颜色变化的值、在所述第一眼底图像调整局部对比度的值、在所述第一眼底图像调整方向特征的值中的至少一个。
15.根据权利要求12所述的血管疾病预测支持装置，其中，
所述处理器将所述第一眼底图像进行局部划分，生成多个眼底图像，提取所述多个眼底图像的属性信息。
16.根据权利要求15所述的血管疾病预测支持装置，其中，
所述多个眼底图像是在所述第一眼底图像中，眼底部位被局部重叠而生成的。
17.一种利用眼底图像的血管疾病预测支持系统，所述系统包括：
相机部，所述相机部拍摄被检测者的第一眼底图像；
记忆部，所述记忆部存储有所述第一眼底图像；以及
处理器，所述处理部基于机器学习模型，从所述第一眼底图像提取属性信息，对所述第一眼底图像映射显著因子，生成具有与所述属性信息相对应的特征的第二眼底图像。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200068154A KR102414994B1 (ko) | 2020-06-05 | 2020-06-05 | 안저영상을 이용한 혈관질환 예측 지원방법 및 지원장치, 이를 포함하는 시스템 |
| KR10-2020-0068154 | 2020-06-05 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113837988A true CN113837988A (zh) | 2021-12-24 |
Family
ID=78816610
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110151865.8A Pending CN113837988A (zh) | 2020-06-05 | 2021-02-03 | 血管疾病预测支持方法以及支持装置、包含其的系统 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11969213B2 (zh) |
| KR (1) | KR102414994B1 (zh) |
| CN (1) | CN113837988A (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11766223B1 (en) * | 2022-05-05 | 2023-09-26 | Toku Eyes Limited | Systems and methods for processing of fundus images |
| CN115482933B (zh) * | 2022-11-01 | 2023-11-28 | 北京鹰瞳科技发展股份有限公司 | 用于对驾驶员的驾驶风险进行评估的方法及其相关产品 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130000576A (ko) * | 2011-06-23 | 2013-01-03 | 주식회사 인피니트헬스케어 | 안구검진 단말 및 방법 |
| US8885901B1 (en) * | 2013-10-22 | 2014-11-11 | Eyenuk, Inc. | Systems and methods for automated enhancement of retinal images |
| WO2019024568A1 (zh) * | 2017-08-02 | 2019-02-07 | 上海市第六人民医院 | 眼底图像处理方法、装置、计算机设备和存储介质 |
| KR101977645B1 (ko) * | 2017-08-25 | 2019-06-12 | 주식회사 메디웨일 | 안구영상 분석방법 |
| WO2019083129A1 (ko) * | 2017-10-27 | 2019-05-02 | 주식회사 뷰노 | 피검체에 대한 안저 영상의 판독을 지원하는 방법 및 이를 이용한 장치 |
| KR101848321B1 (ko) * | 2017-10-27 | 2018-04-20 | 주식회사 뷰노 | 피검체에 대한 안저 영상의 판독을 지원하는 방법 및 이를 이용한 장치 |
| SG11202005927VA (en) * | 2017-12-20 | 2020-07-29 | Medi Whale Inc | Method and apparatus for assisting in diagnosis of cardiovascular disease |
| US20220301709A1 (en) * | 2017-12-20 | 2022-09-22 | Medi Whale Inc. | Diagnosis assistance method and cardiovascular disease diagnosis assistance method |
| KR102071774B1 (ko) | 2017-12-20 | 2020-01-30 | 주식회사 메디웨일 | 안구영상을 이용한 심뇌혈관 질환 예측방법 |
| KR102435799B1 (ko) * | 2020-06-29 | 2022-08-25 | 주식회사 메디웨일 | 진단 보조 방법 및 장치 |
| TWI790572B (zh) * | 2021-03-19 | 2023-01-21 | 宏碁智醫股份有限公司 | 影像相關的檢測方法及檢測裝置 |
-
2020
- 2020-06-05 KR KR1020200068154A patent/KR102414994B1/ko active IP Right Grant
-
2021
- 2021-02-03 CN CN202110151865.8A patent/CN113837988A/zh active Pending
- 2021-05-09 US US17/315,318 patent/US11969213B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210151395A (ko) | 2021-12-14 |
| US20210378510A1 (en) | 2021-12-09 |
| US11969213B2 (en) | 2024-04-30 |
| KR102414994B1 (ko) | 2022-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3596697B1 (en) | Generalizable medical image analysis using segmentation and classification neural networks | |
| US20210338333A1 (en) | Systems and methods for treatment planning based on plaque progression and regression curves | |
| US10722180B2 (en) | Deep learning-based diagnosis and referral of ophthalmic diseases and disorders | |
| US20210327062A1 (en) | Method and device for assisting heart disease diagnosis | |
| KR20190060606A (ko) | 의료 영상 진단 장치 및 방법 | |
| US20220059227A1 (en) | Method for displaying ultrasonic image, ultrasonic diagnostic device, and computer program product | |
| CN113191999A (zh) | 支持读取眼底图像的方法以及装置、包含该装置的系统 | |
| JP7143862B2 (ja) | 診断支援装置、学習装置、診断支援方法、学習方法及びプログラム | |
| CN113837988A (zh) | 血管疾病预测支持方法以及支持装置、包含其的系统 | |
| CN110381846B (zh) | 血管阻塞诊断方法、设备及系统 | |
| US20220335601A1 (en) | Optical coherence tomography-based system for diagnosis of high-risk lesion and diagnosis method therefor | |
| US20230162359A1 (en) | Diagnostic assistance method and device | |
| KR102492463B1 (ko) | 병변 판독 결과 표시 방법 | |
| Gende et al. | End-to-end multi-task learning approaches for the joint epiretinal membrane segmentation and screening in OCT images | |
| Chen et al. | Applications of artificial intelligence and deep learning in glaucoma | |
| WO2022071264A1 (ja) | プログラム、モデル生成方法、情報処理装置及び情報処理方法 | |
| KR20200114228A (ko) | 순환 신경망을 이용한 이소시트르산 탈수소효소 유전형 변이 예측 방법 및 시스템 | |
| EP3184051B1 (en) | Clustering, noise reduction and visualization method for doppler ultrasound images | |
| KR102472886B1 (ko) | 신부전증의 진단에 대한 정보 제공 방법 및 이를 이용한 디바이스 | |
| US20060029269A1 (en) | Apparatus, program and method for motion analysis in internal body | |
| KR20230099995A (ko) | 자궁 경부암의 진단에 대한 정보 제공 방법 및 이를 이용한 자궁 경부암의 진단에 대한 정보 제공용 디바이스 | |
| Meng et al. | Deep learning segmentation, classification, and risk prediction of complex vascular lesions on intravascular ultrasound images | |
| KR20220161672A (ko) | 설명 가능한 생체 이미지 판독 지원 장치 및 방법 | |
| KR20220108235A (ko) | 생체 이미지 판독 지원 장치 및 방법 | |
| Waisberg et al. | Generative artificial intelligence in ophthalmology |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |