CN111902071A - 诊断辅助装置、学习装置、诊断辅助方法、学习方法及程序 - Google Patents

诊断辅助装置、学习装置、诊断辅助方法、学习方法及程序 Download PDF

Info

Publication number
CN111902071A
CN111902071A CN201980018367.7A CN201980018367A CN111902071A CN 111902071 A CN111902071 A CN 111902071A CN 201980018367 A CN201980018367 A CN 201980018367A CN 111902071 A CN111902071 A CN 111902071A
Authority
CN
China
Prior art keywords
fundus
image
information
learning
blood circulation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980018367.7A
Other languages
English (en)
Other versions
CN111902071B (zh
Inventor
栗原俊英
坚田侑作
坪田一男
正好奏斗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Keio School Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Keio School Corp filed Critical Keio School Corp
Publication of CN111902071A publication Critical patent/CN111902071A/zh
Application granted granted Critical
Publication of CN111902071B publication Critical patent/CN111902071B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A61B3/1241Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes specially adapted for observation of ocular blood flow, e.g. by fluorescein angiography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Hematology (AREA)
  • Vascular Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Dentistry (AREA)
  • Quality & Reliability (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

诊断辅助装置具有:确定部,其使用学习模型来确定作为眼底的图像的眼底图像中的血液循环异常区域,该学习模型是基于眼底图像和根据眼底的荧光眼底造影图像而确定的血液循环异常区域,对眼底图像与眼底图像中的血液循环异常区域之间的关系进行学习而得到的;和输出部,其输出表示确定部使用患者的眼底图像和学习模型而确定的患者的眼底图像中的血液循环异常区域的信息。

Description

诊断辅助装置、学习装置、诊断辅助方法、学习方法及程序
技术领域
本发明涉及诊断辅助装置、学习装置、诊断辅助方法、学习方法及程序。
本申请基于2018年1月19日在日本提出申请的特愿2018-7585号主张优先权,并将其内容引用于此。
背景技术
糖尿病视网膜病变是占日本的失明原因第2位的重要疾病,自觉症状出现是在病期发展了相当长时间之后,因此,体检等中的早期发现、早期治疗很重要。针对该课题,提出了使作为糖尿病视网膜病变的初始变化的毛细血管瘤强调的眼底图像分析系统(参照专利文献1)、从眼底图像进行糖尿病视网膜病变的筛选的图像分析系统(参照专利文献2)。
现有技术文献
专利文献
专利文献1:日本特开2010-178802号公报
专利文献2:US2014/0314288A1
发明内容
在专利文献1和专利文献2中提出的技术如上述这样以疾病的发现、筛选为目的。另一方面,在从糖尿病视网膜病变的疾病筛选更进一步而成为糖尿病视网膜病变患者的诊疗、治疗的阶段的情况下,已知糖尿病视网膜病变产生与高血糖相伴的血管障碍而陷入缺血状态,病期不断进展,从而把握视网膜循环动态最重要。为了把握视网膜循环动态,必须进行被称为荧光眼底造影检查的视网膜的造影检查。不过,视网膜的造影检查由于其危险性、侵袭性、限于大医院的地理上的制约等,是对患者和医疗者双方来说均负担较大的检查,有时对视力良好例、身体功能低下患者的拍摄、反复拍摄等会产生犹豫。因此,存在发病、病情的把握延迟、治疗拖延的病例较多这样的课题。同样的情况适用于所有以糖尿病视网膜病变为代表的眼缺血性疾病。此外,作为无创地检测视网膜循环异常的设备,存在OCT血管造影术,这与造影检查不同,甚至无法把握血流动态,而且视角较窄,因此,虽然对黄斑部疾病等局部疾病有效,但无法把握视网膜的整体像。因此,不适合以糖尿病视网膜病变为代表的眼缺血性疾病的视网膜循环动态的把握。
本发明是鉴于这样的状况而做成的,目的在于在不实施荧光眼底造影检查的情况下从眼底图像早期且容易地确定循环异常发现。
(1)本发明的一形态是一种诊断辅助装置,其具有:
确定部,其使用学习模型来确定作为眼底的图像的眼底图像中的血液循环异常区域,该学习模型是基于眼底图像和根据上述眼底的荧光眼底造影图像而确定的血液循环异常区域,对眼底图像与上述眼底图像中的血液循环异常区域之间的关系进行学习而得到的;和
输出部,其输出表示上述确定部使用患者的眼底图像和上述学习模型而确定的患者的上述眼底图像中的血液循环异常区域的信息。
(2)本发明的一形态是根据上述(1)所记载的诊断辅助装置,其中,
上述血液循环异常区域基于上述荧光眼底造影图像、以及附加于上述荧光眼底造影图像的与视网膜无灌注区域和新生血管中的某一者或两者有关的眼科医生的诊断注释而生成。
(3)本发明的一形态是根据上述(1)或上述(2)所记载的诊断辅助装置,其中,
上述确定部确定上述眼底图像中的视网膜无灌注区域和与新生血管相当的区域中的某一者或两者。
(4)本发明的一形态是根据上述(1)~上述(3)中任一项所记载的诊断辅助装置,其中,
上述输出部输出使上述确定部所确定的血液循环异常区域重叠于上述眼底图像而得到的图像。
(5)本发明的一形态是一种学习装置,其具有学习部,该学习部基于作为眼底的图像的眼底图像、和根据上述眼底的荧光眼底造影图像而确定的血液循环异常区域,通过学习而生成表示眼底图像与上述眼底图像中的血液循环异常区域之间的关系的学习模型。
(6)本发明的一形态是根据上述(5)所记载的学习装置,其中,
上述血液循环异常区域基于上述荧光眼底造影图像、以及附加于上述荧光眼底造影图像的与视网膜无灌注区域和新生血管中的某一者或两者有关的眼科医生的诊断注释而生成。
(7)本发明的一形态是一种诊断辅助方法,在该诊断辅助方法中,
使用学习模型来确定作为眼底的图像的眼底图像中的血液循环异常区域,该学习模型是基于眼底图像和根据上述眼底的荧光眼底造影图像而确定的血液循环异常区域,对眼底图像与上述眼底图像中的血液循环异常区域之间的关系进行学习而得到的;
输出表示使用患者的眼底图像和上述学习模型而确定的患者的上述眼底图像中的血液循环异常区域的信息。
(8)本发明的一形态是一种学习方法,在该学习方法中,
获取表示作为眼底的图像的眼底图像的信息和表示基于上述眼底的荧光眼底造影图像而确定的血液循环异常区域的信息;
基于所获取的上述眼底图像和基于上述眼底的上述荧光眼底造影图像而确定的血液循环异常区域,通过学习而生成表示眼底图像与上述眼底图像中的血液循环异常区域之间的关系的学习模型。
(9)本发明的一形态是一种程序,其中,
该程序使诊断辅助装置的计算机使用学习模型来确定作为眼底的图像的眼底图像中的血液循环异常区域,该学习模型是基于眼底图像和根据上述眼底的荧光眼底造影图像而确定的血液循环异常区域,对眼底图像与上述眼底图像中的血液循环异常区域之间的关系进行学习而得到的;并且
该程序使诊断辅助装置的计算机输出表示使用患者的眼底图像和上述学习模型而确定的患者的上述眼底图像中的血液循环异常区域的信息。
(10)本发明的一形态是一种程序,其中,
该程序使学习装置的计算机获取表示作为眼底的图像的眼底图像的信息和表示基于上述眼底的荧光眼底造影图像而确定的血液循环异常区域的信息;并且
该程序使学习装置的计算机基于所获取的上述眼底图像和基于上述眼底的上述荧光眼底造影图像而确定的血液循环异常区域,通过学习而生成表示眼底图像与上述眼底图像中的血液循环异常区域之间的关系的学习模型。
需要说明的是,在本发明中,“眼底图像”是指,为了进行与眼科系的疾病有关的诊断、利用眼底摄像机拍摄患者的眼底而得到的图像,“荧光眼底造影图像”是指一边从患者臂部的静脉注射荧光色素一边使用与荧光色素相对应的激励光和滤光器、连续拍摄眼底照片、拍摄眼底的循环状态的造影像而得到的图像。
发明效果
根据本发明,不实施荧光眼底造影检查,就能够从眼底图像简便地预测循环异常发现。
附图说明
图1是包括作为本发明的信息处理装置的一实施方式的服务器的、信息处理系统的构成图。
图2是表示图1的信息处理系统中的、服务器的硬件构成的框图。
图3是表示用于实现图2的服务器的功能性构成中的、NPA·NV存在概率图生成处理、附带发现存在概率图生成处理、推定NPA·NV确定处理、以及推定NPA·NV显示处理这各种处理的功能性构成的一个例子的功能框图。
图4是说明图3的服务器所执行的NPA·NV存在概率图生成处理、附带发现存在概率图生成处理、推定NPA·NV确定处理、以及推定NPA·NV显示处理等各种处理的流程的流程图。
图5是表示在图3的服务器所执行的处理中所使用的各种信息的流动的图。
图6是表示在图3的服务器所执行的处理中所获取的眼底图像信息的一个例子的图。
图7是表示在图3的服务器所执行的处理中所获取的荧光眼底造影图像信息的一个例子的图。
图8是表示在图3的服务器所执行的NPA·NV存在概率图生成处理中所输出的NPA·NV存在概率图的一个例子的图。
图9是表示在图3的服务器所执行的推定NPA·NV确定处理中所确定的推定NPA和推定NV的一个例子的图。
图10是本发明的一实施方式的变形例的信息处理系统的构成图。
图11是表示本发明的一实施方式的变形例的学习装置的一个例子的框图。
图12是表示眼底图像的一个例子的图。
图13是表示荧光眼底造影图像的一个例子的图。
图14是表示血液循环异常区域的一个例子的图。
图15是表示神经网络的构造的一个例子的图。
图16是表示本发明的一实施方式的变形例的诊断辅助装置的一个例子的框图。
图17是表示本发明的一实施方式的变形例的学习装置的动作的一个例子的流程图。
图18是表示本发明的一实施方式的变形例的诊断辅助装置的动作的一个例子的流程图。
具体实施方式
以下,使用附图对本发明的实施方式进行说明。
图1是包括作为本发明的信息处理装置的一实施方式的服务器1的信息处理系统的构成图。
图1所示的信息处理系统构成为包括服务器1、眼科医生终端2以及检查设备3。
服务器1、眼科医生终端2以及检查设备3经由互联网(Internet)等网络N相互连接。
服务器1是管理图1所示的信息处理系统的服务器,执行例如NPA·NV存在概率图生成处理、附带发现存在概率图生成处理、推定NPA·NV确定处理等各种处理。此外,对于服务器1所执行的具体处理的内容,参照图3而随后论述。
“NPA·NV存在概率图生成处理”是指,服务器1所执行的处理中的、从生成NPA·NV训练信息到生成NPA·NV存在概率图为止的一系列处理。
“NPA·NV训练信息”是指,对患者的眼底图像信息中的视网膜无灌注区域(NPA/non-perfusion area)(以下称为“视网膜无灌注区域”或“NPA”)的存在概率(以下称为“NPA存在概率”)、新生血管(NV/neovascularization)的存在概率(以下称为“NV存在概率”)进行运算之际的训练信息。具体而言,“NPA·NV训练信息”基于荧光眼底造影图像信息和附加于该信息的NPA·NV注解(annotation)信息而生成。
“视网膜无灌注区域”是指在眼缺血性疾病中因视网膜血管阻塞而产生的视网膜的循环不良区域。
“NPA·NV存在概率图”是使眼底图像信息识别显示有NPA存在概率和NV存在概率的图像信息。
“眼底图像信息”是指基于眼底图像的图像信息。
“荧光眼底造影图像信息”是指基于荧光眼底造影图像的信息。
“NPA·NV注解信息”是指附加于荧光眼底造影图像信息的、与视网膜无灌注区域(NPA)和新生血管(NV)中的至少一者有关的眼科医生D的诊断注释。
“新生血管”是视网膜无灌注区域中的视网膜的循环不良、缺血进一步发展的区域。若从新生血管产生出血、经由增殖膜形成导致的视网膜剥离,则最终导致失明,因此,确定视网膜无灌注区域、新生血管等视网膜的循环不良区域在诊疗上非常重要。
此外,对于NPA·NV存在概率图生成处理的具体处理的流程,参照图4的流程图而随后论述。
“附带发现存在概率图生成处理”是指服务器1所执行的处理中的、从生成附带发现训练信息到生成附带发现存在概率图为止的一系列处理。
“附带发现训练信息”是指,对患者的眼底图像信息中的附带发现的存在概率进行运算之际的训练信息。具体而言,“附带发现训练信息”是指基于荧光眼底造影图像信息和眼底图像信息、以及附加于这些图像信息的附带发现注解信息而生成的训练信息。
“附带发现注解信息”是指,眼科医生D对荧光眼底造影图像信息和眼底图像信息附带地进行了“不正常”这样的判断的诊断注释中的、除了与视网膜无灌注区域(NPA)或新生血管(NV)有关的诊断注释以外的诊断注释。例如,毛细血管瘤、眼底出血、硬性白斑、软性白斑、静脉异常、视网膜内细小血管异常、玻璃体出血、增殖膜、视网膜剥离这样的信息均是“附带发现注解信息”的一个例子。
“附带发现存在概率图”是使眼底图像信息识别显示有附带发现的存在概率的图像信息(未图示)。
此外,对于附带发现存在概率图生成处理的具体处理的流程,参照图4的流程图而随后论述。
“推定NPA·NV确定处理”是指,服务器1所执行的处理中的、直到基于NPA存在概率将眼底图像信息中的推定为与视网膜无灌注区域(NPA)相当的区域确定为推定NPA、基于NV存在概率将眼底图像信息中的推定为与新生血管(NV)相当的区域确定为推定NV为止的一系列处理。
此外,对于推定NPA·NV确定处理的具体处理的流程,参照图4的流程图而随后论述。
眼科医生终端2是眼科医生D所操作的信息处理装置,由例如个人计算机等构成。在眼科医生终端2中,进行NPA·NV注解信息和附带发现注解信息相对于服务器1的发送、与由服务器1确定的推定NPA·NV有关的信息的获取等。眼科医生终端2获取到的各种信息从眼科医生终端2输出并使用于由眼科医生D进行的诊断。
检查设备3由在患者的眼检查中使用的各种设备构成。检查设备3分别将通过眼底检查中的拍摄而得到的眼底图像信息以及通过荧光眼底造影检查中的拍摄而得到的荧光眼底造影图像信息向服务器1发送。
图2是表示图1的信息处理系统中的、服务器1的硬件构成的框图。
服务器1具备CPU(中央处理单元:Central Processing Unit)11、ROM(只读存储器,Read Only Memory)12、RAM(随机存取存储器,Random Access Memory)13、总线14、输入输出接口15、输出部16、输入部17、存储部18、通信部19以及驱动器20。
CPU11按照记录于ROM12的程序或从存储部18加载到RAM13的程序来执行各种处理。
在RAM13中也适当存储在CPU11执行各种处理方面所需要的数据等。
CPU11、ROM12以及RAM13经由总线14相互连接。另外,在该总线14还连接有输入输出接口15。在输入输出接口15连接有输出部16、输入部17、存储部18、通信部19以及驱动器20。
输出部16由各种液晶显示器等构成,输出各种信息。
输入部17由各种硬件等构成,输入各种信息。
存储部18由DRAM(动态随机存取存储器,Dynamic Random Access Memory)等构成,存储各种数据。
通信部19经由包括互联网在内的网络N而控制与其他装置之间进行的通信。
根据需要设置驱动器20。在驱动器20中适当安装包括磁盘、光盘、光磁盘或者半导体存储器等的可移动介质30。由驱动器20从可移动介质30读出的程序根据需要安装于存储部18。另外,可移动介质30也能够与存储部18同样地存储被存储于存储部18的各种数据。
接着,参照图3对具有这样的硬件构成的服务器1的功能性构成进行说明。
图3是表示图1的信息处理系统中的图2的服务器1的功能性构成中的、用于实现NPA·NV存在概率图生成处理、附带发现存在概率图生成处理、推定NPA·NV确定处理以及推定NPA·NV显示处理的功能性构成的一个例子的功能框图。
如图3所示,在服务器1的CPU11(图2)中,在执行NPA·NV存在概率图生成处理的情况下,图像获取部101、注解获取部102、训练信息生成部103以及运算部104发挥功能。
在执行附带发现存在概率图生成处理的情况下,图像获取部101、注解获取部102、训练信息生成部103以及运算部104发挥功能。
在执行推定NPA·NV确定处理的情况下,推定NPA·NV确定部106发挥功能。
在执行推定NPA·NV显示处理的情况下,推定NPA·NV显示控制部107发挥功能。
在存储部18(图2)的一个区域中设置有图像DB401、注解DB402、以及训练DB403。此外,存储部18也可以不是配置于服务器1,而是配置于眼科医生终端2。
图像获取部101获取患者的荧光眼底造影图像信息和患者的眼底图像信息。由图像获取部101获取到的荧光眼底造影图像信息和眼底图像信息分别存储于图像DB401而被管理。具体而言,在患者的荧光眼底造影检查中,若由检查设备3拍摄了患者的荧光眼底造影图像,则基于荧光眼底造影图像的荧光眼底造影图像信息向服务器1发送。另外,在患者的眼底检查中,若由检查设备3拍摄了患者的眼底图像,则基于眼底图像的眼底图像信息向服务器1发送。服务器1的图像获取部101获取从检查设备3发送到服务器1的荧光眼底造影图像信息和眼底图像信息,并使这些图像信息存储于图像DB401。
由此,服务器1能够没有遗漏地确切地管理患者的荧光眼底造影图像信息和眼底图像信息。
注解获取部102将附加于患者的荧光眼底造影图像信息的、与视网膜无灌注区域(NPA)和新生血管(NV)中的至少一者有关的眼科医生D的诊断注释获取为NPA·NV注解信息。具体而言,在荧光眼底造影检查中,若对荧光眼底造影图像信息附加了与视网膜无灌注区域(NPA)、新生血管(NV)有关的眼科医生D的诊断注释,则眼科医生终端2基于眼科医生D的操作而将该诊断注释作为NPA·NV注解信息向服务器1发送。服务器1的注解获取部102获取从眼科医生终端2发送来的NPA·NV注解信息,并使该信息存储于注解DB402。此外,荧光眼底造影图像信息和附加于该图像信息的NPA·NV注解信息彼此相关联地被管理。
由此,服务器1能够将附加于荧光眼底造影图像信息的与视网膜无灌注区域(NPA)和新生血管(NV)中的至少一者有关的眼科医生D的诊断注释作为NPA·NV注解信息没有遗漏地管理。
另外,注解获取部102将附加于荧光眼底造影图像和眼底图像的、与附带发现有关的眼科医生D的诊断注释获取为附带发现注解信息。具体而言,在针对荧光眼底造影图像信息和眼底图像信息附加与附带发现有关的眼科医生D的诊断注释的情况下,眼科医生终端2基于眼科医生D的操作将该诊断注释作为附带发现注解信息向服务器1发送。服务器1的注解获取部102获取从眼科医生终端2发送来的附带发现注解信息,并使该信息存储于注解DB402。此外,荧光眼底造影图像信息和眼底图像信息与附加于这些图像信息的附带发现注解信息彼此相关联地被管理。
由此,服务器1能够将附加于荧光眼底造影图像信息和眼底图像信息的与附带发现有关的眼科医生D的诊断注释作为附带发现注解信息没有遗漏地管理。
训练信息生成部103基于荧光眼底造影图像信息和与该信息相对应的NPA·NV注解信息,生成NPA·NV训练信息,该NPA·NV训练信息成为用于对NPA存在概率和NV存在概率进行运算的训练信息。
即,在图像DB401中蓄积有从多个患者获得的荧光眼底造影图像信息,在注解DB402中蓄积有NPA·NV注解信息。训练信息生成部103基于这些蓄积到数据库的信息,生成NPA·NV训练信息,该NPA·NV训练信息成为对眼底图像信息中的NPA·NV的存在概率进行运算之际的训练信息。
由此,服务器1能够生成并蓄积用于对患者的眼底图像信息中的NPA存在概率和NV存在概率进行运算的训练信息。
另外,训练信息生成部103基于荧光眼底造影图像信息和眼底图像信息、以及与这些图像信息相对应的附带发现注解信息,生成附带发现训练信息。
即,在图像DB401中蓄积有从多个患者获得的眼底图像信息和荧光眼底造影图像信息,在注解DB402中蓄积有附带发现注解信息。训练信息生成部103基于这些蓄积于数据库的信息,生成附带发现训练信息,该附带发现训练信息成为对眼底图像信息中的附带发现的存在概率进行运算之际的训练信息。
由此,服务器1能够蓄积患者的眼底图像信息中的用于运算附带发现的存在概率的训练信息。
运算部104基于至少NPA·NV训练信息来运算NPA存在概率和NV存在概率。另外,运算部104在生成了随后论述的附带发现存在概率图的情况下,基于附带发现存在概率图和NPA·NV训练信息,运算NPA存在概率和NV存在概率。此外,运算NPA存在概率和NV存在概率的具体方法没有特别限定。例如,可以是,从NPA·NV训练信息提取对具有NPA·NV的眼底图像共通的特征,针对患者的眼底图像信息是否具有该特征,通过使与该特征之间的一致程度正规化,从而运算NPA存在概率和NV存在概率。也可以使用深度学习(深层学习)的技术而运算NPA存在概率和NV存在概率。
由此,能够设定以下基准,该基准用于确定眼底图像信息中的推定为与视网膜无灌注区域(NPA)相当的区域和推定为与新生血管(NV)相当的区域。
另外,运算部104基于附带发现训练信息,运算眼底图像信息中的附带发现的存在概率。运算附带发现的存在概率的具体方法没有特别限定。例如,可以是,从附带发现训练信息提取对具有附带发现的眼底图像共通的特征,针对患者的眼底图像信息是否具有该特征,通过使相对于特征的一致程度正规化,从而运算附带发现的存在概率。也可以使用深度学习(深层学习)的技术而运算附带发现的存在概率。
由此,能够设定以下基准,该基准用于确定眼底图像信息中的推定为与视网膜无灌注区域(NPA)相当的区域和推定为与新生血管(NV)相当的区域。
图生成部105生成作为使眼底图像信息识别显示有NPA存在概率和NV存在概率的图像信息的、NPA·NV存在概率图。具体而言,生成图8所例示的NPA·NV存在概率图E那样的图像信息。
由此,能够生成成为用于对眼底图像信息中的视网膜无灌注区域(NPA)和新生血管(NV)的存在进行推定的根据的信息。
此外,使眼底图像信息识别显示NPA存在概率和NV存在概率的方法没有特别限定。例如,可以利用颜色的不同来识别显示NPA存在概率和NV存在概率,也可以利用颜色的浓淡来识别显示NPA存在概率和NV存在概率。
另外,图生成部105生成作为使眼底图像信息识别显示有附带发现存在概率的图像信息的、附带发现存在概率图(未图示)。
由此,能够生成成为用于对眼底图像信息中的视网膜无灌注区域(NPA)和新生血管(NV)的存在进行推定的根据的信息。
此外,使眼底图像信息识别显示附带发现存在概率的方法没有特别限定。例如,可以利用颜色的不同来识别显示附带发现存在概率,也可以利用颜色的浓淡来识别显示附带发现存在概率。
推定NPA·NV确定部106基于NPA存在概率和NV存在概率,将眼底图像信息中的推定为与视网膜无灌注区域(NPA)相当的区域确定为推定NPA,将推定为与新生血管(NV)相当的区域确定为推定NV。具体而言,将患者的眼底图像信息中的、NPA存在概率和NV存在概率超过了规定阈值的区域分别确定为推定为与视网膜无灌注区域(NPA)相当的区域(推定NPA)、或推定为与新生血管(NV)相当的区域(推定NV)。此外,阈值能够以眼科医生D的判断任意地改变。
由此,能够早期且容易地确定基于眼底图像的图像信息中的、推定存在视网膜无灌注区域(NPA)的区域(推定NPA)和推定存在新生血管(NV)的区域(推定NV)。
推定NPA·NV显示控制部107执行使推定NPA区域和推定NV区域显示于眼底图像信息的控制。
由此,能够使推定存在视网膜无灌注的区域(推定NPA)和推定存在新生血管(NV)的区域(推定NV)重叠地显示于基于眼底图像的图像信息。
接着,参照图4对具有图3的功能性构成的服务器1所执行的一系列处理的流程进行说明。
图4是说明图3的服务器1所执行的一系列处理的流程的流程图。
如图4所示,在服务器1中,执行以下这样的一系列处理。
在步骤S1中,图像获取部101判定是否从检查设备3发送来了荧光眼底造影图像信息。
在荧光眼底造影图像信息被发送来的情况下,在步骤S1中判定为是,处理进入步骤S2。另一方面,在荧光眼底造影图像信息未被发送来的情况下,在步骤S1中判定为否,处理返回步骤S1。即,在直到荧光眼底造影图像信息被发送来为止的期间内反复进行步骤S1的判定处理。之后,若荧光眼底造影图像信息被发送来,则在步骤S1中判定为是,处理进入步骤S2。
在步骤S2中,图像获取部101获取被发送来的荧光眼底造影图像信息。
在步骤S3中,注解获取部102判定是否从眼科医生终端2发送来了NPA·NV注解信息。
在NPA·NV注解信息被发送来的情况下,在步骤S3中判定为是,处理进入步骤S4。另一方面,在NPA·NV注解信息未被发送来的情况下,在步骤S3中判定为否,处理返回步骤S3。即,在直到NPA·NV注解信息被发送来为止的期间内反复进行步骤S3的判定处理。之后,若NPA·NV注解信息被发送来,则在步骤S3中判定为是,处理进入步骤S4。
在步骤S4中,注解获取部102获取被发送来的NPA·NV注解信息。
在步骤S5中,训练信息生成部103基于荧光眼底造影图像信息和与该荧光眼底造影图像信息相对应的NPA·NV注解信息,生成NPA·NV训练信息。
在步骤S6中,图像获取部101判定是否从检查设备3发送来了眼底图像信息。
在眼底图像信息被发送来的情况下,在步骤S6中判定为是,处理进入步骤S7。另一方面,在眼底图像信息未被发送来的情况下,在步骤S6中判定为否,处理返回步骤S6。即,在直到眼底图像信息被发送来为止的期间内反复进行步骤S6的判定处理。之后,若眼底图像信息被发送来,则在步骤S6中判定为是,处理进入步骤S7。
在步骤S7中,图像获取部101获取被发送来的眼底图像信息。
在步骤S8中,注解获取部102判定是否从眼科医生终端2发送来了附带发现注解信息。
在附带发现注解信息被发送来的情况下,在步骤S8中判定为是,处理进入步骤S9。另一方面,在附带发现注解信息未被发送来的情况下,在步骤S8中判定为否,处理跳过步骤S9至S11而进入步骤S12。
在步骤S9中,注解获取部102获取附带发现注解信息。
在步骤S10中,训练信息生成部103基于荧光眼底造影图像信息和与该荧光眼底造影图像信息相对应的NPA·NV注解信息,生成附带发现训练信息。
在步骤S11中,运算部104基于附带发现训练信息来运算眼底图像信息中的附带发现的存在概率。
在步骤S12中,图生成部105生成作为使眼底图像信息识别显示有附带发现存在概率的图像信息的、附带发现存在概率图。
在步骤S13中,运算部104至少基于NPA·NV训练信息来运算NPA存在概率和NV存在概率。另外,在生成了附带发现存在概率图的情况下,运算部104基于NPA·NV训练信息和附带发现存在概率图,运算NPA存在概率和NV存在概率。
在步骤S14中,图生成部105生成作为使眼底图像信息识别显示有NPA存在概率和NV存在概率的图像信息的、NPA·NV存在概率图。
在步骤S15中,推定NPA·NV确定部106基于NPA存在概率和NV存在概率,将眼底图像信息中的推定为与视网膜无灌注区域(NPA)相当的区域确定为推定NPA、将推定为与新生血管(NV)相当的区域确定为推定NV。
在步骤S16中,推定NPA·NV显示控制部107执行使眼底图像信息显示推定NPA和NV区域的控制。
在步骤S17中,服务器1判定是否存在处理的结束指示。
在没有处理的结束指示的情况下,在步骤S17中判定为否,处理返回步骤S1。另一方面,在存在处理的结束指示的情况下,在步骤S17中判定为是,处理结束。
通过由服务器1执行以上那样的一系列处理,推定NPA区域和推定NV区域显示于眼底图像信息。
接着,参照图5对在服务器1所执行的各种处理中所使用的各种信息的流动进行说明。
图5是表示服务器1所执行的处理中的各种信息的流动的图。
如图5所示,在荧光眼底造影检查中,若患者的荧光眼底造影图像被拍摄,则由服务器1获取基于该荧光眼底造影图像的荧光眼底造影图像信息。在该荧光眼底造影图像信息中附加有与视网膜无灌注区域(NPA)和新生血管(NV)中的至少一者有关的眼科医生D的诊断注释。该诊断注释作为NPA·NV注解信息,与荧光眼底造影图像信息一起构成NPA·NV训练信息。
在眼底检查中,若患者的眼底图像被拍摄,则由服务器1获取基于该眼底图像的眼底图像信息。眼底图像信息和NPA·NV训练信息用于运算部104基于NPA·NV注解程序进行的运算处理。基于NPA·NV注解程序进行的运算处理的结果是,生成NPA·NV存在概率图。基于该NPA·NV存在概率图,确定眼底图像信息中的推定NPA和推定NV。
存在对荧光眼底造影图像信息和眼底图像信息附加有与附带发现有关的眼科医生D的诊断注释的情况。该情况下的诊断注释作为附带发现注解信息,与荧光眼底造影图像信息和眼底图像信息一起构成附带发现训练信息。
眼底图像信息和NPA·NV训练信息用于运算部104基于附带发现判定程序进行的运算处理。基于附带发现判定程序进行的运算处理的结果是,生成附带发现存在概率图。在像这样生成了附带发现存在概率图的情况下,基于附带发现存在概率图和NPA·NV训练信息,确定眼底图像信息中的推定NPA和推定NV。
图6是表示在服务器1所执行的处理中所获取的眼底图像信息的一个例子的图。
图7是表示在服务器1所执行的处理中所获取的荧光眼底造影图像信息的一个例子的图。
在患者的眼底检查中,由检查设备3对患者的眼底进行拍摄,获得图6所示这样的眼底图像信息。眼科医生D一边参照图6所示这样的眼底图像信息一边进行诊断。然而,如图6所示,眼底图像信息仅表现出因出血、白斑等灌注异常而产生的发现,难以读取循环动态、循环异常部位。因此,通过进行荧光眼底造影检查,获得图7所示这样的荧光眼底造影图像信息。如图7所示,荧光眼底造影图像信息能够明确地判别视网膜循环动态。不过,荧光眼底造影检查由于其检查的危险性、侵袭性、限于大医院的地理上的制约等,是对患者和医疗者双方来说均负担较大的检查,对视力良好例、身体功能低下患者的拍摄、反复拍摄等会产生犹豫,因此,存在发病、病情的把握延迟、治疗拖延的病例较多这样的课题。
因此,服务器1使用基于所蓄积的从多个患者获得的荧光眼底造影图像信息和分别附加于这些信息的NPA·NV注解信息所生成的NPA·NV训练信息,进行NPA·NV存在概率图生成处理。由此,不实施负担较大的荧光眼底造影检查,就能够从在邻近的诊所、体检中等能够简便地拍摄的眼底图像简便地确定循环异常发现。
图8是表示在服务器1所执行的NPA·NV存在概率图生成处理中所输出的NPA·NV存在概率图的一个例子的图。
图8所示的NPA·NV存在概率图E是使眼底图像信息识别显示有NPA存在概率和NV存在概率的图像信息。NPA·NV存在概率图E能够利用颜色的不同、颜色的浓淡使NPA存在概率和NV存在概率识别显示。例如,能够进行以暖色系的颜色表示的区域的NPA存在概率和NV存在概率较高、以冷色系的颜色表示的区域的NPA存在概率和NV存在概率较低这样的识别显示。另外,即使是NPA存在概率和NV存在概率较低的以冷色系的颜色表示的区域,也能够进行较浓颜色的区域与较淡颜色的区域相比NPA存在概率和NV存在概率更低这样的识别显示。
由此,能够生成成为用于对眼底图像信息中的视网膜无灌注区域(NPA)和新生血管(NV)的存在进行推定的根据的信息。
图9是表示在服务器1所执行的推定NPA·NV确定处理中所确定的推定NPA和推定NV的一个例子的图。
服务器1基于NPA·NV存在概率图的内容,将眼底图像信息中的、推定为与视网膜无灌注区域(NPA)相当的区域确定为推定NPA,将推定为与新生血管(NV)相当的区域确定为推定NV。例如,如图9所示,能够将以虚线表示的区域A设为推定NPA,将区域B设为推定NV。推定NPA和推定NV能够重叠地显示于眼底图像信息。
由此,无需实施需要特殊的眼底摄像机和诊断装置的荧光眼底造影检查,就能够从拍摄患者的眼底而得到的眼底图像早期且容易地确定推定存在视网膜无灌注的区域、和推定存在新生血管的区域。
以上,对本发明的一实施方式进行了说明,但本发明并不限定于上述的实施方式,能够达成本发明的目的的范围内的变形、改良等包含于本发明中。
例如,在上述的实施方式中构成为,若从检查设备3发送来了各种图像信息,则图像获取部101获取这些信息,但也可以构成为,若进行了基于检查设备3的拍摄,则图像获取部101自发地去获取各种图像信息。同样地,在上述的实施方式中构成为,若从眼科医生终端2发送来了各种注解信息,则注解获取部102获取这些信息,但也可以构成为,若向眼科医生终端2进行了各种注解信息的输入,则注解获取部102自发地去获取各种注解信息。
另外,图2所示的各硬件构成只不过是用于达成本发明的目的例示,并没有特别限定。
另外,图3所示的功能框图只不过是例示,并没有特别限定。即,只要信息处理系统具备作为整体能够执行上述一系列处理的功能就足矣,对于为了实现该功能使用什么样的功能块,并不特别限定于图3的例子。
另外,功能块的存在场所也并不限定于图3所示的场所,可以是任意场所。例如,也可以将服务器1的功能块的至少一部分设置于眼科医生终端2或检查设备3。
并且,1个功能块既可以由硬件单体构成,也可以由硬件单体与软件单体的组合构成。
在利用软件执行各功能块的处理的情况下,构成该软件的程序从网络、记录介质安装于计算机等。
计算机可以是装入有专用硬件的计算机。另外,计算机也可以是通过安装各种程序而能够执行各种功能的计算机,例如除服务器之外也可以是通用的智能手机、个人计算机。
包含这样的程序的记录介质不仅可以由为了向各用户提供程序而与装置主体不同地分发的可移动介质构成,也可以由以预先装入到装置主体的状态向各用户提供的记录介质等构成。
此外,在本说明书中,叙述记录于记录介质的程序的步骤当然包括按照其顺序以时间序列进行的处理,也包括虽然未必以时间序列进行处理但并列地或者单独地执行的处理。
例如,在图4的步骤S6中,图像获取部101判定是否从检查设备发送来了眼底图像信息,在步骤S7中获取眼底图像信息。不过,在执行附带发现存在概率图生成处理的情况下,眼底图像信息只要在生成附带发现训练信息的时间点被恰当地管理就足矣。另外,在不执行附带发现存在概率图生成处理的情况下,只要在运算NPA存在概率和NV存在概率的时间点被恰当地管理就足矣。因此,在生成附带发现训练信息的情况下,眼底图像信息从比在步骤S10中生成附带发现训练信息靠前的任意时间点起存储于图像DB401而被管理即可。另外,在未生成附带发现训练信息的情况下,从比在步骤S13中运算NPA存在概率和NV存在概率靠前的任意时间点起被存储于图像DB401而被管理即可。
若对以上进行总结,则适用本发明的程序采取如下这样的构成就足矣,能够采取各种各样的实施方式。
即,适用本发明的程序使对信息处理装置进行控制的计算机执行以下步骤,这些步骤包括:
荧光眼底造影图像获取步骤(例如图4的步骤S2),获取荧光眼底造影图像信息(例如图7的荧光眼底造影图像信息C);
NPA·NV注解获取步骤(例如图4的步骤S4),将附加于上述荧光眼底造影图像信息的、与视网膜无灌注区域(NPA)和新生血管(NV)中的至少一者有关的眼科医生的诊断注释获取为NPA·NV注解信息;
NPA·NV训练信息生成步骤(例如图4的步骤S5),基于上述荧光眼底造影图像信息和与该荧光眼底造影图像信息相对应的上述NPA·NV注解信息,生成NPA·NV训练信息,该NPA·NV训练信息成为用于对上述视网膜无灌注区域(NPA)的存在概率、和新生血管(NV)的存在概率进行运算的训练信息;
眼底图像获取步骤(例如图4的步骤S7),获取眼底图像信息(例如图6的眼底图像信息F);
NPA·NV存在概率运算步骤(例如图4的步骤S13),基于上述NPA·NV训练信息来运算上述眼底图像信息中的上述视网膜无灌注区域(NPA)的存在概率和新生血管(NV)的存在概率;以及
推定NPA·NV确定步骤(例如图4的步骤S15),基于上述视网膜无灌注区域的存在概率和上述新生血管的存在概率,将上述眼底图像信息中的推定为与上述视网膜无灌注区域(NPA)相当的区域确定为推定NPA、将推定为与上述新生血管(NV)相当的区域确定为推定NV。
由此,无需实施需要特殊的眼底摄像机和诊断装置的荧光眼底造影检查,就能够从拍摄患者的眼底而得到的眼底图像早期且容易地确定推定存在视网膜无灌注的区域。
另外,能够使还包括NPA·NV存在概率图生成步骤(例如图4的步骤S14)的控制处理执行,在该NPA·NV存在概率图生成步骤中,生成使上述眼底图像信息识别显示有上述NPA存在概率和上述NV存在概率的、NPA·NV存在概率图(例如图8的NPA·NV存在概率图E)。
由此,能够生成成为用于对眼底图像信息中的视网膜无灌注区域(NPA)、和新生血管(NV)的存在进行推定的根据的信息。
另外,也能够是,还包括如下步骤:
附带注解获取步骤(例如图4的步骤S9),将附加于上述荧光眼底造影图像信息和上述眼底图像信息的、与附带发现有关的上述眼科医生的诊断注释获取为附带发现注解信息;
附带发现训练信息生成步骤(例如图4的步骤S10),基于上述荧光眼底造影图像信息和上述眼底图像信息、以及与该荧光眼底造影图像信息和该眼底图像信息相对应的上述附带发现注解信息,生成附带发现训练信息,该附带发现训练信息成为用于对上述眼底图像信息中的上述附带发现的存在概率进行运算的训练信息;以及
附带发现存在概率运算步骤(例如图4的步骤S11),基于上述附带发现训练信息来运算上述眼底图像信息中的上述附带发现的存在概率,
在上述NPA·NV存在概率运算步骤中,还执行如下控制处理:基于上述附带发现的存在概率和上述NPA·NV训练信息,运算上述眼底图像信息中的上述视网膜无灌注区域(NPA)的存在概率和新生血管(NV)的存在概率。
另外,能够还包括附带发现存在概率图生成步骤(例如图4的步骤S12),在该附带发现存在概率图生成步骤中,生成使上述眼底图像信息识别显示有上述附带发现的存在概率的附带发现存在概率图。
以下,使用附图对本发明的一实施方式的变形例进行说明。
(变形例)
图10是本发明的一实施方式的变形例的信息处理系统的构成图。本发明的一实施方式的变形例的信息处理系统包括眼科医生终端2、检查设备3、学习装置200以及诊断辅助装置300。这些装置经由网络N彼此连接。
学习装置200基于作为眼底的图像的眼底图像、和根据该眼底的荧光眼底造影图像而确定的血液循环异常区域,通过学习而生成表示眼底图像与该眼底图像中的血液循环异常区域之间的关系的学习模型。在此,血液循环异常区域是由于在糖尿病视网膜病变等眼缺血性疾病中产生的视网膜上的血液障碍而产生的血液的循环为异常的区域。
学习装置200获取表示患者的眼底图像的信息和表示该患者的荧光眼底造影图像的信息,并将获取到的表示眼底图像的信息和表示荧光眼底造影图像的信息相关联地存储。具体而言,在患者的眼底检查中,检查设备3拍摄患者的眼底图像,生成包括患者ID和表示拍摄到的眼底图像的信息、且以学习装置200为发送目的地的眼底图像通知信息,并将所生成的眼底图像通知信息向学习装置200发送。另外,在患者的荧光眼底造影检查中,检查设备3拍摄患者的荧光眼底造影图像,生成包括患者ID和表示拍摄到的荧光眼底造影图像的信息、且以学习装置200发送目的地的荧光眼底造影图像通知信息,并将所生成的荧光眼底造影图像通知信息向学习装置200发送。
学习装置200获取从检查设备3向学习装置200发送来的眼底图像通知信息所包含的患者ID和表示眼底图像的信息、以及荧光眼底造影图像通知信息所包含的患者ID和表示荧光眼底造影图像的信息,并将获取到的患者ID、表示眼底图像的信息、表示荧光眼底造影图像的信息相关联地存储。
学习装置200将附加于患者的荧光眼底造影图像的、与视网膜无灌注区域(NPA)和新生血管(NV)中的某一者或两者有关的眼科医生D的诊断注释获取为NPA·NV注解信息。具体而言,在荧光眼底造影检查中,若对荧光眼底造影图像附加了与视网膜无灌注区域(NPA)、新生血管(NV)有关的眼科医生D的诊断注释,则眼科医生终端2基于眼科医生D的操作而生成包括患者ID和该诊断注释、且以学习装置200为发送目的地的NPA·NV注解通知信息,并将所生成的NPA·NV注解通知信息向学习装置200发送。
学习装置200接收眼科医生终端2所发送的NPA·NV注解通知信息,存储所接收到的NPA·NV注解通知信息所包含的NPA·NV注解信息。此外,表示荧光眼底造影图像的信息和附加于该荧光眼底造影图像的NPA·NV注解信息彼此相关联地被存储。
学习装置200将附加于眼底图像和荧光眼底造影图像的、与附带发现有关的眼科医生D的诊断注释获取为附带发现注解信息。具体而言,对于表示荧光眼底造影图像的信息和表示眼底图像的信息,在附加有与附带发现有关的眼科医生D的诊断注释的情况下,眼科医生终端2基于眼科医生D的操作,生成包括患者ID和该诊断注释、且以学习装置200为发送目的地的附带发现注解通知信息,并将所生成的附带发现注解通知信息向学习装置200发送。学习装置200接收眼科医生终端2所发送的附带发现注解通知信息,获取所接收到的附带发现注解通知信息所包含的患者ID和附带发现注解信息,并存储所获取的患者ID和附带发现注解信息。此外,表示眼底图像的信息和表示荧光眼底造影图像的信息与附带发现注解信息彼此相关联地被存储。
学习装置200获取表示眼底图像的信息、与该表示眼底图像的信息相关联的表示荧光眼底造影图像的信息、NPA·NV注解信息、以及附带发现注解信息,基于获取到的表示荧光眼底造影图像的信息、NPA·NV注解信息、以及附带发现注解信息,确定血液循环异常区域。学习装置200生成使表示眼底图像的信息、和基于与该眼底图像相对应的荧光眼底造影图像确定出的血液循环异常区域相关联而得到的NPA·NV学习信息,并存储所生成的NPA·NV学习信息。
学习装置200将NPA·NV学习信息所包含的表示眼底图像的信息作为输入信息,将基于与该眼底图像相对应的荧光眼底造影图像而确定的血液循环异常区域作为训练信息,通过学习生成表示眼底图像与该眼底图像中的血液循环异常区域之间的关系的学习模型。此外,生成学习模型的具体方法没有特别限定。例如,可以是,从NPA·NV学习信息提取对具有血液循环异常区域的眼底图像共通的特征,导出所提取的共通的特征与眼底图像中的血液循环异常区域之间的关系。也可以使用神经网络、深度学习(深层学习)的技术而导出眼底图像与该眼底图像中的血液循环异常区域之间的关系。学习装置200存储所生成的学习模型,并且,生成包括所生成的学习模型且以诊断辅助装置300为发送目的地的学习模型通知信息,并将所生成的学习模型通知信息向诊断辅助装置300发送。
诊断辅助装置300接收学习装置200所发送的学习模型,并存储所接收的学习模型。
眼科医生终端2生成包括患者ID和表示患者的眼底图像的信息、且以诊断辅助装置300为发送目的地的患者信息,并将所生成的患者信息向诊断辅助装置300发送。
诊断辅助装置300接收眼科医生终端2所发送的患者信息,获取所接收的患者信息所包含的患者ID和表示患者的眼底图像的信息。诊断辅助装置300使用所存储的学习模型,基于所获取的表示眼底图像的信息来确定眼底图像中的血液循环异常区域。诊断辅助装置300生成诊断结果并将所生成的诊断结果向眼科医生终端2发送,其中该诊断结果包括表示使用患者的眼底图像和学习模型而确定的该眼底图像中的血液循环异常区域的信息、和患者ID,并以眼科医生终端2为发送目的地。
以下,对信息处理系统所包含的学习装置200和诊断辅助装置300进行说明。
(学习装置200)
图11是表示本发明的实施方式的变形例的学习装置的一个例子的框图。
学习装置200具备通信部205、存储部210、操作部220、信息处理部230、显示部240、和用于将各构成要素如图11所示那样电连接的地址总线、数据总线等总线250。
通信部205由通信模块实现。通信部205经由网络N与眼科医生终端2、检查设备3、诊断辅助装置300等外部的通信装置通信。具体而言,通信部205接收检查设备3所发送的眼底图像通知信息,将所接收的眼底图像通知信息向信息处理部230输出。通信部205接收检查设备3所发送的荧光眼底造影图像通知信息,将所接收的荧光眼底造影图像通知信息向信息处理部230输出。通信部205接收眼科医生终端2所发送的NPA·NV注解通知信息,将所接收的NPA·NV注解通知信息向信息处理部230输出。通信部205接收眼科医生终端2所发送的附带发现注解通知信息,将所接收的附带发现注解通知信息向信息处理部230输出。通信部205获取信息处理部230所输出的学习模型通知信息,将所获取的学习模型通知信息向诊断辅助装置300发送。
存储部210例如由RAM(Random Access Memory)、ROM(Read Only Memory)、HDD(硬盘驱动器,Hard Disk Drive)、闪存、或组合它们中的多个而成的混合型存储装置等实现。在存储部210中存储由信息处理部230执行的程序211、APP(应用,Application)212、图像DB213、注解DB214、学习信息215、以及学习模型216。
程序211是例如操作系统,位于用户、应用程序与硬件的中间,在对用户、应用程序提供标准的接口的同时,对硬件等各资源进行高效的管理。
APP212使学习装置200接收检查设备3所发送的眼底图像通知信息,并使学习装置200将所接收的眼底图像通知信息所包含的患者ID和表示眼底图像的信息相关联地存储。APP212使学习装置200接收检查设备3所发送的荧光眼底造影图像通知信息,并使学习装置200将所接收的荧光眼底造影图像通知信息所包含的患者ID和表示荧光眼底造影图像的信息相关联地存储。APP212使学习装置200接收眼科医生终端2所发送的NPA·NV注解通知信息,并使学习装置200将所接收的NPA·NV注解通知信息所包含的患者ID和NPA·NV注解信息相关联地存储。
APP212使学习装置200接收眼科医生终端2所发送的附带发现注解通知信息,并使学习装置200将所接收的附带发现注解通知信息所包含的患者ID和附带发现注解信息相关联地存储。APP212使学习装置200获取与患者ID相关联的表示眼底图像的信息、表示荧光眼底造影图像的信息、NPA·NV注解信息、以及附带发现注解信息。APP212使学习装置200基于所获取的表示荧光眼底造影图像的信息、NPA·NV注解信息、附带发现注解信息确定血液循环异常区域。
APP212使学习装置200生成NPA·NV学习信息(该NPA·NV学习信息是使表示眼底图像的信息、和基于与该眼底图像相对应的荧光眼底造影图像确定的血液循环异常区域相关联而得到的信息),并使学习装置200存储所生成的NPA·NV学习信息。APP212使学习装置200将NPA·NV学习信息所包含的表示眼底图像的信息作为输入信息、将基于与该眼底图像相对应的荧光眼底造影图像确定的血液循环异常区域作为训练信息、通过学习而生成表示眼底图像与该眼底图像中的血液循环异常区域之间的关系的学习模型。APP212使学习装置200存储所生成的学习模型,并且,使学习装置200将该学习模型向诊断辅助装置300发送。
图像DB213将患者ID、表示眼底图像的信息、以及表示荧光眼底造影图像的信息相关联地存储。
注解DB214将患者ID、NPA·NV注解信息、以及附带发现注解信息相关联地存储。
学习信息215存储使表示眼底图像的信息、和基于与该眼底图像相对应的荧光眼底造影图像确定的血液循环异常区域相关联而得到的NPA·NV学习信息。
学习模型216将NPA·NV学习信息所包含的表示眼底图像的信息作为输入信息,将基于与该眼底图像相对应的荧光眼底造影图像确定的血液循环异常区域作为训练信息,存储表示眼底图像与该眼底图像中的血液循环异常区域之间的关系的学习模型。
操作部220由例如触摸面板等构成,检测对显示于显示部240的画面进行的触摸操作,将触摸操作的检测结果向信息处理部230输出。
显示部240由例如触摸面板构成,显示用于受理学习装置200所接收的表示眼底图像的信息和表示荧光眼底造影图像的信息的画面。另外,显示部240显示用于受理对学习装置200所接收的NPA·NV注解信息和附带发现注解信息进行处理的操作的画面。
信息处理部230的全部或一部分例如是通过CPU(Central Processing Unit)等处理器执行被储存于存储部210的程序211和APP212来实现的功能部(以下,称为软件功能部)。此外,信息处理部230的全部或一部分也可以由LSI(大规模集成电路,Large ScaleIntegration)、ASIC(专用集成电路,Application Specific Integrated Circuit)、或FPGA(现场可编程门阵列,Field-Programmable Gate Array)等硬件实现,也可以由软件功能部与硬件的组合实现。信息处理部230例如具备图像获取部231、注解获取部232、学习信息生成部233、以及学习部234。
图像获取部231获取通信部205所输出的眼底图像通知信息,获取所获取的眼底图像通知信息所包含的患者ID和表示眼底图像的信息。图像获取部231使所获取的患者ID和表示眼底图像的信息相关联地存储于图像DB213。
图像获取部231获取通信部205所输出的荧光眼底造影图像通知信息,获取所获取的荧光眼底造影图像通知信息所包含的患者ID和表示荧光眼底造影图像的信息。图像获取部231使所获取的患者ID和表示荧光眼底造影图像的信息相关联地存储于图像DB213。
注解获取部232获取通信部205所输出的NPA·NV注解通知信息,获取所获取的NPA·NV注解通知信息所包含的患者ID和NPA·NV注解信息。注解获取部232使所获取的患者ID和NPA·NV注解信息相关联地存储于注解DB214。
注解获取部232获取通信部205所输出的附带发现注解通知信息,获取所获取的附带发现注解通知信息所包含的患者ID和附带发现注解信息。注解获取部232使所获取的患者ID和附带发现注解信息相关联地存储于注解DB214。
学习信息生成部233获取被存储于存储部210的图像DB213中的患者ID、与患者ID相关联的表示眼底图像的信息、以及表示荧光眼底造影图像的信息。学习信息生成部233获取被存储于存储部210的注解DB214中的患者ID、与患者ID相关联的NPA·NV注解信息、以及附带发现注解信息。学习信息生成部233基于所获取的表示荧光眼底造影图像的信息、NPA·NV注解信息、附带发现注解信息来确定血液循环异常区域。
以下,具体地说明学习装置200的各构成。
图12是表示眼底图像的一个例子的图,图13是表示荧光眼底造影图像的一个例子的图。
学习信息生成部233提取眼底图像的绿成分,从提取绿成分而得到的眼底图像即绿成分提取眼底图像中去除噪声成分。学习信息生成部233将去除了噪声成分的绿成分提取眼底图像分割成矩形。学习信息生成部233基于分割成矩形的图像,将去除了噪声成分的绿成分提取眼底图像调整成规定的尺寸。在调整成规定的尺寸之际,通过双三次插值等插值方法进行插值。
学习信息生成部233提取荧光眼底造影图像的绿成分,从提取绿成分而得到的荧光眼底造影图像即绿成分提取荧光眼底造影图像中去除噪声成分。学习信息生成部233将去除了噪声成分的绿成分提取荧光眼底造影图像分割成矩形。学习信息生成部233基于分割成矩形的图像,将去除了噪声成分的绿成分提取荧光眼底造影图像调整成规定的尺寸。在调整成规定的尺寸之际,通过双三次插值等插值方法进行插值。
学习信息生成部233对去除了噪声成分的绿成分提取眼底图像和去除了噪声成分的绿成分提取荧光眼底造影图像以使眼球的位置一致的方式修正旋转分量,并且调整成规定的尺寸。学习信息生成部233基于以使眼球的位置一致的方式修正了旋转分量并且调整成规定的尺寸的、去除了噪声成分的绿成分提取眼底图像和去除了噪声成分的绿成分提取荧光眼底造影图像,确定血液循环异常区域。
图14是表示血液循环异常区域的一个例子的图。
学习信息生成部233生成使表示眼底图像的信息、和基于与该眼底图像相对应的荧光眼底造影图像确定的血液循环异常区域相关联而得到的NPA·NV学习信息,将所生成的NPA·NV学习信息存储于存储部210的学习信息215。返回图11继续说明。
学习部234获取存储于存储部210的学习信息215中的NPA·NV学习信息。学习部234获取所获取的NPA·NV学习信息所包含的表示眼底图像的信息和表示血液循环异常区域的信息。学习部234将所获取的表示眼底图像的信息作为输入信息,将基于与该眼底图像相对应的荧光眼底造影图像确定的血液循环异常区域作为训练信息,通过学习而生成表示眼底图像与该眼底图像中的血液循环异常区域之间的关系的学习模型。
具体而言,在本实施方式的变形例中,对以下情况进行说明:设想因GPU(图形处理单元,graphics processing unit)的存储器的制约而难以一次性地学习图像整体并进行预测,从而使用从图像提取碎片(patch)并使神经网络学习所提取的碎片的方法。在此,作为一个例子,将碎片尺寸设为64px×64px,将stride(使提取碎片的框移动的间隔)设为2px。
将所生成的碎片分成包括阳性区域的碎片和什么都不包括的碎片这两组。以学习所使用的两组的比例相等的方式选择碎片。
神经网络仅针对学习用数据本身或者与该学习用数据非常相似的图像呈现良好的性能、针对未知图像呈现明显较低的性能这一现象被称为过适(over-fitting),为了解决该现象,通过汇集更多样本、或对学习数据施加旋转等几何学操作来改善。
在本实施方式的变形例中,在生成了碎片之后,基于σ=3deg.的正态分布决定旋转角,以50%的概率进行了水平翻转,以20%的概率进行了垂直翻转。
图15是表示神经网络的构造的一个例子的图。
神经网络的构造的一个例子基于U-Net。在图15中,b表示卷积(卷积核大小=(3,3))(即convolution(kernel_size=(3,3))),g表示最大池化(池化大小=(2,2))(即maxpooling(pool_size=(2,2))),o表示上采样(大小=(2,2))(即up sampling(size=(2,2)))。在各卷积(convolution)层之后使用激活函数ReLU进行了批归一化(batchnormalization)。不过,在最后的卷积(convolution)层,使用sigmoid作为激活函数,未进行批归一化(batch normalization)。
另外,以a1、a2、a3、a4表示的箭头表示基于卷积(concatenation)的跳跃连接(skip connection)。认为这对复原图像的位置信息做出贡献。
学习部234将所生成的学习模型存储于存储部210的学习模型216。
学习部234生成包括所生成的学习模型且以诊断辅助装置300为发送目的地的学习模型通知信息,将所生成的学习模型通知信息向通信部205输出。
(诊断辅助装置300)
图16是表示本发明的实施方式的变形例的诊断辅助装置的一个例子的框图。
诊断辅助装置300具备通信部305、存储部310、操作部320、信息处理部330、显示部340、以及用于将各构成要素如图16所示那样电连接的地址总线、数据总线等总线350。
通信部305由通信模块实现。通信部305经由网络N与眼科医生终端2、学习装置200等外部的通信装置通信。具体而言,通信部305接收学习装置200所发送的学习模型通知信息,将所接收的学习模型通知信息向信息处理部330输出。通信部305接收眼科医生终端2所发送的患者信息,将所接收的患者信息向信息处理部330输出。通信部305获取信息处理部230所输出的诊断信息,将所获取的诊断信息向眼科医生终端2发送。
存储部310例如由RAM、ROM、HDD、闪存、或组合它们中的多个而成的混合型存储装置等实现。在存储部310中存储由信息处理部330执行的程序311、APP312、以及学习模型216。
程序311例如是操作系统,位于用户、应用程序与硬件的中间,在对用户、应用程序提供标准的接口的同时,对硬件等各资源进行高效的管理。
APP312使诊断辅助装置300接收学习装置200所发送的学习模型通知信息,并使诊断辅助装置300存储所接收的学习模型通知信息所包含的学习模型。APP312使诊断辅助装置300接收眼科医生终端2所发送的患者信息,并使诊断辅助装置300获取所接收的患者信息所包含的患者ID和眼底图像。APP312使诊断辅助装置300利用所存储的学习模型来确定所获取的眼底图像中的血液循环异常区域。
APP312使诊断辅助装置300生成诊断信息(该诊断信息包括表示使用患者的眼底图像和学习模型而确定的该眼底图像中的血液循环异常区域的信息、和患者ID,且以眼科医生终端2为发送目的地),并使诊断辅助装置300将所生成的诊断信息向眼科医生终端2发送。
操作部320由例如触摸面板等构成,检测对显示于显示部340的画面进行的触摸操作,将触摸操作的检测结果向信息处理部330输出。
显示部340由例如触摸面板构成,显示用于受理诊断辅助装置300所接收的患者信息所包含的表示眼底图像的信息的画面。另外,显示部240显示诊断辅助装置300诊断出的结果。
信息处理部330的全部或一部分是例如通过CPU等处理器执行被储存于存储部310的程序311和APP312来实现的软件功能部。此外,信息处理部330的全部或一部分也可以由LSI、ASIC或FPGA等硬件实现,也可以由软件功能部与硬件的组合实现。信息处理部330例如具备受理部331、确定部332、以及生成部333。
受理部331获取通信部305所输出的学习模型通知信息,获取所获取的学习模型通知信息所包含的学习模型。受理部331受理所获取的学习模型,将所受理的学习模型存储于存储部310的学习模型216。
受理部331获取通信部305所输出的患者信息,获取所获取的患者信息所包含的患者ID和表示眼底图像的信息。受理部331受理所获取的患者ID和表示眼底图像的信息,将所受理的患者ID和表示眼底图像的信息向确定部332输出。
确定部332获取受理部331所输出的患者ID和表示眼底图像的信息。确定部332获取存储在存储部310的学习模型216中的学习模型,使用所获取的学习模型,确定所获取的眼底图像中的血液循环异常区域。确定部332将表示所确定的眼底图像中的血液循环异常区域的信息、患者ID向生成部333输出。
具体而言,在本实施方式的变形例中,对以下情况进行说明:与学习装置200同样地,从图像提取碎片,使用所提取的碎片和学习模型而确定眼底图像中的血液循环异常区域。在此,作为一个例子,将碎片尺寸设为64px×64px,将步长(stride)(使碎片提取的框运动的间隔)设为2px。选择所生成的碎片的全部。
确定部332基于学习模型获取64×64×1的图像。确定部332将所获取的像素值在原图像的相对应的像素投票(vote),并平均化。在此,确定部332也可以将所获取的图像向彩色显示转换。
生成部333获取确定部332所输出的患者ID和表示眼底图像中的血液循环异常区域的信息。生成部333生成诊断信息,该诊断信息包括所获取的患者ID和表示眼底图像中的血液循环异常区域的信息,且以眼科医生终端2为发送目的地。生成部333将所生成的诊断信息向通信部305输出。
(信息处理系统的动作)
参照图17和图18对本实施方式的变形例的信息处理系统的动作的一个例子进行说明。
图17是表示本实施方式的变形例的信息处理系统所包含的学习装置的动作的一个例子的流程图。图17表示眼科医生终端2向学习装置200发送了NPA·NV注解通知信息和附带发现注解通知信息、检查设备3向学习装置200发送了眼底图像通知信息和荧光眼底造影图像通知信息之后的动作。
(步骤S201)
学习装置200的通信部205接收检查设备3所发送的眼底图像通知信息,将所接收的眼底图像通知信息向信息处理部230输出。信息处理部230的图像获取部231获取通信部205所输出的眼底图像通知信息,使所获取的眼底图像通知信息所包含的患者ID和表示眼底图像的信息相关联地存储于存储部210的图像DB213。
(步骤S202)
学习装置200的通信部205接收检查设备3所发送的荧光眼底造影图像通知信息,将所接收的荧光眼底造影图像通知信息向信息处理部230输出。信息处理部230的图像获取部231获取通信部205所输出的荧光眼底造影图像通知信息,使所获取的荧光眼底造影图像通知信息所包含的患者ID和表示荧光眼底造影图像的信息相关联地存储于存储部210的图像DB213。
(步骤S203)
学习装置200的通信部205接收眼科医生终端2所发送的NPA·NV注解通知信息,将所接收的NPA·NV注解通知信息向信息处理部230输出。信息处理部230的注解获取部232获取通信部205所输出的NPA·NV注解通知信息,使所获取的NPA·NV注解通知信息所包含的患者ID和NPA·NV注解信息相关联地存储于存储部210的注解DB214。
学习装置200的通信部205接收眼科医生终端2所发送的附带发现注解通知信息,将所接收的附带发现注解通知信息向信息处理部230输出。信息处理部230的注解获取部232获取通信部205所输出的附带发现注解通知信息,使所获取的附带发现注解通知信息所包含的患者ID和附带发现注解信息相关联地存储于存储部210的注解DB214。
(步骤S204)
学习装置200的学习信息生成部233获取被存储于存储部210的图像DB213中的患者ID、与患者ID相关联的表示眼底图像的信息、以及表示荧光眼底造影图像的信息。学习信息生成部233获取被存储于存储部210的注解DB214中的患者ID、与患者ID相关联的NPA·NV注解信息、以及附带发现注解信息。学习信息生成部233基于所获取的表示荧光眼底造影图像的信息、NPA·NV注解信息、以及附带发现注解信息,确定血液循环异常区域。学习信息生成部233生成使表示眼底图像的信息和基于与该眼底图像相对应的荧光眼底造影图像确定的血液循环异常区域相关联而得到的NPA·NV学习信息,将所生成的NPA·NV学习信息存储于存储部210的学习信息215。
(步骤S205)
学习装置200的学习部234获取存储在存储部210的学习信息215中的NPA·NV学习信息。学习部234获取所获取的NPA·NV学习信息所包含的表示眼底图像的信息和表示血液循环异常区域的信息。学习部234将所获取的表示眼底图像的信息作为输入信息,将基于与该眼底图像相对应的荧光眼底造影图像确定的血液循环异常区域作为训练信息,通过学习而生成表示眼底图像与该眼底图像中的血液循环异常区域之间的关系的学习模型。学习部234将所生成的学习模型存储于存储部210的学习模型216。
在图17所示的流程图中,也可以改变步骤S201、S202、S203的顺序。
根据图17所示的流程图,学习装置200能够基于表示荧光眼底造影图像的信息、NPA·NV注解信息、以及附带发现注解信息确定血液循环异常区域。学习装置200能够将表示眼底图像的信息作为输入信息,将基于与该眼底图像相对应的荧光眼底造影图像确定的血液循环异常区域作为训练信息,通过学习而生成表示眼底图像与该眼底图像中的血液循环异常区域之间的关系的学习模型。
图18是表示本实施方式的变形例的信息处理系统所包含的诊断辅助装置的动作的一个例子的流程图。图18表示学习装置200向诊断辅助装置300发送了学习模型通知信息、眼科医生终端2向诊断辅助装置300发送了患者信息之后的动作。
(步骤S301)
诊断辅助装置300的通信部305接收学习装置200所发送的学习模型通知信息,将所接收的学习模型通知信息向信息处理部330输出。受理部331获取通信部305所输出的学习模型通知信息,获取所获取的学习模型通知信息所包含的学习模型。受理部331受理所获取的学习模型,将所受理的学习模型存储于存储部310的学习模型216。
(步骤S302)
通信部305接收眼科医生终端2所发送的患者信息,将所接收的患者信息向信息处理部330输出。受理部331获取通信部305所输出的患者信息,获取所获取的患者信息所包含的患者ID和表示眼底图像的信息。受理部331受理所获取的患者ID和表示眼底图像的信息,将所受理的患者ID和表示眼底图像的信息向确定部332输出。
(步骤S303)
确定部332获取受理部331所输出的患者ID和表示眼底图像的信息。确定部332获取被存储于存储部310的学习模型216中的学习模型。
(步骤S304)
确定部332获取存储在存储部310的学习模型216中的学习模型,使用所获取的学习模型,确定作为确定对象的眼底图像中的血液循环异常区域。确定部332将表示所确定的眼底图像中的血液循环异常区域的信息和患者ID向生成部333输出。
(步骤S305)
生成部333获取确定部332所输出的患者ID和表示眼底图像中的血液循环异常区域的信息。生成部333生成诊断信息,该诊断信息包括患者ID和所获取的表示眼底图像中的血液循环异常区域的信息,且以眼科医生终端2为发送目的地。生成部333将所生成的诊断信息向通信部305输出。
通信部305获取生成部333所输出的诊断信息,将所获取的诊断信息向眼科医生终端2发送。
根据图18所示的流程图,诊断辅助装置300能够使用表示眼底图像与该眼底图像中的血液循环异常区域之间的关系的学习模型,而确定作为确定对象的眼底图像中的血液循环异常区域,该学习模型是将表示眼底图像的信息作为输入信息、将基于与该眼底图像相对应的荧光眼底造影图像确定的血液循环异常区域作为训练信息而生成的。
在前述的变形例中,对如下情况下进行了说明:诊断辅助装置300接收学习装置200所发送的学习模型通知信息,将所接收的学习模型通知信息所包含的学习模型存储于存储部310;诊断辅助装置300使用眼科医生终端2所发送的患者信息所包含的眼底图像、和所存储的学习模型,确定眼底图像中的血液循环异常区域,将包括表示所确定的血液循环异常区域的信息的诊断结果向眼科医生终端2发送,但并不限于该例子。例如,也可以是,诊断辅助装置300也可以向学习装置200发送患者信息。学习装置200接收诊断辅助装置300所发送的患者信息,使用所接收的患者信息所包含的眼底图像和学习模型,确定眼底图像中的血液循环异常区域。学习装置200生成包括表示所确定的血液循环异常区域的信息的诊断结果,将所生成的诊断结果向诊断辅助装置300发送。诊断辅助装置300接收学习装置200所发送的诊断结果,将所接收的诊断结果向眼科医生终端2发送。
根据本实施方式的变形例,诊断辅助装置300具有:确定部,其使用学习模型来确定作为眼底的图像的眼底图像中的血液循环异常区域,该学习模型是基于眼底图像、和根据眼底的荧光眼底造影图像而确定的血液循环异常区域,对眼底图像与眼底图像中的血液循环异常区域之间的关系进行学习而得到;和输出部,其输出表示确定部使用患者的眼底图像和学习模型而确定的患者的上述眼底图像中的血液循环异常区域的信息。通过如此构成,诊断辅助装置300能够使用通过将医生从荧光眼底造影图像确定的循环异常域信息和与该循环异常域信息相对应的眼底图像作为训练信息的机器学习而得到的学习模型,从通常的眼底图像高精度地推定循环异常域。
血液循环异常区域基于荧光眼底造影图像、以及附加于荧光眼底造影图像的与视网膜无灌注区域和新生血管中的某一者或两者有关的眼科医生的诊断注释而生成。通过如此构成,能够基于荧光眼底造影图像、以及附加于荧光眼底造影图像的与视网膜无灌注区域和新生血管中的某一者或两者有关的眼科医生的诊断注释而生成作为训练信息的血液循环异常区域。
确定部确定眼底图像中的视网膜无灌注区域和与新生血管相当的区域中的某一者或两者。通过如此构成,能够从通常的眼底图像以高精度确定视网膜无灌注区域和与新生血管相当的区域中的某一者或两者。
输出部输出使确定部所确定的血液循环异常区域重叠于眼底图像而得到的图像。通过如此构成,能够从通常的眼底图像获取循环异常域重叠于该眼底图像而得到的图像。
根据本实施方式的变形例,学习装置200具有学习部,该学习部基于作为眼底的图像的眼底图像、和根据眼底的荧光眼底造影图像而确定的血液循环异常区域,通过学习而生成表示眼底图像与眼底图像中的血液循环异常区域之间的关系的学习模型。通过如此构成,学习装置200能够通过机器学习生成表示眼底图像与眼底图像中的血液循环异常区域之间的关系的学习模型。
血液循环异常区域基于荧光眼底造影图像以及附加于荧光眼底造影图像的与视网膜无灌注区域和新生血管中的某一者或两者有关的眼科医生的诊断注释而生成。通过如此构成,能够基于荧光眼底造影图像、以及附加于荧光眼底造影图像的与视网膜无灌注区域和新生血管中的某一者或两者有关的眼科医生的诊断注释,生成作为训练信息的血液循环异常区域。
以上,对本发明的实施方式及其变形例进行了说明,但这些实施方式及其变形例作为例子而提供,并不意图限定发明的范围。这些实施方式及其变形例能够以其他各种形态实施,在不脱离发明的主旨的范围内,能够进行各种省略、置换、改变、组合。这些实施方式及其变形例在包含于发明的范围、主旨的同时,包含于权利要求书所记载的发明及其同等的范围。
此外,前述的服务器1、眼科医生终端2、检查设备3、学习装置200、诊断辅助装置300在内部具有计算机。并且,前述的各装置的各处理的过程以程序的形式存储于计算机可读记录介质,通过由计算机读出并执行该程序,进行上述处理。在此,计算机可读记录介质是指磁盘、光磁盘、CD-ROM、DVD-ROM、半导体存储器等。另外,也可以是,利用通信线路向计算机发布该计算机程序,接受到该发布的计算机执行该程序。
另外,上述程序也可以是用于实现前述功能的一部分的程序。
而且,也可以是能够以与已经记录于计算机系统的程序的组合来实现前述的功能的所谓差分文件(差分程序)。
此外,对于以上的说明,进一步公开以下的附记。
(附记1)一种程序,其使对信息处理装置进行控制的计算机执行包括以下步骤的控制处理:
荧光眼底造影图像获取步骤,获取荧光眼底造影图像信息;
NPA·NV注解获取步骤,将附加于上述荧光眼底造影图像信息的、与视网膜无灌注区域和新生血管中的至少一者有关的眼科医生的诊断注释获取为NPA·NV注解信息;
NPA·NV训练信息生成步骤,基于上述荧光眼底造影图像信息和与该荧光眼底造影图像信息相对应的上述NPA·NV注解信息,生成NPA·NV训练信息,该NPA·NV训练信息成为用于对上述视网膜无灌注区域的存在概率和新生血管的存在概率进行运算的训练信息;
眼底图像获取步骤,获取眼底图像信息;
NPA·NV存在概率运算步骤,基于上述NPA·NV训练信息,运算上述眼底图像信息中的上述视网膜无灌注区域的存在概率和上述新生血管的存在概率;以及
推定NPA·NV确定步骤,基于上述视网膜无灌注区域的存在概率和上述新生血管的存在概率,将上述眼底图像信息中的推定为与上述视网膜无灌注区域相当的区域确定为推定NPA、将推定为与上述新生血管相当的区域确定为推定NV。
(附记2)根据附记1所记载的程序,其中,还包括NPA·NV存在概率图生成步骤,在该NPA·NV存在概率图生成步骤中,生成使上述眼底图像信息识别显示有上述NPA存在概率和NV存在概率的NPA·NV存在概率图。
(附记3)根据附记1或2所记载的程序,其中,还包括如下步骤:
附带注解获取步骤,将附加于上述荧光眼底造影图像信息和上述眼底图像信息的、与附带发现有关的上述眼科医生的诊断注释获取为附带发现注解信息;
附带发现训练信息生成步骤,基于上述荧光眼底造影图像信息和上述眼底图像信息、以及与该荧光眼底造影图像信息和该眼底图像信息相对应的上述附带发现注解信息,生成附带发现训练信息,该附带发现训练信息成为用于对上述眼底图像信息中的上述附带发现的存在概率进行运算的训练信息;以及
附带发现存在概率运算步骤,基于上述附带发现训练信息,运算上述眼底图像信息中的上述附带发现的存在概率,
在上述NPA·NV存在概率运算步骤中,还执行以下控制处理:基于上述附带发现的存在概率和上述NPA训练信息,运算上述眼底图像信息中的上述视网膜无灌注区域的存在概率和新生血管的存在概率。
(附记4)根据附记3所记载的程序,其中,还包括附带发现存在概率图生成步骤,在该附带发现存在概率图生成步骤中,生成使上述眼底图像信息识别显示有上述附带发现的存在概率的附带发现存在概率图。
(附记5)一种信息处理方法,其是信息处理装置所执行的信息处理方法,其中,
该信息处理方法包括以下步骤:
荧光眼底造影图像获取步骤,获取荧光眼底造影图像信息;
NPA·NV注解获取步骤,将附加于上述荧光眼底造影图像信息的、与视网膜无灌注区域和新生血管中的至少一者有关的眼科医生的诊断注释获取为NPA·NV注解信息;
NPA·NV训练信息生成步骤,基于上述荧光眼底造影图像信息和与该荧光眼底造影图像信息相对应的上述NPA·NV注解信息,生成NPA·NV训练信息,该NPA·NV训练信息成为用于对上述视网膜无灌注区域的存在概率和新生血管的存在概率进行运算的训练信息;
眼底图像获取步骤,获取眼底图像信息;
NPA·NV存在概率运算步骤,基于上述NPA·NV训练信息,运算上述眼底图像信息中的上述视网膜无灌注区域的存在概率和上述新生血管的存在概率;以及
推定NPA·NV确定步骤,基于上述视网膜无灌注区域的存在概率和上述新生血管的存在概率,将上述眼底图像信息中的推定为与上述视网膜无灌注区域相当的区域确定为推定NPA、将推定为与上述新生血管相当的区域确定为推定NV。
(附记6)一种信息处理装置,其具备:
荧光眼底造影图像获取单元,其获取荧光眼底造影图像信息;
NPA·NV注解获取单元,其将附加于上述荧光眼底造影图像信息的、与视网膜无灌注区域和新生血管中的至少一者有关的眼科医生的诊断注释获取为NPA·NV注解信息;
NPA·NV训练信息生成单元,其基于上述荧光眼底造影图像信息和与该荧光眼底造影图像信息相对应的上述NPA·NV注解信息,生成NPA·NV训练信息,该NPA·NV训练信息成为用于对上述视网膜无灌注区域的存在概率和新生血管的存在概率进行运算的训练信息;
眼底图像获取单元,其获取眼底图像信息;
NPA·NV存在概率运算单元,其基于上述NPA·NV训练信息,运算上述眼底图像信息中的上述视网膜无灌注区域的存在概率和上述新生血管的存在概率;以及
推定NPA·NV确定单元,其基于上述视网膜无灌注区域的存在概率和上述新生血管的存在概率,将上述眼底图像信息中的推定为与上述视网膜无灌注区域相当的区域确定为推定NPA、将推定为与上述新生血管相当的区域确定为推定NV。
附图标记说明
1:服务器,
2:眼科医生终端,
3:检查设备,
11:CPU,
12:ROM,
13:RAM,
14:总线,
15:输入输出接口,
16:显示部,
17:输入部,
18:存储部,
19:通信部,
20:驱动器,
30:可移动介质,
101:图像获取部,
102:注解获取部,
103:训练信息生成部,
104:运算部,
105:图生成部,
106:推定NPA·NV确定部,
107:推定NPA·NV显示控制部,
200:学习装置,
205:通信部,
210:存储部,
211:程序,
212:APP,
213:图像DB,
214:注解DB,
215:学习信息,
216:学习模型,
220:操作部,
230:信息处理部,
231:图像获取部,
232:注解获取部,
233:学习信息生成部,
234:学习部,
240:显示部,
250:总线,
300:诊断辅助装置,
305:通信部,
310:存储部,
311:程序,
312:APP,
320:操作部,
330:信息处理部,
331:受理部,
332:确定部,
333:生成部,
240:显示部,
350:总线,
401:图像DB,
402:注解DB,
403:训练DB,
A:推定NPA,
B:推定NV,
C:荧光眼底造影图像信息,
D:眼科医生,
E:NPA·NV存在概率图,
F:眼底图像信息。

Claims (10)

1.一种诊断辅助装置,其具有:
确定部,其使用学习模型来确定作为眼底的图像的眼底图像中的血液循环异常区域,该学习模型是基于眼底图像和根据所述眼底的荧光眼底造影图像而确定的血液循环异常区域,对眼底图像与所述眼底图像中的血液循环异常区域之间的关系进行学习而得到的;和
输出部,其输出表示所述确定部使用患者的眼底图像和所述学习模型而确定的患者的所述眼底图像中的血液循环异常区域的信息。
2.根据权利要求1所述的诊断辅助装置,其中,
所述血液循环异常区域基于所述荧光眼底造影图像、以及附加于所述荧光眼底造影图像的与视网膜无灌注区域和新生血管中的某一者或两者有关的眼科医生的诊断注释而生成。
3.根据权利要求1或2所述的诊断辅助装置,其中,
所述确定部确定所述眼底图像中的视网膜无灌注区域和与新生血管相当的区域中的某一者或两者。
4.根据权利要求1~3中任一项所述的诊断辅助装置,其中,
所述输出部输出使所述确定部所确定的血液循环异常区域重叠于所述眼底图像而得到的图像。
5.一种学习装置,其具有学习部,该学习部基于作为眼底的图像的眼底图像、和根据所述眼底的荧光眼底造影图像而确定的血液循环异常区域,通过学习而生成表示眼底图像与所述眼底图像中的血液循环异常区域之间的关系的学习模型。
6.根据权利要求5所述的学习装置,其中,
所述血液循环异常区域基于所述荧光眼底造影图像以及附加于所述荧光眼底造影图像的与视网膜无灌注区域和新生血管中的某一者或两者有关的眼科医生的诊断注释而生成。
7.一种诊断辅助方法,其是诊断辅助装置所执行的诊断辅助方法,其中,
在该诊断辅助方法中,
使用学习模型来确定作为眼底的图像的眼底图像中的血液循环异常区域,该学习模型是基于眼底图像和根据所述眼底的荧光眼底造影图像而确定的血液循环异常区域,对眼底图像与所述眼底图像中的血液循环异常区域之间的关系进行学习而得到的;
输出表示使用患者的眼底图像和所述学习模型而确定的患者的所述眼底图像中的血液循环异常区域的信息。
8.一种学习方法,其是学习装置所执行的学习方法,其中,
在该学习方法中,
获取表示作为眼底的图像的眼底图像的信息和表示基于所述眼底的荧光眼底造影图像而确定的血液循环异常区域的信息;
基于所获取的所述眼底图像和基于所述眼底的所述荧光眼底造影图像而确定的血液循环异常区域,通过学习而生成表示眼底图像与所述眼底图像中的血液循环异常区域之间的关系的学习模型。
9.一种程序,其中,
该程序使诊断辅助装置的计算机使用学习模型来确定作为眼底的图像的眼底图像中的血液循环异常区域,该学习模型是基于眼底图像和根据所述眼底的荧光眼底造影图像而确定的血液循环异常区域,对眼底图像与所述眼底图像中的血液循环异常区域之间的关系进行学习而得到的;并且
该程序使诊断辅助装置的计算机输出表示使用患者的眼底图像和所述学习模型而确定的患者的所述眼底图像中的血液循环异常区域的信息。
10.一种程序,其中,
该程序使学习装置的计算机获取表示作为眼底的图像的眼底图像的信息和表示基于所述眼底的荧光眼底造影图像而确定的血液循环异常区域的信息;并且
该程序使学习装置的计算机基于所获取的所述眼底图像和基于所述眼底的所述荧光眼底造影图像而确定的血液循环异常区域,通过学习而生成表示眼底图像与所述眼底图像中的血液循环异常区域之间的关系的学习模型。
CN201980018367.7A 2018-01-19 2019-01-18 诊断辅助装置、学习装置、诊断辅助方法、学习方法及程序 Active CN111902071B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-007585 2018-01-19
JP2018007585 2018-01-19
PCT/JP2019/001470 WO2019142910A1 (ja) 2018-01-19 2019-01-18 診断支援装置、学習装置、診断支援方法、学習方法及びプログラム

Publications (2)

Publication Number Publication Date
CN111902071A true CN111902071A (zh) 2020-11-06
CN111902071B CN111902071B (zh) 2024-08-30

Family

ID=67302295

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980018367.7A Active CN111902071B (zh) 2018-01-19 2019-01-18 诊断辅助装置、学习装置、诊断辅助方法、学习方法及程序

Country Status (5)

Country Link
US (2) US20210000343A1 (zh)
EP (1) EP3741288A4 (zh)
JP (2) JP7143862B2 (zh)
CN (1) CN111902071B (zh)
WO (1) WO2019142910A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112967260A (zh) * 2021-03-17 2021-06-15 中国科学院苏州生物医学工程技术研究所 基于弱监督学习的眼底荧光造影图像渗漏点检测方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111902071B (zh) * 2018-01-19 2024-08-30 株式会社尼康 诊断辅助装置、学习装置、诊断辅助方法、学习方法及程序
JP6916849B2 (ja) * 2019-09-13 2021-08-11 株式会社クレスコ 情報処理装置、情報処理方法および情報処理プログラム
JP2021176056A (ja) * 2020-05-01 2021-11-04 国立研究開発法人理化学研究所 医療システム及び医療情報処理装置
KR102543937B1 (ko) * 2021-03-18 2023-06-14 가톨릭대학교 산학협력단 딥러닝 기반의 안저 형광 혈관 조영 영상 내 비관류 영역의 자동 탐지 장치 및 방법
JP2023034400A (ja) 2021-08-31 2023-03-13 DeepEyeVision株式会社 情報処理装置、情報処理方法及びプログラム
JPWO2023032162A1 (zh) * 2021-09-03 2023-03-09
JP2023051045A (ja) * 2021-09-30 2023-04-11 DeepEyeVision株式会社 情報処理装置、情報処理方法及びプログラム
CN115272255A (zh) * 2022-08-02 2022-11-01 中山大学中山眼科中心 一种利用眼底彩照自动生成荧光造影图像的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201624637U (zh) * 2009-08-21 2010-11-10 上海市第一人民医院 可调谐光源结合共焦激光同步眼底血管造影系统
CN104835150A (zh) * 2015-04-23 2015-08-12 深圳大学 一种基于学习的眼底血管几何关键点图像处理方法及装置
CN107423571A (zh) * 2017-05-04 2017-12-01 深圳硅基仿生科技有限公司 基于眼底图像的糖尿病视网膜病变识别系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7290880B1 (en) * 2005-07-27 2007-11-06 Visionsense Ltd. System and method for producing a stereoscopic image of an eye fundus
JP4822527B2 (ja) * 2006-09-26 2011-11-24 国立大学法人岐阜大学 画像解析装置及び画像解析プログラム
JP2010178802A (ja) 2009-02-03 2010-08-19 Gifu Univ 眼底画像解析システム、及び眼底画像解析プログラム
JP5628636B2 (ja) * 2010-11-09 2014-11-19 株式会社トプコン 眼底画像処理装置及び眼底観察装置
US20140314288A1 (en) 2013-04-17 2014-10-23 Keshab K. Parhi Method and apparatus to detect lesions of diabetic retinopathy in fundus images
WO2016040317A1 (en) 2014-09-08 2016-03-17 The Cleveland Clinic Foundation Automated analysis of angiographic images
US20160278627A1 (en) * 2015-03-25 2016-09-29 Oregon Health & Science University Optical coherence tomography angiography methods
JP6090505B1 (ja) * 2016-04-12 2017-03-08 株式会社網膜情報診断研究所 眼底画像解析システムとそのプログラム
JP6744625B2 (ja) 2016-07-11 2020-08-19 株式会社ペティオ ペット用サークル
EP3300654B1 (en) * 2016-09-30 2022-01-05 Nidek Co., Ltd. Method for fundus image observation
CN111902071B (zh) * 2018-01-19 2024-08-30 株式会社尼康 诊断辅助装置、学习装置、诊断辅助方法、学习方法及程序

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201624637U (zh) * 2009-08-21 2010-11-10 上海市第一人民医院 可调谐光源结合共焦激光同步眼底血管造影系统
CN104835150A (zh) * 2015-04-23 2015-08-12 深圳大学 一种基于学习的眼底血管几何关键点图像处理方法及装置
CN107423571A (zh) * 2017-05-04 2017-12-01 深圳硅基仿生科技有限公司 基于眼底图像的糖尿病视网膜病变识别系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZEINAB GHASEMI KAMASI,MARZIEH MOKHTARI,HOSSEIN RABBANI: "《Non-Rigid Registration of Fluorescein Angiography and Optical Coherence Tomography via Scanning Laser Ophthalmoscope Imaging》", ANNUAL INTERNATIONAL CONFERENCE OF THE IEEE ENGINEERING IN MEDICINE AND BIOLOGY SOCIETY, pages 4415 - 4418 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112967260A (zh) * 2021-03-17 2021-06-15 中国科学院苏州生物医学工程技术研究所 基于弱监督学习的眼底荧光造影图像渗漏点检测方法
CN112967260B (zh) * 2021-03-17 2024-01-26 中国科学院苏州生物医学工程技术研究所 基于弱监督学习的眼底荧光造影图像渗漏点检测方法

Also Published As

Publication number Publication date
CN111902071B (zh) 2024-08-30
JP2022180466A (ja) 2022-12-06
WO2019142910A1 (ja) 2019-07-25
JP7524932B2 (ja) 2024-07-30
EP3741288A4 (en) 2021-11-24
US20240249122A1 (en) 2024-07-25
EP3741288A8 (en) 2021-01-13
JP7143862B2 (ja) 2022-09-29
EP3741288A1 (en) 2020-11-25
US20210000343A1 (en) 2021-01-07
JPWO2019142910A1 (ja) 2021-01-07

Similar Documents

Publication Publication Date Title
CN111902071B (zh) 诊断辅助装置、学习装置、诊断辅助方法、学习方法及程序
CN108553079B (zh) 基于眼底图像的病变识别系统
WO2020200087A1 (en) Image-based detection of ophthalmic and systemic diseases
KR101977645B1 (ko) 안구영상 분석방법
KR101887194B1 (ko) 피검체의 의료 영상의 판독을 지원하는 방법 및 이를 이용한 장치
JP7258354B2 (ja) 生体組織内の異常を検出するための方法及びシステム
EP2695570A1 (en) Ophthalmologic image analysis apparatus and ophthalmologic image analysis method
US20040101177A1 (en) Method and system for retrieving a medical picture
WO2010119596A1 (ja) 医用画像処理装置及びその制御方法
JP2022033126A (ja) 眼の画像内における病変の検知
RU2016123429A (ru) Система поддержки принятия клинических решений на основе принятия решений по сортировке пациентов
JP2020036835A (ja) 眼科診断支援装置、眼科診断支援方法、及び眼科診断支援プログラム
US20230077125A1 (en) Method for diagnosing age-related macular degeneration and defining location of choroidal neovascularization
KR102034648B1 (ko) 의료영상 관리 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
JP2006263127A (ja) 眼底画像診断支援システム、及び眼底画像診断支援プログラム
JP2019146936A (ja) 診断支援システム、診断支援方法、及びプログラム
KR20160002516A (ko) 홍채차트를 이용한 건강진단 시스템 및 그 방법
US20200160517A1 (en) Priority judgement device, method, and program
WO2019150916A1 (ja) 運転適性判定装置、および運転適性判定システム
CN116635889A (zh) 从外部眼睛前部图像检测疾病的机器学习
JP2022065916A (ja) 診断支援装置、診断支援方法、およびコンピュータプログラム
KR102697857B1 (ko) 안저 영상 학습을 이용한 치매 예측 선별 시스템 및 방법
JP6410498B2 (ja) 眼科装置及びその制御方法
WO2013041977A1 (en) Method of retinal image enhancement and tool therefor
Pawar et al. Analysis of Ocular Disease Using Multiple Information Domains

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right

Effective date of registration: 20201106

Address after: Tokyo, Japan

Applicant after: Nikon Corp.

Address before: Tokyo, Japan

Applicant before: Kelo University

TA01 Transfer of patent application right
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant