CN111885954B - 图像处理方法、存储介质及眼科装置 - Google Patents

图像处理方法、存储介质及眼科装置 Download PDF

Info

Publication number
CN111885954B
CN111885954B CN201980020423.0A CN201980020423A CN111885954B CN 111885954 B CN111885954 B CN 111885954B CN 201980020423 A CN201980020423 A CN 201980020423A CN 111885954 B CN111885954 B CN 111885954B
Authority
CN
China
Prior art keywords
image
fundus
fundus image
blood vessel
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980020423.0A
Other languages
English (en)
Other versions
CN111885954A (zh
Inventor
广川真梨子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of CN111885954A publication Critical patent/CN111885954A/zh
Application granted granted Critical
Publication of CN111885954B publication Critical patent/CN111885954B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Processing (AREA)

Abstract

减少视网膜血管对脉络膜血管解析的影响。读出第1眼底图像(R色眼底图像)及第2眼底图像(G色眼底图像)的图像数据，从第2眼底图像提取视网膜血管，从第1眼底图像除去视网膜血管，在脉络膜血管被相对地突出显示的第1眼底图像中，强调脉络膜血管。由此，得到脉络膜血管被强调的脉络膜血管图像。

Description

图像处理方法、存储介质及眼科装置
技术领域
本公开的技术涉及图像处理方法、程序、眼科装置及脉络膜血管图像生成方法。
背景技术
在日本专利第5739323号中，公开了强调视网膜血管的特征的内容。
发明内容
本公开的技术的第1方案的图像处理方法包括：基于以第1波长的第1光对眼底进行拍摄而得到的第1眼底图像、和以波长比上述第1波长短的第2波长的第2光对上述眼底进行拍摄而得到的第2眼底图像，生成脉络膜血管图像。
本公开的技术的第2方案的程序使计算机执行第1方案的图像处理方法。
本公开的技术的第3方案的眼科装置是具备存储装置和处理装置的眼科装置，其中存储装置存储用于使处理器执行图像处理方法的程序，处理装置通过执行存储于上述存储装置的程序而执行上述图像处理方法，上述图像处理方法是第1方案的图像处理方法。
本公开的技术的第4方案的脉络膜血管图像生成方法包括以下步骤：通过以波长为630nm以上的光对眼底进行拍摄而获取眼底图像的步骤；从上述眼底图像提取视网膜血管的步骤；和通过从上述眼底图像除去上述视网膜血管而生成脉络膜血管图像的步骤。
附图说明
图1是眼科系统100的框图。
图2是表示眼科装置110的整体结构的概略结构图。
图3是管理服务器140的电气系统的结构框图。
图4是管理服务器140的CPU162的功能框图。
图5是图像处理程序的流程图。
图6A是表示第1眼底图像(R色眼底图像)的图。
图6B是表示第2眼底图像(G色眼底图像)的图。
图6C是表示脉络膜血管被相对地突出显示的脉络膜血管图像的图。
图6D是表示脉络膜血管被强调的脉络膜血管图像的图。
图7是表示患者的眼底被首次拍摄的情况下的脉络膜血管解析模式的显示画面300的图。
图8是表示患者的眼底在不同的日子被拍摄合计三次的情况下的脉络膜血管解析模式的显示画面300的图。
图9是第7变形例的图像处理程序的流程图。
具体实施方式
以下，参照附图详细地说明本发明的实施方式。此外，以下为便于说明，将激光扫描检眼镜(Scanning Laser Ophthalmoscope)称为“SLO”。
参照图1说明眼科系统100的结构。如图1所示，眼科系统100具备眼科装置110、眼轴长度测定装置120、管理服务器装置(以下称为“管理服务器”)140和图像显示装置(以下称为“图像观测器”)150。眼科装置110获取眼底图像。眼轴长度测定装置120测定患者的眼轴长度。管理服务器140将通过利用眼科装置110对多位患者的眼底进行拍摄而得到的多张眼底图像及眼轴长度与患者的ID相对应地存储。图像观测器150显示通过管理服务器140获取到的眼底图像。
眼科装置110、眼轴长度测定装置120、管理服务器140、图像观测器150经由网络130而相互连接。
此外，其他眼科设备(视场测定、眼压测定等的检查设备)和/或进行使用了人工智能的图像解析的诊断支援装置也可以经由网络130，与眼科装置110、眼轴长度测定装置120、管理服务器140及图像观测器150连接。
接下来，参照图2说明眼科装置110的结构。如图2所示，眼科装置110具备控制单元20、显示/操作单元30及SLO单元40，对被检眼12的后眼部(眼底)进行拍摄。
控制单元20具备CPU22、存储器24及通信接口(I/F)26等。显示/操作单元30是对拍摄而得到的图像进行显示、受理包含拍摄指示在内的各种指示的图形用户界面，具备显示器32及触摸面板34。
SLO单元40具备G光(绿色光：波长530nm)的光源42、R光(红色光：波长650nm)的光源44、IR光(红外线(近红外光)：波长800nm)的光源46。光源42、44、46受控制单元20命令，发出各种光。R光的光源使用波长630nm～780nm的可视光，IR光的光源使用发出波长780nm以上的近红外光的激光光源。
SLO单元40具备将来自光源42、44、46的光反射或使其透射而引导到一条光路的光学系统50、52、54、56。光学系统50、56是反射镜，光学系统52、54是分光器。G光在光学系统50、54反射，R光从光学系统52、54透射，IR光在光学系统52、56反射，这些光分别被引导到一条光路。
SLO单元40具备将来自光源42、44、46的光在被检眼12的整个后眼部(眼底)呈二维状进行扫描的广角光学系统80。SLO单元40具备将来自被检眼12的后眼部(眼底)的光中的G光反射且使G光以外的光透射的分光器58。SLO单元40具备将从分光器58透射后的光中的R光反射且使R光以外的光透射的分光器60。SLO单元40具备将从分光器60透射后的光中的IR光反射的分光器62。SLO单元40具备对由分光器58反射的G光进行检测的G光检测元件72、对由分光器60反射的R光进行检测的R光检测元件74、以及对由分光器62反射的IR光进行检测的IR光检测元件76。
广角光学系统80具备：将来自光源42、44、46的光沿X方向扫描的由多面镜(polygon mirror)构成的X方向扫描装置82；将来自光源42、44、46的光沿Y方向扫描的由扫描振镜(galvanometer mirror)构成的Y方向扫描装置84；以及包含未图示的狭缝镜及椭球镜并使所扫描的光成为广角的光学系统86。通过光学系统86，使眼底的视场角(FOV：Fieldof View)成为比现有技术大的角度，从而能够对与现有技术相比更大范围的眼底区域进行拍摄。具体地说，能够对以来自被检眼12外部的外部光照射角计为约120度(以将被检眼12的眼球中心O作为基准位置、并通过利用扫描光对被检眼12的眼底进行照射而实质能够拍摄的内部光照射角计，为200度左右)的大范围的眼底区域进行拍摄。光学系统86也可以代替狭缝镜及椭球镜而为使用多个透镜组的结构。X方向扫描装置82及Y方向扫描装置84的各扫描装置也可以利用使用MEMS镜而构成的二维扫描器。
在作为光学系统86而使用包含狭缝镜及椭球镜的系统的情况下，也可以为使用国际申请PCT/JP2014/084619、国际申请PCT/JP2014/084630所记载的利用了椭球镜的系统的结构。2014年12月26日提出国际申请的国际申请PCT/JP2014/084619(国际公开WO2016/103484)的公开内容及2014年12月26日提出国际申请的国际申请PCT/JP2014/084630(国际公开WO2016/103489)的公开内容各自通过参照而整体被引入到本说明书中。
此外，将眼科装置110沿水平面设置的情况下的水平方向设为“X方向”，将相对于水平面垂直的垂直方向设为“Y方向”，将连结被检眼12的前眼部的瞳孔中心和眼球中心的方向设为“Z方向”。因此，X方向、Y方向及Z方向相互垂直。
彩色眼底图像是通过以G光及R光同时对被检眼12的眼底进行拍摄而得到的。更详细地说，控制单元20以同时发光的方式控制光源42、44，在被检眼12的整个眼底，利用广角光学系统80使G光及R光进行扫描。并且，由G光检测元件72检测从被检眼12的眼底反射的G光，由图像处理部182生成第2眼底图像(G色眼底图像)的图像数据。同样地，由R光检测元件74检测从被检眼12的眼底反射的R光，由眼科装置110的CPU22生成第1眼底图像(R色眼底图像)的图像数据。另外，在照射了IR光的情况下，由IR光检测元件76检测从被检眼12的眼底反射的IR光，由眼科装置110的CPU22生成IR眼底图像的图像数据。
眼科装置110的CPU22以规定比率将第1眼底图像(R色眼底图像)和第2眼底图像(G色眼底图像)混合，并作为彩色眼底图像显示于显示器32。此外，也可以不显示彩色眼底图像而显示第1眼底图像(R色眼底图像)、第2眼底图像(G色眼底图像)或IR眼底图像。
第1眼底图像(R色眼底图像)的图像数据、第2眼底图像(G色眼底图像)的图像数据、IR眼底图像的图像数据经由通信IF26被从眼科装置110向管理服务器140发送。
由于像这样以G光及R光同时对被检眼12的眼底进行拍摄，所以第1眼底图像(R色眼底图像)的各位置、和与该位置相对应的第2眼底图像(G色眼底图像)中的位置在眼底中是相同位置。
图1的眼轴长度测定装置120具有对被检眼12的眼轴方向(Z方向)的长度即眼轴长度进行测定的第1模式和第2模式这两个模式。第1模式在将来自未图示的光源的光引导到被检眼12后，接收来自眼底的反射光与来自角膜的反射光的干涉光，基于表示接收到的干涉光的干涉信号对眼轴长度进行测定。第2模式是使用未图示的超声波对眼轴长度进行测定的模式。眼轴长度测定装置120将通过第1模式或第2模式测定出的眼轴长度向管理服务器140发送。还可以通过第1模式及第2模式对眼轴长度进行测定，在该情况下，将通过两种模式测定出的眼轴长度的平均值作为眼轴长度向管理服务器140发送。
眼轴长度作为患者数据之一在管理服务器140中被保存为患者信息，并且也被用于眼底图像解析。
接下来，参照图3说明管理服务器140的结构。如图3所示，管理服务器140具备控制单元160及显示/操作单元170。控制单元160具备包含CPU162的计算机、作为存储装置的存储器164以及通信接口(I/F)166等。此外，在存储器164中存储有图像处理程序。显示/操作单元170是显示图像、受理各种指示的图形用户界面，具备显示器172及触摸面板174。
由于图像观测器150的结构与管理服务器140相同，所以省略其说明。
接下来，参照图4说明通过由管理服务器140的CPU162执行图像处理程序而实现的各种功能。图像处理程序具备图像处理功能、显示控制功能及处理功能。通过由CPU162执行具有该各功能的图像处理程序，从而CPU162如图4所示那样作为图像处理部182、显示控制部184及处理部186而发挥功能。
接下来，使用图5详细地说明基于管理服务器140进行的图像处理。通过由管理服务器140的CPU162执行图像处理程序而实现图5的流程图所示的图像处理。
在从眼科装置110发送通过眼科装置110对被检眼12的眼底进行拍摄而得到的眼底图像的图像数据且由管理服务器140接收到时，图像处理程序起动。
当图像处理程序起动后，在图5的步骤202中，处理部186从眼底图像的图像数据(从眼科装置110接收到的)中，读出第1眼底图像(R色眼底图像)的图像数据。在步骤204中，处理部186从眼底图像的图像数据(从眼科装置110接收到的)中，读出第2眼底图像(G色眼底图像)的图像数据。
在此，说明第1眼底图像(R色眼底图像)和第2眼底图像(G色眼底图像)所包含的信息。
眼睛的构造是由构造不同的多个层覆盖玻璃体。在多个层中，从玻璃体侧的最内侧向外侧，包含视网膜、脉络膜、巩膜。R光从视网膜通过而到达至脉络膜。因此，在第1眼底图像(R色眼底图像)中包含存在于视网膜的血管(视网膜血管)的信息和存在于脉络膜的血管(脉络膜血管)的信息。与此相对，G光仅到达至视网膜。因此，在第2眼底图像(G色眼底图像)中仅包含存在于视网膜的血管(视网膜血管)的信息。
在步骤206中，图像处理部182通过对第2眼底图像(G色眼底图像)实施黑帽过滤(black hat filter)处理，而从第2眼底图像(G色眼底图像)提取视网膜血管。黑帽过滤处理是提取黑线的过滤处理。
黑帽过滤处理是获取第2眼底图像(G色眼底图像)的图像数据、与通过对该原图像数据进行N次(N为1以上的整数)膨胀处理及N次收缩处理的闭合处理而得到的图像数据之间的差分的处理。视网膜血管由于吸收照射光(不仅吸收G光还吸收R光或IR光)而在眼底图像中被拍摄得比血管周围黑。因此，通过对眼底图像实施黑帽过滤处理，而能够提取视网膜血管。
在步骤208中，图像处理部182通过修复(Inpainting)处理，从第1眼底图像(R色眼底图像)除去在步骤206中提取的视网膜血管。具体地说，在第1眼底图像(R色眼底图像)中，使视网膜血管不突出显示。更详细地说，在第1眼底图像(R色眼底图像)中对从第2眼底图像(G色眼底图像)提取的视网膜血管的各位置进行确定，并对所确定出的位置的第1眼底图像(R色眼底图像)中的像素的像素值以其与该像素周围的像素的平均值之差成为规定范围(例如0)的方式进行处理。
由于像这样在存在视网膜血管和脉络膜血管的第1眼底图像(R色眼底图像)中使视网膜血管不突出显示，所以其结果为，能够在第1眼底图像(R色眼底图像)中使脉络膜血管相对地突出显示。由此如图6C所示，得到脉络膜血管被相对地突出显示的脉络膜血管图像。
在步骤210中，图像处理部182通过对脉络膜血管被相对地突出显示的第1眼底图像(R色眼底图像)的图像数据实施CLAHE(Contrast Limited Adaptive HistogramEqualization(限制对比度的自适应直方图均衡化))处理，而在第1眼底图像(R色眼底图像)中，对脉络膜血管进行强调。由此，如图6D所示，得到脉络膜血管被强调的脉络膜血管图像。
在步骤212中，图像处理部182执行使用了脉络膜血管被强调的脉络膜血管图像的图像数据的脉络膜解析处理。例如，涡静脉(Vortex Vein)位置检测处理和/或脉络膜血管的行进方向的取向性的解析处理等。
在步骤214中，处理部186将脉络膜血管图像、脉络膜解析数据保存于存储器164。
当步骤214的处理结束后，图像处理程序结束。
另外，存在对图像观测器150进行操作的医生在诊断患者时想要知道脉络膜血管的状态的情况。在该情况下，医生经由图像观测器150，向管理服务器140发送脉络膜血管解析模式的显示画面数据的发送指示。
从图像观测器150接受到指示的管理服务器140的显示控制部184生成脉络膜血管解析模式的显示画面的数据。
说明脉络膜血管解析模式的显示画面的数据。在对患者的眼底进行拍摄时，在眼科装置110中输入有患者的个人信息。在个人信息中包含患者的ID、姓名、年龄及视力等。另外，在对患者的眼底进行拍摄时，还输入有表示眼底被拍摄的眼睛是右眼还是左眼的信息。而且，在对患者的眼底进行拍摄时，还输入拍摄日期时间。从眼科装置110向管理服务器140，除了发送眼底图像的图像数据以外，还发送个人信息、右眼及左眼的信息以及拍摄日期时间的数据。
显示控制部184从存储器164读出包含眼轴长度在内的个人信息、拍摄日期时间、右眼及左眼的信息、第1眼底图像(R色眼底图像)、第2眼底图像(G色眼底图像)以及脉络膜血管图像的各数据来作为脉络膜血管解析模式的显示画面的数据，并生成图7所示的脉络膜血管解析模式的显示画面300。
生成了显示画面300的管理服务器140向图像观测器150发送脉络膜血管解析模式的显示画面300的数据。接收到脉络膜血管解析模式的显示画面的数据的图像观测器150基于脉络膜血管解析模式的显示画面的数据，将图7显示到图像观测器150的显示器156。
在此，说明图7所示的脉络膜血管解析模式的显示画面300。如图7所示，图7所示的脉络膜血管解析模式的显示画面300具有显示患者的个人信息的个人信息显示栏302、图像显示栏320及脉络膜解析工具显示栏330。
个人信息显示栏302具有患者ID显示栏304、患者姓名显示栏306、年龄显示栏308、眼轴长度显示栏310及视力显示栏312。
图像显示栏320具有拍摄日期显示栏322N1、右眼信息显示栏324R、左眼信息显示栏324L、RG图像显示栏326及脉络膜血管图像显示栏328。此外，RG图像是通过对第1眼底图像(R色眼底图像)和第2眼底图像(G色眼底图像)将各像素值的大小以规定比例(例如1：1)合成而得到的图像。
脉络膜解析工具显示栏330具备对图像观测器150指示处理的多个脉络膜解析工具，例如涡静脉位置解析图标332、对称性图标334、血管直径图标336、涡静脉及黄斑/乳头图标338以及脉络膜解析报告图标340。涡静脉位置解析图标332指示对涡静脉位置进行确定。对称性图标334指示对涡静脉的对称性进行解析。血管直径图标336指示执行对脉络血管的直径进行解析的工具。涡静脉及黄斑/乳头图标338指示对涡静脉、黄斑及视神经乳头之间的位置进行解析。脉络膜解析报告图标340指示显示脉络膜解析报告。
图7所示的例子显示了在拍摄日2016年1月1日对根据患者ID：123456识别的患者的眼底进行拍摄的情况下的RG图像及脉络膜图像。
另一方面，在之后例如在2017年1月1日、2018年1月1日对该患者的眼底进行拍摄而获取了上述数据的情况下，如图8所示，按2016年1月1日、2017年1月1日及2018年1月1日的各拍摄日显示RG图像及脉络膜图像。在拍摄日期显示栏322N1、322N2、322N3中分别显示拍摄日2016年1月1日、2017年1月1日、2018年1月1日。例如，如图8所示，当点击显示了2018年1月1日的拍摄日期显示栏322N3时，会显示在2018年1月1日进行拍摄而得到的RG图像及脉络膜图像。
如以上说明那样，在本实施方式中生成了脉络血管图像。
在此，以往在以红色光源对眼底进行拍摄得到的R图像中存在脉络膜血管和视网膜血管，在对脉络膜血管进行解析的情况下视网膜血管会影响解析。
对此，在本实施方式中，通过图像处理从R图像除去视网膜血管，而生成仅存在脉络膜血管的脉络膜血管图像。因此，能够减少视网膜血管对脉络血管解析的影响。
接下来，说明本公开的技术的各种变形例。
＜第1变形例＞
在上述实施方式中，在图5的步骤212之后，显示控制部184执行步骤214的处理。本公开的技术并不限定于此。例如也可以是，首先，当步骤212的处理结束后，图像处理程序结束，在管理服务器140接收到发送脉络膜血管解析模式的显示画面的数据的指示时，显示控制部184执行步骤214的处理。
＜第2变形例＞
在上述实施方式中，说明了通过眼科装置110获取作为距眼球中心的角度的内部光照射角为200度左右的眼底图像的例子。本公开的技术并不限定于此，也可以为基于眼底相机得到的眼底图像，例如即使是通过以内部照射角计为100°以下的眼科装置或眼底相机等各种眼科装置拍摄得到的眼底图像也可以适用本公开的技术。
＜第3变形例＞
在上述实施方式中，管理服务器140执行图像处理程序。本公开的技术并不限定于此。例如，也可以是眼科装置110或图像观测器150执行图像处理程序。在眼科装置110执行图像处理程序的情况下，图像处理程序被存储于存储器24，步骤214中的脉络膜血管图像、脉络膜解析数据被保存于存储器24。另外，在图像观测器150执行图像处理程序的情况下，图像处理程序被存储于图像观测器150的存储器，步骤214中的脉络膜血管图像、脉络膜解析数据被保存于图像观测器150的存储器。
＜第4变形例＞
在上述实施方式中，以具备眼科装置110、眼轴长度测定装置120、管理服务器140及图像观测器150的眼科系统100为例进行了说明，但本公开的技术并不限定于此。例如，作为第1例，也可以省略眼轴长度测定装置120，而眼科装置110还具有眼轴长度测定装置120的功能。另外，作为第2例，眼科装置110也可以还具有管理服务器140及图像观测器150中的至少一方的功能。例如，在眼科装置110具有管理服务器140的功能的情况下，能够省略管理服务器140。在该情况下，眼科装置110或图像观测器150执行图像处理程序。另外，在眼科装置110具有图像观测器150的功能的情况下，能够省略图像观测器150。作为第3例，也可以省略管理服务器140，而由图像观测器150执行管理服务器140的功能。
＜第5变形例＞
在上述实施方式中，作为第1眼底图像而使用了以R光进行拍摄得到的R色眼底图像，但也可以使用以IR光进行拍摄得到的IR眼底图像。也就是说，由于使用波长630nm～780nm的R光或波长780nm以上的IR光，所以光不仅会到达至视网膜还会到达至脉络膜。尤其是通过IR光甚至能够对脉络膜的深处区域进行拍摄。也就是说，由于使用能够对眼球的巩膜侧的脉络膜的区域进行拍摄的光，所以光会到达至覆盖眼球的玻璃体且位于玻璃体侧的最内侧到外侧的构造不同的包含视网膜及脉络膜的多个层中的该脉络膜，而能够对光到达的区域进行拍摄。
＜第6变形例＞
在上述实施方式中，通过以G光及R光同时对被检眼12的眼底进行拍摄而得到眼底图像。本公开的技术并不限定于此。例如，也可以是以G光和R光在时间上错开地对被检眼12的眼底进行拍摄。在该情况下，在进行了第1眼底图像(R色眼底图像)和第2眼底图像(G色眼底图像)的对位后，执行步骤208。
＜第7变形例＞
在上述实施方式中，基于第1眼底图像(R色眼底图像)和第2眼底图像(G色眼底图像)生成脉络膜血管图像，但本公开的技术并不限定于此，也可以基于眼底图像(R色眼底图像)生成脉络膜血管图像。基于眼底图像(R色眼底图像)生成脉络膜血管图像的图像处理在图9中示出。
在上述实施方式中，以G光及R光同时对被检眼12的眼底进行拍摄，但在第7变形例中，仅以R光对被检眼12的眼底进行拍摄而得到眼底图像(R色眼底图像)。
图9的图像处理程序也是在从眼科装置110发送眼底图像(R色眼底图像)的图像数据、且由管理服务器140接受到时起动。此外，由于在图9的图像处理中包含与图5的图像处理相同的处理，所以对相同处理标注相同附图标记并省略其详细说明。
如图9所示在步骤202的处理之后，在步骤205中，图像处理部182通过对眼底图像(R色眼底图像)实施黑帽过滤处理，而从眼底图像(R色眼底图像)提取视网膜血管。
此外，如上述那样在眼底图像(R色眼底图像)中包含存在于视网膜的血管(视网膜血管)的信息和存在于脉络膜的血管(脉络膜血管)的信息。但是，若对眼底图像(R色眼底图像)实施黑帽过滤处理，则仅会提取视网膜血管的信息。视网膜血管由于不仅吸收G光还吸收R光，所以在眼底图像中被拍摄得比血管周围黑。因此，通过对眼底图像实施黑帽过滤处理，而能够提取视网膜血管。
在步骤205之后，执行步骤208～214。
如以上说明那样，在第7变形例中，仅以R光对被检眼12的眼底进行拍摄而得到眼底图像(R色眼底图像)，从而能够从眼底图像(R色眼底图像)生成脉络膜血管图像。
此外，如第5变形例那样，并不限定于以R光进行拍摄，也可以使用以IR光进行拍摄得到的IR眼底图像。
＜其他变形例＞
在上述实施方式中所说明的数据处理原则上是一个例子。因此，当然也可以在不脱离主旨的范围内删除不需要的步骤、追加新的步骤、或替换处理顺序。
另外，在上述实施方式中，例示了通过利用了计算机的软件结构而实现数据处理的情况，但本公开的技术并不限定于此。例如，也可以代替利用了计算机的软件结构而仅通过FPGA或ASIC等硬件结构执行数据处理。也可以是数据处理中的一部分处理由软件结构执行，其余处理由硬件结构执行。
本申请主张2018年3月20日提出申请的作为日本申请的特愿2018-052246的优先权，该申请的所有内容通过参照被引入到本说明书中。另外本说明书所记载的所有文献、专利申请及技术标准与具体且独立地记述了各个文献、专利申请及技术标准通过参照被引入的情况同种程度地，通过参照被引入到本说明书中。

Claims (14)

1.一种图像处理方法，包括：
获取以第1波长的第1光对眼底进行拍摄而得到的第1眼底图像、和以波长比所述第1波长短的第2波长的第2光对所述眼底进行拍摄而得到的第2眼底图像的工序；
从所述第2眼底图像提取视网膜血管的工序；
在所述第1眼底图像中对所述第2眼底图像中的所述视网膜血管的各位置进行确定的工序；和
使用在所述第1眼底图像中所确定出的所述视网膜血管的周围的像素的像素值来确定所述视网膜血管的像素的像素值、并从所述第1眼底图像除去所述视网膜血管从而生成脉络膜血管图像的工序。
2.一种图像处理方法，包括：
获取以第1波长的第1光对眼底进行拍摄而得到的第1眼底图像、和以波长比所述第1波长短的第2波长的第2光对所述眼底进行拍摄而得到的第2眼底图像的工序；
从所述第2眼底图像提取视网膜血管的工序；
在所述第1眼底图像中对所述第2眼底图像中的所述视网膜血管的各位置进行确定的工序；和
使用在所述第1眼底图像中所确定出的所述视网膜血管的周围的像素的像素值来确定所述视网膜血管的像素的像素值、并从所述第1眼底图像使所述视网膜血管不突出从而生成脉络膜血管图像的工序。
3.如权利要求1或2所述的图像处理方法，其中，
在生成所述脉络膜血管图像的工序中，对所述第1眼底图像的所确定出的所述位置进行修复处理。
4.如权利要求1或2所述的图像处理方法，其中，
所述第1眼底图像和所述第2眼底图像是分别以第1光及波长比所述第1光短的第2光同时对被检眼的眼底进行拍摄而获取的。
5.如权利要求1或2所述的图像处理方法，其中，
所述第1眼底图像和所述第2眼底图像是以同光轴照射红色光和绿色光而获取的红色分量图像和绿色分量图像。
6.如权利要求1或2所述的图像处理方法，其中，还包括：
对所述脉络膜血管图像进行强调脉络膜血管的处理。
7.如权利要求1或2所述的图像处理方法，其中，还包括：
对所述脉络膜血管图像进行解析脉络膜血管的处理的工序。
8.如权利要求7所述的图像处理方法，其中，
进行解析所述脉络膜血管的处理的工序包括检测涡静脉。
9.如权利要求7所述的图像处理方法，其中，
进行解析所述脉络膜血管的处理的工序包括解析涡静脉、黄斑、及/或视神经的位置。
10.如权利要求7所述的图像处理方法，其中，
进行解析所述脉络膜血管的处理的工序包括解析脉络膜血管的行进方向的取向性及/或血管直径。
11.一种存储介质，存储有使计算机执行图像处理方法的程序，所述图像处理方法包括：
获取以第1波长的第1光对眼底进行拍摄而得到的第1眼底图像、和以波长比所述第1波长短的第2波长的第2光对所述眼底进行拍摄而得到的第2眼底图像的工序；
从所述第2眼底图像提取视网膜血管的工序；
在所述第1眼底图像中对所述第2眼底图像中的所述视网膜血管的各位置进行确定的工序；和
使用在所述第1眼底图像中所确定出的所述视网膜血管的周围的像素的像素值来确定所述视网膜血管的像素的像素值、并从所述第1眼底图像除去所述视网膜血管从而生成脉络膜血管图像的工序。
12.一种存储介质，存储有使计算机执行图像处理方法的程序，所述图像处理方法包括：
获取以第1波长的第1光对眼底进行拍摄而得到的第1眼底图像、和以波长比所述第1波长短的第2波长的第2光对所述眼底进行拍摄而得到的第2眼底图像的工序；
从所述第2眼底图像提取视网膜血管的工序；
在所述第1眼底图像中对所述第2眼底图像中的所述视网膜血管的各位置进行确定的工序；和
使用在所述第1眼底图像中所确定出的所述视网膜血管的周围的像素的像素值来确定所述视网膜血管的像素的像素值、并从所述第1眼底图像使所述视网膜血管不突出从而生成脉络膜血管图像的工序。
13.一种眼科装置，包括：
拍摄部，其获取第1眼底图像和第2眼底图像，所述第1眼底图像是以第1波长的第1光对眼底进行拍摄而得到的图像，所述第2眼底图像是以波长比所述第1波长短的第2波长的第2光对所述眼底进行拍摄而得到的图像；以及
图像处理部，其从所述第2眼底图像提取视网膜血管，在所述第1眼底图像中对所述第2眼底图像中的所述视网膜血管的各位置进行确定，使用在所述第1眼底图像中所确定出的所述视网膜血管的周围的像素的像素值来确定所述视网膜血管的像素的像素值，并从所述第1眼底图像除去所述视网膜血管，从而生成脉络膜血管图像。
14.一种眼科装置，包括：
拍摄部，其获取第1眼底图像和第2眼底图像，所述第1眼底图像是以第1波长的第1光对眼底进行拍摄而得到的图像，所述第2眼底图像是以波长比所述第1波长短的第2波长的第2光对所述眼底进行拍摄而得到的图像；以及
图像处理部，其从所述第2眼底图像提取视网膜血管，在所述第1眼底图像中对所述第2眼底图像中的所述视网膜血管的各位置进行确定，使用在所述第1眼底图像中所确定出的所述视网膜血管的周围的像素的像素值来确定所述视网膜血管的像素的像素值，并从所述第1眼底图像使所述视网膜血管不突出，从而生成脉络膜血管图像。
CN201980020423.0A 2018-03-20 2019-03-19 图像处理方法、存储介质及眼科装置 Active CN111885954B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018052246 2018-03-20
JP2018-052246 2018-03-20
PCT/JP2019/011590 WO2019181981A1 (ja) 2018-03-20 2019-03-19 画像処理方法、プログラム、眼科装置、及び脈絡膜血管画像生成方法

Publications (2)

Publication Number Publication Date
CN111885954A CN111885954A (zh) 2020-11-03
CN111885954B true CN111885954B (zh) 2024-05-07

Family

ID=67986487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980020423.0A Active CN111885954B (zh) 2018-03-20 2019-03-19 图像处理方法、存储介质及眼科装置

Country Status (5)

Country Link
US (1) US11941788B2 (zh)
JP (2) JP7441783B2 (zh)
CN (1) CN111885954B (zh)
DE (1) DE112019001423T5 (zh)
WO (1) WO2019181981A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7416083B2 (ja) * 2019-10-15 2024-01-17 株式会社ニコン 画像処理方法、画像処理装置、およびプログラム
JPWO2021074960A1 (zh) * 2019-10-15 2021-04-22
WO2021074961A1 (ja) * 2019-10-15 2021-04-22 株式会社ニコン 画像処理方法、画像処理装置、およびプログラム
JP7467875B2 (ja) * 2019-10-16 2024-04-16 株式会社ニコン 画像処理装置、画像処理方法、および画像処理プログラム
US20230139849A1 (en) * 2019-10-17 2023-05-04 Nikon Corporation Image processing method, image processing device, and image processing program
WO2021075062A1 (ja) * 2019-10-18 2021-04-22 株式会社ニコン 画像処理方法、画像処理装置、及びプログラム
US20230010672A1 (en) 2019-12-05 2023-01-12 Nikon Corporation Image processing method, image processing device, and program

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4322043C2 (de) * 1993-07-02 1995-07-20 Heidelberg Engineering Optisch Verfahren und Gerät zur Messung der Fließgeschwindigkeit, insbesondere des Blutes
US5620000A (en) 1993-07-02 1997-04-15 Heidelberg Engineering, Optische Messsysteme Gmbh Method and apparatus for measuring flow rate, particularly of blood
GB2378600A (en) * 2001-08-06 2003-02-12 Patrick Kerr Retinal function camera to determine retinal blood oxygenation.
AU2003219668A1 (en) * 2002-01-18 2003-09-02 Universiy Of Iowa Research Foundation Device and method for optical imaging of retinal function
JP4854390B2 (ja) * 2006-06-15 2012-01-18 株式会社トプコン 分光眼底測定装置及びその測定方法
JP4854389B2 (ja) * 2006-06-15 2012-01-18 株式会社トプコン 分光眼底測定装置及びその測定方法
JP5170625B2 (ja) * 2006-10-04 2013-03-27 幸功 瀧畑 赤外光眼底撮影方法および装置
EP1992277A1 (en) 2007-05-14 2008-11-19 Institut National De La Sante Et De La Recherche Medicale (Inserm) Optical device and method for acquiring images of eye structures
EP2306888A1 (en) 2008-04-14 2011-04-13 Optovue, Inc. Method of eye registration for optical coherence tomography
US8356901B2 (en) 2010-03-05 2013-01-22 Richard R Spaide Systems and methods for widefield mapping of the retina
JP6278295B2 (ja) * 2013-06-13 2018-02-14 国立大学法人 筑波大学 脈絡膜の血管網を選択的に可視化し解析する光干渉断層計装置及びその画像処理プログラム
US9872663B2 (en) 2015-02-04 2018-01-23 Dentsply Sirona Inc. Methods, systems, apparatuses, and computer programs for removing marker artifact contribution from a tomosynthesis dataset
JP7146305B2 (ja) 2021-02-26 2022-10-04 明昌工業股▲分▼有限公司 ファスナー装着が簡単な旅行かばん

Also Published As

Publication number Publication date
US20210004939A1 (en) 2021-01-07
US11941788B2 (en) 2024-03-26
JP7441783B2 (ja) 2024-03-01
DE112019001423T5 (de) 2020-12-03
JP2023076768A (ja) 2023-06-01
CN111885954A (zh) 2020-11-03
JPWO2019181981A1 (ja) 2021-03-18
WO2019181981A1 (ja) 2019-09-26

Similar Documents

Publication Publication Date Title
CN111885954B (zh) 图像处理方法、存储介质及眼科装置
CN111970957B (zh) 图像处理方法、计算机可读的存储介质及图像处理装置
JP2023009530A (ja) 画像処理方法、画像処理装置、及びプログラム
JP2023100951A (ja) 画像処理方法、プログラム、画像処理装置、及び眼科システム
WO2021075062A1 (ja) 画像処理方法、画像処理装置、及びプログラム
JP2023158161A (ja) 画像処理方法、プログラム、画像処理装置、及び眼科システム
CN111989030B (zh) 图像处理方法、程序及图像处理装置
WO2021074960A1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
WO2020240867A1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
WO2021075026A1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
JP2021168759A (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
WO2023282339A1 (ja) 画像処理方法、画像処理プログラム、画像処理装置及び眼科装置
WO2021111840A1 (ja) 画像処理方法、画像処理装置、及びプログラム
WO2022177028A1 (ja) 画像処理方法、画像処理装置、及びプログラム
US11954872B2 (en) Image processing method, program, and image processing device
WO2022181729A1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
WO2021210281A1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
JP2023066198A (ja) 情報出力装置、眼底画像撮影装置、情報出力方法、及び情報出力プログラム
WO2021074961A1 (ja) 画像処理方法、画像処理装置、およびプログラム
CN118078205A (zh) 图像处理方法、存储介质及图像处理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant