CN103006174B - 图像处理设备、眼科摄像设备和图像处理方法 - Google Patents

图像处理设备、眼科摄像设备和图像处理方法 Download PDF

Info

Publication number
CN103006174B
CN103006174B CN201210353478.3A CN201210353478A CN103006174B CN 103006174 B CN103006174 B CN 103006174B CN 201210353478 A CN201210353478 A CN 201210353478A CN 103006174 B CN103006174 B CN 103006174B
Authority
CN
China
Prior art keywords
image
unit
image processing
information
processing equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210353478.3A
Other languages
English (en)
Other versions
CN103006174A (zh
Inventor
米泽惠子
宫田和英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN103006174A publication Critical patent/CN103006174A/zh
Application granted granted Critical
Publication of CN103006174B publication Critical patent/CN103006174B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0041Operational features thereof characterised by display arrangements
    • A61B3/0058Operational features thereof characterised by display arrangements for multiple images
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A61B3/1225Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes using coherent radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20056Discrete and fast Fourier transform, [DFT, FFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明涉及一种图像处理设备、眼科摄像设备和图像处理方法。所述图像处理设备包括:识别单元,用于识别通过对眼底进行摄像所获得的眼底图像的周期性;以及信息获取单元,用于基于所述周期性来获取表示所述眼底图像中的感光细胞的摄像状态的信息。

Description

图像处理设备、眼科摄像设备和图像处理方法
背景技术
在早期诊断生活方式相关疾病和有可能造成失明的疾病时,广泛认为对眼底进行检查是重要的。眼底照相机和扫描激光检眼镜(SLO)属于眼底的检查所使用的设备。该眼底照相机通过接收已入射到眼底的光束的反射光来对该眼底摄像。该SLO是使用共焦点激光扫描显微镜的原理的眼科设备。近年来,已开发了包括自适应光学系统的眼底照相机和SLO并且这两者用于获取横向分辨率高的眼底平面图像。该自适应光学系统利用波前传感器实时测量被检眼的像差并利用波前校正装置对在被检眼处发生的测量光束和返回光束的像差进行校正。此外,正尝试利用这些设备对视网膜的感光细胞摄像并且对疾病作出诊断或对药物反应进行评价。
作为使用自适应光学SLO的感光细胞的可视化的示例,KaccieY.LiandAustinRoorda,“Automatedidentificationofconephotoreceptorsinadaptiveopticsretinalimages”J.Opt.Soc.Am.A,May2007,Vol.24,No.5,1358论述了能够通过获取与视网膜有关的眼底平面图像来自动提取感光细胞的眼科摄像设备。根据该技术,通过对所获取的平面图像进行预处理,换句话说,通过使用在图像中可视化了的感光细胞的配置的周期性而从平面图像去除高频成分,来获取横向分辨率高的视网膜的眼底平面图像。
发明内容
根据本发明的实施例,一种图像处理设备,包括:识别单元,用于识别通过对眼底进行摄像所获得的眼底图像的周期性;以及信息获取单元,用于基于所述周期性来获取表示所述眼底图像中的感光细胞的摄像状态的信息。
根据本发明,一种图像处理设备,包括:转换单元,用于通过对眼底进行摄像所获得的眼底图像进行频率转换来获取频率图像;提取单元,用于提取所述频率图像中出现的环状结构的特征量;以及信息获取单元,用于基于所述特征量来获取与所述眼底图像中的感光细胞有关的信息。
根据本发明,一种眼科摄像设备,包括:指定单元,用于指定用于获取被检眼的感光细胞的图像的摄像方法;摄像单元,用于通过根据与所述摄像方法有关的信息对所述被检眼的眼底进行摄像来获取眼底图像;识别单元,用于识别所述眼底图像的周期性;以及信息获取单元,用于基于所述周期性来获取表示所述眼底图像中的感光细胞的分布的信息。
根据本发明,一种图像处理方法,包括:识别通过对眼底进行摄像所获得的眼底图像的周期性;基于所述周期性来提取特征量;以及基于所述特征量来获取与所述眼底图像中的感光细胞有关的信息。
通过以下参考附图对典型实施例的详细说明,本发明的其它特征和方面将变得明显。
附图说明
包含在说明书中并构成说明书一部分的附图示出了本发明的典型实施例、特征和方面,并和说明书一起用来解释本发明的实施例的原理。
图1示出根据第一典型实施例的图像处理设备的功能结构。
图2是示出根据第一典型实施例的图像处理设备的处理过程的流程图。
图3是自适应光学SLO设备所获取的包括感光细胞的高精度眼底平面图像的示意图。
图4示出通过对眼底平面图像进行频率转换所获得的傅立叶图像的示例。
图5A和5B示出用于根据傅立叶图像计算反映了感光细胞的配置的结构的方法、以及对该计算结果进行组织的图。
图6A和6B示出在信号弱的情况下通过对眼底平面图像进行频率转换所获得的傅立叶图像的示例、以及表示感光细胞的配置的图。
图7示出从傅立叶图像所获取的特征量。
图8A、8B和8C示出分辨率低的傅立叶图像和从该图像所获取的特征量的示例。
图9A、9B和9C示出分辨率更低的傅立叶图像和从该图像所获取的特征量的示例。
图10A和10B示出根据从傅立叶图像提取的特征量所获取的图像质量指标。
图11是根据第二典型实施例的图像处理设备的功能结构。
图12是示出根据第二典型实施例的图像处理设备的处理过程的流程图。
图13示出将眼底平面图像分割成多个局部眼底平面图像的示例。
图14A和14B示出从局部眼底平面图像所获取的指标的示例。
图15示出根据另一典型实施例的图像处理设备的硬件结构。
图16示出眼科摄像系统的结构。
图17示出眼科摄像设备的结构。
图18A、18B和18C示出光学相干断层成像仪(OCT)所用的图像获取方法。
图19A、19B、19C和19D示出SLO所用的图像获取方法。
具体实施方式
在以下详细说明中,为了进行解释,描述了许多具体详情,从而提供对所描述的实施例的全面理解。然而,显而易见,可以在无需这些具体详情的情况下进行一个或多个实施例。在其它情况下,为了简化附图,示意性示出众所周知的结构和装置。
在拍摄感光细胞的图像时,对感光细胞的图像的摄像状态进行评价是有用的,这是因为这种信息有助于进行摄像条件的调整和所获得的图像的诊断。通常,在评价摄像状态时,根据作为评价对象的区域的噪声水平和不同区域的噪声水平之间的比较来获得图像质量指标值。然而,由于感光细胞的图像的摄像区域通常是视网膜区域,因此该比较方法无法用于进行评价。
在本发明的一个实施例中,呈现了如下指标,其中该指标用于对诸如自适应光学SLO等的眼科设备所获取的视网膜的感光细胞图像的图像质量进行客观评价。
根据本发明的典型实施例,由于可以通过对眼底的图像进行处理来获得感光细胞的摄像状态的信息,因此可以容易地进行摄像条件的调整和图像的诊断。
根据第一典型实施例,在通过利用自适应光学SLO对视网膜的感光细胞进行摄像来获得图像时,计算并呈现定量地表示所获取图像的图像质量的指标。更具体地,使用通过自适应光学SLO已获取的眼底平面图像,通过进行离散傅立叶变换来获取空间频率图像。以下将所获取的空间频率图像称为傅立叶图像或频率图像。然后,从所获取的傅立叶图像提取反映了感光细胞的规则配置的周期性结构的特征量,并根据所提取的特征量获取图像质量的指标。
在用户正对被检眼的眼底进行摄像时呈现这样所获取的图像质量指标的情况下,该用户可以判断是否需要再次进行摄像。此外,在要基于感光细胞的密度进行诊断的情况下,用户可以判断使用这种图像来进行诊断是否恰当。
图3示意性示出自适应光学SLO所拍摄的眼底平面图像。如图3所示,可以以能够区别的方式提取亮度相对高的小区域作为感光细胞PR。此外,可以提取亮度与感光细胞的亮度相比低的血管区域V。血管区域V是位于感光细胞上方的血管的阴影。
图4示出通过对上述的眼底平面图像的空间频率成分进行离散傅立叶变换所获取的傅立叶图像的示例。如图4所示,根据感光细胞的周期性配置形成了与这些感光细胞的周期性相对应的环形。
图1示出根据本实施例的图像处理设备10的功能结构。
图1的图像获取单元100获取眼底平面图像。所获取的平面图像是眼底的感光细胞的图像。例如,该平面图像是如下眼底摄像设备所获取的图像,其中该眼底摄像设备包括诸如夏克-哈特曼(Shack-Hartmann)波前传感器等的像差测量单元以及用于对像差进行校正的自适应光学系统。该自适应光学系统例如包括具有配置在硅基板上的液晶的反射型显示面板(硅上液晶(LCOS))或者可变形镜。
当利用自适应光学SLO拍摄眼底平面图像时,输入信息获取单元110获取正拍摄的被检眼的信息。将所获取的图像经由控制单元120存储在存储单元130中。图像处理单元140包括频率转换单元141、特征提取单元142和指标计算单元143。
频率转换单元141对眼底平面图像进行频率转换并获得频率图像。例如,如上所述,使用离散傅立叶变换来进行频率转换。
特征提取单元142从频率图像提取表示眼底平面图像的周期性结构的特征量。在该频率图像中,眼底平面图像的周期性结构例如表现为以原点为中心的环状结构。该频率图像的环形呈现了与感光细胞的结构相对应的指定频带。
周期性结构的特征量例如是诸如环状结构的峰值亮度值和表示该环状结构的扩展的锐度值等的、与该环状结构有关的特征量。此外,在该环状结构中存在亮度值的峰值位置。另外,在图像质量差的情况下,代替该环状结构,在频率图像中可能出现圆盘状结构。在这种情况下,提取该圆盘区域的扩展和位置以及该圆盘区域的峰值亮度值作为特征量。这些均用于获取眼底平面图像中的感光细胞的摄像状态信息和分布信息。
可以使用除频率图像以外的信息来识别周期性。例如,检测感光细胞的中心附近的亮度的峰值并获取各检测点周围的亮度分布的分布曲线(profile)的平均值。这样,可以识别出眼底图像的周期性。
可以使用最大值检测处理来检测峰值。该上下文中的分布曲线是在以检测点为中心的径向方向上,并且在以检测点为中心的极坐标的角度方向上取平均值。然后,特征提取单元142对形状进行评价。在形状呈周期性的情况下,在平均分布曲线上出现对应于与该检测点相邻的检测点的峰。
另外,作为用于识别周期性的方法,可以使用已知作为纹理特征量的共生矩阵和分形维数。
通过傅立叶变换所进行的周期性的识别是一个典型实施例,并且可以使用上述的不同方法来识别周期性。在这方面,频率转换单元141用作周期性的识别单元的一个典型实施例。
指标计算单元143用作如下信息获取单元,其中该信息获取单元用于从诸如傅立叶图像等的表示周期性的图像获取感光细胞的摄像状态信息和感光细胞的分布信息。通过使用特征提取单元142所提取的特征量,指标计算单元143可以获得感光细胞的摄像状态和分布的精确计算结果。
输出单元150输出指标计算单元143所获取的感光细胞的摄像状态信息和分布信息。将该信息输出至显示单元160以及外部数据库和输出设备。该信息例如是由输出设备打印出的。可以将摄像状态的信息原样或连同眼底平面图像一起显示在输出设备上。
作为所显示的摄像状态的信息,存在已对感光细胞进行了摄像的眼底平面图像的图像质量指标值、以及要求用户进行用以提高摄像状态的操作的信息。此外,可以连同眼底的图像一起显示包括摄像状态的信息的频率图像。此外,如以下所述的图5B所示,显示示出相对于环状结构的中心位置的距离或相对于频率图像的原点的距离与亮度值之间的关系的图。另外,将与感光细胞的摄像状态相对应的控制值输出至已拍摄了眼底平面图像的眼科摄像设备。
图像处理单元140根据所获取的眼底平面图像生成傅立叶图像,根据从该傅立叶图像提取的特征量计算图像质量的指标,并将该指标存储在存储单元130中。输出单元150将所计算出的指标输出至监视器。此外,输出单元150将存储在存储单元130中的处理结果输出至数据库。
在本实施例中,尽管图像处理设备10从自适应光学SLO直接获取眼底平面图像,但可以经由网络获取到该图像。在这种情况下,将自适应光学SLO所拍摄的多个眼底平面图像存储在经由网络连接至自适应SLO的数据库中,并且图像处理设备10经由网络从该数据库获取这些图像。
接着,将参考图2的流程图来说明根据本实施例的图像处理设备10的处理过程。
在步骤S210中,图像获取单元100从连接至图像处理设备10的自适应光学SLO或存储有该设备所拍摄的眼底平面图像的数据库获取要分析的多个眼底平面图像。将所获取的眼底平面图像经由控制单元120存储在存储单元130中。
此外,图像获取单元100获取拍摄眼底平面图像时的摄像参数信息并将该信息经由控制单元120存储在存储单元130中。该摄像参数信息例如是进行摄像时固视灯的位置信息。诸如固视灯的位置信息等的摄像参数信息可被包括在附加至眼底平面图像的信息文件中,而且还可以作为图像的标签信息而存在。
在步骤S220中,输入信息获取单元110从数据库或从操作员经由输入单元(未示出)所进行的输入获取被检眼的信息。被检眼的信息是患者的信息(例如,患者ID、姓名、年龄和性别)、检查对象是右眼/左眼、以及拍摄日期和时间。将所获取的信息经由控制单元120存储在存储单元130中。
在步骤S230中,频率转换单元141使用自适应光学SLO所获取的并且存储在存储单元130中的眼底平面图像,通过进行离散傅立叶变换来获取空间频率图像。如图3所示,各眼底平面图像的较大部分由被观察为亮度高的小区域的规则配置的感光细胞构成。因而,即使该图像部分地包括血管或病变区域,通过对这种眼底平面图像进行空间频率转换所获得的傅立叶图像也具有如图4所示的环状结构。
在步骤S240中,特征提取单元142从步骤S230中所获得的傅立叶图像提取示出感光细胞的配置的周期性的环状结构的特征量。更具体地,如图5A所示,在傅立叶图像是垂直方向和水平方向上的像素数均为N个的正方形图像(即,N×N个像素的正方形)的情况下,考虑以该傅立叶图像的中心(坐标(N/2,N/2))作为原点的极坐标(r,θ)。然后,计算通过在θ方向上计算傅立叶图像的各像素的值所获得的函数I(r),其中r=0,1,2…N/2。由于傅立叶图像不是连续图像且各像素均具有值,因此在计算函数I(r)的情况下,如果各像素的r例如为4.5以上且小于5.5,则使用I(5)的值。随后,例如,通过获取相邻点的平均值对函数I(r)进行平滑。图5B示出从图5A的傅立叶图像所获取的函数I(r)。
图5B的函数I(r)包括与感光细胞的排列有关的多个信息。例如,当被检眼的晶状体因疾病而变浑浊时,感光细胞的信号变得极弱(参见图6A)。在这种情况下,如图6B所示,函数I(r)自身的值与图5B的函数I(r)相比变小。此外,在感光细胞在摄像区域中部分缺失并且没有产生周期性结构的情况下,获得了同样的函数I(r)。因而,作为表示感光细胞的周期性结构的强度的特征量,如图7所示,可以使用Imax(即,I(r)的最大值)和Isum(即,I(r)的总和)。
I max = max r I ( r )
I sum = Σ r I ( r )
此外,作为Imax的r的值的rmax与感光细胞的配置的周期性相对应。
r max = arg max r I ( r )
在相邻的感光细胞之间的距离小、并且这些感光细胞密集地配置的情况下,rmax变大。相反,在感光细胞远离黄斑且感光细胞的密度低的情况下,rmax变小。
此外,即使信号强度足够强,由于分辨率低也可能无法清楚地确定感光细胞的周期性结构(参见图8A)。在这种情况下,如图8B所示,函数I(r)的形状朝向函数r较小侧变宽。作为表示这种差的分辨率的特征量,计算rmax周围(±n)的值的总和与比rmax小的r周围的值的总和之比。图8C示出这些计算区域。
peak _ ratio = I sum _ peak I sum _ low = Σ r = r max - n r max + n I ( r ) Σ r = r max - 3 n r max - n I ( r )
在摄像条件差且分辨率低的情况下(图9A),可能难以获取峰值I(r)。图9B示出这种情况下的I(r)的信号。在这种情况下,即使获取到Imax,也无法计算出精确的peak_ratio。在这种情况下,在计算peak_ratio时,代替rmax而使用根据所获取的固视信息推断出的峰值位置(位置r_expected_peak)。这样,可以更加精确地评价图像的分辨率。
在步骤S250中,根据步骤S240中所获取的特征量,指标计算单元143获取诸如自适应光学SLO所拍摄的图像的感光细胞的摄像状态信息和分布信息等的感光细胞的信息。将所获取的图像质量指标经由控制单元120存储在存储单元130中。以下将说明用于根据步骤S240中所获取的特征量来计算图像质量指标的方法的示例。然而,所获取的指标不限于以下所述的计算方法。
在步骤S240中所提取的多个指标中,诸如Imax和Isum等的与感光细胞的周期性结构的强度相关联的指标以及诸如peak_ratio等的与分辨率相关联的指标就图像质量而言是重要的。关于自适应光学SLO,即使被检眼的健康水平良好并且可以获得高信号,也无法总是获得良好的分辨率。
在这种情况下,例如,如果使用波前传感器再次对像差进行校正,则可以获取到质量良好的图像。因而,将这种图像与不太可能产生良好图像的晶状体出现浑浊的被检眼的图像区分开是重要的。因而,通过以二维方式组合与周期性结构的强度相关联的指标以及与分辨率相关联的指标,与根据各指标来获取信息的情况相比,可以获取到能够更加精确地呈现摄像状态的信息。
图10A和10B示出指标的示例。在图10A和10B中,纵轴表示作为与周期性结构的强度相关联的指标的Imax,并且横轴表示作为与分辨率相关联的指标的peak_ratio。在步骤S240中,已说明了使用rmax来计算peak_ratio的情况以及使用位置r_expected_peak来计算peak_ratio的另一情况。通常,在信号强度下降的情况下,噪声增加,并且难以获取精确的rmax。因而,在图10A和10B中,呈现了使用r_expected_peak来计算peak_ratio的情况。
如图10B所示,作为与周期性结构的强度和分辨率有关的高指标区域的区域A中的图像被视为质量良好的图像。作为与周期性结构的强度和分辨率有关的低指标区域的区域B中的图像被视为质量差的图像。关于作为与周期性结构的强度有关的高指标区域但作为与分辨率有关的低指标区域的区域C中的图像,被检眼的状态不差但分辨率可能差。在获取到这种图像的情况下,通过再次进行像差校正,可以提高图像质量。这种图像还可以包括感光细胞的结构清楚的区域和感光细胞的结构不清楚的区域这两者。这种部位可能对应于病变部。此外,作为与周期性结构的强度有关的低指标区域以及与分辨率有关的高指标区域的区域D中的图像的分辨率良好但通常其信号弱。在图像如此的情况下,可以通过提高信号强度来获取更加清楚的图像。
在步骤S260中,输出单元150获取步骤S250中存储在存储单元中的诸如图像质量指标等的表示摄像状态的信息,并将该信息显示在显示单元160上。
例如,原样显示所获取的特征量作为摄像状态的信息。尽管可以向用户呈现详细信息,但如果预先设置了图像质量指标的阈值,则在图像指标值小于该阈值的情况下,输出单元150可以将诸如“感光细胞区域的图像质量低”等的消息显示在显示单元160上作为摄像状态的信息。该信息并非必须是字符信息,并且代替该字符信息,可以显示与该字符信息相对应的图标或图像。
这样,例如,即使检查者对操作不习惯,该检查者也可以容易地注意到图像存在质量问题。在图像指标值超过阈值的情况下,可以显示诸如“图像质量良好”等的消息。然后,用户可以理解为不存在质量问题。
此外,在如上所述、peak_ratio的值低且Imax的值高的情况下,输出单元150使显示单元160显示表示眼科摄像设备需要对像差进行校正的消息。根据该消息,用户可以理解为需要对像差进行校正。此外,在peak_ratio的值高且Imax的值低的情况下,将表示需要增加摄像光量的消息显示在显示单元160上。这样,用户可以理解为需要进行光量调整。
此外,作为除摄像状态的信息以外的信息,可以基于rmax的位置来显示感光细胞的密度信息。此外,可以显示如下的字符或图形,其中该字符或图形用于向用户通知在眼底平面图像上代替感光细胞而提取了血管或病变区域。
输出单元150还使显示单元160连同眼底的图像一起显示诸如图4所示的频率图像。此外,还可以显示诸如图7所示的图。这样,可以向用户呈现摄像状态的详细信息。另外,可以将诸如密度信息等的感光细胞的分布状态的信息显示在显示单元上。该信息基于特征提取单元142所提取的环状结构的直径。此外,可以将如下消息显示在该显示单元上,其中该消息用于向用户通知图像包括不包含感光细胞的区域(即,血管或病变部)。
将步骤S210~S250中存储在存储单元130中的特征量和其它信息存储在数据库中。
根据上述结构,可以呈现在对自适应光学SLO设备所拍摄的眼底平面图像的图像质量进行客观评价时所使用的指标。根据这种指标的呈现,例如,当使用感光细胞的密度进行诊断或治疗效果的判断时,可以呈现客观的判断标准。
根据第一典型实施例,通过对自适应光学SLO所获得的整个眼底平面图像进行频率转换来获得傅立叶图像,并且通过从所获得的傅立叶图像提取各种特征量来计算对整个眼底平面图像的图像质量进行评价时所使用的指标。然而,由于在一个平面图像内、眼底平面图像的图像质量不总是一致并且病变部可能不均匀地分布,因此感光细胞的周期性结构的强度可能根据部位而不同。
根据第二典型实施例,为了获得这种局部差异,将眼底平面图像分割成多个局部区域。然后,针对通过该分割所获取的各眼底平面图像获取傅立叶图像,并且使用从该傅立叶图像提取的特征量对该平面图像进行分析。
图11示出根据本实施例的图像处理设备10的功能结构。由于除图像处理单元140以外的单元的功能结构与图1所示的功能结构相同,因此不重复针对这些功能结构的说明。根据本实施例,除频率转换单元141、特征提取单元142和指标计算单元143以外,图像处理单元140还包括图像分割单元1140和整合单元1144。在将眼底平面图像分割成多个区域之后,提取各区域的特征量。将所获取的特征量整合为整合指标。然后,根据该整合指标对该图像进行评价。
图像分割单元1140将眼底平面图像分割成多个部分区域。频率转换单元141对各部分区域进行频率转换并获得部分频率图像。特征提取单元142基于该部分频率图像上出现的环状结构来提取特征量。指标计算单元143获取多个部分区域中的感光细胞的信息。
通过获得各部分区域的频率图像,在原始图像中包括无法提取感光细胞的区域的情况下,可以将该图像分割成例如提取出血管但未提取出感光细胞的部分区域、以及除这种区域以外的部分区域。该分割并未考虑被噪声掩盖且不能根据频率图像的特征量进行判断的极微细的血管和病变部。
参考图12的流程图来说明根据本实施例的图像处理设备10的处理过程。由于步骤S210、S220、S230、S240和S250的处理过程与根据第一典型实施例所述的处理过程相同,因此不重复针对这些处理过程的说明。
根据第一典型实施例,对自适应光学SLO所获取的整个眼底平面图像进行图像质量指标的计算。根据本实施例,将眼底平面图像分割成多个局部区域,并计算各区域的指标。然后,组合这些指标并且将其用于进行整个图像的评价。因而,步骤S230、S240和S250中处理的图像是通过对眼底平面图像进行分割所获得的局部眼底平面图像。
接着,将详细说明各步骤。
在步骤S1230中,图像分割单元1140将自适应光学SLO所获取的并且存储在存储单元130中的眼底平面图像分割成多个局部区域。可以使用各种方法来进行该分割。尽管在将眼底平面图像分割成大量小区域的情况下局部差异可能更加明显,但根据各局部区域所获得的信息的精度将会下降。此外,由于针对多个区域的频率转换需要更多的时间和成本,因此使用作为适合于高速傅立叶变换的图像大小的2的n次幂的数据是重要的。在本实施例中,例如,关于大小为400×400的原始的眼底平面图像,如图13所述获取到大小为128×128的多个局部眼底平面图像。各局部平面图像包括重叠部。然而,分割方法不限于该示例。
将这样生成的16个局部眼底平面图像经由控制单元120存储在存储单元130中。尽管步骤S230、S240和S250的处理与第一典型实施例的处理相同,但不同之处在于该处理是分别针对步骤S1230中所生成的16个局部眼底平面图像所进行的。因此,获得了16个指标。此外,将所获得的各指标以及处理期间所获取的特征量与相应的局部眼底平面图像相关联地存储在存储单元130中。
在步骤S1260中,整合单元1144通过对从各局部眼底平面图像所获取的指标进行整合来生成指标。然后,将所获得的指标经由输出单元150显示在监视器上。此外,将步骤S210~S1260中存储在存储单元130中的特征量和其它信息存储在数据库中。
图14A和14B示出步骤S250中所获取的16个指标的示例。在图14A中,所有这16个指标都示出差的图像质量。在被检眼的状态不好、并且例如晶状体非常浑浊的情况下,可能获得非常少的信号。在这种情况下,从局部眼底平面图像所获取的所有指标都示出差的值。因而,在获得了诸如图14A所示的指标的情况下,眼底平面图像的质量整体被视为低。
另一方面,在如图14B所示、确定了具有高值和低值这两者的指标的情况下,可以视为尽管摄像本身已成功、但在获取感光细胞的周期性结构时一部分局部区域失败。这种情况表示例如由于存在血管而无法提取感光细胞、或者例如由于病变而不存在感光细胞。
关于从自适应光学SLO所获取的眼底平面图像提取血管,已知有诸如Tam,J.,Martin,J.A.,Roorda,A.,“Non-invasivevisualizationandanalysisofparafovealcapillariesinhumans”Invest.Ophthalmol.Vis.Sci.51(3):1691-1698(2010)所论述的方法等的方法。在根据这些方法的组合获得诸如图14B所示的指标等的指标的情况下,可以判断表示低指标值的局部区域具有血管或病变部的可能性是否高。
此外,可以通过第一典型实施例和第二典型实施例的组合、例如总体评价和部分评价的组合来对平面图像进行评价。通过呈现根据该组合评价所获得的结果,即使总体评价不好,由于用户可以判断评价差的原因(例如,摄像条件差、包括了病变部),因此该评价也是有用的。这对于如下情况是有用的:当在部分评价的任意部分表示高图像质量时,摄像条件作为图像质量差的原因的可能性低。因而,可以通过组合这些评价方法来呈现最佳指标。
根据本实施例,将自适应光学SLO设备所获取的眼底平面图像分割成多个局部区域。此外,对根据这些局部眼底平面图像所获得的图像质量指标进行整合以形成整合指标。根据该指标,可以呈现如下情况:眼底的总体图像质量低的情况;以及图像质量本身不低、但由于存在血管或病变区域而存在无法提取感光细胞的周期性结构的区域的情况。
此外,眼科摄像设备从硬件方面可被配置成指标计算单元143自动判断病变区域。然后,基于该判断结果,输出单元150将与摄像区域有关的信息输出至该设备。在接收到该信息时,该设备通过对该摄像区域设置图像的中心来再次进行自动摄像。
如果输出单元150根据摄像状态将像差校正指示或光量的调整值的控制值输出至眼科摄像设备,则该眼科摄像设备基于所输入的控制值对像差测量单元和校正光学系统进行控制。因此,用户无需对该设备进行调整。
根据第一典型实施例,显示摄像状态的信息并且用户根据所显示的信息进行操作。根据第三典型实施例,使用摄像状态的信息来形成和选择图像。由于该设备的结构与第一典型实施例和第二典型实施例所述的结构相同,因此不重复针对这些结构的说明并且将主要说明不同于上述典型实施例的几点。
图像获取单元100获取通过对不同或基本相同的位置进行摄像所获得的多个眼底平面图像。由于眼底因诸如扫视等的无意识眼动而运动,因此即使设置了追踪功能,追踪也可能不成功。因而,即使将该设备设置为对同一位置摄像,实际也可能拍摄到不同位置的图像。这就是使用“基本相同”这一表述的原因。
图像处理单元140用作用于判断图像质量的判断单元。图像处理单元140获取指标计算单元143所获取的摄像状态的信息以及预先确定的摄像状态的阈值的信息。然后,图像处理单元140判断针对各图像所获得的摄像状态是超过该阈值还是降到该阈值以下。作为摄像状态的信息,例如,可以使用第一典型实施例所述的peak_ratio和Imax的值或者利用这些值的组合所获得的图像质量指标值。
另外,图像处理单元140用作用于选择图像的选择单元。在判断单元将图像判断为具有低于阈值的图像质量的情况下,图像处理单元140判断为不适合向用户呈现或不适合进行叠加处理并且没有选择图像。换句话说,图像处理单元140仅选择超过阈值的图像。由于没有选择低于阈值的图像,因此图像处理单元140没有选择存在像差的图像、光量不足的图像、以及在眼睛由于眨眼等而瞬时运动时所拍摄的图像。
图像处理单元140还使所选择的图像对准并进行叠加处理。因而,图像处理单元140还用作用于生成随机噪声减少了的图像的生成单元。因此,可以自动判断多个图像的图像质量并且可以获得图像质量良好的眼底平面图像。
控制单元120仅将从所获取的多个图像中所选择的图像输出至输出单元150。控制单元120连同生成单元一起或代替生成单元输出这种图像。输出单元150使显示单元160仅显示所选择的图像。未选中的图像未被发送至输出单元150而是被存储在存储单元130中。
在用户同意的情况下,可以将未选中的图像作为失败图像删除。除显示诊断所用的图像以外,输出单元150还可以将未选中的图像单独显示在显示单元160上并且还可以显示用于接受用户的与删除有关的同意的窗口。控制单元120可以通过一次操作将已同意的图像从存储单元130删除。此外,代替该删除,控制单元120可以仅使已同意的图像不被传送至外部数据库。这样,用户可以自动判断不必要图像并且可以容易地进行删除处理或不传送处理。
可以利用图15所示的硬件并且使用软件和硬件一起来实现上述图像处理设备10的功能。
图15所示的图像处理设备包括中央处理单元(CPU)1501、随机存取存储器(RAM)1502、只读存储器(ROM)1503、外部存储装置1504和通信接口1505。这些单元经由总线1509相互连接。此外,监视器1506、键盘1507和鼠标1508连接至图像处理设备10。将包括用于进行图2或12的流程图所示的处理的指示的程序存储在ROM1503或外部存储装置1504中。
上述典型实施例的图像处理设备10的功能通过CPU1501读出所存储的程序、将该程序载入RAM1502并执行该程序中所包括的指示来实现。
将参考图16来说明用于获取上述的眼底平面图像的摄像系统的示例。该摄像系统中的图像处理设备10经由局域网(LAN)40连接至眼科摄像设备30和数据库50。图像处理设备10可以无线地连接至LAN40。此外,显示单元160连接至图像处理设备10。
摄像系统的结构不限于上述示例。例如,可以使用包括眼科摄像单元、图像处理单元和显示单元160的眼科摄像设备。在这种情况下,该眼科摄像单元包括眼科摄像设备30的功能并且该图像处理单元包括图像处理设备10的功能。在摄像系统具有这种结构的情况下,仅眼科摄像设备30就可以确定感光细胞的图像的质量,并且可以使该系统小型化。
将参考图17来说明眼科摄像设备30的结构。
将根据本发明实施例的包括SLO设备和OCT设备的复合设备描述为眼科摄像设备。特别地,将说明眼科摄像设备30,其中眼科摄像设备30包括自适应光学系统,可以拍摄视网膜的横向分辨率高的平面图像(SLO图像)和断层图像(OCT图像)这两者,并且获取眼底平面图像。眼科摄像设备30包括SLO设备和OCT设备。该SLO设备通过校正被检眼的光学像差并使用空间光调制器来获取眼底平面图像。该OCT设备在其获取断层图像时采用傅立叶域摄像。根据这些设备,眼科摄像设备30可以与可视性和光学像差无关地获得被检眼的良好的眼底平面图像和断层图像。
首先,将参考图17来详细说明根据本实施例的眼科摄像设备30的总体结构。从光源201出射的光由光学耦合器231分割成参考光束205和测量光束206。测量光束206经由单模光纤230-4、空间光调制器259、XY扫描器219、X扫描器221和球面镜260-1~260-9被引导至作为观察对象的被检眼207。
测量光束206由作为观察对象的被检眼207反射或散射并且作为返回光束208而返回。返回光束208入射到检测器238或线传感器239。检测器238将返回光束208的光强度转换成电压信号。然后,基于该电压信号,生成了被检眼207的眼底平面图像。此外,使返回光束208与参考光束205合成,并使该合成光入射到线传感器239。因此,形成了被检眼207的断层图像。此外,通过使用所获取的多个断层图像,可以提取血管的三维走向。
在本实施例中,尽管使用空间光调制器作为用于校正波前像差的装置,但可以使用任何装置,只要可以对波前像差进行校正即可。因而,例如,可以使用可变形镜。
接着,将说明光源201的周边。光源201使用作为代表性的低相干光源的超发光二极管(SLD)。中心波长和带宽分别为830nm和50nm。为了获取斑点噪声小的眼底平面图像,选择了低相干光源。尽管选择了SLD作为光源的类型,但可以使用不同的光源,只要能够发射低相干光即可。例如,可以使用放大自发辐射(ASE)光源。
此外,从对眼睛进行测量的观点,近红外光适合作为波长。此外,由于波长对所获取的眼底平面图像的横向分辨率产生影响,因此期望较短的波长。在以下说明中,使用830nm的波长。可以根据作为观察对象的测量部位选择其它波长。
从光源201出射的光经由单模光纤230-1和光学耦合器231以96:4的比率被分割成参考光束205和测量光束206。复合设备30还包括偏光控制器253-1和253-2。
接着,将说明参考光束205的光路。
由光学耦合器231分割得到的参考光束205被调整成经由单模光纤230-2被引导至透镜235-1,并被调整成光束直径为4mm的平行光。
接着,参考光束205由镜257-1~257-4引导至作为参考镜的镜214。由于参考光束205的光路长度被调整为与测量光束206的光路长度基本相同,因此参考光束205和测量光束206相互干涉。接着,参考光束205由镜214所反射并且再次被引导至光学耦合器231。参考光束205通过色散补偿玻璃215,其中,色散补偿玻璃215针对参考光束205对在测量光束206向着被检眼207行进并从被检眼207返回时发生的色散进行补偿。在以下说明中,例如,使用日本人的平均眼球直径、即L=23mm。
电动台217-1在由箭头所表示的方向上可移动以使得能够对参考光束205的光路长度进行调整和控制。此外,在个人计算机225的控制下,电动台217-1由驱动器单元281内的电动台驱动器283进行驱动。
接着,将说明测量光束206的光路。由光学耦合器231分割得到的测量光束206经由单模光纤230-4被引导至透镜235-4并被调整成光束直径为4mm的平行光。此外,偏光控制器253-1或253-2可以对测量光束206的偏光状态进行调整。在本实施例中,偏光控制器253-1或253-2将测量光束206的偏光状态调整成与图17的纸面平行的方向上的直线偏光。
测量光束206通过分束器258和可动式分束器261(还称为分割单元)并且经由球面镜260-1和260-2到达空间光调制器259。然后,在空间光调制器259处对测量光束206进行调制。在本实施例中,空间光调制器259利用液晶的取向性。更具体地,空间光调制器259配置在空间光调制器259可以对与图17的纸面平行的直线偏光(即,P偏光)的相位进行调制的方向上,以与测量光束206的偏光取向一致。
此外,测量光束206通过偏光板273并且经由球面镜260-3和260-4到达X扫描器221的镜。在本实施例中,偏光板273具有用以仅将返回光束208中的与图17的纸面平行的直线偏光引导至空间光调制器259的作用。此外,在本实施例中,X扫描器221在与图17的纸面平行的方向上扫描测量光束206。例如,X扫描器221是驱动频率约为7.9kHz的共振扫描器。
此外,测量光束206经由球面镜260-5和260-6入射到XY扫描器219的镜上。尽管将XY扫描器219中的镜的数量例示为一个,但实际上,XY扫描器219包括彼此靠近配置的两个镜(X扫描镜和Y扫描镜)。此外,测量光束206被调整成其中心与XY扫描器219的镜的转动中心一致。XY扫描器219的驱动频率在直到500Hz的范围内可改变。
球面镜260-7~260-9是使测量光束203对视网膜227进行扫描的光学系统。以角膜226附近的点作为支点,测量光束206对视网膜227进行扫描。尽管测量光束206的光束直径为4mm,但可以该增大光束直径以获取高分辨率的断层图像。
电动台217-2用于在由图17的箭头所表示的方向上移动并对所安装的球面镜260-8的位置进行调整和控制。与电动台217-1相同,电动台217-2由电动台驱动器283来控制。
通过调整球面镜260-8的位置,可以使测量光束206聚焦于被检眼207的视网膜227的预定层并且对被检眼207进行观察。在初始状态下,对球面镜260-8的位置进行调整以使得测量光束206可以作为平行光入射到角膜226。根据本实施例的眼科摄像设备30可以应对具有屈光异常的被检眼207。
当测量光束206入射到被检眼207时,测量光束206由于从视网膜227发生反射或散射而成为返回光束208。然后,返回光束208通过由光学耦合器231再次引导而到达线传感器239。返回光束208的一部分由可动式分束器261反射并且经由透镜235-5被引导至检测器238。
具有针孔的遮光板272具有遮挡返回光束208中的未聚焦于视网膜227的不必要光的功能。此外,遮光板272配置在与透镜235-5的聚焦位置共轭的位置处。遮光板272的针孔的直径例如为50μm。作为检测器238,例如使用作为高速高灵敏度的光传感器的雪崩光电二极管(APD)。由分束器258分割得到的返回光束208的一部分入射到波前传感器255。波前传感器255是夏克-哈特曼波前传感器。
球面镜260-1~260-9被配置成与XY扫描器219、X扫描器221、角膜226、波前传感器255和空间光调制器259光学共轭。因此,波前传感器255可以测量被检眼207的像差。此外,空间光调制器259可以对被检眼207的像差进行校正。此外,通过基于所获得的像差实时控制空间光调制器259,可以对被检眼207中发生的像差进行校正并获取横向分辨率较高的断层图像。
接着,将说明测量系统的结构。眼科摄像设备30可以获取断层图像(OCT图像)以及眼底平面图像(SLO图像)。
首先,将说明针对断层图像的测量系统。返回光束208由光学耦合器231进行合成。该合成光(合成光242)经由单模光纤230-3和透镜235-2被引导至透过型光栅241,并且针对各波长进行分光。然后,该光经由透镜235-3入射到线传感器239。
线传感器239针对各位置(波长)将光强度转换成电压信号。该电压信号由帧捕获器240转换成数字值,以使得在个人计算机225中形成被检眼207的断层图像。线传感器239包括1024个像素并且可以获得合成光242的各波长(1024个分割)的强度。
接着,将说明针对眼底平面图像的测量系统。返回光束208的一部分由可动式分束器261所反射。在遮光板272对不必要光进行遮挡之后,反射光到达检测器238,并且光强度被转换成电信号。所获得的电信号的数据由个人计算机225与X扫描器221和XY扫描器219的扫描信号同步地进行处理。因此,形成了眼底平面图像。
由分束器258分割得到的返回光束208的一部分入射到波前传感器255,并且对返回光束208的像差进行测量。将波前传感器255所获得的图像信号供给至个人计算机225,并计算该像差。所获得的像差通过泽尼克(Zernike)多项式来表现,从而表示被检眼207的像差。泽尼克多项式包括倾斜项、散焦项、像散项、彗差项和三叶草项。
接着,将参考图18A~18C来说明使用眼科摄像设备30的断层图像(OCT图像)的获取方法。眼科摄像设备30通过对XY扫描器219进行控制、并且使用X扫描器221作为固定镜而利用线传感器239获取干涉条纹,来获取视网膜227的断层图像。对可动式分束器261进行控制,以使得返回光束208不被引导至检测器238。此外,从个人计算机225利用驱动器单元281内的光学扫描器驱动器282对X扫描器221和XY扫描器219进行控制。在本实施例中,将说明用于获取视网膜227的断层图像(与光轴平行的平面)的方法。
图18A是被检眼207的示意图,并且示出利用眼科摄像设备30观察被检眼207的状态。如图18A所示,当测量光束206经由角膜226入射到视网膜227时,测量光束226由于在各位置处发生反射或散射而成为返回光束208。然后,返回光束208伴随着各位置处的延迟而到达线照相机239。
由于光源201的带宽大且相干长度短,因此在参考光路的光路长度和测量光路的光路长度大致相等的情况下,线照相机239可以检测到干涉条纹。如上所述,线照相机239所获取的干涉条纹是波长轴上的光谱区域的干涉条纹。
随后,考虑到线照相机239和透过型光栅141的特性,将作为波长轴上的信息的干涉条纹转换成光频轴上的干涉条纹。此外,通过对所获得的光频轴上的干涉条纹进行逆傅立叶变换,可以获得深度方向上的信息。如图18B所示,在驱动XY扫描器219的状态下检测干涉条纹的情况下,可以在X轴的各位置处获得干涉条纹。更具体地,可以在X轴的各位置处获得深度方向上的信息。结果,获得了返回光束208的强度在XZ面上的二维分布,其中该二维分布为断层图像232(图18C)。
如上所述,断层图像232是通过将各返回光束208的强度排列成阵列状所获得的图像。例如,断层图像232是灰度级强度图像。断层图像232的X方向上的长度为700μm,这与以下所述的SLO图像相同。
在图18C中,仅表示所获得的断层图像的边界。该例示包括视网膜色素上皮层246、视神经纤维层247和血管278。此外,在Y轴的各位置处获取到多个断层图像的情况下,可以使血管的三维走向可视化。
接着,将说明使用眼科摄像设备30的眼底平面图像(SLO图像)的获取方法。眼科摄像设备30可以通过在使XY扫描器219的X轴方向固定的情况下控制和操作XY扫描器219的仅Y轴方向以及X扫描器221、并且使用检测器238获取返回光束208的强度,来获取视网膜227的眼底平面图像。
从个人计算机225利用驱动器单元281内的光学扫描器驱动器282对X扫描器221和XY扫描器219进行控制(参见图17)。此外,眼科摄像设备30可以通过控制空间光调制器259,在对被检眼207处发生的像差进行校正的情况下获取眼底平面图像。可以通过使用波前传感器255测量得到的被检眼207的像差对空间光调制器259进行控制。此外,眼科摄像设备30可以在实时控制空间光调制器259的情况下获取眼底平面图像。
接着,将参考图19A~19D来说明眼底平面图像(SLO图像)的获取方法。
眼科摄像设备30通过控制XY扫描器219并利用检测器238获取返回光束208的强度,来获取视网膜227的眼底平面图像。现在将说明视网膜227的眼底平面图像的获取方法(与光轴垂直的平面图像)。
图19A是被检眼207的示意图,并且示出利用眼科摄像设备30来观察被检眼207的状态。
如图19A所示,当测量光束206经由角膜226入射到视网膜227时,测量光束208由于在各位置处发生反射或散射而成为返回光束208。然后,返回光束208达到检测器238。此外,如图19B所示,在使XY扫描器209在X方向上移动的状态下检测返回光束208的强度的情况下,可以获得X轴的各位置处的信息。
如图19C所示,使XY扫描器209相对于存在视网膜227的摄像范围292在X轴方向和Y轴方向上同时移动。然后,沿着摄像范围292上的轨迹293光栅扫描测量光束206。在该状态下,如果检测到返回光束208的强度,则可以获得返回光束208的强度的二维分布。因此,获取到眼底平面图像277(参见图19D)。
在图19C中,从右上方的点S向着左下方的点E扫描测量光束206。在进行该扫描的情况下,在形成眼底平面图像277时使用返回光束208的强度。从点E到点S的轨迹293是作为对要形成的下一眼底平面图像277进行摄像的准备的测量光束206的移动。对于图19C的轨迹293,扫描所需的时间对于点S到点E需要84%并且对于点E到点S需要16%。该比基于上述Y扫描器的驱动波形的占空比。此外,在图19C中,为了简便,关于轨迹293的X方向上的扫描次数小于实际次数。
眼底平面图像277的大小为700×350μm。获取所需的时间约为15.6ms。该时间基于Y扫描器的驱动频率。
在眼底平面图像277中,返回光束208的强度相对高的感光细胞组279为浅色,而强度相对低的血管278为深色。此外,在血管278中血球(未示出)为浅色。如果连续获取到眼底平面图像277,则可以使血球在血管278内的移动可视化。此外,可以通过从连续获取到的眼底平面图像277提取使血球可视化的血管278、并使所提取的眼底平面图像277按拍摄顺序依次叠加,来生成时空图像。可以容易地获得血球的移动和血流速度。
用于获得求出血流速度所使用的图像的摄像方法以及用于获得感光细胞的图像的摄像方法由用户经由图像处理设备10的操作单元来指定。当用户经由操作单元选择摄像方法时,图像处理设备的指定单元(未示出)指定所选择的摄像方法并将关联信息发送至眼科摄像设备30。然后,根据所指定的摄像方法,眼科摄像设备30输出容易观察的感光细胞的图像、或者具有血流作为观察对象的图像。
还可以通过读出并执行记录在存储器装置上的程序以进行上述实施例的功能的系统或设备的计算机(或者CPU或MPU等装置)和通过下面的方法来实现本发明的各方面,其中,系统或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能来进行上述方法的各步骤。由于该原因,例如经由网络或者通过用作存储器装置的各种类型的记录介质(例如,计算机可读存储介质)将该程序提供给计算机。
尽管已经参考典型实施例说明了本发明,但是应该理解,本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释,以包含所有修改、等同结构和功能。

Claims (18)

1.一种图像处理设备,包括:
识别单元,用于对通过对眼底进行摄像所获得的眼底图像进行频率转换来获得频率图像,
所述图像处理设备的特征在于,还包括:
提取单元,用于通过计算所述频率图像中的环状结构的直径和峰值来从所述频率图像中提取表示所述眼底图像中的感光细胞的配置的周期性的特征量;以及
信息获取单元,用于通过将所述特征量和预定指标进行比较来获取表示所述眼底图像的图像质量的信息。
2.根据权利要求1所述的图像处理设备,其中,还包括分割单元,所述分割单元用于将所述眼底图像分割成多个部分图像,
其中,所述识别单元通过对所述多个部分图像中的每个部分图像进行频率转换来获得部分频率图像,
所述提取单元从各所述部分频率图像中提取特征量;以及
所述信息获取单元组合从各所述部分频率图像中提取的特征量来获取表示所述眼底图像的图像质量的信息。
3.根据权利要求2所述的图像处理设备,其中,所述信息获取单元基于与各部分图像相对应的所述特征量,来获取与包括未提取出感光细胞的区域的部分图像有关的信息。
4.根据权利要求1所述的图像处理设备,其中,所述提取单元提取所述频率图像的环状结构的亮度峰值和所述峰值相对于所述频率图像的中心的距离作为所述特征量。
5.根据权利要求1所述的图像处理设备,其中,所述提取单元提取所述频率图像的环状结构的锐度作为所述特征量。
6.根据权利要求1所述的图像处理设备,其中,所述提取单元将所述眼底图像的大于预定阈值的频带识别为所述频率图像的环状结构。
7.根据权利要求1所述的图像处理设备,其中,还包括:
判断单元,用于判断所述图像质量与预定阈值相比是好还是差;以及
选择单元,用于从由所述判断单元对图像质量进行了判断的多个眼底图像中选择至少一个眼底图像。
8.根据权利要求1所述的图像处理设备,其中,所述眼底图像是利用用于获得所述感光细胞的图像的摄像方法所拍摄的眼底图像,以及
所述信息获取单元基于所述特征量获取如下信息,其中该信息表示是否存在从所述眼底图像未提取出感光细胞但提取出血管或病变的区域。
9.根据权利要求1所述的图像处理设备,其中,还包括输出单元,所述输出单元用于输出表示图像质量的信息。
10.根据权利要求9所述的图像处理设备,其中,所述输出单元使显示单元显示所述眼底图像和表示图像质量的信息。
11.根据权利要求10所述的图像处理设备,其中,所述输出单元基于表示图像质量的信息,使所述显示单元显示如下信息至少之一和所述眼底图像:表示需要在针对所述眼底图像的摄像单元处进行像差校正的信息;以及表示需要增加从针对所述眼底图像的摄像单元发出的摄像光量的信息。
12.根据权利要求10所述的图像处理设备,其中,所述输出单元使所述显示单元显示所述眼底图像和所述频率图像。
13.根据权利要求9所述的图像处理设备,其中,所述输出单元使显示单元显示表示亮度值和所述频率图像中的相对于指定位置的距离之间的关系的图。
14.根据权利要求9所述的图像处理设备,其中,所述输出单元将与图像质量相对应的控制值输出至用于对所述眼底进行摄像的摄像设备。
15.根据权利要求1所述的图像处理设备,其中,所述眼底图像是通过眼底摄像设备聚焦于所述眼底的预定深度位置所获得的所述眼底的图像,其中所述眼底摄像设备用于利用像差测量单元和自适应光学系统对像差进行校正。
16.根据权利要求1所述的图像处理设备,其中,还包括:
指定单元,用于指定用于获取被检眼的感光细胞的图像的摄像方法;以及
摄像单元,用于通过根据所述摄像方法对所述被检眼的眼底进行摄像来获取所述眼底图像。
17.一种图像处理设备,包括:
转换单元,用于对通过对眼底进行摄像所获得的眼底图像进行频率转换来获取频率图像,
所述图像处理设备的特征在于,还包括:
计算单元,用于计算所述频率图像中的环状结构的直径和峰值作为表示所述眼底图像中的感光细胞的配置的周期性的信息;以及
信息获取单元,用于通过将所计算出的直径与预定指标进行比较来获取表示所述眼底图像的图像质量的信息。
18.一种图像处理方法,包括:
对通过对眼底进行摄像所获得的眼底图像进行频率转换来获得频率图像,
所述图像处理方法的特征在于,还包括:
通过计算所述频率图像中的环状结构的直径和峰值来从所述频率图像中提取表示所述眼底图像中的感光细胞的配置的周期性的特征量;以及
通过将所述特征量与预定指标进行比较来获取表示所述眼底图像的图像质量的信息。
CN201210353478.3A 2011-09-20 2012-09-20 图像处理设备、眼科摄像设备和图像处理方法 Expired - Fee Related CN103006174B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-204653 2011-09-20
JP2011204653A JP5843542B2 (ja) 2011-09-20 2011-09-20 画像処理装置、眼科撮影装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN103006174A CN103006174A (zh) 2013-04-03
CN103006174B true CN103006174B (zh) 2016-07-06

Family

ID=47880360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210353478.3A Expired - Fee Related CN103006174B (zh) 2011-09-20 2012-09-20 图像处理设备、眼科摄像设备和图像处理方法

Country Status (3)

Country Link
US (3) US8960906B2 (zh)
JP (1) JP5843542B2 (zh)
CN (1) CN103006174B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5610884B2 (ja) 2010-07-09 2014-10-22 キヤノン株式会社 光断層撮像装置及び光断層撮像方法
JP5835938B2 (ja) * 2011-05-10 2015-12-24 キヤノン株式会社 収差補正方法、および該方法を用いた眼底撮像方法、および眼底撮像装置
JP5936368B2 (ja) 2012-01-20 2016-06-22 キヤノン株式会社 光干渉断層撮影装置及びその作動方法
JP5988772B2 (ja) * 2012-01-20 2016-09-07 キヤノン株式会社 画像処理装置及び画像処理方法
JP6061554B2 (ja) 2012-01-20 2017-01-18 キヤノン株式会社 画像処理装置及び画像処理方法
JP6146951B2 (ja) 2012-01-20 2017-06-14 キヤノン株式会社 画像処理装置、画像処理方法、撮影装置及び撮影方法
JP2013148509A (ja) 2012-01-20 2013-08-01 Canon Inc 画像処理装置及び画像処理方法
JP6039185B2 (ja) 2012-01-20 2016-12-07 キヤノン株式会社 撮影装置
US9571864B2 (en) * 2012-03-30 2017-02-14 Intel Corporation Techniques for media quality control
US9483111B2 (en) 2013-03-14 2016-11-01 Intel Corporation Techniques to improve viewing comfort for three-dimensional content
JP6241091B2 (ja) * 2013-06-27 2017-12-06 株式会社ニデック 画像処理装置および画像処理プログラム
JP6410498B2 (ja) * 2014-07-08 2018-10-24 キヤノン株式会社 眼科装置及びその制御方法
JP6506518B2 (ja) * 2014-08-29 2019-04-24 キヤノン株式会社 眼科装置及びその制御方法
JP2016150090A (ja) * 2015-02-17 2016-08-22 キヤノン株式会社 撮像装置及びその制御方法
KR101825923B1 (ko) * 2015-09-03 2018-03-22 주식회사 이오테크닉스 레이저 가공장치 및 레이저 가공방법
KR101746763B1 (ko) * 2016-02-01 2017-06-14 한국과학기술원 망막 또는 맥락막 내 혈관조영 광가간섭 단층촬영 장치 및 이를 이용한 질병 진단방법
JP2017185057A (ja) * 2016-04-06 2017-10-12 キヤノン株式会社 眼科撮影装置及びその制御方法、並びに、プログラム
CN107292877B (zh) * 2017-07-05 2020-07-03 北京至真互联网技术有限公司 一种基于眼底图像特征的左右眼识别方法
CN107423726A (zh) * 2017-08-12 2017-12-01 合肥全飞信息科技有限公司 一种眼病识别手机app设计方法
CN108272434B (zh) * 2017-12-07 2020-06-19 柯鑫 对眼底图像进行处理的方法及装置
CN110648303B (zh) * 2018-06-08 2022-07-26 上海市第六人民医院 眼底图像分析方法、计算机设备和存储介质
CN109238131B (zh) * 2018-08-09 2020-12-22 江苏度微光学科技有限公司 一种横向超高分辨的光学相干层析方法和系统
WO2021255779A1 (ja) * 2020-06-15 2021-12-23 株式会社ニコン 情報表示方法、情報表示装置、及びプログラム
CN111751013B (zh) * 2020-07-07 2021-09-03 中国科学院长春光学精密机械与物理研究所 光学成像的像差测量方法及光学成像方法
CN113974964B (zh) * 2021-12-28 2022-04-22 广东麦特维逊医学研究发展有限公司 一种激光撕囊装置及其工作方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101833697A (zh) * 2009-03-13 2010-09-15 新奥特硅谷视频技术有限责任公司 一种基于虹膜认证的监控系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3030073A (en) * 1958-08-11 1962-04-17 Auto Specialties Mfg Co Positioning apparatus
WO2003020121A1 (en) 2001-08-30 2003-03-13 University Of Rochester Adaptive optics in a scanning lase ophtalmoscope
WO2003030073A1 (en) * 2001-10-03 2003-04-10 Retinalyze Danmark A/S Quality measure
JP5209377B2 (ja) * 2008-06-02 2013-06-12 株式会社ニデック 眼底撮影装置
EP2130486B1 (en) * 2008-06-02 2016-03-23 Nidek Co., Ltd. Ophthalmic Photographing Apparatus
US8201943B2 (en) * 2009-01-15 2012-06-19 Physical Sciences, Inc. Adaptive optics line scanning ophthalmoscope

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101833697A (zh) * 2009-03-13 2010-09-15 新奥特硅谷视频技术有限责任公司 一种基于虹膜认证的监控系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
虹膜图像质量评估算法的研究;姚翠莉;《东北大学硕士学位论文》;20091231;正文第32-36页 *

Also Published As

Publication number Publication date
US20190191987A1 (en) 2019-06-27
JP5843542B2 (ja) 2016-01-13
US20150124218A1 (en) 2015-05-07
US11058293B2 (en) 2021-07-13
US8960906B2 (en) 2015-02-24
US20130070202A1 (en) 2013-03-21
CN103006174A (zh) 2013-04-03
JP2013063215A (ja) 2013-04-11

Similar Documents

Publication Publication Date Title
CN103006174B (zh) 图像处理设备、眼科摄像设备和图像处理方法
US10482326B2 (en) Image processing system, processing method, and storage medium
US9055892B2 (en) Systems and methods for improved ophthalmic imaging
CN102670164B (zh) 图像处理装置、摄像系统和图像处理方法
CN102525409B (zh) 眼科设备、眼科系统、处理设备和血流速度计算方法
CN102469937B (zh) 断层图像摄像设备及其控制方法
US9082010B2 (en) Apparatus and a method for processing an image of photoreceptor cells of a fundus of an eye
US6588901B1 (en) Imaging and analyzing movement of individual erythrocytes in blood vessels
RU2633168C2 (ru) Устройство обработки изображений и способ обработки изображений
RU2637851C2 (ru) Устройство обработки изображений и способ управления устройством обработки изображений
EP2992814A1 (en) Ophthalmologic apparatus and ophthalmologic apparatus control method
JP2013075035A (ja) 光断層像撮像方法、光断層像撮像装置およびプログラム
JP7348374B2 (ja) 眼科情報処理装置、眼科撮影装置、眼科情報処理方法、及びプログラム
JP2015080679A (ja) 画像処理装置、画像処理方法およびプログラム
JP2020103579A (ja) 画像処理装置、画像処理方法及びプログラム
WO2021153087A1 (ja) 眼科装置、その制御方法、及び記録媒体
JP2016047100A (ja) 画像処理装置、画像処理方法及びプログラム
JP6776317B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2021118769A (ja) 眼科装置、その制御方法、プログラム、及び記録媒体
US11819275B2 (en) Optical coherence tomography apparatus, control method for optical coherence tomography apparatus, and computer-readable storage medium
WO2023008385A1 (ja) 前眼部解析装置、前眼部解析方法、およびプログラム
JP2017176716A (ja) 画像処理装置および画像処理方法
JP2023006633A (ja) 光干渉断層撮影装置、光干渉断層撮影装置の制御方法、及びプログラム
JP2023111652A (ja) 断層画像処理装置及びプログラム
CN116829049A (zh) 眼科信息处理装置、眼科装置、眼科信息处理方法以及程序

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160706

CF01 Termination of patent right due to non-payment of annual fee