CN105431077B - 图像处理设备和图像处理方法 - Google Patents

图像处理设备和图像处理方法 Download PDF

Info

Publication number
CN105431077B
CN105431077B CN201480043571.1A CN201480043571A CN105431077B CN 105431077 B CN105431077 B CN 105431077B CN 201480043571 A CN201480043571 A CN 201480043571A CN 105431077 B CN105431077 B CN 105431077B
Authority
CN
China
Prior art keywords
polarization
sensitive
image
faultage
tomography
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480043571.1A
Other languages
English (en)
Other versions
CN105431077A (zh
Inventor
福原诚
佐藤真
岩濑好彦
户松宣博
牧平朋之
宫田和英
新畠弘之
富田律也
木边乃介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN105431077A publication Critical patent/CN105431077A/zh
Application granted granted Critical
Publication of CN105431077B publication Critical patent/CN105431077B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0041Operational features thereof characterised by display arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/1005Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring distances inside the eye, e.g. thickness of the cornea
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A61B3/1225Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes using coherent radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10101Optical tomography; Optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Abstract

为了针对用户提供病理支持以有效地进行对疾病的复查,使用从偏振敏感断层图像获得的偏振信息。一种图像处理设备,包括:定位单元(195),用于基于通过在不同时刻拍摄被检体所获得的多个断层亮度图像,来定位与这多个断层亮度图像相对应的多个偏振敏感断层图像;以及比较单元(196),用于比较所定位的多个偏振敏感断层图像。

Description

图像处理设备和图像处理方法
技术领域
本发明涉及处理被检体图像的图像处理设备和图像处理方法。
背景技术
使用多波长光波干涉的光学相干断层成像(Optical coherence tomography,OCT)可以以高分辨率获得样本(特别是眼底)的断层图像。
近年来,除了对眼底组织的形状进行成像的常规OCT以外,眼科OCT领域在使用作为眼底组织的一种光学属性的偏振参数(延迟和方向)来进行成像的偏振敏感OCT的发展方面有所进步。
在偏振敏感OCT中,可以使用偏振参数来配置偏振敏感OCT图像以及对眼底组织进行区分和分割(根据断层图像数据来计算层边界的处理)。因此,可以区分难以使用亮度信息来诊断的组织,由此针对青光眼等的诊断提供病理支持。
在偏振敏感OCT中,使用被调制成圆偏振光的光作为用于观察样本的测量光,并且将干涉光分离成2个正交的线偏振光并进行检测,由此生成偏振敏感OCT图像(参见专利文献1)。
现有技术列表
专利文献
专利文献1:国际公开WO 2010/122118A1
非专利文献
非专利文献1:E.Gotzinger et al.,Opt.Express 13,10217,2005
发明内容
用于解决问题的方案
根据本发明的图像处理设备包括:断层图像获取单元,用于获取通过在不同时刻拍摄被检体所获得的多个断层亮度图像以及与多个断层亮度图像相对应的多个偏振敏感断层图像;定位单元,用于基于所获取到的多个断层亮度图像来对所获取到的多个偏振敏感断层图像进行定位;以及比较单元,用于比较进行了定位的多个偏振敏感断层图像。
根据本发明的图像处理方法包括:获取步骤,用于获取通过在不同时刻拍摄被检体所获得的多个断层亮度图像以及与多个断层亮度图像相对应的多个偏振敏感断层图像;定位步骤,用于基于所获取到的多个断层亮度图像来定位所获取到的多个偏振敏感断层图像;以及比较步骤,用于比较进行了定位的多个偏振敏感断层图像。
通过参考附图对典型实施例进行以下说明,本发明的其它特征将变得明显。
附图说明
图1是根据第一实施例的图像处理设备的整体结构的示意图。
图2A~2E是根据第一实施例的信号处理单元处所生成的图像的示例。
图3是例示根据第一实施例的处理的流程图。
图4是根据第一实施例的图像处理设备的显示单元上的显示画面的显示示例。
图5是定位根据第一实施例的OCT扫描位置的图解。
图6A和6B是在将根据第一实施例的断层亮度图像进行重叠的情况下进行定位的图解。
图7是将根据第一实施例的断层亮度图像进行重叠的概念图。
图8是根据第一实施例的图像处理设备的显示单元上的显示画面的显示示例。
图9是根据第一实施例的图像处理设备的显示单元上的显示画面的显示示例。
图10是根据第二实施例的由重叠图像构成的3D断层亮度图像的概念图。
图11是例示根据第二实施例的处理的流程图。
具体实施方式
传统地,不存在与使用所获得的偏振敏感断层图像来复查疾病的设计和方法有关的创新。已经发现了期望使用从偏振敏感断层图像获得的偏振信息来针对用户提供病理支持以有效地进行对疾病的复查。根据实施例,在不同时刻拍摄被检体,并且使用所获得的多个断层亮度图像来进行与这多个断层亮度图像有关的多个偏振敏感断层图像的定位。将所定位的多个偏振敏感断层图像进行比较。这使得能够使用从偏振敏感断层图像获得的偏振信息来针对用户提供病理支持以有效地进行对疾病的复查。
根据本发明的摄像设备可以应用于诸如眼睛、皮肤、内脏等的被检体。根据本发明的摄像设备的示例包括眼科设备和内窥镜等。将参考附图详细说明根据实施例的眼科设备,作为本发明的示例。
第一实施例
设备的整体结构
图1是例示作为根据本实施例的摄像设备的示例的眼科设备的整体结构的示意图。可以将后面说明的信号处理单元190的至少一部分视为“图像处理设备”,在这种情况下,可以将整个“眼科设备”视为“眼科系统”,并且可以将整个“摄像设备”视为“摄像系统”。
本设备被配置为包括:偏振敏感OCT(PS-OCT)设备100、偏振敏感扫描激光检眼镜(PS-SLO)140、前眼部摄像单元160、内部固视灯170和控制单200。
在内部固视灯170接通并且眼睛注视内部固视灯170的状态下,使用如前眼部摄像单元160所观察到的眼睛的前眼部图像来进行设备的对准。在对准完成之后,利用PS-OCT设备100和PS-SLO 140进行眼底摄像。
PS-OCT设备100的结构
现在将说明PS-OCT设备100的结构。光源101是作为一种低相干光源的超发光二极管(SLD)光源。光源101例如发出中心波长为850nm且带宽为50nm的光。尽管将SLD描述为用于光源101,但可以使用能够发出低相干光的任何光源,例如,放大自发辐射(ASE)光源等。
将从光源101发出的光经由单模(SM)光纤134、偏振控制器103、连接器135和PM光纤102引导至具有偏振保持功能的光纤连接器104,并且分支成测量光(以下也称为“断层图像测量光”或“OCT测量光”)和与该测量光相对应的参考光。
偏振控制器103调整从光源101发出的光的偏振状态以将该光调整为线偏振光。光纤连接器104的分支比是90(参考光):10(测量光)。
测量光作为平行光经由PM光纤105从准直器106发出。所发出的测量光穿过X扫描器107、透镜108和109以及Y扫描器110,并且到达分色镜111,其中该X扫描器107包括在眼底Er处在水平方向上扫描测量光的检电镜,该Y扫描器110包括在眼底Er处在垂直方向上扫描测量光的检电镜。X扫描器107和Y扫描器110由驱动控制单元180控制,并且可以遍及眼底Er的预定范围扫描测量光。注意,可以将扫描测量光的眼底Er的范围视为断层图像的获取范围、断层图像的获取位置和测量光的照射位置。X扫描器107和Y扫描器110是PS-OCT所用的扫描单元的示例,并且可以被配置为共通的X-Y扫描器。分色镜111具有将800nm~900nm的光反射并且使其它光透过的属性。
分色镜111所反射的测量光穿过透镜112并且通过以光轴作为转动轴从p偏振光针对s偏振光倾斜45度角设置的λ/4偏振板113。因而相位偏移90度,所以光的偏振被控制成为圆偏振光。注意,本发明中所使用的术语“p偏振光”是在偏振束分离器的偏振分离面是反射面的情况下相对于入射面水平振动的光。S偏振光是相对于入射面垂直振动的光。注意,λ/4偏振板113是用以调整测量光的偏振状态的、测量光所用的偏振调整构件的示例。在应用后面说明的PS-SLO光学系统的情况下,λ/4偏振板113可以设置在具有PS-OCT光学系统的一部分和PS-SLO光学系统的一部分的共通光学路径上。因此,可以抑制在PS-SLO光学系统所获得的图像和PS-OCT光学系统所获得的图像中出现偏振状态的变化。PS-SLO所用的扫描单元和PS-OCT所用的扫描单元处于共轭位置,并且可以处于与眼睛的瞳孔共轭的位置。注意,λ/4偏振板113的倾斜是λ/4偏振板113的状态的一个示例,并且是在包括偏振束分离器的光纤连接器123的偏振分离面的光轴作为转动轴的状态下相对于预定位置的角度。
λ/4偏振板113还可以被配置成可插拔地插入光学路径。例如,可以考虑λ/4偏振板113绕光轴或者与光轴平行的轴转动的机械结构。这可以实现能够容易地在SLO光学系统和PS-SLO光学系统之间切换的小设备。此外,这可以实现能够容易地在OCT光学系统和PS-OCT光学系统之间切换的小设备。
现在,以45度角安装的λ/4偏振板113将射入眼睛的光偏振控制成圆偏振光。然而,存在由于眼睛的属性而使得在眼底Er处光并非是圆偏振光的情况。因此,λ/4偏振板113被配置为以使得可以在驱动控制单元180的控制下对λ/4偏振板113的倾斜进行微调。
台(stage)116上的调焦透镜114使得被偏振控制成圆偏振光的测量光经由作为被检体的前眼部Ea在眼底Er的视网膜层上聚焦。照射在眼底Er上的测量光在各视网膜层处发生反射和散射,并且在光学路径上返回至光纤连接器104。
在光纤连接器104处分支后的参考光通过PM光纤117并且作为平行光从准直器118发出。所发出的参考光以与测量光相同的方式受到以光轴作为转动轴从p偏振光针对s偏振光倾斜22.5度角设置的λ/4偏振板119的偏振控制。注意,λ/4偏振板119是用以调整参考光的偏振状态的、参考光所用的偏振调整构件的示例。参考光穿过色散补偿玻璃120,并且在相干门(coherence gate)台121上的镜122处发生反射,并且返回至光纤连接器104。参考光两次穿过λ/4偏振板119,由此线偏振光返回至光纤连接器104。
相干门台121受驱动控制单元180控制以应对被检者的眼轴长度等的差异。注意,相干门是与测量光的光学路径中的参考光的光学路径长度相对应的位置。尽管在本实施例中参考光的光学路径长度是变化的,但测量光的光学路径和参考光的光学路径之间的光学路径长度差是可变的就足够了。
将参考光和返回至光纤连接器104的返回光进行合成以形成相干光(以下也称为“合成光”),将该相干光输入至包括偏振束分离器的光纤连接器123,并且以50:50的分支比将该相干光分离成具有不同偏振方向的p偏振光和s偏振光。
p偏振光通过PM光纤124和准直器130,在光栅131处发生色散,并且在透镜132和线性照相机(line camera)133处被接收。以相同的方式,s偏振光通过PM光纤125和准直器126,在光栅127处发生色散,并且在透镜128和线性照相机129处被接收。注意,光栅127和131以及线性照相机129和133是根据各自的偏振方向来定位的。
将各线性照相机129和133处所接收到的光作为与光强度相对应的电气信号输出,并且在信号处理单元190处接收这些电气信号。
可以参考光纤连接器123中所包括的偏振束分离器的偏振分离面的倾斜来自动调整λ/4偏振板113和119的倾斜。此时,优选设置用于检测λ/4偏振板113和119的倾斜的倾斜检测器(未示出)。该倾斜检测器可以检测出当前倾斜是否与预定倾斜一致。当然,可以基于所接收到的光强度来检测λ/4偏振板113和119的倾斜程度,并且可以调整该倾斜程度以使得该强度为预定强度。此外,如后面说明的,用户可以将表示倾斜的对象显示在图形用户界面(GUI)上并且使用鼠标进行调整。此外,通过以垂直方向为基准来调整偏振束分离器和λ/4偏振板113和119可以获得相同的效果。
PS-SLO 140的结构
现在将说明PS-SLO 140的结构。在本实施例中,光源141例如是发出中心波长为780nm的光的半导体层。从光源141发出的测量光(以下也称为“眼底图像所用的测量光”或“SLO测量光”)通过PM光纤142,在偏振控制器145处对该测量光进行偏振控制以使得测量光变成线偏振光,并且将该线偏振光作为平行光从准直器143输出。所发出的测量光穿过穿孔镜144的穿孔,穿过透镜155,穿过X扫描器146、透镜147和148以及Y扫描器149,并且到达分色镜154,其中该X扫描器146包括在眼底Er处在水平方向上扫描测量光的检电镜,该Y扫描器149包括在眼底Er处在垂直方向上扫描测量光的检电镜。X扫描器146和Y扫描器149由驱动控制单元180控制,并且可以遍及眼底Er的预定范围来扫描测量光。X扫描器146和Y扫描器149是PS-SLO所用的扫描单元的示例,并且可以被配置为共通的X-Y扫描器。分色镜154具有将760nm~800nm的光反射并且使其它光透过的属性。
分色镜154处所反射的线偏振光的测量光通过与PS-OCT设备100相同的光学路径,并且到达眼底Er。
照射在眼底Er上的测量光在眼底Er处发生反射/散射,并且在上述的光学路径上返回以到达穿孔镜144。穿孔镜144处所反射的光穿过透镜150,被输入至偏振束分离器151并被分离成具有不同偏振方向的光(在本实施例中为p偏振光和s偏振光),在雪崩光电二极管(APD)152和153处被接收并且被转换成电气信号,并且在信号处理单元190处接收这些电气信号。
穿孔镜144的位置与眼睛的瞳孔位置共轭。在照射在眼底Er且发生反射/散射的测量光中,通过瞳孔周围的光由穿孔镜144反射。
尽管在本实施例中针对PS-OST设备和PS-SLO均使用了PM光纤,但即使使用单模光纤(SMF)也可以通过使用偏振控制器进行控制偏振来获得相同的结构和效果。
前眼部摄像单元160
现在将说明前眼部摄像单元160。前眼部摄像单元160使用包括发出波长为1000nm的照明光的LED 115-a和115-b的照明光源115来对前眼部Ea进行照明。前眼部Ea所反射的光穿过透镜114、偏振板113、透镜112、分色镜111和154,并且到达分色镜161。分色镜161具有将980nm~1100nm的光反射并且使其它光透过的属性。分色镜161处所反射的光穿过透镜162、163和164,并且在前眼部照相机165处被接收。将前眼部照相机165处所接收到的光转换成电气信号,并且在信号处理单元190处接收这些电气信号。
内部固视灯170
现在将说明内部固视灯170。内部固视灯170被配置为包括内部固视灯显示单元171和透镜172。内部固视灯显示单元171包括配置成矩阵的多个发光二极管(LED)。在驱动控制单元180的控制下,LED的发光位置根据要进行摄像的区域而改变。将来自内部固视灯显示单元171的光经由透镜172引导至眼睛。从内部固视灯显示单元171发出的光的波长为520nm,并且利用驱动控制单元180来显示期望图案。
控制单元200
现在将说明控制整个设备的控制单元200。控制单元200包括驱动控制单元180、信号处理单元190、显示控制单元191和显示单元192。驱动控制单元180如上所述控制各个部分。
信号处理单元190包括图像生成单元193、图像分析单元194、图像重叠单元195和比较单元196。信号处理单元190基于从各个线性照相机129和133、APD 152和153以及前眼部照相机165输出的信号来生成图像、分析所生成的图像并且生成分析结果的可视化信息。后面将说明生成和分析图像的详情。
显示控制单元191将信号处理单元190处所生成的眼底图像和眼底断层图像等显示在显示单元192的显示画面上。这里的显示单元192是液晶显示器等。可以将信号处理单元190处所生成的图像数据通过线缆或者无线地发送至显示控制单元191。在这种情况下,可以将显示控制单元191视为图像处理设备,并且图像处理设备和摄像设备(眼科设备)可通信地相连接就足够了。针对摄像系统可以进行如下配置:眼底图像获取单元包括SLO光学系统,并且断层图像获取单元包括OCT光学系统。在本说明书中,如果被检体不是眼睛,则可以将术语“眼底图像(眼底亮度图像)”重新表述为“平面图像(平面亮度图像)”,并且可以将术语“眼底图像获取单元”重新表述为“平面图像获取单元”。
如下所述,显示单元192在显示控制单元191的控制下以各种显示格式来显示各种信息。可以将来自显示控制单元191的图像数据通过线缆或者无线地发送至显示单元192。尽管将显示单元192和其它单元例示为包括在控制单元200中,但本发明不限于此,并且可以与控制单元200分开地设置这些单元。此外,显示控制单元191和显示单元192可以一体化地形成为作为用户可以携带的装置的示例的平板电脑。在这种情况下,优选显示单元具有触摸面板功能,以使得可以通过对触摸面板进行操作来移动、放大或缩小显示位置以及改变显示图像等。
图像处理
接着,将说明信号处理单元190中所包括的图像生成单元193处的图像生成。图像生成单元193对从线性照相机129和133输出的干涉信号进行通常用在谱域(SD)OCT中的重建处理,由此生成基于各偏振分量的2个断层图像。这2个断层图像是与第一偏振光相对应的断层亮度图像和与第二偏振光相对应的断层亮度图像。
首先,图像生成单元193从干涉信号中去除固定模式噪声。通过对所检测到的多个A扫描信号进行平均来提取固定模式噪声并且从输入的干涉信号中减去该固定模式噪声,来进行固定模式噪声的去除。
接着,图像生成单元193将干涉信号从波长转换为波数,并且进行傅里叶变换,由此生成表示偏振状态的断层信号。
对2个偏振分量的干涉信号进行上述的处理,这生成2个断层亮度信号。
图像生成单元193与X扫描器146和Y扫描器149的驱动同步地对从APD152和153输出的信号进行排列,由此生成基于各偏振分量的2个眼底图像。这2个眼底图像是与第一偏振光相对应的眼底图像和与第二偏振光相对应的眼底图像。
生成断层亮度图像或眼底亮度图像
图像生成单元193根据上述的2个断层信号生成断层亮度图像。该断层亮度图像与传统OCT中的断层图像基本相同。如式1所计算的那样,根据从线性传感器129和133获得的断层信号AH和AV来计算该断层图像的像素值r:
数学式1
···(式1)
此外,以相同的方式根据2个眼底图像来生成眼底亮度图像。
图2A例示视神经盘的亮度图像的示例。在将λ/4偏振板113从光学路径抽出的情况下,显示控制单元191可以将传统OCT技术所获取的断层亮度图像显示在显示单元192上,或者可以将传统SLO技术所获取的眼底亮度图像显示在显示单元192上。
生成延迟图像
图像生成单元193根据互相正交的偏振分量的断层图像来生成延迟(retardation)图像。延迟图像的各像素的值δ是表示断层图像中的各像素的位置处垂直偏振分量和水平偏振分量在眼睛处受到的影响的比值。通过以下的式(2)根据断层信号AH和AV来计算值δ:
数学式2
···(式2)
图2B例示以这种方式生成的、并且可以通过对各个B扫描图像进行根据式(2)的计算所获得的视神经盘的延迟图像的示例。如上所述,延迟图像是表示2个偏振分量在眼睛处所受到的影响的差异的断层图像。图2B是针对将以上比表示为断层图像的值的颜色显示。深色部分表示该比为小值,并且浅色部分表示该比为大值。因此,可以通过生成延迟图像来理解具有双折射性的层。详情在非专利文献1中有所说明。
以同样的方式,图像生成单元193可以基于来自APD 152和153的输出在眼底的平面方向上生成延迟图像。
生成延迟映射
图像生成单元193根据针对多个B扫描图像所获得的延迟图像来生成延迟映射。图像生成单元193检测各个B扫描图像中的视网膜色素上皮(retinal pigment epithelium,RPE)。RPE具有消除偏振光的性质,因此在各个A扫描图像中沿深度方向从内界膜(innerlimiting membrame,ILM)起在不包括RPE的整个范围内检查延迟分布。延迟分布的最大值是A扫描中的延迟的代表值。
图像生成单元193对所有延迟图像进行以上处理,由此生成延迟映射。
图2C例示视神经盘的延迟映射的示例。深色部分表示上述比为小值,并且浅色部分表示上述比为大值。视网膜神经纤维层(retinal nerve fiber layer,RNFL)是在视神经盘处具有双折射性的层。延迟映射是例示2个偏振光由于RNFL的双折射性和RNFL的厚度而受到的影响的差异的图像。因此,在视网膜神经纤维的密度均匀的情况下,表示上述比的值在RNFL厚的场合下大,并且表示上述比的值在RNFL薄的场合下小。
生成双折射映射
图像生成单元193在前面生成的延迟图像的各个A扫描图像中,将ILM到RNFL范围内的延迟δ的值进行线性近似,并且将其倾斜(inclination)确定为A扫描图像在视网膜上的位置处的双折射。也就是说,延迟是RNFL中的距离和双折射的积,因此通过在各个A扫描图像中绘制深度和延迟值来获得线性关系。因此,利用最小二乘法对该图进行线性近似,并且获得作为该A扫描图像中的RNFL的双折射的值的倾斜。对所获取到的所有延迟图像进行该处理,由此生成表示双折射的映射。
图2D例示视神经盘的双折射映射的示例。该双折射映射直接映射双折射的值,因此即使RNFL的厚度不发生改变,也可以使RNFL的光纤结构的变化可视化为双折射的变化。
生成DOPU图像
图像生成单元193利用以下的式(3)根据所获得的断层信号AH和AV以及AH和AV之间的相位差ΔΦ来针对各像素计算斯托克斯矢量(Stokes vector)S:
数学式3
···(式3)
其中,ΔΦ是从计算2个断层图像时所获得的各信号的相位ΦH和ΦV、根据ΔΦ=ΦVH所计算出的。
图像生成单元193针对各个B扫描图像设置在测量光的主扫描方向上大小约为70μm且在深度方向上大小约为18μm的窗口,将针对各窗口内的各像素所计算出的斯托克斯矢量的各要素进行平均,并且利用式(4)计算各窗口内的偏振均一程度(DOPU):
数学式4
···(式4)
其中,Qm、Um和Vm各自是各窗口内的平均斯托克斯矢量要素Q、U和V的值。
对B扫描图像内的所有窗口进行该处理,由此生成图2E所示的视神经盘的DOPU图像。如上所述,DOPU图像是表示2个偏振光的均一性的断层图像。
DOPU是表示偏振光的均一性的数值。在维持偏振的位置,该值接近于1,并且在消除了偏振以及没有维持偏振的位置该值小于1。RPE具有消除偏振状态的性质,因此DOPU图像中与RPE相对应的部分与其它区域相比呈现较小的值。图2E中的浅色部分210表示RPE,并且深色部分220表示维持偏振的视网膜层区域。DOPU图像使消除了偏振的诸如RPE等的层可视化,因此与亮度变化相比,即使在疾病等使RPE变形的情况下,也可以以更确定的方式使RPE可视化。
此外,以相同的方式,图像生成单元193可以基于来自APD 152和153的输出在眼底的平面方向上生成DOPU图像。
注意,在本说明书中,还可以将上述的与第一偏振光和第二偏振光、延迟图像和DOPU图像等相对应的断层亮度图像称为“表示偏振状态的断层图像”或“偏振敏感断层图像”。此外,在本说明书中,还可以将上述的延迟映射和双折射映射等称为“表示偏振状态的眼底图像”或“偏振眼底图像”。
作为提取单元的示例的图像分析单元194可以从诸如DOPU图像或延迟图像等的表示偏振状态的断层图像中提取(检测)诸如RNFL等的消除了偏振的区域(位置)。图像分析单元194还可以将消除了偏振的具有特殊形状的区域识别为病变部位。消除了偏振的区域的示例是2个偏振光在眼睛处所受到的影响的差异相对大的区域。
处理操作
接着,将说明根据图像处理设备的处理操作。图3是例示图像处理设备的处理操作的流程图。
调整
首先,在步骤S101中,在将眼睛设置至本设备的情况下,进行设备和眼睛的对准。将针对本发明所特有的对准进行说明,并且从说明中省略诸如工作距离等的XYZ对准、调焦和相干门调整等的一般调整。
PS-OCT摄像位置的调整
图4例示在进行调整时显示单元192上所显示的窗口400。作为第一显示区域的示例的显示区域410显示PS-SLO 140所拍摄的且图像生成单元193所生成的眼底图像411。将表示PS-OCT设备100的摄像位置的向导412叠加在该眼底图像411上。
操作人员通过对诸如鼠标等(未示出)的指示装置进行点击或拖曳操作等来使用窗口400中所显示的光标进行指示、或者通过在窗口400所设置的数值输入空间中进行直接指定,来设置摄像范围。摄像范围的设置是在驱动控制单元180的控制下进行的。因而,驱动控制单元180设置用于控制扫描器的驱动角度的摄像范围。本实施例中的鼠标例如包括用以在用户的手二维地移动鼠标的情况下检测动作信号的传感器、用以检测用户的手所进行的按压的左右2个鼠标按钮以及设置在左右2个鼠标按钮之间的可以正向和反向转动的滚轮机构。指示装置可以如下:显示单元配备有触摸面板功能,以在触摸面板上指定获取位置。
λ/4偏振板的调整
将说明λ/4偏振板113的调整。在图4中,显示指示部413和414以调整λ/4偏振板113的角度。在驱动控制单元180的控制下,通过使用指示装置进行操作以给出指示来调整λ/4偏振板113的角度。指示部413是用于表示沿逆时针方向调整的显示,并且指示部414是用于表示沿顺时针方向调整的显示。指示部413和414旁边所显示的数值表示λ/4偏振板113的当前角度。显示控制单元191可以将用于调整λ/4偏振板119的角度的指示部显示在显示单元192上的指示部413旁,或者代替指示部413。
通过鼠标来引导光标,操作人员输入指示以使得作为第三显示区域的示例的显示区域430和作为第四显示区域的示例的显示区域440中所显示的各断层亮度图像的亮度相同。这可以通过对各偏振光的断层亮度图像431和441的峰值亮度值进行显示或者通过对干涉信号的波形本身进行显示、以及操作人员观看这些峰值亮度值或干涉信号的波形并进行调整来完成。这里,各偏振光的断层亮度图像431和441是与第一偏振光相对应的断层亮度图像和与第二偏振光相对应的断层亮度图像的示例。优选各偏振光的断层亮度图像431和441具有表示图像类型的显示格式,例如,叠加在图像上的表示p偏振光的“P”和表示s偏振光的“S”。这有助于防止用户误识别图像。当然,代替叠加,也可以在图像上方或旁边进行该显示,只要与图像相关即可。
作为第二显示区域的示例的显示区域420在这个阶段可以不进行显示,或者在自动调整等的情况下可以显示用以表示当前调整状态的诸如“当前正在调整λ/4偏振板”等的消息。此外,窗口400可以显示诸如眼睛和左右眼的另一只眼等的患者信息或者诸如摄像模式等的摄像信息等。优选将λ/4偏振板113重复插入光学路径以及从光学路径抽出,以交替地获得眼底亮度图像和表示偏振状态的断层亮度图像。这使得显示控制单元191能够使用大小最小的眼科设备,来在显示区域410中显示眼底亮度图像以及之后在显示区域420中显示表示偏振状态的断层亮度图像。
优选调整的顺序为:使用前眼部图像或角膜亮点的对准调整、使用表示偏振状态的眼底图像的焦点调整、使用表示偏振状态的断层亮度图像的相干门调整、以及λ/4偏振板113的调整。尽管优选在使用表示偏振状态的断层亮度图像进行相干门调整之前决定表示偏振状态的断层亮度图像的获取位置,但这也可以在用以获取表示偏振状态的眼底图像的中心区域的初始设置中决定。因此,可以通过简单的调整来精确地获取与表示偏振状态的眼底图像相比可以应对更精细更窄的范围的表示偏振状态的断层亮度图像。此时,可以与相干门调整的完成相应地自动调整λ/4偏振板113,或者可以与用以获取表示偏振状态的图像的信号的输入相应地自动调整λ/4偏振板113。当然,可以进行如下配置:在眼科设备启动时的初始设置画面处调整λ/4偏振板113,而不是在每次进行摄像时调整λ/4偏振板113。
在λ/4偏振板113被配置为插入光学路径以及从光学路径抽出的情况下,优选调整的顺序为:使用前眼部图像或角膜亮点的对准调整、使用SLO眼底图像的焦点调整、使用OCT断层亮度图像的相干门调整、将λ/4偏振板113插入光学路径以及λ/4偏振板113的调整。因而,可以使用用户直观上熟悉的常规的SLO眼底图像和OCT断层亮度图像来进行在获取表示偏振状态的图像之前的调整。可替代地,可以在焦点调整之后插入λ/4偏振板113,并且在此之后使用表示偏振状态的PS-OCT断层亮度图像来进行相干门调整。在这种情况下,可以与相干门调整的完成或焦点调整的完成相应地将λ/4偏振板113自动插入光学路径,或者可以与用以获取表示偏振状态的图像的信号的输入相应地将λ/4偏振板113自动插入光学路径。
可以进行焦点调整,以使得首先使用SLO眼底图像进行大致焦点调整,并且在此之后使用OCT断层亮度图像进行焦点微调。
可以自动地按照上述顺序进行这些调整,或者可以在显示单元上显示与各个调整相对应的滑块以及用于进行拖曳操作以进行调整的光标。在插入/抽出λ/4偏振板113的情况下,可以在显示单元上显示用以将λ/4偏振板113插入光学路径和从光学路径抽出的图标。
眼底摄像到生成眼底图像
在步骤S102和S103中,从光源141发出测量光,并且在APD 152和153处接收到来自眼底Er的返回光,以使得如上所述在图像生成单元193处生成眼底图像。比较单元196记录所获取到的眼底数据。
设置OCT扫描位置
在步骤S104中,将步骤S102和S103中所拍摄的眼底图像与先前所拍摄并获取的眼底图像进行比较,并且设置PS-OCT设备100的扫描位置。
首先,比较单元197提取先前所拍摄并获取的眼底图像中的特征点的位置信息。由于扫描方向无法仅与一个点相一致,因此优选提取2个以上特征点。特征点是诸如视神经盘、斑点和毛细血管等的组织。接着,针对所提取到的特征点的位置信息计算先前所获取并记录的OCT扫描的相对位置信息。以与如上相同的方式来提取当前所获取并记录的眼底图像的特征点,然后进一步提取与从先前眼底图像中提取到的特征点相一致的点。最后,基于从当前眼底图像中提取到的特征点的位置信息和所计算出的相对位置信息来设置OCT扫描位置。
注意,OCT扫描位置不限于上述的自动提取。如图5所示,可以从窗口手动地进行选择。
作为第一显示区域的示例的显示区域510显示PS-SLO 140所拍摄的且图像生成单元193所生成的当前眼底图像511。这里将眼底亮度图像例示为眼底图像511,但这可以是基于偏振信号的眼底图像。将表示PS-OCT设备100的摄像位置的向导512叠加地显示在该眼底图像511上。
作为第二显示区域的示例的显示区域520显示PS-SLO 140所拍摄的且图像生成单元193所生成的先前眼底图像521。这里将眼底亮度图像例示为眼底图像521,但这可以是基于偏振信号的眼底图像。将表示过去进行了摄像的PS-OCT设备100的摄像位置的向导522叠加地显示在该眼底图像521上。
在将向导512叠加在显示区域510中所显示的眼底图像511上的情况下,通过对鼠标进行点击和拖曳操作等设置OCT扫描位置,以使得该OCT扫描位置与显示区域520中所显示的先前眼底图像521和该眼底图像521上所显示的向导522的位置关系相对应。
断层摄像到断层亮度图像的生成
在步骤S105和S106中,从光源101发出测量光,在线性照相机129和133处接收到来自眼底Er的返回光,并且如上所述在图像生成单元193处生成断层亮度图像。
针对所设置的断层亮度图像位置将步骤S105和S106重复N次,由此获得N个断层亮度图像。可替代地,操作人员可以可选地决定获取过程。也就是说,可以在步骤S105重复了N次且获得了N个断层亮度图像的数据之后以批处理的方式进行步骤S106,或者可以针对断层亮度图像的各次获取按顺序进行步骤S105和S106,并且可以将此重复N次。
此外,可以在进行步骤S105和S106中的断层亮度图像的拍摄和生成的期间的可选时刻并行进行步骤S102和S103,在信号处理单元190处检测到SLO图像的微小移动量,并且在驱动控制单元180处进行反馈,由此赋予追踪功能。例如,在一个方法中,将连续获取的SLO图像数据传递至信号处理单元190,并且计算相对于SLO图像中的相对位置的平移方向或转动方向上的微小移动量。接着,在驱动控制单元180处生成用以校正所计算出的微小移动量的扫描器驱动波形,并且驱动X扫描器107和Y扫描器110以实现追踪功能。
重叠OCT断层图像
在进行了N个图像的摄像和图像处理之后,在步骤S107中,作为位置重叠装置的示例的图像重叠单元195首先定位多个断层亮度图像。现在将参考图6A和6B来说明用于定位的方法。首先通过相对于基准第一亮度图像601对第二亮度图像602进行图案匹配来检测眼球运动,以进行多个断层亮度图像的定位。图案匹配是用以搜索相对于基准图像相似度最高的区域的技术。可以进行如下配置:从用作基准的第一亮度图像中提取特征部分,并且对第二亮度图像进行图案匹配,从而搜索一致的位置或者相似度最高的位置,并且根据该位置的坐标来检测图像获取期间的眼球运动。例如可以使用亮度图像601中的斑点603来进行图案匹配。
在图像重叠单元195处进行该图案匹配,并且计算多个其它亮度图像相对于基准第一亮度图像的相似度。例如可以使用相关函数来计算相似度。
在本实施例中,例如在被检体的同一位置重叠N个断层亮度图像的情况下,可以以使得N-1个亮度图像中的各图像相对于第一亮度图像具有最高的相似度的方式进行图案匹配。在进行图案匹配时将相似度显示为参数,这使得在将断层亮度图像进行重叠的情况下相似度能够用作是否要进行重叠的指示。也就是说,通过显示相似度,用户可以决定不使用具有低相似度的断层亮度图像。
在进行了图案匹配之后,图像重叠单元195存储与为获得最高相似度而进行的亮度图像的移动有关的移位量。例如,在图7中,在(x(m+1),y(y+1))是在t(m+1)时刻的相对于tm时刻的亮度图像相似度最高的亮度图像的移位量的情况下,存储该移位(x(m+1),y(y+1))。这里要存储的移位量不限于平行移动。例如,可以根据需要存储与转动和放大/缩小有关的移位量。此外,可以对同一时刻所获得的且在图像生成单元193处所生成的所有图像应用图像重叠单元105中所存储的移位量。
图像重叠单元195对图像生成单元193所生成的各断层亮度图像进行上述变形以对处于变形后的图像中的同一位置的像素进行平均,由此生成重叠图像。此时,优选基于所检测到的眼球运动来校正多个断层亮度图像的位置偏移。此外,优选从重叠图像中排除由于眨眼而没有获得预定发光量的断层亮度图像。在重叠处理结束之后,显示控制单元191生成输出信息,并且将该输出信息输出至显示单元192以进行显示。此外,比较单元196记录所生成的重叠图像数据。
比较
在步骤S108中,通过对相应像素处的延迟进行相减处理,将先前的获取和重叠所生成的先前断层亮度图像831和当前的获取和重叠所生成的当前断层亮度图像841进行比较。为此,首先定位先前断层亮度图像831和当前断层亮度图像841以进行比较。通过进行诸如仿射变换等的处理以使得与先前断层亮度图像831相比相关函数最高来使当前断层亮度图像841变形,以进行该定位。此时,还对先前断层亮度图像831的共通区域进行提取和变形,以使得与正在变形的当前断层亮度图像841显示相同的区域。注意,通过针对各像素的亮度值和偏振参数进行插值来重建变形后的先前断层亮度图像831和当前断层亮度图像841这两者。插值方法的示例包括近邻插值、双线性插值或双三次插值等。注意,在本发明中,先前断层图像和当前断层图像是通过在不同时间拍摄被检体所获得的多个断层图像就足够了。
接着,作为差信息生成单元的示例的比较单元196通过对先前断层亮度图像831和当前断层亮度图像841的相应像素中的延迟进行减法来进行比较。也就是说,差信息生成单元生成表示与先前断层亮度图像831相对应的先前偏振敏感断层图像和与当前断层亮度图像841相对应的当前偏振敏感断层图像之间的差的信息。表示差的信息的示例包括差图像、表示差的图和差值。在生成表示差的信息之前,基于先前断层亮度图像和当前断层亮度图像来定位先前偏振敏感断层图像和当前偏振敏感断层图像。因而,可以在作为预定区域的示例的、除消除了偏振的区域以外的区域进行偏振敏感断层图像的定位。因此,即使消除了偏振的区域由于疾病等而随时间的经过发生了改变,也可以进行精确的定位。此时,优选基于所检测到的眼球运动来校正多个偏振敏感断层图像相对于多个断层亮度图像的位置偏移。如图8所示,将相减的结果作为差图像821显示在显示区域820中。可以通过读取所获得的相减处理的结果来追踪RNFL的密度随时间经过的变化。例如,相减的值为正值的区域表示双折射性减弱,并且相减的值为负值的区域表示双折射性增强。尽管例示了从作为与先前断层亮度图像831相对应的先前偏振敏感断层图像的示例的延迟中减去作为与当前断层亮度图像841相对应的当前偏振敏感断层图像的示例的延迟的示例,但本发明不限于这种配置。可以进行如下配置:从与当前断层亮度图像841相对应的延迟中减去与先前断层亮度图像831相对应的延迟。在这种情况下,相减的值为负值的区域表示双折射性减弱,并且相减的值为正值的区域表示双折射性增强。
此外在步骤S108中,测量并记录RNFL的当前厚度信息和RNFL的延迟信息中的各信息。操作人员可以可选地选择RNFL的厚度信息和延迟信息。通过根据表示分割所提取到的RNFL的2个边界线的坐标值计算出同一X坐标处的2点的Z分量的差来获得各个X坐标的值,可以获得RNFL的厚度信息。在这样获得的厚度数据中,采用可选X坐标处的厚度数据或者整个可选X坐标区间中的厚度数据的平均值作为RNFL厚度信息。
可替代地,RNFL延迟信息是作为与获得厚度信息的X坐标相对应的A扫描线上的RNFL内的延迟或者延迟的平均值而获得的。
输出
接着,将说明所生成的图像和分析结果的输出处理步骤S109。本实施例中的输出处理涉及步骤S102~S108中所获取和所生成的图像以及所作比较的结果的显示。
在信号处理单元190的图像生成单元193、图像分析单元194和图像重叠单元195处完成图像的生成、分析和重叠之后,显示控制单元191基于以上操作的结果来生成输出信息,并将该输出信息输出至显示单元192以进行显示。
图8是根据本实施例的显示部192的显示示例。在图8中,附图标记800表示在显示部192处显示的包括显示区域810、820、830和840的窗口。
作为第一显示区域的示例的显示区域810显示PS-SLO 140所拍摄的且图像生成单元193所生成的眼底图像511。尽管针对眼底图像511显示眼底亮度图像,但这也可以是基于偏振信号的眼底图像。将表示拍摄了图像的PS-OCT设备100的摄像位置的向导522叠加在眼底图像511上。
作为第二显示区域的示例的显示区域820显示过去和当前所获取的图像在大致同一位置的延迟的差,作为断层图像821。此时,除差图像以外,还可以叠加分割,以使得各层明确。
注意,代替延迟差图像820,可以显示示出所选择的区域的比较信息的图。图9例示如下示例:针对步骤S108中所获得的RNFL厚度和延迟,显示表示与过去所获取的值的比较的图921以及表示与通过将延迟除以厚度所得到的单位厚度的延迟值有关的先前获取值的比较的图922。这些图的横轴表示日期,所获取的数据沿横轴以时间顺序排列。在由于长期执行复查而使得所获取的数据的数量大的情况下,可以从比较单元196选择可选的先前获取数据并且显示在图上。
作为第三显示区域的示例的显示区域830显示先前断层图像831。对先前断层图像831进行变形以显示与断层图像841相同的区域。此时,除延迟图像以外,还可以叠加分割,以使得各层明确。
作为第四显示区域的示例的显示区域840显示当前获得的断层图像841。通过进行图像的放大、转动和提取等来对断层图像841进行变形以使得针对先前断层图像831的相关度(相关函数的值)大于阈值(定位的示例)。此时,除延迟图像以外,还可以叠加分割,以使得各层明确。
注意,代替上述的延迟断层图像,显示控制单元191可以将延迟映射显示在显示单元192的任意显示区域上。可替代地,显示控制单元191可以显示重叠在眼底亮度图像511上的延迟映射。
第二实施例
将参考图10和11说明第二实施例。在本实施例中,将说明利用OCT断层图像生成三维(3D)图像、以及从当前获取的3D图像数据中提取相对于先前诊断中所使用的OCT断层图像具有高相似度的断层图像并进行比较的方法。
如图10所示,将构成3D图像的B扫描图像进行重叠以构成3D图像。例如,通过对同一扫描位置处所获取的N个断层亮度图像的断层亮度图像组1011进行重叠来生成断层亮度图像1001。以相同的方式,通过将N个相应的断层亮度图像的断层亮度图像组1012~1016进行重叠来生成断层亮度图像1002~1006。因而,创建了由重叠的B扫描图像构成的3D图像。
处理操作
接着,将参考图11中的流程图来说明本实施例的特征处理操作。这里将省略与第一实施例相同的处理操作的说明。
在步骤S202的摄像期间,驱动控制单元180控制X扫描器107和Y扫描器110的驱动角度,并且在获取3D图像数据的同时拍摄N个B扫描图像。例如,固定Y扫描器110并且X扫描器107扫描N次,由此在同一区域获得N个断层亮度图像,之后驱动控制单元180控制Y扫描器110以使得利用一个步骤来馈送扫描位置。Y扫描器110扫描所设置的范围,由此获取到各自具有N个B扫描图像的3D图像数据。
接着,在步骤S204中,图像重叠单元195将相应的N-1个B扫描图像重叠在B扫描图像上,由此生成重叠图像所构成的3D图像,并且比较单元196存储所生成的3D图像数据。
在步骤S205中,基于在步骤S204中构成的3D图像数据来指定先前断层亮度图像和当前断层亮度图像之间的比较位置。也就是说,在步骤S205中,将重叠处理后的当前断层亮度图像与先前断层亮度图像进行比较,并且从3D图像中提取相似度最高的当前断层亮度图像。例如,通过相关函数来进行相似度的计算。要对其比较相似度的图像数据已经经过重叠处理,因此可以更精确地进行比较位置的提取。
如上所述,提取被检体的同一被检体组织的亮度图像并且利用延迟差来评价经过时间的变化,这使得能够为医生诊断疾病提供有用的信息。例如,在患者的眼睛患有青光眼的情况下,用以复查疾病和治疗而随时间的经过周期性拍摄的亮度图像不发生剧烈变化,但双折射率可能改变。使用该性质在随时间的经过不发生剧烈变化的亮度图像之间进行定位,由此评价同一被检体组织的延迟的差异,同时避免复查期间发生定位偏移的风险。因此,可以使在亮度图像中尚未明显显示出变化的同一组织中的疾病的发展可视化。
此外,周期性地获取RNFL厚度和延迟以进行复查,这可以为诊断提供有用的信息。例如,在被检体的视网膜神经纤维密度下降的情况下,双折射率下降,因此即使RNFL厚度维持不变也可以获得延迟下降的数据,这可以促使青光眼的早期发现。
其它实施例
本发明的实施例还可以通过读出和执行记录在存储介质(例如,非瞬态计算机可读存储介质)上的计算机可执行指令以进行本发明的一个或多个上述实施例的功能的系统或设备的计算机以及以下方法来实现,其中系统或设备的计算机通过例如读出和执行来自存储介质的计算机可执行指令以进行一个或多个上述实施例的功能来进行该方法。计算机可以包括中央处理单元(CPU)、微处理单元(MPU)或其它电路中的一个或多个,并且可以包括单独的计算机或者单独的计算机处理器的网络。计算机可执行指令例如可以通过网络或者存储介质提供给计算机。存储介质可以例如包括硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算机系统的存储器、光盘(诸如紧凑型光盘(CD)、数字多功能光盘(DVD)或蓝光光盘(BD)TM等)、闪速存储装置和记忆卡等中的一个或多个等。
尽管已经参考典型实施例说明了本发明,但是应该理解,本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释,以包含所有这类修改、等同结构和功能。
本申请要求2013年7月31日提交的日本专利申请2013-159177的权益,其全部内容通过引用包含于此。

Claims (25)

1.一种图像处理设备,包括:
断层图像获取单元,用于获取通过在不同时刻拍摄被检体所获得的多个断层亮度图像以及与多个断层亮度图像相对应的多个偏振敏感断层图像;
定位单元,用于使用与所获取到的多个断层亮度图像之间的位置偏移相关的信息来对所获取到的多个偏振敏感断层图像进行定位;以及
比较单元,用于比较进行了定位的多个偏振敏感断层图像。
2.根据权利要求1所述的图像处理设备,其中,所述比较单元通过比较进行了定位的多个偏振敏感断层图像来生成表示进行了定位的多个偏振敏感断层图像之间的差的信息。
3.根据权利要求2所述的图像处理设备,其中,所述比较单元通过比较进行了定位的多个偏振敏感断层图像来生成进行了定位的多个偏振敏感断层图像的差图像,作为表示进行了定位的多个偏振敏感断层图像之间的差的信息。
4.根据权利要求2所述的图像处理设备,其中,还包括:
显示控制单元,用于将所生成的表示进行了定位的多个偏振敏感断层图像之间的差的信息显示在显示单元上。
5.根据权利要求1所述的图像处理设备,其中,
所述断层图像获取单元获取先前断层亮度图像和当前断层亮度图像作为所述多个断层亮度图像,并且获取与先前断层亮度图像相对应的先前偏振敏感断层图像和与当前断层亮度图像相对应的当前偏振敏感断层图像作为所述多个偏振敏感断层图像,
所述定位单元使用与所获取到的先前断层亮度图像和当前断层亮度图像相关的信息来对所获取到的先前偏振敏感断层图像和当前偏振敏感断层图像进行定位,以及
所述比较单元比较进行了定位的先前偏振敏感断层图像和当前偏振敏感断层图像。
6.根据权利要求1所述的图像处理设备,其中,
所述断层图像获取单元获取多个先前断层亮度图像和多个当前断层亮度图像作为所述多个断层亮度图像,并且获取与多个先前断层亮度图像相对应的多个先前偏振敏感断层图像和与多个当前断层亮度图像相对应的多个当前偏振敏感断层图像作为所述多个偏振敏感断层图像,
所述定位单元使用与所获取到的多个先前断层亮度图像相关的信息来对所获取到的多个先前偏振敏感断层图像进行定位,并且使用与所获取到的多个当前断层亮度图像相关的信息来对所获取到的多个当前偏振敏感断层图像进行定位,以及
所述比较单元对通过将进行了定位的多个先前偏振敏感断层图像进行重叠所获得的新的先前偏振敏感断层图像和通过将进行了定位的多个当前偏振敏感断层图像进行重叠所获得的新的当前偏振敏感断层图像进行比较。
7.根据权利要求1所述的图像处理设备,其中,所述定位单元通过对所获取到的多个断层亮度图像之间的位置偏移进行校正以使得所获取到的多个断层亮度图像具有大的相关度来定位所获取到的多个偏振敏感断层图像。
8.根据权利要求1所述的图像处理设备,其中,所述比较单元在每次拍摄被检体的情况下记录被检体厚度信息和延迟中的至少一个信息,并且在复查中将当前拍摄中的所述至少一个信息与先前拍摄中的所述至少一个信息进行比较。
9.根据权利要求1所述的图像处理设备,其中,还包括:
平面图像获取单元,用于使用与通过使来自照射在被检体上的测量光的返回光分离而获得的彼此不同的偏振光相关的信息,获取表示被检体的偏振状态的不同时间点的多个平面图像;
检测单元,用于检测被检体相对于所述多个平面图像的移动量;以及
校正单元,用于使用与所检测到的移动量相关的信息来校正所述多个偏振敏感断层图像的获取位置。
10.根据权利要求1所述的图像处理设备,其中,所述被检体是眼睛。
11.一种摄像系统,包括:
发送单元,用于将可通信地连接至根据权利要求1所述的图像处理设备的摄像设备所获取到的多个偏振敏感断层图像发送至所述断层图像获取单元。
12.一种图像处理方法,包括:
获取步骤,用于获取通过在不同时刻拍摄被检体所获得的多个断层亮度图像以及与多个断层亮度图像相对应的多个偏振敏感断层图像;
定位步骤,用于使用与所获取到的多个断层亮度图像之间的位置偏移相关的信息来定位所获取到的多个偏振敏感断层图像;以及
比较步骤,用于比较进行了定位的多个偏振敏感断层图像。
13.根据权利要求12所述的图像处理方法,其中,通过在所述比较步骤中比较进行了定位的多个偏振敏感断层图像来生成表示进行了定位的多个偏振敏感断层图像之间的差的信息。
14.根据权利要求13所述的图像处理方法,其中,在所述比较步骤中,通过比较进行了定位的多个偏振敏感断层图像来生成进行了定位的多个偏振敏感断层图像的差图像,作为表示进行了定位的多个偏振敏感断层图像之间的差的信息。
15.根据权利要求13所述的图像处理方法,其中,还包括:
显示控制步骤,用于控制所生成的表示进行了定位的多个偏振敏感断层图像之间的差的信息在显示单元上的显示。
16.根据权利要求12所述的图像处理方法,其中,
在所述获取步骤中,获取先前断层亮度图像和当前断层亮度图像作为所述多个断层亮度图像,并且获取与先前断层亮度图像相对应的先前偏振敏感断层图像和与当前断层亮度图像相对应的当前偏振敏感断层图像作为所述多个偏振敏感断层图像,
在所述定位步骤中,使用与所获取到的先前断层亮度图像和当前断层亮度图像相关的信息来对所获取到的先前偏振敏感断层图像和当前偏振敏感断层图像进行定位,以及
在所述比较步骤中,比较进行了定位的先前偏振敏感断层图像和当前偏振敏感断层图像。
17.根据权利要求12所述的图像处理方法,其中,
在所述获取步骤中,获取多个先前断层亮度图像和多个当前断层亮度图像作为所述多个断层亮度图像,并且获取与多个先前断层亮度图像相对应的多个先前偏振敏感断层图像和与多个当前断层亮度图像相对应的多个当前偏振敏感断层图像作为所述多个偏振敏感断层图像,
在所述定位步骤中,使用与所获取到的多个先前断层亮度图像相关的信息来对所获取到的多个先前偏振敏感断层图像进行定位,并且使用与所获取到的多个当前断层亮度图像相关的信息来对所获取到的多个当前偏振敏感断层图像进行定位,以及
在所述比较步骤中,对通过将进行了定位的多个先前偏振敏感断层图像进行重叠所获得的新的先前偏振敏感断层图像和通过将进行了定位的多个当前偏振敏感断层图像进行重叠所获得的新的当前偏振敏感断层图像进行比较。
18.一种图像处理设备,包括:
断层图像获取单元,用于获取通过在不同时刻拍摄被检体所获得的多个断层亮度图像以及与多个断层亮度图像相对应的多个偏振敏感断层图像;
定位单元,用于通过使所获取到的多个偏振敏感断层图像变形以使得所获取到的多个断层亮度图像的相关度大于阈值,来定位所获取到的多个偏振敏感断层图像;以及
生成单元,用于使用进行了定位的多个偏振敏感断层图像来生成新的偏振敏感断层图像。
19.根据权利要求18所述的图像处理设备,其中,
所述断层图像获取单元获取先前偏振敏感断层图像和当前偏振敏感断层图像,作为所述多个偏振敏感断层图像,以及
所述生成单元生成表示进行了定位的先前偏振敏感断层图像和进行了定位的当前偏振敏感断层图像之间的差的信息,作为所述新的偏振敏感断层图像。
20.根据权利要求18所述的图像处理设备,其中,所述生成单元生成使进行了定位的多个偏振敏感断层图像重叠的重叠图像,作为所述新的偏振敏感断层图像。
21.根据权利要求20所述的图像处理设备,其中,
所述生成单元生成先前偏振敏感断层图像和当前偏振敏感断层图像,作为所述重叠图像,
所述定位单元使用关于与所生成的先前偏振敏感断层图像相对应的先前断层亮度图像和与所生成的当前偏振敏感断层图像相对应的当前断层亮度图像的信息,来对所生成的先前偏振敏感断层图像和所生成的当前偏振敏感断层图像进行定位,以及
所述生成单元生成表示进行了定位的先前偏振敏感断层图像和进行了定位的当前偏振敏感断层图像之间的差的信息。
22.一种图像处理方法,包括:
获取步骤,用于获取通过在不同时刻拍摄被检体所获得的多个断层亮度图像以及与多个断层亮度图像相对应的多个偏振敏感断层图像;
定位步骤,用于通过使所获取到的多个偏振敏感断层图像变形以使得所获取到的多个断层亮度图像的相关度大于阈值,来对所获取到的多个偏振敏感断层图像进行定位;以及
生成步骤,用于使用进行了定位的多个偏振敏感断层图像来生成新的偏振敏感断层图像。
23.根据权利要求22所述的图像处理方法,其中,
获取先前偏振敏感断层图像和当前偏振敏感断层图像,作为所述多个偏振敏感断层图像,以及
生成表示进行了定位的先前偏振敏感断层图像和进行了定位的当前偏振敏感断层图像之间的差的信息,作为所述新的偏振敏感断层图像。
24.根据权利要求22所述的图像处理方法,其中,生成使进行了定位的多个偏振敏感断层图像重叠的重叠图像,作为所述新的偏振敏感断层图像。
25.根据权利要求24所述的图像处理方法,其中,
生成先前偏振敏感断层图像和当前偏振敏感断层图像,作为所述重叠图像,
使用关于与所生成的先前偏振敏感断层图像相对应的先前断层亮度图像和与所生成的当前偏振敏感断层图像相对应的当前断层亮度图像的信息,来对所生成的先前偏振敏感断层图像和所生成的当前偏振敏感断层图像进行定位,以及
生成表示进行了定位的先前偏振敏感断层图像和进行了定位的当前偏振敏感断层图像之间的差的信息。
CN201480043571.1A 2013-07-31 2014-07-24 图像处理设备和图像处理方法 Active CN105431077B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-159177 2013-07-31
JP2013159177A JP6184232B2 (ja) 2013-07-31 2013-07-31 画像処理装置及び画像処理方法
PCT/JP2014/070146 WO2015016290A1 (en) 2013-07-31 2014-07-24 Image processing apparatus and image processing method

Publications (2)

Publication Number Publication Date
CN105431077A CN105431077A (zh) 2016-03-23
CN105431077B true CN105431077B (zh) 2018-04-27

Family

ID=51429338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480043571.1A Active CN105431077B (zh) 2013-07-31 2014-07-24 图像处理设备和图像处理方法

Country Status (8)

Country Link
US (1) US10244937B2 (zh)
JP (1) JP6184232B2 (zh)
KR (1) KR101787973B1 (zh)
CN (1) CN105431077B (zh)
DE (1) DE112014003528T5 (zh)
GB (1) GB2534051B (zh)
RU (1) RU2633168C2 (zh)
WO (1) WO2015016290A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6606846B2 (ja) * 2015-03-31 2019-11-20 株式会社ニデック Oct信号処理装置、およびoct信号処理プログラム
JP6758825B2 (ja) * 2015-04-15 2020-09-23 キヤノン株式会社 画像処理装置およびその作動方法
JP6501647B2 (ja) * 2015-06-23 2019-04-17 キヤノン株式会社 画像処理装置及びその制御方法、並びに、プログラム
JP6656063B2 (ja) * 2016-04-15 2020-03-04 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム
JP7182350B2 (ja) 2016-09-07 2022-12-02 株式会社ニデック 眼科解析装置、眼科解析プログラム
AU2017328121B2 (en) * 2016-09-16 2022-03-17 Alcon Inc. Subtractive en face optical coherence tomography imaging
JP2018057828A (ja) * 2016-10-05 2018-04-12 キヤノン株式会社 画像処理装置及び画像処理方法
US10916012B2 (en) 2016-10-05 2021-02-09 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP6877947B2 (ja) * 2016-10-17 2021-05-26 キヤノン株式会社 眼科撮影装置およびその制御方法
US11007080B2 (en) * 2017-01-30 2021-05-18 Alcon Inc. System and method for cutting a flap using polarization sensitive optical coherence tomography
CN109658385A (zh) * 2018-11-23 2019-04-19 上海鹰瞳医疗科技有限公司 眼底图像判断方法及设备
EP4260282A1 (en) * 2020-12-11 2023-10-18 Eye Co Pty Ltd Method of detecting one or more change in an eye and disease indication or diagnosis

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6112114A (en) * 1991-12-16 2000-08-29 Laser Diagnostic Technologies, Inc. Eye examination apparatus employing polarized light probe
US8275449B2 (en) * 2005-11-11 2012-09-25 Visualsonics Inc. Overlay image contrast enhancement
JP4869756B2 (ja) 2006-03-24 2012-02-08 株式会社トプコン 眼底観察装置
JP5149535B2 (ja) * 2007-04-27 2013-02-20 国立大学法人 筑波大学 偏光感受型光コヒーレンストモグラフィー装置、該装置の信号処理方法、及び該装置における表示方法
US8079711B2 (en) * 2008-04-24 2011-12-20 Carl Zeiss Meditec, Inc. Method for finding the lateral position of the fovea in an SDOCT image volume
WO2009141769A1 (en) 2008-05-19 2009-11-26 Koninklijke Philips Electronics N.V. Reproducible positioning of sensing and/or treatment devices
JP4810562B2 (ja) * 2008-10-17 2011-11-09 キヤノン株式会社 画像処理装置、画像処理方法
EP2243420A1 (en) 2009-04-24 2010-10-27 Schmidt-Erfurth, Ursula Method for determining exudates in the retina
JP2010259675A (ja) * 2009-05-08 2010-11-18 Nidek Co Ltd 網膜機能計測装置
JP5582772B2 (ja) 2009-12-08 2014-09-03 キヤノン株式会社 画像処理装置及び画像処理方法
JP5698465B2 (ja) 2010-04-22 2015-04-08 キヤノン株式会社 眼科装置、表示制御方法及びプログラム
CN103025229A (zh) 2010-04-29 2013-04-03 麻省理工学院 适用于光学相干断层扫描技术的移动修正和图像增强的方法和装置
JP5610884B2 (ja) * 2010-07-09 2014-10-22 キヤノン株式会社 光断層撮像装置及び光断層撮像方法
JP5627321B2 (ja) 2010-07-09 2014-11-19 キヤノン株式会社 光断層画像撮像装置及びその撮像方法
JP5639523B2 (ja) 2011-03-31 2014-12-10 キヤノン株式会社 光干渉断層撮影装置、光干渉断層撮影装置の制御方法、プログラムおよび眼科システム
JP5787255B2 (ja) * 2011-07-12 2015-09-30 国立大学法人 筑波大学 Ps−octの計測データを補正するプログラム及び該プログラムを搭載したps−octシステム
JP2013148509A (ja) 2012-01-20 2013-08-01 Canon Inc 画像処理装置及び画像処理方法
JP2013146447A (ja) 2012-01-20 2013-08-01 Canon Inc 撮影装置、画像処理方法、及びプログラム
JP5988772B2 (ja) 2012-01-20 2016-09-07 キヤノン株式会社 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
RU2633168C2 (ru) 2017-10-11
GB2534051B (en) 2017-06-14
RU2016106326A (ru) 2017-09-04
JP2015029558A (ja) 2015-02-16
US20160198939A1 (en) 2016-07-14
JP6184232B2 (ja) 2017-08-23
GB201603498D0 (en) 2016-04-13
US10244937B2 (en) 2019-04-02
GB2534051A (en) 2016-07-13
DE112014003528T5 (de) 2016-05-12
WO2015016290A1 (en) 2015-02-05
CN105431077A (zh) 2016-03-23
KR20160035036A (ko) 2016-03-30
KR101787973B1 (ko) 2017-10-19

Similar Documents

Publication Publication Date Title
CN105431077B (zh) 图像处理设备和图像处理方法
CN103908225B (zh) 眼科设备和对准方法
US7789511B2 (en) Eye movement measuring apparatus, eye movement measuring method and recording medium
US20150055089A1 (en) Ophthalmic photographing apparatus
JP6202924B2 (ja) 撮影装置及び撮影方法
JP6426974B2 (ja) データ処理方法及びoct装置
US9232887B2 (en) Ophthalmic apparatus and ophthalmic method
WO2012025983A1 (ja) 視野検査システム
US9289116B2 (en) Image processing apparatus and image processing method
JP2012196439A (ja) 撮像装置及び撮像方法
US9700199B2 (en) Image processing apparatus and image processing method
CN103251380A (zh) 光学断层图像摄像设备及其控制方法
KR20130085978A (ko) 화상처리장치 및 화상처리방법
US20200375453A1 (en) Tomographic image acquisition apparatus and tomographic image acquisition method
CN103961061A (zh) 光学断层成像装置及其控制方法
JP2014147500A (ja) 光断層撮像装置およびその制御方法
US9456743B2 (en) Image processing apparatus and image processing method
JP6866167B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6437055B2 (ja) 画像処理装置及び画像処理方法
US20180256026A1 (en) Information processing apparatus, information processing method, and storage medium

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant