CN103654719B - 摄像设备和摄像方法以及图像处理设备和图像处理方法 - Google Patents

摄像设备和摄像方法以及图像处理设备和图像处理方法 Download PDF

Info

Publication number
CN103654719B
CN103654719B CN201310389317.4A CN201310389317A CN103654719B CN 103654719 B CN103654719 B CN 103654719B CN 201310389317 A CN201310389317 A CN 201310389317A CN 103654719 B CN103654719 B CN 103654719B
Authority
CN
China
Prior art keywords
image
light
picture pick
dimensional image
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310389317.4A
Other languages
English (en)
Other versions
CN103654719A (zh
Inventor
内田弘树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN103654719A publication Critical patent/CN103654719A/zh
Application granted granted Critical
Publication of CN103654719B publication Critical patent/CN103654719B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00—Measuring instruments characterised by the use of optical techniques
    • G01B9/02—Interferometers
    • G01B9/0209—Low-coherence interferometers
    • G01B9/02091—Tomographic interferometers, e.g. based on optical coherence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00—Measuring instruments characterised by the use of optical techniques
    • G01B9/02—Interferometers
    • G01B9/02015—Interferometers characterised by the beam path configuration
    • G01B9/02029—Combination with non-interferometric systems, i.e. for measuring the object
    • G01B9/0203—With imaging systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00—Measuring instruments characterised by the use of optical techniques
    • G01B9/02—Interferometers
    • G01B9/02041—Interferometers characterised by particular imaging or detection techniques
    • G01B9/02044—Imaging in the frequency domain, e.g. by using a spectrometer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00—Measuring instruments characterised by the use of optical techniques
    • G01B9/02—Interferometers
    • G01B9/02083—Interferometers characterised by particular signal processing and presentation
    • G01B9/02085—Combining two or more images of different regions

Landscapes

  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

一种摄像设备和摄像方法以及图像处理设备和图像处理方法，其中该摄像设备包括：重构单元，用于基于来自测量对象的测量光的返回光与参考光之间的干涉所产生的干涉光，重构测量对象的预定范围内的断层图像；以及生成单元，用于针对所述断层图像的深度方向上的各像素值列，基于按像素值的大小顺序所选择的像素值来生成二维图像。

Description

摄像设备和摄像方法以及图像处理设备和图像处理方法
技术领域
本发明涉及一种根据与基于光干涉所获得的断层图像有关的信息来获得二维图像的技术。
背景技术
目前，采用利用多波长干涉的光学相干断层成像技术(OCT)的摄像设备被用于越来越多的与人体相关的应用领域，例如，利用内窥镜获得与内脏器官有关的信息、以及利用眼科设备获得与视网膜有关的信息。应用于眼睛的摄像设备作为眼科装置正成为视网膜专科门诊必不可少的设备。
这种摄像设备能够在样本上照射作为低相干光的测量光并且使用干涉系统测量来自所述样本的背向散射光。此外，由于在将这种摄像设备应用于眼睛的情况下，能够通过在被检眼上扫描测量光来拍摄被检眼的高分辨率断层图像，因此，这种摄像设备被广泛地用于视网膜的眼科诊疗。
日本特开2011-36431讨论了一种能够获取诸如眼底表面等的摄像对象的表面图像以确认断层图像的摄像范围的结构。
另一方面，需要更精确地确认截面在眼底表面(即，摄像对象)上的位置。
对此，已知一种根据多个断层图像生成从前方观察眼底的伪二维图像(以下称为“二维图像”)的技术。在所述技术中，计算由一个A扫描所获得的深度方向上的预定范围的像素值。然后，通过针对所有A扫描获得所述计算值而能够仅根据断层图像来获得视网膜的二维图像。
然而，在上述技术中，由于通过计算由A扫描在视网膜的深度方向上所获得的预定范围的像素值来获得二维图像，因此，也会计算噪声成分等的包括在深度方向信息中的非必要信息。结果，与强度图像有关的有效信息量相对较小，使得强度图像的质量可能劣化。
发明内容
本发明提供一种能够在不引起二维图像的图像质量劣化的情况下生成二维图像的摄像设备和摄像方法以及图像处理设备和图像处理方法。
根据本发明的一方面，一种摄像设备，包括：扫描单元，用于利用测量光来扫描测量对象；重构单元，用于基于由来自所述测量对象的测量光的返回光与参考光之间的干涉所产生的干涉光，来重构所述测量对象的预定范围内的断层图像；以及生成单元，用于针对所述断层图像的深度方向上的各像素值列，基于按像素值的大小顺序所选择的像素值来生成二维图像。
根据本发明的另一方面，一种摄像设备，包括：扫描单元，用于利用测量光来扫描测量对象；用于将由来自所述测量对象的测量光的返回光与参考光之间的干涉所产生的干涉光转换成多个图像信号的元件；以及生成单元，用于通过针对所述测量光的各照射位置从所述多个图像信号中选择预定像素值来生成二维图像。
根据本发明的另一方面，一种摄像方法，包括：利用测量光来扫描测量对象；将由来自所述测量对象的测量光的返回光与参考光之间的干涉所产生的干涉光转换成多个图像信号；以及通过针对所述测量光的各照射位置从所述多个图像信号中选择预定像素值来生成二维图像。
根据本发明的另一方面，一种图像处理设备，包括：获取单元，用于基于由来自测量对象的测量光的返回光与参考光之间的干涉所产生的干涉光，获取所述测量对象的预定范围内的断层图像；以及生成单元，用于针对所述断层图像的深度方向上的各像素值列，基于按像素值的大小顺序所选择的像素值来生成二维图像。
根据本发明的另一方面，一种图像处理方法，包括：基于由来自测量对象的测量光的返回光与参考光之间的干涉所产生的干涉光，获取所述测量对象的预定范围内的断层图像；以及针对所述断层图像的深度方向上的各像素值列，基于按像素值的大小顺序所选择的像素值来生成二维图像。
根据本发明的另一方面，一种图像处理设备，包括：获取单元，用于针对各照射位置，获取由来自测量对象的测量光的返回光与参考光之间的干涉所产生的干涉光作为多个图像信号；以及生成单元，用于基于按各照射位置的图像信号的大小顺序所选择的图像信号的值来生成二维图像。
根据本发明的另一方面，一种图像处理方法，包括：针对各照射位置，获取由来自测量对象的测量光的返回光与参考光之间的干涉所产生的干涉光作为多个图像信号；以及基于按各照射位置的图像信号的大小顺序所选择的图像信号的值来生成二维图像。
根据下面参考附图对典型实施例的详细描述，本发明的其它特征将变得明显。
附图说明
图1是示出摄像系统的配置的框图。
图2是摄像系统的侧视图。
图3是示出根据第一典型实施例的图像处理设备的配置的框图。
图4是摄像设备中的光学系统的结构图。
图5是示出由根据第一典型实施例的图像处理设备进行的处理流程的流程图。
图6示出A扫描图像的像素值列。
图7示出像素值排序。
图8示出视网膜的二维图像。
图9示出断层图像和二维图像的显示例。
图10是示出根据第二典型实施例的图像处理设备的配置的框图。
图11是示出由根据第二典型实施例的图像处理设备进行的处理流程的流程图。
具体实施方式
图1示出包括根据第一典型实施例的图像处理设备100和连接到图像处理设备100的摄像设备1的摄像系统1000的配置例。图像处理设备100由中央处理单元(CPU)10、主存储器11、磁盘12和显示存储器13构成。此外，摄像系统1000还包括监视器928、鼠标929-1和键盘929-2。
CPU10主要控制图像处理设备100的各组成元件的操作。主存储器11存储由CPU10执行的控制程序，并且在CPU10执行程序期间提供工作区域。磁盘12存储操作系统(OS)、外围装置的装置驱动程序以及包括用于进行下述变形估计处理的程序的各种应用软件。显示存储器13临时存储监视器928所用的显示数据。监视器928是阴极射线管(CRT)监视器或者液晶监视器，其基于来自显示存储器13的数据来显示图像。使用者使用鼠标929-1和键盘929-2分别进行指示输入和字符输入。上述各组成元件经由公共总线17可通信地相互连接。
图像处理设备100经由局域网(LAN)连接到摄像设备1，其能够从摄像设备1获取图像数据。然而，本发明的典型实施例不限于此。例如，还能够经由通用串行总线(USB)或者电气与电子工程师协会(IEEE)1394等某个其它接口来进行这些装置之间的连接。此外，还可以经由LAN等从数据服务器等的用于管理所述数据的外部装置3读取所需数据。另外，软盘驱动器(FDD)、可重写致密盘(CD-RW)驱动器、磁光盘(MO)驱动器和ZIP驱动器等的存储装置可以连接到图像处理设备100，并且可以从所述驱动器中读取所需数据。
图2所示的摄像系统包括光学头900、基台部950、以及内置有下述分光器的基座部件951，其中，光学头900是用于拍摄前眼部图像、眼底表面图像和断层图像的测量光学系统，基台部950是能够使用(未示出的)马达沿图2中的XYZ方向移动光学头的移动单元。
个人计算机925还用作基台部的控制单元，其包括图像处理设备100。下颚托323通过固定被检者的下颚和额头来帮助被检者的眼睛(被检眼)进行固视。外部固视目标324用于被检眼的固视。此外，图像处理设备100还可以包括在光学头900或者基台部950中。在该情况下，摄像设备1和图像处理设备100整体地构成为摄像设备。
图3是示出了图像处理设备100的功能架构的框图。重构单元1100基于由来自测量对象的测量光的返回光与参考光之间的干涉所产生的干涉光来获得测量对象的预定范围的断层图像。对来自传感器的输出值进行频率转换和快速傅立叶转换(FFT)处理，并且重构为被检眼的眼底上的一个点的深度方向上的断层图像(A扫描图像)。
此外，生成单元1200通过针对各像素值列从位于由重构单元1100获得的断层图像的深度方向上的各像素值列中选择预定像素来生成二维图像。
对准单元1300用于将生成单元1200获得的二维图像与测量对象的表面图像和断层图像进行对准。对准单元1300还具有通过使用模板匹配将测量对象的表面图像与生成单元1200生成的二维图像进行对准的功能。所述模板匹配是指叠置图像以使各图像上的诸如血管分支点等的特征点相重叠的处理。此外，所述模板处理还包括用于将生成单元1200生成的二维图像与测量对象的表面图像进行对准以使通过估计图像之间的重叠程度所获得的校正值处于最大的处理。
图4示出了摄像设备1中的测量光学系统和分光器的配置。首先，将描述光学头900的内部结构。
物镜135-1面向作为测量对象的例子的被检眼107布置。在其光轴上，第一分色镜132-1和第二分色镜132-2针对各波长带将光分割成OCT光学系统用的光路351、眼底观察和固视灯用的光路352以及前眼部观察用的光路353。
透镜135-3由(未示出的)固视目标191和眼底观察用的电荷耦合装置(CCD)172的对焦调节用的马达来驱动。
布置在透镜135-4与第三分色镜132-3之间的穿孔镜303将光路352分割成光路352和光路354。
光路354形成照射被检眼107的眼底的照明光学系统。发光二极管(LED)光源316和闪光管314布置在光路354上，发光二极管(LED)光源316是用于对准被检眼107的眼底观察用照明光源，闪光管314用于拍摄被检眼107的眼底的图像。
光学头900还包括透镜309和311、聚光透镜313和315以及镜317。来自LED光源316和闪光管314的照明光通过环形狭缝312形成环形光束。所述环形光束由穿孔镜303反射，并且照射被检眼107的眼底。所述LED光源316是具有780nm左右的中心波长的光源。
在光路352上的穿孔镜303之后，光以与上面描述的方式相同的方式被第三分色镜132-3针对各波长带分割成到眼底观察CCD172的光路和到固视目标的光路。
连接到CCD控制单元102的CCD172对作为眼底观察用的照明光的LED光源316的中心波长感光，特别是对780nm左右的中心波长感光。另一方面，连接到固视目标控制单元103的固视目标191生成可见光以帮助被检者固视。
CCD控制单元102和固视目标控制单元103连接到计算单元104。数据经由计算单元104输入到个人计算机925以及经由计算单元104从个人计算机925输出。
光学头900还包括透镜135-2和前眼部观察用的红外线CCD171。所述CCD171对前眼部观察用的(未示出的)照明光的波长感光，特别是对970nm左右的波长感光。此外，(未示出的)图像分割棱镜布置在光路353上，其使光学头900的Z方向上的相对于被检眼107的距离能够被检测为前眼部观察图像中的分割图像。
如上所述，光路351形成用于拍摄被检眼107的视网膜的断层图像的OCT光学系统。更具体地，光路351用于获得形成断层图像的干涉信号。XYZ扫描器134用光扫描眼底。虽然XYZ扫描器134被示为单镜，但XYZ扫描器134在X方向和Y方向这两个方向上进行扫描。透镜135-5由(未示出的)马达驱动以进行来自光源101的光在眼底127上的对焦调节，其中光源101从连接到光学耦合器131的光纤131-1照射光。基于该对焦调节，来自眼底127的光同时入射到光纤131-2的末端以形成点状图像。
接着，将描述来自光源101的光路以及参考光学系统和分光器的配置。
光学头900包括光源101、镜132-4、散射光补偿用的玻璃115、上述光学耦合器131、一体地连接到光学耦合器的单模光纤131-1至131-4、透镜135-7、以及分光器180。这些部件构成了迈克尔逊(Michelson)干涉系统。从光源101照射的光经由光纤131-1穿过光学耦合器131，并且被分割成光纤131-2侧的测量光以及光纤131-3侧的参考光。
测量光穿过上述OCT光学系统，照射到作为观察对象的被检眼107的眼底上，并因视网膜的反射和散射而经由相同的光路到达光学耦合器131。
另一方面，参考光经由光纤131-3、透镜135-7以及被插入以匹配参考光与测量光的散射的散射光补偿玻璃115而到达镜132-4并被镜132-4反射。参考光沿相同的光路返回、并到达光学耦合器131。
测量光和参考光在光学耦合器131处进行合成以形成干涉光。在测量光的光波长与参考光的光波长几乎相同的情况下产生所述干涉。镜132-4通过(未示出的)马达和驱动机构而可调节地保持在光轴方向上，以使参考光的光波长能够与基于被检眼107改变的测量光的光波长相匹配。干涉光经由光纤131-4被引导到分光器180。
测量光侧的偏光调节单元139-1布置在光纤131-2上。参考光侧的偏光调节单元139-2布置在光纤131-3上。这些偏光调节单元包括通过将光纤缠绕成环状所形成的几个部分。这些偏光调节单元能够通过围绕光纤的长度方向卷绕所述环状部分以使光纤扭曲，来调节并匹配测量光和参考光各自的偏光状态。在摄像设备1中，预先调节和固定测量光和参考光的偏光状态。
分光器180由透镜135-8和135-9、衍射光栅181和线传感器182组成。
从光纤131-4照射的干涉光穿过透镜135-8而变得大致平行。然后，干涉光由衍射光栅181分割并且通过透镜135-3在线传感器182上聚焦。将来自线传感器182的输出输入到个人计算机925中。
接着，将详细描述光源101。光源101是超发光二极管(SLD),是典型的低相干光源。中心波长是855nm，并且波长带宽约为100nm。由于带宽会影响所获得的断层图像在光轴方向上的分辨率，因此，带宽是重要参数。此外，虽然在本典型实施例中选择了SLD作为光源类型，但只要能够发出低相干光，也可以使用放大自发辐射光源(ASE)等的其它光源。考虑到中心波长是用来测量眼睛的，因此，近红外光是适当的。此外，由于中心波长会影响所获得的断层图像在横向方向上的分辨率，因此，期望波长尽可能短。基于这些原因，选择了855nm的中心波长。
在本典型实施例中，虽然使用Michelson干涉仪作为干涉仪，但也可以使用马赫-曾德尔(Mach-Zehnder)干涉仪。基于测量光和参考光之间的光量差，希望在光量差大的情况下使用Mach-Zehnder干涉仪、以及在光量差相对小的情况下使用Michelson干涉仪。
接着，将描述使用本摄像设备来拍摄被检眼的图像的方法。
首先，操作者让患者坐到根据本典型实施例的摄像设备的前方，并且开始拍摄被检眼眼底的表面图像。从光源316照射的光通过环形狭缝312形成环形光束，被穿孔镜303反射，以照射到被检眼107的眼底127。来自眼底127的反射光束穿过穿孔镜303，并在CCD172上聚焦。来自眼底127的在CCD172上聚焦的反射光通过CCD控制单元102转变成眼底表面的图像，并且所获得的图像被发送到图像处理设备100。
接着，摄像设备1通过控制XYZ扫描器134来拍摄被检眼107的眼底上的期望部位的断层图像。
从光源101照射的光穿过光纤131-1，并由光学耦合器131分割成朝被检眼行进的测量光以及朝参考镜132-4行进的参考光。
朝被检眼行进的测量光穿过光纤131-2，从光纤的末端射出并且入射到XYZ扫描器134上。由XYZ扫描器134进行偏光后的测量光穿过光学系统135-1并照射被检眼的眼底127。然后，由被检眼反射的反射光沿着反向路径返回到光学耦合器131。
另一方面，朝参考镜行进的参考光穿过光纤131-3，从光纤的末端射出，穿过准直光学系统135-7和散射光补偿光学系统115，并到达参考镜132-4。然后，由参考镜132-4反射的反射光沿着反向路径返回到光学耦合器131。
返回到光学耦合器131的测量光和参考光相互干涉。所产生的干涉光入射到光纤131-4，由光学系统135-8转变成大致平行的光，并入射到衍射光栅181上。入射到衍射光栅181上的干涉光通过摄像透镜135-9在线传感器182上聚焦，从而能够获得被检眼眼底上的一个点处的干涉信号。
输出值作为包括从线传感器182的多个元件所获得的干涉信息的图像信号而被输出到图像处理设备100。虽然在参考图4所描述的例子中，利用从闪光管314照射的光来获得眼底的表面图像，但也能够通过扫描由SLD光源照射的光的扫描激光检眼镜(SLO)来获得眼底的表面图像。
接着，将参考图5描述由图像处理设备100执行的图像处理方法的流程。
在获得被检眼眼底上的一个点处的断层信息后，摄像设备1驱动用作X方向上的扫描单元的XYZ扫描器134以产生被检眼眼底的另一点处的干涉光。另一点处的所述干涉光穿过线传感器182并被输入到重构单元1100。重构单元1100形成被检眼眼底上的所述另一点的深度方向上的断层图像(A扫描图像)。将A扫描图像的坐标与捕获A扫描的干涉信号的XYZ扫描器134的位置相关联并进行存储。
在步骤S2000中，重构单元1100通过在X方向上连续地驱动XYZ扫描器134，来重构被检眼眼底的水平方向上的断层图像(B扫描图像)。
然后，重构单元1100通过在沿Y方向将XYZ扫描器134驱动预定量后、在X方向上再次进行上述扫描，来重构被检眼眼底的Y方向上的另一个位置处的水平断层图像(B扫描图像)。通过重复XYZ扫描器134的所述Y方向驱动，能够形成覆盖眼底127的预定范围的多个断层图像。在摄像设备1中，重构单元1100通过在沿Y方向驱动预定较小量128次的情况下重复形成B扫描图像，形成了128个断层图像。此外，重构单元1100根据所述128个断层图像来重构(形成)三维断层图像。
接着，生成单元1200根据由重构单元1100生成的断层图像来生成视网膜的二维图像。
如上所述，A扫描图像是被检眼眼底上一个点的深度方向上的断层图像，并且如图6所示，A扫描图像由深度方向上的多个亮度信息所构成。
图6中的二维断层图像是A扫描图像的集合。所述二维断层图像可以是B扫描图像或者可以是三维重构的断层图像的截面。
例如，在摄像设备1中，使用包括1,176个像素的线传感器182，进行了FFT的A扫描图像Ai由1,176个像素值形成为像素值列。在这种情况下，P0表示作为基于颜色浓度的与深度方向上的最浅部分有关的亮度信息的像素值，以及P1175表示作为与深度方向上的最深部分有关的亮度信息的像素值。
摄像设备通过从所述多个亮度信息中有选择地提取一个亮度信息，获得被检眼眼底上的一个点处的像素值作为代表强度信号。换句话说，摄像设备从根据A扫描所获得的1,176个像素值中选择一个像素值。可以配置生成单元1200，以通过对由(未示出的)获取单元2000从外部装置3所获取的重构的断层图像进行处理来生成二维图像。在该情况下，生成单元从获取单元2000接收未经过重构单元1100的直接输入。
在步骤S2010中，生成单元1200按亮度的降序对与对应于图7所示的各A扫描的断层图像有关的亮度信息进行排序。更具体地，生成单元1200在具有1,176个像素值的各个列中，基于像素值的大小来对像素值分配次序，并基于所分配的次序对像素值进行排序。
R0是以最亮亮度信息作为像素值的像素，R1175是以最暗亮度信息作为像素值的像素。由于亮度表示干涉强度，因此，像素值也与干涉强度相对应。
此外，生成单元1200选择预定次序的像素Rx。所述预定次序的像素是在按亮度信息的降序对像素值进行排序后、位于从顶部起第x个位置处的像素。
由于视网膜断层图像主要是根据暗像素形成的，因此，期望x为位于所有像素的上半部分中的像素。例如，如果使用根据具有共1,176个像素的像素值列所形成的A扫描图像，则可以选择上方10%位置处的、从顶部起的第118个像素作为预定次序的像素Rx。结果，选择了与具有预定次序的像素Rx相对应的像素值。
在步骤S2020中，生成单元1200将与具有预定次序的像素Rx有关的亮度信息确定为所述A扫描的强度信息。此外，通过针对所有A扫描图像确定强度信息，能够获得与扫描的眼底127的测量光的照射位置相对应的各点处的作为强度信息的像素值。在该情况下，像素值作为与眼底127上扫描的测量光的各照射位置的二维坐标相对应的强度信息被存储在(未示出的)存储器3000中。然后，在步骤S2030中，能够通过基于与存储器3000中所存储的坐标相对应的像素值生成二维图像(有时称为“强度图像”或者“强度”)来获得如图8中所示的视网膜的二维图像I。
上面已经描述了在由重构单元1100重构了所有数据之后由生成单元1200生成二维图像的例子。然而，可以连续地向生成单元1200发送针对各A扫描所重构的断层图像，或者可以连续地向生成单元1200发送针对各B扫描所重构的断层图像。
所述二维图像是与通过CCD172获得的眼底的表面图像、或者通过另一眼底照相机或SLO获得的眼底图像相似的图像，所述二维图像基本能够使眼底表面可视化。此外，由于仅从多个亮度信息中有选择地获取有效信息，因此，能够获得不被包括在A扫描图像中的噪声成分或者具有低干涉强度的暗区域所影响的优选的二维图像。
接着，对准单元1300将通过摄像设备所生成的眼底的表面图像、断层图像和二维图像进行对准，并且在监视器928上显示对准后的图像。如图9所示，按照表面图像S(表面)、断层图像Ti(亮度信息)以及二维图像I(断层图像)的顺序在监视器928上显示眼底的图像。二维图像I(断层图像)的获取位置Li叠加在二维图像I和表面图像S上。
虽然图像处理设备100生成了128个断层图像，但在监视器928上显示的是作为一个选出的截面的断层图像Ti(i=0到128)或者作为三维重构的断层图像的截面的断层图像Ti(在该情况下，指定任意数字i)。操作者能够通过操作输入单元929-1和929-2切换所显示的断层图像。可选地，操作者能够通过操作输入单元929-1和929-2以利用输入单元929-1和929-2扫描并且选择所显示的二维图像I的位置，来选择要显示的断层图像。
在切换了断层图像Ti的情况下，还更新显示在二维图像I和表面图像S上的断层图像Ti的获取位置Li的显示位置。结果，由于二维图像I具有高品质，因此，操作者能够容易地了解所显示的断层图像Ti位于被检眼的眼底127上的哪个位置。
此外，由于二维图像具有高品质，因此，能够通过利用输入单元929-1和929-2进行扫描来正确地选择断层图像。
另外，由于能够直接获得与二维图像I上的位置信息相对应的断层图像，因此，视网膜断层图像与强度图像之间的位置关系不会存在偏差。结果，操作者能够精确地了解眼底上拍摄断层图像的位置。
此外，由于将二维图像I和表面图像S进行了对准，因此，能够基于与二维图像I有关的信息来更精确地了解表面图像S上的位置与视网膜断层图像的获取位置之间的位置关系。
在本典型实施例中，虽然基于被检眼眼底的断层图像来生成视网膜的二维图像，但也可以基于被检眼的前眼部的断层图像来生成前眼部的二维图像。在该情况下，将所生成的二维图像生成作为与利用CCD照相机从被检眼的前眼部所拍摄的前眼部平面图像相似的图像。
此外，由于不需要进行图像计算，因此，能够以单个像素单位来选择与视网膜的期望范围有关的信息。
结果，能够获得减少了非必要信息量的二维图像。
在生成单元1200中，基于排序处理确定要选择的像素值。然而，还能够配置生成单元1200以使得选择诸如神经纤维层(NFL)等的视网膜的预定层、对该层中的像素值顺次进行排序、并选择最大值或者中间值。此外，根据所选择的像素值来生成视网膜的二维图像。在该情况下，能够缩小操作者更感兴趣获得的信息的范围，并且选择操作者更感兴趣获得的信息。另外，由于不需要进行图像计算，因此，能够以单个像素单位来选择与视网膜的期望范围有关的信息。
结果，能够获得减少了非必要信息量的二维图像。
还能够配置生成单元1200以使得预先移除等于或者小于预定值的像素值、对剩余的视网膜区域的像素值顺次进行排序、并且选择最大值或者中间值。此外，根据所选择的像素值来生成视网膜的二维图像。在该情况下，由于低像素值区域是不存在干涉图像的区域，因此，能够通过移除该区域来防止选择非必要信息。
在该情况下，生成单元1200进行排序处理以利用0来替换等于或者小于预定值的像素值。如果所生成的二维图像中包括0，则生成单元1200在监视器928上显示用于警示摄像失败的消息。利用该显示，操作者能够容易地判断需要再次进行摄像。
接着，将参考图10和11描述根据本发明的第二典型实施例。
图10中的生成单元1400的配置不同于根据第一典型实施例的生成单元的配置。然而，利用相同的附图标记表示其它部分，并且将省略对其的描述。生成单元1400具有不经过重构单元1100而生成二维图像的路径。
除了进行与第一典型实施例的处理相似的处理的路径A之外，生成单元1400还包括用于直接从线传感器182的多个元件分别接收除A扫描图像以外的输出值的路径B。此外，通过针对每个照射位置从线传感器182的多个元件分别选择输出值来生成二维图像。
通过(未示出的)选择单元1500来选择使用路径A的第一模式和使用路径B的第二模式。例如，选择单元1500针对紧接在图像拍摄之后的确认画面选择第二模式，并且在确认图像的具体细节的情况下选择第一模式。
在选择了第一模式的情况下所进行的处理与第一典型实施例中的处理相同。下面将基于图11所示的处理流程描述在选择了第二模式的情况下所进行的处理。
如上所述，线传感器182具有2,048个像素，并且生成2,048个图像信号。在步骤S3000中，生成单元1400获取这些图像信号。
此外，生成单元1400通过从所述多个图像信号中有选择地提取一个图像信号，来获得被检眼眼底上的一个点处的代表强度信号。
在步骤S3100中，生成单元1400按信号等级的降序对从线传感器182输出的多个图像信号进行排序。
在步骤S3200中，生成单元1400在主存储器11中选择预定次序的图像信号。该预定次序的图像信号是在图像信号按信号等级的降序进行排序后位于从顶部起的第n个位置处的图像信号。
生成单元1400将具有预定次序的图像信号的信号等级确定为针对A扫描的强度信息。
重复从步骤S3000到步骤S3300的处理直到完成了所有A扫描为止。利用这个操作，能够获得眼底127的(与A扫描相对应的)各不同点的强度信息。在步骤S3400中，能够通过将该强度信息形成为二维图像来获得如图8所示的视网膜的二维图像。如果选择了第二模式，则能够比选择了第一模式更快地进行处理。
能够通过利用线传感器182进行模数(A/D)转换或者通过利用图像处理设备100中的接收单元进行A/D转换来从线传感器182进行输出。
如果采用改变了光源波长的扫频源(SS)-OCT来进行本典型实施例，则能够采用单个的光接收传感器代替线传感器182。
在该情况下，针对眼底上的各扫描位置从单个的光接收传感器将干涉信号作为通过时分进行了A/D转换的2,048个图像信号而输出。通过生成单元1400获取所述2,048个图像信号，然后，进行与从步骤S3100到后续步骤的处理相同的处理。利用这个操作，即使对于SS-OCT，也能够迅速地获得二维图像。能够利用光接收传感器或者图像处理设备100中的接收单元对来自光接收传感器的输出进行A/D转换。
还可以通过读出并执行记录在存储器介质(例如非瞬态计算机可读存储介质)上的计算机可执行指令以进行本发明上述实施例的一个或多个的功能的系统或设备的计算机和通过下面的方法来实现本发明的各实施例，其中，系统或设备的计算机通过例如从存储器介质读出并执行计算机可执行指令以进行上述实施例的一个或多个的功能来进行上述方法。计算机可以包括中央处理单元(CPU)、微处理单元(MPU)或其它电路中的一个或多个，并且可以包括具有独立的计算机或独立的计算机处理器的网络。计算机可执行指令可以例如从网络或存储器介质提供给计算机。存储器介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算机系统的存储器、光盘(诸如致密盘(CD)、数字化通用盘(DVD)或蓝光盘(BD)TM)、闪速存储装置和存储卡等中的一个或多个。
尽管已经参考典型实施例说明了本发明，但是应当理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (10)

1.一种摄像设备，包括：
扫描单元，用于利用测量光来扫描测量对象；以及
重构单元，用于基于由来自所述测量对象的测量光的返回光与参考光之间的干涉所产生的干涉光，来重构所述测量对象的预定范围内的断层图像，
所述摄像设备的特征在于还包括：
生成单元，用于生成具有多个像素强度值的二维图像，其中，基于所述断层图像的深度方向上的各像素列中的像素的像素强度值的大小顺序来选择所述多个像素强度值的各像素强度值。
2.根据权利要求1所述的摄像设备，其中，还包括具有多个元件的传感器，所述多个元件用于将经由衍射光栅的干涉光转换成图像信号，
其中，所述生成单元包括：
第一模式，用于基于针对测量光的各照射位置从所述多个元件的各元件的输出值中所选择的预定输出值，来生成所述二维图像；以及
第二模式，用于基于所述断层图像的各像素列中的像素强度值的大小顺序，来生成所述二维图像。
3.根据权利要求1所述的摄像设备，其中，所述生成单元针对各所述像素列，基于像素强度值的大小来对像素强度值分配大小顺序，并基于具有预定大小顺序的像素强度值来生成所述二维图像。
4.根据权利要求1所述的摄像设备，其中，所述扫描单元利用所述测量光在至少两个方向上扫描所述测量对象，以及
所述生成单元生成与所述测量对象的经由所述扫描单元利用所述测量光所照射的位置相对应的二维图像。
5.根据权利要求1所述的摄像设备，其中，所述重构单元在利用所述扫描单元进行扫描的情况下生成所述测量对象的多个不同位置的深度方向上的断层图像，并且所述生成单元基于所生成的深度方向上的多个断层图像来生成所述二维图像。
6.根据权利要求1所述的摄像设备，其中，还包括显示单元，所述显示单元用于显示所述生成单元所生成的二维图像。
7.根据权利要求6所述的摄像设备，其中，还包括摄像单元，所述摄像单元用于拍摄所述测量对象的表面图像，
其中，所述显示单元并排显示所述二维图像和所述表面图像。
8.根据权利要求6所述的摄像设备，其中，所述显示单元以与所述二维图像并排的方式显示所述重构单元所重构的至少一个断层图像。
9.根据权利要求8所述的摄像设备，其中，所述显示单元将所述断层图像的截面的获取位置叠加地显示在所述二维图像上。
10.一种图像处理方法，包括：
基于由来自测量对象的测量光的返回光与参考光之间的干涉所产生的干涉光，获取所述测量对象的预定范围内的断层图像，
所述图像处理方法的特征在于还包括：
生成具有多个像素强度值的二维图像，其中，基于所述断层图像的深度方向上的各像素列中的像素的像素强度值的大小顺序来选择所述多个像素强度值的各像素强度值。
CN201310389317.4A 2012-08-30 2013-08-30 摄像设备和摄像方法以及图像处理设备和图像处理方法 Expired - Fee Related CN103654719B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-190002 2012-08-30
JP2012190002A JP2014045869A (ja) 2012-08-30 2012-08-30 撮影装置、画像処理装置、及び画像処理方法

Publications (2)

Publication Number Publication Date
CN103654719A CN103654719A (zh) 2014-03-26
CN103654719B true CN103654719B (zh) 2016-12-07

Family

ID=49033821

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310389317.4A Expired - Fee Related CN103654719B (zh) 2012-08-30 2013-08-30 摄像设备和摄像方法以及图像处理设备和图像处理方法

Country Status (5)

Country Link
US (1) US9335155B2 (zh)
EP (1) EP2703771B1 (zh)
JP (1) JP2014045869A (zh)
KR (1) KR101636811B1 (zh)
CN (1) CN103654719B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6700678B2 (ja) * 2015-06-02 2020-05-27 キヤノン株式会社 画像処理装置及び画像処理装置の作動方法
WO2017068878A1 (ja) * 2015-10-19 2017-04-27 ソニー株式会社 測距装置及び撮像システム
JP6598713B2 (ja) 2016-03-11 2019-10-30 キヤノン株式会社 情報処理装置
JP2019149674A (ja) * 2018-02-27 2019-09-05 株式会社日立製作所 撮像装置、撮像方法、および画像処理装置
JP7118147B2 (ja) * 2018-06-05 2022-08-15 オリンパス株式会社 内視鏡システム
US11408726B2 (en) * 2018-09-19 2022-08-09 Kyocera Corporation Observation method and observation apparatus
JP6884904B2 (ja) * 2020-04-03 2021-06-09 キヤノン株式会社 画像処理装置及び画像処理装置の作動方法
JP7353241B2 (ja) 2020-06-22 2023-09-29 本田技研工業株式会社 車両

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7365856B2 (en) * 2005-01-21 2008-04-29 Carl Zeiss Meditec, Inc. Method of motion correction in optical coherence tomography imaging
US7805009B2 (en) * 2005-04-06 2010-09-28 Carl Zeiss Meditec, Inc. Method and apparatus for measuring motion of a subject using a series of partial images from an imaging system
US20070291277A1 (en) * 2006-06-20 2007-12-20 Everett Matthew J Spectral domain optical coherence tomography system
EP2066225B1 (en) * 2006-09-26 2014-08-27 Oregon Health and Science University In vivo structural and flow imaging
KR101127682B1 (ko) * 2007-03-30 2012-06-05 고쿠리츠 다이가쿠 호진 교토 다이가쿠 측정에 의해 장을 취득하는 장치 및 방법
JP5618533B2 (ja) * 2008-12-26 2014-11-05 キヤノン株式会社 光干渉断層情報取得装置、撮像装置及び撮像方法
JP5430203B2 (ja) * 2009-03-31 2014-02-26 キヤノン株式会社 画像処理装置、画像処理方法
JP5627260B2 (ja) 2009-05-22 2014-11-19 キヤノン株式会社 撮像装置および撮像方法
JP4909378B2 (ja) * 2009-06-02 2012-04-04 キヤノン株式会社 画像処理装置及びその制御方法、コンピュータプログラム
US8332016B2 (en) * 2009-08-04 2012-12-11 Carl Zeiss Meditec, Inc. Non-linear projections of 3-D medical imaging data
JP5017328B2 (ja) 2009-08-11 2012-09-05 キヤノン株式会社 断層像撮像装置およびその制御方法、プログラム、記憶媒体
US8781214B2 (en) 2009-10-29 2014-07-15 Optovue, Inc. Enhanced imaging for optical coherence tomography
US8744159B2 (en) * 2010-03-05 2014-06-03 Bioptigen, Inc. Methods, systems and computer program products for collapsing volume data to lower dimensional representations thereof using histogram projection
JP5752955B2 (ja) * 2010-03-16 2015-07-22 株式会社ニデック 光断層像撮影装置
JP5645432B2 (ja) * 2010-03-19 2014-12-24 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法、及び画像処理をコンピュータに実行させるためのプログラム
KR101515034B1 (ko) * 2010-03-31 2015-04-24 캐논 가부시끼가이샤 광간섭 단층촬상장치 및 그 제어장치
JP5754976B2 (ja) * 2010-03-31 2015-07-29 キヤノン株式会社 画像処理装置、及び、制御方法
JP2011214969A (ja) * 2010-03-31 2011-10-27 Canon Inc 撮像装置及び撮像方法
JP5127897B2 (ja) * 2010-08-27 2013-01-23 キヤノン株式会社 眼科用画像処理装置及びその方法
JP5693101B2 (ja) * 2010-08-30 2015-04-01 キヤノン株式会社 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
KR20140029208A (ko) 2014-03-10
US20140063508A1 (en) 2014-03-06
CN103654719A (zh) 2014-03-26
JP2014045869A (ja) 2014-03-17
EP2703771B1 (en) 2018-12-19
KR101636811B1 (ko) 2016-07-07
EP2703771A1 (en) 2014-03-05
US9335155B2 (en) 2016-05-10

Similar Documents

Publication Publication Date Title
CN103654719B (zh) 摄像设备和摄像方法以及图像处理设备和图像处理方法
CN102525403B (zh) 眼科设备及其控制方法
JP6767762B2 (ja) 情報処理装置、情報処理装置の制御方法、及び該制御方法の実行プログラム
CN102802505B (zh) 图像处理设备、控制方法和光学相干断层成像系统
JP6009935B2 (ja) 眼科装置
JP4902721B2 (ja) 光断層画像生成装置及び光断層画像生成方法
JP5416577B2 (ja) 網膜機能計測装置
JP5289219B2 (ja) 撮影装置及びその制御方法
CN102834046B (zh) 摄像设备和摄像方法
JP6367563B2 (ja) 眼科装置
JP6188296B2 (ja) 画像処理装置及び画像処理方法
JP2016209182A (ja) 撮像装置、撮像装置の作動方法、情報処理装置、及び情報処理装置の作動方法
JP2019088382A (ja) 画像処理装置、眼科撮影装置、画像処理方法、及びプログラム
JP5506504B2 (ja) 撮像装置及び撮像方法
JP5996959B2 (ja) 眼底解析装置
JP2014045862A (ja) 光断層画像撮像装置、画像処理装置及び光断層画像の表示方法
JP6375760B2 (ja) 光コヒーレンストモグラフィー装置、および眼底画像処理プログラム
JP2018051391A (ja) 眼科装置
JP2014048126A (ja) 撮像装置および撮像方法
JP5975650B2 (ja) 画像形成方法及び装置
JP2017221741A (ja) 画像生成装置、画像生成方法およびプログラム
JP5669885B2 (ja) 画像処理装置及び画像処理方法
JP2018000687A (ja) 画像処理装置、画像処理方法及びプログラム
JP2019187550A (ja) 画像処理装置、画像処理方法及びプログラム
JP2016077454A (ja) 眼科装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20161207