CN108348161A - 利用波长可调谐激光器的大面积oct系统和三维图像补正方法 - Google Patents

利用波长可调谐激光器的大面积oct系统和三维图像补正方法 Download PDF

Info

Publication number
CN108348161A
CN108348161A CN201680062807.5A CN201680062807A CN108348161A CN 108348161 A CN108348161 A CN 108348161A CN 201680062807 A CN201680062807 A CN 201680062807A CN 108348161 A CN108348161 A CN 108348161A
Authority
CN
China
Prior art keywords
wave
interference
measurement object
depth direction
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680062807.5A
Other languages
English (en)
Other versions
CN108348161B (zh
Inventor
李贤箕
柳洪基
金昌洙
南亨树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hanyang Hak Won Co Ltd
Koh Young Technology Inc
Original Assignee
Hanyang Hak Won Co Ltd
Koh Young Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hanyang Hak Won Co Ltd, Koh Young Technology Inc filed Critical Hanyang Hak Won Co Ltd
Priority claimed from PCT/KR2016/011733 external-priority patent/WO2017073945A1/ko
Publication of CN108348161A publication Critical patent/CN108348161A/zh
Application granted granted Critical
Publication of CN108348161B publication Critical patent/CN108348161B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • A61B5/0066Optical coherence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00Measuring instruments characterised by the use of optical techniques
    • G01B9/02Interferometers
    • G01B9/02001Interferometers characterised by controlling or generating intrinsic radiation properties
    • G01B9/02002Interferometers characterised by controlling or generating intrinsic radiation properties using two or more frequencies
    • G01B9/02004Interferometers characterised by controlling or generating intrinsic radiation properties using two or more frequencies using frequency scans
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00Measuring instruments characterised by the use of optical techniques
    • G01B9/02Interferometers
    • G01B9/02041Interferometers characterised by particular imaging or detection techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00Measuring instruments characterised by the use of optical techniques
    • G01B9/02Interferometers
    • G01B9/02055Reduction or prevention of errors; Testing; Calibration
    • G01B9/02062Active error reduction, i.e. varying with time
    • G01B9/02067Active error reduction, i.e. varying with time by electronic control systems, i.e. using feedback acting on optics or light
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00Measuring instruments characterised by the use of optical techniques
    • G01B9/02Interferometers
    • G01B9/02055Reduction or prevention of errors; Testing; Calibration
    • G01B9/02075Reduction or prevention of errors; Testing; Calibration of particular errors
    • G01B9/02076Caused by motion
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00Measuring instruments characterised by the use of optical techniques
    • G01B9/02Interferometers
    • G01B9/02055Reduction or prevention of errors; Testing; Calibration
    • G01B9/02075Reduction or prevention of errors; Testing; Calibration of particular errors
    • G01B9/02076Caused by motion
    • G01B9/02077Caused by motion of the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00Measuring instruments characterised by the use of optical techniques
    • G01B9/02Interferometers
    • G01B9/02083Interferometers characterised by particular signal processing and presentation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00Measuring instruments characterised by the use of optical techniques
    • G01B9/02Interferometers
    • G01B9/0209Low-coherence interferometers
    • G01B9/02091Tomographic interferometers, e.g. based on optical coherence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41Refractivity; Phase-affecting properties, e.g. optical path length
    • G01N21/45Refractivity; Phase-affecting properties, e.g. optical path length using interferometric methods; using Schlieren methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Automation & Control Theory (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明提供一种利用波长可调谐激光器的大面积OCT系统,通过观察与获得测量对象物的干涉图像的各时间点对应的短时间A‑line轮廓度的峰值,从而可以测量测量对象物的深度方向移动,基于测量的深度方向移动,补正干涉信号的相位,从而可以生成补偿了深度方向移动的OCT图像。

Description

利用波长可调谐激光器的大面积OCT系统和三维图像补正 方法
技术领域
本发明涉及一种利用波长可调谐激光器的大面积OCT系统及该系统中的图像补正方法。
背景技术
OCT技术是可以使生物体组织的剖面图像按10~30μm左右的分辨率实现图像化的医疗影像技术。OCT系统可以利用因激光束被基准反射镜(reference mirror)反射的基准光与该激光束被测量对象物反射的反射光之间的干涉而形成的干涉图像,生成测量对象物的三维OCT图像。
OCT系统根据向测量对象物照射激光束的方式,可以分为单点扫描OCT系统(single point scanning OCT system)和大面积OCT系统(full-field OCT system)。在单点扫描OCT系统中,利用沿水平方向扫描向测量对象物的一点照射的激光束而获得的干涉图像,可以生成测量对象物的OCT图像。在大面积OCT系统中,无需激光束的水平方向扫描,可以利用将具有既定面积的激光束照射于测量对象物而获得的干涉图像,生成测量对象物的OCT图像。
如上所述,大面积OCT系统无需水平方向扫描过程,便可以从获得的干涉图像,一次获得关于既定面积的干涉信号,因而可以快速生成OCT图像。相反,如果以测量对象物的一点为基准,比较为了获得干涉信号所需的测量时间,则大面积OCT系统会比单点扫描OCT系统测量时间长。因此,大面积OCT系统在获得干涉图像期间,如果存在测量对象物的移动,则干涉信号容易受到测量对象物移动的影响。另外,利用包含测量对象物移动的干涉信号而生成的OCT图像,会包含因测量对象物移动导致的假象(artifact)。
发明内容
要解决的技术问题
本发明要解决的课题是提供一种能够测量测量对象物的深度方向移动及水平方向移动的方法及利用其的大面积OCT系统。
本发明要解决的又一课题是提供一种能够利用测量对象物的深度方向移动及水平方向移动的测量结果,在OCT图像中补偿测量对象物的移动的方法及利用其的大面积OCT系统。
技术方案
本发明一个实施例的大面积OCT系统可以包括图像处理部,其基于因具有与各波数(wave number)对应波长的激光束被基准反射镜反射所生成的基准光与所述激光束被测量对象物反射所生成的反射光之间的干涉而形成的多个干涉图像,决定及补偿所述测量对象物的深度方向移动;所述图像处理部可以在所述多个干涉图像中,从与各波数域(wavenumber domain)中包含的各个波数对应的干涉图像,针对所述测量对象物的特定地点,获得与所述各个波数对应的干涉强度;可以基于所述获得的干涉强度,获得与所述波数域对应的短时间A-line轮廓度,可以从所述各个短时间A-line轮廓度,获得与所述各波数域对应的深度值,可以基于所述获得的深度值的变动,决定所述测量对象物的深度方向移动。
根据一个实施例,所述图像处理部可以将预先决定的大小的滑动波数域窗口(sliding wave number domain window)依次应用于所述多个干涉图像,从而当选择与所述各波数域中包含的各个波数对应的干涉图像时,可以从所述选择的干涉图像,针对所述测量对象物的特定地点,获得与所述波数对应的干涉强度;可以针对所述获得的干涉强度,在所述波数域上,执行短时间傅里叶变换,获得与所述各波数域对应的所述短时间A-line轮廓度。
根据一个实施例,所述深度值可以是与所述短时间A-line轮廓度各个的峰值相应的深度值。
根据一个实施例,所述图像处理部可以生成与所述测量对象物的深度方向移动对应的深度方向移动函数;可以对所述深度方向移动函数进行积分,生成与所述深度方向移动对应的相位补偿函数;可以在所述多个干涉图像上的各同一地点提取干涉强度;可以基于所述相位补偿函数,针对所述各个同一地点,对代表所述提取的干涉强度在波数域上的分布的干涉信号的相位进行补偿,从而可以补偿所述测量对象物的深度方向移动。
根据一个实施例,所述大面积OCT系统可以还包括生成与所述各波数对应的多个干涉图像的干涉仪(interferometer);所述干涉仪可以包括:波长可调谐激光器,其调谐波长,释放具有与所述各波数对应波长的激光束;基准反射镜;光束分离器,其使来自所述波长可调谐激光器的所述激光束的一部分通过,朝向所述测量对象物照射,使所述激光束的另一部分反射,朝向所述基准反射镜照射;及拍摄部,其从所述光束分离器接收所述反射光和所述基准光,生成所述多个干涉图像。
本发明一个实施例的大面积OCT系统决定及补偿测量对象物的深度方向移动的方法可以包括:图像处理部接收基于因具有与各波数对应波长的激光束被基准反射镜反射所生成的基准光与所述激光束被测量对象物反射所生成的反射光之间的干涉而形成的多个干涉图像的步骤;图像处理部在所述多个干涉图像中,从与各波数域中包含的各个波数对应的干涉图像,针对所述测量对象物的特定地点,获得与所述各个波数对应的干涉强度的步骤;所述图像处理部基于所述获得的干涉强度,获得与所述波数域对应的短时间A-line轮廓度的步骤;所述图像处理部从所述各个短时间A-line轮廓度,获得与所述各波数域对应的深度值的步骤;及所述图像处理部基于所述获得的深度值的变动,决定所述测量对象物的深度方向移动的步骤。
根据一个实施例,所述图像处理部获得所述短时间A-line轮廓度的步骤可以包括:所述图像处理部将预先决定的大小的滑动波数域窗口依次应用于所述多个干涉图像,从而当选择与所述各波数域中包含的各个波数对应的干涉图像时,从所述选择的干涉图像,针对所述测量对象物的特定地点,获得与所述波数对应的干涉强度的步骤;及所述图像处理部针对所述获得的干涉强度,在所述波数域上,执行短时间傅里叶变换,获得与所述各波数域对应的所述短时间A-line轮廓度的步骤。
根据一个实施例,所述决定及补偿测量对象物的深度方向移动的方法可以还包括:所述图像处理部生成与所述测量对象物的深度方向移动对应的深度方向移动函数的步骤;所述图像处理部对所述深度方向移动函数进行积分,生成与所述深度方向移动对应的相位补偿函数的步骤;图像处理部在所述多个干涉图像上的各同一地点提取干涉强度的步骤;及所述图像处理部基于所述相位补偿函数,针对所述各个同一地点,对代表所述提取的干涉强度在波数域上的分布的干涉信号的相位进行补偿的步骤。
本发明一个示例性实施例的计算机可读存储介质,可以存储包括执行大面积OCT系统决定及补偿测量对象物的深度方向移动的方法的各步骤的命令的程序。
发明的效果
根据本发明一个实施例的大面积OCT系统,可以测量测量对象物的深度方向移动和水平方向移动,这种深度方向移动和水平方向移动可以同时测量。
另外,根据本发明一个实施例的大面积OCT系统,在OCT图像中,可以补偿测量对象物的深度方向移动和水平方向移动。
另外,根据本发明一个实施例的大面积OCT系统,可以简化用于测量对象物的深度方向及水平方向移动的测量及补偿所需的算法,快速在OCT图像中补偿测量对象物的移动。
附图说明
图1为用于说明大面积OCT系统中的OCT图像测量方法及测量对象物移动的影响的图;
图2为大面积OCT系统中当没有作为测量对象物的反射镜的深度方向移动时生成的二维OCT图像;
图3为大面积OCT系统中当有作为测量对象物的反射镜的深度方向移动时生成的二维OCT图像;
图4为显示本发明一个实施例的大面积OCT系统的构成的框图;
图5为显示在本发明一个实施例的大面积OCT系统中,在依次变更波长可调谐激光器的波长的同时获得的多个干涉图像的图;
图6为显示在本发明一个实施例的大面积OCT系统中,在干涉图像中应用滑动波数域窗口而获得短时间波数域轮廓度的过程的图;
图7为显示在本发明一个实施例的大面积OCT系统中,在多个干涉图像的各个中,从同一地点获得干涉强度的过程的图;
图8为显示在本发明一个实施例的大面积OCT系统中,针对短时间波数域轮廓度,执行对波数的短时间傅立叶变换而获得的短时间A-line轮廓度的图;
图9为显示本发明一个实施例的大面积OCT系统获得的测量对象物在特定地点的深度方向移动的频谱图;
图10为显示在本发明一个实施例的大面积OCT系统中,当作为测量对象物的反射镜不向深度方向移动时获得的测量对象物的深度方向移动的频谱图;
图11为显示在本发明一个实施例的大面积OCT系统中,当作为测量对象物的反射镜向深度方向移动时获得的测量对象物的深度方向移动的频谱图;
图12为在本发明一个实施例的大面积OCT系统中,作为测量对象物的反射镜的深度方向移动被补偿前的二维OCT图像及频谱图;
图13为在本发明一个实施例的大面积OCT系统中,作为测量对象物的反射镜的深度方向移动被补偿后的二维OCT图像及频谱图;
图14为显示根据本发明一个实施例,大面积OCT系统决定测量对象物的深度方向移动的方法的流程图;
图15为显示根据本发明一个实施例,在大面积OCT系统中,图像处理部获得多个短时间A-line轮廓度的方法的流程图;
图16为显示根据本发明一个实施例,在OCT图像中补偿测量对象物的深度方向移动的方法的流程图;
图17为用于说明根据本发明一个实施例,大面积OCT系统决定测量对象物的水平方向移动,基于决定的结果,在OCT图像中补偿水平方向移动的方法的图;
图18为显示根据本发明一个实施例,大面积OCT系统测量测量对象物的水平方向移动的方法的流程图;
图19为显示根据本发明一个实施例,大面积OCT系统基于干涉图像间的互相关而测量测量对象物的水平方向移动的方法的流程图;
图20为显示根据本发明一个实施例,在OCT图像中补偿测量对象物的水平方向移动的方法的流程图。
具体实施方式
本发明的实施例是出于说明本发明的目的而举例的。本发明的实施例可以以多样形态实施,不得解释为本发明限定于以下提示的实施例或对这些实施例的具体说明。
在本实施例中使用的术语“部”,意味着软件、诸如FPGA(field-programmablegate array,现场可编程门阵列)、ASIC(application specific integrated circuit,专用集成电路)的硬件构成要素。但是,“部”并非限定于硬件及软件。“部”既可以构成得位于可寻址的存储介质,也可以构成得播放一个或其以上的处理器。因此,作为一个示例,“部”包括诸如软件构成要素、面向对象的软件构成要素、类构成要素及任务构成要素的构成要素,及处理器、函数、属性、过程、子程序、程序代码的区段、驱动程序、固件、微码、电路、数据、数据库、数据结构、工作表、阵列及变数。构成要素和“部”内提供的功能还可以结合为更少数量的构成要素及“部”,或进一步分离为追加的构成要素和“部”。
本说明书中使用所有技术性术语及科学性术语,只要未不同地定义,则具有本发明所属技术领域的普通技术人员一般理解的意义。本说明书中使用的所有术语是出于更明确地说明本发明之目的而选择的,并非为了限制本发明范围而选择。
在本申请说明书中记述的单数型的表达,只要未不同地提及,则也可以一同包括复数型的表达,这也同样适用于权利要求项中记载的单数型的表达。
本发明的多样实施例中使用的“第一”、“第二”等表达,只是为了相互区分多个构成要素而使用的,并非限定相应构成要素的顺序或重要度。
本说明书中使用的诸如“包括的”及“具有的”的表达,只要在包含相应表达的语句或文章中未特别不同地提及,则应理解为含有包括其他实施例的可能性的开放型术语(open-ended terms)。
在本说明书中,“基于~”字样的表达,用于记述对在包含相应表达的语句中记述的决定或判断行为或动作产生影响的一个以上因子,这种表达不排除对决定或判断行为或动作产生影响的追加因子。
在本说明书中,当提及某种构成要素“连接于”或“接入于”其他构成要素时,应理解为既可以是所述某种构成要素直接连接于或接入于所述其他构成要素,也可以在所述某种构成要素与所述其他构成要素之间存在新的其他构成要素。
下面参照附图,详细说明本发明的实施例。对于附图上的相同的构成要素,使用相同的附图标记,对于相同的构成要素,省略重复的说明。
大面积OCT系统可以利用多个干涉图像而生成OCT图像,其中所述多个干涉图像借助于具有既定照射面积的激光器的光被基准反射镜反射所生成的基准光与同一激光器光被测量对象物反射所生成的反射光之间的干涉而形成。
图1是用于说明大面积OCT系统中的OCT图像测量方法及测量对象物的移动的影响的图。如图1所示,大面积OCT系统可以获得测量对象物130中与照射面积120对应的测量区域的干涉图像,其中,所述干涉图像借助于具有既定照射面积120的激光器的光110被测量对象物130反射的反射光与同一激光器的光110被基准反射镜反射的基准光之间的干涉而生成。大面积OCT系统可以从获得的干涉图像提取对测量区域的干涉信号,获得测量对象物130的深度方向121信息,可以基于此而生成OCT图像。
可是,如果在大面积OCT系统获得干涉图像期间,有测量对象物130的移动,则干涉信号容易受到测量对象物130移动的影响。另外,利用反映了测量对象物130移动的干涉信号而生成的OCT图像,会包含测量对象物130的移动导致的假象。例如,在大面积OCT系统获得干涉图像期间,如果测量对象物130沿深度方向121移动,则生成的OCT图像会包含因测量对象物130的深度方向121移动导致的假象。
图2及图3分别显示了大面积OCT系统中当没有作为测量对象物的反射镜的深度方向移动时生成的二维OCT图像、当有作为测量对象物的反射镜的深度方向移动时生成的二维OCT图像。图示的二维OCT图像是显示测量对象物的X轴及Z轴(深度方向轴)剖面的OCT剖面图像。大面积OCT系统可以结合沿测量对象物的Y轴方向而生成的多个OCT剖面图像(即,显示X轴及Z轴剖面的OCT剖面图像),生成三维OCT图像。
如图2所示,在没有作为测量对象物的反射镜的深度方向移动的情况下,在二维OCT图像上,反射镜的形状210可以显示为水平线形态。相反,如图3所示,在有反射镜的深度方向移动的情况下,在二维OCT图像上因深度方向移动导致的假象可以显示为残像的形态310。此时,在二维OCT图像上,反射镜的形状会不明确地显露。
根据本发明,观察与测量对象物的干涉图像获得的各时间点对应的短时间A-line(Axial-line)轮廓度的峰值,从而可以测量测量对象物的深度方向移动。其中,所谓“短时间A-line轮廓度”,可以意味着在OCT系统或大面积OCT系统中,根据以下更详细说明的实施例,在针对测量对象物而获得的干涉图像中,在与短时间期间变换的激光器波长区域对应的波数域中包含的干涉图像上,从与测量对象物特定地点对应的地点获得的干涉强度,在波数域上进行短时间傅立叶变换的结果。因此,基于如此测量的深度方向移动,补正干涉信号的相位,从而可以生成补偿了深度方向移动的OCT图像。
另外,在本发明中,可以基于测量对象物的干涉图像间的互相关(cross-correlation),测量测量对象物的水平方向移动。因此,基于如此测量的水平方向移动,执行干涉图像间的图像配准(image registration),从而可以生成补偿了水平方向移动的OCT图像。
下面具体说明本发明多样实施例的大面积OCT系统,特别是利用波长可调谐激光器的大面积OCT系统,测量测量对象物的深度方向及水平方向移动,在OCT图像中,对测量的测量对象物的深度方向及水平方向移动进行补偿的方法。
<深度方向移动的测量及补偿>
图4是显示本发明一个实施例的大面积OCT系统400的构成的框图。如图所示,大面积OCT系统400可以包括波长可调谐激光器410、透镜420、光束分离器430、基准反射镜440、拍摄部460、存储部470及图像处理部480。根据一个实施例,大面积OCT系统400可以利用借助于干涉仪(interferometer)而生成的干涉图像,生成OCT图像,其中,所述干涉仪利用波长可调谐激光器410、光束分离器430、基准反射镜440及拍摄部460等体现。大面积OCT系统400的干涉仪的构成不限定于以上构成要素及其连接关系,只要能够生成实质上相同的干涉图像,则干涉仪的构成要素及其连接关系可以变更为多样方式。
波长可调谐激光器410可以是能对波长进行调谐而释放具有与各波数(wavenumber)对应波长的激光束的激光器。从波长可调谐激光器410照射的激光束的一部分被基准反射镜440反射而可以生成基准光。另外,从波长可调谐激光器410照射的激光束的另一部分向测量对象物450照射,被测量对象物450反射而可以生成反射光。
根据一个实施例,如果来自波长可调谐激光器410的激光束照射透镜420,则透镜420使入射的激光束折射,从而可以释放具有既定照射面积的激光束。根据一个示例,波长可调谐激光器410和透镜420可以通过光纤412连接。根据又一示例,来自波长可调谐激光器410的激光束也可以通过自由空间(freespace)或大气,直接传递到透镜420。
被透镜420折射的激光束的一部分可以穿过光束分离器430,朝向测量对象物450照射。另一方面,被透镜420折射的激光束的另一部分在光束分离器430中反射,可以朝向基准反射镜440照射。另外,光束分离器430可以使从基准反射镜440反射的激光束(即,基准光)穿过,传递给拍摄部460,另一方面,可以使从测量对象物450反射的激光束(即,反射光)反射,传递到拍摄部460。
拍摄部460从光束分离器430接收反射光和基准光,可以对因基准光与反射光之间的干涉而形成的干涉图像进行成像。根据一个实施例,拍摄部460在波长可调谐激光器410的波长依次变更的每个时间点,可以生成干涉图像。因此,大面积OCT系统400在扫描波长可调谐激光器410的波长期间,可以借助于干涉仪包括的拍摄部460,依次成像及生成多个干涉图像。根据一个实施例,拍摄部460可以利用照相机或摄像机等体现,但并非限定于此。
图5是显示在本发明一个实施例的大面积OCT系统400中,在依次变更波长可调谐激光器410的波长的同时获得的多个干涉图像510、520、530、540、550的图。例如,干涉图像510、520、530、540、550可以在波长可调谐激光器410的波长变更为λ1、λ2、λ3、λ4及λ5的各时间点(t1、t2、t3、t4及t5)借助于拍摄部460而生成。此时,波长从λ1变更至λ5的各时间点也可以定义为波数。即,如图5所示,λ1、λ2、λ3、λ4及λ5可以对应于各个波数k1、k2、k3、k4及k5,波数k1、k2、k3、k4及k5可以代表波长从λ1变更至λ5的各时间点。波数kn与波长λn之间的变换关系可以利用以下方程定义。
如果再次参照图4,存储部470可以接收从拍摄部460所生成的多个干涉图像并进行存储。根据一个实施例,存储部470可以利用至少一个易失性存储装置或非易失性存储装置或他们的组合来体现。具体而言,存储部470可以利用诸如DRAM、SRAM等的易失性存储装置或诸如快闪存储器、硬盘、MRAM、PRAM等的非易失性存储装置或他们的组合来体现。
图像处理部480可以利用存储部470中存储的多个干涉图像,生成测量对象物450的OCT图像。另外,图像处理部480可以基于存储部470中存储的多个干涉图像,决定及补偿测量对象物450的深度方向移动。在图4所示的实施例中,大面积OCT系统400在拍摄部460与图像处理部480之间包括存储部470,但在另一实施例中,大面积OCT系统400可以省略存储部470,图像处理部480也可以从拍摄部460直接接收干涉图像。
根据一个实施例,大面积OCT系统400可以还包括显示部490,所述显示部490可以显示测量对象物450的深度方向移动,或显示补偿了深度方向移动的OCT图像。显示部490可以从图像处理部480接收OCT图像或关于测量对象物450的深度方向移动的信息并显示。
下面就图像处理部480决定测量对象物450的深度方向移动的方法进行更具体说明。
首先,在扫描波长可调谐激光器410的波长期间,干涉仪可以依次生成多个干涉图像。借助干涉仪而生成的多个干涉图像可以存储于存储部470,或直接传递到图像处理部480。
图像处理部480可以在多个干涉图像中,从与各波数域(wave number domain)包含的波数分别对应的干涉图像,针对测量对象物450的特定地点,获得与各波数域包含的波数分别对应的干涉强度。具体而言,图像处理部480可以将预先决定的大小的滑动波数域窗口(sliding wave number domain window)依次应用于多个干涉图像,在多个干涉图像中,提取与各滑动波数域窗口包含的波数分别对应的干涉图像。图像处理部480可以从如此获得的与各波数域包含的波数分别对应的干涉图像,针对测量对象物450的特定地点,获得与各波数域包含的波数分别对应的干涉强度。
图6是显示在本发明一个实施例的大面积OCT系统400中,在干涉图像中应用滑动波数域窗口而获得短时间波数域轮廓度的过程的图。其中,所谓“短时间波数域轮廓度”,可以意味着与短时间期间的波长变更相应的波数变化所导致的干涉强度变化。如果参照图5及图6进行说明,图像处理部480针对多个干涉图像,在波数域应用大小为5的滑动波数域窗口660,从而可以依次获得波长变化4次的各短时间期间的干涉强度。即,随着滑动波数域窗口660在波数域中移动,可以从与滑动波数域窗口660的大小(size)内包含的波数分别对应的干涉图像获得干涉强度。例如,如图所示,如果滑动波数域窗口660应用于k1~k5的波数域,则图像处理部480可以从在波数从k1变更至k5的短时间期间获得的干涉图像510、520、530、540、550,获得干涉强度610、620、630、640、650。然后,图像处理部480按照波长可调谐激光器410的波长变更的顺序,可以在下个波数域,即,在k2~k6的波数域中应用滑动波数域窗口660,获得干涉强度。
此时,干涉强度可以在多个干涉图像上,在与测量对象物450的特定地点对应的同一地点分别获得。例如,如图7所示,如果图像处理部480在k1~k5的波数域应用滑动波数域窗口660,则在该波数域获得的干涉图像510、520、530、540、550上,s可以从与测量对象物450的特定地点对应的同一地点511、521、531、541、551,获得各个干涉强度。
如上所述,如果滑动波数域窗口针对多个干涉图像依次应用,获得各短时间波数域中的干涉强度,则图像处理部480可以基于各波数域中的干涉强度,获得与各短时间波数域对应的多个短时间A-line轮廓度。具体而言,首先图像处理部480可以获得应用各滑动波数域窗口而获得的关于短时间期间的干涉强度的短时间波数域轮廓度。另外,图像处理部480可以针对获得的各个短时间波数域轮廓度,在波数域上执行短时间傅里叶变换(short-time Fourier transform),获得多个短时间A-line轮廓度。
例如,如果参照图6进行说明,当滑动波数域窗口660应用于k1~k5的波数域时,图像处理部480可以获得代表该短时间波数域中的干涉强度610、620、630、640、650的波数域分布的短时间波数域轮廓度。图像处理部480针对该短时间波数域轮廓度,执行对波数的短时间傅里叶变换,从而可以从短时间波数域轮廓度获得短时间A-line轮廓度。利用相同的方法,图像处理部480也可以针对依次应用滑动波数域窗口660而获得的其他短时间波数域中的干涉强度,获得各个短时间波数域轮廓度,针对其执行对波数的短时间傅里叶变换,获得短时间A-line轮廓度。
图8是显示在本发明一个实施例的大面积OCT系统400中,针对短时间波数域轮廓度执行对波数的短时间傅里叶变换而获得的短时间A-line轮廓度的一个示例。如果针对短时间波数域轮廓度执行对波数的短时间傅里叶变换,则图像处理部480可以获得由测量对象物450的特定地点的深度(横轴)决定的短时间波数域轮廓度的强度(纵轴)信息。图8所示的短时间A-line轮廓度图表的横轴上标识的A.U.是arbitrary unit(任意单位)的缩写。以下其他图中标识的A.U.也具有相同的意义。
图像处理部480在这种各短时间A-line轮廓度中观察深度值,从而可以决定测量对象物450的深度方向移动。具体而言,图像处理部480可以在与依次应用滑动波数域窗口而获得的短时间波数域轮廓度对应的各个短时间A-line轮廓度中,获得与峰值相应的深度值。图像处理部480可以针对获得的深度值相对于波数的变动,决定测量对象物450的深度方向的移动。此时,各波数可以对应于波长可调谐激光器410的波长变更的各时间点,因而相对于波数的变动可以对应于波长可调谐激光器410的波长变更期间的时间的经过乃至变化。因此,深度值的相对于波数的变动可以意味着在波长可调谐激光器410的波长变更期间,深度值相对于时间的变动。
图9是显示本发明一个实施例的大面积OCT系统400获得的测量对象物450在特定地点的深度方向移动的频谱图(spectrogram)的示例。频谱图可以用由波数(横轴)决定的深度(纵轴)值的分布来表现。如果一同参照图6及8进行说明,图像处理部480可以基于从k1至k5波数域的滑动波数域窗口660获得的干涉强度610、620、630、640、650,获得图8所示的短时间A-line轮廓度。图像处理部480可以在获得的短时间A-line轮廓度中,获得与峰值810相应的深度值910。此时,获得的深度值910可以决定为短时间A-line轮廓度获得所应用的波数域中包含的波数的代表值,例如关于平均值乃至中央值的深度值910。例如,在k1至k5波数域获得的深度值910,可以决定为关于中央值k3的深度值910。
然后,图像处理部480可以基于在移动滑动波数域窗口660的同时获得的干涉强度,获得各个短时间A-line轮廓度。利用相同的方法,图像处理部480在获得的各短时间A-line轮廓度中获得与峰值相应的深度值,从而可以获得与之后的波长变换时间点k4、k5、k6、k7分别对应的测量对象物450的深度值920、930、940、950。如图9所示,图像处理部480观察与各波长变换时间点k3、k4、k5、k6、k7对应的测量对象物450的深度值910、920、930、940、950,从而可以决定扫描波长可调谐激光器410的波长期间的测量对象物450的深度方向移动。
如上所述决定了测量对象物450的深度方向移动后,图像处理部480可以将获得OCT图像期间的测量对象物450的深度方向移动显示给使用者。另外,图像处理部480可以基于决定的测量对象物450的深度方向移动,在OCT图像中补偿深度方向移动的影响。
根据一个实施例,图像处理部480可以在存储部470中预先存储借助于干涉仪而生成所有干涉图像后,利用其决定测量对象物450的深度方向移动,将其通过显示部490进行显示。根据又一实施例,图像处理部480在每当借助于干涉仪而生成干涉图像时,可以接收干涉图像并实时决定测量对象物450的深度方向移动,通过显示部490进行显示。
图10及图11是显示在本发明一个实施例的大面积OCT系统中,在作为测量对象物的反射镜未沿深度方向移动时和该反射镜沿深度方向移动时分别获得的测量对象物的深度方向移动的频谱图。具体而言,如果一同参照图2及图3进行说明,图10是显示反射镜如图2所示未沿深度方向移动时,以反射镜的一地点230为基准测量的深度方向移动的频谱图。由于没有深度方向移动,因而在以波数表现的波长可调谐激光器的波长变更的各时间点,A-line轮廓度的峰值的深度方向的位置1010无变化。另一方面,在图10的位置1010下侧显示的另一白线,是因激光束在大面积OCT系统400使用的光学部件中反射的反射光间的干涉而生成的假象。
图11是显示反射镜如图3所示沿深度方向移动时,以反射镜的一个地点330为基准测量的深度方向移的频谱图。由于有深度方向移动,因而A-line轮廓度的峰值的深度方向的位置1110,在波长可调谐激光器的波长变更的各时间点,随着深度方向的移动而变化。
通过所述过程,决定了测量对象物450的深度方向移动后,图像处理部480可以基于此,在OCT图像中补偿深度方向移动对干涉信号相位的影响。为此,图像处理部480可以在生成与测量对象物450的深度方向移动对应的深度方向移动函数后,对深度方向移动函数进行积分,生成与测量对象物450的深度方向移动对应的相位补偿函数。然后,图像处理部480可以基于相位补偿函数,补偿用于生成OCT图像所需的干涉信号的相位,从而可以补偿测量对象物450的深度方向移动。
具体而言,如果再次参照图9进行说明,图像处理部480可以针对与测量对象物450的波长变更的各时间点的深度方向移动相对应的、由波数变化(例如,波数变化为k3、k4、k5、k6、k7)导致的A-line轮廓度的峰值的深度值变化(例如,深度值变化为910、920、930、940、950),实施曲线拟合(curve fitting),生成深度方向移动函数960。例如,可以如下定义用于实施曲线拟合的基准函数。
a0+a1·cos(w1·k)+a2·sin(w1·k)(其中,a0为常数,a1为余弦函数的大小,a2为正弦函数的大小,w1为余弦及正弦函数的频率,k为波数)
图像处理部480可以针对由波数变化导致的A-line轮廓度的峰值的深度值变化,实施利用了上述基准函数的曲线拟合,决定作为基准函数的变数的a0、a1、a2及w1值。图像处理部480将决定的变数值应用于基准函数,从而可以生成与测量对象物450的深度方向移动对应的深度方向移动函数960。
曲线拟合例如可以在诸如回归分析法、线性插值法或条样插值法的公知的曲线拟合算法中适当选择一种来实施。另外,基准函数可以选择包括三角函数、多项式函数、B-样条曲线等的、可以充分表现测量对象物450移动的形态的函数中的某一种。
相位补偿函数可以是针对生成的深度方向移动函数,将与波长可调谐激光器410波长变更的全体区间对应的波数域作为积分区间,执行积分而生成。当有测量对象物450的深度方向移动时,在OCT图像生成中使用的干涉信号的相位会因深度方向移动而失真。相位补偿函数可以表示出在波长变更的时间点的因测量对象物450的深度方向移动导致的相位失真程度。因此,基于相位补偿函数,补偿干涉信号的相位,从而图像处理部480可以生成补偿了深度方向移动的影响的OCT图像。
例如,假定相位失真补偿之前的干涉信号为I(k),相位失真补偿之后的干涉信号为Icomp(k)。其中,干涉信号可以定义为在干涉图像上,代表与在测量对象物450某个地点对应的地点获得的干涉强度的波数域分布的信号。如果将相位补偿函数称为θ(k),则通过如下关系式,可以在干涉信号中补偿相位失真。
Icomp(k)=I(k)·e-iθ(k)(其中,k代表波数)
图像处理部480通过所述关系式,可以在干涉图像上,补偿与测量对象物450一个地点对应的地点的干涉信号的相位失真。因此,图像处理部480提取多个干涉图像上的各同一地点的干涉强度,在测量对象物450的测量区域上获得所有干涉信号后,以相同的方法,补偿所有干涉信号的相位失真,从而可以生成全部补偿了深度方向移动影响的OCT图像。图像处理部480也可以在测量对象物450的每个地点生成相位补偿函数,分别利用与测量对象物450各地点对应的相位补偿函数,补偿测量对象物450各地点的深度方向移动。
图12显示了在本发明一个实施例的大面积OCT系统中,作为测量对象物的反射镜的深度方向移动补偿之前的二维OCT图像1210及频谱图1220。二维OCT图像1210是测量对象物的X轴及Z轴(深度方向轴)平面的图像。在二维OCT图像1210中,作为假象而包含反射镜的深度方向移动,反射镜的平面形状不明确地显露。另一方面,频谱图1220以反射镜的一个地点1211为基准,显示了波长可调谐激光器的波长变更的各时间点的深度方向移动。即,在频谱图1220中,反射镜的深度方向移动与正弦波形状类似地显示。
图13显示了在本发明一个实施例的大面积OCT系统中,作为测量对象物的反射镜的深度方向移动补偿后的二维OCT图像1310及频谱图1320。在二维OCT图像1310中,反射镜的深度方向移动得到补偿,在X轴及Z轴平面上,反射镜的平面形状明确地显露。由于反射镜的深度方向移动被补偿,因而以反射镜的一个地点1311为基准获得的频谱图1320显示出,波长可调谐激光器的波长变更的各时间点的A-line轮廓度的峰值位置保持既定。
图14是显示根据本发明一个实施例,大面积OCT系统400决定测量对象物450的深度方向移动的方法的流程图。下面针对各步骤,参照附图,更具体地说明决定测量对象物450的深度方向移动的方法。
首先,在步骤S1410中,图像处理部可以接收因具有与各波数对应波长的激光束被基准反射镜反射所生成的基准光与激光束被测量对象物反射所生成的反射光之间的干涉而形成的多个干涉图像。例如,如果参照图4,图像处理部480可以从利用波长可调谐激光器410、光束分离器430、基准反射镜440及拍摄部460等而体现的干涉仪,接收多个干涉图像。此时,干涉仪可以通过拍摄部460,生成因波长可调谐激光器410释放的具有与各波数对应波长的激光束在基准反射镜440中反射的基准光与来自波长可调谐激光器410的激光束被测量对象物450反射的反射光之间的干涉而形成的多个干涉图像。根据一个实施例,多个干涉图像可以在波长可调谐激光器410的波长依次变更的各时间点生成。
如果在步骤S1410中接收多个干涉图像,则在步骤S1420中,图像处理部可以在多个干涉图像中,从与各波数域包含的各个波数对应的干涉图像,针对测量对象物的特定地点,获得与各个波数对应的干涉强度。例如,图像处理部480可以将预先决定的大小的滑动波数域窗口依次应用于多个干涉图像,在多个干涉图像中,提取与各滑动波数域窗口包含的各个波数对应的干涉图像。图像处理部480可以从与如上所述获得的各波数域包含的各个波数对应的干涉图像,针对测量对象物450的特定地点,获得与各波数域包含的各个波数对应的干涉强度。
然后,在步骤S1430中,图像处理部可以基于获得的干涉强度,获得与波数域对应的短时间A-line轮廓度。具体而言,如果参照图15进行说明,图像处理部在步骤S1431中,将预先决定的大小的滑动波数域窗口依次应用于多个干涉图像,从而当选择与各波数域包含的各个波数对应的干涉图像时,可以从选择的干涉图像,针对测量对象物的特定地点,获得与波数对应的干涉强度。
例如,如果参照图5及图6进行说明,图像处理部480在波数域中,将大小为5的滑动波数域窗口660依次应用于多个干涉图像,从而可以选择与波长变化4次的各波数域包含的各个波数对应的干涉图像。此时,图像处理部480可以从选择的干涉图像,针对测量对象物450的特定地点,获得与各波数域包含的各个波数对应的干涉强度。
如果滑动波数域窗口660应用于k1至k5波数域,则图像处理部480可以从在波数从k1变更至k5的短时间期间获得的干涉图像510、520、530、540、550,获得干涉强度610、620、630、640、650。然后,图像处理部480可以按照波长可调谐激光器410的波长变更的顺序,在作为下个波数域的k2至k6波数域中应用滑动波数域窗口660,获得干涉强度。利用相同的方式,图像处理部480将滑动波数域窗口660依次应用于多个干涉图像,从而可以获得与相应波数域包含的各个波数对应的干涉强度。此时,干涉强度可以在多个干涉图像上,在与测量对象物450的特定地点对应的同一地点分别获得。
如果在步骤S1431中获得干涉强度,则在步骤S1432中,图像处理部可以针对获得的干涉强度,在波数域上执行短时间傅立叶变换,获得与波数域对应的短时间A-line轮廓度。例如,图像处理部480可以针对与滑动波数域窗口660的各波数域包含的各个波数对应的干涉强度,在相应波数域上执行对波数的短时间傅里叶变换,从而获得短时间A-line轮廓度。具体而言,图像处理部480可以依次应用滑动波数域窗口660,针对获得的干涉强度,获得短时间波数域轮廓度,针对获得的各个短时间波数域轮廓度,在波数域上执行短时间傅立叶变换,获得短时间A-line轮廓度。
例如,如果参照图6,当滑动波数域窗口660应用于k1~k5波数域时,图像处理部480可以获得代表在该短时间波数域中的干涉强度610、620、630、640、650的波数域分布的短时间波数域轮廓度。图像处理部480针对该短时间波数域轮廓度,执行对波数的短时间傅里叶变换,从而可以从短时间波数域轮廓度获得短时间A-line轮廓度。以相同的方法,图像处理部480也可以针对依次应用滑动波数域窗口660而获得的其他短时间波数域中的干涉强度,获得各个短时间波数域轮廓度,对此执行对波数的短时间傅里叶变换,获得短时间A-line轮廓度。
如果再次参照图14,在步骤S1440中,图像处理部可以从各个短时间A-line轮廓度,获得与各波数域对应的深度值。例如,图像处理部480可以在与滑动波数域窗口的各波数域对应的各个短时间A-line轮廓度中,获得与短时间A-line轮廓度的峰值相应的深度值。获得的深度值可以代表在波长可调谐激光器410的波长变更的各时间点的测量对象物450特定地点的深度值。
然后,在步骤S1450中,图像处理部可以基于获得的深度值的变动,决定测量对象物的深度方向移动。例如,如果参照图9,图像处理部480通过观察与各波长变换时间点k3、k4、k5、k6、k7对应的测量对象物450的深度值910、920、930、940、950的变动,从而可以决定扫描波长可调谐激光器410波长期间的测量对象物450的深度方向移动。
如上所述,如果决定了测量对象物450的深度方向移动,则图像处理部480可以基于此,在测量对象物450的OCT图像中,补偿深度方向移动的影响。具体而言,如果参照图16进行说明,首先,在步骤S1610中,图像处理部可以生成与测量对象物的深度方向移动对应的深度方向移动函数。例如,如果参照图9,图像处理部480可以针对与在波长变更的各时间点的测量对象物450深度方向移动对应的、由波数变化(例如,波数变化为k3、k4、k5、k6、k7)导致的A-line轮廓度的峰值的深度值变化(例如,深度值变化为910、920、930、940、950),实施曲线拟合,生成深度方向移动函数960。
在步骤S1610中,如果生成深度方向移动函数,则在步骤S1620中,图像处理部可以对深度方向移动函数进行积分,生成与深度方向移动对应的相位补偿函数。当有测量对象物450的深度方向移动时,在OCT图像生成中使用的干涉信号的相位会因深度方向移动而失真。相位补偿函数可以显示出在波长变更的各时间点的因测量对象物450深度方向移动导致的相位失真程度。图像处理部480对深度方向移动函数进行积分,从而可以生成这种相位补偿函数。
然后,在步骤S1630中,为了获得将补偿了深度方向移动的对象,图像处理部可以在多个干涉图像上的各同一地点,提取干涉强度。根据一个实施例,代表干涉强度在波数域上的分布的干涉信号可以成为补偿了深度方向移动的对象。因此,图像处理部480在多个干涉图像上的各同一地点提取干涉强度,从而获得将补偿了深度方向移动的、可在测量对象物450的测量区域生成的所有干涉信号。
如果在步骤S1630中提取了干涉强度,则在步骤S1640中,图像处理部可以基于相位补偿函数,补偿代表针对各个同一地点而提取的干涉强度在波数域上分布的干涉信号的相位。例如,如果将相位失真补偿之前的干涉信号称为I(k),将相位失真补偿之后的干涉信号称为Icomp(k),将相位补偿函数称为θ(k),则图像处理部480可以通过下面关系式,在干涉信号中补偿相位失真。
Icomp(k)=I(k)·e-iθ(k)(其中,k代表波数)
图像处理部480可以通过上述关系式,在干涉图像上,只补偿与测量对象物450一个地点对应的地点的干涉信号相位失真。图像处理部480可以利用在步骤S1630中获得的、针对各个同一地点而提取的干涉强度,补偿可在测量对象物450的测量区域生成的所有干涉信号后,基于相位补偿函数,补偿所有干涉信号的相位失真。如上所述,通过补偿干涉图像上所有地点的干涉信号相位失真,从而图像处理部480可以生成全部补偿了深度方向移动影响的OCT图像。
<水平方向移动测量及补偿>
下面说明大面积OCT系统400测量测量对象物450的水平方向移动的方法及利用其在OCT图像中补偿水平方向移动的方法。
测量对象物450的水平方向移动,可以是大面积OCT系统400在变更波长可调谐激光器410波长的各时间点获得干涉图像期间的测量对象物450的水平方向移动。如果测量对象物450沿水平方向移动,则在干涉图像上的同一地点,会出现测量对象物450的不同测量部位。因此,如果在干涉图像上的同一地点获得干涉信号,则干涉信号可以包含与测量对象物450的另一测量部位相关的信息的一部分。因此,如果有测量对象物450的水平方向移动,则在生成的OCT图像上,水平方向移动可以显示为残像的形态。
例如,如图17所示,在波长可调谐激光器410的波长变更期间,如果有测量对象物450的水平方向移动,则拍摄部460依次获得的干涉图像1710、1720、1730、1740、1750、1760、1770中的一部分1740、1770,可以拍摄成如同观察视野进行移动一样的形态。因此,如果以干涉图像上的同一地点为基准,比较干涉图像1710、1720、1730、1750、1760与干涉图像1740、1770,则在干涉图像1740、1770中会包含测量对象物450的另一测量部位。
图18是根据本发明一个实施例,显示大面积OCT系统400测量测量对象物450的水平方向移动的方法的流程图。下面针对各步骤,参照附图,更具体地说明测量水平方向移动的方法。
首先,在步骤S1810中,图像处理部在变更波长可调谐激光器的波长期间,可以依次获得测量对象物的多个干涉图像。例如,如果参照图4及图17,图像处理部480可以在变更波长可调谐激光器410的波长期间,依次生成因来自波长可调谐激光器410的光被基准反射镜440反射的基准光与来自波长可调谐激光器410的光被测量对象物450反射的反射光之间的干涉而形成的多个干涉图像1710~1770。
如果在步骤S1810中生成多个干涉图像,则在步骤S1820中,图像处理部可以基于多个干涉图像中任意2张干涉图像间的互相关(cross-correlation),测量测量对象物的水平方向移动。例如,图像处理部480可以基于获得的多个干涉图像中显示出水平方向移动的任意2张干涉图像间的互相关(cross-correlation),测量测量对象物450的水平方向移动。
根据一个实施例,如果没有水平方向移动,则2张干涉图像间的互相关会比有水平方向移动时计算的互相关大。因此,基于这种原理,图像处理部480可以决定测量对象物450沿水平方向移动的程度。
具体而言,图像处理部480可以使2张干涉图像中的一张干涉图像的坐标值变化,使干涉图像沿水平方向移动。图像处理部480在使2张干涉图像中的一张干涉图像沿水平方向移动的同时,可以获得两张干涉图像间的互相关达到最大时的坐标值。因此,图像处理部480可以基于互相关达到最大时的坐标值与沿水平方向移动前的干涉图像坐标值间的差异,决定测量对象物450沿水平方向移动的程度。
根据一个实施例,依次获得的所有干涉图像中包含的连续的2张干涉图像间的水平方向移动全部被测量后,图像处理部480可以以多个干涉图像中某一干涉图像为基准,决定在所有干涉图像中出现的测量对象物450的相对移动。
下面参照图17,基于任意2张图像间的互相关,更详细说明测量测量对象物450的水平方向移动的方法。
首先,在图17的左侧图示的干涉图像中,假定要测量水平方向移动的任意两个干涉图像为干涉图像1760及干涉图像1770。另外,在图17的右侧,为了说明的便利,图示了干涉图像1760及干涉图像1770各自放大形态的干涉图像1761及干涉图像1771。在干涉图像1760、1770中,假定干涉图像1770是有测量对象物450的水平方向移动时获得的干涉图像。
图像处理部480可以以两个干涉图像1761、1771中的一张干涉图像1761为基准,在使另一干涉图像1771的坐标值沿X轴及Y轴方向水平移动的同时,计算两个干涉图像1761、1771间的互相关。结果,图像处理部480可以获得两个干涉图像1761、1771间的互相关达到最大时的干涉图像1771的坐标值。此时,图像处理部480也可以在以一个干涉图像1761为基准而使另一干涉图像1771整体水平移动的同时,计算两个干涉图像间的互相关,但也可以只提取干涉图像1771的一部分特征性区域,在使该区域水平移动的同时,计算与干涉图像1761的互相关。图像处理部480可以基于整个干涉图像1771或干涉图像1771一部分区域的移动前后的坐标值差异,计算测量对象物450沿水平方向移动的程度。
例如,将干涉图像1771一个水平地点1780的坐标假定为(X、Y)。另外,假定在干涉图像1761固定状态下,当使干涉图像1771的坐标值沿X轴及Y轴方向分别移动a及b时,干涉图像1761及干涉图像1771间的互相关达到最大。此时,图像处理部480可以决定为,在干涉图像1771中出现的测量对象物450进行移动,以干涉图像1761中出现的测量对象物450为基准,X轴方向具有-a的变化量、Y轴方向具有-b的变化量。
在图19中,是根据所述本发明一个实施例,整理大面积OCT系统400基于干涉图像间的互相关来测量测量对象物450水平方向移动的方法的流程图。首先,在步骤S1821中,图像处理部可以以任意2张干涉图像中的一个图像为基准,使其余干涉图像的水平方向坐标值移动,以便使任意2张干涉图像间的互相关达到最大。然后,在步骤S1822中,图像处理部可以比较移动的水平方向坐标的移动前后的坐标值,提取测量对象物的水平方向变化量。
下面,说明基于测量对象物450的水平方向移动而在OCT图像中补偿水平方向移动的方法。图20是显示根据本发明一个实施例,在OCT图像中补偿测量对象物450的水平方向移动的方法的流程图。测量对象物450的水平方向移动可以利用与参照图18说明的方法相同的方法测量。因此,作为测量测量对象物450的水平方向移动的过程,图像处理部可以在步骤S2010中,在变更波长可调谐激光器的波长期间,依次获得测量对象物的多个干涉图像。另外,图像处理部可以在步骤S2020中,基于多个干涉图像中任意2张干涉图像间的互相关,测量测量对象物的水平方向移动。
如上所述,如果通过步骤S2010及步骤S2020,测量了测量对象物的水平方向移动,则在步骤S2030中,图像处理部为了补偿测量对象物的水平方向移动,可以基于测量的水平方向移动,在任意2张干涉图像间执行图像配准(imageregistration)。具体而言,图像处理部480可以基于测量的水平方向移动而提取水平方向变化量,基于提取的变化量,在任意2张干涉图像间执行图像配准。
其中,所谓“图像配准”,指用于对坐标系不同的图像进行变形,而获得一个坐标系上的图像的处理技法。通过图像配准,可以掌握一张图像与另一图像间的对应关系。例如,如果参照图17,就干涉图像1761与干涉图像1771而言,即使测量对象物450因测量对象物450的水平方向移动而在图像上相互错开,但通过图像配准,也可以掌握各干涉图像内的关于同一对象的坐标值相互如何对应。因此,如果提取了任意两个干涉图像间的水平方向变化量,则图像处理部480,1)可以利用图像配准,掌握一个干涉图像与另一干涉图像中包含的关于同一对象的坐标的对应关系,2)如果按提取的水平方向变化量而使坐标值变化,使成为基准的干涉图像与其余干涉图像间的坐标一致,3)则可以补偿任意两个干涉图像中包含的测量对象物450的水平方向移动。图像处理部480针对依次获得的多个干涉图像,全部以所述方法补偿测量对象物450的水平方向移动,从而可以生成补偿了水平方向移动的OCT图像。
根据本发明一个实施例的测量及补偿测量对象物450的水平方向移动的方法,只利用干涉图像中包含的信息,便可以实现水平方向移动的测量及补正。因此,水平方向移动的测量及补偿过程可以不影响深度方向移动的测量及补偿过程。根据一个实施例,如果测量对象物450沿深度方向及水平方向进行了移动,则图像处理部480首先执行水平方向移动的测量及补偿过程后,可以执行深度方向移动的测量及补偿过程。如果按照这种顺序补偿测量对象物450的水平方向及深度方向移动,则图像处理部480可以在OCT图像中,全部补偿测量对象物450的三维空间上的移动的影响。
所述方法通过特定实施例进行了说明,但所述方法也可以在计算机可读记录介质中,体现为计算机可读代码。计算机可读记录介质包括可借助于计算机系统而读取的供数据存储的所有种类的记录装置。作为计算机可读记录介质的示例,有ROM、RAM、CD-ROM、磁带、软盘、光数据存储装置等,另外,也包括以载波(例如通过互联网的传输)的形态体现者。另外,计算机可读记录介质分布于通过网络连接的计算机系统,计算机可读代码可以以分布式存储并运行。而且,用于体现所述实施例的功能性(functional)程序、代码及代码段,可以由本发明所属技术领域的程序员容易地推导。
在本说明书中,本发明就一部分实施例进行了说明,但需要了解的是,在本发明所属技术领域的从业人员可以理解的在不超出本发明的精神及范围的的范围内,可以实现多样变形及变更。另外,这种变更及变形应视为属于本说明书附带的权利要求书的范围内。

Claims (9)

1.一种大面积OCT系统,作为大面积OCT(Full-Field Optical CoherenceTomography)系统,其中,
包括图像处理部,其基于因具有与各波数(wave number)对应波长的激光束被基准反射镜反射所生成的基准光与所述激光束被测量对象物反射所生成的反射光之间的干涉而形成的多个干涉图像,决定及补偿所述测量对象物的深度方向移动;
所述图像处理部在所述多个干涉图像中,从与各波数域(wave number domain)中包含的各个波数对应的干涉图像,针对所述测量对象物的特定地点,获得与所述各个波数对应的干涉强度,
基于所述获得的干涉强度,获得与所述波数域对应的短时间A-line轮廓度,
从所述各个短时间A-line轮廓度,获得与所述各波数域对应的深度值,
基于所述获得的深度值的变动,决定所述测量对象物的深度方向移动。
2.根据权利要求1所述的大面积OCT系统,其中,
所述图像处理部将预先决定的大小的滑动波数域窗口(sliding wave number domainwindow)依次应用于所述多个干涉图像,从而当选择与所述各波数域中包含的各个波数对应的干涉图像时,从所述选择的干涉图像,针对所述测量对象物的特定地点,获得与所述波数对应的干涉强度,
针对所述获得的干涉强度,在所述波数域上,执行短时间傅里叶变换,获得与所述各波数域对应的所述短时间A-line轮廓度。
3.根据权利要求1所述的大面积OCT系统,其中,
所述深度值是与所述短时间A-line轮廓度各个的峰值相应的深度值。
4.根据权利要求1所述的大面积OCT系统,其中,
所述图像处理部生成与所述测量对象物的深度方向移动对应的深度方向移动函数,
对所述深度方向移动函数进行积分,生成与所述深度方向移动对应的相位补偿函数,
在所述多个干涉图像上的各同一地点提取干涉强度,
基于所述相位补偿函数,针对所述各个同一地点,对代表所述提取的干涉强度在波数域上的分布的干涉信号的相位进行补偿,从而补偿所述测量对象物的深度方向移动。
5.根据权利要求1所述的大面积OCT系统,其中,
还包括生成与所述各波数对应的多个干涉图像的干涉仪(interferometer),
所述干涉仪包括:
波长可调谐激光器,其调谐波长,释放具有与所述各波数对应波长的激光束;
基准反射镜;
光束分离器,其使来自所述波长可调谐激光器的所述激光束的一部分通过,朝向所述测量对象物照射,使所述激光束的另一部分反射,朝向所述基准反射镜照射;及
拍摄部,其从所述光束分离器接收所述反射光和所述基准光,生成所述多个干涉图像。
6.一种决定及补偿测量对象物的深度方向移动的方法,作为大面积OCT系统决定及补偿测量对象物的深度方向移动的方法,其中,包括:
图像处理部接收基于因具有与各波数对应波长的激光束被基准反射镜反射所生成的基准光与所述激光束被测量对象物反射所生成的反射光之间的干涉而形成的多个干涉图像的步骤;
图像处理部在所述多个干涉图像中,从与各波数域中包含的各个波数对应的干涉图像,针对所述测量对象物的特定地点,获得与所述各个波数对应的干涉强度的步骤;
所述图像处理部基于所述获得的干涉强度,获得与所述波数域对应的短时间A-line轮廓度的步骤;
所述图像处理部从所述各个短时间A-line轮廓度,获得与所述各波数域对应的深度值的步骤;及
所述图像处理部基于所述获得的深度值的变动,决定所述测量对象物的深度方向移动的步骤。
7.根据权利要求6所述的决定及补偿测量对象物的深度方向移动的方法,其中,
所述图像处理部获得所述短时间A-line轮廓度的步骤包括:
所述图像处理部将预先决定的大小的滑动波数域窗口依次应用于所述多个干涉图像,从而当选择与所述各波数域中包含的各个波数对应的干涉图像时,从所述选择的干涉图像,针对所述测量对象物的特定地点,获得与所述波数对应的干涉强度的步骤;及
所述图像处理部针对所述获得的干涉强度,在所述波数域上,执行短时间傅里叶变换,获得与所述波数域对应的所述短时间A-line轮廓度的步骤。
8.根据权利要求6所述的决定及补偿测量对象物的深度方向移动的方法,其中,还包括:
所述图像处理部生成与所述测量对象物的深度方向移动对应的深度方向移动函数的步骤;
所述图像处理部对所述深度方向移动函数进行积分,生成与所述深度方向移动对应的相位补偿函数的步骤;
所述图像处理部在所述多个干涉图像上的各同一地点提取干涉强度的步骤;及
所述图像处理部基于所述相位补偿函数,针对所述各个同一地点,对代表所述提取的干涉强度在波数域上的分布的干涉信号的相位进行补偿的步骤。
9.一种计算机可读存储介质,其中,所述计算机可读存储介质存储有程序,所述程序包括执行根据权利要求6至8中任意一项所述的大面积OCT系统决定及补偿测量对象物的深度方向移动的方法的各步骤的命令。
CN201680062807.5A 2015-10-29 2016-10-19 利用波长可调谐激光器的大面积oct系统和三维图像补正方法 Active CN108348161B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2015-0151399 2015-10-29
KR20150151399 2015-10-29
KR1020160103249A KR101861672B1 (ko) 2015-10-29 2016-08-12 파장 가변 레이저를 이용한 대면적 oct 시스템과 3차원 이미지 보정 방법
KR10-2016-0103249 2016-08-12
PCT/KR2016/011733 WO2017073945A1 (ko) 2015-10-29 2016-10-19 파장 가변 레이저를 이용한 대면적 oct 시스템과 3차원 이미지 보정 방법

Publications (2)

Publication Number Publication Date
CN108348161A true CN108348161A (zh) 2018-07-31
CN108348161B CN108348161B (zh) 2021-02-26

Family

ID=58741920

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680062807.5A Active CN108348161B (zh) 2015-10-29 2016-10-19 利用波长可调谐激光器的大面积oct系统和三维图像补正方法

Country Status (5)

Country Link
US (1) US10206580B2 (zh)
EP (1) EP3369366B1 (zh)
JP (1) JP6796133B2 (zh)
KR (1) KR101861672B1 (zh)
CN (1) CN108348161B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113438917A (zh) * 2018-09-28 2021-09-24 巴黎科学与文学联大-拉丁区 体内全场干涉显微成像的方法和系统

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101960914B1 (ko) * 2017-07-24 2019-03-21 전남대학교산학협력단 굴곡 구조를 포함하는 대상체의 손상 검출 시스템 및 방법
KR101954811B1 (ko) * 2017-07-24 2019-03-06 전남대학교산학협력단 대상체의 손상 두께 예측 시스템 및 방법
US11231272B2 (en) * 2017-11-16 2022-01-25 Nec Corporation Optical measuring apparatus and optical measuring method
KR102145381B1 (ko) 2018-05-21 2020-08-19 주식회사 고영테크놀러지 Oct 시스템, oct 영상 생성 방법 및 저장 매체
KR102141967B1 (ko) * 2018-05-30 2020-08-07 주식회사 고영테크놀러지 Oct 시스템, oct 영상 생성 방법 및 저장 매체
DE102018113979B4 (de) * 2018-06-12 2024-07-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur interferometrischen Vermessung einer Oberfläche eines bewegten Prüflings
CN111257282B (zh) * 2020-01-22 2022-11-15 杭州捷诺飞生物科技股份有限公司 Oct成像系统、电子设备和机器可读存储介质
CN114325704B (zh) * 2021-12-31 2023-07-25 电子科技大学 一种基于波数谱拼接的合成孔径雷达快速时域成像方法
WO2023211382A1 (en) * 2022-04-25 2023-11-02 Nanyang Technological University Phase-restoring translational shifting of multidimensional images

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6680780B1 (en) * 1999-12-23 2004-01-20 Agere Systems, Inc. Interferometric probe stabilization relative to subject movement
JP2008128710A (ja) * 2006-11-17 2008-06-05 Fujifilm Corp 断層画像処理方法、装置およびプログラムならびにこれを用いた光断層画像化システム
KR20130091911A (ko) * 2012-02-09 2013-08-20 엄진섭 파장 스위핑 레이저를 이용하는 광 결맞음 단층 촬영 장치를 위한 비선형 스위핑 보정 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5448353B2 (ja) * 2007-05-02 2014-03-19 キヤノン株式会社 光干渉断層計を用いた画像形成方法、及び光干渉断層装置
US8348429B2 (en) * 2008-03-27 2013-01-08 Doheny Eye Institute Optical coherence tomography device, method, and system
KR100876359B1 (ko) 2008-04-24 2008-12-29 김태근 결맞음 주파수영역 반사파 계측법에 기초한 광영상 시스템
DE102008028312A1 (de) * 2008-06-13 2009-12-17 Carl Zeiss Meditec Ag SS-OCT-Interferometrie zur Vermessung einer Probe
EP3884844A1 (en) * 2008-07-18 2021-09-29 Doheny Eye Institute Optical coherence tomography-based ophthalmic testing methods, devices and systems
JP5371315B2 (ja) 2008-07-30 2013-12-18 キヤノン株式会社 光干渉断層撮像方法および光干渉断層撮像装置
US20130003077A1 (en) 2010-03-31 2013-01-03 Canon Kabushiki Kaisha Tomographic imaging apparatus and control apparatus for tomographic imaging apparatus
DE102011018603B3 (de) * 2011-04-21 2012-06-06 Medizinisches Laserzentrum Lübeck GmbH Verfahren zur optischen Tomographie

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6680780B1 (en) * 1999-12-23 2004-01-20 Agere Systems, Inc. Interferometric probe stabilization relative to subject movement
JP2008128710A (ja) * 2006-11-17 2008-06-05 Fujifilm Corp 断層画像処理方法、装置およびプログラムならびにこれを用いた光断層画像化システム
KR20130091911A (ko) * 2012-02-09 2013-08-20 엄진섭 파장 스위핑 레이저를 이용하는 광 결맞음 단층 촬영 장치를 위한 비선형 스위핑 보정 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DIERCKHILLMANN ETC.: "Common approach for compensation of Axial motion artifacts in swept-source OCT and dispersion in Fourier-domain OCT", 《OPTICS EXPRESS》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113438917A (zh) * 2018-09-28 2021-09-24 巴黎科学与文学联大-拉丁区 体内全场干涉显微成像的方法和系统
CN113438917B (zh) * 2018-09-28 2024-08-16 巴黎科学与文学基金会 体内全场干涉显微成像的方法和系统

Also Published As

Publication number Publication date
KR101861672B1 (ko) 2018-05-29
JP6796133B2 (ja) 2020-12-02
US10206580B2 (en) 2019-02-19
US20180344163A1 (en) 2018-12-06
CN108348161B (zh) 2021-02-26
EP3369366B1 (en) 2021-03-31
KR20170051194A (ko) 2017-05-11
EP3369366A4 (en) 2019-05-01
JP2018532121A (ja) 2018-11-01
EP3369366A1 (en) 2018-09-05

Similar Documents

Publication Publication Date Title
CN108348161A (zh) 利用波长可调谐激光器的大面积oct系统和三维图像补正方法
Jarabo et al. Recent advances in transient imaging: A computer graphics and vision perspective
CN110274877B (zh) 一种基于散射介质的3d光谱成像系统及方法
EP2078222B1 (en) Interferometric synthetic aperture microscopy
US9638511B2 (en) Smart phone attachment for 3-D optical coherence tomography imaging
Kadambi et al. Macroscopic interferometry: Rethinking depth estimation with frequency-domain time-of-flight
Peters et al. Solving trigonometric moment problems for fast transient imaging
CN103673925B (zh) 用于测量对象物体的信息处理装置及方法
US20140115022A1 (en) Program for correcting data measured by ps-oct and ps-oct system equipped with the program
JP2005156540A (ja) 光干渉トモグラフィ用の可変波長光発生装置及び光干渉トモグラフィ装置
US10524663B2 (en) Phase measurement, analysis, and correction methods for coherent imaging systems
WO2016023502A1 (en) Phase-inverted sidelobe-annihilated optical coherence tomography
US11118894B2 (en) Systems, methods, and media for multiple reference arm spectral domain optical coherence tomography
CN107249432A (zh) 断层像拍摄装置
Grebenyuk et al. Numerical reconstruction of 3D image in Fourier domain confocal optical coherence microscopy
JP2016206061A (ja) 微粒子を含む薄膜の状態変化を解析する解析装置及び解析方法
Bhatia et al. High resolution imaging system using spectral domain Optical Coherence Tomography using NIR source
Li et al. Dual-Frequency Lidar for Compressed Sensing 3D Imaging Based on All-Phase Fast Fourier Transform
JPWO2020100626A1 (ja) 光干渉断層撮像装置、撮像方法、及び、撮像プログラム
JP5405842B2 (ja) 光構造解析装置及びその作動方法
Rao et al. Signal processing of spectral domain optical coherence tomography
JP2018073138A (ja) 画像生成方法、画像生成システムおよびプログラム
Maeda Computational imaging with scattered photons to see inside the body
JP2020085618A (ja) 物体内部の光学特性を計測する計測装置及び方法
WO2018189815A1 (ja) 光学物性値分布の推定方法、光学物性値分布の推定プログラム、及び光学物性値分布推定装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Han Guoshouershi

Applicant after: Gaoying Technology Co.,Ltd.

Applicant after: INDUSTRY-UNIVERSITY COOPERATION FOUNDATION HANYANG University

Address before: Han Guoshouershi

Applicant before: KOH YOUNG TECHNOLOGY Inc.

Applicant before: INDUSTRY-UNIVERSITY COOPERATION FOUNDATION HANYANG University

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant