CN104203081A - 将复数的眼睛影像结合成为多聚焦全光影像的方法 - Google Patents
将复数的眼睛影像结合成为多聚焦全光影像的方法 Download PDFInfo
- Publication number
- CN104203081A CN104203081A CN201280069181.2A CN201280069181A CN104203081A CN 104203081 A CN104203081 A CN 104203081A CN 201280069181 A CN201280069181 A CN 201280069181A CN 104203081 A CN104203081 A CN 104203081A
- Authority
- CN
- China
- Prior art keywords
- image
- eyes
- methods according
- eyes image
- focus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000003384 imaging method Methods 0.000 claims abstract description 35
- 230000003287 optical effect Effects 0.000 claims description 17
- VFLDPWHFBUODDF-FCXRPNKRSA-N curcumin Chemical compound C1=C(O)C(OC)=CC(\C=C\C(=O)CC(=O)\C=C\C=2C=C(OC)C(O)=CC=2)=C1 VFLDPWHFBUODDF-FCXRPNKRSA-N 0.000 claims description 14
- JMANVNJQNLATNU-UHFFFAOYSA-N oxalonitrile Chemical compound N#CC#N JMANVNJQNLATNU-UHFFFAOYSA-N 0.000 claims description 14
- 150000001875 compounds Chemical class 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 10
- 238000003325 tomography Methods 0.000 claims description 9
- 210000001525 retina Anatomy 0.000 claims description 8
- 235000000177 Indigofera tinctoria Nutrition 0.000 claims description 7
- 229940109262 curcumin Drugs 0.000 claims description 7
- 235000012754 curcumin Nutrition 0.000 claims description 7
- 239000004148 curcumin Substances 0.000 claims description 7
- VFLDPWHFBUODDF-UHFFFAOYSA-N diferuloylmethane Natural products C1=C(O)C(OC)=CC(C=CC(=O)CC(=O)C=CC=2C=C(OC)C(O)=CC=2)=C1 VFLDPWHFBUODDF-UHFFFAOYSA-N 0.000 claims description 7
- GNBHRKFJIUUOQI-UHFFFAOYSA-N fluorescein Chemical compound O1C(=O)C2=CC=CC=C2C21C1=CC=C(O)C=C1OC1=CC(O)=CC=C21 GNBHRKFJIUUOQI-UHFFFAOYSA-N 0.000 claims description 7
- 238000000799 fluorescence microscopy Methods 0.000 claims description 7
- 229940097275 indigo Drugs 0.000 claims description 7
- COHYTHOBJLSHDF-UHFFFAOYSA-N indigo powder Natural products N1C2=CC=CC=C2C(=O)C1=C1C(=O)C2=CC=CC=C2N1 COHYTHOBJLSHDF-UHFFFAOYSA-N 0.000 claims description 7
- 238000002601 radiography Methods 0.000 claims description 7
- 238000001228 spectrum Methods 0.000 claims description 7
- 238000000701 chemical imaging Methods 0.000 claims description 6
- 230000010287 polarization Effects 0.000 claims description 6
- 206010070834 Sensitisation Diseases 0.000 claims description 3
- 239000004065 semiconductor Substances 0.000 claims description 3
- 230000008313 sensitization Effects 0.000 claims description 3
- 230000004075 alteration Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 210000002159 anterior chamber Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000001915 proofreading effect Effects 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10148—Varying focus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Ophthalmology & Optometry (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Eye Examination Apparatus (AREA)
- Image Processing (AREA)
- Automatic Focus Adjustment (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Studio Devices (AREA)
Abstract
将复数的眼睛影像结合成为多聚焦全光影像的方法包含：处理器、记忆系统以复数的画面将眼睛影像对位成为一或多个影像组；处理器以存在于记忆系统中的选定参考将一或多个影像组中每一眼睛影像作校正；在忽略噪声以及其他影像加工的情况下，利用计算一或多个梯度影像测定一或多个眼睛影像的对焦区域。本方法也包含从一或多个梯度影像辨识一或多个最高分辨率的对焦区域；以及在画面中选择一或多个相对应的对焦强度，以结合成为比眼睛影像、画面及一或多个眼睛影像组更高分辨率的多聚焦全光影像。
Description
本申请案主张于2011年12月09日在美国提出的临时申请案61/568,851的优先权，全部的揭示内容并入本申请案作参考。
技术领域
本发明涉及一种将复数的眼睛影像结合的方法，尤其涉及一种将复数的眼睛影像结合成为多聚焦全光影像的方法。
背景技术
眼睛的成像通常是以一或多个裂隙灯、一或多个检视镜、一或多个眼底相机、一或多个雷射扫描检视镜(Scanning Laser ophthalmoscopes，SLO’s)以及以一或多个广域眼睛成像装置完成，且通常仅获取单一影像。即使当电影或者复合影像被获取时，他们通常仅在于一特定的焦点平面。当视网膜影像以不同的焦点以及校准下拍摄时，其通常仰赖一观察者观看复合影像并以他对对焦区域的想法结合出一合成影像。尽管这些装置可以控制对焦，但以视网膜或其他视觉区域的厚度来说，取得一对焦清楚的影像是困难的。此外，会导致区域失焦的眼睛成像装置亦会导致光学像差，眼睛成像装置对于病患眼睛的校准也会影响整个影像区域的清晰程度。
发明内容
本发明是一种将复数的眼睛影像结合的方法，尤其是一种将复数的眼睛影像结合成为多聚焦全光影像的方法。
本发明可被运用于各式各样不同的运作形式，以及结合许多不同的装置，包括一或多个裂隙灯固定相机、一或多个裂隙灯复合相机、一或多个眼底相机、一或多个极广域扫描或广域装置、一或多个手持视网膜成像装置、一或多个直接检视镜、一或多个间接检视镜、一或多个雷射扫描检视镜、一或多个一般显微镜、一或多个内视探子、一或多个与一独立的下巴架及游戏杆配件连接的光学读写头(与眼底相机相似)。每一形式以及装置允许一或多个影像数据组以及随后影像的对位，并处理以从各个影像数据组获得高频对焦清晰、曝光良好的区域，结合成为一单一影像或一多聚焦全光影像，或者是允许用户步进地选择能被对焦清晰观看的电影影像。一或多个影像数据组是使用计算机上的图像处理算法来对位，一或多个控制点决定了对位的数量，控制点可以人类观察来人工设定，操作或是由算法自动计算。
本发明运用了接下来的图像处理步骤。首先，以选定参考来校准在一或多个影像数据组的每一影像，整套方法会为转移、旋转、透视变化、内面扭曲作校准；其二，在忽略噪声以及其他影像加工的情况下，利用计算复数个梯度影像测定一或多个眼睛影像的对焦区域。其三，以梯度信息辨识出一或多个具最大数值的对焦区域。其四，在画面中选择复数个相对应的对焦强度，以结合成为一多聚焦影像，影像可以被多种方式结合，譬如选取每一影像区域最清晰的焦点，或者将复数对焦区域作平均来改善信噪比。
本发明不同于传统的眼睛成像方法，传统的方法无法解释视网膜的复合对焦区域或者其他视觉区域。本发明通过结合了影像分析以及图像处理来创造一影像对位来解决这个问题，并产出复数个高质量聚焦的多聚焦全光影像以及电影。藉由创造这些复合影像，所有的分辨率以及影像质量将大大的改善。本发明也能被运用于可察觉或无法察觉的聚焦操控。
本发明的目的是提供一种将复数的眼睛影像结合成为多聚焦全光影像的方法，此方法可结合一或多个眼睛成像的形式来运用，包括彩色眼底成像、眼前段成像、角膜以及晶体成像、荧光血管造影、靛氰造影(ICG)、姜黄素荧光成像、自体荧光、隐性波长成像、红色眼底成像、高度及复合光谱成像以及光学同调断层扫描术。
本发明的另一目的是提供一种将复数的眼睛影像结合成为多聚焦全光影像的方法，此影像比起传统的视觉影像摄影具有较好的分辨率、较好的对焦以及较佳的影像质量。
附图说明
本发明将会通过具体实施例来描述，但其并非用于限制本发明，附图中相似组件将给予类似的标号，其中：
图1为根据本发明一实施例的眼睛摄影影像。
图2为根据本发明一实施例的复数眼睛影像的摄影影像，其形成多聚焦全光影像。
图3为根据本发明一实施例的流程图，其为将复数的眼睛影像结合成为多聚焦全光影像的第一个方法。
图4为根据本发明二实施例的流程图，其为将复数的眼睛影像结合成为多聚焦全光影像的第二个方法。
具体实施方式
实施例的各种不同面向将会用本领域的技术人员一般使用的专业用语来描述，并将他们技术的实质内容传达给其他本领域的技术人员。然而，对于本领域的技术人员来说很明显的是，本发明只有某些方面会被实施。为了达到解释的目的，特定的编号、材料和构件会被列出以利于对实施例完整的理解。然而，对于本领域的技术人员来说，很明显的是，本发明可以在没有特定细节下仍被实施。在其他实例中，已知的特征会被省略或简化以免误解实施例。各个不同的作业将会逐一依序被描述成多个不连续的作业，以最有助于理解本发明的方式说明。但是，描述的顺序不应该被理解成这些作业顺序是必须的。尤其是这些作业并不需要被有顺序地呈现。
“在一实施例”这个语词会一直被重复的使用。这个语词不一定指的是同一实施例。“由…组成”、“拥有…”和“包含…”这些名称是同义词，除非文中是指其它意义。
图1为根据本发明一实施例的眼睛摄影影像。
此眼睛摄影影像是以一或多个传统形式或装置来产生的，譬如一或多个裂隙灯固定相机、一或多个裂隙灯复合相机、光学同调断层扫描术(OCT)、特定波长的光学成像、多光谱成像、高光谱成像、自体荧光成像、共焦视网膜成像、扫描雷射检视镜、一或多个适合的光学装置、一或多个取向极化特定装置、一或多个眼底相机、一或多个手持成像器、一或多个直接及间接检视镜、荧光血管造影、靛氰造影(ICG)、姜黄素荧光成像、自体荧光以及其他适合的传统眼睛成像形式以及装置。产生于图1的眼睛摄影影像100是一眼底自体荧光影像，但是其可为任何一或多个传统眼睛成像形式或装置眼睛摄影影像，譬如一或多个裂隙灯固定相机、一或多个裂隙灯复合相机、光学同调断层扫描术(OCT)、特定波长的光学成像、多光谱成像、高光谱成像、自体荧光成像、共焦视网膜成像、扫描雷射检视镜、一或多个适合的光学装置、一或多个取向极化特定装置、一或多个眼底相机、一或多个手持成像器、一或多个直接及间接检视镜、荧光血管造影、靛氰造影(ICG)、姜黄素荧光成像、自体荧光以及其他适合的传统眼睛成像形式以及装置。影像是由计算机自动更正的，这是藉由接收每一个画面以及将其与一参考作比较来达成。全部的转移、旋转以及透视都会先作修正，利用特点侦测或者交叉相关分析以鉴定出影像间各种共同特点的改变来决定修正的量，然后影像会被碎分成小的次要区域，而相对应次要区域间的改变会被决定出来。每一个次要区域的改变是用以一连续的方式使每一部分的影像变形，藉此使产出影像中的特点是以此参考影像来作校正，校正的影像也可与参考影像结合以产出一更精确的参考，与其他画面一同当作接下来利用的参考。藉由将复合对焦区域作平均，使得眼睛影像被结合以改善一信噪比(SNR)，信噪比可被定义为20*log10(标准影像误差/标准噪音误差)，单位为dB。描绘于图1的眼睛摄影影像100具有一预估为10dB的信噪比。
图2为根据本发明一实施例的复数眼睛影像210的摄影影像200，其形成多聚焦全光影像220。
眼睛影像210的摄影影像200形成多聚焦全光影像220并描绘于图2，而且与描绘于图1的眼睛摄影影像100及其描述相似。相较于描绘于图1的眼睛摄影影像100及其描述，描绘于图2的眼睛影像210的摄影影像200形成多聚焦全光影像220及其描述以一方法产生，此方法结合复数眼睛影像成为一聚焦全光影像(图3及图4，300及400)。将复数的眼睛影像结合成为多聚焦全光影像的方法(图3及图4，300及400)产生的多聚焦全光影像220比起描绘于图1的眼睛摄影影像100及其描述，分辨率相对较高、对焦相对清楚以及影像质量相对较高。额外关于将复数的眼睛影像结合成为多聚焦全光影像的方法(图3及图4，300及400)细节，描绘及叙述于接下来的图3及图4及其描述上。描绘于图2的多聚焦全光影像220是一15个画面，被校正、被平均、以一预估为42dB的信噪比改善影像。
在本发明另一实施例中，将复数的眼睛影像结合成为多聚焦全光影像的方法，可以用为眼睛解剖的眼睛成像档存盘及/或眼睛的病理检视。将复数的眼睛影像结合成为多聚焦全光影像的此方法可被运用于为眼前段、眼后段以及OCT看到的眼睛底部构造作成像。将复数的眼睛影像结合成为多聚焦全光影像的此方法，其一特色为影像的自动化对位，以及随后影像接着处理辨识对焦清楚、照光平均的区域，以及取得高频影像信息(譬如使用一频率范围滤波器或者一维纳滤波器)，以及将已处理的影像重组成为该一或多个影像。一算法也可以消除影像中未对焦清楚、包含其他光学像差及/或照光不良的区域，对焦清楚的区域是从具有最大梯度计算量的区域辨识而来。平均照光区域的测定是通过使影像过度平滑并将其平均强度与整体影响强度作比较，这些明显低于平均的区域被认为是照光不良且应被排除于分析之外。高频影像信息通过移除一或多个低频影像部份以及抑制一或多个随机的噪音变化以及使其平滑来作计算，多尺度梯度计算法是一个能取得高频影像信息的方法。高频影像信息为影像何时被对焦的一指标，对焦不清楚的影像或区域相较于一对焦清晰的画面会具有较低值的梯度，这些部分会被排除于分析之外。
在本发明另一实施例中，将复数的眼睛影像结合成为多聚焦全光影像的此方法可被运用在专门步进调焦的新眼睛成像装置上，以及/或者运用于可需要或不需要使用者变焦的现存装置。将复数的眼睛影像结合成为多聚焦全光影像的此方法也可通过微距步进来调整装置的焦点以产生一影像组来作运用。
在本发明另一实施例中，将复数的眼睛影像结合成为多聚焦全光影像的此方法运用了各种眼睛成像形式(独自或组合)，其包括不只限制于一或多个裂隙灯固定相机、一或多个裂隙灯复合相机、光学同调断层扫描术(OCT)、特定波长的光学成像、多光谱成像、高光谱成像、自体荧光成像、共焦视网膜成像、扫描雷射检视镜、一或多个适合的光学装置、一或多个取向极化特定装置、一或多个眼底相机、一或多个手持成像器、一或多个直接及间接检视镜、荧光血管造影、靛氰造影(ICG)、姜黄素荧光成像、自体荧光以及其他适合的传统眼睛成像形式以及装置。影像数据组可通过随机或者慎选对焦以及曝光控制择其一来获得，影像数据组是以次像素精准度来自动对位，图像处理是执行于数据组上辨识清楚、曝光良好的数据组部位，并且消除相对不足清晰以及/或者黑暗的数据组或者其他降低成像质量的像差。好的或者适合的影像信息会接着被重组成全光的或者对焦于多种深度的单一影像，以及/或者一电影文件会被创造，其允许用户使用聚焦堆栈或者挑选一区域以对焦的方式来看到他们想看的。“使挑选的影像步进”此词是被定义为改变欲想的焦点位置，“使挑选的影像步进”此词就如同在电影中滚动画面以前进后退一样。使聚焦堆栈步进会牵涉到从收集的连续画面中改变被观看的影像，连续画面的焦点在各个画面之间变动。通过将收集的连续画面的焦点作改变，多焦点连续影像可被形成，每一个影像接着成为物体的光学切片。
在本发明另一实施例中，可使用微透镜数组来收集画面中的光域，使得焦点的分布获取可允许作改变，藉此作多重聚焦堆栈计算。影像是使用一或多个高密度相机传感器(譬如一或多个感光耦合组件或者互补式金属氧化物半导体)，或者是一或多个点线扫描装置来收集。当使用微透镜数组时，影像堆栈的结果相较于影像来源而言具有较低的分辨率。复合的影像平面包含实例中对应对焦平面中的清晰结构，周遭结构中失焦的信息也会污染收集的影像。于本发明一实施例中，将复数的眼睛影像结合成为多聚焦全光影像的方法，其产生了自现存眼睛成像装置取得的一影像数据组。
在本发明另一实施例中，将复数的眼睛影像结合成为多聚焦全光影像的方法可产生复数影像数据组，其是从新眼睛成像装置获得，成像装置是特别设计以藉由步进方式或者多组件微摄镜在不同深度对焦并创造影像，其中微摄镜位于一包含复合影像平面信息的传感器之上。
在本发明另一实施例中，将复数的眼睛影像结合成为多聚焦全光影像的方法是运用在一或多个光学同调断层扫描术的数据组以获得一或多个相对清晰的完整光学同调断层扫描术数据组。
图3为根据本发明一实施例的流程图，其为将复数的眼睛影像结合成为多聚焦全光影像的第一个方法300。
将复数的眼睛影像结合成为多聚焦全光影像的第一个方法300，包含以下步骤：藉由一处理器以及一记忆系统以复数画面将复数眼睛影像对位成为一或多个眼睛影像组310，藉由该处理器以存在于该记忆系统中的一选定参考将一或多个影像组中每一眼睛影像作校正320，在忽略噪声以及其他影像加工的情况下，利用计算一或多个梯度影像测定一或多个眼睛影像的对焦区域330，从该一或多个梯度影像辨识该一或多个最高分辨率的对焦区域340以及在该画面中选择一或多个相对应的对焦强度，以结合成为比该眼睛影像、该画面及该一或多个眼睛影像组更高分辨率的一多聚焦全光影像350。
对位的步骤310是以控制点的一默认值来控制，其中默认值是以用户的观察人工设定或是由处理器自动计算的。处理器利用一图像处理算法来自动计算控制点的默认值，眼睛影像、画面、影像组以及控制点的默认值皆存在于内存系统中。校正的步骤320包含以一或多个高密度相机传感器来收集眼睛影像，一或多个高密度相机是一或多个感光藕合组件传感器(CCD)，或者一或多个高密度相机传感器是一或多个互补式金属氧化物半导体传感器(CMOS)或一或多个点及线扫描装置。测定的步骤330包含眼睛影像从每一眼睛影像接收该一或多个最高分辨率的焦点来作结合。辨认步骤340包含眼睛影像从每一眼睛影像接收最清晰的焦点来作结合，眼睛影像藉由将多重对焦区域作平均，使得眼睛影像被结合以改善一信噪比(SNR)。多聚焦全光影像是以一或多个传统眼睛成像形式或者从群组挑选出的装置产生，群组中含有一或多个裂隙灯固定相机、一或多个裂隙灯复合相机、光学同调断层扫描术、特定波长的光学成像、多光谱成像、高光谱成像、自体荧光成像、共焦视网膜成像、扫描雷射检视镜、一或多个适合的光学装置、一或多个取向极化特定装置、一或多个眼底相机、一或多个手持成像器、一或多个直接及间接检视镜、荧光血管造影、靛氰造影(ICG)以及姜黄素荧光成像或者自体荧光。
选择的步骤350辨识一或多个对焦清楚、照光平均的区域以及获得高频影像信息以将已处理的影像重组成为多聚焦全光影像，复数影像可以是以复数个单一优化画面制成的更大的蒙太其影像。高频影像信息通过移除一或多个低频影像部份以及抑制一或多个随机的噪音变化以及使其平滑来作计算。方法300是通过步进调焦以产生一或多个眼睛影像组来作运用，方法300也通过步进调焦创造了在不同深度对焦的影像。
图4为根据本发明一实施例的流程图，其为将复数的眼睛影像结合成为多聚焦全光影像的第二个方法400。
第二个方法400包含以下步骤：藉由一处理器以及一记忆系统以复数画面将复数眼睛影像对位成为一或多个眼睛影像组，对位是被控制点的一预定数量所控制，眼睛影像是使用一或多个高密度的相机传感器来收集，眼睛影像从每一眼睛影像的一或多个平均照光段接收该一或多个高分辨率的焦点来作结合410，藉由该处理器以存在于该记忆系统中的一选定参考将一或多个影像组中每一眼睛影像作校正420，在忽略噪声以及其他影像加工的情况下，利用计算一或多个梯度影像测定一或多个眼睛影像的对焦区域，一或多个对焦区域要对焦清楚、照光平均以及获得高频影像信息，并且将已处理的影像重组成为该多聚焦全光影像430，从一或多个梯度影像辨识一或多个最高分辨率的对焦区域440，以及在画面中选择一或多个相对应的对焦强度，以结合成为比眼睛影像、画面及一或多个眼睛影像组更高分辨率的一多聚焦全光影像450。
描绘及叙述于图4的将复数的眼睛影像结合成为多聚焦全光影像的第二个方法400，其描述相似于描绘及叙述于图3的将复数的眼睛影像结合成为多聚焦全光影像的第一个方法300，但相较之下，将复数的眼睛影像结合成为多聚焦全光影像的第二个方法400还包含一或多个高密度相机传感器或者一或多个点线扫描装置。此外，一或多个对焦区域要对焦清楚、照光平均，以及借着一频率范围滤波器或者一维纳滤波器获得高频影像信息，并且将已处理的影像重组成为该一或多个影像。
虽然本发明已以较佳实施例揭示如上所述，唯应注意的是，上述诸多实施例仅系为了便于说明而举例而已，本发明所主张的权利范围自应以权利要求所述为准，而非仅限于上述实施例。在不脱离本发明基本架构者，皆应为本专利所主张的权利范围，且其范围应以所附的专利申请范围为准。
Claims (29)
1.一种将复数的眼睛影像结合成为一多聚焦全光影像的方法，包括：
藉由一处理器以及一记忆系统以复数画面将复数眼睛影像对位成为一或多个眼睛影像组；
藉由所述处理器以存在于所述记忆系统中的一选定参考将一或多个影像组中每一眼睛影像作校正；
在忽略噪声以及其他影像加工的情况下，利用计算一或多个梯度影像测定一或多个眼睛影像的对焦区域；
从所述一或多个梯度影像辨识所述一或多个最高分辨率的对焦区域；以及
在所述画面中选择一或多个相对应的对焦强度，以结合成为比所述眼睛影像、所述画面及所述一或多个眼睛影像组更高分辨率的一多聚焦全光影像。
2.根据权利要求1所述的方法，其中所述对位是被控制点的一预定数量所控制。
3.根据权利要求2所述的方法，其中控制点的所述预定数量是以使用者的观察来人工设定的。
4.根据权利要求2所述的方法，其中控制点的所述预定数量是以所述处理器自动计算的。
5.根据权利要求1所述的方法，其中所述眼睛影像、所述画面、控制点的所述预定数量以及所述影像组存在于所述内存系统。
6.根据权利要求1所述的方法，其中所述眼睛影像是使用一或多个高密度的相机传感器来收集。
7.根据权利要求6所述的方法，其中所述一或多个高密度相机传感器是一或多个感光藕合组件传感器。
8.根据权利要求6所述的方法，其中所述一或多个高密度相机传感器是一或多个互补式金属氧化物半导体传感器。
9.根据权利要求1所述的方法，其中所述眼睛影像从每一眼睛影像的一或多个控制点区的量接收所述一或多个最高分辨率的焦点来作结合。
10.根据权利要求1所述的方法，其中所述眼睛影像是通过平均所述复合对焦区域来结合以改善一信噪比。
11.根据权利要求1所述的方法，其中所述多聚焦全光影像是以一或多个传统眼睛成像形式或者从群组挑选出的装置产生，群组中含有一或多个裂隙灯固定相机、一或多个裂隙灯复合相机、光学同调断层扫描术、特定波长的光学成像、多光谱成像、高光谱成像、自体荧光成像、共焦视网膜成像、扫描雷射检视镜、一或多个适合的光学装置、一或多个取向极化特定装置、一或多个眼底相机、一或多个手持成像器、一或多个直接及间接检视镜、荧光血管造影、靛氰造影(ICG)、姜黄素荧光成像、自体荧光。
12.根据权利要求1所述的方法，其中所述方法是通过步进调焦以产生所述一或多个眼睛影像组来作运用。
13.根据权利要求12所述的方法，其中所述方法通过步进调焦创造了在不同深度对焦的影像。
14.根据权利要求1所述的方法，其中所述方法辨识所述一或多个对焦清楚、照光平均以及获得高频影像信息的对焦区域，并且将已处理的影像重组成为所述多聚焦全光影像。
15.根据权利要求14所述的方法，其中所述高频影像信息通过移除一或多个低频影像部分以及抑制一或多个随机的噪音变化并使其平滑来作计算。
16.一种将复数的眼睛影像结合成为一多聚焦全光影像的方法，包括：
藉由一处理器以及一记忆系统以复数画面将复数眼睛影像对位成为一或多个眼睛影像组，所述对位是被控制点的一预定数量所控制，所述眼睛影像是使用一或多个高密度的相机传感器来收集，所述眼睛影像从每一眼睛影像的一或多个平均照光段接收所述一或多个最高分辨率的对焦区域来作结合；
藉由所述处理器以存在于所述记忆系统中的一选定参考将一或多个影像组中每一眼睛影像作校正；
在忽略噪声以及其他影像加工的情况下，利用计算一或多个梯度影像测定一或多个眼睛影像对焦清楚、照光平均以及获得高频影像信息的对焦区域，并且将已处理的影像重组成为所述多聚焦全光影像；
从所述一或多个梯度影像辨识所述一或多个最高分辨率的对焦区域；以及
在所述画面中选择一或多个相对应的对焦强度，以结合成为比所述眼睛影像、所述画面及所述一或多个眼睛影像组更高分辨率的一多聚焦全光影像。
17.根据权利要求16所述的方法，其中控制点的所述预定数量是以使用者的观察来人工设置的。
18.根据权利要求16所述的方法，其中控制点的所述预定数量是以所述处理器自动计算的。
19.根据权利要求16所述的方法，其中所述眼睛影像、所述画面、控制点的所述预定数量以及所述影像组存在于所述内存系统。
20.根据权利要求16所述的方法，其中所述一或多个高密度相机传感器是一或多个感光藕合组件传感器。
21.根据权利要求16所述的方法，其中所述一或多个高密度相机传感器是一或多个互补式金属氧化物半导体传感器。
22.根据权利要求16所述的方法，其中所述眼睛影像通过使用一或多个点及线扫描装置来作收集。
23.根据权利要求16所述的方法，其中所述眼睛影像是通过平均所述一或多个对焦区域来结合以改善一信噪比。
24.根据权利要求16所述的方法，其中所述一或多个对焦区域要对焦清楚、照光平均，以及借着一频率范围滤波器获得高频影像信息，并且将已处理的影像重组成为所述一或多个影像。
25.根据权利要求16所述的方法，其中所述一或多个对焦区域要对焦清楚、照光平均，以及借着一维纳滤波器获得高频影像信息，并且将已处理的影像重组成为所述一或多个影像。
26.根据权利要求16所述的方法，其中所述多聚焦全光影像是以一或多个传统眼睛成像形式或者从群组挑选出的装置产生，群组中含有一或多个裂隙灯固定相机、一或多个裂隙灯复合相机、一或多个眼底相机、光学同调断层扫描术、特定波长的光学成像、多光谱成像、高光谱成像、自体荧光成像、共焦视网膜成像、扫描雷射检视镜、一或多个适合的光学装置、一或多个取向极化特定装置、一或多个眼底相机、一或多个手持成像器、一或多个直接及间接检视镜、荧光血管造影、靛氰造影(ICG)、姜黄素荧光成像、自体荧光。
27.根据权利要求16所述的方法，其中所述方法通过步进调焦以产生所述一或多个眼睛影像组来作运用。
28.根据权利要求27所述的方法，其中所述方法通过步进调焦创造了在不同深度对焦的影像。
29.根据权利要求16所述的方法，其中所述高频影像信息通过移除一或多个低频影像部分以及抑制一或多个随机的噪音变化以及使其平滑来作计算。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201161568851P | 2011-12-09 | 2011-12-09 | |
| US61/568,851 | 2011-12-09 | ||
| PCT/US2012/068646 WO2013086473A1 (en) | 2011-12-09 | 2012-12-08 | Method for combining a plurality of eye images into a plenoptic multifocal image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104203081A true CN104203081A (zh) | 2014-12-10 |
| CN104203081B CN104203081B (zh) | 2016-12-28 |
Family
ID=48574968
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201280069181.2A Active CN104203081B (zh) | 2011-12-09 | 2012-12-08 | 将复数的眼睛影像结合成为多聚焦全光影像的方法 |
Country Status (13)
| Country | Link |
|---|---|
| US (1) | US8814362B2 (zh) |
| EP (1) | EP2787877B1 (zh) |
| JP (1) | JP2015506730A (zh) |
| KR (1) | KR20140105816A (zh) |
| CN (1) | CN104203081B (zh) |
| AU (1) | AU2012347482B2 (zh) |
| BR (1) | BR112014013737B1 (zh) |
| CA (1) | CA2858198C (zh) |
| DK (1) | DK2787877T3 (zh) |
| ES (1) | ES2917892T3 (zh) |
| IL (1) | IL232982B (zh) |
| MX (1) | MX337930B (zh) |
| WO (1) | WO2013086473A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113826376A (zh) * | 2019-05-24 | 2021-12-21 | Oppo广东移动通信有限公司 | 用户设备和斜视校正方法 |
Families Citing this family (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5822485B2 (ja) * | 2011-02-25 | 2015-11-24 | キヤノン株式会社 | 画像処理装置、画像処理方法、画像処理システム、ｓｌｏ装置、およびプログラム |
| WO2013007612A1 (en) | 2011-07-08 | 2013-01-17 | Carl Zeiss Meditec Ag | Light field camera for fundus photography |
| EP3922270A1 (en) | 2011-12-09 | 2021-12-15 | Regents of the University of Minnesota | Hyperspectral imaging for early detection of alzheimer's disease |
| US9016862B2 (en) * | 2012-05-10 | 2015-04-28 | Sonomed Ip Holdings, Inc. | Multimodality correlation of optical coherence tomography using secondary reference images |
| US9456746B2 (en) | 2013-03-15 | 2016-10-04 | Carl Zeiss Meditec, Inc. | Systems and methods for broad line fundus imaging |
| US9215977B2 (en) * | 2013-03-25 | 2015-12-22 | David KOHN BITRAN | Portable device for indirect ophthalmology |
| US9237847B2 (en) | 2014-02-11 | 2016-01-19 | Welch Allyn, Inc. | Ophthalmoscope device |
| US9211064B2 (en) | 2014-02-11 | 2015-12-15 | Welch Allyn, Inc. | Fundus imaging system |
| WO2015162098A1 (en) | 2014-04-24 | 2015-10-29 | Carl Zeiss Meditec, Inc. | Functional vision testing using light field displays |
| WO2016033590A1 (en) | 2014-08-31 | 2016-03-03 | Berestka John | Systems and methods for analyzing the eye |
| CN104287692B (zh) * | 2014-11-06 | 2017-12-19 | 苏州微清医疗器械有限公司 | 一种眼底照相装置 |
| US10582852B2 (en) | 2015-02-05 | 2020-03-10 | Carl Zeiss Meditec Ag | Method and apparatus for reducing scattered light in broad-line fundus imaging |
| US10799115B2 (en) | 2015-02-27 | 2020-10-13 | Welch Allyn, Inc. | Through focus retinal image capturing |
| US11045088B2 (en) | 2015-02-27 | 2021-06-29 | Welch Allyn, Inc. | Through focus retinal image capturing |
| US9967535B2 (en) * | 2015-04-17 | 2018-05-08 | Light Labs Inc. | Methods and apparatus for reducing noise in images |
| US10136804B2 (en) | 2015-07-24 | 2018-11-27 | Welch Allyn, Inc. | Automatic fundus image capture system |
| US10506165B2 (en) | 2015-10-29 | 2019-12-10 | Welch Allyn, Inc. | Concussion screening system |
| US10772495B2 (en) | 2015-11-02 | 2020-09-15 | Welch Allyn, Inc. | Retinal image capturing |
| US10003738B2 (en) | 2015-12-18 | 2018-06-19 | Light Labs Inc. | Methods and apparatus for detecting and/or indicating a blocked sensor or camera module |
| US10413179B2 (en) | 2016-01-07 | 2019-09-17 | Welch Allyn, Inc. | Infrared fundus imaging system |
| CN113520301A (zh) | 2016-03-10 | 2021-10-22 | 明尼苏达大学董事会 | 空间-光谱成像方法和视网膜成像设备 |
| US10602926B2 (en) | 2016-09-29 | 2020-03-31 | Welch Allyn, Inc. | Through focus retinal image capturing |
| US10285589B2 (en) | 2016-09-30 | 2019-05-14 | Welch Allyn, Inc. | Fundus image capture system |
| EP3525659A4 (en) * | 2016-10-13 | 2020-06-17 | Translatum Medicus, Inc. | SYSTEMS AND METHODS FOR DETECTING EYE DISEASES |
| JP7404253B2 (ja) | 2017-11-27 | 2023-12-25 | レティスペック インコーポレイテッド | アルツハイマー病の病状のためのハイパースペクトル画像誘導ラマン眼球撮像装置 |
| US11096574B2 (en) | 2018-05-24 | 2021-08-24 | Welch Allyn, Inc. | Retinal image capturing |
| KR102250688B1 (ko) * | 2018-12-13 | 2021-05-12 | 서울대학교병원 | 안저 영상과 형광안저혈관조영 영상의 정합을 이용한 자동 혈관 분할 장치 및 방법 |
| US20220198630A1 (en) * | 2019-04-19 | 2022-06-23 | Nidek Co. Ltd. | Method of and apparatus for creating an all-in-focus image of a portion of an iridocorneal angle of an eye |
| CN116194950A (zh) * | 2020-09-22 | 2023-05-30 | K莱恩斯有限公司 | 用于创建图像记录的方法 |
| CN116883461B (zh) * | 2023-05-18 | 2024-03-01 | 珠海移科智能科技有限公司 | 一种用于获取清晰文档图像的方法及其终端装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5615278A (en) * | 1989-08-24 | 1997-03-25 | Canon Kabushiki Kaisha | Method and apparatus for image processing by correcting the position of each part of an eye fundus image produced by an optical imaging system |
| CN101015442A (zh) * | 2006-02-08 | 2007-08-15 | 兴和株式会社 | 成像系统 |
| WO2010045564A2 (en) * | 2008-10-16 | 2010-04-22 | Verdooner Steven | Apparatus and method for imaging the eye |
| CN102008289A (zh) * | 2010-12-08 | 2011-04-13 | 苏州六六宏医疗器械有限公司 | 基于自动寻优算法的像差补偿眼底显微镜 |
| WO2011119602A2 (en) * | 2010-03-23 | 2011-09-29 | Steven Verdooner | Apparatus and method for imaging an eye |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3413778B2 (ja) * | 1992-03-26 | 2003-06-09 | ソニー株式会社 | 画像処理装置 |
| JP3956584B2 (ja) * | 2000-06-02 | 2007-08-08 | 株式会社日立製作所 | 全焦点画像合成方法及び装置 |
| JP4863207B2 (ja) * | 2006-07-04 | 2012-01-25 | 国立大学法人愛媛大学 | 眼科装置 |
| JP2012213555A (ja) * | 2011-04-01 | 2012-11-08 | Topcon Corp | 眼底撮影装置 |
| US8888284B2 (en) * | 2011-11-04 | 2014-11-18 | Joshua Noel Hogan | Field of light based device |
-
2012
- 2012-12-08 BR BR112014013737-4A patent/BR112014013737B1/pt active IP Right Grant
- 2012-12-08 DK DK12855019.1T patent/DK2787877T3/da active
- 2012-12-08 WO PCT/US2012/068646 patent/WO2013086473A1/en active Application Filing
- 2012-12-08 CA CA2858198A patent/CA2858198C/en active Active
- 2012-12-08 AU AU2012347482A patent/AU2012347482B2/en active Active
- 2012-12-08 EP EP12855019.1A patent/EP2787877B1/en active Active
- 2012-12-08 JP JP2014546164A patent/JP2015506730A/ja active Pending
- 2012-12-08 ES ES12855019T patent/ES2917892T3/es active Active
- 2012-12-08 CN CN201280069181.2A patent/CN104203081B/zh active Active
- 2012-12-08 MX MX2014006760A patent/MX337930B/es active IP Right Grant
- 2012-12-08 US US13/708,979 patent/US8814362B2/en active Active
- 2012-12-08 KR KR1020147018867A patent/KR20140105816A/ko not_active Application Discontinuation
-
2014
- 2014-06-05 IL IL232982A patent/IL232982B/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5615278A (en) * | 1989-08-24 | 1997-03-25 | Canon Kabushiki Kaisha | Method and apparatus for image processing by correcting the position of each part of an eye fundus image produced by an optical imaging system |
| CN101015442A (zh) * | 2006-02-08 | 2007-08-15 | 兴和株式会社 | 成像系统 |
| WO2010045564A2 (en) * | 2008-10-16 | 2010-04-22 | Verdooner Steven | Apparatus and method for imaging the eye |
| WO2011119602A2 (en) * | 2010-03-23 | 2011-09-29 | Steven Verdooner | Apparatus and method for imaging an eye |
| CN102008289A (zh) * | 2010-12-08 | 2011-04-13 | 苏州六六宏医疗器械有限公司 | 基于自动寻优算法的像差补偿眼底显微镜 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113826376A (zh) * | 2019-05-24 | 2021-12-21 | Oppo广东移动通信有限公司 | 用户设备和斜视校正方法 |
| CN113826376B (zh) * | 2019-05-24 | 2023-08-15 | Oppo广东移动通信有限公司 | 用户设备和斜视校正方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| IL232982B (en) | 2018-08-30 |
| US20130169934A1 (en) | 2013-07-04 |
| BR112014013737A2 (pt) | 2018-09-04 |
| ES2917892T3 (es) | 2022-07-12 |
| MX337930B (es) | 2016-03-28 |
| JP2015506730A (ja) | 2015-03-05 |
| BR112014013737B1 (pt) | 2022-02-08 |
| DK2787877T3 (da) | 2022-06-20 |
| CA2858198A1 (en) | 2013-06-13 |
| AU2012347482B2 (en) | 2017-03-30 |
| EP2787877A4 (en) | 2015-08-12 |
| CA2858198C (en) | 2020-06-30 |
| EP2787877A1 (en) | 2014-10-15 |
| CN104203081B (zh) | 2016-12-28 |
| MX2014006760A (es) | 2015-03-03 |
| EP2787877B1 (en) | 2022-04-06 |
| AU2012347482A1 (en) | 2014-07-10 |
| WO2013086473A1 (en) | 2013-06-13 |
| IL232982A0 (en) | 2014-07-31 |
| US8814362B2 (en) | 2014-08-26 |
| KR20140105816A (ko) | 2014-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104203081B (zh) | 将复数的眼睛影像结合成为多聚焦全光影像的方法 | |
| US20150374233A1 (en) | Visual Problem Diagnosis Using Refractive Parameters Measured With A Retinal Camera | |
| EP3020326B1 (en) | Simultaneous capture of filtered images of the eye | |
| JP2015506730A5 (ja) | 複数の眼の画像を結合してプレノプティック多焦点画像にする方法 | |
| US10327627B2 (en) | Use of plenoptic otoscope data for aiding medical diagnosis | |
| CN111128382B (zh) | 一种人工智能多模成像分析装置 | |
| CN111308690B (zh) | 一种光场电子内窥设备及其成像方法 | |
| KR101894808B1 (ko) | 안과장치 및 안과장치의 제어 방법 | |
| Palmer et al. | Glare-free retinal imaging using a portable light field fundus camera | |
| KR20200126392A (ko) | 플렌옵틱 카메라 시스템을 교정하기 위한 방법 및 시스템 | |
| Moscaritolo et al. | An image based auto-focusing algorithm fordigital fundus photography | |
| CN109091099A (zh) | 双目视觉的高清微型电子内窥镜系统 | |
| KR20140064727A (ko) | Ｏｃｔ 망막층의 아밀로이드-베타 플라크를 식별하는 장치와 방법 | |
| Wolffsohn et al. | Anterior ophthalmic imaging | |
| CA2628007A1 (en) | In vivo spatial measurement of the density and proportions of human visual pigments | |
| Schramm et al. | 3D retinal imaging and measurement using light field technology | |
| Fält et al. | Extending diabetic retinopathy imaging from color to spectra | |
| CN116958412B (zh) | 基于oct图像的眼部三维重建方法及系统 | |
| US20130003016A1 (en) | Calibration device for use with a fundus camera | |
| Coppin | Mathematical modeling of a light field fundus camera and its applications to retinal imaging | |
| Marrugo Hernández | Comprehensive retinal image analysis: image processing and feature extraction techniques oriented to the clinical task | |
| CN111443477A (zh) | 显微镜自动对焦方法、显微镜系统、医疗设备和存储介质 | |
| Shilston | Blur perception: an evaluation of focus measures | |
| CN117398043A (zh) | 一种3d荧光内窥镜、成像方法、装置及调试方法 | |
| Whitaker et al. | Photography of the Optic Nerve |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |