CN113164041A - 用于远程眼科中的视网膜模板匹配的系统和方法 - Google Patents

用于远程眼科中的视网膜模板匹配的系统和方法 Download PDF

Info

Publication number
CN113164041A
CN113164041A CN201980076416.2A CN201980076416A CN113164041A CN 113164041 A CN113164041 A CN 113164041A CN 201980076416 A CN201980076416 A CN 201980076416A CN 113164041 A CN113164041 A CN 113164041A
Authority
CN
China
Prior art keywords
image
template
images
baseline
retinal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980076416.2A
Other languages
English (en)
Inventor
E·J·塞贝尔
C·龚
S·L·布伦顿
N·B·埃里克松
L·特鲁托尤
B·T·朔文格特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Washington
Magic Leap Inc
Original Assignee
University of Washington
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Washington, Magic Leap Inc filed Critical University of Washington
Publication of CN113164041A publication Critical patent/CN113164041A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A61B3/1208—Multiple lens hand-held instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0041—Operational features thereof characterised by display arrangements
    • A61B3/0058—Operational features thereof characterised by display arrangements for multiple images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/76—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries based on eigen-space representations, e.g. from pose or different illumination conditions; Shape manifolds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

视网膜图像模板匹配方法是基于便携式低成本眼底相机(例如，通常集成在智能电话或平板计算机中的消费级相机)捕获的图像与基线图像之间的配准和比较。该方法解决了对利用这种相机所捕获的小且低质量的视网膜模板图像进行配准所带来的挑战。我们的方法将降维方法与基于互信息(MI)的图像配准技术相结合。特别是，使用主成分分析(PCA)和可选的成块PCA作为降维方法，从而将模板图像粗略地定位到基线图像，然后使用所得的位移参数来初始化用于配准模板图像与基线图像的最接近区域的MI度量优化。

Description

用于远程眼科中的视网膜模板匹配的系统和方法
优先权
本申请要求于2018年11月21日提交的美国临时申请序列号62/770,612的优先权权益，其内容通过引用合并于此。
技术领域
本公开涉及用于将眼底的小视场图像与先前获取的宽视场的基线图像进行匹配并配准的系统和方法。基线图像可以采取由眼底相机获取的宽视场眼底图像的形式，基线图像例如是在眼科诊所中发现的类型。替代地，基线图像可以是来自先前获取的拼接(stitch)图像或配准图像的一些或全部眼底的合成图像或镶嵌图像。术语“基线图像”旨在解释为涵盖任何一种情况。
在本文中，使用术语“模板(template)”或者替代地使用“模板图像”来表示要与基线图像匹配并配准的小视场图像。使用“远程眼科(teleophthalmology)”来表示远程监测患者的视网膜健康和视觉性能的实践，即在传统眼科诊所中物理上不存在患者的情况下。可以由患者借助于本公开的便携式眼底相机中的一个眼底相机并且无需他们的眼科医生直接输入来进行监测，或者可以由位于远端的患者和他们的眼科医生使用计算机网络来共享信息和眼底图像。
背景技术
近来，通过诸如在智能电话中发现的消费者级别的相机所获取的眼底图像的能力已经实现了远程眼科。一个人在家中捕获到的眼底图像可以通过计算机网络发送，并由该人的眼科医生进行研究，从而无需该人亲自去眼科诊所就可以监测眼睛的健康状况。此外，新兴的虚拟现实和混合现实领域可以实现用于头戴式眼睛成像和监测的新的远程眼科场景。通过将这些新兴技术与先进的图像处理算法相结合，可以通过对人的日常生活中的视网膜进行成像，来首次提供长期或纵向的健康监测。
这些新型便携式眼底相机(PFC)系统的示例是能够从许多来源商购获得的，或者在文献中进行了描述，包括设计为与智能电话结合的设备。参见，例如，美国专利No.8,836,778，a digital fundus camera product incorporating a smartphone(并入智能电话的数字眼底相机产品)，称为“D-Eye”，请参见https://www.d-eyecare.com，以及RN Maamari等人，Amobile phone-based retinal camera for portable wide field imaging(用于便携式宽视场成像的基于电话的视网膜相机)，British Journal of Ophthalmology(英国眼科杂志)，98(4)：438(2014)。随着其他便携式的基于激光的成像系统正在成为临床眼科成像的主体，它们即将问世，它们是便携式扫描激光检眼镜(PSLO)，请参见美国专利No.6,758,564和便携式光学相干断层扫描(POCT)系统，请参见美国专利No.7,648,242。与使用可见光成像的眼底相机不同，这些基于激光的视网膜成像系统通常使用红外波长的光。此外，增强现实头戴式耳机可以与相机和辅助光学部件相适配以对眼底成像。术语“便携式眼底相机”旨在表示被设计或适配为用于捕获眼底图像的任何便携式(例如，手持或头戴式)设备，并且被解释为涵盖上述的和在以上专利和科学文献中所述的设备。
利用这些低成本且便携式的成像设备，视网膜模板匹配和配准是远程眼科的重要挑战。通过将利用低质量成像设备捕获的模板图像匹配到先前获取的宽视场(FOV)基线图像上，可以定期筛查和比较视网膜变化。当前图像和先前图像之间的变化可以指示疾病的进展或改善或疾病的发作。通常，来自这种低成本设备的图像质量低，通常被定义为具有较小的FOV，因为瞳孔没有在眼科诊所被散瞳(dilate)。此外，较低成本的检测器和较低功率的光源获取具有许多不同质量下降的未经训练的用户的图像。新型便携式视网膜成像设备的这些属性给将视网膜的小FOV图像(即“模板”)与视网膜的大FOV或全景(panoramic)基线图像进行匹配以确定用户健康状况的变化提出了重大挑战。
视网膜图像配准方法可以划分为基于区域(area-based)的方法和基于特征(feature-based)的方法。基于特征的方法优化了视网膜图像中所提取的显著(salient)对象之间的对应关系。参见例如C.V.Stewart等人，“The dual-bootstrap iterativeclosest point algorithm with application to retinal image registration(双引导迭代最近点算法及其在视网膜图像配准中的应用)”，IEEE transactions on medicalimaging(医学成像IEEE汇刊)，第22卷，第11期，第1379-1394页，2003年。通常，分叉(bifurcations)、中央凹和视盘(optic disc)是用于视网膜图像配准的常见特征。小FOV模板包含视网膜上的特定标志(landmark)的可能性很小，因此中央凹和视盘不适用。血管分叉更为普遍，而类似地，模板中的少量分叉不能构成鲁棒配准的基础。此外，在劣质图像中难以提取血管网络。标记分叉时，可能会导致血管方向模糊。在视网膜配准中也实现了基于通用特征点的方法，例如基于SIFT的方法(请参见Y.Wang等人，“Automatic fundus imagesmosaic based on sift feature(基于SIFT特征的自动眼底图像镶嵌)”，图像和信号处理(CISP)，2010年第3届国际会议，第6卷，IEEE，2010年，第2747–2751页；C.-L.Tsai等人，“Theedge-driven dual-bootstrap iterative closest point algorithm for registrationof multimodalfluorescein angiogram sequence(用于配准多峰荧光素血管造影序列的边缘驱动的双引导迭代最近点算法)”，医学成像IEEE汇刊，第29卷，第3期，第636–649页，2010年)，以及基于SURF的方法(G.Wang等人，“Robust point matching method formultimodal retinal image registration(用于多峰视网膜图像配准的稳健点匹配方法)”，Biomedical Signal Processing andControl(生物医学信号处理和控制)，第19卷，第68-76页，(2015年)；C.Hernandez-Matas等人，“Retinal image registration based onkeypoint correspondences,spherical eye modeling and camera pose estimation(基于关键点对应关系、球眼建模和相机姿势估计的视网膜图像配准)”，医学与生物工程学会(EMBC)，2015年IEEE第37届国际会议，IEEE，2015年，第5650–5654页。这些方法可以配准复杂场景中的图像，并且计算效率高。他们假设可以可靠地检测到特征点对并进行匹配以估计变换。尽管在大多数情况下可行，但是在没有足够明显特征的低质量视网膜图像上，该过程可能会失败。
基于区域的方法在相似性度量下匹配图像对的强度差异，例如SSD(平方差之和)K.J.Friston等人，“Spatial registration and normalization of images(图像的空间配准和归一化)”，Human brain mapping(人脑映射)，第3卷，第3期，第165–189页，1995年，CC(交叉相关)(请参见AV Cideciyan，“Registration of ocular fundus images:analgorithm using cross-correlation of triple invariant image descriptors(眼底图像的配准：使用互相关的三元组不变图像描述符的算法)”，IEEE Engineering inMedicine and Biology Magazine(IEEE工程医学与生物学杂志)，第14卷，第1期，第52-58页，1995年)和MI(互信息)(请参见Y.-M.Zhu，“Mutual information-based registrationof temporal and stereo retinal images using constrained optimization(使用约束优化的基于互信息配准时间和立体视网膜图像)”，Computer methods and programs inbiomedicine(生物医学中的计算机方法和程序)，第86卷，第3期，第210–215页，(2007年))，然后通过在变换空间中进行搜索来优化相似性度量。避免像素级别的特征检测，与基于特征的方法相比，这样的方法对质量较差的图像更稳健。但是，具有稀疏特征和相似背景的视网膜图像可能会将优化引入局部极值。另外，当模板和完整图像之间的尺寸差异太大时，利用互信息(MI，如下所述)进行配准可能会在计算上非常昂贵。
具有低质量的小的视网膜模板图像导致均匀的非血管表面，类似于在其他区域中存在的均匀的非血管表面，这使得当前的视网膜图像配准方法不适用。克服视网膜模板匹配中的挑战，在本文中公开了一种用于将来自低成本成像设备的模板图像匹配到基线图像上的方法。该方法是对于利用MI度量的基于区域的方法的改进，因为在对准位置附近实现精确且稳健的模板匹配更为可靠。这也是首次提出视网膜模板匹配方法在远程眼科中用于远程视网膜健康监测。
发明内容
公开了一种视网膜图像模板匹配方法，在本文中被称为“视网膜匹配(RetinaMatch)”，其特别适合于远程视网膜健康监测。本公开的方法尤其可以在由于距离以及旅行的难度和成本而限制了前往诊所和定期眼睛保健的机会的农村地区使用。视网膜监测基于利用便携式低成本眼底相机(PLFC，例如，消费者级相机，诸如结合在智能电话或平板计算机中的相机)远程捕获的图像与基线图像之间的配准和比较。视网膜匹配解决了对于利用这样的相机捕获的小且低质量的视网膜模板图像所带来的挑战。
我们的方法结合了降维方法与基于互信息(MI)的图像配准技术。特别是，将主成分(principle component)分析(PCA)和可选成块PCA用作降维方法，以将模板图像粗略地定位到基线图像，然后使用所得的位移(displacement)参数来初始化用于将模板图像与基线图像的最近区域进行配准的MI度量优化。随着初始化接近最佳位置，用于优化的变换搜索空间显著变窄。
我们还公开了根据一组单独的模板图像来构建全景或镶嵌图像的方法。降维还可以在模板图像镶嵌的过程中实现，这加快了重叠图像块的匹配。另外，使用本文讨论的粗对准方法提出了一种新的图像镶嵌方法。PCA用于确定要拼接的相邻图像，并且将基于MI的配准应用于相邻图像对。
在一个特定实施例中，公开了一种用于监测对象的视网膜的方法。该方法包括以下步骤：(a)获取用便携式眼底相机捕获的视网膜的一组小视场(FOV)(“模板”)图像；(b)针对先前所捕获的视网膜的宽FOV基线图像和模板图像使用降维并使用互信息配准方法以将模板图像配准到基线图像的部分，将模板图像匹配到基线图像进行；以及(c)将被配准的该组模板图像与基线图像进行比较，以检测被配准的该组模板图像与基线图像之间的任何差异，其中任何差异指示视网膜或对象发生状况或状况改变。例如，差异可以指示疾病或状况的进展(例如，恶化或改善)、对象对治疗或疗法的反应，诸如青光眼的眼睛疾病的发作，或者通常在对象中的疾病(诸如糖尿病)的发作或进展。该变化可以是进展的一部分，或者可以独立于任何检测到的趋势或进展。该方法在远程眼科领域中的示例应用将在本文的后面部分进行详细说明。
在另一方面，公开了一种将窄视场模板图像配准到先前获得的宽视场基线图像的计算机实现的方法。如前所述，基线图像可以是例如从眼科诊所中的常规眼底相机获得的单个图像，或者是先前获得的图像的镶嵌图像。该方法包括以下步骤：
(1)将基线图像裁剪为多个较小的偏移目标图像；
(2)应用降维方法将偏移目标图像映射到较低维度空间中的表示；
(3)使用降维方法将模板图像映射到较低维度空间；
(4)在较低维度空间中查找模板图像的对应的最近目标图像；
(5)将模板图像配准到最近目标图像；
(6)基于最近目标图像的位置来识别模板图像在基线图像上的位置；以及
(7)在步骤(6)中识别的位置处，将模板图像配准到基线图像。
在又一方面，设计了一种新颖的便携式眼底相机，其包括相机、耦接到相机用于实现收集眼睛内部的图像的光学设备、处理单元以及存储用于处理单元的指令的存储器，所述指令采用用于执行上一段所阐述的过程的代码的形式。在该实施例中，便携式眼底相机包括用于使模板与基线图像匹配的软件。在一种配置中，相机被结合在智能电话或平板计算机中。在另一种配置中，相机被结合到头戴式虚拟或增强现实单元中。
在另一方面，公开了一种用于根据多个小视场图像来组装宽视场镶嵌图像的方法。该方法包括以下步骤：
(a)使用主成分分析(PCA)将小视场图像X＝X1,X2,...Xn映射到较低维度空间；
(b)对于每个小视场图像Xi：
(1)通过最小化特征距离Δ(Zi,Zj)来查找(一个或多个)最近邻居图像的小视场图像，其中，Zi、Zj表示第i个图像Xi和第j个图像Xj的主成分；以及
(2)计算每个Xi与在步骤(1)中找到的(一个或多个)最近邻居图像之间的互信息(MI)，并将具有最高MI的图像指定为相邻图像；以及
(c)使用基于MI的配准方法对准从步骤(b)(2))确定相邻图像中的至少一些。
附图说明
所附的附图以本公开的当前优选实施例的示例而不是限制的方式来提供。
图1是其中可以实践本公开的特征的远程眼科环境的一个示例的图示。
图2示出了我们的模板匹配方法的概述，包括四个板块或处理步骤：
(a)根据完整/基线图像来创建多个偏移目标图像；
(b)使用PCA创建每个目标图像的低维表示；
(c)执行模板图像的粗略定位：在低维空间中查找最近目标图像；和
(d)基于MI来配准模板与最近目标图像，并将模板图像定位到基线图像上。
图3是表示图2的板块(a)和板块(b)的处理指令序列的流程图。这些处理步骤可以以预计算或“离线”的方式进行，即在图2的板块(c)和板块(d)的模板匹配和配准步骤处理之前进行。
图4是表示图2的板块(c)和板块(d)的处理指令序列的流程图。这些处理步骤可以以“在线”方式进行，即在获取模板图像时。处理步骤可以在获取模板图像的设备(例如，便携式眼底相机，例如，智能电话等)中执行，或者在远程处理单元(例如，从患者用来获取模板图像的设备接收模板图像的眼科诊所中的计算机工作站)中执行。
图5是图4中的成块PCA步骤308的流程图。
图6是用于构造模板图像的镶嵌图(mosic)或全景图的处理指令序列的流程图。
图7是成块PCA的低维表示，示出了使用图5的过程将模板块映射到目标图像块上。每个目标图像的T字典保存图中空心圆圈点的信息。
具体实施方式
本文公开了一种将降维与互信息(MI)相结合的高效且准确的视网膜匹配系统和方法，在此我们将该技术称为视网膜匹配(RetinaMatch)。作为概述，降维将MI优化初始化为粗略的定位过程，这缩小了优化范围(domain)并避免了局部极值(optima)。所公开的系统和方法优于最新的现有模板匹配解决方案。另外，我们公开了一种利用基于区域的配准进行图像镶嵌的系统和方法，提供了一种可以在基于特征的方法失败时使用的稳健方法。据我们所知，这是第一个用于视网膜图像与来自不受约束的视网膜区域的小模板图像的模板匹配技术。
我们的方法是对于利用MI度量的基于区域的匹配方法的改进，因为在对准位置附近实现准确且稳健的模板匹配更为可靠。我们方法的独特之处在于，我们将降维方法与基于MI的配准相结合，以减少局部极值的干扰并提高匹配效率。
在图1中示出了我们的方法在远程眼科环境中监测视网膜的实际应用的示例。对象10具有便携式眼底相机，在该示例中采用具有用于对眼睛成像的辅助装置14(例如，D-eye设备)的智能电话12的形式。对象的眼睛不需要化学上散瞳。对象10将相机12和装置14保持在其眼睛上方，并且捕获一系列小视场图像，也许总共是30或50个。在一个配置中，智能电话12包括处理单元和存储用于实现图2的模板匹配过程(在下面讨论)的指令的存储器。尤其是，智能电话捕获一系列模板图像，将它们配准到电话中存储的基线图像，并进行两者之间的比较从而确定是否存在差异，其中差异可以指示间歇期间视网膜出现状况或发生状况改变。可以例如通过执行比较的模板匹配应用将改变报告给对象10。在基于比较某种状况已经发展或恶化的情况下，对象可以提醒他们的眼科医生和/或经由蜂窝网络16、互联网18将镶嵌的模板图像发送到眼科诊所。眼科诊所包括工作站24，眼科医生可以在该工作站处查看当前获取到的镶嵌图像26以及存储的先前镶嵌图像或基线图像28并进行比较，对特定视网膜特征进行测量等，和协调治疗或者进一步评估该对象。尽管以上描述指示对象10可以是患者，但不一定是这种情况，可以是任何用户，例如，虚拟现实(VR)头戴式耳机的用户，请参见下面的应用部分中的讨论。
还可以设想，可以通过网络16、18将由智能电话12捕获的模板图像发送到眼科诊所中的计算系统22，并且可以在眼科诊所计算系统22中执行图2的处理步骤，包括离线处理步骤(请参见下面的讨论)、模板匹配、以及模板图像与基线图像的配准。当患者10使用的便携式眼底相机具有有限的处理能力时，该配置可能是合适的。便携式眼底相机可以具有直接(例如，使用WIFI)连接到计算机网络以与眼科诊所共享图像的能力，或者可以通过其他方式将图像下载到例如个人计算机或智能电话的其他设备，然后传送到眼科诊所进行处理。
视网膜模板匹配在远程眼科环境中的应用的具体示例将在本文的后面部分进行详细讨论。
考虑到以上描述，本公开的主要方面之一是将降维方法与基于MI的配准一起应用以减少局部极值的干扰并提高匹配效率。
图2示出了以从(a)到(d)的四个板块示出的视网膜模板匹配方法的概述和示意图。在板块(a)中，将宽FOV完整图像或基线图像10采样为或裁剪为许多重叠或偏移的“目标”图像102、104等。箭头106和箭头108表示在X方向和Y方向上发生的目标图像的裁剪或创建，使得虚线所示的完整图像10被裁剪为与图像102和图像104类似的偏移的且较小目标图像。在板块(b)中，使用PCA根据每个目标图像的位置关系，将每个目标图像(图像102A、图像102B、图像102C、图像102D等所示)映射到低维空间Ω2中。点P1、点P2、点P3、点P4示出了图像102A、图像102B、图像102C、图像102D在低维空间中的低维表示。(应当理解，板块(b)仅显示了二维空间，但实际上，根据PCA的实施方式，可以在例如20维的低维空间中进行这些表示。)在板块(c)中，使用PCA(由点112表示)将小视场模板图像110也映射到该空间中，并且查找其最近目标图像(由点P2表示的图像102B)。在板块(d)中，利用互信息(MI)将模板图像110配准到其最近目标图像102B。具体地，在板块(c)中，使用主成分分析(PCA)和成块PCA来粗略地定位模板图像110，然后使用所得的位移参数来初始化用于板块(d)的配准过程的MI度量优化。由粗略定位提供的初始参数在MI度量的收敛域中。随着初始化接近最佳位置，用于优化的变换搜索空间显著变窄。板块(b)和板块(c)中所示的PCA计算采用随机方法进行加速，这提高了粗略定位效率。如板块(d)中所示，使用最近目标图像102B的位置信息将模板110定位或匹配到完整图像或基线图像100上。
对于所捕获的所有模板图像110，重复图2的板块(c)和板块(d)的过程；它们都被配准到其最近目标图像，然后被定位到基线图像上。在针对所有模板图像110完成板块(d)处理之后，然后可以执行所配准的模板图像与基线图像之间的比较。另外，可以将模板图像镶嵌到新的基线图像中，以便在获取到一组后续的模板图像时，可以将它们与从图2的过程的先前迭代而创建的更新后的基线图像进行比较。
当获取完整(或基线)图像时，可以对图2的板块(a)和板块(b)中所示的过程进行预处理，而当实时获取模板图像或者模板图像从远程位置的患者进入诊所时，可以将板块(c)和板块(d)视为“在线”。板块(a)至板块(d)的过程可以全部在用于获取模板图像的便携式眼底相机、智能电话等的处理单元中执行。可替代地，板块(a)至板块(d)的一些或所有处理步骤可以在远程计算平台上进行，诸如如图1所示的眼科诊所中的工作站。图2的示意图描述了不使用成块PCA来查找最近目标图像的改进的方法。图5显示了成块PCA的细节并且下面将详细讨论。
考虑到以上解释，现在将注意力转向图3和图4以及将被更详细地描述的板块(a)至板块(d)的步骤。图3示出了预处理部分的详细步骤200，参考图2中的(a)板块和(b)板块。输入是大FOV的完整图像F(100)，其在步骤202中被分割或裁剪为具有例如10个像素的特定偏移的图像块(目标图像)Ii。在步骤204，对目标图像执行降维处理(例如，PCA)，将它们映射到低维空间(图2的板块(b))，并且输出是F的各块的低维表示Z。PCA用于图像的降维，在低维空间中生成表示。在步骤206，该低维表示被保存在计算机存储器中。
图4示出了用于模板图像的处理步骤300的序列，参考图2中的(c)板块和(d)板块。它们一起形成了模板图像的降维的匹配步骤和使用互信息的配准。该过程具有两个步骤：粗略定位(图2的板块(c)的步骤302和步骤304)和准确配准(图2的板块(d)的步骤308、步骤310和步骤312)。输入是要匹配的模板图像S(110)，在执行步骤312之后，输出是在完整图像F上的映射模板。在步骤302中，将S映射到低维空间。在步骤304，我们在低维空间中查找最近目标表示306。在步骤308，我们使用成块PCA将目标图像区域更新为I**。在步骤310，我们利用MI度量执行S与I**之间的准确配准。在步骤312，我们基于更新的目标图像区域I**的位置来确定模板图像在完整图像F上的位置。在粗略定位中获取S在完整图像上最近目标图像I*，并且图像I*和S具有大的重叠。成块PCA用于将I*更新为完整图像F上的I**，与S的重叠更多。可以基于I**的位置将模板S匹配在F上。
下面阐述了我们所使用的图2的过程的特定实施例。
1.图2的板块(a)：根据完整(基线)图像创建目标图像
我们将完整图像和模板图像分别定义为F和S。完整图像F被分割为目标图像I1,I2,…,IN：
Figure BDA0003074987730000111
函数
Figure BDA0003074987730000112
在bi处根据F裁剪目标图像Ii，并且bi＝[xi，yi，h，w]，其中(xi，yi表示中心位置，(h,w)表示被裁剪的图像的宽度和高度。在x轴和y轴上，邻居目标图像存在特定的位移f。如图2的板块(a)所示，每个目标图像与其邻居有很大的重叠。重叠形成数据的冗余，该冗余可以指示每个图像与其邻居图像之间的位置分布。将降维技术应用于这样的数据，如下所述，我们可以获取所有目标图像的低维分布图。
将目标图像调整大小为向量，并形成矩阵
Figure BDA0003074987730000121
2.图2的板块(b)：利用PCA创建目标图像的低维表示
降维方法允许构建低维摘要(summary)，同时消除数据中的冗余和噪声。为了估计在二维空间中的模板位置，完整图像维度是冗余的，因此我们将降维方法应用于模板粗略定位。
通常，我们可以区分线性和非线性降维技术。最杰出的线性技术PCA。PCA被选作视网膜匹配中的降维方法，因为PCA既简单又通用。具体来说，PCA形成一组新变量，作为输入变量的加权线性组合。考虑矩阵X＝[x1,x2,...,xd]，维数为n×d，其中n表示观察(observation)数量，d是变量数量。此外，我们假设矩阵X是列式平均居中的。PCA的想法是形成一组不相关的新变量(称为主成分)，作为输入变量的线性组合：
zi＝Xwi，(1)
其中，zi是第i个主成分(PC)，而wi是权重向量。第一PC解释了数据的大部分变化，随后的PC以降序(descend order)解释了剩余变化。因此，PCA施加了权重向量正交的约束。此问题可以紧凑地表示为以下最小化：
最小化||X-ZW||F 2
受制于WTW＝I
其中，||.||F是Frobenius范数。将输入数据映射到子空间的权重矩阵W证明是输入矩阵X的右奇异向量。通常需要低阶逼近(low-rank approximation)，例如，我们使用截断权重矩阵Wk＝[w1,w2,...,wk]来计算k个主要PC。k是某个整数，例如20。
PCA通常由奇异值分解(SVD)计算。已经开发出许多算法来流线化体现低维模式的用于高维数据的SVD或PCA的计算，请参见J.N.Kutz等人，“Dynamic mode decomposition:data-driven modeling of complex systems(动态模式分解：复杂系统的数据驱动建模)”，SIAM，2016年，第149卷。特别是，使用随机方法用于线性代数加快了SVD和相关计算的步伐。参见在先的美国临时申请的手稿部分中引用的参考文献24至31。由于我们已经证明了利用少于20个主成分的高性能，因此使用随机SVD来计算主成分，从而提高对于移动设备平台(例如，智能电话、平板计算机)的该视网膜映射应用上的效率。随机算法通过形成输入矩阵的草图(sketch)Y来进行
Y＝XΩ,
其中，Ω是d x l随机测试矩阵，例如具有独立且分布均匀的随机标准正态项。因此，Y的l列形成为输入矩阵的各个列的随机加权线性组合，从而为X的列空间提供了基础。请注意，将l被选择为略大于所需的主成分的数量。接下来，我们使用QR分解Y＝QR来形成正交基础Q。现在，我们使用此基础矩阵将输入数据矩阵投影到低维空间
B＝QTX.。
然后，可以使用维数为l x d的较小矩阵B来高效地计算低阶SVD以及随后的主要主成分。给定SVD为B＝U∑VT，我们获得近似主成分为
Z＝QU∑＝XV。
在此，U和V是左和右奇异向量，Σ的对角元素是对应的奇异值。可以通过其他过采样和幂迭代来控制近似精度。
再次参考图2的板块(b)，在我们的特定实施方式中，我们通过在X上实现PCA来获得目标图像分布的低维分布表示：
Z＝XW，
其中
Figure BDA0003074987730000131
并且l＜＜d。图像空间通过映射W被映射到低维空间Ω2。W和Z被保存在存储器中，我们称之为“字典(dictionary)”D。
重要的是要注意，PCA对数据中的离群值、遮挡和损坏是敏感的。在眼科成像应用中，当对完整图像进行成像时，存在多种潜在的损坏和离群值的来源，包括模糊、未校正的散光、不均匀照明、晶状体不透明造成的眩光、内部反射(例如，来自玻璃体视网膜界面和晶状体)、玻璃体中的瞬态漂浮物、以及相机的拍摄噪声。此外，常常在照明和图像质量之间进行折衷，并且存在强烈的动机来引入患者舒适和健康所需要的尽可能少的光。专门引入稳健主成分分析(RPCA)来解决此问题，将数据矩阵分解为包含低阶相干结构的矩阵与离群值和损坏条目的稀疏矩阵的总和。通常，RPCA比PCA昂贵，需要进行迭代优化将原始矩阵分解为稀疏分量和低阶分量。迭代的每个步骤都与常规PCA一样昂贵，并且通常需要数十次迭代；然而，在我们的过程中，PCA可能被视为离线步骤，因此，这种额外的计算成本是能够管理的。RPCA已成功应用于视网膜成像应用，以提高图像质量。在本工作提供的示例中，数据似乎具有足够少的离群值，因此不必使用RPCA，尽管将RCPA保留为具有离群值和损坏数据的选项非常重要。关于RPCA的更多详细信息包含在我们先前临时申请的手稿部分引用的参考文献中。
3.图2的板块(c)：粗略定位——在低维空间中查找最近目标图像
给定模板S，可以通过识别其最近目标图像来估计粗略位置。图像空间Ω1中最近目标图像也应该是较低维度空间Ω2中S的最近表示。因此，我们获得了Ω2中模板的低维特征zs：
Figure BDA0003074987730000141
其中
Figure BDA0003074987730000142
是模板S的重构向量。令Δ(zs，z)是zs与Z中的特征z之间的欧式距离。z*是源图像S在Ω2中最近目标特征：
z*＝argzminΔ(zs，z)。
相应的目标图像位置用作S的粗略位置。理想情况下，x和y轴上的粗略位置与地面真实情况之间的差异应小于f/2像素。
在我们执行的一项实验中，PCA优于其他非线性降维方法，而误差大于f/2。主要原因是图像降级会产生伪造特征，这些伪造特征会影响最终分类。为了减少局部特征的影响，我们实施成块PCA，以进一步提高粗略定位的准确性。通过计算模板中不同局部块的PCA，可以减少无法正确定位的局部特征的影响。该过程在图5中示出。输入是模板S(110)和来自粗略定位102B的最近目标图像I。为了减小粗略定位中的局部变形的影响，将S和I分别分割成小块(步骤402A、402B)，并且将PCA应用于小块(步骤404、406)。与粗略定位类似，针对每个模板块确定最近目标块(步骤408)。计算所有所选择的目标块的平均位置作为I的新中心位置(步骤410)，并且更新I的新位置(步骤412)。
获取最近目标图像，我们从完整图像在相同位置上裁剪一更大的图像作为新的目标图像I。这样，当两个图像之间的偏移大时，模板可以与新的目标图像有更多的重叠。我们利用裁剪函数
Figure BDA0003074987730000151
将I和模板S分割为小块，其中块大小小于源图像，并且邻居块的轴向位移为f'。类似地，来自I的所有图像块都被映射到具有W'的低维空间Ω3。令Z'表示目标图像分布的低维表示。然后，每个模板块都使用W'映射到该空间。如上所述，利用欧式距离来确定每个模板块的最近目标块。我们对模板的每个区域使用相同的权重进行定位。令bm为所选择的最近目标块的坐标的平均值，然后其表示I上的模板的中心。因此，可以估计完整图像上的模板位置，并将该区域裁剪为图像
Figure BDA0003074987730000152
我们将每个目标图像块在较低维度空间中的表示存储在存储器中，称为“字典”T。然后将准确配准应用于模板S和图像
Figure BDA0003074987730000153
这样，粗略定位为准确配准提供了良好的初始点的估计(图2中的板块(d))。
在所提出的粗略定位的实施方式中，假定存在完整(基线)图像，因此可以预先建立每个目标图像的字典D和字典T。这是预先计算的部分，如图2板块(a)和板块(b)所示。
图7是成块PCA的低维表示，示出了使用图5的过程将模板块(由实心点表示)映射到目标图像块(由空心圆点表示)。每个目标图像的T字典保存图中的空心圆点的信息。
粗略定位的示例处理说明：
1将模板S映射到空间Ω2中：
Figure BDA0003074987730000154
2利用对应的z*确定最近目标图像I：z*＝argminzΔ(zs，z)。z*∈Z。
3将S分割为
Figure BDA0003074987730000155
将I分割为
Figure BDA0003074987730000161
4将目标块
Figure BDA0003074987730000162
映射到空间Ω3中：Z′＝IpW′，其中IP利用向量化的
Figure BDA00030749877300001612
来形成。
5对于每个模板块
Figure BDA0003074987730000163
6(i)将
Figure BDA0003074987730000164
映射到空间Ω3中：
Figure BDA0003074987730000165
7(ii)确定具有索引Idx(i)的其最近目标块
Figure BDA0003074987730000166
8
Figure BDA0003074987730000167
其中bIdx(i)是所选择的目标块
Figure BDA0003074987730000168
的坐标。
9返回定位区域
Figure BDA0003074987730000169
4.图2板块(d)将模板准确地配准并定位到基线上
图2的(d)板块包括两个子步骤：(1)在图2的板块(c)的过程中看到的模板图像与最近目标图像之间的图像配准，以及(2)将模板定位在完整(或基线)图像上。
(1)使用互信息(MI)在模板与最近目标图像之间进行图像配准(图4的步骤310)
在本节中，我们描述了用于多峰(multimodal)图像配准的MI的最大化。我们分别将图像S和
Figure BDA00030749877300001613
定义为模板图像和目标图像。定义了变换u，以将像素位置x∈S映射到
Figure BDA00030749877300001614
中的像素位置。
配准的主要思想是在每个像素位置x处查找变形
Figure BDA00030749877300001615
该变形使被变形的模板图像S(u(x))与目标图像
Figure BDA00030749877300001616
之间的MI最大化。因此，
Figure BDA00030749877300001610
其中，
Figure BDA00030749877300001611
在此，i1和i2分别是S(u(x))和
Figure BDA00030749877300001617
中的图像强度值，p(i1)和p(i2)是它们的边际概率分布，而p(i1，i2)是它们的联合概率分布。概率分布p(i1，i2)反映S(u(x))和
Figure BDA00030749877300001618
中每个像素的灰度(图像强度)值相似的程度；如果像素值相似，则p(i1，i2)的值较高(接近1)，而如果像素值不相似，则p(i1，i2)具有较低的值(接近0)。更详细地，就互信息而言，基于诸如图像之类的离散数据，每个像素具有0至255的灰度值。(尽管本文的示例可以描述将灰度图像用于眼底图像工作，但是实施例不限于此，并且也可以视情况采用彩色图像)。我们首先计算两个图像的联合直方图：联合直方图将为256×256，它计算两个图像中相应像素的灰度数。例如，如果在第一像素中，一个图像的灰度为100，而另一个图像的灰度为120，则联合直方图(100，120)将加一。完成联合直方图后，可以通过归一化联合直方图来获得联合概率p(i1,i2)。然后根据以下公式计算边际概率：
Figure BDA0003074987730000171
(2)将模板定位到完整图像上(图4步骤312)
在该步骤中，按照上面的子步骤(d)(1)，在互信息最大化的情况下准确配准图像S和图像
Figure BDA0003074987730000174
整个图像F上的图像
Figure BDA0003074987730000173
的位置成为模板S的估计位移。在我们的工作中，用于对准的变换u作为仿射变换给出：
Figure BDA0003074987730000172
应当理解，可以例如在接收来自患者的一组模板图像之前离线进行创建目标图像并将它们映射到较低维度空间(图2的板块(a)和(b))的处理。可以将上述图2的板块(c)和板块(d)的处理称为“在线”，是在便携式眼底相机中收集图像或在眼科诊所从患者设备接收图像时执行的。一旦执行了图2的过程，并且模板图像与基线图像匹配，就可以根据模板图像创建整个视网膜的镶嵌图，然后根据比较确定当前视网膜图像镶嵌图与基线图像之间的差异，例如，以便监测对象的健康状况或检查眼病的发作、进展或改善(请参见下面的“应用”部分)。
图像镶嵌
图6示出了基于降维思想的一种新的图像镶嵌方法的概述。给定一系列要拼接的图像(110)，PCA可以将它们映射到低维空间(步骤502)，在该空间中很容易找到具有重叠的接近图像。然后将具有MI度量的图像配准方法迭代地应用于相邻图像对，以拼接所有图像。
如前所述，可以使用许多小模板将完整的视网膜图像拼接成全景图。用户必须在自然不受约束的眼睛位置捕获一系列图像，才能探索视网膜的不同区域。当我们应用基于区域的配准方法时，在配准之前确定相邻图像是有问题的，因为那时它们可能没有有效的用于匹配的描述符。
与所提出的模板匹配方法中的降维相关，在这里，我们介绍下表中示出的步骤，以了解要拼接图像的位置关系。这样，可以高效地识别和配准相邻图像。
对于一系列小图像Xi，我们形成矩阵X。将PCA应用于X，并在Ω2中返回每个图像的低维特征。Ω2中的特征之间的距离指示图像之间的距离。我们在低维空间中查找最近的N个(例如N＝3)目标邻居。图像Xi的最近邻居图像Xj是重叠最大的邻居图像。然后利用基于MI的方法配准图像对。为了提高算法的鲁棒性，首先选择每个图像的前N个最近邻邻居图像来计算MI，然后我们保留具有最大度量值的一个最近邻居图像。上面的过程可以用下面的伪代码表示。
处理说明：图像拼接(参考图6)
1将图像映射到空间Ω2：Z＝XW。(步骤502)
2对于每个图像Xi：
3(i)查找使特征距离Δ(Zi,Zj)最小的最近的N个(例如N＝3)邻居图像Xj。(步骤504)
4(ii)计算每个Xj与Xi之间的互信息并取出MI最高的相邻图像。(步骤506、508)
5全景R镶嵌：利用基于互信息的配准方法来对准所有相邻的图像。(步骤510)
6全景混合(步骤512)
7返回镶嵌的全景图R。(步骤514)
应用领域
我们的模板图像与基线图像匹配和图像镶嵌的方法允许与患者先前获得的眼底图像进行纵向比较。这样的纵向比较在眼科领域中具有多种应用，如下所述。这样的应用是如何可以在远程眼科环境中实践本公开的方法的示例。本文所述的实施例还支持其他适当的应用，包括视网膜模板匹配领域之外的选择。
高血压
在高血压的视网膜症状中，较大的动脉会收缩，静脉血管的直径会增大。眼科医生可以在血管上选择几个检测点。利用根据图1来自患者的捕获图像，我们构建眼底的镶嵌图像，并且可以检测覆盖所选择的检测点的那些图像。然后，可以通过对血管宽度进行测量并将其与患者的先前存储的眼底图像进行比较，来将选择点处的血管宽度与先前状态进行比较。为了更精确地测量血管宽度，我们的图2方法可以与血管分割相结合。通过围绕映射位置进行分割，来获得与每个选择点对应的血管宽度。然后，将血管分割应用于该点周围的非常小的视网膜块，这比宽视场视网膜图像的分割更加稳健和准确。
虐待性头颅创伤
虐待性头颅创伤(ATH)的生物标志物是另一示例。AHT的最常见的视网膜表现是视网膜的多层中的多处视网膜出血。将捕获图像匹配到完整视网膜图像，在减去当前视网膜区域和先前状态之后，可以易于对出血点进行分割。当检测到这样的点时可以自动识别出AHT。该方法允许从利用便携式眼底相机获得的图像中识别AHT。
糖尿病性视网膜病
糖尿病性视网膜病(DR)的明显症状是视网膜出血和渗出液的存在。可以按照AHT筛选的类似过程对其进行监控。
青光眼
青光眼可引起视神经杯增大。我们的匹配方法可以自动选择覆盖视神经的图像。可以轻松实现以下分割，并进行光学杯直径的计算。通过比较来自当前图像与来自先前时间点的图像的计算结果，可以确定视神经杯随时间的增大。
使用视网膜匹配作为通用图像模板匹配方法
除了视网膜图像，视网膜匹配的技术还可以用于其他类型的图像模板匹配任务。请注意，我们的图2方法未使用视网膜的具体特征。相反，我们的方法是粗略定位和基于MI的准确定位的结合。准确定位可以用任何其他现有的图像配准方法来代替，并且粗略定位可以始终减少由小模板尺寸和稀疏图像特征引起的误差。因此，图2的过程通常适用于将小视场图像与先前获得的宽视场图像匹配的问题。
使用视网膜匹配进行相机定位
在具有图像的完整视图的情况下，当将捕获的视场匹配到完整或基线图像上时，我们的图2中的方法可用于相机定位。在由手术机器人进行内窥镜治疗指导的情况下，可以将当前有限大小的FOV匹配到全景图上以进行内窥镜定位。因此，该图像模板匹配技术可用于为机器人手臂和手术工具引导创建更可靠的闭环控制。例如，在配准模板图像之后，可以检查所得的镶嵌图像，例如以将定位手术工具在眼睛中的位置。
增强现实(AR)、眼镜等并且随时间监测变化
视网膜成像系统(例如，具有例如D-eye的辅助成像设备的消费级相机)可以是便携式的，并且进一步可以在集成到例如眼镜或增强现实(AR)、虚拟现实(VR)和/或混合现实(MR)头戴式耳机的情况下被佩戴，允许每天、每周、每月或在用户或眼科医生要求时捕获并且分析一系列图像。这些测量可以是离散的、连续的，但是可以按时间序列进行，并且可以随增加的时间段进行纵向分析。通过使用我们的模板匹配方法，将捕获的小FOV图像与完整的基线视网膜图像进行配准和比较，可以检测到视网膜的变化。
AR、VR和/或MR设备可用于光学扫描视网膜以形成图像，从而获取模板图像。更加务实的是，由于较小的尺寸、较低的成本以及对用户的实用性增加，可以使用眼镜或太阳镜。进入眼睛瞳孔并照射视网膜以形成用户大脑感知的视频速率图像的扫描光束也可以用于获取高对比度结构的图像，例如包含血液的血管系统。
该设备在使用过程中的性能不会发生重大变化，并且可以用作用户眼睛状况的监测器。通过比较一段时间内来自这样的设备的视网膜图像，可以监测用户的光学系统(诸如角膜、人工晶状体、视网膜、和液体环境)的变化，以提醒用户可能的健康状况变化。例如，这些变化可以是渐进的，例如由于白内障形成而增加从晶体或人工晶状体散射的光，或者由于糖尿病性视网膜病导致视网膜的外观和结构变化。另外，在高血压的情况下，随着时间变化的血管尺寸和形状可能发生变化的慢性疾病是另一个例子。诸如视网膜内出血的急性变化可能预示着脑外伤。视网膜图像中结构的数量、大小和形状的相对且可重复的变化可能表明所测量的变化是由于特定疾病类型引起的，而不是AR、VR、MR、眼镜或其他类型的监测设备缓慢或突然改变其成像性能或变得不稳定。
但是，在许多健康的用户中，光学系统会随着时间的推移而不变化。在这种情况下，可以将视网膜的血管系统用作测试目标，以检测光学不对准、聚焦误差、光扫描误差和畸变、照明中的不均匀和颜色不平衡、以及成像系统中的像差。如果例如AR、VR或MR设备的监测设备由于机械冲击、破损、施加的应力、施加的振动、热变化以及光电扰乱或干扰而退化，则可能会发生这种情况。与AR、VR或MR设备发生这些变化之前相比，可以在当前视网膜图像的可测量变化中观察到这些变化。视网膜血管系统图像可用于通过解析高对比度线的特定图案来测量成像系统内图像失真的程度。通过利用强度阈值化和/或分割将视网膜图像或其全景镶嵌图处理为二进制(黑白)高对比度，可以将血管网络制成视网膜测试目标(RetinaTest Target)。
通过在AR、MR或MR设备的性能变化之前和之后测量视网膜测试目标的图像的变化，可以动态地进行成像性能的校准测量。可以将该校准测量传输到本地计算设备或远程位置，用于分析和诊断AR、VR或MR设备的性能变化。此外，当在AR、VR或MR设备内实施纠正措施时可以更新校准测量，该校准测量可以在反馈回路中用作误差信号，以恢复AR、VR或MR设备的最佳性能。由于血液在动脉和静脉中具有独特的光吸收光谱，并且可以确定散射差异，因此应在AR、VR或MR设备使用的可见至近红外波长的光谱范围内执行经校准的成像性能。
注视追踪
如上所述，模板图像的获取以及在基线图像上的配准可以进一步用于确定用户的注视位置。特别是，当用户的注视改变位置时，相机的光轴与中央凹或在眼睛后部的其他结构之间的角度将相应地改变，并且通过测量该角度的偏移，可以确定注视位置。
尽管以上讨论主要针对检测视网膜中的变化并监测眼睛疾病的变化、进展、发生等，但更一般而言，本方法可用于监测本身不是视网膜疾病但可以在视网膜中进行测量的其他状况(例如，糖尿病)。此外，除了检测疾病的发作或恶化之外，我们的方法还可以用于监测视网膜状况的改善，例如，监测治疗或疗法的有效性。
对于本领域技术人员显而易见的是，其他应用当然也是可能的。
我们在先的美国临时申请的手稿部分包括有关我们使用模板匹配方法进行的实验的数据，包括对来自STARE数据集中的一组模拟图像进行验证，以及从D-eye智能电话设备捕获的体内模板图像被匹配到完整的眼底图像和镶嵌的完整图像。有兴趣的读者可以参考临时申请的该部分以获取更多详细信息。
如权利要求中所使用的，术语“头戴式视网膜成像设备”旨在广义地指代由头佩戴或支撑的任何设备，该设备包括检测器或相机以及被设计用于对视网膜成像的相关光学部件，包括但不限于眼镜以及增强、混合或虚拟现实耳机。作为另一个示例，包括使用近红外(NIR)波长的扫描光(来自激光或LED)的显示器的设备也可以是带有快速NIR检测器的相机，并且这一设备可以用作头戴式视网膜成像设备。
本文所示的细节仅是作为示例并且为了说明性讨论本发明的优选实施方案的目的，并且是以提供被认为是对本发明的各种实施例的原理和概念方面的最有用且最容易理解的描述的动机而呈现的。在这一点上，没有试图比本发明的基本理解所需的更详细地示出本发明的结构细节，结合附图和/或示例进行的描述使得对于本领域技术人员而言，本发明的一些形式可以如何在实践中体现是清楚的。
如本文所使用的，除非另有说明，术语“一(a)”和“一(an)”被认为是指“一个”、“至少一个”或“一个或多个”。除非上下文另外要求，否则本文中使用的单数形式应包括复数，并且复数形式应包括单数。除非上下文另有明确要求，否则在整个说明书和权利要求书中，“包括”、“包含”等词语应以包容性含义解释，而不是排他性或穷举性含义；也就是说，在“包括但不限于”的意义上。使用单数或复数的词也分别包括复数和单数。另外，当在本申请中使用时，词语“在此”，“以上”和“以下”以及类似含义的词语整体上是指本申请，而不是本申请的任何特定部分。

Claims (38)

1.一种用于监测对象的视网膜的方法，包括以下步骤：
(a)获取用便携式眼底相机捕获的视网膜的一组小视场FOV(“模板”)图像，
(b)针对先前所捕获的所述视网膜的宽FOV基线图像和所述模板图像使用降维并使用互信息配准方法以将所述模板图像配准到所述基线图像的部分，将所述模板图像匹配到所述基线图像；以及
(c)将被配准的该组模板图像与所述基线图像进行比较，以检测被配准的该组模板图像与所述基线图像之间的任何差异，其中，任何差异指示所述视网膜或所述对象发生状况或状况改变。
2.根据权利要求1所述的方法，其中，在步骤b)中，所述基线图像被裁剪成多个较小的偏移目标图像，所述模板图像中的每一个和所述目标图像中的每一个通过主成分分析被转换为较低维度空间中的表示，并且其中，在匹配步骤b)中，执行粗略定位步骤以在所述较低维度空间中查找所述模板图像中的每一个的最近目标图像，然后使用所述互信息配准方法和所述模板图像在所述基线图像上的位置来配准所述模板图像及其最近目标图像。
3.根据权利要求1或2所述的方法，其中，所述便携式眼底相机选自包括以下设备的组：头戴式视网膜成像设备；眼底相机和一个或多个飞点扫描仪设计，其还包括光学相干断层扫描(OCT)特征；便携式扫描激光检眼镜；包括用于对视网膜成像的相机的特殊用途手持设备；以及被包括在智能电话或平板计算机中的相机，所述智能电话或平板计算机被配置有辅助拍摄眼睛的照片的装置。
4.根据权利要求1至3中的任一项所述的方法，还包括以下步骤：用包括被配准到所述基线图像的模板图像的镶嵌图来更新所述基线图像。
5.根据权利要求1至4中的任一项所述的方法，其中，所述状况选自包括以下医学状况的组：高血压，虐待性头部创伤，糖尿病性视网膜病，以及青光眼。
6.一种用于将窄视场模板图像配准到先前获取的宽视场基线图像的计算机实现的方法，包括以下步骤：
(1)将所述基线图像裁剪成多个较小的偏移目标图像；
(2)应用降维方法以将所述偏移目标图像映射到较低维度空间中的表示；
(3)使用所述降维方法来将所述模板图像映射到所述较低维度空间；
(4)在所述较低维度空间中查找所述模板图像的对应的最近目标图像；
(5)将所述模板图像配准到所述最近目标图像；
(6)基于所述最近目标图像的位置，识别所述模板图像在所述基线图像上的位置；以及
(7)在步骤(6)中所识别的位置处，将所述模板图像配准到所述基线图像。
7.根据权利要求6所述的方法，其中，所述基线图像包括眼底图像。
8.根据权利要求7所述的方法，其中，所述模板图像包括由便携式眼底相机所捕获的图像。
9.根据权利要求8所述的方法，其中，所述便携式眼底相机包括被包含在智能电话或平板计算机中的相机，所述智能电话或平板计算机被配置有辅助拍摄眼睛的照片的装置。
10.根据权利要求9所述的方法，其中，在所述智能电话或平板计算机中的处理单元中执行权利要求6的处理步骤。
11.根据权利要求6所述的方法，其中，步骤(5)中的配准采用互信息过程。
12.根据权利要求6所述的方法，其中，步骤(2)和步骤(3)中的所述降维方法包括主成分分析。
13.根据权利要求6所述的方法，其中，在步骤(4)中，使用成块主成分分析来执行所述查找。
14.根据权利要求7所述的方法，其中，在不对对象的瞳孔进行化学散瞳的情况下获取所述眼底图像。
15.根据权利要求6所述的方法，还包括以下步骤：确定对象的注视位置。
16.根据权利要求6所述的方法，还包括以下步骤：根据被配准的模板图像，定位手术工具在眼睛中的位置。
17.一种便携式眼底相机，包括：
相机，
光学设备，其被耦接到所述相机，促进收集眼睛的内部的图像，
处理单元，以及
存储用于处理单元的指令的存储器，所述指令采用用于执行权利要求6至15中的任一项所述的过程的代码的形式。
18.根据权利要求17所述的便携式眼底相机，其中，所述相机被包括在智能电话或平板计算机中。
19.所述的便携式眼底相机，其中，所述相机被并入在头戴式虚拟或增强现实单元中。
20.一种用于根据多个小视场图像组装宽视场镶嵌图像的方法，包括以下步骤：
(a)使用PCA将所述小视场图像X＝X1,X2,...Xn映射到较低维度空间；
(b)对于每个所述小视场图像Xi：
(1)通过最小化特征距离Δ(Zi,Zj)来查找所述小视场图像的一个或多个最近邻居，其中，Zi、Zj表示第i个图像Xi和第j个图像Xj的主成分；
(2)计算每个Xi与在步骤(1)中找到的一个或多个最近邻居之间的互信息MI，并将具有最高MI的图像指定为相邻图像；以及
(c)使用基于MI的配准方法来对准根据步骤(b)(2)所确定的所述相邻图像中的至少一些。
21.根据权利要求20所述的方法，其中，所述小视场图像包括眼底图像。
22.一种便携式视网膜监测系统，被配置为随时间监测视网膜，以及通过将所捕获的所述视网膜的小视场FOV图像与先前捕获的所述视网膜的宽FOV基线图像进行配准和比较来检测视网膜的变化。
23.根据权利要求22所述的系统，包括便携式眼底相机PFC。
24.根据权利要求22所述的系统，包括头戴式视网膜成像设备。
25.根据权利要求24所述的系统，其中，所述头戴式视网膜成像设备包括眼底相机和一个或多个飞点扫描仪设计，所述眼底相机和一个或多个飞点扫描仪设计还包括光学相干断层扫描(OCT)。
26.根据权利要求22所述的系统，其中，模板匹配包括：将所捕获的所述视网膜的小FOV图像与先前捕获的所述视网膜的宽FOV基线图像进行配准和比较，并且还包括：采用降维的粗略定位，以及使用互信息MI度量的准确配准。
27.根据权利要求26所述的系统，其中，所述模板匹配被配置为匹配不同质量的图像。
28.根据权利要求26所述的系统，还包括降维能力，所述降维能力包括随机奇异值分解以提高主成分分析PCA方法的效率。
29.根据权利要求22所述的系统，其中，所述视网膜图像是通过便携式眼底相机(PFC)获取的。
30.根据权利要求22所述的系统，其中，所述视网膜图像是通过诸如便携式扫描激光检眼镜(PSLO)的光学扫描设备获取的。
31.根据权利要求22所述的系统，其中，所述视网膜图像是通过诸如便携式光学相干断层扫描(POCT)的光学相干测量设备获取的。
32.根据权利要求22所述的系统，其中，通过所捕获的小FOV视网膜图像来更新完整基线视网膜图像。
33.一种图像镶嵌方法，其在匹配相邻图像中使用降维，并使用基于互信息MI的配准方法来配准相邻图像对以进行镶嵌。
34.一种模板匹配方法，其被配置为执行一般图像的模板匹配。
35.一种系统，其包括本文所述和/或所示的一个或多个部件。
36.一种设备，其包括如本文所述和/或所示的一个或多个元件。
37.一种方法，其包括本文所述和/或所示的一个或多个步骤。
38.一种非暂时性计算机可读介质，在其上存储有计算机可执行指令，所述计算机可执行指令在由计算设备的一个或多个处理器执行时使得所述计算设备执行如本文所述和/或所示的一个或多个步骤。
CN201980076416.2A 2018-11-21 2019-11-20 用于远程眼科中的视网膜模板匹配的系统和方法 Pending CN113164041A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862770612P 2018-11-21 2018-11-21
US62/770,612 2018-11-21
PCT/US2019/062327 WO2020106792A1 (en) 2018-11-21 2019-11-20 System and method for retina template matching in teleophthalmology

Publications (1)

Publication Number Publication Date
CN113164041A true CN113164041A (zh) 2021-07-23

Family

ID=70774267

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980076416.2A Pending CN113164041A (zh) 2018-11-21 2019-11-20 用于远程眼科中的视网膜模板匹配的系统和方法

Country Status (5)

Country Link
US (2) US12029487B2 (zh)
EP (1) EP3883455A4 (zh)
JP (1) JP2022507811A (zh)
CN (1) CN113164041A (zh)
WO (1) WO2020106792A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3760966B1 (en) * 2019-07-02 2024-06-26 Topcon Corporation Method of optical coherence tomography imaging and method of processing oct data
EP4264627A1 (en) * 2020-12-17 2023-10-25 Delphinium Clinic Ltd. System for determining one or more characteristics of a user based on an image of their eye using an ar/vr headset
CN115409689B (zh) * 2021-05-28 2023-09-29 南京博视医疗科技有限公司 一种多模态视网膜眼底图像的配准方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020036750A1 (en) * 2000-09-23 2002-03-28 Eberl Heinrich A. System and method for recording the retinal reflex image
US20120229764A1 (en) * 2011-03-10 2012-09-13 Canon Kabushiki Kaisha Ophthalmologic apparatus and control method of the same
US20150110348A1 (en) * 2013-10-22 2015-04-23 Eyenuk, Inc. Systems and methods for automated detection of regions of interest in retinal images
US20170076136A1 (en) * 2014-05-27 2017-03-16 Samsung Electronics Co., Ltd. Image processing method and apparatus

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6009212A (en) * 1996-07-10 1999-12-28 Washington University Method and apparatus for image registration
US6758564B2 (en) 2002-06-14 2004-07-06 Physical Sciences, Inc. Line-scan laser ophthalmoscope
US7758189B2 (en) 2006-04-24 2010-07-20 Physical Sciences, Inc. Stabilized retinal imaging with adaptive optics
EP2345363A1 (en) 2006-05-01 2011-07-20 Physical Sciences, Inc. Hybrid spectral domain optical coherence tomography line scanning laser ophthalmoscope
US8081808B2 (en) 2007-11-08 2011-12-20 Topcon Medical Systems, Inc. Retinal thickness measurement by combined fundus image and three-dimensional optical coherence tomography
US20100080425A1 (en) * 2008-09-29 2010-04-01 Board of regents of the Nevada System of Higher Education, on Behalf of the University of Minutiae-based template synthesis and matching
US8836778B2 (en) 2009-12-04 2014-09-16 Lumetrics, Inc. Portable fundus camera
EP2563206B1 (en) 2010-04-29 2018-08-29 Massachusetts Institute of Technology Method and apparatus for motion correction and image enhancement for optical coherence tomography
US9613258B2 (en) * 2011-02-18 2017-04-04 Iomniscient Pty Ltd Image quality assessment
US9060718B2 (en) * 2012-02-13 2015-06-23 Massachusetts Institute Of Technology Methods and apparatus for retinal imaging
JP2014155694A (ja) * 2013-01-16 2014-08-28 Canon Inc 眼科装置及び眼科方法
JP5930450B2 (ja) * 2013-09-06 2016-06-08 Ｎｅｃソリューションイノベータ株式会社 アノテーション装置及びアノテーションシステム
JP6588462B2 (ja) * 2013-12-23 2019-10-09 アールエスビーブイ，リミティド ライアビリティ カンパニー 広視野網膜画像取得システム及び方法
NZ773844A (en) * 2015-03-16 2022-07-01 Magic Leap Inc Methods and systems for diagnosing and treating health ailments
JP2017104343A (ja) * 2015-12-10 2017-06-15 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
WO2018125812A1 (en) * 2017-01-02 2018-07-05 Gauss Surgical, Inc. Tracking surgical items with prediction of duplicate imaging of items

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020036750A1 (en) * 2000-09-23 2002-03-28 Eberl Heinrich A. System and method for recording the retinal reflex image
US20120229764A1 (en) * 2011-03-10 2012-09-13 Canon Kabushiki Kaisha Ophthalmologic apparatus and control method of the same
US20150110348A1 (en) * 2013-10-22 2015-04-23 Eyenuk, Inc. Systems and methods for automated detection of regions of interest in retinal images
US20170076136A1 (en) * 2014-05-27 2017-03-16 Samsung Electronics Co., Ltd. Image processing method and apparatus

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨帆: "《数字图像处理与分析》", 31 May 2015, 北京航空航天大学出版社, pages: 280 *
范洪冬，邓喀中: "矿区地表沉降监测的DInSAR信息提取方法", 30 June 2018, 中国矿业大学出版社, pages: 58 - 60 *

Also Published As

Publication number Publication date
EP3883455A4 (en) 2022-01-05
JP2022507811A (ja) 2022-01-18
US12029487B2 (en) 2024-07-09
WO2020106792A1 (en) 2020-05-28
EP3883455A1 (en) 2021-09-29
US20220015629A1 (en) 2022-01-20
US20240315553A1 (en) 2024-09-26

Similar Documents

Publication Publication Date Title
US11666250B2 (en) Medical camera assembly comprising range camera and thermographic camera
US10314484B2 (en) Adaptive camera and illuminator eyetracker
US10512395B2 (en) Montaging of wide-field fundus images
US8879801B2 (en) Image-based head position tracking method and system
US12056274B2 (en) Eye tracking device and a method thereof
US11294455B2 (en) Method and device for determining gaze placement, computer readable storage medium
US20150029322A1 (en) Method and computations for calculating an optical axis vector of an imaged eye
US20240315553A1 (en) System and method for retina template matching in teleophthalmology
EP3905943B1 (en) System and method for eye tracking
WO2020110121A1 (en) Systems and methods for anatomy-constrained gaze estimation
EP3243162A1 (en) Gaze detection offset for gaze tracking models
Mestre et al. Robust eye tracking based on multiple corneal reflections for clinical applications
Gong et al. Retinamatch: Efficient template matching of retina images for teleophthalmology
JP7030317B2 (ja) 瞳孔検出装置及び瞳孔検出方法
KR102444768B1 (ko) 안경 렌즈의 국부적 굴절력 및/또는 굴절력 분포를 측정하기 위한 방법 및 장치
Nitschke et al. Corneal Imaging
Brousseau Infrared Model-based Eye-tracking for Smartphones
IL310806A (en) Device for tracking eye movement and method therefor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination