CN115484860A - 超光谱视网膜图像中的阴影的实时检测和校正 - Google Patents

Abstract

一种用于实时检测和校正超光谱视网膜图像中的阴影的方法可以包括：使用处理器捕获接收患者的视网膜的超光谱图像；由处理器检测超光谱图像中的阴影；由处理器确定超光谱图像的阴影超过阈值；以及响应于确定超光谱图像的阴影超过阈值，使用处理器启动患者的视网膜的附加超光谱图像的捕获。还公开了各种其他方法、系统和计算机可读介质。

Description

超光谱视网膜图像中的阴影的实时检测和校正

背景技术

本发明总体上涉及基于计算机的图像分析，并且更具体而言，涉及配置和布置为对超光谱视网膜图像(hyperspectral retinal image)中的阴影进行实时检测和校正的计算机系统。

超光谱传感器可用于捕获特定波长λ(lambda)(例如，900nm至450nm，步长为5nm)的图像帧。每个图像可以代表光谱带(例如，电磁波谱的窄波长范围)，并且这些光谱带可以被组合以形成用于处理和分析的三维(x，y，λ)超光谱数据形状(例如，立方体)。变量x和y可以表示场景的两个空间维度，λ可以表示光谱维度，其可以包括波长范围。

使用超光谱传感器捕获视网膜图像的已知技术存在各种伪影(artefact)，诸如由于不均匀照明(illumination)或瞳孔扩张不足而产生的阴影。阴影导致较差的图像质量，这可能需要对视网膜图像进行阴影校正或重新获取。不幸的是，在由超光谱传感器捕获的视网膜图像中用于阴影检测的传统方法不能实时提供结果。在校正图像中的阴影很困难的情况下，在临床环境中重新获取图像可能非常耗时。

发明内容

根据一个方面，提供了一种计算机实现的方法，包括：使用处理器接收患者的视网膜的超光谱图像；由处理器检测超光谱图像中的阴影；由处理器确定超光谱图像的阴影超过阈值；以及响应于确定超光谱图像的阴影超过阈值，由处理器启动对患者的视网膜的附加超光谱图像的捕获。

根据另一方面，提供了一种系统，包括：存储器；以及与存储器耦合的处理器，该处理器被配置为执行方法，该方法包括：接收患者的视网膜的超光谱图像；检测超光谱图像中的阴影；确定超光谱图像的阴影超过阈值；以及响应于确定超光谱图像的阴影超过阈值，促进图像传感器捕获患者的视网膜的附加超光谱图像。

根据另一方面，提供了一种计算机程序产品，包括其上存储有计算机可执行指令的计算机可读存储介质，当该指令由处理器执行时使处理器执行方法，包括：接收患者的视网膜的超光谱图像；检测超光谱图像中的阴影；确定超光谱图像的阴影超过阈值；以及响应于确定超光谱图像的阴影超过阈值，促进图像传感器捕获患者的视网膜的附加超光谱图像。

根据另一方面，提供了一种计算机实现的方法，包括：使用处理器接收患者的视网膜的超光谱图像；由处理器通过计算超光谱图像的移位向量来检测超光谱图像中的阴影；由处理器确定超光谱图像的移位向量超过阈值；以及响应于确定超光谱图像的移位向量超过阈值，使用处理器启动对患者的视网膜的附加超光谱图像的捕获。

根据另一方面，提供了一种计算机实现的方法，包括：使用处理器接收患者的视网膜的超光谱图像；由处理器配准超光谱图像，以校正超光谱图像之间检测到的眼睛运动；由处理器检测配准的超光谱图像中的阴影；由处理器确定超光谱图像的阴影超过阈值；以及响应于确定超光谱图像的阴影超过阈值，使用处理器启动对患者的视网膜的附加超光谱图像的捕获。

根据本发明的一个或多个实施例，超光谱视网膜图像中的阴影的实时检测和校正方法包括：使用处理器接收患者的视网膜的超光谱图像，通过处理器检测超光谱图像中的阴影，通过处理器确定超光谱图像的阴影超过阈值，以及响应于确定超光谱图像的阴影超过阈值，使用处理器启动患者的视网膜的附加超光谱图像的捕获。标识图像中的阴影和其他伪影使得本文描述的系统和方法能够实时校正和/或重新获取图像，以避免在临床环境中浪费时间，并提高最终图像的准确性。

在本发明的一个或多个实施例中，该方法包括向用户生成警报，警报包括指示由于阴影而需要视网膜的新超光谱图像的消息。检测超光谱图像中的阴影包括计算超光谱图像中的阴影的移位向量。移位向量指示阴影的量和角度。确定超光谱图像的阴影超过阈值包括将移位向量与阈值进行比较。

在本发明的一个或多个实施例中，该方法包括由处理器检测超光谱图像中的视网膜的视场(FOV)和视盘(OD)，由处理器使用超光谱图像中的视网膜的FOV和OD计算软遮罩，由处理器使用软遮罩和超光谱图像计算第一重心，由处理器归一化超光谱图像，由处理器将张量应用到归一化的超光谱图像，由处理器使用具有应用的张量的归一化的超光谱图像来计算第二重心，以及由处理器使用第一重心和第二重心来生成移位向量。在一些示例中，该方法包括由处理器检测附加超光谱图像中的第二阴影，由处理器确定附加超光谱图像的第二阴影没有超过阈值，以及响应于确定附加超光谱图像的第二阴影没有超过阈值，由处理器传输超光谱图像和附加超光谱图像，其中超光谱图像包括阴影和移位向量的值的重叠(overlay)。

在本发明的一个或多个实施例中，技术方案也可通过系统、计算机程序产品、装置、机器、设备或其他实际应用来实现。

此外，在本发明的一个或多个实施例中，超光谱视网膜图像中的阴影的实时检测和校正方法包括，使用处理器接收患者的视网膜的超光谱图像，通过计算超光谱图像的移位向量，由处理器检测超光谱图像中的阴影，由处理器确定超光谱图像的移位向量超过阈值，以及响应于确定超光谱图像的移位向量超过阈值，促进图像传感器捕获患者的视网膜的附加超光谱图像。移位向量指示阴影的量和角度。标识图像中的阴影和其他伪影减少了临床环境中耗时的图像重新获取，并增加了最终图像的准确性。

此外，在本发明的一个或多个实施例中，超光谱视网膜图像中的阴影的实时检测和校正方法包括：使用处理器接收患者的视网膜的超光谱图像，由处理器记录超光谱图像，以校正超光谱图像之间检测到的眼睛运动，由处理器检测记录的超光谱图像中的阴影，由处理器确定超光谱图像的阴影超过阈值，以及响应于确定超光谱图像的阴影超过阈值，促进图像传感器捕获患者的视网膜的附加超光谱图像。检测超光谱图像中的阴影包括计算超光谱图像中的阴影的移位向量。捕获图像中差图像质量的实时标识使得本文描述的系统和方法能够在临床环境中快速校正和/或要求图像。

通过本发明的技术实现了其他技术特征和益处。本文详细描述了本公开的实施例和方面，并将其视为所要求保护的主题的一部分。为了更好地理解，请参考详细描述和附图。

附图说明

现在将仅通过示例的方式，参照以下附图，描述本发明的优选实施例：

图1A示出了根据本公开的一个或多个实施例的由超光谱传感器捕获的示例视网膜图像；

图1B示出了根据本公开的一个或多个实施例的由超光谱传感器捕获的示例视网膜图像；

图2是示出根据本公开的一个或多个示例实施例的超光谱图像中的实时阴影检测和校正的示意性混合数据流/框图；

图3是示出根据本公开的一个或多个示例实施例的超光谱视网膜图像中的阴影检测的示意性混合数据流/框图；

图4A是根据本公开的一个或多个实施例的显示在超光谱视网膜图像中的阴影检测期间生成的软遮罩的示例视网膜图像；

图4B是根据本公开的一个或多个实施例的显示在超光谱视网膜图像中的阴影检测期间生成的软遮罩的重心的示例视网膜图像；

图5A是根据本公开的一个或多个实施例的用阴影检测期间生成的软遮罩加权的示例视网膜图像

图5B是根据本公开的一个或多个实施例的具有在阴影检测期间生成的数据的重叠的示例视网膜图像；

图6是根据本公开的一个或多个示例实施例的用于检测和校正超光谱视网膜图像中的阴影的说明性方法的过程流程图；以及

图7描绘了根据本公开的一个或多个实施例的计算机系统。

本文描述的图表是说明性的。在不脱离本公开的精神的情况下，可以对图或其中描述的操作进行许多变化。例如，可以以不同的顺序执行动作，或者可以添加、删除或修改动作。此外，术语“耦合”及其变体描述了在两个元件之间具有通信路径，并不意味着元件之间的直接连接，它们之间没有中间元件/连接。所有这些变化都被认为是规范的一部分。

具体实施方式

本发明的示例性实施例涉及超光谱图像中实时阴影检测和校正的设备、系统、方法、计算机可读介质、技术和方法。超光谱成像设备包括超光谱图像传感器和用于促进图像存储、处理和可视化的处理器。图像传感器捕获不同波长的图像帧，并且所得数据可以是帧的有序集合。

使用超光谱成像设备捕获视网膜图像会产生包含各种伪影的图像，例如因照明不均匀或患者瞳孔扩张不足而产生的阴影。视网膜图像中的阴影的存在会导致较差的图像质量，这使得所捕获的视网膜图像必须被拒绝，并且需要被重新获取和/或校正所捕获图像的阴影。用于阴影检测的传统方法很慢(例如，非实时)，这使得在临床环境中重新获取图像很耗时。此外，传统方法没有提供用于实时校正在超光谱视网膜图像中检测到的阴影的现成工具。

本文所述的系统和方法针对实时阴影检测，用于触发图像的实时重新获取，所述图像因检测到图像中的阴影导致质量不佳而被视为不充分。用于图像重新获取的传统方法可能需要几秒钟，并且阴影检测需要附加时间，这增加了临床环境中的时间负担。实时阴影检测(和校正)和图像的重新获取减少了获得准确和可靠图像所需的时间，这转化为总体成本的节约。此外，由于可以在更短的时间内捕获更多更高质量的图像，医生和技术人员可以做出更准确的诊断，从而改善患者的预后。此外，该系统可以利用新获取的图像提供在阴影检测期间生成的附加信息(例如，用于阴影校正的角度和移位)，这提供了上下文并用于使用图像更准确地进行诊断。该系统可以检测阴影和/或由于图像伪影而具有与视网膜不同亮度的其他图像区域，诸如视盘(optic disc)或其他视网膜器官。

在一些示例性实例中，超光谱成像设备的超光谱相机或图像传感器捕获患者的视网膜的图像。图像被配准(例如，对准)以校正扫描之间的眼睛运动。然后，系统处理配准的图像，并检测视网膜的视野(FOV)和视网膜特征，诸如视网膜的视盘(OD)。使用FOV和检测到的视网膜特征，系统计算和/或生成软遮罩(soft mask)。软遮罩是用于模糊图像特征的权重张量，以确保图像中的阴影的精确检测的准确性。软遮罩用于获得超光谱图像的移位向量。移位向量包括至少两个值，其指示在超光谱图像中检测到的阴影的量和方向(例如，角度)。超光谱图像的阴影校正是通过对软遮罩下的图像像素进行加权来执行的，如由移位向量所指示。该系统使用移位向量来确定是否重新获取超光谱图像。例如，系统将移位向量的值与预定阈值进行比较。如果移位向量的值超过预定阈值，则自动获取新图像。在获取新图像时，原始图像和新图像被呈现给医生或技术人员。在一些实施例中，在将图像呈现给医生或技术人员之前，可以用呈现阴影检测期间生成的数据(例如，移位向量、视网膜特征等)的重叠图来增强原始图像。

尽管在捕获视网膜图像的上下文中进行了描述，但本文所述的系统和方法适用于利用超光谱成像的任何设备、场景和/或领域，且由于初始捕获图像的伪影或质量问题，需要重新获取图像。

现在参考图1A，根据本发明的一个或多个实施例，描绘了由超光谱传感器捕获的示例视网膜图像100。该图像描绘了视网膜超光谱图像中的单帧。在超光谱视网膜图像中存在一个或多个伪影，诸如阴影110。阴影可能是患者的瞳孔照明不均匀和/或瞳孔扩张不足的结果。图1B描绘了显示患者的视网膜的视野(FOV)170和视盘(OD)160的示例性视网膜图像150。在一些实施例中，FOV 170是指在特定位置和方向通过超光谱相机或传感器可见的视网膜部分。FOV 170之外的物体在视网膜成像中没有被捕获。OD 160是指眼睛中的小盲点，它是视网膜神经节细胞的轴突聚集的点。OD 160作为视网膜图像中的亮点出现。

图2为示意性混合数据流/框图，示出了根据本发明的一个或多个示例性实施例的成像设备中的超光谱图像的实时阴影检测和校正的数据流200。在一些示例中，成像设备205的图像传感器210可以用于捕获患者230的视网膜的图像100。图像传感器210可以是能够捕获视网膜图像100的任何类型的成像设备。图像传感器210的示例包括用于视网膜成像的超光谱设备或相机。超光谱相机捕获特定波长(例如，900nm到450nm，步长为5nm)的图像帧，并且所得数据是用于处理和分析的帧的有序集合或三维(x，y，λ)超光谱数据形状，其中x和y表示场景的两个空间维度，λ表示光谱维度，其包括波长范围。成像设备205的示例是用于视网膜成像的超光谱设备，诸如代谢超光谱视网膜相机(MHRC)，其包括图像传感器210和用于图像存储、处理和可视化的处理器。尽管图像传感器210被描绘为成像设备205的集成组件，但是在一些实施例中，图像传感器210是与成像设备205通信的外部组件。

由图像传感器210捕获的图像传输至与成像设备205的物理处理器215耦合的阴影检测模块220。物理处理器215通常可以表示能够解释和/或执行计算机可读指令的任何类型或形式的硬件实现的处理单元。在一个示例中，物理处理器215访问和/或修改存储在存储器中的一个或多个模块(例如，阴影检测模块220和/或图像管理模块225)。附加地或替代地，物理处理器215执行一个或多个模块来执行超光谱图像中的实时阴影检测和校正。物理处理器215的示例包括但不限于微处理器、微控制器、中央处理单元(CPU)、图形处理单元(GPU)、实现软核处理器的现场可编程门阵列(FPGA)、专用集成电路(ASIC)、一个或多个这些部件的部分、一个或多个这些部件的变型或组合、或者任何其他合适的物理处理器。

阴影检测模块220对图像传感器210捕获的图像进行处理，以实时检测图像中的阴影。在一些示例中，阴影检测模块220检测图像中的阴影110，并将与阴影110相关联的数据传输到成像设备205的图像管理模块225。与处理器215耦合的图像管理模块225，将与阴影110相关联的数据与预定阈值进行比较。在一些示例中，预定阈值由成像设备205的用户手动设置，或者可以基于用户(诸如技术人员或医生240)在使用成像设备205时的先前动作来动态设置和/或调整。如果图像管理模块225确定与检测到的阴影110相关联的数据超过预定阈值，则图像管理模块225实时触发动作。动作的示例包括但不限于，自动促进患者230的视网膜的超光谱图像的重新获取，以及警告技术人员或医生240由于阴影引起的图像中检测到的质量不足，需要获得新图像。在一些示例中，该动作包括在启动图像的重新获取之前警告技术人员或医生240，并请求确认继续进行重新获取。

响应于图像管理模块225因在超光谱图像中检测到阴影而触发实时动作，处理器215启动图像传感器210以捕获患者230视网膜的新超光谱图像。图像被传输到阴影检测模块220进行处理。图像管理模块225接收阴影检测模块220针对在患者230的视网膜的新超光谱图像中检测到的任何阴影生成的数据，并且确定与新超光谱图像中检测到的阴影相关联的数据没有超过预定阈值。图像管理模块225将患者230的视网膜的原始超光谱图像和新超光谱图像传输给医生240。在一些示例中，用与阴影相关联的信息(例如，在图像中检测到的阴影的位置和/或量)来增强原始超光谱图像。

成像设备205可执行多次重复的图像重新获取，以获得满意的图像(例如，不超过阈值)传输给医生240。在一些示例中，成像设备205具有限制图像重新获取的迭代次数的限制(例如，手动设置和/或自动确定)。在达到限制并且没有捕获到满意的图像时，图像管理模块225可以生成并向医生240发送不能捕获到满意的图像的消息。该消息可以包括获取图像的尝试次数的指示、一组或多组先前获取的图像、和/或图像质量差或不足的可能原因。

在一些实例中，由成像设备205捕获的图像存储在数据存储装置中，该数据存储装置位于成像设备205的本地和/或成像设备205的外部(例如，云存储装置、远程存储设备等)。

图3是示出超光谱视网膜图像中的阴影检测的过程300的示意性混合数据流/框图。根据本发明的实施例，过程300由基于计算机的系统执行，包括例如数据流200(如图2所示)。在框302，诸如成像设备205的视网膜成像设备的诸如图像传感器210的图像传感器捕获患者230的视网膜的超光谱图像。捕获的图像可以在不同的波长处拍摄，并存储为有序的帧的集合。在框304，配准捕获的图像。例如，捕获的图像由阴影检测模块220配准。例如，图像被配准以校正视网膜的扫描之间的眼睛运动。使用任何已知的用于配准超光谱图像的技术和/或算法来配准图像。在一些示例中，图像的配准可以包括使用包含在图像中的空间信息和在不同波长拍摄图像时的光谱信息来对准超光谱图像的帧。在框306，阴影检测模块220处理配准的图像，并检测图像的不同分量，诸如图像的FOV 170，以及图像中的视网膜特征，诸如OD 160。

现参考框308，阴影检测模块220可以计算图像的软遮罩。使用检测到的FOV 170和OD 160或其他相关视网膜器官来计算软遮罩。软遮罩是权重张量，其可用于模糊图像的检测到的分量，这些分量可能阻碍或以其他方式负面影响图像用于诊断目的。在框310，阴影检测模块220使用软遮罩来计算软遮罩的重心。在一些示例中，可以通过使用任何已知的技术或算法来计算图像或组件(例如软遮罩)的重心，从而计算软遮罩的重心。例如，可以通过对计算出的软遮罩执行计算来计算软遮罩的重心，诸如逐行和逐列平均软遮罩。

现在参考框312，阴影检测模块220对来自框304的配准的图像进行归一化。在一些实施例中，阴影检测模块220将来自框304的配准的图像逐元素地乘以来自框308的计算出的软遮罩，然后逐帧地归一化图像(例如，帧总和的加权的像素等于1)。在框314，将一个或多个张量应用到来自框312的归一化的图像。例如，来自框312的加权(具有软遮罩)和归一化的图像与行和列坐标张量逐元素相乘。在框316，具有应用的张量的图像被用于计算加权的图像内的重心。任何已知的用于计算重心的技术或算法都可以应用到加权的图像以导出重心。在框318，可以计算移位向量。在一些示例中，来自框316的重心和来自框310的重心用于计算移位向量。通过计算软遮罩的重心和加权的图像的重心之间的元素差异(element-wise difference)来计算移位向量。

移位向量包括至少两个值。在一些示例中，移位值包括指示图像中的阴影的量的长度值。移位向量还包括指示阴影在图像中的位置的方向(例如，角度)值。在一些示例中，阴影检测模块220使用移位向量，诸如在框318计算的移位向量，来检测图像中的阴影。通过将移位向量的长度值与建立的预定阈值进行比较来执行阴影检测。阴影检测模块220通过如移位向量所指示地移位环形权重遮罩(例如，直径与FOV 170相同)并将图像帧乘以权重遮罩来执行阴影校正。

现在参考图4A，超光谱视网膜图像中的阴影检测期间生成的软遮罩400。软遮罩400是由阴影检测模块220使用从超光谱图像获得的数据(例如，FOV和/或OD测量)生成的权重张量，并用于阴影校正。软遮罩400用于模糊视网膜的伪影和特征，这些伪影和特征可能阻碍或者负面影响图像用于诊断目的。例如，分量410是软遮罩400的一部分，其被生成以模糊在原始超光谱图像中检测到的OD 160，而分量415是软遮罩400的一部分，其被生成以模糊在原始超光谱图像中检测到的阴影110。图4B描绘了显示由阴影检测模块220计算的软遮罩400的重心460的图像450。软遮罩的重心460用于计算移位向量，图像管理模块225使用该移位向量来确定是否重新获取患者230的视网膜的新超光谱图像。

现在参考图5A，描绘了由图像传感器210捕获的超光谱图像集合的图像(或帧)500。如图3所示，用阴影检测模块220计算的软遮罩400对图像500进行加权或校正。图5B是来自患者230的视网膜的超光谱图像的图像或帧550。图像550包括由阴影检测模块220生成的信息的重叠。例如，图像550包括软遮罩重心460、加权的图像重心560和指示原始超光谱图像中的阴影的大小和方向的移位向量570。该信息被提供给医生240或技术人员，以帮助他们将图像用于诊断目的。

现在描述根据本发明的示例性实施例的说明性方法和用于执行该方法的对应的数据结构(例如，模块、单元和其他此类组件)。应当注意，图6中描述的方法600的每个操作由这里描述的一个或多个模块等执行。这些模块可以在这里描述的硬件、软件和/或固件的任意组合中实现。在某些示例实施例中，这些模块中的一个或多个可以至少部分地实现为包括计算机可执行指令的软件和/或固件模块，这些指令在由处理电路执行时导致一个或多个操作被执行。这里描述的被配置为实现示例实施例的系统或设备可以包括一个或多个处理电路，每个处理电路可以包括一个或多个处理单元或节点。计算机可执行指令可以包括计算机可执行程序代码，当由处理单元执行时，可以使得包含在计算机可执行程序代码中或由计算机可执行程序代码引用的输入数据被访问和处理以产生输出数据。

图6是用于在超光谱图像中提供实时阴影检测和校正的示例计算机实现方法600的流程图。图6所示的步骤可以由任何合适的计算机可执行代码和/或计算系统来执行。在一个示例中，图6中所示的每个步骤可以表示算法，其结构包括多个子步骤和/或由多个子步骤表示，其示例将在下面更详细地提供。

如图6所示，在步骤602，本文所述的一个或多个系统接收患者的视网膜的超光谱图像。这里描述的系统可以以任何合适的方式执行步骤602。例如，成像设备205的图像传感器210捕获患者的视网膜的超光谱图像。如本文所讨论的，图像传感器210可以是能够在不同波长拍摄图像的任何类型的超光谱传感器，其可以被组合以形成用于处理和分析的三维(x，y，λ)超光谱数据形状，其中x和y表示场景的两个空间维度，λ表示光谱维度，其包括波长范围。

在步骤604，本文所述的一个或多个系统检测超光谱图像中的阴影。这里描述的系统可以以任何合适的方式执行步骤604。例如，成像设备205的阴影检测模块220检测由图像传感器210捕获的超光谱图像中的阴影110。

在一些示例中，在步骤602捕获的超光谱图像的帧被配准。阴影检测模块220执行或促进捕获的图像的配准(例如，对准)。配准图像以校正和/或补偿帧中的变化，诸如用于校正扫描之间患者的眼睛运动。使用配准的图像，阴影检测模块220处理图像以检测和标识不同的分量和视网膜特征，诸如图像的FOV 170、视网膜的OD 160等。

在一些示例中，阴影检测模块220使用从图像中标识的组件和特征计算软遮罩400。软遮罩400是用于可以妨碍精确诊断或导致图像质量差的模糊图像的特征权重张量。

如图3所述，使用计算出的软遮罩400，阴影检测模块220计算软遮罩的重心460。阴影检测模块然后将软遮罩和配准的图像逐元素相乘，然后逐帧对图像进行归一化。阴影检测模块220将一个或多个张量应用到归一化的和加权的图像，并使用所得图像来计算加权的归一化的图像的重心560。阴影检测模块220然后使用加权的、归一化的图像的重心560和软遮罩400的重心460来计算或生成移位向量570。移位向量570包括至少两个值，长度和角度。长度指示阴影的量，而移位向量的角度指示图像中的阴影110的位置。

在步骤606，本文所述的一个或多个系统确定超光谱图像的阴影超过阈值。这里描述的系统可以以任何合适的方式执行步骤606。例如，成像设备205的图像管理模块225确定超光谱图像的阴影110超过阈值。

在一些示例中，图像管理模块225接收阴影检测模块220计算的移位向量570。图像管理模块225将移位向量的至少一个值(诸如长度值)与标识的阈值进行比较。在一些示例中，阈值可以由技术人员或医生使用成像设备205手动输入。该阈值可以是存储在与使用该设备的技术人员或医生相关联的简档(profile)中的值，并且可以因人而异。阈值可以是应用到由成像设备205捕获的所有图像的全局值。在一些示例中，阈值可以包括多个分量。阈值可以是有条件的或多部分的阈值，其可以为不同的值指定不同的动作。例如，阈值可以指示如果移位向量值落在第一范围内，则可以应用阴影校正，并且如果移位向量值落在第二范围内，则需要获取新图像。

在步骤608，本文所述的一个或多个系统可启动患者的视网膜的附加超光谱图像的捕获。这里描述的系统可以以任何合适的方式执行步骤608。例如，响应于确定超光谱图像的阴影超过阈值，成像设备205的图像管理模块225可以促进捕获患者的视网膜的附加超光谱图像。

在一些示例中，图像管理模块225确定移位向量值未超过阈值，在这种情况下，图像传输至医生，无需进一步处理或任何附加动作。

在一些实例中，图像管理模块225确定移位向量的长度值落在需要阴影校正的阈值范围内，图像管理模块225促进图像的阴影校正。在一些示例中，阴影校正是通过移位由移位向量指示的环形加权的软遮罩(例如，直径与FOV相同)并将图像帧乘以加权的遮罩来执行的。阴影检测模块220随后处理阴影校正的图像，以计算新移位向量。图像管理模块225使用来自新移位向量的值来确定阴影校正的图像是否足以传输给医生，或者是否需要获取新图像而不管阴影校正。

在一些实例中，如果移位向量的值超过阈值或落在阈值范围内，表明需要获取新图像，则图像管理模块225向技术人员或医生发出信息，表明需要新图像，并请求关于是否获取新图像的指示。成像设备205接收来自技术人员或医生的指示。如果指示是不获取新图像，则将原始图像传输给技术人员或医生，并附上指示推荐新图像的说明。在一些示例中，如果该指示是获取新图像，则图像管理模块225响应于从用户接收到该指示，促进获取和处理新图像的新迭代。

在一些示例中，图像管理模块225确定移位向量的长度值超过预定阈值或落在指示需要获取新图像的阈值范围内。图像管理模块225自动启动图像的重新获取(例如，促进图像传感器210获取新图像)。图像管理模块225还生成并向医生或技术人员发送警报，指示正在获取新图像。该警报指示获取新图像的原因。新图像然后由阴影检测模块220处理，阴影检测模块220为新获取的图像生成新移位向量。图像管理模块225使用新移位向量来确定新获取的图像是否具有足够的质量以传输给医生或技术人员，或者是否需要再次获取图像。

如果新图像是满意的(例如，未超过阈值)，则将新图像传输给医生或技术人员。在一些示例中，旧图像也被传输给医生或技术人员。旧图像以它们的原始状态被传输和/或可以用阴影检测模块220生成的数据来增强，所述数据诸如移位向量、标识的分量(例如，FOV、OD等)、阴影的位置和大小、软遮罩的重心、加权的归一化的图像的重心等。该附加数据为医生或技术人员提供了附加上下文，以用于诊断目的的图像。

在一些实例中，本文所述的系统和方法执行图像获取和处理的多次迭代，以捕获满意的图像。成像设备利用限制来限制该过程的迭代次数，以避免过度加重系统负担和浪费时间。该限制可以由成像设备205的用户手动设置，或者可以基于图像质量动态确定。例如，如果对于一定数量的图像获取，每组获取的图像的移位向量保持在标识的范围内，则系统可以确定此时不能捕获满意的图像。图像管理模块225向医生或技术人员生成指示不推荐图像重新获取的消息。该消息指示重新获取的尝试次数和指示图像质量差的数据。在一些示例中，该消息包括先前捕获的图像或先前捕获的图像的子集，和/或包括访问这种数据的链接，这种数据可以存储在数据存储装置中，在成像设备205本地或远程存储。

在一些示例实施例中，一种超光谱视网膜图像中的阴影的实时检测和校正方法包括：使用处理器接收患者的视网膜的超光谱图像；由处理器通过计算超光谱图像的移位向量来检测超光谱图像中的阴影；由处理器确定超光谱图像的移位向量超过阈值；以及响应于确定超光谱图像的移位向量超过阈值，由处理器促进图像传感器捕获患者的视网膜的附加超光谱图像。移位向量包括阴影的长度和阴影的角度。

在另一个示例性实施例中，一种超光谱视网膜图像中的阴影的实时检测和校正方法包括：使用处理器接收患者的视网膜的超光谱图像；由处理器配准超光谱图像，以校正超光谱图像之间检测到的眼睛运动；由处理器检测配准的超光谱图像中的阴影；由处理器确定超光谱图像的阴影超过阈值；以及响应于确定超光谱图像的阴影超过阈值，通过处理器促进图像传感器捕获患者的视网膜的附加超光谱图像。检测超光谱图像中的阴影包括计算超光谱图像中的阴影的移位向量。

现在转向图7，根据本发明的实施例，总体显示了计算机系统700。计算机系统700可以是电子计算机框架，包括和/或采用任何数量的计算设备和利用各种通信技术的网络及其组合，如本文所述。计算机系统700可以容易地升级、扩展和模块化，具有改变到不同服务或独立于其他特征重新配置一些特征的能力。计算机系统700可以是例如服务器、台式计算机、膝上型计算机、平板计算机或智能手机。在一些示例中，计算机系统700可以是云计算节点。计算机系统700可以在由计算机系统执行的计算机系统可执行指令的一般上下文中描述，诸如程序模块。通常，程序模块可以包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、逻辑、数据结构等。计算机系统700可以在分布式云计算环境中实施，其中任务由通过通信网络链接的远程处理设备执行。在分布式云计算环境中，程序模块可以位于包括存储器存储设备的本地和远程计算机系统存储介质中。

如图7所示，计算机系统700具有一个或多个中央处理单元(CPU)701a、701b、701c等(共同称或统称为(一个或多个)处理器701)。处理器701可以是单核处理器、多核处理器、计算集群或任何数量的其他配置。处理器701也称为处理电路，经由系统总线702耦合到系统存储器703和各种其他组件。系统存储器703可以包括只读存储器(ROM)704和随机存取存储器(RAM)705。ROM 704耦合到系统总线702，并且可以包括控制计算机系统700的某些基本功能的基本输入/输出系统(BIOS)。RAM是耦合到系统总线702的读写存储器，供处理器701使用。系统存储器703在操作期间为所述指令的操作提供临时存储空间。系统存储器703可以包括随机存取存储器(RAM)、只读存储器、闪存或任何其他合适的存储系统。

计算机系统700包括耦合至系统总线702的输入/输出(I/O)适配器706和通信适配器707。I/O适配器706可以是与硬盘708和/或任何其他类似组件通信的小型计算机系统接口(SCSI)适配器。I/O适配器706和硬盘708在这里统称为大容量存储装置710。

用于在计算机系统700上执行的软件711可存储在大容量存储装置710中。大容量存储装置710是处理器701可读的有形存储介质的示例，其中软件711被存储为由处理器701执行以使计算机系统700运行的指令，如下面参考各个附图所描述的。这里更详细地讨论了计算机程序产品和这种指令的执行的示例。通信适配器707将系统总线702与网络712互连，网络712可以是外部网络，使得计算机系统700能够与其他这样的系统通信。在一个实施例中，系统存储器703的一部分和大容量存储装置710共同存储操作系统，该操作系统可以是任何适当的操作系统，诸如来自IBM公司的z/OS或AIX操作系统，以协调图7所示的各种组件的功能。

附加输入/输出设备显示为通过显示适配器715和接口适配器716连接至系统总线702。在一个实施例中，适配器706、707、715和716可以连接到一个或多个I/O总线，这些I/O总线通过中间总线桥(未示出)连接到系统总线702。显示器719(例如，屏幕或显示监视器)通过显示适配器715连接到系统总线702，显示适配器715可以包括图形控制器以提高图形密集型应用的性能和视频控制器。键盘721、鼠标722、扬声器723等。可以经由接口适配器716与系统总线702互连，接口适配器716可以包括例如将多个设备适配器集成到单个集成电路中的超级I/O芯片。用于连接诸如硬盘控制器、网络适配器和图形适配器的外围设备的合适的I/O总线通常包括通用协议，诸如外围组件互连(PCI)。因此，如图7中配置的，计算机系统700包括处理器701形式的处理能力，包括系统存储器703和大容量存储装置710的存储能力，诸如键盘721和鼠标722的输入装置，以及包括扬声器723和显示器719的输出能力。

在一些实施例中，通信适配器707可使用任何合适的接口或协议传输数据，诸如互联网小型计算机系统接口等。网络712可以是蜂窝网络、无线电网络、广域网(WAN)、局域网(LAN)或互联网等。外部计算设备可以通过网络712连接到计算机系统700。在一些示例中，外部计算设备可以是外部网络服务器或云计算节点。

应理解，图7的框图并不表示计算机系统700包括图7所示的所有组件。相反，计算机系统700可以包括图7中未示出的任何适当的更少或额外的组件(例如，附加存储器组件、嵌入式控制器、模块、额外的网络接口等)。此外，本文描述的关于计算机系统700的实施例可以用任何适当的逻辑来实现，其中在各种实施例中，如本文所指的逻辑可以包括任何适当的硬件(例如，处理器、嵌入式控制器或专用集成电路等)、软件(例如，应用等)、固件或硬件、软件和固件的任何适当组合。

本发明可为任何可能的技术细节集成水平的系统、方法和/或计算机程序产品。计算机程序产品可以包括其上具有计算机可读程序指令的计算机可读存储介质(或介质),用于使处理器执行本发明的各方面。

计算机可读存储介质可为有形设备，可保留和存储供指令执行设备使用的指令。计算机可读存储介质可以是例如但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述设备的任何合适的组合。计算机可读存储介质的更具体示例的非穷尽列表包括以下：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字通用盘(DVD)、记忆棒、软盘、机械编码设备，诸如穿孔卡或其上记录有指令的凹槽中的凸起结构，以及前述的任何合适的组合。如此处所使用的，计算机可读存储介质不应被解释为本身是瞬时信号，诸如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，通过光纤电缆的光脉冲)、或通过导线传输的电信号。

本文所述的计算机可读程序指令可通过网络，例如互联网、局域网、广域网和/或无线网络，从计算机可读存储介质下载至相应的计算/处理设备，或下载至外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储介质中。

用于执行本发明操作的计算机可读程序指令可为汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微码、固件指令、状态设置数据、集成电路配置数据，或以一种或多种编程语言的任意组合编写的源代码或目标代码，包括面向对象的编程语言，如Smalltalk、C++等，以及程序编程语言，如“C”编程语言或类似编程语言。计算机可读程序指令可以完全在用户计算机上执行，部分在用户计算机上执行，作为独立软件包，部分在用户计算机上执行，部分在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络连接到用户的计算机，包括局域网(LAN)或广域网(WAN)，或者可以连接到外部计算机(例如，通过使用互联网服务提供商的互联网)。在一些实施例中，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令，以个性化电子电路，从而执行本发明的方面。

本文参考根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图，描述了本发明的各方面。将会理解，流程图和/或框图的每个块以及流程图和/或框图中的块的组合可以由计算机可读程序指令来实现。

可将这些计算机可读程序指令提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，以生产机器，从而通过计算机或其他可编程数据处理装置的处理器执行的指令，可产生用于实施流程图和/或框图框中规定的功能/动作的装置。这些计算机可读程序指令也可以存储在计算机可读存储介质中，该计算机可读存储介质可以引导计算机、可编程数据处理装置和/或其他设备以特定方式运行，使得其中存储有指令的计算机可读存储介质包括一种制造品，该制造品包括实现流程图和/或框图的一个或多个框中指定的功能/动作的各方面的指令。

计算机可读程序指令也可加载到计算机、其他可编程数据处理装置或其他设备上，以使一系列操作步骤在计算机、其他可编程装置或其他设备上执行，从而产生计算机实现的过程，使得在计算机、其他可编程装置或其他设备上执行的指令实施流程图和/或框图的一个或多个框中规定的功能/动作。

图中的流程图和框图说明了根据本发明各种实施例的系统、方法和计算机程序产品的可能实施的架构、功能和操作。在这点上，流程图或框图中的每个块可以表示指令的模块、片段或部分，其包括用于实现指定逻辑功能的一个或多个可执行指令。在一些替代实施方式中，框中标注的功能可以不按照图中标注的顺序发生。例如，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行，这取决于所涉及的功能。还将注意到，框图和/或流程图图示中的每个框以及框图和/或流程图图示中的框的组合可以由基于专用硬件的系统来实现，该系统执行指定的功能或动作或者执行专用硬件和计算机指令的组合。

本发明各种实施例的描述仅用于说明目的，并非旨在穷尽或限制所公开的实施例。在不脱离所述实施例的范围和精神的情况下，许多修改和变化对于本领域普通技术人员来说是显而易见的。选择这里使用的术语是为了最好地解释实施例的原理、实际应用或对市场上发现的技术的技术改进，或者使本领域的其他普通技术人员能够理解这里描述的实施例。

本文参照相关附图描述了本发明的各种实施例。在不脱离本发明范围的情况下，可以设计出本发明的替代实施例。各种连接和位置关系(例如，上方、下方、相邻等)在以下描述和附图中的元件之间阐述。除非另有说明，这些连接和/或位置关系可以是直接的或间接的，并且本发明不打算在这方面进行限制。因此，实体的耦合可以指直接或间接耦合，并且实体之间的位置关系可以是直接或间接位置关系。此外，这里描述的各种任务和过程步骤可以被合并到具有这里没有详细描述的附加步骤或功能的更全面的程序或过程中。

以下定义和缩写用于解释权利要求和说明书。如本文所用，术语“包括”、“包含”、“含有”或“具有”或其任何其他变体旨在涵盖非排他性的包含。例如，包括一系列元素的组合物、混合物、过程、方法、物品或装置不一定仅限于那些元素，而是可以包括没有明确列出的或这种组合物、混合物、过程、方法、物品或装置固有的其他元素。

此外，术语“示例性”在本文中用于表示“用作示例、实例或说明”这里描述为“示例性”的任何实施例或设计不一定被解释为优于或优于其他实施例或设计。术语“至少一个”和“一个或多个”可以理解为包括大于或等于一的任何整数，即一、二、三、四等。术语“多个”可以理解为包括大于或等于2的任何整数，即2、3、4、5等。术语“连接”可以包括间接“连接”和直接“连接”

术语“约”、“基本上”、“近似”及其变体旨在包括基于提交申请时可用的设备的特定量的测量相关的误差程度。例如，“约”可以包括给定值的8％或5％或2％的范围。

为简洁起见，与制造和使用本发明各方面相关的常规技术可能会或可能不会在本文中详细描述。具体而言，实现这里描述的各种技术特征的计算系统和特定计算机程序的各个方面是众所周知的。因此，为了简洁起见，许多常规实施细节在本文中仅简要提及或完全省略，而不提供众所周知的系统和/或过程细节。

Claims (28)

1.一种计算机实现的方法，包括：

使用处理器接收患者的视网膜的超光谱图像；

由所述处理器检测所述超光谱图像中的阴影；

由所述处理器确定所述超光谱图像的阴影超过阈值；以及

响应于确定所述超光谱图像的阴影超过所述阈值，由所述处理器启动对所述患者的视网膜的附加超光谱图像的捕获。

2.根据权利要求1所述的计算机实现的方法，还包括向用户生成警报，所述警报包括指示由于所述阴影而需要所述视网膜的新超光谱图像的消息。

3.根据权利要求1所述的计算机实现的方法，其中，检测所述超光谱图像中的阴影包括计算所述超光谱图像中的阴影的移位向量。

4.根据权利要求3所述的计算机实现的方法，其中，所述移位向量指示阴影的量和角度。

5.根据权利要求3所述的计算机实现的方法，其中，确定所述超光谱图像的阴影超过所述阈值包括将所述移位向量与所述阈值进行比较。

6.根据权利要求3所述的计算机实现的方法，还包括：

由所述处理器检测所述超光谱图像中的视网膜的视野(FOV)和视盘(OD)；

由所述处理器使用所述超光谱图像中的视网膜的FOV和OD计算软遮罩；

由所述处理器使用所述软遮罩和所述超光谱图像计算第一重心；

由所述处理器归一化所述超光谱图像；

由所述处理器将张量应用到归一化的超光谱图像；

由所述处理器使用具有所述张量的归一化的超光谱图像来计算第二重心；以及

由所述处理器使用所述第一重心和所述第二重心生成移位向量。

7.根据权利要求3所述的计算机实现的方法，还包括：

由所述处理器检测所述附加超光谱图像中的第二阴影；

由所述处理器确定所述附加超光谱图像的第二阴影没有超过所述阈值；以及

响应于确定所述附加超光谱图像的第二阴影没有超过所述阈值，由所述处理器传输所述超光谱图像和所述附加超光谱图像，其中所述超光谱图像包括所述阴影和所述移位向量的值的重叠。

8.根据权利要求1所述的计算机实现的方法，包括：

由所述处理器配准所述超光谱图像，以校正所述超光谱图像之间检测到的眼睛运动，并且其中检测步骤包括由所述处理器检测配准的超光谱图像中的阴影。

9.根据权利要求5所述的计算机实现的方法，其中，所述移位向量包括所述阴影的长度和所述阴影的角度。

10.一种系统，包括：

存储器；以及

与所述存储器耦合的处理器，所述处理器被配置为执行方法，所述方法包括：

接收患者的视网膜的超光谱图像；

检测所述超光谱图像中的阴影；

确定所述超光谱图像的阴影超过阈值；以及

响应于确定所述超光谱图像的阴影超过所述阈值，促进图像传感器捕获所述患者的视网膜的附加超光谱图像。

11.根据权利要求10所述的系统，其中，由所述处理器执行的方法还包括向用户生成警报，所述警报包括指示由于所述阴影而需要所述视网膜的新超光谱图像的消息。

12.根据权利要求10所述的系统，其中，检测所述超光谱图像中的阴影包括计算所述超光谱图像中的阴影的移位向量。

13.根据权利要求12所述的系统，其中，所述移位向量指示阴影的量和角度。

14.根据权利要求13所述的系统，其中，确定所述超光谱图像的阴影超过所述阈值包括将所述移位向量与所述阈值进行比较。

15.根据权利要求13所述的系统，其中，由所述处理器执行的方法还包括：

检测所述超光谱图像中的视网膜的视野(FOV)和视盘(OD)；

使用所述超光谱图像中的视网膜的FOV和OD计算软遮罩；

使用所述软遮罩和所述超光谱图像计算第一重心；

归一化所述超光谱图像；

将张量应用到归一化的超光谱图像；

使用具有所述张量的归一化的超光谱图像来计算第二重心；以及

使用所述第一重心和所述第二重心生成移位向量。

16.根据权利要求13所述的系统，其中，由所述处理器执行的方法还包括：

检测所述附加超光谱图像中的第二阴影；

确定所述附加超光谱图像的第二阴影没有超过所述阈值；以及

响应于确定所述附加超光谱图像的第二阴影没有超过所述阈值，传输所述超光谱图像和所述附加超光谱图像，其中所述超光谱图像包括所述阴影和所述移位向量的值的重叠。

17.一种计算机程序产品，包括其上存储有计算机可执行指令的计算机可读存储介质，当所述指令由处理器执行时使所述处理器执行方法，所述方法包括：

接收患者的视网膜的超光谱图像；

检测所述超光谱图像中的阴影；

确定所述超光谱图像的阴影超过阈值；以及

响应于确定所述超光谱图像的阴影超过所述阈值，促进图像传感器捕获所述患者的视网膜的附加超光谱图像。

18.根据权利要求17所述的计算机程序产品，其中，由所述处理器执行的方法还包括向用户生成警报，所述警报包括指示由于所述阴影而需要所述视网膜的新超光谱图像的消息。

19.根据权利要求17所述的计算机程序产品，其中，检测所述超光谱图像中的阴影包括计算所述超光谱图像中的阴影的移位向量。

20.根据权利要求19所述的计算机程序产品，其中，所述移位向量指示阴影的量和角度。

21.根据权利要求19所述的计算机程序产品，其中，确定所述超光谱图像的阴影超过所述阈值包括将所述移位向量与所述阈值进行比较。

22.根据权利要求19所述的计算机程序产品，其中，由所述处理器执行的方法还包括：

检测所述超光谱图像中的视网膜的视野(FOV)和视盘(OD)；

使用所述超光谱图像中的视网膜的FOV和OD计算软遮罩；

使用所述软遮罩和所述超光谱图像计算第一重心；

归一化所述超光谱图像；

将张量应用到归一化的超光谱图像；

使用具有所述张量的归一化的超光谱图像来计算第二重心；以及

使用所述第一重心和所述第二重心生成移位向量。

23.根据权利要求19所述的计算机程序产品，其中，由所述处理器执行的方法还包括：

检测所述附加超光谱图像中的第二阴影；

确定所述附加超光谱图像的第二阴影没有超过所述阈值；以及

响应于确定所述附加超光谱图像的第二阴影没有超过所述阈值，传输所述超光谱图像和所述附加超光谱图像，其中所述超光谱图像包括所述阴影和所述移位向量的值的重叠。

24.一种计算机实现的方法，包括：

使用处理器接收患者的视网膜的超光谱图像；

由所述处理器通过计算所述超光谱图像的移位向量来检测所述超光谱图像中的阴影；

由所述处理器确定所述超光谱图像的移位向量超过阈值；以及

响应于确定所述超光谱图像的移位向量超过所述阈值，使用所述处理器启动对所述患者的视网膜的附加超光谱图像的捕获。

25.根据权利要求24所述的计算机实现的方法，其中，所述移位向量包括所述阴影的长度和所述阴影的角度。

26.一种计算机实现的方法，包括：

使用处理器接收患者的视网膜的超光谱图像；

由所述处理器配准所述超光谱图像，以校正所述超光谱图像之间检测到的眼睛运动；

由所述处理器检测配准的超光谱图像中的阴影；

由所述处理器确定所述超光谱图像的阴影超过阈值；以及

响应于确定所述超光谱图像的阴影超过所述阈值，使用所述处理器启动对所述患者的视网膜的附加超光谱图像的捕获。

27.根据权利要求26所述的计算机实现的方法，其中，检测所述超光谱图像中的阴影包括计算所述超光谱图像中的阴影的移位向量。

28.一种计算机程序，包括程序代码装置，当所述程序在计算机上运行时，所述程序代码装置适于执行根据权利要求1至9中任一项或权利要求24至27中任一项所述的方法。

Images