CN116134298A

CN116134298A - 用于联合去马赛克和光谱特征图估计的方法和系统

Info

Publication number: CN116134298A
Application number: CN202180059179.6A
Authority: CN
Inventors: T·韦科特朗; M·埃布内; 谢怡静; E·纳巴维
Original assignee: Kings College London
Current assignee: Chaoshi Surgery Co.,Ltd.
Priority date: 2020-06-03
Filing date: 2021-05-26
Publication date: 2023-05-16
Also published as: WO2021245374A1; JP2023529189A; US20230239583A1; EP4162242A1

Abstract

本发明的实施方式提供了一种方法和系统，其允许从场景的高光谱影像确定希望目标图像的参数。所述参数可以表示正被成像的场景的各个方面，特别是表示场景的物理特性。例如，在一些医学成像背景下，正被成像的特性可以是每像素一个的血液灌注或氧合饱和度信息。在一个实施方式中，通过收集较低的时间和空间分辨率的高光谱影像，然后使用空间光谱感知去马赛克处理来构建具有较高空间分辨率的信息的虚拟超立方体，然后将该虚拟超立方体用于在较高空间分辨率下对希望参数的估计，来获得参数。另选地，在另一实施方式中，不是构建虚拟超立方体然后执行估计，而是执行联合去马赛克和参数估计操作来获得参数。还可以执行各种白电平和光谱校准操作以改善所获得的结果。在建立用于手术的术中系统的功能和技术要求的同时，我们提出了iHSI系统实施方式，其允许在高度受约束的手术室中进行实时宽视野HSI和响应性手术引导。通过针对已建立的设计标准和离体组织实验执行评估，研究了分别使用线扫描和快照成像技术的利用最先进的工业HSI摄像机的两个示例性实施方式。我们还报告了在经伦理学批准的住院患者临床可行性病例研究期间使用一个实时iHSI实施方式作为脊柱融合手术的部分，因此成功证实了我们的假设：我们的发明可以无缝整合到手术室中而不中断手术工作流程。

Description

用于联合去马赛克和光谱特征图估计的方法和系统

技术领域

本发明的实施方式总体上涉及图像和视频处理，特别是涉及用于获取和处理经实时获取的高光谱(hyperspectral)图像(并且在一些实施方式中涉及在医学背景下获取的图像)的系统和方法。

发明的背景和现有技术

对患者造成潜在生命改变后果的许多困难的术中(intraoperative)决定仍基于外科医生的主观视觉评估。这部分是因为，即使使用当前最先进的手术技术，在手术期间也仍然不可能可靠地标识关键的结构。跨多种外科专业已经证明了在手术期间对组织的更精细的、更少定性的术中宽视野可视化和表征的需要。

作为第一个例子，在神经肿瘤学中，手术通常是主要的治疗，其目的是尽可能安全地去除异常组织(完全切除(Gross Total Resection(GTR))。GTR的追求必须与和承担重要功能的损伤敏感区域(诸如关键神经和血管)相关联的术后(postoperative)发病率的风险进行平衡。在手术期间，诸如美国专利No.9,788,906B2中所公开的导航解决方案可以将术前(preoperative)信息(例如,MRI或CT)映射至手术台上患者的解剖结构。然而，基于术前成像的导航没有考虑术中变化。介入成像和感测(诸如手术显微镜检查、荧光成像、基于点的拉曼(Raman)光谱学、超声和术中MRI)，可以由外科医生独立地使用或作为导航信息的附件以使经手术的组织可视化。然而，基于现有术中成像的组织分化(tissuedifferentiation)仍然具有挑战性，这是因为临床环境中的严格手术约束(例如，术中MRI或CT)，或者不精确的肿瘤描绘(例如，超声或荧光成像)。在神经肿瘤手术中，越来越多地使用利用经5-氨基乙酰丙酸(5-aminolevulinic acid(5-ALA))诱导的原卟啉IX(protoporphyrin IX(PpIX))的荧光引导手术。包括膀胱癌在内的其它领域也得益于PpIX荧光引导手术。然而，恶性组织边界的可视化因肿瘤标志物在健康组织中的积累而模糊不清；部分因组织自身荧光的时变荧光效应和混杂效应而造成非定量的；与副作用相关联；并且仅可以被用于特定的肿瘤类型，如在Suero Molia等人的Neurosurgical Review,2019中所综述的。旨在改善神经外科组织分化的大量现有技术清楚表明，更好的术中成像被视为改善这些困难手术中患者结局的机会。

作为第二个例子，坏死性小肠结肠炎(Necrotising Enterocolitis(NEC))是一种破坏性的新生儿疾病，通常需要手术治疗，具有潜在的重要副作用。NEC的特征在于肠粘膜缺血性坏死，从而导致穿孔、全身性腹膜炎，和在严重情况下新生儿死亡。每千名活产中有三名患有NEC，其中85％的病例发生在极低出生体重的婴儿(<1500g)中，尽管有最先进的护理，但其中30％死亡，如在Hull等人的Journal of the American College of Surgeons,2014中所综述的。NEC的手术管理包括原发性腹膜引流、探查确认手术和/或剖腹手术伴肠切除术。执行NEC剖腹手术的外科医生的主要挑战是在患有短肠综合征的婴儿长期存在的风险与在原位留下灌注不良的肠相权衡的情况下，决定切除多少肠而不致损害婴儿恢复的机会。目前，没有用于NEC剖腹手术的标准护理图像引导技术。因此，切除的手术计划依赖于外科医生的判断、灵巧性以及知觉技能。若有疑问，则可能使用粗切组织来评估出血情况。认为早期诊断、更好的监测以及改进的手术管理可以降低NEC死亡率。

如在Shapey等人的Journal of Biophotonics,2019中所讨论的，多光谱和高光谱成像(下文中被统称为高光谱成像(HSI))是新兴的光学成像技术，其具有改变执行手术的方式的潜力。然而，目前的系统是否能够递送用于手术引导的实时、高分辨率的组织表征仍然不清楚。HSI是一种安全的、非接触的、非电离的以及非侵入式的光学成像模态，其特征使其在外科使用方面具有吸引力。通过将光分裂成远超出肉眼所能看到的多个光谱带，HSI携带了超出常规颜色信息的关于组织特性的精细信息，该精细信息可以被用于更客观的组织表征。在HSI中，在给定时间帧内，所收集的数据跨越由两个空间维和一个光谱维组成的三维空间。各个这样的三维帧被通称为高光谱图像或超立方体(hypercube)。如美国专利No.6,937,885B1中所例示的，将HSI用于医学应用的概念已为人所知并已开发了数十年。经典地，HSI依赖于通过空间和/或光谱的扫描来获取完整的超立方体。由于扫描目的所需的时间，因此，这些方法不能提供高光谱图像的实况显示。最近已经开发了能够实时获取HSI数据(被称为快照HSI)的小型传感器。这样的快照传感器以视频速率获取高光谱图像，通过牺牲光谱和空间分辨率，通常能够实现大约每秒钟30个高光谱帧甚或更多。代替获取密集超立方体(即，在场景(x-y平面)的各个空间像素处具有经完全采样的光谱信息(z方向)，快照高光谱摄像机通常使用如在Pichette等人的Proc.of SPIE,2017中详述的马赛克(mosaic)图案。

这里，我们在高光谱成像系统能够以这样的视频速率获取图像的情况下将它定义为实时的，即，该时频速率适于以每秒钟几十帧的量级来提供高光谱成像信息的实况显示。

如在Shapey等人的Journal of Biophotonics,2019中所例示的，以及下面考虑到现有技术而进一步详述的，虽然现有的HSI系统可以在手术期间捕获重要信息，但是它们目前没有提供这样的手段，即，提供足够高分辨率的宽视野和实时信息以支持手术引导的手段。

已经利用许多不同的获取原理描述了供在医学应用中使用的高光谱成像。主要依靠检测器侧的光的顺序滤波。作为早期的例子，美国专利No.5,539,517A提出了一种基于干涉仪的方法，其中，通过扫描顺序地捕获光谱强度的一组预定的线性组合。差不多同时，美国专利No.6,937,885B1提出了借助于可调滤波器(诸如液晶可调滤波器(LCTF))结合关于期望组织响应的现有知识来顺序地获取HSI数据，以根据给定的诊断协议获取数据。美国专利No.8,320,996B2改进了诸如LCTF的可编程光谱分离器，以一个接一个地获取光谱带，提取与特定诊断协议相关的信息，并且提出将相加(summarising)的伪彩色图像投影到经成像的关注区域上。在E.P.专利申请No.2 851 662A2中，将与色散部件和机械扫描联接的狭缝形孔径用于以顺序方式获取光谱成像信息。由于这些方法依赖于顺序获取，因此，它们不直接适合于实时宽视野成像。而且，这些工作都没有提出一种提高所捕获的HSI的分辨率的手段。

除了在检测器端对光进行滤波之外，用于医学应用的HSI也已经通过使用经滤波的激发光进行了探索。作为第一个例子，美国专利申请No.2013/0245455A1提出了一种HSI设置(setup)，其中，多个LED源以特定顺序接通从而顺序地获取多个光谱带。在类似的方法中，W.O.专利申请No.2015/135058A1提出了一种HSI系统，其需要远程光源与光谱滤波设备之间的光通信以扫描通过一组照明滤波器。正如它们的检测滤波对应物那样，这些系统不适于实时成像，并且没有提供用于HSI分辨率提高的解决方案。

仍然在医学领域中，HSI数据源已经被集成到更复杂的设置中，其中一些考虑提供病理相关的辨别信息。美国专利申请No.2016/0278678A1依赖于投射空间调制光以用于与高光谱成像结合的深度分辨荧光成像。美国专利No.10,292,771B2公开了一种手术成像系统，其潜在地包括HSI设备并且利用具有治疗的特定手术端口以降低端口的反射(reflectance)。在美国专利No.9,788,906B2中，将高光谱成像用作潜在的信息源以检测医疗过程的阶段并且相应地配置成像设备。HSI衍生的组织分类公开于E.P.专利申请No.3545491A1，其中，使用聚类来将相同的分类指派给属于同一聚类的所有像素。基于HSI数据的组织分类也在W.O.专利申请No.2018/059659A1中提出。尽管潜在关注用于手术期间，但是这些成像系统都没有提出获取实时HSI的手段或者提高HSI图像的分辨率的手段，并且它们也没有提出生成分类图的高分辨率组织表征的手段。

虽然HSI已被研究用于评估各种临床状况(诸如外周血管疾病[11]、视网膜眼病[12]、出血性休克[13]、糖尿病患者足部溃疡愈合[14]以及癌症检测[15])，但是其体内(invivo)手术用途仅限于少数临床研究病例[5]。例如，虽然HELICoiD研究系统[10]证明了体内脑肿瘤检测的有希望的临床研究结果[16]，但是其尺寸对于手术期间的临床采用是禁止的。针对组织灌注和氧合的术中评估提出的其它系统(包括乳腺[17]、口腔癌[7]、肾[18]、癫痫[19]、神经血管[8]以及胃肠手术[20、21])进一步证明了术中HSI(iHSI)的潜力。然而，由于手术期间动态场景的成像速度不足，这些易于产生运动伪影。最近以来，提出了两种基于Pushbroom HSI摄像机的术中系统，它们允许集成到手术工作流程中：在[22]中，将Pushbroom HSI系统[23]附接至手术显微镜以捕获体内神经外科数据；以及在[24]中，提出了腹腔镜HSI摄像机，并且在食管手术期间进行了测试。虽然这些系统显示出支持手术工作流程的潜力，但是它们受限的成像速度很可能仍然是手术期间采用的限制因素。

为了提高实时成像速度，如上面在与获取图像相关的章节中所提及的，最近开发的快照HSI摄像机系统已被用于在神经外科中评估脑灌注[25]和执行临床前皮肤灌注分析[26]。然而，虽然快照HSI传感器准许许利用视频速率成像进行实时HSI捕获，但是空间分辨率是有限的，并且需要在被称为去马赛克的后处理步骤中加以考虑[27、28]。此外，先前提出的快照iHSI工作没有在方法上制订(map out)和解决关键设计考虑事项，以确保无缝集成到手术工作流程中。

尽管已经在手术环境中测试了各种HSI系统以研究iHSI的潜力，但是就我们所知，尚未提出允许严格临床要求的HSI系统，包括维持无菌性和确保无缝集成到可以提供用于术中手术引导的实时信息的手术工作流程中的手段。

在医疗领域之外，最近提出了能够实时获取HSI数据的传感器。在E.P.专利申请No.3,348,974A1中，提出了一种高光谱马赛克传感器，其中，光谱滤波器在像素级上交错以生成空间和光谱上稀疏但实时的HSI数据。在这种传感器中预期到许多像差，并且Pichette等人的Proc.of SPIE,2017提出了一种能够补偿所观测到的光谱失真中的一些的校准方法，但是没有提出增加空间分辨率的方法。在Dijkstra等人的Machine Vision andApplications,2019中，提出了一种用于利用马赛克传感器获取快照HSI的基于学习的方法。特别地，提出了超立方体重建方法。该方法仅专注于用于超立方体重建的去马赛克/串扰校正。然而，它们没有公开从高光谱影像中提取希望目标图像的参数。尽管在该工作中讨论了光谱串扰的影响和传感器的稀疏性质，但是各种失真的组合影响没有被建模或者直接捕获到。使用简化假设来分离串扰校正和放大(upscaling)。已经提出了捕获快照HSI数据的替代手段，诸如在Wagadarikar等人的Applied Optics,2008中提出的编码孔径快照光谱成像(CASSI)。这些成像系统通常包括许多光学部件(诸如色散光学器件、编码孔径、以及多个透镜)，从而经常导致在手术中使用的不切实际的形状因子。类似于马赛克传感器，CASSI系统导致在时间、光谱以及空间分辨率之间的困难折衷，而且还导致复杂且计算昂贵的重建技术。美国专利申请No.2019/0096049A1提出了将基于学习的技术与优化技术相结合以重建基于CASSI的HSI数据。即使降低了计算复杂度，并且尽管该系统能够实时捕获原始数据，但是该系统也没有公开执行实时重建的手段。即使诸如马赛克传感器和CASSI的传感器可以在手术中找到使用，但是仍然要表明如何将这些传感器集成在能够显示高分辨率HSI导出图像并同时提供诸如组织表征或组织分类的辨别图像的地图的实时系统中，以用于手术支持。

现有技术表明，术中组织表征的问题出现在许多手术领域中，并且已经利用不同的方法解决了该问题。高光谱成像在该领域中显著地显示出极大的潜力。然而，就我们所知，没有公开可以提供在手术期间从高光谱成像实时导出的宽视野和高分辨率组织相关信息的方法。因此，需要一种允许实时分辨率改进和高光谱成像的关联组织表征的系统和方法。

发明内容

本发明的实施方式提供了一种方法和系统，其允许从场景的高光谱影像确定希望目标图像的参数。这些参数可以表示正被成像的场景的各个方面，特别是表示场景的物理特性。例如，在一些医学成像背景下，正被成像的特性可以是每像素的血液灌注或氧合饱和度信息。在一个实施方式中，通过收集较低的光谱和空间分辨率的高光谱影像，然后使用空间光谱(spatiospectral)感知去马赛克处理来构建具有较高空间分辨率的信息的虚拟超立方体，然后将该虚拟超立方体用于在较高空间分辨率下对希望参数的估计，来获得参数。另选地，在另一实施方式中，不是构建虚拟超立方体然后执行估计，而是执行联合去马赛克和参数估计操作，以直接从较低光谱和空间分辨率高光谱影像获得采用高空间分辨率的参数。还可以执行各种白电平和光谱校准操作以改善所获得的结果。

特别参照高光谱成像系统的开发，我们的贡献是四倍的：(i)与先前的工作[29]相反，我们系统地捕获了一组设计要求，包括功能和技术要求，这对iHSI系统提供实时宽视野HSI信息以在高度受限的手术室(OR)中进行无缝手术引导至关重要；(ii)通过考虑基于线扫描和快照成像技术的两种最先进的工业HSI摄像机系统，针对这些要求提出并评估一组iHSI实施方式；(iii)我们利用示例性iHSI实施方式在受控环境中执行离体(ex vivo)动物组织实验，以使用两种摄像机系统研究组织特性；以及(iv)我们报告了在经伦理学批准的住院患者临床可行性病例研究期间使用一个实时iHSI实施方式(图5)作为脊柱融合手术的部分，因此成功证实了我们的假设，即我们的发明可以无缝整合到OR中而不中断手术工作流程。

鉴于上述，从第一方面，提供了一种从高光谱影像确定希望目标图像的参数的方法，所述方法包括以下步骤：使用高光谱图像传感器来捕获场景的高光谱快照马赛克图像，该快照马赛克图像具有相对低的空间分辨率和低的光谱分辨率；对快照马赛克图像采取去马赛克，以生成该快照马赛克图像数据的虚拟超立方，该虚拟超立方包括与快照马赛克图像相比空间分辨率相对高的图像数据；从虚拟超立方中的图像数据中，确定希望目标图像的相对高的空间分辨率参数；以及输出所确定的相对高的分辨率参数作为希望目标图像的表示。

在一个示例中，去马赛克是空间光谱感知的。例如，去马赛克可以包括快照马赛克图像的图像重采样(诸如线性或三次重采样)，随后是应用光谱校准矩阵。此外，在另一示例中，去马赛克可以包括机器学习。

另外或者另选地，基于帧之间的运动补偿，去马赛克在两个或更多个连续帧之间在时间上可以是一致的。

另一示例还包括：在捕获高光谱快照马赛克图像之前，对高光谱图像传感器采取白平衡操作。在一个示例中，白平衡操作可以包括：单独获取参考图像，所述参考图像包括在积分时间τ_d的暗参考马赛克图像

和在积分时间τ_w的白参考马赛克图像

以及部署线性模型，其中，除了对象的以积分时间τ所获取的马赛克图像w_τ之外，还利用关闭的快门，以积分时间τ和τ_w来获取具有积分时间τ_w的反射图块的白参考马赛克图像

和暗参考马赛克图像w_d；τ和

并且白平衡操作产生由

给出的反射马赛克图像。

在另一示例中，在捕获高光谱快照马赛克图像之前，对高光谱图像传感器采取空间光谱校准操作。在校准操作期间，在受控设置中估计真实光谱滤波器响应算子

和空间串扰算子T:W→W，以考虑在图像获取期间的寄生效应。

另外，另一示例还可以包括：通过使用准直光获取快照马赛克图像数据，并且结合具有已知的、通常是空间恒定的光谱特征图的成像目标来扫过所有n_Λ个波长，对高光谱图像传感器的特性进行测量，以获得所测量的系统滤波器响应算子

在一个示例中，确定相对高的空间参数的步骤还包括：分析像素级高光谱信息，以获得它的由特定光谱特征图表征的独特端员(end-member)的组成。

在一个示例中，确定相对高的空间参数的步骤还包括：根据高光谱成像的反射信息(诸如像素级组织吸收信息)，来估计每空间位置(通常为像素)一个的组织特性。

本公开的另一示例提供了一种从高光谱影像确定希望目标图像的参数的方法，所述方法包括以下步骤：使用高光谱图像传感器来捕获场景的高光谱快照马赛克图像，该快照马赛克图像具有相对低的空间分辨率和低的光谱分辨率；从快照马赛克图像采取联合去马赛克和参数估计，以确定希望目标图像的相对高的空间分辨率参数；以及输出所确定的相对高的分辨率参数作为希望目标图像的表示。在该附加示例内，也可以采用上述所有白平衡和校准操作。

本公开的另一方面提供了一种用于目标区域的高光谱成像的系统，该系统包括：光源，该光源用于照明目标区域；高光谱图像传感器，该高光谱图像传感器被配置成，捕获目标区域的一个或更多个高光谱图像；光学观测仪(optical scope)，该光学观测仪联接至高光谱图像传感器，使得在使用期间，由高光谱图像传感器获得由光学观测仪生成的、该目标的图像。

在一个示例中，根据本公开的系统是一种用于目标区域的高光谱成像的系统，该系统包括：光源，该光源用于照明目标区域；以及至少一个高光谱图像传感器，所述至少一个高光谱图像传感器被配置成，捕获目标区域的高光谱图像，其中，该系统被配置成，在所述至少一个图像传感器上获取目标区域的多个高光谱子图像。

在一个示例中，根据本公开的系统是一种用于目标区域的高光谱成像的系统，该系统包括：光源，该光源用于照明目标区域；以及高光谱图像传感器，该高光谱图像传感器被配置成，捕获目标区域的高光谱图像，其中，该系统被设置成以预定频率控制光源的切换。

在另一示例中，根据本公开的系统是一种用于目标区域的高光谱成像的系统，该系统包括：光源，该光源用于照明目标区域；以及高光谱图像传感器，该高光谱图像传感器被配置成，捕获目标区域的高光谱图像，其中，该系统包括联接至高光谱图像传感器的用于散热的装置。

在上面所提及示例中的任一示例中，该系统还可以被配置成，从高光谱影像确定目标区域的参数，该系统还包括：处理器；以及计算机可读存储介质，所述计算机可读存储介质存储计算机可读指令，该计算机可读指令在由处理器执行时，使该处理器控制系统执行如本章节中稍早所述的方法。

另外，另一示例提供了一种存储计算机程序的计算机可读存储介质，该计算机程序在被执行时，使根据上面指定示例中的任一示例的高光谱成像系统执行本章节中稍早所述的上述示例中的任一示例的方法。本发明的进一步的特征和优点根据所附权利要求将显而易见。

附图说明

本发明的进一步的特征和优点将从仅以示例的方式呈现的其实施方式的以下描述中并且通过参考附图而变得明显，其中，相同标号指的是相同的部分，并且其中：

图1是例示马赛克传感器中的滤波器的典型布置的显示。

图2是示意性地表示马赛克传感器阵列的显示，该马赛克传感器阵列包括快照马赛克成像系统的有效传感器区域(active sensor area)。

图3是示出近红外5×5马赛克传感器的示例响应的曲线图。

图4是例示氧合血红蛋白(HbO₂)和脱氧血红蛋白(Hb)的摩尔消光系数的显示。

图5是描述可以被用于实时高光谱成像的无菌成像系统的示例的图。

图6是表示在空间光谱校准、虚拟超立方体重建以及参数估计期间计算方法执行的步骤的交换图。

图7是示意性地将在二维快照马赛克图像中获取的稀疏高光谱信息与在三维超立方体中获取的信息进行比较的显示。

图8是描述空间光谱校准、空间光谱感知去马赛克、以及经由虚拟超立方体或所获取的快照成像数据的参数估计的步骤的图。

图9是例示使用没有空间光谱感知的方法去马赛克的缺点的显示。

图10是例示从虚拟超立方体提取的不同组织特性参数图的显示。

图11是根据本发明的实施方式的计算机系统的图。

图12是线扫描和快扫描(snapscan)成像实施方式的示意图。

图13是具有和不具有UV滤波器的氙光源的示意图。

图14是棋盘实验设置的显示。

图15是示出棋盘实验的示例重建的曲线图。

图16是离体实验设置的显示。

图17是在离体成像期间捕获脊髓和小根的HSI数据的摄像机获取的示例序列的显示。

图18是所估计的反射曲线的比较的显示。

图19是脊柱融合研究期间的术中HSI设置(iHSI)的显示，示例为体内快照马赛克图像。

具体实施方式

根据一个方面，本文所描述的实施方式涉及这样的一种计算机实现方法和计算机系统，即，该计算机实现方法和计算机系统用于从实时获取的较低分辨率马赛克图像数据获得高光谱图像，以便确定表示正被成像的样本的一些物理特性的图像特性信息。该方法可以包括以下步骤：

·利用适合在无菌环境中使用的医疗设备来获取高光谱成像数据

·以数据驱动的计算模型的应用，以便以比原始数据的任何光谱带严格更高的分辨率递送高光谱信息。

与该方法和系统一起使用的用于数据获取的成像系统可以包括一个或更多个高光谱成像(HSI)摄像机以及由一个或更多个光源提供的光刺激。其应用可以与诸如外视镜(exoscope)或内窥镜的观测仪组合，以作为成像系统的光路的部分。

成像系统可以是手持的，例如借助于机械臂固定至手术台或者与机器人致动机构组合。

可以将滤光器放置在行进光的原点与其接收端(诸如摄像机传感器)之间的光路中的任何地方。

可以利用捕获稀疏高光谱信息的成像设备来获取高光谱图像，诸如通过向各个空间位置指派比成像系统能够测量的光谱带的总数严格更少的光谱带的光谱信息。这种现有技术成像系统的示例在US 9857222 B中示出，并且其描述了使用用于通过光谱的不同谱带的滤波器马赛克，以及被设置成检测在由滤波器通过的不同谱带处的图像的像素的传感器阵列，其中，对于所述像素中的各个像素，传感器阵列具有用于检测不同谱带的传感器部件簇，并且马赛克具有被集成在传感器部件上的不同谱带的对应滤波器簇，以使可以在不同的谱带处同时检测图像。

示例成像系统可以包括如图1所示的单独5×5马赛克传感器的传感器阵列。通过创建这样的单独马赛克传感器的阵列来获得有效传感器区域(参见图2)。各个5×5马赛克传感器集成了25个对不同光谱带敏感的滤光器。这导致跨有效传感器区域的高光谱信息的稀疏采样，其中各个光谱带信息仅在每5×5区域获取一次并且相对于其它谱带在空间上移位。由这种传感器阵列布置获取的图像将被称为“马赛克”或“快照马赛克”图像。

由于实践中高光谱摄像机传感器的缺陷和物理设计限制，因此，寄生效应可能导致滤光器的多峰(multimodal)灵敏度响应曲线。影响成像的这种效应的示例包括：高阶光谱谐波的干扰、带外泄漏以及摄像机传感器上的邻近像素之间的串扰。图3示出了近红外(NIR)5×5马赛克传感器的示例响应曲线。如将清楚的是，可以使用附加的滤波器来抑制或强调这些响应的光谱部分。从通过将谱带相关像素的图像彼此堆叠而获得的快照马赛克图像进行自然超立方体重建导致空间和光谱上失真的超立方体表示，其在空间维和光谱维上都是低分辨率的。因此，快照高光谱成像是由受多峰光谱带污染影响的高光谱图像的高时间分辨率来表征的，并且在空间维和光谱维上都是低分辨率的。

这里，我们公开了适于从快照成像以高时间和空间分辨率获得高光谱成像信息的方法，该快照成像在手术期间实时提供宽视野和高分辨率的组织相关信息。

所获取的高光谱快照马赛克图像的白平衡和空间光谱校准可以作为预处理步骤利用在工厂中获取的数据或者利用由用户获取的数据来完成。在一些示例中，这可以通过使用在手术室内或手术室外获取的静态物体(诸如反射板)的单个图像，或者静态或移动物体的图像序列来实现。在一些其它示例中，这可以通过处理在所获取的图像数据中观测到的镜面反射(specular reflection)来完成。图像校准的进一步示例可以涉及由于成像设备设定的有意改变(诸如改变滤波器调节的效应)而造成的图像处理。

使用图像处理方法从原始低分辨率快照马赛克重建高分辨率高光谱图像数据将被称为“去马赛克”或“上采样”。去马赛克可以通过对获取的快照马赛克数据进行空间光谱上采样来执行，以获得具有固定的、潜在任意数量的用于所有获取的图像像素位置的光谱带信息的超立方体。在一些实施方式中，还可以执行这样的去马赛克，以实现对除原始图像像素位置之外的其它高分辨率网格的空间光谱上采样。除了由于例如重采样而实现空间上采样的常规去马赛克方法之外，我们还提出了空间光谱感知的上采样/去马赛克方法，其解决了快照成像系统中尤其重要的空间串扰效应和光谱寄生效应两者。这种重建将被称为“虚拟超立方体”。去马赛克的简单示例可以包括对各个光谱带独立执行的图像重采样。在其它示例中，这可以包括基于逆问题公式化的方法。其它示例还可以包括使用以数据驱动的、监督的、半监督的或无监督的/自监督的机器学习方法。这些示例还可以包括为不规则网格设计的重建的计算方法。可以通过处理图像数据的视频流来获得去马赛克期间增加的质量或鲁棒性。可以使用类似的方法来增加数据可视化的时间分辨率。

可以将计算模型用于根据虚拟超立方体表示的参数估计。示例可以包括根据高光谱成像的反射信息(诸如像素级组织吸收信息)，来估计每空间位置(通常为像素)一个的组织特性。更一般地，可以分析所获得的像素级高光谱信息，以获得它的由特定光谱特征图表征的独特端员的组成。提出了光谱不混合算法，其估计像素光谱中混合的端员的相对丰度，以导出与手术引导相关的组织特性。端员的相关示例包括氧合血红蛋白和脱氧血红蛋白(图4)。相关的端员导出的组织特性的示例包括每像素的血液灌注和氧合水平饱和度信息。

不混合的其它示例可以包括荧光和自发荧光的估计，其也可以被用于定量荧光。

在另一方面，虚拟超立方体表示可以用于估计伪红-绿-蓝(RGB)图像或者任何其它降维图像，以可视化高光谱成像数据。

根据另一方面，还可以将虚拟超立方体用于根据组织类型(包括良性类型和恶性类型)对像素进行分类。也可以将虚拟超立方体用于组织类型之外的语义分割。这可以包括与诸如手术工具的非人类组织相关联的任何像素的分类。可以将所获得的分割用于提高组织参数估计的鲁棒性或者校正诸如镜面反射的潜在图像伪影。

在这里所描述的所有示例中，虚拟超立方体估计和参数提取可以以两个独立的步骤来执行或者可以联合执行。计算模型可以使用允许联合去马赛克和参数估计的算法。这种方法可以基于逆问题公式化或者基于监督或无监督的机器学习方法。

所有计算机辅助参数估计均可以与不确定性估计相关联。

本公开涉及这样的一种图像处理系统和方法，即，该图形处理系统和方法可以允许从由适合于在无菌环境中使用的医疗设备实时获取的稀疏低分辨率马赛克数据的视频流在线执行高分辨率超立方体数据的视频处理。

系统描述

图5呈现了可以被用于实时高光谱成像的示例无菌成像系统的概观。将诸如快照高光谱摄像机的实时高光谱成像摄像机经由恰当的适配器安装在诸如无菌外视镜的无菌光学观测仪上。该适配器还可以允许光学系统的变焦和聚焦，并且可以包括附加特征，诸如机械快门、分束器或滤波器适配器。在一些实施方式中，使用与分光机构结合的多个摄像机传感器可以有利地覆盖关注波长范围。为了便于呈现，这种配置可以继续被称为高光谱成像摄像机。将无菌光学观测仪连接至光源(诸如宽带氙光源或LED光源)，该光源可以提供适于高光谱成像摄像机的光谱波长的光，或者通过可以是无菌的或有消毒帷帘(draped)的光导来激发关注荧光团。应当清楚的是，在一些实施方式中，光源也可以与摄像机安装在一起，从而潜在地摒除对光导的需要。可以将滤光器放置在行进光的原点与其接收端(诸如摄像机传感器)之间的光路中的任何地方。可以将这样的滤光器使用诸如滤光器轮的多种装置插入光源内，该滤光器轮可以保持多个滤光器或者可以嵌入适配器或内窥镜中。在一些实施方式中，可以使用滤光器来消除不希望的带外响应，诸如NIR传感器的可见光部分(图3)。将高光谱成像摄像机经由诸如电缆或无线通信的数据链路连接至计算工作站。有利地，可以通过和数据链路(如与以太网供电(Power over Ethernet(PoE))连接一起的)相同的电缆，向摄像机传感器和安装有摄像机的其它供电部件(例如，可调谐透镜或滤波器)提供电力。工作站处理所获取的高光谱成像信息，并且可以经由显示监视器向用户显示所导出的信息。在一些实施方式中，可以将工作站嵌入摄像机传感器单元或显示监视器中。可视化信息可以包括所获取的高光谱成像数据，或者经由下述计算方法导出的该高光谱成像数据的信息，诸如RGB图像或组织特性信息。可以将不同类型的信息的覆盖用于向用户提供更多的背景。在一个示例中，可以将以高置信度进行估计的区域中的组织特性信息覆盖在所捕获场景的伪RGB渲染上。成像系统的无菌性可以通过系统组件的覆盖消毒帷帘或灭菌与程序步骤的组合来确保，以确保无菌与非无菌组件之间的连接不会损害无菌操作者和现场的无菌性。一个有利的实施方式可以是使用被密封在连接至无菌光导的无菌光学观测仪上的用于摄像机和数据电缆的无菌帷帘。无菌成像系统可以由用户手持或者被固定至手术台上，该手术台允许根据手术期间用户的要求控制成像系统的移动或固定。无菌成像系统的受控移动和固定可以使用无菌的或有消毒帷帘的机械臂或机器人致动机构来实现。在其它的实施方式中，可以将高光谱成像系统嵌入手术显微镜中。

更一般地，我们现在将提出适合于开放手术的术中手术引导的HSI的关键设计要求。通过遵循这些标准，更详细地介绍和描述图5中具体实施和例示的iHSI发明。

术中HSI系统设计要求

第一个设计假设是，通过开发独立的重量轻的设备来促进HSI摄像机系统的术中应用，该设备独立于或补充于通常被用于神经外科的手术显微镜。特别地，通过确保与手术望远镜(诸如，外视镜[30]或内窥镜)以及手术显微镜的兼容性，实现了模块化和灵活的系统设计，并且适合于跨手术专业的开放或内窥镜手术。在该假设之后，表1和表2提供了被认为具体实施用于术中手术引导的高光谱成像系统的设计要求的概述，包括最小要求和目标要求。将这些分成(i)功能要求，即，源自手术期间手术室(OR)的临床环境的要求(表1)，以及(ii)技术要求，即，HSI系统实现高保真成像数据的规范，以满足出于所列出的实时手术引导的目的的功能要求(表2)。当不容易提供客观要求时，基于我们的经验给出最佳估计，如下概述的。

作为手术要求的部分，确保iHSI系统的无菌性是有益的，以使可以由手术团队进行安全操纵(F1)，符合标准技术安全规范是有益的(F2)，灯光和照明要求应当有利地不妨碍手术工作流程(F3)，以及设备应当有利地易于维护和清洁，符合标准手术实践(F4)。它应当有利地在手术过程期间牢固地安装，但是手持式设备应当有利地容易操纵，从而允许由单个操作者控制成像系统的移动和固定，而不需要助手(F5)。在手术图像内捕获的空间分辨率和光谱信息应当有利地与手术动作兼容(F6)，即，提供覆盖最小区域的宽视野信息，该最小区域提供用于手术决策的足够背景。另外，它应当有利地促进与手术相关的更广泛的组织监视的能力。该设备应当有利地能够提供关键的功能或语义组织信息，并且应当能够提供关于用于全面患者监测的多个特征的详细信息，以便在手术过程期间提高手术精度和患者安全性(F7)。在神经肿瘤手术的情况下，这可能是组织边界的定界，以清楚地证明肿瘤组织及其与关键脑结构(诸如神经、血管或正常脑)的关系。而且，图像分辨率应当有利地足够详细，以便于手术视场内的组织类型之间的空间区分(F8)。成像应当有利地以视频速率显示，以便于即时外科医生反馈和与更高视频速率的无缝工作流程集成，从而允许更平滑的体验(F9)。所提取的信息的准确可视化对于手术引导是有利的，由此使用直观显示系统可以实现更好的用户体验(F10)。

为了确保手术安全性和无菌性，系统维护应当有利地直截了当，并且应当有利地可以使用标准抗菌表面擦拭物有效地清洁系统的组件(T1)。HSI摄像机尺寸和重量的最小有利要求基于[29]中通过原型测试设计思维方法[31]获得的估计值，即，小于10×10×12cm³(T2)和小于1.0kg(T3)的摄像机。对于尺寸小于6×6×8cm₃的系统，可以使用标准消毒帷帘来覆盖摄像机以确保无菌性。另外，所有摄像机边缘应当有利地平滑，以防止无菌帷帘的撕裂和工作人员的伤害(T4)。40℃的最大摄像机温度有利地确保了设备操纵的技术安全性，此外还降低了暗电流，以在图像获取期间保持恰当的信噪比(SNR)(T5)。用于向摄像机供电和与摄像机数据连接的电缆的数量应当有利地保持在最小值(T6)。为了使得能够实现足够的iHSI，合适的光源应当有利地可用于跨HSI摄像机的有效光谱范围提供足够的能量(T7)，但是应当有利地遵守技术安全和光安全考虑事项，以使不会因光暴露而对患者造成伤害(T8)。这包括有利地遵守最大允许暴露(MPE)，特别是对于低于400nm的电离紫外(UV)波长[32]。光源设定调节应当有利地可以允许在手术期间获取HSI信息的最优照明条件(F3和T10)。除了取决于手术场景的最优光强度设定之外，这还可以有利地包括根据HSI摄像机的成像要求来调节滤光器以获取高保真HSI信号测量结果。有利地，这些设定可以通过自动考虑OR中的动态变化(诸如照明)来进行调节。静态安装系统是允许足够术中设备操纵的最小有利要求(T9)。摄像机设定可以有利地根据手术背景进行调节，以获取高保真HSI信息(T10)，包括通过实现可调节的系统安装件(mount)(T9)，使得能够对摄像机设定进行自动调节(T10)。通过满足摄像机尺寸和重量的有利目标要求(T2、T3)，可以实现设备操纵的进一步改进。

高保真组织信息可以得益于在HSI获取期间处于成像视场内并保持聚焦的相应目标组织。在手术期间，这可能需要重新聚焦，该重新聚焦可以使用手动或自动聚焦布置来实现(T11)。介于200mm与300mm之间的固定工作距离(WD)(T12)与介于40mm与60mm之间的固定视场(FOV)(T13)和至少20mm的景深(DOF)(T14)是iHSI的最小有利要求[33]，但是更加有利的场景包括能够改变WD、FOV以及DOF的系统，以便最大化与当前手术可视化系统的兼容性[34]。光谱带的数量、光谱范围以及空间图像清晰度很大程度上取决于提供关键功能和/或语义特征的临床应用。基于对先前文献和我们自己的经验的回顾，提供几十个明确定义的光谱带有利于实现相对于标准RGB成像的显著改进。基于工业上最先进的快照HSI传感器的可用性(参考表3)，在手术期间实现iHSI系统的有利要求的示例性实施方式可以提供16个光谱带(T15)和至少160nm的光谱范围(T16)。其它示例性实施方式虽然是以较低的帧速率，但仍利用具有至少500nm光谱覆盖范围的至少100个光谱带(参考表3)，并且可以有利地实现优越的组织分化功能。在提供具有至少1mm精度的信息的有利目标的情况下，示例性实施方式将实现每毫米至少3个像素。实现最小有利要求和目标FOV有利要求的示例性实施方式包括至少120×120和450×450的成像网格。然而，基于当前可用的HSI传感器技术，实质上更高的分辨率是可能的。因此，示例性实施方式有利地分别针对最小有利要求和目标有利要求，以高清晰度(1920×1080像素)和超高清(3840×2160)的分辨率为目标(T17)。图像校准有利地支持可解释的HSI数据的生成。典型的实施方式包括获取用于白平衡的白参考图像和暗参考图像，以考虑环境光和特定的摄像机设定(T18)。作为例子，这通常可以通过分别使用白反射图块和利用关闭的快门获取图像来实现。然而，对于OR中的手术引导，校准数据应当有利地可用，而不必中断临床工作流程。

最小有利成像速率得益于足够快以提供适于手术决策的实时信息而不干扰手术工作流程(T19)。基于人类视觉系统中的处理速度，快于每秒钟7帧(FPS)的图像可视化速率是有利的[35]。在具有静态场景的一些场景中，每手术场景每图像几秒钟的图像获取速率可以足够向手术团队提供关键信息。然而，适合于实时图像引导手术的iHSI应当有利地能够提供视频速率成像，以提供组织信息的实况显示，这也允许手术期间的动态场景。术中HSI系统设计

通过遵循上述系统设计要求，我们提出了图5中具体实施和示出的iHSI系统。可以将HSI摄像机有利地经由恰当的目镜适配器连接至无菌光学观测仪。可以将无菌光学观测仪有利地经由无菌光导连接至光源。

以下是根据本公开的实施方式的一些特定方面、特征、以及优点。

1.将外科外视镜与HSI摄像机结合以用于实时组织表征，从而增强外科医生的视觉并辅助术中决策。在一些实施方式中，无菌光学观测仪可以是外视镜，但也可以是内窥镜或手术显微镜。

2.将滤光器嵌入到HSI摄像头中，以用于对最接近HSI摄像机传感器的有效信号进行滤波，从而进行高保真数据捕获。在一些实施方式中，可以将滤光器有利地添加到目镜适配器中，以获取高保真高光谱影像，同时允许紧凑的光学系统。

3.使用定制的滤光器布置来解决单独谱带传感器的量子效率差异，并获得跨所有谱带传感器的均衡传感器响应。在一些示例中，这可以包括使用定制的滤光器布置来解决单独谱带传感器的量子效率差异，并且获得跨所有谱带传感器的均衡传感器响应以用于信号处理。

4.滤波器嵌入允许在手术期间进行运行中图像校准。在给定具有已知反射特性的目标的情况下，可以通过在手术期间调节用于运行中图像校准的滤光器布置来执行对光路的有意改变。在一些实施方式中，可以使用光源中的滤光器轮来执行这些滤光器调节。

5.使用无限校正模块来维持多个滤光器布置在HSI摄像机传感器平面处的相同光束聚焦。在一些示例中，可以将无限校正模块用于在物镜与镜筒透镜之间产生平行光束。它将允许添加平行的平面光学部件(例如，滤光器)而不改变等焦点(parfocal point)，因此不产生任何图像偏移。

6.用于望远镜的定制附件，用于互锁光学系统组件，以防止滑动、旋转或者任何其它变化，从而防止手术期间光学系统的不希望的光学特性变化。可以将包括滤光器、望远镜、以及光学透镜的光学系统组件以机械方式锁定，以防止在手术期间光学系统的不希望的光学特性变化。在一些实施方式中，这可以包括使用定制的附件(诸如三角形或其它几何形状的连接器)，以机械地锁定光学组件并防止滑动、旋转或者任何其它变化，从而保持图像校准和处理所需的光学特性。

7.定制分光器(light-splitter)将光分成在光谱上分离的光束，以在单个或多个HSI传感器上获取多个子图像。可以将定制分光器用于将光分成在光谱上分离的光束，以在单个或多个HSI传感器上获取多个子图像。在一些实施方式中，可使用微透镜阵列或棱镜(诸如Wollaston棱镜)来实现光束分裂，以在同一传感器上将单个光束分裂成两个或两个以上子图像。有利地，可以将不同的滤光器用于不同的光束以获取高光谱影像。具有多种光谱响应模式的高光谱传感器的使用可以有利地与这样的多个滤波器组合，以产生针对光谱模式的不同子集的响应，而与单个或多个传感器的使用无关。

8.高频光源切换以检测和辨别来自所获取的HSI数据的环境光贡献。可以将光源的受控高频通断切换(on-and-off switching)用于检测和辨别来自所获取的HSI数据的环境光贡献。光源切换与HSI摄像机获取之间的同步可以使用单独的触发机构(诸如单独的电缆连接)来实现。

9.适合于手术设置的散热措施，以确保低噪声成像和操作者的安全操纵。可以应用包括主动和被动冷却机构的用于有消毒帷帘的摄像机系统的附加散热措施，以确保低噪声成像和操作者的安全操纵。在一些实施方式中，这可以包括提供被直接附接至摄像机的散热器。在其它的实施方式中，这可以包括确保摄像机与被用于帮助成像系统就位的机械臂或台架之间的导热性。

除了将观测仪与摄像机连接之外，目镜适配器还可以提供用于变焦和聚焦的控制机构。可以将滤波器放置在行进光的原点与其接收端(诸如摄像机传感器)之间的光路中的任何地方。在一些实施方式中，可以将滤光器放置在被嵌入光源中的滤光器轮中，以根据摄像机传感器或临床要求来限制光源光谱。

可以将HSI摄像机可以经由提供适合于实时HSI数据传递的电源和快速数据链路的连接，而连接至计算工作站或等效设备。工作站或等同器械处理所获取的HSI数据，以便实时可视化所导出的信息。可以将覆盖HSI摄像机和数据电缆的无菌手术帷帘与无菌外视镜密封在一起，以确保总体成像系统的无菌性。

根据手术应用，无菌成像系统可以由操作者手持或者使用标准机械臂固定至手术台，该标准机械臂允许根据手术期间的临床要求控制成像系统的移动或固定。在摄像机系统足够轻的一些实施方式中，其受控的移动和固定可以通过使用附接至无菌光学观测仪的无菌或有消毒帷帘的机械臂来实现。这种机构允许将iHSI系统定位在手术腔外部的安全距离处，同时目镜适配器提供用于获取HSI数据的恰当聚焦能力。其它实施方式可以包括使用机器人定位臂来保持和控制成像设备。

计算工作站52执行计算步骤，以从所获取的低分辨率快照高光谱成像数据中提取关于每像素级的组织或对象特性信息，以用于在手术期间显示。图11更详细地示出了计算工作站52，从中可以看出，可以作为经适当编程的通用计算机的计算工作站52包括处理器1128，该处理器设置有存储器1130以及输入-输出接口1132，从该输入-输出接口，可以从诸如键盘、脚踏开关、定点设备(诸如计算机鼠标或跟踪板)等的外围设备获得控制输入。另外，另一输入端口1134已经连接至用于捕获高光谱成像数据的高光谱成像摄像机，并且将图像数据输出端口1136连接至显示器，以用于使用高光谱成像数据作为输入来显示由本实施方式生成的图像。

还提供了计算机可读存储介质1112(诸如硬盘、固态驱动器等)，在该计算机可读存储介质上存储恰当的控制软件和数据以允许本发明的实施方式操作。特别地，存储介质1112上已经存储有操作系统软件1114(该操作系统软件提供计算系统52的总体控制)，并且在存储介质上还存储有空间光谱去马赛克程序1116和参数估计程序1118。另外，还提供了参数映射程序1120。如稍后将描述的，空间光谱去马赛克程序1116和参数估计程序1118一起操作以提供第一实施方式，而参数映射程序操作以将空间光谱去马赛克程序1116和参数估计程序1118的功能组合成单个过程以提供第二实施方式。两个实施方式的输入都采用多个快照马赛克图像1126的形式，并且输出是各种功能或语义数据图像1122，如将描述的。另外，也可以将采用虚拟超立方体1124的形式的中间数据结构存储在计算机可读介质上，该中间数据结构是在第一实施方式的操作期间生成的，如将描述的。

与HSI方法相关的实施方式的详细描述

除了在快照成像期间的空间光谱下采样之外，诸如组织的对象的高光谱信息还受到空间光谱寄生效应的影响，这导致了以低空间和低光谱分辨率为特征的高光谱图像的获取。所公开的方法可以执行独立地或联合地解决这些效应中的各个效应的计算步骤，以便以高空间分辨率获得组织或对象特性信息的每像素估计。

可以将滤波器响应映射用于描述由快照成像传感器的单独谱带传感器获取的采用较低光谱分辨率的对象的高光谱信息。可以使用另一些谱带选择和串扰建模方法，来描述所获取的低光谱和低空间分辨率快照马赛克图像。

在一些实施方式(即，上面提及的第一实施方式)中，由于低光谱但高空间分辨率表征的虚拟超立方体的高光谱信息然后可以通过部署空间光谱校正方法来重建。可以将计算参数估计方法用于推断每像素组织或对象特性。下面公开了示例计算方法。

在其它实施方式(即，上面提及的第二实施方式)中，组织或对象特性信息可以直接从所获取的低分辨率快照数据获得。下面公开了示例计算方法。

本领域技术人员应当清楚，直接参数估计方法可以被认为是对来自虚拟超立方体的组织特性信息的推断，其中，经重建的虚拟超立方体本身对应于所估计的组织特性图。将参照图6提供进一步的细节。

图6呈现了第一实施方式和第二实施方式两者的计算方法可以执行的所涉及步骤的概观。总之，在第一实施方式中，在62，以低空间和低光谱分辨率捕获快照马赛克数据W。然后，这经历去马赛克过程以生成虚拟超立方体64，该虚拟超立方体包含虚拟高空间分辨率但低光谱分辨率的数据。如下面进一步详细描述的，然后可以从虚拟超立方体执行参数估计过程，以在希望的参数空间中获得希望的高空间分辨率数据66。

与此相反，在第二实施方式中，在62，以低空间和低光谱分辨率再次捕获快照马赛克数据W。然后对其进行联合去马赛克和参数估计过程，严格地说，其摒除了虚拟超立方体的完整生成(尽管在概念上可能被认为仍然生成其需要的部分，即使实际上是更直接地执行计算的)(如下面进一步详细描述的)，以直接在希望的参数空间中获得希望的高空间分辨率数据。

更详细地，对于实时高光谱成像，稀疏高光谱信息可以通过使用快照摄像机系统来获得，该快照摄像机系统在“一次拍摄”中使用马赛克滤波器的传感器阵列同时获取不同空间位置处的单独谱带。这种系统可以在具有宽度n_x和高度n_y的有效传感器区域W的规则网格

上获取快照马赛克图像。应当注意，具有类似于马赛克成像的不规则或系统像素布置的另选传感器类型(诸如使用微透镜阵列(图2)的图块化捕获)可以通过直接修改以下方法来解决。

快照马赛克w∈W描述了通常未知的三维(3D)高分辨率超立方体

的“展平的”二维(2D)和低分辨率近似，其中，光谱的

个离散谱带提供了在所关注波长范围内的连续光谱的近似。

对于m₁×m₂马赛克滤波器的示例，可以在m₁×m₂空间区域上获取总计m₁m₂个单独光谱带。对于m₁×m₂马赛克，可以假设滤波器响应算子

其描述从n_A到光谱的所有m₁m₂个离散谱带的映射，其中，通常是m₁m₂＜＜n_A。该算子将有利地建模相应滤波器的光谱响应，包括光源的相对辐射率、高阶谐波以及马赛克滤波器的光谱泄漏，但没有包括跨传感器部件的空间串扰(这将被单独考虑)。假设对有效传感器区域W中的所有单独空间位置独立应用这种滤波器谱带响应，可以将超立方体

经由B_F变换成具有较低光谱分辨率的超立方体

通过假设所有马赛克滤波器的相同特性，滤波器响应算子B_F到有效传感器区域的扩展可以使用Kronecker积

结合恒等算子(identity operator)I在形式上描述，即，

其中，

定义谱带选择算子

可以描述从马赛克超立方体到快照马赛克的映射，即，三维m₁×m₂×m₁m₂超立方体到二维m₁×m₂马赛克的“展平”，该二维马赛克包含在不同的m₁m₂个空间位置处获取的单独m₁m₂个谱带中的各个谱带的光谱信息(图7)。该操作可以自然地扩展至整个有效传感器区域W上的选择算子

单独邻近谱带传感器之间的空间串扰是由传感器的有效传感器区域W上的恰当串扰算子T:＝T_W:W→W来建模的。作为示例，可以假设具有核大小k×k的卷积来对每像素的k×k邻域周围的串扰进行建模。通过引入解决邻近滤波器的混合传感器响应的空间串扰算子T，所有剩余的、主要是光谱的寄生效应因此由光谱滤波器响应算子B_F来解决。总的来说，可以由联合算子来描述独立解决成像系统的空间和光谱泄漏的快照马赛克图像获取的前向模型

其将(通常未知的)3D高分辨率超立方体u∈U映射到2D低分辨率快照马赛克w∈W中。下面示出了如何获得马赛克传感器的真实光谱滤波器响应算子B_F和空间串扰算子T以表征高光谱快照成像设置的具体示例。为了解决由不同光源提供的光谱中的差异，可以针对所获取的辐射率w∈W执行白平衡作为预处理步骤，或者可以将其影响嵌入B_F中。

类似于给定马赛克传感器的滤波器响应算子

可以定义n_λ个虚拟谱带的虚拟滤波器响应算子

可以根据希望的任务来选择虚拟滤波器响应。虚拟滤波器响应的具体选择可以包括滤光器的理想化传递函数的表示，诸如Fabry-Pérot光学谐振器的主响应，这是诸如Pichette等人的Proc.of SPIE,2017所提出的一些快照成像系统的特征。为了提高可解释性和互操作性，还可以选择虚拟谱带作为规则间隔开的光谱带。其它示例包括对组织特性提取特别关注的端员的光谱，诸如Hb或HbO₂(图4)。在实践中，虚拟滤波器谱带n_λ的数量可以小于或等于马赛克传感器的滤波器谱带m₁m₂的数量。通过引入算子

用于光谱校正，可以通过确保C°B_F≈B_V来建立从系统的实际滤波器响应到虚拟滤波器响应的光谱映射。下面示出了如何获得光谱校准算子C的具体示例(图8A)。在获取滤波器的光谱响应包括有限或零数量的光谱寄生效应(诸如高阶谐波和光谱泄漏)的情况下，选择B_V＝B_F从而导致描述恒等算子的C可能是有利的。

利用虚拟超立方体空间

的定义，于是，空间光谱感知的“去马赛克”或“上采样”f_V:W→V_V指的是从所获取的快照图像w∈W重建虚拟超立方体v∈V_V，即，f_V(w)＝v，这解决了空间串扰和光谱寄生效应。下面示出了去马赛克方法f_V的具体示例(图8B)。

基于经重建的虚拟超立方体v∈V_V，可以将参数估计方法g_P:V_V→Pⁿ用于估计整个有效传感器区域上的像素级的图像特性信息，即，估计特性

由此，

取决于特性类型(图8C)。例如，可以将n＝1用于区分良性与恶性组织类型的语义组织分类，而可以将n＝3用于伪RGB图像的估计。

代替单独的去马赛克和参数提取步骤，即，p＝g_P(v)＝g_P(f_V(w))，提出了联合模型f_P:W→Pⁿ，以允许直接根据所获取的马赛克图像w∈W的端到端方法(图8D)。

如本领域技术人员应当清楚的，所有计算方法也可以被用于提供多路复用的视频流数据的多个摄像机系统。另外，所有提出的计算方法均可以导致在不同于有效传感器区域W的不同高分辨率网格上的重建。所有计算方法还可以基于除了示例中呈现的范数之外的任何其它正损失函数(例如，平滑L1或平方)。也可以作出关于用于误差估计的噪声水平的具体假设，诸如噪声是独立的但不是跨波长同一地分布的假设。

白平衡

所获取的马赛克图像捕获来自对象的辐射率。作为预处理步骤，可以执行反射计算或白平衡，以根据所获取的快照马赛克图像w∈W中的辐射率来计算反射信号。这可以通过使用单独获取的参考图像来实现，所述参考图像包括在积分时间τ_d获取的暗参考马赛克图像

和在积分时间τ_w获取的白参考马赛克图像

在一些示例中，可以通过部署线性模型来实现白平衡。即，除了对象的以积分时间τ所获取的马赛克图像w_τ之外，还利用关闭的快门，以积分时间τ和τ_w来获取具有积分时间τ_w的反射图块的白参考马赛克图像

和暗参考马赛克图像w_d；τ和

白平衡产生反射马赛克图像

对于一些示例，(2)中的积分时间τ和τ_w可以相同。在其它实现中，τ_w可以减小以避免潜在的传感器饱和效应。如本领域技术人员应当清楚的，白参考也可以指的是获取优选光谱上中性的参考的任何手段。在一些实施方式中，灰色卡的使用例如可以与类似于τ_w的效果的强度校正因子相结合，以便在获取白参考时避免任何潜在的饱和效应。具有已知反射特性的无菌成像目标(诸如手术室中可用的医疗设备)也可以被用于根据(2)估计白参考。这种无菌成像目标的例子可以是手术纱布。从相对于手术场景的各种角度和位置获得的一个或更多个所获取图像的镜面反射也可以被用作白参考信号的替代物。

在成像设置特性是先验已知的示例中，可以预先计算白平衡，因此去除在术中设置中获取白参考和暗参考的需要。对于在成像系统的术中使用期间用于运行中白平衡的多种摄像机手段，可以在工厂中估计白参考和暗参考两者。

对于荧光成像应用，也可以执行根据(2)的白平衡。这可以包括与被专门设计用于基于荧光的成像的光学组件结合的系统的白平衡，该光学组件诸如具有用于吲哚菁绿(indocyanine green(ICG))或5-氨基乙酰丙酸(5aminolevulinic acid(5-ALA))诱导的原卟啉IX(protoporphyrin IX(PpIX))的足够光源和滤光器的外视镜。

所有提出的白平衡方法均可以包括视频流的时间处理。可以将这样的方法用于解决测量不确定性或者捕获具有非均匀反射目标(诸如手术纱布)的空间变化的白平衡。示例可以包括被用于(2)的白参考图像或暗参考图像的时间平均化。

空间光谱校准

可以在受控设置中估计真实光谱滤波器响应算子

和空间串扰算子T:W→W(1)两者，以考虑在图像获取期间的寄生效应。

通过在工厂中测量传感器的特性，可以获得所测量的系统滤波器响应算子

这可以通过使用准直光获取快照马赛克图像数据，并且结合具有已知的、通常是空间恒定的光谱特征图的成像目标来扫过所有n_Λ个波长来实现。结合(1)，然后可以执行成像系统的空间光谱校准。

在线性算子

和T:W→W的示例中，设

表示描述m₁m₂个滤波器的k×k个卷积核的串扰算子T的未知参数，以模拟各个谱带的像素邻域响应的混合。成像系统的空间光谱校准可以通过在(1)中估计B_F(在该线性操作模式中被表示为采用

的矩阵)和T(利用θ_T表示)两者，通过求解诸如下式的优化问题来执行

可以对(3)中的θ_T和/或B_F应用对变量的附加正则化和约束，诸如正性约束。在一些实施方式中，例如对于各个谱带使用同一核的模型可能是有利的。在一些示例中，进一步的正则化可以包括使用盲源分离方法，其可以导致以下形式的优化问题

对于给定的误差阈值ε>0和相似性度量Sim。相似性度量可以包括归一化互信息(kullback-leibler散度)或其它现有得分。另选地，人们可能关注于最小化由函数Dev测得的与预期模型的偏差，如可以例如使用正态性测试得分进行的：

应当清楚的是，这种受约束优化模型的公式更改(reformulation)可以通过在(3)中包括附加的正则化项来放宽硬约束来完成。

根据(3)，因而断定，对于其它示例，可以通过在空间区域

上获取具有已知超立方体

的对象的快照马赛克图像w∈W来执行术中系统的空间光谱校准，即，

是已知的。这导致以下形式的空间光谱校准问题

其中，可以应用附加的正则化和变量约束，诸如上面所提及的。

除了商业校准目标之外，具有已知反射特性的无菌成像目标(诸如手术室中可用的医疗设备)也可以被用于定义(6)的u^ref。

(3)至(6)中的B_F的初始化可以基于所测量的系统滤波器响应算子

来执行。一个有利的实施方式是利用在工厂中获取的数据执行这种初始化，然后利用即时检测(point of care)获取的数据执行细化。

在手术设定期间使用(6)对光学系统的校准可以使用具有光传输特性

的不同滤光器来实现。例如，对于在区域

上具有已知超立方体表示

的目标，可以针对

来求解(6)，并且最终得到快照马赛克图像w_t，由此，

表示光谱维中的逐点乘法。有利地，可以通过激活被嵌入成像系统的光源中的滤光器轮来实现跨t的切换。

在手术设定期间使用(6)对光学系统的校准也可以经由视频流的时间处理来实现，以解决测量不确定性或者使得能够使用空间变化的非均匀反射目标(诸如手术纱布)用于白平衡。一个示例可以包括对具有已知平均反射特性的目标的所获取快照图像w的时间平均化。

给定虚拟滤波器响应

谱带滤波

与虚拟超立方体空间

之间的映射可以通过找到光谱校正算子

使得C°B_F≈B_V来建立。在线性算子被表示为矩阵的情况下，这导致

由此，可以执行附加的正则化。

值得注意的是，当且仅当空间串扰算子T被假设为恒等算子n_λ＝m₁m₂并且所有m₁m₂个谱带是在同一空间位置处获取时，(7)中的校准计算简化为在Pichette等人的Proc.ofSPIE,2017中所描述的方法，这不是在成像空间变化场景时快照马赛克成像的情况(图7)。而且，在Pichette等人的Proc.of SPIE,2017中没有提出解决空间串扰和光谱寄生效应两者的去马赛克步骤。

对于空间光谱感知的去马赛克，相反地估计光谱校正算子的伪逆可能是有用的，即，

由此，可以执行正则化。在其它示例中，作为在(7)中使用可逆神经网络作为C的模型的结果，可以获得C和

如本领域技术人员应当清楚的，这里所描述的所有校准方法可以针对包括诸如不同增益的不同获取设定的多个摄像机设置来执行。

空间光谱感知去马赛克

空间光谱感知去马赛克方法f_V:W→V_V旨在通过解决快照成像中存在的寄生效应，从所获取的马赛克图像w∈W，即，v＝f_V(w)，来重建虚拟超立方体

用于去马赛克的直接且计算上快速的方法可以是在经校准的马赛克图像上使用图像重采样(诸如线性或三次重采样)，随后在(7)中应用光谱校准矩阵C。在缺乏考虑空间和光谱寄生效应的模型的情况下，这导致超立方体重建，该超立方体重建遭受空间维和光谱维的模糊以及诸如边缘偏移的其它伪影，并因此导致随后执行的组织表征的不确定性增加(图9)。

利用前向模型

正则化的基于逆问题(IP)的去马赛克方法

可以被描述为

利用恰当的正则化算子Reg_IP(诸如Tikhonov正则化)以及对变量的约束(诸如正性约束)。

根据虚拟滤波器响应B_V的选择，(8)并由此(10)可以具有非常不适定(ill-posed)的性质。基于IP的去马赛克的另选示例可以包括下式的最小化

相反，其导致

在(11)中可以应用附加的正则化和变量约束，包括形式为

而不是Reg_IP(v)的正则化。

为了提高计算效率，可以将所有算子实现为无矩阵算子。

如果用Tikhonov正则化的线性建模与l²范数结合使用，则可以采用专用的线性最小二乘法(诸如LSMR)来求解(10)或(11)。在基于总变化的正则化的情况下，可以使用乘法器的交替方向方法(ADMM)。根据算子模型、数据丢失以及正则化项的类型和组合，可以改为使用其它数值方法，诸如主-对(primal-dual)或前-后分离算法。

为了在手术期间获得对用于实时术中引导的空间光谱感知去马赛克的快速计算时间，可以使用机器学习方法，其中，可以在训练阶段以较慢的计算时间为代价来实现推理下的快速计算时间。机器学习方法的实现可以基于完全卷积神经网络(CNN)。在一些示例中，CNN可以使用类似U-Net的架构来实现。

在成对样本(即，{(w_j,v_j)}_j∈J)的数据库可用的情况下，可以部署利用模型参数Θ进行空间光谱感知去马赛克

的监督(S)机器学习方法。作为一个示例，可以通过最小化期望损失函数

(即，风险或一般化误差)，来建立最优参数Θ^*。这种直接的方法可以基于使用损失l(v₁,v₂)＝||v₁-v₂||的训练子集

的经验风险最小化，即，

利用恰当的正则化算子Reg_S。应当清楚的是，除了增加可推广性的方法之外，在(13)中还可以使用任何其它的损失l，包括当在单独的证实数据集上达到损失标准时停止优化、使用数据增加策略、丢弃等等。在没有成对数据库可容易获得的情况下，这样的训练数据库也可以使用经典的基于IP的方法构造为

在其它的实施方式中，也可以通过经由前向模型(9)，模拟来自现有超立方体数据的快照数据，从而构造成对数据库，即{(A_Vv_j,v_j)}_j∈J。

在其它示例中，可以为数据库{w_j}_j∈J部署利用模型参数Θ的无监督(U)机器学习方法

一个示例可以包括通过找到最优参数Θ^*使得它适用训练子集

的自监督方法，

利用恰当的正则化算子Reg_U。在一些实施方式中，正则化还可以基于循环一致性损失。

在其它的实施方式中，在没有穷尽的或者没有足够的代表性/实际的成对示例的数据库可用的情况下，可以使用半监督机器学习方法。这种方法的典型实现可以依赖于组合来自(13)和(14)的监督和无监督损失的公式化。示例还可以包括使用对抗训练方法(诸如使用生成对抗网络(GAN))，以通过从可用数据合成高保真数据对来增加数据集。

这些示例的实现可以包括使用诸如CNN的深度神经网络。一个示例可以基于以残余网络结构为基础的单图像超分辨率重建网络架构，由此，初始放大层考虑了在马赛克图像获取中反映的规则的但空间上移位的超立方体采样。其它方法可以使用适合于不规则采样的输入数据的输入层，诸如基于Nadaraya-Watson核回归的层。

时间一致去马赛克

代替一次从单个马赛克图像重建虚拟超立方体，可以部署时间一致的方法来提高鲁棒性。

可以使用空间光谱感知去马赛克，用于进行两个或更多个连续帧之间的时间一致的虚拟超立方体重建，并且基于帧之间的运动补偿。

用于时间一致的空间光谱感知去马赛克的基于逆问题的方法可以基于光流(optical flow(OF))，其对于两个连续帧w^t,w^t+1∈W可以定义为

利用恰当的正则化算子Reg_IP和Reg_OF。在其它示例中，可以执行(15)到多个帧的扩展。

用于时间一致的空间光谱感知去马赛克的基于机器学习的监督或无监督方法可以基于视频超分辨率方法。这些可以基于具有分离的或集成的运动补偿的超分辨率网络，诸如光流估计。其它示例可以构建于诸如长短期记忆(LSTM)网络的递归神经网络(RNN)上，以处理时间快照图像数据的视频流。

可以将类似的方法用于增加从快照马赛克成像导出的数据的可视化的时间分辨率。在一些示例中，这可以通过使用在光流估计期间获得的位移p/2,q/2(诸如(15))，以半时间步长t+1/2估计w^t+1/2来完成，即，加倍用于HSI数据可视化的帧速率。

根据虚拟超立方体的参数估计

基于经重建的虚拟超立方体v∈V_V，可以将参数估计方法g_P:V_V→Pⁿ用于估计整个有效传感器区域W上的像素级的图像特性信息，即，估计尺寸

的特性

可以将光谱不混合的方法用于估计像素光谱中混合的特定端员的相对丰度。例如，对于有效传感器区域W的各个像素位置(i,j),i∈{1,…,n_x},j∈{1,…,n_y},，给定一组反射

或其导出值，

个端员

的光谱混合可以由线性光谱混合模型来描述：

其中，∈_ij表示随机误差，a_ijk表示像素位置(i,j)处的端员k的相对丰度比。通过定义端员矩阵

和局部丰度

模型(16)可以被写为x_ij＝Ea_ij+∈_ij。在x:＝(x_ij)_i,j∈V_V和

的情况下，用于光谱不混合的基于逆问题的方法可以读为

利用恰当的正则化Reg_IP和变量约束，诸如正性。

在一个示例中，可以省略(17)中的正则化，这导致使用正规方程直接计算相对丰度

可以使用(17)中的Ea与x之间的差异度量的其它选择，诸如余弦距离。也可以作出关于(16)中的噪声水平的具体假设，诸如噪声是独立的但不是跨波长同一地分布的假设。

其它方法可以基于分别类似于去马赛克方法(13)和(14)的监督方法

或无监督方法

光谱不混合的示例可以包括每像素的端员氧合血红蛋白(HbO₂)和脱氧血红蛋白(Hb)与图4所示的它们的摩尔消光系数的光谱特性的不混合。用于估计关联的相对丰度a＝g_P(x)的简单模型可以基于反射超立方体v∈V_V的吸收率估计x＝-ln(v)。除了考虑散射损失的端员之外，还可以将氧合血红蛋白和脱氧血红蛋白的衍生丰度

用于估计总血红蛋白(或血液灌注)

和氧合饱和度

(图10a和图10b)。

光谱不混合的其它示例可以包括基于组织类型的已知光谱反射特征图的组织分化。

还可以将保持NIR反射信息的虚拟超立方体用于基于荧光化合物(诸如PpIX或ICG)的已知吸收和发射光谱的荧光成像期间的光谱不混合。这也可以被用于定量荧光成像，以估计荧光化合物的浓度。

伪RGB图像可以诸如通过使用CIE RGB颜色匹配函数从虚拟超立方体获得(图10c)。如果虚拟超立方体不呈现覆盖用于RGB重建的可见光谱的光谱带，或者如果虚拟超立方体仅部分地覆盖所述光谱带，则可以部署彩色化/彩色回归方法。特别是在NIR成像的情况下，这可以包括用于彩色化以估计每像素RGB信息的监督或无监督方法。一个示例可以包括将循环对抗网络用于手术RGB图像和虚拟超立方体重建的不成对样本。其它方法可以基于在可见范围内使用光学系统的高阶响应。在使用NIR成像传感器的一个实施方式中，高阶响应(通常被认为是传感器的有效范围之外的需要消除的不希望的光谱响应)可以被具体用于获取NIR区域之外的光谱测量(图3)。利用传感器的跨光谱的已知滤波器响应曲线，可以使用滤光器之间的切换来顺序地获取NIR或可见范围内的、覆盖用于图像重建的RGB颜色信息的信号。在一些示例中，这种切换可以有利地通过使用被嵌入在光源中的滤光器轮来实现。

参数估计的其它示例可以包括使用以数据驱动的监督、半监督或无监督/自监督机器学习方法对组织或手术工具进行分割。

在其它示例中，还可以将虚拟超立方体及其每像素反射信息用于估计光学组织特性。一个示例可以包括吸收系数，该吸收系数可以使用与针对逆相加-加倍(IAD)或逆MonteCarlo的参数模型拟合类似的方法来进行估计。基于使用例如IAD获得的吸收估计，可以设计参数模型回归、监督或半监督机器学习方法来从虚拟超立方体估计吸收图。

可以使用联合分割和参数估计方法。一个示例可以包括组织的自动分割，其可以被用于在获得更准确的吸收系数估计之前提供组织特定散射。

另一示例可以包括用于更鲁棒的组织参数估计的组织或手术工具的自动分割。这可以包括解决图像伪影(诸如镜面反射)或非组织相关信号贡献的抑制。

可以使用其它图像分析方法来从虚拟超立方体导出与手术决策相关的信息。

来自快照成像的参数估计

如前所述，在第二实施方式中，还可以经由计算方法f_p:W→Pⁿ从所获取的马赛克图像w∈W直接执行参数提取。

这样的模型可以基于“理想”参数映射h_P:U→Pⁿ的先验知识。

类似于在谱带滤波与虚拟超立方体空间之间引入光谱校正算子

的概念，可以建立具有模型参数θ的映射π(·；θ):V_F→Pⁿ，使得

这种映射可以经由下式来确定：

利用恰当的正则化Reg和变量约束，诸如正性。利用(11)，即，

利用诸如形式Reg(π(v；θ^*))的恰当的正则化项，这导致

在其它示例中，具有模型参数θ的伪逆

可以经由下式来确定：

利用恰当的正则化Reg和变量约束，诸如正性。前向模型然后可以被定义为

类似于上面提及的示例(10)至(14)，可以使用基于逆问题的方法、监督、半监督以及无监督方法来估计参数映射f_P:W→Pⁿ。

应当注意，可以使用诸如可逆神经网络的可逆模型来代替估计π或

该可逆模型不仅学习前向映射而且同时建立对应的逆。

作为一个示例，可以从用于估计氧合血红蛋白和脱氧血红蛋白的丰度的光谱不混合模型中导出h_P。通过将线性光谱混合模型(16)从空间

扩展至

正规方程导致如下的显式公式化：

由此，

在其它示例中，可以使用以数据驱动的机器学习方法从快照图像获得伪RGB图像。一个示例可以包括将循环对抗网络用于手术RGB图像和快照马赛克图像的不成对样本。

不确定性估计

尽管所提出的前向模型通常是明确定义的，但是估计逆的问题通常是不明确的，诸如来自低分辨率快照图像获取的组织特性参数的逐像素重建f_P:W→Pⁿ。显然，对于所有提出的计算方法，可以引入附加的不确定性量化能力来估计所获得的结局的不确定性。这可以包括诸如随机失活(dropout)采样、概率推理、估计器集合、或测试时间增加的方法。

在其它的实施方式中，可以将可逆映射用于诸如通过可逆神经网络获得的所呈现的模型中，该可逆神经网络不仅学习前向映射而且建立对应的逆过程。这种方法还可以被用于恢复能够捕获所获得的解估计中的不确定性的完全后验分布。

可以将不确定性估计显示给用户或者可以被用作计算流水线或可视化策略的部分。根据一个示例，可以将与参数估计相关的不确定性估计用于仅选择和显示满足诸如阈值的给定确定性标准的估计。

与iHSI系统相关的实施方式的详细描述

我们首先提出根据本发明的系统的示例性实施方式，其将两个最先进的工业HSI摄像机集成为iHSI系统设置的部分。然后评价两个iHSI实施方式，并且根据所提出的设计要求进行评分(表1和表2)。在此之后，我们执行受控棋盘实验以证明利用使用两个HSI摄像机的这些实施方式可以获得可靠的反射测量。离体实验证明了一系列组织类型的反射特性。在该实施方式中，用于摄影的标准三脚架系统有利地允许在受控环境中的通用成像配置。最后，我们描述了成功的经伦理学批准的住院患者临床可行性病例研究，其证明了实时iHSI实施方式能够无缝整合到手术工作流程中，同时遵守手术室中的临床要求，诸如无菌性。

HSI系统实施方式。

作为具体实施所提出的iHSI发明的部分，研究了两个高光谱成像摄像机(表3)：(i)使用Imec快扫描VNIR(即，可见(VIS)到近红外(NIR)区域)摄像机的线扫描HSI实施方式，以及(ii)使用Photonfocus MV0-D2048x1088-CO1-HS02-160-G2摄像机的快照HSI实施方式。

线扫描实施方式对于470nm到900nm之间的150+的光谱带以高达3650×2048像素的空间分辨率捕获超立方体图像。根据获取参数、照明以及成像目标，获取全超立方体的成像速度的范围在2s到40s之间变动。没有光学器件的摄像机具有10×7×6.5cm³的尺寸和0.58kg的重量。线扫描技术是以跨光谱范围的高SNR来表征的。集成快门自动测量暗电流，因此仅需要手动获取白参考图像以用于图像校准。

Photonfocus摄像机部署Imec快照马赛克CMV2K-SM5x5-NIR传感器，其在665nm到975nm光谱范围之间以5×5马赛克获取25个光谱带。利用2048×1088像素的传感器分辨率，以每光谱带409×217像素的空间分辨率获取高光谱数据。快照数据的视频速率成像是根据获取参数以高达50FPS的速度来实现的。没有光学器件的摄像机具有3×3×5.4cm³的尺寸和0.08kg的重量。

被动原型冷却系统被制造成有圆形边缘，并且通过在摄像机的侧面上安装两个散热器来安装，以在图像获取期间保持较低的工作温度，并因此保持较低的成像噪声(图12a)。这增加了各个方向上的总尺寸约3cm，附加重量为约0.2kg。

使用Asahi Spectra MAX-350光源(300W氙灯)来提供宽带光。根据实验，VIS模块或UV-NIR反射镜模块是可用的，其分别提供385nm至740nm或250nm至1050nm区域上的光。在使用UV-NIR反射镜模块的情况下，将附加的400nm长通滤波器(Asahi Spectra XUL0400)放置在反射镜模块的前面，以抑制紫外(UV)光，从而改善光安全分布。对于Photonfocus摄像机，将670nm长通滤波器(Asahi Spectra XVL0670)放置在滤光器轮中，以避免由于在图像获取期间起源于传感器对VIS光谱中的光的灵敏度的带外传感器响应而造成的信号污染。可以使用整数增量在5％到100％之间在Asahi光源上调节光强度。将该光源经由KarlStorz光缆495NCS连接至Karl Storz 0°VITOM外科外视镜20916025AA，其允许在25cm到75cm之间的安全距离处成像。使用定制适配器将光导插入Asahi光源中。外视镜经由单独的RVA Synergies C-mount 18-35mm ZOOM内窥镜联接器附接至相应的HSI摄像机，所述内窥镜联接器还提供手动缩放和聚焦机构。

对于所有实验期间的校准，使用95％反射图块来获取白参考图像。对于Photonfocus摄像机，利用盖子闭合透镜获得单独的暗参考图像。

对照设计规范验证iHSI实施方式。

对照表2中指定的设计要求，针对术中设置的适用性对基于线扫描和快照摄像机两者的iHSI实施方式进行了评估。表3提供了评估总结。

从系统要求开始，可以使用消毒帷帘和无菌组件的组合来确保两种摄像机设置的无菌性(T2)。然而，从相应的摄像机规格中显而易见的是，快照摄像机在给定其较小的摄像机尺寸和重量的情况下允许更紧凑的iHSI系统(T2、T3)。氙光源使用UV-NIR反射镜模块(250nm至1050nm)在VIS和NIR光谱范围内提供足够的能量(T7)，如图13所示。

通过使用400nm长通滤波器阻挡UV光有利地确保了光安全性(T8)。光源准许使用串行通信协议的远程配置，从而允许使用定制化软件调节滤光器轮位置和光强度(T10)。类似地，线扫描和快照拍摄系统都是与API接口一起供给的，以允许远程控制和软件集成。

装置操纵对于确保摄像系统在手术期间可以安全安装和移动而不会对手术工作流程和无菌性造成不良影响至关重要(T2、T3、T9、T10)。由于基于快照摄像机的系统的紧凑性，因此，这可以使用机械臂构造来容易地实现(T9)。然而，对于基于线扫描摄像机的系统，重量和形状因子不允许使用相同的方法。仅由内窥镜适配器和机械臂支承重量的摄像系统在旋转位置的安装和枢转被认为是不安全的。

两种摄像机设置均依赖于相同的光学设置和适配器，并允许在距手术腔250mm到750mm(T12)之间的安全距离处成像。当在250mm工作距离处使用固定圆形50mm FOV时，基于外视镜制造商的规范[33]，两种系统的景深均为35mm(T12至T14)。使用内窥镜适配器，可以进行手动聚焦和变焦调节，以在给定焦距处提供清晰的成像(T11)。在HSI数据质量方面，线扫描摄像机的空间和光谱图像分辨率均远优于快照摄像机(T15、T17)。特别地，除了由快照摄像机采样的较少光谱带之外，还需要诸如去马赛克的附加后处理方法来解决稀疏空间采样，以获得关于足够高的空间分辨率的HSI数据信息，以用于大于每光谱带409×217像素的组织分析(T15、T17)。虽然线扫描系统覆盖VIS和NIR区域中的宽光谱范围以允许丰富的特征提取，但是快照摄像机仅提供NIR光谱信息。而且，线扫描技术是与具有高信噪比的高保真HSI信号测量一起供给的。与此相反，使用快照成像获取的信号是由多峰光谱带和由马赛克成像传感器产生的串扰信号污染(该串扰信号污染需要解决)来表征的。从而，线扫描系统可以潜在地提取更宽范围的相关手术特征。然而，在不提供实时手术引导所需的视频速率信息的情况下，线扫描摄像机的介于每图像2s到40s之间的获取速度可能中断手术工作流程(T19)。特别地，如果对非静态成像目标进行成像，则容易出现运动伪影。与此相反，快照摄像机的高达50FPS的高帧速率允许可以容易地捕捉移动成像目标的实时可视化(T19)。对于线扫描摄像机，可以通过仅由于其集成的快门而获取白参考图像来实现图像校准。对于快照摄像机，需要获取暗参考图像和白参考图像两者(T18)。对于两种摄像机设置，可以处理变化的照明和成像场景的鲁棒校准方法对于估计用于术中手术引导的可靠HSI信息是至关重要的。

总的来说，在这些实施方式中，线扫描摄像机成像质量优于由快照摄像机提供的质量。然而，在给定其形状因子的情况下，更复杂的安装机构将有利地确保在手术期间安全且无菌地操纵摄像机。而且，其相对低的成像速率不允许在不中断手术工作流程的情况下进行HSI数据捕获，这对于提供用于无缝手术引导的实时信息是至关重要的。尽管如此，其成像特性仍可以确保受控设置中的高质量HSI。与此相反，视频速率快照摄像机允许紧凑且无菌的iHSI系统，其可以使用标准临床机械臂构造来集成到手术工作流程中。为了可靠的组织分析，除了马赛克快照传感器特有的较低信号质量之外，图像处理方法还可以有利地解决降低的空间和光谱图像分辨率。

棋盘研究：iHSI系统实施方式验证。

结合所提出的术中光学系统实施方式(即，内窥镜适配器和外视镜)来测试线扫描和快照摄像机，以在使用与48色块一起供给的datacolor SpyderCHECKR棋盘的受控实验中获取HSI数据。对于该实验，将Asahi光源与UV-NIR模块结合400nm长通滤波器一起使用，以提供400nm至1050nm的光。使用具有Ocean Optics QR600-7-VIS125BX反射探针的OceanOptics Maya 2000Pro200-1100 nm光谱仪获得参考光谱(图4)。

对于线扫描摄像机，使用曝光时间10ms和增益1.2来获取图像。对于快照摄像机，使用曝光时间15ms和增益2来获取图像。使用专有软件提供经光谱校准的超立方体反射数据，以用于使用利用摄像机提供的默认图像校准文件对两个摄像机系统进行图像分析。特别地，在图像校准期间，没有执行专用的全系统校准来考虑特定的光源强度光谱(图13)和iHSI系统的单独光学组件(诸如滤光器、内窥镜适配器以及外视镜)。

线扫描摄像机和快照摄像机都被放置在距棋盘35cm的距离处，由此针对各个色块单独获取图像。对于各个经校准的超立方体图像，手动分割分布在色块上的10像素半径的五个圆形区域，以用于光谱分析(图14c)。

图15提供了参考数据与由iHSI系统使用线扫描和快照摄像机获得的光谱信息之间的比较。可以看出，针对线扫描和快照iHSI系统两者的所估计的反射主要遵循光谱仪参考测量。

离体研究：小牛尸体实验。

在受控环境中执行使用新鲜小牛尸体的离体实验，以研究在BalgristUniversity Hospital,Zurich,Switzerland执行的用于线扫描和快照摄像机两者的iHSI实施方式的组织特性。选择小牛尸体是因为其解剖结构接近人体脊柱[36]。

暴露各种组织类型以用于组织分析，包括腱、肌肉、骨、关节囊、硬脑膜以及脊髓。为了实现对尸体组织样本成像的最优取向和位置，有利地使用标准三脚架系统来安装iHSI摄像机系统(图16)。对于线扫描和快照摄像机两者，使用具有1/4-20UNC和3/8-16UNC螺纹孔的定制适配器板实现牢固附接(图12b)。将附加的Thorlabs DCC3260C RGB摄像机用于实验，以提供高分辨率1936×1216RGB成像。没有光学器件的摄像机具有2.9×3.5×4.4cm³的尺寸和0.04kg的重量。给定其C-mount摄像机镜头安装件，其可以与相同的内窥镜适配器配合一起使用，作为同一iHSI设置的部分。另外，其壳体是与适合于附接快速释放三脚架板的1/4-20UNC螺纹孔一起供给的。

使用三个摄像机对曝光的组织成像遵循图17中概述的方案。通过使用跨VIS和NIR光谱可见且可区分的单独基准物(fiducial)，确保了利用不同摄像机获取的图像可以回顾性地对准。我们使用与尼龙线系在一起的一组六个针头(这些针头的颜色为红色、黑色、蓝色、白色、绿色以及黄色)，以便于在实验期间操纵。在定位第一HSI摄像机(线扫描摄像机或者快照摄像机)并且调节变焦和聚焦以对组织样本进行成像之后，在组织上放置基准物以确保它们处于FOV内。然后从场景中移除基准物以进行图像捕获，并且在利用同一HSI摄像机获取第二图像之前小心地放回该基准物以避免解剖学变化。在不扰乱场景的情况下，使用三脚架快速释放机构将HSI摄像机与RGB摄像机交换以获取具有基准物的组织样品的RGB图像。随后，在不使场景发生变化的情况下，将RGB摄像机与三脚架上的第二HSI摄像机交换。在获取图像之前，通常需要对摄像机位置、变焦以及聚焦进行微小调节，以确保目标组织在焦点上并且基准物处于在FOV内。在小心移除基准物之后，在不使设置发生任何其它变化的情况下，获取同一场景的另一图像。对于光谱分析，神经外科医生手动注释伪RGB线扫描图像中的相关组织类型，该伪RGB线扫描图像是通过将红通道、绿通道以及蓝通道分别指派给660nm、570nm以及500nm的波长而获得的。通过手动注释圆形基准物，使用基于仿射点的配准来实现所有图像之间的对准[37]。然后将线扫描图像空间中的手动分割传播至快照图像空间，以便使用所获得的基于点的仿射配准进行分析。

在离体实验期间，只有VIS反射镜模块可用于光源，因此提供介于385nm到740nm之间的光。对于利用快照摄像机的NIR成像，激活光源的滤光器轮中的附加670nm长通滤光器。对于所有场景，快照摄像机使用增益3.01和曝光时间20ms，由此执行视频成像以获取各个单独静态场景的多个图像。平均起来，这导致每场景获取18个快照马赛克图像，其均值图像被用于光谱分析。对于线扫描摄像机，使用增益2和曝光时间20ms。对于快照摄像机、线扫描摄像机以及高分辨率RGB摄像机，光强度分别被设定成100％、100％以及50％。所有摄像机的成像均是在关闭室内灯并放下遮光帘以减少背景光影响的情况下进行的。为了简化成像工作流程，在实验开始和结束时，分别对线扫描摄像机和快照摄像机执行一次用于图像校准的参考数据的获取。因此，将各个HSI摄像机的相同白平衡信息用于与不同解剖位置相关联的所有影像的数据校准。

图18提供了针对图16b中引用的八个不同解剖场景的线扫描和基于快照的iHSI系统两者的介于470nm到740nm之间的所估计反射曲线的比较。对于快照摄像机，23个经重建的光谱带中仅有5个可用于分析介于670nm到740nm之间的测量结果。通常，对于摄像机之间的重叠光谱带，跨组织类型的反射值的相对分布和定性行为被很好地对准。

在患者临床可行性病例研究方面：脊柱融合手术。

在针对对于手术关键的设计要求结合定量和定性评估来对线扫描摄像机和快照摄像机两者的所提议的iHSI实施方式进行评估之后，基于快照的实施方式将有利地提供可以无缝地整合到手术工作流程中的实时HSI。为了确认这一假说，我们在瑞士BalgristUniversity Hospital,Zurich进行了术中临床可行性病例研究，作为脊柱融合手术的部分。本研究经州伦理委员会批准(BASEC Nr:req-2019-00939)。

图5呈现了在手术中部署的iHSI实施方式的示意图。除了之前描述的系统组件之外，还使用了标准的karl Storz机械臂，以用于经由夹爪(28272UGK)使用铰接的L形台架(28272HC)将iHSI摄像机系统安全附接至手术台。经由恰当的旋转插座(28172HR)和夹紧缸(28272CN)实现了经由VITOM外视镜与快照HSI摄像机的安全附接。通过在手术前对机械臂、外视镜以及光导进行高压灭菌，并且将摄像机和关联的电缆覆盖消毒帷帘，来确保系统的总体无菌性。

术中临床可行性病例研究的主要目标是确认系统整合到标准手术工作流程中。为了聚焦于该物镜，我们选择在手术期间模仿当前的光学摄像机系统，并且使用介于385nm到740nm之间的白光，而没有670nm长通滤波器。对于快照摄像机，选择增益4和曝光时间20ms，其中光源提供100％的光强度。将运行用于与摄像系统实时交互以及进行数据可视化的定制化软件的膝上型电脑放置在灭菌环境外安全距离处的手推车上。连接至手术室中的监视器，以提供所捕获的视频速率HSI数据的实况显示(图19a)。特别地，这允许到手术团队的即时反馈以及与手术团队的交互，以用于除了内窥镜适配器设定之外还调节摄像机位置和取向，从而获取手术关注区域的焦点对准数据。使用该装置，在手术期间的八个不同阶段执行体内成像，以获取各种组织类型的HSI数据，包括皮肤、脂肪组织、疤痕组织、筋膜、肌肉、骨、椎弓根螺钉以及硬脑膜(图19b)。对各个解剖结构的成像持续6s到44s，并且对手术工作流程的破坏最小。在利用无缝过渡以获取HSI数据的成功手术之后，执行3分钟16秒钟的最终记录以捕获覆盖手术腔的成像数据。

讨论和结论

先前的工作着重指出了HSI作为非接触、非电离、非侵入性和无标记成像模态用于术中组织表征的潜力。尽管有大量的调查研究探索了HSI用于手术的临床潜力，但是就我们所知，尚未提出遵循严格临床要求的HSI系统，包括无菌性和无缝集成到可以提供用于术中手术引导的实时信息的手术工作流程中。

这里，我们提出了适合于开放手术的用于术中手术引导的HSI系统的实施方式。然而，我们的发明允许适应内窥镜和显微镜手术。我们在基于线扫描或快照技术的两种最先进的工业HSI摄像机系统中具体实施了我们的发明，并且评估了它们对于手术使用的适用性。基于我们建立的标准，我们提出了术中HSI实施方式，并且通过考虑两个HSI摄像机来对照这些要求执行评分。我们执行受控棋盘实验，来证明利用使用两个HSI摄像机的所提出的实施方式可以获得可靠的反射测量。执行离体实验以调查包括腱、肌肉、骨、关节囊、硬脑膜以及脊髓的一系列组织类型的反射性质，其中两个iHSI摄像机设置被安装在允许在受控环境中的通用成像配置的标准三脚架系统上。特别地，这被证明是用于线扫描摄像机的合适设置，以在VIS和NIR光谱上提供空间维和光谱维两者上的高分辨率数据，从而用于离体组织分析。iHSI系统允许在脊柱融合手术的各个阶段期间进行无缝和安全过渡，并且获取多种组织类型的视频速率HSI数据，包括皮肤、脂肪组织、筋膜、肌肉、骨、椎弓根螺钉以及硬脑膜。我们成功的临床可行性病例研究证明，所提出的iHSI系统通过尊重关键临床要求(诸如无菌性)而无缝集成到手术工作流程中，并且能够提供宽视野视频速率HSI成像。通过开发以数据驱动的信息处理流水线，可以利用这样的视频速率HSI数据来提供用于术中手术引导的实时宽视野组织表征。

所提出的离体设置可以被用于组合实验，以获取高分辨率线扫描和低分辨率快照HSI数据。这可以有利地提供用于开发快照HSI的实时去马赛克和组织分化方法的关键信息。

作为示例性实施方式的部分，遵循表1中概述的摄像机尺寸和重量要求的任何小型摄像机可以以直接的方式集成到所提出的iHSI系统设置中。还可以有益的是，使得能够以可变的工作距离、视场、景深以及焦深(表2)来实现HSI获取，这又将使得该设备能够与各种商业的内窥镜手术系统集成[34]并且将确保与当前的显微标准一致[38]。

我们的体内临床可行性病例研究证明，我们的发明的实施方式很好地集成到标准手术工作流程中，并且能够捕获HSI数据。总的来说，外科和手术室团队成员发现，尽管需要实现例程训练以确保手术期间中的平滑操作，但是所测试的实施方式使用简单。所测试的实施方式没有给团队成员招致安全问题，并且系统的尺寸、重量以及便携性在保持平滑的手术工作流程方面是可接受的。

表1：用于术中手术引导的高光谱成像系统实施方式的有利功能设计要求的概述。在最右列列出了表2的对应有利技术要求。

表2：用于术中手术引导的高光谱成像系统实施方式的有利技术要求的概述。在最右列列出了表1的对应有利功能要求。

表3：基于是否满足表2中概述的有利要求来验证术中高光谱成像实施方式。使用文中所描述的示例性实施方式，对具有等级(R)为0(不满足有利的最小要求)、1(满足有利的最小要求)以及2(满足目标有利要求)的两个摄像机设置执行评估。

技术人员将明白，对上述示例进行各种进一步的修改(无论是通过添加、删除还是替换)以提供附加的实施方式，其任何和全部都旨在由所附权利要求书来涵盖。

引用文献

[1]I.J.Gerard,M.Kersten-Oertel,K.Petrecca,D.Sirhan,J.A.Hall,andD.L.Collins,“Brain shift in neuronavigation of brain tumors:A review,”MedicalImage Analysis,vol.35,pp.403-420,jan 2017.[Online].Available:http://dx.doi.org/10.1016/j.media.2016.08.007 https://linkinghub.elsevier.com/retrieve/pii/S1361841516301566

[2]P.A.Helm,R.Teichman,S.L.Hartmann,and D.Simon,“Spinal Navigationand Imaging:History,Trends,and Future,”IEEE Transactions on Medical Imaging,vol.34,no.8,pp.1738-1746,aug 2015.[Online].Available:http://ieeexplore.ieee.org/document/7008544/

[3]G.Lu and B.Fei,“Medical hyperspectral imaging:a review,”Journal ofBiomedical Optics,vol.19,no.1,p.010901,jan 2014.[Online].Available:http://biomedicaloptics.spiedigitallibrary.org/article.aspx？doi＝10.1117/1.JBO.19.1.010901

[4]M.Halicek,H.Fabelo,S.Ortega,G.M.Callico,and B.Fei,“In-Vivo and Ex-Vivo Tissue Analysis through Hyperspectral Imaging Techniques:Revealing theInvisible Features of Cancer,”Cancers,vol.11,no.6,p.756,may 2019.[Online].Available:https://www.mdpi.com/2072-6694/11/6/756

[5]J.Shapey,Y.Xie,E.Nabavi,R.Bradford,S.R.Saeed,S.Ourselin,andT.Vercauteren,“Intraoperative multispectral and hyperspectral label-freeimaging:Asystematic review of in vivo clinical studies,”Journal ofBiophotonics,vol.12,no.9,p.e201800455,sep 2019.[Online].Available:https://onlinelibrary.wiley.com/doi/abs/10.1002/jbio.201800455

[6]N.T.Clancy,G.Jones,L.Maier-Hein,D.S.Elson,and D.Stoyanov,“Surgicalspectral imaging,”Medical Image Analysis,vol.63,p.101699,2020.[Online].Available:https://doi.org/10.1016/j.media.2020.101699

[7]J.H.G.M.Klaessens,M.Nelisse,R.M.Verdaasdonk,and H.J.Noordmans,“Non-contact tissue perfusion and oxygenation imaging using a LED basedmultispectral and a thermal imaging system,first results of clinicalintervention studies,”in Advanced Biomedical and Clinical Diagnostic SystemsXI,A.Mahadevan-Jansen,T.Vo-Dinh,and W.S.Grundfest,Eds.,vol.8572,mar 2013,p.857207.[Online].Available:http://proceedings.spiedigitallibrary.org/proceeding.aspx？doi＝10.1117/12.2003807

[8]M.Mori,T.Chiba,A.Nakamizo,R.Kumashiro,M.Murata,T.Akahoshi,M.Tomikawa,Y.Kikkawa,K.Yoshimoto,M.Mizoguchi,T.Sasaki,and M.Hashizume,“Intraoperative visualization of cerebral oxygenation using hyperspectralimage data:a two-dimensional mapping method,”International Journal ofComputer Assisted Radiology and Surgery,vol.9,no.6,pp.1059-1072,nov 2014.[Online].Available:http://link.springer.com/10.1007/s11548-014-0989-9

[9]E.Kho,L.L.de Boer,K.K.Van de Vijver,F.van Duijnhoven,M.-J.T.Vrancken Peeters,H.J.Sterenborg,and T.J.Ruers,“Hyperspectral Imaging forResection Margin Assessment during Cancer Surgery,”Clinical Cancer Research,vol.25,no.12,pp.3572-3580,jun 2019.[Online].Available:http://clincancerres.aacrjournals.org/lookup/doi/10.1158/1078-0432.CCR-18-2089

[10]H.Fabelo,S.Ortega,R.Lazcano,D.

G.M.Callicó,E.Juárez,R.Salvador,D.Bulters,H.Bulstrode,A.Szolna,J.

C.Sosa,A.J.O’Shanahan,S.Bisshopp,M.Hernández,J.Morera,D.Ravi,B.Kiran,A.Vega,A.Báez-Quevedo,G.-Z.Yang,B.Stanciulescu,and R.Sarmiento,“An Intraoperative Visualization SystemUsing Hyperspectral Imaging to Aid in Brain Tumor Delineation,”Sensors,vol.18,no.2,p.430,feb 2018.[Online].Available:http://www.mdpi.com/1424-8220/18/2/430

[11]N.Chiang,J.K.Jain,J.Sleigh,and T.Vasudevan,“Evaluation ofhyperspectral imaging technology in patients with peripheral vasculardisease,”Journal of Vascular Surgery,vol.66,no.4,pp.1192-1201,oct 2017.[Online].Available:http://dx.doi.org/10.1016/j.jvs.2017.02.047 https://linkinghub.elsevier.com/retrieve/pii/S0741521417309308

[12]M.Desjardins,J.-P.Sylvestre,R.Jafari,S.Kulasekara,K.Rose,R.Trussart,J.D.Arbour,C.Hudson,and F.Lesage,“Preliminary investigation ofmultispectral retinal tissue oximetry mapping using a hyperspectral retinalcamera,”Experimental Eye Research,vol.146,pp.330-340,may 2016.[Online].Available:https://linkinghub.elsevier.com/retrieve/pii/S0014483516300653

[13]L.C.Cancio,A.I.Batchinsky,J.R.Mansfield,S.Panasyuk,K.Hetz,D.Martini,B.S.Jordan,B.Tracey,and J.E.Freeman,“Hyperspectral Imaging:A NewApproach tothe Diagnosis of Hemorrhagic Shock,”The Journal of Trauma:Injury,Infection,andCritical Care,vol.60,no.5,pp.1087-1095,may 2006.[Online].Available:http://journals.lww.com/00005373-200605000-00025

[14]L.Khaodhiar,T.Dinh,K.T.Schomacker,S.V.Panasyuk,J.E.Freeman,R.Lew,T.Vo,A.A.Panasyuk,C.Lima,J.M.Giurini,T.E.Lyons,and A.Veves,“The Use ofMedicalHyperspectral Technology to Evaluate Microcirculatory Changes in DiabeticFootUlcers and to Predict Clinical Outcomes,”Diabetes Care,vol.30,no.4,pp.903-910,apr2007.[Online].Available:http://care.diabetesjournals.org/cgi/doi/10.2337/dc06-2209

[15]B.Fei,G.Lu,X.Wang,H.Zhang,J.V.Little,M.R.Patel,C.C.Griffith,M.W.El-Diery,and A.Y.Chen,“Label-free reflectance hyperspectral imaging fortumor marginassessment:a pilot study on surgical specimens of cancerpatients,”Journal of BiomedicalOptics,vol.22,no.08,p.1,aug 2017.[Online].Available:https://www.spiedigitallibrary.org/journals/journal-of-biomedical-optics/volume-22/issue-08/086009/Label-free-reflectance-hyperspectral-imaging-for-tumor-margin-assessment/10.1117/1.JBO.22.8.086009.full

[16]H.Fabelo,M.Halicek,S.Ortega,M.Shahedi,A.Szolna,J.

C.Sosa,A.O’Shanahan,S.Bisshopp,C.Espino,M.Márquez,M.Hernández,D.Carrera,J.Morera,G.Callico,R.Sarmiento,and B.Fei,“Deep Learning-Based Framework for InVivoIdentification of Glioblastoma Tumor using Hyperspectral Images of HumanBrain,”Sensors,vol.19,no.4,p.920,feb 2019.[Online].Available:http://www.mdpi.com/1424-8220/19/4/920

[17]S.Gioux,A.Mazhar,B.T.Lee,S.J.Lin,A.M.Tobias,D.J.Cuccia,A.Stockdale,R.Oketokoun,Y.Ashitate,E.Kelly,M.Weinmann,N.J.Durr,L.A.Moffitt,A.J.Durkin,B.J.Tromberg,and J.V.Frangioni,“First-in-human pilot study of aspatialfrequency domain oxygenation imaging system,”Journal of BiomedicalOptics,vol.16,no.8,p.086015,2011.[Online].Available:http://biomedicaloptics.spiedigitallibrary.org/article.aspx？doi＝10.1117/1.3614566

[18]S.L.Best,A.Thapa,N.Jackson,E.Olweny,M.Holzer,S.Park,E.Wehner,K.Zuzak,and J.A.Cadeddu,“Renal Oxygenation Measurement During PartialNephrectomy Using Hyperspectral Imaging May Predict Acute Postoperative RenalFunction,”Journal of Endourology,vol.27,no.8,pp.1037-1040,aug 2013.[Online].Available:http://www.liebertpub.com/doi/10.1089/end.2012.0683

[19]H.J.Noordmans,C.Ferrier,R.de Roode,F.Leijten,P.van Rijen,P.Gosselaar,J.Klaessens,and R.Verdaasdonk,“Imaging the seizure during surgerywith a hyperspectral camera,”Epilepsia,vol.54,no.11,pp.e150-e154,nov 2013.[Online].Available:http://doi.wiley.com/10.1111/epi.12386

[20]M.Barberio,F.Longo,C.Fiorillo,B.Seeliger,P.Mascagni,V.Agnus,V.Lindner,B.Geny,A.-L.Charles,I.Gockel,M.Worreth,A.Saadi,J.Marescaux,andM.Diana,“HYPerspectral Enhanced Reality(HYPER):a physiology-based surgicalguidance tool,”Surgical Endoscopy,vol.34,no.4,pp.1736-1744,apr 2020.[Online].Available:https://doi.org/10.1007/s00464-019-06959-9 http://link.springer.com/10.1007/s00464-019-06959-9

[21]J.Yoon,J.Joseph,D.J.Waterhouse,A.S.Luthman,G.S.D.Gordon,M.diPietro,W.Januszewicz,R.C.Fitzgerald,and S.E.Bohndiek,“Aclinicallytranslatable hyperspectral endoscopy(HySE)system for imaging thegastrointestinal tract,”Nature Communications,vol.10,no.1,p.1902,dec 2019.[Online].Available:http://dx.doi.org/10.1038/s41467-019-09484-4 http://www.nature.com/articles/s41467-019-09484-4

[22]R.Mühle,H.Ernst,S.B.Sobottka,and U.Morgenstern,“Workflow andhardware for intraoperative hyperspectral data acquisition in neurosurgery,”Biomedical Engineering/Biomedizinische Technik,jul 2020.[Online].Available:https://www.degruyter.com/view/journals/bmte/ahead-of-print/article-10.1515-bmt-2019-0333/article-10.1515-bmt-2019-0333.xml

[23]A.Kulcke,A.Holmer,P.Wahl,F.Siemers,T.Wild,and G.Daeschlein,“Acompact hyperspectral camera for measurement of perfusion parameters inmedicine,”Biomedical Engineering/Biomedizinische Technik,vol.63,no.5,pp.519-527,oct 2018.[Online].Available:http://www.degruyter.com/view/j/bmte.2018.63.issue-5/bmt-2017-0145/bmt-2017-0145.xml

[24]H.

A.Kulcke,M.Maktabi,Y.Moulla,B.Jansen-Winkeln,M.Barberio,M.Diana,I.Gockel,T.Neumuth,and C.Chalopin,“Laparoscopic system forsimultaneous high-resolution video and rapid hyperspectral imaging in thevisible and near-infrared spectral range,”Journal of Biomedical Optics,vol.25,no.08,aug 2020.[Online].Available:https://www.spiedigitallibrary.org/journals/journal-of-biomedical-optics/volume-25/issue-08/086004/Laparoscopic-system-for-simultaneous-high-resolution-video-and-rapid-hyperspectral/10.1117/1.JBO.25.8.086004.full

[25]J.Pichette,A.Laurence,L.Angulo,F.Lesage,A.Bouthillier,D.K.Nguyen,and F.Leblond,“Intraoperative video-rate hemodynamic response assessment inhuman cortex using snapshot hyperspectral optical imaging,”Neurophotonics,vol.3,no.4,p.045003,oct 2016.[Online].Available:http://neurophotonics.spiedigitallibrary.org/article.aspx？doi＝10.1117/1.NPh.3.4.045003

[26]M.

M.Larsson,and E.G.Salerud,“Spatial and temporal skinblood volume and saturation estimation using a multispectral snapshot imagingcamera,”in Imaging,Manipulation,and Analysis of Biomolecules,Cells,andTissues XV,D.L.Farkas,D.V.Nicolau,and R.C.Leif,Eds.,vol.10068,feb 2017,p.1006814.[Online].Available:http://proceedings.spiedigitallibrary.org/proceeding.aspx？doi＝10.1117/12.2251928

[27]K.Dijkstra,J.van de Loosdrecht,L.R.B.Schomaker,and M.A.Wiering,“Hyperspectral demosaicking and crosstalk correction using deep learning,”Machine Vision and Applications,vol.30,no.1,pp.1-21,feb 2019.[Online].Available:https://doi.org/10.1007/s00138-018-0965-4 http://link.springer.com/10.1007/s00138-018-0965-4

[28]G.Tsagkatakis,M.Bloemen,B.Geelen,M.Jayapala,and P.Tsakalides,“Graph and Rank Regularized Matrix Recovery for Snapshot Spectral ImageDemosaicing,”IEEE Transactions on Computational Imaging,vol.5,no.2,pp.301-316,jun 2019.[Online].Available:https://ieeexplore.ieee.org/document/8584100/

[29]J.Shapey,Y.Xie,E.Nabavi,D.Ravi,S.R.Saeed,R.Bradford,S.Ourselin,and T.Vercauteren,“Towards intraoperative hyperspectral imaging:designconsiderations for neurosurgical applications,”Proceedings of HamlynSymposium on Medical Robotics,p.18,2018.

[30]L.Ricciardi,K.L.Chaichana,A.Cardia,V.Stifano,Z.Rossini,A.Olivi,and C.L.Sturiale,“The Exoscope in Neurosurgery:An Innovative“Point of View”.ASystematic Review of the Technical,Surgical,and Educational Aspects,”WorldNeurosurgery,vol.124,pp.136-144,apr 2019.[Online].Available:https://doi.org/10.1016/j.wneu.2018.12.202 https://linkinghub.elsevier.com/retrieve/pii/S1878875019300804

[31]P.G.Yock,S.Zenios,J.Makower,T.J.Brinton,U.N.Kumar,F.T.J.Watkins,L.Denend,T.M.Krummel,and C.Q.Kurihara,Biodesign:The process of innovatingmedical technologies,2nd ed.Cambridge University Press,2015.

[32]S.H.Yun and S.J.J.Kwok,“Light in diagnosis,therapy and surgery,”Nature Biomedical Engineering,vol.1,no.1,p.0008,jan 2017.[Online].Available:http://www.nature.com/articles/s41551-016-0008

[33]K.Nishiyama,“From Exoscope into the Next Generation,”Journal ofKorean Neurosurgical Society,vol.60,no.3,pp.289-293,may 2017.[Online].Available:http://jkns.or.kr/journal/view.php？doi＝10.3340/jkns.2017.0202.003

[34]D.J.Langer,T.G.White,M.Schulder,J.A.Boockvar,M.Labib,andM.T.Lawton,“Advances in Intraoperative Optics:ABrief Review of CurrentExoscope Platforms,”Operative Neurosurgery,vol.19,no.1,pp.84-93,jul 2020.[Online].Available:https://academic.oup.com/ons/article/19/1/84/5569799

[35]S.Thorpe,D.Fize,and C.Marlot,“Speed of processing in the humanvisual system,”Nature,vol.381,no.6582,pp.520-522,jun 1996.[Online].Available:http://www.nature.com/articles/381520a0

[36]P.C.Cotterill,J.P.Kostuik,G.D’Angelo,G.R.Fernie,and B.E.Maki,“Ananatomical comparison of the human and bovine thoracolumbar spine,”Journal ofOrthopaedic Research,vol.4,no.3,pp.298-303,1986.[Online].Available:http://doi.wiley.com/10.1002/jor.1100040306

[37]A.Myronenko and X.Song,“Point Set Registration:Coherent PointDrift,”IEEE Transactions on Pattern Analysis and Machine Intelligence,vol.32,no.12,pp.2262-2275,dec 2010.[Online].Available:http://arxiv.org/abs/0905.2635％0Ahttp://dx.doi.org/10.1109/TPAMI.2010.46 http://ieeexplore.ieee.org/document/5432191/

[38]J.Schwiegerling,C.Chancy,and R.C.Dimalanta,“Depth of FocusMeasurement of an Ophthalmic Surgical Microscope,”InvestigativeOphthalmology&Visual Science,vol.56,no.7,p.1925,2015.

[39]L.Ayala,S.Seidlitz,A.Vemuri,S.J.Wirkert,T.Kirchner,T.J.Adler,C.Engels,D.Teber,and L.Maier-Hein,“Light source calibration for multispectralimaging in surgery,”International Journal of Computer Assisted Radiology andSurgery,vol.15,no.7,pp.1117-1125,jul 2020.[Online].Available:https://doi.org/10.1007/s11548-020-02195-y http://link.springer.com/10.1007/s11548-020-02195-y

Claims

1.一种从高光谱影像确定希望目标图像的参数的方法，所述方法包括以下步骤：

使用高光谱图像传感器来捕获场景的高光谱快照马赛克图像，所述快照马赛克图像具有相对低的空间分辨率和低的光谱分辨率；

对所述快照马赛克图像采取去马赛克，以生成快照马赛克图像数据的虚拟超立方，所述虚拟超立方包括与所述快照马赛克图像相比空间分辨率相对高的图像数据；

从所述虚拟超立方中的所述图像数据中，确定希望目标图像的相对高的空间分辨率参数；以及

输出所确定的相对高的分辨率参数作为所述希望目标图像的表示。

2.根据权利要求1所述的方法，其中，所述去马赛克是空间-光谱感知的。

3.根据权利要求2所述的方法，其中，所述去马赛克包括所述快照马赛克图像的图像重采样，例如线性或三次重采样，随后应用光谱校准矩阵。

4.根据权利要求2所述的方法，其中，所述去马赛克包括机器学习。

5.根据前述权利要求中的任一项所述的方法，其中，基于帧之间的运动补偿，所述去马赛克在两个或更多个连续帧之间在时间上是一致的。

6.根据前述权利要求中的任一项所述的方法，并且所述方法还包括以下步骤：在捕获所述高光谱快照马赛克图像之前，对所述高光谱图像传感器采取白平衡操作。

7.根据权利要求6所述的方法，其中，所述白平衡操作包括：单独获取参考图像，所述参考图像包括在积分时间τ_d的暗参考马赛克图像

和在积分时间τ_w的白参考马赛克图像

和暗参考马赛克图像w_d；τ和

并且所述白平衡操作产生由

给出的反射马赛克图像。

8.根据前述权利要求中的任一项所述的方法，并且所述方法还包括以下步骤：在捕获所述高光谱快照马赛克图像之前，对所述高光谱图像传感器采取空间光谱校准操作。

9.根据权利要求8所述的方法，其中，在受控设置中估计真实光谱滤波器响应算子B_F:

和空间串扰算子T:W→W，以考虑在图像获取期间的寄生效应。

10.根据权利要求9所述的方法，并且所述方法还包括以下步骤：通过使用准直光获取快照马赛克图像数据，并且结合具有已知的、通常是空间恒定的光谱特征图的成像目标来扫过所有n_Λ个波长，对所述高光谱图像传感器的特性进行测量，以获得所测量的系统滤波器响应算子

U→W。

11.根据前述权利要求中的任一项所述的方法，其中，确定所述相对高的空间参数的步骤还包括：分析像素级高光谱信息，以获得它的由特定光谱特征图表征的独特端员的组成。

12.根据前述权利要求中的任一项所述的方法，其中，确定所述相对高的空间参数的步骤还包括：根据高光谱成像的反射信息，例如像素级组织吸收信息，来估计(通常为像素的)每空间位置一个的组织特性。

13.一种从高光谱影像确定希望目标图像的参数的方法，所述方法包括以下步骤：

从所述快照马赛克图像采取联合去马赛克和参数估计，以确定希望目标图像的相对高的空间分辨率参数；以及

14.一种用于目标区域的高光谱成像的系统，所述系统包括：

光源，所述光源用于照明所述目标区域；

高光谱图像传感器，所述高光谱图像传感器被配置成捕获所述目标区域的一个或更多个高光谱图像；

光学观测仪，所述光学观测仪联接至所述高光谱图像传感器，使得在使用期间，由所述高光谱图像传感器获取由所述光学观测仪生成的、所述目标的图像。

15.根据权利要求14所述的系统，其中，所述光学观测仪与所述高光谱图像传感器之间的光路包括一个或更多个滤光器。

16.根据权利要求15所述的系统，其中，所述系统被设置成调节所述一个或更多个滤光器的配置，以用于实时校准由所述高光谱图像传感器捕获的所述目标区域的所述一个或更多个高光谱图像。

17.根据权利要求15或16所述的系统，其中，所述高光谱图像传感器包括一个或更多个单独光谱带传感器，并且其中，一个或更多个滤光器被设置成调节或调谐所述单独光谱带传感器的相应传感器响应。

18.根据权利要求14至17中的任一项所述的系统，其中，所述光学观测仪包括：

(i)外视镜；

(ii)内窥镜；或者

(iii)手术显微镜。

19.根据权利要求14至18中的任一项所述的系统，其中，所述系统包括无限校正光学配置。

20.根据权利要求14至19中的任一项所述的系统，所述系统包括：锁定装置，所述锁定装置用于在所述光学观测仪与所述高光谱图像传感器之间的光路中互锁光学组件。

21.根据权利要求20所述的系统，其中，所述锁定装置包括机械锁定装置。

22.根据权利要求14至21中的任一项所述的系统，其中，所述系统还包括至少一个光学分束器，所述光学分束器处于所述光源与所述高光谱图像传感器之间的所述光路中，所述分束器被配置成将入射到所述分束器上的单个光束分裂成两个或更多个光束。

23.根据权利要求22所述的系统，其中，所述光路还包括用于所述两个或更多个光束的相应滤光器。

24.根据权利要求14至23中的任一项所述的系统，其中，所述系统还设置有控制装置，所述控制装置被设置成以预定频率控制所述光源的切换。

25.根据权利要求24所述的系统，其中，所述控制装置还被配置成使所述光源的所述切换与所述目标区域的所述高光谱图像的所述捕获同步。

26.根据权利要求14至25中的任一项所述的系统，其中，所述系统包括联接至所述高光谱图像传感器的用于散热的装置。

27.一种适配器，所述适配器用于将光学观测仪联接至高光谱图像传感器，所述适配器包括一个或更多个滤光器。

28.一种用于目标区域的高光谱成像的系统，所述系统包括：

光源，所述光源用于照明所述目标区域；以及

至少一个高光谱图像传感器，所述至少一个高光谱图像传感器被配置成捕获所述目标区域的高光谱图像，

其中，所述系统被配置成在所述至少一个图像传感器上获取所述目标区域的多个高光谱子图像。

29.根据权利要求28所述的系统，其中，所述系统包括至少一个光学分束器，所述至少一个光学分束器处于所述光源与所述高光谱图像传感器之间的光路中，所述分束器被配置成将入射到所述分束器上的单个光束分裂成两个或更多个光束。

30.根据权利要求29所述的系统，其中，所述光路还包括用于所述两个或更多个光束的相应滤光器。

31.一种用于目标区域的高光谱成像的系统，所述系统包括：

光源，所述光源用于照明所述目标区域；以及

高光谱图像传感器，所述高光谱图像传感器被配置成捕获所述目标区域的高光谱图像，

其中，所述系统被设置成以预定频率控制所述光源的切换。

32.根据权利要求31所述的系统，其中，所述系统被配置成使所述光源的所述切换与所述目标区域的所述高光谱图像的捕获同步。

33.一种用于目标区域的高光谱成像的系统，所述系统包括：

光源，所述光源用于照明所述目标区域；以及

其中，所述系统包括联接至所述高光谱图像传感器的用于散热的装置。

34.根据权利要求14、28、31或33中的任一项所述的系统，其中，所述系统还被配置成从高光谱影像确定所述目标区域的参数，所述系统还包括：

处理器；以及

计算机可读存储介质，所述计算机可读存储介质存储计算机可读指令，所述计算机可读指令在由所述处理器执行时，使所述处理器控制所述系统执行根据权利要求1至13中的任一项所述的方法。

35.一种用于从高光谱影像确定希望目标图像的参数的系统，所述系统包括：

高光谱图像传感器，所述高光谱图像传感器被设置用于捕获场景的高光谱图像；

处理器；以及

36.一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，所述计算机程序在被执行时，使高光谱成像系统执行根据权利要求1至13中的任一项所述的方法。