CN114052913B - 一种ar荧光手术导航系统及方法 - Google Patents

Abstract

本申请提供了一种AR荧光手术导航系统及方法，涉及外科诊断技术领域，其技术方案要点是：包括照明模块，用于对组织进行照明，摄像模块，用于接收所述组织发出的第一荧光并生成图像信号，其特征在于，还包括：深度模块，用于生成深度信息；图像处理模块，用于接收所述图像信号以及所述深度信息，用于根据所述图像信号生成荧光图像，还用于根据所述深度信息调整所述摄像模块的曝光参数，或根据所述深度信息以及所述荧光图像的亮度调整所述摄像模块的曝光参数。本申请提供的一种AR荧光手术导航系统及方法具有图像亮度稳定均匀，无需频繁人工调整曝光参数的优点。

Description

一种AR荧光手术导航系统及方法

技术领域

本申请涉及外科诊断技术领域，具体而言，涉及一种AR荧光手术导航系统及方法。

背景技术

现代医学影像系统是临床外科手术必不可少的工具。在开放式外科手术中，AR荧光手术导航系统可以将影像提供的病灶组织结构和功能信息累加至实际场景上，在人眼所能观察的实际生物组织上强化显示影像设备所捕获的组织结构信号、功能性分子显影信号等。

为符合人体工程学及给术者带来良好使用体验，AR荧光手术导航系统的使用范围为距被照人体0.5米至1.2米。临床使用时，手术视野内的器官组织在相差较大的工作距离下难以荧光显影一致。如系统在工作距离0.8米处设置好荧光相机的增益和曝光时间参数，使得荧光显影清晰，亮度均衡。当移动系统至工作范围0.5米处，荧光显影可能会出现过曝；移动系统至工作范围1.2米处，荧光显影可能出现欠曝。此时，需要反复调整led光源的亮度，或调整荧光相机的增益和曝光时间等参数，带来操作不便。同时，led光源功率过大带来的高温会灼伤人体组织。

综上，AR荧光手术导航系统由于工作距离变化较大导致的荧光显影远近不一致，影响影像质量，为临床使用带来不便。

针对上述问题，申请人提出了一种新的解决方案。

发明内容

本申请的目的在于提供一种AR荧光手术导航系统及方法，具有图像亮度稳定均匀，无需频繁人工调整曝光参数的优点。

第一方面，本申请提供了一种AR荧光手术导航系统，技术方案如下：

包括照明模块，用于对组织进行照明，摄像模块，用于接收所述组织发出的第一荧光并生成图像信号，还包括：

深度模块，用于生成深度信息；

图像处理模块，用于接收所述图像信号以及所述深度信息，用于根据所述图像信号生成荧光图像，还用于根据所述深度信息调整所述摄像模块的曝光参数，或根据所述深度信息以及所述荧光图像的亮度调整所述摄像模块的曝光参数。

利用深度模块生成深度信息，通过深度信息可以得到照明模块与组织之间的距离，根据照明模块与组织之间的距离来自动调整摄像模块的曝光参数，使图像处理模块生成的荧光图像的亮度稳定均匀，具有无需频繁人工调整曝光参数的有益效果。

进一步地，在本申请中，所述深度模块为TOF传感器，所述TOF传感器接收所述组织发出或反射的第二荧光，从而生成深度信息。

进一步地，在本申请中，还包括第一分光模块，所述第一分光模块用于分离所述第一荧光与所述第二荧光，使所述第一荧光射入所述摄像模块内，使所述第二荧光射入所述深度模块内。

进一步地，在本申请中，还包括投影模块，所述投影模块接收所述图像处理模块合成的荧光图像，并将所述荧光图像投影至所述组织上。

进一步地，在本申请中，还包括第二分光模块，所述第二分光模块用于分离自然光与荧光，所述第二分光模块与所述投影模块对应设置，用于过滤射向所述投影模块的所述荧光，所述荧光包括所述第一荧光与所述第二荧光。

进一步地，在本申请中，所述第二分光模块与所述第一分光模块对应设置，用于使所述荧光射向所述第一分光模块。

第二方面，在本申请中还提供一种AR荧光手术导航方法，应用于AR荧光手术导航系统中，所述AR荧光手术导航系统包括用于对组织进行照明的照明模块、用于生成图像信号的摄像模块，还包括：用于生成深度信息的深度模块以及用于合成荧光图像的图像处理模块，所述AR荧光手术导航方法包括：

获取所述照明模块与所述组织之间的距离；

根据所述照明模块与所述组织之间的距离调整所述摄像模块的曝光参数。

进一步地，在本申请中，所述获取所述照明模块与所述组织之间的距离的步骤包括：

获取所述深度模块接收所述组织发出或反射的第二荧光从而生成深度信息；

根据所述深度信息计算出所述照明模块与所述组织的距离。

进一步地，在本申请中，根据所述照明模块与所述组织之间的距离调整所述摄像模块的曝光参数的步骤包括：

设置标准图像亮度；

在所述照明模块与所述组织之间的距离发生改变时，调整所述摄像模块的曝光参数使所述荧光图像的亮度保持为所述标准图像亮度。

进一步地，在本申请中，所述根据所述照明模块与所述组织之间的距离调整所述摄像模块的曝光参数的步骤还包括：

获取所述荧光图像的亮度信息；

根据所述照明模块与所述组织之间的距离以及所述荧光图像的亮度信息调整所述摄像模块的曝光参数。

由上可知，本申请提供的一种AR荧光手术导航系统及方法，利用深度模块生成深度信息，通过深度信息可以得到照明模块与组织之间的距离，根据照明模块与组织之间的距离来自动调整摄像模块的曝光参数，使图像处理模块生成的荧光图像的亮度稳定均匀，具有无需频繁人工调整曝光参数的有益效果。

本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

图1为本申请提供的一种AR荧光手术导航系统结构简图。

图2为本申请提供的一种AR荧光手术导航系统具体结构示意图。

图3为本申请提供的照明模块发光示意图。

图4为本申请提供的一种AR荧光手术导航方法流程图。

图中：100、照明模块；200、摄像模块；300、深度模块；400、图像处理模块；500、第一分光模块；600、投影模块；700、第二分光模块；001、组织。

具体实施方式

下面将结合本申请中附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

第一方面，参照图1至图3，本申请提供了一种AR荧光手术导航系统，技术方案如下：

包括照明模块100，用于对组织001进行照明，摄像模块200，用于接收组织001发出的第一荧光并生成图像信号，还包括：

深度模块300，用于生成深度信息；

图像处理模块400，用于接收图像信号以及深度信息，并根据图像信号生成荧光图像，根据深度信息调整摄像模块200的曝光参数。

参照图3，假设照明模块100的物理出光角为θ，组织001的面积A2，照明模块100与组织001距离为d，照明模块100照射总面积

，

，物理出光角θ不变，则k1不变，可以得出照明模块100照射总面积A1与

成正比。

当照明模块100功率不变，出光量Y0固定，假设组织001面积A2固定不变，则组织001单位面积获得的照度相同，组织001获得的照度为：

，

，k1不变时，k2同样不变，可以得出组织001的照度I与

成反比。

假设组织001的ICG浓度为C，在激发光激发下，组织001发射近红外光亮度

，其中k3为常系数。由组织001的照度I与

成反比的关系，同理可推得，摄像模块200感应到的亮度Y2同样与

成反比，即

。

由于照明模块100的功率和物理出光角等物理特性固定，在ICG浓度不变的情况下，摄像模块200感应到的亮度Y2只与照明模块100与组织001距离d存在比例关系，通过深度模块300可获得照明模块100与组织001距离d。当照明模块100与组织001距离d增大或减小时，摄像模块200感应到的亮度Y2减小或增大。因此，可以根据照明模块100与组织001的距离来调整摄像模块200的曝光参数，使得图像处理模块400最后生成的荧光图像的亮度保持相对稳定不变。

通过上述技术方案，利用深度模块300生成深度信息，通过深度信息可以得到照明模块100与组织001之间的距离，根据照明模块100与组织001之间的距离来自动调整摄像模块200的曝光参数，使图像处理模块400生成的荧光图像的亮度稳定均匀，具有无需频繁人工调整曝光参数的有益效果。

具体的，照明模块100与组织001之间的距离为A，此时图像处理模块400生成的荧光图像的亮度为B，当照明模块100与组织001之间的距离变为C时，如果不做曝光参数的调整，此时荧光图像的亮度为D，当C小于A时，亮度为D的荧光图像会出现过曝的情况，在本申请的方案中，会根据距离C来调整曝光参数，当C小于A时，降低摄像模块200的曝光时间和/或感光度和/或光圈，使得原本亮度为D的荧光图像的亮度下降为B，从而保证荧光图像亮度的稳定。

因此，在一些实施方式中，图像处理模块400根据深度信息以及荧光图像的亮度信息调整摄像模块200的曝光参数，最终使荧光图像的亮度保持稳定，具体为，图像处理模块400会计算荧光图像的整体像素的加权平均亮度从而得到荧光图像的亮度信息，当图像处理模块400根据深度信息对摄像模块200的曝光参数调整后，生成的荧光图像的亮度信息与之前的亮度不同时，则会再度根据荧光图像的亮度信息来调整摄像模块200的曝光参数，使最终荧光图像的亮度保持一致。

进一步地，在其中一些实施例中，深度模块300为TOF传感器，TOF传感器接收组织001发出或反射的第二荧光，从而生成深度信息。

具体的，在一些实施方式中，组织001中注射有ICG，然后由照明模块100发出波长峰值为780nm的近红外光并照射在组织001上，组织001上的ICG被激发后会发出峰值为835nm的第一荧光，第一荧光被摄像模块200捕捉用于生成图像信号，除此之外，ICG被激发后还会生成波长峰值为940nm的第二荧光，第二荧光可以被TOF传感器捕捉，TOF传感器根据照明模块100发出波长峰值为780nm的近红外光的时间以及自身接收波长峰值为940nm的第二荧光的时间，可以计算出时间差，根据时间差得到深度信息。

具体的，在另外一些实施方式中，照明模块100除了发出波长峰值为780nm的近红外光外，还会发出波长峰值为940nm的第二荧光，第二荧光照射在组织001上后，被组织001反射，接着被TOF传感器所接收，TOF传感器根据照明模块100发出第二荧光的时间以及自身接收第二荧光的时间可以计算出时间差，根据时间差得到深度信息。

具体的，在一些实施方式中，照明模块100包括第一发光单元以及第二发光单元，第一发光单元用于发出波长峰值为780nm的近红外光，第二发光单元用于发出波长峰值为940nm的第二荧光。

除此之外，深度模块300可以采用相机阵列或3D结构光的方案来获取深度信息，其中，优选使用TOF传感器来获取深度信息，TOF传感器具有最佳的可伸缩性，TOF传感器的深度精度可以通过片上时间数字转换器或混合电路进行缩放，其深度图分辨率可以通过传感器尺寸进行缩放，其测量范围可以通过光源功率或调制方案进行缩放，并且其功耗可以通过用半导体技术扩展规模。

进一步地，其中一些实施例中，还包括第一分光模块500，第一分光模块500用于分离第一荧光与第二荧光，使第一荧光射入摄像模块200内，使第二荧光射入深度模块300内。

通过上述技术方案，由于摄像模块200是通过接收第一荧光来产生图像信号，然后令图像处理模块400合成荧光图像，深度模块300是通过接收第二荧光来产生深度信息，如果让摄像模块200接收了第二荧光，则会产生干扰，使最终图像处理模块400合成的荧光图像有噪声，因此设置有第一分光模块500，并且第一分光模块500分别与摄像模块200、深度模块300对应设置，使第一荧光和第二荧光分离，并且让第一荧光射向摄像模块200，第二荧光射向深度模块300。

进一步地，其中一些实施例中，还包括投影模块600，投影模块600接收图像处理模块400合成的荧光图像，并将荧光图像投影至组织001上。

通过上述技术方案，当图像处理模块400根据图像信号或图像信号和深度信息合成荧光图像后，将荧光图像传输给投影模块600上，投影模块600将荧光图像对应投影在相应的组织001上，并且，投影模块600还可以将病灶组织结构和功能信息以及其它信息也投影在组织001上，在人眼所能观察的实际组织上强化影像设备所捕获的各种信息，使执行手术的医生可以轻松的获得各种信息。

进一步地，其中一些实施例中，还包括第二分光模块700，第二分光模块700用于分离自然光与荧光，第二分光模块700与投影模块600对应设置，用于过滤射向投影模块600的荧光，荧光包括第一荧光与第二荧光。

通过上述技术方案，利用第二分光模块700分离自然光和荧光，避免荧光对投影模块600产生干扰。

进一步地，其中一些实施例中，第二分光模块700与第一分光模块500对应设置，用于使荧光射向第一分光模块500。

通过上述技术方案，第二分光模块700分别与第一分光模块500以及投影模块600对应设置，在过滤了射向投影模块600的荧光同时，使荧光射向了第一分光模块500，第一分光模块500再将荧光分离成第一荧光和第二荧光，使第一荧光射向摄像模块200，使第二荧光射向深度模块300。

第二方面，参照图4，在本申请中还提供一种AR荧光手术导航方法，应用于AR荧光手术导航系统中，AR荧光手术导航系统包括用于对组织001进行照明的照明模块100、用于生成图像信号的摄像模块200，还包括：用于生成深度信息的深度模块300以及用于合成荧光图像的图像处理模块400，AR荧光手术导航方法包括：

S110、获取照明模块100与组织001之间的距离；

S120、根据照明模块100与组织001之间的距离调整摄像模块200的曝光参数。

通过上述技术方案，通常照明模块100的功率和物理出光角等物理特性固定，在ICG浓度不变的情况下，摄像模块200感应到的亮度只与照明模块100与组织001距离存在比例关系，当照明模块100与组织001距离增大或减小时，摄像模块200感应到的亮度减小或增大。因此，可以根据照明模块100与组织001的距离来调整摄像模块200的曝光参数，使得图像处理模块400最后成像亮度保持相对稳定不变。

进一步地，其中一些实施例中，获取照明模块100与组织001之间的距离的步骤包括：

获取深度模块300接收组织001发出或反射的第二荧光从而生成深度信息；

根据深度信息计算出照明模块100与组织001的距离。

其中，深度模块300为TOF传感器。

组织001中注射有ICG，然后由照明模块100发出波长峰值为780nm的近红外光照射在组织001上，组织001上的ICG被激发后会发出峰值为835nm的第一荧光，第一荧光被摄像模块200捕捉用于生成图像信号，除此之外，ICG被激发后还会生成波长峰值940nm的第二荧光，第二荧光可以被TOF传感器捕捉，TOF传感器根据照明模块100发出波长峰值为780nm的近红外光的时间以及接收波长峰值为940nm的第二荧光的时间可以计算出时间差，根据时间差得到深度信息。

具体的，在另外一些实施方式中，照明模块100除了发出波长峰值为780nm的近红外光外，还会发出波长峰值为940nm的第二荧光，第二荧光照射在组织001上后，被组织001反射，接着被TOF传感器所接收，TOF传感器根据照明模块100发出第二荧光的时间以及自身接收第二荧光的时间可以计算出时间差，根据时间差得到深度信息。

在得到深度信息后，深度模块300与照明模块100的距离保持固定，因此可以通过深度信息计算出照明模块100与组织001的距离，其中，深度信息至少包括了组织001表面到深度模块300的距离。

进一步地，其中一些实施例中，根据照明模块100与组织001之间的距离调整摄像模块200的曝光参数的步骤包括：

设置标准图像亮度；

在照明模块100与组织001之间的距离发生改变时，调整摄像模块200的曝光参数使荧光图像的亮度保持为标准图像亮度。

通过上述技术方案，在实际操作中，需要确定好标准图像亮度，在标准图像亮度下，照明模块100与组织001之间的距离是确定的，此时摄像模块200的曝光参数也是确定的，当照明模块100与组织001之间的距离发生变化时，通过调整摄像模块200的曝光参数，使图像处理模块400合成的荧光图像的亮度为标准亮度。

具体为，当照明模块100与组织001之间的距离减小时，降低摄像模块200的曝光时间和/或感光度和/或光圈，当照明模块100与组织001之间的距离增大时，提高摄像模块200的曝光时间和/或感光度和/或光圈。

进一步地，其中一些实施例中，根据照明模块100与组织001之间的距离调整摄像模块200的曝光参数的步骤还包括：

获取荧光图像的亮度信息；

根据照明模块100与组织001之间的距离以及荧光图像的亮度信息调整摄像模块200的曝光参数。

图像处理模块400在根据深度信息调整摄像模块200的曝光参数的过程中，具体是通过照明模块100与组织001之间的距离来调整摄像模块200的曝光参数，来使图像处理模块400生成的荧光图像亮度保持稳定，但是，在这个过程中，照明模块100发生的激发光的强度有可能会产生波动，这样会使组织001发出的第一荧光的亮度发生变化，也会影响图像处理模块400生成的荧光图像的亮度，亦或是存在其它影响因素影响图像处理模块400生成的荧光图像的亮度。

因此，图像处理模块400可以根据深度信息以及荧光图像的亮度信息调整摄像模块200的曝光参数，最终使荧光图像的亮度保持稳定，具体为，图像处理模块400会计算荧光图像的整体像素的加权平均亮度从而得到荧光图像的亮度信息，当图像处理模块400根据深度信息对摄像模块200的曝光参数调整后，生成的荧光图像的亮度信息与标准图像亮度不同，则会再度根据荧光图像的亮度信息来调整摄像模块200的曝光参数，使最终荧光图像的亮度保持一致。

当照明模块100发出的光照产生了比较大的波动时，由于图像处理模块400一开始是仅通过深度信息来调节摄像模块200的曝光参数，受到照明模块100发出的光照的影响，此时输出的荧光图像的亮度并不是标准图像亮度，当图像处理模块400根据当前荧光图像的亮度进行曝光参数的调整时，受到照明模块100发出的光照的波动，很容易使图像处理模块400输出的荧光图像产生剧烈的亮度变化，这种剧烈的亮度变化会给执行手术的医生带来不好的视觉影响。

因此，其中一些实施例中，根据照明模块100与组织001之间的距离以及荧光图像的亮度信息调整摄像模块200的曝光参数的步骤包括：

根据标准图像亮度计算出所需要设置的曝光参数；

根据当前的曝光参数以及所需要设置的曝光参数设置曝光参数的调整时间。

通过上述技术方案，在当前曝光参数与所需要设置的曝光参数的差距较大时，如果在短时间内将当前曝光参数调整为需要设置的曝光参数，会使荧光图像的亮度发生剧烈变化，因此，根据当前的曝光参数以及所需要设置的曝光参数设置曝光参数的调整时间，在调整时间内，将当前曝光参数平缓的调整至所需要的曝光参数，使荧光图像的变化平缓，避免对人眼产生视觉疲劳。具体可以设置为，当前曝光参数与所需要设置的曝光参数之间的差距越大，调整时间越长。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (9)

1.一种AR荧光手术导航系统，包括照明模块，用于对组织进行照明，摄像模块，用于接收所述组织发出的第一荧光并生成图像信号，其特征在于，还包括：

深度模块，用于生成深度信息；

图像处理模块，用于接收所述图像信号以及所述深度信息，用于根据所述图像信号生成荧光图像，还用于根据所述深度信息调整所述摄像模块的曝光参数，或根据所述深度信息以及所述荧光图像的亮度调整所述摄像模块的曝光参数；

所述图像处理模块设置有标准图像亮度，根据所述标准图像亮度计算出所需要设置的曝光参数，并根据当前的曝光参数以及所述所需要设置的曝光参数设置曝光参数的调整时间，在所述照明模块与所述组织之间的距离发生改变时，根据所述调整时间调整所述摄像模块的曝光参数使所述荧光图像的亮度保持为所述标准图像亮度。

2.根据权利要求1所述的一种AR荧光手术导航系统，其特征在于，所述深度模块为TOF传感器，所述TOF传感器接收所述组织发出或反射的第二荧光，从而生成所述深度信息。

3.根据权利要求2所述的一种AR荧光手术导航系统，其特征在于，还包括第一分光模块，所述第一分光模块用于分离所述第一荧光与所述第二荧光，使所述第一荧光射入所述摄像模块内，使所述第二荧光射入所述深度模块内。

4.根据权利要求3所述的一种AR荧光手术导航系统，其特征在于，还包括投影模块，所述投影模块接收所述图像处理模块合成的荧光图像，并将所述荧光图像投影至所述组织上。

5.根据权利要求4所述的一种AR荧光手术导航系统，其特征在于，还包括第二分光模块，所述第二分光模块用于分离自然光与荧光，所述第二分光模块与所述投影模块对应设置，用于过滤射向所述投影模块的所述荧光，所述荧光包括所述第一荧光与所述第二荧光。

6.根据权利要求5所述的一种AR荧光手术导航系统，其特征在于，所述第二分光模块与所述第一分光模块对应设置，用于使所述荧光射向所述第一分光模块。

7.一种AR荧光手术导航方法，应用于AR荧光手术导航系统中，所述AR荧光手术导航系统包括用于对组织进行照明的照明模块、用于生成图像信号的摄像模块，其特征在于，还包括：用于生成深度信息的深度模块以及用于合成荧光图像的图像处理模块，所述AR荧光手术导航方法包括：

获取所述照明模块与所述组织之间的距离；

根据所述照明模块与所述组织之间的距离调整所述摄像模块的曝光参数；

所述照明模块与所述组织之间的距离调整所述摄像模块的曝光参数的步骤包括：

设置标准图像亮度；

根据所述标准图像亮度计算出所需要设置的曝光参数；

据当前的曝光参数以及所述所需要设置的曝光参数设置曝光参数的调整时间；

在所述照明模块与所述组织之间的距离发生改变时，根据所述调整时间调整所述摄像模块的曝光参数使所述荧光图像的亮度保持为所述标准图像亮度。

8.根据权利要求7所述的一种AR荧光手术导航方法，其特征在于，所述获取所述照明模块与所述组织之间的距离的步骤包括：

获取所述深度模块接收所述组织发出或反射的第二荧光从而生成深度信息；

根据所述深度信息计算出所述照明模块与所述组织的距离。

9.根据权利要求7所述的一种AR荧光手术导航方法，其特征在于，所述根据所述照明模块与所述组织之间的距离调整所述摄像模块的曝光参数的步骤还包括：

获取所述荧光图像的亮度信息；

根据所述照明模块与所述组织之间的距离以及所述荧光图像的亮度信息调整所述摄像模块的曝光参数。

Images