CN110072435B

CN110072435B - 表面组织跟踪

Info

Publication number: CN110072435B
Application number: CN201780075792.0A
Authority: CN
Inventors: A·迪图利奥; F·H·范黑施; 单彩峰
Original assignee: Koninklijke Philips NV
Current assignee: Koninklijke Philips NV
Priority date: 2016-12-08
Filing date: 2017-12-08
Publication date: 2022-07-19
Anticipated expiration: 2037-12-08
Also published as: CN110072435A; WO2018104518A1; US20190365235A1; EP3551049A1; JP7069166B2; JP2020513871A; US11571130B2; US11071459B2; EP3551049B1; US20210345882A1

Abstract

公开了对组织特征的组织表面跟踪。基于处于第一波长的第一和第二时间上隔开的图像来跟踪第一表面成像特征。基于处于第二波长的第一和第二时间上隔开的组织表面图像来跟踪第二表面成像特征。基于所述跟踪步骤来获得跟踪量度。结合所述跟踪步骤，以提供组合跟踪量度。组合跟踪量度被用于组织表面导航应用中。

Description

表面组织跟踪

技术领域

技术领域总体上涉及表面组织跟踪。具体而言，在跟踪过程中使用表面成像特征。

背景技术

WO2007072356公开了一种用于患者监测传感器或处置设备的定位系统，所述系统具有用于检测患者皮肤上的纹理或图案以识别传感器位置的成像单元、适于通过存储局部的纹理或图案而学习所需传感器位置的图像处理单元以及用于参考所存储的图案引导用户对所述传感器进行重新定位或者引导用户处于预期位置上的单元。所述纹理或图案可以由自然图案(例如，痣或者变化的皮肤颜色的图案)构成。然而，对痣的最佳跟踪可能需要不同于跟踪变化的颜色的跟踪考虑事项。此外，存在可以跟踪的一系列其他可能的生物学标志，但是遵循现有技术系统可能无法对其进行最佳地监测。

因而，希望提供更加稳定的跟踪系统和方法。此外，还希望提供一种跟踪技术，其允许准确并且稳定地跟踪能够用于很多类型的导航应用中的自然组织表面特征。

发明内容

因而，有必要提供一种改善的且有益的组织特征跟踪方式。

总的来讲，本发明的实施例涉及使用多于一种跟踪过程的跟踪生物学标志。通过在相应的跟踪过程中使用受到不同的谱过滤的图像而针对不同种类的生物学标志对每个跟踪过程进行调整。来自每个跟踪过程的跟踪结果被组合到单个跟踪结果中，以便用于基于表面组织的导航应用。

本发明的所述目的是通过独立权利要求的主题解决的；其中，在从属权利要求中结合了其他实施例。

在本公开的一个方面中，提供了一种组织表面跟踪系统。所述系统包括用于接收第一和第二时间上隔开的组织表面图像的数据接收模块，每幅时间上隔开的组织表面图像包括处于第一和第二不同波长的图像数据。所述系统包括第一跟踪模块和第二跟踪模块。所述第一跟踪模块被配置为基于处于所述第一波长的第一和第二时间上隔开的图像在空间上跟踪第一组织表面成像特征，从而响应性地输出至少一个第一跟踪量度。所述第二跟踪模块被配置为基于处于所述第二波长的第一和第二时间上隔开的图像在空间上跟踪第二组织表面成像特征，并响应性地输出至少一个第二跟踪量度。组合模块被配置为对所述至少一个第一跟踪量度和所述至少一个第二跟踪量度进行组合，并且响应性地输出至少一个组合跟踪量度，以供在组织表面导航应用中使用。针对不同种类的生物学标志对所述第一和第二波长进行调整。换言之，第一波长比第二波长更适于检测和跟踪第一种类的生物学标志，而第二波长则比第一波长更适于检测和跟踪第二种类的生物学标志，其中，所述第一种类的生物学标志和第二种类的生物学标志是不同的。

通过并行地运行对不同波长进行操作的跟踪模块，有可能关注不同的表面成像特征，以实现更加稳定的跟踪系统。例如，皮肤条件变化可能使一个跟踪模块和单一成像波段难以成功并且准确地跟踪组织特征。不同波长的图像可能更适合不同的表面特征。本申请通过并行运行跟踪模块并且对所输出的跟踪量度进行组合以提供更加可靠的系统，从而解决了这一问题。通过这种方式，能够针对生物学标志种类优化被跟踪模块操作的数据源。

组织表面图像可以是皮肤图像。所述第一和第二组织表面图像可以是通过多谱相机获得的。所述组织表面成像特征可以是生物学标志。所述时间上隔开的图像可以包括参考图像和后续图像。所述跟踪量度可以包括时间上隔开的图像之间的空间位移信息，例如，包括位移向量。

在实施例中，所述第一跟踪模块被配置为操作针对跟踪第一种类的生物学标志而进行调整的第一跟踪算法，所述第二跟踪模块被配置为操作针对跟踪第二种类的生物学标志而进行调整的第二跟踪算法。优选地，所述第一跟踪算法和第二跟踪算法是不同的。

例如，所述跟踪模块可以操作不同的图像滤波器、不同的分割方案和不同的分辨率水平，并且可以被训练为关注不同类型的特征，以便受到优化以允许识别特异性的生物学标志。在另一实施例中，针对特异性的生物学标志对跟踪模块进行调整，并且还对成像波长进行优化，以凸显该种类的生物学标志。

在实施例中，所述系统包括至少一个质量评估模块，其被配置为评估针对所述第一跟踪模块的跟踪性能的质量并且响应性地输出至少一个第一加权量度，并且被配置为评估针对所述第二跟踪模块的跟踪性能的质量，并且响应性地输出至少一个第二加权量度。所述组合模块被配置为基于所述至少一个第一加权量度和所述至少一个第二加权量度自适应地对所述至少一个第一跟踪量度和所述至少一个第二跟踪量度进行组合。在实施例中，所述组合模块被配置为使用加权算法对所述至少一个第一跟踪量度和所述至少一个第二跟踪量度进行组合，其中，所述至少一个第一跟踪量度和所述至少一个第二跟踪量度的相对权重是基于所述至少一个第一加权量度和所述至少一个第二加权量度来确定的。根据这样的特征，根据组织条件调适对跟踪量度的组合。也就是说，某些跟踪模块的性能将取决于位置和对象。通过持续评估跟踪性能，能够向表现出不同性能的跟踪模块分配不同权重，从而使跟踪量度的组合考虑每个模块的相对性能。

在实施例中，所述第一跟踪模块被配置为使用基于特征的跟踪和基于强度的跟踪中的至少一个来确定所述至少一个第一跟踪量度，并且所述第二跟踪模块被配置为使用基于特征的跟踪和基于强度的跟踪中的至少一个来确定所述至少一个第二跟踪量度。

在实施例中，所述第一跟踪模块和第二跟踪模块分别被配置为跟踪不同种类的生物学标志，其中，第一种类的生物学标志可以是浅表皮肤结构，第二种类的生物学标志可以是亚表面特征。例如，第一种类的生物学标志选自由痣、毛发、雀斑、毛孔、斑点、黑色素、凹坑、表面粗糙构成的组，并且第二种类的生物学标志可以包括静脉或动脉。

所述系统可以包括用于捕获处于不同谱带的所述第一和第二时间上隔开的图像的相机。不同谱带的使用允许对不同组织表面特征进行最佳检测。

本公开的系统可以用到需要或者能够利用基于所述组合跟踪量度的表面组织导航的很多应用中。例如，一种图像引导手术或医学介入系统可以并入本系统，一种用于配准术中成像数据、术前成像数据或者术中成像数据和术前成像数据的组合的系统同样可以结合本系统。所述系统可以被包含到皮肤监测或者皮肤诊断系统中。例如，所述皮肤监测系统可以监测可能患病的皮肤特征(例如，被识别为可疑的痣)的变化。另一种应用可以是消费电子产品，例如，毛发去除设备、剪发设备、头发梳理设备和刷牙设备。

在本公开的另一个方面中，提供了一种用于组织表面跟踪的方法。所述方法包括接收第一和第二时间上隔开的组织表面图像，每幅时间上隔开的组织表面图像包括处于第一和第二不同波长的图像数据。所述方法包括基于处于所述第一波长的第一和第二时间上隔开的图像来跟踪第一表面成像特征，并且响应性地输出至少一个第一跟踪量度。所述方法包括基于处于所述第二波长的第一和第二时间上隔开的组织表面图像来跟踪第二表面成像特征，并且响应性地输出至少一个第二跟踪量度。所述方法包括对所述至少一个第一跟踪量度和所述至少一个第二跟踪量度进行组合，并响应性地输出至少一个组合跟踪量度。所述方法进一步包括将所述组合跟踪量度用到组织表面导航应用(例如，上文描述的应用中的任何一种)中。

在实施例中，所述方法是通过执行计算机可读指令的至少一个处理器由计算机实施的。所述图像可以是通过成像设备(例如，相机)采集的。所述方法包括将所述组合跟踪量度输出至包括计算机实施的组织表面导航应用的系统，该应用将使用所述组合跟踪量度作为导航控制的部分。

在实施例中，所述方法包括评估第一跟踪模块的跟踪性能的质量，并且响应性地确定至少一个第一加权量度，以及评估第二跟踪模块的跟踪性能的质量，并且响应性地确定至少一个第二加权量度。在另一实施例中，对所述至少一个第一跟踪量度和所述至少一个第二跟踪量度进行组合的步骤包括使用加权算法，其中，所述至少一个第一跟踪量度和所述至少一个第二跟踪量度的相对权重是基于所述至少一个第一加权量度和所述至少一个第二加权量度来确定的。

在实施例中，跟踪第一表面成像特征的步骤包括操作针对第一种类的表面成像特征优化的第一跟踪算法，并且跟踪第二表面成像特征的步骤包括操作针对跟踪第二不同种类的表面成像特征优化的第二跟踪算法。

在本公开的又一方面中，提供了一种计算机程序单元，当由至少一个处理器运行时其适于实施本文描述的系统和方法。

在又一方面中，提供了一种具有存储于其上的所述程序单元的计算机可读介质。

通过下文描述的实施例，本发明的这些和其他方面将变得显而易见并且将参考所述实施例得到阐述。

附图说明

下文将结合下述附图描述示例性实施例，其中，类似的附图标记表示类似的元件，并且其中：

图1是根据本公开的示例性实施例的用于跟踪组织表面特征的示意性功能框图，其中，所述系统图示出了示例性模块和所述系统模块所做的数据转换；

图2是说明根据示例性实施例的用于跟踪表面组织特征的方法的步骤的流程图；

图3是说明根据示例性实施例的跟踪算法的步骤的流程图。

具体实施方式

下文的详细描述实质上只是示例性的，并非意在对应用和用途构成限制。此外，并不意图受前述技术领域、背景技术、发明内容或以下具体实施方式中提出的任何明示或暗示的理论的约束。

图1是根据示例性系统的用于组织表面跟踪的系统20的功能框图。图1示出了处理模块、数据流以及由跟踪系统20的各种处理模块执行的数据转换。

如本文使用，术语模块涉及执行一个或多个软件或固件程序的专用集成电路(ASIC)、电子电路、处理器(共享、专用或群)和存储器的应用，涉及组合逻辑电路，和/或涉及提供所描述的功能的其他适当硬件部件。具体而言，本文描述的模块包括至少一个处理器、存储器以及存储在所述存储器上的计算机程序指令，所述计算机程序指令可以由所述至少一个处理器执行，以实施本文关于各模块描述的并且还关于图2的流程图予以描述的各种功能和过程。尽管本文将各单独模块描述为实现特定功能，但是其不排除集成拓扑结构。此外，所示模块可以被进一步划分成子模块。各模块可以例如通过数据总线相互通信，这是实施本文描述的特征、过程和系统所必需的。

图1示出了用于捕获处于不同谱带的多个具有时间间隔的图像22的成像设备10。成像设备10可以是光学成像设备，例如，相机。成像设备10被配置为捕获组织表面(例如，皮肤)的感兴趣区域的顺序图像。成像设备10是允许在不同波长(包括不同波段)上获得多幅图像的多谱设备，并且以相继的时间间隔(例如，根据成像设备10的设定帧速)获得这样的多谱图像。成像设备10可以包括多个滤波器，每个滤波器被设计为在特异性的一个或多个波长上对不同的组织表面可见特征进行成像。所述滤波器可以是由物理滤波器或者物理滤波器与由至少一个处理器执行的图像处理滤波器的组合实施的。成像设备10可以包括单独的成像像素阵列(例如，通过单独相机)，从而在不同的波长上获得图像数据22。

成像设备10可以被配置为在针对特异性的解剖学特征优化的相应波长上捕获图像22。例如，红外波长可以专用于跟踪静脉，并且紫外波长可以专用于跟踪痣和雀斑。亦即，某些波长能够凸显特异性的表面组织生物学标志。在实施例中，所述成像设备能够在优选用于相应的生物学标志的波长上捕获图像22。对于可见光波长和近IR波长而言，人体组织是部分透明的，从而允许识别出诸如黑色素和毛发的表面特征以及类似于静脉或动脉的亚表面特征。具有更加接近紫外线的波长的光将优选用于诸如痣或雀斑的浅表皮肤特征。

在系统20的一个示例性实施方式中，由成像设备10获得至少三幅图像22a、22b、22c。成像设备10可以利用不同波长的滤波器，例如，用于隔开处于450nm、680nm和880nm的波长上的图像22a、22b、22c的滤波器，从而获得图像22a、22b、22c的每者。例如，分别针对痣或其他黑色素特征、如皱纹的表面不规则性和亚表面静脉对这些示例性波长进行调整。

在图1的示例性系统中，示出了用于接收时间隔开的第一和第二组织表面图像22的数据接收模块12，每个时间隔开的组织表面图像包括处于第一和第二不同波长的图像数据。数据接收模块12被配置为接收处于不同波长λ₁、λ₂、λ₃上的图像数据22a、22b、22c。图像数据22可以是在隔开的时间间隔处接收到的，在这样的时间间隔期间可能在图像内容中产生位移。本公开利用跟踪模块14保持对所述移动的跟踪，如下文进一步所述。

数据接收模块12可以包括用于接收图像数据22的输入数据接口。所述输入数据接口可以是联网部件，从而允许通过无线网络(例如，通过因特网或内联网)接收图像数据22。在图1的示例性系统中，接收来自成像设备10的图像数据22。数据接收模块12可以进一步包括用于将在时间上隔开的图像数据22提供给相应的跟踪模块14a、14b、14c的数据输出接口，其中，每个跟踪模块14a、14b、14c接收在不同的波长(包括不同波段)λ₁、λ₂、λ₃处滤波的成像数据。数据接收模块12可以包括处理器和可执行计算机程序指令，以指引图像数据22的接收以及所接收的图像数据22’向相应跟踪模块14a、14b、14c的输出。

在图1的示例性系统20中，提供了第一跟踪模块14a、第二跟踪模块14b和第三跟踪模块14c。每个跟踪模块14被配置为基于从数据接收模块12接收的时间上隔开的图像数据22’在空间上跟踪组织表面成像特征(例如，生物学标志)。跟踪模块14a、14b、14c被分别配置为输出跟踪量度

跟踪量度

可以表示时间上隔开的图像22’中的空间位移。例如，跟踪量度

可以包括在三个维度中定义时间上隔开的图像中的位移的空间位移向量，所述空间位移向量可以包括二维或三维笛卡尔空间内的旋转分量和/或线性位移。跟踪模块14可以包括用于从数据接收模块12接收图像数据22’的输入数据接口以及用于输出至少一个跟踪量度

以及任选的跟踪质量或性能量度Q₁、Q₂、Q₃的输出数据接口，如下文所进一步讨论的。跟踪模块14还可以包括至少一个处理器以及可由所述至少一个处理器执行以实施本文描述的组织表面跟踪算法的计算机可读指令。此外，所述处理器和计算机可读指令操作确定针对每个跟踪模块14a、14b、14c的至少一个质量量度Q_n。

每个跟踪模块14a、14b、14c被配置为操作不同的跟踪算法。下文将参考图2描述示例性跟踪算法。每个跟踪算法被调整为跟踪不同种类的生物学标志。可以通过组织表面成像予以成像的示例性生物学标志包括痣、毛发、雀斑、斑点、黑色素、凹坑、表面粗糙和静脉。例如，对表面粗糙进行操作的跟踪算法将寻找每个图像对的发生了位移的图像强度之间的最佳相关性。典型地，对每个图像的图像块进行正则化，并且采用这些正则化块之间的强度差作为匹配误差。具有最低误差的块对被视为最佳位移候选项。相反，对静脉进行操作的示例性跟踪算法会首先将图像转换为特征向量(例如，通过应用尺度不变特征转换SIFT算法)，并计算这些向量中的每者的描述符。之后，采用匹配描述符之间的位移来计算图像对之间的位移。相应地，一个跟踪模块14a、14b、14c可以使用针对特异性生物学标志进行调整的基于强度的跟踪，而另一跟踪模块14a、14b、14c可以使用针对不同生物学标志进行调整的基于特征的跟踪。此外，跟踪模块14a、14b、14c可以在基于特征的跟踪中使用对应于正在搜寻的特异性生物学标志的不同参考图像(参考描述符)。如前文曾解释过的，可以对图像数据22’进行谱选择，从而使在图像数据22’中识别出特异性生物学标志的能力最大化。照此，不仅跟踪模块14的跟踪算法受到生物学标志调整，由每个跟踪模块14接收的图像数据22’本身也会被滤波，从而优化对其生物学标志的识别。通过对不同波长上的图像数据22’并行运行多个空间跟踪器14，能够获得对于表面组织(例如，毛发、斑点和静脉的存在和量)的局部解剖学差异具有稳定性的表面组织位置量度

参考图3，将按照一般的详细程度讨论每个模块14a、14b、14c的示例性跟踪算法50。对于本领域技术人员而言，组织表面跟踪算法本身是已知的，并且所提供的描述只代表一种示例性实施方式。跟踪算法50包括用于接收在时间上隔开的参考图像数据和后续图像数据的接收步骤30、32。所述参考图像数据和后续图像数据取自前文描述的在时间上隔开的图像数据22’。在步骤36中，将所述参考图像数据和后续图像数据进行比较，以配准或匹配所述参考图像数据和后续图像数据中的生物学标志的图案。所述比较步骤36可以利用基于特征的跟踪或者基于强度的跟踪。在基于特征的跟踪中，在比较步骤36中识别并匹配或者配准后续图像数据和参考图像数据中的表面组织特征的图案。在基于强度的跟踪中，在参考图像数据和后续图像数据中定义图像块，所述图像块将在比较步骤36中进行比较，由此允许对参考图像数据和后续图像数据中的生物学标志的基于强度的图案进行匹配或配准。在基于强度的方法和基于特征的方法二者中，都可以实施后续步骤40，通过所述步骤在所述比较步骤36的基础上确定作为前述跟踪量度的一个示例的相对位置或位移量度。具体而言，参考图像数据与后续图像数据之间的特征图案或强度图案中的位移允许在步骤38内确定跟踪量度，例如，上文所述的位移向量

所比较的图像数据可以是彩色或单色的。在步骤40中，输出由跟踪模块14实施的跟踪算法，以实施下文所述的后续处理。

返回参考图1，每个跟踪器模块14a、14b、14c基于对图像数据22’的对应性分析(例如，上文关于图3的步骤36描述的)导出先前(参考)图像数据和后续图像数据22’之间的位移量度

继续参考图1，示例性系统20包括被配置为对量度

进行组合以输出组合跟踪量度

的组合模块16。组合跟踪量度

被用于组织表面导航应用中。下文将描述组合跟踪量度

的示例性应用。组合跟踪量度

可以是通过以跟踪量度

为输入的平均函数来确定的。示例性平均函数包括平均值、中值和模式函数。相应地，所述组合跟踪量度

可以是平均位移量度或者平均位移向量。组合模块16可以包括输入数据接口，其用于接收来自跟踪模块14的跟踪量度

并且任选用于接收来自质量评估模块18的加权量度W_n，下文将更加详细地描述所述质量评估模块。组合模块16可以包括处理器和计算机可读指令，所述计算机可读指令可由所述处理器执行，以实施所描述的对多个输入跟踪量度

进行组合的功能。此外，组合模块16可以包括输出数据接口，其用于向仪器24提供所述组合跟踪量度

所述仪器24被配置为结合所述组合跟踪量度

以作为基于皮肤表面导航的控制功能的部分。下文将描述仪器24及其控制功能的示例。

根据实施例，组合模块16利用在每个跟踪模块14a、14b、14c的质量评估的基础上自适应的平均算法。也就是说，根据所确定的每个跟踪模块14a、14b、14c的性能的质量调适在组合跟踪量度

中的相对贡献权重。具体而言，可以通过下文描述的质量评估模块18对来自每个跟踪模块14a、14b、14c的质量量度Q₁、Q₂、Q₃进行编译，从而决定将被应用到用于对跟踪量度

求平均的平均算法中的加权量度W₁、W₂、W₃。通过这种方式，提供了自适应表面组织跟踪能力，其根据不同跟踪模块(例如，不同跟踪算法和/或不同成像波长)将取决于对象、身体部位等执行不同的质量水平这一事实调适组合跟踪量度的确定。照此，使得无关于位置的稳定跟踪解决方案成为了可能。

在图1的示例性系统20中包括质量评估模块18。质量评估模块18被配置为基于从相应的跟踪模块14a、14b、14c接收的质量量度Q₁、Q₂、Q₃来评估跟踪模块14的跟踪性能的质量。质量评估模块18被配置为对所述质量量度进行处理，并确定针对每个跟踪模块14a、14b、14c的加权因数W₁、W₂、W₃。所述加权因数可以是基于从相应跟踪模块14a、14b、14c接收的表示所述跟踪模块的性能质量的超过一个质量量度Q₁、Q₂、Q₃的组合来确定的。质量量度Q_n可以是由相应跟踪模块14a、14b、14c来确定的，所述确定基于表示在时间上隔开的图像数据22’中的生物学标志的数量或量的参数、表示在时间上隔开的图像数据22’之间的匹配或配准的数量或量的参数和/或表示匹配的质量的参数，例如，表示在时间上隔开的图像数据22’的比较中的匹配接近度或最低误差的参数。

参考上文关于图3提供的对跟踪算法的讨论，对于基于特征的跟踪(例如，用于静脉跟踪的)而言，可以通过在时间上隔开的图像数据22’中识别出的特征(例如，静脉)的数量和/或在时间上隔开的图像数据22’中匹配的特征的数量、在时间上隔开的图像数据22’中识别出的特征之间的匹配误差(例如，相继的外观匹配)和/或表示时间上隔开的图像数据22’中的匹配特征之间的一致性(例如，所识别出的特征之间的位移一致性)的参数来确定质量量度Q_n。对于基于强度的跟踪而言，质量量度Q_n可以是时间上隔开的图像数据22’中的所定义图像块的频率成分(例如，细节的量)、时间上隔开的图像数据22’中的块之间的拟合质量(例如，强度差)和/或时间上隔开的图像数据22’中的块之间的多重对应性的一致性或逆误差的函数。

质量评估模块18可以包括用于接收来自跟踪模块14的质量量度Q_n的输入数据接口。所述质量评估模块可以包括处理器和计算机可读指令，所述计算机可读指令可由所述处理器执行，以评估各种质量量度Q_n，并基于质量量度Q_n确定与每个跟踪模块14相关联的加权因数W_n。质量评估模块18可以包括用于向组合模块16提供加权因数W_n的输出数据接口。

在图1的示例性系统20中，组合模块16被配置为将加权因数W_n应用到平均算法中，从而向组合跟踪量度

设定每个跟踪量度

的相对贡献。例如，可以由组合模块16基于加权因数W_n运行加权平均值或加权中值，从而提供关于最佳波长和对跟踪算法的最佳调整对图像数据22’中的生物学标志的质量自适应的组合跟踪量度。

在图1的示例性系统20中，组合跟踪量度

被输出至仪器24。仪器24可以是图像引导手术或医学介入系统、用于配准术中和/或成像数据的系统、皮肤监测或皮肤诊断系统或者消费电子产品，例如，毛发去除设备、剪发设备、头发梳理设备和刷牙设备。

在实施例中，仪器24包括控制模块26。备选地，可以在外部提供控制模块26。控制模块26被配置为基于组合跟踪量度

来确定仪器24的至少一项控制功能。也就是说，仪器24的操作可以至少部分地取决于表面组织导航。可以根据本领域技术人员已知的方案使用组合跟踪量度

来实施表面组织导航。

在一个示例中，仪器24是用于对术前和术中成像数据(例如，CT或MRI成像数据)进行配准的仪器。备选地或额外地，仪器24用于对相继的术中图像或者相继的术前图像(例如，MRI或CT图像)进行配准。这样的仪器24可以包括用于患者的侵入式成像的成像机器。所述术前图像数据和术中图像数据是与来自成像设备10的成像数据22同时获得的。成像设备10与所述侵入式成像机器之间具有已知关系。照此，可以根据本文描述的方法和系统根据成像数据22对生物学标志进行跟踪，从而允许对术前成像数据和术中成像数据进行配准。这样的配准可以是至少部分地基于组合跟踪量度

在控制模块26中实施的，并且可以绘制经配准的术前图像和术中图像的显示。

在另一示例中，仪器24包括用于引导医学设备的仪器。可以参考根据本文描述的系统和方法进行跟踪的表面组织生物学标志建立准确的引导。控制模块26可以被包含到医学设备引导仪器中，并且可以至少部分地基于所述组合配准量度

建立导航控制功能。

在又一示例中，毛发或者皮肤处置设备(例如，剪发设备)可以基于根据本文描述的系统和方法对生物学标志进行跟踪而进行表面组织导航。控制模块26可以被包含到毛发或皮肤处置设备内，从而至少部分地基于组合跟踪量度

建立至少一项毛发或皮肤处置控制功能。

在另一示例中，仪器24是用于随着时间的推移监测可能患病皮肤特征的仪器。例如，可以随着时间的推移对可疑的痣进行监测，其中，这样的痣可能是癌变的。可以参考根据本文描述的系统和方法进行跟踪的生物学标志识别和监测皮肤特征。例如，可以对形状、位置、尺寸和/或颜色变化进行监测。控制模块26可以被包含到这样的用于监测的仪器中，从而至少部分地基于组合跟踪量度

建立至少一项监测功能(例如，皮肤特征识别、皮肤特征测量、皮肤特征变化确定)。

至少部分地基于表面组织导航进行控制以执行患者流程的其他系统和仪器可以利用本文描述的表面组织跟踪系统和方法。

通过图2的流程图表示根据本公开的用于组织表面跟踪的方法60。在实施例中，所述方法是通过由处理器执行的计算机可读指令由计算机实施的。在实施例中，所述方法是由关于图1描述的系统20实施的。

在步骤62中，通过数据接收模块12接收图像数据22。图像数据22包括时间上隔开的多谱数据。图像数据22可以是由多谱相机10获得的，所述多谱相机操作不同滤波器，从而在不同波长或者谱带上采集图像数据22。不同波长上的时间上隔开的图像数据22’被分别提供给不同跟踪过程。

在步骤64中，通过跟踪模块14执行跟踪过程，以跟踪表面成像特征，例如，表面组织生物学标志。对针对特异性波长进行滤波的时间上隔开的图像数据22’执行相应的跟踪过程。具体而言，基于对参考图像和后续图像的相关性分析执行从参考图像到后续图像对生物学标志的空间跟踪。各跟踪过程分别针对特异性生物学标志种类进行调整，并且接收到的图像数据也针对该生物学标志种类进行调整。步骤64的各跟踪过程为跟踪模块14的每个产生跟踪量度X_n。

在步骤66中，通过跟踪模块14和质量评估模块18的组合执行质量评估过程，以产生供组合模块16使用的加权量度W_n。在实施例中，所述质量评估过程包括通过跟踪模块14的每者确定至少一个质量量度Q_n的子过程。所述至少一个质量量度Q_n表示跟踪模块14的跟踪性能的质量。加权量度或者因数W_n可以是基于质量量度Q_n来确定的。

在步骤68中，基于在步骤66中获得的加权量度W_n执行在步骤64中获得的跟踪量度X_n的质量自适应组合，以确定组合跟踪量度

所述质量自适应组合可以包括加权平均算法，例如，加权均值或者加权中值。不同跟踪算法和成像数据的不同波长将根据表面组织条件表现出不同性能。本文描述的系统和方法能够在确定组合跟踪量度

的过程中优化出性能更佳的跟踪过程。此外，以迭代方式执行图3的方法60的过程，从而允许随着表面组织条件变化而持续优化。

在步骤70中，使用或者输出组合跟踪量度

以便用于操作表面组织导航的患者处置、治疗或诊断应用，例如，作为患者处置、治疗或诊断系统的控制输入。上文描述了这样的应用的若干示例，例如，CT或MRI成像数据配准、患病皮肤特征监测、医学设备导航、毛发或皮肤处置应用等。

可以认识到，表面组织可能根据在对象上的位置以及随着对象的不同而发生显著的变化。例如，不同对象和不同表面位置将具有变化的量的毛发、斑点和静脉。就皮肤而言，表面组织的外观可能从非常光滑(即，没有颜色变异、毛发或皱纹)到非常错综复杂(即，具有黑色素斑点、毛发以及表面粗糙和毛孔)。这些变化不仅取决于身体部位(例如，痣/雀斑在背部更可见、血管在胳膊上更可见)，还取决于对象、种族、年龄和性别。本公开针对这种组织条件的变化性提供了一种更加稳定的解决方案，因为其运行对针对不同波长的图像进行操作的并行跟踪模块，从而允许对用于跟踪的不同组织特征的凸显。此外，跟踪模块本身可以进行不同的算法方面的调整，以优化对不同组织特征的跟踪。此外，还根据跟踪性能调适跟踪结果的组合，从而使输出结果具有平滑性，而不管组织条件如何。

在本发明的另一示例性实施例中，提供了一种计算机程序或计算机程序元，其特征在于，其适于在适当的处理系统上执行根据前述实施例的方法的方法步骤。

因此，所述计算机程序元可以存储在计算机单元内，所述计算机单元也可能是本发明的实施例的部分。这一计算单元可以适于执行上文描述的方法的步骤或者引发所述步骤的执行。此外，其可以适于操作上文描述的设备的部件。所述计算单元可以适于自动操作和/或执行用户的命令。可以将计算机程序加载到手机处理器的工作内存中。因而，所述数据处理器可以被装备为执行本发明的方法。

本发明的这一示例性实施例既涵盖直接从一开始就使用本发明的计算机程序，又涵盖通过更新将现有程序转化为使用本发明的程序的计算机程序。

此外，所述计算机程序元可以能够提供履行上文所述的方法的示例性实施例的流程的所有必要步骤。

根据本发明的另一示例性实施例，提出了一种计算机可读介质(例如，CD-ROM)，其中，所述计算机可读介质具有存储于其上的计算机程序单元，所述计算机程序单元如前文部分所述。

可以将计算机程序存储和/或分配到适当的介质(例如，与其他硬件一起提供的或者作为其他硬件的部分提供的光学存储介质或者固态介质)上，也可以按照其他形式配发计算机程序，例如，通过因特网或者其他有线或无线电信系统。

然而，所述计算机程序也可以通过如环球网的网络提供，并且可以被从这样的网络下载到数据处理器的工作内存中。根据本发明的另一示例性实施例，提供了一种用于使计算机程序元可供下载的介质，所述计算机程序元被布置为执行根据本发明的前述实施例之一的方法。

应当指出，本发明的实施例是参考不同的主题描述的。具体而言，一些实施例是参考方法类型权利要求描述的，而其他实施例则是参考设备类型权利要求描述的。然而，本领域技术人员将由上文和下文的描述认识到，除非另行指出，否则除了属于一种类型的主题的特征的任何组合之外，涉及不同主题的特征之间的任何组合也被视为被本申请所公开。然而，所有特征结合起来所提供的综合效果要超过对各特征的简单总结。

尽管前面的详细描述已给出了至少一个示例性实施例，但应当理解，存在许多变型形式。还应当理解，所述一个或多个示例性实施例仅作为示例，而并非意在以任何方式限制本公开的范围、适用性或配置。相反，前面的详细描述将为本领域的技术人员提供实施所述一个或多个示例性实施例的便利的指示说明。应当理解，可以对各要素的功能和布置做出各种改变，而不脱离在权利要求及其合法等价要件中阐述的本公开的范围。

在权利要求中，词语“包括”不排除其他元件或步骤，并且不定冠词不排除复数。单个处理器或者其他单元可以履行权利要求中列举的几个物项的功能。在互不相同的从属权利要求中陈述某些措施不表示不能有利地将这些措施结合使用。权利要求中的任何附图标记不应被理解为对范围构成限制。

Claims

1.一种组织表面跟踪系统，所述系统包括：

数据接收模块(12)，其用于接收第一和第二时间上隔开的组织表面图像，每幅时间上隔开的组织表面图像包括处于第一和第二不同波长的图像数据，其中，针对不同种类的生物学标志对所述第一波长和所述第二波长进行调整；

第一跟踪模块和第二跟踪模块(14)，

其中，所述第一跟踪模块被配置为基于处于所述第一波长的所述第一和第二时间上隔开的图像在空间上跟踪第一组织表面成像特征，从而响应性地输出至少一个第一跟踪量度，并且

其中，所述第二跟踪模块被配置为基于处于所述第二波长的所述第一和第二时间上隔开的图像在空间上跟踪第二组织表面成像特征，并响应性地输出至少一个第二跟踪量度；

至少一个质量评估模块(18)，其被配置为评估针对所述第一跟踪模块的跟踪性能的质量，并响应性地输出至少一个第一加权量度，并且被配置为评估针对所述第二跟踪模块的跟踪性能的质量，并响应性地输出至少一个第二加权量度；以及

组合模块(16)，其被配置为基于所述至少一个第一加权量度和所述至少一个第二加权量度自适应地对所述至少一个第一跟踪量度和所述至少一个第二跟踪量度进行组合，并响应性地输出至少一个组合跟踪量度，以供在组织表面导航应用中使用。

2.根据权利要求1所述的系统，

其中，所述第一跟踪模块被配置为操作针对跟踪第一种类的生物学标志进行调整的第一跟踪算法，并且所述第二跟踪模块被配置为操作针对跟踪第二种类的生物学标志进行调整的第二跟踪算法。

3.根据权利要求1所述的系统，其中，所述组合模块被配置为使用加权算法对所述至少一个第一跟踪量度和所述至少一个第二跟踪量度进行组合，其中，所述至少一个第一跟踪量度和所述至少一个第二跟踪量度的相对权重是基于所述至少一个第一加权量度和所述至少一个第二加权量度来确定的。

4.根据权利要求1所述的系统，其中，所述第一跟踪模块被配置为使用基于特征的跟踪和基于强度的跟踪中的至少一个来确定所述至少一个第一跟踪量度，并且所述第二跟踪模块被配置为使用基于特征的跟踪和基于强度的跟踪中的至少一个来确定所述至少一个第二跟踪量度。

5.根据权利要求2所述的系统，其中，针对作为所述第一种类的生物学标志的浅表皮肤特征对所述第一波长进行调整，并且针对作为所述第二种类的生物学标志的亚表面特征对所述第二波长进行调整。

6.根据权利要求5所述的系统，其中，所述第一种类的生物学标志包括以下项的组中的至少一项：痣、毛发、雀斑、毛孔、斑点、黑色素、凹坑、表面粗糙。

7.根据权利要求5或6所述的系统，其中，所述第二种类的生物学标志包括静脉或动脉。

8.根据权利要求1-6中的任一项所述的系统，包括用于捕获处于不同谱带的所述第一和第二时间上隔开的图像的相机。

9.一种图像引导手术或医学介入系统或者一种用于配准术中成像数据、术前成像数据或者术中成像数据与术前成像数据的组合的系统，包括根据任一前述权利要求所述的系统。

10.一种皮肤监测或皮肤诊断系统，包括根据任一前述权利要求所述的系统。

11.一种消费电子产品，包括根据任一前述权利要求所述的系统，其中，所述消费电子产品选自以下项的组：毛发去除设备、剪发设备、毛发梳理设备和刷牙设备。

12.一种用于组织表面跟踪的方法，所述方法包括：

接收第一和第二时间上隔开的组织表面图像，每幅时间上隔开的组织表面图像包括处于针对不同种类的生物学标志进行调整的第一和第二不同波长的图像数据；

基于处于所述第一波长的所述第一和第二时间上隔开的图像来跟踪作为第一表面成像特征的第一种类的生物学标志，并响应性地提供至少一个第一跟踪量度，并且

基于处于所述第二波长的所述第一和第二时间上隔开的图像来跟踪作为第二表面成像特征的第二种类的生物学标志，并响应性地提供至少一个第二跟踪量度；

确定表示跟踪性能的质量的至少第一质量量度和第二质量量度；

基于所述质量量度来确定至少第一加权量度和第二加权量度；

基于所述第一加权量度和所述第二加权量度自适应地对所述至少一个第一跟踪量度和所述至少一个第二跟踪量度进行组合，并响应性地提供至少一个组合跟踪量度；并且

将所述组合跟踪量度用在组织表面导航应用中。

13.一种用于组织表面跟踪的装置，所述装置包括至少一个处理器、存储器和存储在所述存储器上的计算机程序指令，所述计算机程序指令当由所述至少一个处理器运行时适于执行根据权利要求12所述的方法的步骤。

14.一种计算机可读介质，在所述计算机可读介质上存储有计算机程序单元，所述计算机程序单元当由至少一个处理器运行时适于执行根据权利要求12所述的方法的步骤。