CN116075851A - 图像处理系统和使用该系统的方法 - Google Patents

Abstract

使用单色图像传感器生成彩色图像的方法。该方法包括以多种颜色依次照亮一个表面，一次一种颜色。单色图像传感器基于多种颜色捕获表面的多个图像帧。识别多个图像帧，以及突出显示多个图像帧中的目标的至少一个特征。将多个图像帧的颜色强度归一化。为多个图像帧中的每一个生成目标的颜色强度图。通过比较多个图像帧的每个颜色强度图确定相关性得分。基于相关性得分生成彩色图像。

Description

图像处理系统和使用该系统的方法

优先权

本申请主张于2020年9月1日提交的No.63/073,126的临时申请的优先权，该临时申请的全部内容通过引用纳入本文。

技术领域

本公开的各个方面一般涉及图像处理系统、设备和相关方法。本公开的示例涉及用于估计运动和对通过单色传感器捕获的图像进行着色的系统、设备和相关方法，以及其他方面。

背景技术

技术的发展使医疗系统、设备和方法的用户，有能力对各种病人进行越来越复杂的医疗程序。然而，在微创手术领域，准确地观察病人体内的目标治疗部位，例如，位于病人胃肠道内的肿瘤或病变，是一个已知的挑战。尽管通过单色传感器捕获的治疗部位图像可以提供高质量的对比度定义以及光谱灵活性，但用于目标治疗部位图像着色的成像方法和设备的局限性可能会使图像处理器负担过重，导致图像处理延迟，和/或限制其有效性。

发明内容

本公开的方面涉及用于提供图像处理系统和目标提取逻辑、强度归一化逻辑和强度相关性逻辑的系统、设备和方法等。本文公开的每个方面可包括与任何其他公开的方面相关的一个或多个描述的特征。

根据一个方面，提供了一种用于使用单色图像传感器生成彩色图像的方法。该方法包括以多个颜色依次照亮一个表面，一次一个颜色。单色图像传感器根据多个颜色捕获表面的多个图像帧。识别多个图像帧，并突出显示多个图像帧的目标中的至少一个特征。多个图像帧的颜色强度被归一化。为多个图像帧中的每一个生成目标的颜色强度图。通过比较多个图像帧的每个颜色强度图确定相关性得分。根据相关性得分生成彩色图像。

本文所述的任何方法可包括以下任何步骤。多个图像帧包括至少第一颜色的第一图像帧和第二颜色的第二图像帧。多个图像帧的颜色强度通过用多个颜色中的第一颜色照亮表面来归一化。确定照亮的第一颜色的强度。为第一颜色的强度分配一个归一化的值。用多个颜色中的第二颜色来照亮该表面。确定照亮的第二颜色的强度。基于归一化值生成第二颜色的归一化强度值。多个颜色包括红色、绿色或蓝色中的至少一个。通过应用边缘滤波器以提取至少一个特征中的至少一个边缘来突出显示目标中的至少一个特征。颜色强度图包括多个像素，多个像素中的每一个具有一个颜色强度值。基于多个图像帧的颜色强度图，比较多个图像帧中的每一个的目标。当相关性得分高于预定的阈值时，确定第一颜色强度图和第二颜色强度图之间的目标的匹配像素。对多个图像帧进行降采样。在对多个帧进行降采样后，确定相关性得分。对多个帧进行因子为二、至少两次的降采样。确定颜色强度图中的峰值强度簇。通过比较第一颜色强度图和第二颜色强度图中的峰值强度簇来估计目标的运动。在150毫秒以内确定相关性得分。该表面包括胃肠道的组织。

根据一个方面，一种医疗设备包括轴、联接到轴的远端的单色图像传感器，以及联接到轴的远端的至少一个照明设备。该至少一个照明设备被配置为发射多个颜色，一次一个颜色。该医疗设备进一步包括一个或多个计算机可读介质，其存储用于使用单色图像传感器执行图像处理的指令，以及一个或多个处理器，其被配置为执行指令以进行图像处理。一个或多个处理器被配置为以多个颜色依次照亮一个表面。单色图像传感器基于该多个颜色捕获表面的多个图像帧。一个或多个处理器识别多个图像帧中的目标。一个或多个处理器突出显示多个图像帧的目标中的至少一个特征。一个或多个处理器对多个图像帧的颜色强度进行归一化。一个或多个处理器为多个图像帧中的每一帧生成目标的颜色强度图。一个或多个处理器通过比较多个图像帧的每个颜色强度图来确定相关性得分。一个或多个处理器基于相关性得分生成彩色图像。

本文所述的任何医疗设备可以包括以下任何特征。至少一个照明设备被配置为选择性地发射红色、蓝色和绿色中的至少一个颜色。一个或多个处理器通过用多个颜色中的第一颜色照亮表面、确定所照亮的第一颜色的强度以及为第一颜色的强度分配归一化值，来使颜色强度归一化。一个或多个处理器通过用多个颜色中的第二颜色照亮表面、确定所照亮的第二颜色的强度以及基于归一化值生成第二颜色的归一化强度值，来使多个图像帧的颜色强度归一化。

根据一个方面，非临时计算机可读介质存储用于使用单色图像传感器执行图像处理的指令。当由一个或多个处理器执行指令时，该指令使一个或多个处理器执行操作。一个或多个处理器以多个颜色依次照亮一个表面，一次一个颜色。单色图像传感器基于多个颜色捕获表面的多个图像帧。一个或多个处理器识别多个图像帧中的目标。一个或多个处理器突出显示多个图像帧中的目标的至少一个特征。一个或多个处理器对多个图像帧的颜色强度进行归一化。一个或多个处理器为多个图像帧中的每一帧生成目标的颜色强度图。该一个或多个处理器通过比较多个图像帧的每个颜色强度图来确定相关性得分。一个或多个处理器基于该相关性得分生成彩色图像。

可以理解的是，前述一般描述和以下详细描述都只是示例性的和解释性的，并不是对所要求保护的本发明的限制。

附图说明

纳入本说明书并构成其一部分的附图说明了本公开的示例性方面，并与描述一起用于解释本公开的原理。

图1是根据本公开内容的各个方面的示例性医疗系统的示意图。

图2说明了根据本公开内容的各个方面的使用图1的医疗系统对目标部位进行成像的示例性过程。

图3说明了根据本公开内容的各个方面的在使用图1的医疗系统捕获的图像中检测运动的示例性过程。

图4A-4B说明了根据本公开内容的各个方面的在使用图1的医疗系统捕获的图形中检测运动的另一个示例性过程。

图5说明了根据本公开内容的各个方面的描述了使用图1的医疗系统对目标部位成像的示例性方法的流程图。

具体实施方式

本公开的示例包括用于通过使用一个或多个单色传感器捕获图像以及识别目标部位的一个或多个特征(例如，血管、血管系统的其他特征、组织特征、异常情况等)以对捕获的图像精准着色来增强受试者(例如，病人)内的一个或多个目标治疗部位的图像的系统、设备和方法。现在将详细参考本公开的各个方面，附图中说明了其中的示例。只要有可能，附图中就会使用相同或相似的附图标记来指代相同或相似的部件。术语“远侧”指的是将设备引入病人体内时离用户最远的部分。与之相比，术语“近侧”是指将设备放入受试者体内时最接近使用者的部分。如本文所用，术语“包括”、“包含”或其任何其他变体，意在涵盖非排他性的包含，因此，包含一系列要素的过程、方法、物品或设备不一定仅包括那些元素，而是可以包括未明确列出或此类过程、方法、物品或设备固有的其他元素。术语“示例性”是在“示例”的意义上使用的，而不是“理想”。如本文所用，术语“大约”、“基本上”和“近似”表示在所述值的+/-10％范围内的数值。

本公开的示例可用于通过基于由医疗系统的一个或多个单色图像传感器捕获的多模态光谱的多个图像帧生成处理后的图像来识别受试者内的目标部位。在一些实施例中，医疗设备可以包括一个图像处理设备，其包括一个处理器和存储有一个或多个可执行指令和用于检测目标部位特征的运动的算法的一个存储器。此外，处理器和存储器可以基于由一个或多个单色图像传感器捕获的多模态光谱的多个图像帧中检测到的目标部位特征的运动，生成用于着色的相对像素块。在实施例中，存储器可以包括根据成像逻辑、目标提取逻辑、强度归一化逻辑和强度相关性逻辑的可编程和可执行指令。此外，图像处理设备可以包括可操作以接收其上的用户输入的一个用户界面。由医疗设备的图像处理设备产生的处理后的图像可以包括可被输出到显示设备的像素值的彩色分辨率帧。

本公开的示例可涉及用于执行各种医疗程序和/或治疗大肠(结肠)、小肠、盲肠、食道、胃肠道的任何其他部分和/或任何其他合适的患者解剖结构(在此统称为“目标治疗部位”)的系统、设备和方法。本文描述的各种示例包括单次使用或一次性的医疗设备。现在将详细参考上文描述的并在附图中说明的本公开的示例。只要有可能，整个附图将使用相同的附图标记来指代相同或相似的部件。

图1示出了根据本公开的一个示例的示例性医疗系统100的示意性描述。医疗系统100可以包括一个或多个光源130、图像处理设备101、医疗器械110和医疗设备140。图像处理设备101可以通过例如有线连接、无线连接等方式与医疗器械110进行通信联接。在示例中，图像处理设备101是一个包含多个硬件组件的计算机系统，其允许图像处理设备101接收数据(例如，图像传感器数据)、处理信息(例如，强度、运动或光谱数据等)，和/或生成用于向医疗系统100的用户输出处理后的图像。图像处理设备101的说明性硬件组件可以包括至少一个处理器102、至少一个存储器103、至少一个用户界面108和至少一个显示器109。

图像处理设备101的处理器102可以包括能够执行机器可读指令的任何计算设备，这些指令可以存储在非临时性计算机可读介质上，例如，图像处理设备101的存储器103。举例来说，处理器102可以包括控制器、集成电路、微芯片、计算机和/或任何其他可操作以执行执行程序所需的计算和逻辑操作的计算机处理单元。如本文更详细地描述的，处理器102被配置为根据存储在存储器103上的指令执行一个或多个操作。

仍然参考图1，图像处理设备101的存储器103可以包括在其上存储机器可读指令例如，成像逻辑104、目标提取逻辑105、强度归一化逻辑106和强度相关性逻辑107的非临时计算机可读介质。成像逻辑104可以包括可执行指令或算法，其允许医疗系统100通过致动医疗器械110的一个或多个组件，例如一个或多个图像传感器150和一个或多个光源130，来捕获数字图像(例如，原始数字图像)。一个或多个图像传感器150可以包括，例如，一个或多个单色图像传感器。一个或多个光源130可以被配置为发射白光、彩光(例如，红、蓝和绿)、紫外线、近红外(NIR)光和/或可见光谱内或以外的各种其他波长的光。一个或多个光源130可以是一个或多个发光二极管(以下简称LED)。此外，医疗器械110的图像传感器150(或一个或多个图像传感器)可以例如，经由有线连接、无线连接和/或类似方式与医疗系统100的图像处理设备101通信联接。医疗器械110的图像传感器150可以被配置并可操作以捕获轴120的尖端122的周围环境的原始图像(例如，数字图像)。

在一个实施例中，图像传感器150可以包括光电传感器阵列(未示出)，其可以被配置并且可操作以将由光电传感器阵列接收的光束转换成电流。例如，当来自接收光的光子被布置在光电传感器阵列上的多个感光基元(未示出)吸收时，电流可以由布置在图像传感器150上的光电传感器阵列产生。此外，多个感光基元中的每一个都可操作以接收、捕获和吸收沿光电传感器阵列表面的感光基元位置上的不同波长的入射光。因此，多个感光基元可捕获入射光，并可产生电信号，该电信号被量化并作为数值存储在所产生的处理后的图像文件中。应当理解的是，光电传感器阵列可以包括各种合适的形状、尺寸和/或配置。

仍然参考图1，目标提取逻辑105可以包括可执行指令或算法，其允许医疗系统100，例如，识别受试者的目标部位的特征。强度归一化逻辑106可以包括可执行指令或算法，其允许医疗系统100，例如，对从多模态光谱的多个帧获得的图像数据进行归一化。强度相关性逻辑107可包括可执行指令或算法，其允许医疗系统100，例如，生成像素与像素的强度图，并识别生成的强度图之间的最佳拟合匹配，以获得用于对由单色图像传感器捕获的图像进行着色的相对像素块。

在一些实施例中，成像逻辑104、目标提取逻辑105、强度归一化逻辑106和/或空间相关性逻辑107可以包括可执行指令和算法，其允许医疗系统100自动执行目标部位的定期图像处理，而不需要用户输入。在其他实施例中，图像处理设备101可以被配置为，例如，从图像处理设备101的用户界面108接收用户输入以启动目标部位的图像处理。应该理解的是，在一些实施例中，用户界面108可以是与图像处理设备101一体的设备，而在其他实施例中，用户界面108可以是与图像处理设备101通信(例如，无线、有线等)的远程设备，包括医疗仪器110上的开关、按钮或其他输入。

应当理解，支持医疗系统100操作的各种编程算法和数据可以全部或部分留在存储器103中。存储器103可以包括适于存储数据和算法的任何类型的计算机可读介质，诸如，例如，随机存取存储器(RAM)、只读存储器(ROM)、闪存、硬盘和/或任何能够存储机器可读指令的设备。存储器103可以包括一个或多个数据集，包括但不限于来自医疗系统100的一个或多个组件(例如，医疗器械110、医疗设备140等)的图像数据。

仍然参考图1，医疗器械110可以被配置为便于医疗系统100的一个或多个组件，诸如，例如，医疗设备140相对于受试者(例如，病人)定位。在一些实施例中，医疗器械110可以是任何类型的内窥镜、十二指肠镜、胃镜、结肠镜、输尿管镜、支气管镜、导管或其他输送系统，并且可以包括手柄112、致动机构114、至少一个端口116和轴120。医疗器械110的手柄112可以具有与医疗系统100的一个或多个其他部件的腔通信连通的一个或多个腔(未示出)。手柄112进一步包括至少一个端口116，该端口通向手柄112的一个或多个腔中。如本文进一步详细描述的，至少一个端口116的尺寸和形状是为了通过其接收一个或多个器械，例如，医疗系统100的医疗设备140。

医疗仪器110的轴120可以包括足够柔软的管，使得轴120被配置为在被插入和/或通过受试者的曲折解剖结构到目标治疗部位时选择性地弯曲、旋转和/或扭曲。轴120可以有一个或多个延伸穿过其中的腔(未示出)，包括例如用于接收器械(例如医疗设备140)的工作腔。在其他示例中，轴120可以包括额外的腔，诸如用于接收用于驱动一个或多个远侧部件/工具(例如，铰接接头、升降器等)的一个或多个控制线的控制线腔、用于输送流体的流体腔体、用于接收照明组件的至少一部分(未示出)的照明腔，和/或用于接收成像组件的至少一部分(未示出)的成像腔。

仍然参照图1，医疗器械110可以进一步包括位于轴120的远端处的尖端122。在一些实施例中，尖端122可以附接到轴120的远端，而在其他实施例中，尖端122可以与轴120一体。例如，尖端122可以包括被配置为在其中接收轴120的远端的帽。尖端122可以包括一个或多个开口，这些开口与轴120的一个或多个腔通信连通。例如，尖端122可以包括一个工作开口123，医疗设备140可以通过该开口从轴120的工作腔中退出。应该理解的是，轴120的尖端122处的其他一个或多个开口没有示出。医疗器械110的致动机构114设置在手柄112上，并且可以包括一个或多个旋钮、按钮、杠杆、开关和/或其他合适的致动器。致动机构114被配置为至少控制轴120的偏转(例如，通过控制线的致动)。

医疗系统100的医疗设备140可以包括在医疗设备140的近端141和医疗设备140的远端144之间具有纵向主体142的导管。医疗设备140的纵向主体142可以是柔性的，从而医疗设备140被配置为在被插入医疗器械110的工作腔时可以弯曲、旋转和/或扭曲。医疗设备140可以包括纵向体142的近端141处的手柄，该手柄可以被配置为移动、旋转和/或弯曲纵向体142。此外，医疗设备140的近端141处的手柄可以限定一个或多个端口(未显示)，这些端口的尺寸被设定以接收通过医疗设备140的纵向主体142一个或多个工具。

仍然参考图1，医疗器械110可以被配置为经由至少一个端口116接收医疗设备140，经由工作腔穿过轴120，并到达尖端122处的工作开口123。在这种情况下，医疗设备140可以从工作开口123的向远侧延伸出来，并延伸进入尖端122的周围环境，例如，在受试者的目标治疗部位，如下文进一步详细描述。医疗设备140的远端144可以从尖端122向远侧延伸，以响应纵向主体142平移通过轴120的工作腔。医疗设备140可以在纵向体142的远端144处包括用于在目标治疗部位执行一个或多个操作的一个或多个末端执行器(未示出)。

在一个实施例中，医疗器械110可进一步被配置为经由医疗器械110的腔中的至少一个通过轴120接收一个或多个光源130以连接至光纤146。在本例中，一个或多个光源130被示为与图像处理设备101分开的组件，从而光源130与图像处理设备分开地联接到医疗器械101上(例如，经由缆线)。应当理解的是，在其他实施例中，一个或多个光源130可以包括在图像处理设备101上，从而光源130可以与图像处理设备101通信联接到医疗器械110。

仍然参考图1，医疗器械110的尖端122可以包括光纤146和尖端122处的图像传感器150。在一个实施例中，光纤146可以联接到医疗系统100的一个或多个光源130，从而一个或多个光源130中的每一个可以通过单根光纤146传输光。虽然没有显示，但应该理解的是，多个光源130可以通过光纤分流器/合流器联接到光纤146上。医疗器械110的光纤146可以被配置并可操作为从轴120的尖端122向远侧传递来自一个或多个光源130的各种光的振幅。在一些实施例中，光纤146可以被配置为传递白光、紫外光、近红外(NIR)光和/或可见光谱内或外的各种其他波长。

在其他实施例中，医疗器械110可以包括(尽管没有示出)在轴120的尖端122处的多色LED组件。例如，多色LED组件可以包括一个或多个LED，其被设置在围绕图像传感器150的环形阵列中。每个LED可以被配置并可操作为相对于彼此传输不同光波长和/或振幅。应当理解，不同的照明源可以产生不同的光谱(例如，红色、绿色和蓝色的颜色)。

在其他实施例中，如本文进一步描述的，图像传感器150可以被配置并可操作为在图像传感器150的每个单独的像素位置上完全捕获所有入射光，而不考虑入射光的颜色。

仍然参考图1，医疗系统100的医疗器械110可以被插入受试者的体内(未示出)，以将尖端122邻近目标部位201定位(稍后在图2中示出)。例如，轴120可以通过将尖端122插入受试者身体的鼻子或嘴(或其他合适的自然体孔)来引导通过受试者(例如，病人)身体的消化道，并穿越通过受试者身体的胃肠道(例如食道、胃、小肠等)，直到到达目标部位。应该理解的是，轴120的长度可以是足够的，以便医疗器械110的近端(包括手柄112)在受试者的外部，同时医疗器械110的尖端122在受试者的身体内部。虽然本公开内容涉及医疗系统100在受试者的消化道中的使用，但应该理解，本公开内容的特征可以用于受试者体内的各种其他位置(例如其他器官、组织等)。

图2示出了用于使用根据图1公开的医疗系统100的一个或多个图像传感器150(以下简称单色图像传感器150)的多模态图像捕获和相对像素块生成过程200的示意图。与带有滤色器的图像传感器相比，单色图像传感器可以实现更高的量子效率(例如，灵敏度)，并且在将单色图像传感器150捕获的图像转换为彩色图像时有机会产生更好的对比度清晰度和光谱灵活性。仍然参照图2，在步骤210，单色图像传感器150可以捕获受试者(例如，病人)的目标部位201(例如，食道、胃、小肠、其他器官、组织、息肉等)的一个或多个图像，该目标部位可以由轴120的尖端122处的光源130(或多色LED组件)照亮。例如，受试者的目标部位201可由光源130(或多色LED组件)以不同的颜色依次照亮，例如，红色、绿色和蓝色(或青色、洋红色或任何其他适合生成彩色图像的颜色)。相应地，单色图像传感器150可以以比传统彩色成像器更高的(例如，三倍或以上)帧速率捕获图像，以便模仿使用全光谱照明的传统彩色成像器。

在图2的一个示例性实施例中，在步骤210中，当光源130(或多色LED组件)可以用例如第一帧202期间的红光、第二帧204期间的蓝光和第三帧206期间的绿光照亮目标部位201时，单色图像传感器150可以最初在目标部位201处捕获至少三个多模式光谱的图像帧。在三帧202、204、206期间捕获的每个图像帧可以由一个M x N像素块来识别。在这种情况下，图像处理设备101可以调整和适应具有任何运动伪影的多模态光谱的三帧202、204、206，以提供清晰的彩色图像再现。也就是说，在第一帧202中由K x L像素块定义的目标特征203可以在第二帧204和第三帧206中基于目标特征203相对于医疗仪器110的尖端的空间位移(例如，运动)被识别和跟踪，如目标特征205和207相关于目标特征203位置的相对位置所示。相应地，用不同颜色(例如红色、绿色、蓝色等)照明的三帧202、204和206中的每一帧可以分别用目标特征203、205和207的匹配的K x L像素块来识别。

在M×N像素的给定帧(例如，帧202)中，识别预定尺寸的匹配像素数据块(例如，目标特征203的K×L像素块)和邻近帧(例如，帧204或206)中相应的匹配像素数据块(例如，目标特征205或207的K×L像素块)可用于执行运动估计和特征提取，例如，追踪在给定帧中移动的相关关键特征而背景保持相同。用于目标部位成像的传统运动估计技术通常假定各帧的强度恒定。然而，在单色图像传感器150捕获的图像着色的情况下，每个捕获的图像帧(例如，帧202、204或206)由于多色光(例如，红、绿、蓝等)的顺序而具有可变强度。因此，对于由单色图像传感器150捕获的图像应用假设恒定强度的传统运动估计技术可能不会产生目标特征移动/运动(例如，由目标特征205和207表示的目标特征203的空间位移)的准确表示。

在本公开的一个示例性实施例中，可以根据存储在目标提取逻辑105上的可执行指令或算法来识别目标特征203、205、207中的每一个。例如，目标提取逻辑105可以包括可执行指令和对数、分层和/或穷举块匹配算法。此外，目标提取逻辑105可以包括可执行指令或算法，用于对目标特征203、205和207执行边缘检测过滤，以突出显示目标特征203、205和207的K x L像素块中的关键特征。因此，在步骤220中，图像处理设备101根据存储在目标提取逻辑105上的可执行指令和算法，可以通过对目标特征203、205和207的K x L像素块执行边缘检测滤波来提取K x L像素块的相关性特征222、224和226。在一个实施例中，提取的相关性特征222可以包括目标特征203的红色颜色强度数据，相关性特征224可以包括目标特征205的蓝色颜色强度数据，以及相关性特征226可以包括目标特征207的绿色颜色强度数据。

仍然参考图2，在步骤230中，处理器102可以基于强度相关性逻辑107中的可执行指令和算法，分别为边缘转换的K x L像素块相关性特征222、224、226中的每一个生成块间像素与像素强度关系图232、234和236。例如，强度关系图232可以包括包括红颜色强度像素数据的相关性特征222的逐像素的强度数据，强度关系图234可以包括包括绿颜色强度像素数据的相关性特征224的逐个像素的强度数据，以及强度关系图236可以包括包括蓝颜色强度像素数据的相关性特征226的逐个像素的强度数据。因此，处理器102可以根据强度相关性逻辑107的可执行指令和算法，通过运行强度关系图232、234和236，并通过强度相关性逻辑107提供的空间相关性滤波器，生成可能代表目标特征203、205和207中的每一个的最佳匹配的相对像素块。为了清楚起见，强度关系图232、234和236中每个像素的强度像素数据在图2中以黑白两色表示。然而，可以理解的是，强度关系图232、234和236中的每个像素可以用各种灰度表示，这取决于单色图像传感器150的每个像素所检测到的强度。

在一个实施例中，强度关系图232、234和236可以基本相似(例如，由于帧202、204和206的多模态性质而略有变化)。此外，强度关系图232、234和236中的每一个都可以提供配准。也就是说，基于每个强度关系图232、234和236中的相似性生成的每个相对像素块可用于通过裁剪和覆盖先验帧的信息与后续帧中的新变化来对齐帧的估计运动。在一个实施例中，处理器102，可以利用生成的相对像素块对单色图像传感器150所捕获的目标地点201的图像进行着色。

在一些实施例中，处理器102可以通过应用相关性矩阵阈值评分方法来加速根据图2公开的相对像素块生成过程。根据本公开的实施例在目标特征203、205和207上执行边缘滤波，允许以图2中所示的强度关系图232、234、236的形式创建更有效的数据集。然而，从这些强度关系图232、234、236中关联两组数据可能需要搜索类似的强度分布峰。由于帧202、204和206的多模态性质，完美的正相关(例如，+1)可能难以实现。相应地，创建阈值得分，例如相关性得分>+0.75可以确保更快地匹配目标特征203、205和207的运动配准，同时保持低视频流延迟(例如，小于150ms)。

在根据本公开内容的一个示例性实施例中，处理器102可以利用以下公式来生成相对像素块：

相关性矩阵得分>+0.75

例如，处理器102可以为强度关系图232、234和236中的每一个生成或分配强度分布峰的相关性得分，然后可以确定两个或多个帧之间高于+0.75的任何相关性得分为匹配得分。然后，处理器102可以根据图2中公开的过程200生成相对像素块。此外，处理器102可以根据强度关系图232、234、236和相关性矩阵得分方程确定目标特征203、205和207的最佳匹配。

在一些实施例中，处理器102可以根据强度归一化逻辑107的可执行指令或算法，通过归一化图像帧202、204、206中检测到的不同颜色(例如，红色、绿色、蓝色等)的强度，执行用于生成根据本公开的实施例的相对像素块的相对强度匹配。图像帧(例如，帧202、204或206)内的目标特征(例如，目标特征203、205或207)的相对强度可能取决于可用于照明的特定颜色。因此，为了提供在帧202、204、206期间照亮的不同颜色之间的相对强度的估计，可以使用每个单独的颜色通道对健康组织的响应。也就是说，在忽略健康组织中的血管和其他明显特征的影响的同时，可以通过应用例如以下算法估计颜色通道之间的相对强度：

将第一颜色通道(例如，红色)归一化为1的值

使用相同的健康组织，处理器102可以通过比较其他颜色通道响应与第一颜色(例如，红色)通道响应来估计其他颜色通道(例如，绿色、蓝色等)的响应。然后，处理器102可以将其他颜色通道的响应归一化为第一颜色通道响应值的相同值。一旦每个颜色基于健康组织被归一化，归一化系数(例如，归一化的颜色强度值)可用于不同的解剖结构，以估计例如红色、绿色和蓝色通道的相对强度。因此，可以更准确地估计帧202、204和206之间的相对强度，以根据本公开的实施例生成相对像素块。

图3示出了根据本公开的实施例的利用分层块匹配算法来生成相关像素块的示例性图像转换过程。在一个实施例中，单色成像传感器150可以根据图2中公开的过程200捕获受试者(例如，病人)的目标部位的锚帧300和目标帧310。在本实施例中，处理器102可以利用存储在存储器中的可执行指令和算法(例如，成像逻辑104、目标提取逻辑105、强度归一化逻辑106和/或强度相关性逻辑107)来执行根据图3所述的图像转换过程。例如，图像处理设备102的处理器101可以在锚图像帧300的第一位置处和目标帧310的相应第一位置处确定或识别目标特征303。进一步地，处理器102可以根据存储在目标提取逻辑105上的可执行指令或算法，通过确定或识别位移的目标特征315来确定在锚帧300中识别的目标特征303的运动/空间位移。此外，处理器101可以根据图2中公开的过程200生成块间像素与像素的强度关系图302和312。

在一个示例性实施例中，处理器102可以对锚帧300和目标帧310进行降采样，例如降采样2次，成为第一降采样锚帧304和第一降采样目标帧314。处理器101可以进一步对第一降采样的锚帧304和第一降采样的目标帧314再次降采样，例如降采样2次，以获得第二降采样的锚帧306和第二降采样的目标帧316。在这种情况下，处理器102可以按照图2中公开的过程200为锚帧300、304和306中的每一个生成目标特征303的块间像素与像素强度关系图302。此外，在目标帧310、314和316中的每一个，处理器102可以识别位移的目标特征315，并按照图2中公开的过程200，生成位移的目标特征315的块间像素与像素的强度关系图312。与图2类似，为了清楚起见，强度关系图302和312中每个像素的强度像素数据在图3中以黑白表示。然而，可以理解的是，强度关系图302和312中的每个像素可以用各种灰度表示，这取决于单色图像传感器150的每个像素所检测到的强度。

仍然参考图3，处理器101可以根据图2中公开的过程200，基于每个分层级别处的强度关系图302和312(例如，帧300、304和306以及帧310、314和316)生成相对像素块。在一个实施例中，可以在每个降采样的分层级别处使用修改的相关性匹配得分。对锚帧300和目标帧310进行降采样，通过放大到感兴趣的区域来识别感兴趣的特征(例如，目标特征303和315)，减少每个层次的每个帧内的搜索时间。

在一个实施例中，可以为每个分层级别(例如，帧300、304和306以及帧310、314和316)生成相对像素块。在每个分层级别处的不同相对像素块可能需要应用根据图3描述的分层块匹配算法。例如，相对像素块中的每个级别的高亮块可以基于降采样从一个级别到另一个级别变化。也就是说，在一个分层级别上，一个感兴趣的特征(例如，303和315)的象限(例如，帧306和316)可以被搜索和定位。在另一个分层级别处，可以对感兴趣的区域(例如，帧304和314)，包括感兴趣的特征(例如，303和315)进行精细化技术。在另一个分层级别处，实际的图像帧(例如，帧300和310)可以基于在以前的分层级别处中确定的感兴趣的区域来获得。因此，与另一分层级别处(例如，帧304和316处)相比，可能需要识别更少的强度块来确定一个分层级别处(例如，帧306和316处)的相对像素块相关性。此外，随着分层级别越来越接近实际图像(例如，帧300和310)，可能会产生更详细的相对像素块。相应地，可以通过两次(或更多)降采样并在每个分层级别(303、304和306)处创建感兴趣的特征(303和315)的象限的不同相对像素块来快速确定感兴趣的特征(例如303、315)。

图4A和4B示出了利用通过像素投影的间接运动估计确定相对像素块的示例性方法。在该实施例中，在根据本公开内容执行间接像素投影方法之前，可根据图2中的过程200生成由单色图像传感器150捕获的目标特征图像的强度关系图。例如，如图4A-4B所示，处理器102可以生成具有第一颜色(例如，蓝色)的强度像素值的第一强度关系图430和具有第二颜色(例如，绿色)的强度像素值的第二强度关系图440。此后，处理器102可以根据第一强度关系图430和第二强度关系图440生成两组像素投影数据。除了图2中的过程200之外，或者作为替代，处理器102可以通过识别第一像素投影矩阵432和第二像素投影矩阵442的列和行中的两组像素投影数据的峰值强度簇以及确定所识别的峰值强度簇之间的相对相似性，来生成目标特征的相对像素块。与图2类似，为了清楚起见，强度关系图430和440中每个像素的强度像素数据在图4中以黑白两色表示。然而，可以理解的是，强度关系图430和440中的每个像素可以用各种灰度表示，这取决于由单色图像传感器150的每个像素所检测到的强度。

在一个示例性实施例中，可以对投影矩阵423、442中的行和列进行求和，以确定矩阵423和442之间的类似像素密度。例如，在图4A的第一像素投影矩阵432中，将第一强度关系图430的行上的所有黑色像素相加，可以表示沿纵轴的像素强度分布的位置。此外，将第一强度关系图430的列上所示的所有黑色像素相加可提供沿水平轴的像素强度分布的位置。类似的过程可以在图4B的第二像素投影矩阵442上执行。然后，处理器102可以识别图4A和图4B中的强度像素块之间的差异(例如，如强度关系图430和440中所示的像素位置的移动)，以生成相对像素块。因此，强度关系图430和440中的强度簇可以使用上述的求和技术间接地识别，以生成相对像素块。

一般来说，单色图像传感器只捕捉单色图像。因此，由单色图像传感器150捕获的图像可以通过基于在彩色光(例如红光、绿光和红光)照明期间检测到的可变像素强度对捕获的图像进行着色来模仿彩色图像传感器。因此，图5示出了一个示例性方法500的流程图，该方法用于使用单色图像传感器150生成受试者的目标部位的彩色化图像。在步骤502中，医疗系统100的光源130可以依次以多个颜色照亮表面(例如，病人的目标部位)，一次一个颜色。在一些实施例中，多个颜色可以包括红色、绿色或蓝色中的至少一个。在一个实施例中，该表面可包括病人的胃肠道组织。在步骤504中，单色图像传感器150可以基于多个颜色捕获表面的多个图像帧。在一个实施例中，多个图像帧可以包括至少一个第一颜色的第一图像帧，一个第二颜色的第二图像帧，和一个第三颜色的第三图像帧。在一个实施例中，第一颜色可以是红色，第二颜色可以是绿色，第三颜色可以是蓝色。在步骤506中，处理器102根据存储器103的成像逻辑104、目标提取逻辑105、强度归一化逻辑106和强度相关性逻辑107中的一个或多个，可以识别多个图像帧中的目标。此外，目标在多个图像帧的第一帧中的位置可能与目标在多个图像帧的第二帧中的位置不同。处理器102可以利用存储器103中的一个或多个逻辑(例如，成像逻辑104、目标提取逻辑105、强度归一化逻辑106和强度相关性逻辑107)来执行下文所述的步骤。在步骤508中，处器102可以突出显示多个图像帧(例如，帧202、204和206)的目标中的至少一个特征(例如，目标特征203、205和/或207)。在一个实施例中，处理器102可以应用边缘滤波器以提取至少一个特征中的至少一个边缘。

在步骤510中，处理器102可以将多个图像帧的颜色强度归一化。在一个实施例中，为了使多个图像帧的颜色强度归一化，光源130可以用多个颜色中的第一颜色(例如，红色)来照亮该表面。然后，处理器102可以确定所照亮的第一颜色的强度，并为该第一颜色的强度分配一个归一化值。此后，光源130可以用多个颜色中的第二颜色(例如，绿色)来照亮该表面。然后，处理器102可以确定所照亮的第二颜色的强度并基于归一化值生成第二颜色的归一化强度值。

在步骤512中，处理器102可以为多个图像帧(例如，帧202、204和206)中的每一个生成目标的颜色强度图(例如，强度关系图232、234或236)。在一个实施例中，颜色强度图可以包括多个像素，而多个像素中的每一个可以包括一个颜色强度值。进一步地，可以基于多个图像帧的颜色强度图来比较多个图像帧中的每一个的目标。在步骤514中，处理器102可以通过比较多个图像帧中的每个颜色强度图来确定相关性得分。在一个实施例中，处理器102可以确定颜色强度图中的峰值强度簇，并通过比较第一颜色强度图和第二颜色强度图中的峰值强度簇来估计目标的运动。

在步骤516中，处理器102可以基于相关性得分生成彩色图像。例如，相关性得分可以在少于150毫秒的时间内确定。在一个实施例中，当相关性得分高于预定的阈值时，处理器102可以确定第一颜色强度图和第二颜色强度图之间的目标的匹配像素。附加地，或可替代地，处理器102可以对多个帧进行下采样，并在对多个帧进行降采样后确定相关性得分。在一个实施例中，处理器102可以对多个帧进行因子为二、至少两次的降采样。

再参考图1，该图示出了与图像处理设备101的处理器102通信联接的医疗系统100的显示器109，处理器102可操作以将根据方法200和500生成的彩色化图像传输到显示器109，以便由医疗系统100的用户查看。在一些示例中，医疗系统100可以被配置并可操作以连续执行本文所示和所述的方法200和500，从而显示器109可以输出多个彩色化图像以提供一个或多个目标对象的连续(例如，实况、实时等)成像。

上述系统、设备、组件和方法中的每一个可用于检测受试者的目标部位中的目标特征的运动并生成目标部位的彩色化图像。通过提供一种包括图像处理系统的医疗设备，用户可以通过使用单色图像传感器，在手术过程中加强对受试者体内目标部位的一个或多个特征和/或特性的可视化。该医疗设备可使用户准确地确定目标部位的位置，从而减少整个手术时间，提高手术效率，并避免由于在目标治疗部位不准确地定位目标物体而对受试者的身体造成不必要的伤害。

对于本领域的技术人员来说，显然可以在不脱离本公开范围的情况下对所公开的设备和方法进行各种修改和变化。应当理解的是，所公开的设备可以包括各种合适的计算机系统和/或计算单元，其包含多个硬件组件，例如处理器和非暂时性计算机可读介质，其允许设备在程序期间按照本文所述的操作执行一个或多个操作。对本领域的技术人员来说，通过考虑本文所披露的特征的说明和实践，本公开的其他方面将是显而易见的。其目的是将说明书和示例仅视为示例性的。

应当理解，图1中的图像处理设备101可以是任何计算设备。图像处理设备101还可以包括输入和输出端口，以与输入和输出设备如键盘、鼠标、触摸屏、显示器、显示屏等连接。当然，各种系统功能可以在一些类似的平台上以分布式方式实现，以分散处理负荷。可替代地，可以通过对一个计算机硬件平台的适当编程来实现这些系统。

在一个实施例中，所公开的系统、方法和/或图形用户界面中的任何一个可以由符合或类似于本文描述的计算系统执行或实施。尽尽管不是必需的，但是在计算机可执行指令的上下文中描述了本公开的方面，例如由数据处理设备(例如，服务器计算机、无线设备和/或个人计算机)执行的例程。相关领域的技术人员将理解，本公开的方面可以用其他通信、数据处理或计算机系统配置来实践，包括：互联网设备、手持设备(包括个人数字助理(“PDA”))、可穿戴计算机、各种蜂窝电话或移动电话(包括IP语音(“VoIP”)电话)、哑终端、媒体播放器、游戏设备、虚拟现实设备、多处理器系统、基于微处理器或可编程的消费电子产品、套装机顶盒、网络PC、小型计算机、大型计算机等。实际上，术语“计算机”、“计算设备”等在本文中通常可互换使用，并且指代任何上述设备和系统，以及任何数据处理器。

本公开的方面可以体现在专用计算机和/或数据处理器中，该专用计算机和/或数据处理器被专门编程、配置和/或构造成执行本文详细解释的一个或多个计算机可执行指令。虽然本公开的方面，例如某些功能，被描述为仅在单个设备上执行，但是本公开也可以在分布式环境中实践，其中功能或模块在不同的处理设备之间共享，这些处理设备通过通信网络链接，例如局域网(“LAN”)、广域网(“WAN”)，和/或互联网。类似地，本文呈现为涉及多个设备的技术可以在单个设备中实现。在分布式计算环境中，程序模块可能位于本地和/或远程内存存储设备中。

本公开内容的各个方面可以存储和/或分布在非临时性计算机可读介质上，包括磁或光学可读计算机光盘、硬接线或预编程芯片(例如，EEPROM半导体芯片)、纳米技术存储器、生物存储器或其他数据存储介质。可替代地，计算机实现的指令、数据结构、屏幕显示和根据本公开的各方面的其他数据可以通过因特网和/或通过其他网络(包括无线网络)、在传播介质(例如，一段时间内的电磁波、声波等)，和/或它们可以在任何模拟或数字网络(分组交换、电路交换或其他方案)上提供。

本技术的程序方面可以被认为是“产品”或“制造品”，通常以可执行代码和/或相关数据的形式出现，其被携带或体现在某种类型的机器可读介质上。“存储”类型的介质包括计算机、处理器或类似设备的任何或全部有形存储器，或其相关模块，如各种半导体存储器、磁带驱动器、磁盘驱动器等，它们可在任何时候为软件编程提供非临时性存储。软件的全部或部分内容有时可通过互联网或其他各种电信网络进行通信。例如，这种通信可使软件从一台计算机或处理器加载到另一台，例如，从管理服务器或移动通信网络的主机加载到服务器的计算机平台和/或从服务器加载到移动设备。因此，另一种可能承载软件元件的介质包括光波、电波和电磁波(诸如在本地设备之间的物理接口上使用)通过有线和光学固定电话网络以及通过各种空中链接。承载这种波的物理元件，如有线或无线链路、光学链路等，也可被视为承载软件的介质。如本文所使用的，除非限制于非暂时性的、有形的“存储”介质，术语如计算机或机器“可读介质”是指参与向处理器提供指令以执行的任何介质。

考虑到这里公开的本发明的说明书和实践，本公开的其他实施例对于本领域技术人员来说将是显而易见的。说明书和实施例旨在仅被视为示例性的，本发明的真实范围和精神由所附权利要求指示。

应当理解，本文所述的任何医疗设备的一个或多个方面可以与本领域已知的任何其他医疗设备(诸如，医疗成像系统)或其他窥镜(如结肠镜、支气管镜、输尿管镜、十二指肠镜等)或其他类型的成像器结合使用。

虽然本文参照特定应用的说明性实例描述了本公开的原理，但应当理解，本公开不限于此。那些拥有本领域普通技术并能获得本文提供的教导的人将认识到额外的修改、应用和等价物的替换都属于本文描述的示例的范围。因此，本发明不应视为受前述描述的限制。

Claims (15)

1.一种用单色图像传感器生成彩色图像的方法，所述方法包括：

以多个颜色依次照亮表面，一次一个颜色；

基于所述多个颜色，通过单色图像显示器捕获所述表面的多个图像帧；

识别所述多个图像帧中的目标；

突出显示所述多个图像帧的目标中的至少一个特征；

将所述多个图像帧的颜色强度归一化；

为所述多个图像帧的每一个生成所述目标的颜色强度图；

通过比较所述多个图像帧的每个颜色强度图识别相关性得分；以及

基于所述相关性得分生成所述彩色图像。

2.如权利要求1所述的方法，其中所述多个图像帧包括至少第一颜色的第一图像帧和第二颜色的第二图像帧。

3.如前述权利要求任一项所述的方法，所述将所述多个图像帧的所述颜色强度归一化包括：

用所述多个颜色中的第一颜色照亮所述表面；

确定所照亮的所述第一颜色的强度；以及

向所述第一颜色的所述强度分配归一化值。

4.如权利要求3所述的方法，其中所述将所述多个图像帧的所述颜色强度归一化进一步包括：

用所述多个颜色中的第二颜色照亮所述表面；

确定所照亮的所述第二颜色的强度；以及

基于所述归一化值生成所述第二颜色的归一化强度值。

5.如前述权利要求任一项所述的方法，其中所述多个颜色包括红色、绿色或蓝色中的至少一个。

6.如前述权利要求任一项所述的方法，其中所述突出显示所述目标中的至少一个特征包括：

应用边缘滤波器以提取所述至少一个特征中的至少一个边缘。

7.如前述权利要求任一项所述的方法，其中所述颜色强度图包括多个像素；并且

所述多个像素中的每一个具有颜色强度值。

8.如前述权利要求任一项所述的方法，其中基于所述多个图像帧的所述颜色强度图，比较所述多个图像帧的每一个中的所述目标。

9.如前述权利要求任一项所述的方法，进一步包括：

当所述相关性得分高于预定的阈值时，确定第一颜色强度图和第二颜色强度图之间的所述目标的匹配像素。

10.如前述权利要求任一项所述的方法，进一步包括：

对所述多个图像帧进行降采样；以及

在对所述多个图像帧进行降采样后，确定所述相关性得分。

11.如前述权利要求任一项所述的方法，进一步包括：

对所述多个帧进行因子为二、至少两次的降采样。

12.如前述权利要求任一项所述的方法，进一步包括：

确定所述颜色强度图中的峰值强度簇；以及

通过比较所述第一颜色强度图和所述第二颜色强度图中的所述峰值强度簇来估计所述目标的运动。

13.如前述权利要求任一项所述的方法，其中在所述多个帧的第一帧中的所述目标的位置与在所述多个帧的第二帧中的所述目标的位置不同。

14.如前述权利要求任一项所述的方法，其中在150毫秒以内确定相关性得分。

15.如前述权利要求任一项所述的方法，其中所述表面包括胃肠道的组织。

Images