CN115552454A - 图像处理系统和使用其的方法 - Google Patents

Abstract

本发明涉及一种包括传感器的医疗装置，所述传感器包括滤波器阵列。所述传感器配置成捕获原始图像，并且所述过滤器阵列配置成将所述原始图像过滤成原始像素值的帧，所述原始像素值的帧包括第一像素值、第二像素值和第三像素值。所述医疗装置包括存储了去马赛克指令的非暂态计算机可读介质，所述去马赛克指令当执行时引起处理器从原始像素值的所述帧排除所述第一像素值。所述处理器在所述帧的所述排除第一像素值和所述第三像素值的位置处生成估计第二像素值，并且在所述帧的所述排除第一像素值和所述第二像素值的位置处生成估计第三像素值。所述处理器从所述第二像素值、所述估计第二像素值、所述第三像素值和所述估计第三像素值创建处理图像，所述处理图像具有局部分辨率帧。

Description

图像处理系统和使用其的方法

相关申请的交叉引用

本申请要求于2020年4月6日提交的美国临时专利申请No.63/005,832的优先权权益，该临时专利申请的全部内容以引用的方式并入本文。

技术领域

本公开的各个方面整体涉及图像处理系统、装置和相关方法。本公开的实例涉及用于数字色素内视镜检查的系统、装置和相关方法，等等。

背景技术

技术发展已向医疗系统、装置和方法的用户赋予了对于受试者执行越来越复杂手术的能力。微创手术领域的一个挑战与使受试者体内的目标治疗部位(诸如，例如位于受试者的胃肠道中的肿瘤或病灶)可视化相关联。以染料注入的色素内窥镜检查可有利于检测管腔胃肠道中的粘膜表面的变化。然而，用于提供血管的可视化的成像方法和装置的限制性可延长手术时间，限制其有效性，和/或引起对于患者的伤害。

发明内容

本公开的方面涉及用于提供图像处理系统的系统、装置和方法等，以及移位波长去马赛克逻辑，等等。本文所公开方面的每一者可包括结合其它所公开方面的任一者所描述特征的一者或多者。

根据一个实例，医疗装置包括轴和传感器，该传感器联接至轴的远侧端部并且包括滤波器阵列。传感器配置成捕获原始图像，并且滤波器阵列配置成将原始图像过滤成原始像素值的帧，该原始像素值的帧包括多个第一像素值、多个第二像素值和多个第三像素值。医疗装置包括处理器和非暂态计算机可读介质，该非暂态计算机可读介质存储了去马赛克指令，该去马赛克指令当由处理器执行时引起处理器从原始像素值的帧排除多个第一像素值。处理器在帧上的多个排除第一像素值和多个第三像素值的位置处生成多个估计第二像素值。处理器在帧上的多个排除第一像素值和多个第二像素值的位置处生成多个估计第三像素值。处理器从多个第二像素值、多个估计第二像素值、多个第三像素值和多个估计第三像素值创建处理图像，该处理图像具有局部分辨率帧。

本文所描述医疗装置的任一者可包括下述特征的任一者。存储于非暂态计算机可读介质中的去马赛克指令引起所述处理器检测原始图像内的一个或多个边缘，并且执行该一个或多个边缘的锐化增强以增加处理图像的边缘细节。存储于非暂态计算机可读介质中的去马赛克指令引起处理器输出从执行锐化增强步骤所创建的锐化增强图像，并且使锐化增强图像与处理图像混合。存储于非暂态计算机可读介质中的去马赛克指令引起处理器设定多个第二像素和多个第三像素的每一者的亮度值，并且通过修改亮度值而执行多个第二像素和多个第三像素的对比度增强以增加处理图像的对比度。存储于非暂态计算机可读介质中的去马赛克指令引起处理器输出从执行对比度增强步骤所创建的对比度增强图像，并且使对比度增强图像与处理图像混合。存储于非暂态计算机可读介质中的去马赛克指令引起处理器重复所有的先前步骤，直至阈值。存储于非暂态计算机可读介质中的去马赛克指令引起处理器接收移位波长输入以确定多个第一像素的颜色像素值。该医疗装置还包括用户界面，该用户界面通信地联接至处理器并且配置成将指示移位波长输入的信号传送至处理器。传感器包括RGB图像传感器，并且滤波器阵列包括红绿蓝拜耳滤色器阵列。多个第一像素包括红色像素，多个第二像素包括蓝色像素，并且多个第三像素包括绿色像素。传感器包括RGB+Ir图像传感器，并且滤波器阵列包括红绿蓝红外拜耳滤色器阵列。多个第一像素包括蓝色像素，多个第二像素包括红色像素和绿色像素，并且多个第三像素包括红外像素。传感器包括RGB图像传感器和单色传感器。像素的局部分辨率帧中的每个位置包括一个捕获颜色像素值和一个重建颜色像素值，使得至少一个颜色像素值从原始像素的帧排除。该医疗装置还包括光源，该光源联接至轴的远侧端部，其中光源为光纤、紫外光或多色LED阵列。存储于非暂态计算机可读介质中的去马赛克指令引起处理器将局部分辨率帧的处理图像输出至显示装置。

根据另一个实例，图像处理方法包括捕获原始图像和将原始图像过滤成原始像素的帧，该原始像素包括多个第一像素、多个第二像素和多个第三像素。该方法包括至少排除多个第一像素，和沿着帧在多个排除第一像素和多个第三像素的像素位置处生成缺失第二像素。该方法包括沿着帧在多个排除第一像素和多个第二像素的像素位置处生成缺失第三像素，和从多个第二像素、多个第三像素、所生成第二像素和所生成第三像素构建部分采样数字图像。

本文所描述方法的任一者可包括下述步骤的任一者。该方法包括检测原始像素的帧内的边缘，和增强边缘的锐度以增加部分采样数字图像的边缘细节。该方法包括修改多个第二像素和多个第三像素的每一者的亮度值，以增强部分采样数字图像中的多个第二像素和多个第三像素的对比度。该方法包括接收移位波长输出，以确定多个第一像素的颜色像素值。原始像素的帧还包括多个第四像素。该方法包括至少排除多个第四像素。

根据另一个实例，医疗装置包括处理器和存储指令的非暂态计算机可读介质，该指令当由处理器执行时引起处理器从照明源传送具有多个波长的光并且至少移除由数字图像传感器所检测的多个像素值的子组，该数字图像传感器通信地联接至处理器。数字图像传感器包括滤波器阵列，该滤波器阵列配置成将光的多个波长过滤成多个像素值。处理器生成了多个估计像素值；并且创建了处理图像，该处理图像具有局部分辨率帧，该局部分辨率帧包括多个像素值和多个估计像素值并且至少省略了处理图像的多个像素值的子组。

可理解，前述一般描述和下述具体实施方式均仅为示例性的和解释性的，并且不限制所要求保护的本发明。

附图说明

并入本说明书并构成本说明书的一部分的附图示出了本公开的示例性方面，并且连同描述一起用于解释本公开的原理。

图1为根据本公开的方面的示例性医疗系统的示意图；

图2A为根据本公开的方面的图1的医疗系统的医疗装置的局部立体图，该医疗装置包括传感器和光源；

图2B为根据本公开的方面的图1的医疗系统的另一医疗装置的局部立体图，该医疗装置包括传感器和多个光源；

图2C为根据本公开的方面的图1的医疗系统的另一医疗装置的局部立体图，该医疗装置包括一对传感器和光源；

图3为根据本公开的方面的图2A的医疗装置的示例性图像传感器的示意图；

图4为根据本公开的方面的从图像所接收的原始像素数据的帧的示意图，该图像由图3的图像传感器来捕获；和

图5为根据本公开的方面的以图1的医疗系统使目标部位成像的示例性方法的框图。

具体实施方式

本公开的实例包括用于通过强调处理图像中目标部位的一个或多个特征(例如，血管、血管系统等)而增强受试者(例如，患者)体内的一个或多个目标治疗部位的图像的系统、装置和方法。现将详细地参考本公开的多个方面，这些方面的实例示出于附图中。在可能的情况下，相同或类似附图标号将在附图中用于指代相同或类似部分。当将装置引入至患者时，术语“远侧”指代最远离用户的部分。相比之下，当将装置放置于受试者体内时，术语“近侧”指代最靠近于用户的部分。如本文所用，术语“包括(comprises)”、“包含(comprising)”或其任何其它变型旨在涵盖非排他性的包括，使得包括元素列表的工艺、方法、制品或设备不仅必然地包括这些元素，而且可包括未明确列出或此类工艺、方法、制品或设备固有的其它元素。术语“示例性”以“实例”而非“理想”的意义使用。如本文所用，术语“约”、“大体”和“大约”表示所述值的+/-10％范围内的值。

本公开的实例可用于通过生成处理图像而识别受试者体内的目标部位，该处理图像具有像素值的局部分辨率帧，这些像素值在视觉上强调了受试者的管腔胃肠道的一个或多个特征和/或特性。此类特征和/或特性包括例如肿瘤、病灶、血管、粘膜表面的变化，等等。在一些实施例中，医疗装置可包括图像处理装置，该图像处理装置包括处理器和存储器，该存储器存储了一种或多种算法以用于生成局部分辨率帧。在实施例中，存储器可包括根据去马赛克逻辑、边缘增强逻辑和/或对比度增强逻辑的可编程指令。另外，图像处理装置可包括用户界面，该用户界面可操作以将用户输入接收于其上，诸如，例如用于在由图像传感器所捕获的其它颜色像素值的插值和增强之前滤除至少一个颜色像素值的波长移位输入。由医疗装置的图像处理装置所产生的处理图像可包括像素值的局部分辨率帧，这些像素值可输出至显示装置。

本公开的实例可涉及用于执行各种医疗手术和/或用于治疗大肠(结肠)、小肠、盲肠、食道的部分，胃肠道的任何其它部分，和/或任何其它合适患者解剖结构(本文共称为“目标治疗部位”)的装置和方法。本文所描述的各个实例包括单次使用或一次性医疗装置。现将详细地参考上文所描述和附图所示的本公开的实例。只要可能，相同参考标号将在所有图中用于指代相同或类似部分。

图1根据本公开的一个实例示出了示例性医疗系统100的示意图。医疗系统100可包括一个或多个光源130、图像处理装置101、医疗器械110和医疗装置140。图像处理装置101可通过例如有线连接、无线连接等通信地联接至医疗器械110。在实例中，图像处理装置101为并入了多个硬件部件的计算机系统，这些硬件部件允许图像处理装置101接收数据(例如，图像传感器数据)，处理信息(例如，波长数据)，和/或生成处理图像以用于输出至医疗系统100的用户。图像处理装置101的例示性硬件部件可包括至少一个传感器102、至少一个存储器103、至少一个用户界面108和至少一个显示器109。

图像处理装置101的处理器102可包括能够执行机器可读指令任意计算装置，该机器可读指令可存储于非暂态计算机可读介质上，诸如，例如图像处理装置101的存储器103。通过实例的方式，处理器102可包括控制器、集成电路、微芯片、计算机，和/或任何其它计算机处理单元，该计算机处理单元可操作以执行用以执行程序所需的计算和逻辑操作。如本文更详细地描述，处理器102配置成根据存储于存储器103上的指令(诸如，例如成像逻辑104、去马赛克逻辑105、边缘增强逻辑106、对比度增强逻辑107等)而执行一个或多个操作。

仍参考图1，图像处理装置101的存储器103可包括非暂态计算机可读介质，该非暂态计算机可读介质在其上存储了机器可读指令，诸如，例如成像逻辑104、去马赛克逻辑105、边缘增强逻辑106和对比度增强逻辑107。成像逻辑104可包括可执行指令，该可执行指令允许医疗系统100通过激活医疗器械110的一个或多个部件(诸如，例如，一个或多个图像传感器150、105A、150B(图2A至图2C))而捕获原始数字图像。

另外，去马赛克逻辑105可包括可执行指令，该可执行指令允许医疗系统100通过使图像去马赛克和重建该马赛克图像中的缺失和/或未知像素值而处理数字图像(例如，马赛克图像)。应当理解，由图像传感器(利用彩色滤波器传感器阵列)所捕获的数字图像可提供原始图像，该原始图像具有以马赛克图案所布置的各种颜色像素值。该图案的每个像素阵列仅包括单个颜色像素值，使得其上的一个或多个颜色像素值可省略。如本文详细地讨论，数字图像包括像素值的二维阵列，其中每个像素值在图像中的像素位置处对应于多个光谱带(例如，颜色像素值)的一者的光强度。

仍参考图1，边缘增强逻辑106可包括可执行指令，该可执行指令允许医疗系统100处理目标部位的马赛克图像并且增强该马赛克图像中的一个或多个边缘的清晰度。应当理解，去马赛克过程可包括固有副作用，诸如，例如降低了图像中的一个或多个边缘的锐度。例如，去马赛克过程可削弱图像的高频细节和/或可强调图像的低频细节。

在这种情况下，可出现图像内的显著对比度边界的边缘处的彩色条纹，其中显著对比度边界的边缘可包括马赛克图像的颜色像素内的条纹伪影。如下文进一步描述，边缘增强逻辑106可包括可执行指令，这些可执行指令允许医疗系统100通过监测边缘和增加所述边缘的细节而处理数字图像(例如，马赛克图像)，来以颜色像素提供所述图像的更显著清晰度。

仍参考图1，对比度增强逻辑107可包括可执行指令，该可执行指令允许医疗系统100处理目标部位的马赛克图像并且增强该马赛克图像中的一个或多个像素的对比度。应当理解，去马赛克过程可包括固有副作用，诸如，例如由于图像中的像素之间的减少色差信号而减弱了图像的对比度。

在这种情况下，颜色像素的分辨率帧可缺乏各个颜色像素之间的充分明度来区分图像的一个或多个特征。如下文进一步描述，对比度增强逻辑107可包括可执行指令，这些可执行指令允许医疗系统100通过缩放特定颜色像素的亮度和增加分辨率帧的明度而处理数字图像(例如，马赛克图像)，来以颜色像素提供所述图像的更明显清晰度。

在一些实施例中，成像逻辑104、去马赛克逻辑105、边缘增强逻辑106和/或对比度增强逻辑107可包括可执行指令，这些可执行指令允许医疗系统100自动地执行目标部位的定期图像处理，而无需用户输入。在其它实施例中，图像处理装置101可配置成接收用户输入以初始化目标部位的图像处理，诸如，例如从图像处理装置101的用户界面108。应当理解，在一些实施例中，用户界面108可为与图像处理装置101一体的装置，并且在其它实施例中，用户界面108可为与图像处理装置101通信(例如，无线通信、有线通信等)的远程装置。

应当理解，各种编程算法和数据(其支持医疗系统100的操作)可整体地或部分地驻留于存储器103中。存储器103可包括适合于存储数据和算法的任何类型的计算机可读介质，诸如，例如随机存取存储器(RAM)、只读存储器(ROM)、闪存存储器、硬盘驱动器，和/或能够存储机器可读指令的任何装置。存储器103可包括一个或多个数据组，包括但不限于医疗系统100(例如，医疗器械110、医疗装置140等)的一个或多个部件的图像数据。

仍参考图1，医疗器械110可构造成有利于使医疗系统100的一个或多个部件(诸如，例如医疗装置140)相对于受试者(例如，患者)定位。在实施例中，医疗器械110可为任何类型的内窥镜、十二指肠镜、胃镜、结肠镜、输尿管镜、支气管镜、导管或其它输送系统，并且可包括柄部112、致动机构114、至少一个端口116和轴120。医疗器械110的柄部112可具有一个或多个管腔(未示出)，该一个或多个管腔与医疗系统100的一个或多个其它部件的管腔连通。柄部112还包括至少一个端口116，端口116通往柄部112的一个或多个管腔。如本文更详细地描述，至少一个端口116的尺寸和形状设定成接收穿过其的一个或多个器械，诸如，例如医疗系统100的医疗装置140。

医疗器械110的轴120可包括管，该管为充分柔性的，使得轴120构造成当插入至受试者的曲折解剖结构中和/或插入通过该曲折解剖结构至目标治疗部位时选择性地弯曲、旋转和/或扭曲。轴120可具有延伸穿过其的一个或多个管腔(未示出)，该一个或多个管腔包括例如工作管腔以用于接收器械(例如，医疗装置140)。在其它实例中，轴120可包括额外管腔，诸如控制线材管腔、流体管腔、照明管腔和/或成像管腔；该控制线材管腔接收一个或多个控制线材以用于致动一个或多个远侧部分/工具(例如，铰接接头、升降器等)，该流体管腔用于递送流体，该照明管腔接收照明组件(未示出)的至少一部分，该成像管腔接收成像组件(未示出)的至少一部分。

仍参考图1，医疗器械110还可包括轴120的远侧端部处的末端122。在一些实施例中，末端122可附接至轴120的远侧端部，而在其它实施例中，末端122可为与轴120一体的。例如，末端122可包括盖，该盖构造成将轴120的远侧端部接收于其中。末端122可包括与轴120的一个或多个管腔连通的一个或多个开口。例如，末端122可包括工作开口123，医疗装置140可通过工作开口123从轴120的工作管腔离开。应当理解，轴120的末端122处的其它一个或多个开口未示出。医疗器械110的致动机构114位于柄部112上，并且可包括一个或多个旋钮、按钮、杆件、开关，和/或其它合适致动器。致动机构114配置成至少控制轴120的偏转(例如，通过控制线材的致动)。

医疗系统100的医疗装置140可包括导管，该导管具有医疗装置140的近侧端部141和医疗装置140的远侧端部144之间的纵向本体142。医疗装置140的纵向本体142可为柔性的，使得医疗装置140构造成当插入至医疗器械110的工作管腔中时弯曲、旋转和/或扭曲。医疗装置140可包括纵向本体142的近侧端部141处的柄部，该柄部可构造成使纵向本体142移动、旋转和/或弯曲。另外，医疗装置140的近侧端部141处的柄部可限定一个或多个端口(未示出)，该一个或多个端口的尺寸设定成通过医疗装置140的纵向本体142而接收一个或多个工具。

仍参考图1，医疗器械110可构造成经由至少一个端口116接收医疗装置140，医疗装置140经由工作管腔穿过轴120并且至末端122处的工作开口123。在这种情况下，医疗装置140可朝远侧延伸离开工作开口123；并且延伸至末端122的周围环境，诸如，例如在如下文所进一步详细地描述的受试者的目标治疗部位处。医疗装置140的远侧端部144可响应于纵向本体142穿过轴120的工作管腔的平移而从末端122朝远侧延伸。医疗装置140可包括纵向本体142的远侧端部144处的一个或多个端部执行器(未示出)，以用于执行目标治疗部位处的一个或多个操作。

医疗器械110还可构造成接收一个或多个光源130，一个或多个光源130经由医疗器械110的管腔的至少一者穿过轴120以用于连接至光纤146。在该实例中，一个或多个光源130示为独立于图像处理装置101的部件，使得光源130独立于图像处理装置(例如，经由线缆)联接至医疗器械101。应当理解，在其它实施例中，一个或多个光源130可包括于图像处理装置101上，使得光源130可与图像处理装置101一起通信地联接至医疗器械110。

现参考图2A至图2C，医疗器械110的末端122根据本公开的一个或多个实例来示出。初始地参考图2A，在一个实施例中，医疗器械110的末端122可包括末端122处的光纤146和图像传感器150。在该实例中，光纤146可联接至医疗系统100的一个或多个光源130，使得一个或多个光源130的每一者可将光传送通过单个光纤146。虽然未示出，但应当理解，多个光源130可经由光纤分路器/合路器联接至光纤146。医疗器械110的光纤146可构造成且可操作以将一个或多个光源130的各种幅值的光从轴120的末端122朝远侧递送。在一些实施例中，光纤146可构造成递送白光、紫外光、近红外(NIR)光和/或可见光谱之内或之外的各种其它波长。

仍参考图2A，医疗器械110的图像传感器150可通信地联接至医疗系统100的图像处理装置101，诸如，例如经由有线连接、无线连接等。医疗器械110的图像传感器150可配置成且可操作以捕获轴120的末端122的周围环境的原始图像(例如，数字图像)。在一些实施例中，图像传感器150可包括图像传感器，诸如，例如RGB(即，红绿蓝)数字传感器、RGB-Ir(红绿蓝红外)数字传感器、单色传感器，等等。如本文进一步详细地描述，图像传感器150可包括一个或多个部件以用于过滤白光、紫外光、近红外光和/或可见光谱之内或之外的其它波长的颜色。

在其它实施例中，现参考图2B，医疗器械110可包括轴120的末端122处的多色LED组件。在这种情况下，多色LED组件可包括绕着图像传感器150以环形阵列所设置的一个或多个发光二极管(下文称为LED)146A,146B,146C,146D。LED 146A,146B,146C,146D的每一者可构造成且可操作以传送相对于彼此的不同光波长和/或幅值(例如，颜色)。应当理解，不同照明源可生成不同光谱。应当理解，医疗器械110的LED 146A,146B,146C,146D可包括相比于本文所示和所描述那些的末端122上的额外和/或较少二极管，而不脱离本公开的范围。

在其它实施例中，现参考图2C，医疗器械110可包括轴120的末端122处的多传感器组件。在这种情况下，多传感器组件可包括颜色图像传感器150A和单色图像传感器150B。如本文进一步详细地描述，颜色图像传感器150A可构造成且可操作以根据进入光的颜色而在颜色图像传感器150A的每个独立像素位置处捕获该进入光的一部分。在一些实施例中，颜色图像传感器150A可包括例如RGB(红绿蓝数字传感器)、RGB-Ir(红绿蓝红外)数字传感器，等等。如本文进一步描述，单色图像传感器150B可配置成且可操作以在单色传感器150B的每个独立像素位置处完全地捕获所有进入光，而不考虑进入光的颜色。

现参考图3，医疗器械110的图像传感器150可包括外部表面152，外部表面152具有设置于其上的多个微透镜154。在一些实例中，外部表面152和/或多个微透镜154可由玻璃、塑料和/或其它透明材料形成。图像传感器150可为包括滤色器阵列156的颜色图像传感器，滤色器阵列156相对地设置于外部表面152下方。滤色器阵列156可包括滤光器装置，该滤光器装置具有以预定图案所布置的多个颜色像素位置158A,158B,158C。在该实例中，多个微透镜154的每一者可定位成与设置于外部表面152下方的滤色器阵列156的多个颜色像素位置158A,158B,158C的至少一者对准。

在一些实施例中，滤色器阵列156可包括多个第一颜色像素位置158A、多个第二颜色像素位置158B，和/或多个第三颜色像素位置158C。多个颜色像素位置158A,158B,158C可以马赛克图案(诸如，例如拜耳图案)沿着滤色器阵列156布置。在该实例中，多个第一颜色像素位置158A可包括红色滤色器，多个第二颜色像素位置158B可包括绿色滤色器，并且多个第三颜色像素位置158C可包括蓝色滤色器。在其它实施例中，多个颜色像素158A,158B,158C可包括相比于本文所示和所描述那些的各种其它合适滤色器和/或图案。例如，在其中图像传感器150包括RGB-Ir传感器的实施例中，应当理解，滤色器阵列156可额外地包括对应于红外滤色器的多个第四颜色像素位置。

仍参考图3，图像传感器150的滤色器阵列156可构造成且可操作以选择性地传送光束10的一个或多个波长12,14,16(例如，光强度、光谱带、颜色等)。例如，颜色像素位置158A,158B,158C的每一者构造成允许光束10的局部部分(例如，至少一个波长12,14,16)的递送和/或穿过，这取决于所述颜色像素位置158A,158B,158C处的滤色器。因此，仅单一颜色分量(例如，颜色像素值)可由每个颜色像素位置158A,158B,158C处的图像传感器150进行测量。如本文进一步描述，颜色像素值可包括光谱的颜色范围(例如，红色范围、绿色范围、蓝色范围等)内的一定量电能。

在该实例中，多个颜色像素位置158A,158B,158C的每一者可允许光束10的仅一个波长12,14,16穿过滤色器阵列156。图像传感器150还可包括相对地设置于滤色器阵列156下方的光敏器阵列160，使得图像传感器150的滤色器阵列156可位于外部表面152和光敏器阵列160之间。图像传感器150的光敏器阵列160可包括光电二极管(例如，半导体器件)，该光电二极管具有多个感光基元162和电路164，电路164通信地联接至多个感光基元162。

仍参考图3，多个感光基元162以阵列(例如，网格)进行布置，其中多个感光基元162的每一者定位成与设置于光敏器阵列160上的滤色器阵列156的多个颜色像素位置158A,158B,158C的至少一者对准。光敏器阵列160可构造成且可操作以将通过外部表面152和滤色器阵列156所接收的光束10转换成电流。在该实例中，当所接收光的光子吸收于多个感光基元162中时，电流可由光敏器阵列160生成。

在该实例中，多个感光基元162的每一者可构造成在感光基元162沿着光敏器阵列160的表面的位置处测量进入光10中的仅一个颜色像素值(例如，红色、绿色、蓝色)的量。因此，多个感光基元162可捕获进入光10，并且可生成电信号，该电信号进行量化并存储为所得处理图像文件中的数值。应当理解，光敏器阵列160可包括不同于本文所示和所描述的各种合适形状、尺寸和/或构造。在其它实施例中，图像传感器150可为单色传感器(例如，单色传感器150B)，使得上文所示和所描述的滤色器阵列156可从外部表面152和光敏器阵列160之间完全地省略。在这种情况下，沿着光敏器阵列160的每个感光基元162可操作以接收、捕获和吸收光束10的所有三个波长12,14,16。

现参考图3至图4，结合图5的流程图，示意性地示出了利用医疗系统100来生成目标部位的处理图像的示例性方法200。图3至图5的描述和下文附属描述非旨在将本文所描述的主题限制于特定方法。

初始地，参考图1，医疗系统100的医疗器械110可插入于受试者身体(未示出)内以将末端122定位成相邻于目标部位。例如，轴120可经由将末端122插入至受试者身体的鼻部或嘴部(或其它合适自然身体孔口)而引导通过受试者(例如，患者)的消化道，并且穿越通过受试者身体的胃肠道(例如，食道、胃部、小肠等)，直至到达目标部位。应当理解，轴120的长度可为足够的，使得医疗器械110的近侧端部(包括柄部112)处于受试者的外部，同时医疗器械110的末端122处于受试者身体的内部。虽然本公开涉及医疗系统100在受试者的消化道中的使用，但是应当理解，本公开的特征可用于受试者身体内的各个其它位置(例如，其它器官、组织等)。

此外，由于医疗器械110接收于受试者体内并且轴120的末端122相对地定位成相邻于目标部位，医疗装置140可经由至少一个端口116接收于医疗器械110内。在这种情况下，医疗装置140的纵向本体142经由轴120的管腔的至少一者(例如，工作管腔)平移通过轴120。纵向本体142的远侧端部144可经由工作开口123从轴120的末端122朝远侧延伸，工作开口123与轴120的工作管腔连通。应当理解，该步骤可为任选的，使得通过医疗器械110接收医疗装置140可在方法200的各个其它步骤来执行和/或可完全地省略。末端122可定位成相邻于并面向目标治疗部位。

参考图5，在步骤202，一个或多个目标物体可响应于图像处理装置101的处理器102由医疗器械110来照明，图像处理装置101执行成像逻辑104以激活一个或多个光源130。在其中医疗器械110包括光纤146(图2A)和/或多色LED组件146A,146B,146C,146D(图2B)的实例中，一个或多个光源130的光可从末端122处的医疗器械110来发射以照明目标物体。

在步骤204，由于目标物体由医疗器械110的光来照明，图像传感器150可通过处理器102来激活，处理器102执行成像逻辑104以捕获目标物体的一个或多个原始数字图像。应当理解，图像处理装置101的处理器102可经由电路164通信地联接至医疗器械110的图像传感器150。例如，返回参考图3，由光纤146和/或多色LED组件146A,146B,146C,146D传送至目标物体的光10可反射离开目标物体并且可接收于图像传感器150处。在这种情况下，光10的多个波长12,14,16可通过多个微透镜154的一者或多者接收于外部表面152上。

多个波长12,14,16可接收于滤色器阵列156的一个或多个对应颜色像素位置158A,158B,158C处，诸如与微透镜154对准的那些，微透镜154接收穿过其的光束10。根据颜色像素位置158A,158B,158C处的滤色器，可抑制(例如，过滤、排除、省略、阻止)多个颜色像素位置158A,158B,158C的每一者处的光10的多个波长12,14,16中的一个或多个穿过滤色器阵列156。因此，接收光10的颜色像素位置158A,158B,158C的滤色器配置(例如，红色、绿色、蓝色等)确定了允许波长12,14,16(例如，红色、蓝色、绿色等)中的哪一个在所述位置处穿过滤色器阵列156。

因此，应当理解，颜色像素位置158A,158B,158C的每一者可仅允许约三分之一(例如，33％)的进入光10在所述位置处穿过至光敏器阵列160。例如，在多个第一颜色像素位置158A的每一者(例如，红色滤色器)处，仅允许光10的波长12(例如，红色范围的光谱)穿过滤色器阵列156，使得波长14,16(例如，分别地，蓝色和绿色)可由所述第一颜色像素位置158A处的滤色器阵列156进行过滤。应当理解，在该实施例中，分别地，多个第二颜色像素位置158B(例如，绿色滤色器)可配置成允许波长14(例如，绿色范围的光谱)，并且多个第三颜色像素位置158C(例如，蓝色滤色器)可配置成允许波长16(例如，蓝色范围的光谱)。

仍参考图3，穿过滤色器阵列156的光10的独立波长12,14,16可沿着光敏器阵列160进行检测并且由多个感光基元162的一者或多者(即，与接收穿过其的光束10的颜色像素位置158A,158B,158C对准的那些)来吸收。在这种情况下，由多个感光基元162的每一者所吸收的光10的部分可转换成电流。由图像传感器150所捕获的原始数字图像可包括在感光基元162沿着光敏器阵列160的每个网格位置处所测量的光能的定量记录，其中每个感光基元162构造成确定接收于其上的波长12,14,16的颜色像素值。

在这种情况下，图像处理这种101的处理器102当执行成像逻辑104时可引起光敏器阵列160(诸如，例如经由电路164)将颜色像素值的电信号传送至图像处理装置101。颜色像素值的电信号可存储于图像处理装置101的存储器103中，并且由去马赛克逻辑105、边缘增强逻辑106和/或对比度增强逻辑107利用以生成处理图像。

参考图5，在步骤206，移位波长输入可由医疗系统100的用户(诸如，例如经由图像处理装置101的用户界面108)来输入。移位波长输入可包括一个或多个光波长、幅值、颜色像素值等的标识，以用于修改由图像传感器150所捕获的原始数字图像的去马赛克过程。应当理解，在一些实施例中，步骤206可在步骤202和204之前发生，和/或可在图像处理装置101的存储器103中自动地编程，使得方法200可以以预定的移位波长输入行进至步骤208。

现参考图4，在图像处理装置101处所接收的原始数字图像可包括原始像素20的帧(例如，网格)，原始像素20由通过图像传感器150所测量的多个颜色像素值22A,22B,22C形成。应当理解，沿着原始像素20的帧的网格位置的每一者可对应于感光基元162在光敏器阵列160上的位置。因此，基于网格位置相对于滤色器阵列156的颜色像素位置158A,158B,158C(感光基元162通过这些颜色像素位置接收波长12,14,16)的相对位置，原始像素20的帧上的网格位置的每一者包括第一颜色像素值22A、第二颜色像素值22B或第三颜色像素值22C的至少一者。

在步骤208，处理器102可基于在步骤206所接收的移位波长输入而通过颜色像素值22A,22B,22C使原始像素20分离，并且滤除(例如，排除)第一颜色像素值22A、第二颜色像素值22B或第三颜色像素值22C的至少一者。换句话讲，图像处理装置101配置成使由图像传感器150所捕获的原始数字图像的去马赛克过程从原始像素值20的帧中的多个颜色像素值22A,22B,22C移位至颜色像素值22A,22B,22C的子组。

因此，如下文详细地描述，原始数字图像的去马赛克过程(步骤210A,210B)、边缘增强过程(步骤212A,212B)和/或对比度增强过程(步骤214A,214B)仅在原始像素值20的帧的局部部分上执行，原始像素值20包括于由图像传感器150所捕获的原始数字图像中。在该实例中，图像处理装置101的处理器102根据移位波长输入而移除多个第一颜色像素值22A，使得由图像处理装置101所生成的所得处理图像包括像素的局部分辨率帧。

例如，仍参考图5，在步骤210A，处理器102可执行步骤210A的多个第二颜色像素值22B的去马赛克过程(当执行去马赛克逻辑105时)，以计算第二颜色像素值22B(例如，绿色)在沿着原始像素20的帧的网格位置(诸如，例如接收波长12(例如，红色)和波长16(例如，蓝色)的网格位置)处的推断测量，该网格位置未接收波长14(例如，绿色)。通过从已知第二颜色像素值22B的测量进行插值，处理器102可推断未知第二颜色像素值22B在原始像素值20的帧上的网格位置处的测量，该网格位置未接收波长14。

在该实例中，执行去马赛克逻辑105的处理器102从相邻(例如，邻近)网格位置插值该缺失第二颜色像素值22B，这些相邻网格位置包括所测量第二颜色像素值22B。处理器102从接收波长14的邻近网格位置确定了未知第二颜色像素值22B的测量。应当理解，处理器102可执行去马赛克逻辑105，来在步骤210B以与上文相对于步骤210A所描述大体类似的方式沿着原始像素值20的帧重建未知和/或缺失第三颜色像素值22C。

仍参考图5，在步骤212A，图像处理装置101的处理器102可执行边缘增强逻辑106以进一步重建由图像传感器150所捕获的原始数字图像。在该实例中，边缘增强逻辑106(当由处理器102执行时)可增强原始像素值20的帧中的一个或多个边缘的细节和/或清晰度。例如，处理器102可检测原始像素值20的帧中的每个网格位置内的一个或多个边缘的位置，并且通过调整网格位置处的多个第二颜色像素值22B的一者或多者而使边缘周围的噪音水平最小化。在一些实施例中，处理器102可通过增强多个第二颜色像素值22B的梯度(例如，幅值)而增加网格位置中一个或多个边缘的锐度。

应当理解，处理器102可执行边缘增强逻辑106，来通过在步骤212B以与上文相对于步骤212A所描述大体类似的方式沿着原始像素值20的帧调整多个第三像素值22C的一者或多者而重建数字图像的边缘。应当理解，在其它实施例中，各个其它合适边缘增强过程可包括于边缘增强逻辑106中，并且由处理器102来执行。

仍参考图5，在步骤214A，图像处理装置101的处理器102可执行对比度增强逻辑107以进一步重建由图像传感器150所捕获的原始数字图像。在该实例中，对比度增强逻辑107(当由处理器102执行时)可增强原始像素值20的帧中的表示对比度。例如，处理器102可增加原始像素值20的帧中的每个网格位置内的多个第二颜色像素值22B的一者或多者的明度分量(例如，亮度)。在一些实施例中，处理器102可通过缩小位于其中的第二颜色像素值22B而修改原始像素值20的帧内的一个或多个网格位置的明度，以减少由第二颜色像素值22B所提供的对比度贡献。

应当理解，处理器102可执行对比度增强逻辑107，来通过在步骤214B以与上文相对于步骤214A所描述大体类似的方式沿着原始像素值20的帧调整多个第三颜色像素值22C的一者或多者而增加数字图像的局部对比度。应当理解，在其它实施例中，各个其它合适对比度增强过程可包括于对比度增强逻辑107中，并且由处理器102来执行。

仍参考图5，在步骤216，图像处理装置101的处理器102可确定去马赛克过程(步骤210A,210B)、边缘增强过程(步骤212A,212B)和对比度增强过程(步骤214A,214B)的当前迭代是否等于或大于预定和/或动态迭代阈值。在一些实施例中，预定迭代阈值可预定义，并且存储于图像处理装置101的存储器103中，或由医疗系统100的用户来选择性地输入。

在其它实施例中，迭代阈值可由处理器102基于一个或多个因素而从数字图像的初始转换(通过去马赛克过程、边缘增强过程和对比度增强过程)动态地确定，该一个或多个因数包括例如峰值定义、对比度和可见度值。在这种情况下，指示原始像素值20的初始状态的数据(例如，帧的柱状图)可在通过处理器102完成第一次迭代时进行分析，并且峰值可关于清晰度、对比度和可见度特性进行确定。因此，处理器102可在完成这些过程相对于初始峰值(即，动态迭代阈值)的每次迭代时连续地确定数字图像的当前清晰度、对比度和可见度。

响应于处理器102在步骤216确定方法200的当前迭代小于预定(或动态)阈值，图像处理装置101可配置成且可操作以返回至步骤210A,210B来执行去马赛克过程、边缘增强过程和/或对比度增强过程的一者或多者。响应于处理器102在步骤216确定方法200的当前迭代至少等于或大于预定(或动态)阈值，图像处理装置101可配置成且可操作以产生插值输出图像。应当理解，具有改善清晰度、对比度和/或可见度的图像可响应于由图像传感器150所初始地捕获的原始像素值20的帧的迭代增强来提供。

仍参考图5，在步骤218，由于本文所示和所描述的方法200的过程，图像处理装置101的处理器102可生成处理图像。在该实例中，输出图像可包括颜色像素值的局部分辨率帧，诸如，例如多个第二颜色像素值22B和多个第三颜色像素值22C。因此，由图像处理装置101的处理器102所生成的数字图像可从由图像传感器150所初始地捕获的原始像素值20的帧的网格位置的一者或多者至少省略多个第一颜色像素值22A。在该实例中，该生成图像排除了原始像素值20的帧的每个网格位置中的第一颜色像素值22A，使得图像处理装置101产生了局部分辨率图像。

利用通信地联接至图像处理装置101的处理器102的医疗系统100的显示器109，处理器102可操作以将局部分辨率图像传送至显示器109以用于由医疗系统100的用户进行观察。在一些实例中，医疗系统100可配置成且可操作以连续地执行本文所示和所描述的方法200，使得显示器109可输出多个局部分辨率图像以提供一个或多个目标物体的连续(例如，现场、实时等)成像。

应当理解，从处理图像移除在原始像素值20的帧中所初始地捕获(由图像传感器150)的多个颜色像素值22A,22B,22C的至少一者可有利于目标治疗部位处的一个或多个特征和/或结构(例如，目标物体)的区分。例如，改善血管与周围组织的可分辨性可根据步骤206的移位波长输入响应于处理器102而提供，处理器102滤除颜色像素值22A,22B,22C的至少一者。在一些实例中，一个或多个目标物体的主要颜色可彼此大体类似，诸如组织和血管一般显示为红色，从而使产生图像中的所述特征的区别最小化。在这种情况下，强调蓝色和/或绿色颜色像素(例如，分别地，第二颜色像素值22B和第三颜色像素值22C)可增强所述特征的区别。

此外，应当理解，一个或多个颜色分量可包括相比于目标治疗部位内的一个或多个其它颜色分量(例如，绿色、蓝色)的较低对比度(例如，红色)。从所得数字图像排除颜色分量的一者或多者(诸如，第一颜色像素值22A(例如，红色))可增强受试者的脉管系统，因为从原始像素值20的帧仅可维持第二颜色像素值22B(例如，蓝色)和第三颜色像素值22C(例如，绿色)。

在其中医疗装置140的光纤146可操作以生成紫外光的实施例中，医疗系统100可配置成产生局部分辨率帧，该局部分辨率帧能够区分期望(例如，健康)组织与非期望(例如，不健康)组织，因为所述组织可在紫外照明下已不同颜色发荧光。在该实例中，步骤206的移位波长输入可包括第一颜色像素值22A(例如，红色)和第三颜色像素值22C(例如，绿色)，使得仅第二颜色像素值22B(例如，蓝色)可包括于所得处理图像中。

在其中医疗器械110的图像传感器150包括RGB-Ir传感器的实施例中，由图像传感器所检测和捕获的原始像素值20的帧可包括多个第一颜色像素值22A(例如，红色)、多个第二颜色像素值22B(例如，蓝色)、多个第三颜色像素值22C(例如，绿色)和多个第四颜色像素值(例如，红外)，这些第四颜色像素值超出可见光谱并且更靠近于红外光谱。在这种情况下，医疗系统100可配置成产生局部分辨率帧，该局部分辨率帧能够通过强调第一颜色像素值22A、第三颜色像素值22C和/或第四颜色像素值而增强目标治疗部位(例如，体腔)内的较暗区域。因此，步骤206的移位波长输入可包括第二颜色像素值22B(例如，蓝色)以用于从处理图像移除。

在其中轴120的末端122包括颜色图像传感器150A(例如，RGB-Ir传感器)和单色图像传感器150B的实施例中，图像处理装置101可配置成生成由颜色图像传感器150A所捕获的局部分辨率图像，同时还以单色图像传感器150B增强了原始像素值20的帧内的较暗区域的对比度。在这种情况下，单色图像传感器150B可对于以光10所照明的近红外波长为敏感的，使得第四颜色像素值(例如，红外)可容易地检测。应当理解，将一种或多种材料提供于目标治疗部位可有利于一个或多个目标物体通过单色图像传感器150B的可视化，诸如，例如荧光染料。

前述系统、装置、组件和方法的每一者可用于生成受试者的像素值的局部分辨率帧。通过提供包括图像处理系统(其存储了移位波长去马赛克逻辑)的医疗装置，用户可在手术期间增强受试者体内的目标部位的一个或多个特征和/或特性的可视化，而无需光源的操纵。医疗装置可允许用户精确地识别目标部位的位置，从而减少整体手术时间，增加手术的效率，并且避免由不精确地定位目标治疗部位中的目标物体所引起的对于受试者身体的不必要损害。

对于本领域的技术人员将显而易见的是，可在不脱离本公开范围的情况下对所公开装置和方法做出各种修改和变型。应当理解，所公开装置可包括并入多个硬件部件(诸如，例如处理器和非暂态计算机可读介质)的各种合适计算机系统和/或计算单元，这些硬件部件允许装置根据本文所公开的那些在手术期间执行一个或多个操作。考虑到本文所公开说明书和特征的实践，本公开的其它方面对本领域的技术人员将为显而易见的。据预期，说明书和实例仅视为示例性的。

Claims (15)

1.一种医疗装置，包括：

轴；

传感器，所述传感器联接至所述轴的远侧端部并且包括滤波器阵列，其中所述传感器配置成捕获原始图像，并且所述滤波器阵列配置成将所述原始图像过滤成原始像素值的帧，所述原始像素值的帧包括多个第一像素值、多个第二像素值和多个第三像素值；和

处理器和非暂态计算机可读介质，所述非暂态计算机可读介质存储了去马赛克指令，所述去马赛克指令当由所述处理器执行时引起所述处理器：

从所述原始像素值的帧排除所述多个第一像素值；

在所述帧上的所述多个排除第一像素值和所述多个第三像素值的位置处生成多个估计第二像素值；

在所述帧上的所述多个排除第一像素值和所述多个第二像素值的位置处生成多个估计第三像素值；和

从所述多个第二像素值、所述多个估计第二像素值、所述多个第三像素值和所述多个估计第三像素值创建处理图像，所述处理图像具有局部分辨率帧。

2.根据权利要求1所述的医疗装置，其中存储于所述非暂态计算机可读介质中的所述去马赛克指令引起所述处理器：

检测所述原始图像内的一个或多个边缘；和

执行所述一个或多个边缘的锐化增强以增加所述处理图像的边缘细节。

3.根据权利要求2所述的医疗装置，其中存储于所述非暂态计算机可读介质中的所述去马赛克指令引起所述处理器：

输出从执行所述锐化增强步骤所创建的锐化增强图像；和

使所述锐化增强图像与所述处理图像混合。

4.根据权利要求3所述的医疗装置，其中存储于所述非暂态计算机可读介质中的所述去马赛克指令引起所述处理器：

设定所述多个第二像素和所述多个第三像素的每一者的亮度值；和

通过修改所述亮度值而执行所述多个第二像素和所述多个第三像素的对比度增强以增加所述处理图像的对比度。

5.根据权利要求4所述的医疗装置，其中存储于所述非暂态计算机可读介质中的所述去马赛克指令引起所述处理器：

输出从执行所述对比度增强步骤所创建的对比度增强图像；和

使所述对比度增强图像与所述处理图像混合。

6.根据权利要求5所述的医疗装置，其中存储于所述非暂态计算机可读介质中的所述去马赛克指令引起所述处理器：

重复所有的先前步骤，直至阈值。

7.根据前述权利要求中任一项所述的医疗装置，其中存储于所述非暂态计算机可读介质中的所述去马赛克指令引起所述处理器：

接收移位波长输入，以确定所述多个第一像素的颜色像素值。

8.根据权利要求7所述的医疗装置，还包括用户界面，所述用户界面通信地联接至所述处理器并且配置成将指示所述移位波长输入的信号传送至所述处理器。

9.根据前述权利要求中任一项所述的医疗装置，其中所述传感器包括RGB图像传感器，并且所述滤波器阵列包括红绿蓝拜耳滤色器阵列；和

其中所述多个第一像素包括红色像素，所述多个第二像素包括蓝色像素，并且所述多个第三像素包括绿色像素。

10.根据前述权利要求中任一项所述的医疗装置，其中所述传感器包括RGB+Ir图像传感器，并且所述滤波器阵列包括红绿蓝红外拜耳滤色器阵列；并且

11.根据权利要求10所述的医疗装置，其中所述多个第一像素包括蓝色像素，所述多个第二像素包括红色像素和绿色像素，并且所述多个第三像素包括红外像素。

12.根据前述权利要求中任一项所述的医疗装置，其中所述传感器包括RGB图像传感器和单色传感器。

13.根据前述权利要求中任一项所述的医疗装置，其中像素的所述局部分辨率帧中的每个位置包括一个捕获颜色像素值和一个重建颜色像素值，使得至少一个颜色像素值从原始像素的所述帧排除。

14.根据前述权利要求中任一项所述的医疗装置，还包括光源，所述光源联接至所述轴的所述远侧端部，其中所述光源为光纤、紫外光或多色LED阵列。

15.根据前述权利要求中任一项所述的医疗装置，其中存储于所述非暂态计算机可读介质中的所述去马赛克指令引起所述处理器：

将所述局部分辨率帧的所述处理图像输出至显示装置。

Images