CN101330862A - 自动内窥镜识别、以及图像处理和显示设置的选择 - Google Patents

Abstract

将控制单元连接到连接于内窥镜的内窥镜检查的摄像机。通过控制单元从摄像机接收代表图像的图像数据。基于指示内窥镜的物理特性的所接收的图像的特性，识别内窥镜，和/或自动选择用于处理和显示通过相机所获得的图像的参数的值。

Description

自动内窥镜识别、以及图像处理和显示设置的选择

技术领域

本发明的至少一个实施例涉及内窥镜成像系统。更特别地，本发明涉及：用于自动识别与内窥摄像机耦接的内窥镜、以及用于为由此获得的图像的显示或处理自动选择一个或多个设置的技术。

背景技术

医学领域的内窥镜检查法使得能够无需利用传统的、全入侵的外科手术，而检查患者身体的内部特征。内窥镜检查法的基本工具是内窥镜(或“scope”)。在内窥镜检查的医疗过程期间，内窥镜的一端被插入到患者体内，并且，典型地，另一端连接到摄像机。该摄像机基于通过该内窥镜所接收到的光而产生图像数据，且使用该图像数据在显示装置上显示身体内部的实时视频图像。

各种类型的内窥镜包括如现在通常(例如，在肠胃病学中)所使用的可变形内窥镜(flexible scopes)、如现在通常(例如，在腹腔镜检查和关节镜检查中)所使用的刚性内窥镜、以及如现在通常(例如，在泌尿科中)所使用的半刚性内窥镜。内窥镜被设计成为具有各种不同的物理和功能特性(长度、直径、光学器件的类型、放大倍率、材料、柔韧度，等等)，以与其预期用途相适应。

由于不同类型的内窥镜医疗过程是在不同的条件下执行的，所以，摄像机设置趋向于依赖正在执行的过程的类型。例如，在腹腔镜检查中，由于腹腔很大，通常需要更多的光线。然而，在关节镜检查的肩部手术期间，太多的光线将产生反射，使得外科医生难以观察。可包括其设置能够根据正在执行的过程而变化的参数，例如：视频增益级别、增强级别、相机快门速度、伽玛级别等。

现有的内窥镜系统所具有的一个问题在于，对于医疗人员而言，其不得不确定、并手动设定与将要执行的过程最适应的相机设置，这将是不便利且耗时的。这么做可以包括试验和错误处理，而这却并一定产生对所述过程而选择的最优的设置。

发明内容

本发明包括一种方法，该方法包括：从与内窥镜耦接的摄像机接收代表图像的图像数据；以及基于取决于内窥镜的物理特性的图像的特性，而自动地选择用于摄像机所获得的图像的处理或显示的参数的值。

本发明的另一方面是一种方法，其包括：从与内窥镜耦接的摄像机接收代表图像的图像数据；以及基于取决于内窥镜的物理特性的图像的特性，而自动识别内窥镜。

本发明进一步包括用来执行这样的方法的系统和装置。

从附图和下面的详细描述中，本发明的其它方面将是显而易见的。

附图说明

本发明的一个或多个实施例经由例子图解，且并不限制为附图中的数字，其中，同样的附图标记指示相似的元素，其中：

图1A和1B共同图解了内窥镜检查医疗成像系统；

图2A和2B图解了由两个不同的内窥镜/耦合器组合产生的视频帧；

图3是显示相机控制单元(CCU)的架构的例子的框图；以及

图4显示了自动内窥镜识别和参数值选择的过程。

具体实施例部分

描述了一种方法和装置，用于自动识别与内窥镜摄像机耦接的内窥镜，以及用于为由此获得的图像的显示和处理选择一个或多个设置。

本说明书中的参考“实施例”、“一个实施例”等等意味着所描述的该特定特征、结构或特性包括在本发明的至少一个实施例中。本说明书中，这样的术语的出现并不必然地表示相同的实施例。

由于内窥镜的物理结构，取决于内窥镜和/或将内窥镜连接到摄像机的耦合器的放大倍率，来自内窥镜摄像机的图像通常(并不总是)是圆形的。(典型地，内窥镜具有内置的耦合器，或者被设计为与特定类型的外部耦合器一起使用)。圆形图像外围的可用显示区域通常是黑色的。相对于总共的可用显示面积(也就是帧大小)的图像的直径取决于内窥镜的放大倍率、和/或耦合器(如果有的话)的放大倍率，其随之取决于内窥镜与耦合器内的特定光学器件。例如，腹腔内窥镜、关节内窥镜、膀胱内窥镜、以及子宫内窥镜典型地具有彼此不同的放大倍率，这导致监视器上不同的图像大小。

图2A显示了由与内窥镜耦接的摄像机所产生的视频帧中所包含的图像的例子。在帧22的未使用部分中，圆形图像21被黑色区域23所包围。图2B显示了可能由不同的内窥镜和耦合器制造的图像的例子，该内窥镜和耦合器提供比与图2A相关联的内窥镜和耦合器更大的放大倍率。可以看出，与图2A中的帧22的对应特性相比，在图2B中的帧25中，图像24的直径更大，且黑色区域26相应地更小。

因此，相对于全部帧大小的实际图像大小可以被认为是附连到摄像机的内窥镜类型(类别)的指示，且因此，被认为是将被执行的过程的类型的指示。因此，可使用图像大小，或相反地，图像外部的未使用的(黑色)显示区域的量，来推断附连到摄像机的内窥镜(或内窥镜和耦合器的组合)的物理特性，例如其放大倍率(取决于其光学器件)。因此，一般地，由于内窥镜的类型是过程的类型的指示，所以，可以进一步将图像大小(或黑色空间的量)用作自动识别所使用的内窥镜的类型(例如，腹腔内窥镜、关节内窥镜等等)、和/或选择用于各种图像处理和最适合于该内窥镜和/或所执行的过程的显示参数的设置(值)的基础。

因此，如下面更加详细地描述的那样，将相机控制单元(CCU)连接到与内窥镜连接的内窥镜摄像机。响应于在内窥镜检查过程开始之前的开始命令或其它类似信号，CCU计数从该摄像机所接收的视频帧的每(水平)行中的黑色像素的数量，以及确定每行的黑色像素的最小和最大数量。这些数量指示图像直径(例如，图像越大，则每行的黑色像素的最小和最大数量越小)，其也指示所使用的内窥镜和耦合器的类型。例如，如图2B所示，由于对于帧中的至少一行，图像占据整个行，所以，对于腹腔内窥镜，每行的黑色像素的最小数量通常为零。10mm直径的腹腔内窥镜每行所具有的黑色像素的最大数量通常为零(即，图像占据了整个帧)，而直径为5mm的腹腔内窥镜每行所具有的黑色像素的最大数量通常为非零，例如在图2B中所代表的。

因此，帧中每行黑色像素的最小和/或最大数量被用于在数据结构中进行查找、以及选择所使用的内窥镜的类型(例如，腹腔内窥镜、关节内窥镜等等)和/或由控制单元用于处理或显示图像的各种参数的适当的值。假设数据结构先前已经被建立为包含用于多个可能的内窥镜/耦合器配置的可能的内窥镜类型和参数的优选值。数据结构中的值可能已经在被存储于数据结构中之前(在使用该过程之前很久)，被实验性地确定(例如，由CCU制造者)。

这样，可以自动识别内窥镜，并可以自动鉴别并选择用于内窥镜和耦合器的该组合的优选的参数设置。由于不需要对于摄像机、耦合器或内窥镜的硬件修改，所以，该技术是具有优势的。该技术可在例如CCU的中央装置中全部由软件实现。通过避免需要额外或更多高级硬件，该技术有助于减少系统的成本，且提供更加可靠的系统。

另外，或者作为选择，CCU能够经由任意传统的通信链路，向诸如监视器或数字视频/图像捕捉装置的一个或多个其它装置发送查找操作的输入(也就是，每行黑色像素的最小/最大数量)、或者查找到的值。这将允许其它装置识别内窥镜和耦合器，或者为取决于内窥镜和耦合器的物理特性的一个或多个参数确定合适的值。作为另一个选择，CCU可以向其它装置发送关于所识别的内窥镜的信息(例如，识别内窥镜的类型的信息、或其它类似信息)。

注意，对于本文档的目的，术语“黑色”(例如，考虑黑色像素的数量)并不一定意味着绝对黑色、或者由所使用的设备可以获得的最黑的值。而是意味着出现特定的最小的黑色程度。可以使用任何合理的阈值(例如，对于像素颜色和/或强度)，以确定特定像素是否是黑色。

现在参考图1A和1B，其共同图解了可应用该技术的内窥镜医疗成像系统的例子。图1A显示了该系统的图像产生、显示和支持组件，而图1B图解了该系统的数据获取组件。数据获取组件包括内窥镜2、摄像机3、以及将内窥镜2连接到摄像机3的耦合器6。摄像机3通过内窥镜2中的镜头系统获得人体内部特征的彩色视频图像数据。注意，在本发明的一些实施例中，耦合器6可被内置于内窥镜2中，然而在其它实施例中，耦合器6和内窥镜2被当作分离的组件安放。在这点上，此处所介绍的技术并不被限定为任一特定的配置。

该系统的产生、显示和支持组件包括相机控制单元(CCU)4、光源单元7、监视器9、以及安置于移动手推车12上的各种其它装置10和11。如下进一步所描述的，此处所介绍的用于内窥镜识别和参数值选择的技术可在CCU4内实现。其它装置10和11可以包括下面各项中的任何一个或多个，例如：视频捕捉装置、打印机、在内窥镜外科手术期间控制RF切割器(cutter)的RF切割器控制台、和/或在内窥镜外科手术期间控制刮刀(shaver)的刮刀控制台。各种其它的系统配置也是可能的。

经由例如光纤线缆的柔性光导管8，由光源单元7向内窥镜2提供高强度的光。可由或可从CCU 4控制相机系统的操作、以及各种图像处理和显示参数的控制。通过柔性传输线5将摄像机3耦接到CCU 4。传输线5向摄像机3传送能量，并从摄像机3向CCU 4传送视频图像数据。由CCU 4从摄像机3接收的图像数据被处理和/或被CCU 4转换为视频图像，其被显示在监视器9上，并且，如果需要，则由视频记录器记录，和/或用于产生可以由打印机打印的静态图像。

图3是显示CCU 4的架构的例子的框图。在所图解的实施例中，CCU 4包括处理/控制单元30、预放大级31、模数(A/D)转换器32、输入接口33、输出接口34、随机存取存储器(RAM)35、非易失性存储器36，以及显示装置37(例如，触摸屏LCD等等)。

处理/控制单元30控制CCU 4的全部操作，并执行信号处理，包括在产生可显示的视频图像中通常使用的功能。同样，在本发明的特定实施例中，处理/控制单元30执行此处所介绍的自动内窥镜/耦合器识别、以及参数值选择功能。因此，处理/控制单元30可以是、或可以包括：例如，现场可编程门阵列(FPGA)、通用或专用微处理器，例如数字信号处理器(DSP)、特定用途集成电路(ASIC)，或其它适当的装置或这样装置的联合。如果处理/控制单元30被设计用来执行软件，则软件可以被存储于RAM 35、非易失性存储器36、或所述两者中。

在相机系统操作期间，由预放大级31接收(经由传输线5)摄像机3所产生的图像数据(例如红(R)、绿(R)、蓝(R)色信号)，其中，该数据经历放大和适当的信号调节。随后，由A/D转换器32将被放大和调节的数据转换为数字形式，并将其(例如，分离的R、G和B数字信号)提供给处理/控制单元30。当然，在摄像机3输出数字数据的实施例中，A/D转换器32可以是不必要的。处理/控制单元30也从摄像机3接收视频垂直同步(“Vsync”)、水平同步(“Hsync”)、以及时钟信号。

来自CCU 4和摄像机3上的手动控制的用户输入被输入到输入接口33。另外，也可通过输入接口33接收由来自相关联的声音控制系统(VCS)的从处理和识别的声音命令而产生的控制信号。在任何适当的缓冲和/或信号调节之后，该输入接口33向处理/控制单元30提供这些输入，处理/控制单元30相应地处理这些输入。

在所图解的实施例中，处理/控制单元30提供针对于CCU 4上的本地显示装置37的视频、图形和/或文本输出，且进一步经由输出接口34提供针对于光源7、外部监视器9、以及其它所连接的装置的各种其它输出，以执行任何适当的缓冲和/或信号调节。

在各级处理，图像数据可以被存储在RAM 35、非易失性存储器36、可在CCU 4中提供的其它这样的存储器(未示出)、或其任意组合中，以上全部可通过总线38或任意其它适合类型的连接而耦接到处理/控制单元30。非易失性存储器36可以是任何适于存储相对大量的数据的装置，例如：可编程且可擦写的只读存储器(ROM)；闪存；光、磁或磁光(MO)大容量存储装置；或这样的装置的组合。

如上所述，由摄像机获得的图像中的黑色空间的量指示图像的直径，其指示由内窥镜和/或耦合器所提供的放大倍数。放大倍数指示所使用的内窥镜的类型，其随之指示所执行的过程的类型。因此，可使用图像的该特性来在例如查找表的数据结构中查找所使用的内窥镜的类型，以及查找并选择由CCU 4用于处理或显示图像的各种参数的合适的值。所述参数可以包括，例如：最大增益级别、缺省增强级别、最大快门级别、快门峰值对平均补偿(consideration)、快门速度、快门区域、伽玛级别、主台座(master pedestal)、黑点校正(shading correction)、拐点(knee point)、拐点斜率(knee slope)、颜色增益级别、颜色偏差级别、柔性内窥镜过滤器激活等等。数据结构先前已经被安装为包含对于多个可能的配置和过程来说各种可能遇见的内窥镜类型(例如，腹腔内窥镜、关节内窥镜等等)、以及参数的优选值。从摄像机所接收的帧中的每行中的黑色像素的最小和最大值数量可被用作索引值，以查找合适的参数值。

图4显示根据此处所介绍的技术的用于自动内窥镜识别和参数值选择的过程的例子。例如，该过程可以在CCU 4中执行。假设由用户输入直接或间接初始化该过程；然而，过程的剩下部分是自动的。例如，用户输入可以被应用于摄像机3或CCU 4。

该过程使用参数Num_Black、Min_Num_Black、和Max_Num_Black。Min_Num_Black是变量，其最终的值将代表当前帧中每行黑色像素的最小数量。Max_Num_Black是变量，其最终的值将代表当前帧中每行黑色像素的最大数量。Num_Black是在确定Min_Num_Black和Max_Num_Black的过程中使用的临时变量。

一旦接收到初始的用户输入，该过程便在块401等待从相机接收的新的视频帧的开始，其由垂直同步信号(“Vsync”)指示。一旦Vsync变高，则在块402将Num_Black、Min_Num_Black和Max_Num_Black的值复位。在这些变量被复位以后，过程在块403等待Vsync变低。一旦Vsync变低，过程便在块404等待当前帧内的新行的开始，其将由水平同步信号(“Hsync”)变低指示。

一旦Hsync变低，那么，在块405，该过程获取当前行中的第一个像素。该过程接收像素时钟作为输入，以使得在每个时钟周期之后一个新的像素被计时。随后，基于用来在“黑色”和“非黑色”之间区分的任何合理的阈值，该过程在块406确定当前像素是否是黑色的。在一个实施例中，每个像素是10比特十六进制值，并且，如果该值的两个最高有效位为零(指示强烈的黑色存在)，则该像素被认为是黑色的。在此过程期间，期望相机和内窥镜针对白色的事物，以使得更加容易将黑色像素从那些不是黑色的像素中区分。

如果在块406、当前像素被确定为黑色，则在块407中，变量NUM_Black递增1，并且，过程随后前进到块408。如果在块406、像素被确定为不是黑色，则该过程直接从块406前进到块408。

在块408，该过程确定Hsync是否已经变高，其将指示已经到达当前行的末端。如果Hsync尚未变高，则该过程通过获得当前行中的下一个像素而向回循环到块405，并如上所述地进行。

如果在块408、Hsync已经变高，那么，如果合适，则在该点更新该帧中黑色像素的最大和最小数量(分别为Min_Num_Black，和Max_Num_Black)。具体地，在块409，如果NUM_Black小于Min_Num_Black，则在块413，将Min_Num_Black设置为与NUM_Black相等。该过程随后继续到块411。如果NUM_Black并不小于Min_Num_Black，则该过程在块410确定NUM_Black是否大于Max_Num_Black。如果NUM_Black大于Max_Num_Black，则该过程在块414，将Max_Num_Black设置为与NUM_Black相等。过程随后继续到块411。

在块411，该过程确定Vsync是否仍旧为低，其将指示仍旧没有到达帧的末端。如果Vsync仍旧为低，则该过程向回循环到块404，且如上所述的那样继续(也就是，通过处理帧中的下一行)。如果Vsync已经变高(意味着已经处理了全部帧)，那么，该过程使用Min_Num_Black或Max_Num_Black，以在上面所提到的数据结构中查找相应的内窥镜类型和/或相应的参数值，随后其被选择，以在系统的进一步操作中使用。换句话说，在该实施例中，数据结构中的所有内窥镜类型和参数值均根据Min_Num_Black或Max_Num_Black值被索引。

可任意地或为了方便起见确定Min_Num_Black或Max_Num_Black是否被用于在数据结构中查找设置。可选地，作为验证该过程结果的精度的方式，可使用Min_Num_Black和Max_Num_Black两者执行独立的查找。例如，如果使用Max_Num_Black的查找产生与使用Max_Num_Black的查找相似的结果(例如在某个容忍级别内)，则该结果将被认为是正确的。如果不是这样，则可向用户输出错误信号，提示用户手动选择参数设置，或至少验证设置是正确的。

另外，或者作为选择，CCU 4可以向一个或多个其它装置(例如，可为CCU 4本地或远程的监视器或者数字视频/图像捕捉装置)发送查找到的值、或者对查找操作的输入(即，Min_Num_Black或Max_Num_Black)，以允许其它装置识别内窥镜，或确定用于取决于内窥镜的物理特性的一个或多个参数的适当的值。可以经由任何传统的通信链路(其可以是有线链路或者无线链路)发送被传送的信息。作为另一个选择，CCU 4能够向其它装置发送关于所识别的内窥镜的信息(例如，识别内窥镜类型的信息、或者其它信息)。例如，CCU 4可以向另一个装置发送信息，以通知其它装置内窥镜是一个5mm的腹腔内窥镜，而不是10mm的腹腔内窥镜或关节内窥镜、宫腔内窥镜等等。

因此，已经描述了一种用于自动识别与内窥镜检查的摄像机耦接的内窥镜，且用于自动为因此所获得的图像的显示和处理选择一个或多个设置方法和装置。

此处所使用的术语“逻辑(logic)”可以包括：例如，硬连线电路、可编程电路、软件、或者其任意组合。此处所介绍的用于实现该技术的软件可被存储于机器可读介质上。此处所使用的术语“机器可访问介质”包括提供(也就是存储和/或传送)可由机器(例如，计算机、网络装置、个人数字助理(PDA)、制造工具、具有一个或多个处理器的集合的任何装置等等)访问的形式的信息的任何机制。例如，机器可访问介质包括可记录/不可记录的介质(例如只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪存装置等)等等。

尽管参考特定的可作模范的实施例而描述本发明，应当认识到本发明并不被限定为实施例，而可以在所附的权利要求的范围与精神内通过修改和变化来实践。因此，说明书和附图被认为是具有说明意义，而不具有限制意义。

Claims (32)

1、一种方法，包括：

从与内窥镜耦接的摄像机接收代表图像的图像数据；以及

基于取决于内窥镜的物理特性的图像的特性，自动地选择用于由该摄像机获得的图像的处理或显示的参数的值。

2、如权利要求1所述的方法，其中，所述图像的特性包括具有指定特性的帧中的像素的数量。

3、如权利要求1所述的方法，其中，所述图像的特性包括图像中的黑色空间的量。

4、如权利要求3所述的方法，其中，所述内窥镜的物理特性包括内窥镜中的光学器件。

5、如权利要求3所述的方法，其中，所述内窥镜的物理特性是内窥镜的放大倍数。

6、如权利要求3所述的方法，其中，所述图像是视频帧。

7、如权利要求6所述的方法，其中，取决于内窥镜的物理特性的图像的特性包括：视频帧中每行的黑色像素的最大或最小数量。

8、如权利要求1所述的方法，进一步包括：

基于图像的特性而自动地识别内窥镜。

9、如权利要求8所述的方法，其中，在第一装置中执行该方法，该方法进一步包括：

向第一装置外部的第二装置传送与所识别的内窥镜有关的信息。

10、一种方法，包括：

从与内窥镜耦接的摄像机接收代表图像的图像数据；以及

基于取决于内窥镜的物理特性的图像的特性，自动地识别内窥镜。

11、如权利要求10所述的方法，进一步包括：

向外部装置传送标识已被识别的内窥镜的信息。

12、如权利要求10所述的方法，进一步包括：

基于图像的特性，自动地选择用于由摄像机所获得的图像的处理或显示的参数的值。

13、如权利要求10所述的方法，其中，所述图像的特性包括具有指定特性的帧中的像素的数量。

14、如权利要求10所述的方法，其中，所述图像的特性包括图像中的黑色空间的量。

15、如权利要求10所述的方法，其中，所述内窥镜的物理特性包括内窥镜中的光学器件。

16、如权利要求10所述的方法，其中，所述内窥镜的物理特性是内窥镜的放大倍数。

17、如权利要求10所述的方法，其中，所述图像是视频帧。

18、如权利要求10所述的方法，其中，取决于内窥镜的物理特性的图像的特性包括：视频帧中每行的黑色像素的最大或最小数量。

19、一种装置，包括：

输入接口，通过其接收由与内窥镜耦接的摄像机所产生的图像数据，该图像数据代表视频帧；以及

用来基于取决于内窥镜的物理特性的视频帧的特性、自动地选择参数的值的逻辑。

20、如权利要求19所述的装置，其中，所述参数是用于由摄像机所获得的图像的处理或显示的参数。

21、如权利要求19所述的装置，其中，所述参数对应于所述内窥镜所属的内窥镜的类别。

22、如权利要求19所述的装置，其中，视频帧的特性包括视频帧中的黑色空间的量。

23、如权利要求22所述的装置，其中，内窥镜的物理特性包括内窥镜的光学器件。

24、如权利要求22所述的装置，其中，内窥镜的物理特性包括内窥镜的放大倍数。

25、如权利要求24所述的装置，其中，视频帧的特性包括视频帧中的每行的黑色像素的最小或最大数量。

26、如权利要求19所述的装置，其中，内窥镜的物理特性包括内窥镜的放大倍数，其中，视频帧的特性包括视频帧中的黑色空间的量，并且，其中，所述参数是用于由摄像机获得的图像的处理或显示的参数。

27、如权利要求19所述的装置，进一步包括：

用来基于视频帧的特性而自动地识别内窥镜的逻辑。

28、一种装置，包括：

视频输入接口，通过其从与内窥镜耦接的摄像机接收图像数据，该图像数据代表视频帧；

存储器，用来存储代表视频帧的图像数据；以及

用来基于视频帧中的黑色空间的量而识别内窥镜的特性的逻辑。

29、如权利要求28所述的装置，其中，内窥镜的特性包括所述内窥镜所属的内窥镜的类别。

30、如权利要求28所述的装置，其中，内窥镜的特性包括内窥镜的放大倍数。

31、如权利要求28所述的装置，其中，所述用来基于视频帧中的黑色空间的量而识别内窥镜的特性的逻辑包括：

用来计数视频帧中每行的黑色像素的最小数量的逻辑；以及

用来基于视频帧中每行的黑色像素的最小数量而识别内窥镜的特性的逻辑。

32、如权利要求28所述的装置，进一步包括：

用来基于视频帧中的黑色空间的量而识别内窥镜的逻辑；以及

用来向外部装置传送标识已被识别的内窥镜的信息的逻辑。

Images