CN102440760A

CN102440760A - 图像获取及显示方法和图像捕获及显示设备

Info

Publication number: CN102440760A
Application number: CN2011102546613A
Authority: CN
Inventors: 吉田光治; 岩坂诚之
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2010-08-31
Filing date: 2011-08-31
Publication date: 2012-05-09
Anticipated expiration: 2031-08-31
Also published as: JP5492030B2; JP2012050618A; US9241615B2; US20120050514A1; CN102440760B

Abstract

本发明公开了一种图像获取及显示方法和一种图像捕获及显示设备，其中根据特定图像识别特定图像中的指定感兴趣区域，确定包括普通图像中的与识别的感兴趣区域相对应的区域以及添加到所述区域的预定切缘的范围的边界线，并且在普通图像中显示所述区域的边界线和所述范围的边界线。

Description

图像获取及显示方法和图像捕获及显示设备

技术领域

本发明涉及一种图像获取及显示方法和一种图像捕获及显示设备，所述方法和所述设备用于通过将照明光和特定光投射到观察区域上获得普通图像和特定图像并显示获得的普通图像和特定图像。更具体地，本发明涉及用于在手术或类似操作中帮助切除观察区域的一部分的辅助功能。

背景技术

众所周知用于观察体腔组织的内窥镜系统，并且用于通过将白色光投射到体腔中的观察区域上捕获观察区域的普通图像并在监视器屏幕上显示捕获的普通图像的电子内窥镜系统被广泛地使用。

进一步地，对于这种内窥镜系统中的一个，提出一种系统，其中ICG(吲哚菁绿)被预先施加到观察区域，以便观察在普通图像中无法显现的在脂肪下的例如血管走行、血液流动、淋巴管、淋巴流、胆管走行或胆汁流动，并且通过将近红外激发光投射到观察区域捕获ICG荧光图像。

这种捕获荧光图像的内窥镜系统的使用可识别观察区域中的诸如肿瘤的病变位置，并且可能存在识别的肿瘤部分或包括肿瘤部分的器官部分期望被切除的情况。

当切除肿瘤或类似物时，必须去除肿瘤区域或具有增加手术切缘的器官部分，以使得在手术之后在器官的其余部分中没有癌细胞离开。

然而，仅通过识别荧光图像中的肿瘤或类似物可能无法辨别包括上述的手术切缘的切除范围。

进一步地，当切除肿瘤或类似物时，通过首先观察白色光的普通图像执行切除术。因此，即使在荧光图像中识别肿瘤的范围，在普通图像中也可能无法辨别包括手术切缘的切除范围，并且可能无法执行适当的切除过程。

虽然在日本未经审查的专利出版物第2010-082041号中提出了在通过内窥镜获得的图像中显示手术切缘，但是该手术切缘仅仅是预先简单设定的切缘而不是根据如上所述在实时捕获的荧光图像中识别的肿瘤进行确定的手术切缘。

进一步地，美国专利第6,468,204号记载了使用外科手术期间捕获的荧光图像实时识别和显现肿瘤的边界，但是完全没有考虑上述的手术切缘。

发明内容

本发明已经考虑上述情况进行开发，并且本发明的目的是提供一种图像获取及显示方法以及一种图像捕获及显示设备，所述方法和所述设备能够在上述的用于捕获荧光图像的内窥镜系统中显示允许将肿瘤或类似物移除到适当的范围的包括手术切缘的普通图像。

本发明的一种图像获取及显示方法为下述方法，所述方法用于获得通过将照明光投射到观察区域上并接收从观察区域反射的反射光捕获的普通图像、以及通过将特定光投射到观察区域上并接收从观察区域发射的光捕获的特定图像，并且显示获得的普通图像和特定图像，所述方法包括以下步骤：

根据特定图像识别特定图像中的指定感兴趣区域；

确定包括普通图像中与识别的感兴趣区域相对应的区域和添加到所述区域的预定切缘的范围的边界线；和

在普通图像中显示所述区域的边界线和所述范围的边界线。

本发明的一种图像捕获及显示设备为下述设备，包括：

光投射单元，所述光投射单元用于将照明光和特定光投射到观察区域上；

成像单元，所述成像单元用于通过接收通过投射照明光从观察区域反射的反射光使普通图像成像，以及通过接收通过投射特定光从观察区域发射的光使特定图像成像；

用于显示普通图像和特定图像的显示单元；

感兴趣区域识别单元，所述感兴趣区域识别单元用于根据特定图像识别特定图像中的指定感兴趣区域；和

切缘确定单元，所述切缘确定单元用于确定包括普通图像中与识别的感兴趣区域相对应的区域和添加到所述区域的预定切缘的范围的边界线，

其中，所述显示单元在普通图像中显示所述区域的边界线和所述范围的边界线。

在本发明的图像捕获及显示设备中，感兴趣区域识别单元可以为基于根据观察区域的生物信息预设的区段信息确定感兴趣区域的单元。

进一步地，成像单元可以为捕获普通图像的单元，所述普通图像包括具有预设长度信息的长度测量标记的标记图像，切缘确定单元可以为根据标记图像的尺寸确定切缘的单元。

长度测量标记可以具有蓝色或绿色颜色。

进一步地，观察区域可以为生物体，长度测量标记可以为由可生物吸收材料制成并放置在生物体上的标记。

更进一步地，观察区域可以为生物体，切缘确定单元可以为根据生物体的区域确定切缘的单元。

此外，观察区域可以为生物体，显示单元可以为根据用于切除生物体的切除工具的预设信息改变所述范围的边界线的显示形式的单元。

更进一步地，所述设备还可以包括表格，所述表格将多个切除工具的信息与显示所述范围的边界线的显示形式相关联。

进一步地，光投射单元可以为投射作为特定光的激发光的单元，成像单元可以为通过接收通过激发光的投射从观察区域发射的荧光捕获荧光图像作为特定图像的单元。

根据本发明的图像获取及显示方法以及图像捕获及显示方法，根据特定图像，识别特定图像中的指定感兴趣区域，然后确定包括普通图像中与识别的感兴趣区域相对应的区域和添加到所述区域的预定切缘的范围的边界线，并且在普通图像中显示所述区域的边界线和所述范围的边界线。这能够使医生或类似人员通过观察普通图像中的边界线将肿瘤或类似物去除到包括手术切缘的适当范围。

附图说明

图1为采用本发明的荧光内窥镜设备的一个实施例的刚性内窥镜系统的概观，其中显示了刚性内窥镜系统的示意性结构；

图2为图1中显示的体腔插入部分的示意性结构图；

图3是体腔插入部分的远端部的示意性视图；

图4为沿图3中的线4-4′截得的剖视图；

图5显示从体腔插入部分的每一个光投射单元输出的光的光谱以及从由所述光照射的观察区域发射/反射的荧光和反射光的光谱；

图6为成像单元的示意性结构图；

图7显示成像单元的光谱灵敏度；

图8为图像处理单元和光源单元的方框图，其中显示了示意性结构；

图9显示如何计算与荧光图像中识别的感兴趣区域相对应的普通图像中的区域；

图10显示将成像目标区与手术切缘相关联的示例性表格；

图11为用于说明刚性内窥镜系统的操作的流程图，所述刚性内窥镜系统采用本发明的荧光内窥镜设备的一个实施例；

图12显示其中在肺P的荧光图像中识别区段R1且手术切缘的边界线SM显示在肺P的普通图像中的显示实例；

图13显示将切除工具及其切除的范围与边界线的显示方法相关联的示例性表格；和

图14显示与吻合器相对应的手术切缘的边界的显示实例。

具体实施方式

在下文中，将参照附图详细说明采用本发明的图像捕获及显示设备的一个实施例的刚性内窥镜系统。图1是本实施例的刚性内窥镜系统1的概观，其中显示了所述刚性内窥镜系统的示意性结构。本实施例具有显示手术切缘的特征，但是首先将说明整个系统结构。图1是刚性内窥镜系统1的概观，其中显示了所述刚性内窥镜系统的示意性结构。

如图1中所示，本实施例的刚性内窥镜系统1包括：用于发射蓝色光和近红外光的光源单元2；刚性内窥镜成像装置10，所述刚性内窥镜成像装置用于将通过转换从光源单元2发出的蓝色光获得的白色光以及近红外光投射到观察区域，并根据通过白色光的投射从观察区域反射的反射光捕获普通图像以及根据通过近红外光的投射从观察区域发出的荧光捕获荧光图像；处理器3，所述处理器用于对由刚性内窥镜成像装置10获得的图像信号执行预定处理，并将控制信号输出到光源单元2；和监视器4，所述监视器用于根据处理器3产生的显示控制信号显示观察区域的荧光图像和普通图像。

如图1中所示，刚性内窥镜成像装置10包括要插入诸如腹腔或胸腔的体腔中的体腔插入部分30以及用于捕获通过体腔插入部分30导向的观察区域的普通图像和荧光图像的成像单元20。

如图2中所示，体腔插入部分30和成像单元20可拆卸地连接。体腔插入部分30包括连接构件30a、插入构件30b和电缆连接端口30c。

连接构件30a设置在体腔插入部分30(插入构件30b)的近端30X处，并且成像单元20和体腔插入部分30通过将连接构件30a装配到例如形成在成像单元20中的孔20a中而可拆卸地连接。

插入构件30b是在体腔中执行成像时将插入体腔中的构件。插入构件30b由刚性材料形成，并且具有例如圆柱形形状，所述圆柱形形状具有大约5mm的直径。插入构件30b的内部容纳用于形成观察区域的图像的一组透镜，并且从远端30Y输入的观察区域的普通图像和荧光图像通过所述一组透镜输入到近端30X侧的成像单元20。

电缆连接端口30c设置在插入构件30b的侧面上，光缆LC机械连接到所述端口。这使得光源单元2和插入构件30b通过光缆LC光学连接。

图3显示体腔插入部分30的远端30Y的结构。如图3中所示，成像透镜30d设置在体腔插入部分30的远端30Y的大致中心处以用于形成普通图像和荧光图像，用于投射白色光的白色光投射透镜30e，30f和用于投射近红外光的近红外光投射透镜30g，30h分别跨越成像透镜30d基本上对称地设置。一对两个白色光投射透镜30e，30f和一对近红外光投射透镜30g，30h中的每一对都相对于成像透镜30d对称地设置，以便防止由于观察区域的不规则而在普通图像和荧光图像中形成阴影。

图4是沿图3中的线4-4′截得的剖视图。如图4中所示，体腔插入部分30的内部包括白色光投射单元70和近红外光投射单元60。

白色光投射单元70包括荧光体72和用于引导蓝色光的多模光纤71，所述荧光体通过吸收由多模光纤71引导的蓝色光的一部分被激发并发射绿色到黄色的可见光。荧光体72由多种类型的荧光材料形成，例如，YAG荧光材料、BAM(BaMgAl10O17)和类似材料。

管状套筒构件73被设置成遮盖荧光体72的周边，用于将多模光纤71保持在中心轴线处的套圈74插入套筒构件73中。进一步地，柔性套筒75插入套筒构件73与从套圈74的近端侧(与远端侧相对)延伸的多模光纤71之间以遮盖光纤的封套。

近红外光投射单元60包括用于引导近红外光的多模光纤61，并且在多模光纤61与近红外光投射透镜30h之间提供空间62。

此外，近红外光投射单元60与白色光投射单元70一样，除了套圈64和柔性套筒65之外还设有遮盖空间62的周边的管状套筒构件63。

对于每一个光投射单元中使用的多模光纤，例如，可以使用具有105μm纤芯直径、125μm包覆层直径以及包括0.3mm到0.5mm的保护外封套的总直径的薄光纤。

在此已经说明了具有白色光投射透镜30f的白色光投射单元70和具有近红外光投射透镜30h的近红外光投射单元60的结构。要注意的是具有白色光投射透镜30e的白色光投射单元和具有近红外光投射透镜30g的近红外光投射单元分别具有与上述单元的结构相同的结构。

图5中显示从每一个光投射单元投射到观察区域上的光的每一个光谱以及通过光的投射从观察区域发射/反射的荧光和反射光的光谱。图5显示通过白色光投射单元70的荧光体72投射的蓝色光光谱S1、从白色光投射单元70的荧光体72激发和发射的绿色到黄色可见光光谱S2、从近红外光投射单元60投射的近红外光光谱S3、以及通过从近红外光投射单元60的近红外光光谱S3的投射发射的ICG光谱S4。

这里使用的术语“白色光”没有严格限制为具有可见光的所有波长成分的光，而可以包括任何光，只要该光包括在特定波长范围内的光(例如，R(红色)、G(绿色)或B(蓝色)基色光)即可。因此，在广义上，白色光可以包括例如具有从绿色到红色的波长成分的光、具有从蓝色到绿色的波长成分的光和类似光。虽然白色光投射单元70投射图5中所示的蓝色光光谱S1和可见光光谱S2，但是这些光谱的光也可被视为白色光。

图6显示成像单元20的示意性结构。成像单元20包括第一成像系统和第二成像系统，所述第一成像系统用于使由体腔插入部分30中的所述一组透镜形成的观察区域的荧光图像成像以产生观察区域的ICG荧光图像信号，所述第二成像系统用于使由体腔插入部分30中的所述一组透镜形成的观察区域的普通图像成像以产生观察区域的图像信号。这些成像系统被二色性棱镜21分成两个正交光轴，所述二色性棱镜具有反射普通图像并发送荧光图像的光谱特性。

第一成像系统包括：近红外光截止滤光片22，所述近红外光截止滤光片透射从体腔插入部分30输出的荧光图像并切断近红外光；第一图像形成光学系统23，所述第一图像形成光学系统形成从体腔插入部分30输出并透射通过二向色棱镜21和近红外光截止滤光片22的荧光图像L2；和高灵敏度图像传感器24，所述高灵敏度图像传感器捕获由第一图像形成光学系统23形成的荧光图像L2。

第二成像系统包括第二图像形成光学系统25和图像传感器26，所述第二图像形成光学系统形成从体腔插入部分30输出并由二色性棱镜21反射的普通图像L1，所述图像传感器捕获由第二图像形成光学系统25形成的普通图像L1。

高灵敏度图像传感器24以高灵敏度检测在荧光图像L2的波长范围内的光，将检测到的光转换成荧光图像信号，并输出所述荧光图像信号。高灵敏度图像传感器24为单色图像传感器。

图像传感器26检测在普通图像L1的波长内的光，将检测到的光转换成普通图像信号，并输出图像信号。三原色(红色(R)、绿色(G)和蓝色(B))的滤色器以贝尔格式或蜂窝形格式布置在图像传感器26的成像表面上。

图7为成像单元20的光谱灵敏度的曲线图。更具体地，成像单元20被构造成使得第一成像系统具有IR(近红外)灵敏度，第二成像系统具有R(红色)灵敏度、G(绿色)灵敏度和B(蓝色)灵敏度。

成像单元20还包括成像控制单元27。成像控制单元27根据从处理器3输出的CCD驱动信号控制高灵敏度图像传感器24和图像传感器26，对从高灵敏度图像传感器24输出的荧光图像信号和从图像传感器26输出的普通图像信号执行CDS/AGC(相关双采样/自动增益控制)和A/D转换，并且通过电缆将生成的图像信号输出到处理器3。

图8是光源单元2和处理器3的方框图，其中显示了光源单元2和处理器3的示意性结构。如图8中所示，处理器3包括图像输入控制器31、荧光图像输入控制器32、图像处理单元33、存储器34、视频输出单元35、操作单元36、TG(定时信号发生器)37、控制单元38、感兴趣区域识别单元39和手术切缘确定单元50。

每一个都设有具有预定容量的行缓冲器的普通图像输入控制器31和荧光图像输入控制器32分别临时存储关于从成像单元20的成像控制单元27输出的每一帧的普通图像信号和荧光图像信号。然后，存储在普通图像输入控制器31中的普通图像信号和存储在荧光图像输入控制器32中的荧光图像信号通过总线被存储在存储器34中。

图像处理单元33从存储器34接收关于每一帧的普通图像信号和荧光图像信号，对这些图像信号执行预定处理并将生成的图像信号输出到总线。

视频输出单元35通过总线接收从图像处理单元33输出的普通图像信号和荧光图像信号，通过对接收到的信号执行预定处理产生显示控制信号，并将所述显示控制信号输出到监视器4。

操作单元36从操作者接收输入，例如，各种类型的操作指令和控制参数。

具体地，本实施例的操作单元36接收生物体的为观察区域的成像区域的信息以及用于切除观察区域的切除工具的信息。

TG 37输出用于驱动成像单元20的高灵敏度图像传感器24和图像传感器26的驱动脉冲信号以及光源单元2的LD驱动器43、46和49，稍后将说明。

控制单元38执行系统的全面控制。在本实施例中，具体地，控制单元38包括显示控制单元38a，所述显示控制单元产生在普通图像中与通过感兴趣区域识别单元39根据荧光图像确定的感兴趣区域相对应的区域的边界线以及包括普通图像中的所述区域和添加到将显示在普通图像中的所述区域的预定切缘的范围的边界线。这些边界线的显示方法将稍后详细说明。

感兴趣区域识别单元39根据通过成像单元20的高灵敏度图像传感器24获得的荧光图像信号识别荧光图像中的感兴趣区域。更具体地，在本实施例中，在感兴趣区域识别单元39中预先设定基于观察区域的生物信息的区段信息，并且感兴趣区域识别单元39识别荧光图像的荧光部分并识别包括所述荧光部分的区段作为感兴趣区域。这里使用的术语“区段”表示根据诸如血管、淋巴管、支气管和类似物的生物信息医学上确定的划分区域，并且区段被提供用于肺、肝和类似器官。这里假定感兴趣区域识别单元39根据成像区域的信息(例如，由操作单元36接收到的肺的顶点)通过例如根据成像区域执行图案识别来识别区段。

在本实施例中，如上所述自动地确定区段，但是也可以采用其中通过医生或类似人员根据荧光图像的荧光部分使用操作单元36指定荧光图像中的区段来确定区段的装置。

进一步地，在本实施例中，上述区段作为感兴趣区域被识别。但是，例如，包括荧光图像中的荧光部分的指定范围可以被自动地设定为感兴趣区域，或者可以由医生或类似人员使用操作单元36在荧光图像中指定任何感兴趣区域。进一步地，自动检测到的肿瘤病变位置可以作为感兴趣区域被识别。

手术切缘确定单元50确定包括在普通图像中与感兴趣区域识别单元39识别的感兴趣区域相对应的区域以及添加到所述区域的手术切缘的范围的边界线。

将说明用于计算普通图像中的与感兴趣区域识别单元39识别的荧光图像中的感兴趣区域相对应的区域的示例性方法。

图9显示当体腔插入部分30的远端与观察区域之间的距离为L时第一成像系统与第二成像系统之间的位置关系。

当第一和第二成像系统为图9中显示的位置关系时，并且如果例如高灵敏度图像传感器24上的与荧光图像中被识别的感兴趣区域相对应的坐标位置在图9中为XA，则图像传感器26上的形成与感兴趣区域相同的点的坐标位置XB可以通过如下公式计算。

【公式1】

x_{B} = \frac{m_{B}}{m_{A}} (x_{A} - x_{0 A}) + x_{0 B}

m_{A} = \frac{l_{A}}{L + Δ L_{A}}

m_{B} = \frac{l_{B}}{L + Δ L_{B}}

其中，ΔL_A为从体腔插入部分30的远端到第一图像形成光学系统23的主点的距离，ΔL_B为从体腔插入部分30的远端到第二图像形成光学系统25的距离，l_A为从第一图像形成光学系统23的主点到高灵敏度图像传感器24的距离，l_B为从第二图像形成光学系统25的主点到图像传感器26的距离，X_OA为第一成像系统的光轴位置，X_OB为第二成像系统的光轴位置，这些参数如上所述被预先确定。成像距离L可以预先设定，或者可以通过在体腔插入部分30的远端上设置距离测量装置实际测量。假定成像距离的范围具有足够的景深。

还假定荧光图像的坐标和高灵敏度图像传感器24上的坐标之间的相关性是已知的，并且普通图像的坐标和图像传感器26上的坐标之间的相关性是已知。

手术切缘确定单元50根据通过上述公式计算的图像传感器26的坐标位置X_B获得普通图像中的区域的位置信息。这里，仅说明了沿x方向，但是相同的情况也可以应用于y方向。

手术切缘确定单元50确定包括以上述方式计算的普通图像中的区域和添加到所述区域的手术切缘的范围的边界线。假定手术切缘的长度预先设定。更具体地，在本实施例中，预先提供使成像目标区域与手术切缘相关的表格，如图10中所示，并且手术切缘确定单元50根据通过医生或类似人员使用操作单元36输入的成像区域的信息以及上述表格获得手术切缘的长度。根据所述成像区域以上述方式获取手术切缘允许根据每一个区域的手术方针获取手术切缘。

然后，手术切缘确定单元50根据成像单元20的图像传感器26捕获的普通图像信号中包括的标记图像信号以及以上述方式获得的手术切缘的长度来获得普通图像中的手术切缘的边界线的坐标值。更具体地，上述的标记图像信号为通过由图像传感器26捕获的具有预设长度信息的长度测量标记与观察区域一起获得的信号，并且手术切缘确定单元50计算普通图像中的手术切缘的边界线的坐标值，使得长度测量标记的长度信息与标记图像信号的长度之间的比率以及以上述方式获得的手术切缘的长度与普通图像中的手术切缘的长度之间的比率彼此相对应。

这样，通过利用长度测量标记的标记图像可以容易地获得普通图像中的手术切缘的长度。

例如，上述的长度测量标记放置在图像传感器26的成像范围内的观察区域上或与所述观察区域相邻。优选地，长度测量标记具有蓝色或者绿色颜色，所述颜色与内脏器官的彩色成互补关系。这使得更加清楚地显示标记的轮廓并允许更精确的测量。

优选地，长度测量标记由可生物吸收材料制成。对于可生物吸收材料可以使用任何公知的材料。

如图8中所示，光源单元2包括发射具有445nm波长的蓝色光的LD光源40、使从蓝色LD光源40发射的蓝色光聚集并将聚集的蓝色光输入到光纤分路器42的聚光透镜41、将接收到的蓝色光同时输入到光缆LC1，LC2的光纤分路器42以及驱动蓝色LD光源40的LD驱动器43。

光缆LC1，LC2光学连接到白色光投射单元70的多模光纤71。

光源单元2还包括发射750nm到790nm近红外光的多个近红外LD光源44，47、使从红外LD光源44，47中的每一个发射的近红外光聚集并将聚集的近红外光输入到光纤LC3，LC4的多个聚光透镜45，48、以及驱动红外LD光源44，47中的每一个的多个LD驱动器46，49。

光缆LC3，LC4光学连接到近红外光投射单元60的多模光纤61。

在本实施例中，红外光用作激发光，但是激发光不局限于近红外光，而可以根据施加到对象的荧光颜料的类型或者用于自发荧光的生命体组织的类型确定激发光。

以下将参照图11的流程图说明本发明的刚性内窥镜系统的操作。

首先，体腔插入部分30插入对象的体腔中，并且体腔插入部分30的远端与观察区域相邻放置(S10)。然后，长度测量标记被放置在观察区域上(S12)。

接下来，捕获普通图像和荧光图像并显示捕获到的图像(S14)。

这里，用于捕获并显示普通图像的系统的操作如下所述。首先，从光源单元2的蓝色LD光源40发射的蓝色光通过聚光透镜41和光纤分路器42同时输入到光缆LC1，LC2。接着，蓝色光通过光缆LC1，LC2被引导并输入到体腔插入部分30，并且进一步通过体腔插入部分30中的白色光投射单元70的多模光纤71被引导。此后，从每一个多模光纤71的输出端输出的蓝色光的特定部分通过荧光体72被透射并投射到观察区域上，同时蓝色光的除所述特定部分之外的其余部分通过荧光体72被波长转换成绿色到黄色的可见光并投射到观察区域上。即，观察区域通过由蓝色光和绿色到黄色可见光形成的白色光照射。

接着，通过白色光的投射从观察区域反射的普通图像输入到插入构件30b的远端30Y的成像透镜30d，接着通过插入构件30b内的所述一组透镜被引导并输出到成像单元20。

输入到成像单元20的普通图像通过二向色棱镜21沿直角方向反射，接着通过第二图像形成系统25形成在图像传感器26的图像形成表面上并被图像传感器26捕获。

然后，从图像传感器26输出的R、G和B图像信号在成像控制单元27中进行CDS/AGC(相关双采样/自动增益控制)和A/D转换并通过电缆5输出到处理器3。

接着，输入到处理器3的普通图像信号临时存储在普通图像输入控制器31中并接着存储在存储器34中。从存储器34读出的关于每一帧的普通图像信号在图像处理单元33中进行色调校正和锐度校正，并相继输出到视频输出单元35。

视频输出单元35通过对输入的普通图像信号执行预定处理产生显示控制信号，并且关于每一帧将所述显示控制信号依次输出到监视器4。监视器4根据输入的显示控制信号显示普通图像。

同时，用于捕获和显示荧光图像的系统的操作如下所述。首先，从光源2的近红外LD光源44，47发射的近红外光通过聚光透镜45，48输入到光缆LC3，LC4。然后，近红外光通过光缆LC3，LC4输入到体腔插入部分30，并通过体腔插入部分30中的近红外光投射单元60的多模光纤61被引导并投射到观察区域上。

接着，通过近红外光的激发光的投射从观察区域发射的ICG图像输入到插入构件30b的远端30Y的成像透镜30d，然后通过插入构件30b内的所述一组透镜被引导并输出到成像单元20。

输入到成像单元20的ICG图像透射通过二向色棱镜21和近红外光截止滤光片22，然后通过第一图像形成光学系统23形成在高灵敏度图像传感器24的成像表面上。从高灵敏度图像传感器24输出的荧光图像在成像控制单元27中经历CDS/AGC(相关双采样/自动增益控制)和A/D转换并通过电缆5输出到处理器3。

然后，输入到处理器3的荧光图像信号临时储存在荧光图像输入控制器32中，并接着储存在存储器34中。从存储器34读出的关于每一帧的荧光图像信号在图像处理单元33中经历预定的图像处理并相继输出到视频输出单元35。

视频输出单元35通过对输入的荧光图像信号执行预定处理产生显示控制信号，并且将关于每一帧的显示控制信号依次输出到监视器4。监视器4根据输入的显示控制信号显示荧光图像。

此后，成像区域信息通过医生或类似人员使用操作单元36输入(S16)并通过感兴趣区域识别单元39接收所述信息。接着，感兴趣区域识别单元39识别荧光图像的荧光部分并识别包括荧光部分的区段作为感兴趣区域(S20)。通过感兴趣区域识别单元39识别的区段被显示在荧光图像中。图12中右侧的图显示肺P的荧光图像中识别的示例性区段，即，由对角线表示的区段R1。

接下来，荧光图像中的由感兴趣区域识别单元39识别的区段的信息输入到手术切缘确定单元50，并且手术切缘确定单元50计算与输入的区段相对应的普通图像中的区域(S20)，并进一步确定包括普通图像中的所述区域和添加到所述区域的手术切缘的范围的边界线(S22)。

接着，由手术切缘确定单元50计算的普通图像中的区域的信息以及包括所述区域和添加到所述区域的手术切缘的范围的边界线的信息输出到控制单元38的显示控制单元38a。然后，显示控制单元38a根据输入的信息使所述区域和手术切缘的边界线显示在监视器4上显示的普通图像中(S24)。图12中左侧的图显示示例性显示，其中区段R2和手术切缘的边界线SM显示在肺P的普通图像中。普通图像中的参考符号M表示长度测量标记的图像，手术切缘确定单元50如上所述根据长度测量标记的图像信号计算普通图像中的手术切缘的边界线SM的坐标值。

然后，医生通过观察监视器4上显示的手术切缘的边界线SM使用切除工具切除肿瘤或类似物。

这里，当病变或类似物被医生切除时，切割的区段面积可以随着医生使用的切除工具而变化。因此，在上述的实施例中，普通图像上显示的手术切缘的边界线可以根据要使用的切除工具的类型变化。

更具体地，例如，可以预先提供类似于图13中显示的将切除工具与和切割段范围相对应的边界线的显示方法相关联的表格。此后，可以由医生通过操作单元36接收切除工具的信息的输入，然后可以通过参照上述表格获得边界线显示方法，并且可以通过获得的与切除工具相对应的显示方法在监视器4上显示边界线。例如，当切除工具为手术用电刀时，切割段相对较窄，并且可以沿着手术切缘的边界线进行切割，使得可以如图12中左侧的图中所示沿着手术切缘的边界线显示细虚线。另一方面，如果切除工具为吻合器，则切割段宽于手术用电刀的切割段，并且线性执行切割，使得可以显示以粗直线而不是细虚线显示手术切缘的边界线，如图14中所示。通过以上述方式改变显示形式可以显示靠近实际切割段范围的切割段范围。

在上述的实施例中，通过第一成像系统捕获荧光图像，但是基于观察区域的光吸收特性的图像可以通过将特定光投射到观察区域上进行捕获。

进一步地，上述实施例为其中本发明的图像捕获及显示设备应用到刚性内窥镜系统的实施例，但是本发明的设备也可以应用于具有柔软内窥镜的其它内窥镜系统。更进一步地，本发明的设备不局限于内窥镜应用，而可以应用于不具有任何要插入体腔中的插入部分的通常所说的摄像机式医学图像捕获系统。

Claims

1.一种图像获取及显示方法，所述方法用于获得通过将照明光投射到观察区域上并接收从所述观察区域反射的反射光捕获的普通图像、以及通过将特定光投射到所述观察区域上并接收从所述观察区域发射的光捕获的特定图像，并且显示获得的所述普通图像和所述特定图像，所述方法包括以下步骤：

根据所述特定图像识别所述特定图像中的指定感兴趣区域；

确定包括所述普通图像中与识别的所述感兴趣区域相对应的区域和添加到所述区域的预定切缘的范围的边界线；和

在所述普通图像中显示所述区域的边界线和所述范围的边界线。

2.一种图像捕获及显示设备，包括：

成像单元，所述成像单元用于通过接收通过投射所述照明光从所述观察区域反射的反射光使普通图像成像，以及通过接收通过投射所述特定光从所述观察区域发射的光使特定图像成像；

用于显示所述普通图像和所述特定图像的显示单元；

感兴趣区域识别单元，所述感兴趣区域识别单元用于根据所述特定图像识别所述特定图像中的指定感兴趣区域；和

切缘确定单元，所述切缘确定单元用于确定包括所述普通图像中与识别的所述感兴趣区域相对应的区域和添加到所述区域的预定切缘的范围的边界线，

其中，所述显示单元在所述普通图像中显示所述区域的边界线和所述范围的边界线。

3.根据权利要求2所述的设备，其中，所述感兴趣区域识别单元为根据基于所述观察区域的生物信息预设的区段信息确定所述感兴趣区域的单元。

4.根据权利要求2所述的设备，其中，所述成像单元为捕获普通图像的单元，所述普通图像包括具有预设长度信息的长度测量标记的标记图像，并且所述切缘确定单元为根据所述标记图像的尺寸确定所述切缘的单元。

5.根据权利要求4所述的设备，其中，所述长度测量标记具有蓝色或绿色颜色。

6.根据权利要求4所述的设备，其中，所述观察区域为生物体，所述长度测量标记为由可生物吸收材料制成并放置在所述生物体上的标记。

7.根据权利要求2所述的设备，其中，所述观察区域为生物体，所述切缘确定单元为根据所述生物体的区域确定所述切缘的单元。

8.根据权利要求2所述的设备，其中，所述观察区域为生物体，所述显示单元为根据用于切除所述生物体的切除工具的预设信息改变所述范围的边界线的显示形式的单元。

9.根据权利要求8所述的设备，还包括：

表格，所述表格将多个切除工具的信息与所述范围的边界线的显示形式相关联。

10.根据权利要求2所述的设备，其中，所述光投射单元为投射作为所述特定光的激发光的单元，所述成像单元为通过接收通过投射所述激发光从所述观察区域发射的荧光捕获荧光图像作为所述特定图像的单元。