CN114269222A - 医疗图像处理设备和医疗观察系统 - Google Patents

Abstract

在第一观察模式下，存储器控制器(931)将第一捕获图像写入存储器(92)的第一存储区域；从第一存储区域的第一划分区域至第四划分区域读取通过划分第一捕获图像而分别获得的第一划分图像至第四划分图像，并将图像分别输出到图像处理单元(932)‑(935)。在第二观察模式下，存储器控制器(931)将第一捕获图像和第二捕获图像分别写入第二存储区域和第三存储区域，第二存储区域和第三存储区域中的每个存储区域具有与存储器(92)的划分区域相同的存储容量，从第二存储区域和第三存储区域分别读取第一捕获图像和第二捕获图像，并将图像分别输出到两个图像处理单元(932)、(933)。

Description

医疗图像处理设备和医疗观察系统

技术领域

本公开涉及一种医疗图像处理设备和一种医疗观察系统。

背景技术

例如，传统上已知一种医疗图像处理设备，其快速处理具有相对大的数据量(例如，4K或更大的像素数目)的捕获图像(例如，参见专利文献1)。

在专利文献1中描述的医疗图像处理设备中，捕获的图像被写入存储器中的特定存储区域。此后，在医疗图像处理设备中，分别从写入多个划分图像的上述存储区域中的多个划分区域中读取通过划分捕获图像而获得的多个划分图像。然后，医疗图像处理设备使用与划分图像的数量相同数量的图像处理单元来对多个读取的划分图像并行地执行图像处理。

此外，传统上已知一种医疗图像处理设备，其分别获取第一捕获图像和第二捕获图像，并通过叠加相应像素的第一捕获图像和第二捕获图像来生成叠加图像(例如，参见专利文献2)。

在此处，第一捕获图像是用第一波长带的光照射观察目标并且由图像传感器捕获由观察目标反射的光的图像。此外，第二捕获图像是用不同于第一波长带的第二波长带中的激发光照射观察目标并且由图像传感器捕获由激发光激发的来自观察目标的荧光的图像。

现有技术文献

专利文献

专利文献1：JP 2018-79249 A

专利文献2：US 2014/276008 A

发明内容

本发明要解决的技术问题

顺便提及，在专利文献2中描述的医疗图像处理设备中，例如，假设提供了用第一捕获图像观察观察目标的第一观察模式和用叠加图像观察观察目标的第二观察模式。在这种情况下，以下配置可以想象为在第一观察模式下快速处理第一捕获图像并且在第二观察模式下快速处理第一捕获图像和第二捕获图像的配置。

也就是说，为了处理第一捕获图像，如在上述专利文献1中描述的医疗图像处理设备中，提供了上述存储器(在下文中，描述为第一存储器)和上述多个图像处理单元(在下文中，描述为多个第一图像处理单元)。然后，对于第一捕获图像，第一存储第一捕获图像器和多个第一图像处理单元用于将第一捕获图像划分成多个划分图像并并行地执行图像处理。此外，为了处理第二捕获图像，提供了不同于第一存储器的第二存储器和不同于多个第一图像处理单元的多个第二图像处理单元。然后，对于第二捕获图像，第二存储器和多个第二图像处理单元用于将第二捕获图像划分成多个划分图像并且并行地执行图像处理。

然而，在除了第一存储器和多个第一图像处理单元之外，还提供第二存储器和多个第二图像处理单元的情况下，存在电路规模增加的问题。

因此，需要一种能够在不增加电路规模的情况下生成适于观察的图像技术。

鉴于以上所述构成了本公开，并且其目的是提供一种能够在不增加电路规模的情况下生成适于观察的图像医疗图像处理设备和医疗观察系统。

问题的解决方案

为了解决上述问题并实现该目的，根据本公开的医疗图像处理设备包括：第一捕获图像获取单元，获取通过捕获来自观察目标的光而获得的第一捕获图像，该观察目标在被不同于第一波长带的第二波长带中的激发光照射时发射荧光并且被第一波长带中的光照射；第二捕获图像获取单元，获取通过捕获来自被激发光照射的观察目标的荧光而获得的第二捕获图像；模式切换单元，在第一观察模式和第二观察模式之间切换；存储器，暂时存储图像；存储器控制器，控制将图像写入存储器和从存储器读取图像；以及多个图像处理单元，对每个输入图像并行地执行图像处理，其中，该存储器控制器：在第一观察模式下，将第一捕获图像写入存储器中的第一存储区域；从第一存储区域中的多个划分区域中分别读取多个划分图像，该多个划分图像是通过将第一捕获图像划分为与图像处理单元的数量相对应的数量而获得的，在该多个划分区域中分别写入多个划分图像；并且将多个划分图像分别输出到多个图像处理单元；并且，在第二观察模式下，将第一捕获图像和第二捕获图像分别写入第二存储区域和第三存储区域，每个存储区域具有与存储器中每个划分区域的存储容量相同的存储容量，分别从第二存储区域和第三存储区域读取第一捕获图像和第二捕获图像，并将第一捕获图像和第二捕获图像分别输出到多个图像处理单元的两个图像处理单元中。

此外，根据本公开的医疗观察系统包括：光源装置，发射第一波长带的光和不同于第一波长带的第二波长带的激发光；成像装置，通过捕获来自观察目标的光来生成第一捕获图像，该观察目标在被激发光照射时发出荧光并且被第一波长带中的光照射，并且通过捕获来自被激发光照射的观察目标的荧光来生成第二捕获图像；以及医疗图像处理设备，处理第一捕获图像和第二捕获图像。

发明的有利效果

根据本公开的医疗图像处理设备和医疗观察系统，可以在不增加电路规模的情况下生成适于观察的图像。

附图说明

图1是示出根据实施例的医疗观察系统的配置的图；

图2是示出摄像头和控制装置的配置的框图；

图3是用于解释从成像单元输出的捕获图像的图；

图4是示出第一图像处理单元的配置的框图；

图5是示出控制装置的操作的流程图；

图6是用于解释在正常观察模式下存储器控制器的操作的图；

图7是用于解释在正常观察模式下存储器控制器的操作的图；

图8是用于解释在荧光观察模式下存储器控制器的操作的图；

图9是用于解释在荧光观察模式下存储器控制器的操作的图。

具体实施方式

在下文中，将参考附图描述用于执行本公开的实施例(以下被称为实施例)。注意，本公开不限于下面描述的实施例。此外，在附图的描述中，相同的部分由相同的附图标记表示。

[医疗观察系统的配置示意图]

图1是示出根据本实施例的医疗观察系统1的配置的图。

医疗观察系统1是用于医疗领域并捕获(观察)作为被摄体的活体(观察目标)内部的图像的系统。如图1所示，医疗观察系统1包括插入单元2、光源装置3、光导4、摄像头5、第一传输电缆6、显示装置7、第二传输电缆8、控制装置9和第三传输电缆10。

在本实施例中，插入单元2由刚性内窥镜构成。也就是说，插入单元2具有细长的形状，该形状是完全刚性的或者部分柔性和部分刚性的，并且被插入到活体中。由一个或多个透镜构成并会聚来自被摄体的光的光学系统设置在插入单元2中。

光源装置3连接到光导4的一端，并在控制装置9的控制下向光导4的该一端提供光，以照射活体内部。如图1所示，光源装置3包括第一光源31和第二光源32。

第一光源31发射第一波长带的光。在本实施例中，第一光源31由发射白光(第一波长带中的光)的发光二极管(LED)构成。

第二光源32发射不同于第一波长带的第二波长带的激发光。在本实施例中，第二光源32由发射近红外波长带的近红外激发光(第二波长带的激发光)的半导体激光器构成。

由第二光源32发射的近红外激发光是激发荧光物质(例如，吲哚菁绿)的激发光。当被近红外激发光激发时，荧光物质(例如，吲哚菁绿)发射其中心波长在近红外激发光的波长带的中心波长的长波长侧的荧光。注意，近红外激发光的波长带和荧光的波长带可以被设置为彼此部分重叠，或者可以被设置为彼此完全不重叠。

在根据本实施例的光源装置3中，在控制装置9的控制下在正常观察模式下驱动第一光源31。即，在正常观察模式下，光源装置3发射正常光(白光)。正常观察模式对应于根据本公开的第一观察模式。另一方面，在光源装置3中，在控制装置9的控制下，在荧光观察模式下，在交替重复的第一周期和第二周期中，在第一周期中驱动第一光源31，在第二周期中驱动第二光源32。也就是说，在荧光观察模式下，光源装置3在第一周期中发射正常光(白光)，并且在第二周期中发射近红外激发光。荧光观察模式对应于根据本公开的第二观察模式。

注意，在本实施例中，光源装置3与控制装置9分开配置，但是本公开不限于此，并且可以采用光源装置3设置在控制装置9内部的配置。

光导4的一端可拆卸地连接到光源装置3，并且另一端可拆卸地连接到插入单元2。光导4将从光源装置3提供的光(正常光和近红外激发光)从一端传输到另一端，并将光提供给插入单元2。当用正常光(白光)照射活体内部时，在活体中反射的正常光被插入单元2中的光学系统会聚。注意，在下文中，为了描述方便，由插入单元2中的光学系统会聚的正常光被描述为第一被摄体图像。此外，在用近红外激发光照射活体内部的情况下，在活体中反射的近红外激发光和在激发活体中的损伤处积聚的荧光物质之后从荧光物质(例如，吲哚菁绿)发射的荧光被插入单元2中的光学系统会聚。注意，在下文中，为了描述方便，近红外激发光和由插入单元2中的光学系统会聚的荧光被描述为第二被摄体图像。

摄像头5对应于根据本公开的成像装置。摄像头5可拆卸地连接到插入单元2的近端(目镜单元21(图1))。在控制装置9的控制下，摄像头5捕获由插入单元2会聚的第一被摄体图像(正常光)和第二被摄体图像(近红外激发光和荧光)，并输出通过捕获每个图像获得的图像信号(RAW信号)。

注意，稍后将描述摄像头5的详细配置。

第一传输电缆6的一端经由连接器CN1(图1)可拆卸地连接到控制装置9，另一端经由连接器CN2(图1)可拆卸地连接到摄像头5。第一传输电缆6将从摄像头5输出的图像信号等传输到控制装置9，并将从控制装置9输出的控制信号、同步信号、时钟、功率等传输到摄像头5。

注意，在经由第一传输电缆6从摄像头5向控制装置9传输图像信号等时，图像信号等可以作为光信号传输，或者可以作为电信号传输。这同样适用于控制信号、同步信号和时钟经由第一传输电缆6从控制装置9传输到摄像头5。

显示装置7由使用液晶、有机电致发光(EL)等的显示器构成，并且在控制装置9的控制下基于来自控制装置9的视频信号显示图像。

第二传输电缆8的一端可拆卸地连接到显示装置7，另一端可拆卸地连接到控制装置9。第二传输电缆8将由控制装置9处理的视频信号传输到显示装置7。

控制装置9对应于根据本公开的医疗图像处理设备。控制装置9由中央处理单元(CPU)、现场可编程门阵列(FPGA)等构成，并且整体控制光源装置3、摄像头5和显示装置7的操作。

注意，稍后将描述控制装置9的详细配置。

第三传输电缆10的一端可拆卸地连接到光源装置3，另一端可拆卸地连接到控制装置9。第三传输电缆10将控制信号从控制装置9传输到光源装置3。

[摄像头的配置]

接下来，将描述摄像头5的配置。

图2是示出摄像头5和控制装置9的配置的框图。

注意，在图2中，为了便于描述，省略了控制装置9与摄像头5之间的连接器CN1和连接器CN2、第一传输电缆6、控制装置9与显示装置7之间的连接器、第二传输电缆8、控制装置9与光源装置3之间的连接器和第三传输电缆10。

如图2所示，摄像头5包括镜头单元51、成像单元52和通信单元53。

透镜单元51包括一个或多个透镜，并且在成像单元52(图像传感器522)的成像表面上形成由插入单元2会聚的第一被摄体图像(正常光)和第二被摄体图像(近红外激发光和荧光)。

成像单元52在控制装置9的控制下捕获活体内部的图像。如图2所示，成像单元52包括激发光截止滤光器521、图像传感器522和信号处理单元523。

激发光截止滤光器521设置在透镜单元51与图像传感器522之间，并且由去除特定波长带的带阻滤光器构成。注意，在下文中，为了便于描述，被激发光截止滤光器521截止(去除)的波长带被描述为截止带，位于截止带的短波长侧并穿过激发光截止滤光器521的波长带被描述为短波长侧透射带，并且位于截止带的长波长侧并穿过激发光截止滤光器521的波长带被描述为长波长侧透射带。

在此处，截止带包括近红外激发光的波长带的至少一部分。在本实施例中，截止带包括近红外激发光的一部分波长带。此外，长波长侧透射带包括近红外激发光的波长带和荧光的波长带的一部分。此外，短波长侧透射带包括正常光(白光)的波长带(第一波长带)。

也就是说，激发光截止滤光器521将从透镜单元51引导的第一被摄体图像(正常光(白光))传输到图像传感器522。另一方面，激发光截止滤光器521将从透镜单元51引导的第二被摄体图像的近红外激发光和荧光(近红外激发光和荧光)的一部分传输到图像传感器522。

图像传感器522由电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)等构成，其接收已经通过激发光截止滤光器521的光并将该光转换成电信号(模拟信号)。

在此处，图像传感器522的成像表面(光接收表面)设置有滤色器522a(图2)，其中，根据要透射的光的波长带(红色(R)、绿色(G)和蓝色(B))分组的三个滤光器组以预定格式(例如，拜耳阵列)排列。

具体而言，滤色器522a包括主要透射R波长带光的R滤光器组、主要透射B波长带光的B滤光器组和主要透射G波长带光的G滤光器组。

注意，R、G和B滤光器组也透射近红外激发光和荧光。此外，图像传感器522不仅对R、G和B波长带的光敏感，而且也对近红外激发光和荧光波长带的光敏感。

在控制装置9的控制下，图像传感器522在正常观察模式下以预定帧速率捕获第一被摄体图像(正常光)。此外，在控制装置9的控制下，图像传感器522每隔第一周期和第二周期捕获图像，该第一周期和第二周期与荧光观察模式下光源装置3的发光时刻同步地交替重复。

在下文中，为了便于描述，通过图像传感器522捕获第一被摄体图像(正常光)而生成的图像被描述为正常光图像(对应于根据本公开的第一捕获图像)。此外，通过图像传感器522捕获第二被摄体图像(近红外激发光和荧光)而生成的图像被描述为荧光图像(对应于根据本公开的第二捕获图像)。此外，正常光图像和荧光图像被共同描述为捕获图像。

在控制装置9的控制下，信号处理单元523对由图像传感器522生成的捕获图像(模拟信号)执行信号处理，并输出捕获图像(RAW信号(数字信号))。

在此处，由信号处理单元523执行的信号处理的示例包括A/D转换和细化处理。

细化处理是用于在由图像传感器522生成的捕获图像的总像素数目被设置为第一像素数目的情况下，将捕获图像的总像素数目设置为第二像素数目的处理，该第二像素数目等于或小于第一像素数目的1/N(在垂直和水平方向的每个方向上等于或小于2/N)。也就是说，例如，通过细化处理，具有4K像素数目的捕获图像被转换成具有全高清晰度(HD)或更少像素数目的捕获图像。注意，在细化处理中，可以通过以恒定周期删除总像素数目为第一像素数目的捕获图像的像素，将捕获图像的总像素数目设置为第二像素数目，或者可以通过将总像素数目为第一像素数目的捕获图像中的相邻像素相加，将捕获图像的总像素数目设置为第二像素数目。

图3是用于解释从成像单元52输出的捕获图像的图。具体而言，图3是示意性示出图像传感器522中的像素522b的物理布置的图。

注意，在图3中，为了描述方便，仅示出了图像传感器522中所有像素中的一些像素522b。

成像单元52以光栅为单位依次输出捕获的图像。具体而言，在图像传感器522中，每个像素522b排列成矩阵。如图3中的箭头和虚线所示，在第一行中的每个像素522b中，成像单元52从每个像素522b依次输出从布置在第一列中的像素522b到布置在最后一列中的像素522b的一行的图像。注意，图3中所示的一个箭头指示一行的图像。随后，在第二行中的每个像素522b中，成像单元52从每个像素522b依次输出从布置在第一列中的像素522b到布置在最后一列中的像素522b的一行的图像。然后，成像单元52通过继续上述处理直到最后一行来输出一帧的捕获图像。当输出下一帧的捕获图像时，成像单元52返回到第一行的每个像素522b，并执行与上述相同的处理。

注意，在以上描述中，已经描述了在不执行上述细化处理的情况下捕获图像的光栅输出。然而，即使在执行上述细化处理的情况下，细化处理后的捕获图像也以图3中的箭头和虚线所示的顺序以光栅为单位依次输出。

通信单元53用作发射机，该发射机经由第一传输电缆6将从成像单元52依次输出的以光栅为单位的捕获图像发送到控制装置9。通信单元53由例如高速串行接口构成，该高速串行接口经由第一传输电缆6以1Gbps或更高的传输速率与控制装置9沟通捕获的图像。

[控制装置的配置]

接下来，将参照图2描述控制装置9的配置。

如图2所示，控制装置9包括通信单元91、存储器92、观察图像生成单元93、控制单元94、输入单元95、输出单元96和存储单元97。

通信单元91用作接收机，其经由第一传输电缆6接收从摄像头5(通信单元53)依次输出的以光栅为单位的捕获图像。通信单元91例如由高速串行接口构成，该高速串行接口以1Gbps或更高的传输速率与通信单元53沟通捕获的图像。也就是说，通信单元91对应于根据本公开的第一捕获图像获取单元和第二捕获图像获取单元。

存储器92例如由动态随机存取存储器(DRAM)等构成。存储器92以光栅为单位临时存储从摄像头5(通信单元53)依次输出的多个帧的捕获图像。

观察图像生成单元93在控制单元94的控制下，以光栅为单位处理从摄像头5(通信单元53)依次输出并由通信单元91接收的捕获图像。如图2所示，观察图像生成单元93包括存储器控制器931和第一图像处理单元932至第四图像处理单元935。

存储器控制器931在控制单元94的控制下控制以将图像写入存储器92并从存储器92读取图像。注意，将在后面描述的“控制装置的操作”中描述存储器控制器931的功能的细节。

第一图像处理单元932至第四图像处理单元935在控制单元94的控制下对每个输入图像并行地执行图像处理。

图4是示出第一图像处理单元932的配置的框图。

注意，第一图像处理单元932至第四图像处理单元935的配置是相同的。因此，下面将仅描述第一图像处理单元932的配置。

如图4所示，第一图像处理单元932包括箝位处理单元932A、WB处理单元932B、数字增益处理单元932C、去马赛克处理单元932D、颜色矩阵处理单元932E、伽马处理单元932F、YC处理单元932G、第一放大处理单元932H、图像增强处理单元932I、第二放大处理单元932J和串行数字接口(SDI)转换器932K。

在此处，输入到第一图像处理单元932至第四图像处理单元935的图像(对应于从摄像头5输出的捕获图像(RAW数据)的图像)对于每个像素包括对应于构成滤色器522a的R、G和B的滤光器组的R、G和B中的任何一个的分量信息(像素数据)。在下文中，为了便于描述，将R的分量信息描述为R值，将G的分量信息描述为G值，将B的分量信息描述为B值。

箝位处理单元932A执行箝位处理，用于将黑色电平固定到输入图像。

WB处理单元932B执行白平衡调整处理(WB处理)，以用于将箝位处理后的图像中的r值、g值和b值中的每一个乘以特定增益。

数字增益处理单元932C执行数字增益处理，以用于将WB处理后的图像中的r值、g值和b值乘以数字增益，以放大r值、g值和b值。

去马赛克处理单元932D执行去马赛克处理，用于通过每个像素的插值，将r值、g值和b值的像素值(R(r值)、G(g值)、B(b值))提供给数字增益处理之后的图像。

颜色矩阵处理单元932E通过在去马赛克处理之后的图像上使用颜色校正矩阵，执行用于将每个像素的像素值(R、G和B)校正为像素值(Rm、Gm和Bm)的颜色矩阵处理。

伽马处理单元932F对色彩矩阵处理之后的图像执行伽马处理(γ校正)。

YC处理单元932G执行YC转换，用于将伽马处理后的图像转换成亮度信号和色度信号(Y、C_B/C_R信号)。

第一放大处理单元932H对YC转换后的图像执行第一放大处理(电子变焦)。

图像增强处理单元932I对第一放大处理(电子变焦)之后的图像执行图像增强处理。

第二放大处理单元932J对图像增强处理之后的图像执行第二放大处理(电子变焦)。

SDI转换器932K对第二放大处理(电子变焦)之后的图像执行SDI转换。

然后，来自第一图像处理单元932至第四图像处理单元935中的每个SDI转换器932K的图像经由第二传输电缆8作为稍后描述的第一视频信号或第二视频信号输出到显示装置7。

控制单元94使用例如CPU、FPGA等构成，并经由第一至第三传输电缆6、8和10输出控制信号，从而控制光源装置3、摄像头5和显示装置7的操作，并控制控制装置9的整体操作。如图2所示，控制单元94包括光源控制单元941、成像控制单元942和模式切换单元943。注意，将在稍后描述的“控制装置的操作”中描述光源控制单元941、成像控制单元942和模式切换单元943的功能。

使用诸如鼠标、键盘和触摸面板等操作装置构成输入单元95，并且接收用户(例如，医生)的用户操作。然后，输入单元95向控制单元94输出对应于用户操作的操作信号。

输出单元96使用扬声器、打印机等构成，并输出各种类型的信息。

存储单元97存储由控制单元94执行的程序、控制单元94的处理所需的信息等。

[控制装置的操作]

接下来，将描述上述控制装置9的操作。

图5是示出控制装置9的操作的流程图。

注意，在以下描述中，假设图像传感器522是生成具有4K像素数目的捕获图像的图像传感器。此外，假设第一图像处理单元932能够处理的最大数据量是具有HD像素数目的图像的数据量。这同样适用于第二至第四图像处理单元933至935。

首先，控制单元94确定控制装置9的当前模式是否是正常观察模式(步骤S1)。

注意，控制装置9的模式由模式切换单元943切换。具体地，模式切换单元943响应于用户(例如，医生)对输入单元95的用户操作，将控制装置9的模式切换到正常观察模式或荧光观察模式。

当确定模式是正常观察模式时(步骤S1：是)，光源控制单元941驱动第一光源31(步骤S2)。也就是说，用正常光(白光)照射活体内部。

在步骤S2之后，成像控制单元942使图像传感器522以预定帧速率捕获第一被摄体图像(正常光)(步骤S3)。然后，成像单元52以光栅为单位依次输出具有4K像素数目的正常光图像。

在步骤S3之后，存储器控制器931控制以将图像写入存储器92并从存储器92读取图像(步骤S4)。

图6和图7是用于解释在正常观察模式下存储器控制器931的操作的图。具体地，图6是用于解释将正常光图像写入存储器92的图。图7是用于解释从存储器92读取正常光图像的图。注意，图6和图7示意性地示出了存储器92中的多个存储体中的特定存储体921。存储体921对应于根据本公开的第一存储区域，并且具有对应于在本实施例中具有4K像素数目的图像的数据量的存储容量。此外，在图7中，存储体921的整个区域以正方形网格形状被等分成四个区域，即第一划分区域Ar1至第四划分区域Ar4。也就是说，在本实施例中，第一划分区域Ar1至第四划分区域Ar4的存储容量均对应于具有HD像素数目的图像的数据量。

具体地，如图6中的箭头和虚线所示，存储器控制器931将从成像单元52依次输出的并由通信单元91逐行接收的以光栅为单位的正常光图像(像素数目：4K)依次写入存储体921。注意，图6中所示的一个箭头指示正常光图像中一行的图像(像素数目：4K)。

此外，存储器控制器931基本上在将一帧的正常光图像(像素数目：4K)写入第四存储位置P4(图7)的时刻的同时，从第一存储位置P1至第四存储位置P4逐行地依次读取写入第一划分区域Ar1至第四划分区域Ar4中的每一个划分区域的图像，如图7中的箭头和虚线所示。

注意，写入第一划分区域Ar1的图像(下文中，描述为第一划分图像)是包括正常光图像中的左上角位置的矩形区域的图像。存储在第一存储位置P1的像素数据是第一划分图像中左上角位置的像素的像素数据。另外，写入第二划分区域Ar2的图像(下文中，描述为第二划分图像)是包括正常光图像中的右上角位置的矩形区域的图像。存储在第二存储位置P2的像素数据是第二划分图像中左上角位置的像素的像素数据。此外，写入第三划分区域Ar3的图像(下文中，描述为第三划分图像)是包括正常光图像中的左下角位置的矩形区域的图像。存储在第三存储位置P3的像素数据是第三划分图像中左上角位置的像素的像素数据。此外，写入第四划分区域Ar4的图像(下文中，描述为第四划分图像)是包括正常光图像中的右下角位置的矩形区域的图像。存储在第四存储位置P4的像素数据是第四划分图像中左上角位置的像素的像素数据。

由于上述第一划分图像至第四划分图像是通过将具有4K像素数目的正常光图像等分为四个而获得的图像，所以第一划分图像至第四划分图像是具有HD像素数目的图像。

然后，读取的第一划分图像至第四划分图像(像素数目：HD)被逐行依次分别输入到第一图像处理单元932至第四图像处理单元935。注意，图7中所示的一个箭头指示第一划分图像到第四划分图像中的一行的图像(像素数目：HD)。

在步骤S4之后，第一图像处理单元932至第四图像处理单元935对输入的第一划分图像至第四划分图像(像素数目：HD)并行地执行图像处理(步骤S5)。在此处，第一图像处理单元932至第四图像处理单元935执行第一图像处理。注意，将在稍后描述的“第一图像处理和第二图像处理”中描述第一图像处理。

在步骤S5之后，观察图像生成单元93经由第二传输电缆8将用于显示正常光图像(像素数目：4K)的第一视频信号输出到显示装置7，通过在执行第一图像处理之后组合第一划分图像至第四划分图像而获得该正常光图像(步骤S6)。因此，显示装置7基于第一视频信号显示正常光图像(像素数目：4K)。

回到步骤S1，当确定当前模式是荧光观察模式时(步骤S1：否)，光源控制单元941执行第一光源31和第二光源32的时分驱动(步骤S7)。具体而言，在步骤S7中，光源控制单元941基于同步信号使第一光源31在第一周期中发光，并使第二光源32在交替重复的第一和第二周期中的第二周期中发光。

在步骤S7之后，成像控制单元942基于同步信号，与第一光源31和第二光源32的发光时刻同步，使成像单元52分别在第一周期和第二周期中捕获第一被摄体图像和第二被摄体图像(步骤S8至S11)。也就是说，在是第一周期的情况下(步骤S8：是)，换句话说，在用正常光(白光)照射活体内部的情况下，图像传感器522捕获第一被摄体图像(正常光)，以生成正常光图像(步骤S9)。另一方面，在第二周期的情况下(步骤S8：否)，换句话说，在用近红外激发光照射活体内部的情况下，图像传感器522捕获第二被摄体图像(近红外激发光和荧光)，以生成荧光图像(步骤S10)。此外，信号处理单元523执行细化处理(步骤S11)。通过细化处理，具有4K像素数目的正常光图像和荧光图像分别被设置为具有HD像素数目的正常光图像和荧光图像。

然后，成像单元52依次输出以光栅为单位的具有HD像素数目的正常光图像，该正常光图像通过在第一周期捕获第一被摄体图像而获得，并且依次输出以光栅为单位的具有HD像素数目的荧光图像，该荧光图像通过在第二周期捕获第二被摄体图像而获得。

在步骤S11之后，存储器控制器931控制将图像写入存储器92并从存储器92读取图像(步骤S12)。

图8和图9是用于解释荧光观察模式下存储器控制器931的操作的图。具体地，图8的(a)是用于解释将正常光图像写入存储器92的图。图8的(b)是用于解释将荧光图像写入存储器92的图。图9的(a)是用于解释从存储器92读取正常光图像的图。图9的(b)是用于解释从存储器92读取荧光图像的图。注意，图8和图9示意性地示出了存储器92中的多个存储体中的特定存储体922和923。存储体922和923均具有与存储体921相同的存储容量(在本实施例中，存储容量对应于具有4K像素数目的图像的数据量)。此外，在图8和图9中，存储体922的整个区域以正方形网格形状等分为四个区域，即第五划分区域Ar5至第八划分区域Ar8，存储体923的整个区域以正方形网格形状等分为四个区域，即第九划分区域Ar9至第十二划分区域Ar12。也就是说，第五划分区域Ar5至第十二划分区域Ar12中的每一个具有与第一划分区域Ar1至第四划分区域Ar4中的每一个相同的存储容量(在本实施例中，对应于具有HD像素数目的图像的数据量的存储容量)。注意，根据本公开，存储体922中的第五划分区域Ar5对应于第二存储区域。此外，根据本公开，存储体923中的第九划分区域Ar9对应于第三存储区域。

具体地，如图8的(a)中的箭头和虚线所示，存储器控制器931将从成像单元52依次输出的并由通信单元91逐行接收的以光栅为单位的正常光图像(像素数目：HD)依次写入存储体922中的第五划分区域Ar5。注意，图8的(a)中所示的一个箭头指示正常光图像中一行的图像(像素数目：HD)。另外，如图8的(b)中的箭头和虚线所示，在将一帧的正常光图像(像素数目：HD)写入存储体922之后，存储器控制器931将从成像单元52依次输出的并由通信单元91逐行接收的以光栅为单位的荧光图像(像素数目：HD)依次写入存储体923中的第九划分区域Ar9。注意，图8的(b)中所示的一个箭头指示荧光图像中一行的图像(像素数目：HD)。

此外，存储器控制器931从第五存储位置P5和第六存储位置P6逐行依次读取分别写入第五划分区域Ar5和第九划分区域Ar9的正常光图像(像素数目：HD)和荧光图像(像素数目：HD)，如图9中的箭头和虚线所示，基本上与从第六存储位置P6开始写入荧光图像(像素数目：HD)的时刻同时。注意，图9中所示的一个箭头指示正常光图像(像素数目：HD)和荧光图像(像素数目：HD)中的一行的图像。此外，在图8和图9中，在时间上相同的时间的箭头具有相同的厚度。即，图8的(b)、图9的(a)和图9的(b)中所示的箭头具有相同的厚度，并且具有与图8的(a)中所示的箭头的厚度不同的厚度。在此处，存储在第五存储位置P5的像素数据是正常光图像中左上角位置的像素的像素数据(像素数目：HD)。另外，存储在第六存储位置P6的像素数据是荧光图像中左上角位置的像素的像素数据(像素数目：HD)。

读取的正常光图像(像素数目：HD)和荧光图像(像素数目：HD)被逐行依次分别输入到第一图像处理单元932和第二图像处理单元933。注意，第三图像处理单元934和第四图像处理单元935在荧光观察模式下不执行任何处理。

在步骤S12之后，第一图像处理单元932和第二图像处理单元933对输入的正常光图像(像素数目：HD)和荧光图像(像素数目：HD)并行地执行图像处理(步骤S13)。在此处，第一图像处理单元932对输入的正常光图像(像素数目：HD)执行第一图像处理。另一方面，第二图像处理单元933对输入的荧光图像(像素数目：HD)执行第二图像处理。注意，将在稍后描述的“第一图像处理和第二图像处理”中描述第一图像处理和第二图像处理。

在步骤S13之后，观察图像生成单元93经由第二传输电缆8向显示装置7输出第二视频信号，以用于显示在执行第一图像处理之后的正常光图像、在执行第二图像处理之后的荧光图像、以及根据相应像素叠加正常光图像和荧光图像的叠加图像中的至少一者(步骤S14)。因此，显示装置7基于第二视频信号显图像(像素数目：4K)。

[第一图像处理和第二图像处理]

在第一图像处理和第二图像处理中，在控制单元94的控制下，例如，如下执行箝位处理、WB处理、数字增益处理、去马赛克处理、颜色矩阵处理、伽马处理、YC处理、第一放大处理和图像增强处理。

(1)箝位处理

在第一图像处理和第二图像处理中，执行相同的箝位处理。

(2)WB处理

在第一图像处理和第二图像处理中，在WB处理中使用不同的增益。

具体地，在第一图像处理中，在WB处理中，箝位处理后的第一划分图像至第四划分图像(像素数目：HD)或正常光图像(像素数目：HD)中的任何一者中的r值、g值和b值分别乘以三个第一增益。三个第一增益是用于白平衡正常光(白光)的波长带中的r值、g值和b值的增益。

另一方面，在第二图像处理中，在WB处理中，箝位处理后的荧光图像中的r值、g值和b值(像素数目：HD)分别乘以三个第二增益。在此处，由于图像传感器522中对荧光的灵敏度在R、G和B中基本相同，所以三个第二增益具有基本相同的值。

(3)数字增益处理

在第一图像处理和第二图像处理中，在数字增益处理中，使用不同的数字增益。也就是说，在第一图像处理中，在数字增益处理中，使用第一数字增益。另一方面，在第二图像处理中，在数字增益处理中，使用不同于第一数字增益的第二数字增益。

具体地，在第二图像处理中，在数字增益处理中，由于荧光图像的亮度低，所以将WB处理后的荧光图像(像素数目：HD)中的r值、g值和b值乘以所有像素共有的数字增益，使得荧光图像具有与正常光图像相同的亮度。

(4)去马赛克处理

在第二图像处理中，不需要执行去马赛克处理。

(5)颜色矩阵处理

在第一图像处理中，执行颜色矩阵处理。

另一方面，在第二图像处理中，由于荧光图像没有颜色，所以不执行颜色矩阵处理。可替代地，在第二图像处理中，使用不校正颜色的颜色校正矩阵来执行颜色矩阵处理。

(6)伽玛处理

在第二图像处理中，执行比第一图像处理具有更高对比度的γ校正。

(7)YC转换

在第二图像处理中，YC转换后的亮度信号和色度信号的色度值(Cb值和Cr值)被设置为0(黑白图像)。可替代地，在第二图像处理中，可以通过添加小色度值来执行着色。

(8)第一放大处理

在第一图像处理和第二图像处理中，在第一放大处理中，可以使用相同的电子变焦放大率，或者可以使用不同的电子变焦放大率。

(9)图像增强处理

在第一图像处理和第二图像处理中，在图像增强处理中，增强图像的强度不同。也就是说，在第一图像处理中，将第一强度被设置为强度。另一方面，在第二图像处理中，将不同于第一强度的第二强度被设置为强度。

在此处，在第二图像处理中，由于荧光图像是暗的并且包含噪声，所以图像增强的强度(第二强度)可能低于第一图像处理中的图像增强的强度(第一强度)。此外，在第二图像处理中，可以另外执行降噪处理。

根据上述实施例，获得了以下效果。

在正常观察模式下，根据本实施例的控制装置9使用存储器92和第一图像处理单元932至第四图像处理单元935将正常光图像(像素数目：4K)划分成第一划分图像至第四划分图像，并且并行地执行图像处理。另一方面，在荧光观察模式下，控制装置9使用存储器92以及第一图像处理单元932和第二图像处理单元933并行地对正常光图像(像素数目：HD)和荧光图像(像素数目：HD)执行图像处理。

也就是说，不需要分别提供对应于正常光图像和荧光图像的存储器和多个图像处理单元，并且可以仅通过提供单个存储器92和四个图像处理单元932至935来执行正常观察模式和荧光观察模式。

因此，可以在不增加电路规模的情况下生成适于观察的图像。

(其他实施例)

尽管到目前为止已经描述了用于执行本公开的实施例，但是本公开不应仅由上述实施例来限制。

在上述实施例中，根据本公开的图像处理单元的数量是四个，但是本公开不限于此，并且可以提供其他数量的图像处理单元。例如，在正常观察模式下处理像素数目为8K的正常光图像的情况下，如果与上述实施例类似地使用能够处理的最大数据量是HD图像的数据量的图像处理单元，则需要提供16个图像处理单元。

在上述实施例中，在图像传感器522是生成HD捕获图像的图像传感器的情况下，可以如下执行处理。

例如，在正常观察模式下，在步骤S3之后，信号处理单元523在成像控制单元942的控制下将正常光图像的像素数目(像素数目：HD)放大到4K。然后，存储器控制器931将正常光图像(像素数目：4K)存储到存储体921中。此后，控制装置9执行类似于上述实施例的处理(步骤S4至S6)。另一方面，在荧光观察模式下，控制装置9不仅仅执行上述实施例中描述的步骤S7至S14中的步骤S11。

在上述实施例中，在荧光观察模式下，以时分方式发射第一波长带中的光和第二波长带中的激发光，但是本公开不限于此。例如，第一波长带中的光和第二波长带中的激发光可以同时发射，第一波长带中的光和第二波长带中的激发光和荧光可以被捕获图像的一侧的滤光器分离，并且可以被两个图像传感器分别捕获。

在上述实施例中，第一波长带中的光是白光，第二波长带中的激发光是近红外激发光，但是本公开不限于此。作为具有彼此不同的第一和第二波长带的第一和第二光源31和32，可以采用其他配置，只要第一光源31发射第一波长带的光并且第二光源32发射不同于第一波长带的第二波长带的光。此时，第一和第二波长带可以是部分重叠或完全不重叠的波长带。此外，第一光源31可以发射窄带光。

顺便说一下，作为用于检测癌细胞的癌症诊断方法之一的光动力诊断(PDD)是常规已知的。

在光动力诊断中，例如，使用光敏物质(例如，5-氨基乙酰丙酸)(下文中，描述为5-ALA)。5-ALA是一种天然氨基酸，最初包含在动物和植物的活体中。5-ALA在体内给药后被吸收到细胞中，并在线粒体中生物合成为原卟啉。在癌细胞中，原卟啉过度积累。此外，在癌细胞中过度积累的原卟啉是光活性的。因此，当原卟啉被激发光(例如，375nm至445nm波长带的蓝色可见光)激发时，原卟啉发射荧光(例如，600nm至740nm波长带的红色荧光)。如上所述，使用光敏物质使癌细胞发出荧光的癌症诊断方法被称为光动力诊断。

在上述实施例中，第一光源31可以由发射白光的LED构成，第二光源32可以由发射激发原卟啉的激发光(例如，375nm至445nm波长带的蓝色可见光)的半导体激光器构成。即使在这样的配置中，也可以获得与上述实施例相同的效果。

在上述实施例中，第一周期和第二周期被设置为在荧光观察模式下交替重复，但是本公开不限于此，并且第一周期和第二周期中的至少一者可以是连续的，并且第一周期和第二周期的频率比可以是1∶1以外的比率。

在上述实施例中，根据本公开的医疗图像处理设备安装在医疗观察系统1上，其中，插入单元2由刚性内窥镜构成，但是本公开不限于此。例如，根据本公开的医疗图像处理设备可以安装在医疗观察系统上，其中，插入单元2由柔性内窥镜构成。此外，根据本公开的医疗图像处理设备可以安装在医疗观察系统上，例如，手术显微镜(参见例如JP 2016-42981A)，其放大并观察被摄体(活体)或被摄体表面(活体表面)中的预定视野。

在上述实施例中，摄像头5的配置的一部分或控制装置9的配置的一部分可以设置在例如连接器CN1或连接器CN2中。

附图标记列表

1 医疗观察系统

2 插入单元

3 光源装置

4 光导

5 摄像头

6 第一传输电缆

7 显示装置

8 第二传输电缆

9 控制装置

10 第三传输电缆

21 目镜单元

31 第一光源

32 第二光源

51 透镜单元

52 成像单元

53 通信单元

91 通信单元

92 存储器

93 观察图像生成单元

94 控制单元

95 输入单元

96 输出单元

97 存储单元

521 激发光截止滤光器

522 图像传感器

522a 滤色器

523 信号处理单元

921至923 存储体

931 存储器控制器

932 第一图像处理单元

932A 箝位处理单元

932B WB处理单元

932C 数字增益处理单元

932D 去马赛克处理装置

932E 颜色矩阵处理单元

932F 伽马处理单元

932G YC处理单元

932H 第一放大处理单元

932I 图像增强处理单元

932J 第二放大处理单元

932K SDI转换器

933 第二图像处理单元

934 第三图像处理单元

935 第四图像处理单元

941 光源控制单元

942 成像控制单元

943 模式切换单元

Ar1 第一划分区域

Ar2 第二划分区域

Ar3 第三划分区域

Ar4 第四划分区域

Ar5 第五划分区域

Ar6 第六划分区域

Ar7 第七划分区域

Ar8 第八划分区域

Ar9 第九划分区域

Ar10 第十划分区域

Ar11 第十一划分区域

Ar12 第十二划分区域

CN1、CN2 连接器

P1 第一存储位置

P2 第二存储位置

P3 第三存储位置

P4 第四存储位置

P5 第五存储位置

P6 第六存储位置。

Claims (9)

1.一种医疗图像处理设备，包括：

第一捕获图像获取单元，获取通过捕获来自观察目标的光而获得的第一捕获图像，所述观察目标在被不同于第一波长带的第二波长带的激发光照射时发射荧光，并且所述观察目标被所述第一波长带中的光照射；

第二捕获图像获取单元，获取通过捕获来自被所述激发光照射的所述观察目标的荧光而获得的第二捕获图像；

模式切换单元，在第一观察模式和第二观察模式之间切换；

存储器，暂时存储图像；

存储器控制器，控制以将所述图像写入所述存储器和从所述存储器读取所述图像；以及

多个图像处理单元，对每个输入图像并行地执行图像处理，其中，

所述存储器控制器：

在所述第一观察模式下，将所述第一捕获图像写入所述存储器中的第一存储区域；从所述第一存储区域中的多个划分区域中分别读取多个划分图像，多个所述划分图像通过将所述第一捕获图像划分为与所述图像处理单元的数量相对应的数量而获得，在多个所述划分区域中分别写入多个所述划分图像；并且将多个所述划分图像分别输出到多个所述图像处理单元，并且

在所述第二观察模式下，将所述第一捕获图像写入第二存储区域并且将所述第二捕获图像写入第三存储区域，所述第二存储区域和所述第三存储区域中的每个存储区域的存储容量与所述存储器中的每个所述划分区域的存储容量相同；从所述第二存储区域读取所述第一捕获图像并且从所述第三存储区域读取所述第二捕获图像，并且将所述第一捕获图像和所述第二捕获图像分别输出到多个所述图像处理单元中的两个图像处理单元中。

2.根据权利要求1所述的医疗图像处理设备，其中，

所述图像处理单元在所述划分图像或所述第一捕获图像输入时执行第一图像处理，并且在所述第二捕获图像输入时，执行不同于所述第一图像处理的第二图像处理。

3.根据权利要求2所述的医疗图像处理设备，其中，

所述第一图像处理包括用于将所述划分图像或所述第一捕获图像中的像素值乘以第一数字增益以放大所述像素值的数字增益处理，并且

所述第二图像处理包括用于将所述第二捕获图像中的像素值乘以不同于所述第一数字增益的第二数字增益以放大所述像素值的数字增益处理。

4.根据权利要求2所述的医疗图像处理设备，其中，

所述第一图像处理包括用于针对所述划分图像或所述第一捕获图像以第一强度增强图像的图像增强处理，并且

所述第二图像处理包括用于针对所述第二捕获图像以不同于所述第一强度的第二强度增强图像的图像增强处理。

5.根据权利要求4所述的医疗图像处理设备，其中，所述第二强度低于所述第一强度。

6.根据权利要求1所述的医疗图像处理设备，其中，在所述存储器中，

在所述第一观察模式下，将总像素数目为第一像素数目的所述第一捕获图像写入所述第一存储区域，并且

在所述第二观察模式下，当所述图像处理单元的数量为N时，将经细化处理的所述第一捕获图像写入所述第二存储区域并且将经细化处理的所述第二捕获图像写入所述第三存储区域，在所述细化处理中，总像素数目设置为等于或小于所述第一像素数目的1/N的第二像素数目。

7.根据权利要求1所述的医疗图像处理设备，其中，

在所述第二观察模式下，所述第一捕获图像获取单元和所述第二捕获图像获取单元以时分方式交替获取所述第一捕获图像和所述第二捕获图像，并且

在所述第二观察模式下，所述存储器控制器以所述时分方式交替地将所述第一捕获图像写入所述第二存储区域并且将所述第二捕获图像写入所述第三存储区域，并且在开始写入所述第一捕获图像和所述第二捕获图像中的一个捕获图像的时刻，同时从所述第二存储区域和所述第三存储区域读取所述第一捕获图像和所述第二捕获图像中已经写入的另一图像以及刚刚写入的图像。

8.一种医疗观察系统，包括：

光源装置，发射第一波长带的光、和不同于所述第一波长带的第二波长带的激发光；

成像装置，通过捕获来自观察目标的光来生成第一捕获图像，所述观察目标在被所述激发光照射时发出荧光并且所述观察目标被所述第一波长带中的光照射，并且通过捕获来自被所述激发光照射的所述观察目标的所述荧光来生成第二捕获图像；以及

根据权利要求1所述的医疗图像处理设备，所述医疗图像处理设备处理所述第一捕获图像和所述第二捕获图像。

9.一种医疗观察系统，包括：

光源装置，发射第一波长带的光、和不同于所述第一波长带的第二波长带的激发光；

成像装置，通过捕获来自观察目标的光来生成第一捕获图像，所述观察目标在被所述激发光照射时发出荧光并且所述观察目标被所述第一波长带中的光照射，并且通过捕获来自被所述激发光照射的所述观察目标的所述荧光来生成所述第二捕获图像；以及

根据权利要求2所述的医疗图像处理设备，所述医疗图像处理设备处理所述第一捕获图像和所述第二捕获图像。

Images