CN109222865A - 一种多模态成像内窥镜系统 - Google Patents

Abstract

本发明公开了一种多模态成像内窥镜系统，包括图像采集单元、控制及处理单元、同步单元、人机交互单元和变焦控制单元，本发明多模态成像内窥镜系统可用于同一被检目标的多种模态成像，结合多种成像结果进行综合对比及分析，能够方便快速病理定性，从而提高多种病症的检出率。医生可根据不同的成像目的切换到不同的成像模态，不需要更换不同的内镜系统；也可以同时多模态成像进行比对。从而为医生一次性提供了多种临床检查手段，简化了操作，减少病人的等待时间，减轻病人的痛苦。

Description

一种多模态成像内窥镜系统

技术领域

本发明涉及一种内窥镜系统，具体是一种多模态成像内窥镜系统。

背景技术

近年来，内窥镜在微创手术、组织病理检查及诊断等诸多领域得到了广泛的应用。

常规内窥镜通常使用接近于白色光的光源照明被检区域，可以获得近似日光照明的效果，与人眼日常观察物体的情况相似，白色光是包含各种颜色光的混合光。

窄带光是带宽范围非常狭窄的光波，利用窄带光作为光源，照明后成像就是窄带光成像。窄带光成像是利用被检体的不同部分对不同波长的光吸收度不同的原理来获得图像的。窄带光成像相较于常规的白光成像，可以增加黏膜上皮和黏膜下血管的对比度和清晰度，而且能够将病灶的边界显示得更加清楚。

常规内窥镜成像所得图像为二维平面图像，不像人眼观察物体能够获得立体的感觉，它丢失了观察区域的深度信息，相对于实际情况有所失真。不过这种成像方式实现起来相对简单。

三维立体成像可生成三维立体影像，如实反映了被观察物的立体结构形态和各部分的位置关系，与人眼直观感觉一致。

显微镜能够观察到细胞和亚细胞水平，可用于进行活体组织学检查。将显微镜的放大成像技术应用于内窥镜，则可以通过内窥镜直接获取可疑病灶区域的在体实时组织学图像，这对于较小病灶及早期肿瘤诊断具有非常快速、准确的优势。

近红外光照射有机物时，有机物中的含氢基团和频率相同的光线将发生共振现象，而如果光的频率和基团的振动频率不同，该频率的红外光就不会被吸收。因此，用一定频率范围的近红外光照射人体组织时，由于对不同频率近红外光的选择性吸收，近红外光在某些波长范围内会变弱，这样的红外光线就携带了有机物组分和结构的信息，通过分析，可以确定这些信息。

以上成像技术有各自的特长和应用范围，如果能综合以上技术研制出一种多模态内窥镜，其优点十分明显：可以运用多种技术同时获得被观察部位的综合信息，获取的信息更加全面，有利于准确地对病情做出判断；减少了所需设备，检查更加便捷。提高检查准确率的同时缩短了检查时间，能够大大提高诊断效率。

但由于内窥镜应用领域的特点，对其尺寸大小有着极为严格的限制，故而在一个内窥镜系统中实现上述所有多模态成像技术极为困难，目前尚无先例。而解决多个模态的实时成像也是较为复杂的技术问题。

利用内窥镜检查帮助进行病情诊断已在医疗领域得到广泛应用，当前的诊断方式只能通过人工进行。人工诊断依靠个人的主观经验和判断，局限性很大：同一病患的病情在不同医生处得到的诊断结果可能有很大的不同；一位医生在处理过多位病患后，由于体力、生理、心理等原因，诊断效率会下降，出错概率会增大。找到一种能够辅助临床医师快速、准确、有效地进行诊断的方法是当前内窥镜辅助诊断领域尚待解决的问题。

发明内容

本发明的目的在于提供一种多模态成像内窥镜系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种多模态成像内窥镜系统，包括图像采集单元、控制及处理单元、同步单元、人机交互单元和变焦控制单元，

图像采集单元，用于将采集的光学图像信号变换为数字图像信号；

控制及处理单元，用于处理数字图像信号，实现对整个系统的控制，存储图像及程序；

同步单元，用于控制在不同工作模态间进行切换时，各个模块进行同步工作；

人机交互单元，用于实现所述内窥镜系统与用户、与其他外部设备及环境的信息交互；

变焦控制单元，用于驱动变焦镜头变换焦距，调整放大倍数；

所述图像采集单元包括用于将接收的光学图像变换为电子信号的图像传感单元、用于将变换后的电子信号进行滤波、放大并且提升其信噪比的滤波放大单元和用于进行A/D转换并且将信号变换为数字信号信号转换单元；

所述控制及处理单元包括用于负责系统的整体控制、接收用户的操作命令、协调各部分协同工作的主控制单元、用于对接收到的数字图像信号进行各种图像处理以及运行人工智能深度学习算法软件的图像处理单元和存储单元；

所述同步单元包括用于产生不同类型的同步控制信号，控制传感器控制单元和光源控制单元执行同步操作的同步控制单元、用于接收同步控制信号并且按指令切换不同通道的图像传感器件的传感器控制单元和用于控制光源的强弱，并按同步控制信号的要求对光源及滤光片组进行切换控制光源控制单元；

所述人机交互单元包括操作单元、用于显示图像、信息，提供用户界面的显示单元和用于提供所述内窥镜系统与外部进行信息交互的通道的接口单元；

所述主控制单元分别连接信号转换单元、同步控制单元、操作单元、光源控制单元、存储单元、接口单元、图像处理单元、图像传感单元、滤波放大单元和变焦控制单元，变焦控制单元还连接成像光学系统，成像光学系统还分别连接观察区域和图像传感单元，图像传感单元还分别连接传感器控制单元和滤波放大单元，滤波放大单元还连接信号转换单元，图像处理单元还分别连接存储单元和信号转换单元，光源控制单元还分别连接同步控制单元和传感器控制单元，光源单元还连接照明光学系统。

作为本发明的优选方案：所述接口单元还分别连接显示单元和数字影像中心。

作为本发明的优选方案：所述照明光学系统发出的光位于观察区域内部。

作为本发明的优选方案：所述成像光学系统包括一个内窥镜，内窥镜插入部的头端部设有第一成像窗口、第二成像窗口、第三成像窗口、备用通道窗口、第一照明窗口、第二照明窗口和第三照明窗口。

作为本发明的优选方案：所述存储单元包括DDR、NAND FLASH、NOR FLASH和固态硬盘。

作为本发明的优选方案：还包括由光源和滤光片组组成的照明分系统，其中光源用于产生各工作模态所需的照明光，可包括宽光谱光源和近红外光源；滤光片组对光源滤光，用于产生所需波长范围的光。

作为本发明的优选方案：所述操作单元包括单元按键、旋钮和触摸屏。

与现有技术相比，本发明的有益效果是：本发明可用于同一被检目标的多种模态成像，结合多种成像结果进行综合对比及分析，能够方便快速病理定性，从而提高多种病症的检出率。医生可根据不同的成像目的切换到不同的成像模态，不需要更换不同的内镜系统；也可以同时多模态成像进行比对。从而为医生一次性提供了多种临床检查手段，简化了操作，减少病人的等待时间，减轻病人的痛苦。多模态实时成像能够获得丰富的信息，但信息量的增大，对医生个人经验和能力的要求也大大提高，同时增大了其工作量。所述多模态内窥镜系统利用人工智能技术进行分析、识别、判断，降低了对医生个人能力要求的门槛，减轻了医生的工作量，可为医生快速提供有价值的参考，帮助实现实时精准医疗。

附图说明

图1是内窥镜插入部的头端部正面主视图。

图2是内窥镜系统构成示意图。

其中，1.第一成像窗口，2.第二成像窗口，3.第三成像窗口，4.备用通道窗口，5.第一照明窗口，6.第二照明窗口，7.第三照明窗口，8.内窥镜插入部的头端部。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-2，实施例1：本发明实施例中，一种多模态成像内窥镜系统，如图2所示：其中，电子系统包括整个系统全部电子电路部分，具体有：图像采集单元、控制及处理单元、同步单元、人机交互单元和变焦控制单元。

图像采集单元包括图像传感单元、滤波放大单元、信号转换单元。图像传感单元接收到光学部分传来的光学图像信号，将其进行光电转换变为电子信号。滤波放大单元先将图像传感单元输出的电子信号进行滤波，滤除噪声等干扰信号，再进行放大，将信号增强。信号转换单元将增强的信号变换成计算机能处理的数字图像信号。图像采集单元的核心可以是一块集成化的芯片，其各个功能模块分别实现光电转换、信号滤波放大、A/D转换的功能；图像采集单元也可以由相互独立的芯片及其辅助电路分别实现上述功能。

控制及处理单元包括主控制单元、图像处理单元、存储单元几个主要部分。其中

主控制单元负责系统的整体控制，接收用户的操作命令，协调各部分协同工作。如对图像处理的控制、图像显示控制、信号转换控制、信号放大控制、传感控制，变焦控制，同步控制，光源控制等。

图像处理单元对接收到的数字图像信号进行各种图像处理，从中提取有用信息，并将处理后的图像及信息等送入存储单元缓存。同时，图像处理单元运行人工智能深度学习算法，通过大量数据的训练，自主推理，实现对多模态图像信息的融合并进行病情诊断。

存储单元包含多种类型的存储器，用于存储程序及图像数据。

同步单元包括同步控制单元、传感器控制单元、光源控制单元。同步控制单元接收主控制单元的同步操作指令，产生不同类型的同步控制信号，控制传感器控制单元和光源控制单元进行同步操作。传感器控制单元接收同步控制信号，按指令切换不同通道的图像传感器件。光源控制单元一方面按照主控制单元的要求控制光源的强弱，另一方面接收同步控制信号，对光源单元中的光源及滤光片组进行轮转控制。

人机交互单元包括操作单元、显示单元、接口单元。操作单元主要是按键、旋钮、及触摸屏等，将用户的意图通知主控制单元进行相应的操作。显示单元用于显示高清、立体（或平面）视频图像，提供用户界面供用户操作选择，显示辅助诊断信息等。接口单元将满足格式要求的图像、信息等提供给显示单元进行显示。同时接口单元也是本内窥镜系统与外部世界之间的桥梁，提供本系统与外部进行信息交互的通道。比如通过接口单元，可以将系统中存储的数据、影像信息上传给外部的数字影像中心；或者将外部影像中心的数据、信息下载到本系统，供本系统深度学习算法进行训练所用。

变焦控制单元用于驱动变焦镜头变换焦距，调整放大倍数。变焦功能可通过微电机驱动、液压、气动、电磁、机械传动等方式实现。

如果对系统性能要求不是太高、功能不用太多，也可以采用一些简化的实施方案。例如，省去照明光学系统，通过少量简单的结构辅助实现光源的照明；省去变焦透镜和变焦控制部分，只使用定焦透镜；省去同步单元，即传感器控制单元、光源控制单元、同步控制单元等部分，由主控制单元加上少量辅助电路，控制图像传感器和光源，以实现简单的同步功能；使用本身具有滤波、放大、信号转换功能的图像传感器芯片（如一些CCD、CMOS芯片等），用一块芯片完成图像传感单元、滤波放大单元、信号转换单元所实现的相关功能，但其性能可能会有所降低；将主控制单元与图像处理单元合并，用一块处理器芯片执行控制、图像处理等任务；省去按键、旋钮等，仅通过触摸屏完成人机交互任务等等。

还包括软件系统，软件系统主要包括系统控制软件、图像处理软件、人工神经网深度学习辅助诊断软件。操作系统及底层驱动软件提供支撑。

系统控制软件负责整个系统的控制与运行，各种资源的调配，人机交互，信息、数据的内/外传输控制等。

图像处理软件负责实现图像变换、图像增强、图像恢复、图像压缩编码、图像分割、图像描述、图像识别等多种图像处理技术。

人工神经网深度学习辅助诊断软件通过巨量样本的训练，不断增加神经网络深度，逐渐提升识别特征的复杂度，利用图像处理软件工具对多模态图像特征的提取，完成多模态特征的融合，逐步加深对多模态图像特征之间以及与相关病症间关联性的理解，从而实现对特定病症的识别，辅助医生进行病情诊断。

软件系统光学系统，光学系统包括照明光学系统和成像光学系统。照明光学系统用于引导各工作模态所需的照明光按照要求的方向、角度、范围，照射观察区域。成像光学系统收集观察区域的反射光，并传导至图像采集单元做后续处理。对于不同模态的成像方式，相应的光学系统有各自的要求，设计中尽量增加通用部分，减少专用部分，将通用部分复用，以降低对空间的占用。成像光学系统中包含变焦透镜组，由变焦控制单元实现对变焦透镜组的变焦控制作用。

还包括照明系统，照明系统即光源单元，包括光源和滤光片组。光源用于产生各工作模态所需的照明光，包括宽光谱光源和近红外光源。宽光谱光源可采用波长范围为200nm～1100nm的氙灯，色温约6000K，显色指数大于90。氙灯既包含可见光谱，也包含短波近红外光谱（780～1100nm），已能够满足很多医学应用的要求，如还需更大波长如1100nm～2500nm的长波近红外光，需要增加近红外光源，如卤素灯等。宽光谱光源的其他替代方案可采用全光谱LED（400～700nm）等。通过滤光片组完成滤光作用，最终产生所需波长范围的光：对于可见光谱应用，滤除非可见光谱部分；对于近红外应用，滤除非红外部分；对于窄带应用，滤除带外部分。系统还包含1～10片，带宽为10nm～40nm的窄带滤光片，以覆盖绝大部分可见光谱范围。照明系统的控制由电子系统的光源控制单元来实现。照明系统发出的光输出到照明光学系统，最终产生符合需要的照明光。

还包括结构系统，结构系统是系统的机械结构组成，包括内窥镜镜体，主机，外接光源设备，以及镜体与主机或光源的连接线缆等。内窥镜镜体包括插入部分和手持部分。插入部分是内窥镜插入人体的部分，手持部分是医生手握持的部分。主机中容纳系统的主要电子电路模块。外接光源设备是光源的载体，一种方案是外接光源设备通过照明光缆直接与内窥镜镜体连接；再一种方案是外接光源设备先通过光缆接入主机，再由主机将照明光传输给内窥镜；再一种方案是光源与主机一体放置在同一个设备内，但要防止二者相互间发生干扰；再一种方案是设法将光源整合进入内窥镜体内，但此时氙灯、卤素灯等光源由于体积太大，难以实现，可选用小体积光源如LED等。结构系统主要是为其他分系统提供结构支撑、连接和保护作用。

宽光谱全色成像：将涵盖可见光波长范围的宽光谱全色光源发出的光，经滤除非可见光部分，通过照明光路照射到观察区域。成像光学系统采集观察区域的光学图像，图像采集单元将光学图像转变成电信号，经放大、滤波，转换等处理，变成图像处理单元能够处理的数字图像信号。图像处理单元进行图像处理，并将处理后的图像暂存在存储器中，最后经接口单元输出给显示单元进行显示。所有这些工作均在主控制单元的协调控制下完成。宽光谱全色成像显示的是观察区域的真实图像。

窄带光成像：宽光谱全色光源经窄带滤光片滤光后输出，变成窄带光，利用窄带光照射观察区域，得到窄带光光学图像，图像采集单元中的图像传感器采集到窄带光图像后，采用与上述宽光谱全色成像类似的步骤进行处理，最后输出窄带光图像。另一种实现方案，是直接用宽光谱全色光源照射观察区域，反射光先经窄带滤光器后再进入图像传感器进行图像采集。

近红外成像：用近红外光源或宽光谱光源滤除非红外光后获得的近红外光照射观察区域，用近红外图像传感器或能接收近红外光谱的宽光谱图像传感器采集观察区的图像，这是一种人眼所不能看到的图像。近红外光学图像数字化以后，通过图像处理单元及显示单元将其转换成人眼能看到的可见光图像显示出来。

将上述成像功能同时与变焦放大功能相结合，可以更加方便灵活地将大区域范围观察与微小区域观察结合起来，有利于更快发现可疑病灶。

二维平面成像：不管是宽光谱成像，还是窄带、近红外成像，成像光路和图像传感器只使用一套，所得图像即为二维平面图像。

三维立体成像：使用两个图像传感器及两套配套光路，模拟人眼双目成像的原理得到立体图像。两套成像子系统从内窥镜末端不同位置同时获得被观察物的两幅图像，两幅图像之间的差异，反映了两套设备间的视差，视差形成深度感。由于内窥镜末端空间非常狭小，与人眼的几何条件存在较大差异，通过建立双镜头模拟人眼的几何模型，以此为参照，对镜头及传感器参数进行精确的标定，将两套光路及图像传感器的光学性能、电子性能进行严格校准，使相关指标精确一致，以避免图像畸变。对影响视差的参数进行控制，使系统视差与人眼视差保持一致性。两套子系统所得到的两幅图像在图像处理单元中整合为一幅图像，最后通过显示单元进行显示。

显微成像：用于观察可疑病灶区域细胞的微观结构，进行组织病理学诊断，防止早期病变的漏诊。采用反射光成像方式，用前述照明光源经滤光片后产生的照明光束通过照明光路以及分光器从显微物镜方向照射到被观察物表面，被物面反射后再返回显微物镜，经分光器后进入变焦透镜组，通过变焦透镜组成像到后端的图像传感器上。所述变焦透镜组也可以更换为定焦透镜组。由于前述照明光源的多样性，因此本发明可实现宽光谱全色显微成像、窄带光显微成像、近红外显微成像。所述显微物镜采用非球面透镜与球面透镜组合的方式，以实现微型化和低像差的目标。

多模态实时（同时）成像：采用复用的方法解决多模态实时成像的难题。

技术方案一，采用时分复用的方法。比如，要同时实现窄带光成像和近红外成像，采用时分复用的方法，利用系统同步单元的同步协调功能，使本发明所述内窥镜系统在窄带光成像和近红外成像两种工作模态之间不断地进行快速切换，从而在一个较长的时间里实现二者同时成像。

多模态图像的显示有多种方式，可以将多模态图像进行整合后，在一个显示屏上分区域显示；也可以通过接口单元的多个显示输出接口，使各模态图像在不同的显示设备上显示。

技术方案二，采用波分复用的方法。比如，要进行多光谱窄带成像，用宽光谱可见光源照射观察区域，将采集的宽光谱反射光分别进行多光谱窄带滤光，即可同时获得多个窄带光谱图像。

人工智能深度学习辅助诊断：在图像处理单元中运行人工智能深度学习辅助诊断软件，通过大量样本数据的持续训练，不断构建深度神经网，充分利用多模态图像所包含的丰富信息，逐步提升所识别特征的复杂度，利用图像处理软件工具对多模态图像特征进行提取，实现多模态特征融合，逐步加深对多模态图像特征之间相关性以及与特定病症关联性的理解，从而实现对特定病症图像表征的识别，最终辅助医生完成病理、病情的快速诊断。

本发明所述的多模态内窥镜系统，通过接口单元实现与外部数字影像中心的信息交互。该外部数字影像中心可为所述多模态内窥镜系统提供强大的支撑作用。

接口单元提供以太网口和无线接口，可通过有线或无线的方式与外部数字影像中心进行连接。

外部数字影像中心可以是医院自己的影像数据库，也可以是互联网上的云数据库。

该数据库可为所述多模态内窥镜系统提供训练用的大量样本数据，同时，所述内窥镜系统也将处理后的数据及最后的诊断结果上传数据库，不断丰富补充数据库。

人工智能深度学习辅助诊断软件起初运行在所述内窥镜系统平台上。随着神经网络深度的不断加深，系统资源（如存储资源、运算资源）逐渐枯竭，需将人工神经网络逐步移入云端，所述内窥镜系统仅为神经网的一部分甚至仅作为终端节点。此时，具有强大运算能力的集中式或分布式云神经网将起决定作用。

多模态成像内窥镜系统的临床应用方法：

医生可以充分利用所述内窥镜系统具备的多种功能，结合各种模态的成像结果，更加快速有效地确定病情病因，仅用一台设备即能完成以前需要多台设备组合才能完成、甚至不能完成的任务。比如，先通过宽光谱全色二维平面成像功能巡视病人的组织、器官，此时可运用变焦功能不断拉近、推远视场，以尽快找到可疑区域。然后对准可疑区域，转换为窄带模式，利用窄带成像功能，可高对比显示可疑区域的边界范围，以及清晰成像浅表血管的分布情况。接着，应用近红外成像功能，可分析组织的有机物构成，以及实现如血液流动等功能学成像。在经以上步骤判断为可能的病变区域处，进行原位显微成像，观察细胞形态、结构的变化，以明确病变的性质。最后应用三维立体成像功能指导对恶性病变部位的微创手术切除。

进一步地，医生可应用多模态实时成像功能，设置好所需的工作模态，启动数个工作模态同时工作，将多模态图像同时显示在一个显示设备的不同区域或用多个显示设备分别显示，并自动标注出观察部位的特征区域及相关指标参数。通过图像之间的即时对比，可以迅速发现各模态图像间的差异与联系，提高诊断速度。

再进一步地，医生启动多模态实时成像及人工智能辅助诊断功能，通过人工神经网对多模态图像特征的提取，将分离的多模态图像融合成完整的多维全息图像，并给出参考结论以及判断依据，帮助实现最终的病理诊断。

照明光学系统与成像光学系统构成所述内窥镜系统的“光学系统”分系统。

照明光学系统为照明系统（即光源单元）中的光源发射光提供通路，如图1的第一照明窗口5、第二照明窗口6、第三照明窗口7所示，使所需的照明光按照要求的方向、角度、范围，照射观察区域。

成像光学系统收集观察区域的反射光，传导至图像采集单元做后续处理。成像光学系统中包括镜头等光学部件。

光源单元是所述内窥镜系统的“照明系统”分系统。包括光源和滤光片组。

光源包括宽光谱光源和近红外光源。所述宽光谱光源应至少覆盖380nm～780nm全部可见光波长范围，近红外光源应包含780nm～2500nm近红外光谱范围。宽光谱光源可选用氙灯或其他满足要求的光源，色温6000K，显色指数应大于90。近红外光源可选用卤素灯等。宽光谱光源的一种替代方案是采用全光谱LED（400～700nm）。在另一种实施例中，所用宽光谱光源除覆盖可见光谱波长范围外，还包含所需近红外波长光谱，则可以仅用此一种光源而无需再增加近红外光源。

滤光片组用于对上述光源进行滤光，产生满足要求的照明光。滤光片组包含以下种类的滤光片或能实现以下功能的滤光片的组合应用：对于可见光谱应用，使用可滤除非可见光谱的滤光片；近红外应用，使用近红外透过滤光片；窄带光应用，使用窄带滤光片。滤光片组中包含1～10片带宽为10nm～40nm的窄带滤光片，以覆盖绝大部分可见光谱范围。产生窄带照明光的另一种实施方式是直接使用窄带光源，例如三色（红、绿、蓝）LED光源等。

变焦控制单元用于驱动变焦镜头变换焦距，调整放大倍数。变焦功能可通过微电机驱动、液压、气动、电磁、机械传动等方式来实现。

图像传感单元、滤波放大单元、信号转换单元构成图像采集单元。图像传感单元接收成像光学系统传来的光学图像信号，将其进行光电转换变为电子信号。滤波放大单元将信号进行滤波、放大，增强信号。信号转换单元进行A/D转换，变换成数字图像信号。图像采集单元的核心是图像传感器，有CCD及CMOS等类型。很多图像传感器除了采集光信号并进行光电转换之外，还拥有滤波、放大、A/D转换等功能模块，一块芯片就能完成以上各单元所实现的功能

图像处理单元、存储单元与主控制单元构成控制及处理单元。图像处理单元对数字图像信号进行图像处理，将处理后的图像及信息等送入存储单元缓存。图像处理单元也运行人工智能深度学习辅助诊断软件。主控制单元运行系统控制软件，负责内窥镜系统的整体控制，产生各种控制命令，如图像处理控制、图像显示控制、同步控制、光源控制、传感控制信号、放大控制信号、转换控制信号、变焦控制信号等，协调各部分协同工作。存储单元包括多种类型的存储器（如DDR、NAND FLASH、NOR FLASH、固态硬盘等），存储程序及图像数据。

同步控制单元、光源控制单元及传感器控制单元构成同步单元。同步控制单元接收主控制单元的同步操作指令，产生不同类型的同步控制信号，控制传感器控制单元和光源控制单元进行同步操作。传感器控制单元接收同步控制信号，按指令切换不同通道的图像传感器件。光源控制单元按照主控制单元的要求控制光源的发光强弱，同时接收同步控制信号，对光源单元中的光源及滤光片组进行轮转控制。

操作单元、显示单元以及接口单元构成人机交互单元。操作单元包括按键、旋钮、及触摸屏部分，用户通过操作单元将自己的操作意图通知主控制单元进行相应操作。显示单元显示视频图像及有关信息。接口单元提供各种标准接口，是所述内窥镜系统与外界联系的桥梁，比如提供显示接口与显示单元连接、通过以太网口、无线接口连接互联网等。

数字影像中心并非所述内窥镜系统的必须组成部分。但其可以为所述内窥镜系统提供重要的支撑作用。数字影像中心可以是医院自己的影像数据库，也可以是互联网上的云数据库。该数据库可为所述多模态内窥镜系统提供训练用的大量样本数据，同时，所述内窥镜系统也可将处理后的数据及最后的诊断结果上传数据库。随着人工智能深度学习辅助诊断软件规模的不断扩大，数字影像中心将可能成为该诊断软件运行的主体平台。

图像采集单元、控制及处理单元、同步单元、人机交互单元、变焦控制单元构成了所述内窥镜系统的“电子系统”分系统。

系统控制软件、图像处理软件、人工智能深度学习辅助诊断软件、操作系统及底层驱动软件构成所述内窥镜系统的“软件系统”分系统。

系统控制软件负责整个系统的控制与运行，各种资源的调配，人机交互，信息、数据的内/外传输控制等。

图像处理软件负责实现图像变换、图像增强、图像恢复、图像压缩编码、图像分割、图像描述、图像识别等多种图像处理技术。

人工智能（人工神经网）深度学习辅助诊断软件利用图像处理软件工具对多模态图像特征进行提取，实现多模态特征融合，逐步加深对多模态图像特征之间相关性以及与特定病症关联性的理解，从而实现对特定病症图像表征的识别，辅助医生完成病理、病情的快速诊断。

操作系统及底层驱动软件为上述软件提供支撑作用。

内窥镜镜体、主机、外接光源设备、以及镜体与主机或光源的连接线缆构成所述内窥镜系统的“结构系统”分系统。内窥镜镜体包括插入部分和手持部分，分别供插入人体和医生手持之用。主机容纳内窥镜系统的主要电子电路模块。外接光源设备是光源的载体，一种实施方式是外接光源设备通过照明光缆直接与内窥镜镜体连接；再一种实施方式是外接光源设备先通过光缆接入主机，再由主机传输给内窥镜；再一种实施方式是光源与主机一体放置在同一个设备内，通过屏蔽、滤波、物理隔离等措施防止二者相互间发生干扰；再一种实施方式是将光源整合进入内窥镜体内，但需选用小体积光源如LED等。结构系统主要是为其他分系统提供结构支撑、连接和保护作用。

上述电子系统、软件系统、光学系统、照明系统、结构系统等分系统综合在一起，构成本发明所述的多模态成像内窥镜系统。

一个具体成像过程实施例，以白光二维平面成像为例：

白光是包含各种可见光谱的混合光，通过所述内窥镜系统的宽光谱全色光源即可产生。

使用者通过操作单元，选择需要观察白光二维图像。主控制单元接收到用户指令，向光源控制单元发出控制命令。光源控制单元按要求打开光源单元中的宽光谱全色光源，并控制其光照强度（例如通过脉宽调制方式），同时设置滤光片组中的可见光透过滤光片（例如可用红外截止滤光片与紫外截止滤光片的组合）对光源发射光进行滤光，得到包含全部可见光谱的宽光谱白光，经照明光学系统的引导作用，通过某一个照明窗口（比如第一照明窗口）出射，获得白光照明光。照明光照射观察区域，其反射光为成像光学系统所收集。在此期间，使用者可能手持内窥镜进行移动，同时调整焦距以获得清晰的图像，主控制单元发出变焦控制信号，使变焦控制单元驱动成像光学系统中的相应变焦镜头进行焦距变换。成像光学系统的某一成像窗口（比如第一成像窗口）收集到光线后，通过其成像光路中各种光学部件的传导，将清晰的光学图像信号投射在图像传感器的感光面上。图像传感器是图像传感单元的核心部件，主控制单元发出传感控制信号，对图像传感器进行参数设置。图像传感单元对光信号进行光电转换之后变为电信号，经滤波放大单元的滤波、放大作用，得到信噪比有所提升的信号。滤波放大单元的滤波、放大功能，是通过主控制单元发出的放大控制信号来控制实现的。滤波放大后的信号经信号转换单元的A/D转换，变为数字图像信号。主控制单元发送转换控制信号，设置A/D转换参数。图像处理单元将数字图像信号进行所需图像处理之后，送入存储单元暂存。主控制单元将暂存的图像帧取出，通过接口单元输出给显示单元。显示单元不断接收图像帧并显示，使用者即可看到连续的视频图像。主控制单元可将处理后的图像、视频以及其他信息通过接口单元上传给外部数字影像中心，或者将外部数字影像中心的数据库中的图像、数据下载到本内窥镜系统。

多模态实时（同时）成像实施例一，采用时分复用的方法，以近红外成像与一种窄带（比如蓝光）成像为例，其他情况类似：

主控制单元接收到操作单元传来的用户命令，需要同时实时观察窄带蓝光图像和近红外图像。主控制单元根据选择的帧率（比如每秒60帧）确定操作周期，并设置一个操作周期内两种工作模态各自占据的时间片（两种模态各自占据的时间片长短可能相同也可能不同），然后将相关命令转发给同步控制单元。同步控制单元根据时间片设置要求，将同步控制信号分别送往光源控制单元和传感器控制单元，定时启动同步操作。

光源控制单元接收到同步控制信号，将对输出的照明光进行控制，使照明光在窄带蓝光和近红外光之间按照各自所分配的时间片进行分时切换。

比如，第一个时间片要发射窄带蓝光，则在宽光谱全色光源前设置窄带蓝光滤光片，使窄带蓝光可以从第一照明窗口中发射出来，照射观察区域，与此同时，用光遮断器遮断近红外光源处的照明光路，使近红外光不能照射；第二个时间片要发射近红外光，则在近红外光源前设置近红外透过滤光片，使近红外光可以从第二照明窗口中照射出来，同时，用光遮断器遮断宽光谱光源处的照明光路，使其不能发射出来。同理，第三、第四时间片以及后续时间片按照上述步骤不断轮转。

传感器控制单元接收到同步控制信号，控制窄带模态和近红外模态的图像传感器（比如可将两种图像传感器分别设置在第一成像窗口和第三成像窗口各自的通道中）交替工作，使它们同步采集对应的窄带光及近红外光图像。后端的图像处理单元按顺序将不同模态的图像帧进行区分、处理，最后通过显示单元进行显示。如果图像传感器具有宽光谱的敏感度，比如既能感应可见光，又能感应近红外光，则使用一块图像传感器芯片即可，此图像传感芯片分时采集窄带帧及近红外帧图像。

其他成像实施过程与前类似，不再赘述。

不同工作模态的切换速率与显示帧率的关系决定后续图像显示的处理方式。如果切换速率高于显示帧率，并使各模态的图像帧率仍能维持正常的显示帧率，则各模态图像帧可以直接用于显示；如果切换速率较低，使各模态的图像帧率不能保持正常显示帧率，则需要降低显示帧率，或者通过在同模态相邻图像帧间进行插值的方式进行补帧处理。

多模态图像的显示有多种方式，可以将多模态图像进行整合后，在一个显示屏上分区域同时显示；也可以通过接口单元的多个显示输出接口，使各模态图像在不同的显示设备上显示。

多模态实时成像实施例二，采用波分复用的方法。以多光谱（如红、绿二色）窄带成像为例，其他情况类似：

直接使用包含全部可见光谱范围的宽光谱光源（经滤除非可见光后）进行照明。观察区域将光线反射后同时进入第一成像窗口和第三成像窗口。第一成像光路用窄带红光滤光片滤光，第三成像光路用窄带绿光滤光片滤光。滤光后分别通过各个光路的图像传感器进行采集，就能同时获取多种光谱的数字窄带图像。

获取多种数字窄带图像后，可以使用多片图像处理器分别处理不同的窄带图像；也可以使用具有并行处理功能的图像处理器进行同时并行处理；也可以再应用时分复用技术，使不同的数字窄带图像帧分时交替进入同一图像处理器进行处理，这相当于波分复用与时分复用技术的结合。

综合运用多模态图像信息进行分析、判断和决策之方法的实施例：其特征在于，利用人工智能深度学习方法，将所获得的多模态图像信息进行融合、分析，提供病情、病理判断参考，从而辅助医生做出诊断与治疗的决策。

所述多模态成像内窥镜系统，由于能够获得多种模态的图像，信息来源十分丰富，因此能得到较一般内窥镜系统多数倍的信息。从众多数据中提炼出与病理病情相关的信息并非易事，如果依靠纯人工的方法，将极大增加医生的工作量，而且对医生个人能力的要求也更高。

本发明所述多模态内窥镜系统，利用人工智能深度学习技术，在图像处理单元中运行人工智能深度学习辅助诊断软件。通过大量样本数据的持续训练，不断构建深度神经网，充分利用多模态图像所包含的丰富信息，逐步提升所能识别的特征的复杂度。

人工智能深度学习辅助诊断软件利用图像处理软件工具对多模态图像特征进行提取，实现多模态特征融合，并将分离的多模态图像融合成完整的多维全息图像，逐步加深对多模态图像特征之间相关性以及与特定病症关联性的理解，从而实现对特定病症图像表征的识别，辅助医生完成病理、病情的快速诊断。

本发明所述的多模态内窥镜系统，通过接口单元与外部数字影像中心进行信息交互。接口单元能提供以太网口和无线接口，可通过有线或无线的方式与外部数字影像中心进行连接。

外部数字影像中心的数据库可以为所述多模态内窥镜系统提供训练用的大量样本数据；同时，所述内窥镜系统也可将处理后的数据及最后的诊断结果上传数据库，不断丰富补充其内容。

外部数字影像中心可以是医院自己的影像数据库平台，也可以是互联网上的云数据库。

人工智能深度学习辅助诊断软件起初运行在所述内窥镜系统平台上。随着神经网络深度的不断加深，系统资源（如存储资源、运算资源）逐渐枯竭，需将人工神经网络逐步移入云端，所述内窥镜系统仅为神经网的一部分甚至仅作为终端节点。此时，具有强大运算能力的集中式或分布式云神经网将起决定性作用。

实施例2：在实施例1的基础上，本发明的内窥镜系统插入部分头端部正面结构如图1所示。其中，

第一成像窗口1、第二成像窗口2 以及第三成像窗口3 是成像光学系统13的一部分。成像窗口内部为成像光路，其中安装有成像光学镜头，用于收集观察区域50被照明后的反射光。成像光路后端安装图像传感器，成像光学系统13最终在图像传感器感光面上实现光学成像。

第一成像窗口1以及相应光路（称为第一成像光路）、镜头、图像传感器等，用于实现二维平面成像。

第三成像窗口3以及相应光路（称为第三成像光路）、镜头、图像传感器等，用于实现二维平面成像。

第二成像窗口2内部的成像光路（称为第二成像光路）用于实现显微成像，其中包括微型显微物镜、分光器、变焦透镜组等光学部件。在一种实施例中，变焦透镜也可以替换为定焦透镜。

第一成像光路中的镜头与第二成像光路中的镜头均包括可变焦的透镜组。

第一照明窗口5、第二照明窗口6及第三照明窗口7是照明光学系统12的一部分。照明窗口中为照明光路，光源单元中的各种光源经过照明光路的调节，最终通过照明窗口，按照需要的方向、角度、范围，照射观察区域。

第一照明窗口5中的照明光路称为第一照明光路。第一照明光路中的光源为宽光谱全色光源，通过光源前端滤光片组的滤光作用产生所需波长的照明光。

第二照明窗口6中的照明光路称为第二照明光路。第二照明光路中的光源为近红外光源，用于进行近红外光照明。

第三照明窗口7中的照明光路称为第三照明光路。第三照明光路中的光源也为宽光谱全色光源，用滤光片产生所需照明光。

在另一种实施例中，可将第一照明光路中的光源固定设置为窄带可见光源，将第二照明光路中的光源固定设置为宽光谱全色光源，将第三照明光路中的光源固定设置为近红外光源。或者按需要改变设置顺序。

在又一种实施例中，所用宽光谱光源本身已包含系统所需的全部可见光波长及近红外波长范围，则第一、第二、第三照明光路全部使用该宽光谱光源，再通过光源前端设置的滤光片组的滤光作用产生所需照明光。在此情况下，第一、第二、第三照明光路可以仍旧保持三个独立的通路，也可以合并成一个通路。合并后的照明窗口可以为圆形、半圆形、环形等适合的形状。

备用通道窗口4作为备用。在一些实施例中可作为其他手术器械进、出的操作通道；在另一些实施例中可作为照明窗口，用于补充光照强度，或者改变光照条件，或者提供某些特殊光的照明；在另一些实施例中可以作为成像窗口，用于增加成像通道。

以上窗口均位于内窥镜插入部的头端部8上。

在宽光谱全色二维平面成像工作模态下，第一照明窗口5或第三照明窗口7发射宽光谱全色照明光，该宽光谱全色照明光是由宽光谱全色光源经滤除非可见光而获得的，其目的一方面是消除其他非可见光的干扰，另一方面可获得较好的红外截止性能。仅从第一成像窗口1或第三成像窗口3中选择一路图像传感器采集图像，即可获得宽光谱全色二维平面图像。也可同时开启第一照明窗口5和第三照明窗口7，以获得更大的照度。

在宽光谱全色三维立体成像工作模态下，通过第一照明窗口5、或第三照明窗口7、或第一、第三照明窗口同时，发射宽光谱全色照明光，利用第一成像窗口1和第三成像窗口3的两路图像传感器同时采集图像,然后将转换后的数据送入图像处理单元中进行整合，最后通过显示单元显示出来，可得到宽光谱全色三维立体图像。

在窄带光二维平面成像工作模态下，通过第一照明窗口5、或第三照明窗口7、或者使第一、第三照明窗口同时，发射窄带照明光，该窄带照明光是宽光谱全色照明光源经窄带滤光片滤光后产生的。从第一成像窗口1或第三成像窗口3中选择一路图像传感器采集图像，即可获得窄带光二维平面图像。在另一实施例中，窄带照明光也可以直接由窄带光源产生。

在窄带光三维立体成像工作模态下，通过第一照明窗口5或第三照明窗口7或两个窗口同时发射窄带照明光，使第一成像窗口1和第三成像窗口3的两路图像传感器同时采集图像,采集的图像在图像处理单元22中进行整合，最后获得窄带光三维立体图像。

在近红外二维平面成像工作模态下，通过第二照明窗口6发射近红外照明光，该近红外照明光是由近红外光源滤除非红外光谱后获得。从第一成像窗口1或第三成像窗口3中选择一路图像传感器采集图像，即可获得近红外二维平面图像。如果所用图像传感器具有宽光谱敏感性，既能检测可见光又能检测近红外光，则近红外成像模态与宽光谱全色成像模态可以共用一片图像传感器；否则，近红外成像模态应切换为专门的近红外图像传感器。

在近红外三维立体成像工作模态下，通过第二照明窗口6发射近红外照明光，使第一成像窗口1和第三成像窗口3的两路图像传感器同时采集图像,经整合后可获得近红外三维立体图像。

第二成像窗口2及第二成像光路用于显微成像。第二成像光路既属于成像光学系统的一部分，也是照明光学系统的一部分，其中包括微型显微物镜、分光器、变焦透镜组等光学部件。用照明光源经滤光片滤光后产生的照明光束，经分光器进入微型显微物镜，照射在观察区域，被观察区域表面反射后再返回显微物镜，经分光器后进入变焦透镜组，通过变焦透镜组成像到后端的图像传感器上。不同属性的照明光，可获得不同的显微图像：使用宽光谱全色可见光照明，获得宽光谱全色显微图像；使用窄带光照明，获得窄带显微图像；使用近红外光照明，获得近红外显微图像。不同性质的图像，在图像处理单元22中的处理方法，也会有所不同。微型显微物镜采用球面透镜和非球面透镜组合的方式，以实现物镜的微型化和低像差。

在一种实施例中，通过让第一照明窗口5、或第二照明窗口6、或第三照明窗口7发射照明光来为显微成像补光。

在一种实施例中，第二成像窗口2不再发射照明光，而通过第一照明窗口5、或第二照明窗口6、或第三照明窗口7、或它们的组合为显微成像提供照明。

在一种实施例中，通过将第一成像窗口1及第一成像光路、以及第三成像窗口3及第三成像光路，均设置为显微成像光路，其中包括的光学部件的性能参数均完全一致，采用将前述三维立体成像计数与显微成像技术相结合的方法，可实现三维立体显微成像。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (7)

1.一种多模态成像内窥镜系统，包括图像采集单元、控制及处理单元、同步单元、人机交互单元和变焦控制单元，其特征在于，

图像采集单元，用于将采集的光学图像信号变换为数字图像信号；

控制及处理单元，用于处理数字图像信号，实现对整个系统的控制，存储图像及程序；

同步单元，用于控制在不同工作模态间进行切换时，各个模块进行同步工作；

人机交互单元，用于实现所述内窥镜系统与用户、与其他外部设备及环境的信息交互；

变焦控制单元，用于驱动变焦镜头变换焦距，调整放大倍数；

所述图像采集单元包括用于将接收的光学图像变换为电子信号的图像传感单元、用于将变换后的电子信号进行滤波、放大并且提升其信噪比的滤波放大单元和用于进行A/D转换并且将信号变换为数字信号信号转换单元；

所述控制及处理单元包括用于负责系统的整体控制、接收用户的操作命令、协调各部分协同工作的主控制单元，用于对接收到的数字图像信号进行各种图像处理以及运行人工智能深度学习算法软件的图像处理单元，和存储单元；

所述同步单元包括用于产生不同类型的同步控制信号、控制传感器控制单元和光源控制单元执行同步操作的同步控制单元，用于接收同步控制信号并且按指令切换不同通道的图像传感器件的传感器控制单元，和用于控制光源的强弱并按同步控制信号的要求对光源及滤光片组进行切换控制光源控制单元；

所述人机交互单元包括操作单元，用于显示图像、信息并且提供用户界面的显示单元，和用于提供所述内窥镜系统与外部进行信息交互的通道的接口单元；

所述主控制单元分别连接信号转换单元、同步控制单元、操作单元、光源控制单元、存储单元、接口单元、图像处理单元、图像传感单元、滤波放大单元和变焦控制单元，变焦控制单元还连接成像光学系统，成像光学系统还分别连接观察区域和图像传感单元，图像传感单元还分别连接传感器控制单元和滤波放大单元，滤波放大单元还连接信号转换单元，图像处理单元还分别连接存储单元和信号转换单元，光源控制单元还分别连接同步控制单元和传感器控制单元，光源单元还连接照明光学系统。

2.根据权利要求1所述的一种多模态成像内窥镜系统，其特征在于，所述接口单元还分别连接显示单元和数字影像中心。

3.根据权利要求1所述的一种多模态成像内窥镜系统，其特征在于，所述照明光学系统发出的光位于观察区域内部。

4.根据权利要求1所述的一种多模态成像内窥镜系统，其特征在于，所述成像光学系统包括一个内窥镜，内窥镜插入部的头端部（8）上设有第一成像窗口（1）、第二成像窗口（2）、第三成像窗口（3）、备用通道窗口（4）、第一照明窗口（5）、第二照明窗口（6）和第三照明窗口（7）。

5.根据权利要求1所述的一种多模态成像内窥镜系统，其特征在于，所述存储单元包括DDR、NAND FLASH、NOR FLASH和固态硬盘。

6.根据权利要求1所述的一种多模态成像内窥镜系统，其特征在于，还包括由光源和滤光片组组成的照明分系统，其中光源用于产生各工作模态所需的照明光，包括宽光谱光源和近红外光源；滤光片组对光源滤光，用于产生所需波长范围的光。

7.根据权利要求1-6任一所述的一种多模态成像内窥镜系统，其特征在于，所述操作单元包括单元按键、旋钮和触摸屏。