CN114302035A - 一种图像处理方法、装置、电子设备及内窥镜系统 - Google Patents

Abstract

本申请提供一种图像处理方法、装置、电子设备及内窥镜系统，该方法包括：获取至少两帧待处理图像，所述至少两帧待处理图像的类型不同，且所述至少两帧待处理图像的采集目标和采集时间均一致；分别确定所述至少两帧待处理图像中的ROI区域；依据所述至少两帧待处理图像中的ROI区域，确定最终ROI区域；依据所述最终ROI区域进行自动曝光和/或自动聚焦。该方法可以更有效地优化图像ROI区域的亮度和/或清晰度，保证图像关键区域的细节信息的可读性。

Description

一种图像处理方法、装置、电子设备及内窥镜系统

技术领域

本申请涉及医疗荧光内窥镜技术领域，尤其涉及一种图像处理方法、装置、电子设备及内窥镜系统。

背景技术

荧光内窥镜是一种应用激光固有荧光光谱技术、通过各种内窥镜进入腔内诊断的新型诊断设备。它依据人体组织固有荧光光谱特征自动识别、诊断，可立即提示被测组织是否为正常组织，可鉴别被测组织的良恶性病变。

自动曝光技术是图像处理领域一个基本的、非常重要的环节。曝光技术的好坏直接关系到图像的亮度。过亮或过暗都会直接影响图像的细节、色彩等效果，导致使用者无法正常观察图像。同样，自动聚焦也是图像处理领域一个非常重要的环节。自动聚焦技术的好坏直接关系到图像的清晰度。虚焦的图像往往会非常模糊。在医疗领域中，出现这样的问题往往会导致比较严重的后果。

传统荧光内窥镜自动曝光方案多是根据成像距离来调整荧光曝光参数。成像距离的计算，可以根据白光曝光参数计算，也可以根据测光装置计算等等。但是曝光参数并不仅仅只受成像距离的影响，包括成像组织，荧光剂等，都会对曝光产生影响。同时，基于全局的曝光算法虽然全局亮度比较适中，但是使用者感兴趣、想要观察的目标区域可能亮度并不合适。因此，当前荧光内窥镜自动曝光算法效果可能并不理想。

当前已有的荧光内窥镜自动聚焦方案，多是先对白光图像进行聚焦，然后根据白光图像的聚焦参数，计算荧光图像焦平面，最后完成聚焦。该方案存在聚焦时间长、适应性差等缺点。同时，基于全局的聚焦方案，如果场景中景深不一致，可能会出现使用者感兴趣区域虚焦的情况。

发明内容

有鉴于此，本申请提供一种图像处理方法、装置、电子设备及内窥镜系统。

具体地，本申请是通过如下技术方案实现的：

根据本申请实施例的第一方面，提供一种图像处理方法，包括：

获取至少两帧待处理图像，所述至少两帧待处理图像的类型不同，且所述至少两帧待处理图像的采集目标和采集时间均一致；

分别确定所述至少两帧待处理图像中的ROI区域；

依据所述至少两帧待处理图像中的ROI区域，确定最终ROI区域；

依据所述最终ROI区域进行自动曝光和/或自动聚焦。

根据本申请实施例的第二方面，提供一种图像处理装置，包括：

获取单元，用于获取至少两帧待处理图像，所述至少两帧待处理图像的类型不同，且所述至少两帧待处理图像的采集目标和采集时间均一致；

第一确定单元，用于分别确定所述至少两帧待处理图像中的ROI区域；

第二确定单元，用于依据所述至少两帧待处理图像中的ROI区域，确定最终ROI区域；

处理单元，用于依据所述最终ROI区域进行自动曝光和/或自动聚焦。

根据本申请实施例的第三方面，提供一种电子设备，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器用于执行机器可执行指令，以实现第一方面提供的方法。

根据本申请实施例的第四方面，提供一种计算机可读存储介质，计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现第一方面提供的方法。

根据本申请实施例的第五方面，提供一种计算机程序，该计算机程序存储于机器可读存储介质，并且当处理器执行该计算机程序时，促使处理器执行第一方面提供的方法。

根据本申请实施例的第六方面，提供一种内窥镜系统，包括：内窥镜装置、光源装置、摄像系统主机、显示装置和存储装置；其中：

所述内窥镜装置，用于拍摄被检体的观察部位并生成图像数据；

所述光源装置，用于提供从内窥镜装置前端射出的照明光；

所述摄像系统主机，用于对所述内窥镜装置生成的图像数据进行处理，以及按照第一方面提供的方法对所述内窥镜装置进行曝光和/或聚焦控制；

所述显示装置，用于显示与所述摄像系统主机处理后的图像数据对应的图像；

所述存储装置，用于存储与所述摄像系统主机处理后的图像数据对应的图像。

本申请实施例的图像处理方法，通过获取采集目标和采集时间均一致，且类型不同的至少两帧待处理图像，并分别确定该至少两帧待处理图像中的ROI区域，依据该至少两帧待处理图像中的ROI区域，确定最终ROI区域，通过充分的利用多帧图像的信息，提高ROI区域的有效性和准确性，进而，依据该最终ROI区域进行自动曝光和/或自动聚焦，更有效地优化了图像ROI区域的亮度和/或清晰度，保证了图像关键区域的细节信息的可读性。

附图说明

图1是本申请一示例性实施例示出的一种图像处理方法的流程示意图；

图2是本申请一示例性实施例示出的一种图像处理方法的流程示意图；

图3是本申请一示例性实施例示出的一种内窥镜系统的概略结构示意图；

图4是本申请一示例性实施例示出的一种内窥镜系统的功能结构示意图；

图5是本申请一示例性实施例示出的一种正负显影示意图；

图6是本申请一示例性实施例示出的一种图像处理方案实现流程示意图；

图7是本申请一示例性实施例示出的一种图像处理的流程示意图；

图8是本申请一示例性实施例示出的一种图像处理的流程示意图；

图9是本申请一示例性实施例示出的一种图像处理装置的结构示意图；

图10是本申请一示例性实施例示出的一种电子设备的硬件结构示意图；

图11是本申请一示例性实施例示出的一种内窥镜系统的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

为了使本领域技术人员更好地理解本申请实施例提供的技术方案，并使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中技术方案作进一步详细的说明。

请参见图1，为本申请实施例提供的一种图像处理方法的流程示意图，如图1所示，该图像处理方法可以包括以下步骤：

步骤S100、获取至少两帧待处理图像，该至少两帧待处理图像的类型不同，且该至少两帧待处理图像的拍摄场景和拍摄时刻均一致。

示例性的，图像的类型不同可以包括但不限于成像光波长范围不同和/或发光目标区域不同。

例如，不同成像光波长范围的图像可以包括白光图像和荧光图像，其中，白光图像通过感受可见光成像；荧光图像通过感受近红外光成像。

又例如，不同发光目标区域的图像可以包括荧光正显影图像和荧光负显影图像，其中，荧光正显影图像通过将显影剂注射在病变组织区域，使病变组织发光，即发光目标区域为病变组织区域；荧光正显影图像通过将显影剂注射在正常组织区域，使正常组织发光，即发光目标区域为正常组织区域。

步骤S110、分别确定该至少两帧待处理图像中的ROI区域。

步骤S120、依据该至少两帧待处理图像中的ROI区域，确定最终ROI区域。

本申请实施例中，为了优化自动曝光和/或自动聚焦的效果，可以不再依据图像的全局信息进行自动曝光和/或自动聚焦，而是可以依据图像中的ROI(Region of Interest，感兴趣区域)区域进行自动曝光和/或自动聚焦。

此外，荧光内窥镜场景中通常会需要使用多种不同类型的图像，如白光图像、荧光正显影图像，以及荧光负显影图像等。采集目标和采集时间均一致的不同类型的图像，其细节上会存在差异，导致进行ROI区域提取时，提取到的ROI区域也会存在差异。

若依据其中一种类型的图像进行ROI区域提取，以及依据提取到的ROI区域进行自动曝光和/或自动聚焦，一方面会导致ROI区域的准确性较差，另一方面，自动曝光和/或自动聚焦的效果对于其它类型的图像可能会较差。

为了提高ROI区域提取的准确性和有效性，在进行ROI区域提取时，可以分别对采集目标和采集时间均一致的至少两帧图像(可以称为待处理图像)进行ROI区域提取，并依据该至少两帧待处理图像中提取的ROI区域确定最终ROI区域，该最终ROI区域与各待处理图像中的ROI区域均关联。

需要说明的是，采集目标一致可以包括采集目标相同，或采集目标之间存在允许的差异。

采集时间一致可以包括采集时间相同，或采集时间之间存在可容忍的误差，如采集时间的差值在预设误差范围内。

示例性的，上述至少两帧待处理图像的类型可以包括以下类型中的至少两种：白光图像、荧光正显影图像，以及，荧光负显影图像。

以上述至少两帧待处理图像为两帧待处理图像为例，该两帧待处理图像的类型可以为白光图像和荧光正显影图像，或者，白光图像和荧光负显影图像，或者，荧光正显影图像和荧光负显影图像。

以上述至少两帧待处理图像为三帧待处理图像为例，该三帧待处理图像的类型可以分别为白光图像、荧光正显影图像，以及，荧光负显影图像。

步骤S130、依据最终ROI区域进行自动曝光和/或自动聚焦。

本申请实施例中，当按照上述方式确定了最终ROI区域时，可以依据最终ROI区域进行自动曝光，以使ROI区域的亮度适中，防止图像过亮或过暗，影响图像效果，和/或，依据最终ROI区域进行自动聚焦，使得ROI区域聚焦清晰，图像细节丰富，优化各种类型的图像的ROI区域的图像效果。

示例性的，在依据最终ROI区域进行自动曝光时，可以以最终ROI区域为目标进行曝光控制，先计算最终ROI区域的亮度，并将该亮度与曝光参考亮度进行比较，并根据比较结果调节曝光参数(若最终ROI区域的亮度小于曝光参考亮度，则说明亮度较暗，需要增加快门和增益；反之降低快门和增益)，如此循环，直到最终ROI区域的亮度等于曝光参考亮度。

示例性的，在依据最终ROI区域进行自动聚焦时，可以以最终ROI区域为目标进行聚焦控制，使最终ROI区域的清晰度达到最高。

可见，在图1所示方法流程中，通过获取采集目标和采集时间均一致，且类型不同的至少两帧待处理图像，并分别确定该至少两帧待处理图像中的ROI区域，依据该至少两帧待处理图像中的ROI区域，确定最终ROI区域，通过充分的利用多帧图像的信息，提高ROI区域的有效性和准确性，进而，依据该最终ROI区域进行自动曝光和/或自动聚焦，更有效地优化了图像ROI区域的亮度和/或清晰度，保证了图像关键区域的细节信息的可读性。

在一些实施例中，确定至少两帧待处理图像中的ROI区域使用的ROI区域提取算法不完全相同。

示例性的，考虑到同一ROI区域提取算法对不同类型图像进行ROI区域提取时得到的ROI区域通常会存在差异，为了提高提取到的ROI区域的准确性和鲁棒性，在对上述至少两帧待处理图像进行ROI区域提取时，该至少两帧待处理图像使用的ROI区域提取算法可以不完全相同。

例如，该至少两帧待处理图像中部分图像使用相同的ROI区域提取算法，另一部分使用不同的ROI区域提取算法。

或者，该至少两帧待处理图像均分别使用不同的ROI区域提取算法。

举例来说，假设上述至少两帧待处理图像共包括3帧图像(假设包括图像A、B和C)，则可以图像A和图像B使用同一种ROI区域提取算法，图像C使用另一种ROI区域提取算法；或者，图像A、图像B和图像C分别使用不同的ROI区域提取算法。

需要说明的是，在本申请实施例中，确定上述至少两帧待处理图像中的ROI区域使用的ROI区域提取算法也可以相同，以降低系统处理的复杂度。

由于相同的ROI提取算法针对不同类型的图像提取到的目标区域可能不同，因此，依据不同类型的图像中提取到的目标区域确定的最终ROI区域的准确性可以更高。在一些实施例中，步骤S120中，依据该至少两帧待处理图像中的ROI区域，确定最终ROI区域，可以包括：

确定该至少两帧待处理图像中的ROI区域的交集；

将该至少两帧待处理图像中的ROI区域的交集确定为最终ROI区域。

示例性的，为了提高所确定的ROI区域的精确性，当确定了至少两帧待处理图像中各图像中的ROI区域时，可以确定该至少两帧待处理图像中的ROI区域的交集，并将该至少两帧待处理图像中的ROI区域的交集确定为最终ROI区域。

需要说明的是，上述确定最终ROI区域的方式仅仅是本申请实施例中的一种具体示例，而并不是对本申请保护范围的限定，即本申请实施例中还可以按照其它方式确定最终ROI区域，例如，将至少两帧待处理图像中的ROI区域的并集确定为最终ROI区域，其具体实现在此不做赘述。

请参见图2，为本申请实施例提供的一种图像处理方法的流程示意图，如图2所示，该图像处理方法可以包括以下步骤：

步骤S200、获取第一待处理图像和第二待处理图像。

示例性的，以上述至少两帧待处理图像包括两帧待处理图像(分别称为第一待处理图像和第二待处理图像)为例。

示例性的，第一待处理图像和第二待处理图像为采集目标和采集时间均一致，且类型不同的两帧图像。

例如，第一待处理图像为白光图像，第二待处理图像为对应的荧光正显影图像；或，第一待处理图像为白光图像，第二待处理图像为对应的荧光负显影图像；或，第一待处理图像为荧光正显影图像，第二待处理图像为荧光负显影图像。

步骤S210、利用第一ROI区域提取算法，对第一待处理图像进行ROI区域提取，确定第一ROI区域。

步骤S220、利用第二ROI区域提取算法，对第二待处理图像进行ROI区域提取，确定第二ROI区域。

本申请实施例中，为了提高ROI区域的准确性和鲁棒性，可以利用ROI区域提取算法分别对第一待处理图像和第二待处理图像进行ROI区域提取。

示例性的，用于对第一待处理图像进行ROI区域提取的ROI区域提取算法可以称为第一ROI区域提取算法；用于对第二待处理图像进行ROI区域提取的ROI区域提取算法可以称为第二ROI区域提取算法。

示例性的，第一ROI区域提取算法与第二ROI区域提取算法可以相同，也可以不同。

示例性的，可以利用第一ROI区域提取算法对第一待处理图像进行ROI区域提取，确定第一待处理图像中的ROI区域(可以称为第一ROI区域)，并利用第二ROI区域提取算法对第二待处理图像进行ROI区域提取，确定第二待处理图像中的ROI区域(可以称为第二ROI区域)。

示例性的，上述ROI区域提取算法(包括第一ROI区域提取算法或第二ROI区域提取算法)可以包括基于深度学习的智能算法，或，基于图像特征的传统方法。

步骤S230、依据第一ROI区域和第二ROI区域，确定最终ROI区域。

本申请实施例中，在按照上述方式确定了第一ROI区域和第二ROI区域的情况下，可以依据第一ROI区域和第二ROI区域，确定最终ROI区域。

示例性的，可以确定第一ROI区域和第二ROI区域的交集，并将第一ROI区域和第二ROI区域的交集确定为最终ROI区域。

步骤S240、依据最终ROI区域进行自动曝光和/或自动聚焦。

本申请实施例中，当按照上述方式确定了最终ROI区域时，可以依据最终ROI区域进行自动曝光和/或自动聚焦，以优化各种类型的图像的ROI区域的图像效果。

示例性的，在依据最终ROI区域进行自动曝光时，可以以最终ROI区域为目标进行曝光控制，先计算最终ROI区域的亮度，并将该亮度与曝光参考亮度进行比较，并根据比较结果调节曝光参数(若最终ROI区域的亮度小于曝光参考亮度，则说明亮度较暗，需要增加快门和增益；反之降低快门和增益)，如此循环，直到最终ROI区域的亮度等于曝光参考亮度。

示例性的，在依据最终ROI区域进行自动聚焦时，可以以最终ROI区域为目标进行聚焦控制，使最终ROI区域的清晰度达到最高。

可见，在图2所示方法流程中，通过获取采集目标和采集时间均一致，且类型不同的两帧待处理图像，并分别确定该两帧待处理图像中的ROI区域，依据该两帧待处理图像中的ROI区域，确定最终ROI区域，通过充分的利用两帧图像的信息，提高ROI区域的有效性和准确性，进而，依据该最终ROI区域进行自动曝光和/或自动聚焦，更有效地优化了图像ROI区域的亮度和/或清晰度，保证了图像关键区域的细节信息的可读性。

为了使本领域技术人员更好地理解本申请实施例提供的技术方案，下面结合具体应用场景对本申请实施例提供的技术方案进行说明。

下面先对内窥镜系统的结构和功能进行详细说明。

请参见图3和图4，图3为内窥镜系统的概略结构示意图；图4为内窥镜系统的功能结构示意图。

如图3所示，内窥镜系统可以包括内窥镜、光源、摄像系统主机、显示装置以及存储装置。

操作人员(如医护人员)可以将内窥镜插入被检测人员体内，将拍摄的体内图像输出到外部的显示装置和存储装置。操作人员可以通过观察由显示装置显示的体内图像，来检查作为检测对象部位的出血部位、肿瘤部位和异常部位的有无，并提供手术治疗的实时影像。其它使用内窥镜系统的相关人员(如医护人员)可以通过访问存储装置中的视频，进行术后回顾和手术培训。

光源提供从内窥镜装置前端射出的照明光。摄像系统主机可以依据上述实施例中描述的方式进行自动曝光和/或自动聚焦处理，并且统一控制内窥镜系统整体的动作。显示装置显示与摄像系统主机的图像数据对应的图像。存储装置存储与摄像系统主机的图像数据对应的图像。

如图4所示，内窥镜可以包括摄像光学系统、成像单元、处理单元和操作单元。

示例性的，摄像光学系统用于对来自观察部位的光进行聚光。摄像光学系统使用一个或多个透镜构成。

成像单元用于对各像素接收到的光进行光电转换来生成图像数据。

示例性的，成像单元可以由CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)或CCD(Charge-coupled Device，电荷耦合器件)等图像传感器组成。

处理单元将成像单元生成的图像数据转换成数字信号，并将转换后得到的数字信号发送到摄像系统主机。

操作单元接收用于切换内窥镜的动作的指示信号和用于使光源装置进行照明光的切换动作的指示信号的输入，并将指示信号输出到摄像系统主机。

示例性的，操作单元可以包括但不限于开关、按钮和触摸面板。

如图4所示，光源装置可以包括照明控制单元和照明单元。

示例性的，照明控制单元用于接收摄像系统主机的指示信号，控制照明单元向内窥镜提供照明光。

示例性的，摄像系统主机用于对从内窥镜接收到的图像数据进行处理并传输给显示装置和存储装置。

示例性的，显示装置和存储装置可以为外置设备。

如图4所示，摄像系统主机可以包括图像输入单元、图像处理单元、智能处理单元、视频编码单元、控制单元和操作单元。

示例性的，图像输入单元用于接收内窥镜发送过来的数字信号，并将接收到的数字信号传输给图像处理单元。

示例性的，图像处理单用于对图像输入单元的信号进行ISP(Image SignalProcessing，图像信号处理)操作，包括但不限于亮度变换、锐化、去摩尔纹、缩放。

图像处理单元处理后的图像传输给智能处理单元、视频编码单元和/或显示装置。

示例性的，智能处理单元用于对图像处理单元处理后的图像进行智能分析，包括但不限于基于深度学习的场景分类、器械头检测、纱布检测、摩尔纹分类和浓雾分类等。

智能处理单元处理后的图像传输给图像处理单元和/或视频编码单元。

图像处理单元对智能处理单元处理后的图像的处理方式包括但不限于亮度变换、叠框和缩放。

示例性的，视频编码单元用于将图像处理单元或智能处理单元处理后的图像进行编码压缩，并传输给存储装置，由存储装置对编码压缩后的图像进行存储。

示例性的，控制单元用于控制内窥镜系统的各个模块，包括但不限于光源的照明方式、图像处理方式、智能处理方式和视频编码方式。

示例性的，操作单元可以包括但不限于开关、按钮和触摸面板，用于接收外部指示信号，并将接收到的指示信号输出到控制单元。

下面对荧光内窥镜的工作原理进行简单说明。

荧光内窥镜在使用过程中，白光和荧光同时成像。其中，荧光成像分为正向显影模式和负向显影模式。正向显影模式即病变组织(如肿瘤部位)显现荧光，病变组织以外部位不显现荧光；负向显影模式即病变组织(如肿瘤部位)以外部位显现荧光，病变组织不显现荧光。

示例性的，正负显影示意图可以如图5所示。

示例性的，正负显影模式均可以利用图像后处理的方式实现。因此可以根据设置获取正显影图像或者负显影图像，或者可以同时获取两种显影模式下的图像。

在该实施例中，考虑到曝光和聚焦都是一种全局的操作。调整曝光时，曝光生效是全局的，也即是整个画面都会变亮或变暗。

在依据全局亮度进行曝光控制情况下，可能会出现图像全局亮度是合理的，但是局部区域出现过曝或者过暗的情况。若这种亮度不合理区域出现在使用者需要观察的地方，则可能会带来严重的后果。

同样，聚焦的生效也是全局的，聚焦结束也即是全局清晰度最大的位置。但是由于场景中不同位置的景深可能不同，导致出现局部虚焦，图像不清晰的情况。若虚焦位置处在使用者需要观察的区域，则会带来负面的效果。

针对上述问题，本申请实施例提出了一种ROI区域的计算方案，以及基于ROI区域的自动曝光和/或自动聚焦方案。

如图6所示，在该实施例中，图像处理方案实现流程如下：

步骤一、从视频流中获取两帧待处理图像，记为图像1和图像2。其中，图像1和图像2可以为白光图像和荧光正显影图像，或者白光图像和荧光负显影图像，或者荧光正显影图像和荧光负显影图像等。

步骤二、分别用不同的ROI区域提取算法计算图像1和图像2的ROI区域，记为ROI1和ROI2。

示例性的，ROI区域提取算法可以为基于深度学习的智能方法，或者，基于图像特征的传统方法等。

步骤三、对ROI1和ROI2计算交集，得到最终ROI区域，记为ROI。

步骤四、依据ROI进行自动曝光和/或自动聚焦。

下面结合具体示例进行说明。

实施例一

1.1、从视频流中获取白光图像，并利用基于深度学习的智能方法检测ROI区域，得到ROI1；

1.2、从视频流中获取与1.1的白光图像对应的荧光正显影图像，并对其进行二值分割，高亮区域即为ROI区域(即ROI2)；

即第一待处理图像和第二待处理图像为白光图像和与该白光图像对应的荧光正显影图像。

第一ROI区域提取算法为基于深度学习的智能方法，第二ROI区域提取算法为二值分割法。

1.3、计算ROI1和ROI2的交集，得到最终ROI区域(即ROI)；

1.4、以ROI为目标，计算区域亮度并进行自动曝光调节；

1.5、以ROI为目标，计算区域清晰度值并进行自动聚焦调节。

其中，上述处理的流程图可以如图7所示。

实施例二

2.1、从视频流中获取荧光图像，用图像处理的方法获取正显影图像，并利用智能方法检测识别荧光正显影图像的ROI区域(即ROI1)；

2.2、取与2.1相同的荧光图像，用图像处理的方法获取负显影图像，并对其进行二值分割，黑暗区域即视为ROI区域(即ROI2)；

2.3、计算ROI1和ROI2的交集，即为最终ROI区域(即ROI)；

2.4、以ROI为目标，计算区域亮度并进行自动曝光调节；

2.5、以ROI为目标，计算区域清晰度值并进行自动聚焦调节。

其中，上述处理的流程图可以如图8所示。

以上对本申请提供的方法进行了描述。下面对本申请提供的装置进行描述：

请参见图9，为本申请实施例提供的一种图像处理装置的结构示意图，如图9所示，该图像处理装置可以包括：

获取单元910，用于获取至少两帧待处理图像，所述至少两帧待处理图像的类型不同，且所述至少两帧待处理图像的采集目标和采集时间均一致；

第一确定单元920，用于分别确定所述至少两帧待处理图像中的ROI区域；

第二确定单元930，用于依据所述至少两帧待处理图像中的ROI区域，确定最终ROI区域；

处理单元940，用于依据所述最终ROI区域进行自动曝光和/或自动聚焦。

在一些实施例中，确定所述至少两帧待处理图像中的ROI区域使用的ROI区域提取算法不完全相同，或，确定所述至少两帧待处理图像中的ROI区域使用的ROI区域提取算法相同。

在一些实施例中，所述第二确定单元930依据所述至少两帧待处理图像中的ROI区域，确定最终ROI区域，包括：

确定所述至少两帧待处理图像中的ROI区域的交集；

将所述至少两帧待处理图像中的ROI区域的交集确定为所述最终ROI区域。

在一些实施例中，所述至少两帧待处理图像的类型包括以下类型中的至少两种：

白光图像、荧光正显影图像，以及，荧光负显影图像。

在一些实施例中，所述至少两帧待处理图像包括第一待处理图像和第二待处理图像；

所述第一确定单元920分别确定所述至少两帧待处理图像中的ROI区域，包括：

利用第一ROI区域提取算法，对所述第一待处理图像进行ROI区域提取，确定第一ROI区域；

以及，利用第二ROI区域提取算法，对所述第二待处理图像进行ROI区域提取，确定第二ROI区域。

本申请实施例提供一种电子设备，包括处理器和存储器，其中，存储器存储有能够被所述处理器执行的机器可执行指令，处理器用于执行机器可执行指令，以实现上文描述的图像处理方法。

请参见图10，为本申请实施例提供的一种电子设备的硬件结构示意图。该电子设备可包括处理器1001、存储有机器可执行指令的存储器1002。处理器1001与存储器1002可经由系统总线1003通信。并且，通过读取并执行存储器1002中与图像处理逻辑对应的机器可执行指令，处理器1001可执行上文描述的图像处理方法。

本文中提到的存储器1002可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(RadomAccess Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。

在一些实施例中，还提供了一种机器可读存储介质，如图10中的存储器1002，该机器可读存储介质内存储有机器可执行指令，所述机器可执行指令被处理器执行时实现上文描述的图像处理方法。例如，所述机器可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘和光数据存储设备等。

本申请实施例还提供了一种计算机程序，存储于机器可读存储介质，例如图10中的存储器1002，并且当处理器执行该计算机程序时，促使处理器1001执行上文中描述的图像处理方法。

请参见图11，为本申请实施例提供的一种内窥镜系统的结构示意图，如图11所示，该内窥镜系统可以包括：内窥镜装置1110、光源装置1120、摄像系统主机1130、显示装置1140和存储装置1150；其中：

所述内窥镜装置1110，用于拍摄被检体的观察部位并生成图像数据；

所述光源装置1120，用于提供从内窥镜装置前端射出的照明光；

所述摄像系统主机1130，用于对所述内窥镜装置生成的图像数据进行处理，以及按照上述实施例中描述的的方法对所述内窥镜装置进行曝光和/或聚焦控制；

所述显示装置1140，用于显示与所述摄像系统主机处理后的图像数据对应的图像；

所述存储装置1150，用于存储与所述摄像系统主机处理后的图像数据对应的图像。

示例性的，以将上述图像处理方法应用于内窥镜系统为例。

示例性的，可以通过内窥镜装置1110获取被检体(如进行内窥镜检测的人员)的观察部位(可以包括但不限于耳、鼻、喉或腹腔等)并生成图像数据。所述内窥镜装置可以所述光源装置1120提供照明光，以便能够获取到清晰可见的图像细节。

摄像系统主机1130可以对内窥镜装置1110生成的图像数据进行处理，以及，依据内窥镜装置1110获取到的图像数据，摄像系统主机1130可以采用上述方法实施例中描述的方式对内窥镜装置1110进行曝光和/或聚焦控制。

在一个示例中，摄像系统主机1130还可以用于控制内窥镜系统整体的动作，如控制光源的照明方式、图像处理方式、智能处理方式和视频编码方式等。

对于摄像系统主机1130处理后的图像数据，一方面，可以通过显示装置1140进行显示，以便相关人员(如医护人员)进行查看；另一方面，还可以存储至存储装置1150，如经过指定的格式的视频编码后，存储至存储装置1150。

示例性的，内窥镜系统的结构和功能可以参见上文中的相关描述。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (12)

1.一种图像处理方法，其特征在于，包括：

获取至少两帧待处理图像，所述至少两帧待处理图像的类型不同，且所述至少两帧待处理图像的采集目标和采集时间均一致；

分别确定所述至少两帧待处理图像中的ROI区域；

依据所述至少两帧待处理图像中的ROI区域，确定最终ROI区域；

依据所述最终ROI区域进行自动曝光和/或自动聚焦。

2.根据权利要求1所述的方法，其特征在于，确定所述至少两帧待处理图像中的ROI区域使用的ROI区域提取算法不完全相同，或，确定所述至少两帧待处理图像中的ROI区域使用的ROI区域提取算法相同。

3.根据权利要求1所述的方法，其特征在于，所述依据所述至少两帧待处理图像中的ROI区域，确定最终ROI区域，包括：

确定所述至少两帧待处理图像中的ROI区域的交集；

将所述至少两帧待处理图像中的ROI区域的交集确定为所述最终ROI区域。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述至少两帧待处理图像的类型包括以下类型中的至少两种：

白光图像、荧光正显影图像，以及，荧光负显影图像。

5.根据权利要求1-3任一项所述的方法，其特征在于，所述至少两帧待处理图像包括第一待处理图像和第二待处理图像；

所述分别确定所述至少两帧待处理图像中的ROI区域，包括：

利用第一ROI区域提取算法，对所述第一待处理图像进行ROI区域提取，确定第一ROI区域；

以及，利用第二ROI区域提取算法，对所述第二待处理图像进行ROI区域提取，确定第二ROI区域。

6.一种图像处理装置，其特征在于，包括：

获取单元，用于获取至少两帧待处理图像，所述至少两帧待处理图像的类型不同，且所述至少两帧待处理图像的采集目标和采集时间均一致；

第一确定单元，用于分别确定所述至少两帧待处理图像中的ROI区域；

第二确定单元，用于依据所述至少两帧待处理图像中的ROI区域，确定最终ROI区域；

处理单元，用于依据所述最终ROI区域进行自动曝光和/或自动聚焦。

7.根据权利要求6所述的装置，其特征在于，确定所述至少两帧待处理图像中的ROI区域使用的ROI区域提取算法不完全相同，或，确定所述至少两帧待处理图像中的ROI区域使用的ROI区域提取算法相同。

8.根据权利要求6所述的装置，其特征在于，所述第二确定单元依据所述至少两帧待处理图像中的ROI区域，确定最终ROI区域，包括：

确定所述至少两帧待处理图像中的ROI区域的交集；

将所述至少两帧待处理图像中的ROI区域的交集确定为所述最终ROI区域。

9.根据权利要求6-8任一项所述的装置，其特征在于，所述至少两帧待处理图像的类型包括以下类型中的至少两种：

白光图像、荧光正显影图像，以及，荧光负显影图像。

10.根据权利要求6-8任一项所述的装置，其特征在于，所述至少两帧待处理图像包括第一待处理图像和第二待处理图像；

所述第一确定单元分别确定所述至少两帧待处理图像中的ROI区域，包括：

利用第一ROI区域提取算法，对所述第一待处理图像进行ROI区域提取，确定第一ROI区域；

以及，利用第二ROI区域提取算法，对所述第二待处理图像进行ROI区域提取，确定第二ROI区域。

11.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器用于执行机器可执行指令，以实现如权利要求1-5任一项所述的方法。

12.一种内窥镜系统，其特征在于，包括：内窥镜装置、光源装置、摄像系统主机、显示装置和存储装置；其中：

所述内窥镜装置，用于拍摄被检体的观察部位并生成图像数据；

所述光源装置，用于提供从内窥镜装置前端射出的照明光；

所述摄像系统主机，用于对所述内窥镜装置生成的图像数据进行处理，以及按照权利要求1-5任一项所述的方法对所述内窥镜装置进行曝光和/或聚焦控制；

所述显示装置，用于显示与所述摄像系统主机处理后的图像数据对应的图像；

所述存储装置，用于存储与所述摄像系统主机处理后的图像数据对应的图像。

Images