CN112911165A - 内窥镜曝光方法、装置及计算机可读存储介质 - Google Patents

Abstract

本申请实施例公开了一种内窥镜曝光方法、装置及计算机可读存储介质，属于图像处理技术领域。基于在内窥镜的一次使用过程中，真实视野区域的位置和大小在长时间内基本不变的特点，本方案在接收到视野区域获取指令后，获取一次视野区域，在本次使用内窥镜的过程中后续均基于这个视野区域自动调整曝光即可，无需频繁获取视野区域，这样能够充分减少获取视野区域的计算开销。另外，本方案基于图像中视野区域的亮度信息自动调整曝光，而非基于完整图像，这样曝光调整更加合理，不至于过曝或欠曝，图像质量更高。

Description

内窥镜曝光方法、装置及计算机可读存储介质

技术领域

本申请实施例涉及图像处理技术领域，特别涉及一种内窥镜曝光方法、装置及计算机可读存储介质。

背景技术

在医疗领域的内窥镜场景中，内窥镜系统的发展使得医生在病情诊断、手术治疗等环节取得了极大的效率提升。在使用内窥镜获取图像形成手术视频的过程中，通过合理的曝光可以获取到合适亮度的图像，提高图像质量，给医护人员提供舒适合理、更有价值的图像。为了提升医生的工作效率，在使用内窥镜的过程中，创新更合理的曝光方法，避免过曝或欠曝，为医生诊断等提供更有价值的图像，成为内窥镜系统的热点。

发明内容

本申请实施例提供了一种内窥镜曝光方法、装置及计算机可读存储介质，能够通过合理曝光，获得高质量图像，为医生诊断提供更有价值的信息。所述技术方案如下：

一方面，提供了一种内窥镜曝光方法，所述方法包括：

在接收到视野区域获取指令之后，根据所述内窥镜采集的多帧图像，确定所述内窥镜的目标视野区域；

根据当前时间采集的第一图像中所述目标视野区域的亮度信息，调整所述内窥镜的曝光参数。

可选地，所述根据所述内窥镜采集的多帧图像，确定所述内窥镜的目标视野区域，包括：

将所述多帧图像中的每帧图像分别输入第一目标检测模型或第一图像分割模型，分别输出相应图像对应的备选视野区域，基于所述多帧图像分别对应的多个备选视野区域得到所述目标视野区域；或者，

将所述多帧图像同时输入第二目标检测模型或第二图像分割模型，输出所述目标视野区域。

可选地，在基于所述第一目标检测模型或所述第二目标检测模型确定所述目标视野区域的方式中，得到的所述目标视野区域采用矩形框表示，所述目标视野区域表征所述内窥镜真实视野的外接矩形区域或内接矩形区域；或者，

在基于所述第一图像分割模型或所述第二图像分割模型确定所述目标视野区域的方式中，得到的所述目标视野区域采用图像掩膜表示，所述目标视野区域表征所述内窥镜的真实视野。

可选地，所述根据当前时间采集的第一图像中所述目标视野区域的亮度信息，调整所述内窥镜的曝光参数，包括：

统计所述第一图像中所述目标视野区域的亮度信息，得到所述第一图像的平均亮度；

如果根据所述第一图像的平均亮度、所述内窥镜曝光的参考亮度，以及历史平均亮度，确定当前满足曝光调整条件，则调整所述内窥镜的曝光参数，所述历史平均亮度表征在所述第一图像之前采集的至少一帧图像的平均亮度。

可选地，所述统计所述第一图像中所述目标视野区域的亮度信息，得到所述第一图像的平均亮度之后，还包括：

如果所述第一图像的平均亮度与所述参考亮度之间的差值超过第一范围，则确定当前满足所述曝光调整条件；或者，

如果所述第一图像的平均亮度与所述参考亮度之间的差值未超过所述第一范围，所述第一图像的平均亮度与所述历史平均亮度之间的差值超过第二范围，则确定当前满足所述曝光调整条件。

可选地，所述调整所述内窥镜的曝光参数，包括：

根据所述第一图像的平均亮度和曝光参数包括的曝光时间和增益，确定场景照度；

根据所述场景照度，调整所述参考亮度，调整后的参考亮度与所述场景照度正相关；

根据所述第一图像的平均亮度，以及所述调整后的参考亮度，确定曝光调整方向；

根据所述曝光调整方向，调整所述曝光时间和/或增益。

可选地，所述内窥镜包括卡口和用于插入体内的前端镜头，所述卡口和所述前端镜头连接；

所述方法还包括：

在接收所述视野区域获取指令之前，基于所述内窥镜的卡口调整所述前端镜头的物距和/或焦距，以使所述前端镜头获得的视野区域稳定。

另一方面，提供了一种内窥镜曝光装置，所述装置包括：

确定模块，用于在接收到视野区域获取指令之后，根据所述内窥镜采集的多帧图像，确定所述内窥镜的目标视野区域；

调整模块，用于根据当前时间采集的第一图像中所述目标视野区域的亮度信息，调整所述内窥镜的曝光参数。

可选地，所述确定模块包括：

第一确定子模块，用于将所述多帧图像中的每帧图像分别输入第一目标检测模型或第一图像分割模型，分别输出相应图像对应的备选视野区域，基于所述多帧图像分别对应的多个备选视野区域得到所述目标视野区域；或者，

第二确定子模块，用于将所述多帧图像同时输入第二目标检测模型或第二图像分割模型，输出所述目标视野区域。

可选地，在基于所述第一目标检测模型或所述第二目标检测模型确定所述目标视野区域的方式中，得到的所述目标视野区域采用矩形框表示，所述目标视野区域表征所述内窥镜真实视野的外接矩形区域或内接矩形区域；或者，

在基于所述第一图像分割模型或所述第二图像分割模型确定所述目标视野区域的方式中，得到的所述目标视野区域采用图像掩膜表示，所述目标视野区域表征所述内窥镜的真实视野。

可选地，所述调整模块包括：

统计子模块，用于统计所述第一图像中所述目标视野区域的亮度信息，得到所述第一图像的平均亮度；

第一调整子模块，用于如果根据所述第一图像的平均亮度、所述内窥镜曝光的参考亮度，以及历史平均亮度，确定当前满足曝光调整条件，则调整所述内窥镜的曝光参数，所述历史平均亮度表征在所述第一图像之前采集的至少一帧图像的平均亮度。

可选地，所述调整模块还包括：

第三确定子模块，用于如果所述第一图像的平均亮度与所述参考亮度之间的差值超过第一范围，则确定当前满足所述曝光调整条件；或者，

第四确定子模块，用于如果所述第一图像的平均亮度与所述参考亮度之间的差值未超过所述第一范围，所述第一图像的平均亮度与所述历史平均亮度之间的差值超过第二范围，则确定当前满足所述曝光调整条件。

可选地，所述调整模块包括：

第五确定子模块，用于根据所述第一图像的平均亮度和曝光参数包括的曝光时间和增益，确定场景照度；

第二调整子模块，用于根据所述场景照度，调整所述参考亮度，调整后的参考亮度与所述场景照度正相关；

第六确定子模块，用于根据所述第一图像的平均亮度，以及所述调整后的参考亮度，确定曝光调整方向；

第三调整子模块，用于根据所述曝光调整方向，调整所述曝光时间和/或增益。

可选地，所述内窥镜包括卡口和用于插入体内的前端镜头，所述卡口和所述前端镜头连接；

所述装置还包括：

视野稳定模块，用于在接收所述视野区域获取指令之前，基于所述内窥镜的卡口调整所述前端镜头的物距和/或焦距，以使所述前端镜头获得的视野区域稳定。

另一方面，提供了一种内窥镜曝光装置，所述内窥镜曝光装置包括处理器、通信接口、存储器和通信总线，所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信，所述存储器用于存放计算机程序，所述处理器用于执行所述存储器上所存放的程序，以实现上述所述内窥镜曝光方法的步骤。可选地，所述内窥镜曝光装置为计算机设备的部分或全部。

另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述所述内窥镜曝光方法的步骤。

另一方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述所述的内窥镜曝光的步骤。

本申请实施例提供的技术方案带来的有益效果至少包括：

基于在内窥镜的一次使用过程中，真实视野区域的位置和大小在长时间内基本不变的特点，本方案在接收到视野区域获取指令后，获取一次视野区域，在本次使用内窥镜的过程中后续均基于这个视野区域自动调整曝光即可，无需频繁获取视野区域，这样能够充分减少获取视野区域的计算开销。另外，本方案基于图像中视野区域的亮度信息自动调整曝光，而非基于完整图像，这样曝光调整更加合理，不至于过曝或欠曝，图像质量更高。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种内窥镜的视野区域示意图；

图2是本申请实施例提供的一种内窥镜系统的结构示意图；

图3是本申请实施例提供的一种内窥镜系统的详细结构示意图；

图4是本申请实施例提供的另一种内窥镜系统的结构示意图；

图5是本申请实施例提供的一种内窥镜的卡口调节与成像圆的示意图；

图6是本申请实施例提供的一种内窥镜曝光方法的流程图；

图7是本申请实施例提供的一种视野区域的表示方式的示意图；

图8是本申请实施例提供的另一种内窥镜曝光方法的示意图；

图9是本申请实施例提供的一种场景切换判断的方法流程图；

图10是本申请实施例提供的一种估计场景照度的方法流程图；

图11是本申请实施例提供的一种自动曝光调整的流程图；

图12是本申请实施例提供的一种曝光参数计算的流程图；

图13是本申请实施例提供的另一种曝光参数计算的流程图；

图14是本申请实施例提供的又一种曝光参数计算的流程图；

图15是本申请实施例提供的一种内窥镜曝光装置的结构示意图；

图16是本申请实施例提供的一种终端的结构示意图；

图17是本申请实施例提供的一种服务器的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

为了便于对本申请实施例的理解，首先介绍本申请实施例中涉及的部分术语。

视野区域：内窥镜手术成像的区域，也称为主体区域。如图1所示的一种内窥镜的视野区域为圆形区域。

照度：即场景照度，表示来自拍摄场景的光源能量，对于一个固定的场景而言，它的照度是一个固定值。

亮度：即图像亮度，实际图像的明暗程度，图像亮度与场景照度有关，也与摄像机(如内窥镜)的曝光参数设置有关，图像亮度是一个变量。

AE：(Auto Exposure，自动曝光)，自动曝光指的是摄像机根据当前环境照度自动调整曝光参数，以获得合适亮度的图像。自动曝光主要与三个曝光参数有关：光圈、快门和增益。自动曝光模块的输入为亮度统计信息，输出为调整后的曝光参数。

光圈(f/stop)：指的是摄像机的镜头内某个可以调整开孔大小的机制。当开孔大时，每单位时间穿过开孔到达感光晶片的光就多；反之，当开孔小时，每单位时间穿过开孔到达感光晶片的光就少。调整光圈，指的是调整光圈开孔的大小，从而控制单位时间内可以通过光镜头到达感光晶片的光量。

快门：即曝光时间，是决定图像亮度的另一个重要参数。曝光时间增加，图像亮度增加；曝光时间较小，图像亮度也减小。曝光时间通过快门速度体现，目前快门速度的国际标准标示方式是8秒、4秒、2秒、1秒、1/2秒、1/4秒、1/8秒、1/15秒、1/30秒、1/60秒、1/125秒、1/250秒、1/500秒、1/1000秒、1/2000秒、1/4000秒等等，相邻两个值中后面的值约略是前面的值的二分之一。

增益：摄像机里用来记录影像的感光晶片(sensor)有一个敏感度(sensitivity)，也就是俗称的ISO(International Standards Organization，国际标准组织制定的表示胶片工业的标准称谓)值，ISO值表示摄像系统对电信号施加的增益。通过图像传感器转换后的模拟电信号，在转换为数字信号之前，将会通过一个称为AGC(Automatic Gain Control，自动增益控制)的模块。AGC模块将输入的模拟电信号放大，从而使得输出信号强度满足最终对图像亮度的要求。一般在入射光能力较小，光圈和曝光时间的设置无法满足曝光标准要求的情况下，调节信号的增益是非常有效的曝光调整手段。

接下来介绍本申请实施例中提供的内窥镜曝光方法所涉及的内窥镜系统进行介绍。如图2所示，图2是本申请实施例提供的一种内窥镜系统的结构示意图。在图2中，内窥镜系统包括内窥镜，光源，摄像系统主机，显示装置以及存储装置。

其中，内窥镜用于将长管插入患者体内，拍摄患者体内需要被观察的部位，采集该部位的图像，并将采集的图像发送给摄像系统主机。光源装置用于从内窥镜的长管前端射出的照明光，以便于内窥镜拍摄出清晰的图像。摄像系统主机用于接收内窥镜发送的图像，对该图像进行处理，然后将处理后的图像发送给显示装置和存储装置。摄像系统主机还用于统一控制整个内窥镜系统，比如控制内窥镜将采集的图像发送给摄像系统主机等。显示装置用于接收摄像系统主机发送的处理后的图像，然后将处理的图像显示在显示装置上。存储装置用于接收摄像系统主机发送的处理后的图像，并将该处理后的图像进行存储。

通过图2所示的内窥镜系统，医生通过观察由显示装置显示的处理后的图像，来观测图像中检测对象有无出血部位、肿瘤部位和异常部位。在手术时，通过图2所示的内窥镜系统可以提供手术过程中的实时影像。此外，医生还可以获取存储装置中的图像，根据多个图像组成的视频，进行术后回顾和手术培训。

为了更加清楚的了解内窥镜系统的原理，在此对内窥镜系统组成部分进行解释说明。如图3所示，图3是本申请实施例提供的一种内窥镜系统的详细结构示意图。

在图3中，内窥镜系统中的摄像系统主机包括图像输入单元、图像处理单元、智能处理单元、视频编码单元、控制单元和操作单元。

其中，图像输入单元接收内窥镜发送过来的图像，并将接受到的图像传输给图像处理单元。

图像处理单元接收图像输入单元发送的图像，对接收到的图像进行处理，也即是对图像进行ISP(Image Signal Processor，图像信号处理)操作，ISP操作包括对图像进行亮度变换、锐化、去摩尔纹、缩放等操作。图像处理单元处理完图像之后，将处理后的图像发送给智能处理单元、视频编码单元或显示装置。此外，图像处理单元还用于接收智能处理单元智能分析后的图像，并对智能分析后的图像再一次进行ISP操作。

智能处理单元接收到图像处理单元发送的处理后的图像，并对处理后的图像进行智能分析，智能分析包括对处理后的图像基于深度学习进行场景分类、器械或器械头检测、纱布检测、摩尔纹分类和浓雾分类等。智能处理单元智能分析完处理后的图像之后，将智能分析后的图像发送给图像处理单元或视频编码单元。

视频编码单元用于接收图像处理单元处理后的图像，或智能处理单元智能分析后的图像。对处理后的图像或智能分析后的图像进行编码压缩，并将压缩后的图像发送给存储装置。

控制单元用于向内窥镜系统的各个单元发送不同的功能指令，用于控制内窥镜系统的各个模块来执行某些功能，比如控制光源的照明、图像处理单元的图像处理方式、智能处理单元的智能分析方式和视频编码单元的编码压缩方式等。此外，控制单元还用于接收操作单元发送的触发指令，并响应于该触发指令，以便于开启摄像系统主机。当用户对摄像系统主机上的开关、按钮或触摸面板进行触发操作时，操作单元用于接收用户的触发指令，并向控制单元发送该触发指令。

在图3中，内窥镜系统中的光源包括照明控制单元和照明单元。其中，照明控制单元接收摄像系统主机中控制单元发送的功能指令后，并向照明单元发送照明指令，用于控制照明单元向内窥镜提供照明光。照明单元接收到明控制单元发送的照明指令，并向内窥镜提供照明光。

在图3中，内窥镜系统中的内窥镜具有摄像光学系统、成像单元、处理单元和操作单元。其中，摄像光学系统由一个或多个透镜构成，对来自患者体内需要被观测部位的光进行聚光，以便观测部位可以被清晰的拍摄下来。成像单元由CMOS(complementary metaloxide semiconductor，互补金属氧化物半导体)或CCD(charge coupled device，电荷耦合器件)等图像传感器组成，用于将各个像素点所接收的光进行光电转换来生成图像。成像单元将生成的图像发送给处理单元。处理单元接收成像单元发送的图像，将该图像转换成数字信号图像，并将转换后的图像发送到摄像系统主机的图像输入单元。当用户对内窥镜上的开关、按钮或触摸面板进行触发操作时，操作单元用于接收用户的触发指令，并向摄像系统主机的控制单元发送该触发指令。

本申请实施例提供的方法就应用于利用内窥镜系统对图像进行处理的场景中，可选地，本申请实施例提供的内窥镜曝光方法也可以应用在其他对图像进行处理的场景中。在此就不再一一举例说明。

图4是本申请实施例提供的另一种内窥镜系统的结构示意图。图4中的内窥镜系统与上述实施例中的内窥镜系统相似，这里不再赘述。另外，在图4中示出了内窥镜包括的用于插入体内的前端镜头，以及用于调焦和变焦的卡口，也即卡口集成了调焦和变焦的光学器件，卡口和前端镜头连接。其中，卡口的调焦功能用于对焦，以适应不同的物距，使图像清晰，也即用于调节前端镜头的物距，改变图像的模糊程度，不会改变视野圈(如成像圆)的大小。卡口的变焦功能用于调整焦距，会改变图像中视野圈的大小。通过调节卡口进行对焦和变焦，使得通过镜头获得的视野区域稳定，且图像清晰。

在另一些实施例中，内窥镜包括用于调焦的卡口，该卡口仅有调焦的功能，也即仅能定焦。需要说明的是，无论内窥镜的卡口是否支持变焦，在调节卡口获得稳定且清晰的视野区域之后，视野区域的大小和位置即固定。通常在一个手术场景中，调节并固定卡口后，视野区域不会发生变化。

在一示例中，卡口的后端连接有光学变焦透镜组，卡口固定后，使用内窥镜获取体内的图像，其中，光线经前端镜头、光学变焦透镜组到达图像传感器上，经一系列信号处理后最终成像。

图5是本申请实施例示出的一种调整内窥镜的卡口与成像圆的示意图。在使用同一镜头(内窥镜)的情况下，调节卡口使得焦距为大焦距，得到较大的成像圆，调节卡口使得焦距为小焦距，得到较小的成像圆。也即是，大焦距光学卡口得到较大的视野圈，小焦距光学卡口得到较小的视野圈。需要说明的是，一个卡口所支持变焦的焦距范围一定，如果调节该卡口仍不能得到合适的视野区域，说明该卡口所能调节的焦距范围不合适，需要更换卡口，采用更换后的卡口来调节焦距，得到合适的视野区域。

在图像处理中对图像进行ISP操作时，会根据当前图像的亮度进行调整，以便提供用户舒适合理的。实际上，内窥镜的成像区域(即视野区域)并非完整的图像，而是局部区域，如果针对整副图像进行曝光处理，难免引入过曝或者欠曝情况。为此，本方案针对视野区域进行自动曝光，具体来说，先自动获取视野区域的范围，然后针对视野区域进行自动曝光，也即本方案的内窥镜曝光方法包括两个过程，为视野区域获取过程和自动曝光过程，接下来对此进行介绍。

需要说明的是，本申请实施例提供的内窥镜曝光方法的执行主体并不限定，例如，该方法可以由前述介绍的摄像系统主机执行，也可以由外接设备执行。为了便于后续说明，下述实施例以该方法由计算机设备执行为例进行说明。

图6是本申请实施例提供的一种内窥镜曝光方法的流程图，该方法包括如下几个步骤：

步骤601：在接收到视野区域获取指令之后，根据内窥镜采集的多帧图像，确定内窥镜的目标视野区域。

在内窥镜使用场景中，由于在内窥镜的一次使用过程中，内窥镜的视野区域的大小和位置在长时间内是基本不变的，但是手术进行场景切换时(例如由肠腔手术切换为腹腔手术)，需要重新获取视野区域的大小和位置，这时需要重新启动视野区域获取功能。换句话说，虽然内窥镜的场景长时间不会发生切换，基本上一个手术对应的视野区域是稳定的，但是手术更新后，视野区域也是变化的，需要重新获取视野区域。在本申请实施例中，通过人工的确定方式来判断场景是否切换，如果切换，则由人工操作向计算机设备发送视野区域获取指令，重启计算机设备的视野区域获取模块，以获得适应场景的准确视野区域。当然，在手术进行中的任意时间，均可以通过指令触发计算机重新获取视野区域。

可选地，在接收视野区域获取指令之前，基于内窥镜的卡口调整前端镜头的物距和/或焦距，以使前端镜头获得的视野区域稳定。在内窥镜的卡口固定之后，接收视野区域获取指令。也即是，在使用内窥镜时，需要固定内窥镜的卡口以固定内窥镜的视野区域，即在固定内窥镜的卡口之后，内窥镜的视野区域的位置和大小保持稳定，之后根据本方案去获取内窥镜的视野区域的精确度很高，且获取一次视野区域之后，在下次接收视野区域获取指令之前，无需再重复获取视野区域，减少了计算开销。可选地，在重新调整内窥镜的卡口并固定之后，内窥镜的视野区域可能发生变化，这种情况下，需要重新获取视野区域。

可选地，视野区域获取指令可以是通过点击或者触摸显示装置上的开始按钮，例如开始手术按钮、开始图像采集按钮等。另外，除了在手术一开始固定内窥镜的卡口之后，接收视野区域获取指令，也可以在手术过程中的任何时刻根据需要触发计算机设备接收视野区域获取指令。

基于此，本申请实施例中，计算机设备在接收到视野区域获取指令之后，根据内窥镜采集的多帧图像，确定内窥镜的目标视野区域。在一种实现方式中，计算机设备根据内窥镜最新采集的多帧图像，确定内窥镜的目标视野区域，也即获取稳定的视野区域。需要说明的是，本申请实施例中将最终确定的稳定的视野区域成为目标视野区域。

其中，目标视野区域的获取方法采用包括但不限于目标检测、图像分割等深度学习方法。从处理过程角度考虑，目标视野区域的获取方法可以是基于单帧的获取方法加上一些时序处理，使得获取的视野区域更准确，也可以是直接基于时序上多帧图像处理确定目标视野区域。可见本方案并非基于单帧图像信息获取目标视野区域，而是进行多帧信息整合，获得鲁棒性更高的目标视野区域。

在本申请实施例中，基于单帧的获取方法加上时序整合确实目标视野区域的一种实现方式为：计算机设备将该多帧图像中的每帧图像分别输入第一目标检测模型或第一图像分割模型，分别输出相应图像对应的备选视野区域，基于该多帧图像分别对应的多个备选视野区域得到目标视野区域。

示例性地，多于该多帧图像，计算机设备将单帧图像分别输入第一目标检测模型，输出单帧图像对应的备选视野区域，之后，通过例如SEQ-NMS(Sequences Non-maximum-suppression序列-非极大值抑制)方法对该多帧图像对应的多个备选视野区域进行时序整合，得到更鲁棒的目标视野区域。或者，对于该多帧图像，将单帧图像输入第一图像分割模型，输出单帧图像对应的备选视野区域，之后，对于分割结果(即多个备选视野区域)通过投票机制获得更鲁棒的目标视野区域。

在本申请实施例中，直接基于时序上的多帧图像处理确定目标视野区域的一种实现方式为：计算机设备将该多帧图像同时输入第二目标检测模型或第二图像分割模型，输出目标视野区域。也即是，基于时序上的视频目标检测方法或视频图像分割方法，模型的输入为连续的多帧图像，输出直接为目标视野区域。

可选地，在上述基于第一目标检测模型或第二目标检测模型确定目标视野区域的方式中，得到的目标视野区域采用矩形框表示，目标视野区域表征内窥镜真实视野的外接矩形区域或内接矩形区域。示例性地，在一种实现方式中，备选视野区域采用矩形框表示，例如通过矩形框的对角顶点坐标表示(如左上角顶点和右下角顶点的坐标)。其中，由外接矩形区域表示的目标视野区域能够覆盖内窥镜真实视野的全部，由内接矩形区域表示的目标视野区域不会覆盖背景区域(如图1中的黑色背景区域)。

可选地，在上述基于第一图像分割模型或第二图像分割模型确定目标视野区域的方式中，得到的目标视野区域采用图像掩膜表示，目标视野区域表征内窥镜的真实视野。示例性地，图像掩膜中值为‘1’的像素点表示相应图像中的有效区域，值为‘0’的像素点表示相应图像中的无效区域，有效区域组成图像中的目标视野区域。可见，由图像掩膜表示的目标视野区域能够真实反映内窥镜的真实视野。

由上述可知，本方案中通过三种不同的方式表示目标视野区域，如图7所示的方式1、方式2和方式3。其中，方式1为外接矩形区域，也即由内窥镜真实视野(如浅灰色填充区域)的最小外接矩形框表示目标视野区域。方式2为内接矩形区域，也即由内窥镜真实视野的最大内接矩形框表示目标视野区域。方式3为图像mask(掩膜)表示，其中，深灰色填充区域中每个像素点的mask值为‘1’，白色填充区域中每个像素点的mask值为‘0’。

可选地，若获得的目标视野区域表征内窥镜真实视野的外接矩形区域，也即由方式1表示，则计算机设备通过计算也可获得内接矩形区域，也即得到方式2。例如先确定外接矩形区域的最大内接圆形(或椭圆)区域，再确定最大内接圆形(或椭圆)区域的最大内接矩形区域，即得到由内接矩形区域表示的目标视野区域。相反地，若获得的目标视野区域表征内窥镜真实视野的内接矩形区域，则计算机设备通过计算也可获得对应的外接矩形区域。也即是，方式1与方式2可以互相变换得到。可选地，若获得的目标视野区域表征内窥镜的真实视野，也即由方式3表示，则计算机设备通过计算可获得外接矩形区域或内接矩形区域，也即得到方式1或方式2。可选地，若获得的目标视野区域由方式1表示，则计算机设备通过计算可获得内接圆形(或椭圆)区域，将内接圆形(或椭圆)区域转换为图像mask来表示目标视野区域，也即方式1可以得到方式3。同理，若获得的目标视野区域由方式2表示，则计算机设备通过计算可获得外接圆形(或椭圆)区域，将外接圆形(或椭圆)区域转换为图像mask来表示目标视野区域，也即由方式2可以得到方式3。由此可见，上述方式1、方式2和方式3可以互相转换，以满足视野区域的多种表示方式，不同表示方式实现不同的曝光效果。

可选地，在上述方式1和/或方式2中，除了通过上述介绍的矩形表示视野区域之外，也可以通过其他的任一种多边形、曲边形等形状来表示视野区域，例如八边形、菱形、不规则形状等，本申请实施例对此不作限定。

可选地，在确定目标视野区域之后，在计算机设备上显示图像中的目标视野区域，由人工判断目标视野区域是否准确，若获取的目标视野区域准确，则计算机设备根据指令锁定目标视野区域，并等待下一次接收视野区域获取指令。若获取的目标视野区域不准确，则计算机设备根据指令重新获取目标视野区域，例如重新获取多帧图像，基于重新获取的多帧图像重新确定目标视野区域。

由上述可知，本方案在接收到视野区域获取指令后，获取一次目标视野区域，在本次使用内窥镜的过程中，后续计算机设备基于这个目标视野区域自动调整曝光即可，无需频繁获取视野区域，这样能够充分减少获取视野区域的计算开销。

另外，参见图8，本申请实施例提供的内窥镜曝光方法中，针对视野区域的自动曝光主要包括视野区域获取、场景切换判断和自动曝光调整。在步骤601中对视野区域获取(如深度学习、时序整合等方法)和场景切换判断(如人工方式判断)作了相关介绍，接下来通过步骤602对自动曝光调整进行介绍。

步骤602：根据当前时间采集的第一图像中目标视野区域的亮度信息，调整内窥镜的曝光参数。

医疗中常见的一种曝光区域为圆形区域(如图1所示)，圆形区域为实际可见的场景，背景区域常见为黑色无光区域，在一些内窥镜中存在差镜子的场景，背景区域往往会有一些漏光现象。为了更好地统计当前场景下图像的亮度，通过获取得到的目标视野区域的信息选取图像中的主体区域。例如，将图像分为如图1所示的两个区域：主体区域(目标视野区域)和背景区域，根据获取确定的目标视野区域的信息来区分主体区域和背景区域，对于主体区域作为本方案中亮度统计的范围。

在本申请实施例中，在获取目标视野区域之后，计算机设备根据当前时间采集的第一图像中目标视野区域的亮度信息，调整内窥镜的曝光参数。也即是，在获取目标视野区域之后采集的每一帧图像均根据本方案实现自动曝光调整。可选地，若获取目标视野区域所采用的多帧图像为最新采集的图像，那么第一图像为该多帧图像中采集时间最晚的一帧图像，对于第一图像之后采集的每一帧图像均为根据本方案自动调整曝光之后采集的图像。

需要说明的是，在本申请实施例中，基于第一图像在目标视野区域内的亮度信息，调整内窥镜的曝光参数的实现方式有很多，接下来以其中一种实现方式为例进行介绍。

在本申请实施例中，计算机设备统计第一图像中目标视野区域的亮度信息，得到第一图像的平均亮度，如果根据第一图像的平均亮度、内窥镜曝光的参考亮度，以及历史平均亮度，确定当前满足曝光调整条件，则计算机设备调整内窥镜的曝光参数。其中，历史平均亮度表征在第一图像之前的至少一帧图像的平均亮度。

也即是，计算机设备后续的曝光调整操作均基于目标视野区域进行，先统计第一图像在目标视野区域的平均亮度，由于第一图像的平均亮度、内窥镜曝光的参考亮度以及历史平均亮度，这三者的大小关系能够在一定程度上能够反映目前曝光是否合适、当前所采集图像的亮度变化是否平缓，因此根据这三者判断当前是否满足曝光调整条件，在当前满足曝光调整条件下，自动调整曝光参数。

示例性地，如果第一图像的平均亮度与参考亮度之间的差值超过第一范围，则确定当前满足曝光调整条件。也即是，如果当前时间采集的第一图像的平均零度并不在参考亮度附近，说明目前曝光不合适，无论当前所采集图像的亮度变化是否平缓，都需要调整曝光参数，使得曝光调整后采集的图像的亮度在参考亮度之内。可选地，参考亮度为一个定值，或者为一个范围。

如果第一图像的平均亮度与参考亮度之间的差值未超过第一范围，第一图像的平均亮度与历史平均亮度之间的差值超过第二范围，则确定当前满足曝光调整条件。也即是，如果当前时间采集的第一图像的平均亮度在参考亮度附近，但第一图像相较于历史图像的亮度变化并不平缓，说明尽管目前曝光合适(也即第一图像的曝光合适)，但当前由于场景变化(如光照变化)等原因导致图像亮度变化过大，因此也需要调整曝光参数，以适应场景变化等，使得后续采集的图像曝光合理。

在另一些实施例中，如图9所示，在图9中以场景变化标记为1表示满足曝光调整条件，以场景变化标记为0表示不满足曝光调整条件，计算机设备通过更新场景变化标记来。计算机设备统计从上一次更新场景变化标记开始，所采集图像的平均亮度连续多次超过参考亮度区间(参考亮度的左右第一范围内)的次数，也即统计连续多帧图像的亮度与参考亮度的差值连续超过第一范围的次数，如果统计的次数超过次数阈值，则确定满足曝光调整条件，也即确定场景发生变化，需要调整曝光参数。如果当前统计的次数没有超过次数阈值，且场景变化标记不为1，表示场景未发生明显变化，或者，如果当前统计的次数没有超过次数阈值，场景变化标记为1，且历史帧已经更新，则统计从上一次更新场景变化标记开始，至当前采集的一帧图像的平均亮度与历史帧的平均亮度相比的变化小于第二范围的块的个数，也即统计亮度变化不明显的块的比例，如果亮度变化不明显的块的比例小于比例阈值，或者场景变化后图像亮度还未进入过参考亮度区间，则确定满足曝光调整条件，需要调整曝光参数。

由上述可知，在本方案的一种实现方式中，并非对每一帧图像的曝光进行调整，而是在根据上述方法确定满足曝光调整条件的情况下进行曝光调整，这样可以保证在场景光照没有发生明显变化等情况下不调整曝光参数，进一步减少计算开销。

接下来介绍本申请实施例中调整内窥镜的曝光参数一种实现方式。在本申请实施例中，计算机设备根据第一图像的平均亮度和曝光参数包括的曝光时间和增益，确定场景照度。之后，计算机设备根据场景照度，调整参考亮度，调整后的参考亮度与场景照度正相关。然后，计算机设备根据第一图像的平均亮度，以及调整后的参考亮度，确定曝光调整方向，根据该曝光调整方向，调整曝光时间和/或增益。

示例性地，计算机设备先根据当前采集的第一图像、当前的曝光参数等信息估计场景照度，进一步根据场景照度调整参考亮度，在场景照度较低的情况下，降低参考亮度，在场景照度较高的情况下，提高参考亮度。

图10是本申请实施例提供的一种估计场景照度的方法流程图。参见图10，如果第一图像的平均亮度y_avg_cur与参考亮度y_avg_pre之间的差值未超过第一范围(如图10所示为3)，则统计的稳定次数SC(stable_count)加1，判断稳定次数SC是否超过次数阈值th1，如果SC超过次数阈值th1，则根据公式cur_lum_level＝1000*y_avg_cur/(exp_time*G)计算场景照度cur_lum_level，其中，exp_time和G分别为当前的曝光时间(Exposure Time)和增益(gain)。之后，将稳定次数置SC零，重新计数。如果第一图像的平均亮度与参考亮度的差值超过第一范围，则将稳定次数置零，重新计数来估计场景照度。

可选地，如果场景照度高于参考照度，则按照调整步长降低参考亮度，或者，按照线性或非线性函数降低参考亮度。如果场景照度低于参考照度，则按照调整步长提高参考亮度，或者，按照线性或非线性函数提高参考亮度。

之后，计算机设备根据第一图像的平均亮度与调整后的参考亮度的大小，确定曝光调整方向，在第一图像的平均亮度大于调整后的参考亮度的情况下，曝光调整方向指示需要减少曝光，在第一图像的平均亮度小于调整后的参考亮度的情况下，曝光调整方向指示需要增加曝光。之后，计算机设备根据该曝光调整方向，调整曝光时间和/或增益。例如在需要减少曝光的情况下，增加曝光时间和/或增益，在需要增加曝光的情况下，减少曝光时间和/或增益。

需要说明的是，在本申请实施例中，主要调整内窥镜的曝光时间和/或增益，在其他一些实施例中，还可以调整内窥镜的光圈，例如在需要减少曝光的情况下，增大光圈，在需要增加曝光的情况下，减小光圈。

接下来参照图11对上述自动曝光的流程进行解释说明。图11是本申请实施例提供的一种自动曝光调整的流程图，参见图11，计算机设备进行自动曝光的模块包括亮度估计模块、场景变化平滑模块(也称为曝光控制灵敏度自适应模块)、参考亮度根据照度自适应模块(也称为参考亮度调整模块)和曝光参数计算模块。

其中，亮度估计模块用于计算图像的平均亮度。亮度估计模块的输入包括目标视野区域的位置和大小(如矩形框的坐标或图像mask)，以及当前图像(即第一图像)的亮度统计值(亮度信息)，亮度估计模块的输出包括当前图像的平均亮度y_avg。

场景变化平滑模块用于自动调节曝光的灵敏度，灵敏度用于判断是否满足曝光调整条件，也即是否需要曝光。场景变化平滑模块的输入包括当前图像的平均亮度、当前图像的平均亮度y_avg与内窥镜曝光的参考亮度(也称为目标亮度)之间的差值y__△，以及历史图像亮度y_pre(如前一帧图像的平均亮度)，场景变化平滑模块根据y__△，以及y_avg与y_pre之间的差值，确定并输出灵敏度。示例性地，输出的灵敏度为1或0。

如果场景变化平滑模块输出的灵敏度为1，则继续后续的参考亮度调整和曝光参数计算(还包括设置存储曝光参数的寄存器数值)。如果场景变化平滑模块输出的灵敏度为0，则无需进行后续的参考亮度调整和曝光参数计算，也即在场景变化不明显的情况下不进行曝光调节。

参考亮度根据照度自适应模块用于自适应调整参考亮度。参考亮度根据照度自适应模块的输入包括当前图像的平均亮度、当前的曝光参数(包括曝光时间和增益)等，估计场景照度。其中，内窥镜曝光的增益包括视频增益值和数字增益值中的至少一个。之后，在场景照度较高的情况下，适当提高参考亮度，在保证视觉效果的前提下需要防止图像过曝，在场景照度较低的情况下，适当降低参考亮度，在降低数字噪声的前提下兼顾图像的亮度，防止图像过暗(防止欠曝)。在调整参考亮度之后，参考亮度根据照度自适应模块通过比较当前图像的平均亮度与调整后的参考亮度，确定曝光调整方向。参考亮度根据照度自适应模块输出调整后的参考亮度y_ref和曝光调整方向。

曝光参数计算模块用于自动计算曝光参数。曝光参数计算模块的输入包括、第一图像的平均亮度、曝光调整方向、调整后的参考亮度、当前的曝光参数(包括曝光时间和增益)，输出包括调整后的曝光时间和/或增益。

需要说明的是，在图11中所示的bit(比特)位表示在一个实施例中计算机设备的寄存器中亮度、曝光时间、增益所占的存储位数，如亮度由8bit的寄存器数据表示，曝光时间和增益均由16位的寄存器数据表示。

接下来通过图12至图14对曝光参数计算模块的详细继续过程进行介绍。参见图12，每采集一帧图像，并确定当前需要调整曝光参数时，曝光参数计算模块获取到中断信号，获取当前的ST(Shutter Time，快门时间，也称为曝光时间)和G(Gain，增益)，如果当前图像的平均亮度y_avg大于调整后的参考亮度y_ref，则执行图13所示的流程A，如果当前图像的平均亮度y_avg不大于调整后的参考亮度y_ref，则执行图14所示的流程B。通过流程A或流程B所示的试位法调整曝光时间和/或增益。

在图13中所示的流程中y_avg＞y_ref，需要减少曝光。如果当前的曝光时间ST小于光源周期T(内窥镜光源的频闪周期)，即ST＜T，则设置增益为最小值，即调整后的增益G_new＝G_min(增益的最小值)，按照试位法计算新的曝光时间，即新的曝光时间ST_new＝ST*y_ref/y_avg。

如果ST≥T，且G＞G_min，则减少增益，即G_new＝G-20*lg(y_ref/y_avg)，保持曝光时间ST不变，即ST_new＝ST。

如果ST≥T，且G≤G_min，则保持增益为最小值，即G_new＝G_min，按照试位法计算新的曝光时间，即ST_new＝ST*y_ref/y_avg。由于需要保证内窥镜曝光不受内窥镜光源的频闪影响，因此，需要保证调整后的曝光时间为频闪周期T的整数倍，在得到ST_new之后，计算出ST_new为T的倍数N，即计算N＝ST_new/T，如果N＞0，重新计算增益G_new＝G-20*lg(y_ref/y_avg)，计算ST_new＝N*T，如果N≤0，则确定调整完成。最终通过图13所示的流程得到调整后的曝光时间ST_new和增益G_new。

在图14所示的流程中y_avg≤y_ref，需要增加曝光。如果当前的曝光时间ST等于曝光时间的最大值ST_max，即ST＝ST_max，则保持曝光时间不变，即ST_new＝ST_max，加大增益，即G_new＝G+20*lg(y_ref/y_avg)。

如果ST≠ST_max，且ST≥N_max*T，则增大曝光时间，即ST_new＝ST*y_ref/y_avg，保持增益不变，即G_new＝G。

如果ST≠ST_max，ST＜N_max*T，且ST＜T，则设置增益为最小值，即G_new＝G_min，按照试位法计算新的曝光时间，即ST_new＝ST*y_ref/y_avg，计算出ST_new为T的倍数N，即计算N＝ST_new/T，如果N＞0，重新计算曝光时间ST_new＝N*T。其中，N_max表示帧率对应的稳定帧数。

如果ST≠ST_max，ST＜N_max*T，且ST≥T，则设置ST＝N_r*T，其中，N_r为指定范围内的随机正整数，增大增益，即G_new＝G-20*lg(y_ref/y_avg)，调整新的曝光时间ST_new＝ST。如果G_new≥G_min*(N_r+1)/N，则设置增益为最小值，即G_new＝G_min，曝光时间增大一级，即ST_new＝ST+T。

需要说明的是，上述图12至图14仅为本申请实施例的一种示例性说明，并不用于限定本申请实施例，在实际中根据本方案确定视野区域之后，也可以通过其他方法来调整曝光时间和增益，以自动合理地进行曝光。

由上述可知，本方案自动准确获取视野区域，无需人为获取，提高亮度信息统计的准确程度，有利于后续的自动曝光调整。且对于同一个场景，只需要少量的开销来获取视野区域，无需时时刻刻进行视野区域的获取，节省了大量的资源。本方案结合多帧图像获取更鲁棒的视野区域，曝光调整更加合理。另外，本方案若基于内窥镜系统中的摄像系统主机自动获取视野区域，则无需引入额外的硬件设备，成本较低。

综上所述，在本申请实施例中，基于在内窥镜的一次使用过程中，真实视野区域的位置和大小在长时间内基本不变的特点，本方案在接收到视野区域获取指令后，获取一次视野区域，在本次使用内窥镜的过程中后续均基于这个视野区域自动调整曝光即可，无需频繁获取视野区域，这样能够充分减少获取视野区域的计算开销。另外，本方案基于图像中视野区域的亮度信息自动调整曝光，而非基于完整图像，这样曝光调整更加合理，不至于过曝或欠曝，图像质量更高。

上述所有可选技术方案，均可按照任意结合形成本申请的可选实施例，本申请实施例对此不再一一赘述。

图15是本申请实施例提供的一种内窥镜曝光装置1500的结构示意图，该内窥镜曝光装置1500可以由软件、硬件或者两者的结合实现成为计算机设备的部分或者全部，该计算机设备可以为上述实施例中的计算机设备。请参考图15，该装置1500包括：

确定模块1501，用于在接收到视野区域获取指令之后，根据内窥镜采集的多帧图像，确定内窥镜的目标视野区域；

调整模块1502，用于根据当前时间采集的第一图像中目标视野区域的亮度信息，调整内窥镜的曝光参数。

可选地，确定模块1501包括：

第一确定子模块，用于将多帧图像中的每帧图像分别输入第一目标检测模型或第一图像分割模型，分别输出相应图像对应的备选视野区域，基于多帧图像分别对应的多个备选视野区域得到目标视野区域；或者，

第二确定子模块，用于将多帧图像同时输入第二目标检测模型或第二图像分割模型，输出目标视野区域。

可选地，在基于第一目标检测模型或第二目标检测模型确定目标视野区域的方式中，得到的目标视野区域采用矩形框表示，目标视野区域表征内窥镜真实视野的外接矩形区域或内接矩形区域；或者，

在基于第一图像分割模型或第二图像分割模型确定目标视野区域的方式中，得到的目标视野区域采用图像掩膜表示，目标视野区域表征内窥镜的真实视野。

可选地，调整模块1502包括：

统计子模块，用于统计第一图像中目标视野区域的亮度信息，得到第一图像的平均亮度；

第一调整子模块，用于如果根据第一图像的平均亮度、内窥镜曝光的参考亮度，以及历史平均亮度，确定当前满足曝光调整条件，则调整内窥镜的曝光参数，历史平均亮度表征在第一图像之前采集的至少一帧图像的平均亮度。

可选地，调整模块1502还包括：

第三确定子模块，用于如果第一图像的平均亮度与参考亮度之间的差值超过第一范围，则确定当前满足曝光调整条件；或者，

第四确定子模块，用于如果第一图像的平均亮度与参考亮度之间的差值未超过第一范围，第一图像的平均亮度与历史平均亮度之间的差值超过第二范围，则确定当前满足曝光调整条件。

可选地，调整模块1502包括：

第五确定子模块，用于根据第一图像的平均亮度和曝光参数包括的曝光时间和增益，确定场景照度；

第二调整子模块，用于根据场景照度，调整参考亮度，调整后的参考亮度与场景照度正相关；

第六确定子模块，用于根据第一图像的平均亮度，以及调整后的参考亮度，确定曝光调整方向；

第三调整子模块，用于根据曝光调整方向，调整曝光时间和/或增益。

可选地，内窥镜包括卡口和用于插入体内的前端镜头，卡口和所述前端镜头连接；

该装置1500还包括：

视野稳定模块，用于在接收视野区域获取指令之前，基于内窥镜的卡口调整前端镜头的物距和/或焦距，以使前端镜头获得的视野区域稳定。

在本申请实施例中，基于在内窥镜的一次使用过程中，真实视野区域的位置和大小在长时间内基本不变的特点，本方案在接收到视野区域获取指令后，获取一次视野区域，在本次使用内窥镜的过程中后续均基于这个视野区域自动调整曝光即可，无需频繁获取视野区域，这样能够充分减少获取视野区域的计算开销。另外，本方案基于图像中视野区域的亮度信息自动调整曝光，而非基于完整图像，这样曝光调整更加合理，不至于过曝或欠曝，图像质量更高。

需要说明的是：上述实施例提供的内窥镜曝光装置在自动曝光时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的内窥镜曝光装置与内窥镜曝光方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图16是本申请实施例提供的一种终端1600的结构示意图。该终端1600可以是：智能手机、平板电脑、笔记本电脑或台式电脑。终端1600还可能被称为计算机设备、用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，终端1600包括有：处理器1601和存储器1602。

处理器1601可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1601可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1601也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1601可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。在一些实施例中，处理器1601还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器1602可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1602还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1602中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1601所执行以实现本申请中方法实施例提供的内窥镜曝光方法。

在一些实施例中，终端1600还可选包括有：外围设备接口1603和至少一个外围设备。处理器1601、存储器1602和外围设备接口1603之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1603相连。具体地，外围设备包括：射频电路1604、显示屏1605、摄像头组件1606、音频电路1607、定位组件1608和电源1609中的至少一种。

外围设备接口1603可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1601和存储器1602。在一些实施例中，处理器1601、存储器1602和外围设备接口1603被集成在同一芯片或电路板上；在一些其他实施例中，处理器1601、存储器1602和外围设备接口1603中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路1604用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1604将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1604包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1604可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1604还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏1605用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1605是触摸显示屏时，显示屏1605还具有采集在显示屏1605的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1601进行处理。此时，显示屏1605还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1605可以为一个，设置在终端1600的前面板；在另一些实施例中，显示屏1605可以为至少两个，分别设置在终端1600的不同表面或呈折叠设计；在另一些实施例中，显示屏1605可以是柔性显示屏，设置在终端1600的弯曲表面上或折叠面上。甚至，显示屏1605还可以设置成非矩形的不规则图形，也即异形屏。显示屏1605可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-EmittingDiode,有机发光二极管)等材质制备。

摄像头组件1606用于采集图像或视频。可选地，摄像头组件1606包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1606还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路1607可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1601进行处理，或者输入至射频电路1604以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端1600的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1601或射频电路1604的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1607还可以包括耳机插孔。

定位组件1608用于定位终端1600的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件1608可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。

电源1609用于为终端1600中的各个组件进行供电。电源1609可以是交流电、直流电、一次性电池或可充电电池。当电源1609包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。

在一些实施例中，终端1600还包括有一个或多个传感器1610。该一个或多个传感器1610包括但不限于：加速度传感器1611、陀螺仪传感器1612、压力传感器1613、指纹传感器1614、光学传感器1615以及接近传感器1616。

加速度传感器1611可以检测以终端1600建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1611可以用于检测重力加速度在三个坐标轴上的分量。处理器1601可以根据加速度传感器1611采集的重力加速度信号，控制显示屏1605以横向视图或纵向视图进行用户界面的显示。加速度传感器1611还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器1612可以检测终端1600的机体方向及转动角度，陀螺仪传感器1612可以与加速度传感器1611协同采集用户对终端1600的3D动作。处理器1601根据陀螺仪传感器1612采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器1613可以设置在终端1600的侧边框和/或显示屏1605的下层。当压力传感器1613设置在终端1600的侧边框时，可以检测用户对终端1600的握持信号，由处理器1601根据压力传感器1613采集的握持信号进行左右手识别或快捷操作。当压力传感器1613设置在显示屏1605的下层时，由处理器1601根据用户对显示屏1605的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器1614用于采集用户的指纹，由处理器1601根据指纹传感器1614采集到的指纹识别用户的身份，或者，由指纹传感器1614根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1601授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1614可以被设置在终端1600的正面、背面或侧面。当终端1600上设置有物理按键或厂商Logo时，指纹传感器1614可以与物理按键或厂商Logo集成在一起。

光学传感器1615用于采集环境光强度。在一个实施例中，处理器1601可以根据光学传感器1615采集的环境光强度，控制显示屏1605的显示亮度。具体地，当环境光强度较高时，调高显示屏1605的显示亮度；当环境光强度较低时，调低显示屏1605的显示亮度。在另一个实施例中，处理器1601还可以根据光学传感器1615采集的环境光强度，动态调整摄像头组件1606的拍摄参数。

接近传感器1616，也称距离传感器，通常设置在终端1600的前面板。接近传感器1616用于采集用户与终端1600的正面之间的距离。在一个实施例中，当接近传感器1616检测到用户与终端1600的正面之间的距离逐渐变小时，由处理器1601控制显示屏1605从亮屏状态切换为息屏状态；当接近传感器1616检测到用户与终端1600的正面之间的距离逐渐变大时，由处理器1601控制显示屏1605从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图16中示出的结构并不构成对终端1600的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

本申请实施例还提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由终端的处理器执行时，使得终端能够执行上实施例提供的内窥镜曝光方法。

本申请实施例还提供了一种包含指令的计算机程序产品，当其在终端上运行时，使得终端执行上述实施例提供的内窥镜曝光方法。

图17是根据一示例性实施例示出的一种内窥镜曝光装置的服务器结构示意图。该服务器可以是后台服务器集群中的服务器。具体来讲：

服务器1700包括中央处理单元(CPU)1701、包括随机存取存储器(RAM)1702和只读存储器(ROM)1703的系统存储器1704，以及连接系统存储器1704和中央处理单元1701的系统总线1705。服务器1700还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)1706，和用于存储操作系统1713、应用程序1714和其他程序模块1715的大容量存储设备1707。

基本输入/输出系统1706包括有用于显示信息的显示器1708和用于用户输入信息的诸如鼠标、键盘之类的输入设备1709。其中显示器1708和输入设备1709都通过连接到系统总线1705的输入输出控制器1710连接到中央处理单元1701。基本输入/输出系统1706还可以包括输入输出控制器1710以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1710还提供输出到显示屏、打印机或其他类型的输出设备。

大容量存储设备1707通过连接到系统总线1705的大容量存储控制器(未示出)连接到中央处理单元1701。大容量存储设备1707及其相关联的计算机可读介质为服务器1700提供非易失性存储。也就是说，大容量存储设备1707可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。

不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术，CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器1704和大容量存储设备1707可以统称为存储器。

根据本申请的各种实施例，服务器1700还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器1700可以通过连接在系统总线1705上的网络接口单元1711连接到网络1712，或者说，也可以使用网络接口单元1711来连接到其他类型的网络或远程计算机系统(未示出)。

上述存储器还包括一个或者一个以上的程序，一个或者一个以上程序存储于存储器中，被配置由CPU执行。所述一个或者一个以上程序包含用于进行本申请实施例提供的内窥镜曝光方法的指令。

本申请实施例还提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由服务器的处理器执行时，使得服务器能够执行上述实施例提供的内窥镜曝光方法。

本申请实施例还提供了一种包含指令的计算机程序产品，当其在服务器上运行时，使得服务器执行上述实施例提供的内窥镜曝光方法。

在一些实施例中，还提供了一种计算机可读存储介质，该存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例中内窥镜曝光方法的步骤。例如，所述计算机可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘和光数据存储设备等。

值得注意的是，本申请实施例提到的计算机可读存储介质可以为非易失性存储介质，换句话说，可以是非瞬时性存储介质。

应当理解的是，实现上述实施例的全部或部分步骤可以通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。所述计算机指令可以存储在上述计算机可读存储介质中。

也即是，在一些实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述所述的内窥镜曝光方法的步骤。

应当理解的是，本文提及的“至少一个”是指一个或多个，“多个”是指两个或两个以上。在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

以上所述为本申请提供的实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种内窥镜曝光方法，其特征在于，所述方法包括：

在接收到视野区域获取指令之后，根据所述内窥镜采集的多帧图像，确定所述内窥镜的目标视野区域；

根据当前时间采集的第一图像中所述目标视野区域的亮度信息，调整所述内窥镜的曝光参数。

2.根据权利要求1所述的方法，其特征在于，所述根据所述内窥镜采集的多帧图像，确定所述内窥镜的目标视野区域，包括：

将所述多帧图像中的每帧图像分别输入第一目标检测模型或第一图像分割模型，分别输出相应图像对应的备选视野区域，基于所述多帧图像分别对应的多个备选视野区域得到所述目标视野区域；或者，

将所述多帧图像同时输入第二目标检测模型或第二图像分割模型，输出所述目标视野区域。

3.根据权利要求2所述的方法，其特征在于，在基于所述第一目标检测模型或所述第二目标检测模型确定所述目标视野区域的方式中，得到的所述目标视野区域采用矩形框表示，所述目标视野区域表征所述内窥镜真实视野的外接矩形区域或内接矩形区域；或者，

在基于所述第一图像分割模型或所述第二图像分割模型确定所述目标视野区域的方式中，得到的所述目标视野区域采用图像掩膜表示，所述目标视野区域表征所述内窥镜的真实视野。

4.根据权利要求1-3任一所述的方法，其特征在于，所述根据当前时间采集的第一图像中所述目标视野区域的亮度信息，调整所述内窥镜的曝光参数，包括：

统计所述第一图像中所述目标视野区域的亮度信息，得到所述第一图像的平均亮度；

如果根据所述第一图像的平均亮度、所述内窥镜曝光的参考亮度，以及历史平均亮度，确定当前满足曝光调整条件，则调整所述内窥镜的曝光参数，所述历史平均亮度表征在所述第一图像之前采集的至少一帧图像的平均亮度。

5.根据权利要求4所述的方法，其特征在于，所述统计所述第一图像中所述目标视野区域的亮度信息，得到所述第一图像的平均亮度之后，还包括：

如果所述第一图像的平均亮度与所述参考亮度之间的差值超过第一范围，则确定当前满足所述曝光调整条件；或者，

如果所述第一图像的平均亮度与所述参考亮度之间的差值未超过所述第一范围，所述第一图像的平均亮度与所述历史平均亮度之间的差值超过第二范围，则确定当前满足所述曝光调整条件。

6.根据权利要求4所述的方法，其特征在于，所述调整所述内窥镜的曝光参数，包括：

根据所述第一图像的平均亮度和曝光参数包括的曝光时间和增益，确定场景照度；

根据所述场景照度，调整所述参考亮度，调整后的参考亮度与所述场景照度正相关；

根据所述第一图像的平均亮度，以及所述调整后的参考亮度，确定曝光调整方向；

根据所述曝光调整方向，调整所述曝光时间和/或增益。

7.根据权利要求1-3任一所述的方法，其特征在于，所述内窥镜包括卡口和用于插入体内的前端镜头，所述卡口和所述前端镜头连接；

所述方法还包括：

在接收所述视野区域获取指令之前，基于所述内窥镜的卡口调整所述前端镜头的物距和/或焦距，以使所述前端镜头获得的视野区域稳定。

8.一种内窥镜曝光装置，其特征在于，所述装置包括：

确定模块，用于在接收到视野区域获取指令之后，根据所述内窥镜采集的多帧图像，确定所述内窥镜的目标视野区域；

调整模块，用于根据当前时间采集的第一图像中所述目标视野区域的亮度信息，调整所述内窥镜的曝光参数。

9.根据权利要求8所述的装置，其特征在于，所述确定模块包括：

第一确定子模块，用于将所述多帧图像中的每帧图像分别输入第一目标检测模型或第一图像分割模型，分别输出相应图像对应的备选视野区域，基于所述多帧图像分别对应的多个备选视野区域得到所述目标视野区域；或者，

第二确定子模块，用于将所述多帧图像同时输入第二目标检测模型或第二图像分割模型，输出所述目标视野区域；

其中，在基于所述第一目标检测模型或所述第二目标检测模型确定所述目标视野区域的方式中，得到的所述目标视野区域采用矩形框表示，所述目标视野区域表征所述内窥镜真实视野的外接矩形区域或内接矩形区域；或者，

在基于所述第一图像分割模型或所述第二图像分割模型确定所述目标视野区域的方式中，得到的所述目标视野区域采用图像掩膜表示，所述目标视野区域表征所述内窥镜的真实视野；

其中，所述调整模块包括：

统计子模块，用于统计所述第一图像中所述目标视野区域的亮度信息，得到所述第一图像的平均亮度；

第一调整子模块，用于如果根据所述第一图像的平均亮度、所述内窥镜曝光的参考亮度，以及历史平均亮度，确定当前满足曝光调整条件，则调整所述内窥镜的曝光参数，所述历史平均亮度表征在所述第一图像之前采集的至少一帧图像的平均亮度；

其中，所述调整模块还包括：

第三确定子模块，用于如果所述第一图像的平均亮度与所述参考亮度之间的差值超过第一范围，则确定当前满足所述曝光调整条件；或者，

第四确定子模块，用于如果所述第一图像的平均亮度与所述参考亮度之间的差值未超过所述第一范围，所述第一图像的平均亮度与所述历史平均亮度之间的差值超过第二范围，则确定当前满足所述曝光调整条件；

其中，所述调整模块包括：

第五确定子模块，用于根据所述第一图像的平均亮度和曝光参数包括的曝光时间和增益，确定场景照度；

第二调整子模块，用于根据所述场景照度，调整所述参考亮度，调整后的参考亮度与所述场景照度正相关；

第六确定子模块，用于根据所述第一图像的平均亮度，以及所述调整后的参考亮度，确定曝光调整方向；

第三调整子模块，用于根据所述曝光调整方向，调整所述曝光时间和/或增益；

其中，所述内窥镜包括卡口和用于插入体内的前端镜头，所述卡口和所述前端镜头连接；

所述装置还包括：

视野稳定模块，用于在接收所述视野区域获取指令之前，基于所述内窥镜的卡口调整所述前端镜头的物距和/或焦距，以使所述前端镜头获得的视野区域稳定。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1至权利要求7中任一所述的方法的步骤。

Images