CN115866399B - 一种3d内窥镜自动调焦方法、装置、电子设备及储存介质 - Google Patents

Abstract

本申请提供了一种3D内窥镜自动调焦方法、装置、电子设备及储存介质，涉及内窥镜技术领域，其技术方案要点是：包括：计算内窥镜图像中的前景图像与背景图像的深度差；根据所述深度差调整内窥镜的焦距。本申请提供的一种3D内窥镜自动调焦方法、装置、电子设备及储存介质具有准确自动调焦的优点。

Description

一种3D内窥镜自动调焦方法、装置、电子设备及储存介质

技术领域

本申请涉及内窥镜技术领域，具体而言，涉及一种3D内窥镜自动调焦方法、装置、电子设备及储存介质。

背景技术

3D内窥镜是一种利用双光路设计获取左右不同视角下的高清图像，并形成立体视觉效果的光学成像装置，3D内窥镜的运用可以使得手术视野更加清晰、层次明显，因此在临床中使用越来越广泛。

目前主要使用的3D内窥镜基本上都用手动调焦的方式来调节焦距，在成像视野前后背景距离较大时，经常出现焦距在背景上，而前景部分模糊不清的情况，只能通过手动调节的方式不断条件内窥镜焦距，目前尚无很好的解决办法。

针对上述问题，亟需进行改进。

发明内容

本申请的目的在于提供一种3D内窥镜自动调焦方法、装置、电子设备及储存介质，具有准确自动调焦的优点。

第一方面，本申请提供了一种3D内窥镜自动调焦方法，技术方案如下：

包括：

计算内窥镜图像中的前景图像与背景图像的深度差；

根据所述深度差调整内窥镜的焦距。

利用前景图像与背景图像的深度差来对内窥镜的焦距进行调节，通常，对于手术场景来说，如果内窥镜图像中的前景图像和背景图像的深度差不大，则意味着此时很大可能处于非手术操作区，可以将前景图像和背景图像的平均深度位置作为焦点，而如果前景图像和背景图像的深度差大，则意味着此时很大可能处于手术操作区，可以将内窥镜的焦点调节至手术器械所处的位置，因此，本申请提供了一种利用前景图像与背景图像的深度差来对内窥镜的焦距进行调节的方法，具有准确自动调焦的有益效果。

进一步地，在本申请中，所述根据所述深度差调整内窥镜的焦距的步骤包括：

在所述深度差不超过预设值时，调整所述内窥镜的焦点至所述前景图像和所述背景图像的平均深度的位置；

在所述深度差超过预设值时，根据所述内窥镜图像中的手术器械调整所述内窥镜的焦距。

进一步地，在本申请中，所述根据所述内窥镜图像中的手术器械调整所述内窥镜的焦距的步骤包括：

所述内窥镜图像中具有所述手术器械时，调整所述内窥镜的焦点至所述手术器械末端所处的区域；

所述内窥镜图像中不具有所述手术器械时，不调整所述内窥镜的焦距。

进一步地，在本申请中，所述调整所述内窥镜的焦点至所述手术器械末端所处的区域的步骤包括：

以所述手术器械的末端作为起点，将前后预设深度范围的区域作为调整区域；

计算所述调整区域的平均深度；

调整所述内窥镜的焦点至所述调整区域的平均深度的位置。

进一步地，在本申请中，所述内窥镜包括呈水平视差设置的两个摄像头，所述计算内窥镜图像中的前景图像与背景图像的深度差的步骤包括：

获取所述两个摄像头对应的左右光心距离、左右视差和所述内窥镜的焦距；

根据所述左右光心距离、所述左右视差以及所述内窥镜的焦距计算出所述内窥镜图像中任意一点的深度；

根据所述内窥镜图像中任意一点的深度计算所述前景图像与所述背景图像的所述深度差。

进一步地，在本申请中，所述根据所述左右光心距离、所述左右视差以及所述内窥镜的焦距计算出所述内窥镜图像中任意一点的深度的公式为：

；

其中，h表示的内窥镜图像中任意一点的深度；d表示的是左右光心距离；f表示的是内窥镜的焦距；为该点的左右视差。

进一步地，在本申请中，所述调整所述内窥镜的焦点至所述调整区域的平均深度的位置的步骤包括：

根据所述调整区域的平均深度和预设的冗余范围生成焦距调节区间；

当所述内窥镜的焦距处于所述焦距调节区间内时，则不对所述内窥镜的焦点进行调整；

当所述内窥镜的焦距处于所述焦距调节区间外时，则调整所述内窥镜的焦距至所述调整区域的平均深度的位置。

第二方面，本申请还提供一种3D内窥镜自动调焦装置，包括：

计算模块，用于计算内窥镜图像中的前景图像与背景图像的深度差；

调整模块，用于根据所述深度差调整内窥镜的焦距。

第三方面，本申请还提供一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行上述方法中的步骤。

第四方面，本申请还提供一种储存介质，其上存储有计算机程序，所述计算机程序被处理器执行时，运行上述方法中的步骤。

由上可知，本申请提供的一种3D内窥镜自动调焦方法、装置、电子设备及储存介质，利用前景图像与背景图像的深度差来对内窥镜的焦距进行调节，通常，对于手术场景来说，如果内窥镜图像中的前景图像和背景图像的深度差不大，则意味着此时很大可能处于非手术操作区，可以将前景图像和背景图像的平均深度位置作为焦点，而如果前景图像和背景图像的深度差大，则意味着此时很大可能处于手术操作区，可以将内窥镜的焦点调节至手术器械所处的位置，因此，本申请提供了一种利用前景图像与背景图像的深度差来对内窥镜的焦距进行调节的方法，具有准确自动调焦的有益效果。

附图说明

图1为本申请提供的一种3D内窥镜自动调焦方法流程图。

图2为本申请提供的一种3D内窥镜自动调焦装置的结构示意图。

图3为本申请提供的一种电子设备的结构示意图。

图4为本申请提供的一种3D内窥镜自动调焦装置的结构示意图。

图5为本申请提供的一种3D内窥镜自动调焦方法流程图。

图中：210、计算模块；220、调整模块；310、处理器；320、存储器。

具体实施方式

下面将结合本申请中附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

请参照图1，本发明提供了一种3D内窥镜自动调焦方法，技术方案具体包括：

S110、计算内窥镜图像中的前景图像与背景图像的深度差；

S120、根据深度差调整内窥镜的焦距。

其中，在一些具体实施方式中，前景图像和背景图像的区分可以通过最大类间方差法来进行区分。

具体的，根据深度差调整内窥镜的焦距的步骤包括：

在深度差不超过预设值时，调整内窥镜的焦点至前景图像和背景图像的平均深度的位置；

在深度差超过预设值时，根据内窥镜图像中的手术器械调整内窥镜的焦距。

利用前景图像与背景图像的深度差来对内窥镜的焦距进行调节，通常，对于手术场景来说，如果内窥镜图像中的前景图像和背景图像的深度差不大，则意味着此时很大可能处于非手术操作区，可以将前景图像和背景图像的平均深度位置作为焦点，而如果前景图像和背景图像的深度差大，则意味着此时很大可能处于手术操作区，可以将内窥镜的焦点调节至手术器械所处的位置，因此，本申请提供了一种利用前景图像与背景图像的深度差来对内窥镜的焦距进行调节的方法，具有准确自动调焦的有益效果。

进一步地，在其中一些实施例中，根据内窥镜图像中的手术器械调整内窥镜的焦距的步骤包括：

内窥镜图像中具有手术器械时，调整内窥镜的焦点至手术器械末端所处的区域；

内窥镜图像中不具有手术器械时，不调整内窥镜的焦距。

在上述的一些实施例中，如果前景图像和背景图像的深度差不大，则意味着此时很大可能处于非手术操作区，可以将前景图像和背景图像的平均深度位置作为焦点，而如果前景图像和背景图像的深度差大，则意味着此时很大可能处于手术操作区，可以将内窥镜的焦点调节至手术器械所处的位置，因此，当识别出内窥镜图像中具有手术器械时，则调整内窥镜的焦点至手术器械末端所处的区域，一般情况下，手术过程中，手术器械末端所在范围才是医生需要看清的范围，因此，需要将内窥镜的焦点调整至手术器械末端所处的区域，而如果内窥镜图像中不具有手术器械，则表明此时仍然可能处于移动过程中，因此则不调整内窥镜的焦距。

具体的，在识别内窥镜图像中是否具有手术器械时，可以基于深度学习的方式对内窥镜图像进行分割识别，具体为，收集不少于2000张常见外科内窥镜采集的图像，并对所有手术器械末端进行标注，制作训练集。采用U-Net网络对训练集图像进行训练，在实际使用中，在内窥镜中采用独立NPU模块对内窥镜常见图像进行实时推理，并得到分割结果，以此来判断内窥镜图像中是否具有手术器械。

进一步地，在其中一些实施例中，调整内窥镜的焦点至手术器械末端所处的区域的步骤包括：

以手术器械的末端作为起点，将前后预设深度范围的区域作为调整区域；

计算调整区域的平均深度；

调整内窥镜的焦点至调整区域的平均深度的位置。

通常，在手术过程中，医生主要是需要看清手术器械末端所处区域的范围，因此，在调整内窥镜的焦距时，以手术器械的末端作为起点，将前后预设深度范围的区域作为调整区域；计算调整区域的平均深度；调整内窥镜的焦点至调整区域的平均深度的位置，这样可以有利于医生看清手术器械末端所处区域范围内的图像。

具体的，例如前后预设深度范围为，此时计算出手术器械末端端点的深度信息为x，则以该末端作为起点，将深度信息在范围内的区域作为调整区域，具体的，可以将深度信息在范围内的像素点提取分割出来，然后计算出平均深度，最后将内窥镜的焦点至平均深度的位置。

在上述的一些实施例中，为了便于医生在手术过程中可以看清图像，会将内窥镜的焦点调整至手术器械末端所处的区域，然而，如果医生是刚刚拿着手术器械进入内窥镜的画面内，即，手术器械需要移动较多的距离才会到达手术位置，这个时候就有可能导致内窥镜的焦点跟着手术器械发生较大的变化，从而导致整体画面变得模糊。

对此，进一步地，在其中一些实施例中，在识别出内窥镜图像中具有手术器械以后，计算手术器械的移动速度，在手术器械的移动速度小于目标值时，调整内窥镜的焦点至手术器械末端所处的区域。

此外，在其中一些实施例中，还可以根据前景图像和背景图像的深度差来调整前后预设的深度范围。

进一步地，在其中一些实施例中，内窥镜包括呈水平视差设置的两个摄像头，计算内窥镜图像中的前景图像与背景图像的深度差的步骤包括：

获取两个摄像头对应的左右光心距离、左右视差和内窥镜的焦距；

根据左右光心距离、左右视差以及内窥镜的焦距计算出内窥镜图像中任意一点的深度；

根据内窥镜图像中任意一点的深度计算前景图像与背景图像的深度差。

具体的，根据左右光心距离、左右视差以及内窥镜的焦距计算出内窥镜图像中任意一点的深度的公式为：

；

其中，h表示的内窥镜图像中任意一点的深度；d表示的是左右光心距离；f表示的是内窥镜的焦距；为该点的左右视差。

其中，在计算前景图像和背景图像的深度差的时候，主要是依据前景图像和背景图像的深度信息进行计算，而前景图像和背景图像的深度信息可以通过单独设置一个深度传感器，例如tof传感器来获取，而在本申请提供的方案中，优选方式为利用双目视差的方式来进行计算，由于在内窥镜中，为了得到更加清晰的视野以及层次更加明显的画面，会采用3D内窥镜来进行成像，而3D内窥镜本身则包含有呈水平视差设置的两个摄像头，因此，可以利用水平视差设置的两个摄像头来计算出内窥镜图像中任意一点的深度信息，这样可以减少采用专门的深度传感器，从而降低成本。

具体的，在对两个摄像头进行标定后，通过摄像头的内参，可以得到图像转换矩阵，利用双目匹配算法可以完成两个摄像头的图像视差图的计算，在完成视差图的计算后，根据两个摄像头的光心距离，就可以通过公式计算出每一点的深度信息。

通过计算出每一点的深度信息，可以得到内窥镜图像的三维点云图，进一步分析三维点云图中的深度差异，可以判断出当前场景下，前景图像和背景图像的深度差是否超过预设值，如果没有超过预设值，则可以将内窥镜的焦点调整至前景图像和背景图像的平均深度位置，如果超过预设值，则需要对内窥镜图像做进一步的分析。

其中，判断前景图像和背景图像的深度差是否超过预设值，具体可以采用计算点云深度的方差。

进一步地，在其中一些实施例中，调整内窥镜的焦点至调整区域的平均深度的位置的步骤包括：

根据调整区域的平均深度和预设的冗余范围生成焦距调节区间；

当内窥镜的焦距处于焦距调节区间内时，则不对内窥镜的焦距进行调整；

当内窥镜的焦距处于焦距调节区间外时，则调整内窥镜的焦距至调整区域的平均深度的位置。

为了保证焦距稳定，不因噪声波动导致频繁调焦，当分析结果需要将焦距调至平均深度时，通过设置冗余范围，如果当前焦距在焦距调节区间范围内，则不进行调焦，若在焦距调节区间范围外，则将焦距调整到平均深度的位置，这样可以避免噪声波动导致频繁调焦。

第二方面，参见图2，本申请还提供一种3D内窥镜自动调焦装置，包括：

计算模块210，用于计算内窥镜图像中的前景图像与背景图像的深度差；

调整模块220，用于根据深度差调整内窥镜的焦距。

通过上述技术方案，利用前景图像与背景图像的深度差来对内窥镜的焦距进行调节，通常，对于手术场景来说，如果内窥镜图像中的前景图像和背景图像的深度差不大，则意味着此时很大可能处于非手术操作区，可以将前景图像和背景图像的平均深度位置作为焦点，而如果前景图像和背景图像的深度差大，则意味着此时很大可能处于手术操作区，可以将内窥镜的焦点调节至手术器械所处的位置，因此，本申请提供了一种利用前景图像与背景图像的深度差来对内窥镜的焦距进行调节的方法，具有准确自动调焦的有益效果。

此外，在一些优选的实施方式中，本申请提供的一种内窥镜暗区域增强装置可以执行上述方法中的任意一项步骤。

在一些优选的实施例中，参照图4，本申请提供一种3D内窥镜自动调焦装置包括点云分析模块、目标检查模块以及调焦模块，3D内窥镜本身获取左右视图以后，点云分析模块用来根据双目视觉原理计算出视差图以及生成3D点云，根据3D点云分析前后背景深度差异，从而判断是否需要调焦。目标检测模块主要用于检测主要手术器械，并将识别得到的手术器械从图像中分割出来，正常情况下，手术过程中手术器械末端所在范围为医生需要看清的范围，因此，如果可以获取手术器械末端的深度分布，则可以根据该信息调整焦距，从而保持目标区域的图像清晰。调焦模块为控制焦距的模块，通过点云分析模块和目标检测模块获取是否需要调焦的信号以及调整焦距，从而保证焦平面在计算得到的目标深度范围内。其中，点云分析模块可以视为计算模块210，调焦模块可以视为调整模块220。

具体的，参照图5，当获取了图像以后，将图像输入至点云分析模块和目标检测模块，点云分析模块根据输入图像进行视差图的计算，然后生成点云，再计算点云深度差异，接着判断点云深度差异是否超过预设值时，在超过预设值时，则判断目标检测模块是否在输入图像中检出目标器械，目标器械指的是手术器械，如果没有检测出则不调焦，如果检测出了则计算目标器械末端对应的点云平均深度，然后将焦点调节至目标器械末端对应的点云平均深度。当点云深度差异是不超过预设值时，则计算输入图像的点云平均深度，将焦点调节至输入图像的点云平均深度。目标检测模块在接收输入图像以后，则对目标器械进行检测，并且对目标器械进行分割。

第三方面，参照图3，本申请还提供一种电子设备，包括处理器310以及存储器320，存储器320存储有计算机可读取指令，当计算机可读取指令由处理器310执行时，运行如上方法中的步骤。

通过上述技术方案，处理器310和存储器320通过通信总线和/或其他形式的连接机构（未标出）互连并相互通讯，存储器320存储有处理器310可执行的计算机可读取指令，当电子设备运行时，处理器310执行该计算机可读取指令，以执行时执行上述实施例的任一可选的实现方式中的方法，以实现以下功能：计算内窥镜图像中的前景图像与背景图像的深度差；根据深度差调整内窥镜的焦距。

第四方面，本申请还提供一种储存介质，其上存储有计算机程序，计算机程序被处理器执行时，运行上述方法中的步骤。

通过上述技术方案，计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的方法，以实现以下功能：计算内窥镜图像中的前景图像与背景图像的深度差；根据深度差调整内窥镜的焦距。

其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（Static Random Access Memory, 简称SRAM），电可擦除可编程只读存储器（Electrically Erasable Programmable Read-Only Memory, 简称EEPROM），可擦除可编程只读存储器（Erasable Programmable Read Only Memory, 简称EPROM），可编程只读存储器（Programmable Red-Only Memory, 简称PROM），只读存储器（Read-OnlyMemory, 简称ROM），磁存储器，快闪存储器，磁盘或光盘。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (9)

1.一种3D内窥镜自动调焦方法，其特征在于，包括：

计算内窥镜图像中的前景图像与背景图像的深度差；

根据所述深度差调整内窥镜的焦距；

所述根据所述深度差调整内窥镜的焦距的步骤包括：

在所述深度差不超过预设值时，调整所述内窥镜的焦点至所述前景图像和所述背景图像的平均深度的位置；

在所述深度差超过预设值时，根据所述内窥镜图像中的手术器械调整所述内窥镜的焦距。

2.根据权利要求1所述的一种3D内窥镜自动调焦方法，其特征在于，所述根据所述内窥镜图像中的手术器械调整所述内窥镜的焦距的步骤包括：

所述内窥镜图像中具有所述手术器械时，调整所述内窥镜的焦点至所述手术器械末端所处的区域；

所述内窥镜图像中不具有所述手术器械时，不调整所述内窥镜的焦距。

3.根据权利要求2所述的一种3D内窥镜自动调焦方法，其特征在于，所述调整所述内窥镜的焦点至所述手术器械末端所处的区域的步骤包括：

以所述手术器械的末端作为起点，将前后预设深度范围的区域作为调整区域；

计算所述调整区域的平均深度；

调整所述内窥镜的焦点至所述调整区域的平均深度的位置。

4.根据权利要求2所述的一种3D内窥镜自动调焦方法，其特征在于，所述内窥镜包括呈水平视差设置的两个摄像头，所述计算内窥镜图像中的前景图像与背景图像的深度差的步骤包括：

获取所述两个摄像头对应的左右光心距离、左右视差和所述内窥镜的焦距；

根据所述左右光心距离、所述左右视差以及所述内窥镜的焦距计算出所述内窥镜图像中任意一点的深度；

根据所述内窥镜图像中任意一点的深度计算所述前景图像与所述背景图像的所述深度差。

5.根据权利要求4所述的一种3D内窥镜自动调焦方法，其特征在于，所述根据所述左右光心距离、所述左右视差以及所述内窥镜的焦距计算出所述内窥镜图像中任意一点的深度的公式为：

；

其中，h表示的内窥镜图像中任意一点的深度；d表示的是左右光心距离；f表示的是内窥镜的焦距；为该点的左右视差。

6.根据权利要求3所述的一种3D内窥镜自动调焦方法，其特征在于，所述调整所述内窥镜的焦点至所述调整区域的平均深度的位置的步骤包括：

根据所述调整区域的平均深度和预设的冗余范围生成焦距调节区间；

当所述内窥镜的焦距处于所述焦距调节区间内时，则不对所述内窥镜的焦距进行调整；

当所述内窥镜的焦距处于所述焦距调节区间外时，则调整所述内窥镜的焦点至所述调整区域的平均深度的位置。

7.一种3D内窥镜自动调焦装置，其特征在于，包括：

计算模块，用于计算内窥镜图像中的前景图像与背景图像的深度差；

调整模块，用于根据所述深度差调整内窥镜的焦距；

所述根据所述深度差调整内窥镜的焦距的步骤包括：

在所述深度差不超过预设值时，调整所述内窥镜的焦点至所述前景图像和所述背景图像的平均深度的位置；

在所述深度差超过预设值时，根据所述内窥镜图像中的手术器械调整所述内窥镜的焦距。

8.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-6任一项所述方法中的步骤。

9.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，运行如权利要求1-6任一项所述方法中的步骤。

Images