CN114859544A - 一种内窥镜对焦控制方法及系统 - Google Patents

Abstract

本发明涉及一种内窥镜对焦控制方法及系统，该对焦控制方法包括：通过摄像光学系统获取待缩放图像；对所述待缩放图像中感兴趣区域进行缩放操作；获取进行缩放操作的缩放倍率S；获取内窥镜系统中变焦透镜的倍率变动距离g(s)；获取所述变焦透镜的移动距离d=K*g(s）；对所述移动距离d进行补偿，并驱动所述变焦透镜移动对焦，之后进入细对焦模式：细调所述变焦透镜，获取距离阈值范围内多个不同位置的多个图像；根据所述多个图像，确定清晰对焦位置；驱动所述变焦透镜移动至所述清晰对焦位置。本发明用于解决在放大/缩小观察时不易对焦或对焦失败的问题。

Description

一种内窥镜对焦控制方法及系统

技术领域

本发明涉及内窥镜成像技术领域，具体涉及一种内窥镜对焦控制方法及系统。

背景技术

以往，广泛使用对体腔内的组织照射照明光、并使用根据它们的反射光生成的图像信号进行诊断和处置的内窥镜装置。

内窥镜光学系统一般被设计成被成被摄场深度较宽的全景对焦，所以，在通常观察时能够取得从被摄体的远点到近点进行对焦的图像。

但是，由于在放大观察时被摄场深度变浅，所以，未对焦的频度提高。用户为了在对焦后的内窥镜图像中观察被摄体，用户需要手动进行对焦操作，带来较大负担。

发明内容

本发明的目的在于提供一种内窥镜对焦控制方法，解决在放大/缩小观察时不易对焦或对焦失败的问题，提高图像清晰度。

为了解决上述技术问题，本发明提出如下技术方案予以解决：

本申请涉及一种内窥镜对焦控制方法，其特征在于，包括：

粗对焦模式：通过摄像光学系统获取待缩放图像；

对所述待缩放图像中感兴趣区域进行缩放操作；

获取进行缩放操作的缩放倍率S；

根据所述缩放倍率S，获取内窥镜系统中变焦透镜的倍率变动距离g(s)，g(s）与S成正比；

获取所述变焦透镜的移动距离d=K*g(s），其中K为系数；

对所述移动距离d进行补偿，并驱动所述变焦透镜移动对焦，之后进入细对焦模式：

细对焦模式：细调所述变焦透镜，获取距离阈值范围内多个不同位置的多个图像；

根据所述多个图像，确定清晰对焦位置；

驱动所述变焦透镜移动至所述清晰对焦位置。

在本申请的一些实施例中，所述内窥镜系统中补偿透镜与所述变焦透镜联动，所述补偿透镜的移动距离对所述移动距离d进行补偿。

在本申请的一些实施例中，根据所述多个图像，确定清晰对焦位置，具体为：

利用清晰度评价函数，获取不同位置下的清晰度；

拟合各清晰度数据，并得到清晰度数据曲线；

获取所述清晰度数据曲线的极大值点对应的目标位置，作为清晰对焦位置。

在本申请的一些实施例中，采用Sobel梯度函数作为清晰度评价函数。

在本申请的一些实施例中，所述感兴趣区域为用户手动设置或自动设置的区域。

在本申请的一些实施例中，所述缩放操作采用滚轮操作缩放或对点触控操作缩放。

本申请还涉及一种内窥镜对焦控制系统，其特征在于，包括：

图像获取部，其用于通过摄像光学系统获取粗对焦的待缩放图像及多个细对焦图像，其中所述细对焦图像是在完成粗对焦的情况下获取的；

图像缩放部，其用于对所述待缩放图像中感兴趣区域进行缩放操作；

倍率获取部，其用于获取进行缩放操作的缩放倍率S；

距离获取部，其根据所述缩放倍率S，获取内窥镜系统中变焦透镜的倍率变动距离g(s)、以及获取所述变焦透镜的移动距离d=K*g(s），其中g(s）与S成正比，K为系数；

距离补偿部，其对所述移动距离d进行补偿；

对焦位置确定部，其根据所述多个细对焦图像，用于确定清晰对焦位置；

对焦控制部，其对所述变焦透镜的驱动进行粗对焦控制和细对焦控制。

在本申请的一些实施例中，所述内窥镜对焦控制系统还包括：

补偿值确定部，其用于确定所述补偿透镜的移动距离，用于对所述移动距离d进行补偿，其中所述内窥镜系统中补偿透镜与所述变焦透镜联动。

本申请提供的内窥镜对焦控制方法及控制系统，具有如下优点和有益效果：

（1）能够解决缩放后不易对焦的或者对焦失败的问题；

（2）采用先粗对焦后细对焦的方式，忽略了图像缩放过程中可能存在的对焦等操作，可实现快速准确的对焦；

（3）对变焦透镜的移动距离进行补偿，确保变焦透镜精确度高的粗对焦，之后再进行细对焦，提高了对焦精度；

（4）在缩放后不需要人工对焦，实现自动化对焦，降低人工负担，提高体验感。

结合附图阅读本发明的具体实施方式后，本发明的其他特点和优点将变得更加清楚。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对本发明实施例或现有技术描述中所需要使用的附图作一简要介绍，显而易见地，下面描述的附图是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明提出的内窥镜对焦控制方法的流程图；

图2示出采用本发明提出的内窥镜对焦控制方法之前和之后所获取的图像。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。在本发明的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。在上述实施方式的描述中，具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

为了解决在缩放图像后不易对焦或对焦失败的问题，以自动实现对焦且提高图像清晰度。

结合图1，且结合内窥镜对焦控制系统，具体说明内窥镜对焦控制方法。

本申请中内窥镜对焦控制方法包括粗对焦模式和细对焦模式，采用先粗对焦后细对焦的方式实现，具体说明如下。

粗对焦模式

S1：通过摄像光学系统获取待缩放图像。

本申请摄像光学系统为内窥镜自带的光学测量拍照系统。

在本申请中，摄像光学系统至少包括并列的变焦透镜和补偿透镜。

变焦透镜的移动实现物体光线的反射和折射，以把物体拉近或推远，即，实现其缩放功能。

补偿透镜用于在变焦过程中与变焦透镜保存联动，通过调整补偿透镜的位置实现对变焦过程中焦点的位置的移动。

在通过对变焦透镜进行驱动来控制对焦物体位置时，补偿透镜也会随变焦透镜移动，以使得在变更对焦物体位置时而引起变焦透镜的倍率同时发生变化时，补偿变焦透镜的移动距离，使成像清晰。

在内窥镜产品定型后，其摄像光学系统也被定型，因此，补偿透镜对变焦透镜的移动距离的补偿关系也确定了。

该补偿关系可以根据产品测试获取到，针对不同结构的内窥镜，会存在不同的补偿关系。

也就是说，在已知变焦透镜的移动距离时，依赖补偿关系，则能够确定补偿透镜的移动距离，以实现对变焦透镜的移动距离的补偿。

在此部分中，获取的图像是粗对焦图像，是采用图像获取部来实现的。

S2：对待缩放图像中感兴趣区域进行缩放操作。

在此步骤S2中，需要首先获取感兴趣区域。

对感兴趣区域的缩放是以感兴趣区域的中心为缩放中心进行缩放的。

该感兴趣区域可以手动设置、自动设置或默认设置等。

其中，手动设置的感兴趣区域可以为用户找到的图像中某一感兴趣区域，该区域可以采用矩阵的左上角坐标和矩阵的长宽来定义，其中该矩阵区域的中心点即为缩放中心。

也可以为用户设定的圆形区域，其由中心圆点和半径值确定，该中心圆点即为缩放中心。

其中，自动设置的感兴趣区域可以为例如利用图像检测技术识别定位病灶的病灶区域，其中病灶区域的中心点即为缩放中心。

其中，对病灶识别定位的技术可以采用现有技术实现。

若用户未设置感兴趣区域，则默认采用待缩放图像的全尺寸图像，其中该全尺寸图像的中心即为缩放中心。

此部分中，对图像进行缩放操作是采用图像缩放部来实现的。

S3：获取进行缩放操作的缩放倍率S。

在本申请中，默认以待缩放图像的全尺寸图像进行缩放。

针对当前图像的中心进行缩放时，当前的缩放倍率依靠外部输入，例如滚轮操作缩放或对点触控缩放操作等，并转换成缩放倍率S。

通过外部输入至缩放倍率S的转换属于现有技术，例如鼠标滚轮操作，则滚轮滚动圈数转换为缩放倍率S，例如对点触控操作，则将缩放倍率S由两指拉动距离比确定。

此部分中，缩放倍率S是通过倍率获取部来获取的。

S4：根据缩放倍率S，获取内窥镜系统中变焦透镜的倍率变动距离g(s)，g(s）与S成正比。

根据缩放倍率S，驱动对焦透镜移动，以进行变倍率调整，从而变更对焦物体位置。

按已知技术，变焦透镜的缩放倍数s可以通过如下推导获取。

根据透镜的基本成像公式：1/f=1/u+1/v，其中f为焦距，凸正凹负；u为物距；v为像距，实正虚负。

对焦透镜的缩放倍数s=v/u =(v-f)/f=v/f-1。

因此，可以看出缩放倍数s与像的位置成线性正比关系。

像的位置与倍率变动距离g(s)相一致，因此，缩放倍数s与倍率变动距离g（s）呈正比关系。

假设，对点触控放大前后距离为d1、d2，则缩放倍率S=（d2-d1）/d1。

假设，变焦透镜移动前后距离为g1、g2,则缩放倍数s=（g2-g1）/g1。

若要完成对焦，需要缩放倍率S和缩放倍数s成正比关系，优选地，S=s。

因此，倍率变动距离g(s)与缩放倍率S成正比，即，可以表示为g(s)=m*S或S= m*g(s)，其中m为自然数。

优选地，m=1，即g(s)=S。

此部分中，如上获取过程是由距离获取部来执行的。

S5：获取变焦透镜的移动距离d=K*g(s），其中K为系数。

随着变焦透镜的移动距离的变化，缩放倍数s会呈现与缩放倍率S成正比的变化，以变更物体对焦位置，因此，为满足多种缩放倍数s，对S3中的倍率变动倍率变动距离g(s)增加修正系数K。

如此，得到变焦透镜的移动距离d=K*g(s）。

在本申请中，选择K=1，即，d=g(s）。

S6：对移动距离d进行补偿。

如步骤S1中所述的，设置补偿透镜，对变焦透镜的移动距离d进行补偿，使在变焦透镜因移动而变更物体对焦位置时，确保成像清晰。

例如，事先确定的补偿关系可以为根据数据（变焦透镜的移动距离和补偿透镜的移动距离）拟合成的曲线。

该曲线可以以变焦透镜的移动距离为横轴，以补偿透镜的移动距离为纵轴。

因此，根据补偿关系和变焦透镜的移动距离可以确定补偿透镜的移动距离，即，补偿值a_x。

根据补偿值a_x补偿修正移动距离d，获取补偿后的移动距离d'：

d'=a_x + d=a_x + K*g(s）。

在此部分中，对于变焦透镜移动距离的补偿是通过距离补偿部来进行补偿的。

具体地，补偿值确定部来确定补偿透镜的移动距离（即，补偿值a_x），用于对移动距离补偿修正，确保移动位置准确，从而使成像清晰。

S7：驱动变焦透镜移动对焦，完成粗对焦模式。

由此，驱动控制变焦透镜移动距离d'，至此，完成粗对焦模式，实现粗对焦控制。

此过程中，能够快速定位在最终缩放位置附近，避免在缩放过程中重复对焦。

驱动变焦透镜移动是由对焦控制部控制实现的，通过驱动变焦透镜移动来控制对焦物体位置。

在S7完成之后，进入细对焦模式。

由于缩放倍率S的计算误差，导致在粗对焦模式完成之后图像可能并不处于最佳清晰度对焦位置，需要再上述的基础上，进入细对焦模式，实现精细对焦，使成像更清晰。

细对焦模式

S8：细调变焦透镜，获取距离阈值范围内多个不同位置的多个图像。

设定一定的距离阈值范围。

通过细调变焦透镜，获取内窥镜物镜在不同位置处的多个图像。

获取图像的方式与如上S1中获取图像的方式相同。

此部分中获取的多个图像属于细对焦图像，也是通过图像获取部在细对焦模式下获取的。

S9：根据多个图像，确定清晰对焦位置。

对多个图像，采用每个图像的不同位置和清晰度，来确定清晰对焦位置。

具体采用如下方式进行。

S91：利用清晰度评价函数，获取不同位置处的清晰度。

在实际应用中，可以通过各种清晰度评价函数计算图像清晰度，如能量梯度函数、Sobel梯度函数、Brenner梯度函数、Roberts梯度函数、方差函数、Lpalace梯度函数、信息熵函数。较常用的有能量梯度、方差函数、熵函数等。

在本申请中，采用Sobel梯度函数作为清晰度评价函数d(f)。

其中，x和y分别表示（当前缩放倍数s下）二维图像f(x,y)的x轴和y轴，d(f)表示分别对x方向和y方向的Sobel算子的积分。

当然，也可以采用Sobel算子提取图像的水平x方向和垂直y方向的梯度值S(x，y)，且对梯度值进行平方运算，且梯度值为

。

其中，fx和fy分别是二维图像f(x,y)在x方向和y方向的一阶Sobel算子卷积。

S92：拟合各清晰度数据，并得到清晰度数据曲线。

在S91中获取到不同位置处不同图像的多个清晰度。

根据多组不同位置和对应清晰度的数据，拟合获取清晰度数据曲线。

该曲线反映出各个对焦位置所采集图像的图像清晰度，可以认为横轴表示位置，纵轴表示清晰度。

上述拟合方式采用现有数据拟合方式来完成，例如最小二乘法。

S93：获取清晰度数据曲线的极大值点对应的目标位置。

求取该数据曲线的极大值点，该极大值点对应的位置即为目标位置（即，清晰对焦位置）。

在S9中，通过对焦位置确定部来实现如上S91至S93的过程，从而确定清晰对焦位置。

S10：驱动变焦透镜移动至清晰对焦位置，完成细对焦模式。

至此，完成细对焦模式，实现细对焦控制。

此部分中，驱动变焦透镜移动同样是由对焦控制部控制实现的，通过驱动变焦透镜移动来控制对焦物体位置。

本申请采用先粗对焦后细对焦的方式，忽略了图像缩放过程中可能存在的对焦等操作，可实现快速准确的对焦。

参见图2，其示出采用本申请提出的内窥镜对焦控制方法之前和之后所获取的图像。

图2均为通过内窥镜采集的胃的下孔处的图像。

图2（a）为未采用该内窥镜对焦控制方法时在静止情况下获取的模糊图像；图2（b）为采用该内窥镜对焦控制方法时在静止情况下获取的对焦后的图像，经过对比，明显看出采用本发明的优势性，能够明显提高图像清晰度。

图2（c）为未采用该内窥镜对焦控制方法时在内窥镜和目标相对运动情况下获取的模糊图像；图2（d）为采用该内窥镜对焦控制方法时在内窥镜和目标相对运动情况下获取的对焦后的图像，经过对比，明显看出采用本发明的优势性，能够明显提高图像清晰度。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种内窥镜对焦控制方法，其特征在于，包括：

粗对焦模式：通过摄像光学系统获取待缩放图像；

对所述待缩放图像中感兴趣区域进行缩放操作；

获取进行缩放操作的缩放倍率S；

根据所述缩放倍率S，获取内窥镜系统中变焦透镜的倍率变动距离g(s)，g(s）与S成正比；

获取所述变焦透镜的移动距离d=K*g(s）；

对所述移动距离d进行补偿，并驱动所述变焦透镜移动对焦，之后进入细对焦模式：

细对焦模式：细调所述变焦透镜，获取距离阈值范围内多个不同位置的多个图像；

根据所述多个图像，确定清晰对焦位置；

驱动所述变焦透镜移动至所述清晰对焦位置。

2.根据权利要求1所述的内窥镜对焦控制方法，其特征在于，所述内窥镜系统中补偿透镜与所述变焦透镜联动，所述补偿透镜的移动距离对所述移动距离d进行补偿。

3.根据权利要求1所述的内窥镜对焦控制方法，其特征在于，根据所述多个图像，确定清晰对焦位置，具体为：

利用清晰度评价函数，获取不同位置下的清晰度；

拟合各清晰度数据，并得到清晰度数据曲线；

获取所述清晰度数据曲线的极大值点对应的目标位置，作为清晰对焦位置。

4.根据权利要求3所述的内窥镜对焦控制方法，其特征在于，采用Sobel梯度函数作为清晰度评价函数。

5.根据权利要求1所述的内窥镜对焦控制方法，其特征在于，所述感兴趣区域为用户手动设置或自动设置的区域。

6.根据权利要求1所述的内窥镜对焦控制方法，其特征在于，所述缩放操作采用滚轮操作缩放或对点触控操作缩放。

7.一种内窥镜对焦控制系统，其特征在于，包括：

图像获取部，其用于通过摄像光学系统获取粗对焦的待缩放图像及多个细对焦图像，其中所述细对焦图像是在完成粗对焦的情况下获取的；

图像缩放部，其用于对所述待缩放图像中感兴趣区域进行缩放操作；

倍率获取部，其用于获取进行缩放操作的缩放倍率S；

距离获取部，其根据所述缩放倍率S，获取内窥镜系统中变焦透镜的倍率变动距离g(s)、以及获取所述变焦透镜的移动距离d=k*g(s），其中g(s）与S成正比，k≥1；

距离补偿部，其对所述移动距离d进行补偿；

对焦位置确定部，其根据所述多个细对焦图像，用于确定清晰对焦位置；

对焦控制部，其对所述变焦透镜的驱动进行粗对焦控制和细对焦控制。

8.根据权利要求7所述的内窥镜对焦控制系统，其特征在于，还包括：

补偿值确定部，其用于确定所述补偿透镜的移动距离，用于对所述移动距离d进行补偿，其中所述内窥镜系统中补偿透镜与所述变焦透镜联动。

Images