CN114326090B - 一种具有拓展景深的双目内窥镜、系统及成像方法 - Google Patents

Abstract

本发明提出一种具有拓展景深的双目内窥镜、系统及成像方法，其中双目内窥镜包括镜体管，镜体管的头部左右对称的设有两个镜头，两镜头的光学后焦距具有不同值，且两镜头的景深也具有不同值；镜体管内还设有两个CMOS图像传感器，两个CMOS图像传感器与两个镜头一一对应，CMOS图像传感器用于与图像处理器相连接，镜体管内还设有用于照明的导光光纤。上述具有拓展景深的双目内窥镜、系统及成像方法，通过改变一目镜头的光学后焦距，单次曝光，即可获取同一拍摄时刻不同景深的两幅原始图像，两幅原始图像不存在拍摄时间延迟，通过图像融合方法合成双目镜头获得的两幅原始图像，得到拓展景深、且在整个景深内成像都清晰、符合人眼观测需求的目标图像。

Description

一种具有拓展景深的双目内窥镜、系统及成像方法

技术领域

本发明涉及内窥镜技术领域，尤其涉及一种具有拓展景深的双目内窥镜、系统及成像方法。

背景技术

摄像镜头都有一定的景深。景深(depth of field，DOF)定义是摄影镜头能够取得清晰成像所测定的被摄物体的前后距离范围。具体地，如图1所示，物体成像时，成像光线在像平面上会产生一定尺寸的弥散圆，当拍摄物体处于最佳成像距离时，弥散圆尺寸最小，成像最清晰。而当拍摄物体远离最佳工作距离(远离或者靠近镜头)时，弥散圆增大，图像开始变模糊。当弥散圆增大到特定的尺寸(容许弥散圆直径δ)，图像光学上不可分辨，此时，对应的工作距离为景深的边缘，即图1中的“近点””和“远点”，景深边缘的“近点”和“远点”对应的工作距离，被相应地称为近点工作距离和远点工作距离。这种在最佳成像距离前后一定范围内所呈清晰图像对应的工作距离区间，称为景深。如图1中，景深为△L，△L＝△L1+△L2，其中△L1为前景深，即是最佳工作距离与近点工作距离的差值；△L2为后景深，即是最佳工作距离与远点工作距离的差值。

内窥镜镜头需要具有一定的景深来观测清楚人体腔道内的信息，常规内窥镜在观测图像的清晰度上，主要存在两方面的问题：第一，观测的景深范围不是很大，比如对于20mm～100mm景深的内窥镜，工作距离超过100mm的病灶则无法清晰分辨；第二，景深范围内只有在最佳工作距离附近观测的图像清晰度最佳，其他工作距离的图像清晰度则相对较差，在景深的边缘位置，镜头则刚好能够分辨特定尺寸的病灶，清晰度最差。意味着，医生在操作使用内窥镜的过程中，依然要将内窥镜移动到病灶的最佳工作距离附近进行观测，而不能在景深范围内任意工作距离对病灶进行清晰观测。

发明内容

为了解决现有技术中存在的问题，本申请提出了一种具有拓展景深的双目内窥镜、系统及成像方法，利用双目内窥镜分别获取两个不同景深的图像；利用融合算法将双目图像进行融合，得到拓展景深的目标图像，且目标图像在整个景深清晰度得到大幅度提升。

为了实现上述目的，本申请的一方面提出了一种具有拓展景深的双目内窥镜，包括镜体管，在所述镜体管的头部左右对称的设有两个镜头，分别记作左目镜头和右目镜头，两镜头的光学后焦距具有不同值，且两镜头的景深也具有不同值；在所述镜体管内还设有两个CMOS图像传感器，两个CMOS图像传感器与两个镜头一一对应，所述CMOS图像传感器用于与图像处理器相连接，在所述镜体管内还设有用于照明的导光光纤。

在一些实施例中，所述左目镜头中的镜片组从物面到像面依次包括第一透镜、第二透镜、第三透镜以及胶合透镜，在所述第二透镜和第三透镜之间设有光阑；所述右目镜头中的镜片组从物面到像面的结构与所述左目镜头相同。

在一些实施例中，所述左目镜头满足以下条件式：3.5mm≤TTL₁≤7mm，其中TTL₁为所述双目内窥镜左目镜头的光学总长；0.6mm≤f₁≤1.2mm，其中f₁表示所述双目内窥镜左目镜头的有效焦距；80°≤FOV₁≤100°，其中FOV₁表示左目镜头的入瞳视场角；BFL₁≥1mm，其中BFL₁表示左目镜头的光学后焦距；左目镜头的景深不小于20mm～100mm；所述右目镜头满足以下条件式：3.5mm≤TTL₂≤7mm，其中TTL₂为所述双目内窥镜右目镜头的光学总长；0.6mm≤f₂≤1.2mm，其中f₂表示所述双目内窥镜右目镜头的有效焦距；80°≤FOV₂≤100°，其中FOV₂表示右目镜头的入瞳视场角；BFL₂≥1mm，其中BFL₂表示右目镜头的光学后焦距；右目镜头的近点工作距离在30mm到60mm之间。

本申请的另一方面提出了一种具有拓展景深的双目内窥镜系统，包括上述双目内窥镜、通过数据传输线与所述双目内窥镜相连接的图像处理器、以及通过视频信号传输线与所述图像处理器相连接的显示器。

本申请还提出了一种基于上述具有拓展景深的双目内窥镜系统的成像方法，包括以下步骤：

步骤1、获取双目内窥镜拍摄的两幅图像，作为待处理的原始图像，两幅原始图像具有不同景深；

步骤2、对两幅原始图像进行预处理，使预处理后的两幅图像信噪比得到改善；

步骤3、通过小波变换的图像融合方法，融合步骤2得到的两幅图像，得到具有拓展景深、且在整个景深内图像都清晰的目标图像。

在一些实施例中，在所述步骤2中，预处理包括：对两幅原始图像分别进行去噪处理，提升图像质量。

在一些实施例中，所述步骤3包括以下步骤：

步骤31、对每幅图像进行小波变换，通过小波变换到频域空间，每幅图像均分解成具有相同层数的子图像集合，得到每一层子图像的高频分量和低频分量；

步骤32、对于两幅图像小波变换分解后得到的相对应层的两子图像，做如下融合处理：两个低频分量加权平均值，作为融合后该层子图像的低频部分；两个高频分量中取最大值作为融合后该层子图像的高频部分；

步骤33、小波逆变换：将融合后的频域信息逆变换得到融合后的空间域图像，即为目标图像。

在一些实施例中，在所述步骤31中，小波基选用“db2”；小波分解层数不小于4。

本申请的该方案的有益效果在于上述具有拓展景深的双目内窥镜、系统及成像方法，使用双目内窥镜，通过改变一目镜头的光学后焦距，单次曝光，即可获取同一拍摄时刻不同景深的两幅原始图像，两幅原始图像不存在拍摄时间延迟。本申请涉及的拓展内窥镜图像景深的方法实现方式简单，通过图像融合方法合成双目获得的两幅原始图像，得到目标图像，经过处理得到的目标图像具有拓展景深，且在整个景深范围内图像清晰，符合人眼的观测需求。

附图说明

图1示出了现有技术中镜头的景深示意图。

图2示出了实施例中双目内窥镜的结构示意图。

图3示出了实施例中双目内窥镜头部的结构示意图。

图4示出了实施例中左目镜头的结构示意图。

图5示出了实施例中左目镜头的光路示意图。

图6示出了实施例中右目镜头的结构示意图。

图7示出了实施例中右目镜头的光路示意图。

图8示出了实施例中双目内窥镜系统的结构示意图。

图9示出了实施例中左目镜头获取的原始图像示意图。

图10示出了实施例中右目镜头获取的原始图像示意图。

图11示出了实施例中小波变换图像融合过程示意图。

图12示出了实施例中最终获得的目标图像示意图。

图13示出了实施例中成像方法的流程图。

附图标记：1-双目内窥镜，2-数据传输线，21-第一数据传输线，22-第二数据传输线，3-图像处理器，4-视频信号传输线，5-显示器，6-镜头，61-左目镜头，62-右目镜头，7-光纤口，71-第一光纤口，72-第二光纤口，8-CMOS图像传感器，81-第一CMOS图像传感器，82-第二CMOS图像传感器，9-镜体管，10-镜片组，11-光源接口，L1-第一透镜，L2-第二透镜，L3-第三透镜，L4-胶合透镜，ST-光阑，L5-CMOS图像传感器上的保护玻璃。

具体实施方式

下面结合附图对本申请的具体实施方式作进一步的说明。

在本申请的描述中，需要理解的是，术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

如图2-3所示，本申请所涉及的具有拓展景深的双目内窥镜1包括镜体管9，在所述镜体管9的头部左右对称的设有两个镜头6，分别记作左目镜头61和右目镜头62，在所述镜体管9内还设有两个CMOS图像传感器8，分别记作第一CMOS图像传感器81和第二CMOS图像传感器82，两个CMOS图像传感器8与两个镜头6一一对应，所述第一CMOS图像传感器81和第二CMOS图像传感器82用于与图像处理器3相连接，具体地，所述第一CMOS图像传感器81和第二CMOS图像传感器82分别通过第一数据传输线21和第二数据传输线22与所述图像处理器3相连接。在所述镜体管9内还设有两根导光光纤，导光光纤用于通过设置在所述镜体管9上的光源接口11与光源相连接，导光光纤通过设置在所述镜体管9端部的光纤口7进行照明，在所述镜体管9端部上下对称的设置两个光纤口7，分别记作第一光纤口71和第二光纤口72，两根导光光纤与两个光纤口7一一对应。

为了实现拓展景深，本申请所涉及的左目镜头61和右目镜头62的光学后焦距具有不同值，左目镜头61和右目镜头62的景深也具有不同值。

如图4-5所示，在本实施例中，所述左目镜头61中的镜片组10从物面S100到像面S200依次包括第一透镜L1、第二透镜L2、第三透镜L3以及胶合透镜L4，在所述第二透镜L2和第三透镜L3之间设有光阑ST。

如图6-7所示，在本实施例中，所述右目镜头62中的镜片组10从物面S100到像面S200的结构与所述左目镜头61相同。

在本实施例中，第一透镜L1具有负光焦度，且物侧面S1为平面、像侧面S2为凹面，第一透镜L1是玻璃球面透镜。将第一透镜L1的物侧面S1设计为平面，这样可以直接在第一透镜L1的物侧面S1的外侧胶合保护玻璃(如蓝宝石)，以达到保护镜头、耐刮擦的目的，保证镜头的长期使用有效性。

第二透镜L2具有正光焦度，且物侧面S3为凸面、像侧面S4为凸面，第二透镜L2是玻璃球面透镜。

第三透镜L3具有正光焦度，且物侧面S5为凹面、像侧面S6为凸面，第三透镜L3是玻璃球面透镜。

胶合透镜L4具有正光焦度，且物侧面S7为凸面、像侧面S9为平面，胶合透镜L4是玻璃球面透镜。

在本实施例中，所述左目镜头61还满足以下条件式：

1)3.5mm≤TTL₁≤7mm，其中TTL₁为所述双目内窥镜左目镜头61的光学总长，光学总长是指镜头第一镜片到CMOS焦平面的距离。镜头物理长度加上镜头的光学后焦等于其光学总长。将所述左目镜头61的光学总长设置在3.5mm到7mm之间的目的是约束内窥镜左目镜头的尺寸，如果内窥镜的左目镜头长度过大，则在内窥镜使用的可拓展性上受限制。对于头端可弯曲的内窥镜，镜头太长则不利于这一弯曲功能的实现和应用。

2)0.6mm≤f₁≤1.2mm，其中f₁表示所述双目内窥镜左目镜头61的有效焦距。

3)80°≤FOV₁≤100°，其中FOV₁表示左目镜头61的入瞳视场角。

4)BFL₁≥1mm，其中BFL₁表示左目镜头61的光学后焦距，是指左目镜头61中最后一个透镜的最后一个面S9到像面S200的距离(其包含CMOS图像传感器上的保护玻璃L5的厚度，在本实施例中，其厚度为0.4mm)。

5)左目镜头61的景深不小于20mm～100mm。具体地，左目镜头61的景深为16mm～100mm。

在本实施例中，如图4所示，所述左目镜头61以及CMOS图像传感器上的保护玻璃L5(S10为物侧面，S11为像侧面，S10和S11均为平面)的相关参数如表1所示。

表1

所述右目镜头62还满足以下条件式：

1)3.5mm≤TTL₂≤7mm，其中TTL₂为所述双目内窥镜右目镜头62的光学总长。

2)0.6mm≤f₂≤1.2mm，其中f₂表示所述双目内窥镜右目镜头62的有效焦距。

3)80°≤FOV₂≤100°，其中FOV₂表示右目镜头62的入瞳视场角。

4)BFL₂≥1mm，其中BFL₂表示右目镜头62的光学后焦距。

5)右目镜头62的近点工作距离在30mm到60mm之间；以保证右目镜头62对远处物体观测清晰。具体地，右目镜头2的景深为40mm～130mm。

由此可以看出，所述右目镜头62满足的条件式中，前四个与左目镜头61一致。唯一不同的地方在于右目镜头62与左目镜头61的光学后焦距不同，导致右目镜头62与左目镜头61的景深不同。具体地，右目镜头62的景深相对左目镜头61往远工作距离方向发生移动，具体地，右目镜头62的景深为40mm～130mm，这意味着，相对于左目镜头61，右目镜头62对远距离物体观测比较清晰。

对于内窥镜镜头，光学后焦距对最佳成像距离和景深有着直接影响。光学后焦距增大时，最佳成像距离和景深都往近工作距离方向移动；光学后焦距减小时，最佳成像距离和景深则都往远工作距离方向移动。

融合后的图像具有拓展景深，景深既覆盖了左目镜头61的16mm～100mm的景深，同时也覆盖了右目镜头62的40mm～130mm的景深，最终的景深为16mm～130mm。镜头的景深得到了拓展。

在本实施例中，如图6所示，所述右目镜头62以及CMOS图像传感器上的保护玻璃L5的相关参数如表2所示。

表2

可以通过表1中参数计算得到左目镜头61的光学后焦距BFL₁：

BFL₁＝1.200+0.400+0.100＝1.700mm。

可以通过表2中参数计算得到右目镜头62的光学后焦距BFL₂：

BFL₂＝1.166+0.400+0.100＝1.666mm。

左目镜头61、右目镜头62的光学后焦差距，即△后焦距通过做差可以得到：

△后焦距＝|BFL₁-BFL₂|＝0.034mm

可见，左目镜头61、右目镜头62在光学后焦距上有0.034mm差别，这会导致右目镜头62与左目镜头61的景深不同。

如图8所示，本申请所涉及的具有拓展景深的双目内窥镜系统包括上述双目内窥镜1、通过数据传输线2与所述双目内窥镜1相连接的图像处理器3、以及通过视频信号传输线4与所述图像处理器3相连接的显示器5。

在具体的使用过程中，双目镜头同时观测物成像，所成的像分别被两个CMOS图像传感器8记录，CMOS图像传感器8将光信号转化为电信号，并分别通过第一数据传输线21和第二数据传输线22将两路图像信号传输到图像处理器3。图像处理器3负责将CMOS图像传感器8输出的原始图像信号，进行图像处理，使得输出的图像在色彩和清晰度上满足内窥镜观测的需求；同时，最重要的不同景深的双目图像的融合也是在图像处理器3上完成。最终，处理好的图像数据，通过视频信号传输线4(例如HDMI、DVI、SDI等)传输到显示器5上显示。

具体地，如图13所示，本申请所涉及的成像方法包括以下步骤：

步骤1、获取双目内窥镜拍摄的两幅图像，作为待处理的原始图像，两幅原始图像具有不同景深。如图9-10所示，受内窥镜镜头的景深限制，左目和右目原始图像存在明显的景深差异，通过单次曝光成像，无法获得整幅图像清晰度都是比较适中的原始图像。如图9所示，左目原始图像中近距离的“饮料瓶”图像很清晰，而远距离的“分辨力测试卡”图像则很模糊；如图10所示，右目原始图像中近距离的“饮料瓶”图像比较模糊，而远距离的“分辨力测试卡”图像则很清晰。

步骤2、对两幅原始图像进行预处理，使预处理后的两幅图像信噪比得到改善。具体的预处理包括：对两幅原始图像分别进行去噪处理，提升图像质量。

步骤3、通过小波变换的图像融合方法，融合步骤2得到的两幅图像，得到具有拓展景深、且在整个景深内图像都清晰的目标图像，如图12所示，目标图像同时具有左目和右目原始图像中的清晰成分，具体地，近距离的“饮料瓶”和远距离的“分辨力测试卡”都很清晰。

如图11所示，具体的步骤3包括以下步骤：

步骤31、对每幅图像进行小波变换，通过小波变换到频域空间，每幅图像均分解成具有相同层数的子图像集合，得到每一层子图像的高频分量和低频分量。

在本实施例中，小波基优选“db2”；小波分解层数不小于4，优选5，以保证图像多尺度融合充分。

步骤32、对于两幅图像小波变换分解后得到的相对应层的两子图像，做如下融合处理：两个低频分量加权平均值，作为融合后该层子图像的低频部分；两个高频分量中取最大值作为融合后该层子图像的高频部分。

步骤33、小波逆变换：将融合后的频域信息逆变换得到融合后的空间域图像，即为目标图像。通过小波变换的图像融合方法获得的目标图像，具有左目和右目的景深范围，景深得到拓展，且在整个景深范围内图像的清晰度都得以提升。

基于小波变换的图像融合方法，通过在各层的特征域上进行有针对性的融合，比较容易提取原始图像的结构信息和细节信息。对于不同清晰度的图像融合，小波变换表现出非常好的效果。

由于没有参考图像，可以从原始图像和融合后得到的目标图像的信息熵(Entropy)和标准差(Standard Deviation)来进行定量评估。其中信息熵可以定量计算出一幅图像中信息量的大小，熵值越大，信息量越大；标准差反映了图像亮度相对于均值亮度的离散程度。标准差越大，图像亮度级分布越分散。

其中，图像信息熵的定义为：其中P_i是某个灰度值在该图像中出现的概率。

图像标准差为：其中，m和n为图像的长和宽(像素)，I(i，j)为图像在坐标(i，j)像素处的亮度值，I₀为图像的均值亮度。图像标准差反应了图像亮度的离散程度。

很明显，通过小波变换的图像融合方法获得的目标图像的信息熵和标准差都相对于双目原始图像有提升，见表3。这说明融合后的目标图像信息量得到提升，同时模糊低频的成分减少，图像的对比度(标准差)也增加。

表3

	左目原始图像	右目原始图像	目标图像
				信息熵	7.0880	7.1085	7.1526
标准差	43.8157	44.9984	45.5912

本申请所涉及的具有拓展景深的双目内窥镜、系统及成像方法，使用双目内窥镜，通过改变一目镜头的光学后焦距，单次曝光，即可获取同一拍摄时刻不同景深的两幅原始图像，两幅原始图像不存在拍摄时间延迟，通过图像融合方法合成双目镜头获得的两幅原始图像，得到拓展景深、且在整个景深内成像都清晰、符合人眼观测需求的目标图像。

本申请涉及的拓展景深方法实现方式简单，通过图像融合方法合成双目获得的两幅原始图像，得到目标图像，经过处理得到的目标图像亮度适中，符合人眼的观测需求。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，根据本申请的技术方案及其构思加以等同替换或改变，都应涵盖在本申请的保护范围之内。

Claims (3)

1.一种具有拓展景深的双目内窥镜，其特征在于：包括镜体管，在所述镜体管的头部左右对称的设有两个镜头，分别记作左目镜头和右目镜头，两镜头的光学后焦距具有不同值，且两镜头的景深也具有不同值；在所述镜体管内还设有两个CMOS图像传感器，两个CMOS图像传感器与两个镜头一一对应，所述CMOS图像传感器用于与图像处理器相连接，在所述镜体管内还设有用于照明的导光光纤；所述左目镜头中的镜片组从物面到像面依次由第一透镜、第二透镜、第三透镜以及胶合透镜构成，在所述第二透镜和第三透镜之间设有光阑，第一透镜具有负光焦度，第二透镜具有正光焦度，第三透镜具有正光焦度，胶合透镜具有正光焦度；所述右目镜头中的镜片组从物面到像面的结构与所述左目镜头相同，仅后焦距不同；所述左目镜头满足以下条件式：3.5 mm≤TTL₁≤7 mm，其中TTL₁为所述双目内窥镜左目镜头的光学总长；0.6 mm≤f₁≤1.2 mm，其中f₁表示所述双目内窥镜左目镜头的有效焦距；80°≤FOV₁≤100°，其中FOV₁表示左目镜头的入瞳视场角；BFL₁=1.7 mm，其中BFL₁表示左目镜头的光学后焦距；左目镜头的景深为16mm~100 mm；所述右目镜头满足以下条件式：3.5 mm≤TTL₂≤7 mm，其中TTL₂为所述双目内窥镜右目镜头的光学总长；0.6 mm≤f₂≤1.2 mm，其中f₂表示所述双目内窥镜右目镜头的有效焦距；80°≤FOV₂≤100°，其中FOV₂表示右目镜头的入瞳视场角；BFL₂=1.666mm，其中BFL₂表示右目镜头的光学后焦距；右目镜头的近点工作距离在30 mm到60 mm之间，右目镜头的景深为40mm～130mm。

2.一种具有拓展景深的双目内窥镜系统，其特征在于：包括权利要求1所述的双目内窥镜、通过数据传输线与所述双目内窥镜相连接的图像处理器、以及通过视频信号传输线与所述图像处理器相连接的显示器。

3.一种基于权利要求2所述的具有拓展景深的双目内窥镜系统的成像方法，其特征在于：包括以下步骤：

步骤1、获取双目内窥镜拍摄的两幅图像，作为待处理的原始图像，两幅原始图像具有不同景深；

步骤2、对两幅原始图像进行预处理，使预处理后的两幅图像信噪比得到改善，其中预处理包括：对两幅原始图像分别进行去噪处理，提升图像质量；

步骤3、通过小波变换的图像融合方法，融合步骤2得到的两幅图像，得到具有拓展景深、且在整个景深内图像都清晰的目标图像；具体，所述步骤3包括以下步骤：

步骤31、对每幅图像进行小波变换，通过小波变换到频域空间，每幅图像均分解成具有相同层数的子图像集合，得到每一层子图像的高频分量和低频分量，其中，小波基选用“db2”；小波分解层数不小于4；

步骤32、对于两幅图像小波变换分解后得到的相对应层的两子图像，做如下融合处理：两个低频分量加权平均值，作为融合后该层子图像的低频部分；两个高频分量中取最大值作为融合后该层子图像的高频部分；

步骤33、小波逆变换：将融合后的频域信息逆变换得到融合后的空间域图像，即为目标图像。