CN112907500A - 一种内窥镜对焦方法及装置 - Google Patents

一种内窥镜对焦方法及装置 Download PDF

Info

Publication number
CN112907500A
CN112907500A CN201911222099.9A CN201911222099A CN112907500A CN 112907500 A CN112907500 A CN 112907500A CN 201911222099 A CN201911222099 A CN 201911222099A CN 112907500 A CN112907500 A CN 112907500A
Authority
CN
China
Prior art keywords
image data
target
endoscope
imaging
focusing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911222099.9A
Other languages
English (en)
Other versions
CN112907500B (zh
Inventor
段西尧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingwei Shida Medical Technology Suzhou Co ltd
Original Assignee
Jingwei Shida Medical Technology Wuhan Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingwei Shida Medical Technology Wuhan Co ltd filed Critical Jingwei Shida Medical Technology Wuhan Co ltd
Priority to CN201911222099.9A priority Critical patent/CN112907500B/zh
Publication of CN112907500A publication Critical patent/CN112907500A/zh
Application granted granted Critical
Publication of CN112907500B publication Critical patent/CN112907500B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2446Optical details of the image relay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Astronomy & Astrophysics (AREA)
  • Optics & Photonics (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)

Abstract

本申请实施例提供一种内窥镜对焦方法及装置。该内窥镜对焦方法包括:获取内窥镜物镜的初始对焦位置和对应的第一权重矩阵;根据初始对焦位置确定目标对焦位置的候选位置范围;根据第一权重矩阵和在候选位置范围内的成像位置处对目标物成像得到的第一目标图像数据,确定成像位置对应的清晰度值;将对应最大清晰度值的成像位置选取为目标对焦位置。通过在根据初始对焦位置确定的较小候选位置范围内确定目标对焦位置,可以缩短确定目标对焦位置的耗时。此外,通过在计算清晰度值时根据第一权重矩阵来着重考虑图像中的有意义图像区域,可以避免图像中的无意义图像区域影响对焦清晰度值的计算,提高目标对焦位置的准确度,实现准确对焦。

Description

一种内窥镜对焦方法及装置
技术领域
本申请实施例涉及光学成像技术领域,尤其涉及一种内窥镜对焦方法及装置。
背景技术
光学成像在各个领域有着广泛的应用,例如,照相机、显微镜等,这些设备都需要进行对焦才能清晰成像,例如,以共聚焦显微内窥镜为例。共聚焦显微内窥镜是一种精密仪器,其包括两个关键部件:共聚焦主机和共聚焦探头。由于共聚焦显微内窥成像系统在制造和装配过程中不可避免地存在误差,在每次将共聚焦探头连接上共聚焦主机后,都需要进行自动对焦,以找到合适的对焦位置。
相关技术中,在对设备进行对焦时,通常使用传统爬山搜索法或变步长爬山搜索法来寻找合适的对焦位置。然而,爬山搜索法是一种常规的搜索方法,其本质是盲目试探性的搜索。如果爬坡步长设置不合理,需要花费较长的时间才能找到目标值,这会增加用户的等待时间,降低用户的体验。此外,爬山搜索法是一种局部择优法,容易受到局部极值的干扰而不能找到全局最优解,可能导致对焦不准确。精密光学仪器对焦位置精度在毫厘之间,对焦稍微不准确将可能导致图像质量的严重劣化。
发明内容
本申请实施例提供一种内窥镜对焦方法及装置,用以在光学成像过程中快速、准确地确定合适的对焦位置,提高对焦的准确度以及对焦的速度。
第一方面,本申请实施例提供了一种内窥镜对焦方法,其包括:
获取内窥镜物镜的初始对焦位置和对应的第一权重矩阵,所述第一权重矩阵用于指示在所述初始对焦位置成像得到的图像中像素值的有效性;
根据所述初始对焦位置确定目标对焦位置的候选位置范围;
根据所述第一权重矩阵和在所述候选位置范围内的成像位置处对目标物成像得到的第一目标图像数据,确定所述成像位置对应的清晰度值,其中,所述成像位置的数量大于或等于2;
将对应最大所述清晰度值的成像位置选取为所述目标对焦位置,并将所述内窥镜物镜移动至所述目标对焦位置。
可选的,在本申请的一种实施例中,所述候选位置范围的两个端点位置与所述初始对焦位置之间满足设定的距离值条件。
可选的,在本申请的一种实施例中,所述根据所述第一权重矩阵和在所述候选位置范围内的成像位置处对目标物成像得到的第一目标图像数据,确定所述成像位置对应的清晰度值,包括:
根据设定的卷积核模型对所述第一目标图像数据进行卷积操作,得到卷积图像数据;
根据所述第一权重矩阵计算所述卷积图像数据的像素加权平均值作为所述成像位置对应的清晰度值。
可选的,在本申请的一种实施例中,所述根据所述第一权重矩阵计算所述卷积图像数据的像素加权平均值作为所述成像位置对应的清晰度值,包括:
将所述卷积图像数据的像素值与所述第一权重矩阵对应位置的矩阵元素相乘,得到所述卷积图像数据的像素加权值;
将所述卷积图像数据的像素加权值的均值确定为所述成像位置对应的清晰度值。
可选的,在本申请的一种实施例中,所述第一目标图像数据包括多帧图像数据,对应的,所述根据设定的卷积核模型对所述第一目标图像数据进行卷积操作,得到卷积图像数据包括:
将所述多帧图像数据按像素取中值,获得取中图像数据;
根据设定的卷积核模型对所述取中图像数据进行卷积操作,得到卷积图像数据。
可选的,在本申请的一种实施例中,在所述将对应最大所述清晰度值的成像位置选取为所述目标对焦位置之后,还包括:
根据在所述目标对焦位置处对所述目标物进行成像得到的第二目标图像数据,获取第一内窥镜视场掩模图像数据;
根据所述第一内窥镜视场掩模图像数据的像素值确定第二权重矩阵;
将所述初始对焦位置设置为与所述目标对焦位置相同,并将所述第一权重矩阵设置为与所述第二权重矩阵相同。
可选的,在本申请的一种实施例中,所述根据所述第一内窥镜视场掩模图像数据的像素值确定第二权重矩阵,包括:
根据所述第一内窥镜视场掩模图像数据的像素值将所述第一内窥镜视场掩模图像数据划分为感兴趣区域和遮掩区域;
根据所述第一内窥镜视场掩模图像数据的像素在所述感兴趣区域中的位置设置所述第二权重矩阵中的矩阵元素的取值,其中,距离所述感兴趣区域中心位置越近的像素对应的矩阵元素的取值越大;
将所述第二权重矩阵中与所述遮掩区域对应的矩阵元素的取值设置为0。
可选的,在本申请的一种实施例中,在所述获取内窥镜的初始对焦位置和对应的第一权重矩阵之前,还包括:
利用预设的高斯函数模型对在内窥镜物镜的移动范围内的采样位置和所述采样位置对应的清晰度值进行高斯曲线拟合,获得目标高斯曲线,其中,所述采样位置的数量大于或等于4,所述目标高斯曲线用于表征清晰度值与所述内窥镜物镜的移动范围内的全部位置的变化关系;
根据所述目标高斯曲线的峰值确定所述初始对焦位置;
根据在所述初始对焦位置处对所述目标物进行成像得到的第三目标图像数据,获取第二内窥镜视场掩模图像数据;
根据所述第二内窥镜视场掩模图像数据的像素值确定所述第一权重矩阵。
可选的,在本申请的一种实施例中,所述根据所述目标高斯曲线的峰值确定所述初始对焦位置包括:
根据所述目标高斯曲线的峰值确定所述初始对焦位置的初始位置范围;
在所述初始位置范围内选取所述初始对焦位置。
第二方面,本申请实施例提供了一种内窥镜对焦装置,其包括:
获取模块,用于获取内窥镜物镜的初始对焦位置和对应的第一权重矩阵,所述第一权重矩阵用于指示在所述初始对焦位置成像得到的图像中像素值的有效性;
位置范围确定模块,用于根据所述初始对焦位置确定目标对焦位置的候选位置范围;
清晰度确定模块,用于根据所述第一权重矩阵和在所述候选位置范围内的成像位置处对目标物进行成像得到的第一目标图像数据,确定所述成像位置对应的清晰度值,其中,所述成像位置的数量大于或等于2;
对焦位置选取模块,用于将对应最大所述清晰度值的成像位置选取为所述目标对焦位置,并将所述内窥镜物镜移动至所述目标对焦位置。
可选的,在本申请的一种实施例中,所述候选位置范围的两个端点位置与所述初始对焦位置之间满足设定的距离值条件。
可选的,在本申请的一种实施例中,所述清晰度确定模块具体用于:
根据设定的卷积核模型对所述第一目标图像数据进行卷积操作,得到卷积图像数据;
根据所述第一权重矩阵计算所述卷积图像数据的像素加权平均值作为所述成像位置对应的清晰度值。
可选的,在本申请的一种实施例中,所述清晰度确定模块具体用于:
将所述卷积图像数据的像素值与所述第一权重矩阵对应位置的矩阵元素相乘,得到所述卷积图像数据的像素加权值;
将所述卷积图像数据的像素加权值的均值确定为所述成像位置对应的清晰度值。
可选的,在本申请的一种实施例中,所述第一目标图像数据包括多帧图像数据,所述清晰度确定模块具体用于:
将所述多帧图像数据按像素取中值,获得取中图像数据;
根据设定的卷积核模型对所述取中图像数据进行卷积操作,得到卷积图像数据。
可选的,在本申请的一种实施例中,所述装置还包括信息更新模块,所述信息更新模块用于:
根据在所述目标对焦位置处对所述目标物进行成像得到的第二目标图像数据,获取第一内窥镜视场掩模图像数据;
根据所述第一内窥镜视场掩模图像数据的像素值确定第二权重矩阵;
将所述初始对焦位置设置为与所述目标对焦位置相同,并将所述第一权重矩阵设置为与所述第二权重矩阵相同。
可选的,在本申请的一种实施例中,所述信息更新模块具体用于:
根据所述第一内窥镜视场掩模图像数据的像素值将所述第一内窥镜视场掩模图像数据划分为感兴趣区域和遮掩区域;
根据所述第一内窥镜视场掩模图像数据的像素在所述感兴趣区域中的位置设置所述第二权重矩阵中的矩阵元素的取值,其中,距离所述感兴趣区域中心位置越近的像素对应的矩阵元素的取值越大;
将所述第二权重矩阵中与所述遮掩区域对应的矩阵元素的取值设置为0。
可选的,在本申请的一种实施例中,所述装置还包括初始信息确定模块,所述初始信息确定模块用于:
利用预设的高斯函数模型对在内窥镜物镜的移动范围内的采样位置和所述采样位置对应的清晰度值进行高斯曲线拟合,获得目标高斯曲线,其中,所述采样位置的数量大于或等于4,所述目标高斯曲线用于表征清晰度值与所述内窥镜物镜的移动范围内的全部位置的变化关系;
根据所述目标高斯曲线的峰值确定所述初始对焦位置;
根据在所述初始对焦位置处对所述目标物进行成像得到的第三目标图像数据,获取第二内窥镜视场掩模图像数据;
根据所述第二内窥镜视场掩模图像数据的像素值确定所述第一权重矩阵。
可选的,在本申请的一种实施例中,初始信息确定模块具体用于:
根据所述目标高斯曲线的峰值确定所述初始对焦位置的初始位置范围;
在所述初始位置范围内选取所述初始对焦位置。
本申请实施例中,通过获取内窥镜物镜的初始对焦位置和对应的第一权重矩阵,根据初始对焦位置确定目标对焦位置的候选位置范围,进而,根据第一权重矩阵和在候选位置范围内的成像位置处对目标物成像得到的第一目标图像数据,确定成像位置对应的清晰度值,将对应最大清晰度值的成像位置选取为目标对焦位置,并将内窥镜物镜移动至目标对焦位置。由于在内窥镜使用时根据已知的初始对焦位置来确定目标对焦位置的候选位置范围,这使得确定出的候选位置范围相比于内窥镜物镜的移动范围小得多,通过在该较小的候选位置范围内确定目标对焦位置,可以缩短确定目标对焦位置的耗时,实现快速对焦。此外,在计算清晰度值时由于根据用于指示成像得到的图像中像素值的有效性的第一权重矩阵来着重考虑图像中的有意义图像区域,这使得可以避免图像中的无意义图像区域影响对焦清晰度值的计算,进而可以提高目标对焦位置的准确度,实现准确对焦。
附图说明
后文将参照附图以示例性而非限制性的方式详细描述本申请实施例的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解,这些附图未必是按比值绘制的。附图中:
图1为本申请实施例一提供的一种内窥镜对焦方法的流程图;
图2为本申请实施例二提供的一种内窥镜对焦方法的流程图;
图3为本申请实施例三提供的一种内窥镜对焦方法的流程图;
图4为本申请实施例四提供的一种内窥镜对焦装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
实施例一
图1为本申请实施例一提供的一种内窥镜对焦方法,该内窥镜对焦方法可以由内窥镜中的对焦装置执行,也可以由内窥镜中的其他装置执行,本实施例对此不做限定。如图1所示,本实施例提供的内窥镜对焦方法可以包括:
步骤101、获取内窥镜物镜的初始对焦位置和对应的第一权重矩阵。其中,第一权重矩阵用于指示在初始对焦位置成像得到的图像中像素值的有效性。
本实施例中,内窥镜物镜的初始位置和对应的第一权重矩阵可以预先存储在存储器中。在使用内窥镜时,可以从存储器中读取内窥镜物镜的初始位置和对应的第一权重矩阵。或者,内窥镜物镜的初始位置和对应的第一权重矩阵可以预先存储在其他装置中,在使用内窥镜时,从其他装置接收内窥镜物镜的初始位置和对应的第一权重矩阵,本实施例对此不做限定。
本实施例中,初始对焦位置可以是在内窥镜第一次使用前的安装过程中确定的内窥镜物镜的对焦位置,或者在内窥镜上一次使用时确定的内窥镜物镜的对焦位置。内窥镜物镜的初始对焦位置可以使用内窥镜物镜的最左侧点、中心、最右侧点或者内窥镜物镜上的其他点距内窥镜物镜移动范围内的起点位置的距离来表示。例如,内窥镜物镜的移动范围为[0,40]并且在初始对焦位置处内窥镜物镜的中心距起点位置0的距离为5um,则内窥镜物镜的初始对焦位置可以表示为5um。
本实施例中,第一权重矩阵中的矩阵元素是赋予在初始对焦位置成像得到的图像中与该矩阵元素对应位置的像素值的权重,指示该图像的像素值有效性。例如,权重的范围可以为[0,1],相应地,第一权重矩阵的矩阵元素取值范围可以为[0,1],矩阵元素取值越接近1,则表示在初始对焦位置成像得到的图像中与该矩阵元素对应位置的像素值有效性越高,反之,矩阵元素取值越接近0,则表示在初始对焦位置成像得到的图像中与该矩阵元素对应位置的像素值有效性越低。
步骤102、根据初始对焦位置确定目标对焦位置的候选位置范围。
本实施例中,根据内窥镜成像系统设计原理及经验数据,在每次使用内窥镜时,内窥镜的对焦位置仅在一个小范围内波动。因此,可以根据获取的内窥镜初始对焦位置,确定出相比于内窥镜的移动范围小得多的目标对焦位置的候选位置范围,通过在较小的候选位置范围内选取目标对焦位置,可以缩短确定目标对焦位置的耗时。
步骤103、根据第一权重矩阵和在候选位置范围内的成像位置处对目标物成像得到的第一目标图像数据,确定成像位置对应的清晰度值。其中,成像位置的数量大于或等于2。
本实施例中,清晰度值可以是一种对焦评价函数,即内窥镜物镜处于某一位置时系统对焦程度优劣的度量。可以将内窥镜物镜分别移动至候选位置范围内的每个成像位置处,在每个成像位置处对目标物进行成像得到第一目标图像数据,为了着重考虑第一目标图像数据中有意义图像部分,避免第一目标图像数据中无意义图像部分影响清晰度值的计算,在根据第一目标图像数据进行清晰度值的计算时需要结合第一权重矩阵。其中,清晰度值的计算方法不限,可以根据实际应用需求进行合理选择。
本实施例中,成像位置可以是候选位置范围内的内窥镜物镜可移动到的任何位置。成像位置的具体数量取决于候选位置范围的大小。当候选位置范围较大时,在该候选位置范围内内窥镜镜物镜可移动到的位置较多,即成像位置的数量较多,当候选位置范围较小时,在该候选位置范围内内窥镜镜物镜可移动到的位置较少,即成像位置的数量较少。
步骤104、将对应最大清晰度值的成像位置选取为目标对焦位置,并将内窥镜物镜移动至目标对焦位置。
本实施例中,在每个成像位置处确定一个清晰度值,在目标对焦位置的候选位置范围内可以确定出多个清晰度值。目标对焦位置对应于最大清晰度值,可以根据多个清晰度值中的最大清晰度值对应的成像位置选取目标对焦位置。
本实施例通过获取内窥镜物镜的初始对焦位置和对应的第一权重矩阵,根据初始对焦位置确定目标对焦位置的候选位置范围,进而,根据第一权重矩阵和在候选位置范围内的成像位置处对目标物成像得到的第一目标图像数据,确定成像位置对应的清晰度值,将对应最大清晰度值的成像位置选取为目标对焦位置,并将内窥镜物镜移动至目标对焦位置。由于在内窥镜使用时根据已知的初始对焦位置来确定目标对焦位置的候选位置范围,这使得确定出的候选位置范围相比于内窥镜物镜的移动范围小得多,通过在该较小的候选位置范围内确定目标对焦位置,可以缩短确定目标对焦位置的耗时,实现快速对焦。此外,在计算清晰度值时由于根据用于指示成像得到的图像中像素值的有效性的第一权重矩阵来着重考虑图像中的有意义图像区域,这使得可以避免图像中的无意义图像区域影响对焦清晰度值的计算,进而可以提高目标对焦位置的准确度,实现准确对焦。
实施例二
图2为本申请实施例二提供的内窥镜对焦方法的流程图。如图2所示,本实施例提供的内窥镜对焦方法,可以包括:
步骤201、获取内窥镜物镜的初始对焦位置和对应的第一权重矩阵,第一权重矩阵用于指示在初始对焦位置成像得到的图像中像素值的有效性。
步骤202、根据初始对焦位置确定目标对焦位置的候选位置范围。
本实施例中,候选位置范围的两个端点位置与初始对焦位置之间满足设定的距离值条件。其中,设定的距离值条件不限。例如,候选位置范围的第一端点位置,即上限位置,与初始对焦位置之间相距第一预设距离值,并且候选位置范围的第二端点位置与初始对焦位置之间相距第二预设距离值,第一预设距离值和第二预设距离值可以相同,也可以不同。其中,第一预设距离值和第二预设距离值的范围不限,可根据实际应用需求进行合理选择。例如,在一种应用场景中对对焦速度要求更高时,可以将第一预设距离值和第二预设距离值设定得较小,以便使得确定的候选位置范围相对较小,进而使得可以缩短确定目标对焦位置的耗时。又例如,在一种应用场景中对对焦得准确度要求更高时,可以将第一预设距离值和第二预设距离值设定得较大,以便使得确定的候选位置范围相对较大,以便使得确定的目标对焦位置更准确。
可选的,内窥镜物镜通过驱动器进行驱动,内窥镜物镜可以在驱动器的驱动下在目标对焦位置的候选位置范围内移动,目标对焦位置的候选位置范围与驱动器的候选移动范围一一对应。相应地,可以使用驱动器的候选移动范围来表示目标对焦位置的候选位置范围。本实施例对驱动器的具体类型不做限定,例如,驱动器可以是步进电机。在内窥镜物镜通过步进电机进行驱动时,为了实现对焦耗时较少且对焦准确度较高等效果,与初始对焦位置对应的步进电机的位置到步进电机的候选移动范围的上限位置的距离值和与初始对焦位置对应的步进电机的位置到步进电机的候选位置范围的下限位置的距离值可以分别为步进电机的单位移动距离的1至5倍。例如,当步进电机的单位移动距离值为1um时,上述距离值的范围可以为1um~5um。
步骤203、根据第一权重矩阵和在候选位置范围内的成像位置处对目标物成像得到的第一目标图像数据,确定成像位置对应的清晰度值,其中,成像位置的数量大于或等于2。
本实施例中,可以根据设定的卷积核模型对第一目标图像数据进行卷积操作,得到卷积图像数据,然后根据卷积图像数据的像素值和第一权重矩阵的矩阵元素确定成像位置对应的清晰度值。
可选的,在一种实现方式中,根据第一权重矩阵和在候选位置范围内的成像位置处对目标物成像得到的第一目标图像数据,确定成像位置对应的清晰度值,可以包括:
子步骤2031、根据设定的卷积核模型对第一目标图像数据进行卷积操作,得到卷积图像数据。
子步骤2032、根据第一权重矩阵计算卷积图像数据的像素加权平均值作为成像位置对应的清晰度值。
下面列举两种应用场景对上述子步骤进行具体说明,当然,此处只是示例性说明,并不代表本申请局限于此。
可选的,在一种应用场景中,第一目标图像数据可以包括一帧图像数据,对应的,子步骤2031可以包括:根据设定的卷积核模型对该一帧图像数据进行卷积操作,得到卷积图像数据。
在本应用场景中,由于在每个位置处仅获取一帧图像数据作为第一目标图像数据,图像数据获取时间较短,并且数据量较少,因此可以提高确定成像位置对应的清晰度值的计算速度,有利于缩短整个对焦过程所需耗费的时间。
可选的,在另一种应用场景中,第一目标图像数据可包括多帧图像数据,对应的,子步骤2031可以包括:将多帧图像数据按像素取中值,获得取中图像数据;根据设定的卷积核模型对取中图像数据进行卷积操作,得到卷积图像数据。
在该应用场景中,可选的,可在成像位置处通过内窥镜物镜获取N帧图像数据{In|n=1,2,…,N1},其中,In具有H行W列像素。
然后,通过下面公式对N帧图像数据{In|n=1,2,…,N1}按像素取像素值的中值,得到取中图像数据Im,根据设定的卷积核模型对取中图像数据进行卷积操作,得到卷积图像数据。
按像素取像素值的中值的公式为:Im(i,j)=median{In(i,j)|n=1,2,…,N1}。
其中,1≤i≤H,1≤j≤W,median函数为取中值函数。
例如,当获取三帧图像数据{In|n=1,2,3},并且每帧图像数据具有2行2列像素,其中,第一帧图像数据I1
Figure BDA0002301140690000101
第二帧图像数据I2
Figure BDA0002301140690000102
第二帧图像数据I3
Figure BDA0002301140690000103
为了便于表述,将左上角位置的像素称为第一像素,将右上角位置的像素称为第二像素,将左下角位置的像素称为第三像素,将右下角位置的像素称为第四像素。
根据前述按像素取像素值的中值的公式Im(i,j)=median{In(i,j)|n=1,2,…,N1}可以计算得出,第一像素对应的像素值得中值为26,第二像素对应的像素值的中值为75,第三像素对应的像素值的中值为32,第四像素对应的像素值的中值为62,因此最终得到取中图像数据Im
Figure BDA0002301140690000104
在本应用场景中,通过对在每个成像位置处获取的多帧图像数据进行处理得到取中图像数据,并根据取中图像数据确定成像位置对应的清晰度,可以在一定程度上消除图像噪声的干扰,提高确定成像位置对应的清晰度值的准确度。
可选的,子步骤2031中设定的卷积核模型可以为:
KN=[1 … 0 … -2 … 0 … 1];
其中,矩阵元素1与矩阵元素-2之间0的个数为K个,当一个成像位置的第一目标图像数据包括一帧图像数据时,K可根据每个成像位置的图像数据直接确定;当一个成像位置的第一目标图像数据包括多帧图像数据时,K根据每个成像位置对应的取中图像数据所确定。例如,当K为0时,矩阵KN具体为[1 -2 1];当K为1时,矩阵KN具体为[1 0 -2 0 -1];当K为2时,矩阵KN具体为[1 0 0 -2 0 0 -1]。通过按照这种方式确定矩阵KN,充分利用了第一目标图像数据本身的信息,可以使得获得的第一目标图像数据的清晰度更大。
此处,列举一个示例说明如何确定K的值,当然,此处只是示例性说明。
可选的,可以统计每个成像位置对应的第一目标图像数据或者取中图像数据的中间一行数据中每对相邻的极大值像素与极小值像素之间的间隔像素数;将每个位置对应的间隔像素数的众数减去1得到的值确定为每个位置对应的K。
具体的,第一目标图像数据具有H行W列像素,可取第一目标图像数据的第H/2行数据,统计该行数据中每对相邻的极大值像素与极小值像素之间的间隔像素数,将这些间隔像素数中出现次数最多的间隔像素数确定为目标间隔像素数,将目标间隔像素数减去1得到的值确定为K。通过按照这种方式确定K的取值,可以使得对于同一第一目标图像数据,图像的清晰度最大,对于不同的第一目标图像数据,图像清晰度差别最大,更容易区分对焦程度的好坏。
下面以第一目标图像数据具有16行16列像素,并且第8行像素为25、65、80、50、60、85、62、20、50、165、170、70、20、85、205、210为例进行说明如何确定K的取值。首先,根据该行像素数据,可以得到在该行数据中相邻极大值像素核极小值像素之间的间隔像素数分别为2、1、2、2、3、2、3。根据所得到的间隔像素数,可以确定目标间隔像素数,即这些间隔像素数的众数为2,由此可以将K的取值确定为1。
可选的,为了简化清晰度值的计算过程,根据第一权重矩阵计算卷积图像数据的像素加权平均值作为成像位置对应的清晰度值,可以包括:
将卷积图像数据的像素值与第一权重矩阵对应位置的矩阵元素相乘,得到卷积图像数据的像素加权值;
将卷积图像数据的像素加权值的均值确定为成像位置对应的清晰度值。
具体的,若成像位置对应的卷积图像数据为S(i,j),1≤i≤H,1≤j≤W,成像位置对应的第一权重矩阵为WM(i,j),1≤i≤H,1≤j≤W,可以通过下面公式计算成像位置对应的清晰度值。
计算清晰度值的公式为:
Figure BDA0002301140690000111
其中,1≤i≤H,1≤j≤W。
例如,若成像位置对应的卷积图像数据S为
Figure BDA0002301140690000112
成像位置对应的第一权重矩阵WM为
Figure BDA0002301140690000113
卷积图像数据S的像素值与第一权重矩阵对应位置的矩阵元素WM相乘后,第一像素对应的像素加权值为10,第二像素对应的像素加权值为6,第三像素对应的像素加权值为9.9,第四像素对应的像素加权值为15。对这四个像素加权值求平均,可以得到成像位置对应的清晰度值为10.225。
步骤204、将对应最大清晰度值的成像位置选取为目标对焦位置,并将内窥镜物镜移动至目标对焦位置。
本实施例中,为了下次使用内窥镜时能够获取到较为准确的初始对焦位置和第一权重矩阵,在将对应最大清晰度值的成像位置选取为目标对焦位置之后,还可以包括:
步骤205、根据在目标对焦位置处对所述目标物进行成像得到的第二目标图像数据,获取第一内窥镜视场掩模图像数据。
本实施例中,第二目标图像数据可以是直接成像获得的原始图像数据,也可以是对原始图像数据进行图像处理后获得的图像数据。第一内窥镜视场掩膜图像数据用于显示原始图像数据中光纤束端面的圆窗区域,即利用所确定的视场掩膜图像数据,可仅显示出对光纤束端面成像获得的原始图像数据中光纤束端面的圆窗区域,而将光纤束端面的圆窗之外的区域进行遮挡。根据第一目标图像数据获取第一内窥镜视场掩膜图像数据的方式不限。
步骤206、根据第一内窥镜视场掩模图像数据的像素值确定第二权重矩阵。
本实施例中,第二权重矩阵用于指示在目标对焦位置成像得到的图像中像素值的有效性。具体的,第二权重矩阵中的矩阵元素是赋予在目标对焦位置成像得到的图像中与该矩阵元素对应位置的像素值的权重。权重的范围例如可以为[0,1],相应地,第一权重矩阵的矩阵元素取值范围可以为[0,1],矩阵元素取值越接近1,则表示在目标对焦位置成像得到的图像中与该矩阵元素对应位置的像素值有效性越高,反之,矩阵元素取值越接近0,则表示在目标对焦位置成像得到的图像中与该矩阵元素对应位置的像素值有效性越低。
可选的,在内窥镜对目标物成像得到的图像中,用户只关注图像中的有意义图像区域,例如光纤束端面的圆窗部分,并且在内窥镜成像过程中不可避免的存在像差,导致光纤束端面的圆窗中心部分成像质量优于边缘部分。为了避免图像中无意义图像区域对清晰度值计算的影响,并且给予感兴趣区域中心赋予更大的权值以突出感兴趣区域中心部分成像,提高清晰度值的准确度,根据第一内窥镜视场掩模图像数据的像素值确定第二权重矩阵,可以包括:
步骤2061、根据第一内窥镜视场掩模图像数据的像素值将第一内窥镜视场掩模图像数据划分为感兴趣区域和遮掩区域;
步骤2062、根据第一内窥镜视场掩模图像数据的像素在感兴趣区域中的位置设置第二权重矩阵中的矩阵元素的取值,其中,距离感兴趣区域中心位置越近的像素对应的矩阵元素的取值越大;
步骤2063、将第二权重矩阵中与遮掩区域对应的矩阵元素的取值设置为0。
下面通过一个具体示例对上述步骤进行具体说明。当然,此处只是示例性说明,并不代表本申请局限于此。
首先,可以根据第一内窥镜视场掩膜图像数据Mask的像素值确定第一内窥镜视场图像数据Mask中的感兴趣区域,即光纤束端面的圆窗部分。感兴趣区域的位置例如可以通过在第一内窥镜视场图像数据Mask中的位置来表示,例如感兴趣区域的顶行tr、底行br、最左列lc、最右列rc。根据感兴趣区域的位置通过下面公式计算感兴趣区域的中心(cr,cc)和感兴趣区域圆形半径rad。
计算感兴趣区域中心的公式:
Figure BDA0002301140690000131
计算感兴趣区域圆形半径的公式:
Figure BDA0002301140690000132
随后,根据第一内窥镜视场掩膜图像数据的像素位置、像素值、感兴趣区域的中心、感兴趣区域圆形半径确定第一权重矩阵WM中的每个矩阵元素的取值。
此处列举两种方法举例说明如何计算每个矩阵元素的取值。
方法1:
Figure BDA0002301140690000133
其中,β是可设定的参数,β会影响第二权重矩阵WM中与感兴趣区域边缘对应的矩阵元素的取值。若第二权重矩阵WM中与感兴趣区域边缘对应的矩阵元素的取值为v,则v=β。若β取值为0.6,则第二权重矩阵WM中与感兴趣区域中心对应的矩阵元素的取值为1,第二权重矩阵WM中与感兴趣区域边缘对应矩阵元素的取值为0.6,第二权重矩阵WM中距离感兴趣区域中心越近的像素对应的矩阵元素的取值越大,取值范围为[0.6,1]。第二权重矩阵WM中与遮掩区域对应的矩阵元素的取值为0。在该方法中,通过给第二权重矩阵WM的矩阵元素赋予不同值,使得可以避免图像中遮掩区域对清晰度值计算的影响,并且给感兴趣区域中心赋予更大的权值以突出感兴趣区域中心部分成像,提高清晰度值计算的准确度。
方法2:
Figure BDA0002301140690000141
其中,η是可设定的参数,η会影响第二权重矩阵WM中与感兴趣区域边缘对应的矩阵元素的取值。若第二权重矩阵WM中与感兴趣区域边缘对应的矩阵元素的取值为v,则
Figure BDA0002301140690000142
若η取值为2,则第二权重矩阵WM中与感兴趣区域中心对应的矩阵元素的取值为1,第二权重矩阵WM中与感兴趣区域边缘对应矩阵元素的取值为0.6,第二权重矩阵WM中距离感兴趣区域中心越近的像素对应的矩阵元素的取值越大,取值范围为[0.6,1]。第二权重矩阵WM中与遮掩区域对应的矩阵元素的取值为0。在该方法中,与在方法1中类似,通过给第二权重矩阵WM的矩阵元素赋予不同值,使得可以避免图像中遮掩区域对清晰度值计算的影响,并且给感兴趣区域中心赋予更大的权值以突出感兴趣区域中心部分成像,提高清晰度值计算的准确度。
步骤207、将初始对焦位置设置为与目标对焦位置相同,并将第一权重矩阵设置为与第二权重矩阵相同。
本实施例中,利用目标对焦位置和第二权重矩阵更新初始对焦位置和第一权重矩阵,以便用于在下次使用内窥镜时确定内窥镜物镜的对焦位置。
本实施例中,候选位置范围的两个端点位置与初始对焦位置之间满足设定的距离值条件,可以通过设定不同的距离值条件来根据应用需求灵活设置候选位置范围。通过在要给成像位置处进行多次成像获得多帧图像数据,并根据多帧图像数据计算成像位置对应的清晰度值,有利于提高清晰度值计算的准确性。通过给第二权重矩阵的矩阵元素赋予不同值,使得可以避免图像中遮掩区域对清晰度值计算的影响,并且给感兴趣区域中心赋予更大的权值以突出感兴趣区域中心部分成像,进一步提高清晰度值计算的准确度。
实施例三
图3为本申请实施例三提供的内窥镜对焦方法的流程图。如图3所示,本实施例提供的内窥镜对焦方法可以包括:
步骤300、确定内窥镜物镜的初始对焦位置和对应的第一权重矩阵。
本实施例中,可以在内窥镜第一次使用之前的安装操作阶段确定内窥镜物镜的初始对焦位置,并根据在该初始对焦位置处对目标物成像得到的目标图像数据确定对应的第一权重矩阵,以便在后续内窥镜使用阶段确定内窥镜物镜的目标对焦位置时进行使用。
可选的,考虑到安装操作可以在用户不使用内窥镜的情况下进行,无需用户等待,可以不考虑安装耗时。因此,为了提高确定的初始对焦位置的准确度,可以使内窥镜物镜在其移动范围内按照内窥镜物镜的单位移动距离移动,在每个位置处计算对应位置的清晰度值,将最大清晰度值对应的位置确定为初始对焦位置,并根据在该初始对焦位置处对目标物成像得到的目标图像数据确定对应的第一权重矩阵。
可选的,在考虑确定初始对焦位置和对应的第一权重矩阵的耗时的情况下,确定初始对焦位置和对应第一权重矩阵可以包括:
子步骤3001、利用预设的高斯函数模型对在内窥镜物镜的移动范围内的采样位置和采样位置对应的清晰度值进行高斯曲线拟合,获得目标高斯曲线,其中,采样位置的数量大于或等于4,目标高斯曲线用于表征清晰度值与内窥镜物镜的移动范围内的全部位置的变化关系。
本实施例中,可以首先选定用于拟合目标高斯曲线的设定的高斯函数模型。根据设定的高斯函数模型确定内窥镜物镜的采样位置的最低数量,并在内窥镜物镜的移动范围内选取采样位置。随后,将内窥镜物镜移动至采样位置处对目标物进行成像,并确定采样位置对应的清晰度值。最后,利用设定的高斯函数模型对采样位置和采样位置对应的清晰度值进行高斯曲线拟合,获得目标高斯曲线。其中,采样位置可以是在内窥镜物镜的移动范围内内窥镜物镜可移动到达的任意位置。例如,若内窥镜物镜可以在驱动器的驱动下在其移动范围内移动,采样位置可以是在内窥镜物镜的移动范围内驱动器可驱动内窥镜物镜到达的任意位置。
本实施例中,设定的高斯函数模型用于进行目标高斯曲线的拟合,设定的高斯函数模型可以为单峰高斯函数模型、双峰高斯函数模型、三峰高斯函数模型或更多波峰数量的高斯函数模型中的一种。其中,单峰高斯函数模型、双峰高斯函数模型、三峰高斯函数模型或更多波峰数量的高斯函数模型可分别拟合出具有1个、2个、3个或者多个波峰的目标高斯曲线,可根据实际应用需求进行合理选择。
可选的,当目标高斯曲线的波峰数量为1时,高斯函数模型为:
Figure BDA0002301140690000151
其中,a0为目标高斯曲线波峰的峰高,u0为目标高斯曲线波峰对应的位置,b0为目标高斯曲线波的形状调整参数,c0为目标高斯曲线向上的偏移量。
可选的,当目标高斯曲线的波峰数量为2时,高斯函数模型为:
Figure BDA0002301140690000161
其中,a1和a2分别为目标高斯曲线的两个波峰的峰高,u0和u1分别为目标高斯曲线两个波峰对应的位置,b1和b2分别为目标高斯曲线两个波的形状调整参数,c1为目标高斯曲线向上的偏移量。
可选的,当目标高斯曲线的波峰数量为3时,高斯函数模型为:
Figure BDA0002301140690000162
Figure BDA0002301140690000163
其中,a3、a4和a5分别为目标高斯曲线的三个波峰的峰高,u3、u4和u5分别为目标高斯曲线三个波峰对应的位置,b3、b4和b5分别为目标高斯曲线的三个波的形状调整参数,c2表示目标高斯曲线向上的偏移量。
本实施例中,采样位置的最低数量可根据设定的高斯函数模型所确定,即根据目标高斯曲线的波峰数量所确定。当目标高斯曲线的波峰数量为M2时,需要选取至少(3*M2+1)个采样位置。
例如,当设定的高斯函数模型为单峰高斯函数模型时,需要选取至少四个采样位置;当设定的高斯函数模型为双高斯函数模型时,需要选取至少七个采样位置;当设定的高斯函数模型为三峰高斯函数模型时,需要选取至少十个采样位置。
本实施例中,在采样位置数量大于最低数量要求的情况下,选取尽可能多的采样位置进行目标高斯曲线拟合,所拟合出的目标高斯曲线对清晰度值与内窥镜物镜的位置的变化关系表征的精度会更高,进而使得使用最终确定的目标对焦位置进行对焦的效果也会更好。
可选的,由于所选取的采样位置的数量越多,会导致用于进行高斯曲线拟合的数据越多,确定目标对焦位置的耗时也会随之增加。因此为达到到拟合程度较高、目标高斯曲线拟合耗时较少等效果,设定的高斯函数模型可以优选为双峰高斯函数模型或三峰高斯函数模型。
本实施例中,由于采样位置的分布越均匀,则使用设定的高斯函数模型拟合出的目标高斯曲线的拟合程度越好,因此为均匀选取采样位置,在内窥镜物镜的移动范围内选取采样位置包括,可以包括:
将内窥镜物镜的移动范围均匀划分为至少四个采样区域;在每个采样区域内分别选取至少一个采样位置。
例如,可以将内窥镜物镜的移动范围均匀划分为四个采样区域、五个采样区域、六个采样区域等。由于在每个采样区域内选取内窥镜物镜的至少一个采样位置,因此当采样区域越多时,最终选取的采样位置在内窥镜物镜的移动范围内的分布也会更为均匀。
可选的,由于采样位置的最低数量根据目标高斯曲线的波峰数量所确定,因此对应的,将内窥镜物镜的移动范围均匀划分的采样区域的数量与目标高斯曲线的波峰数量也可满足:M1≥(3*M2+1),其中,M1表示采样区域的数量,M2表示目标高斯曲线的波峰数量。
通过使采样区域的数量与目标高斯曲线的波峰数量满足:M1≥(3*M2+1),可以避免数据集中在内窥镜物镜的移动范围的某一部分,提高目标高斯曲线的拟合程度。
本实施例中,确定采样位置对应的清晰度,可以包括:获得内窥镜物镜移动至采样位置处对目标物进行成像的采样图像数据;根据设定的卷积核模型对采样图像数据进行卷积操作,得到卷积图像数据;将卷积图像数据中的像素值均值确定为采样位置对应的清晰度值。可选的,采样图像数据可以包括一帧图像数据,以提高确定采样位置对应的清晰度值的计算速度。可选的,为了提高确定的清晰度值的准确度,采样图像数据可包括多帧图像数据。在采样图像数据包括多帧图像数据时,可以将多帧图像数据按像素取中值,获得取中图像数据;相应地,根据设定的卷积核模型对取中图像数据进行卷积操作,得到卷积图像数据。对多帧图像数据按像素取中值的方式不限,例如,可以与图2所示实施例二中对多帧图像数据按像素取中值的方式相同。
本实施例中,设定的卷积核模型不限,例如,可以与图2所示实施例二中的卷积核模型相同,此处不再赘述。
子步骤3002、根据目标高斯曲线的峰值确定初始对焦位置。
本实施例中,由于采用不同类型的高斯函数模型进行拟合时,拟合出的目标高斯曲线的波峰数量不同。当目标高斯曲线的波峰数量为1时,可以将目标高斯曲线的峰值对应的位置确定为目标峰值位置。当拟合出的目标高斯曲线的波峰数量为2、3或更多时,可以将目标高斯曲线的峰值中最大峰值对应的位置确定为初始对焦位置。
本实施例中,内窥镜物镜通过驱动器进行驱动,根据目标高斯曲线的峰值确定初始对焦位置可以包括:确定目标高斯曲线的目标峰值位置,并将驱动器可驱动内窥镜物镜至目标峰值位置最近的位置确定为初始对焦位置。
内窥镜物镜可以在驱动器的驱动下在其移动范围内移动,内窥镜物镜的位置与驱动器的移动位置一一对应。本实施例对驱动器的具体类型不做限定,例如,驱动器可以是步进电机。
由于成像系统软硬件性能的限制,可能无法通过驱动器将内窥镜物镜移动至目标高斯曲线的峰值中最大峰值对应的位置,因此为了尽可能提高对焦的效果,可将驱动器可驱动内窥镜物镜至目标高斯曲线的峰值中最大峰值对应的位置最近的位置确定为初始对焦位置。
可选的,为了提高初始对焦位置的准确度,子步骤3002可以包括:根据目标高斯曲线的峰值确定初始对焦位置的初始位置范围;在初始位置范围内选取初始对焦位置。
本实施例中,根据目标高斯曲线的峰值确定初始对焦位置的初始位置范围,可以包括:根据目标高斯曲线的峰值确定标识位置;根据标识位置确定初始位置范围,其中,标识位置位于初始位置范围内。由于最大清晰度值位于目标高斯曲线的峰值附近。因此,通过根据目标高斯曲线的峰值确定标识位置,并根据该标识位置确定相对较小的内窥镜物镜的位置范围,即初始对焦位置的初始位置范围,可以快速、合理地确定出初始对焦位置的初始位置范围。
本实施例中,对如何确定标识位置不做限定,此处,列举两种实现方式进行具体说明,当然,此处只是示例性说明,并不代表本申请局限于此。
可选的,在一种实现方式中,标识位置可以为目标高斯曲线的目标峰值位置,其中,目标峰值位置为目标高斯曲线的一个峰值或多个峰值中的最大峰值对应的位置。由于采用不同类型的高斯函数模型进行拟合时,拟合出的目标高斯曲线的波峰数量不同。当目标高斯曲线的波峰数量为1时,可以将目标高斯曲线的一个峰值对应的位置确定为目标峰值位置,并将该目标峰值位置作为标识位置。当拟合出的目标高斯曲线的波峰数量为2、3或更多时,可以将目标高斯曲线的多个峰值中最大峰值对应的位置确定为目标峰值位置,并将目标峰值位置作为标识位置。通过直接将目标高斯曲线的一个峰值或多个峰值中最大峰值对应的位置作为标识位置,可以简化计算过程,有利于降低计算的复杂度,提高对焦的处理速度。
可选的,在另一种实现方式中,内窥镜物镜通过驱动器进行驱动,标识位置可以为驱动器可驱动内窥镜物镜至距离目标峰值位置最近的位置,其中,目标峰值位置为目标高斯曲线的一个峰值或多个峰值中的最大峰值对应的位置。
内窥镜物镜可以在驱动器的驱动下在其移动范围内移动,内窥镜物镜的位置与驱动器的移动位置一一对应。本实现方式对驱动器的具体类型不做限定,例如,驱动器可以是步进电机。
由于成像系统软硬件性能的限制,可能无法通过驱动器将内窥镜物镜移动至目标高斯曲线的一个峰值或多个峰值中最大峰值对应的位置,因此为了尽可能提高对焦的效果,可将驱动器可驱动内窥镜物镜至目标高斯曲线的一个峰值或多个峰值中最大峰值对应的位置最近的位置作为标识位置。
本实施例中,对如何根据标识位置确定初始位置范围不做限定。此处,列举两种实现方式进行具体说明,当然,此处只是示例性说明,并不代表本申请局限于此。
可选的,在一种实现方式中,根据标识位置确定初始位置范围可以包括:分别选取位于标识位置之前和之后的两个采样位置,并将两个采样位置之间的范围确定为初始位置范围。通过根据标识位置直接从采样位置中选取两个位置作为初始位置范围的上限位置和下限位置,可以充分利用先前的采样位置数据,快速确定相比于内窥镜物镜的移动范围较小的有效移动范围,即快速确定初始对焦位置的初始位置范围。
由于初始对焦位置的初始位置范围越小,则采用相同的搜索方法在该初始范围内选取初始对焦位置耗费的时间越短,因此,为了进一步缩短确定初始对焦位置的耗时,分别选取位于标识位置之前和之后的两个采样位置可以包括:确定位于标识位置之前且距离标识位置最近的一个采样位置,以及确定位于标识位置之后且距离标识位置最近的一个采样位置。
可选的,在另一种实现方式中,初始位置范围的两个端点位置与标识位置之间满足设定的距离值条件。
本实现方式中,对设定的距离值条件不做限定。例如,初始位置范围的第一端点位置,即上限位置,与标识位置之间相距第一预设距离值,并且初始位置范围的第二端点位置与标识位置之间相距第二预设距离值,第一预设距离值和第二预设距离值可以相同,也可以不同。其中,第一预设距离值和第二预设距离值的范围不限,可根据实际应用需求进行合理选择。例如,在一种应用场景中对对焦速度要求更高时,可以将第一预设距离值和第二预设距离值设定得较小,以便使得确定的初始位置范围相对较小,进而使得可以快速搜索到初始对焦位置。又例如,在一种应用场景中对对焦得准确度要求更高时,可以将第一预设距离值和第二预设距离值设定得较大,以便使得确定的初始位置范围相对较大,进而使得可以搜索到更准确的初始对焦位置。
子步骤3003、根据在初始对焦位置处对目标物进行成像得到的第三目标图像数据,获取第二内窥镜视场掩模图像数据。
本实施例中,第三目标图像数据可以是直接成像获得的原始图像数据,也可以是对原始图像数据进行图像处理后获得的图像数据。第二内窥镜视场掩膜图像数据用于显示原始图像数据中光纤束端面的圆窗区域,即利用所确定的视场掩膜图像数据,可仅显示出对光纤束端面成像获得的原始图像数据中光纤束端面的圆窗区域,而将光纤束端面的圆窗之外的区域进行遮挡。根据第三目标图像数据获取第二内窥镜视场掩膜图像数据的方式不限,例如可以与图2所示实施例二中的步骤205中根据第二目标图像数据获取第二内窥镜视场掩膜图像数据的方式相同。
子步骤3004、根据第二内窥镜视场掩模图像数据的像素值确定第一权重矩阵。
本实施例中,确定第一权重矩阵的方式可以与确定第二权重矩阵的方式相同,此处不再赘述。
本实施例中,在确定内窥镜物镜的初始对焦位置和对应的第一权重矩阵之后,在内窥镜使用阶段确定目标对焦位置的方式与图1所示实施例一中的相同,即步骤301至步骤304与图1所示实施例一中的步骤101至步骤104以及图2所示实施例二中的步骤201至步骤204相同,此处不再赘述。
本实施例中,可以通过在用户不使用内窥镜的情况下确定较为准确的内窥镜物镜的初始对焦位置以及该初始对焦位置对应的第一权重矩阵,以方便在用户使用内窥镜时可以根据初始对焦位置确定一个范围较小的目标对焦位置的候选位置范围,并且在确定目标对焦位置的过程中使用第一权重矩阵提高清晰度值计算的准确度。
实施例四
图4为本申请实施例四提供的内窥镜对焦装置的结构示意图。如图3所示,本实施例提供的内窥镜对焦装置,可以包括:
获取模块401,用于获取内窥镜物镜的初始对焦位置和对应的第一权重矩阵,第一权重矩阵用于指示在初始对焦位置成像得到的图像中像素值的有效性;
位置范围确定模块402,用于根据初始对焦位置确定目标对焦位置的候选位置范围;
清晰度确定模块403,用于根据第一权重矩阵和在候选位置范围内的成像位置处对目标物进行成像得到的第一目标图像数据,确定成像位置对应的清晰度值,其中,成像位置的数量大于或等于2;
对焦位置选取模块404,用于将对应最大清晰度值的成像位置选取为目标对焦位置,并将内窥镜物镜移动至目标对焦位置。
可选的,候选位置范围的两个端点位置与初始对焦位置之间满足设定的距离值条件。
可选的,清晰度确定模块403具体用于:
根据设定的卷积核模型对第一目标图像数据进行卷积操作,得到卷积图像数据;
根据第一权重矩阵计算卷积图像数据的像素加权平均值作为成像位置对应的清晰度值。
可选的,清晰度确定模块403具体用于:
将卷积图像数据的像素值与第一权重矩阵对应位置的矩阵元素相乘,得到卷积图像数据的像素加权值;
将卷积图像数据的像素加权值的均值确定为成像位置对应的清晰度值。
可选的,第一目标图像数据包括多帧图像数据,清晰度确定模块具体用于:
将多帧图像数据按像素取中值,获得取中图像数据;
根据设定的卷积核模型对取中图像数据进行卷积操作,得到卷积图像数据。
可选的,装置还包括信息更新模块,信息更新模块用于:
根据在目标对焦位置处对目标物进行成像得到的第二目标图像数据,获取第一内窥镜视场掩模图像数据;
根据第一内窥镜视场掩模图像数据的像素值确定第二权重矩阵;
将初始对焦位置设置为与目标对焦位置相同,并将第一权重矩阵设置为与第二权重矩阵相同。
可选的,信息更新模块具体用于:
根据第一内窥镜视场掩模图像数据的像素值将第一内窥镜视场掩模图像数据划分为感兴趣区域和遮掩区域;
根据第一内窥镜视场掩模图像数据的像素在感兴趣区域中的位置设置第二权重矩阵中的矩阵元素的取值,其中,距离感兴趣区域中心位置越近的像素对应的矩阵元素的取值越大;
将第二权重矩阵中与遮掩区域对应的矩阵元素的取值设置为0。
可选的,装置还包括初始信息确定模块,初始信息确定模块用于:
利用预设的高斯函数模型对在内窥镜物镜的移动范围内的采样位置和采样位置对应的清晰度值进行高斯曲线拟合,获得目标高斯曲线,其中,采样位置的数量大于或等于4,目标高斯曲线用于表征清晰度值与内窥镜物镜的移动范围内的全部位置的变化关系;
根据目标高斯曲线的峰值确定初始对焦位置;
根据在初始对焦位置处对目标物进行成像得到的第三目标图像数据,获取第二内窥镜视场掩模图像数据;
根据第二内窥镜视场掩模图像数据的像素值确定第一权重矩阵。
可选的,初始信息确定模块具体用于:
根据目标高斯曲线的峰值确定初始对焦位置的初始位置范围;
在初始位置范围内选取初始对焦位置。
本实施例提供的对焦装置,用于执行实施例一至实施例三所提供的内窥镜对焦方法,其技术原理和技术效果类似,此处不再赘述。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定事务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行事务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种内窥镜对焦方法,其特征在于,包括:
获取内窥镜物镜的初始对焦位置和对应的第一权重矩阵,所述第一权重矩阵用于指示在所述初始对焦位置成像得到的图像中像素值的有效性;
根据所述初始对焦位置确定目标对焦位置的候选位置范围;
根据所述第一权重矩阵和在所述候选位置范围内的成像位置处对目标物成像得到的第一目标图像数据,确定所述成像位置对应的清晰度值,其中,所述成像位置的数量大于或等于2;
将对应最大所述清晰度值的成像位置选取为所述目标对焦位置,并将所述内窥镜物镜移动至所述目标对焦位置。
2.根据权利要求1所述的内窥镜对焦方法,其特征在于,所述候选位置范围的两个端点位置与所述初始对焦位置之间满足设定的距离值条件。
3.根据权利要求1所述的内窥镜对焦方法,所述根据所述第一权重矩阵和在所述候选位置范围内的成像位置处对目标物成像得到的第一目标图像数据,确定所述成像位置对应的清晰度值,包括:
根据设定的卷积核模型对所述第一目标图像数据进行卷积操作,得到卷积图像数据;
根据所述第一权重矩阵计算所述卷积图像数据的像素加权平均值作为所述成像位置对应的清晰度值。
4.根据权利要求3所述的内窥镜对焦方法,所述根据所述第一权重矩阵计算所述卷积图像数据的像素加权平均值作为所述成像位置对应的清晰度值,包括:
将所述卷积图像数据的像素值与所述第一权重矩阵对应位置的矩阵元素相乘,得到所述卷积图像数据的像素加权值;
将所述卷积图像数据的像素加权值的均值确定为所述成像位置对应的清晰度值。
5.根据权利要求3所述的内窥镜对焦方法,其特征在于,所述第一目标图像数据包括多帧图像数据,对应的,所述根据设定的卷积核模型对所述第一目标图像数据进行卷积操作,得到卷积图像数据包括:
将所述多帧图像数据按像素取中值,获得取中图像数据;
根据设定的卷积核模型对所述取中图像数据进行卷积操作,得到卷积图像数据。
6.根据权利要求1所述的内窥镜对焦方法,其特征在于,在所述将对应最大所述清晰度值的成像位置选取为所述目标对焦位置之后,还包括:
根据在所述目标对焦位置处对所述目标物进行成像得到的第二目标图像数据,获取第一内窥镜视场掩模图像数据;
根据所述第一内窥镜视场掩模图像数据的像素值确定第二权重矩阵;
将所述初始对焦位置设置为与所述目标对焦位置相同,并将所述第一权重矩阵设置为与所述第二权重矩阵相同。
7.根据权利要求6所述的内窥镜对焦方法,其特征在于,所述根据所述第一内窥镜视场掩模图像数据的像素值确定第二权重矩阵,包括:
根据所述第一内窥镜视场掩模图像数据的像素值将所述第一内窥镜视场掩模图像数据划分为感兴趣区域和遮掩区域;
根据所述第一内窥镜视场掩模图像数据的像素在所述感兴趣区域中的位置设置所述第二权重矩阵中的矩阵元素的取值,其中,距离所述感兴趣区域中心位置越近的像素对应的矩阵元素的取值越大;
将所述第二权重矩阵中与所述遮掩区域对应的矩阵元素的取值设置为0。
8.根据权利要求1所述的方法,其特征在于,在所述获取内窥镜的初始对焦位置和对应的第一权重矩阵之前,还包括:
利用预设的高斯函数模型对在内窥镜物镜的移动范围内的采样位置和所述采样位置对应的清晰度值进行高斯曲线拟合,获得目标高斯曲线,其中,所述采样位置的数量大于或等于4,所述目标高斯曲线用于表征清晰度值与所述内窥镜物镜的移动范围内的全部位置的变化关系;
根据所述目标高斯曲线的峰值确定所述初始对焦位置;
根据在所述初始对焦位置处对所述目标物进行成像得到的第三目标图像数据,获取第二内窥镜视场掩模图像数据;
根据所述第二内窥镜视场掩模图像数据的像素值确定所述第一权重矩阵。
9.根据权利要求8所述的方法,其特征在于,所述根据所述目标高斯曲线的峰值确定所述初始对焦位置包括:
根据所述目标高斯曲线的峰值确定所述初始对焦位置的初始位置范围;
在所述初始位置范围内选取所述初始对焦位置。
10.一种内窥镜对焦装置,其特征在于,包括:
获取模块,用于获取内窥镜的初始对焦位置和对应的第一权重矩阵,所述第一权重矩阵用于指示在所述初始对焦位置成像得到的图像中像素值的有效性;
位置范围确定模块,用于根据所述初始对焦位置确定目标对焦位置的候选位置范围;
清晰度确定模块,用于根据所述第一权重矩阵和在所述候选位置范围内的成像位置处对目标物进行成像得到的第一目标图像数据,确定所述成像位置对应的清晰度值,其中,所述成像位置的数量大于或等于2;
对焦位置选取模块,用于将对应最大所述清晰度值的成像位置选取为所述目标对焦位置。
CN201911222099.9A 2019-12-03 2019-12-03 一种内窥镜对焦方法及装置 Active CN112907500B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911222099.9A CN112907500B (zh) 2019-12-03 2019-12-03 一种内窥镜对焦方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911222099.9A CN112907500B (zh) 2019-12-03 2019-12-03 一种内窥镜对焦方法及装置

Publications (2)

Publication Number Publication Date
CN112907500A true CN112907500A (zh) 2021-06-04
CN112907500B CN112907500B (zh) 2022-02-18

Family

ID=76104016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911222099.9A Active CN112907500B (zh) 2019-12-03 2019-12-03 一种内窥镜对焦方法及装置

Country Status (1)

Country Link
CN (1) CN112907500B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114697548A (zh) * 2022-03-21 2022-07-01 迈克医疗电子有限公司 显微图像拍摄对焦方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104956246A (zh) * 2013-01-28 2015-09-30 奥林巴斯株式会社 摄像装置和摄像装置的控制方法
CN108881729A (zh) * 2018-07-30 2018-11-23 鹰利视医疗科技有限公司 一种内窥镜的自动对焦方法
CN110062596A (zh) * 2016-12-20 2019-07-26 奥林巴斯株式会社 自动焦点控制装置、内窥镜装置以及自动焦点控制装置的工作方法
CN110248101A (zh) * 2019-07-19 2019-09-17 Oppo广东移动通信有限公司 对焦方法和装置、电子设备、计算机可读存储介质
WO2019181629A1 (en) * 2018-03-20 2019-09-26 Sony Corporation System with endoscope and image sensor and method for processing medical images
CN110488481A (zh) * 2019-09-19 2019-11-22 广东工业大学 一种显微镜对焦方法、显微镜及相关设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104956246A (zh) * 2013-01-28 2015-09-30 奥林巴斯株式会社 摄像装置和摄像装置的控制方法
CN110062596A (zh) * 2016-12-20 2019-07-26 奥林巴斯株式会社 自动焦点控制装置、内窥镜装置以及自动焦点控制装置的工作方法
WO2019181629A1 (en) * 2018-03-20 2019-09-26 Sony Corporation System with endoscope and image sensor and method for processing medical images
CN108881729A (zh) * 2018-07-30 2018-11-23 鹰利视医疗科技有限公司 一种内窥镜的自动对焦方法
CN110248101A (zh) * 2019-07-19 2019-09-17 Oppo广东移动通信有限公司 对焦方法和装置、电子设备、计算机可读存储介质
CN110488481A (zh) * 2019-09-19 2019-11-22 广东工业大学 一种显微镜对焦方法、显微镜及相关设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
付玲等: "多光谱荧光共聚焦内窥显微成像系统研究", 《中国医疗器械信息》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114697548A (zh) * 2022-03-21 2022-07-01 迈克医疗电子有限公司 显微图像拍摄对焦方法及装置
CN114697548B (zh) * 2022-03-21 2023-09-29 迈克医疗电子有限公司 显微图像拍摄对焦方法及装置

Also Published As

Publication number Publication date
CN112907500B (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
US10101572B2 (en) Variable focal length lens system with multi-level extended depth of field image processing
EP3889661B1 (en) Focusing method and apparatus, electronic device and storage medium
CN112911133B (zh) 一种内窥镜对焦方法及装置
EP2683154B1 (en) Image pickup apparatus and lens apparatus
JP5762356B2 (ja) 焦点に基づく動的シーンの深度再構成のための装置および方法
CN107395993B (zh) 全自动对焦方法及系统
US7485834B2 (en) Method and apparatus for estimating an in-focus position
US8773550B2 (en) Range measurement using multiple coded apertures
US20160360094A1 (en) Image processing apparatus, image processing method, image pickup apparatus, method of controlling image pickup apparatus, and non-transitory computer-readable storage medium
US20120076362A1 (en) Coded aperture camera with adaptive image processing
US20150256739A1 (en) Fast Auto-Focus in Imaging
US20110267507A1 (en) Range measurement using a zoom camera
US9134126B2 (en) Image processing device, and image processing method
US20110267485A1 (en) Range measurement using a coded aperture
CN103516979B (zh) 摄像装置及其控制方法
CN105530407A (zh) 图像处理装置、图像捕获装置和图像处理方法
JP2015158570A (ja) 合焦方法、計測方法、主点検出方法、合焦装置、計測装置及び主点検出装置
CN112904548B (zh) 一种内窥镜对焦方法及装置
CN112907500B (zh) 一种内窥镜对焦方法及装置
CN114040067A (zh) 基于电子束量测设备的自动对焦方法和装置、设备及存储介质
CN117555123B (zh) 一种电子显微镜自动对焦方法及装置
KR20170101532A (ko) 이미지 융합 방법 및 이를 위한 컴퓨터 프로그램, 그 기록매체
JP6778753B2 (ja) 最適化された範囲を有するプレノプティクズーム
WO2018110282A1 (ja) 焦点調節装置、焦点調節方法、およびプログラムを記憶した記憶媒体
CN113028997A (zh) 镜片组的行程余量测量方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Room 804 and Room 805, Building 1, No. 188, Fuchunjiang Road, Suzhou, Jiangsu Province, 215163

Patentee after: Jingwei Shida Medical Technology (Suzhou) Co.,Ltd.

Address before: 436060, the third floor, Phoenix Avenue, special area No. 1, Wutong Lake New District, Liangzi Lake, Ezhou, Hubei

Patentee before: JINGWEI SHIDA MEDICAL TECHNOLOGY (WUHAN) CO.,LTD.