CN104834081A - 一种体视显微镜的快速自动聚焦方法 - Google Patents
一种体视显微镜的快速自动聚焦方法 Download PDFInfo
- Publication number
- CN104834081A CN104834081A CN201510166716.3A CN201510166716A CN104834081A CN 104834081 A CN104834081 A CN 104834081A CN 201510166716 A CN201510166716 A CN 201510166716A CN 104834081 A CN104834081 A CN 104834081A
- Authority
- CN
- China
- Prior art keywords
- microscopic image
- image
- stereo microscopic
- test
- parallax
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/241—Devices for focusing
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/18—Arrangements with more than one light path, e.g. for comparing two specimens
- G02B21/20—Binocular arrangements
- G02B21/22—Stereoscopic arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/241—Devices for focusing
- G02B21/244—Devices for focusing using image analysis techniques
Landscapes
- Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Microscoopes, Condenser (AREA)
- Studio Devices (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
本发明公开了一种体视显微镜的快速自动聚焦方法,其计算立体显微标定图像序列中的每对立体显微图像的视差,然后从立体显微标定图像序列中提取出一个清晰立体显微图像序列,接着从清晰立体显微图像序列中的所有立体显微图像的视差中找出值最小和值最大的视差,再在选定的倍率下任意获取一对立体显微图像,最后根据该对立体显微图像的视差及由值最小和值最大的视差确定的视差范围,实现该对立体显微图像内的目标对象的自动聚焦;优点是在同样的倍率下只需一次离线标定得到清晰立体显微图像的视差范围,就能使用于任意时刻的自动聚焦;在自动聚焦时,只需对拍摄的任意立体显微图像经过少量迭代次数的计算视差和比较运算,因此节省了大量的聚焦时间。
Description
技术领域
本发明涉及一种体视显微镜聚焦技术,尤其是涉及一种体视显微镜的快速自动聚焦方法。
背景技术
由于机器视觉系统的可靠性、相对低廉的价格和高产出,因此机器视觉系统在微观制造和检查领域得到了越来越广泛的使用。但是,机器视觉系统需要高效的图像处理算法来提取视觉特征,而提取视觉特征需要使用高质量和清晰的图像以确保视觉特征的精度。为了获得清晰的图像和最大限度地利用显微镜的潜能,在实施精细地处理前,使用高效、准确、鲁棒和快速的自动聚焦方法非常重要。
一般的视觉系统中,聚焦被定义为通过调整物镜获得一系列图像中的最清晰图像。自动聚焦方法分为两类:主动聚焦方法和被动聚焦方法。主动聚焦方法是在相机上使用不同的发射装置,发出信号到物体,检测并调整物体与相机之间的距离实现聚焦;而被动聚焦方法是通过分析一系列拍摄的图像,选出最清晰图像。由于主动聚焦方法所采用的设备昂贵,因此被动聚焦方法是目前的研究趋势。目前提出了大量的被动聚焦方法,但是不同实验条件下选择合适的被动聚焦方法仍然不确定。传统的被动聚焦方法只利用了单目图像信息,即使确定了特定实验条件下的最佳清晰度函数,也会因为不具有表示图像本质的固定指标,使得每次聚焦也需要拍摄大量的清晰模糊图像序列,导致体视显微镜系统的聚焦过程比较耗时;另一方面,在不同的倍率下,体视显微镜都是有景深的,意指属于景深范围内拍摄的图像都是清晰的,但传统的被动聚焦方法没有判断任意一幅图像属于清晰还是模糊,因此造成研究者只倾向于寻找最清晰图像,同样耗费了大量的时间。
发明内容
本发明所要解决的技术问题是提供一种体视显微镜的快速自动聚焦方法,其能够对任意一对立体显微图像进行快速自动聚焦,聚焦过程耗时短。
本发明解决上述技术问题所采用的技术方案为:一种体视显微镜的快速自动聚焦方法,其特征在于包括以下步骤:
①获取一个包含有M对立体显微图像的立体显微标定图像序列,立体显微标定图像序列中的M对立体显微图像按序从模糊到清晰再到模糊,且M对立体显微图像内的目标对象为同一个,将立体显微标定图像序列中的第i对立体显微图像记为Ii,其中,M≥50,1≤i≤M;
②计算立体显微标定图像序列中的每对立体显微图像的视差,将Ii的视差记为di;
③从立体显微标定图像序列中提取出一个清晰立体显微图像序列,具体过程为:
③-1、利用Tenengrad清晰度算子计算立体显微标定图像序列中的每对立体显微图像的左视点图像的Tenengrad函数值;
③-2、从M个Tenengrad函数值中找出值最大的Tenengrad函数值,记为然后根据选定的倍率的景深范围,选取对应的立体显微图像的前m对立体显微图像和后m对立体显微图像;再将对应的立体显微图像的前m对立体显微图像、对应的立体显微图像、对应的立体显微图像的后m对立体显微图像按序构成一个清晰立体显微图像序列;其中,m的取值与采用的体视显微镜的物镜的放大倍率β有关,它们之间的关系为:n表示放置于垂直升降台上的物体与采用的体视显微镜的物镜之间的介质的折射率,λ表示光波波长,e表示采用的体视显微镜的成像面上相邻的两感光元件之间可分辨的最小物理距离,β表示采用的体视显微镜的物镜的放大倍率,NA表示采用的体视显微镜的物镜的数值孔径,NA=n×sinθ,θ表示离采用的体视显微镜的物镜中心光轴最远的折射光形成的角度,Δh表示垂直升降台每次移动的距离,单位为微米,2≤Δh≤12;
④从清晰立体显微图像序列中的所有立体显微图像的视差中找出值最小的视差和值最大的视差,对应记为dC min和dC max,将区间[dC min,dC max]作为选定的倍率下的清晰立体显微图像的视差范围;
⑤在选定的倍率下,利用体视显微镜任意获取一对成像的立体显微图像,记为Itest;然后计算Itest的视差,记为dtest;再根据dtest和[dC min,dC max]实现Itest内的目标对象的自动聚焦,具体过程为:
⑤-1、判断|dtest-dmc|<T是否成立,如果成立,则确定Itest已为最清晰的图像,完成了Itest内的目标对象的自动聚焦;如果不成立,则执行步骤⑤-2;其中,符号“||”为取绝对值符号,dmc表示[dC min,dC max]中最清晰的图像对应的视差,T表示设定的判定阈值,T∈(0,1];
⑤-2、假设垂直升降台每次移动的距离为Δh微米,则计算Itest内的目标对象聚焦到最清晰位置时垂直升降台所需的移动次数,记为step,然后根据step确定Itest内的目标对象聚焦到最清晰位置时垂直升降台的移动方向,如果step小于0,则确定移动方向为向上,如果step大于0,则确定移动方向为向下,其中,2≤Δh≤20,dperstep表示垂直升降台向上移动一次或向下移动一次后,移动前获得的立体显微图像的视差与移动后获得的立体显微图像的视差的差值的绝对值;
⑤-3、按照Itest内的目标对象聚焦到最清晰位置时垂直升降台所需的移动次数step和移动方向移动垂直升降台;
⑤-4、在垂直升降台移动好后利用体视显微镜获取一对成像的立体显微图像,记为Itest';然后计算Itest'的视差,记为dtest';接着令Itest=Itest',并令dtest=dtest',再返回步骤⑤-1继续执行,进行自动聚焦迭代,其中,Itest=Itest'和dtest=dtest'中的“=”为赋值符号。
所述的步骤①中的立体显微标定图像序列的获取过程为:
①-1、在体视显微镜的物镜的正下方放置一个垂直升降台,然后在垂直升降台上放置一个物体,接着利用体视显微镜观察物体的成像,并调整物体的位置使只有一个平面信息在成像的立体显微图像中,成像的立体显微图像内有目标对象;
①-2、调整垂直升降台的高度,使成像的立体显微图像模糊,然后使垂直升降台沿同一个方向移动,每隔Δh微米移动一次获得一对成像的立体显微图像,共移动M次获得M对成像的立体显微图像,且M对成像的立体显微图像按序从模糊到清晰再到模糊,将M对成像的立体显微图像构成一个立体显微标定图像序列,其中,2≤Δh≤20,M≥50。
所述的步骤②中的Ii的视差di、所述的步骤⑤中的Itest的视差dtest和Itest'的视差dtest'三者的获取过程相同,将Ii、Itest和Itest'分别定义为待处理图像,待处理图像的视差的获取过程为:
a、利用准欧式极线校正算法对待处理图像进行极线校正,得到平行的立体显微图像;
b、利用SURF算法提取平行的立体显微图像的左视点图像与右视点图像中的所有匹配点对,对于任意一对匹配点对,该匹配点对由平行的立体显微图像的左视点图像与右视点图像中相匹配的两个像素点构成;然后计算每对匹配点对的视差,对于任意一对匹配点对,该匹配点对的视差等于在平行的立体显微图像的左视点图像中的匹配点的横坐标减去在平行的立体显微图像的右视点图像中的匹配点的横坐标;再计算所有匹配点对的视差的平均值,将该平均值作为待处理图像的视差。
与现有技术相比,本发明的优点在于:
1)由于本发明方法利用了获取的立体显微图像的双目信息,在同样的倍率下,只需一次离线标定得到清晰立体显微图像的视差范围,就能使用于任意时刻拍摄的立体显微图像的自动聚焦;在自动聚焦时,只需对拍摄的任意立体显微图像经过少量迭代次数的计算视差和比较运算,因此本发明方法节省了大量的聚焦时间,达到了快速自动聚焦的目的。
2)本发明方法为立体显微图像的清晰度提供了表示其本质的指标(视差),因此本发明方法能对任意的立体显微图像进行清晰度判定,解决了目前尚没有对任意图像进行清晰度判定的问题。
附图说明
图1为本发明方法的总体实现框图;
图2a为一个立体显微标定图像序列中的第1对模糊的立体显微图像的左视点图像;
图2b为一个立体显微标定图像序列中的第2对清晰的立体显微图像的左视点图像;
图2c为一个立体显微标定图像序列中的第3对最清晰的立体显微图像的左视点图像;
图2d为一个立体显微标定图像序列中的第4对清晰的立体显微图像的左视点图像;
图2e为一个立体显微标定图像序列中的第5对模糊的立体显微图像的左视点图像;
图3a为垂直升降台处于第一个高度时获取的包含第一个目标对象的一对立体显微图像的左视点图像;
图3b为垂直升降台处于第二个高度时获取的包含第一个目标对象的一对立体显微图像的左视点图像;
图3c为垂直升降台处于第三个高度时获取的包含第一个目标对象的一对立体显微图像的左视点图像;
图3d为垂直升降台处于第四个高度时获取的包含第一个目标对象的一对立体显微图像的左视点图像;
图3e为垂直升降台处于第一个高度时获取的包含第二个目标对象的一对立体显微图像的左视点图像;
图3f为垂直升降台处于第二个高度时获取的包含第二个目标对象的一对立体显微图像的左视点图像;
图3g为垂直升降台处于第三个高度时获取的包含第二个目标对象的一对立体显微图像的左视点图像;
图3h为垂直升降台处于第四个高度时获取的包含第二个目标对象的一对立体显微图像的左视点图像;
图3i为垂直升降台处于第一个高度时获取的包含第三个目标对象的一对立体显微图像的左视点图像;
图3j为垂直升降台处于第二个高度时获取的包含第三个目标对象的一对立体显微图像的左视点图像;
图3k为垂直升降台处于第三个高度时获取的包含第三个目标对象的一对立体显微图像的左视点图像;
图3m为垂直升降台处于第四个高度时获取的包含第三个目标对象的一对立体显微图像的左视点图像;
图4为图3a至图3m各自的立体显微图像的清晰度判定结果;
图5为图3a至图3m各自的立体显微图像经过迭代后的视差;
图6为图3a至图3m各自的立体显微图像经过迭代后的误差与迭代次数;
图7a为图3a对应的立体显微图像中的第一个目标对象经过本发明方法自动聚焦后得到的最终立体显微图像的左视点图像;
图7b为图3b对应的立体显微图像中的第一个目标对象经过本发明方法自动聚焦后得到的最终立体显微图像的左视点图像;
图7c为图3c对应的立体显微图像中的第一个目标对象经过本发明方法自动聚焦后得到的最终立体显微图像的左视点图像;
图7d为图3d对应的立体显微图像中的第一个目标对象经过本发明方法自动聚焦后得到的最终立体显微图像的左视点图像;
图7e为图3e对应的立体显微图像中的第二个目标对象经过本发明方法自动聚焦后得到的最终立体显微图像的左视点图像;
图7f为图3f对应的立体显微图像中的第二个目标对象经过本发明方法自动聚焦后得到的最终立体显微图像的左视点图像;
图7g为图3g对应的立体显微图像中的第二个目标对象经过本发明方法自动聚焦后得到的最终立体显微图像的左视点图像;
图7h为图3h对应的立体显微图像中的第二个目标对象经过本发明方法自动聚焦后得到的最终立体显微图像的左视点图像;
图7i为图3i对应的立体显微图像中的第三个目标对象经过本发明方法自动聚焦后得到的最终立体显微图像的左视点图像;
图7j为图3j对应的立体显微图像中的第三个目标对象经过本发明方法自动聚焦后得到的最终立体显微图像的左视点图像;
图7k为图3k对应的立体显微图像中的第三个目标对象经过本发明方法自动聚焦后得到的最终立体显微图像的左视点图像;
图7m为图3m对应的立体显微图像中的第三个目标对象经过本发明方法自动聚焦后得到的最终立体显微图像的左视点图像。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种体视显微镜的快速自动聚焦方法,其总体实现框图如图1所示,其包括以下步骤:
①获取一个包含有M对立体显微图像的立体显微标定图像序列,立体显微标定图像序列中的M对立体显微图像按序从模糊到清晰再到模糊,且M对立体显微图像内的目标对象为同一个,将立体显微标定图像序列中的第i对立体显微图像记为Ii,将Ii的左视点图像和右视点图像对应记为和其中,M≥50,在本实施例中取M=150,1≤i≤M。
在此具体实施例中,立体显微标定图像序列的获取过程为:
①-1、在体视显微镜的物镜的正下方放置一个垂直升降台,然后在垂直升降台上放置一个物体,物体在体视显微镜下成像,接着利用体视显微镜观察物体的成像,并调整物体的位置,使只有一个平面信息在成像的立体显微图像中,成像的立体显微图像内有目标对象;目标对象要保证在整个标定移动拍摄的过程中,不能移出成像的立体显微图像的视野范围,因此可尽量将目标对象调整到处于整个成像的立体显微图像的中心处;成像的立体显微图像的背景需要单一的颜色,尽量保持在移动垂直升降台时,背景的亮度变化比较微小。
①-2、使用精密的步进电机调整垂直升降台的高度,使成像的立体显微图像模糊,然后使用精密的步进电机(最小移动步长为2微米)带动垂直升降台沿同一个方向(垂直向上或垂直向下)移动,每隔Δh微米移动一次获得一对成像的立体显微图像,共移动M次获得M对成像的立体显微图像,且M对成像的立体显微图像按序从模糊到清晰再到模糊,将M对成像的立体显微图像构成一个立体显微标定图像序列,其中,2≤Δh≤20,在本实施例中取Δh=10,M≥50,在本实施例中取M=150。
图2a至图2e给出了一个立体显微标定图像序列中的5对成像的立体显微图像的左视点图像,本实施例只给出了左视点图像,右视点图像的清晰度与左视点图像类似。图2a、图2b、图2c、图2d和图2e所示的立体显微图像的左视点图像对应为模糊、清晰、最清晰、清晰、模糊。
②计算立体显微标定图像序列中的每对立体显微图像的视差,将Ii的视差记为di。
③从立体显微标定图像序列中提取出一个清晰立体显微图像序列,具体过程为:
③-1、利用现有的Tenengrad清晰度算子计算立体显微标定图像序列中的每对立体显微图像的左视点图像的Tenengrad函数值,将的Tenengrad函数值记为 其中,(x,y)表示立体显微标定图像序列中的立体显微图像中的像素点的坐标位置,W和H对应表示立体显微标定图像序列中的立体显微图像的宽度和高度,1≤x≤W,1≤y≤H,SX(x,y)表示利用检测水平边缘的Sobel算子获得的中坐标位置为(x,y)的像素点的值,SY(x,y)表示利用检测垂直边缘的Sobel算子获得的中坐标位置为(x,y)的像素点的值。
③-2、从M个Tenengrad函数值中找出值最大的Tenengrad函数值,记为然后根据选定的倍率的景深范围,选取对应的立体显微图像的前m对立体显微图像和后m对立体显微图像;再将对应的立体显微图像的前m对立体显微图像、对应的立体显微图像、对应的立体显微图像的后m对立体显微图像按序构成一个清晰立体显微图像序列;其中,m的取值与采用的体视显微镜的物镜的放大倍率β有关,它们之间的关系为:n表示放置于垂直升降台上的物体与采用的体视显微镜的物镜之间的介质的折射率,一般空气中取1,λ表示光波波长,λ一般取0.55,e表示采用的体视显微镜的成像面上相邻的两感光元件之间可分辨的最小物理距离,e一般取14,β表示采用的体视显微镜的物镜的放大倍率,在本实施例中取β=8,NA表示采用的体视显微镜的物镜的数值孔径,NA=n×sinθ,θ表示离采用的体视显微镜的物镜中心光轴最远的折射光形成的角度,在本实施例中取NA=0.01,Δh表示垂直升降台每次移动的距离,单位为微米,2≤Δh≤12,在本实施例中取Δh=10。
④从清晰立体显微图像序列中的所有立体显微图像的视差中找出值最小的视差和值最大的视差,对应记为dC min和dC max,将区间[dC min,dC max]作为选定的倍率下的清晰立体显微图像的视差范围。
⑤在选定的倍率下,利用体视显微镜任意获取一对成像的立体显微图像,记为Itest,在此,获取的立体显微图像一般情况下要求包含有目标对象,但目标对象可以与立体显微标定图像序列中的每对立体显微图像内的目标对象是同一个,也可以是不同一个;然后计算Itest的视差,记为dtest,利用dtest可以判定Itest的清晰度,如果dtest不属于[dC min,dC max],则判定Itest不清晰;如果dtest属于[dC min,dC max],则判定Itest清晰;再根据dtest和[dC min,dC max]实现Itest内的目标对象的自动聚焦,具体过程为:
⑤-1、判断|dtest-dmc|<T是否成立,如果成立,则确定Itest已为最清晰的图像,完成了Itest内的目标对象的自动聚焦;如果不成立,则执行步骤⑤-2;其中,符号“||”为取绝对值符号,dmc表示[dC min,dC max]中最清晰的图像对应的视差,T表示设定的判定阈值,T∈(0,1],在本实施例中取T=0.5。
⑤-2、假设垂直升降台每次移动的距离为Δh微米,则计算Itest内的目标对象聚焦到最清晰位置时垂直升降台所需的移动次数,记为step,然后根据step确定Itest内的目标对象聚焦到最清晰位置时垂直升降台的移动方向,如果step小于0,则确定移动方向为向上,如果step大于0,则确定移动方向为向下,其中,2≤Δh≤20,在本实施例中取Δh=10,dperstep表示垂直升降台向上移动一次或向下移动一次后,移动前获得的立体显微图像的视差与移动后获得的立体显微图像的视差的差值的绝对值,在本实施例中直接取dperstep=0.060765。
⑤-3、按照Itest内的目标对象聚焦到最清晰位置时垂直升降台所需的移动次数step和移动方向移动垂直升降台。
⑤-4、由于立体显微图像的视差与垂直升降台的高度之间的线性关系存在一些误差,因此需要对移动后获得的立体显微图像再求视差,即在垂直升降台移动好后利用体视显微镜获取一对成像的立体显微图像,记为Itest';然后计算Itest'的视差,记为dtest';接着令Itest=Itest',并令dtest=dtest',再返回步骤⑤-1继续执行,进行自动聚焦迭代,其中,Itest=Itest'和dtest=dtest'中的“=”为赋值符号。
在此具体实施例中,步骤②中的Ii的视差di、步骤⑤中的Itest的视差dtest和Itest'的视差dtest'三者的获取过程相同,将Ii、Itest和Itest'分别定义为待处理图像,待处理图像的视差的获取过程为:
a、利用现有的准欧式极线校正算法对待处理图像进行极线校正,得到平行的立体显微图像。
b、利用SURF算法提取平行的立体显微图像的左视点图像与右视点图像中的所有匹配点对,对于任意一对匹配点对,该匹配点对由平行的立体显微图像的左视点图像与右视点图像中相匹配的两个像素点构成;然后计算每对匹配点对的视差,对于任意一对匹配点对,该匹配点对的视差等于在平行的立体显微图像的左视点图像中的匹配点的横坐标减去在平行的立体显微图像的右视点图像中的匹配点的横坐标;再计算所有匹配点对的视差的平均值,将该平均值作为待处理图像的视差。
为了说明本发明方法的有效性和可行性,利用电路板作为实验拍摄物体进行实验验证。本实验测试平台由数码体视显微镜、电路板、垂直升降台系统(包括三轴精密移动的步进电机、垂直升降台)、单片机和计算机终端组成。数码体视显微镜为NOVELOPTICS的NSZ-800型显微镜,左、右摄像机的单通道图像分辨率均为720×576。电路板放置在垂直升降台上,步进电机的型号为CHUO SEIKI XA07A-R2H(最小移动步长为2微米,可按要求调节步进电机的移动步长)。单片机的型号为80C51,计算机终端将移动步长和移动方向信号传给单片机,控制步进电机驱动垂直升降台移动。计算机终端的环境为Intel Core(TM)i3CPU 3.19GHz,1.74G内存,采用VS2012和OPENCV2.4.8进行实验。
本实验选取三类不同目标对象各自的四对立体显微图像进行测试,图3a、图3b、图3c和图3d是在垂直升降台不同高度(指垂直升降台距离地面的高度)时获取的包含第一个目标对象的四对立体显微图像的左视点图像;图3e、图3f、图3g和图3h是在垂直升降台不同高度(指垂直升降台距离地面的高度)时获取的包含第二个目标对象的四对立体显微图像的左视点图像;图3i、图3j、图3k和图3m是在垂直升降台不同高度(指垂直升降台距离地面的高度)时获取的包含第三个目标对象的四对立体显微图像的左视点图像;
使用本发明方法对图3a至图3m各自的立体显微图像进行处理,得到的立体显微图像的视差和清晰度评价结果如图4所示。图4中横坐标表示图像序号(Image Sequence),数字1至12分别表示图3a、图3b、图3c、图3d、图3e、图3f、图3g、图3h、图3i、图3j、图3k和图3m;图4中纵坐标表示立体显微图像的视差(Disparity);图4中result=1表示清晰度判断结果为清晰,而result=0表示清晰度判断结果为模糊,虚线表示标定的清晰立体显微图像区间的视差(Clear Region)。从图4中可知,测试的立体显微图像中包含清晰的立体显微图像和模糊的立体显微图像。本测试通过选择对任意位置(即可能为清晰,也可能为模糊)的立体显微图像进行自动聚焦,足以说明本发明方法具有通用性。
经过本发明方法迭代后,得到测试的立体显微图像的最终实际视差,如图5所示。图5中横坐标表示图像序号(Image Sequence),数字1至12分别表示图3a、图3b、图3c、图3d、图3e、图3f、图3g、图3h、图3i、图3j、图3k和图3m;图5中纵坐标表示立体显微图像的视差(Disparity);图5中result=1表示清晰度判断结果为清晰,虚线表示标定的清晰立体显微图像区间的视差(Clear Region),实线表示标定的最清晰立体显微图像的视差(Most Clear)。经过本发明方法迭代后,迭代最终误差和所需的迭代次数如图6所示。图6中“+”表示迭代最终误差(Error),“○”表示迭代次数(Iter Counts)。从图5和图6所示的结果可知,迭代后的立体显微图像的实际视差和最清晰视差的误差绝对值在设定的阈值内,即小于0.5个像素点;且只需经过少量迭代次数即能达到预设要求。
图7a至图7m对应给出了图3a至图3m各自对应的立体显微图像经过本发明方法自动聚焦后得到的立体显微图像的左视点图像,从图7a至图7m的视觉效果看,12对立体显微图像使用本发明方法能够有效地自动聚焦。
假设步进电机控制垂直升降台垂直移动单位步长时间为tmove,步进电机等待立体显微图像的获取时间为twait,而求取清晰度函数值的时间远远小于上述时间,可忽略不计,则传统方法(连续拍摄n'对立体显微图像求取最清晰图像,图像区间接近以聚焦位置对称)的自动聚焦时间为(tmove+twait)×n'。
本发明方法由于清晰图像区间视差范围标定只需要标定一次就能长期使用,所以不计算在聚焦时间内。消耗的时间主要由判定清晰度的时间、迭代移动垂直升降台、步进电机等待的时间和求取视差的时间组成。相对于移动垂直升降台和步进电机等待的时间,其他的时间可以忽略不计。因为整个移动范围接近以聚焦位置对称,所以本发明方法移动次数只有传统方法的一半,为n'/2。假设迭代次数为nd,则本发明方法总的聚焦时间为
传统方法的步进电机等待次数远远大于本发明方法的步进电机等待次数,即n'>>nd。对于本实施例的实验平台,twait=2s,tmove=1s,本发明方法的聚焦时间约为传统方法的1/6,因此本发明方法的自动聚焦时间短。
Claims (3)
1.一种体视显微镜的快速自动聚焦方法,其特征在于包括以下步骤:
①获取一个包含有M对立体显微图像的立体显微标定图像序列,立体显微标定图像序列中的M对立体显微图像按序从模糊到清晰再到模糊,且M对立体显微图像内的目标对象为同一个,将立体显微标定图像序列中的第i对立体显微图像记为Ii,其中,M≥50,1≤i≤M;
②计算立体显微标定图像序列中的每对立体显微图像的视差,将Ii的视差记为di;
③从立体显微标定图像序列中提取出一个清晰立体显微图像序列,具体过程为:
③-1、利用Tenengrad清晰度算子计算立体显微标定图像序列中的每对立体显微图像的左视点图像的Tenengrad函数值;
③-2、从M个Tenengrad函数值中找出值最大的Tenengrad函数值,记为然后根据选定的倍率的景深范围,选取对应的立体显微图像的前m对立体显微图像和后m对立体显微图像;再将对应的立体显微图像的前m对立体显微图像、对应的立体显微图像、对应的立体显微图像的后m对立体显微图像按序构成一个清晰立体显微图像序列;其中,m的取值与采用的体视显微镜的物镜的放大倍率β有关,它们之间的关系为:n表示放置于垂直升降台上的物体与采用的体视显微镜的物镜之间的介质的折射率,λ表示光波波长,e表示采用的体视显微镜的成像面上相邻的两感光元件之间可分辨的最小物理距离,β表示采用的体视显微镜的物镜的放大倍率,NA表示采用的体视显微镜的物镜的数值孔径,NA=n×sinθ,θ表示离采用的体视显微镜的物镜中心光轴最远的折射光形成的角度,Δh表示垂直升降台每次移动的距离,单位为微米,2≤Δh≤12;
④从清晰立体显微图像序列中的所有立体显微图像的视差中找出值最小的视差和值最大的视差,对应记为dCmin和dCmax,将区间[dCmin,dCmax]作为选定的倍率下的清晰立体显微图像的视差范围;
⑤在选定的倍率下,利用体视显微镜任意获取一对成像的立体显微图像,记为Itest;然后计算Itest的视差,记为dtest;再根据dtest和[dCmin,dCmax]实现Itest内的目标对象的自动聚焦,具体过程为:
⑤-1、判断|dtest-dmc|<T是否成立,如果成立,则确定Itest已为最清晰的图像,完成了Itest内的目标对象的自动聚焦;如果不成立,则执行步骤⑤-2;其中,符号“||”为取绝对值符号,dmc表示[dCmin,dCmax]中最清晰的图像对应的视差,T表示设定的判定阈值,T∈(0,1];
⑤-2、假设垂直升降台每次移动的距离为Δh微米,则计算Itest内的目标对象聚焦到最清晰位置时垂直升降台所需的移动次数,记为step,然后根据step确定Itest内的目标对象聚焦到最清晰位置时垂直升降台的移动方向,如果step小于0,则确定移动方向为向上,如果step大于0,则确定移动方向为向下,其中,2≤Δh≤20,dperstep表示垂直升降台向上移动一次或向下移动一次后,移动前获得的立体显微图像的视差与移动后获得的立体显微图像的视差的差值的绝对值;
⑤-3、按照Itest内的目标对象聚焦到最清晰位置时垂直升降台所需的移动次数step和移动方向移动垂直升降台;
⑤-4、在垂直升降台移动好后利用体视显微镜获取一对成像的立体显微图像,记为Itest';然后计算Itest'的视差,记为dtest';接着令Itest=Itest',并令dtest=dtest',再返回步骤⑤-1继续执行,进行自动聚焦迭代,其中,Itest=Itest'和dtest=dtest'中的“=”为赋值符号。
2.根据权利要求1所述的一种体视显微镜的快速自动聚焦方法,其特征在于所述的步骤①中的立体显微标定图像序列的获取过程为:
①-1、在体视显微镜的物镜的正下方放置一个垂直升降台,然后在垂直升降台上放置一个物体,接着利用体视显微镜观察物体的成像,并调整物体的位置使只有一个平面信息在成像的立体显微图像中,成像的立体显微图像内有目标对象;
①-2、调整垂直升降台的高度,使成像的立体显微图像模糊,然后使垂直升降台沿同一个方向移动,每隔Δh微米移动一次获得一对成像的立体显微图像,共移动M次获得M对成像的立体显微图像,且M对成像的立体显微图像按序从模糊到清晰再到模糊,将M对成像的立体显微图像构成一个立体显微标定图像序列,其中,2≤Δh≤20,M≥50。
3.根据权利要求1或2所述的一种体视显微镜的快速自动聚焦方法,其特征在于所述的步骤②中的Ii的视差di、所述的步骤⑤中的Itest的视差dtest和Itest'的视差dtest'三者的获取过程相同,将Ii、Itest和Itest'分别定义为待处理图像,待处理图像的视差的获取过程为:
a、利用准欧式极线校正算法对待处理图像进行极线校正,得到平行的立体显微图像;
b、利用SURF算法提取平行的立体显微图像的左视点图像与右视点图像中的所有匹配点对,对于任意一对匹配点对,该匹配点对由平行的立体显微图像的左视点图像与右视点图像中相匹配的两个像素点构成;然后计算每对匹配点对的视差,对于任意一对匹配点对,该匹配点对的视差等于在平行的立体显微图像的左视点图像中的匹配点的横坐标减去在平行的立体显微图像的右视点图像中的匹配点的横坐标;再计算所有匹配点对的视差的平均值,将该平均值作为待处理图像的视差。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510166716.3A CN104834081B (zh) | 2015-04-10 | 2015-04-10 | 一种体视显微镜的快速自动聚焦方法 |
US14/880,169 US9851549B2 (en) | 2015-04-10 | 2015-10-09 | Rapid autofocus method for stereo microscope |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510166716.3A CN104834081B (zh) | 2015-04-10 | 2015-04-10 | 一种体视显微镜的快速自动聚焦方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104834081A true CN104834081A (zh) | 2015-08-12 |
CN104834081B CN104834081B (zh) | 2017-01-18 |
Family
ID=53812070
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510166716.3A Active CN104834081B (zh) | 2015-04-10 | 2015-04-10 | 一种体视显微镜的快速自动聚焦方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9851549B2 (zh) |
CN (1) | CN104834081B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105352455A (zh) * | 2015-11-18 | 2016-02-24 | 宁波大学 | 一种基于图像模糊度的平面倾斜度测量方法 |
CN106772982A (zh) * | 2015-11-20 | 2017-05-31 | 南京理工大学 | 一种体视显微成像装置及方法 |
CN106907988A (zh) * | 2017-02-27 | 2017-06-30 | 北京工业大学 | 基础数据矩阵显微视觉建模方法 |
CN107770434A (zh) * | 2016-08-15 | 2018-03-06 | 广州康昕瑞基因健康科技有限公司 | 一种快速聚焦调整方法 |
CN108398775A (zh) * | 2018-04-24 | 2018-08-14 | 清华大学 | 荧光显微镜系统的对焦方法及装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN201732207U (zh) * | 2010-08-17 | 2011-02-02 | 芜湖市奥特光学仪器厂 | 显微镜自动对焦识别系统 |
CN201828707U (zh) * | 2010-10-16 | 2011-05-11 | 芜湖光学仪器有限公司 | 一种自动对焦体视显微镜 |
JP2011133816A (ja) * | 2009-12-25 | 2011-07-07 | Sony Corp | 演算装置、演算方法、演算プログラム及び顕微鏡 |
CN102164293A (zh) * | 2010-02-16 | 2011-08-24 | 索尼公司 | 图像处理装置、图像处理方法、图像处理程序和成像装置 |
CN202424936U (zh) * | 2011-10-13 | 2012-09-05 | 南京大学 | 数字立体显微系统图像采集、处理与发送装置 |
US20130016192A1 (en) * | 2011-07-12 | 2013-01-17 | Olympus Corporation | Image processing device and image display system |
JP2013088490A (ja) * | 2011-10-14 | 2013-05-13 | Nikon Corp | 顕微鏡、画像取得方法、プログラム、及び記録媒体 |
CN103529543A (zh) * | 2013-10-16 | 2014-01-22 | 北京航空航天大学 | 一种显微镜自动调焦方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6091843A (en) * | 1998-09-03 | 2000-07-18 | Greenvision Systems Ltd. | Method of calibration and real-time analysis of particulates |
-
2015
- 2015-04-10 CN CN201510166716.3A patent/CN104834081B/zh active Active
- 2015-10-09 US US14/880,169 patent/US9851549B2/en not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011133816A (ja) * | 2009-12-25 | 2011-07-07 | Sony Corp | 演算装置、演算方法、演算プログラム及び顕微鏡 |
CN102164293A (zh) * | 2010-02-16 | 2011-08-24 | 索尼公司 | 图像处理装置、图像处理方法、图像处理程序和成像装置 |
CN201732207U (zh) * | 2010-08-17 | 2011-02-02 | 芜湖市奥特光学仪器厂 | 显微镜自动对焦识别系统 |
CN201828707U (zh) * | 2010-10-16 | 2011-05-11 | 芜湖光学仪器有限公司 | 一种自动对焦体视显微镜 |
US20130016192A1 (en) * | 2011-07-12 | 2013-01-17 | Olympus Corporation | Image processing device and image display system |
CN202424936U (zh) * | 2011-10-13 | 2012-09-05 | 南京大学 | 数字立体显微系统图像采集、处理与发送装置 |
JP2013088490A (ja) * | 2011-10-14 | 2013-05-13 | Nikon Corp | 顕微鏡、画像取得方法、プログラム、及び記録媒体 |
CN103529543A (zh) * | 2013-10-16 | 2014-01-22 | 北京航空航天大学 | 一种显微镜自动调焦方法 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105352455A (zh) * | 2015-11-18 | 2016-02-24 | 宁波大学 | 一种基于图像模糊度的平面倾斜度测量方法 |
CN105352455B (zh) * | 2015-11-18 | 2017-09-05 | 宁波大学 | 一种基于图像模糊度的平面倾斜度测量方法 |
CN106772982A (zh) * | 2015-11-20 | 2017-05-31 | 南京理工大学 | 一种体视显微成像装置及方法 |
CN107770434A (zh) * | 2016-08-15 | 2018-03-06 | 广州康昕瑞基因健康科技有限公司 | 一种快速聚焦调整方法 |
CN107770434B (zh) * | 2016-08-15 | 2020-01-07 | 广州康昕瑞基因健康科技有限公司 | 一种快速聚焦调整方法 |
CN106907988A (zh) * | 2017-02-27 | 2017-06-30 | 北京工业大学 | 基础数据矩阵显微视觉建模方法 |
CN106907988B (zh) * | 2017-02-27 | 2019-03-22 | 北京工业大学 | 基础数据矩阵显微视觉建模方法 |
CN108398775A (zh) * | 2018-04-24 | 2018-08-14 | 清华大学 | 荧光显微镜系统的对焦方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
US9851549B2 (en) | 2017-12-26 |
US20160299329A1 (en) | 2016-10-13 |
CN104834081B (zh) | 2017-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105578019B (zh) | 一种可获得深度信息的影像提取系统与对焦方法 | |
CN104834081A (zh) | 一种体视显微镜的快速自动聚焦方法 | |
CN105511123B (zh) | 一种基于机械手臂的高精度自动光学检测系统及方法 | |
CN106454090B (zh) | 基于深度相机的自动对焦方法及系统 | |
CN109085113B (zh) | 一种用于宫颈脱落细胞检测装置的自动对焦方法和装置 | |
CN103370598B (zh) | 用于光学扫描表面区域内或上的边缘的方法 | |
CN112203012B (zh) | 一种图像清晰度计算方法、自动聚焦方法及系统 | |
CN104683685A (zh) | 自动对焦方法、其自动对焦装置和其影像提取装置 | |
EP3035104B1 (en) | Microscope system and setting value calculation method | |
CN104049338A (zh) | 数字显微镜装置、寻找其聚焦位置的方法、及程序 | |
CN111390377B (zh) | 一种用于激光加工的表面自动聚焦方法及系统、存储介质 | |
CN107991665A (zh) | 一种基于定焦相机的对标靶三维坐标连续测量方法 | |
CN107390356A (zh) | 基于激光光斑图像自动聚焦的方法 | |
CN113705298A (zh) | 图像采集方法、装置、计算机设备及存储介质 | |
CN106973199B (zh) | 利用对焦距离扫描提高深度精确度的多光圈相机系统 | |
US11575823B2 (en) | Imaging method, device and system | |
CN111474103B (zh) | 一种骨髓细胞载玻片自动聚焦扫描方法及系统 | |
KR20180048986A (ko) | 렌티큘러 렌즈 시트의 회전 위치 측정 | |
CN103529544A (zh) | 一种可自动调位和聚焦的纳米膜厚测量仪 | |
CN101793515B (zh) | 诊断设备瞄准微小靶丸的装置和方法 | |
CN106556958A (zh) | 距离选通成像的自动聚焦方法 | |
CN109318235B (zh) | 一种机器人视觉伺服系统的快速聚焦方法 | |
TW201520669A (zh) | 斜軸式顯微自動對焦系統及方法 | |
CN106131436A (zh) | 一种航空相机的检焦装置以及检焦方法 | |
CN105651699A (zh) | 一种基于面阵相机的动态跟焦方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |