CN108036739A - 一种基于移动光阑的显微三维测量系统及方法 - Google Patents
一种基于移动光阑的显微三维测量系统及方法 Download PDFInfo
- Publication number
- CN108036739A CN108036739A CN201711144614.7A CN201711144614A CN108036739A CN 108036739 A CN108036739 A CN 108036739A CN 201711144614 A CN201711144614 A CN 201711144614A CN 108036739 A CN108036739 A CN 108036739A
- Authority
- CN
- China
- Prior art keywords
- round dot
- scaling board
- black circle
- coordinate
- dot scaling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/0016—Technical microscopes, e.g. for inspection or measuring in industrial production processes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/26—Stages; Adjusting means therefor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/362—Mechanical details, e.g. mountings for the camera or image sensor, housings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于移动光阑的显微三维测量系统及方法,其通过在光学显微成像系统中加入光阑,通过限制成像过程中光的照射角度来减小弥散斑的大小,从而扩大了成像系统的景深和深度测量范围,实现了大尺寸观测物体的三维测量;通过改变加入的光阑的位置得到不同光入射方向的两幅图像,与双目立体视觉类似,利用两幅图像之间的视差对应关系来预测深度,进行场景三维重建;由于成像系统的景深得到扩大,成像模型呈现一定的非线性特性,因此本发明采用二次函数来表达这种非线性,减小了测量误差。
Description
技术领域
本发明涉及一种显微三维测量技术,尤其是涉及一种基于移动光阑的显微三维测量系统及方法。
背景技术
光学显微镜是一种常用的三维微测量仪器,其在生物医学、质量检测和工业微操等中,用来测量空间点的三维坐标,取得实验数据,方便进行定量的分析,以提高产品质量、改进制造工艺和保证科学研究的准确性。
目前,常常使用数码体视显微镜来实现显微三维测量。计算机获取数码体视显微镜拍摄的左图像和右图像,使用现有的立体视觉测量方法,进行参数标定、立体匹配和三维重建,最终达到三维测量的目的。
但是,由于光学显微镜存在视场小、离焦现象严重、景深浅等缺点,因此若三维待观测物体的尺寸超出光学显微镜的浅景深范围,则三维待观测物体的清晰左图像和清晰右图像难以获得,最终导致三维测量无法实现。
发明内容
本发明所要解决的技术问题是提供一种基于移动光阑的显微三维测量系统及方法,其利用光阑扩大了景深和深度测量范围,从而能够实现大尺寸观测物体的三维测量。
本发明解决上述技术问题所采用的技术方案为:一种基于移动光阑的显微三维测量系统,包括光学显微镜、加装于所述的光学显微镜上且对准所述的光学显微镜的目镜的相机、用于水平放置圆点标定板的升降台、计算机,所述的光学显微镜布置于所述的圆点标定板的正上方使所述的光学显微镜的目镜正对所述的圆点标定板,所述的相机的输出端与所述的计算机连接,所述的升降台的驱动电机与所述的计算机连接,其特征在于:所述的光学显微镜的目镜与所述的圆点标定板之间布置有可水平左右移动的光阑,所述的光学显微镜的光轴与所述的升降台的移动轨迹一致,所述的光学显微镜的光轴与所述的圆点标定板垂直,所述的光学显微镜的光轴与所述的光阑的移动轨迹垂直。
该显微三维测量系统还包括用于带动所述的光阑水平左右移动的滑台,所述的滑台的驱动电机与所述的计算机连接。
一种上述的基于移动光阑的显微三维测量系统相应的方法,其特征在于:包括以下步骤:
①使光学显微镜的光轴与升降台的移动轨迹一致;然后将一块圆点标定板水平放置于升降台的顶端平面上,并使圆点标定板与光学显微镜的光轴垂直;接着使装于滑台上的光阑的移动轨迹与光学显微镜的光轴垂直;再使光阑位于光学显微镜的目镜与圆点标定板之间;其中,圆点标定板中的相邻两个实心圆点的中心间距为e,圆点标定板中的实心圆点的直径为d,d<e,d和e的单位均为mm,光阑的小孔的直径为D,D∈[1,5],D的单位为mm;
②确定光阑的小孔的初始位置:控制滑台使光阑的小孔中心位于光学显微镜的光轴上;然后控制滑台使光阑水平左移L,即使得光阑的小孔中心与光学显微镜的光轴之间的距离为L,将光阑的小孔中心此时的位置确定为光阑的小孔的初始位置,并记为TL;其中,L∈[2,4],L的单位为mm;
确定圆点标定板的初始位置:控制升降台带动圆点标定板垂直移动,在观察者从计算机观察到的圆点标定板图像最清晰时控制升降台停止移动;然后控制升降台带动圆点标定板垂直上移,在观察者从计算机观察到的圆点标定板图像从最清晰转变为刚好模糊时控制升降台停止垂直上移,将升降台此次垂直上移的距离记为ZS,并将圆点标定板此时的位置确定为圆点标定板的初始位置,并记为P0;其中,ZS的单位为mm;
③在圆点标定板处于初始位置P0时,在圆点标定板中的4个实心圆点上各放置一个微小标记物,并使得以4个微小标记物所在的实心圆点的中心为顶点构成的形状始终为矩形;然后观察者观察计算机显示的圆点标定板图像,移动4个微小标记物,使得以4个微小标记物所在的实心圆点的中心为顶点构成的矩形呈现在圆点标定板图像中且为面积最大的矩形,将该矩形记为A';
④控制滑台使光阑水平右移2L,将光阑的小孔此时的位置记为TR;然后观察者观察计算机显示的圆点标定板图像,移动4个微小标记物,使得以4个微小标记物所在的实心圆点的中心为顶点构成的矩形呈现在圆点标定板图像中且为面积最大的矩形,将该矩形记为A,并保存此时的圆点标定板图像,记为再控制滑台使光阑水平左移2L,使光阑的小孔处于位置TL,并保存此时的圆点标定板图像,记为其中,A包含于A'内,在圆点标定板上A在宽度方向上包含的实心圆点的列数为W,在圆点标定板上A在高度方向上包含的实心圆点的行数为H,即在圆点标定板上A包含的实心圆点的总个数为W×H,W和H均为正整数;
⑤取圆点标定板上的A的左上角顶点为坐标原点O,指向同一行实心圆点的中心为X轴正方向,指向同一列实心圆点的中心为Y轴正方向,升降台垂直下移方向为Z轴正方向,建立三维坐标系OXYZ;
分别对和进行二值化处理,对应得到和各自的二值化图像;然后采用连通区域标记算法对的二值化图像进行处理,提取得到中的每个实心圆点区域及每个实心圆点区域的中心的多个候选坐标位置;同样,采用连通区域标记算法对的二值化图像进行处理,提取得到中的每个实心圆点区域及每个实心圆点区域的中心的多个候选坐标位置;接着将中与A对应的矩形区域内的每个实心圆点区域的中心的多个候选坐标位置中的任一个候选坐标位置确定为该实心圆点区域的中心的最终坐标位置,将中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置记为(ul,i,j,0,vl,i,j,0);同样,将中与A对应的矩形区域内的每个实心圆点区域的中心的多个候选坐标位置中的任一个候选坐标位置确定为该实心圆点区域的中心的最终坐标位置,将中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置记为(ur,i,j,0,vr,i,j,0);其中,i和j均为正整数,1≤i≤W,1≤j≤H;
⑥控制升降台带动圆点标定板垂直下移Δα,将圆点标定板此时的位置记为P1,并保存此时的圆点标定板图像,记为接着控制滑台使光阑水平右移2L,使光阑的小孔处于位置TR,并保存此时的圆点标定板图像,记为再控制滑台使光阑水平左移2L,使光阑的小孔处于位置TL;其中,Δα∈(ZS/100,ZS/50),Δα的单位为mm;
⑦分别对和进行二值化处理,对应得到和各自的二值化图像;然后采用连通区域标记算法对的二值化图像进行处理,提取得到中的每个实心圆点区域及每个实心圆点区域的中心的多个候选坐标位置;同样,采用连通区域标记算法对的二值化图像进行处理,提取得到中的每个实心圆点区域及每个实心圆点区域的中心的多个候选坐标位置;接着根据中与A对应的矩形区域内的每个实心圆点区域的中心的多个候选坐标位置,确定中与A对应的矩形区域内的每个实心圆点区域的中心的最终坐标位置,将中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置记为(ul,i,j,1,vl,i,j,1),(ul,i,j,1,vl,i,j,1)为中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的多个候选坐标位置中与(ul,i,j,0,vl,i,j,0)的欧氏距离最小的候选坐标位置;同样,根据中与A对应的矩形区域内的每个实心圆点区域的中心的多个候选坐标位置,确定中与A对应的矩形区域内的每个实心圆点区域的中心的最终坐标位置,将中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置记为(ur,i,j,1,vr,i,j,1),(ur,i,j,1,vr,i,j,1)为中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的多个候选坐标位置中与(ur,i,j,0,vr,i,j,0)的欧氏距离最小的候选坐标位置;
计算升降台带动圆点标定板第1次垂直下移Δα后圆点标定板上的A内的每个实心圆点的中心在三维坐标系OXYZ上的三维坐标,将升降台带动圆点标定板第1次垂直下移Δα后圆点标定板上的A内的第i列第j行的实心圆点的中心在三维坐标系OXYZ上的三维坐标记为(xi,j,1,yi,j,1,zi,j,1),xi,j,1=(i-1)×e,yi,j,1=(j-1)×e,zi,j,1=1×Δα;然后计算升降台带动圆点标定板第1次垂直下移Δα后圆点标定板上的A内的每个实心圆点对应的多光圈成像偏差,将升降台带动圆点标定板第1次垂直下移Δα后圆点标定板上的A内的第i列第j行的实心圆点对应的多光圈成像偏差记为Δui,j,1,
Δui,j,1=ul,i,j,1-ur,i,j,1;其中,xi,j,1,yi,j,1,zi,j,1对应表示升降台带动圆点标定板第1次垂直下移Δα后圆点标定板上的A内的第i列第j行的实心圆点的中心在三维坐标系OXYZ上的X轴坐标、Y轴坐标、Z轴坐标;
⑧再重复执行步骤⑥和步骤⑦共N-1次,在升降台带动圆点标定板第k次垂直下移Δα后,将圆点标定板此时的位置记为Pk,将此时的圆点标定板图像记为将光阑水平右移2L后的圆点标定板图像记为将中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置记为(ul,i,j,k,vl,i,j,k),(ul,i,j,k,vl,i,j,k)为中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的多个候选坐标位置中与(ul,i,j,k-1,vl,i,j,k-1)的欧氏距离最小的候选坐标位置;将中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置记为(ur,i,j,k,vr,i,j,k),(ur,i,j,k,vr,i,j,k)为中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的多个候选坐标位置中与(ur,i,j,k-1,vr,i,j,k-1)的欧氏距离最小的候选坐标位置;将升降台带动圆点标定板第k次垂直下移Δα后圆点标定板上的A内的第i列第j行的实心圆点的中心在三维坐标系OXYZ上的三维坐标记为(xi,j,k,yi,j,k,zi,j,k),xi,j,k=(i-1)×e,yi,j,k=(j-1)×e,zi,j,k=k×Δα;将升降台带动圆点标定板第k次垂直下移Δα后圆点标定板上的A内的第i列第j行的实心圆点对应的多光圈成像偏差记为Δui,j,k,Δui,j,k=ul,i,j,k-ur,i,j,k;其中,N为正整数,符号为向下取整运算符号,k为正整数,1≤k≤N,xi,j,k,yi,j,k,zi,j,k对应表示升降台带动圆点标定板第k次垂直下移Δα后圆点标定板上的A内的第i列第j行的实心圆点的中心在三维坐标系OXYZ上的X轴坐标、Y轴坐标、Z轴坐标;
⑨将升降台带动圆点标定板每次垂直下移Δα后获得的圆点标定板上的A内的每个实心圆点的中心在三维坐标系OXYZ上的Z轴坐标与对应的多光圈成像偏差组成一对数据对,将zi,j,k与Δui,j,k组成的数据对记为(zi,j,k,Δui,j,k);然后利用二次多项式拟合圆点标定板上的A内的每个实心圆点对应的N对数据对,得到圆点标定板上的A内的每个实心圆点的中心在三维坐标系OXYZ上的Z轴坐标与对应的多光圈成像偏差的关系,将圆点标定板上的A内的第i列第j行的实心圆点的中心在三维坐标系OXYZ上的Z轴坐标zi,j与对应的多光圈成像偏差Δui,j的关系描述为:zi,j=ai,jΔui,j 2+bi,jΔui,j+ci,j;其中,ai,j、bi,j和ci,j均为拟合得到的系数,共得到W×H组系数;
计算升降台带动圆点标定板每次垂直下移Δα后圆点标定板上的A内的每个实心圆点对应的清晰面移动距离,将升降台带动圆点标定板第k次垂直下移Δα后圆点标定板上的A内的第i列第j行的实心圆点对应的清晰面移动距离记为Δzi,j,k,
Δzi,j,k=zi,j,k-ci,j;然后将升降台带动圆点标定板每次垂直下移Δα后圆点标定板上的A内的每个实心圆点对应的清晰面移动距离与对应的多光圈成像偏差组成一对数据对,将Δzi,j,k与Δui,j,k组成的数据对记为(Δzi,j,k,Δui,j,k);接着利用二次多项式拟合圆点标定板上的A内的所有实心圆点对应的共N×W×H对数据对,得到圆点标定板上的任意一点对应的清晰面移动距离Δz与对应的多光圈成像偏差Δu的关系,描述为:Δz=aΔu2+bΔu+c;其中,a、b和c均为拟合得到的系数;
根据升降台带动圆点标定板第1次垂直下移Δα后圆点标定板上的A内的所有实心圆点的中心在三维坐标系OXYZ上的X轴坐标和Y轴坐标,确定W×H个三维散点,第i列第j行的三维散点的三维坐标为(xi,j,1,yi,j,1,ci,j);然后利用平面拟合方法对W×H个三维散点进行平面拟合,得到空间平面,其方程表示为z=b1+b2x+b3y;其中,b1、b2和b3均为拟合得到的系数,(x,y,z)表示三维坐标系OXYZ中的空间点的三维坐标,x,y,z对应表示三维坐标系OXYZ中的空间点的X轴坐标、Y轴坐标、Z轴坐标;
⑩确定升降台带动圆点标定板每次垂直下移Δα后光阑的小孔处于位置TL时获得的圆点标定板图像中、与圆点标定板上的任意一点对应的坐标位置(u,v),与圆点标定板上的该点对应的清晰面移动距离Δz之间的关系,将坐标位置(u,v)与Δz的关系描述为:其中,1≤u≤W',1≤v≤H',W'表示升降台带动圆点标定板每次垂直下移Δα后光阑的小孔处于位置TL时获得的圆点标定板图像的宽度,H'表示升降台带动圆点标定板每次垂直下移Δα后光阑的小孔处于位置TL时获得的圆点标定板图像的高度,,af、bf、df、ag、bg和dg均为二次多项式系数;
将升降台带动圆点标定板每次垂直下移Δα后获得的圆点标定板图像中与A对应的矩形区域内的每个实心圆点区域的中心的最终坐标位置的横坐标与圆点标定板上的A内的每个实心圆点对应的清晰面移动距离组成一对数据对,将ul,i,j,k与Δzi,j,k组成的数据对记为(ul,i,j,k,Δzi,j,k);然后利用二次多项式拟合圆点标定板图像中与A对应的矩形区域内的每个实心圆点区域与圆点标定板上的A内的每个实心圆点对应的N对数据对,得到圆点标定板图像中与A对应的矩形区域内的每个实心圆点区域的中心的最终坐标位置的横坐标与圆点标定板上的A内的每个实心圆点对应的清晰面移动距离的关系,将圆点标定板图像中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置的横坐标ul,i,j与圆点标定板上的A内的第i列第j行的实心圆点对应的清晰面移动距离Δzi,j的关系描述为:ul,i,j=af,i,j×Δzi,j 2+bf,i,j×Δzi,j+df,i,j;其中,af,i,j、bf,i,j和df,i,j均为拟合得到的系数,共得到W×H组系数;
将升降台带动圆点标定板每次垂直下移Δα后获得的圆点标定板图像中与A对应的矩形区域内的每个实心圆点区域的中心的最终坐标位置的纵坐标与圆点标定板上的A内的每个实心圆点对应的清晰面移动距离组成一对数据对,将vl,i,j,k与Δzi,j,k组成的数据对记为(vl,i,j,k,Δzi,j,k);然后利用二次多项式拟合圆点标定板图像中与A对应的矩形区域内的每个实心圆点区域与圆点标定板上的A内的每个实心圆点对应的N对数据对,得到圆点标定板图像中与A对应的矩形区域内的每个实心圆点区域的中心的最终坐标位置的纵坐标与圆点标定板上的A内的每个实心圆点对应的清晰面移动距离的关系,将圆点标定板图像中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置的纵坐标vl,i,j与圆点标定板上的A内的第i列第j行的实心圆点对应的清晰面移动距离Δzi,j的关系描述为:vl,i,j=ag,i,j×Δzi,j 2+bg,i,j×Δzi,j+dg,i,j;其中,ag,i,j、bg,i,j和dg,i,j均为拟合得到的系数,共得到W×H组系数;
将af,i,j和bf,i,j组成一对数据对,共得到W×H对数据对;然后对这W×H对数据对进行线性拟合,得到系数二次多项式af与二次多项式系数bf之间的关系,描述为:af=kf,a×bf+cf,a;其中,kf,a和cf,a均为拟合得到的系数;
同样,将df,i,j和bf,i,j组成一对数据对,共得到W×H对数据对;然后对这W×H对数据对进行线性拟合,得到二次多项式系数df与二次多项式系数bf之间的关系,描述为:df=kf,d×bf+cf,d;其中,kf,d和cf,d均为拟合得到的系数;
将ag,i,j和bg,i,j组成一对数据对,共得到W×H对数据对;然后对这W×H对数据对进行线性拟合,得到二次多项式系数ag与二次多项式系数bg之间的关系,描述为:ag=kg,a×bg+cg,a;其中,kg,a和cg,a均为拟合得到的系数;
将dg,i,j和bg,i,j组成一对数据对,共得到W×H对数据对;然后对这W×H对数据对进行线性拟合,得到二次多项式系数dg与二次多项式系数bg之间的关系,描述为:dg=kg,d×bg+cg,d;其中,kg,d和cg,d均为拟合得到的系数;
令并令然后令M=B·C-1;
将待测物体水平放置于升降台的顶端平面上,并使待测物体与光学显微镜的光轴垂直;然后控制滑台使光阑的小孔处于位置TL,并保存此时的待测物体图像,作为第一图像;接着控制滑台使光阑水平右移2L,使光阑的小孔处于位置TR,并保存此时的待测物体图像,作为第二图像;再利用立体匹配算法对第一图像和第二图像进行立体匹配,得到第一图像与第二图像的视差图,记为Id;其中,第一图像、第二图像、Id的尺寸大小均为Md×Nd;
令Δu=G(xd,yd),令Δzd表示Id对应的清晰面移动距离,令Δzd=aΔu2+bΔu+c;然后将Δu=G(xd,yd)代入Δzd=aΔu2+bΔu+c中,求得Δzd的值;其中,G(xd,yd)表示Id中坐标位置为(xd,yd)的像素点的灰度值,1≤xd≤Md,1≤yd≤Nd;
将af=kf,a×bf+cf,a、df=kf,d×bf+cf,d、ag=kg,a×bg+cg,a、dg=kg,d×bg+cg,d代入中,得到然后令u=xd,并令v=yd,令Δz=Δzd;接着将u=xd、v=yd和Δz=Δzd代入中,得到bf的值和bg的值,对应记为bf(xd,yd)和bg(xd,yd);
计算得到x的坐标值x(xd,yd)和y的坐标值y(xd,yd);其中,M-1为M的逆;
令x=x(xd,yd),并令y=y(xd,yd);然后将x=x(xd,yd)和y=y(xd,yd)代入z=b1+b2x+b3y中,得到z的中间值,记为z0;接着计算z的坐标值,记为z(xd,yd),z(xd,yd)=z0-Δzd;
将(x(xd,yd),y(xd,yd),z(xd,yd))作为重建的一个空间点的三维坐标;
按照步骤的过程,利用Id中的所有像素点重建所有空间点的三维坐标,从而得到待测物体的三维重建图。
与现有技术相比,本发明的优点在于:
1)本发明通过在现有的光学显微成像系统中加入光阑,通过限制成像过程中光的照射角度来减小弥散斑的大小,从而扩大了成像系统的景深和深度测量范围,实现了大尺寸观测物体的三维测量。
2)本发明通过改变加入的光阑的位置得到不同光入射方向的两幅图像,与双目立体视觉类似,利用两幅图像之间的视差对应关系来预测深度,进行场景三维重建。
3)由于成像系统的景深得到扩大,成像模型呈现一定的非线性特性,因此本发明采用二次函数来表达这种非线性,减小了测量误差。
附图说明
图1为本发明的基于移动光阑的显微三维测量系统的组成示意图;
图2为在圆点标定板上确定的A'的示意图;
图3为在圆点标定板上确定的A的示意图;
图4为中与A对应的矩形区域内的所有实心圆点区域的中心的最终坐标位置;
图5为中与A对应的矩形区域内的所有实心圆点区域的中心的最终坐标位置;
图6a为采集的一幅待测物体图像;
图6b为采集的另一幅待测物体图像;
图6c为图6a与图6b的视差图;
图6d为待测物体的三维重建图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种基于移动光阑的显微三维测量系统,如图1所示,其包括光学显微镜1、加装于光学显微镜1上且对准光学显微镜1的目镜的相机2、用于水平放置圆点标定板4的升降台3、计算机5,光学显微镜1布置于圆点标定板4的正上方使光学显微镜1的目镜正对圆点标定板4,相机2的输出端与计算机5连接,升降台3的驱动电机与计算机5连接,光学显微镜1的目镜与圆点标定板4之间布置有可水平左右移动的光阑6,光学显微镜1的光轴与升降台3的移动轨迹一致,光学显微镜1的光轴与圆点标定板4垂直,光学显微镜1的光轴与光阑6的移动轨迹垂直。
在本实施例中,该显微三维测量系统还包括用于带动光阑6水平左右移动的滑台7,滑台7的驱动电机与计算机5连接。
本发明提出的一种基于移动光阑的显微三维测量系统相应的方法,其包括以下步骤:
①使光学显微镜的光轴与升降台的移动轨迹一致;然后将一块圆点标定板水平放置于升降台的顶端平面上,并使圆点标定板与光学显微镜的光轴垂直;接着使装于滑台上的光阑的移动轨迹与光学显微镜的光轴垂直;再使光阑位于光学显微镜的目镜与圆点标定板之间;其中,圆点标定板中的相邻两个实心圆点的中心间距为e,圆点标定板中的实心圆点的直径为d,d<e,d和e的单位均为mm,光阑的小孔的直径为D,D∈[1,5],D的单位为mm。
实验中所选用的圆点标定板的上表面上横向阵列有20个实心圆点且纵向阵列也有20个实心圆点,即圆点标定板的上表面上阵列的实心圆点的总个数为20×20个,d的取值为0.5mm,e的取值为1mm;实验中取D=2mm。
②确定光阑的小孔的初始位置:控制滑台使光阑的小孔中心位于光学显微镜的光轴上;然后控制滑台使光阑水平左移L,即使得光阑的小孔中心与光学显微镜的光轴之间的距离为L,将光阑的小孔中心此时的位置确定为光阑的小孔的初始位置,并记为TL;其中,L∈[2,4],L的单位为mm,实验中取L=3mm。
确定圆点标定板的初始位置:控制升降台带动圆点标定板垂直移动,在观察者从计算机观察到的圆点标定板图像最清晰时控制升降台停止移动;然后控制升降台带动圆点标定板垂直上移,在观察者从计算机观察到的圆点标定板图像从最清晰转变为刚好模糊时控制升降台停止垂直上移,将升降台此次垂直上移的距离记为ZS,并将圆点标定板此时的位置确定为圆点标定板的初始位置,并记为P0;其中,ZS的单位为mm;在实验中在圆点标定板图像最清晰后再控制升降台垂直上移ZS=8mm后圆点标定板图像从最清晰转变为刚好模糊。
③在圆点标定板处于初始位置P0时,在圆点标定板中的4个实心圆点上各放置一个微小标记物,并使得以4个微小标记物所在的实心圆点的中心为顶点构成的形状始终为矩形;然后观察者观察计算机显示的圆点标定板图像,移动4个微小标记物,使得以4个微小标记物所在的实心圆点的中心为顶点构成的矩形呈现在圆点标定板图像中且为面积最大的矩形,将该矩形记为A';实验中在圆点标定板上A'在宽度方向上包含的实心圆点的列数为10,在圆点标定板上A'在高度方向上包含的实心圆点的行数为7,如图2所示。
④控制滑台使光阑水平右移2L,将光阑的小孔此时的位置记为TR;然后观察者观察计算机显示的圆点标定板图像,移动4个微小标记物,使得以4个微小标记物所在的实心圆点的中心为顶点构成的矩形呈现在圆点标定板图像中且为面积最大的矩形,将该矩形记为A,并保存此时的圆点标定板图像,记为再控制滑台使光阑水平左移2L,使光阑的小孔处于位置TL,并保存此时的圆点标定板图像,记为光阑水平左移2L后,以4个微小标记物所在的实心圆点的中心为顶点构成的矩形仍呈现在圆点标定板图像中,因此不再移动4个微小标记物;其中,A包含于A'内,在圆点标定板上A在宽度方向上包含的实心圆点的列数为W,在圆点标定板上A在高度方向上包含的实心圆点的行数为H,即在圆点标定板上A包含的实心圆点的总个数为W×H,W和H均为正整数;实验中在圆点标定板上A在宽度方向上包含的实心圆点的列数W=10,在圆点标定板上A在高度方向上包含的实心圆点的行数H=7,如图3所示,从图2和图3中可以看出,A的面积等于A'的面积。
⑤取圆点标定板上的A的左上角顶点为坐标原点O,指向同一行实心圆点的中心为X轴正方向,指向同一列实心圆点的中心为Y轴正方向,升降台垂直下移方向为Z轴正方向,建立三维坐标系OXYZ。
分别对和进行二值化处理,对应得到和各自的二值化图像;然后采用现有的连通区域标记算法对的二值化图像进行处理,提取得到中的每个实心圆点区域及每个实心圆点区域的中心的多个候选坐标位置;同样,采用现有的连通区域标记算法对的二值化图像进行处理,提取得到中的每个实心圆点区域及每个实心圆点区域的中心的多个候选坐标位置;接着将中与A对应的矩形区域内的每个实心圆点区域的中心的多个候选坐标位置中的任一个候选坐标位置确定为该实心圆点区域的中心的最终坐标位置,将中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置记为(ul,i,j,0,vl,i,j,0);同样,将中与A对应的矩形区域内的每个实心圆点区域的中心的多个候选坐标位置中的任一个候选坐标位置确定为该实心圆点区域的中心的最终坐标位置,将中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置记为(ur,i,j,0,vr,i,j,0);其中,i和j均为正整数,1≤i≤W,1≤j≤H;图4给出了中与A对应的矩形区域内的所有实心圆点区域的中心的最终坐标位置;图5给出了中与A对应的矩形区域内的所有实心圆点区域的中心的最终坐标位置。
⑥控制升降台带动圆点标定板垂直下移Δα,将圆点标定板此时的位置记为P1,并保存此时的圆点标定板图像,记为接着控制滑台使光阑水平右移2L,使光阑的小孔处于位置TR,并保存此时的圆点标定板图像,记为再控制滑台使光阑水平左移2L,使光阑的小孔处于位置TL;其中,Δα∈(ZS/100,ZS/50),Δα的单位为mm;在实验中取Δα=0.1mm。
⑦分别对和进行二值化处理,对应得到和各自的二值化图像;然后采用现有的连通区域标记算法对的二值化图像进行处理,提取得到中的每个实心圆点区域及每个实心圆点区域的中心的多个候选坐标位置;同样,采用现有的连通区域标记算法对的二值化图像进行处理,提取得到中的每个实心圆点区域及每个实心圆点区域的中心的多个候选坐标位置;接着根据中与A对应的矩形区域内的每个实心圆点区域的中心的多个候选坐标位置,确定中与A对应的矩形区域内的每个实心圆点区域的中心的最终坐标位置,将中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置记为(ul,i,j,1,vl,i,j,1),(ul,i,j,1,vl,i,j,1)为中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的多个候选坐标位置中与(ul,i,j,0,vl,i,j,0)的欧氏距离最小的候选坐标位置;同样,根据中与A对应的矩形区域内的每个实心圆点区域的中心的多个候选坐标位置,确定中与A对应的矩形区域内的每个实心圆点区域的中心的最终坐标位置,将中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置记为(ur,i,j,1,vr,i,j,1),(ur,i,j,1,vr,i,j,1)为中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的多个候选坐标位置中与(ur,i,j,0,vr,i,j,0)的欧氏距离最小的候选坐标位置。
计算升降台带动圆点标定板第1次垂直下移Δα后圆点标定板上的A内的每个实心圆点的中心在三维坐标系OXYZ上的三维坐标,将升降台带动圆点标定板第1次垂直下移Δα后圆点标定板上的A内的第i列第j行的实心圆点的中心在三维坐标系OXYZ上的三维坐标记为(xi,j,1,yi,j,1,zi,j,1),xi,j,1=(i-1)×e,yi,j,1=(j-1)×e,zi,j,1=1×Δα;然后计算升降台带动圆点标定板第1次垂直下移Δα后圆点标定板上的A内的每个实心圆点对应的多光圈成像偏差,将升降台带动圆点标定板第1次垂直下移Δα后圆点标定板上的A内的第i列第j行的实心圆点对应的多光圈成像偏差记为Δui,j,1,
Δui,j,1=ul,i,j,1-ur,i,j,1;其中,xi,j,1,yi,j,1,zi,j,1对应表示升降台带动圆点标定板第1次垂直下移Δα后圆点标定板上的A内的第i列第j行的实心圆点的中心在三维坐标系OXYZ上的X轴坐标、Y轴坐标、Z轴坐标。
⑧再重复执行步骤⑥和步骤⑦共N-1次,在升降台带动圆点标定板第k次垂直下移Δα后,将圆点标定板此时的位置记为Pk,将此时的圆点标定板图像记为将光阑水平右移2L后的圆点标定板图像记为将中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置记为(ul,i,j,k,vl,i,j,k),(ul,i,j,k,vl,i,j,k)为中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的多个候选坐标位置中与(ul,i,j,k-1,vl,i,j,k-1)的欧氏距离最小的候选坐标位置;将中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置记为(ur,i,j,k,vr,i,j,k),(ur,i,j,k,vr,i,j,k)为中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的多个候选坐标位置中与(ur,i,j,k-1,vr,i,j,k-1)的欧氏距离最小的候选坐标位置;将升降台带动圆点标定板第k次垂直下移Δα后圆点标定板上的A内的第i列第j行的实心圆点的中心在三维坐标系OXYZ上的三维坐标记为(xi,j,k,yi,j,k,zi,j,k),xi,j,k=(i-1)×e,yi,j,k=(j-1)×e,zi,j,k=k×Δα;将升降台带动圆点标定板第k次垂直下移Δα后圆点标定板上的A内的第i列第j行的实心圆点对应的多光圈成像偏差记为Δui,j,k,Δui,j,k=ul,i,j,k-ur,i,j,k;其中,N为正整数,符号为向下取整运算符号,实验中k为正整数,1≤k≤N,xi,j,k,yi,j,k,zi,j,k对应表示升降台带动圆点标定板第k次垂直下移Δα后圆点标定板上的A内的第i列第j行的实心圆点的中心在三维坐标系OXYZ上的X轴坐标、Y轴坐标、Z轴坐标。
⑨将升降台带动圆点标定板每次垂直下移Δα后获得的圆点标定板上的A内的每个实心圆点的中心在三维坐标系OXYZ上的Z轴坐标与对应的多光圈成像偏差组成一对数据对,将zi,j,k与Δui,j,k组成的数据对记为(zi,j,k,Δui,j,k);然后利用二次多项式(如matlab里的polyfit函数)拟合圆点标定板上的A内的每个实心圆点对应的N对数据对,得到圆点标定板上的A内的每个实心圆点的中心在三维坐标系OXYZ上的Z轴坐标与对应的多光圈成像偏差的关系,将圆点标定板上的A内的第i列第j行的实心圆点的中心在三维坐标系OXYZ上的Z轴坐标zi,j与对应的多光圈成像偏差Δui,j的关系描述为:zi,j=ai,jΔui,j 2+bi,jΔui,j+ci,j;其中,ai,j、bi,j和ci,j均为拟合得到的系数,共得到W×H组系数。
在实验中拟合得到的系数值如下:
ai,j:
-0.00961 | -0.0096 | -0.00964 | -0.00958 | -0.00958 | -0.00957 | -0.00956 | -0.0096 | -0.0096 | -0.00965 |
-0.00958 | -0.00964 | -0.00961 | -0.00958 | -0.00956 | -0.00956 | -0.00956 | -0.0096 | -0.0096 | -0.00968 |
-0.0096 | -0.00965 | -0.00966 | -0.00961 | -0.00955 | -0.00955 | -0.00957 | -0.00959 | -0.00962 | -0.00966 |
-0.0096 | -0.00969 | -0.00961 | -0.00962 | -0.00959 | -0.00953 | -0.00963 | -0.00961 | -0.00958 | -0.00961 |
-0.00963 | -0.00968 | -0.00965 | -0.00961 | -0.00958 | -0.00959 | -0.00958 | -0.00962 | -0.00958 | -0.00966 |
-0.00965 | -0.00965 | -0.00969 | -0.00964 | -0.0096 | -0.00958 | -0.00954 | -0.00961 | -0.00965 | -0.00961 |
-0.0097 | -0.00964 | -0.00964 | -0.00966 | -0.00966 | -0.00963 | -0.00957 | -0.0096 | -0.00965 | -0.00965 |
bi,j:
24.83339 | 24.8516 | 24.88844 | 24.87788 | 24.88734 | 24.89163 | 24.87441 | 24.87593 | 24.86716 | 24.85142 |
24.84147 | 24.85505 | 24.88535 | 24.88658 | 24.88992 | 24.89163 | 24.8849 | 24.87489 | 24.86526 | 24.86709 |
24.84489 | 24.87328 | 24.88345 | 24.88832 | 24.89727 | 24.90436 | 24.88557 | 24.87556 | 24.86509 | 24.8562 |
24.85058 | 24.87775 | 24.88554 | 24.87997 | 24.89715 | 24.89413 | 24.88574 | 24.87641 | 24.86283 | 24.85096 |
24.85257 | 24.87851 | 24.88056 | 24.89459 | 24.89183 | 24.90372 | 24.88639 | 24.8775 | 24.86363 | 24.85499 |
24.86275 | 24.87129 | 24.87489 | 24.90061 | 24.89573 | 24.89983 | 24.89117 | 24.87087 | 24.86188 | 24.84953 |
24.86099 | 24.85875 | 24.87774 | 24.89924 | 24.89612 | 24.89734 | 24.88754 | 24.87342 | 24.85497 | 24.84557 |
ci,j:
8707.143 | 8699.579 | 8690.631 | 8681.277 | 8677.786 | 8676.766 | 8674.264 | 8671.414 | 8672.015 | 8669.033 |
8713.259 | 8707.069 | 8695.824 | 8687.93 | 8682.237 | 8678.059 | 8675.34 | 8672.187 | 8673.513 | 8678.021 |
8723.347 | 8715.544 | 8701.178 | 8696.167 | 8687.479 | 8682.676 | 8678.895 | 8677.755 | 8683.217 | 8684.188 |
8734.714 | 8725.511 | 8707.566 | 8700.457 | 8696.685 | 8689.52 | 8688.212 | 8689.241 | 8694.18 | 8694.097 |
8745.906 | 8733.868 | 8719.69 | 8710.663 | 8705.266 | 8700.975 | 8698.997 | 8703.131 | 8707.286 | 8708.989 |
8758.818 | 8745.963 | 8736.928 | 8724.119 | 8719.096 | 8715.395 | 8713.612 | 8717.242 | 8722.915 | 8722.619 |
8773.964 | 8761.481 | 8753.725 | 8744.4 | 8736.065 | 8734.078 | 8733 | 8732.323 | 8737.393 | 8739.263 |
计算升降台带动圆点标定板每次垂直下移Δα后圆点标定板上的A内的每个实心圆点对应的清晰面移动距离,将升降台带动圆点标定板第k次垂直下移Δα后圆点标定板上的A内的第i列第j行的实心圆点对应的清晰面移动距离记为Δzi,j,k,
Δzi,j,k=zi,j,k-ci,j;然后将升降台带动圆点标定板每次垂直下移Δα后圆点标定板上的A内的每个实心圆点对应的清晰面移动距离与对应的多光圈成像偏差组成一对数据对,将Δzi,j,k与Δui,j,k组成的数据对记为(Δzi,j,k,Δui,j,k);接着利用二次多项式(如matlab里的polyfit函数)拟合圆点标定板上的A内的所有实心圆点对应的共N×W×H对数据对,得到圆点标定板上的任意一点对应的清晰面移动距离Δz与对应的多光圈成像偏差Δu的关系,描述为:Δz=aΔu2+bΔu+c;其中,a、b和c均为拟合得到的系数;在实验中拟合得到Δz与Δu的二次多项式为Δz=-0.0096Δu2+24.8756Δu-0.0027。
根据升降台带动圆点标定板第1次垂直下移Δα后圆点标定板上的A内的所有实心圆点的中心在三维坐标系OXYZ上的X轴坐标和Y轴坐标,确定W×H个三维散点,第i列第j行的三维散点的三维坐标为(xi,j,1,yi,j,1,ci,j);然后利用平面拟合方法(如matlab中的createSurfaceFit函数)对W×H个三维散点进行平面拟合,得到空间平面,其方程表示为z=b1+b2x+b3y;其中,b1、b2和b3均为拟合得到的系数,(x,y,z)表示三维坐标系OXYZ中的空间点的三维坐标,x,y,z对应表示三维坐标系OXYZ中的空间点的X轴坐标、Y轴坐标、Z轴坐标;在实验中拟合得到的空间平面的方程为z=8.6943×103+0.0041x+0.0104y。
⑩确定升降台带动圆点标定板每次垂直下移Δα后光阑的小孔处于位置TL时获得的圆点标定板图像中、与圆点标定板上的任意一点对应的坐标位置(u,v),与圆点标定板上的该点对应的清晰面移动距离Δz之间的关系,将坐标位置(u,v)与Δz的关系描述为:其中,1≤u≤W',1≤v≤H',W'表示升降台带动圆点标定板每次垂直下移Δα后光阑的小孔处于位置TL时获得的圆点标定板图像的宽度,H'表示升降台带动圆点标定板每次垂直下移Δα后光阑的小孔处于位置TL时获得的圆点标定板图像的高度,,af、bf、df、ag、bg和dg均为二次多项式系数。
将升降台带动圆点标定板每次垂直下移Δα后获得的圆点标定板图像中与A对应的矩形区域内的每个实心圆点区域的中心的最终坐标位置的横坐标与圆点标定板上的A内的每个实心圆点对应的清晰面移动距离组成一对数据对,将ul,i,j,k与Δzi,j,k组成的数据对记为(ul,i,j,k,Δzi,j,k);然后利用二次多项式(如matlab里的polyfit函数)拟合圆点标定板图像中与A对应的矩形区域内的每个实心圆点区域与圆点标定板上的A内的每个实心圆点对应的N对数据对,得到圆点标定板图像中与A对应的矩形区域内的每个实心圆点区域的中心的最终坐标位置的横坐标与圆点标定板上的A内的每个实心圆点对应的清晰面移动距离的关系,将圆点标定板图像中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置的横坐标ul,i,j与圆点标定板上的A内的第i列第j行的实心圆点对应的清晰面移动距离Δzi,j的关系描述为:
ul,i,j=af,i,j×Δzi,j 2+bf,i,j×Δzi,j+df,i,j;其中,af,i,j、bf,i,j和df,i,j均为拟合得到的系数,共得到W×H组系数。
将升降台带动圆点标定板每次垂直下移Δα后获得的圆点标定板图像中与A对应的矩形区域内的每个实心圆点区域的中心的最终坐标位置的纵坐标与圆点标定板上的A内的每个实心圆点对应的清晰面移动距离组成一对数据对,将vl,i,j,k与Δzi,j,k组成的数据对记为(vl,i,j,k,Δzi,j,k);然后利用二次多项式(如matlab里的polyfit函数)拟合圆点标定板图像中与A对应的矩形区域内的每个实心圆点区域与圆点标定板上的A内的每个实心圆点对应的N对数据对,得到圆点标定板图像中与A对应的矩形区域内的每个实心圆点区域的中心的最终坐标位置的纵坐标与圆点标定板上的A内的每个实心圆点对应的清晰面移动距离的关系,将圆点标定板图像中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置的纵坐标vl,i,j与圆点标定板上的A内的第i列第j行的实心圆点对应的清晰面移动距离Δzi,j的关系描述为:vl,i,j=ag,i,j×Δzi,j 2+bg,i,j×Δzi,j+dg,i,j;其中,ag,i,j、bg,i,j和dg,i,j均为拟合得到的系数,共得到W×H组系数。
在实验中拟合得到的系数值如下:
af,i,j:
-0.0000002682 | -0.0000001684 | -0.0000000678 | 0.0000000331 | 0.0000001308 | 0.0000002300 | 0.0000003309 | 0.0000004354 | 0.0000005332 | 0.0000006341 |
-0.0000002731 | -0.0000001711 | -0.0000000685 | 0.0000000304 | 0.0000001291 | 0.0000002283 | 0.0000003273 | 0.0000004317 | 0.0000005315 | 0.0000006364 |
-0.0000002736 | -0.0000001733 | -0.0000000688 | 0.0000000295 | 0.0000001251 | 0.0000002253 | 0.0000003242 | 0.0000004253 | 0.0000005329 | 0.0000006310 |
-0.0000002747 | -0.0000001736 | -0.0000000731 | 0.0000000287 | 0.0000001250 | 0.0000002227 | 0.0000003241 | 0.0000004254 | 0.0000005277 | 0.0000006299 |
-0.0000002776 | -0.0000001761 | -0.0000000741 | 0.0000000241 | 0.0000001231 | 0.0000002211 | 0.0000003218 | 0.0000004240 | 0.0000005248 | 0.0000006269 |
-0.0000002797 | -0.0000001776 | -0.0000000764 | 0.0000000223 | 0.0000001223 | 0.0000002186 | 0.0000003172 | 0.0000004203 | 0.0000005170 | 0.0000006232 |
-0.0000002799 | -0.0000001802 | -0.0000000784 | 0.0000000196 | 0.0000001203 | 0.0000002177 | 0.0000003140 | 0.0000004172 | 0.0000005212 | 0.0000006210 |
bf,i,j:
-0.01959 | -0.01278 | -0.00595 | 0.000864 | 0.007635 | 0.014376 | 0.021167 | 0.027991 | 0.034825 | 0.04164 |
-0.01976 | -0.01294 | -0.00611 | 0.000704 | 0.007472 | 0.014223 | 0.020998 | 0.027813 | 0.034655 | 0.041469 |
-0.01992 | -0.0131 | -0.00626 | 0.000545 | 0.007314 | 0.014052 | 0.020829 | 0.027647 | 0.034489 | 0.041315 |
-0.02007 | -0.01327 | -0.00642 | 0.000401 | 0.007147 | 0.013899 | 0.020665 | 0.027488 | 0.03433 | 0.04116 |
-0.02023 | -0.01342 | -0.00658 | 0.00022 | 0.006988 | 0.013734 | 0.020494 | 0.027331 | 0.03417 | 0.040999 |
-0.0204 | -0.01359 | -0.00675 | 5.94E-05 | 0.006832 | 0.013569 | 0.020334 | 0.027176 | 0.034015 | 0.04085 |
-0.02058 | -0.01375 | -0.00693 | -0.00012 | 0.00666 | 0.013409 | 0.020183 | 0.027014 | 0.033881 | 0.040697 |
df,i,j:
698.9545 | 1134.878 | 1572.476 | 2008.914 | 2443.186 | 2876.134 | 3310.072 | 3747.182 | 4185.173 | 4621.562 |
689.1317 | 1124.921 | 1562.612 | 1998.906 | 2433.094 | 2866.039 | 3299.88 | 3736.804 | 4174.782 | 4611.323 |
679.1408 | 1114.871 | 1552.657 | 1988.847 | 2423.023 | 2855.954 | 3289.692 | 3726.677 | 4164.635 | 4601.131 |
669.0325 | 1104.787 | 1542.628 | 1978.914 | 2412.937 | 2845.889 | 3279.56 | 3716.629 | 4154.602 | 4591.048 |
658.8592 | 1094.625 | 1532.379 | 1968.695 | 2402.749 | 2835.829 | 3269.479 | 3706.539 | 4144.648 | 4581.085 |
648.4953 | 1084.403 | 1522.107 | 1958.427 | 2392.582 | 2825.688 | 3259.446 | 3696.561 | 4134.529 | 4571.239 |
637.9991 | 1073.984 | 1511.646 | 1948.148 | 2382.355 | 2815.532 | 3249.388 | 3686.574 | 4124.729 | 4561.426 |
ag,i,j:
-0.0000002751 | -0.0000002724 | -0.0000002705 | -0.0000002668 | -0.0000002620 | -0.0000002627 | -0.0000002607 | -0.0000002600 | -0.0000002556 | -0.0000002562 |
-0.0000001782 | -0.0000001763 | -0.0000001694 | -0.0000001719 | -0.0000001677 | -0.0000001649 | -0.0000001626 | -0.0000001622 | -0.0000001591 | -0.0000001568 |
-0.0000000789 | -0.0000000770 | -0.0000000743 | -0.0000000678 | -0.0000000652 | -0.0000000662 | -0.0000000611 | -0.0000000598 | -0.0000000580 | -0.0000000557 |
0.0000000239 | 0.0000000266 | 0.0000000278 | 0.0000000304 | 0.0000000295 | 0.0000000353 | 0.0000000349 | 0.0000000398 | 0.0000000418 | 0.0000000423 |
0.0000001211 | 0.0000001252 | 0.0000001268 | 0.0000001274 | 0.0000001303 | 0.0000001336 | 0.0000001370 | 0.0000001395 | 0.0000001405 | 0.0000001441 |
0.0000002236 | 0.0000002259 | 0.0000002264 | 0.0000002293 | 0.0000002301 | 0.0000002350 | 0.0000002357 | 0.0000002375 | 0.0000002416 | 0.0000002460 |
0.0000003210 | 0.0000003226 | 0.0000003253 | 0.0000003274 | 0.0000003284 | 0.0000003257 | 0.0000003325 | 0.0000003348 | 0.0000003381 | 0.0000003419 |
bg,i,j:
-0.01792 | -0.01774 | -0.01758 | -0.01741 | -0.01724 | -0.01709 | -0.01693 | -0.01678 | -0.01662 | -0.01647 |
-0.01113 | -0.01096 | -0.01077 | -0.01063 | -0.01046 | -0.01029 | -0.01013 | -0.00999 | -0.00983 | -0.00968 |
-0.00432 | -0.00415 | -0.004 | -0.00383 | -0.00366 | -0.00351 | -0.00335 | -0.00318 | -0.00304 | -0.00287 |
0.002485 | 0.002635 | 0.002804 | 0.002962 | 0.003123 | 0.003288 | 0.003439 | 0.0036 | 0.003761 | 0.003917 |
0.009283 | 0.009445 | 0.009607 | 0.009764 | 0.009908 | 0.010069 | 0.01024 | 0.010393 | 0.010551 | 0.010719 |
0.016098 | 0.016254 | 0.016409 | 0.016567 | 0.016716 | 0.016864 | 0.017026 | 0.017197 | 0.017358 | 0.01754 |
0.022897 | 0.023056 | 0.023202 | 0.023348 | 0.023483 | 0.023647 | 0.023812 | 0.023975 | 0.024146 | 0.024317 |
dg,i,j:
360.4958 | 370.7643 | 381.2076 | 391.4 | 401.4607 | 411.376 | 421.1094 | 431.0625 | 440.8661 | 450.7236 |
796.7715 | 806.9556 | 817.4735 | 827.484 | 837.4645 | 847.3911 | 857.2331 | 867.185 | 876.7994 | 886.7162 |
1232.478 | 1242.557 | 1252.793 | 1262.807 | 1272.793 | 1282.678 | 1292.483 | 1302.416 | 1312.132 | 1322.156 |
1668.586 | 1678.645 | 1688.814 | 1698.655 | 1708.618 | 1718.492 | 1728.351 | 1738.236 | 1748.025 | 1757.997 |
2104.283 | 2114.246 | 2124.2 | 2133.953 | 2143.747 | 2153.571 | 2163.468 | 2173.443 | 2183.315 | 2193.393 |
2540.621 | 2550.345 | 2560.311 | 2569.959 | 2579.764 | 2589.515 | 2599.321 | 2609.464 | 2619.382 | 2629.605 |
2976.576 | 2986.161 | 2996.019 | 3005.602 | 3015.243 | 3024.984 | 3034.917 | 3044.903 | 3055.041 | 3065.332 |
将af,i,j和bf,i,j组成一对数据对,共得到W×H对数据对;然后对这W×H对数据对进行线性拟合(如matlab里的polyfit函数),得到系数二次多项式af与二次多项式系数bf之间的关系,描述为:af=kf,a×bf+cf,a;其中,kf,a和cf,a均为拟合得到的系数。
同样,将df,i,j和bf,i,j组成一对数据对,共得到W×H对数据对;然后对这W×H对数据对进行线性拟合(如matlab里的polyfit函数),得到二次多项式系数df与二次多项式系数bf之间的关系,描述为:df=kf,d×bf+cf,d;其中,kf,d和cf,d均为拟合得到的系数。
将ag,i,j和bg,i,j组成一对数据对,共得到W×H对数据对;然后对这W×H对数据对进行线性拟合(如matlab里的polyfit函数),得到二次多项式系数ag与二次多项式系数bg之间的关系,描述为:ag=kg,a×bg+cg,a;其中,kg,a和cg,a均为拟合得到的系数。
将dg,i,j和bg,i,j组成一对数据对,共得到W×H对数据对;然后对这W×H对数据对进行线性拟合(如matlab里的polyfit函数),得到二次多项式系数dg与二次多项式系数bg之间的关系,描述为:dg=kg,d×bg+cg,d;其中,kg,d和cg,d均为拟合得到的系数。
在实验中拟合得到的各系数值为:kf,a=1.4731×10-5,cf,a=2.0620×10-8,kf,d=6.4068×104,cf,d=1.9548×103,kg,a=1.4615×10-5,cg,a=-1.3818×10-8,kg,d=6.4117×104,cg,d=1.5078×103。
令并令然后令M=B·C-1;在实验中计算得到的
将待测物体水平放置于升降台的顶端平面上,并使待测物体与光学显微镜的光轴垂直;然后控制滑台使光阑的小孔处于位置TL,并保存此时的待测物体图像,作为第一图像;接着控制滑台使光阑水平右移2L,使光阑的小孔处于位置TR,并保存此时的待测物体图像,作为第二图像;再利用立体匹配算法(如matlab中的disparity函数)对第一图像和第二图像进行立体匹配,得到第一图像与第二图像的视差图,记为Id;其中,第一图像、第二图像、Id的尺寸大小均为Md×Nd;在实验中采集到的第一图像如图6a所示,采集到的第二图像如图6b所示,得到的视差图Id如图6c所示,其大小都为1296×864。
令Δu=G(xd,yd),令Δzd表示Id对应的清晰面移动距离,令Δzd=aΔu2+bΔu+c;然后将Δu=G(xd,yd)代入Δzd=aΔu2+bΔu+c中,求得Δzd的值;其中,G(xd,yd)表示Id中坐标位置为(xd,yd)的像素点的灰度值,1≤xd≤Md,1≤yd≤Nd。
将af=kf,a×bf+cf,a、df=kf,d×bf+cf,d、ag=kg,a×bg+cg,a、dg=kg,d×bg+cg,d代入中,得到然后令u=xd,并令v=yd,令Δz=Δzd;接着将u=xd、v=yd和Δz=Δzd代入中,得到bf的值和bg的值,对应记为bf(xd,yd)和bg(xd,yd)。
计算得到x的坐标值x(xd,yd)和y的坐标值y(xd,yd);其中,M-1为M的逆。
令x=x(xd,yd),并令y=y(xd,yd);然后将x=x(xd,yd)和y=y(xd,yd)代入z=b1+b2x+b3y中,得到z的中间值,记为z0;接着计算z的坐标值,记为z(xd,yd),z(xd,yd)=z0-Δzd。
将(x(xd,yd),y(xd,yd),z(xd,yd))作为重建的一个空间点的三维坐标。
按照步骤的过程,利用Id中的所有像素点重建所有空间点的三维坐标,从而得到待测物体的三维重建图。在实验中得到的待测物体的三维重建图如图6d所示。
Claims (3)
1.一种基于移动光阑的显微三维测量系统,包括光学显微镜、加装于所述的光学显微镜上且对准所述的光学显微镜的目镜的相机、用于水平放置圆点标定板的升降台、计算机,所述的光学显微镜布置于所述的圆点标定板的正上方使所述的光学显微镜的目镜正对所述的圆点标定板,所述的相机的输出端与所述的计算机连接,所述的升降台的驱动电机与所述的计算机连接,其特征在于:所述的光学显微镜的目镜与所述的圆点标定板之间布置有可水平左右移动的光阑,所述的光学显微镜的光轴与所述的升降台的移动轨迹一致,所述的光学显微镜的光轴与所述的圆点标定板垂直,所述的光学显微镜的光轴与所述的光阑的移动轨迹垂直。
2.根据权利要求1所述的一种基于移动光阑的显微三维测量系统,其特征在于:该显微三维测量系统还包括用于带动所述的光阑水平左右移动的滑台,所述的滑台的驱动电机与所述的计算机连接。
3.一种权利要求2所述的基于移动光阑的显微三维测量系统相应的方法,其特征在于:包括以下步骤:
①使光学显微镜的光轴与升降台的移动轨迹一致;然后将一块圆点标定板水平放置于升降台的顶端平面上,并使圆点标定板与光学显微镜的光轴垂直;接着使装于滑台上的光阑的移动轨迹与光学显微镜的光轴垂直;再使光阑位于光学显微镜的目镜与圆点标定板之间;其中,圆点标定板中的相邻两个实心圆点的中心间距为e,圆点标定板中的实心圆点的直径为d,d<e,d和e的单位均为mm,光阑的小孔的直径为D,D∈[1,5],D的单位为mm;
②确定光阑的小孔的初始位置:控制滑台使光阑的小孔中心位于光学显微镜的光轴上;然后控制滑台使光阑水平左移L,即使得光阑的小孔中心与光学显微镜的光轴之间的距离为L,将光阑的小孔中心此时的位置确定为光阑的小孔的初始位置,并记为TL;其中,L∈[2,4],L的单位为mm;
确定圆点标定板的初始位置:控制升降台带动圆点标定板垂直移动,在观察者从计算机观察到的圆点标定板图像最清晰时控制升降台停止移动;然后控制升降台带动圆点标定板垂直上移,在观察者从计算机观察到的圆点标定板图像从最清晰转变为刚好模糊时控制升降台停止垂直上移,将升降台此次垂直上移的距离记为ZS,并将圆点标定板此时的位置确定为圆点标定板的初始位置,并记为P0;其中,ZS的单位为mm;
③在圆点标定板处于初始位置P0时,在圆点标定板中的4个实心圆点上各放置一个微小标记物,并使得以4个微小标记物所在的实心圆点的中心为顶点构成的形状始终为矩形;然后观察者观察计算机显示的圆点标定板图像,移动4个微小标记物,使得以4个微小标记物所在的实心圆点的中心为顶点构成的矩形呈现在圆点标定板图像中且为面积最大的矩形,将该矩形记为A';
④控制滑台使光阑水平右移2L,将光阑的小孔此时的位置记为TR;然后观察者观察计算机显示的圆点标定板图像,移动4个微小标记物,使得以4个微小标记物所在的实心圆点的中心为顶点构成的矩形呈现在圆点标定板图像中且为面积最大的矩形,将该矩形记为A,并保存此时的圆点标定板图像,记为再控制滑台使光阑水平左移2L,使光阑的小孔处于位置TL,并保存此时的圆点标定板图像,记为其中,A包含于A'内,在圆点标定板上A在宽度方向上包含的实心圆点的列数为W,在圆点标定板上A在高度方向上包含的实心圆点的行数为H,即在圆点标定板上A包含的实心圆点的总个数为W×H,W和H均为正整数;
⑤取圆点标定板上的A的左上角顶点为坐标原点O,指向同一行实心圆点的中心为X轴正方向,指向同一列实心圆点的中心为Y轴正方向,升降台垂直下移方向为Z轴正方向,建立三维坐标系OXYZ;
分别对和进行二值化处理,对应得到和各自的二值化图像;然后采用连通区域标记算法对的二值化图像进行处理,提取得到中的每个实心圆点区域及每个实心圆点区域的中心的多个候选坐标位置;同样,采用连通区域标记算法对的二值化图像进行处理,提取得到中的每个实心圆点区域及每个实心圆点区域的中心的多个候选坐标位置;接着将中与A对应的矩形区域内的每个实心圆点区域的中心的多个候选坐标位置中的任一个候选坐标位置确定为该实心圆点区域的中心的最终坐标位置,将中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置记为(ul,i,j,0,vl,i,j,0);同样,将中与A对应的矩形区域内的每个实心圆点区域的中心的多个候选坐标位置中的任一个候选坐标位置确定为该实心圆点区域的中心的最终坐标位置,将中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置记为(ur,i,j,0,vr,i,j,0);其中,i和j均为正整数,1≤i≤W,1≤j≤H;
⑥控制升降台带动圆点标定板垂直下移Δα,将圆点标定板此时的位置记为P1,并保存此时的圆点标定板图像,记为接着控制滑台使光阑水平右移2L,使光阑的小孔处于位置TR,并保存此时的圆点标定板图像,记为再控制滑台使光阑水平左移2L,使光阑的小孔处于位置TL;其中,Δα∈(ZS/100,ZS/50),Δα的单位为mm;
⑦分别对和进行二值化处理,对应得到和各自的二值化图像;然后采用连通区域标记算法对的二值化图像进行处理,提取得到中的每个实心圆点区域及每个实心圆点区域的中心的多个候选坐标位置;同样,采用连通区域标记算法对的二值化图像进行处理,提取得到中的每个实心圆点区域及每个实心圆点区域的中心的多个候选坐标位置;接着根据中与A对应的矩形区域内的每个实心圆点区域的中心的多个候选坐标位置,确定中与A对应的矩形区域内的每个实心圆点区域的中心的最终坐标位置,将中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置记为(ul,i,j,1,vl,i,j,1),(ul,i,j,1,vl,i,j,1)为中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的多个候选坐标位置中与(ul,i,j,0,vl,i,j,0)的欧氏距离最小的候选坐标位置;同样,根据中与A对应的矩形区域内的每个实心圆点区域的中心的多个候选坐标位置,确定中与A对应的矩形区域内的每个实心圆点区域的中心的最终坐标位置,将中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置记为(ur,i,j,1,vr,i,j,1),(ur,i,j,1,vr,i,j,1)为中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的多个候选坐标位置中与(ur,i,j,0,vr,i,j,0)的欧氏距离最小的候选坐标位置;
计算升降台带动圆点标定板第1次垂直下移Δα后圆点标定板上的A内的每个实心圆点的中心在三维坐标系OXYZ上的三维坐标,将升降台带动圆点标定板第1次垂直下移Δα后圆点标定板上的A内的第i列第j行的实心圆点的中心在三维坐标系OXYZ上的三维坐标记为(xi,j,1,yi,j,1,zi,j,1),xi,j,1=(i-1)×e,yi,j,1=(j-1)×e,zi,j,1=1×Δα;然后计算升降台带动圆点标定板第1次垂直下移Δα后圆点标定板上的A内的每个实心圆点对应的多光圈成像偏差,将升降台带动圆点标定板第1次垂直下移Δα后圆点标定板上的A内的第i列第j行的实心圆点对应的多光圈成像偏差记为Δui,j,1,Δui,j,1=ul,i,j,1-ur,i,j,1;其中,xi,j,1,yi,j,1,zi,j,1对应表示升降台带动圆点标定板第1次垂直下移Δα后圆点标定板上的A内的第i列第j行的实心圆点的中心在三维坐标系OXYZ上的X轴坐标、Y轴坐标、Z轴坐标;
⑧再重复执行步骤⑥和步骤⑦共N-1次,在升降台带动圆点标定板第k次垂直下移Δα后,将圆点标定板此时的位置记为Pk,将此时的圆点标定板图像记为将光阑水平右移2L后的圆点标定板图像记为将中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置记为(ul,i,j,k,vl,i,j,k),(ul,i,j,k,vl,i,j,k)为中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的多个候选坐标位置中与(ul,i,j,k-1,vl,i,j,k-1)的欧氏距离最小的候选坐标位置;将中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置记为(ur,i,j,k,vr,i,j,k),(ur,i,j,k,vr,i,j,k)为中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的多个候选坐标位置中与(ur,i,j,k-1,vr,i,j,k-1)的欧氏距离最小的候选坐标位置;将升降台带动圆点标定板第k次垂直下移Δα后圆点标定板上的A内的第i列第j行的实心圆点的中心在三维坐标系OXYZ上的三维坐标记为(xi,j,k,yi,j,k,zi,j,k),xi,j,k=(i-1)×e,yi,j,k=(j-1)×e,zi,j,k=k×Δα;将升降台带动圆点标定板第k次垂直下移Δα后圆点标定板上的A内的第i列第j行的实心圆点对应的多光圈成像偏差记为Δui,j,k,Δui,j,k=ul,i,j,k-ur,i,j,k;其中,N为正整数,符号为向下取整运算符号,k为正整数,1≤k≤N,xi,j,k,yi,j,k,zi,j,k对应表示升降台带动圆点标定板第k次垂直下移Δα后圆点标定板上的A内的第i列第j行的实心圆点的中心在三维坐标系OXYZ上的X轴坐标、Y轴坐标、Z轴坐标;
⑨将升降台带动圆点标定板每次垂直下移Δα后获得的圆点标定板上的A内的每个实心圆点的中心在三维坐标系OXYZ上的Z轴坐标与对应的多光圈成像偏差组成一对数据对,将zi,j,k与Δui,j,k组成的数据对记为(zi,j,k,Δui,j,k);然后利用二次多项式拟合圆点标定板上的A内的每个实心圆点对应的N对数据对,得到圆点标定板上的A内的每个实心圆点的中心在三维坐标系OXYZ上的Z轴坐标与对应的多光圈成像偏差的关系,将圆点标定板上的A内的第i列第j行的实心圆点的中心在三维坐标系OXYZ上的Z轴坐标zi,j与对应的多光圈成像偏差Δui,j的关系描述为:zi,j=ai,jΔui,j 2+bi,jΔui,j+ci,j;其中,ai,j、bi,j和ci,j均为拟合得到的系数,共得到W×H组系数;
计算升降台带动圆点标定板每次垂直下移Δα后圆点标定板上的A内的每个实心圆点对应的清晰面移动距离,将升降台带动圆点标定板第k次垂直下移Δα后圆点标定板上的A内的第i列第j行的实心圆点对应的清晰面移动距离记为Δzi,j,k,Δzi,j,k=zi,j,k-ci,j;然后将升降台带动圆点标定板每次垂直下移Δα后圆点标定板上的A内的每个实心圆点对应的清晰面移动距离与对应的多光圈成像偏差组成一对数据对,将Δzi,j,k与Δui,j,k组成的数据对记为(Δzi,j,k,Δui,j,k);接着利用二次多项式拟合圆点标定板上的A内的所有实心圆点对应的共N×W×H对数据对,得到圆点标定板上的任意一点对应的清晰面移动距离Δz与对应的多光圈成像偏差Δu的关系,描述为:Δz=aΔu2+bΔu+c;其中,a、b和c均为拟合得到的系数;
根据升降台带动圆点标定板第1次垂直下移Δα后圆点标定板上的A内的所有实心圆点的中心在三维坐标系OXYZ上的X轴坐标和Y轴坐标,确定W×H个三维散点,第i列第j行的三维散点的三维坐标为(xi,j,1,yi,j,1,ci,j);然后利用平面拟合方法对W×H个三维散点进行平面拟合,得到空间平面,其方程表示为z=b1+b2x+b3y;其中,b1、b2和b3均为拟合得到的系数,(x,y,z)表示三维坐标系OXYZ中的空间点的三维坐标,x,y,z对应表示三维坐标系OXYZ中的空间点的X轴坐标、Y轴坐标、Z轴坐标;
⑩确定升降台带动圆点标定板每次垂直下移Δα后光阑的小孔处于位置TL时获得的圆点标定板图像中、与圆点标定板上的任意一点对应的坐标位置(u,v),与圆点标定板上的该点对应的清晰面移动距离Δz之间的关系,将坐标位置(u,v)与Δz的关系描述为:其中,1≤u≤W',1≤v≤H',W'表示升降台带动圆点标定板每次垂直下移Δα后光阑的小孔处于位置TL时获得的圆点标定板图像的宽度,H'表示升降台带动圆点标定板每次垂直下移Δα后光阑的小孔处于位置TL时获得的圆点标定板图像的高度,,af、bf、df、ag、bg和dg均为二次多项式系数;
将升降台带动圆点标定板每次垂直下移Δα后获得的圆点标定板图像中与A对应的矩形区域内的每个实心圆点区域的中心的最终坐标位置的横坐标与圆点标定板上的A内的每个实心圆点对应的清晰面移动距离组成一对数据对,将ul,i,j,k与Δzi,j,k组成的数据对记为(ul,i,j,k,Δzi,j,k);然后利用二次多项式拟合圆点标定板图像中与A对应的矩形区域内的每个实心圆点区域与圆点标定板上的A内的每个实心圆点对应的N对数据对,得到圆点标定板图像中与A对应的矩形区域内的每个实心圆点区域的中心的最终坐标位置的横坐标与圆点标定板上的A内的每个实心圆点对应的清晰面移动距离的关系,将圆点标定板图像中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置的横坐标ul,i,j与圆点标定板上的A内的第i列第j行的实心圆点对应的清晰面移动距离Δzi,j的关系描述为:ul,i,j=af,i,j×Δzi,j 2+bf,i,j×Δzi,j+df,i,j;其中,af,i,j、bf,i,j和df,i,j均为拟合得到的系数,共得到W×H组系数;
将升降台带动圆点标定板每次垂直下移Δα后获得的圆点标定板图像中与A对应的矩形区域内的每个实心圆点区域的中心的最终坐标位置的纵坐标与圆点标定板上的A内的每个实心圆点对应的清晰面移动距离组成一对数据对,将vl,i,j,k与Δzi,j,k组成的数据对记为(vl,i,j,k,Δzi,j,k);然后利用二次多项式拟合圆点标定板图像中与A对应的矩形区域内的每个实心圆点区域与圆点标定板上的A内的每个实心圆点对应的N对数据对,得到圆点标定板图像中与A对应的矩形区域内的每个实心圆点区域的中心的最终坐标位置的纵坐标与圆点标定板上的A内的每个实心圆点对应的清晰面移动距离的关系,将圆点标定板图像中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置的纵坐标vl,i,j与圆点标定板上的A内的第i列第j行的实心圆点对应的清晰面移动距离Δzi,j的关系描述为:vl,i,j=ag,i,j×Δzi,j 2+bg,i,j×Δzi,j+dg,i,j;其中,ag,i,j、bg,i,j和dg,i,j均为拟合得到的系数,共得到W×H组系数;
将af,i,j和bf,i,j组成一对数据对,共得到W×H对数据对;然后对这W×H对数据对进行线性拟合,得到系数二次多项式af与二次多项式系数bf之间的关系,描述为:af=kf,a×bf+cf,a;其中,kf,a和cf,a均为拟合得到的系数;
同样,将df,i,j和bf,i,j组成一对数据对,共得到W×H对数据对;然后对这W×H对数据对进行线性拟合,得到二次多项式系数df与二次多项式系数bf之间的关系,描述为:df=kf,d×bf+cf,d;其中,kf,d和cf,d均为拟合得到的系数;
将ag,i,j和bg,i,j组成一对数据对,共得到W×H对数据对;然后对这W×H对数据对进行线性拟合,得到二次多项式系数ag与二次多项式系数bg之间的关系,描述为:ag=kg,a×bg+cg,a;其中,kg,a和cg,a均为拟合得到的系数;
将dg,i,j和bg,i,j组成一对数据对,共得到W×H对数据对;然后对这W×H对数据对进行线性拟合,得到二次多项式系数dg与二次多项式系数bg之间的关系,描述为:dg=kg,d×bg+cg,d;其中,kg,d和cg,d均为拟合得到的系数;
令并令然后令M=B·C-1;
将待测物体水平放置于升降台的顶端平面上,并使待测物体与光学显微镜的光轴垂直;然后控制滑台使光阑的小孔处于位置TL,并保存此时的待测物体图像,作为第一图像;接着控制滑台使光阑水平右移2L,使光阑的小孔处于位置TR,并保存此时的待测物体图像,作为第二图像;再利用立体匹配算法对第一图像和第二图像进行立体匹配,得到第一图像与第二图像的视差图,记为Id;其中,第一图像、第二图像、Id的尺寸大小均为Md×Nd;
令Δu=G(xd,yd),令Δzd表示Id对应的清晰面移动距离,令Δzd=aΔu2+bΔu+c;然后将Δu=G(xd,yd)代入Δzd=aΔu2+bΔu+c中,求得Δzd的值;其中,G(xd,yd)表示Id中坐标位置为(xd,yd)的像素点的灰度值,1≤xd≤Md,1≤yd≤Nd;
将af=kf,a×bf+cf,a、df=kf,d×bf+cf,d、ag=kg,a×bg+cg,a、dg=kg,d×bg+cg,d代入中,得到然后令u=xd,并令v=yd,令Δz=Δzd;接着将u=xd、v=yd和Δz=Δzd代入中,得到bf的值和bg的值,对应记为bf(xd,yd)和bg(xd,yd);
计算得到x的坐标值x(xd,yd)和y的坐标值y(xd,yd);其中,M-1为M的逆;
令x=x(xd,yd),并令y=y(xd,yd);然后将x=x(xd,yd)和y=y(xd,yd)代入z=b1+b2x+b3y中,得到z的中间值,记为z0;接着计算z的坐标值,记为z(xd,yd),z(xd,yd)=z0-Δzd;
将(x(xd,yd),y(xd,yd),z(xd,yd))作为重建的一个空间点的三维坐标;
按照步骤的过程,利用Id中的所有像素点重建所有空间点的三维坐标,从而得到待测物体的三维重建图。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711144614.7A CN108036739B (zh) | 2017-11-17 | 2017-11-17 | 一种基于移动光阑的显微三维测量系统及方法 |
US15/893,692 US10362215B2 (en) | 2017-11-17 | 2018-02-12 | Microscopic three-dimensional measurement system and method based on moving diaphragm |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711144614.7A CN108036739B (zh) | 2017-11-17 | 2017-11-17 | 一种基于移动光阑的显微三维测量系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108036739A true CN108036739A (zh) | 2018-05-15 |
CN108036739B CN108036739B (zh) | 2020-01-21 |
Family
ID=62092885
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711144614.7A Active CN108036739B (zh) | 2017-11-17 | 2017-11-17 | 一种基于移动光阑的显微三维测量系统及方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10362215B2 (zh) |
CN (1) | CN108036739B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108765484A (zh) * | 2018-05-18 | 2018-11-06 | 北京航空航天大学 | 基于两台高速摄像机的活体昆虫运动采集及数据重构方法 |
CN112304238A (zh) * | 2019-07-29 | 2021-02-02 | 晟耀光电科技股份有限公司 | 2d及3d量测装置 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114697534A (zh) * | 2020-12-30 | 2022-07-01 | 超聚变数字技术有限公司 | 一种升降平台和升降平台的控制方法 |
KR102611537B1 (ko) * | 2021-06-04 | 2023-12-08 | 한국전자통신연구원 | 초고품질의 디지털 데이터 생성 방법 및 장치 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4845552A (en) * | 1987-08-20 | 1989-07-04 | Bruno Jaggi | Quantitative light microscope using a solid state detector in the primary image plane |
JP2000515675A (ja) * | 1996-08-07 | 2000-11-21 | ガタン・インコーポレーテッド | エネルギ・フィルタリング透過電子顕微鏡の自動調節 |
CN201392432Y (zh) * | 2009-02-25 | 2010-01-27 | 重庆光电仪器有限公司 | 霍夫曼调制衬度显微观察装置 |
CN101900875A (zh) * | 2010-06-04 | 2010-12-01 | 南开大学 | 基于双光源离轴照明的高倍率三维成像显微镜及成像方法 |
US20130278744A1 (en) * | 2010-11-22 | 2013-10-24 | Ecole Polytechnique | Method and system for calibrating a spatial optical modulator in an optical microscope |
CN104272426A (zh) * | 2012-04-27 | 2015-01-07 | 株式会社日立高新技术 | 扫描电子显微镜 |
CN105352455A (zh) * | 2015-11-18 | 2016-02-24 | 宁波大学 | 一种基于图像模糊度的平面倾斜度测量方法 |
CN105531793A (zh) * | 2013-09-30 | 2016-04-27 | 株式会社日立高新技术 | 电子显微镜 |
CN206546159U (zh) * | 2016-11-29 | 2017-10-10 | 深圳大学 | 显微三维测量装置及系统 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7539340B2 (en) * | 2003-04-25 | 2009-05-26 | Topcon Corporation | Apparatus and method for three-dimensional coordinate measurement |
US8773657B2 (en) * | 2004-02-23 | 2014-07-08 | Asml Netherlands B.V. | Method to determine the value of process parameters based on scatterometry data |
US7800766B2 (en) * | 2007-09-21 | 2010-09-21 | Northrop Grumman Space & Mission Systems Corp. | Method and apparatus for detecting and adjusting substrate height |
DE102014107432B3 (de) * | 2014-05-27 | 2015-06-25 | Atmos Medizintechnik Gmbh & Co. Kg | Optisches Gerät zur Erzeugung von Bildern mit räumlichem Eindruck |
-
2017
- 2017-11-17 CN CN201711144614.7A patent/CN108036739B/zh active Active
-
2018
- 2018-02-12 US US15/893,692 patent/US10362215B2/en not_active Expired - Fee Related
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4845552A (en) * | 1987-08-20 | 1989-07-04 | Bruno Jaggi | Quantitative light microscope using a solid state detector in the primary image plane |
JP2000515675A (ja) * | 1996-08-07 | 2000-11-21 | ガタン・インコーポレーテッド | エネルギ・フィルタリング透過電子顕微鏡の自動調節 |
CN201392432Y (zh) * | 2009-02-25 | 2010-01-27 | 重庆光电仪器有限公司 | 霍夫曼调制衬度显微观察装置 |
CN101900875A (zh) * | 2010-06-04 | 2010-12-01 | 南开大学 | 基于双光源离轴照明的高倍率三维成像显微镜及成像方法 |
US20130278744A1 (en) * | 2010-11-22 | 2013-10-24 | Ecole Polytechnique | Method and system for calibrating a spatial optical modulator in an optical microscope |
CN104272426A (zh) * | 2012-04-27 | 2015-01-07 | 株式会社日立高新技术 | 扫描电子显微镜 |
CN105531793A (zh) * | 2013-09-30 | 2016-04-27 | 株式会社日立高新技术 | 电子显微镜 |
CN105352455A (zh) * | 2015-11-18 | 2016-02-24 | 宁波大学 | 一种基于图像模糊度的平面倾斜度测量方法 |
CN206546159U (zh) * | 2016-11-29 | 2017-10-10 | 深圳大学 | 显微三维测量装置及系统 |
Non-Patent Citations (2)
Title |
---|
高兴宇 等: "线结构光共焦显微成像技术的实验研究", 《光学技术》 * |
黄大刚 等: "从平面显微图像中提取三维位置反馈信息方法的研究", 《仪器仪表学报》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108765484A (zh) * | 2018-05-18 | 2018-11-06 | 北京航空航天大学 | 基于两台高速摄像机的活体昆虫运动采集及数据重构方法 |
CN112304238A (zh) * | 2019-07-29 | 2021-02-02 | 晟耀光电科技股份有限公司 | 2d及3d量测装置 |
Also Published As
Publication number | Publication date |
---|---|
US20180198972A1 (en) | 2018-07-12 |
US10362215B2 (en) | 2019-07-23 |
CN108036739B (zh) | 2020-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108036739A (zh) | 一种基于移动光阑的显微三维测量系统及方法 | |
CN104677305B (zh) | 一种基于十字结构光的物体表面三维重建方法和系统 | |
CN103994724B (zh) | 基于数字图像处理技术的结构二维位移及应变监测方法 | |
CN111507976B (zh) | 基于多角度成像的缺陷检测方法及系统 | |
CN111667536A (zh) | 一种基于变焦相机深度估计的参数标定方法 | |
CN110334701B (zh) | 数字孪生环境下基于深度学习和多目视觉的数据采集方法 | |
CN112132907B (zh) | 一种相机标定方法、装置、电子设备及存储介质 | |
CN110634161A (zh) | 一种基于点云数据的工件位姿快速高精度估算方法及装置 | |
CN109598704B (zh) | 一种基于bp神经网络的粪便显微图像清晰度评价方法 | |
CN104760812B (zh) | 基于单目视觉的传送带上产品实时定位系统和方法 | |
CN110889829A (zh) | 一种基于鱼眼镜头的单目测距方法 | |
CN103971379B (zh) | 基于单摄像机等效双目立体视觉模型的泡沫立体特征提取方法 | |
CN112801074A (zh) | 一种基于交通摄像头的深度图估计方法 | |
CN104167001B (zh) | 基于正交补偿的大视场摄像机标定方法 | |
CN116129037B (zh) | 视触觉传感器及其三维重建方法、系统、设备及存储介质 | |
CN112102414A (zh) | 基于改进遗传算法和神经网络的双目远心镜头标定方法 | |
CN113570658A (zh) | 基于深度卷积网络的单目视频深度估计方法 | |
CN107360416A (zh) | 基于局部多元高斯描述子的立体图像质量评价方法 | |
CN115880373A (zh) | 基于新型编码特征的立体视觉系统的标定板及标定方法 | |
CN115796267A (zh) | 神经网络模型的训练方法及装置、自动聚焦方法 | |
CN111641822A (zh) | 一种重定位立体图像质量评价方法 | |
CN106815871B (zh) | 一种扫描电子显微镜成像系统的建模方法 | |
CN107341808B (zh) | 基于车辙图像的模拟月壤硬度视觉检测系统及测量方法 | |
CN110766609B (zh) | 一种针对ToF相机的景深图超分辨率重建方法 | |
Lee et al. | Optimizing image focus for 3D shape recovery through genetic algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |