CN108036739A - 一种基于移动光阑的显微三维测量系统及方法 - Google Patents

一种基于移动光阑的显微三维测量系统及方法 Download PDF

Info

Publication number
CN108036739A
CN108036739A CN201711144614.7A CN201711144614A CN108036739A CN 108036739 A CN108036739 A CN 108036739A CN 201711144614 A CN201711144614 A CN 201711144614A CN 108036739 A CN108036739 A CN 108036739A
Authority
CN
China
Prior art keywords
round dot
scaling board
black circle
coordinate
dot scaling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711144614.7A
Other languages
English (en)
Other versions
CN108036739B (zh
Inventor
蒋刚毅
郁梅
范胜利
王刚
王一刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo University
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201711144614.7A priority Critical patent/CN108036739B/zh
Priority to US15/893,692 priority patent/US10362215B2/en
Publication of CN108036739A publication Critical patent/CN108036739A/zh
Application granted granted Critical
Publication of CN108036739B publication Critical patent/CN108036739B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/0016Technical microscopes, e.g. for inspection or measuring in industrial production processes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/26Stages; Adjusting means therefor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/362Mechanical details, e.g. mountings for the camera or image sensor, housings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/246Calibration of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/75Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/08Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于移动光阑的显微三维测量系统及方法,其通过在光学显微成像系统中加入光阑,通过限制成像过程中光的照射角度来减小弥散斑的大小,从而扩大了成像系统的景深和深度测量范围,实现了大尺寸观测物体的三维测量;通过改变加入的光阑的位置得到不同光入射方向的两幅图像,与双目立体视觉类似,利用两幅图像之间的视差对应关系来预测深度,进行场景三维重建;由于成像系统的景深得到扩大,成像模型呈现一定的非线性特性,因此本发明采用二次函数来表达这种非线性,减小了测量误差。

Description

一种基于移动光阑的显微三维测量系统及方法
技术领域
本发明涉及一种显微三维测量技术,尤其是涉及一种基于移动光阑的显微三维测量系统及方法。
背景技术
光学显微镜是一种常用的三维微测量仪器,其在生物医学、质量检测和工业微操等中,用来测量空间点的三维坐标,取得实验数据,方便进行定量的分析,以提高产品质量、改进制造工艺和保证科学研究的准确性。
目前,常常使用数码体视显微镜来实现显微三维测量。计算机获取数码体视显微镜拍摄的左图像和右图像,使用现有的立体视觉测量方法,进行参数标定、立体匹配和三维重建,最终达到三维测量的目的。
但是,由于光学显微镜存在视场小、离焦现象严重、景深浅等缺点,因此若三维待观测物体的尺寸超出光学显微镜的浅景深范围,则三维待观测物体的清晰左图像和清晰右图像难以获得,最终导致三维测量无法实现。
发明内容
本发明所要解决的技术问题是提供一种基于移动光阑的显微三维测量系统及方法,其利用光阑扩大了景深和深度测量范围,从而能够实现大尺寸观测物体的三维测量。
本发明解决上述技术问题所采用的技术方案为:一种基于移动光阑的显微三维测量系统,包括光学显微镜、加装于所述的光学显微镜上且对准所述的光学显微镜的目镜的相机、用于水平放置圆点标定板的升降台、计算机,所述的光学显微镜布置于所述的圆点标定板的正上方使所述的光学显微镜的目镜正对所述的圆点标定板,所述的相机的输出端与所述的计算机连接,所述的升降台的驱动电机与所述的计算机连接,其特征在于:所述的光学显微镜的目镜与所述的圆点标定板之间布置有可水平左右移动的光阑,所述的光学显微镜的光轴与所述的升降台的移动轨迹一致,所述的光学显微镜的光轴与所述的圆点标定板垂直,所述的光学显微镜的光轴与所述的光阑的移动轨迹垂直。
该显微三维测量系统还包括用于带动所述的光阑水平左右移动的滑台,所述的滑台的驱动电机与所述的计算机连接。
一种上述的基于移动光阑的显微三维测量系统相应的方法,其特征在于:包括以下步骤:
①使光学显微镜的光轴与升降台的移动轨迹一致;然后将一块圆点标定板水平放置于升降台的顶端平面上,并使圆点标定板与光学显微镜的光轴垂直;接着使装于滑台上的光阑的移动轨迹与光学显微镜的光轴垂直;再使光阑位于光学显微镜的目镜与圆点标定板之间;其中,圆点标定板中的相邻两个实心圆点的中心间距为e,圆点标定板中的实心圆点的直径为d,d<e,d和e的单位均为mm,光阑的小孔的直径为D,D∈[1,5],D的单位为mm;
②确定光阑的小孔的初始位置:控制滑台使光阑的小孔中心位于光学显微镜的光轴上;然后控制滑台使光阑水平左移L,即使得光阑的小孔中心与光学显微镜的光轴之间的距离为L,将光阑的小孔中心此时的位置确定为光阑的小孔的初始位置,并记为TL;其中,L∈[2,4],L的单位为mm;
确定圆点标定板的初始位置:控制升降台带动圆点标定板垂直移动,在观察者从计算机观察到的圆点标定板图像最清晰时控制升降台停止移动;然后控制升降台带动圆点标定板垂直上移,在观察者从计算机观察到的圆点标定板图像从最清晰转变为刚好模糊时控制升降台停止垂直上移,将升降台此次垂直上移的距离记为ZS,并将圆点标定板此时的位置确定为圆点标定板的初始位置,并记为P0;其中,ZS的单位为mm;
③在圆点标定板处于初始位置P0时,在圆点标定板中的4个实心圆点上各放置一个微小标记物,并使得以4个微小标记物所在的实心圆点的中心为顶点构成的形状始终为矩形;然后观察者观察计算机显示的圆点标定板图像,移动4个微小标记物,使得以4个微小标记物所在的实心圆点的中心为顶点构成的矩形呈现在圆点标定板图像中且为面积最大的矩形,将该矩形记为A';
④控制滑台使光阑水平右移2L,将光阑的小孔此时的位置记为TR;然后观察者观察计算机显示的圆点标定板图像,移动4个微小标记物,使得以4个微小标记物所在的实心圆点的中心为顶点构成的矩形呈现在圆点标定板图像中且为面积最大的矩形,将该矩形记为A,并保存此时的圆点标定板图像,记为再控制滑台使光阑水平左移2L,使光阑的小孔处于位置TL,并保存此时的圆点标定板图像,记为其中,A包含于A'内,在圆点标定板上A在宽度方向上包含的实心圆点的列数为W,在圆点标定板上A在高度方向上包含的实心圆点的行数为H,即在圆点标定板上A包含的实心圆点的总个数为W×H,W和H均为正整数;
⑤取圆点标定板上的A的左上角顶点为坐标原点O,指向同一行实心圆点的中心为X轴正方向,指向同一列实心圆点的中心为Y轴正方向,升降台垂直下移方向为Z轴正方向,建立三维坐标系OXYZ;
分别对进行二值化处理,对应得到各自的二值化图像;然后采用连通区域标记算法对的二值化图像进行处理,提取得到中的每个实心圆点区域及每个实心圆点区域的中心的多个候选坐标位置;同样,采用连通区域标记算法对的二值化图像进行处理,提取得到中的每个实心圆点区域及每个实心圆点区域的中心的多个候选坐标位置;接着将中与A对应的矩形区域内的每个实心圆点区域的中心的多个候选坐标位置中的任一个候选坐标位置确定为该实心圆点区域的中心的最终坐标位置,将中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置记为(ul,i,j,0,vl,i,j,0);同样,将中与A对应的矩形区域内的每个实心圆点区域的中心的多个候选坐标位置中的任一个候选坐标位置确定为该实心圆点区域的中心的最终坐标位置,将中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置记为(ur,i,j,0,vr,i,j,0);其中,i和j均为正整数,1≤i≤W,1≤j≤H;
⑥控制升降台带动圆点标定板垂直下移Δα,将圆点标定板此时的位置记为P1,并保存此时的圆点标定板图像,记为接着控制滑台使光阑水平右移2L,使光阑的小孔处于位置TR,并保存此时的圆点标定板图像,记为再控制滑台使光阑水平左移2L,使光阑的小孔处于位置TL;其中,Δα∈(ZS/100,ZS/50),Δα的单位为mm;
⑦分别对进行二值化处理,对应得到各自的二值化图像;然后采用连通区域标记算法对的二值化图像进行处理,提取得到中的每个实心圆点区域及每个实心圆点区域的中心的多个候选坐标位置;同样,采用连通区域标记算法对的二值化图像进行处理,提取得到中的每个实心圆点区域及每个实心圆点区域的中心的多个候选坐标位置;接着根据中与A对应的矩形区域内的每个实心圆点区域的中心的多个候选坐标位置,确定中与A对应的矩形区域内的每个实心圆点区域的中心的最终坐标位置,将中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置记为(ul,i,j,1,vl,i,j,1),(ul,i,j,1,vl,i,j,1)为中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的多个候选坐标位置中与(ul,i,j,0,vl,i,j,0)的欧氏距离最小的候选坐标位置;同样,根据中与A对应的矩形区域内的每个实心圆点区域的中心的多个候选坐标位置,确定中与A对应的矩形区域内的每个实心圆点区域的中心的最终坐标位置,将中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置记为(ur,i,j,1,vr,i,j,1),(ur,i,j,1,vr,i,j,1)为中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的多个候选坐标位置中与(ur,i,j,0,vr,i,j,0)的欧氏距离最小的候选坐标位置;
计算升降台带动圆点标定板第1次垂直下移Δα后圆点标定板上的A内的每个实心圆点的中心在三维坐标系OXYZ上的三维坐标,将升降台带动圆点标定板第1次垂直下移Δα后圆点标定板上的A内的第i列第j行的实心圆点的中心在三维坐标系OXYZ上的三维坐标记为(xi,j,1,yi,j,1,zi,j,1),xi,j,1=(i-1)×e,yi,j,1=(j-1)×e,zi,j,1=1×Δα;然后计算升降台带动圆点标定板第1次垂直下移Δα后圆点标定板上的A内的每个实心圆点对应的多光圈成像偏差,将升降台带动圆点标定板第1次垂直下移Δα后圆点标定板上的A内的第i列第j行的实心圆点对应的多光圈成像偏差记为Δui,j,1
Δui,j,1=ul,i,j,1-ur,i,j,1;其中,xi,j,1,yi,j,1,zi,j,1对应表示升降台带动圆点标定板第1次垂直下移Δα后圆点标定板上的A内的第i列第j行的实心圆点的中心在三维坐标系OXYZ上的X轴坐标、Y轴坐标、Z轴坐标;
⑧再重复执行步骤⑥和步骤⑦共N-1次,在升降台带动圆点标定板第k次垂直下移Δα后,将圆点标定板此时的位置记为Pk,将此时的圆点标定板图像记为将光阑水平右移2L后的圆点标定板图像记为中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置记为(ul,i,j,k,vl,i,j,k),(ul,i,j,k,vl,i,j,k)为中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的多个候选坐标位置中与(ul,i,j,k-1,vl,i,j,k-1)的欧氏距离最小的候选坐标位置;将中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置记为(ur,i,j,k,vr,i,j,k),(ur,i,j,k,vr,i,j,k)为中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的多个候选坐标位置中与(ur,i,j,k-1,vr,i,j,k-1)的欧氏距离最小的候选坐标位置;将升降台带动圆点标定板第k次垂直下移Δα后圆点标定板上的A内的第i列第j行的实心圆点的中心在三维坐标系OXYZ上的三维坐标记为(xi,j,k,yi,j,k,zi,j,k),xi,j,k=(i-1)×e,yi,j,k=(j-1)×e,zi,j,k=k×Δα;将升降台带动圆点标定板第k次垂直下移Δα后圆点标定板上的A内的第i列第j行的实心圆点对应的多光圈成像偏差记为Δui,j,k,Δui,j,k=ul,i,j,k-ur,i,j,k;其中,N为正整数,符号为向下取整运算符号,k为正整数,1≤k≤N,xi,j,k,yi,j,k,zi,j,k对应表示升降台带动圆点标定板第k次垂直下移Δα后圆点标定板上的A内的第i列第j行的实心圆点的中心在三维坐标系OXYZ上的X轴坐标、Y轴坐标、Z轴坐标;
⑨将升降台带动圆点标定板每次垂直下移Δα后获得的圆点标定板上的A内的每个实心圆点的中心在三维坐标系OXYZ上的Z轴坐标与对应的多光圈成像偏差组成一对数据对,将zi,j,k与Δui,j,k组成的数据对记为(zi,j,k,Δui,j,k);然后利用二次多项式拟合圆点标定板上的A内的每个实心圆点对应的N对数据对,得到圆点标定板上的A内的每个实心圆点的中心在三维坐标系OXYZ上的Z轴坐标与对应的多光圈成像偏差的关系,将圆点标定板上的A内的第i列第j行的实心圆点的中心在三维坐标系OXYZ上的Z轴坐标zi,j与对应的多光圈成像偏差Δui,j的关系描述为:zi,j=ai,jΔui,j 2+bi,jΔui,j+ci,j;其中,ai,j、bi,j和ci,j均为拟合得到的系数,共得到W×H组系数;
计算升降台带动圆点标定板每次垂直下移Δα后圆点标定板上的A内的每个实心圆点对应的清晰面移动距离,将升降台带动圆点标定板第k次垂直下移Δα后圆点标定板上的A内的第i列第j行的实心圆点对应的清晰面移动距离记为Δzi,j,k
Δzi,j,k=zi,j,k-ci,j;然后将升降台带动圆点标定板每次垂直下移Δα后圆点标定板上的A内的每个实心圆点对应的清晰面移动距离与对应的多光圈成像偏差组成一对数据对,将Δzi,j,k与Δui,j,k组成的数据对记为(Δzi,j,k,Δui,j,k);接着利用二次多项式拟合圆点标定板上的A内的所有实心圆点对应的共N×W×H对数据对,得到圆点标定板上的任意一点对应的清晰面移动距离Δz与对应的多光圈成像偏差Δu的关系,描述为:Δz=aΔu2+bΔu+c;其中,a、b和c均为拟合得到的系数;
根据升降台带动圆点标定板第1次垂直下移Δα后圆点标定板上的A内的所有实心圆点的中心在三维坐标系OXYZ上的X轴坐标和Y轴坐标,确定W×H个三维散点,第i列第j行的三维散点的三维坐标为(xi,j,1,yi,j,1,ci,j);然后利用平面拟合方法对W×H个三维散点进行平面拟合,得到空间平面,其方程表示为z=b1+b2x+b3y;其中,b1、b2和b3均为拟合得到的系数,(x,y,z)表示三维坐标系OXYZ中的空间点的三维坐标,x,y,z对应表示三维坐标系OXYZ中的空间点的X轴坐标、Y轴坐标、Z轴坐标;
⑩确定升降台带动圆点标定板每次垂直下移Δα后光阑的小孔处于位置TL时获得的圆点标定板图像中、与圆点标定板上的任意一点对应的坐标位置(u,v),与圆点标定板上的该点对应的清晰面移动距离Δz之间的关系,将坐标位置(u,v)与Δz的关系描述为:其中,1≤u≤W',1≤v≤H',W'表示升降台带动圆点标定板每次垂直下移Δα后光阑的小孔处于位置TL时获得的圆点标定板图像的宽度,H'表示升降台带动圆点标定板每次垂直下移Δα后光阑的小孔处于位置TL时获得的圆点标定板图像的高度,,af、bf、df、ag、bg和dg均为二次多项式系数;
将升降台带动圆点标定板每次垂直下移Δα后获得的圆点标定板图像中与A对应的矩形区域内的每个实心圆点区域的中心的最终坐标位置的横坐标与圆点标定板上的A内的每个实心圆点对应的清晰面移动距离组成一对数据对,将ul,i,j,k与Δzi,j,k组成的数据对记为(ul,i,j,k,Δzi,j,k);然后利用二次多项式拟合圆点标定板图像中与A对应的矩形区域内的每个实心圆点区域与圆点标定板上的A内的每个实心圆点对应的N对数据对,得到圆点标定板图像中与A对应的矩形区域内的每个实心圆点区域的中心的最终坐标位置的横坐标与圆点标定板上的A内的每个实心圆点对应的清晰面移动距离的关系,将圆点标定板图像中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置的横坐标ul,i,j与圆点标定板上的A内的第i列第j行的实心圆点对应的清晰面移动距离Δzi,j的关系描述为:ul,i,j=af,i,j×Δzi,j 2+bf,i,j×Δzi,j+df,i,j;其中,af,i,j、bf,i,j和df,i,j均为拟合得到的系数,共得到W×H组系数;
将升降台带动圆点标定板每次垂直下移Δα后获得的圆点标定板图像中与A对应的矩形区域内的每个实心圆点区域的中心的最终坐标位置的纵坐标与圆点标定板上的A内的每个实心圆点对应的清晰面移动距离组成一对数据对,将vl,i,j,k与Δzi,j,k组成的数据对记为(vl,i,j,k,Δzi,j,k);然后利用二次多项式拟合圆点标定板图像中与A对应的矩形区域内的每个实心圆点区域与圆点标定板上的A内的每个实心圆点对应的N对数据对,得到圆点标定板图像中与A对应的矩形区域内的每个实心圆点区域的中心的最终坐标位置的纵坐标与圆点标定板上的A内的每个实心圆点对应的清晰面移动距离的关系,将圆点标定板图像中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置的纵坐标vl,i,j与圆点标定板上的A内的第i列第j行的实心圆点对应的清晰面移动距离Δzi,j的关系描述为:vl,i,j=ag,i,j×Δzi,j 2+bg,i,j×Δzi,j+dg,i,j;其中,ag,i,j、bg,i,j和dg,i,j均为拟合得到的系数,共得到W×H组系数;
将af,i,j和bf,i,j组成一对数据对,共得到W×H对数据对;然后对这W×H对数据对进行线性拟合,得到系数二次多项式af与二次多项式系数bf之间的关系,描述为:af=kf,a×bf+cf,a;其中,kf,a和cf,a均为拟合得到的系数;
同样,将df,i,j和bf,i,j组成一对数据对,共得到W×H对数据对;然后对这W×H对数据对进行线性拟合,得到二次多项式系数df与二次多项式系数bf之间的关系,描述为:df=kf,d×bf+cf,d;其中,kf,d和cf,d均为拟合得到的系数;
将ag,i,j和bg,i,j组成一对数据对,共得到W×H对数据对;然后对这W×H对数据对进行线性拟合,得到二次多项式系数ag与二次多项式系数bg之间的关系,描述为:ag=kg,a×bg+cg,a;其中,kg,a和cg,a均为拟合得到的系数;
将dg,i,j和bg,i,j组成一对数据对,共得到W×H对数据对;然后对这W×H对数据对进行线性拟合,得到二次多项式系数dg与二次多项式系数bg之间的关系,描述为:dg=kg,d×bg+cg,d;其中,kg,d和cg,d均为拟合得到的系数;
并令然后令M=B·C-1
将待测物体水平放置于升降台的顶端平面上,并使待测物体与光学显微镜的光轴垂直;然后控制滑台使光阑的小孔处于位置TL,并保存此时的待测物体图像,作为第一图像;接着控制滑台使光阑水平右移2L,使光阑的小孔处于位置TR,并保存此时的待测物体图像,作为第二图像;再利用立体匹配算法对第一图像和第二图像进行立体匹配,得到第一图像与第二图像的视差图,记为Id;其中,第一图像、第二图像、Id的尺寸大小均为Md×Nd
令Δu=G(xd,yd),令Δzd表示Id对应的清晰面移动距离,令Δzd=aΔu2+bΔu+c;然后将Δu=G(xd,yd)代入Δzd=aΔu2+bΔu+c中,求得Δzd的值;其中,G(xd,yd)表示Id中坐标位置为(xd,yd)的像素点的灰度值,1≤xd≤Md,1≤yd≤Nd
将af=kf,a×bf+cf,a、df=kf,d×bf+cf,d、ag=kg,a×bg+cg,a、dg=kg,d×bg+cg,d代入中,得到然后令u=xd,并令v=yd,令Δz=Δzd;接着将u=xd、v=yd和Δz=Δzd代入中,得到bf的值和bg的值,对应记为bf(xd,yd)和bg(xd,yd);
计算得到x的坐标值x(xd,yd)和y的坐标值y(xd,yd);其中,M-1为M的逆;
令x=x(xd,yd),并令y=y(xd,yd);然后将x=x(xd,yd)和y=y(xd,yd)代入z=b1+b2x+b3y中,得到z的中间值,记为z0;接着计算z的坐标值,记为z(xd,yd),z(xd,yd)=z0-Δzd
将(x(xd,yd),y(xd,yd),z(xd,yd))作为重建的一个空间点的三维坐标;
按照步骤的过程,利用Id中的所有像素点重建所有空间点的三维坐标,从而得到待测物体的三维重建图。
与现有技术相比,本发明的优点在于:
1)本发明通过在现有的光学显微成像系统中加入光阑,通过限制成像过程中光的照射角度来减小弥散斑的大小,从而扩大了成像系统的景深和深度测量范围,实现了大尺寸观测物体的三维测量。
2)本发明通过改变加入的光阑的位置得到不同光入射方向的两幅图像,与双目立体视觉类似,利用两幅图像之间的视差对应关系来预测深度,进行场景三维重建。
3)由于成像系统的景深得到扩大,成像模型呈现一定的非线性特性,因此本发明采用二次函数来表达这种非线性,减小了测量误差。
附图说明
图1为本发明的基于移动光阑的显微三维测量系统的组成示意图;
图2为在圆点标定板上确定的A'的示意图;
图3为在圆点标定板上确定的A的示意图;
图4为中与A对应的矩形区域内的所有实心圆点区域的中心的最终坐标位置;
图5为中与A对应的矩形区域内的所有实心圆点区域的中心的最终坐标位置;
图6a为采集的一幅待测物体图像;
图6b为采集的另一幅待测物体图像;
图6c为图6a与图6b的视差图;
图6d为待测物体的三维重建图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种基于移动光阑的显微三维测量系统,如图1所示,其包括光学显微镜1、加装于光学显微镜1上且对准光学显微镜1的目镜的相机2、用于水平放置圆点标定板4的升降台3、计算机5,光学显微镜1布置于圆点标定板4的正上方使光学显微镜1的目镜正对圆点标定板4,相机2的输出端与计算机5连接,升降台3的驱动电机与计算机5连接,光学显微镜1的目镜与圆点标定板4之间布置有可水平左右移动的光阑6,光学显微镜1的光轴与升降台3的移动轨迹一致,光学显微镜1的光轴与圆点标定板4垂直,光学显微镜1的光轴与光阑6的移动轨迹垂直。
在本实施例中,该显微三维测量系统还包括用于带动光阑6水平左右移动的滑台7,滑台7的驱动电机与计算机5连接。
本发明提出的一种基于移动光阑的显微三维测量系统相应的方法,其包括以下步骤:
①使光学显微镜的光轴与升降台的移动轨迹一致;然后将一块圆点标定板水平放置于升降台的顶端平面上,并使圆点标定板与光学显微镜的光轴垂直;接着使装于滑台上的光阑的移动轨迹与光学显微镜的光轴垂直;再使光阑位于光学显微镜的目镜与圆点标定板之间;其中,圆点标定板中的相邻两个实心圆点的中心间距为e,圆点标定板中的实心圆点的直径为d,d<e,d和e的单位均为mm,光阑的小孔的直径为D,D∈[1,5],D的单位为mm。
实验中所选用的圆点标定板的上表面上横向阵列有20个实心圆点且纵向阵列也有20个实心圆点,即圆点标定板的上表面上阵列的实心圆点的总个数为20×20个,d的取值为0.5mm,e的取值为1mm;实验中取D=2mm。
②确定光阑的小孔的初始位置:控制滑台使光阑的小孔中心位于光学显微镜的光轴上;然后控制滑台使光阑水平左移L,即使得光阑的小孔中心与光学显微镜的光轴之间的距离为L,将光阑的小孔中心此时的位置确定为光阑的小孔的初始位置,并记为TL;其中,L∈[2,4],L的单位为mm,实验中取L=3mm。
确定圆点标定板的初始位置:控制升降台带动圆点标定板垂直移动,在观察者从计算机观察到的圆点标定板图像最清晰时控制升降台停止移动;然后控制升降台带动圆点标定板垂直上移,在观察者从计算机观察到的圆点标定板图像从最清晰转变为刚好模糊时控制升降台停止垂直上移,将升降台此次垂直上移的距离记为ZS,并将圆点标定板此时的位置确定为圆点标定板的初始位置,并记为P0;其中,ZS的单位为mm;在实验中在圆点标定板图像最清晰后再控制升降台垂直上移ZS=8mm后圆点标定板图像从最清晰转变为刚好模糊。
③在圆点标定板处于初始位置P0时,在圆点标定板中的4个实心圆点上各放置一个微小标记物,并使得以4个微小标记物所在的实心圆点的中心为顶点构成的形状始终为矩形;然后观察者观察计算机显示的圆点标定板图像,移动4个微小标记物,使得以4个微小标记物所在的实心圆点的中心为顶点构成的矩形呈现在圆点标定板图像中且为面积最大的矩形,将该矩形记为A';实验中在圆点标定板上A'在宽度方向上包含的实心圆点的列数为10,在圆点标定板上A'在高度方向上包含的实心圆点的行数为7,如图2所示。
④控制滑台使光阑水平右移2L,将光阑的小孔此时的位置记为TR;然后观察者观察计算机显示的圆点标定板图像,移动4个微小标记物,使得以4个微小标记物所在的实心圆点的中心为顶点构成的矩形呈现在圆点标定板图像中且为面积最大的矩形,将该矩形记为A,并保存此时的圆点标定板图像,记为再控制滑台使光阑水平左移2L,使光阑的小孔处于位置TL,并保存此时的圆点标定板图像,记为光阑水平左移2L后,以4个微小标记物所在的实心圆点的中心为顶点构成的矩形仍呈现在圆点标定板图像中,因此不再移动4个微小标记物;其中,A包含于A'内,在圆点标定板上A在宽度方向上包含的实心圆点的列数为W,在圆点标定板上A在高度方向上包含的实心圆点的行数为H,即在圆点标定板上A包含的实心圆点的总个数为W×H,W和H均为正整数;实验中在圆点标定板上A在宽度方向上包含的实心圆点的列数W=10,在圆点标定板上A在高度方向上包含的实心圆点的行数H=7,如图3所示,从图2和图3中可以看出,A的面积等于A'的面积。
⑤取圆点标定板上的A的左上角顶点为坐标原点O,指向同一行实心圆点的中心为X轴正方向,指向同一列实心圆点的中心为Y轴正方向,升降台垂直下移方向为Z轴正方向,建立三维坐标系OXYZ。
分别对进行二值化处理,对应得到各自的二值化图像;然后采用现有的连通区域标记算法对的二值化图像进行处理,提取得到中的每个实心圆点区域及每个实心圆点区域的中心的多个候选坐标位置;同样,采用现有的连通区域标记算法对的二值化图像进行处理,提取得到中的每个实心圆点区域及每个实心圆点区域的中心的多个候选坐标位置;接着将中与A对应的矩形区域内的每个实心圆点区域的中心的多个候选坐标位置中的任一个候选坐标位置确定为该实心圆点区域的中心的最终坐标位置,将中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置记为(ul,i,j,0,vl,i,j,0);同样,将中与A对应的矩形区域内的每个实心圆点区域的中心的多个候选坐标位置中的任一个候选坐标位置确定为该实心圆点区域的中心的最终坐标位置,将中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置记为(ur,i,j,0,vr,i,j,0);其中,i和j均为正整数,1≤i≤W,1≤j≤H;图4给出了中与A对应的矩形区域内的所有实心圆点区域的中心的最终坐标位置;图5给出了中与A对应的矩形区域内的所有实心圆点区域的中心的最终坐标位置。
⑥控制升降台带动圆点标定板垂直下移Δα,将圆点标定板此时的位置记为P1,并保存此时的圆点标定板图像,记为接着控制滑台使光阑水平右移2L,使光阑的小孔处于位置TR,并保存此时的圆点标定板图像,记为再控制滑台使光阑水平左移2L,使光阑的小孔处于位置TL;其中,Δα∈(ZS/100,ZS/50),Δα的单位为mm;在实验中取Δα=0.1mm。
⑦分别对进行二值化处理,对应得到各自的二值化图像;然后采用现有的连通区域标记算法对的二值化图像进行处理,提取得到中的每个实心圆点区域及每个实心圆点区域的中心的多个候选坐标位置;同样,采用现有的连通区域标记算法对的二值化图像进行处理,提取得到中的每个实心圆点区域及每个实心圆点区域的中心的多个候选坐标位置;接着根据中与A对应的矩形区域内的每个实心圆点区域的中心的多个候选坐标位置,确定中与A对应的矩形区域内的每个实心圆点区域的中心的最终坐标位置,将中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置记为(ul,i,j,1,vl,i,j,1),(ul,i,j,1,vl,i,j,1)为中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的多个候选坐标位置中与(ul,i,j,0,vl,i,j,0)的欧氏距离最小的候选坐标位置;同样,根据中与A对应的矩形区域内的每个实心圆点区域的中心的多个候选坐标位置,确定中与A对应的矩形区域内的每个实心圆点区域的中心的最终坐标位置,将中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置记为(ur,i,j,1,vr,i,j,1),(ur,i,j,1,vr,i,j,1)为中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的多个候选坐标位置中与(ur,i,j,0,vr,i,j,0)的欧氏距离最小的候选坐标位置。
计算升降台带动圆点标定板第1次垂直下移Δα后圆点标定板上的A内的每个实心圆点的中心在三维坐标系OXYZ上的三维坐标,将升降台带动圆点标定板第1次垂直下移Δα后圆点标定板上的A内的第i列第j行的实心圆点的中心在三维坐标系OXYZ上的三维坐标记为(xi,j,1,yi,j,1,zi,j,1),xi,j,1=(i-1)×e,yi,j,1=(j-1)×e,zi,j,1=1×Δα;然后计算升降台带动圆点标定板第1次垂直下移Δα后圆点标定板上的A内的每个实心圆点对应的多光圈成像偏差,将升降台带动圆点标定板第1次垂直下移Δα后圆点标定板上的A内的第i列第j行的实心圆点对应的多光圈成像偏差记为Δui,j,1
Δui,j,1=ul,i,j,1-ur,i,j,1;其中,xi,j,1,yi,j,1,zi,j,1对应表示升降台带动圆点标定板第1次垂直下移Δα后圆点标定板上的A内的第i列第j行的实心圆点的中心在三维坐标系OXYZ上的X轴坐标、Y轴坐标、Z轴坐标。
⑧再重复执行步骤⑥和步骤⑦共N-1次,在升降台带动圆点标定板第k次垂直下移Δα后,将圆点标定板此时的位置记为Pk,将此时的圆点标定板图像记为将光阑水平右移2L后的圆点标定板图像记为中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置记为(ul,i,j,k,vl,i,j,k),(ul,i,j,k,vl,i,j,k)为中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的多个候选坐标位置中与(ul,i,j,k-1,vl,i,j,k-1)的欧氏距离最小的候选坐标位置;将中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置记为(ur,i,j,k,vr,i,j,k),(ur,i,j,k,vr,i,j,k)为中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的多个候选坐标位置中与(ur,i,j,k-1,vr,i,j,k-1)的欧氏距离最小的候选坐标位置;将升降台带动圆点标定板第k次垂直下移Δα后圆点标定板上的A内的第i列第j行的实心圆点的中心在三维坐标系OXYZ上的三维坐标记为(xi,j,k,yi,j,k,zi,j,k),xi,j,k=(i-1)×e,yi,j,k=(j-1)×e,zi,j,k=k×Δα;将升降台带动圆点标定板第k次垂直下移Δα后圆点标定板上的A内的第i列第j行的实心圆点对应的多光圈成像偏差记为Δui,j,k,Δui,j,k=ul,i,j,k-ur,i,j,k;其中,N为正整数,符号为向下取整运算符号,实验中k为正整数,1≤k≤N,xi,j,k,yi,j,k,zi,j,k对应表示升降台带动圆点标定板第k次垂直下移Δα后圆点标定板上的A内的第i列第j行的实心圆点的中心在三维坐标系OXYZ上的X轴坐标、Y轴坐标、Z轴坐标。
⑨将升降台带动圆点标定板每次垂直下移Δα后获得的圆点标定板上的A内的每个实心圆点的中心在三维坐标系OXYZ上的Z轴坐标与对应的多光圈成像偏差组成一对数据对,将zi,j,k与Δui,j,k组成的数据对记为(zi,j,k,Δui,j,k);然后利用二次多项式(如matlab里的polyfit函数)拟合圆点标定板上的A内的每个实心圆点对应的N对数据对,得到圆点标定板上的A内的每个实心圆点的中心在三维坐标系OXYZ上的Z轴坐标与对应的多光圈成像偏差的关系,将圆点标定板上的A内的第i列第j行的实心圆点的中心在三维坐标系OXYZ上的Z轴坐标zi,j与对应的多光圈成像偏差Δui,j的关系描述为:zi,j=ai,jΔui,j 2+bi,jΔui,j+ci,j;其中,ai,j、bi,j和ci,j均为拟合得到的系数,共得到W×H组系数。
在实验中拟合得到的系数值如下:
ai,j
-0.00961 -0.0096 -0.00964 -0.00958 -0.00958 -0.00957 -0.00956 -0.0096 -0.0096 -0.00965
-0.00958 -0.00964 -0.00961 -0.00958 -0.00956 -0.00956 -0.00956 -0.0096 -0.0096 -0.00968
-0.0096 -0.00965 -0.00966 -0.00961 -0.00955 -0.00955 -0.00957 -0.00959 -0.00962 -0.00966
-0.0096 -0.00969 -0.00961 -0.00962 -0.00959 -0.00953 -0.00963 -0.00961 -0.00958 -0.00961
-0.00963 -0.00968 -0.00965 -0.00961 -0.00958 -0.00959 -0.00958 -0.00962 -0.00958 -0.00966
-0.00965 -0.00965 -0.00969 -0.00964 -0.0096 -0.00958 -0.00954 -0.00961 -0.00965 -0.00961
-0.0097 -0.00964 -0.00964 -0.00966 -0.00966 -0.00963 -0.00957 -0.0096 -0.00965 -0.00965
bi,j
24.83339 24.8516 24.88844 24.87788 24.88734 24.89163 24.87441 24.87593 24.86716 24.85142
24.84147 24.85505 24.88535 24.88658 24.88992 24.89163 24.8849 24.87489 24.86526 24.86709
24.84489 24.87328 24.88345 24.88832 24.89727 24.90436 24.88557 24.87556 24.86509 24.8562
24.85058 24.87775 24.88554 24.87997 24.89715 24.89413 24.88574 24.87641 24.86283 24.85096
24.85257 24.87851 24.88056 24.89459 24.89183 24.90372 24.88639 24.8775 24.86363 24.85499
24.86275 24.87129 24.87489 24.90061 24.89573 24.89983 24.89117 24.87087 24.86188 24.84953
24.86099 24.85875 24.87774 24.89924 24.89612 24.89734 24.88754 24.87342 24.85497 24.84557
ci,j
8707.143 8699.579 8690.631 8681.277 8677.786 8676.766 8674.264 8671.414 8672.015 8669.033
8713.259 8707.069 8695.824 8687.93 8682.237 8678.059 8675.34 8672.187 8673.513 8678.021
8723.347 8715.544 8701.178 8696.167 8687.479 8682.676 8678.895 8677.755 8683.217 8684.188
8734.714 8725.511 8707.566 8700.457 8696.685 8689.52 8688.212 8689.241 8694.18 8694.097
8745.906 8733.868 8719.69 8710.663 8705.266 8700.975 8698.997 8703.131 8707.286 8708.989
8758.818 8745.963 8736.928 8724.119 8719.096 8715.395 8713.612 8717.242 8722.915 8722.619
8773.964 8761.481 8753.725 8744.4 8736.065 8734.078 8733 8732.323 8737.393 8739.263
计算升降台带动圆点标定板每次垂直下移Δα后圆点标定板上的A内的每个实心圆点对应的清晰面移动距离,将升降台带动圆点标定板第k次垂直下移Δα后圆点标定板上的A内的第i列第j行的实心圆点对应的清晰面移动距离记为Δzi,j,k
Δzi,j,k=zi,j,k-ci,j;然后将升降台带动圆点标定板每次垂直下移Δα后圆点标定板上的A内的每个实心圆点对应的清晰面移动距离与对应的多光圈成像偏差组成一对数据对,将Δzi,j,k与Δui,j,k组成的数据对记为(Δzi,j,k,Δui,j,k);接着利用二次多项式(如matlab里的polyfit函数)拟合圆点标定板上的A内的所有实心圆点对应的共N×W×H对数据对,得到圆点标定板上的任意一点对应的清晰面移动距离Δz与对应的多光圈成像偏差Δu的关系,描述为:Δz=aΔu2+bΔu+c;其中,a、b和c均为拟合得到的系数;在实验中拟合得到Δz与Δu的二次多项式为Δz=-0.0096Δu2+24.8756Δu-0.0027。
根据升降台带动圆点标定板第1次垂直下移Δα后圆点标定板上的A内的所有实心圆点的中心在三维坐标系OXYZ上的X轴坐标和Y轴坐标,确定W×H个三维散点,第i列第j行的三维散点的三维坐标为(xi,j,1,yi,j,1,ci,j);然后利用平面拟合方法(如matlab中的createSurfaceFit函数)对W×H个三维散点进行平面拟合,得到空间平面,其方程表示为z=b1+b2x+b3y;其中,b1、b2和b3均为拟合得到的系数,(x,y,z)表示三维坐标系OXYZ中的空间点的三维坐标,x,y,z对应表示三维坐标系OXYZ中的空间点的X轴坐标、Y轴坐标、Z轴坐标;在实验中拟合得到的空间平面的方程为z=8.6943×103+0.0041x+0.0104y。
⑩确定升降台带动圆点标定板每次垂直下移Δα后光阑的小孔处于位置TL时获得的圆点标定板图像中、与圆点标定板上的任意一点对应的坐标位置(u,v),与圆点标定板上的该点对应的清晰面移动距离Δz之间的关系,将坐标位置(u,v)与Δz的关系描述为:其中,1≤u≤W',1≤v≤H',W'表示升降台带动圆点标定板每次垂直下移Δα后光阑的小孔处于位置TL时获得的圆点标定板图像的宽度,H'表示升降台带动圆点标定板每次垂直下移Δα后光阑的小孔处于位置TL时获得的圆点标定板图像的高度,,af、bf、df、ag、bg和dg均为二次多项式系数。
将升降台带动圆点标定板每次垂直下移Δα后获得的圆点标定板图像中与A对应的矩形区域内的每个实心圆点区域的中心的最终坐标位置的横坐标与圆点标定板上的A内的每个实心圆点对应的清晰面移动距离组成一对数据对,将ul,i,j,k与Δzi,j,k组成的数据对记为(ul,i,j,k,Δzi,j,k);然后利用二次多项式(如matlab里的polyfit函数)拟合圆点标定板图像中与A对应的矩形区域内的每个实心圆点区域与圆点标定板上的A内的每个实心圆点对应的N对数据对,得到圆点标定板图像中与A对应的矩形区域内的每个实心圆点区域的中心的最终坐标位置的横坐标与圆点标定板上的A内的每个实心圆点对应的清晰面移动距离的关系,将圆点标定板图像中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置的横坐标ul,i,j与圆点标定板上的A内的第i列第j行的实心圆点对应的清晰面移动距离Δzi,j的关系描述为:
ul,i,j=af,i,j×Δzi,j 2+bf,i,j×Δzi,j+df,i,j;其中,af,i,j、bf,i,j和df,i,j均为拟合得到的系数,共得到W×H组系数。
将升降台带动圆点标定板每次垂直下移Δα后获得的圆点标定板图像中与A对应的矩形区域内的每个实心圆点区域的中心的最终坐标位置的纵坐标与圆点标定板上的A内的每个实心圆点对应的清晰面移动距离组成一对数据对,将vl,i,j,k与Δzi,j,k组成的数据对记为(vl,i,j,k,Δzi,j,k);然后利用二次多项式(如matlab里的polyfit函数)拟合圆点标定板图像中与A对应的矩形区域内的每个实心圆点区域与圆点标定板上的A内的每个实心圆点对应的N对数据对,得到圆点标定板图像中与A对应的矩形区域内的每个实心圆点区域的中心的最终坐标位置的纵坐标与圆点标定板上的A内的每个实心圆点对应的清晰面移动距离的关系,将圆点标定板图像中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置的纵坐标vl,i,j与圆点标定板上的A内的第i列第j行的实心圆点对应的清晰面移动距离Δzi,j的关系描述为:vl,i,j=ag,i,j×Δzi,j 2+bg,i,j×Δzi,j+dg,i,j;其中,ag,i,j、bg,i,j和dg,i,j均为拟合得到的系数,共得到W×H组系数。
在实验中拟合得到的系数值如下:
af,i,j:
-0.0000002682 -0.0000001684 -0.0000000678 0.0000000331 0.0000001308 0.0000002300 0.0000003309 0.0000004354 0.0000005332 0.0000006341
-0.0000002731 -0.0000001711 -0.0000000685 0.0000000304 0.0000001291 0.0000002283 0.0000003273 0.0000004317 0.0000005315 0.0000006364
-0.0000002736 -0.0000001733 -0.0000000688 0.0000000295 0.0000001251 0.0000002253 0.0000003242 0.0000004253 0.0000005329 0.0000006310
-0.0000002747 -0.0000001736 -0.0000000731 0.0000000287 0.0000001250 0.0000002227 0.0000003241 0.0000004254 0.0000005277 0.0000006299
-0.0000002776 -0.0000001761 -0.0000000741 0.0000000241 0.0000001231 0.0000002211 0.0000003218 0.0000004240 0.0000005248 0.0000006269
-0.0000002797 -0.0000001776 -0.0000000764 0.0000000223 0.0000001223 0.0000002186 0.0000003172 0.0000004203 0.0000005170 0.0000006232
-0.0000002799 -0.0000001802 -0.0000000784 0.0000000196 0.0000001203 0.0000002177 0.0000003140 0.0000004172 0.0000005212 0.0000006210
bf,i,j:
-0.01959 -0.01278 -0.00595 0.000864 0.007635 0.014376 0.021167 0.027991 0.034825 0.04164
-0.01976 -0.01294 -0.00611 0.000704 0.007472 0.014223 0.020998 0.027813 0.034655 0.041469
-0.01992 -0.0131 -0.00626 0.000545 0.007314 0.014052 0.020829 0.027647 0.034489 0.041315
-0.02007 -0.01327 -0.00642 0.000401 0.007147 0.013899 0.020665 0.027488 0.03433 0.04116
-0.02023 -0.01342 -0.00658 0.00022 0.006988 0.013734 0.020494 0.027331 0.03417 0.040999
-0.0204 -0.01359 -0.00675 5.94E-05 0.006832 0.013569 0.020334 0.027176 0.034015 0.04085
-0.02058 -0.01375 -0.00693 -0.00012 0.00666 0.013409 0.020183 0.027014 0.033881 0.040697
df,i,j:
698.9545 1134.878 1572.476 2008.914 2443.186 2876.134 3310.072 3747.182 4185.173 4621.562
689.1317 1124.921 1562.612 1998.906 2433.094 2866.039 3299.88 3736.804 4174.782 4611.323
679.1408 1114.871 1552.657 1988.847 2423.023 2855.954 3289.692 3726.677 4164.635 4601.131
669.0325 1104.787 1542.628 1978.914 2412.937 2845.889 3279.56 3716.629 4154.602 4591.048
658.8592 1094.625 1532.379 1968.695 2402.749 2835.829 3269.479 3706.539 4144.648 4581.085
648.4953 1084.403 1522.107 1958.427 2392.582 2825.688 3259.446 3696.561 4134.529 4571.239
637.9991 1073.984 1511.646 1948.148 2382.355 2815.532 3249.388 3686.574 4124.729 4561.426
ag,i,j:
-0.0000002751 -0.0000002724 -0.0000002705 -0.0000002668 -0.0000002620 -0.0000002627 -0.0000002607 -0.0000002600 -0.0000002556 -0.0000002562
-0.0000001782 -0.0000001763 -0.0000001694 -0.0000001719 -0.0000001677 -0.0000001649 -0.0000001626 -0.0000001622 -0.0000001591 -0.0000001568
-0.0000000789 -0.0000000770 -0.0000000743 -0.0000000678 -0.0000000652 -0.0000000662 -0.0000000611 -0.0000000598 -0.0000000580 -0.0000000557
0.0000000239 0.0000000266 0.0000000278 0.0000000304 0.0000000295 0.0000000353 0.0000000349 0.0000000398 0.0000000418 0.0000000423
0.0000001211 0.0000001252 0.0000001268 0.0000001274 0.0000001303 0.0000001336 0.0000001370 0.0000001395 0.0000001405 0.0000001441
0.0000002236 0.0000002259 0.0000002264 0.0000002293 0.0000002301 0.0000002350 0.0000002357 0.0000002375 0.0000002416 0.0000002460
0.0000003210 0.0000003226 0.0000003253 0.0000003274 0.0000003284 0.0000003257 0.0000003325 0.0000003348 0.0000003381 0.0000003419
bg,i,j:
-0.01792 -0.01774 -0.01758 -0.01741 -0.01724 -0.01709 -0.01693 -0.01678 -0.01662 -0.01647
-0.01113 -0.01096 -0.01077 -0.01063 -0.01046 -0.01029 -0.01013 -0.00999 -0.00983 -0.00968
-0.00432 -0.00415 -0.004 -0.00383 -0.00366 -0.00351 -0.00335 -0.00318 -0.00304 -0.00287
0.002485 0.002635 0.002804 0.002962 0.003123 0.003288 0.003439 0.0036 0.003761 0.003917
0.009283 0.009445 0.009607 0.009764 0.009908 0.010069 0.01024 0.010393 0.010551 0.010719
0.016098 0.016254 0.016409 0.016567 0.016716 0.016864 0.017026 0.017197 0.017358 0.01754
0.022897 0.023056 0.023202 0.023348 0.023483 0.023647 0.023812 0.023975 0.024146 0.024317
dg,i,j:
360.4958 370.7643 381.2076 391.4 401.4607 411.376 421.1094 431.0625 440.8661 450.7236
796.7715 806.9556 817.4735 827.484 837.4645 847.3911 857.2331 867.185 876.7994 886.7162
1232.478 1242.557 1252.793 1262.807 1272.793 1282.678 1292.483 1302.416 1312.132 1322.156
1668.586 1678.645 1688.814 1698.655 1708.618 1718.492 1728.351 1738.236 1748.025 1757.997
2104.283 2114.246 2124.2 2133.953 2143.747 2153.571 2163.468 2173.443 2183.315 2193.393
2540.621 2550.345 2560.311 2569.959 2579.764 2589.515 2599.321 2609.464 2619.382 2629.605
2976.576 2986.161 2996.019 3005.602 3015.243 3024.984 3034.917 3044.903 3055.041 3065.332
将af,i,j和bf,i,j组成一对数据对,共得到W×H对数据对;然后对这W×H对数据对进行线性拟合(如matlab里的polyfit函数),得到系数二次多项式af与二次多项式系数bf之间的关系,描述为:af=kf,a×bf+cf,a;其中,kf,a和cf,a均为拟合得到的系数。
同样,将df,i,j和bf,i,j组成一对数据对,共得到W×H对数据对;然后对这W×H对数据对进行线性拟合(如matlab里的polyfit函数),得到二次多项式系数df与二次多项式系数bf之间的关系,描述为:df=kf,d×bf+cf,d;其中,kf,d和cf,d均为拟合得到的系数。
将ag,i,j和bg,i,j组成一对数据对,共得到W×H对数据对;然后对这W×H对数据对进行线性拟合(如matlab里的polyfit函数),得到二次多项式系数ag与二次多项式系数bg之间的关系,描述为:ag=kg,a×bg+cg,a;其中,kg,a和cg,a均为拟合得到的系数。
将dg,i,j和bg,i,j组成一对数据对,共得到W×H对数据对;然后对这W×H对数据对进行线性拟合(如matlab里的polyfit函数),得到二次多项式系数dg与二次多项式系数bg之间的关系,描述为:dg=kg,d×bg+cg,d;其中,kg,d和cg,d均为拟合得到的系数。
在实验中拟合得到的各系数值为:kf,a=1.4731×10-5,cf,a=2.0620×10-8,kf,d=6.4068×104,cf,d=1.9548×103,kg,a=1.4615×10-5,cg,a=-1.3818×10-8,kg,d=6.4117×104,cg,d=1.5078×103
并令然后令M=B·C-1;在实验中计算得到的
将待测物体水平放置于升降台的顶端平面上,并使待测物体与光学显微镜的光轴垂直;然后控制滑台使光阑的小孔处于位置TL,并保存此时的待测物体图像,作为第一图像;接着控制滑台使光阑水平右移2L,使光阑的小孔处于位置TR,并保存此时的待测物体图像,作为第二图像;再利用立体匹配算法(如matlab中的disparity函数)对第一图像和第二图像进行立体匹配,得到第一图像与第二图像的视差图,记为Id;其中,第一图像、第二图像、Id的尺寸大小均为Md×Nd;在实验中采集到的第一图像如图6a所示,采集到的第二图像如图6b所示,得到的视差图Id如图6c所示,其大小都为1296×864。
令Δu=G(xd,yd),令Δzd表示Id对应的清晰面移动距离,令Δzd=aΔu2+bΔu+c;然后将Δu=G(xd,yd)代入Δzd=aΔu2+bΔu+c中,求得Δzd的值;其中,G(xd,yd)表示Id中坐标位置为(xd,yd)的像素点的灰度值,1≤xd≤Md,1≤yd≤Nd
将af=kf,a×bf+cf,a、df=kf,d×bf+cf,d、ag=kg,a×bg+cg,a、dg=kg,d×bg+cg,d代入中,得到然后令u=xd,并令v=yd,令Δz=Δzd;接着将u=xd、v=yd和Δz=Δzd代入中,得到bf的值和bg的值,对应记为bf(xd,yd)和bg(xd,yd)。
计算得到x的坐标值x(xd,yd)和y的坐标值y(xd,yd);其中,M-1为M的逆。
令x=x(xd,yd),并令y=y(xd,yd);然后将x=x(xd,yd)和y=y(xd,yd)代入z=b1+b2x+b3y中,得到z的中间值,记为z0;接着计算z的坐标值,记为z(xd,yd),z(xd,yd)=z0-Δzd
将(x(xd,yd),y(xd,yd),z(xd,yd))作为重建的一个空间点的三维坐标。
按照步骤的过程,利用Id中的所有像素点重建所有空间点的三维坐标,从而得到待测物体的三维重建图。在实验中得到的待测物体的三维重建图如图6d所示。

Claims (3)

1.一种基于移动光阑的显微三维测量系统,包括光学显微镜、加装于所述的光学显微镜上且对准所述的光学显微镜的目镜的相机、用于水平放置圆点标定板的升降台、计算机,所述的光学显微镜布置于所述的圆点标定板的正上方使所述的光学显微镜的目镜正对所述的圆点标定板,所述的相机的输出端与所述的计算机连接,所述的升降台的驱动电机与所述的计算机连接,其特征在于:所述的光学显微镜的目镜与所述的圆点标定板之间布置有可水平左右移动的光阑,所述的光学显微镜的光轴与所述的升降台的移动轨迹一致,所述的光学显微镜的光轴与所述的圆点标定板垂直,所述的光学显微镜的光轴与所述的光阑的移动轨迹垂直。
2.根据权利要求1所述的一种基于移动光阑的显微三维测量系统,其特征在于:该显微三维测量系统还包括用于带动所述的光阑水平左右移动的滑台,所述的滑台的驱动电机与所述的计算机连接。
3.一种权利要求2所述的基于移动光阑的显微三维测量系统相应的方法,其特征在于:包括以下步骤:
①使光学显微镜的光轴与升降台的移动轨迹一致;然后将一块圆点标定板水平放置于升降台的顶端平面上,并使圆点标定板与光学显微镜的光轴垂直;接着使装于滑台上的光阑的移动轨迹与光学显微镜的光轴垂直;再使光阑位于光学显微镜的目镜与圆点标定板之间;其中,圆点标定板中的相邻两个实心圆点的中心间距为e,圆点标定板中的实心圆点的直径为d,d<e,d和e的单位均为mm,光阑的小孔的直径为D,D∈[1,5],D的单位为mm;
②确定光阑的小孔的初始位置:控制滑台使光阑的小孔中心位于光学显微镜的光轴上;然后控制滑台使光阑水平左移L,即使得光阑的小孔中心与光学显微镜的光轴之间的距离为L,将光阑的小孔中心此时的位置确定为光阑的小孔的初始位置,并记为TL;其中,L∈[2,4],L的单位为mm;
确定圆点标定板的初始位置:控制升降台带动圆点标定板垂直移动,在观察者从计算机观察到的圆点标定板图像最清晰时控制升降台停止移动;然后控制升降台带动圆点标定板垂直上移,在观察者从计算机观察到的圆点标定板图像从最清晰转变为刚好模糊时控制升降台停止垂直上移,将升降台此次垂直上移的距离记为ZS,并将圆点标定板此时的位置确定为圆点标定板的初始位置,并记为P0;其中,ZS的单位为mm;
③在圆点标定板处于初始位置P0时,在圆点标定板中的4个实心圆点上各放置一个微小标记物,并使得以4个微小标记物所在的实心圆点的中心为顶点构成的形状始终为矩形;然后观察者观察计算机显示的圆点标定板图像,移动4个微小标记物,使得以4个微小标记物所在的实心圆点的中心为顶点构成的矩形呈现在圆点标定板图像中且为面积最大的矩形,将该矩形记为A';
④控制滑台使光阑水平右移2L,将光阑的小孔此时的位置记为TR;然后观察者观察计算机显示的圆点标定板图像,移动4个微小标记物,使得以4个微小标记物所在的实心圆点的中心为顶点构成的矩形呈现在圆点标定板图像中且为面积最大的矩形,将该矩形记为A,并保存此时的圆点标定板图像,记为再控制滑台使光阑水平左移2L,使光阑的小孔处于位置TL,并保存此时的圆点标定板图像,记为其中,A包含于A'内,在圆点标定板上A在宽度方向上包含的实心圆点的列数为W,在圆点标定板上A在高度方向上包含的实心圆点的行数为H,即在圆点标定板上A包含的实心圆点的总个数为W×H,W和H均为正整数;
⑤取圆点标定板上的A的左上角顶点为坐标原点O,指向同一行实心圆点的中心为X轴正方向,指向同一列实心圆点的中心为Y轴正方向,升降台垂直下移方向为Z轴正方向,建立三维坐标系OXYZ;
分别对进行二值化处理,对应得到各自的二值化图像;然后采用连通区域标记算法对的二值化图像进行处理,提取得到中的每个实心圆点区域及每个实心圆点区域的中心的多个候选坐标位置;同样,采用连通区域标记算法对的二值化图像进行处理,提取得到中的每个实心圆点区域及每个实心圆点区域的中心的多个候选坐标位置;接着将中与A对应的矩形区域内的每个实心圆点区域的中心的多个候选坐标位置中的任一个候选坐标位置确定为该实心圆点区域的中心的最终坐标位置,将中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置记为(ul,i,j,0,vl,i,j,0);同样,将中与A对应的矩形区域内的每个实心圆点区域的中心的多个候选坐标位置中的任一个候选坐标位置确定为该实心圆点区域的中心的最终坐标位置,将中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置记为(ur,i,j,0,vr,i,j,0);其中,i和j均为正整数,1≤i≤W,1≤j≤H;
⑥控制升降台带动圆点标定板垂直下移Δα,将圆点标定板此时的位置记为P1,并保存此时的圆点标定板图像,记为接着控制滑台使光阑水平右移2L,使光阑的小孔处于位置TR,并保存此时的圆点标定板图像,记为再控制滑台使光阑水平左移2L,使光阑的小孔处于位置TL;其中,Δα∈(ZS/100,ZS/50),Δα的单位为mm;
⑦分别对进行二值化处理,对应得到各自的二值化图像;然后采用连通区域标记算法对的二值化图像进行处理,提取得到中的每个实心圆点区域及每个实心圆点区域的中心的多个候选坐标位置;同样,采用连通区域标记算法对的二值化图像进行处理,提取得到中的每个实心圆点区域及每个实心圆点区域的中心的多个候选坐标位置;接着根据中与A对应的矩形区域内的每个实心圆点区域的中心的多个候选坐标位置,确定中与A对应的矩形区域内的每个实心圆点区域的中心的最终坐标位置,将中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置记为(ul,i,j,1,vl,i,j,1),(ul,i,j,1,vl,i,j,1)为中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的多个候选坐标位置中与(ul,i,j,0,vl,i,j,0)的欧氏距离最小的候选坐标位置;同样,根据中与A对应的矩形区域内的每个实心圆点区域的中心的多个候选坐标位置,确定中与A对应的矩形区域内的每个实心圆点区域的中心的最终坐标位置,将中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置记为(ur,i,j,1,vr,i,j,1),(ur,i,j,1,vr,i,j,1)为中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的多个候选坐标位置中与(ur,i,j,0,vr,i,j,0)的欧氏距离最小的候选坐标位置;
计算升降台带动圆点标定板第1次垂直下移Δα后圆点标定板上的A内的每个实心圆点的中心在三维坐标系OXYZ上的三维坐标,将升降台带动圆点标定板第1次垂直下移Δα后圆点标定板上的A内的第i列第j行的实心圆点的中心在三维坐标系OXYZ上的三维坐标记为(xi,j,1,yi,j,1,zi,j,1),xi,j,1=(i-1)×e,yi,j,1=(j-1)×e,zi,j,1=1×Δα;然后计算升降台带动圆点标定板第1次垂直下移Δα后圆点标定板上的A内的每个实心圆点对应的多光圈成像偏差,将升降台带动圆点标定板第1次垂直下移Δα后圆点标定板上的A内的第i列第j行的实心圆点对应的多光圈成像偏差记为Δui,j,1,Δui,j,1=ul,i,j,1-ur,i,j,1;其中,xi,j,1,yi,j,1,zi,j,1对应表示升降台带动圆点标定板第1次垂直下移Δα后圆点标定板上的A内的第i列第j行的实心圆点的中心在三维坐标系OXYZ上的X轴坐标、Y轴坐标、Z轴坐标;
⑧再重复执行步骤⑥和步骤⑦共N-1次,在升降台带动圆点标定板第k次垂直下移Δα后,将圆点标定板此时的位置记为Pk,将此时的圆点标定板图像记为将光阑水平右移2L后的圆点标定板图像记为中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置记为(ul,i,j,k,vl,i,j,k),(ul,i,j,k,vl,i,j,k)为中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的多个候选坐标位置中与(ul,i,j,k-1,vl,i,j,k-1)的欧氏距离最小的候选坐标位置;将中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置记为(ur,i,j,k,vr,i,j,k),(ur,i,j,k,vr,i,j,k)为中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的多个候选坐标位置中与(ur,i,j,k-1,vr,i,j,k-1)的欧氏距离最小的候选坐标位置;将升降台带动圆点标定板第k次垂直下移Δα后圆点标定板上的A内的第i列第j行的实心圆点的中心在三维坐标系OXYZ上的三维坐标记为(xi,j,k,yi,j,k,zi,j,k),xi,j,k=(i-1)×e,yi,j,k=(j-1)×e,zi,j,k=k×Δα;将升降台带动圆点标定板第k次垂直下移Δα后圆点标定板上的A内的第i列第j行的实心圆点对应的多光圈成像偏差记为Δui,j,k,Δui,j,k=ul,i,j,k-ur,i,j,k;其中,N为正整数,符号为向下取整运算符号,k为正整数,1≤k≤N,xi,j,k,yi,j,k,zi,j,k对应表示升降台带动圆点标定板第k次垂直下移Δα后圆点标定板上的A内的第i列第j行的实心圆点的中心在三维坐标系OXYZ上的X轴坐标、Y轴坐标、Z轴坐标;
⑨将升降台带动圆点标定板每次垂直下移Δα后获得的圆点标定板上的A内的每个实心圆点的中心在三维坐标系OXYZ上的Z轴坐标与对应的多光圈成像偏差组成一对数据对,将zi,j,k与Δui,j,k组成的数据对记为(zi,j,k,Δui,j,k);然后利用二次多项式拟合圆点标定板上的A内的每个实心圆点对应的N对数据对,得到圆点标定板上的A内的每个实心圆点的中心在三维坐标系OXYZ上的Z轴坐标与对应的多光圈成像偏差的关系,将圆点标定板上的A内的第i列第j行的实心圆点的中心在三维坐标系OXYZ上的Z轴坐标zi,j与对应的多光圈成像偏差Δui,j的关系描述为:zi,j=ai,jΔui,j 2+bi,jΔui,j+ci,j;其中,ai,j、bi,j和ci,j均为拟合得到的系数,共得到W×H组系数;
计算升降台带动圆点标定板每次垂直下移Δα后圆点标定板上的A内的每个实心圆点对应的清晰面移动距离,将升降台带动圆点标定板第k次垂直下移Δα后圆点标定板上的A内的第i列第j行的实心圆点对应的清晰面移动距离记为Δzi,j,k,Δzi,j,k=zi,j,k-ci,j;然后将升降台带动圆点标定板每次垂直下移Δα后圆点标定板上的A内的每个实心圆点对应的清晰面移动距离与对应的多光圈成像偏差组成一对数据对,将Δzi,j,k与Δui,j,k组成的数据对记为(Δzi,j,k,Δui,j,k);接着利用二次多项式拟合圆点标定板上的A内的所有实心圆点对应的共N×W×H对数据对,得到圆点标定板上的任意一点对应的清晰面移动距离Δz与对应的多光圈成像偏差Δu的关系,描述为:Δz=aΔu2+bΔu+c;其中,a、b和c均为拟合得到的系数;
根据升降台带动圆点标定板第1次垂直下移Δα后圆点标定板上的A内的所有实心圆点的中心在三维坐标系OXYZ上的X轴坐标和Y轴坐标,确定W×H个三维散点,第i列第j行的三维散点的三维坐标为(xi,j,1,yi,j,1,ci,j);然后利用平面拟合方法对W×H个三维散点进行平面拟合,得到空间平面,其方程表示为z=b1+b2x+b3y;其中,b1、b2和b3均为拟合得到的系数,(x,y,z)表示三维坐标系OXYZ中的空间点的三维坐标,x,y,z对应表示三维坐标系OXYZ中的空间点的X轴坐标、Y轴坐标、Z轴坐标;
⑩确定升降台带动圆点标定板每次垂直下移Δα后光阑的小孔处于位置TL时获得的圆点标定板图像中、与圆点标定板上的任意一点对应的坐标位置(u,v),与圆点标定板上的该点对应的清晰面移动距离Δz之间的关系,将坐标位置(u,v)与Δz的关系描述为:其中,1≤u≤W',1≤v≤H',W'表示升降台带动圆点标定板每次垂直下移Δα后光阑的小孔处于位置TL时获得的圆点标定板图像的宽度,H'表示升降台带动圆点标定板每次垂直下移Δα后光阑的小孔处于位置TL时获得的圆点标定板图像的高度,,af、bf、df、ag、bg和dg均为二次多项式系数;
将升降台带动圆点标定板每次垂直下移Δα后获得的圆点标定板图像中与A对应的矩形区域内的每个实心圆点区域的中心的最终坐标位置的横坐标与圆点标定板上的A内的每个实心圆点对应的清晰面移动距离组成一对数据对,将ul,i,j,k与Δzi,j,k组成的数据对记为(ul,i,j,k,Δzi,j,k);然后利用二次多项式拟合圆点标定板图像中与A对应的矩形区域内的每个实心圆点区域与圆点标定板上的A内的每个实心圆点对应的N对数据对,得到圆点标定板图像中与A对应的矩形区域内的每个实心圆点区域的中心的最终坐标位置的横坐标与圆点标定板上的A内的每个实心圆点对应的清晰面移动距离的关系,将圆点标定板图像中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置的横坐标ul,i,j与圆点标定板上的A内的第i列第j行的实心圆点对应的清晰面移动距离Δzi,j的关系描述为:ul,i,j=af,i,j×Δzi,j 2+bf,i,j×Δzi,j+df,i,j;其中,af,i,j、bf,i,j和df,i,j均为拟合得到的系数,共得到W×H组系数;
将升降台带动圆点标定板每次垂直下移Δα后获得的圆点标定板图像中与A对应的矩形区域内的每个实心圆点区域的中心的最终坐标位置的纵坐标与圆点标定板上的A内的每个实心圆点对应的清晰面移动距离组成一对数据对,将vl,i,j,k与Δzi,j,k组成的数据对记为(vl,i,j,k,Δzi,j,k);然后利用二次多项式拟合圆点标定板图像中与A对应的矩形区域内的每个实心圆点区域与圆点标定板上的A内的每个实心圆点对应的N对数据对,得到圆点标定板图像中与A对应的矩形区域内的每个实心圆点区域的中心的最终坐标位置的纵坐标与圆点标定板上的A内的每个实心圆点对应的清晰面移动距离的关系,将圆点标定板图像中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置的纵坐标vl,i,j与圆点标定板上的A内的第i列第j行的实心圆点对应的清晰面移动距离Δzi,j的关系描述为:vl,i,j=ag,i,j×Δzi,j 2+bg,i,j×Δzi,j+dg,i,j;其中,ag,i,j、bg,i,j和dg,i,j均为拟合得到的系数,共得到W×H组系数;
将af,i,j和bf,i,j组成一对数据对,共得到W×H对数据对;然后对这W×H对数据对进行线性拟合,得到系数二次多项式af与二次多项式系数bf之间的关系,描述为:af=kf,a×bf+cf,a;其中,kf,a和cf,a均为拟合得到的系数;
同样,将df,i,j和bf,i,j组成一对数据对,共得到W×H对数据对;然后对这W×H对数据对进行线性拟合,得到二次多项式系数df与二次多项式系数bf之间的关系,描述为:df=kf,d×bf+cf,d;其中,kf,d和cf,d均为拟合得到的系数;
将ag,i,j和bg,i,j组成一对数据对,共得到W×H对数据对;然后对这W×H对数据对进行线性拟合,得到二次多项式系数ag与二次多项式系数bg之间的关系,描述为:ag=kg,a×bg+cg,a;其中,kg,a和cg,a均为拟合得到的系数;
将dg,i,j和bg,i,j组成一对数据对,共得到W×H对数据对;然后对这W×H对数据对进行线性拟合,得到二次多项式系数dg与二次多项式系数bg之间的关系,描述为:dg=kg,d×bg+cg,d;其中,kg,d和cg,d均为拟合得到的系数;
并令然后令M=B·C-1
将待测物体水平放置于升降台的顶端平面上,并使待测物体与光学显微镜的光轴垂直;然后控制滑台使光阑的小孔处于位置TL,并保存此时的待测物体图像,作为第一图像;接着控制滑台使光阑水平右移2L,使光阑的小孔处于位置TR,并保存此时的待测物体图像,作为第二图像;再利用立体匹配算法对第一图像和第二图像进行立体匹配,得到第一图像与第二图像的视差图,记为Id;其中,第一图像、第二图像、Id的尺寸大小均为Md×Nd
令Δu=G(xd,yd),令Δzd表示Id对应的清晰面移动距离,令Δzd=aΔu2+bΔu+c;然后将Δu=G(xd,yd)代入Δzd=aΔu2+bΔu+c中,求得Δzd的值;其中,G(xd,yd)表示Id中坐标位置为(xd,yd)的像素点的灰度值,1≤xd≤Md,1≤yd≤Nd
将af=kf,a×bf+cf,a、df=kf,d×bf+cf,d、ag=kg,a×bg+cg,a、dg=kg,d×bg+cg,d代入中,得到然后令u=xd,并令v=yd,令Δz=Δzd;接着将u=xd、v=yd和Δz=Δzd代入中,得到bf的值和bg的值,对应记为bf(xd,yd)和bg(xd,yd);
计算得到x的坐标值x(xd,yd)和y的坐标值y(xd,yd);其中,M-1为M的逆;
令x=x(xd,yd),并令y=y(xd,yd);然后将x=x(xd,yd)和y=y(xd,yd)代入z=b1+b2x+b3y中,得到z的中间值,记为z0;接着计算z的坐标值,记为z(xd,yd),z(xd,yd)=z0-Δzd
将(x(xd,yd),y(xd,yd),z(xd,yd))作为重建的一个空间点的三维坐标;
按照步骤的过程,利用Id中的所有像素点重建所有空间点的三维坐标,从而得到待测物体的三维重建图。
CN201711144614.7A 2017-11-17 2017-11-17 一种基于移动光阑的显微三维测量系统及方法 Active CN108036739B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201711144614.7A CN108036739B (zh) 2017-11-17 2017-11-17 一种基于移动光阑的显微三维测量系统及方法
US15/893,692 US10362215B2 (en) 2017-11-17 2018-02-12 Microscopic three-dimensional measurement system and method based on moving diaphragm

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711144614.7A CN108036739B (zh) 2017-11-17 2017-11-17 一种基于移动光阑的显微三维测量系统及方法

Publications (2)

Publication Number Publication Date
CN108036739A true CN108036739A (zh) 2018-05-15
CN108036739B CN108036739B (zh) 2020-01-21

Family

ID=62092885

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711144614.7A Active CN108036739B (zh) 2017-11-17 2017-11-17 一种基于移动光阑的显微三维测量系统及方法

Country Status (2)

Country Link
US (1) US10362215B2 (zh)
CN (1) CN108036739B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765484A (zh) * 2018-05-18 2018-11-06 北京航空航天大学 基于两台高速摄像机的活体昆虫运动采集及数据重构方法
CN112304238A (zh) * 2019-07-29 2021-02-02 晟耀光电科技股份有限公司 2d及3d量测装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114697534A (zh) * 2020-12-30 2022-07-01 超聚变数字技术有限公司 一种升降平台和升降平台的控制方法
KR102611537B1 (ko) * 2021-06-04 2023-12-08 한국전자통신연구원 초고품질의 디지털 데이터 생성 방법 및 장치

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4845552A (en) * 1987-08-20 1989-07-04 Bruno Jaggi Quantitative light microscope using a solid state detector in the primary image plane
JP2000515675A (ja) * 1996-08-07 2000-11-21 ガタン・インコーポレーテッド エネルギ・フィルタリング透過電子顕微鏡の自動調節
CN201392432Y (zh) * 2009-02-25 2010-01-27 重庆光电仪器有限公司 霍夫曼调制衬度显微观察装置
CN101900875A (zh) * 2010-06-04 2010-12-01 南开大学 基于双光源离轴照明的高倍率三维成像显微镜及成像方法
US20130278744A1 (en) * 2010-11-22 2013-10-24 Ecole Polytechnique Method and system for calibrating a spatial optical modulator in an optical microscope
CN104272426A (zh) * 2012-04-27 2015-01-07 株式会社日立高新技术 扫描电子显微镜
CN105352455A (zh) * 2015-11-18 2016-02-24 宁波大学 一种基于图像模糊度的平面倾斜度测量方法
CN105531793A (zh) * 2013-09-30 2016-04-27 株式会社日立高新技术 电子显微镜
CN206546159U (zh) * 2016-11-29 2017-10-10 深圳大学 显微三维测量装置及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7539340B2 (en) * 2003-04-25 2009-05-26 Topcon Corporation Apparatus and method for three-dimensional coordinate measurement
US8773657B2 (en) * 2004-02-23 2014-07-08 Asml Netherlands B.V. Method to determine the value of process parameters based on scatterometry data
US7800766B2 (en) * 2007-09-21 2010-09-21 Northrop Grumman Space & Mission Systems Corp. Method and apparatus for detecting and adjusting substrate height
DE102014107432B3 (de) * 2014-05-27 2015-06-25 Atmos Medizintechnik Gmbh & Co. Kg Optisches Gerät zur Erzeugung von Bildern mit räumlichem Eindruck

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4845552A (en) * 1987-08-20 1989-07-04 Bruno Jaggi Quantitative light microscope using a solid state detector in the primary image plane
JP2000515675A (ja) * 1996-08-07 2000-11-21 ガタン・インコーポレーテッド エネルギ・フィルタリング透過電子顕微鏡の自動調節
CN201392432Y (zh) * 2009-02-25 2010-01-27 重庆光电仪器有限公司 霍夫曼调制衬度显微观察装置
CN101900875A (zh) * 2010-06-04 2010-12-01 南开大学 基于双光源离轴照明的高倍率三维成像显微镜及成像方法
US20130278744A1 (en) * 2010-11-22 2013-10-24 Ecole Polytechnique Method and system for calibrating a spatial optical modulator in an optical microscope
CN104272426A (zh) * 2012-04-27 2015-01-07 株式会社日立高新技术 扫描电子显微镜
CN105531793A (zh) * 2013-09-30 2016-04-27 株式会社日立高新技术 电子显微镜
CN105352455A (zh) * 2015-11-18 2016-02-24 宁波大学 一种基于图像模糊度的平面倾斜度测量方法
CN206546159U (zh) * 2016-11-29 2017-10-10 深圳大学 显微三维测量装置及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
高兴宇 等: "线结构光共焦显微成像技术的实验研究", 《光学技术》 *
黄大刚 等: "从平面显微图像中提取三维位置反馈信息方法的研究", 《仪器仪表学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765484A (zh) * 2018-05-18 2018-11-06 北京航空航天大学 基于两台高速摄像机的活体昆虫运动采集及数据重构方法
CN112304238A (zh) * 2019-07-29 2021-02-02 晟耀光电科技股份有限公司 2d及3d量测装置

Also Published As

Publication number Publication date
US20180198972A1 (en) 2018-07-12
US10362215B2 (en) 2019-07-23
CN108036739B (zh) 2020-01-21

Similar Documents

Publication Publication Date Title
CN108036739A (zh) 一种基于移动光阑的显微三维测量系统及方法
CN104677305B (zh) 一种基于十字结构光的物体表面三维重建方法和系统
CN103994724B (zh) 基于数字图像处理技术的结构二维位移及应变监测方法
CN111507976B (zh) 基于多角度成像的缺陷检测方法及系统
CN111667536A (zh) 一种基于变焦相机深度估计的参数标定方法
CN110334701B (zh) 数字孪生环境下基于深度学习和多目视觉的数据采集方法
CN112132907B (zh) 一种相机标定方法、装置、电子设备及存储介质
CN110634161A (zh) 一种基于点云数据的工件位姿快速高精度估算方法及装置
CN109598704B (zh) 一种基于bp神经网络的粪便显微图像清晰度评价方法
CN104760812B (zh) 基于单目视觉的传送带上产品实时定位系统和方法
CN110889829A (zh) 一种基于鱼眼镜头的单目测距方法
CN103971379B (zh) 基于单摄像机等效双目立体视觉模型的泡沫立体特征提取方法
CN112801074A (zh) 一种基于交通摄像头的深度图估计方法
CN104167001B (zh) 基于正交补偿的大视场摄像机标定方法
CN116129037B (zh) 视触觉传感器及其三维重建方法、系统、设备及存储介质
CN112102414A (zh) 基于改进遗传算法和神经网络的双目远心镜头标定方法
CN113570658A (zh) 基于深度卷积网络的单目视频深度估计方法
CN107360416A (zh) 基于局部多元高斯描述子的立体图像质量评价方法
CN115880373A (zh) 基于新型编码特征的立体视觉系统的标定板及标定方法
CN115796267A (zh) 神经网络模型的训练方法及装置、自动聚焦方法
CN111641822A (zh) 一种重定位立体图像质量评价方法
CN106815871B (zh) 一种扫描电子显微镜成像系统的建模方法
CN107341808B (zh) 基于车辙图像的模拟月壤硬度视觉检测系统及测量方法
CN110766609B (zh) 一种针对ToF相机的景深图超分辨率重建方法
Lee et al. Optimizing image focus for 3D shape recovery through genetic algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant