CN108983702B - 基于计算机显微视觉切片扫描技术的显微视觉系统的显微视场数字化扩展方法及系统 - Google Patents

基于计算机显微视觉切片扫描技术的显微视觉系统的显微视场数字化扩展方法及系统 Download PDF

Info

Publication number
CN108983702B
CN108983702B CN201810622389.1A CN201810622389A CN108983702B CN 108983702 B CN108983702 B CN 108983702B CN 201810622389 A CN201810622389 A CN 201810622389A CN 108983702 B CN108983702 B CN 108983702B
Authority
CN
China
Prior art keywords
microscopic
field
slice
space
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810622389.1A
Other languages
English (en)
Other versions
CN108983702A (zh
Inventor
王代华
王坎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN201810622389.1A priority Critical patent/CN108983702B/zh
Publication of CN108983702A publication Critical patent/CN108983702A/zh
Application granted granted Critical
Publication of CN108983702B publication Critical patent/CN108983702B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/18Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/402Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control arrangements for positioning, e.g. centring a tool relative to a hole in the workpiece, additional detection means to correct position
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/37Measurements
    • G05B2219/37404Orientation of workpiece or tool, surface sensor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • G06T2207/10061Microscopic image from scanning electron microscope

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于计算显微视觉切片扫描技术的显微视觉系统的显微视场数字化扩展方法,其首先通过精密定位系统控制显微视觉系统在垂直光轴的平面沿定义坐标系的X、Y轴方向移动对焦平面位置的清晰成像的空间进行切片扫描,获取焦平面位置清晰成像的空间的多个局部视场切片扫描图图像,并记录精密定位系统的位移;然后利用二维切片扫描图像结合显微视觉系统的景深构建三维切片视场空间,并利用栅格化、栅格数值化技术对三维切片空间进行数字化获取三维切片视场空间数字化信息;最后,利用三维切片视场空间的数字化信息重构显微视觉系统扩展后的显微视场数字化信息。该方法能同时得到高分辨率、大视场、数字化的微装配系统的显微视场空间信息。

Description

基于计算机显微视觉切片扫描技术的显微视觉系统的显微视 场数字化扩展方法及系统
技术领域
本发明属于智能制造领域和科学研究领域,具体服务于微装配和微操作领域,具体涉及显微视觉观测技术,尤其设计显微视觉空间下包含多个同一尺度或者多尺度的超视场零件等。
背景技术
显微视觉系统是观测微小零件、微小物体、细胞的关键设备。为了能够清楚观测到不同尺寸物体的全局形貌信息,则需要根据不同物体尺寸调整显微视觉系统的放大倍数来获取相应的视场以及分辨率。这增加了操作难度也降低了显微视觉系统的观测精度。在高分辨率、高放大倍数下显微视觉系统能够看清微小物体,但放大倍数与视野大小成反比关系是其本身固有的特性,使得其不能观测到较大视野范围内的信息。因此,高分辨率与大视场的矛盾限制了显微视觉系统的性能。在微装配领域,针对不同尺度的物体或者零件装配,采用显微视觉系统无法在一个视场中获得所有待装配物体的完整信息,其观测一部分零件或者物体时,另一部分零件超出了显微视觉系统的视场范围,而无法同时观测,这会导致装配或操作物体时无法为执行其提供有效的控制信号,从而使得装配或操作无法顺利进行。基于以上问题,提出一种计算机显微视觉切片扫描技术及显微视场空间的显微视场扩展方法。
发明内容
本发明的目的是针对现有技术的不足,提供一种基于计算机显微视觉切片扫描技术的显微视觉系统的显微视场数字化扩展方法及系统,是针对显微视觉系统存在高分辨率与大视场难以同时满足的矛盾问题而导致观测任务技术难度大,精度低、效率低甚至无法准确完成等问题提出的一种解决方案。
本发明的技术方案如下:
本发明提出的计算机显微视觉切片扫描技术以及显微视觉系统的显微视场数字化扩展方法,其主要采用计算机显微视觉切片扫描技术,利用精密定位系统控制显微视觉系统对显微视场空间进行切片扫描,获取切片扫描图像;并基于切片扫描图像重构三维切片视场空间,栅格化以及栅格数值化获取三维切片空间数字化信息,并在此基础上计算扩展后的显微视场空间数字化信息。
本发明的总体方法过程如下:
步骤1、采用计算机显微视觉切片扫描技术获得切片扫描图像序列以及精密定位系统的位移量序列;
步骤2、基于计算机显微视觉切片扫描获取的切片扫描图像结合显微视觉系统的景深重构切片扫描图像的三维切片视场空间;计算三维切片空间数字化信息,得到视场扩展的数字化显微视场空间,实现显微视场扩展;
步骤2.1、基于计算机显微视觉切片扫描获取的切片扫描图像结合显微视觉系统的景深重构切片扫描图像的三维切片视场空间;
步骤2.2、去除三维切片视场空间以外的信息;
步骤2.3、三维切片视场空间栅格化以及栅格数值化,获取三维切片视场空间数字化信息;
步骤2.4、根据三维切片视场空间数字化信息,计算显微视场扩展三维显微视场空间的数字化信息。
进一步,步骤1中,(1.1)确定显微视觉系统物镜距定义坐标系原点沿Z轴方向上的距离,确定显微视觉系统焦平面在定义坐标系Z轴方向上的位置DF;确定进行计算机显微视觉切片扫描的精密定位系统I、II的步长、运动方向、运动方式、运动速度、初始位置以及初始位置显微视觉系统光轴穿过焦平面的图像主点位置为(x0,y0);确定相应的显微视觉系统的视场分辨率大小、景深大小、像元尺寸、放大倍数,设置合适的光源光强;
(1.2)精密定位系统II控制显微视觉系统I沿定义坐标系的X轴方向进行扫描,记录精密定位系统II的位移量为Dx;精密定位系统I控制显微视觉系统I沿定义坐标系的Y轴方向进行扫描,记录精密定位系统I的位移量为Dy,则:
Figure BDA0001698364300000021
Figure BDA0001698364300000022
设置精密定位系统II的步长为Δx,精密定位系统I的步长为Δy,则精密定位系统的位移量与步长的关系为:
Figure BDA0001698364300000023
Figure BDA0001698364300000024
根据精密定位系统I、II的位移量
Figure BDA0001698364300000025
定义每个扫描获取的图像序列号为
Figure BDA0001698364300000026
则获取的切片扫描图像序列建立的矩阵为:
Figure BDA0001698364300000031
其中:xN、yN表示精密定位系统在定义坐标系X轴、Y轴方向的最大位移序号;
Figure BDA0001698364300000032
为精密定位系统沿定义坐标系X轴、Y轴方向运动时在xi、yi序号位置时的位移量;Imgxy为沿定义坐标系X轴、Y轴方向运动作切片扫描时的切片扫描图像集合;
Figure BDA0001698364300000033
为在xi、yi序号位置时的切片扫描图像。
进一步,步骤2中,(2.1)基于计算机显微视觉切片扫描获取的切片扫描图像结合显微视觉系统的景深重构切片扫描图像的三维切片视场空间的方法如下:
根据显微视觉系统I的视场高H,视场宽W以及显微视觉系统的景深DOF,沿X轴、Y轴扫描的切片扫描图像序列Imgxy相对应的三维切片视场空间大小均为H×W×DOF,根据切片扫描图像序列构建的图像矩阵Imgxy,其对应的三维切片视场空间Sxy为:
Figure BDA0001698364300000034
式中
Figure BDA0001698364300000035
为:
Figure BDA0001698364300000036
其中
Figure BDA0001698364300000037
分别为三维切片视场空间
Figure BDA0001698364300000038
在X轴、Y轴、Z轴方向的范围。
(2.2)去除三维切片视场空间以外的信息的方法如下:
显微视觉系统I在沿定义坐标系X轴、Y轴方向进行切片扫描时,焦平面在Z轴方向上距定义坐标系原点的高度不变,针对三维切片视场空间
Figure BDA0001698364300000039
其对应的精密定位系统II、I的运动位移量为
Figure BDA00016983643000000310
此时在定义坐标系统中在X轴方向上
Figure BDA00016983643000000311
范围内,在Y轴方向上
Figure BDA00016983643000000312
范围内,在在Z轴方向上
Figure BDA0001698364300000041
范围内的信息均为三维切片视场空间
Figure BDA0001698364300000042
的信息,去除非该空间范围的信息,去除三维切片视场空间以外的信息后三维切片视场空间大小为:Hc×Wc×DOF。
(2.3)三维切片视场空间栅格化以及栅格数值化,获取三维切片视场空间数字化信息的方法如下:
针对三维切片视场空间
Figure BDA0001698364300000043
设置一个n×n×n个像素点的栅格立方体,利用
Figure BDA0001698364300000044
个栅格立方体对三维断层视场空间
Figure BDA0001698364300000045
离散化,并根据栅格立方体位置以及栅格立方体的函数值,构建一个三维数字化矩阵
Figure BDA0001698364300000046
表示,设置每个栅格立方体中像素点为1的个数
Figure BDA0001698364300000047
设置栅格立方体赋值阈值为TH,若
Figure BDA0001698364300000048
则此栅格立方体赋值为1,否则赋值为0。三维切片视场空间
Figure BDA0001698364300000049
中(pi,qi,ri)位置的栅格立方体的赋值函数为
Figure BDA00016983643000000410
即:
Figure BDA00016983643000000411
Figure BDA00016983643000000412
其中
Figure BDA00016983643000000413
pi∈[1 2 … p],qi∈[1 2 … q],ri∈[1 2 …r],
Figure BDA00016983643000000414
为三维切片视场空间
Figure BDA00016983643000000415
中位置为(pi,qi,ri)的栅格立方体中像素点为1的个数。
(2.4)根据三维切片视场空间数字化信息,计算显微视场扩展三维显微视场空间的数字化信息的方法如下:
利用三维切片视场空间的数字化矩阵
Figure BDA0001698364300000051
计算切片扫描的显微视觉系统的视场扩展的显微视场空间数字化矩阵Ge,得到的扩展后的三维显微视场空间的数字化信息用Ge表示,则:
Figure BDA0001698364300000052
此时数字化信息Ge描述的三维显微视场空间大小为:He×We×DOF。其中:
We=xNΔx
He=yNΔy
所述方法适用于双目、三目以及多目显微视觉系统的显微视场扩展。
所述方法适用于微装配、微操作系统、细胞操作系统的显微视觉系统的显微视场扩展,在计算机中能够对扩展的显微视觉系统的显微视场中对微型零件进行操作。
本发明提出实现上述方法的显微视场数字化扩展系统,包括精密定位系统、显微视觉系统和主计算机:
所述精密定位系统用于带动显微视觉系统沿显微视觉系统光轴方向垂直的平面内运动以及进行精密定位;其包括实现二维精密运动的运动装置和实现定位精度与显微视觉系统景深匹配的高精度定位运动驱动执行器及控制器。
所述显微视觉系统用于进行图像切片扫描获得切片扫描图像序列;其包括显微放大单元,即通过光学显微镜或者电子显微镜实现对显微视场空间中成像物体的放大,成像单元,即通过CCD或CMOS相机完成对显微视场空间中的物体成像。
所述主计算机用于对精密定位系统和显微视觉系统进行控制,并对获得的信息进行计算,以及进行数字化显微视场空间结果显示。
进一步,本发明的显微视场扩展系统,还配置有位移量标准量系统,控制切片位置和记录所获得的切片的位置信息;其包括设置于精密定位系统的运动机构上实现位移传感的位移量传感器,以及进行导轨控制运动反馈控制的精密定位系统控制器以及位移传感器控制器。
本发明具有下述优点:
本发明显微视觉系统扩展的视场数字化信息为利用显微视觉系统的小视场结合显微视觉系统的景深重构三维视场空间数字化获得,其数字化信息含有所有小视场切片图像成像视场空间信息,并有效的表征了显微视觉系统的显微视场扩展后大视场空间信息,因此,
(1)针对显微视觉系统高分辨率与视场范围的矛盾,本发明在保持显微视觉系统高分辨率的情况下扩大的了显微视觉系统清晰成像的视场范围。
(2)将超视场的微装配系统的显微视场空间信息用数字化的形式表示出来,形象直观的表征了超视场显微视场空间下物体的三维信息,该方法能同时得到高分辨率、大视场、数字化的微装配系统的显微视场空间信息。
(3)相对现有的显微视觉系统通过调整放大倍数提高视场大小的方法,本发明避免了调整放大倍数而使得相机模型内外参数发生变化而未重复进行相机标定而导致的计算误差问题;
(4)利用数字化技术获取视场扩展后三维显微视场空间,避免了现有通过图像提取特征点拼接融合获取扩展视场而导致的计算复杂、拼接精度不高等的缺陷;
(5)通过视场扩展后三维数字化显微视场空间,在同一视场内得到多个零件的分布以及对空间的占据情况,获取了零件三维信息,为零件的高精度操作提供了必要条件。
附图说明
图1是基于计算机显微视觉切片扫描技术扩展显微视场示意图
图2是基于计算机显微视觉切片扫描技术扩展显微视场系统结构图
图3是具有位移传感器的精密定位系统的计算机显微视觉切片扫描技术扩展显微视场系统结构图
图4是基于计算机显微视觉切片扫描技术的双目显微视觉系统扩展显微视场示意图
图5是具有位移传感器的精密定位系统的基于计算机显微视觉切片扫描技术的双目显微视觉系统扩展显微视场系统结构图
图6是基于计算机显微视觉切片扫描技术的三目显微视觉系统扩展显微视场示意图
图7是具有位移传感器的精密定位系统的基于计算机显微视觉切片扫描技术的三目显微视觉系统扩展显微视场系统结构图。
图中:1、显微视觉系统Ⅰ,2、精密定位系统Ⅰ,3、精密定位系统Ⅱ,4、显微视觉系统运动方法,5、Y轴方向视场扩展范围,6、显微视觉系统的显微视场空间,7、显微视场高度,8、显微视场宽度,9、X轴方向视场扩展范围,10、定义坐标系,11、工作台,12、主计算机,13、图像采集卡,14、光源控制器,15、精密定位系统控制器,16、位移传感器控制器,17、微夹钳控制器,18、显微视觉系统Ⅰ同轴光源,19、零件,20、微夹钳系统,21、精密定位系统Ⅰ位移传感器,22、精密定位系统Ⅱ位移传感器,23、显微视觉系统Ⅱ,24、精密定位系统Ⅲ,25、精密定位系统Ⅳ,26、显微视觉系统Ⅱ扩展后的显微视场空间,27精密定位系统Ⅳ位移传感器,28精密定位系统Ⅲ位移传感器,29、显微视觉系统Ⅱ同轴光源,30、显微视觉系统Ⅲ,31、精密定位系统Ⅴ,32、精密定位系统Ⅵ,33、显微视觉系统Ⅲ扩展的视场,34、精密定位系统Ⅵ位移传感器,35、精密定位系统Ⅴ的位移传感器,36、显微视觉系统Ⅲ同轴光源。
具体实施方式
以下将结合附图,对本发明的优选实施例进行详细描述。优选实施例仅为了说明本发明,而不是为了限制本发明的保护范围。
本发明包括计算机显微视觉切片扫描技术以及显微视觉系统的显微视场数字化扩展方法。
所述的计算显微视觉切片扫描技术为保持显微视觉系统的焦平面沿Z轴方向上的位置不变,利用二维正交运动的精密定位系统I、II(2、3)控制显微视觉系统(1)在垂直光轴的平面沿定义坐标系(10)的X、Y轴方向移动进行显微视觉切片扫描,获取切片扫描图像序列,并分别记录精密定位系统I、II(2、3)的位移Dy、Dx;所述的显微视觉系统包括:①显微放大部分,即通过光学显微镜或者电子显微镜实现对显微视场空间中成像物体的放大;②成像部分,即通过CCD或CMOS相机完成对显微视场空间中的物体成像。所述的精密定位系统包括:①实现二维精密运动的运动装置;②实现定位精度与显微视觉系统视场大小匹配的高精度定位运动驱动装置及控制器。
所述的基于计算机显微视觉切片扫描技术的显微视场扩展方法为利用显微视觉切片扫描的切片扫描图像结合显微视觉系统的景深获取切片图像的三维切片视场空间;然后通过栅格化、栅格数值化等技术获取三维切片视场空间的数字化信息;最后利用三维切片视场空间的数字化信息获取经过视场扩展后的数字化显微视场空间,以完成显微视场扩展。
实施例1:
图1所示为基于计算机显微视觉切片扫描技术数字化扩展显微视场示意图,其有精密定位系统II、I(3、2)控制显微视觉系统I(1)沿着定义坐标系的X轴、Y轴切片扫描,获取切片扫描图像序列,并记录各精密定位系统的位移量序列。其中切片扫描图像扩展的视场宽如标号9所示,扩展的视场高如标号5所示。
针对图1所示的计算机显微视觉切片扫描技术,其构建系统结构示意图如图2所示。由图2可知,计算机显微视觉切片扫描技术的系统主要包括:二维正交运动的精密定位系统I、II(2、3)以及其控制器(15),显微视觉系统I(1)以及图像采集设备(13),微夹钳系统(20)、工作台(11)以及主计算机(12)。
如图2和图3所示,针对精密定位系统,分别配置位移传感器I、II(21、22)及控制器。
实施例2:
如图4所示,本显微视场数字化扩展系统适用于双目正交的显微视觉系统的显微视场扩展,针对图4所示的双目正交的显微视觉系统,显微视觉系统I(1)利用精密定位系统II、I(3、2)控制其沿着定义坐标系X轴、Y轴作切片上扫描;显微视觉系统II(23)利用精密定位系统III、IV(24、25)控制其沿着定义坐标系的Y轴、Z轴作切片扫描,分别利用切片扫描图像重构三维切片视场空间,并利用数字化方法获取三维切片视场空间的数字化信息,针对每一目的数字化处理方法与实施例4的具体过程一致。在此基础上,分别获取视场空间的三维显微视场空间。双目正交的显微视觉系统的显微视场扩展的系统结构如图5所示,其分别针对所有精密定位系统系统配置位移传感器,获取高精密的位移量。
实施例3:
如图6所示,本显微视场数字化扩展系统也适用于三目正交的显微视觉系统的显微视场扩展,针对图6所示的三目正交的显微视觉系统,利用精密定位系统II、I(3、2)控制显微视觉系统I(1)在定义坐标系的X轴、Y轴方向切片扫描获取切片扫描图像;利用精密定位系统III、IV(24、25)控制显微视觉系统II(23)在定义坐标系统的Y轴、Z轴方向切片扫描获取切片扫描图像;利用精密定位系统V、VI(31、32)控制显微视觉系统III(30)在定义坐标系的X轴、Z轴方向作切片扫描并获取切片扫描图像;分别利用切片扫描图像重构三维切片视场空间,并利用数字化方法获取三维切片视场空间的数字化信息,针对每一目的数字化处理方法与实施例4的具体过程一致。在此基础上,分别获取视场空间的三维显微视场空间。三目正交的显微视觉系统的显微视场扩展的系统结构如图7所示,其分别针对所有精密定位系统系统配置位移传感器,获取高精密的位移量。
实施例4:
以上实施例1、实施例2、实施例3显示的系统,均采用以下方法实现显微视场扩展:
步骤1:获取显微视场空间的切片扫描图像。
利用计算机显微视觉切片扫描技术通过精密定位系统控制显微视觉系统在垂直光轴的平面沿定义坐标系的X轴、Y轴方向对焦平面位置的清晰成像的空间进行切片扫描,获取焦平面位置的清晰成像的空间的多个局部视场切片扫描图像,获取显微视觉系统焦平面位置的清晰成像的空间的二维局部切片图像,具体内容如下:
(1.1)确定显微视觉系统物镜距定义坐标系原点沿Z轴方向上的距离,确定显微视觉系统焦平面在定义坐标系Z轴方向上的位置DF
(1.2)确定进行计算机显微视觉切片扫描的精密定位系统I、II(2、3)的步长、运动方向、运动方式、运动速度、初始位置以及初始位置显微视觉系统光轴穿过焦平面的图像主点位置为(x0,y0);确定相应的显微视觉系统的视场分辨率大小、景深大小、像元尺寸、放大倍数,设置合适的光源光强。
(1.3)精密定位系统II(3)控制显微视觉系统I(1)沿着定义坐标系的X轴方向进行扫描,记录精密定位系统II(3)的位移为Dx;精密定位系统I(2)控制显微视觉系统I(1)沿着定义坐标系的Y轴方向进行扫描,记录精密定位系统I(2)的位移为Dy。则:
Figure BDA0001698364300000091
Figure BDA0001698364300000092
设置精密定位系统II(3)的步长为Δx,精密定位系统I(2)的步长为Δy,则精密定位系统的位移与步长的关系为:
Figure BDA0001698364300000093
Figure BDA0001698364300000094
根据精密定位系统I、II(2、3)的位移量
Figure BDA0001698364300000095
定义每个扫描获取的图像序列号为
Figure BDA0001698364300000096
则获取的切片扫描图像序列建立的矩阵为:
Figure BDA0001698364300000097
其中:xN、yN表示精密定位系统在定义坐标系X轴、Y轴方向的最大位移序号;
Figure BDA0001698364300000098
为精密定位系统沿着定义坐标系X轴、Y轴方向运动时在xi、yi序号位置时的位移量;Imgxy为沿着定义坐标系X轴、Y轴方向运动作切片扫描时的切片扫描图像集合;
Figure BDA0001698364300000099
为在xi、yi序号位置时的切片扫描图像。
步骤2:基于计算机显微视觉切片扫描获取的切片扫描图像结合显微视觉系统的景深重构切片扫描图像的三维切片视场空间;计算三维切片空间数字化信息,得到视场扩展的数字化显微视场空间,实现显微视场扩展。
步骤2.1、基于计算机显微视觉切片扫描获取的切片扫描图像结合显微视觉系统的景深重构切片扫描图像的三维切片视场空间:
根据显微视觉系统(1)的视场高H,视场宽W以及显微视觉系统的景深DOF,沿X轴、Y轴扫描的切片扫描图像序列Imgxy相对应的三维切片视场空间大小均为H×W×DOF。根据切片扫描图像序列构建的图像矩阵Imgxy,其对应的三维切片视场空间Sxy为:
Figure BDA0001698364300000101
步骤2.2、去除三维切片视场空间以外的信息:
显微视觉系统(1)在沿定义坐标系X轴、Y轴方向进行切片扫描时,焦平面在Z轴方向上距定义坐标系原点的高度不变。针对三维切片视场空间
Figure BDA0001698364300000102
其对应的精密定位系统II、I(3、2)的运动位移为
Figure BDA0001698364300000103
此时在定义坐标系统中在X轴方向上
Figure BDA0001698364300000104
范围内,在Y轴方向上
Figure BDA0001698364300000105
范围内,在在Y轴方向上
Figure BDA0001698364300000106
范围内的信息均为三维切片视场空间
Figure BDA0001698364300000107
的信息,去除非该空间范围的信息。去除三维切片视场空间以外的信息后三维切片视场空间大小为:Hc×Wc×DOF。
步骤2.3、三维切片视场空间栅格化以及栅格数值化,获取三维切片视场空间数字化信息:
针对三维切片视场空间
Figure BDA0001698364300000108
设置一个n×n×n个像素点的栅格立方体,利用
Figure BDA0001698364300000109
个栅格立方体对三维断层视场空间
Figure BDA00016983643000001010
离散化,并根据栅格立方体位置以及栅格立方体的函数值,构建一个三维数字化矩阵
Figure BDA00016983643000001011
表示。设置每个栅格立方体中像素点为1的个数
Figure BDA00016983643000001012
设置栅格立方体赋值阈值为TH,若
Figure BDA00016983643000001013
则此栅格立方体赋值为1,否则赋值为0。三维切片视场空间
Figure BDA00016983643000001014
中(pi,qi,ri)位置的栅格立方体的赋值函数为
Figure BDA00016983643000001015
即:
Figure BDA0001698364300000111
Figure BDA0001698364300000112
其中
Figure BDA0001698364300000113
pi∈[1 2 … p],qi∈[1 2 … q],ri∈[1 2 …r],
Figure BDA0001698364300000114
为三维切片视场空间
Figure BDA0001698364300000115
中位置为(pi,qi,ri)的栅格立方体中像素点为1的个数。
步骤2.4、根据三维切片视场空间数字化信息,计算显微视场扩展三维显微视场空间的数字化信息:
利用三维切片视场空间的数字化矩阵
Figure BDA0001698364300000116
计算切片扫描的显微视觉系统的视场扩展的显微视场空间数字化矩阵Ge,得到的扩展后的三维显微视场空间的数字化信息用Ge表示,则:
Figure BDA0001698364300000117
此时数字化信息Ge描述的三维显微视场空间大小为:He×We×DOF。其中:
We=xNΔx
He=yNΔy
以上所述仅为本发明的优选实施例,并不用于限制本发明,显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种基于计算机显微视觉切片扫描技术的显微视觉系统的显微视场数字化扩展方法,其特征在于所述方法是利用计算机显微视觉切片扫描技术以及基于计算机显微视觉切片扫描技术的显微视场扩展技术来获取视场扩展三维数字化显微视场空间,其包括步骤:
(1)采用计算机显微视觉切片扫描技术获得切片扫描图像序列以及精密定位系统的位移量序列;
(2)基于计算机显微视觉切片扫描获取的切片扫描图像结合显微视觉系统的景深重构切片扫描图像的三维切片视场空间;计算三维切片空间数字化信息,得到视场扩展的数字化显微视场空间,实现显微视场扩展;
(2.1)基于计算机显微视觉切片扫描获取的切片扫描图像结合显微视觉系统的景深重构切片扫描图像的三维切片视场空间;
(2.2)去除三维切片视场空间以外的信息;
(2.3)三维切片视场空间栅格化以及栅格数值化,获取三维切片视场空间数字化信息;
(2.4)根据三维切片视场空间数字化信息,计算显微视场扩展三维显微视场空间的数字化信息;
所述步骤(1)采用计算机显微视觉切片扫描技术获得切片扫描图像序列的方法如下:
(1.1)确定显微视觉系统物镜距定义坐标系原点沿Z轴方向上的距离,确定显微视觉系统焦平面在定义坐标系Z轴方向上的位置DF;确定进行计算机显微视觉切片扫描的精密定位系统I、II(2、3)的步长、运动方向、运动方式、运动速度、初始位置以及初始位置显微视觉系统光轴穿过焦平面的图像主点位置为(x0,y0);确定相应的显微视觉系统的视场分辨率大小、景深大小、像元尺寸、放大倍数,设置合适的光源光强;
(1.2)精密定位系统II(3)控制显微视觉系统I(1)沿定义坐标系的X轴方向进行扫描,记录精密定位系统II(3)的位移量为Dx;精密定位系统I(2)控制显微视觉系统I(1)沿定义坐标系的Y轴方向进行扫描,记录精密定位系统I(2)的位移量为Dy,则:
Figure FDA0002675329780000011
Figure FDA0002675329780000012
设置精密定位系统II(3)的步长为Δx,精密定位系统I(2)的步长为Δy,则精密定位系统的位移量与步长的关系为:
Figure FDA0002675329780000013
Figure FDA0002675329780000014
根据精密定位系统I、II(2、3)的位移量
Figure FDA0002675329780000015
定义每个扫描获取的图像序列号为
Figure FDA0002675329780000016
则获取的切片扫描图像序列建立的矩阵为:
Figure FDA0002675329780000021
其中:xN、yN表示精密定位系统在定义坐标系X轴、Y轴方向的最大位移序号;
Figure FDA0002675329780000022
为精密定位系统沿定义坐标系X轴、Y轴方向运动时在xi、yi序号位置时的位移量;Imgxy为沿定义坐标系X轴、Y轴方向运动作切片扫描时的切片扫描图像集合;
Figure FDA0002675329780000023
为在xi、yi序号位置时的切片扫描图像。
2.根据权利要求1所述的显微视场数字化扩展方法,其特征在于,所述切片扫描的精密定位系统II(3)的步长Δx以及精密定位系统I(2)的步长Δy需要满足:
Δx≤W
Δy≤H
其中W、H分别为显微视觉系统I(1)的显微视场的宽度和高度。
3.根据权利要求1所述的显微视场数字化扩展方法,其特征在于,所述步骤(2.1)基于计算机显微视觉切片扫描获取的切片扫描图像结合显微视觉系统的景深重构切片扫描图像的三维切片视场空间的方法如下:
根据显微视觉系统I(1)的视场高H,视场宽W以及显微视觉系统的景深DOF,沿X轴、Y轴扫描的切片扫描图像序列Imgxy相对应的三维切片视场空间大小均为H×W×DOF,根据切片扫描图像序列Imgxy,其对应的三维切片视场空间Sxy为:
Figure FDA0002675329780000024
式中
Figure FDA0002675329780000025
为:
Figure FDA0002675329780000026
其中
Figure FDA0002675329780000027
分别为三维切片视场空间
Figure FDA0002675329780000028
在X轴、Y轴、Z轴方向的范围。
4.根据权利要求1所述的显微视场数字化扩展方法,其特征在于,所述步骤(2.2)去除三维切片视场空间以外的信息的方法如下:
显微视觉系统I(1)在沿定义坐标系X轴、Y轴方向进行切片扫描时,焦平面在Z轴方向上距定义坐标系原点的高度不变,针对三维切片视场空间
Figure FDA0002675329780000031
其对应的精密定位系统II、I(3、2)的运动位移量为
Figure FDA0002675329780000032
此时在定义坐标系统中在X轴方向上
Figure FDA0002675329780000033
范围内,在Y轴方向上
Figure FDA0002675329780000034
范围内,在Z轴方向上
Figure FDA0002675329780000035
范围内的信息均为三维切片视场空间
Figure FDA0002675329780000036
的信息,去除非该空间范围的信息,去除三维切片视场空间以外的信息后三维切片视场空间大小为:Hc×Wc×DOF。
5.根据权利要求1所述的显微视场数字化扩展方法,其特征在于,所述步骤(2.3)三维切片视场空间栅格化以及栅格数值化,获取三维切片视场空间数字化信息的方法如下:
针对三维切片视场空间
Figure FDA0002675329780000037
设置一个n×n×n个像素点的栅格立方体,利用
Figure FDA0002675329780000038
个栅格立方体对三维切片视场空间
Figure FDA0002675329780000039
离散化,其中Hc是三维切片视场空间
Figure FDA00026753297800000310
的高,Wc是三维切片视场空间
Figure FDA00026753297800000311
的宽,并根据栅格立方体位置以及栅格立方体的函数值,构建一个三维数字化矩阵
Figure FDA00026753297800000312
表示,设置每个栅格立方体中像素点为1的个数
Figure FDA00026753297800000313
设置栅格立方体赋值阈值为TH,若
Figure FDA00026753297800000314
则此栅格立方体赋值为1,否则赋值为0,三维切片视场空间
Figure FDA00026753297800000315
中(pi,qi,ri)位置的栅格立方体的赋值函数为
Figure FDA00026753297800000316
即:
Figure FDA00026753297800000317
Figure FDA00026753297800000318
其中
Figure FDA00026753297800000319
pi∈[1 2…p],qi∈[1 2…q],ri∈[1 2…r],
Figure FDA00026753297800000320
为三维切片视场空间
Figure FDA00026753297800000321
中位置为(pi,qi,ri)的栅格立方体中像素点为1的个数。
6.根据权利要求1所述的显微视场数字化扩展方法,其特征在于,所述步骤(2.4)根据三维切片视场空间数字化信息,计算显微视场扩展三维显微视场空间的数字化信息的方法如下:
利用三维切片视场空间的数字化矩阵
Figure FDA0002675329780000041
计算切片扫描的显微视觉系统的视场扩展的显微视场空间数字化矩阵Ge,得到的扩展后的三维显微视场空间的数字化信息用Ge表示,则:
Figure FDA0002675329780000042
此时数字化信息Ge描述的三维显微视场空间大小为:He×We×DOF,He和We分别是三维显微视场空间的高和宽,其中:
We=xNΔx
He=yNΔy
7.根据权利要求1-6任一项所述的显微视场数字化扩展方法,其特征在于,所述方法适用于双目、三目以及多目显微视觉系统的显微视场扩展;所述方法适用于微装配、微操作系统、细胞操作系统的显微视觉系统的显微视场扩展,在计算机中能够对扩展的显微视觉系统的显微视场中对微型零件进行操作。
8.一种实现权利要求1-7任一项所述方法的显微视场数字化扩展系统,包括精密定位系统、显微视觉系统和主计算机,其特征在于,所述精密定位系统用于带动显微视觉系统沿显微视觉系统光轴方向垂直的平面内运动以及进行精密定位;其包括实现二维精密运动的运动装置和实现定位精度与显微视觉系统景深匹配的高精度定位运动驱动执行器及控制器;
所述显微视觉系统用于进行图像切片扫描获得切片扫描图像序列;其包括显微放大单元,即通过光学显微镜或者电子显微镜实现对显微视场空间中成像物体的放大,成像单元,即通过CCD或CMOS相机完成对显微视场空间中的物体成像;
所述主计算机用于对精密定位系统和显微视觉系统进行控制,并对获得的信息进行计算,以及进行数字化显微视场空间结果显示。
9.根据权利要求8所述的显微视场数字化扩展系统,其特征在于,还配置有位移量标准量系统,控制切片位置和记录所获得的切片的位置信息;其包括设置于精密定位系统的运动机构上实现位移传感的位移量传感器,以及进行导轨控制运动反馈控制的精密定位系统控制器以及位移传感器控制器。
CN201810622389.1A 2018-06-15 2018-06-15 基于计算机显微视觉切片扫描技术的显微视觉系统的显微视场数字化扩展方法及系统 Active CN108983702B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810622389.1A CN108983702B (zh) 2018-06-15 2018-06-15 基于计算机显微视觉切片扫描技术的显微视觉系统的显微视场数字化扩展方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810622389.1A CN108983702B (zh) 2018-06-15 2018-06-15 基于计算机显微视觉切片扫描技术的显微视觉系统的显微视场数字化扩展方法及系统

Publications (2)

Publication Number Publication Date
CN108983702A CN108983702A (zh) 2018-12-11
CN108983702B true CN108983702B (zh) 2020-11-27

Family

ID=64541391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810622389.1A Active CN108983702B (zh) 2018-06-15 2018-06-15 基于计算机显微视觉切片扫描技术的显微视觉系统的显微视场数字化扩展方法及系统

Country Status (1)

Country Link
CN (1) CN108983702B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113393407B (zh) * 2020-03-12 2023-02-10 平湖莱顿光学仪器制造有限公司 一种获取试样的显微图像信息的方法与设备
CN112903236A (zh) * 2021-01-29 2021-06-04 上海交通大学 一种基于焦平面扫描的气动热力参数光学测试装置及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101226052A (zh) * 2008-01-31 2008-07-23 武汉理工大学 三维微观形貌斜扫描方法及装置
CN101870039A (zh) * 2010-06-12 2010-10-27 中国电子科技集团公司第四十五研究所 双工作台驱动激光加工机及其加工方法
CN104111242A (zh) * 2014-06-17 2014-10-22 费鹏 一种三维像素超分辨显微成像方法
CN105334612A (zh) * 2015-12-18 2016-02-17 苏州创继生物科技有限公司 显微扫描平台xy平面的平面度校准方法
CN107422336A (zh) * 2016-07-25 2017-12-01 北京理工大学 一种大视场大景深的变分辨率非扫描条纹管激光成像系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101226052A (zh) * 2008-01-31 2008-07-23 武汉理工大学 三维微观形貌斜扫描方法及装置
CN101870039A (zh) * 2010-06-12 2010-10-27 中国电子科技集团公司第四十五研究所 双工作台驱动激光加工机及其加工方法
CN104111242A (zh) * 2014-06-17 2014-10-22 费鹏 一种三维像素超分辨显微成像方法
CN105334612A (zh) * 2015-12-18 2016-02-17 苏州创继生物科技有限公司 显微扫描平台xy平面的平面度校准方法
CN107422336A (zh) * 2016-07-25 2017-12-01 北京理工大学 一种大视场大景深的变分辨率非扫描条纹管激光成像系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
用于微装配的显微视觉系统标定技术的研究;许红梅;《中国硕士学位论文全文数据库 信息科技辑》;20120131;全文 *
自动微装配系统的关键技术研究;吴朝明;《中国博士学位论文全文数据库 工程科技Ⅰ辑》;2014022;全文 *

Also Published As

Publication number Publication date
CN108983702A (zh) 2018-12-11

Similar Documents

Publication Publication Date Title
Tiwari et al. Assessment of high speed imaging systems for 2D and 3D deformation measurements: methodology development and validation
US6816606B2 (en) Method for maintaining high-quality focus during high-throughput, microscopic digital montage imaging
US7646938B2 (en) Method and system for super-resolution of confocal images acquired through an image guide, and device used for implementing such a method
US20180088306A1 (en) Observation Method and Specimen Observation Apparatus
CN105547834A (zh) 基于双目视觉的快速应力应变曲线测量系统及方法
JP2009526272A (ja) 顕微鏡媒体ベースの標本からデジタル画像データを収集するための方法および装置およびコンピュータプログラム製品
US20210118091A1 (en) Arrangement having a Coordinate Measuring Machine or Microscope
JP2011192214A (ja) 幾何特徴抽出装置、幾何特徴抽出方法、及びプログラム、三次元計測装置、物体認識装置
CN111127613B (zh) 基于扫描电子显微镜的图像序列三维重构方法及系统
CN112505910B (zh) 用显微镜拍摄试样图像的方法、系统、设备及介质
CN108983702B (zh) 基于计算机显微视觉切片扫描技术的显微视觉系统的显微视场数字化扩展方法及系统
CN112415733A (zh) 控制显微镜拍摄试样图像的方法、系统、设备及介质
CN109272575B (zh) 一种提高数字切片扫描仪建模速度的方法
CN105657263B (zh) 一种基于面阵相机的超分辨率数字切片扫描方法
CN108955562B (zh) 显微视觉系统显微景深数字化扩展方法及系统
CN113884519A (zh) 自导航x射线成像系统及成像方法
CN106657968A (zh) 三维特征信息感测系统及感测方法
CN109472778B (zh) 一种基于无人机的高耸结构外观检测方法
CN107590787B (zh) 一种扫描电子显微镜的图像畸变校正方法
CN108876838B (zh) 微操作系统的微操作空间的数字化方法及系统
CN108961419B (zh) 微装配系统的显微视觉系统的显微视场空间数字化方法及系统
CN108897279B (zh) 微装配系统的显微视觉系统的视场与景深数字化扩展方法及系统
US8914255B2 (en) Method, apparatus, and computer program product for focus prediction
Li et al. Single grid image based calibration of an optical microscope
CN108734763B (zh) 微装配系统的微装配空间的数字化方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant