CN108983702A - 基于计算机显微视觉切片扫描技术的显微视觉系统的显微视场数字化扩展方法及系统 - Google Patents
基于计算机显微视觉切片扫描技术的显微视觉系统的显微视场数字化扩展方法及系统 Download PDFInfo
- Publication number
- CN108983702A CN108983702A CN201810622389.1A CN201810622389A CN108983702A CN 108983702 A CN108983702 A CN 108983702A CN 201810622389 A CN201810622389 A CN 201810622389A CN 108983702 A CN108983702 A CN 108983702A
- Authority
- CN
- China
- Prior art keywords
- micro
- view
- field
- slice
- vision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
- G05B19/402—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control arrangements for positioning, e.g. centring a tool relative to a hole in the workpiece, additional detection means to correct position
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/37—Measurements
- G05B2219/37404—Orientation of workpiece or tool, surface sensor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
Abstract
本发明公开一种基于计算显微视觉切片扫描技术的显微视觉系统的显微视场数字化扩展方法,其首先通过精密定位系统控制显微视觉系统在垂直光轴的平面沿定义坐标系的X、Y轴方向移动对焦平面位置的清晰成像的空间进行切片扫描,获取焦平面位置清晰成像的空间的多个局部视场切片扫描图图像,并记录精密定位系统的位移;然后利用二维切片扫描图像结合显微视觉系统的景深构建三维切片视场空间,并利用栅格化、栅格数值化技术对三维切片空间进行数字化获取三维切片视场空间数字化信息;最后,利用三维切片视场空间的数字化信息重构显微视觉系统扩展后的显微视场数字化信息。该方法能同时得到高分辨率、大视场、数字化的微装配系统的显微视场空间信息。
Description
技术领域
本发明属于智能制造领域和科学研究领域,具体服务于微装配和微操作领域,具体涉及显微视觉观测技术,尤其设计显微视觉空间下包含多个同一尺度或者多尺度的超视场零件等。
背景技术
显微视觉系统是观测微小零件、微小物体、细胞的关键设备。为了能够清楚观测到不同尺寸物体的全局形貌信息,则需要根据不同物体尺寸调整显微视觉系统的放大倍数来获取相应的视场以及分辨率。这增加了操作难度也降低了显微视觉系统的观测精度。在高分辨率、高放大倍数下显微视觉系统能够看清微小物体,但放大倍数与视野大小成反比关系是其本身固有的特性,使得其不能观测到较大视野范围内的信息。因此,高分辨率与大视场的矛盾限制了显微视觉系统的性能。在微装配领域,针对不同尺度的物体或者零件装配,采用显微视觉系统无法在一个视场中获得所有待装配物体的完整信息,其观测一部分零件或者物体时,另一部分零件超出了显微视觉系统的视场范围,而无法同时观测,这会导致装配或操作物体时无法为执行其提供有效的控制信号,从而使得装配或操作无法顺利进行。基于以上问题,提出一种计算机显微视觉切片扫描技术及显微视场空间的显微视场扩展方法。
发明内容
本发明的目的是针对现有技术的不足,提供一种基于计算机显微视觉切片扫描技术的显微视觉系统的显微视场数字化扩展方法及系统,是针对显微视觉系统存在高分辨率与大视场难以同时满足的矛盾问题而导致观测任务技术难度大,精度低、效率低甚至无法准确完成等问题提出的一种解决方案。
本发明的技术方案如下:
本发明提出的计算机显微视觉切片扫描技术以及显微视觉系统的显微视场数字化扩展方法,其主要采用计算机显微视觉切片扫描技术,利用精密定位系统控制显微视觉系统对显微视场空间进行切片扫描,获取切片扫描图像;并基于切片扫描图像重构三维切片视场空间,栅格化以及栅格数值化获取三维切片空间数字化信息,并在此基础上计算扩展后的显微视场空间数字化信息。
本发明的总体方法过程如下:
步骤1、采用计算机显微视觉切片扫描技术获得切片扫描图像序列以及精密定位系统的位移量序列;
步骤2、基于计算机显微视觉切片扫描获取的切片扫描图像结合显微视觉系统的景深重构切片扫描图像的三维切片视场空间;计算三维切片空间数字化信息,得到视场扩展的数字化显微视场空间,实现显微视场扩展;
步骤2.1、基于计算机显微视觉切片扫描获取的切片扫描图像结合显微视觉系统的景深重构切片扫描图像的三维切片视场空间;
步骤2.2、去除三维切片视场空间以外的信息;
步骤2.3、三维切片视场空间栅格化以及栅格数值化,获取三维切片视场空间数字化信息;
步骤2.4、根据三维切片视场空间数字化信息,计算显微视场扩展三维显微视场空间的数字化信息。
进一步,步骤1中,(1.1)确定显微视觉系统物镜距定义坐标系原点沿Z轴方向上的距离,确定显微视觉系统焦平面在定义坐标系Z轴方向上的位置DF;确定进行计算机显微视觉切片扫描的精密定位系统I、II的步长、运动方向、运动方式、运动速度、初始位置以及初始位置显微视觉系统光轴穿过焦平面的图像主点位置为(x0,y0);确定相应的显微视觉系统的视场分辨率大小、景深大小、像元尺寸、放大倍数,设置合适的光源光强;
(1.2)精密定位系统II控制显微视觉系统I沿定义坐标系的X轴方向进行扫描,记录精密定位系统II的位移量为Dx;精密定位系统I控制显微视觉系统I沿定义坐标系的Y轴方向进行扫描,记录精密定位系统I的位移量为Dy,则:
设置精密定位系统II的步长为Δx,精密定位系统I的步长为Δy,则精密定位系统的位移量与步长的关系为:
根据精密定位系统I、II的位移量定义每个扫描获取的图像序列号为则获取的切片扫描图像序列建立的矩阵为:
其中:xN、yN表示精密定位系统在定义坐标系X轴、Y轴方向的最大位移序号;为精密定位系统沿定义坐标系X轴、Y轴方向运动时在xi、yi序号位置时的位移量;Imgxy为沿定义坐标系X轴、Y轴方向运动作切片扫描时的切片扫描图像集合;为在xi、yi序号位置时的切片扫描图像。
进一步,步骤2中,(2.1)基于计算机显微视觉切片扫描获取的切片扫描图像结合显微视觉系统的景深重构切片扫描图像的三维切片视场空间的方法如下:
根据显微视觉系统I的视场高H,视场宽W以及显微视觉系统的景深DOF,沿X轴、Y轴扫描的切片扫描图像序列Imgxy相对应的三维切片视场空间大小均为H×W×DOF,根据切片扫描图像序列构建的图像矩阵Imgxy,其对应的三维切片视场空间Sxy为:
式中为:
其中分别为三维切片视场空间在X轴、Y轴、Z轴方向的范围。
(2.2)去除三维切片视场空间以外的信息的方法如下:
显微视觉系统I在沿定义坐标系X轴、Y轴方向进行切片扫描时,焦平面在Z轴方向上距定义坐标系原点的高度不变,针对三维切片视场空间其对应的精密定位系统II、I的运动位移量为此时在定义坐标系统中在X轴方向上范围内,在Y轴方向上范围内,在在Z轴方向上范围内的信息均为三维切片视场空间的信息,去除非该空间范围的信息,去除三维切片视场空间以外的信息后三维切片视场空间大小为:Hc×Wc×DOF。
(2.3)三维切片视场空间栅格化以及栅格数值化,获取三维切片视场空间数字化信息的方法如下:
针对三维切片视场空间设置一个n×n×n个像素点的栅格立方体,利用个栅格立方体对三维断层视场空间离散化,并根据栅格立方体位置以及栅格立方体的函数值,构建一个三维数字化矩阵表示,设置每个栅格立方体中像素点为1的个数设置栅格立方体赋值阈值为TH,若则此栅格立方体赋值为1,否则赋值为0。三维切片视场空间中(pi,qi,ri)位置的栅格立方体的赋值函数为即:
其中pi∈[1 2 … p],qi∈[1 2 … q],ri∈[1 2 …r],为三维切片视场空间中位置为(pi,qi,ri)的栅格立方体中像素点为1的个数。
(2.4)根据三维切片视场空间数字化信息,计算显微视场扩展三维显微视场空间的数字化信息的方法如下:
利用三维切片视场空间的数字化矩阵计算切片扫描的显微视觉系统的视场扩展的显微视场空间数字化矩阵Ge,得到的扩展后的三维显微视场空间的数字化信息用Ge表示,则:
此时数字化信息Ge描述的三维显微视场空间大小为:He×We×DOF。其中:
We=xNΔx
He=yNΔy。
所述方法适用于双目、三目以及多目显微视觉系统的显微视场扩展。
所述方法适用于微装配、微操作系统、细胞操作系统的显微视觉系统的显微视场扩展,在计算机中能够对扩展的显微视觉系统的显微视场中对微型零件进行操作。
本发明提出实现上述方法的显微视场数字化扩展系统,包括精密定位系统、显微视觉系统和主计算机:
所述精密定位系统用于带动显微视觉系统沿显微视觉系统光轴方向垂直的平面内运动以及进行精密定位;其包括实现二维精密运动的运动装置和实现定位精度与显微视觉系统景深匹配的高精度定位运动驱动执行器及控制器。
所述显微视觉系统用于进行图像切片扫描获得切片扫描图像序列;其包括显微放大单元,即通过光学显微镜或者电子显微镜实现对显微视场空间中成像物体的放大,成像单元,即通过CCD或CMOS相机完成对显微视场空间中的物体成像。
所述主计算机用于对精密定位系统和显微视觉系统进行控制,并对获得的信息进行计算,以及进行数字化显微视场空间结果显示。
进一步,本发明的显微视场扩展系统,还配置有位移量标准量系统,控制切片位置和记录所获得的切片的位置信息;其包括设置于精密定位系统的运动机构上实现位移传感的位移量传感器,以及进行导轨控制运动反馈控制的精密定位系统控制器以及位移传感器控制器。
本发明具有下述优点:
本发明显微视觉系统扩展的视场数字化信息为利用显微视觉系统的小视场结合显微视觉系统的景深重构三维视场空间数字化获得,其数字化信息含有所有小视场切片图像成像视场空间信息,并有效的表征了显微视觉系统的显微视场扩展后大视场空间信息,因此,
(1)针对显微视觉系统高分辨率与视场范围的矛盾,本发明在保持显微视觉系统高分辨率的情况下扩大的了显微视觉系统清晰成像的视场范围。
(2)将超视场的微装配系统的显微视场空间信息用数字化的形式表示出来,形象直观的表征了超视场显微视场空间下物体的三维信息,该方法能同时得到高分辨率、大视场、数字化的微装配系统的显微视场空间信息。
(3)相对现有的显微视觉系统通过调整放大倍数提高视场大小的方法,本发明避免了调整放大倍数而使得相机模型内外参数发生变化而未重复进行相机标定而导致的计算误差问题;
(4)利用数字化技术获取视场扩展后三维显微视场空间,避免了现有通过图像提取特征点拼接融合获取扩展视场而导致的计算复杂、拼接精度不高等的缺陷;
(5)通过视场扩展后三维数字化显微视场空间,在同一视场内得到多个零件的分布以及对空间的占据情况,获取了零件三维信息,为零件的高精度操作提供了必要条件。
附图说明
图1是基于计算机显微视觉切片扫描技术扩展显微视场示意图
图2是基于计算机显微视觉切片扫描技术扩展显微视场系统结构图
图3是具有位移传感器的精密定位系统的计算机显微视觉切片扫描技术扩展显微视场系统结构图
图4是基于计算机显微视觉切片扫描技术的双目显微视觉系统扩展显微视场示意图
图5是具有位移传感器的精密定位系统的基于计算机显微视觉切片扫描技术的双目显微视觉系统扩展显微视场系统结构图
图6是基于计算机显微视觉切片扫描技术的三目显微视觉系统扩展显微视场示意图
图7是具有位移传感器的精密定位系统的基于计算机显微视觉切片扫描技术的三目显微视觉系统扩展显微视场系统结构图。
图中:1、显微视觉系统Ⅰ,2、精密定位系统Ⅰ,3、精密定位系统Ⅱ,4、显微视觉系统运动方法,5、Y轴方向视场扩展范围,6、显微视觉系统的显微视场空间,7、显微视场高度,8、显微视场宽度,9、X轴方向视场扩展范围,10、定义坐标系,11、工作台,12、主计算机,13、图像采集卡,14、光源控制器,15、精密定位系统控制器,16、位移传感器控制器,17、微夹钳控制器,18、显微视觉系统Ⅰ同轴光源,19、零件,20、微夹钳系统,21、精密定位系统Ⅰ位移传感器,22、精密定位系统Ⅱ位移传感器,23、显微视觉系统Ⅱ,24、精密定位系统Ⅲ,25、精密定位系统Ⅳ,26、显微视觉系统Ⅱ扩展后的显微视场空间,27精密定位系统Ⅳ位移传感器,28精密定位系统Ⅲ位移传感器,29、显微视觉系统Ⅱ同轴光源,30、显微视觉系统Ⅲ,31、精密定位系统Ⅴ,32、精密定位系统Ⅵ,33、显微视觉系统Ⅲ扩展的视场,34、精密定位系统Ⅵ位移传感器,35、精密定位系统Ⅴ的位移传感器,36、显微视觉系统Ⅲ同轴光源。
具体实施方式
以下将结合附图,对本发明的优选实施例进行详细描述。优选实施例仅为了说明本发明,而不是为了限制本发明的保护范围。
本发明包括计算机显微视觉切片扫描技术以及显微视觉系统的显微视场数字化扩展方法。
所述的计算显微视觉切片扫描技术为保持显微视觉系统的焦平面沿Z轴方向上的位置不变,利用二维正交运动的精密定位系统I、II(2、3)控制显微视觉系统(1)在垂直光轴的平面沿定义坐标系(10)的X、Y轴方向移动进行显微视觉切片扫描,获取切片扫描图像序列,并分别记录精密定位系统I、II(2、3)的位移Dy、Dx;所述的显微视觉系统包括:①显微放大部分,即通过光学显微镜或者电子显微镜实现对显微视场空间中成像物体的放大;②成像部分,即通过CCD或CMOS相机完成对显微视场空间中的物体成像。所述的精密定位系统包括:①实现二维精密运动的运动装置;②实现定位精度与显微视觉系统视场大小匹配的高精度定位运动驱动装置及控制器。
所述的基于计算机显微视觉切片扫描技术的显微视场扩展方法为利用显微视觉切片扫描的切片扫描图像结合显微视觉系统的景深获取切片图像的三维切片视场空间;然后通过栅格化、栅格数值化等技术获取三维切片视场空间的数字化信息;最后利用三维切片视场空间的数字化信息获取经过视场扩展后的数字化显微视场空间,以完成显微视场扩展。
实施例1:
图1所示为基于计算机显微视觉切片扫描技术数字化扩展显微视场示意图,其有精密定位系统II、I(3、2)控制显微视觉系统I(1)沿着定义坐标系的X轴、Y轴切片扫描,获取切片扫描图像序列,并记录各精密定位系统的位移量序列。其中切片扫描图像扩展的视场宽如标号9所示,扩展的视场高如标号5所示。
针对图1所示的计算机显微视觉切片扫描技术,其构建系统结构示意图如图2所示。由图2可知,计算机显微视觉切片扫描技术的系统主要包括:二维正交运动的精密定位系统I、II(2、3)以及其控制器(15),显微视觉系统I(1)以及图像采集设备(13),微夹钳系统(20)、工作台(11)以及主计算机(12)。
如图2和图3所示,针对精密定位系统,分别配置位移传感器I、II(21、22)及控制器。
实施例2:
如图4所示,本显微视场数字化扩展系统适用于双目正交的显微视觉系统的显微视场扩展,针对图4所示的双目正交的显微视觉系统,显微视觉系统I(1)利用精密定位系统II、I(3、2)控制其沿着定义坐标系X轴、Y轴作切片上扫描;显微视觉系统II(23)利用精密定位系统III、IV(24、25)控制其沿着定义坐标系的Y轴、Z轴作切片扫描,分别利用切片扫描图像重构三维切片视场空间,并利用数字化方法获取三维切片视场空间的数字化信息,针对每一目的数字化处理方法与实施例4的具体过程一致。在此基础上,分别获取视场空间的三维显微视场空间。双目正交的显微视觉系统的显微视场扩展的系统结构如图5所示,其分别针对所有精密定位系统系统配置位移传感器,获取高精密的位移量。
实施例3:
如图6所示,本显微视场数字化扩展系统也适用于三目正交的显微视觉系统的显微视场扩展,针对图6所示的三目正交的显微视觉系统,利用精密定位系统II、I(3、2)控制显微视觉系统I(1)在定义坐标系的X轴、Y轴方向切片扫描获取切片扫描图像;利用精密定位系统III、IV(24、25)控制显微视觉系统II(23)在定义坐标系统的Y轴、Z轴方向切片扫描获取切片扫描图像;利用精密定位系统V、VI(31、32)控制显微视觉系统III(30)在定义坐标系的X轴、Z轴方向作切片扫描并获取切片扫描图像;分别利用切片扫描图像重构三维切片视场空间,并利用数字化方法获取三维切片视场空间的数字化信息,针对每一目的数字化处理方法与实施例4的具体过程一致。在此基础上,分别获取视场空间的三维显微视场空间。三目正交的显微视觉系统的显微视场扩展的系统结构如图7所示,其分别针对所有精密定位系统系统配置位移传感器,获取高精密的位移量。
实施例4:
以上实施例1、实施例2、实施例3显示的系统,均采用以下方法实现显微视场扩展:
步骤1:获取显微视场空间的切片扫描图像。
利用计算机显微视觉切片扫描技术通过精密定位系统控制显微视觉系统在垂直光轴的平面沿定义坐标系的X轴、Y轴方向对焦平面位置的清晰成像的空间进行切片扫描,获取焦平面位置的清晰成像的空间的多个局部视场切片扫描图像,获取显微视觉系统焦平面位置的清晰成像的空间的二维局部切片图像,具体内容如下:
(1.1)确定显微视觉系统物镜距定义坐标系原点沿Z轴方向上的距离,确定显微视觉系统焦平面在定义坐标系Z轴方向上的位置DF;
(1.2)确定进行计算机显微视觉切片扫描的精密定位系统I、II(2、3)的步长、运动方向、运动方式、运动速度、初始位置以及初始位置显微视觉系统光轴穿过焦平面的图像主点位置为(x0,y0);确定相应的显微视觉系统的视场分辨率大小、景深大小、像元尺寸、放大倍数,设置合适的光源光强。
(1.3)精密定位系统II(3)控制显微视觉系统I(1)沿着定义坐标系的X轴方向进行扫描,记录精密定位系统II(3)的位移为Dx;精密定位系统I(2)控制显微视觉系统I(1)沿着定义坐标系的Y轴方向进行扫描,记录精密定位系统I(2)的位移为Dy。则:
设置精密定位系统II(3)的步长为Δx,精密定位系统I(2)的步长为Δy,则精密定位系统的位移与步长的关系为:
根据精密定位系统I、II(2、3)的位移量定义每个扫描获取的图像序列号为则获取的切片扫描图像序列建立的矩阵为:
其中:xN、yN表示精密定位系统在定义坐标系X轴、Y轴方向的最大位移序号;为精密定位系统沿着定义坐标系X轴、Y轴方向运动时在xi、yi序号位置时的位移量;Imgxy为沿着定义坐标系X轴、Y轴方向运动作切片扫描时的切片扫描图像集合;为在xi、yi序号位置时的切片扫描图像。
步骤2:基于计算机显微视觉切片扫描获取的切片扫描图像结合显微视觉系统的景深重构切片扫描图像的三维切片视场空间;计算三维切片空间数字化信息,得到视场扩展的数字化显微视场空间,实现显微视场扩展。
步骤2.1、基于计算机显微视觉切片扫描获取的切片扫描图像结合显微视觉系统的景深重构切片扫描图像的三维切片视场空间:
根据显微视觉系统(1)的视场高H,视场宽W以及显微视觉系统的景深DOF,沿X轴、Y轴扫描的切片扫描图像序列Imgxy相对应的三维切片视场空间大小均为H×W×DOF。根据切片扫描图像序列构建的图像矩阵Imgxy,其对应的三维切片视场空间Sxy为:
步骤2.2、去除三维切片视场空间以外的信息:
显微视觉系统(1)在沿定义坐标系X轴、Y轴方向进行切片扫描时,焦平面在Z轴方向上距定义坐标系原点的高度不变。针对三维切片视场空间其对应的精密定位系统II、I(3、2)的运动位移为此时在定义坐标系统中在X轴方向上范围内,在Y轴方向上范围内,在在Y轴方向上范围内的信息均为三维切片视场空间的信息,去除非该空间范围的信息。去除三维切片视场空间以外的信息后三维切片视场空间大小为:Hc×Wc×DOF。
步骤2.3、三维切片视场空间栅格化以及栅格数值化,获取三维切片视场空间数字化信息:
针对三维切片视场空间设置一个n×n×n个像素点的栅格立方体,利用个栅格立方体对三维断层视场空间离散化,并根据栅格立方体位置以及栅格立方体的函数值,构建一个三维数字化矩阵表示。设置每个栅格立方体中像素点为1的个数设置栅格立方体赋值阈值为TH,若则此栅格立方体赋值为1,否则赋值为0。三维切片视场空间中(pi,qi,ri)位置的栅格立方体的赋值函数为即:
其中pi∈[1 2 … p],qi∈[1 2 … q],ri∈[1 2 …r],为三维切片视场空间中位置为(pi,qi,ri)的栅格立方体中像素点为1的个数。
步骤2.4、根据三维切片视场空间数字化信息,计算显微视场扩展三维显微视场空间的数字化信息:
利用三维切片视场空间的数字化矩阵计算切片扫描的显微视觉系统的视场扩展的显微视场空间数字化矩阵Ge,得到的扩展后的三维显微视场空间的数字化信息用Ge表示,则:
此时数字化信息Ge描述的三维显微视场空间大小为:He×We×DOF。其中:
We=xNΔx
He=yNΔy。
以上所述仅为本发明的优选实施例,并不用于限制本发明,显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种基于计算机显微视觉切片扫描技术的显微视觉系统的显微视场数字化扩展方法,其特征在于所述方法是利用计算机显微视觉切片扫描技术以及基于计算机显微视觉切片扫描技术的显微视场扩展技术来获取视场扩展三维数字化显微视场空间,其包括步骤:
(1)采用计算机显微视觉切片扫描技术获得切片扫描图像序列以及精密定位系统的位移量序列;
(2)基于计算机显微视觉切片扫描获取的切片扫描图像结合显微视觉系统的景深重构切片扫描图像的三维切片视场空间;计算三维切片空间数字化信息,得到视场扩展的数字化显微视场空间,实现显微视场扩展;
(2.1)基于计算机显微视觉切片扫描获取的切片扫描图像结合显微视觉系统的景深重构切片扫描图像的三维切片视场空间;
(2.2)去除三维切片视场空间以外的信息;
(2.3)三维切片视场空间栅格化以及栅格数值化,获取三维切片视场空间数字化信息;
(2.4)根据三维切片视场空间数字化信息,计算显微视场扩展三维显微视场空间的数字化信息。
2.根据权利要求1所述的显微视场数字化扩展方法,其特征在于,所述步骤(1)采用计算机显微视觉切片扫描技术获得切片扫描图像序列的方法如下:
(1.1)确定显微视觉系统物镜距定义坐标系原点沿Z轴方向上的距离,确定显微视觉系统焦平面在定义坐标系Z轴方向上的位置DF;确定进行计算机显微视觉切片扫描的精密定位系统I、II(2、3)的步长、运动方向、运动方式、运动速度、初始位置以及初始位置显微视觉系统光轴穿过焦平面的图像主点位置为(x0,y0);确定相应的显微视觉系统的视场分辨率大小、景深大小、像元尺寸、放大倍数,设置合适的光源光强;
(1.2)精密定位系统II(3)控制显微视觉系统I(1)沿定义坐标系的X轴方向进行扫描,记录精密定位系统II(3)的位移量为Dx;精密定位系统I(2)控制显微视觉系统I(1)沿定义坐标系的Y轴方向进行扫描,记录精密定位系统I(2)的位移量为Dy,则:
设置精密定位系统II(3)的步长为Δx,精密定位系统I(2)的步长为Δy,则精密定位系统的位移量与步长的关系为:
根据精密定位系统I、II(2、3)的位移量定义每个扫描获取的图像序列号为则获取的切片扫描图像序列建立的矩阵为:
其中:xN、yN表示精密定位系统在定义坐标系X轴、Y轴方向的最大位移序号;为精密定位系统沿定义坐标系X轴、Y轴方向运动时在xi、yi序号位置时的位移量;Imgxy为沿定义坐标系X轴、Y轴方向运动作切片扫描时的切片扫描图像集合;为在xi、yi序号位置时的切片扫描图像。
3.根据权利要求2所述的显微视场数字化扩展方法,其特征在于,所述切片扫描的精密定位系统II(3)的步长Δx以及精密定位系统I(2)的步长Δy需要满足:
Δx≤W
Δy≤H
其中W、H分别为显微视觉系统I(1)的显微视场的宽度和高度。
4.根据权利要求1所述的显微视场数字化扩展方法,其特征在于,所述步骤(2.1)基于计算机显微视觉切片扫描获取的切片扫描图像结合显微视觉系统的景深重构切片扫描图像的三维切片视场空间的方法如下:
根据显微视觉系统I(1)的视场高H,视场宽W以及显微视觉系统的景深DOF,沿X轴、Y轴扫描的切片扫描图像序列Imgxy相对应的三维切片视场空间大小均为H×W×DOF,根据切片扫描图像序列Imgxy,其对应的三维切片视场空间Sxy为:
式中为:
其中分别为三维切片视场空间在X轴、Y轴、Z轴方向的范围。
5.根据权利要求1所述的显微视场数字化扩展方法,其特征在于,所述步骤(2.2)去除三维切片视场空间以外的信息的方法如下:
显微视觉系统I(1)在沿定义坐标系X轴、Y轴方向进行切片扫描时,焦平面在Z轴方向上距定义坐标系原点的高度不变,针对三维切片视场空间其对应的精密定位系统II、I(3、2)的运动位移量为此时在定义坐标系统中在X轴方向上范围内,在Y轴方向上范围内,在Z轴方向上范围内的信息均为三维切片视场空间的信息,去除非该空间范围的信息,去除三维切片视场空间以外的信息后三维切片视场空间大小为:Hc×Wc×DOF。
6.根据权利要求1所述的显微视场数字化扩展方法,其特征在于,所述步骤(2.3)三维切片视场空间栅格化以及栅格数值化,获取三维切片视场空间数字化信息的方法如下:
针对三维切片视场空间设置一个n×n×n个像素点的栅格立方体,利用个栅格立方体对三维切片视场空间离散化,并根据栅格立方体位置以及栅格立方体的函数值,构建一个三维数字化矩阵表示,设置每个栅格立方体中像素点为1的个数设置栅格立方体赋值阈值为TH,若则此栅格立方体赋值为1,否则赋值为0,三维切片视场空间中(pi,qi,ri)位置的栅格立方体的赋值函数为即:
其中pi∈[1 2 … p],qi∈[1 2 … q],ri∈[1 2 … r],为三维切片视场空间中位置为(pi,qi,ri)的栅格立方体中像素点为1的个数。
7.根据权利要求1所述的显微视场数字化扩展方法,其特征在于,所述步骤(2.4)根据三维切片视场空间数字化信息,计算显微视场扩展三维显微视场空间的数字化信息的方法如下:
利用三维切片视场空间的数字化矩阵计算切片扫描的显微视觉系统的视场扩展的显微视场空间数字化矩阵Ge,得到的扩展后的三维显微视场空间的数字化信息用Ge表示,则:
此时数字化信息Ge描述的三维显微视场空间大小为:He×We×DOF,其中:
We=xNΔx
He=yNΔy。
8.根据权利要求1-7所述的显微视场数字化扩展方法,其特征在于,所述方法适用于双目、三目以及多目显微视觉系统的显微视场扩展;所述方法适用于微装配、微操作系统、细胞操作系统的显微视觉系统的显微视场扩展,在计算机中能够对扩展的显微视觉系统的显微视场中对微型零件进行操作。
9.一种实现权利要求1-8所述方法的显微视场数字化扩展系统,包括精密定位系统、显微视觉系统和主计算机,其特征在于,所述精密定位系统用于带动显微视觉系统沿显微视觉系统光轴方向垂直的平面内运动以及进行精密定位;其包括实现二维精密运动的运动装置和实现定位精度与显微视觉系统景深匹配的高精度定位运动驱动执行器及控制器;
所述显微视觉系统用于进行图像切片扫描获得切片扫描图像序列;其包括显微放大单元,即通过光学显微镜或者电子显微镜实现对显微视场空间中成像物体的放大,成像单元,即通过CCD或CMOS相机完成对显微视场空间中的物体成像;
所述主计算机用于对精密定位系统和显微视觉系统进行控制,并对获得的信息进行计算,以及进行数字化显微视场空间结果显示。
10.根据权利要求7所述的显微视场数字化扩展系统,其特征在于,还配置有位移量标准量系统,控制切片位置和记录所获得的切片的位置信息;其包括设置于精密定位系统的运动机构上实现位移传感的位移量传感器,以及进行导轨控制运动反馈控制的精密定位系统控制器以及位移传感器控制器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810622389.1A CN108983702B (zh) | 2018-06-15 | 2018-06-15 | 基于计算机显微视觉切片扫描技术的显微视觉系统的显微视场数字化扩展方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810622389.1A CN108983702B (zh) | 2018-06-15 | 2018-06-15 | 基于计算机显微视觉切片扫描技术的显微视觉系统的显微视场数字化扩展方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108983702A true CN108983702A (zh) | 2018-12-11 |
CN108983702B CN108983702B (zh) | 2020-11-27 |
Family
ID=64541391
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810622389.1A Active CN108983702B (zh) | 2018-06-15 | 2018-06-15 | 基于计算机显微视觉切片扫描技术的显微视觉系统的显微视场数字化扩展方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108983702B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112903236A (zh) * | 2021-01-29 | 2021-06-04 | 上海交通大学 | 一种基于焦平面扫描的气动热力参数光学测试装置及方法 |
CN113393407A (zh) * | 2020-03-12 | 2021-09-14 | 平湖莱顿光学仪器制造有限公司 | 一种获取试样的显微图像信息的方法与设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101226052A (zh) * | 2008-01-31 | 2008-07-23 | 武汉理工大学 | 三维微观形貌斜扫描方法及装置 |
CN101870039A (zh) * | 2010-06-12 | 2010-10-27 | 中国电子科技集团公司第四十五研究所 | 双工作台驱动激光加工机及其加工方法 |
CN104111242A (zh) * | 2014-06-17 | 2014-10-22 | 费鹏 | 一种三维像素超分辨显微成像方法 |
CN105334612A (zh) * | 2015-12-18 | 2016-02-17 | 苏州创继生物科技有限公司 | 显微扫描平台xy平面的平面度校准方法 |
CN107422336A (zh) * | 2016-07-25 | 2017-12-01 | 北京理工大学 | 一种大视场大景深的变分辨率非扫描条纹管激光成像系统 |
-
2018
- 2018-06-15 CN CN201810622389.1A patent/CN108983702B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101226052A (zh) * | 2008-01-31 | 2008-07-23 | 武汉理工大学 | 三维微观形貌斜扫描方法及装置 |
CN101870039A (zh) * | 2010-06-12 | 2010-10-27 | 中国电子科技集团公司第四十五研究所 | 双工作台驱动激光加工机及其加工方法 |
CN104111242A (zh) * | 2014-06-17 | 2014-10-22 | 费鹏 | 一种三维像素超分辨显微成像方法 |
CN105334612A (zh) * | 2015-12-18 | 2016-02-17 | 苏州创继生物科技有限公司 | 显微扫描平台xy平面的平面度校准方法 |
CN107422336A (zh) * | 2016-07-25 | 2017-12-01 | 北京理工大学 | 一种大视场大景深的变分辨率非扫描条纹管激光成像系统 |
Non-Patent Citations (2)
Title |
---|
吴朝明: "自动微装配系统的关键技术研究", 《中国博士学位论文全文数据库 工程科技Ⅰ辑》 * |
许红梅: "用于微装配的显微视觉系统标定技术的研究", 《中国硕士学位论文全文数据库 信息科技辑》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113393407A (zh) * | 2020-03-12 | 2021-09-14 | 平湖莱顿光学仪器制造有限公司 | 一种获取试样的显微图像信息的方法与设备 |
CN113393407B (zh) * | 2020-03-12 | 2023-02-10 | 平湖莱顿光学仪器制造有限公司 | 一种获取试样的显微图像信息的方法与设备 |
CN112903236A (zh) * | 2021-01-29 | 2021-06-04 | 上海交通大学 | 一种基于焦平面扫描的气动热力参数光学测试装置及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108983702B (zh) | 2020-11-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104864807B (zh) | 一种基于主动双目视觉的机械手手眼标定方法 | |
CN108198224B (zh) | 一种用于立体视觉测量的线阵相机标定装置及标定方法 | |
CN201199234Y (zh) | 分层摄影检测系统 | |
CN101876532B (zh) | 测量系统中的摄像机现场标定方法 | |
CN103292695B (zh) | 一种单目立体视觉测量方法 | |
CN103712555B (zh) | 汽车大梁装配孔视觉在线测量系统及其方法 | |
CN108253939B (zh) | 可变视轴单目立体视觉测量方法 | |
JP2022039903A (ja) | ラインレーザーセンサ用のキャリブレーションブロック及びハンドアイキャリブレーション方法 | |
US10415955B2 (en) | Measuring system | |
CN104316083B (zh) | 一种虚拟多球体球心定位的tof深度相机三维坐标标定装置和方法 | |
CN104616292A (zh) | 基于全局单应矩阵的单目视觉测量方法 | |
CN107610178A (zh) | 一种工业摄影测量系统相机参数移动式标定方法 | |
CN104315995A (zh) | 基于虚拟多立方体标准目标的tof深度相机三维坐标标定装置和方法 | |
CN102519434A (zh) | 一种用于立体视觉三维恢复数据精度测量的试验验证方法 | |
CN104181685A (zh) | 基于显微镜的数字切片自动聚焦装置及其方法 | |
CN103398656B (zh) | 用于在物体表面上进行非接触坐标测量的方法和勘测系统 | |
CN108983702A (zh) | 基于计算机显微视觉切片扫描技术的显微视觉系统的显微视场数字化扩展方法及系统 | |
CN108312505A (zh) | 一种dmd扫描成像的3d成型装置及方法 | |
CN103192399B (zh) | 一种基于目标运动的显微视觉手眼标定系统及方法 | |
CN108955562A (zh) | 基于计算机显微视觉断层扫描技术的显微视觉系统显微景深数字化扩展方法及系统 | |
Xu et al. | Characteristic of monocular microscope vision and its application on assembly of micro-pipe and micro-sphere | |
Wang et al. | The 3D reconstruction method of a line-structured light vision sensor based on composite depth images | |
CN104165595B (zh) | 条纹相移与条纹细分联合控制的超精密位移定位检测方法 | |
CN208061260U (zh) | 一种用于立体视觉测量的线阵相机标定装置 | |
KR101186420B1 (ko) | 측정장치의 제어방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |