CN108897279B - 微装配系统的显微视觉系统的视场与景深数字化扩展方法及系统 - Google Patents

微装配系统的显微视觉系统的视场与景深数字化扩展方法及系统 Download PDF

Info

Publication number
CN108897279B
CN108897279B CN201810621425.2A CN201810621425A CN108897279B CN 108897279 B CN108897279 B CN 108897279B CN 201810621425 A CN201810621425 A CN 201810621425A CN 108897279 B CN108897279 B CN 108897279B
Authority
CN
China
Prior art keywords
field
microscopic
view
slice
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810621425.2A
Other languages
English (en)
Other versions
CN108897279A (zh
Inventor
王代华
王坎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN201810621425.2A priority Critical patent/CN108897279B/zh
Publication of CN108897279A publication Critical patent/CN108897279A/zh
Application granted granted Critical
Publication of CN108897279B publication Critical patent/CN108897279B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/402—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control arrangements for positioning, e.g. centring a tool relative to a hole in the workpiece, additional detection means to correct position
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37404—Orientation of workpiece or tool, surface sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Image Processing (AREA)

Abstract

一种微装配系统的显微视觉系统的显微视场与景深数字化扩展方法及系统，采用计算机显微视觉断层扫描技术、切片扫描技术获得的断层扫描图像序列和切片扫描图像序列实现显微视觉系统视场与景深的扩展，即通过精密定位系统控制显微视觉系统沿定义坐标系Z轴作断层扫描获得断层扫描图像序列；针对每个断层位置，通过二维正交运动的精密定位系统控制显微视觉系统沿定义坐标系的X轴、Y轴作切片扫描获得切片扫描图像序列，通过对不同断层位置的切片扫描图像序列数字化和重构实现显微视觉系统的视场与景深的扩展。该方法能同时得到高分辨率、大视场、数字化的显微视觉系统的显微视场空间，为显微空间下包含超视场的待装配或操作的任务提供了现实可能性。

Description

微装配系统的显微视觉系统的视场与景深数字化扩展方法及 系统
技术领域
本发明属于智能制造领域和科学研究领域，具体服务于微装配和微操作领域，具体涉及显微视场空间下包含多个同一尺度或多尺度的待装配或操作零件的技术解决手段。
背景技术
在微装配系统中，显微视觉系统是使任务能够精确完成并实现闭环控制的关键环节。微装配系统视场是指显微视觉系统在广度上能够清晰成像的范围。显微视觉系统高分辨率、高放大倍数使其能够看清微小零件，但分辨率与视场成反比关系是其本身固有的特性。因此，高分辨率、小视场是显微视觉系统固有的特点。小视场就是在广度上无法获得待装配零件的全貌。小视场的缺点就会导致微装配系统在装配或操作零件时，限制零件的尺寸及放置位置。零件放置过于松散，定位系统的运动会使零件偏离显微视觉系统主视场；零件放置过于紧密，微装配系统对零件难以夹持；零件尺度不一，为了能看清小尺度的零件则必须提高系统分辨率但同时就会导致大尺度的零件超过显微视觉系统的视场，使装配无法顺利进行。基于以上问题，本发明提出了微装配系统的显微视觉系统的视场与景深的扩展方法。
发明内容
本发明的目的是针对现有技术的不足，提供一种微装配系统的显微视觉系统的视场与景深的数字化扩展方法与系统，该方法可以克服高分辨率与大视场、大景深的矛盾，即在保证系统高分辨率的条件下，提高系统成像的视场范围，能同时得到高分辨率、大视场、数字化的显微视觉系统的显微视场空间，为显微空间下包含超视场的待装配或操作的任务提供现实可能性。
本发明解决其技术问题所采用的技术方案如下：
一种微装配系统的显微视觉系统的视场与景深的扩展方法，其是利用计算机显微视觉断层扫描技术、计算机显微视觉切片扫描技术获得的不同断层位置的切片扫描图像序列实现显微视觉系统视场与景深数字化扩展，具体实现步骤如下：
步骤1、沿定义坐标系的Z轴方向进行断层扫描，确定显微视觉系统的焦平面所在的断层位置序列；针对每个焦平面所在的断层位置，利用精密定位系统控制显微视觉系统沿定义坐标系X轴、Y轴方向进行切片扫描，获取各个断层位置的切片扫描图像序列；
步骤2、沿定义坐标系的X轴、Y轴方向上，在不同断层位置的切片扫描图像结合对应断层扫描的精密定位系统的步长重构切片图像的三维切片视场空间，计算各断层位置的三维切片视场空间的数字化信息、各断层位置经过视场扩展的三维断层视场空间数字化信息。在此基础上，计算显微视觉系统经过景深扩展、视场扩展的三维显微视觉空间，从而实现显微视觉系统的视场与景深同时扩展。
(2.1)利用切片扫描图像序列，确定三维切片视场空间信息范围；
(2.2)三维切片视场空间栅格化以及栅格数值化，获取三维切片视场空间数字化信息：
(2.3)根据三维切片视场空间数字化信息，计算显微视场扩展三维断层视场空间的数字化信息。
(2.4)根据沿Z轴方向上焦平面位置对应的视场扩展的三维断层视场空间，计算视场与景深同时扩展的数字化三维显微视场空间，实现显微视觉系统的显微视场与景深扩展。
本发明进一步提出另一种微装配系统的显微视觉系统的视场与景深的扩展方法，其特征在于：所述方法采用计算机显微视觉断层扫描技术、计算机显微视觉切片扫描技术获得的不同切片位置的断层扫描图像序列实现显微视觉系统视场与景深数字化扩展，包括以下步骤：
步骤1、沿定义坐标系的X轴、Y轴方向上进行切片扫描，确定显微视觉系统的焦平面所在的切片位置序列；针对焦平面所在的每个切片位置，利用精密定位系统控制显微视觉系统沿定义坐标系Z方向进行断层扫描，获取各个切片位置的断层扫描图像序列；
步骤2、沿定义坐标系的Z轴方向上，在不同切片位置的断层扫描图像结合对应断层扫描的精密定位系统的步长重构显微视觉系统的断层扫描图像的三维断层视场空间，计算各切片位置的三维断层视场空间的数字化信息、各切片位置经过景深扩展的三维切片视场空间数字化信息。在此基础上，计算显微视觉系统经过景深扩展、视场扩展的三维显微视觉空间，从而实现显微视觉系统的视场与景深同时扩展。
(2.1)利用切片断层图像序列，确定三维断层视场空间信息范围；
(2.2)三维断层视场空间栅格化以及栅格数值化，获取三维断层视场空间数字化信息；
(2.3)根据三维断层视场空间数字化信息，计算显微景深扩展三维切片视场空间的数字化信息；
(2.4)根据沿X轴、Y轴方向上焦平面位置对应的景深扩展的三维切片视场空间，计算视场与景深同时扩展的数字化三维显微视场空间，实现显微视觉系统的显微视场与景深数字化扩展。
本发明进一步还提出一种实现上述方法的微装配系统的显微视觉系统的视场与景深的数字化扩展系统，系统包括精密定位系统、显微视觉系统和主计算机。
所述精密定位系统用于带动显微视觉系统沿显微视觉系统光轴方向运动以及进行精密定位；其包括实现一维、二维精密运动的运动装置，实现定位精度与显微视觉系统景深匹配的高精度定位运动驱动装置及控制器以及实现二维定位精度与显微视觉系统视场大小匹配的高精度定位运动驱动器及控制器。
所述精密定位系统可配置位移量标准量系统，控制切片位置和记录所获得的切片的位置信息。
所述显微视觉系统用于进行图像断层扫描和切片获得断层扫描图像序列和切片扫描图像序列；其包括显微放大单元，即通过光学显微镜或者电子显微镜实现对显微视场空间中成像物体的放大，成像单元，即通过CCD或CMOS相机完成对显微视场空间中的物体成像；
所述主计算机用于对精密定位系统和显微视觉系统进行控制、计算，以及进行数字化显微视场空间结果显示。主计算机采用精密定位系统控制显微视觉系统沿Y轴方向运动采集的切片扫描图像序列，结合精密定位系统的运动步长以及显微视场大小重构对应的三维切片视场空间，并采用栅格化以及栅格数值化技术获取三维切片视场空间的数字化信息；针对显微视觉系统在Z轴方向上同一位置进行切片扫描获取的切片扫描图像对应三维切片视场空间计算视场扩展的三维断层视场空间，针对显微视觉系统在Z轴方向上不同位置的视场扩展的三维断层视场空间，计算景深扩展的三维显微视场空间数字化信息，从而得到视场与景深同时扩展的数字化三维显微视场空间。
本发明是针对显微视场空间下包含多个同一尺度或多尺度的待装配或操作零件，存在高分辨率与大视场难以同时满足的矛盾问题而导致装配或操作的任务技术难度大、精度低、效率低甚至无法准确的完成等问题的技术解决方案。本发明具有下述优点：
(1)针对显微视觉系统高分辨率与视场范围小、景深范围小的矛盾，本发明在保持显微视觉系统高分辨率的情况下扩大的了显微视觉系统清晰成像视场的范围以及景深范围；
(2)相对现有的显微视觉系统通过调整放大倍数提高景深范围以及视场范围的方法，本发明避免了调整放大倍数而使得相机模型内外参数发生变化而未重复进行相机标定而导致的计算误差问题；
(3)利用数字化技术获取视场以及景深扩展后三维显微视场空间，避免了现有通过图像融合获取景深扩展而导致的整体图像清晰度下降的缺陷，避免了因提取图像特征点拼接融合的计算复杂度以及拼接精度问题；
(4)通过视场以及景深扩展后三维数字化显微视场空间，得到零件对空间的占据情况，获取了零件三维信息，为零件的高精度重构提供了必要信息，为零件的操作提供了必要条件。
附图说明
图1是不同断层位置切片扫描的单目显微视觉系统的视场与景深扩展示意图；
图2是具有位移传感器的精密定位系统构建的单目显微视觉系统的视场与景深扩展系统结构示意图；
图3是具有常规精密定位系统构建的单目显微视觉系统的视场与景深扩展系统结构示意图；
图4是双目正交的显微视觉系统的视场与景深扩展示意图；
图5是具有位移传感器的精密定位系统构建的双目正交显微视觉系统的视场与景深扩展系统结构示意图；
图6是三目正交的显微视觉系统的视场与景深扩展示意图；
图7是具有位移传感器的精密定位系统构建的三目正交显微视觉系统的视场与景深扩展系统结构示意图；
图8是不同切片位置断层扫描的单目显微视觉系统的视场与景深扩展示意图。
图中：1、显微视觉系统Ⅰ，2、精密定位系统Ⅰ，3、精密定位系统Ⅱ，4、精密定位系统Ⅲ，5、Y轴方向视场扩展的范围，6、显微视觉系统Ⅰ的视场高度，7、显微视觉系统Ⅰ的显微视场空间，8、显微视觉系统Ⅰ的视场宽度，9、Z轴方向视场扩展的范围视场扩展的景深范围，10、显微视觉系统Ⅰ扩展后的显微视场空间，11、X轴方向上视场扩展的范围，12、定义坐标系，13、工作台，14、XY轴方向上扩展视场范围显微视觉系统Ⅰ的运动方向，15、主计算机，16、图像采集卡，17、光源控制器，18、精密定位系统控制器，19、位移传感器控制器，20、微夹钳控制器，21、零件，22、微夹钳系统，23、精密定位系统Ⅰ的位移传感器，24、精密定位系统Ⅱ位移传感器，25、精密定位系统Ⅲ位移传感器，26、显微视觉系统Ⅰ同轴光源，27、显微视觉系统Ⅱ，28、精密定位系统Ⅳ，29、精密定位系统Ⅴ，30、精密定位系统Ⅵ，31、显微视觉系统Ⅱ的显微视场空间，32、精密定位系统Ⅳ位移传感器，33、精密定位系统Ⅴ位移传感器，34、精密定位系统Ⅵ位移传感器，35、显微视觉系统Ⅱ同轴光源，36、显微视觉系统Ⅲ，37、精密定位系统Ⅶ，38、精密定位系统Ⅷ，39、精密定位系统Ⅸ，40、显微视觉系统Ⅲ的显微视场空间，41、精密定位系统Ⅷ位移传感器，42、精密定位系统Ⅶ位移传感器，43、精密定位系统Ⅸ位移传感器，44、显微视觉系统Ⅲ同轴光源。
具体实施方式
以下将结合附图，对本发明的优选实施例进行详细描述。优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。
本发明保护一种微装配系统的显微视觉系统的视场与景深的数字化扩展方法及系统，即采用一种计算机显微视觉断层扫描技术、计算机显微视觉切片扫描技术以及基于计算机显微视觉扫描技术的显微视觉系统的显微视场与景深扩展方法以实现显微视觉系统的显微视场空间的视场与景深的扩展。
所述的计算机显微视觉断层扫描技术是通过精密定位系统III(4)控制显微视觉系统I(1)在定义坐标系Z轴方向上进行断层扫描，并记录断层扫描精密定位系统III(4)的位移序列以及显微视觉系统焦平面所在定义坐标系Z轴方向上的断层位置序列。
所述的计算机显微视觉切片扫描技术为保持显微视觉系统焦平面在Z轴方向上位置不变时，通过二维正交的精密定位系统II、I(3、2)控制显微视觉系统I(1)沿着定义坐标系统的X轴方向和Y轴方向进行切片扫描，记录获取的切片扫描图像序列并记录精密定位系统II(3)和精密定位系统I(2)分别在X轴、Z轴方向上的位移量。
所述的显微视觉系统包括：①显微放大部分，即通过光学显微镜或者电子显微镜实现对显微视场空间中成像物体的放大；②成像部分，即通过CCD或CMOS相机完成对显微视场空间中的物体成像。
所述的精密定位系统包括：①实现一维、二维精密运动的运动装置；②实现定位精度与显微视觉系统景深匹配的高精度定位运动驱动装置及控制器以及实现二维定位精度与显微视觉系统视场大小匹配的高精度定位运动驱动器及控制器。
所述的基于计算机显微视觉扫描技术的显微视觉系统视场与景深数字化扩展方法为精密定位系统III(4)控制显微视觉系统I(1)在定义坐标系Z轴方向上不同的焦平面断层位置，采用精密定位系统II(3)控制显微视觉系统I(1)沿X轴方向运动，采用精密定位系统I(2)控制显微视觉系统I(1)沿Y轴方向运动采集的切片扫描图像序列，结合精密定位系统III(4)的运动步长以及显微视场大小重构对应的三维切片视场空间，并采用栅格化以及栅格数值化技术获取三维切片视场空间的数字化信息；针对显微视觉系统在Z轴方向上同一位置进行切片扫描获取的切片扫描图像对应三维切片视场空间计算视场扩展的三维断层视场空间，针对显微视觉系统在Z轴方向上不同位置的视场扩展的三维断层视场空间，计算景深扩展的三维显微视场空间数字化信息，从而得到视场与景深同时扩展的数字化三维显微视场空间。
实施例1：单目显微视觉系统不同断层位置进行切片扫描实现显微视场与景深扩展系统
如图1所示，微装配系统的显微视觉系统的视场与景深的扩展方法是利用精密定位系统III(4)控制显微视觉系统I(1)沿着定义坐标系统Z轴作断层扫描，获取焦平面所在的不同断层位置。针对每个断层位置，利用精密定位系统II、I(3、2)分别控制显微视觉系统I(1)沿着定义坐标系统的X轴、Y轴作切片扫描，获取切片扫描图像序列以及精密定位系统的位移量序列。扩展的视场宽和高如标号11和标号5所示，扩展的景深如标号9所示。针对图1的微装配系统的显微视觉系统的视场与景深的扩展方法其系统结构图如图2、3所示。由图3可知，系统主要由显微视觉系统I(1)、图像采集设备(16)、实现扫描的精密定位系统I、II、III(2、3、4)以及控制器(18)、微夹钳系统(22)、工作台(13)以及主机(15)构成。为了实现精密定位系统位移量的高精度测量，针对所有精密定位系统配置位移传感器如图2所示。其中位移传感器I、II、III(23、24、25)分别记录三个方向运行的精密定位系统的位移量。利用该系统实现视场与景深数字化扩展过程与实施案例5的过程保持一致。
实施例2：双目正交的显微视觉系统的视场与景深扩展系统
微装配系统的显微视觉系统的视场与景深的扩展方法适用于双目正交的显微视觉系统的视场与景深的扩展，如图4所示。其中利用精密定位系统III(4)控制显微视觉系统I(1)沿着定义坐标系统Z轴作断层扫描，获取显微视觉系统I(1)焦平面在Z轴方向的不同断层位置。针对每个断层位置，利用精密定位系统II、I(3、2)分别控制显微视觉系统I(1)沿着定义坐标系的X轴、Y轴作切片扫描，获取切片扫描图像序列以及精密定位系统的位移量序列。利用精密定位系统VI(30)控制显微视觉系统II(27)在定义坐标系统的X轴方向作断层扫描，获取显微视觉系统II(27)焦平面在X轴方向上的不同断层位置，针对每个断层位置，利用精密定位系统IV、V(28、29)分别控制显微视觉系统II(27)沿着定义坐标系Y轴、Z轴方向上作切片扫描，获取切片扫描图像以及对应的精密定位系统的位移量序列。双目正交的显微视觉系统的微装配系统如图5所示，其中针对扫描的精密定位系统均配置位移传感器，从而检测高精度的精密定位系统的位移量。利用该系统实现视场与景深扩展方法是对各方向上的单目显微视觉系统的视场与景深分别进行操作和处理，且各单目显微视觉系统的视场与景深扩展过程与实施案例5的过程保持一致。
实施例3：三目正交的显微视觉系统的视场与景深的扩展系统
微装配系统的显微视觉系统的视场与景深的扩展方法适用于三目正交的显微视觉系统的视场与景深的扩展，如图6所示。其中利用精密定位系统III(4)控制显微视觉系统I(1)沿着定义坐标系统Z轴作断层扫描，获取显微视觉系统I(1)焦平面在Z轴方向的不同断层位置。针对每个断层位置，利用精密定位系统II、I(3、2)分别控制显微视觉系统I(1)沿着定义坐标系的X轴、Y轴作切片扫描，获取切片扫描图像序列以及精密定位系统的位移量序列。利用精密定位系统VI(30)控制显微视觉系统II(27)在定义坐标系统的X轴方向作断层扫描，获取显微视觉系统II(27)焦平面在X轴方向上的不同断层位置，针对每个断层位置，利用精密定位系统IV、V(28、29)分别控制显微视觉系统II(27)沿着定义坐标系Y轴、Z轴方向上作切片扫描，获取切片扫描图像以及对应的精密定位系统的位移量序列。利用精密定位系统IX(39)控制显微视觉系统III(36)在定义坐标系统的Y轴方向作断层扫描，获取显微视觉系统(36)焦平面在Y轴方向上的不同断层位置，针对每个断层位置，利用精密定位系统VII、VIII(37、38)分别控制显微视觉系统III(36)沿着定义坐标系Z轴、X轴方向上作切片扫描，获取切片扫描图像以及对应的精密定位系统的位移量序列。三目正交的显微视觉系统的微装配系统如图7所示，其中针对扫描的精密定位系统均配置位移传感器，从而检测高精度的精密定位系统的位移量。利用该系统实现视场与景深扩展方法是对各方向上的单目显微视觉系统的视场与景深分别进行操作和处理，且各单目显微视觉系统的视场与景深扩展过程与实施案例5的过程保持一致。
实施例4：单目显微视觉系统在不同切片位置的断层扫描实现显微视场与景深数字化扩展系统
如图8所示，微装配系统的显微视觉系统的视场与景深的扩展方法是利用精密定位系统II、I(3、2)分别控制显微视觉系统I(1)沿着定义坐标系统的X轴、Y轴作切片扫描，获取焦平面所在的不同切片空间位置。针对每个切片空间位置，利用精密定位系统III(4)控制显微视觉系统I(1)沿着定义坐标系统Z轴作断层扫描，获取焦平面所在的不同切片空间位置的断层扫描图像序列以及精密定位系统的位移量序列。并经过三维断层空间重构，计算不同切片位置的各个显微视觉系统的三维断层视场空间数字化信息，计算景深扩展的三维切片视场空间数字化信息，在此基础上计算景深以及视场扩展的显微视场空间数字信息。得到的扩展的视场宽和高如标号11和标号5所示，扩展的景深如标号9所示。
实施例5：不同断层位置进行切片扫描的显微视觉系统的视场与景深的扩展方法
通过以上实施例1-3显示的系统，系统可以获得扫描图像等信息，并进一步在通过主计算机对信息进行处理，最终获得显微景深扩展效果，以下以实施例1的系统为例，所示方法过程如下：
步骤1：沿定义坐标系的Z轴方向进行断层扫描，确定显微视觉系统的焦平面所在的断层位置序列；针对每个焦平面所在的断层位置，利用精密定位系统控制显微视觉系统沿定义坐标系X轴、Y轴方向进行切片扫描，获取各个断层位置的切片扫描图像序列；
(1.1)确定作断层扫描的精密定位系统III(4)的步长、运动方向、运动方式、运动速度、初始位置以及初始位置时显微视觉系统焦平面在定义坐标系Z轴方向上的位置为DF；确定相应的显微视觉系统的视场分辨率大小、景深大小、像元尺寸、放大倍数，设置合适光源光强；
(1.2)精密定位系统III(4)控制显微视觉系统I(1)沿着定义坐标系(12)的Z轴方向以一定的运动步长进行断层扫描获得Z轴方向的位移量序列，精密定位系统的步长为Δz，记录断层位置序列以及精密定位系统的位移量序列如下：
Figure BDA0001698163010000081
Figure BDA0001698163010000082
其中zN为精密定位系统控制显微视觉系统沿Z轴方向扫描的次数，Tz为显微视觉系统焦平面所在的断层位置序列构建的向量；Dz为精密定位系统控制显微视觉系统进行断层扫描时的位移序列构成的向量，精密定位系统(4)第zk次运动后位移量
Figure BDA0001698163010000087
与其步长Δz的关系式如下：
Figure BDA0001698163010000083
(1.3)在显微视觉系统焦平面在定义坐标系Z轴方向上的断层位置
Figure BDA0001698163010000088
确定进行显微视觉切片扫描的精密定位系统I、II(2、3)的步长、运动方向、运动方式、运动速度、初始位置以及初始位置显微视觉系统光轴穿过焦平面的图像主点位置为(x0，y0)；
(1.4)精密定位系统II(3)控制显微视觉系统I(1)沿着定义坐标系的X轴方向进行扫描，记录精密定位系统II(3)的位移为
Figure BDA0001698163010000089
精密定位系统I(2)控制显微视觉系统I(1)沿着定义坐标系的Y轴方向进行扫描，记录精密定位系统I(2)的位移为
Figure BDA00016981630100000810
则：
Figure BDA0001698163010000084
设置精密定位系统II(3)的步长为Δx，精密定位系统I(2)的步长为Δy，则精密定位系统的位移与步长的关系为：
Figure BDA0001698163010000085
Figure BDA0001698163010000086
根据精密定位系统I、II(2、3)的位移量
Figure BDA0001698163010000091
定义每个扫描获取的图像序列号为
Figure BDA0001698163010000092
则获取的切片扫描图像序列建立的矩阵为：
Figure BDA0001698163010000093
其中xN、yN表示精密定位系统在定义坐标系X轴、Y轴方向的扫描的最大次数；
Figure BDA0001698163010000094
Figure BDA0001698163010000095
为显微视觉系统焦平面断层位置
Figure BDA0001698163010000096
时精密定位系统II(3)和精密定位系统I(2)分别沿着定义坐标系X轴、Y轴方向运动时在xk、yk序号位置时的位移量；
Figure BDA0001698163010000097
为显微视觉系统焦平面断层位置
Figure BDA0001698163010000098
时沿着X轴、Y轴方向运动作切片扫描时的切片扫描图像序列构成的矩阵；
Figure BDA0001698163010000099
为切片扫描图像矩阵
Figure BDA00016981630100000910
中在xk、yk序号位置时的切片扫描图像。
步骤2：显微视觉系统的视场与景深的扩展
(2.1)利用切片扫描图像序列，确定三维切片视场空间信息范围方法如下：
①根据显微视觉系统I(1)的视场高H，视场宽W以及精密定位系统III(4)的运动步长Δz，针对显微视觉系统焦平面断层位置
Figure BDA00016981630100000911
沿X轴、Y轴方向上切片扫描的切片扫描图像对应的三维切片视场空间大小均为H×W×Δz，针对切片扫描图像序列构建的矩阵
Figure BDA00016981630100000912
所重构的对应的三维切片视场空间序列矩阵如下：
Figure BDA00016981630100000913
②针对显微视觉系统焦平面断层位置
Figure BDA00016981630100000914
三维切片视场空间
Figure BDA00016981630100000915
对应的精密定位系统II、I(3、2)的运动位移为
Figure BDA00016981630100000916
此时在定义坐标系统中X轴方向上
Figure BDA00016981630100000917
范围内，在Y轴方向上
Figure BDA00016981630100000918
范围内，在Z轴方向上
Figure BDA0001698163010000104
范围内均为三维切片视场空间
Figure BDA0001698163010000105
的信息，三维切片视场空间信息范围为：Hc×Wc×Δz，Hc、Wc代表去除三维切片视场空间以外信息后的视场的高和宽。
(2.2)三维切片视场空间栅格化以及栅格数值化，获取三维切片视场空间数字化信息：
针对三维切片视场空间
Figure BDA0001698163010000106
设置一个n×n×n个像素点的栅格立方体，利用
Figure BDA0001698163010000107
个栅格立方体对三维切片视场空间
Figure BDA0001698163010000108
离散化，并根据栅格立方体位置以及栅格立方体的函数值，构建一个三维数字化矩阵
Figure BDA0001698163010000109
表示。设置每个栅格立方体中像素点为1的个数
Figure BDA00016981630100001010
设置栅格立方体赋值阈值为TH，若
Figure BDA00016981630100001011
则此栅格立方体赋值为1，否则赋值为0。三维切片视场空间
Figure BDA00016981630100001012
中(pk，qk，rk)位置的栅格立方体的赋值函数为
Figure BDA00016981630100001013
即：
Figure BDA0001698163010000101
Figure BDA0001698163010000102
其中：
Figure BDA0001698163010000103
pk∈[1 2 … p]，qk∈[1 2 … q]，rk∈[1 2 … r]，
Figure BDA0001698163010000115
为三维切片视场空间数字化矩阵
Figure BDA0001698163010000116
中位置为(pk，qk，rk)的栅格立方体中像素点为1的个数。
(2.3)根据三维切片视场空间数字化信息，计算显微视场扩展三维断层视场空间的数字化信息。利用三维切片视场空间的数字化矩阵
Figure BDA0001698163010000117
计算切片扫描的显微视觉系统的扩展显微视场空间
Figure BDA0001698163010000118
得到的扩展后的三维显微视场空间的数字化信息用
Figure BDA0001698163010000119
表示，则：
Figure BDA0001698163010000111
此时数字化信息
Figure BDA00016981630100001110
描述的视场扩展的数字化三维断层视场空间大小为：He×We×Δz。其中：
We＝xNΔx
He＝yNΔy
(2.4)根据沿Z轴方向上焦平面位置对应的视场扩展的三维断层视场空间，计算视场与景深同时扩展的数字化三维显微视场空间，实现显微视觉系统的显微视场与景深扩展。计算视场与景深扩展的数字化三维显微视场空间Se具体过程如下：
①计算两相邻视场扩展的三维断层视场空间
Figure BDA00016981630100001111
与
Figure BDA00016981630100001112
的可拼接计算的数字化矩阵
Figure BDA00016981630100001113
定义精密定位系统III(4)控制显微视觉系统I(1)沿Z轴正方向进行断层扫描(Flagz＝1)，根据两相邻三维断层空间
Figure BDA00016981630100001114
与
Figure BDA00016981630100001115
的数字化矩阵为
Figure BDA00016981630100001116
则：
Figure BDA0001698163010000112
当精密定位系统III(4)控制显微视觉系统I(1)沿Z轴负方向进行断层扫描(Flagz＝-1)时：
Figure BDA0001698163010000113
②计算显微视觉系统I(1)的扩展的显微视场空间Se的数字化信息Ge为：
Figure BDA0001698163010000114
其中[ ]′表示矩阵转置，Flagz用于记录沿定义坐标系Z轴扫描的方向。数字化信息Ge描述的显微视觉系统I(1)视场与景深同时扩展后的显微视场空间Se大小为He×We×De，此时扩展后的显微视场空间的景深De以及视场大小为：
De＝zN×Δz
We＝xN×Δx
He＝yN×Δy
其中zN为精密定位系统III(4)控制显微视觉系统I(1)在沿定义坐标系Z轴方向上断层扫描的次数。xN、yN分别为在每个断层沿定义坐标系X轴、Y轴切片扫描的次数。
实施例6：针对不同切片位置的断层扫描图像序列的显微视觉系统的视场与景深的数字化扩展方法
通过以上实施例4显示的系统，系统可以获得扫描图像等信息，并进一步在通过主计算机对信息进行处理，最终获得显微视场与景深的数字化扩展效果，过程如下：
步骤1、沿定义坐标系的X轴、Y轴方向上进行切片扫描，确定显微视觉系统的焦平面所在的切片位置序列；针对焦平面所在的每个切片位置，利用精密定位系统控制显微视觉系统沿定义坐标系Z方向进行断层扫描，获取各个切片位置的断层扫描图像序列；
(1.1)确定作X轴、Y轴方向切片扫描的精密定位系统(3、2)的步长、运动方向、运动方式、运动速度、初始位置以及初始位置时显微视觉系统焦平面在定义坐标系Z轴方向上的位置为DF；确定相应的显微视觉系统的视场分辨率大小、景深大小、像元尺寸、放大倍数，设置合适光源光强；
(1.2)精密定位系统(3、2)控制显微视觉系统(1)沿着定义坐标系(12)的X轴、Y轴方向以一定的运动步长进行切片扫描获得X轴、Y轴方向的位移量序列，精密定位系统的步长为Δx、Δy，记录切片位置序列以及精密定位系统的位移量序列如下：
Figure BDA0001698163010000121
Figure BDA0001698163010000122
其中xN、yN为精密定位系统控制显微视觉系统沿X轴、Y轴方向扫描的次数，Txy为显微视觉系统焦平面所在的切片位置序列构建的向量；Dxy为精密定位系统(3、2)控制显微视觉系统进行切片扫描时的位移序列构成的向量。设置精密定位系统(3)第xk次运动后位移量
Figure BDA0001698163010000136
精密定位系统(2)第yk次运动后位移量
Figure BDA0001698163010000137
与对应的步长Δx、Δy的关系式如下：
Figure BDA0001698163010000131
Figure BDA0001698163010000132
(1.3)在显微视觉系统焦平面在定义坐标系Z轴方向上的断层位置
Figure BDA0001698163010000138
确定进行显微视觉切片扫描的精密定位系统(2、3)的步长、运动方向、运动方式、运动速度、初始位置以及初始位置显微视觉系统光轴穿过焦平面的图像主点位置为(x0，y0)；
(1.4)精密定位系统(4)控制显微视觉系统(1)沿着定义坐标系的Z轴方向进行扫描，记录精密定位系统(4)的位移为
Figure BDA0001698163010000139
则：
Figure BDA0001698163010000133
设置精密定位系统(4)的步长为Δz，则精密定位系统的位移与步长的关系为：
Figure BDA0001698163010000134
根据精密定位系统(4)的位移量
Figure BDA00016981630100001310
定义每个扫描获取的图像序列号为
Figure BDA00016981630100001311
则获取的断层扫描图像序列建立的图像向量为：
Figure BDA0001698163010000135
其中zN表示精密定位系统在定义坐标系Z轴方向的扫描的最大次数；
Figure BDA00016981630100001312
为显微视觉系统焦平面切片位置
Figure BDA00016981630100001313
时精密定位系统(4)沿着定义坐标系Z轴方向运动时在zk序号位置时的位移量；
Figure BDA00016981630100001314
为显微视觉系统焦平面切片位置
Figure BDA00016981630100001315
时沿着Z轴方向运动作断层扫描时的断层扫描图像序列构建的图像向量；
Figure BDA00016981630100001316
为断层扫描图像向量
Figure BDA00016981630100001317
中在zk序号位置时的断层扫描图像，[ ]′为向量转置运算。
步骤2、沿定义坐标系的Z轴方向上，在不同切片位置的断层扫描图像结合对应断层扫描的精密定位系统的步长重构显微视觉系统的断层扫描图像的三维断层视场空间，计算各切片位置的三维断层视场空间的数字化信息、各切片位置经过景深扩展的三维切片视场空间数字化信息。在此基础上，计算显微视觉系统经过景深扩展、视场扩展的三维显微视觉空间，从而实现显微视觉系统的视场与景深同时扩展。
(2.1)利用切片断层图像序列，确定三维断层视场空间信息范围；
①根据显微视觉系统(1)的视场高H，视场宽W以及精密定位系统(4)的运动步长Δz，针对显微视觉系统焦平面切片位置
Figure BDA0001698163010000142
沿Z轴方向上断层扫描的断层扫描图像对应的显微视觉系统的三维断层视场空间大小均为H×W×Δz，针对断层扫描图像序列构建的向量
Figure BDA0001698163010000143
所重构的对应的三维断层视场空间序列如下：
Figure BDA0001698163010000141
②针对显微视觉系统焦平面切片位置
Figure BDA0001698163010000145
显微视觉系统的三维断层视场空间
Figure BDA0001698163010000144
对应的精密定位系统(3、2)的运动位移为
Figure BDA0001698163010000146
此时在定义坐标系统中X轴方向上
Figure BDA0001698163010000147
范围内，在Y轴方向上
Figure BDA0001698163010000148
范围内，在Z轴方向上
Figure BDA0001698163010000149
范围内均为三维切片视场空间
Figure BDA00016981630100001410
的信息，三维切片视场空间信息范围为：Hc×Wc×Δz，Hc、Wc代表去除三维切片视场空间以外信息后的视场的高和宽。
(2.2)三维断层视场空间栅格化以及栅格数值化，获取三维断层视场空间数字化信息的方法如下：
针对三维断层视场空间
Figure BDA00016981630100001411
设置一个n×n×n个像素点的栅格立方体，利用
Figure BDA00016981630100001412
个栅格立方体对三维断层视场空间
Figure BDA00016981630100001413
离散化，并根据栅格立方体位置以及栅格立方体的函数值，构建一个三维数字化矩阵
Figure BDA00016981630100001414
表示；设置每个栅格立方体中像素点为1的个数
Figure BDA00016981630100001415
设置栅格立方体赋值阈值为TH，若
Figure BDA00016981630100001416
则此栅格立方体赋值为1，否则赋值为0；
三维断层视场空间
Figure BDA00016981630100001417
中(pk，qk，rk)位置的栅格立方体的赋值函数为
Figure BDA00016981630100001418
即：
Figure BDA0001698163010000151
Figure BDA0001698163010000152
其中：
Figure BDA0001698163010000153
pk∈[1 2 … p]，qk∈[1 2 … q]，rk∈[1 2 … r]，
Figure BDA0001698163010000156
为三维断层视场空间数字化矩阵
Figure BDA0001698163010000157
中位置为(pk，qk，rk)的栅格立方体中像素点为1的个数
(2.3)根据显微视觉系统的三维断层视场空间数字化信息，计算显微景深扩展的三维切片视场空间的数字化信息
Figure BDA0001698163010000158
的方法如下：
①计算两断层相邻的三维断层视场空间
Figure BDA0001698163010000159
与
Figure BDA00016981630100001510
的可拼接计算的数字化矩阵
Figure BDA00016981630100001511
定义精密定位系统(4)控制显微视觉系统(1)沿Z轴正方向进行断层扫描(Flagz＝1)，根据两相邻三维断层空间
Figure BDA00016981630100001512
与
Figure BDA00016981630100001513
的数字化矩阵为
Figure BDA00016981630100001514
则：
Figure BDA0001698163010000154
当精密定位系统(4)控制显微视觉系统(1)沿Z轴负方向进行断层扫描(Flagz＝-1)时：
Figure BDA0001698163010000155
②计算显微视觉系统(1)的焦平面切片位置
Figure BDA0001698163010000161
经过景深扩展的三维切片视场空间
Figure BDA0001698163010000162
的数字化信息
Figure BDA0001698163010000163
为：
Figure BDA0001698163010000164
其中[ ]′表示矩阵转置，Flagz用于记录沿定义坐标系Z轴扫描的方向。数字化信息
Figure BDA0001698163010000165
描述的显微视觉系统(1)景深扩展后的三维切片视场空间
Figure BDA0001698163010000166
大小为Hc×Wc×De，此时扩展后的显微视场空间的景深De大小为：
De＝zN×Δz
(2.4)根据沿X轴、Y轴方向上焦平面位置对应的景深扩展的三维切片视场空间，计算视场与景深同时扩展的数字化三维显微视场空间，实现显微视觉系统的显微视场与景深扩展；利用景深扩展后的三维切片视场空间
Figure BDA0001698163010000167
的数字化矩阵
Figure BDA0001698163010000168
计算显微视场与景深同时扩展的显微视场空间Se，得到的扩展后的三维显微视场空间的数字化信息用Ge表示，则：
Figure BDA0001698163010000169
此时数字化信息Ge描述的显微视场与景深扩展的数字化三维断层视场空间大小为：He×We×De，其中：
We＝xNΔx
He＝yNΔy
De＝zN×Δz。
上述具体实施方式用来解释说明本发明，而不是对本发明进行限制。在本发明的精神和权利要求的保护范围内，对本发明做出的任何修改和改变，都将落入本发明的保护范围。

Claims (16)

1.一种微装配系统的显微视觉系统的显微视场与景深数字化扩展方法，其特征在于：所述方法采用计算机显微视觉断层扫描技术、计算机显微视觉切片扫描技术获得的不同断层位置的切片扫描图像序列实现显微视觉系统视场与景深扩展，步骤如下：
步骤1、沿定义坐标系的Z轴方向进行断层扫描，确定显微视觉系统的焦平面所在的断层位置序列；针对焦平面所在的每个断层位置，利用精密定位系统控制显微视觉系统沿定义坐标系X轴、Y轴方向进行切片扫描，获取各个断层位置的切片扫描图像序列；
步骤2、沿定义坐标系的X轴、Y轴方向上，在不同断层位置的切片扫描图像结合对应断层扫描的精密定位系统的步长重构切片图像的三维切片视场空间，计算各断层位置的三维切片视场空间的数字化信息、各断层位置经过视场扩展的三维断层视场空间数字化信息，在此基础上，计算显微视觉系统经过景深扩展、视场扩展的三维显微视觉空间，从而实现显微视觉系统的视场与景深同时扩展；
(2.1)利用切片扫描图像序列，确定三维切片视场空间信息范围；
(2.2)三维切片视场空间栅格化以及栅格数值化，获取三维切片视场空间数字化信息；
(2.3)根据三维切片视场空间数字化信息，计算显微视场扩展三维断层视场空间的数字化信息；
(2.4)根据沿Z轴方向上焦平面位置对应的视场扩展的三维断层视场空间，计算视场与景深同时扩展的数字化三维显微视场空间，实现显微视觉系统的显微视场与景深扩展。
2.根据权利要求1所述的微装配系统的显微视觉系统的显微视场与景深数字化扩展方法，其特征在于：所述步骤1的获取各个断层位置的切片扫描图像序列具体过程如下：
(1.1)确定作断层扫描的精密定位系统III(4)的步长、运动方向、运动方式、运动速度、初始位置以及初始位置时显微视觉系统焦平面在定义坐标系Z轴方向上的位置为DF；确定相应的显微视觉系统的视场分辨率大小、景深大小、像元尺寸、放大倍数，设置合适光源光强；
(1.2)精密定位系统III(4)控制显微视觉系统I(1)沿着定义坐标系(12)的Z轴方向以一定的运动步长进行断层扫描获得Z轴方向的位移量序列，精密定位系统的步长为Δz，记录断层位置序列以及精密定位系统的位移量序列如下：
Figure FDA0002645696510000011
Figure FDA0002645696510000012
其中zN为精密定位系统控制显微视觉系统沿Z轴方向扫描的次数，Tz为显微视觉系统焦平面所在的断层位置序列构建的向量；Dz为精密定位系统控制显微视觉系统进行断层扫描时的位移序列构成的向量，精密定位系统III(4)第zk次运动后位移量
Figure FDA0002645696510000013
与其步长Δz的关系式如下：
Figure FDA0002645696510000021
zk＝z1,z2,…,zN；
(1.4)精密定位系统II(3)控制显微视觉系统I(1)沿着定义坐标系的X轴方向进行扫描，记录精密定位系统II(3)的位移为
Figure FDA0002645696510000022
精密定位系统I(2)控制显微视觉系统I(1)沿着定义坐标系的Y轴方向进行扫描，记录精密定位系统I(2)的位移为
Figure FDA0002645696510000023
则：
Figure FDA0002645696510000024
Figure FDA0002645696510000025
设置精密定位系统II(3)的步长为Δx，精密定位系统I(2)的步长为Δy，则精密定位系统的位移与步长的关系为：
Figure FDA0002645696510000026
xk＝x1,x2,…,xN
Figure FDA0002645696510000027
yk＝y1,y2,…,yN
根据精密定位系统I、II(2、3)的位移量
Figure FDA0002645696510000028
定义每个扫描获取的图像序列号为
Figure FDA0002645696510000029
则获取的切片扫描图像序列建立的矩阵为：
Figure FDA00026456965100000210
其中xN、yN表示精密定位系统在定义坐标系X轴、Y轴方向的扫描的最大次数；
Figure FDA00026456965100000211
为显微视觉系统焦平面断层位置
Figure FDA00026456965100000212
时精密定位系统II(3)和精密定位系统I(2)分别沿着定义坐标系X轴、Y轴方向运动时在xk、yk序号位置时的位移量；
Figure FDA00026456965100000213
为显微视觉系统焦平面断层位置
Figure FDA00026456965100000214
时沿着X轴、Y轴方向运动作切片扫描时的切片扫描图像序列构成的矩阵；
Figure FDA00026456965100000215
为切片扫描图像矩阵
Figure FDA00026456965100000216
中在xk、yk序号位置时的切片扫描图像。
3.根据权利要求1所述的微装配系统的显微视觉系统的显微视场与景深数字化扩展方法，其特征在于：切片扫描的精密定位系统II(3)的步长Δx以及精密定位系统I(2)的步长Δy，断层扫描的精密定位系统III(4)运动步长Δz需要满足：
Δx≤W
Δy≤H
Δz≤DOF
其中DOF为显微视觉系统的景深，W、H分别为显微视觉系统I(1)的显微视场的宽度和高度。
4.根据权利要求1所述的微装配系统的显微视觉系统的显微视场与景深数字化扩展方法，其特征在于：步骤(2.1)利用切片扫描图像序列，确定三维切片视场空间信息范围方法如下：
①根据显微视觉系统I(1)的视场高H，视场宽W以及精密定位系统III(4)的运动步长Δz，针对显微视觉系统焦平面断层位置
Figure FDA0002645696510000031
沿X轴、Y轴方向上切片扫描的切片扫描图像对应的三维切片视场空间大小均为H×W×Δz，针对切片扫描图像序列构建的矩阵
Figure FDA0002645696510000032
所重构的对应的三维切片视场空间序列矩阵如下：
Figure FDA0002645696510000033
②针对显微视觉系统焦平面断层位置
Figure FDA0002645696510000034
三维切片视场空间
Figure FDA0002645696510000035
对应的精密定位系统II、I(3、2)的运动位移为
Figure FDA0002645696510000036
此时在定义坐标系统中X轴方向上
Figure FDA0002645696510000037
Figure FDA0002645696510000038
范围内，在Y轴方向上
Figure FDA0002645696510000039
范围内，在Z轴方向上
Figure FDA00026456965100000310
范围内均为三维切片视场空间
Figure FDA00026456965100000311
的信息，三维切片视场空间信息范围为：Hc×Wc×Δz，Hc、Wc代表去除三维切片视场空间以外信息后的视场的高和宽。
5.根据权利要求1所述的微装配系统的显微视觉系统的显微视场与景深数字化扩展方法，其特征在于：步骤(2.2)三维切片视场空间栅格化以及栅格数值化，获取三维切片视场空间数字化信息的方法如下：
针对三维切片视场空间
Figure FDA00026456965100000312
设置一个n×n×n个像素点的栅格立方体，利用
Figure FDA00026456965100000313
个栅格立方体对三维切片视场空间
Figure FDA00026456965100000314
离散化，并根据栅格立方体位置以及栅格立方体的函数值，构建一个三维数字化矩阵
Figure FDA00026456965100000315
表示；设置每个栅格立方体中像素点为1的个数
Figure FDA00026456965100000316
设置栅格立方体赋值阈值为TH，若
Figure FDA00026456965100000317
则此栅格立方体赋值为1，否则赋值为0；三维切片视场空间
Figure FDA00026456965100000318
中(pk,qk,rk)位置的栅格立方体的赋值函数为
Figure FDA00026456965100000319
即：
Figure FDA0002645696510000041
Figure FDA0002645696510000042
其中：
Figure FDA0002645696510000043
pk∈[1 2 … p]，qk∈[1 2 … q]，rk∈[1 2 … r]，
Figure FDA0002645696510000044
为三维切片视场空间数字化矩阵中位置为(pk,qk,rk)的栅格立方体中像素点为1的个数。
6.根据权利要求1所述的微装配系统的显微视觉系统的显微视场与景深数字化扩展方法，其特征在于：步骤(2.3)根据三维切片视场空间数字化信息，计算显微视场扩展三维断层视场空间的数字化信息的方法如下：
利用三维切片视场空间数字化矩阵
Figure FDA0002645696510000046
计算切片扫描的显微视觉系统的扩展显微视场空间
Figure FDA0002645696510000047
得到的扩展后的三维显微视场空间的数字化信息用
Figure FDA0002645696510000048
表示，则：
Figure FDA0002645696510000049
此时数字化信息
Figure FDA00026456965100000410
描述的视场扩展的数字化三维断层视场空间大小为：He×We×Δz，其中，He和We分别为扩展后的显微视场空间的高和宽：
We＝xNΔx
He＝yNΔy。
7.根据权利要求1所述的微装配系统的显微视觉系统的显微视场与景深数字化扩展方法，其特征在于：步骤(2.4)根据沿Z轴方向上焦平面位置对应的视场扩展的三维断层视场空间，计算视场与景深扩展的数字化三维显微视场空间Se具体过程如下：
①计算两相邻视场扩展的三维断层视场空间
Figure FDA0002645696510000051
与
Figure FDA0002645696510000052
的可拼接计算的数字化矩阵
Figure FDA0002645696510000053
Figure FDA0002645696510000054
定义精密定位系统III(4)控制显微视觉系统I(1)沿Z轴正方向进行断层扫描Flagz＝1，根据两相邻三维断层空间
Figure FDA0002645696510000055
与
Figure FDA0002645696510000056
的数字化矩阵为
Figure FDA0002645696510000057
则：
Figure FDA0002645696510000058
当精密定位系统III(4)控制显微视觉系统I(1)沿Z轴负方向进行断层扫描Flagz＝-1时：
Figure FDA0002645696510000059
①计算显微视觉系统(8)的扩展的显微视场空间Se的数字化信息Ge为：
Figure FDA00026456965100000510
其中[]′表示矩阵转置，Flagz用于记录沿定义坐标系Z轴扫描的方向，数字化信息Ge描述的显微视觉系统I(1)视场与景深同时扩展后的显微视场空间Se大小为He×We×De，He和We分别为扩展后的显微视场空间的高和宽，此时扩展后的显微视场空间的景深De以及视场大小为：
De＝zN×Δz
We＝xN×Δx
He＝yN×Δy
其中zN为精密定位系统(4)控制显微视觉系统I(1)在沿定义坐标系Z轴方向上断层扫描的次数；xN、yN分别为在每个断层沿定义坐标系X轴、Y轴切片扫描的次数。
8.一种微装配系统的显微视觉系统的显微视场与景深数字化扩展方法，其特征在于：所述方法采用计算机显微视觉断层扫描技术、计算机显微视觉切片扫描技术获得的不同切片位置的断层扫描图像序列实现显微视觉系统视场与景深扩展，步骤如下：
步骤1、沿定义坐标系的X轴、Y轴方向上进行切片扫描，确定显微视觉系统的焦平面所在的切片位置序列；针对焦平面所在的每个切片位置，利用精密定位系统控制显微视觉系统沿定义坐标系Z方向进行断层扫描，获取各个切片位置的断层扫描图像序列；
步骤2、沿定义坐标系的Z轴方向上，在不同切片位置的断层扫描图像结合对应断层扫描的精密定位系统的步长重构显微视觉系统的断层扫描图像的三维断层视场空间，计算各切片位置的三维断层视场空间的数字化信息、各切片位置经过景深扩展的三维切片视场空间数字化信息，在此基础上，计算显微视觉系统经过景深扩展、视场扩展的三维显微视觉空间，从而实现显微视觉系统的视场与景深同时扩展；
(2.1)利用切片断层图像序列，确定三维断层视场空间信息范围；
(2.2)三维断层视场空间栅格化以及栅格数值化，获取三维断层视场空间数字化信息；
(2.3)根据三维断层视场空间数字化信息，计算显微景深扩展三维切片视场空间的数字化信息；
(2.4)根据沿X轴、Y轴方向上焦平面位置对应的景深扩展的三维切片视场空间，计算视场与景深同时扩展的数字化三维显微视场空间，实现显微视觉系统的显微视场与景深数字化扩展。
9.根据权利要求8所述的微装配系统的显微视觉系统的显微视场与景深数字化扩展方法，其特征在于：所述步骤1的获取各个切片位置的断层扫描图像序列具体过程如下：
(1.1)确定作X轴、Y轴方向切片扫描的精密定位系统II、I(3、2)的步长、运动方向、运动方式、运动速度、初始位置以及初始位置时显微视觉系统焦平面在定义坐标系Z轴方向上的位置为DF；确定相应的显微视觉系统的视场分辨率大小、景深大小、像元尺寸、放大倍数，设置合适光源光强；
(1.2)精密定位系统II、I(3、2)控制显微视觉系统I(1)沿着定义坐标系(12)的X轴、Y轴方向以一定的运动步长进行切片扫描获得X轴、Y轴方向的位移量序列，精密定位系统的步长为Δx、Δy，记录切片位置序列以及精密定位系统的位移量序列如下：
Figure FDA0002645696510000061
Figure FDA0002645696510000062
其中xN、yN为精密定位系统控制显微视觉系统沿X轴、Y轴方向扫描的次数，Txy为显微视觉系统焦平面所在的切片位置序列构建的向量；Dxy为精密定位系统II、I(3、2)控制显微视觉系统进行切片扫描时的位移序列构成的向量，设置精密定位系统II(3)第xk次运动后位移量
Figure FDA0002645696510000063
精密定位系统I(2)第yk次运动后位移量
Figure FDA0002645696510000064
与对应的步长Δx、Δy的关系式如下：
Figure FDA0002645696510000065
xk＝x1，x2，…，xN
Figure FDA0002645696510000066
yk＝y1，y2，…，yN
(1.3)在显微视觉系统焦平面在定义坐标系X、Y轴方向上的切片位置
Figure FDA0002645696510000067
确定进行显微视觉断层扫描的精密定位系统III(4)的步长、运动方向、运动方式、运动速度、初始位置以及初始位置显微视觉系统光轴穿过焦平面的图像主点位置为(x0,y0)；
(1.4)精密定位系统(4)控制显微视觉系统I(1)沿着定义坐标系的Z轴方向进行扫描，记录精密定位系统III(4)的位移量为
Figure FDA0002645696510000068
则：
Figure FDA0002645696510000071
设置精密定位系统III(4)的步长为Δz，则精密定位系统的位移与步长的关系为：
Figure FDA0002645696510000072
zk＝z1,z2,…,zN
根据精密定位系统III(4)的位移量
Figure FDA0002645696510000073
定义每个断层扫描获取的图像序列号为
Figure FDA0002645696510000074
则获取的断层扫描图像序列建立的图像向量为：
Figure FDA0002645696510000075
其中zN表示精密定位系统在定义坐标系Z轴方向的扫描的最大次数；
Figure FDA0002645696510000076
为显微视觉系统焦平面切片位置
Figure FDA0002645696510000077
时精密定位系统III(4)沿着定义坐标系Z轴方向运动时在zk序号位置时的位移量；
Figure FDA0002645696510000078
为显微视觉系统焦平面切片位置
Figure FDA0002645696510000079
时沿着Z轴方向运动作断层扫描时的断层扫描图像序列构建的图像向量；
Figure FDA00026456965100000710
为断层扫描图像向量
Figure FDA00026456965100000711
中在zk序号位置时的断层扫描图像，[ ]′为向量转置运算。
10.根据权利要求8所述的微装配系统的显微视觉系统的显微视场与景深数字化扩展方法，其特征在于：步骤(2.1)利用断层扫描图像序列，确定三维断层视场空间信息范围方法如下：
①根据显微视觉系统I(1)的视场高H，视场宽W以及精密定位系统III(4)的运动步长Δz，针对显微视觉系统焦平面切片位置
Figure FDA00026456965100000712
沿Z轴方向上断层扫描的断层扫描图像对应的显微视觉系统的三维断层视场空间大小均为H×W×Δz，针对断层扫描图像序列构建的向量
Figure FDA00026456965100000713
所重构的对应的三维断层视场空间序列如下：
Figure FDA00026456965100000714
②针对显微视觉系统焦平面切片位置
Figure FDA00026456965100000715
显微视觉系统的三维断层视场空间
Figure FDA00026456965100000716
对应的精密定位系统II、I(3、2)的运动位移为
Figure FDA00026456965100000717
此时在定义坐标系统中X轴方向上
Figure FDA00026456965100000718
范围内，在Y轴方向上
Figure FDA00026456965100000719
范围内，在Z轴方向上
Figure FDA00026456965100000720
范围内均为三维切片视场空间
Figure FDA00026456965100000721
的信息，三维切片视场空间信息范围为：Hc×Wc×Δz，Hc、Wc代表去除三维切片视场空间以外信息后的视场的高和宽。
11.根据权利要求8所述的微装配系统的显微视觉系统的显微视场与景深数字化扩展方法，其特征在于：步骤(2.2)三维断层视场空间栅格化以及栅格数值化，获取三维断层视场空间数字化信息的方法如下：
针对三维断层视场空间
Figure FDA00026456965100000722
设置一个n×n×n个像素点的栅格立方体，利用
Figure FDA00026456965100000723
个栅格立方体对三维断层视场空间
Figure FDA00026456965100000724
离散化，并根据栅格立方体位置以及栅格立方体的函数值，构建一个三维数字化矩阵
Figure FDA00026456965100000725
表示；设置每个栅格立方体中像素点为1的个数
Figure FDA0002645696510000081
设置栅格立方体赋值阈值为TH，若
Figure FDA0002645696510000082
则此栅格立方体赋值为1，否则赋值为0；三维断层视场空间
Figure FDA0002645696510000083
中(pk,qk,rk)位置的栅格立方体的赋值函数为
Figure FDA0002645696510000084
即：
Figure FDA0002645696510000085
Figure FDA0002645696510000086
其中：
Figure FDA0002645696510000087
pk∈[1 2 … p]，qk∈[1 2 … q]，rk∈[1 2 … r]，
Figure FDA0002645696510000088
为三维断层视场空间数字化矩阵
Figure FDA0002645696510000089
中位置为(pk,qk,rk)的栅格立方体中像素点为1的个数。
12.根据权利要求8所述的微装配系统的显微视觉系统的显微视场与景深数字化扩展方法，其特征在于：步骤(2.3)根据显微视觉系统的三维断层视场空间数字化信息，计算显微景深扩展的三维切片视场空间的数字化信息
Figure FDA00026456965100000810
的方法如下：
①计算两断层相邻的三维断层视场空间
Figure FDA00026456965100000811
与
Figure FDA00026456965100000812
的可拼接计算的数字化矩阵
Figure FDA00026456965100000813
定义精密定位系统III(4)控制显微视觉系统I(1)沿Z轴正方向进行断层扫描Flagz＝1，根据两相邻三维断层空间
Figure FDA00026456965100000814
与
Figure FDA00026456965100000815
的数字化矩阵为
Figure FDA00026456965100000816
Figure FDA00026456965100000817
则：
Figure FDA00026456965100000818
当精密定位系统III(4)控制显微视觉系统I(1)沿Z轴负方向进行断层扫描Flagz＝-1时：
Figure FDA00026456965100000819
②计算显微视觉系统I(1)的焦平面切片位置
Figure FDA00026456965100000820
经过景深扩展的三维切片视场空间
Figure FDA0002645696510000091
的数字化信息
Figure FDA0002645696510000092
为：
Figure FDA0002645696510000093
其中[ ]′表示矩阵转置，Flagz用于记录沿定义坐标系Z轴扫描的方向，数字化信息
Figure FDA0002645696510000094
描述的显微视觉系统I(1)景深扩展后的三维切片视场空间
Figure FDA0002645696510000095
大小为Hc×Wc×De，Hc、Wc代表去除三维切片视场空间以外信息后的视场的高和宽，此时扩展后的显微视场空间的景深De大小为：
De＝zN×Δz。
13.根据权利要求8所述的微装配系统的显微视觉系统的显微视场与景深数字化扩展方法，其特征在于：步骤(2.4)根据沿X轴、Y轴方向上焦平面位置对应的景深扩展的三维切片视场空间，计算视场与景深同时扩展的数字化三维显微视场空间，实现显微视觉系统的显微视场与景深扩展；利用景深扩展后的三维切片视场空间
Figure FDA0002645696510000096
的数字化矩阵
Figure FDA0002645696510000097
计算显微视场与景深同时扩展的显微视场空间Se，得到的扩展后的三维显微视场空间的数字化信息用Ge表示，则：
Figure FDA0002645696510000098
此时数字化信息Ge描述的显微视场与景深扩展的数字化三维断层视场空间大小为：He×We×De，其中，He和We分别为扩展后的显微视场空间的高和宽：
We＝xNΔx
He＝yNΔy
De＝zN×Δz。
14.根据权利要求1-13之任一项所述的微装配系统的显微视觉系统的显微视场与景深数字化扩展方法，其特征在于所述的方法适用于单目、双目以及多目正交的显微视觉系统的视场与景深的扩展；适用于显微视觉系统仅在一维方向上扩展视场；所述的方法是在数字化的微装配系统的空间中实现视场的任意扩展，并在计算机中能够对采用微装配系统的显微视觉系统的视场与景深的扩展方法获得的微装配系统的显微视觉系统的数字化显微视场空间中的微型零件进行操作。
15.一种实现权利要求1-14之任一项所述方法的微装配系统的显微视觉系统的显微视场与景深数字化扩展系统，包括精密定位系统、显微视觉系统和主计算机，其特征在于，
所述精密定位系统用于带动显微视觉系统沿显微视觉系统光轴方向运动以及进行精密定位；其包括实现一维、二维精密运动的运动装置，实现定位精度与显微视觉系统景深匹配的高精度定位运动驱动装置及控制器以及实现二维定位精度与显微视觉系统视场大小匹配的高精度定位运动驱动器及控制器；
所述显微视觉系统用于进行图像断层扫描和切片获得断层扫描图像序列和切片扫描图像序列；其包括显微放大单元，即通过光学显微镜或者电子显微镜实现对显微视场空间中成像物体的放大，成像单元，即通过CCD或CMOS相机完成对显微视场空间中的物体成像；
所述主计算机用于对精密定位系统和显微视觉系统进行控制、计算，以及进行数字化显微视场空间结果显示；所述主计算机采用精密定位系统I(2)控制显微视觉系统I(1)沿Y轴方向运动采集的切片扫描图像序列，结合精密定位系统III(4)的运动步长以及显微视场大小重构对应的三维切片视场空间，并采用栅格化以及栅格数值化技术获取三维切片视场空间的数字化信息；针对显微视觉系统在Z轴方向上同一位置进行切片扫描获取的切片扫描图像对应三维切片视场空间计算视场扩展的三维断层视场空间，针对显微视觉系统在Z轴方向上不同位置的视场扩展的三维断层视场空间，计算景深扩展的三维显微视场空间数字化信息，从而得到视场与景深同时扩展的数字化三维显微视场空间；
或者，所述主计算机根据焦平面所在不同的切片空间位置，利用精密定位系统控制显微视觉系统进行断层扫描，获取各个切片空间位置的断层扫描图像序列，结合断层扫描的精密定位系统步长，重构显微视觉系统的三维断层视场空间并计算三维断层视场空间数字化信息，获取经过景深扩展后的数字化三维切片视场空间，在此基础上，根据景深扩展后的数字化三维切片视场空间计算景深和视场同时扩展的数字化显微视场空间，实现显微视场空间的景深和视场扩展。
16.根据权利要求15所述的微装配系统的显微视觉系统的显微视场与景深数字化扩展系统，其特征在于，还配置有位移量标准量系统，控制切片位置和记录所获得的切片的位置信息；其包括设置于精密定位系统的运动机构上实现位移传感的位移量传感器，以及进行导轨控制运动反馈控制的精密定位系统控制器以及位移传感器控制器。
CN201810621425.2A 2018-06-15 2018-06-15 微装配系统的显微视觉系统的视场与景深数字化扩展方法及系统 Active CN108897279B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810621425.2A CN108897279B (zh) 2018-06-15 2018-06-15 微装配系统的显微视觉系统的视场与景深数字化扩展方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810621425.2A CN108897279B (zh) 2018-06-15 2018-06-15 微装配系统的显微视觉系统的视场与景深数字化扩展方法及系统

Publications (2)

Publication Number Publication Date
CN108897279A CN108897279A (zh) 2018-11-27
CN108897279B true CN108897279B (zh) 2020-11-03

Family

ID=64344916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810621425.2A Active CN108897279B (zh) 2018-06-15 2018-06-15 微装配系统的显微视觉系统的视场与景深数字化扩展方法及系统

Country Status (1)

Country Link
CN (1) CN108897279B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101870039A (zh) * 2010-06-12 2010-10-27 中国电子科技集团公司第四十五研究所 双工作台驱动激光加工机及其加工方法
CN104111242A (zh) * 2014-06-17 2014-10-22 费鹏 一种三维像素超分辨显微成像方法
CN105334612A (zh) * 2015-12-18 2016-02-17 苏州创继生物科技有限公司 显微扫描平台xy平面的平面度校准方法
CN106403811A (zh) * 2016-05-07 2017-02-15 天津大学 基于光耦探测器x射线三维显微镜系统参数标定方法
CN107422336A (zh) * 2016-07-25 2017-12-01 北京理工大学 一种大视场大景深的变分辨率非扫描条纹管激光成像系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101870039A (zh) * 2010-06-12 2010-10-27 中国电子科技集团公司第四十五研究所 双工作台驱动激光加工机及其加工方法
CN104111242A (zh) * 2014-06-17 2014-10-22 费鹏 一种三维像素超分辨显微成像方法
CN105334612A (zh) * 2015-12-18 2016-02-17 苏州创继生物科技有限公司 显微扫描平台xy平面的平面度校准方法
CN106403811A (zh) * 2016-05-07 2017-02-15 天津大学 基于光耦探测器x射线三维显微镜系统参数标定方法
CN107422336A (zh) * 2016-07-25 2017-12-01 北京理工大学 一种大视场大景深的变分辨率非扫描条纹管激光成像系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
用于微装配的显微视觉系统标定技术的研究;许红梅;《中国硕士学位论文全文数据库 信息科技辑》;20120131;全文 *
自动微装配系统的关键技术研究;吴朝明;《中国博士学位论文全文数据库 工程科技Ⅰ辑》;20140228;全文 *

Also Published As

Publication number Publication date
CN108897279A (zh) 2018-11-27

Similar Documents

Publication Publication Date Title
US7646938B2 (en) Method and system for super-resolution of confocal images acquired through an image guide, and device used for implementing such a method
US11403780B2 (en) Camera calibration device and camera calibration method
CN101980291B (zh) 基于随机微位移的超分辨率图像重建方法
US11189012B2 (en) Arrangement having a coordinate measuring machine or microscope
JP2009526272A (ja) 顕微鏡媒体ベースの標本からデジタル画像データを収集するための方法および装置およびコンピュータプログラム製品
JP6274794B2 (ja) 情報処理装置、情報処理方法、プログラム、及び画像測定装置
CN109187591A (zh) 一种x射线超分辨成像方法及其应用
CN109272575B (zh) 一种提高数字切片扫描仪建模速度的方法
JP2015230393A (ja) 撮像装置の制御方法および撮像システム
CN108983702B (zh) 基于计算机显微视觉切片扫描技术的显微视觉系统的显微视场数字化扩展方法及系统
CN105657263B (zh) 一种基于面阵相机的超分辨率数字切片扫描方法
CN108955562B (zh) 显微视觉系统显微景深数字化扩展方法及系统
KR100694320B1 (ko) 길이 측정장치 및 방법
JPWO2018168757A1 (ja) 画像処理装置、システム、画像処理方法、物品の製造方法、プログラム
CN108897279B (zh) 微装配系统的显微视觉系统的视场与景深数字化扩展方法及系统
CN108876838B (zh) 微操作系统的微操作空间的数字化方法及系统
JP4551164B2 (ja) 測定装置
CN108961419B (zh) 微装配系统的显微视觉系统的显微视场空间数字化方法及系统
CN108734763B (zh) 微装配系统的微装配空间的数字化方法及系统
JP2017021275A (ja) 画像取得装置
CN112880588A (zh) 基于分段扫描与拼接融合相结合的叶片三维数据采集方法
JP3849030B2 (ja) カメラキャリブレーション装置及び方法
Wang et al. Depth measurement for the objects with a small height using depth-focus-based microscopic vision system
CN214502386U (zh) 一种激光轮廓测量装置
Usuki et al. Digital shape reconstruction of a micro-sized machining tool using light-field microscopy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant