CN105678847A - 线激光用于slm显微立体视觉的小尺度物体表面重构方法 - Google Patents

线激光用于slm显微立体视觉的小尺度物体表面重构方法 Download PDF

Info

Publication number
CN105678847A
CN105678847A CN201610109756.9A CN201610109756A CN105678847A CN 105678847 A CN105678847 A CN 105678847A CN 201610109756 A CN201610109756 A CN 201610109756A CN 105678847 A CN105678847 A CN 105678847A
Authority
CN
China
Prior art keywords
image
parallax
striped
object surface
nanoscale object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610109756.9A
Other languages
English (en)
Other versions
CN105678847B (zh
Inventor
王跃宗
王立卡
张金波
陈琛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN201610109756.9A priority Critical patent/CN105678847B/zh
Publication of CN105678847A publication Critical patent/CN105678847A/zh
Application granted granted Critical
Publication of CN105678847B publication Critical patent/CN105678847B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/30Polynomial surface description

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明设计一种线激光用于SLM显微立体视觉的小尺度物体表面重构方法,特别是涉及将线激光和SLM结合使用,采集激光条纹图像对序列,通过处理图像对序列,重构出小尺度物体表面。该方法主要包括如下步骤:输入激光条纹图像对序列,条纹中心亚像素级提取,左右图像相对参数计算,条纹中心纵向畸变矫正,条纹中心区域分割,计算匹配点视差,视差条纹位姿变换,输出视差曲面,重构小尺度物体表面。本发明克服了传统SLM视觉重构中存在的全局图像畸变矫正复杂和立体匹配过程中产生大量错误匹配数据等问题,同时避免了大量的复杂的图像融合过程,建立了一种新型的小尺度物体表面重构方法。重构方法极具新颖性,对于小尺度物体的表面重构提供了精确的方法。

Description

线激光用于SLM显微立体视觉的小尺度物体表面重构方法
技术领域
本发明涉及一种线激光用于体视显微镜(StereoLightMicroscope,简称为SLM)显微立体视觉的小尺度物体(尺寸范围为0.1mm至0.5mm)表面重构方法,特别是将线激光和SLM结合使用,获取激光条纹图像对序列,通过对图像中激光条纹的处理估计小尺度物体的视差表面,再通过视觉模型转换重构出在世界坐标系中小尺度物体的表面,建立了新型有效的小尺度物体表面重构方法。
背景技术
结构光法重构物体三维表面通常是基于三角测量原理,通过激光器发出激光经物体表面反射被相机接收,计算物体的三维结构,这种重构系统通常是单目视觉结构。运用双目立体视觉和结构光相结合的重构方法,主要是基于双目立体视觉原理进行重构物体表面,通常包括一个光源和两个相机等部件。这些方法通常是针对宏观对象进行重构,不能适用于小尺度对象的表面重构。
体式显微镜(SLM)能够通过目镜观测微观对象的立体结构,其独特的双光路结构能够从不同角度观测微小对象,在光路末端安装工业相机构成显微立体视觉系统,通过对立体图像对处理能够获得小尺度物体的表面属性。目前,基于SLM显微视觉的测量方法主要分为两类:采用单目激光条纹投影的方法和传统的采用立体匹配的显微测量方法。刘元坤等(2014)采用栅线投影法重构微观对象的3D形貌,在SLM的一个光路上安装编码光栅和激光光源,在另一个光路上安装相机,实际属于单目的视觉检测系统,通过解调相位信息获得物体的三维形貌。光源经过光栅发出条纹投射在小尺度物体表面,计算小尺度物体表面轮廓依赖于高精度的相位测量。相位评估算法通常基于条纹的正弦强度分布,但是正弦光栅的传输分布在制造过程是非常复杂和困难的。传统的采用立体匹配的显微测量方法是通过立体匹配算法寻找立体图像对中的相关点,利用图像中灰度、边缘、纹理等信息建立相关性测度,若在左图像中给定某个特征点,通过相似性测度估计其匹配点在右图像中的位置,这种相关点的搜寻过程是在全局图像或者局部区域图像中实现。但是立体匹配过程存在严重问题,表现在:1)立体匹配算法要求立体图像对能够提供丰富的特征信息,如果立体图像对中特征不明显,很难搜寻到足够多的相关点;2)在全局区域图像中进行立体匹配总是产生大量的错误匹配数据,并且这些数据的数量是随机的,造成立体匹配结果的不确定性,进一步影响表面重构精度;3)全局图像的畸变矫正是非常困难的,估计畸变参数通常采用优化方法,利用显著性和相关性检验判断参数对畸变的贡献率,如果引入不合理的参数往往导致整个参数序列估计的不稳定性,进一步影响视觉模型的定位能力。王跃宗等(2015)提出了多视角大深度显微立体视觉特征融合测量方法,主要依赖于图像序列融合和条纹辅助划分匹配区域计算视差,实际上是将不同视角的图像序列中的清晰部分融合在一副图像中,并依靠条纹特征将图像划分成局部区域进行匹配,最终计算出图像视差,这种方法的重构对象是大深度对象。在0.1mm至0.5mm范围内的小尺度物体通常不超过体视显微镜的景深范围,不需要进行分层采集图象和融合不同视角的图像,因此王跃宗(2015)提出的多视角大深度显微立体视觉特征融合测量方法不适用于小尺度物体的表面重构。这些缺点制约了小尺度物体的表面重构。
发明内容:
针对重构小尺度物体表面重构的问题,本发明将线激光和SLM结合应用,线型激光器投射出线型激光条纹于小尺度物体表面,小尺度物体被置于机械臂末端的底板平面上,小尺度物体在机械臂的带动下沿世界坐标系XOYZ的X轴水平移动,激光条纹与运动方向垂直或者在90度±15度范围内,完成小尺度物体的表面扫描;同时置于SLM光路末端的两个工业相机采集高对比度的激光条纹图像对序列,每对条纹图像反映出小尺度物体一个位置的信息,图像对序列共同反映出小尺度物体的三维信息。对每幅图像单独处理,获取小尺度物体不同位置的三维表面信息,再将所有位置的三维信息按照规则排列即可得到小尺度物体三维表面信息。在图像采集过程中,小尺度物体只需要沿X轴方向均匀平移即可,图像采集简单、可靠。在图像处理过程中,被测对象的三维表面信息只在激光条纹中体现出来,因此只需要对激光条纹区域进行畸变矫正和对准,降低了畸变矫正的难度,提高了对准的准确率。同时,每幅条纹图像单独处理,避免了复杂的大量的图像融合过程,降低了图像处理难度。在视差条纹排列步骤中通过对底板条纹的位姿变换解决了底板平面与SLM聚焦面不平行的问题,同时也能消除机械臂的平移误差。本发明解决了现有SLM重构过程中遇到的问题,能够高效、精确地重构小尺度物体的表面结构。
一种线激光用于SLM显微立体视觉的小尺度物体表面重构方法,小尺度物体尺寸范围为0.1mm至0.5mm,其特征在于包括以下步骤:采集激光条纹图像对序列,条纹中心亚像素级提取,左右图像相对参数计算,条纹中心纵向畸变矫正,条纹中心区域分割,匹配点视差计算,视差条纹位姿变换,输出视差曲面,重构小尺度物体表面。
采集激光条纹图像对序列具体为线型激光器投射出宽度小于或等于25μm的激光条纹至小尺度物体表面,小尺度物体放置在底板平面上,机械臂带动底板平面均匀移动,激光条纹与运动方向垂直或者在90度±15度范围内,线型激光器投射的激光条纹扫描小尺度物体表面,同时利用SLM显微视觉系统拍摄不同位置下的激光条纹左图像和右图像序列,向计算机输入左右图像对序列。
条纹中心纵向畸变矫正具体为运用图像畸变模型对图像中激光条纹区域进行纵向的畸变矫正,输出无畸变条纹中心坐标。
条纹中心分割具体为运用条纹中心分割方法将图像中的激光条纹分割为底板条纹中心和目标条纹中心。
匹配点视差计算具体为对右图像进行旋转和平移使左图像和右图像满足外极限约束条件,根据外极限约束条件分别在底板条纹和目标条纹上寻找匹配点并计算匹配点视差,输出底板视差条纹和目标视差条纹。
视差条纹位姿变换、小尺度物体的视差曲面和输出小尺度物体表面具体为对底板视差条纹进行位姿的变换并输出变换矩阵,将变换矩阵应用于对应的目标视差条纹的位姿变换中,将目标视差条纹排列,输出小尺度物体的视差曲面并代入视觉模型,重构出小尺度物体表面。
具体的,所述的线激光用于SLM显微立体视觉的小尺度物体表面重构方法包括以下步骤:
1、采集激光条纹图像对序列
线激光用于SLM显微立体视觉的小尺度物体表面重构系统如图1所示,体视显微镜1(SLM)的双光路末端分别安装左相机2和右相机3。三自由度机械臂7在SLM的下方,机械臂的末端执行器上固定有平面底板6,被测小尺度物体5安置在平面底板6上。为了便于理解,将重构系统中局部区域10换个视角观察得到第二视角局部区域11。机械臂7能够在计算机9的控制下驱动平面底板6和小尺度物体5沿X,Y,Z三个方向平移,左相机2和右相机3与计算机9连接能够实时采集图像。图像采集前,调整平面底板6及小尺度物体5、SLM1和线型激光器4的相对位置,使得平面底板6和小尺度物体5在SLM的聚焦面上并与之平行,同时投射在小尺度物体5表面上的激光条纹最细。图像采集过程中,计算机9控制机械臂7带动平面底板6和小尺度物体5沿X方向以间隔ΔX从激光条纹的一侧平移至另一侧均匀平移,平移方向与激光条纹垂直;每移动一个位置,左相机2和右相机3采集激光条纹图像对,扫面完成时获得激光条纹图像对序列并输入计算机9进行图像处理。
2、条纹中心亚像素级提取
在步骤1中所采集的条纹图像对序列中,条纹特征明显并且在图像中的位置相对固定,便于条纹中心提取。首先,选择图像中激光条纹区域并进行面积滤波、平滑滤波预处理过程,得到ROI区域。其次,对ROI区域应用亚像素级条纹中心检测算法(如Hessian矩阵法等)提取出条纹中心坐标。
3、左右图像相对参数计算
由于SLM系统中左相机和右相机的安装误差,所采集到的右图像相对于左图像存在旋转角度和纵向平移,需要通过对标定样板图像对的处理计算右图像相对于左图像的旋转和偏移参数。首先,在SLM系统下采集标定样板图像对,提取标定样板左图像和右图像中格点坐标,对左图像和右图像中的每行格点分别进行直线拟合,得到拟合直线与图像横轴的夹角,再对所有夹角求平均值,得到图像中格点点阵与图像横轴的夹角,从而计算出右图像相对于左图像的旋转角度;其次,在计算得到左图像和右图像中格点点阵与各自横轴的夹角之后,分别对左图像和右图像按照旋转公式进行旋转使得图像中格点点阵与横轴的夹角为零。此时,计算右图像中每个格点的纵坐标相对于左图像中对应格点纵坐标的偏移量并计算平均值,得到右图像相对于左图像的纵向偏移量。
4、条纹中心纵向畸变矫正
采集的条纹图像中,被测小尺度物体的表面信息包含在图像的条纹信息中,因此,只需要对图像中激光条纹区域进行纵向畸变矫正即可。首先,应用第三步中得到标定样板图像对中格点的坐标,并对左图像和右图像分别旋转使得点阵与图像横轴的夹角为零。其次,对旋转之后的左图像和右图像点阵中每列格点坐标按纵向拟合,计算每列格点的误差分布,得到图像纵向畸变模型;最后,将纵向畸变模型应用于条纹图像中并进行误差补偿,最终得到无畸变条纹中心坐标。
5、条纹中心区域分割
线激光投射至小尺度物体表面和底板上,不同区域出现不同的条纹形态。运用分割方法将图像中的条纹区域分割为目标条纹中心和底板条纹中心。
6、对准点视差计算
在第三步中得到右图像相对于左图像的旋转角和纵向平移量。以左图像为参考,对右图像旋转和纵向平移使得左右图像满足外极线约束条件即同一空间点在左右图像上的成像点的横向坐标相等。根据横向坐标相等在目标条纹和底板条纹中心线上寻找对准点,并计算对准点的视差,输出底板视差条纹和目标视差条纹。
7、视差条纹位姿变换
底板视差条纹重构了底板平面的位姿,由于底板平面与SLM的聚焦平面不平行以及机械臂平移误差共同造成了视差重构的误差。为了减小误差,需要对视差条纹进行位姿变换。将不同位置的底板视差条纹进行旋转和平移使得视差条纹与视差坐标系的xoy平面平行,底板视差条纹的起始端与坐标原点o重合,同时与y轴正向重合;同时输出每一条底板视差条纹的位姿变换矩阵。
8、输出视差曲面
将底板视差条纹的位姿变换矩阵应用于对应序列的目标视差条纹的位姿变换中,并将变换后的目标视差条纹沿x轴以Δx依次排列,得到小尺度物体在视差坐标系中的视差曲面。
9、重构小尺度物体表面
将小尺度物体的视差曲面代入视觉模型即可得到空间坐标系下小尺度物体表面。
本发明所涉及的线激光用于SLM显微立体视觉的小尺度物体表面重构方法,通过线型激光器投射出极细激光条纹于小尺度物体表面,三自由度机械臂带动小尺度物体沿X轴方向均匀移动,激光条纹与运动方向垂直,在不同时刻SLM末端的两个工业相机获取激光条纹立体图像对,完成线激光对小尺度物体表面的扫描。对获取的激光条纹立体图像对序列进行条纹中心检测,畸变矫正,对准点视差计算,视差条纹位姿变换,视觉模型转换等步骤即可重构出小尺度物体的表面。本发明很好的解决了传统SLM视觉重构中存在的全局图像畸变矫正复杂和立体匹配过程中产生大量错误匹配数据等问题,同时,避免了繁琐的图像融合算法,建立了一种新型的小尺度物体表面重构方法。本方法极具新颖性和可操作性,提高了SLM显微立体视觉用于小尺度物体表面的重构精度。从本质上改善了现有的SLM显微立体视觉在小尺度物体表面重构方面的技术瓶颈。
附图说明
图1为本发明涉及的线激光用于SLM显微立体视觉的小尺度物体表面重构系统
图2为本发明涉及的线激光用于SLM显微立体视觉的小尺度物体表面重构方法流程图
图3为本发明涉及的激光条纹中心区域分割示意图
图4为本发明涉及的对准点视差计算流程图
图5为本发明涉及的视差条纹位姿变换过程示意图
附图中标记说明:
1、体式显微镜
2、左相机
3、右相机
4、线型激光器
5、小尺度物体
6、平面底板
7、三自由度机械臂
8、圆形轨迹
9、计算机
10、局部区域
11、第二视角局部区域
S1、采集激光条纹图像对序列
S2、条纹中心亚像素级提取
S3、左右图像相对参数计算
S4、条纹中心纵向畸变矫正
S5、条纹中心区域分割
S51、输出底板条纹中心
S52、输出目标条纹中心
S521、目标条纹形状规则
S522、插值计算中心坐标
S523、多项式拟合中心坐标
S524、连续的目标条纹中心
S53、旋转和平移右图像条纹中心
S54、寻找对准点
S6、对准点视差计算
S61、输出底板视差条纹
S62、输出目标视差条纹
S7、视差条纹位姿变换
S71、输出位姿变换矩阵
S8、输出视差曲面
S9、重构小尺度物体表面
i、激光条纹区域
ii、目标条纹中心
iii、底板条纹中心
I、激光条纹左图像
II、激光条纹右图像
XOYZ、世界坐标系
xoyz、视差坐标系
E1、原始底板视差条纹起点
E、原始底板视差条纹中点
En、原始底板视差条纹终点
F1、平移之后底板视差条纹起点
F、平移之后视差条纹中点
Fn、平移之后视差条纹终点
H1、变换之后底板视差条纹起点
H、变换之后底板视差条纹中点
Hn、变换之后底板视差条纹终点
S、原始目标视差条纹
T、平移之后目标视差条纹
P、变换之后目标视差条纹
α、向量F向xoz平面的投影与y轴的夹角
β、向量G与y轴的夹角
a、视差条纹平移过程示意图
b、视差条纹旋转过程示意图
c、视差条纹位姿变换之后示意图
具体实施方式
现结合附图对本发明作进一步详细阐述。图1为本发明涉及的线激光用于SLM显微立体视觉的小尺度物体表面重构系统,图2显示本发明涉及的线激光用于SLM显微立体视觉的小尺度物体表面重构方法流程图,图3显示本发明涉及的激光条纹中心区域分割示意图,图4为本发明涉及的对准点视差计算流程图,图5为本发明涉及的视差条纹位姿变换过程示意图。如图所示,线激光用于SLM显微立体视觉的小尺度物体表面重构方法包括以下步骤:
1、采集激光条纹图像对序列
(1)采集图像前准备工作。如图1所示,尺寸大小在0.1mm至0.5mm范围内的小尺度物体5置于固定在三自由度机械臂7的末端执行器的平面底板6上,打开线型激光器4投射出宽度小于或等于25μm的极细激光条纹至小尺度物体5和平面底板6上,旋转激光器4使得激光条纹方向与X轴方向垂直。调整机械臂7使得小尺度物体5在SLM的视野范围内并在聚焦平面上,调整机械臂7使得小尺度物体5在激光条纹的左侧,同时激光条纹能够完整纵切小尺度物体5的任意位置。
(2)采集激光条纹图像对序列S1。线型激光器4固定不动,机械臂7在计算机9的控制下沿X轴方向以间隔ΔX均匀平移,ΔX的取值范围为0.01mm至0.05mm,直到激光条纹完整扫描小尺度物体5的表面,小尺度物体5在的激光条纹右侧;同时,每当小尺度物体5移动一个位置时,左相机2和右相机3实时采集激光条纹图像对序列并按采集顺序编号。将采集到的激光条纹图像对序列输入到计算机9中进行图像处理。
2、提取条纹中心亚像素级
(1)由于激光器位置固定,因此采集的激光条纹图像中激光条纹位置也是相对固定的。选择图像中激光条纹区域,运用面积滤波、平滑滤波预处理过程,得到ROI区域。
(2)使用亚像素级条纹中心提取算法(如Hessian矩阵法等)对激光条纹图像对序列中的ROI区域进行条纹中心坐标提取。输出激光条纹图像对序列中每一对左图像和右图像激光条纹的中心坐标S2。
3、计算左右图像相对参数
(1)制作规格为27行×35列的点阵平面标定样板,阵列单元为直径0.1mm的圆形图案,取圆形图案圆心为格点,相邻格点间距为0.2mm,格点定位精度为±0.25μm。点阵能够充满SLM视场,采集标定样板的左图像和右图像。
(2)采用亚像素级边缘提取算法检测出标定样板图像中圆形图案的边缘并拟合为圆,提取出圆心坐标。首先,对图像中格点按行进行直线拟合获得直线方程Y=aix+bi,其中x为格点在图像中的横向坐标。其次,对拟合直线斜率ai运用反正切公式计算得到格点按行排列的拟合直线与图像横轴之间的夹角集合Ai,其中i∈[1,27]。计算左图像和右图像中按行拟合格点的直线方程与图像行轴的夹角集合的平均值分别为Al和Ar,计算右图像相对于左图像的旋转角A=Ar-Al。再次,运用旋转公式对左图像和右图像分别旋转Al和Ar,使得格点按行排列的拟合直线与图像横轴的夹角为零。左图像和右图像旋转后,计算右图像中所有格点的纵坐标相对于左图像中对应格点的纵坐标的偏移量并计算平均值,得到右图像相对于左图像的纵向偏移量ΔT。最后,计算得到右图像相对于左图像的相对参数S3,包括相对旋转角度A和纵向偏移量ΔT。
4、矫正条纹中心纵向畸变
(1)在S3中得到标定样板图像对中格点点阵与图像横轴的夹角,对标定样板左图像和右图像分别旋转使得点阵与横轴的夹角为零。对旋转之后的图像格点进行按列拟合直线方程,计算每列格点横向坐标的拟合值与原始值之间的差值得到拟合误差集合Ej,其中j∈[1,35]。对每列误差集合进行多项式拟合得到误差分布模型,如运用二次多项式拟合得到误差分布模型其中y1为旋转之后格点的纵向坐标,ej为拟合误差值。标定样板图像点阵中每列格点的列向误差分布模型就是图像当前位置的纵向畸变模型,在相同系统下采集的图像,图像畸变模型相同。
(2)将S2中得到左图像和右图像中亚像素级的条纹中心对应于标定样板图像对中的位置,寻找对应区域的图像纵向误差分布模型。将条纹中心的横向坐标与对应的误差分布模型的拟合值进行加减运算,计算出无畸变的条纹中心坐标S4。由于图像中激光条纹的宽度很小,因此条纹中心的横向畸变可忽略不计。
5、分割条纹中心区域
线激光投射至小尺度物体表面和平面底板上,如图3所示,在激光条纹左图像I和激光条纹右图像II中存在激光条纹区域i和小尺度物体5。在S3中得到无畸变激光条纹中心坐标,在底板区域为底板条纹中心iii,在小尺度物体区域为目标条纹中心ii。由于小尺度物体和底板之间存在高度差,两部分激光条纹之间存在一定的距离。依据两部分条纹之间的距离将图像中的条纹中心区域分割S5为底板条纹中心S51和目标条纹中心S52。
6、计算对准点视差
在S5中得到了经畸变矫正的目标条纹中心S51和底板条纹中心S52。底板条纹中心和目标条纹中心处理步骤不同。如图4所示为对准点视差计算流程图,首先,输入目标条纹中心S52,依据被测小尺度物体的表面形状是否规则判断目标条纹中心形状是否规则S521,如果小尺度物体表面形状规则,则目标条纹中心形状也是规则的;如果被测小尺度物体表面形状不规则,则目标条纹中心形状也是不规则的。如果目标条纹中心是规则形状,则用多项式拟合(如二次多项式、高次多项式拟合)离散的目标条纹中心坐标S523,得到连续的目标条纹中心S524;如果目标条纹中心是不规则形状,则用插值方法计算目标条纹中心S522,得到连续的目标条纹中心S524。然后,将右图像中无畸变目标条纹中心和底板条纹中心分别运用旋转公式旋转角度A,再将旋转之后的条纹中心纵向平移ΔT,使得激光条纹的左图像和右图像满足外极限约束条件,即右图像相对于左图像无旋转角并且对应点的纵向坐标相等。最后,根据纵向坐标相等在目标条纹和底板条纹中心线上分别寻找对准点S54并计算对准点的视差S6,输出底板视差条纹S61和目标视差条纹S62。
7、视差条纹位姿变换
底板视差条纹重构了底板平面的视差平面,由于底板平面与SLM的聚焦平面不平行以及机械臂的平移误差共同造成了视差的重构误差。为了减小误差,提高重构精度,需要对底板视差条纹S61进行位姿变换S7,并输出位姿变换矩阵S71。图5描述了一条视差条纹位姿变换的过程,xoyz为视差坐标系,线段E1En为底板视差条纹,起点E1(xE1,yE1,zE1)和终点En(xEn,yEn,zEn)分别对应底板视差条纹中y=0和y=Row-1的点,Row为图像横向分辨率。E(xE,yE,zE)为原始底板视差条纹线段的中点,S为原始目标视差条纹。通过平移和旋转将底板视差条纹E1En变换至与y轴正向重合的位置,其中起点E1与坐标原点o重合,中点E和终点En位于y轴上且为正值。目标视差条纹S运用同样的变换矩阵变换能够保持目标视差条纹和底板视差条纹的相对位置不变。
视差条纹位姿变换规则如下:
1)通过平移矩阵M使得E1和o重合,获得平移之后的视差条纹F1Fn和T,如图5中a所示;
2)通过旋转矩阵Rx和Rz获得位姿变换之后的视差条纹H1Hn和P,如图5中c所示。
3)视差条纹的变换矩阵为J=M·Ry·Rz
平移矩阵M通过E1和o点坐标即可计算得到。
M = 1 0 0 0 0 1 0 0 0 0 1 0 - x E 1 - y E 1 - z E 1 1
以经过平移之后的视差条纹上任意点即可计算旋转矩阵Ry和Rz。以平移之后底板视差条纹中点F(xF,yF,zF)为例,如图5中b所示将中点F视为向量F,首先将F绕x轴逆时针旋转α角得到向量G,使得G位于xoy平面内,获得旋转矩阵Rx;其中α为F向yoz平面投影的直线与y轴的夹角。其次,将G绕z轴顺时针旋转β角得到向量H,使得H位于y轴的正向上,获得旋转矩阵Rz;其中β为G和y轴的夹角。
R x = 1 0 0 0 0 cos α s i n α 0 0 - sin α cos α 0 0 0 0 1
R z = c o s β s i n β 0 0 - s i n β c o s β 0 0 0 0 1 0 0 0 0 1
式中, s i n α = z F x F 2 + y F 2 , s i n β = x F 2 x F 2 + y F 2 + z F 2 .
8、输出视差曲面
将底板视差条纹的位姿变换矩阵应用于对应的目标视差条纹的位姿变换中,并将变换后的目标视差条纹在视差坐标下沿x轴以间隔Δx依次排列,输出小尺度物体在视差坐标系中的视差曲面S8。
9、重构小尺度物体表面
将小尺度物体视差曲面代入视觉模型,将像素单位转换为毫米单位,重构出空间坐标系下的小尺度物体表面S9。
对本领域的技术人员来说,很明显,本发明可以做出多种改进和变化,只要落入所附的权利要求书及其等同的范围内,本发明就涵盖本发明的这些改进和变化。

Claims (6)

1.一种线激光用于SLM显微立体视觉的小尺度物体表面重构方法,小尺度物体尺寸范围为0.1mm至0.5mm,其特征在于包括以下步骤:采集激光条纹图像对序列,条纹中心亚像素级提取,左右图像相对参数计算,条纹中心纵向畸变矫正,条纹中心区域分割,匹配点视差计算,视差条纹位姿变换,输出视差曲面,重构小尺度物体表面。
2.根据权利要求1所述的线激光用于SLM显微立体视觉的小尺度物体表面重构方法,其特征在于,采集激光条纹图像对序列具体为线型激光器投射出宽度小于或等于25μm的激光条纹至小尺度物体表面,小尺度物体放置在底板平面上,机械臂带动底板平面均匀移动,激光条纹与运动方向垂直或者在90度±15度范围内,线型激光器投射的激光条纹扫描小尺度物体表面,同时利用SLM显微视觉系统拍摄不同位置下的激光条纹左图像和右图像序列,向计算机输入左右图像对序列。
3.根据权利要求1所述的线激光用于SLM显微立体视觉的小尺度物体表面重构方法,其特征在于,条纹中心纵向畸变矫正具体为运用图像畸变模型对图像中激光条纹区域进行纵向的畸变矫正,输出无畸变条纹中心坐标。
4.根据权利要求1所述的线激光用于SLM显微立体视觉的小尺度物体表面重构方法,其特征在于,条纹中心分割具体为运用条纹中心分割方法将图像中的激光条纹分割为底板条纹中心和目标条纹中心。
5.根据权利要求1所述的线激光用于SLM显微立体视觉的小尺度物体表面重构方法,其特征在于,匹配点视差计算具体为对右图像进行旋转和平移使左图像和右图像满足外极限约束条件,根据外极限约束条件分别在底板条纹和目标条纹上寻找匹配点并计算匹配点视差,输出底板视差条纹和目标视差条纹。
6.根据权利要求1所述的线激光用于SLM显微立体视觉的小尺度物体表面重构方法,其特征在于,视差条纹位姿变换、小尺度物体的视差曲面和输出小尺度物体表面具体为对底板视差条纹进行位姿的变换并输出变换矩阵,将变换矩阵应用于对应的目标视差条纹的位姿变换中,将目标视差条纹排列,输出小尺度物体的视差曲面并代入视觉模型,重构出小尺度物体表面。
CN201610109756.9A 2016-02-27 2016-02-27 线激光用于slm显微立体视觉的小尺度物体表面重构方法 Expired - Fee Related CN105678847B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610109756.9A CN105678847B (zh) 2016-02-27 2016-02-27 线激光用于slm显微立体视觉的小尺度物体表面重构方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610109756.9A CN105678847B (zh) 2016-02-27 2016-02-27 线激光用于slm显微立体视觉的小尺度物体表面重构方法

Publications (2)

Publication Number Publication Date
CN105678847A true CN105678847A (zh) 2016-06-15
CN105678847B CN105678847B (zh) 2018-08-14

Family

ID=56305324

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610109756.9A Expired - Fee Related CN105678847B (zh) 2016-02-27 2016-02-27 线激光用于slm显微立体视觉的小尺度物体表面重构方法

Country Status (1)

Country Link
CN (1) CN105678847B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108876838A (zh) * 2018-06-15 2018-11-23 重庆大学 微操作系统的微操作空间的数字化方法及系统
CN111578845A (zh) * 2020-05-12 2020-08-25 创想智控科技(济南)有限公司 激光线的检测方法及装置、激光传感器、可读存储介质
CN113102754A (zh) * 2019-12-24 2021-07-13 天津大学 一种高熵合金激光选区熔化工艺参数优化方法
CN113989366A (zh) * 2021-12-27 2022-01-28 机科发展科技股份有限公司 一种托盘定位方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5880846A (en) * 1997-07-09 1999-03-09 Yeda Research And Development Co. Ltd. Method and apparatus for color-coded optical profilometer
CN103075960A (zh) * 2012-12-30 2013-05-01 北京工业大学 多视角大深度显微立体视觉特征融合测量方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5880846A (en) * 1997-07-09 1999-03-09 Yeda Research And Development Co. Ltd. Method and apparatus for color-coded optical profilometer
CN103075960A (zh) * 2012-12-30 2013-05-01 北京工业大学 多视角大深度显微立体视觉特征融合测量方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YUEZONG WANG ET AL: "Study on Correlation of Micro Stereovision with Stereo Light Microscope", 《INTERNATIONAL CONFERENCE ON MECHATRONICS AND AUTOMATION》 *
王跃宗 等: "微操作系统中微观对象三维立体形状重构研究", 《计算机辅助设计与图形学学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108876838A (zh) * 2018-06-15 2018-11-23 重庆大学 微操作系统的微操作空间的数字化方法及系统
CN108876838B (zh) * 2018-06-15 2022-05-06 重庆大学 微操作系统的微操作空间的数字化方法及系统
CN113102754A (zh) * 2019-12-24 2021-07-13 天津大学 一种高熵合金激光选区熔化工艺参数优化方法
CN113102754B (zh) * 2019-12-24 2022-07-29 天津大学 一种高熵合金激光选区熔化工艺参数优化方法
CN111578845A (zh) * 2020-05-12 2020-08-25 创想智控科技(济南)有限公司 激光线的检测方法及装置、激光传感器、可读存储介质
CN113989366A (zh) * 2021-12-27 2022-01-28 机科发展科技股份有限公司 一种托盘定位方法及装置

Also Published As

Publication number Publication date
CN105678847B (zh) 2018-08-14

Similar Documents

Publication Publication Date Title
CN108151671B (zh) 一种三维数字成像传感器、三维扫描系统及其扫描方法
CN110288642B (zh) 基于相机阵列的三维物体快速重建方法
CN108648232B (zh) 一种基于精密二轴转台的双目立体视觉传感器一体式标定方法
CN103386640B (zh) 大口径反射镜加工机床精确对准方法
CN106767527A (zh) 一种三维轮廓的光学混合检测方法
CN102878948B (zh) 基于圆光斑标记的目标表面坐标的视觉测量装置及测量方法
CN109579695B (zh) 一种基于异构立体视觉的零件测量方法
CN103615980B (zh) 一种板件上圆孔参数的测量方法及系统
CN105678847A (zh) 线激光用于slm显微立体视觉的小尺度物体表面重构方法
CN103075960B (zh) 多视角大深度显微立体视觉特征融合测量方法
CN107860337B (zh) 基于阵列相机的结构光三维重建方法与装置
CN104061879A (zh) 一种连续扫描的结构光三维面形垂直测量方法
CN104613899A (zh) 一种全自动的结构光手眼三维测量系统标定方法
CN112945141B (zh) 基于微透镜阵列的结构光快速成像方法及系统
CN111612768A (zh) 一种采用结构光空间定位和二维工业ct检测叶片方法
CN106403838A (zh) 一种手持式线结构光视觉三维扫描仪的现场标定方法
CN113310430B (zh) 一种四线四目三维激光扫描仪及扫描方法
CN104422425A (zh) 一种不规则外形物体空间姿态动态测量方法
CN105115560A (zh) 一种船舱舱容的非接触测量方法
CN106500625A (zh) 一种远心立体视觉测量装置及其应用于物体三维形貌微米级精度测量的方法
CN107560549A (zh) 一种激光视觉二维位移测量系统实用标定技术方案
CN108692677A (zh) 基于反射光场偏振与空时编码的表面三维重建方法和系统
CN104406539A (zh) 全天候主动式全景感知装置及3d全景建模方法
CN109631798A (zh) 一种基于π相移方法的三维面形垂直测量方法
CN102798349A (zh) 一种基于等灰度线搜索的三维表面提取方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180814

Termination date: 20210227

CF01 Termination of patent right due to non-payment of annual fee