CN110044262B - 基于图像超分辨率重建的非接触式精密测量仪及测量方法 - Google Patents
基于图像超分辨率重建的非接触式精密测量仪及测量方法 Download PDFInfo
- Publication number
- CN110044262B CN110044262B CN201910382720.1A CN201910382720A CN110044262B CN 110044262 B CN110044262 B CN 110044262B CN 201910382720 A CN201910382720 A CN 201910382720A CN 110044262 B CN110044262 B CN 110044262B
- Authority
- CN
- China
- Prior art keywords
- image
- axis
- camera
- layer
- guide rail
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/028—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring lateral position of a boundary of the object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
一种基于图像超分辨率重建的非接触式精密测量仪及测量方法,属于测量仪及测量方法技术领域。测量仪包含测量装置以及载物装置,测量装置包含两个丝杠导轨滑台,用于移动激光测距仪以及相机。以调节拍摄方向。载物装置包含竖直面与水平载物台,测量时将零件一侧紧贴载物台竖直面,通过测量装置移动相机拍摄零件另一侧待测边缘,利用激光测距仪测量其到相机的距离。将图像传到电脑端,通过超分辨率图像重建技术得到更高精度的图像,用换算公式算出相机光心到待测边缘实际距离,与激光测距仪测量测量的相机移动的精准距离求和,最终可得出待测长度的实际物理距离。本发明与现有技术相比,提高了非接触式测量的精度,有效降低成本,提高测量效率。
Description
技术领域
本发明涉及一种基于图像超分辨率重建的非接触式精密测量仪及测量方法,属于测量仪及测量方法技术领域。
背景技术
现有对于大尺寸零件的测量手段有:1、接触式测量,通过游标卡尺、外径千分尺的读数值直接表示被测尺寸的大小的绝对测量方法来测量。绝对测量虽是可以直接测量出实际零件的尺寸信息,也很直观。但是大型零件使用的游标卡尺和外径千分尺量程大,精度相对就会降低,量具本身的重量也会增加,操作人员测量零件时十分不方便,达不到合理的检测位置,时常会出错,检测零件尺寸不准确。2、非接触式测量是近几年研究的热点,包括有以下方法:a、一种是基于图像拼接的方法,但是对拍摄过程要求高,要求拍摄点固定且无抖动,需要对相机严格标定,算法复杂度高,耗时长。b、一种是直接用激光进行测量,但实际中不能保证激光光束在测量过程中始终与被测物体垂直,从而导致光斑变形;其次光斑一般边缘模糊,难于确定测量时的真实初始位置,无法记录圆柱形零件的初始测量边缘,这些情况下检测出的结果就会产生很大的误差,造成这种检测方法失效。
发明内容
本发明的目的是为了解决上述现有技术存在的问题,进而提供一种基于图像超分辨率重建的非接触式精密测量仪及测量方法。
本发明的目的是通过以下技术方案实现的:
一种基于图像超分辨率重建的非接触式精密测量仪,由测量装置、载物装置和电脑组成,测量装置包括两个丝杠导轨滑台、激光测距仪、相机。两个导轨滑台的X轴相互平行放置在同一水平面上,一个丝杠导轨滑台一在左侧,另一个丝杠导轨滑台二在右侧。两个丝杠导轨滑台的Z轴与载物装置中的载物台垂直并相连接,用于调试与载物台的距离。相机固定在左侧的丝杠导轨滑台一的X轴上,激光测距仪固定在右侧的丝杠导轨滑台二的Y轴上,载物装置包括载物台、载物台竖直面和用于相机标定的棋盘格,载物台竖直面固定在载物台上的右侧,用于相机标定的棋盘格设置在载物台上的左侧;测量装置中的丝杠导轨台均由控制器进行移动操作,激光测距仪和相机均与电脑相连接。
选用的丝杠导轨滑台一为XYZ三轴悬臂滑台,Z轴用于调节物距,与载物装置中的载物台垂直相连接,Y轴分别与Z轴垂直,用于调节相机高度,X轴分别与Y轴和Z轴垂直,用于水平方向上移动相机,丝杠导轨滑台二为YZ悬臂滑台,Z轴用于调节物距,与载物装置中的载物装置中载物台垂直相连接,Y轴用于调节激光测距仪的高度,所有的X轴有效行程为1000mm,Y轴有效行程均为800mm,所有Z轴有效行程为200mm,定位精度均为0.05mm。
相机为130万像素工业相机,相机的镜头使用远心镜头。
激光测距仪为MLC高精度型激光测距仪。
一种使用基于图像超分辨率重建的非接触式精密测量仪的测量方法,
步骤一、获取待测零件的边缘图像与相机移动距离:
(1)、将待测零件放置到载物台上,将其一侧边缘紧贴在载物台竖直面上;
(2)、移动测量装置中丝杠导轨滑台一的Z轴以适应拍摄焦距,然后记录此时物距ZC,并将丝杠导轨滑台二的Z轴也移动到相同位置;
(3)、根据零件的待测高度范围,利用控制器一移动测量装置中丝杠导轨滑台一的Y轴,以调整相机的拍摄高度,使待测零件进入相机视窗中心;同时利用控制器二移动测量装置中丝杠导轨滑台一的Y轴,调整激光测距仪的高度,使其与相机保持同一高度再进行测量;
(4)、利用激光仪对相机所在位置进行测距,激光测距仪工作距离在1000mm以内;根据零件的待测长度范围,利用控制器一控制测量装置中丝杠导轨滑台一的X轴,从初始位置水平移动相机,到达指定位置后,用相机拍摄另一侧待测边缘,将此图像记为I,并记录此时激光测距仪与相机的距离为L1;
步骤二、将拍摄的零件边缘图像行图像超分辨率重建:
(1)网络结构:
网络的输入,将拍摄所得图像I进行上采样,放大得到目标尺寸图像,作为低分辨率输入图像ILR,网络总体有20层,其中每一特征提取层后面连接ReLU激活层,目的是对图像进行非线性修正;每次卷积前都对图像进行补0操作,这样保证了所有的特征图和最终的输出图像在尺寸上都保持一致;网络加入残差学习,即损失层,有三个输入:残差估计、网络输入图像和基准高分辨率图像;可直接学习图像高频部分,损失函数为输入图像与输出图像相对应像素值的MSE;同时使用梯度裁剪来最大化加速网络收敛并抑制梯度弥散;加入新结构,对原图像I进行三层处理,分别是非锐化掩模层、细节增强层与上采样层,其输出结果与残差层加入到网络最后的高频分量融合层,对训练得到的残差图像进行修正,最终与输入图像(ILR)输出超分辨率图像ISR;
(2)参数训练:
(a)参数设置:设定网络中卷积层为D-1层,激活函数D-1层,采用规整化线性单元数作为激活函数,每一层的输出表示为:
fk(x)=φk(Wk×fk-1(x)+bk),k∈[1,D-1] (1-1)
其中φk为激活层的函数,bk是网络模型当中第k层的偏置参数,Wk是网络模型当中第k层的卷积模板参数,大小为nk-1×Vk×Vk×nk,其中nk-1为第k层输入的特征图的数目,nk为第k层输出层的特征图的数目,Vk为第k层的卷积核的大小;除了第一层与最后一层外,每一个卷积层的卷积核大小为3×3,卷积核个数为64个,步幅为2;最后一层用于图像重建,由一个尺寸为3×3×64滤波器组成;
网络中非锐化掩模层:先获取原图像I的底层,即图像的低频信息,使用低通滤波对图像进行滤波:
B=f(I) (1-2)
其中I表示要分解的图像,f(·)表示低通滤波操作,B为提取的底层,提取底层后,使用源图像减去底层,即为高频细节层D:
D=I-B (1-3)
网络中细节增强层对图像的Y通道进行处理:
I′=D*Z (1-4)
其中I′表示这一层的输出图像,Z为该层的卷积核,D为上一层输出的高频细节图像;
网络中上采样层是将得到的高频细节增强图像进行上采样,使得与残差图像大小相同;
网络中高频分量融合层的输入包括:由原图像I进行三层处理后得到的高频细节增强图像,其Y通道分布值xi(i=1,2,…,k)作为非独立同分布的k个样本,残差图像所有像素点Y通道分布值xj(j=1,2,…,k)作为非独立同分布的k个样本,对两个样本数据行融合,由xs(s=1,2,…,k)的分布值得到最终残差图,作为这一层输出,公式如下:
(b)参数更新:f(w,b,x)为网络预测结果,w和b分别为待更新的神经网络中的卷积模板参数和偏置参数。r为残差图象,使用均方差损失函数作为训练的目标函数,过程采用基于反向传播的小批量梯度下降优化回归目标进行训练来更新参数值,将动量参数设置为0.9,训练通过重量衰减即惩罚乘以0.0001进行调整;
minw,bΣ||r-f(w,b,x)||2 (1-6)
(3)经过训练使得损失函数收敛,最终输出高分辨率图像;
(4)将上述所得图像采用sobel边缘检测算法进行边缘检测,有水平和垂直方向的两个3×3卷积核;
步骤三、相机标定:
采用张正友标定法,精确度可达到0.5个像素,打印一张棋盘格,把它贴在载物台平面上,作为标定物;经过标定可得到五个内参:fx、fy为焦距,u0、v0为主点坐标,s为坐标轴倾斜参数;和六个外参:三个轴的旋转参数分别为ω、δ、θ,进而得到正交旋转矩阵R,其大小是3×3;T的三个轴的平移参数Tx、Ty、Tz。使用opencv自带函数进行标定,可得到上述参数;
步骤四、通过步骤二得到图像后,计算相机图像中心到待测零件边缘的实际物理距离:
(1)、建立相机坐标系,相机光心为原点,单位mm,丝杠导轨滑台一的X轴方向为X轴,丝杠导轨滑台一的Y轴方向为Y轴,丝杠导轨滑台一的Z轴方向为Z轴;建立图像坐标系,相机光心为图像中点o(u,v),单位mm,以此点为中心的水平方向为x轴,竖直方向为y轴;建立CCD图像平面的左上角顶点为原点的像素坐标系,单位pixel,X轴和Y轴分别平行于图像坐标系的X轴和Y轴,可得图像坐标系中心点o在像素坐标系中的坐标,记为o(x0,y0),换算公式下:
其中dx为每个像素在图像坐标系横轴X上的物理尺寸,dy为每个像素在图像坐标系纵轴Y上的物理尺寸;
(2)、在像素坐标系中,由(1)中确定的中心点o(x0,y0),寻找与中心点o所在的平行于x轴的线所相交的边缘线上的点记录为a1(x1,y0);
由下列公式和物距ZC可以将图像中心点(x0,y0,1)与边缘点(x1,y0,1)均换算成世界坐标某点P(Xw,Yw,Zw)的形式;只求出边缘点与相机中心在X轴方向上的实际相差距离L2即可;
(3)、由步骤一得到的数据,可得出相机拍摄到边缘图像时,在世界坐标系下X轴方向上与激光测距仪的距离,由相机尺寸信息得出光心与相机边缘距离L′,进而得出相机光心的Y坐标与激光测距仪距离L1′=L1+L′;
步骤五、根据激光仪测量的距离与图像换算所得距离进行计算,即得出待测长度的高精度数据;
其中边缘线在中心点右侧时,公式(1-9)使用加法,反之,边缘线在中心点左侧时,公式(1-9)使用减法。
本发明测量精度可达到0.5mm。特别适用于大尺寸零件中圆柱形零件部分的长度检测,也可用于其他弧形、半圆类零件尺寸信息检测。
使用时将零件一侧紧贴载物台竖直面,激光测距仪测量镜头与竖直面贴近零件一侧在保持同一平面上,可利用测量装置中控制器调节丝杠导轨滑台的Z轴以此调节与载物台的距离,以适应相机的焦距。通过控制器调节丝杠导轨滑台的X轴来移动相机拍摄零件另一侧待测边缘,再通过激光测距仪测量其到相机的精确距离。将图像传到电脑端,通过超分辨率图像重建技术得到更高精度的图像,由换算公式算出相机光心到待测边缘实际距离,最终与激光测距仪测量其到相机的精确距离求和,得出待测长度的实际物理距离。本发明与现有技术相比,提高了非接触式测量的精度,有效降低了成本,提高了测量效率。
附图说明
图1为本发明一种基于图像超分辨率重建的非接触式精密测量仪的结构示意图。
图2为本发明一种基于图像超分辨率重建的非接触式精密测量仪所使用的优化后的VDSR模型结构图。
图3为本发明一种基于图像超分辨率重建的非接触式精密测量仪实施流程图。
图中的附图标记,1为测量装置,1-1为(测量装置的)丝杠导轨滑台一;1-2为(测量装置的)丝杠导轨滑台二;1-3为丝杠导轨滑台一的X轴;1-4为丝杠导轨滑台一的Y轴;1-5为丝杠导轨滑台一的Z轴;1-6为丝杠导轨滑台二的Y轴;1-7为丝杠导轨滑台二的Z轴;1-8为相机;1-9为激光测距仪;1-10为控制器一;1-11为控制器二;2为载物装置;2-1为载物台;2-2为载物台竖直面;2-3为待测零件;2-4为用于相机标定的棋盘格;2-5为两个可拆卸夹具;3为电脑。
具体实施方式
下面将结合附图对本发明做进一步的详细说明:本实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式,但本发明的保护范围不限于下述实施例。
如图1和图3所示,本实施例所涉及的一种基于图像超分辨率重建的非接触式精密测量仪,包括:测量装置1和载物装置2。测量装置1包括两个丝杆导轨滑台以及相机和激光测距仪;载物装置2包括载物台2-1和载物台竖直面2-2。
测量装置1中丝杠导轨滑台一为XYZ三轴悬臂滑台,Z轴用于调节物距,与载物装置中的载物台垂直相连接,Y轴分别与Z轴垂直,用于调节相机高度,X轴分别与Y轴和Z轴垂直,用于水平方向上移动相机;丝杠导轨滑台二为YZ悬臂滑台,Z轴用于调节物距,与载物装置中的载物装置中载物台垂直相连接,Y轴用于调节激光测距仪的高度。
载物装置2中载物台2-1用于盛放零件2-3,以及用两个可拆卸夹具2-5对零件进行位置固定,载物台竖直面2-2紧贴零件一侧边缘。
激光测距仪1-3选用MLC高精度型激光测距仪,其适用于所有物体表面,精度0.5mm,测量距离最大为1000mm,在电脑3上安装光盘可以显示测量数据。激光测距仪镜头与载物台贴近零件的竖直面保持在同一平面上。
相机1-8使用130万像素工业相机,镜头使用远心镜头,最大拍摄范围为距离待测物体220mm。远心镜头特有的平行光特性,确保测量轮廓清晰、数据准确,不需要对图像做过多校正。可根据精度要求,然后确定放大倍率,选择镜头的型号。
如图1和图3所示,一种使用基于图像超分辨率重建的非接触式精密测量仪的测量方法,
步骤一、获取待测零件的边缘图像组与相机移动距离:
(1)、将待测零件放置到载物台上,将其一侧边缘紧贴在载物台竖直面2-2上;
(1)、将待测零件2-3放置到载物台上,将其一侧边缘紧贴在载物台竖直面2-2上;
(2)、调节好后记录丝杠导轨滑台一的Z轴1-3滑动距离,作为此时物距ZC,并将丝杠导轨滑台二的Z轴1-6也移动到相同位置;
(3)、调整相机的拍摄高度,相机1-8固定在丝杠导轨滑台一的X轴1-4初始位置上,调节丝杠导轨滑台一的Y轴1-5的高度,使待测零件进入相机视窗中心;根据位置调节激光测距仪在丝杠导轨滑台二的Y轴1-7的位置,使其与相机保持同一高度再进行测量;
(4)、利用激光仪对相机所在位置进行测距,激光测距仪工作距离在1000mm以内;根据零件的待测长度范围,利用控制器一控制测量装置中丝杠导轨滑台一的X轴,从初始位置水平移动相机,到达指定位置后,对零件另一待测边缘进行拍照。
步骤二、将拍摄的零件边缘图像进行图像超分辨率重建:
(1)网络结构:
网络的输入,将拍摄所得图像I进行上采样,放大得到目标尺寸图像,作为低分辨率输入图像ILR,网络总体有20层,其中每一特征提取层后面连接ReLU激活层,目的是对图像进行非线性修正;每次卷积前都对图像进行补0操作,这样保证了所有的特征图和最终的输出图像在尺寸上都保持一致;网络加入残差学习,即损失层,有三个输入:残差估计、网络输入图像和基准高分辨率图像;可直接学习图像高频部分,损失函数为输入图像与输出图像相对应像素值的MSE;同时使用梯度裁剪来最大化加速网络收敛并抑制梯度弥散;加入新结构,对原图像I进行三层处理,分别是非锐化掩模层、细节增强层与上采样层,其输出结果与残差层加入到网络最后的高频分量融合层,对训练得到的残差图像进行修正,最终与输入图像ILR输出超分辨率图像ISR;
(2)参数训练:
(a)参数设置:设定网络中卷积层为D-1层,激活函数D-1层,采用规整化线性单元函数作为激活函数,每一层的输出表示为:
fk(x)=φk(Wk×fk-1(x)+bk),k∈[1,D-1] (1-1)
其中φk为激活层的函数,bk是网络模型当中第k层的偏置参数,Wk是网络模型当中第k层的卷积模板参数,大小为nk-1×Vk×Vk×nk,其中nk-1为第k层输入的特征图的数目,nk为第k层输出层的特征图的数目,Vk为第k层的卷积核的大小;除了第一层与最后一层外,每一个卷积层的卷积核大小为3×3,卷积核个数为64个,步幅为2;最后一层用于图像重建,由一个尺寸为3×3×64滤波器组成;
网络中非锐化掩模层:先获取原图像I的底层,即图像的低频信息,使用低通滤波对图像进行滤波:
B=f(I) (1-2)
其中I表示要分解的图像,f(·)表示低通滤波操作,B为提取的底层,提取底层后,使用源图像减去底层,即为高频细节层D:
D=I-B (1-3)
网络中细节增强层对图像的Y通道进行处理:
I′D*Z (1-4)
其中I′表示这一层的输出图像,Z为该层的卷积核,D为上一层输出的高频细节图像;
网络中上采样层是将得到的高频细节增强图像进行上采样,使得与残差图像大小相同;
网络中高频分量融合层的输入包括:由原图像I进行三层处理后得到的高频细节增强图像,其Y通道分布值xi(i=1,2,…,k)作为非独立同分布的k个样本,残差图像所有像素点Y通道分布值xj(j=1,2,…,k)作为非独立同分布的k个样本,对两个样本数据进行融合,由xs(s=1,2,…,k)的分布值得到最终残差图,作为这一层输出,公式如下:
(b)参数更新:f(w,b,x)为网络预测结果,w和b分别为待更新的神经网络中的卷积模板参数和偏置参数。r为残差图象,使用均方差损失函数作为训练的目标函数,过程采用基于反向传播的小批量梯度下降优化回归目标进行训练来更新参数值,将动量参数设置为0.9,训练通过重量衰减即惩罚乘以0.0001进行调整;
(3)经过训练使得损失函数收敛,最终输出高分辨率图像;
(4)将上述所得图像采用sobel边缘检测算法进行边缘检测,有水平和垂直方向的两个3×3卷积核;
步骤三、相机标定:
采用张正友标定法,精确度可达到0.5个像素,打印一张棋盘格,把它贴在载物台平面上,作为标定物;经过标定可得到五个内参:fx、fy为焦距,u0、v0为主点坐标,s为坐标轴倾斜参数;和六个外参:三个轴的旋转参数分别为ω、δ、θ,进而得到正交旋转矩阵R,其大小是3×3;以及T的三个轴的平移参数Tx、Ty、Tz,使用opencv自带函数进行标定,可得到上述参数;
步骤四、通过步骤二得到图像后,计算相机图像中心到待测零件边缘的实际物理距离:
(1)、建立相机坐标系,相机光心为原点,单位mm,丝杠导轨滑台一的X轴方向为X轴,丝杠导轨滑台一的Y轴方向为Y轴,丝杠导轨滑台一的Z轴方向为Z轴;建立图像坐标系,相机光心为图像中点o(u,v),单位mm,以此点为中心的水平方向为x轴,竖直方向为y轴;建立CCD图像平面的左上角顶点为原点的像素坐标系,单位pixel,X轴和Y轴分别平行于图像坐标系的X轴和Y轴,可得图像坐标系中心点o在像素坐标系中的坐标,记为o(x0,y0),换算公式下:
其中dx为每个像素在图像坐标系横轴X上的物理尺寸,dy为每个像素在图像坐标系纵轴Y上的物理尺寸;
(2)、在像素坐标系中,由(1)中确定的中心点o(x0,y0),寻找与中心点o所在的平行于x轴的线所相交的边缘线上的点记录为a1(x1,y0);
由下列公式和物距ZC可以将图像中心点(x0,y0,1)与边缘点(x1,y0,1)均换算成世界坐标某点P(Xw,Yw,Zw)的形式;只求出边缘点与相机中心在X轴方向上的实际相差距离L2即可;
(3)、由步骤一得到的数据,可得出相机拍摄到边缘图像时,在世界坐标系下X轴方向上与激光测距仪的距离,由相机尺寸信息得出光心与相机边缘距离L′,进而得出相机光心的Y坐标与激光测距仪距离L1′=L1+L′;
步骤五、根据激光仪测量的距离与图像换算所得距离进行计算,即得出待测长度的高精度数据;
其中边缘线在中心点右侧时,公式(1-9)使用加法,反之,边缘线在中心点左侧时,公式(1-9)使用减法。
以上所述,仅为本发明较佳的具体实施方式,这些具体实施方式都是基于本发明整体构思下的不同实现方式,而且本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求书的保护范围为准。
Claims (5)
1.一种基于图像超分辨率重建的非接触式精密测量仪的测量方法,其特征在于,
步骤一、获取待测零件的边缘图像与相机移动距离:
(1)、将待测零件放置到载物台上,将其一侧边缘紧贴在载物台竖直面上;
(2)、调节好后记录丝杠导轨滑台一的Z轴滑动距离,作为此时物距Zc,并将丝杠导轨滑台二的Z轴也移动到相同位置;
(3)、调整相机的拍摄高度,相机固定在丝杠导轨滑台一的X轴初始位置上,据待测零件的待测高度范围,使用控制器一调节丝杠导轨滑台一的Y轴的高度,使待测零件进入相机视窗中心;根据位置调节激光测距仪在丝杠导轨滑台二的Y轴的位置,使其与相机保持同一高度再进行测量;
(4)、利用激光测距仪对相机所在位置进行测距,激光测距仪工作距离在1000mm以内;根据待测零件的待测长度范围,使用控制器一控制测量装置中丝杠导轨滑台一的X轴,从初始位置向远离激光测距仪方向水平移动相机,到达指定位置后,对待测零件另一待测边缘进行拍照;
步骤二、将拍摄的待测零件边缘图像进行图像超分辨率重建:
(1)网络结构:
网络的输入,将拍摄所得图像I进行上采样,放大得到目标尺寸图像,作为低分辨率输入图像ILR,网络总体有20层,其中每一特征提取层后面连接ReLU激活层,目的是对图像进行非线性修正;每次卷积前都对图像进行补0操作,这样保证了所有的特征图和最终的输出图像在尺寸上都保持一致;网络加入残差学习,即损失层,有三个输入:残差估计、网络输入图像和基准高分辨率图像;可直接学习图像高频部分,损失函数为输入图像与输出图像相对应像素值的MSE;同时使用梯度裁剪来最大化加速网络收敛并抑制梯度弥散;加入新结构,对图像I进行三层处理,分别是非锐化掩模层、细节增强层与上采样层,其输出结果与残差层加入到网络最后的高频分量融合层,对训练得到的残差图像进行修正,最终输入低分辨率输入图像ILR输出超分辨率图像ISR;
(2)参数训练:
(a)参数设置:设定网络中卷积层为D-1层,激活函数D-1层,采用规整化线性单元函数作为激活函数,每一层的输出表示为:
fk(x)=φk(Wk×fk-1(x)+bk),k∈[1,D-1] (1-1)
其中φk为激活层的函数,bk是网络模型当中第k层的偏置参数,Wk是网络模型当中第k层的卷积模板参数,大小为nk-1×Vk×Vk×nk,其中nk-1为第k层输入的特征图的数目,nk为第k层输出层的特征图的数目,Vk为第k层的卷积核的大小;除了第一层与最后一层外,每一个卷积层的卷积核大小为3×3,卷积核个数为64个,步幅为2;最后一层用于图像重建,由一个尺寸为3×3×64滤波器组成;
网络中非锐化掩模层:先获取图像I的底层图像,即图像的低频信息,使用低通滤波对图像进行滤波:
B=f(I) (1-2)
其中I表示要分解的图像,f(·)表示低通滤波操作,B为提取的底层图像,提取底层图像后,使用源图像减去底层图像,即为高频细节增强图像D:
D=I-B (1-3)
网络中细节增强层对图像的Y通道进行处理:
I′=D*Z (1-4)
其中I′表示这一层的输出图像,Z为该层的卷积核,D为上一层输出的高频细节增强图像;
网络中上采样层是将得到的高频细节增强图像D进行上采样,使得与残差图像大小相同;
网络中高频分量融合层的输入包括:由图像I进行三层处理后得到的高频细节增强图像D,其Y通道分布值xi作为非独立同分布的k个样本,其中i=1,2,…k;所有像素点Y通道分布值xj作为非独立同分布的k个样本其中j=1,2,…k;对两个样本数据进行融合,由xs的分布值得到最终残差图作为这一层输出,其中s=1,2,…k;公式如下:
(b)参数更新:f(w,b,x)为网络预测结果,w和b分别为待更新的神经网络中的卷积模板参数和偏置参数,r为残差图像,使用均方差损失函数作为训练的目标函数,过程采用基于反向传播的小批量梯度下降优化回归目标进行训练来更新参数值,将动量参数设置为0.9,训练通过重量衰减,即乘以惩罚因子0.0001进行调整;
(3)经过训练使得损失函数收敛,最终输出超分辨率图像ISR;
(4)将上述所得图像ISR采用sobel边缘检测算法进行边缘检测,使用水平和垂直方向的两个3×3卷积核;
步骤三、相机标定:
采用张正友标定法,精确度可达到0.5个像素,打印一张棋盘格,把它贴在载物台平面上,作为标定物;经过标定可得到五个内参:fx、fy为焦距,u0、v0为主点坐标,s为坐标轴倾斜参数;和六个外参:三个轴的旋转参数分别为ω、δ、θ,进而得到正交旋转矩阵R,其大小是3×3;以及T的三个轴的平移参数Tx、Ty、Tz,使用opencv自带函数进行标定,可得到上述参数;
步骤四、通过步骤二得到图像后,计算相机图像中心到待测零件边缘的实际物理距离:
(1)、建立相机坐标系,相机光心为原点,单位mm,丝杠导轨滑台一的X轴方向为X轴,丝杠导轨滑台一的Y轴方向为Y轴,丝杠导轨滑台一的Z轴方向为Z轴;建立图像坐标系,相机光心为图像中点o(u,v),单位mm,以此点为中心的水平方向为x轴,竖直方向为y轴;建立CCD图像平面的左上角顶点为原点的像素坐标系,单位pixel,X轴和Y轴分别平行于图像坐标系的X轴和Y轴,可得图像坐标系中心点o在像素坐标系中的坐标,记为o(x0,y0),换算公式下:
其中dx为每个像素在图像坐标系横轴X上的物理尺寸,dy为每个像素在图像坐标系纵轴Y上的物理尺寸;
(2)、在像素坐标系中,由(1)中确定的中心点o(x0,y0),寻找与中心点o所在的平行于x轴的线所相交的边缘线上的点记录为a1(x1,y0);
由下列公式和物距ZC可以将图像中心点(x0,y0,1)与边缘点(x1,y0,1)均换算成世界坐标某点P(Xw,Yw,Zw)的形式;只求出边缘点与相机中心在X轴方向上的实际相差距离L2即可;
(3)、由步骤一得到的数据,可得出相机拍摄到边缘图像时,在世界坐标系下X轴方向上与激光测距仪的距离,由相机尺寸信息得出光心与相机边缘距离L′,进而得出相机光心的Y坐标与激光测距仪距离L1′=L1+L′;
步骤五、根据激光测距仪测量的距离与图像算所得距离进行计算,即得出待测长度的高精度数据;
其中边缘线在中心点右侧时,公式(1-9)使用加法,反之,边缘线在中心点左侧时,公式(1-9)使用减法。
2.一种基于权利要求1所述的图像超分辨率重建的非接触式测量方法使用的测量仪,其特征在于,由测量装置、载物装置和电脑组成,测量装置包括丝杠导轨滑台一、丝杠导轨滑台二、丝杠导轨滑台一的X轴、丝杠导轨滑台一的Y轴、丝杠导轨滑台一的Z轴、丝杠导轨滑台二的Y轴、丝杠导轨滑台二的Z轴、相机、激光测距仪、控制器一、控制器二;两个导轨滑台的X轴相互平行放置在同一水平面上,一个丝杠导轨滑台一在左侧,另一个丝杠导轨滑台二在右侧,由两个控制器分别进行不同轴的指定长度移动操作,控制器一用于控制丝杠导轨滑台一,控制器二用于控制丝杠导轨滑台二;以空间的水平方向为丝杠导轨滑台的X轴、以空间的竖直方向为丝杠导轨滑台的Y轴,以竖直向上为正方向、以垂直于X轴与Y轴所在平面的直线为丝杠导轨滑台的Z轴,以朝向载物台方向为正方向,相机固定在丝杠导轨滑台一的X轴上,激光测距仪固定在丝杠导轨滑台二的Y轴上,要求放置丝杠导轨滑台二的X轴时,保证激光测距仪的测量镜头与载物台竖直面贴近待测零件一侧在同一平面上;载物装置包括水平载物台、载物台竖直面和用于相机标定的棋盘格,载物台竖直面固定在载物台上的右侧,用于相机标定的棋盘格设置在载物台上的左侧,待测零件盛放于载物台上,有两个可拆卸夹具用于固定待测零件位置;相机和激光测距仪均与电脑相连接。
3.根据权利要求2所述的图像超分辨率重建的非接触式测量方法使用的测量仪,其特征在于,选用的丝杠导轨滑台一为XYZ三轴悬臂滑台,Z轴用于调节物距,与载物装置中的载物台垂直相连接,Y轴分别与X轴、Z轴垂直,用于调节相机高度,X轴分别与Y轴和Z轴垂直,用于水平方向上移动相机,丝杠导轨滑台二为YZ悬臂滑台,Z轴用于调节物距,与载物装置中载物台垂直相连接,Y轴用于调节激光测距仪的高度,所有的X轴有效行程为1000mm,Y轴有效行程均为800mm,所有Z轴有效行程为200mm,定位精度均为0.05mm。
4.根据权利要求3所述的图像超分辨率重建的非接触式测量方法使用的测量仪,其特征在于,相机为130万像素工业相机,相机的镜头使用远心镜头。
5.根据权利要求4所述的图像超分辨率重建的非接触式测量方法使用的测量仪,其特征在于,激光测距仪为MLC高精度型激光测距仪。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910382720.1A CN110044262B (zh) | 2019-05-09 | 2019-05-09 | 基于图像超分辨率重建的非接触式精密测量仪及测量方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910382720.1A CN110044262B (zh) | 2019-05-09 | 2019-05-09 | 基于图像超分辨率重建的非接触式精密测量仪及测量方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110044262A CN110044262A (zh) | 2019-07-23 |
CN110044262B true CN110044262B (zh) | 2020-12-22 |
Family
ID=67281373
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910382720.1A Expired - Fee Related CN110044262B (zh) | 2019-05-09 | 2019-05-09 | 基于图像超分辨率重建的非接触式精密测量仪及测量方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110044262B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111815712B (zh) * | 2020-06-24 | 2023-12-15 | 中国地质大学(武汉) | 一种高精度的相机-单激光仪联合标定方法 |
WO2023115562A1 (zh) * | 2021-12-24 | 2023-06-29 | 深圳市大疆创新科技有限公司 | 一种图像处理方法、装置、云台、可移动平台 |
CN114071021B (zh) * | 2022-01-14 | 2022-04-08 | 苏州乐佰图信息技术有限公司 | 提高相机所成图像分辨率的处理方法、装置和系统 |
CN115294233B (zh) * | 2022-10-09 | 2022-12-13 | 天津大学 | 一种基于深度学习的双目大视场成像方法及系统 |
CN115524579B (zh) * | 2022-10-10 | 2023-12-22 | 国网河南省电力公司商丘供电公司 | 一种非接触式架空导线参数识别方法及其装置 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB9711024D0 (en) * | 1997-05-28 | 1997-07-23 | Rank Xerox Ltd | Image enhancement and thresholding of images |
CN103968779A (zh) * | 2014-05-12 | 2014-08-06 | 上海理工大学 | 超分辨三维测量显微镜 |
CN105890516B (zh) * | 2014-11-14 | 2022-11-08 | 北京方道环保科技有限公司 | 长程三维机器人测量控制系统 |
CN205482818U (zh) * | 2016-03-22 | 2016-08-17 | 南京林业大学 | 一种立式波纹管膨胀节波距检测装置 |
EP3479350A4 (en) * | 2016-07-01 | 2020-08-19 | Cubisme, Inc. | SYSTEM AND METHOD FOR PRODUCING A HIGH RESOLUTION BIOMARKER MAP IMAGE |
CN106767565B (zh) * | 2016-11-29 | 2019-06-14 | 浙江省计量科学研究院 | 一种用于刹车片钢背片平面度自动检测装置和检测方法 |
CN106683067B (zh) * | 2017-01-20 | 2020-06-23 | 福建帝视信息科技有限公司 | 一种基于残差子图像的深度学习超分辨率重建方法 |
CN107358575A (zh) * | 2017-06-08 | 2017-11-17 | 清华大学 | 一种基于深度残差网络的单幅图像超分辨率重建方法 |
CN206905708U (zh) * | 2017-06-29 | 2018-01-19 | 深圳市博视科技有限公司 | 产品多尺寸自动检测设备 |
CN107369189A (zh) * | 2017-07-21 | 2017-11-21 | 成都信息工程大学 | 基于特征损失的医学图像超分辨率重建方法 |
CN109426786A (zh) * | 2017-08-31 | 2019-03-05 | 爱唯秀股份有限公司 | 人数检测系统与人数检测方法 |
CN108734660A (zh) * | 2018-05-25 | 2018-11-02 | 上海通途半导体科技有限公司 | 一种基于深度学习的图像超分辨率重建方法及装置 |
-
2019
- 2019-05-09 CN CN201910382720.1A patent/CN110044262B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN110044262A (zh) | 2019-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110044262B (zh) | 基于图像超分辨率重建的非接触式精密测量仪及测量方法 | |
CN109029299B (zh) | 舱段销孔对接转角的双相机测量装置及测量方法 | |
CN111524194B (zh) | 一种激光雷达和双目视觉相互融合的定位方法及终端 | |
US20100259624A1 (en) | Method and apparatus for calibrating video camera | |
CN105066884A (zh) | 一种机器人末端定位偏差校正方法及系统 | |
CN111932636B (zh) | 双目摄像头的标定及图像矫正方法、装置、存储介质、终端、智能设备 | |
CN108362469A (zh) | 基于压敏漆与光场相机的尺寸与表面压力测量方法与装置 | |
CN105953741B (zh) | 一种钢结构局部几何变形的测量系统和方法 | |
CN112949478A (zh) | 基于云台相机的目标检测方法 | |
CN103559708A (zh) | 基于方靶模型的工业定焦相机参数标定装置 | |
CN108537849A (zh) | 基于同心圆环的三维直角靶标的线阵相机的标定方法 | |
CN109472778B (zh) | 一种基于无人机的高耸结构外观检测方法 | |
CN113658270B (zh) | 基于工件孔心的多目视觉标定的方法、装置、介质及系统 | |
CN111376254A (zh) | 平面测距方法及系统和机械手调校平面的方法及系统 | |
CN112381888A (zh) | 一种h型钢切割路径的动态补偿方法 | |
CN110653016B (zh) | 移液系统及其校准方法 | |
CN109754435B (zh) | 一种基于小靶标模糊图像的摄像机在线标定方法 | |
CN113781581B (zh) | 基于靶标松姿态约束的景深畸变模型标定方法 | |
EP3385663B1 (en) | Height measuring and estimation method of uneven surface of microscope slide, and microscope | |
CN109373901B (zh) | 位于平面上的孔的中心位置的计算方法 | |
CN116297181A (zh) | 一种通过标定板快速精确校正激光扫描振镜的方法 | |
US10613308B2 (en) | Method and microscope for measuring and calculating heights on curved surface of microscope slide | |
RU2692970C2 (ru) | Способ калибровки видеодатчиков многоспектральной системы технического зрения | |
CN112819900B (zh) | 一种智能立体摄影内方位、相对定向和畸变系数标定方法 | |
CN111862237A (zh) | 用于光学面形测量的相机标定方法和实现该方法的装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20201222 |