CN103455993B - 一种自动视觉检测中基于光栅定位的二维图像拼接方法 - Google Patents

Abstract

本发明属于图像自动检测领域，具体公开了一种自动视觉检测中基于光栅定位的二维图像拼接方法。本发明的拼接方法通过拍摄平台与相机坐标夹角参数修正子图在大图中的坐标值，计算各子图四角的位置坐标，通过各像素所对应的实际物理距离得到大图的尺寸，用双线性插值计算子图中的亚像素坐标位置像素灰度得到大图中的像素灰度，得出拼接后的大图，通过拍摄平台与相机坐标夹角参数修正，消除因拍摄坐标不一致所带来的误差，同时在拼接的时候，采用各子图的坐标位置直接计算，避免采用图像特征检测拼接的拼接方法所带来的拼接错误，同时所计算的各坐标采用亚像素精度，提高了拼接图像质量。

Description

一种自动视觉检测中基于光栅定位的二维图像拼接方法

技术领域:

本发明属于图像自动检测领域，具体公开了一种自动视觉检测中基于光栅定位的二维图像拼接方法。

背景技术：

在工业生产中，需要对表面有纹理特征的器件表面进行检测。由于被检器件表面纹理特征比较小，肉眼没法分辨，需要采用拍照的方式采集图像，再用图像进行检测。为保证表面纹理检测的准确性，需要对图像进行高精度拍摄。当被检器件体积较大时，拍摄相机不能在一幅图中拍摄完所有的器件表面。需要对被检测器件表面进行多次拍摄子图，再通过图像拼接形成完整大图，用以检测。在被检测器件表面具有重复纹理特征时，目前的拼接方法容易产生局部特征重合，而产生拼接错误，对检测精度造成影响。

发明内容

本发明公开了一种自动视觉检测中基于光栅定位的二维图像拼接方法，通过本发明的拼接方法对，可以对图像进行精确拼接，可以避免拼接过程中的图像重合现象。

一种自动视觉检测中基于光栅定位的二维图像拼接方法，通过拍摄平台与相机坐标夹角参数修正子图在大图中的坐标值，计算各子图四角的位置坐标，通过各像素所对应的实际物理距离得到大图的尺寸，用双线性插值计算子图中的亚像素坐标位置像素灰度得到大图中的像素灰度，得出拼接后的大图，具体步骤是：

S1：计算图像中单个像素代表的物理尺寸Δd，步骤是：

S11：制作圆盘格标定片，所述圆盘格标定片上设置不重叠标定圆点，标定圆点与圆盘格标定片边界清晰，所述标定圆点设置为e行e列，个数为s，其中s＝e×e，e＝3到30；

S12：把圆盘格标定片放置到被测物放置平台上，拍摄第一张图像,提取圆盘格标定片上标定圆点的轮廓，采用椭圆拟合的方式计算圆盘格标定片各标定圆点的亚像素圆心坐标(x_1i,y_1i),i＝1,2,...,s，记录X'轴光栅尺的读数为d₁；

S13：平台沿X'轴运动保证圆盘格完整的出现在相机视场中，相机拍摄第二张图像，X'轴光栅尺的读数变为d₂，提取圆盘格标定片上标定圆点的轮廓，采用椭圆拟合的方式计算圆盘格标定片各标定圆点的亚像素圆心坐标(x_2i,y_2i),i＝1,2,...,s，计算前后两张图像中对应标定圆的圆心坐标之差，得到s个向量r_i＝(x_2i-x_1i,y_2i-y_1i),i＝1,2,...,s；

S14：用平台X'轴移动的距离除以向量的平均长度，得到X'轴方向上图像单个像素代表的物理尺寸Δd₁，具体计算为

${\mathrm{\Δd}}_1=\frac{s\×(d_2-d_1)}{\left|\right|r_1\left|\right|+\left|\right|r_2\left|\right|+\mathrm{...}+\left|\right|r_s\left|\right|}$

S15：把圆盘格标定片放置到被测物放置平台上，拍摄第三张图像,提取圆盘格标定片上标定圆点的轮廓，采用椭圆拟合的方式计算圆盘格标定片各标定圆点的亚像素圆心坐标(x_3i,y_3i),i＝1,2,...,s，记录Y'轴光栅尺的读数为d₃；

S16：平台沿Y'轴运动保证圆盘格完整的出现在相机视场中，相机拍摄第四张图像，Y'轴光栅尺的读数变为d₄，提取圆盘格标定片上标定圆点的轮廓，采用椭圆拟合的方式计算圆盘格标定片各标定圆点的亚像素圆心坐标(x_4i,y_4i),i＝1,2,...,s，计算前后两张图像中对应标定圆的圆心坐标之差，得到s个向量rr_i＝(x_4i-x_3i,y_4i-y_3i),i＝1,2,...,s；

S17：用平台Y'轴移动的距离除以向量的平均长度，得到Y'轴方向上图像单个像素代表的物理尺寸Δd₂，具体计算为

${\mathrm{\Δd}}_2=\frac{s\×(d_4-d_3)}{\left|\right|{\mathrm{rr}}_1\left|\right|+\left|\right|{\mathrm{rr}}_2\left|\right|+\mathrm{...}+\left|\right|{\mathrm{rr}}_s\left|\right|}$

S18：取平均值得到图像中单个像素代表的物理尺寸Δd，其中

Δd＝(Δd₁+Δd₂)/2.

S2：检测被检测物移动平台坐标系X'与相机坐标系X之间的夹角θ，Y'与相机坐标系Y之间的夹角β；

S3：相机拍摄接接图像子图，计算各子图坐标及尺寸，步骤为：

S31：子图1拍摄时X'轴光栅尺的读数记为D1，Y'轴光栅尺的读数记为D2，子图1左下角点位置坐标与坐标原点的距离K为：

平台沿X'移动适当距离拍摄子图2，……，拍摄完第一行q张子图后，平台沿Y'移动适当距离再拍摄第二行q张子图，拍摄子图为p行，q列，总数为n，其中n＝p×q，拍摄子图按字母“S”顺序排布，相邻两张子图部分重叠，所有子图包括被拍摄物所有部分；

第1行1列子图左下角点为A₁₁，逆时针顺序标记A₁₁B₁₁C₁₁D₁₁点；第1行2列子图左下角点为A₁₂，逆时针顺序标记A₁₂B₁₂C₁₂D₁₂；……；第p行q列子图n左下角点为A_pq，逆时针顺序标记A_pqB_pqC_pqD_pq；

S32：各子图A点坐标位置为：

第1行1列子图A点坐标为：

$\left\{\begin{array}{cc}{x}_{A11}=K\cos \mathrm{\θ},& y_{A11}=K\sin \mathrm{\θ}\\ x_{A12}=A_{A11}{A}_{A12}\cos \mathrm{\θ}+x_{A11},& y_{A12}=A_{A11}{A}_{A12}\sin \mathrm{\θ}+y_{A11}\\ x_{A13}=A_{A12}{A}_{A13}\cos \mathrm{\θ}+x_{A12},& y_{A13}=A_{12}{A}_{13}\sin \mathrm{\θ}+y_{A12}\\ ...& \\ x_{A1q}=A_{A1(q-1)}{A}_{A1q}\cos \mathrm{\θ}+x_{A1(q-1)},& y_{A1q}=A_{A1(q-1)}{A}_{A1q}\sin \mathrm{\θ}+y_{A1(q-1)}\end{array}\right.$

其余子图A点坐标为：

S33：相机的分辨率为宽为w₀像素，高为h₀像素，图像单个像素代表的物理尺寸Δd，相机覆盖的物理视场为：宽度为W₀，高度为H₀；

$\left\{\begin{array}{c}{W}_0=\mathrm{\Δ}d\×w_0\\ H_0=\mathrm{\Δ}d\×h_0\end{array}\right.$

S34：各子图B点C点和D点坐标为：

$\left\{\begin{array}{cc}{x}_{B1}=x_{A1}+W_0& y_{B1}=y_{A1}\\ x_{C1}=x_{A1}+W_0& y_{C1}=y_{A1}+H_0\\ x_{D1}=x_{A1}& y_{D1}=y_{A1}+H_0\end{array}\right.$

$\left\{\begin{array}{cc}{x}_{B2}=x_{A2}+W_0& y_{B2}=y_{A2}\\ x_{C2}=x_{A2}+W_0& y_{C2}=y_{A2}+H_0\\ x_{D2}=x_{A2}& y_{D2}=y_{A2}+H_0\end{array}\right.$

$\left\{\begin{array}{cc}{x}_{B3}=x_{A3}+W_0& y_{B3}=y_{A3}\\ x_{C3}=x_{A3}+W_0& y_{C3}=y_{A3}+H_0\\ x_{D3}=x_{A3}& y_{D3}=y_{A3}+H_0\end{array}\right.$

…

$\left\{\begin{array}{cc}{x}_{Bn}=x_{An}+W_0& y_{Bn}=y_{An}\\ x_{Cn}=x_{An}+W_0& y_{Cn}=y_{An}+H_0\\ x_{Dn}=x_{An}& y_{Dn}=y_{An}+H_0\end{array}\right.$

S35：拼接后大图的宽度为W，高度为H：

大图宽W是x_Bi中最大值maxx_Bi与x_A1的差值，其中W＝maxx_Bi-x_A1；

大图高度H是y_Di中最大值maxy_Di与y_A1的差值，其中H＝maxy_Di-y_A1；

大图的像素尺寸宽为w，像素尺寸高为h

S4：计算大图像素点灰度值，步骤为：

S41：大图的像素尺寸宽为w，像素尺寸高为h，各像素位置p(i,j),i＝1,2,3,...,w；j＝1,2,3,...,h的物理坐标为p(x,y)

p(x,y)＝p(i×Δd,|j-H|×Δd)；

S42:根据p(x,y)与x_A1,y_A1和大图的宽度W和高度H关系，以及横向与纵向小图的数量，确定p(x,y)位于第t张小图中，其中1≤t≤n；

S43:p(x,y)位于第t张子图局部坐标位置为p(x′,y′)，其中p(x′,y′)＝p(x-x_At,y-y_At)；

S44:计算p(x′,y′)位于小图的亚像素坐标p(i′,j′)，其中p(i′,j′)＝p(x′/Δd,h₀-(y′/Δd))；

S45:使用双线性插值计算亚像素坐标p(i′,j′)的灰度值，亚像素坐标p(i′,j′)的灰度值为大图中p(i,j)像素点的灰度值。

作为一种优选，自动视觉检测中基于光栅定位的二维图像拼接方法中圆盘格标定片标定圆点行列数e＝3到30，标定圆点直径0.5mm～3mm,标定圆点行列间距为1mm～4mm。

作为一种优选，椭圆拟合的方式计算圆盘格标定片各标定圆点的亚像素圆心坐标是根据各标定圆点的轮廓，提取出边界点，以边界点为拟合点，以椭圆方程为模型进行最小二乘法拟合，使椭圆方程尽量满足边界点坐标，求出该椭圆方程的各个参数，得到的椭圆中心为标定圆点的亚像素圆。

本发明的有益效果

通过拍摄平台与相机坐标夹角参数修正，消除因拍摄坐标不一致所带来的误差，同时在拼接的时候，采用各子图的坐标位置直接计算，避免采用图像特征检测拼接的拼接方法所带来的拼接错误，同时所计算的各坐标采用亚像素精度，提高了拼接图像质量。

具体实施方式：

实施例1：

一种自动视觉检测中基于光栅定位的二维图像拼接方法，通过拍摄平台与相机坐标夹角参数修正子图在大图中的坐标值，计算各子图四角的位置坐标，通过各像素所对应的实际物理距离得到大图的尺寸，用双线性插值计算子图中的亚像素坐标位置像素灰度得到大图中的像素灰度，得出拼接后的大图，具体步骤是：

S1：计算图像中单个像素代表的物理尺寸Δd，步骤是：

S11：制作圆盘格标定片，所述圆盘格标定片上设置不重叠标定圆点，标定圆点与圆盘格标定片边界清晰，所述标定圆点设置为e行e列，个数为s，其中s＝e×e，e＝3到30；

S12：把圆盘格标定片放置到被测物放置平台上，拍摄第一张图像,提取圆盘格标定片上标定圆点的轮廓，采用椭圆拟合的方式计算圆盘格标定片各标定圆点的亚像素圆心坐标(x_1i,y_1i),i＝1,2,...,s，记录X'轴光栅尺的读数为d₁；

本实施例中,椭圆拟合的方式计算圆盘格标定片各标定圆点的亚像素圆心坐标是根据各标定圆点的轮廓，提取出边界点，以边界点为拟合点，以椭圆方程为模型进行最小二乘法拟合，使椭圆方程尽量满足边界点坐标，求出该椭圆方程的各个参数，得到的椭圆中心为标定圆点的亚像素圆。

本实施例中e＝3，S＝9，m取值为5，则n值为25。标定圆点直径0.5mm,标定圆点间距1mm；标定片上9个点序号的排列顺序为从左到右，从上到下。圆心坐标采用图像坐标系，以图像的左上角为原点，水平向右为x轴正方向，竖直向下为y轴正方向。各点坐标为：

(x11,y11)	(830.12,829.99)	(x12,y12)	(930.23,829.99)	(x13,y13)	(1029.98,829.79)
						(x14,y14)	(830.12,930.11)	(x15,y15)	(930.23,930.19)	(x16,y16)	(1029.88,929.99)
(x17,y17)	(830.12,1030.41)	(x18,y18)	(930.03,1030.02)	(x19,y19)	(1030.06,1030.14)

表1

S13：平台沿X'轴运动保证圆盘格完整的出现在相机视场中，相机拍摄第二张图像，X'轴光栅尺的读数变为d₂，提取圆盘格标定片上标定圆点的轮廓，采用椭圆拟合的方式计算圆盘格标定片各标定圆点的亚像素圆心坐标(x_2i,y_2i),i＝1,2,...,s，计算前后两张图像中对应标定圆的圆心坐标之差，得到s个向量r_i＝(x_2i-x_1i,y_2i-y_1i),i＝1,2,...,s；

所得到的第二张图像中各点坐标为：

(x21,y21)	(2830.12,810.19)	(x22,y22)	(2930.31,809.87)	(x23,y23)	(3029.99,810.14)
						(x24,y24)	(2830.11,910.31)	(x25,y25)	(2930.13,909.98)	(x26,y26)	(3029.99,910.03)
(x27,y27)	(2830.01,1010.04)	(x28,y28)	(2929.97,1009.74)	(x29,y29)	(3029.99,1009.86)

表2

所得到的9个向量为

r1	(2000,-19.80)	r2	(2000.08,-20.12)	r3	(2000.01,-19.65)
						r4	(1999.99,-19.80)；	r5	(1999.90,-21.11)	r6	(2000.11,-19.96)
r7	(1999.89,-20.37)	r8	(1999.94,-20.28)	r9	(1999.93,-20.28)

表3

S14：用平台X'轴移动的距离除以向量的平均长度，得到X'轴方向上图像单个像素代表的物理尺寸Δd₁，具体计算为

${\mathrm{\Δd}}_1=\frac{s\×(d_2-d_1)}{\left|\right|r_1\left|\right|+\left|\right|r_2\left|\right|+\mathrm{...}+\left|\right|r_s\left|\right|}$

各向量的模为：

||r₁||＝2000.098；||r₂||＝2000.181；||r₃||＝2000.107；

||r₄||＝2000.088；||r₅||＝2000.011；||r₆||＝2000.210；

||r₇||＝1999.994；||r₈||＝2000.043；||r₉||＝2000.033；

${\mathrm{\Δd}}_1=\frac{s\×(d_2-d_1)}{\left|\right|r_1\left|\right|+\left|\right|r_2\left|\right|+\mathrm{...}+\left|\right|r_s\left|\right|}=\frac{9\×20}{18000.76}=0.0099995778mm$

X'轴方向上图像单个像素代表的物理尺寸为0.0099995778mm

S15：把圆盘格标定片放置到被测物放置平台上，拍摄第三张图像,提取圆盘格标定片上标定圆点的轮廓，采用椭圆拟合的方式计算圆盘格标定片各标定圆点的亚像素圆心坐标(x_3i,y_3i),i＝1,2,...,s，记录Y'轴光栅尺的读数为d₃；

所得到的第三张图像中的各点坐标为：

(x31,y31)	(1000.06,999.99)	(x32,y32)	(1100.13,999.86)	(x33,y33)	(1199.78,999.18)
						(x34,y34)	(1000.13,1100.07)	(x35,y35)	(1100.08,1100.29)	(x36,y36)	(1199.78,1099.87)
(x37,y37)	(1000.25,1200.32)	(x38,y38)	(1099.63,1200.11)	(x39,y39)	(1200.14,1199.99)

表4

S16：平台沿Y'轴运动保证圆盘格完整的出现在相机视场中，相机拍摄第四张图像，Y'轴光栅尺的读数变为d₄，提取圆盘格标定片上标定圆点的轮廓，采用椭圆拟合的方式计算圆盘格标定片各标定圆点的亚像素圆心坐标(x_4i,y_4i),i＝1,2,...,s，计算前后两张图像中对应标定圆的圆心坐标之差，得到s个向量rr_i＝(x_4i-x_3i,y_4i-y_3i),i＝1,2,...,s；

所得到的第四张图像中的各点坐标为：

(x41,y41)	(980.02,2999.74)	(x42,y42)	(1080.34,2999.21)	(x43,y43)	(1079.82,3000.04)
						(x44,y44)	(980.31,3099.42)	(x45,y45)	(1080.12,3099.84)	(x46,y46)	(1079.99,3100.26)
(x47,y47)	(979.95,3199.99)	(x48,y48)	(1080.47,3199.76)	(x49,y49)	(1080.13,3200.41)

表5

所得到的9个向量为

rr1	(-20.04,1999.75)；	rr2	(-19.79,1999.35)；	rr3	(-19.96,2000.86)
						rr4	(-19.82,1999.35)	rr5	(-19.96,1999.55)	rr6	(-19.79,2000.39)
rr7	(-20.30,1999.67)	rr8	(-19.96,1999.65)	rr9	(-20.01,-2000.42)

表6

S17：用平台Y'轴移动的距离除以向量的平均长度，得到Y'轴方向上图像单个像素代表的物理尺寸Δd₂，具体计算为

${\mathrm{\Δd}}_2=\frac{s\×(d_4-d_3)}{\left|\right|{\mathrm{rr}}_1\left|\right|+\left|\right|{\mathrm{rr}}_2\left|\right|+\mathrm{...}+\left|\right|{\mathrm{rr}}_s\left|\right|}$

各向量的模为：

||rr₁||＝1999.850；||rr₂||＝1999.448；||rr₃||＝2000.960；

||rr₄||＝1999.448；||rr₅||＝1999.650；||rr₆||＝2000.488；

||rr₇||＝1999.773；||rr₈||＝1999.750；||rr₉||＝2000.520；

${\mathrm{\Δd}}_1=\frac{s\×(d_2-d_1)}{\left|\right|{\mathrm{rr}}_1\left|\right|+\left|\right|{\mathrm{rr}}_2\left|\right|+\mathrm{...}+\left|\right|{\mathrm{rr}}_s\left|\right|}=\frac{9\×20}{17999.89}=0.0100000611mm.$

Y'轴方向上图像单个像素代表的物理尺寸是0.0100000611mm。

S18：取平均值得到图像中单个像素代表的物理尺寸Δd，其中

Δd＝(Δd₁+Δd₂)/2.

Δd＝(0.0099995778+0.0100000611)/2＝0.0099998196mm≈10μm。

图像中单个像素代表的物理尺寸平均值为10μm。

S2：检测被检测物移动平台坐标系X'与相机坐标系X之间的夹角θ，Y'与相机坐标系Y之间的夹角β；

具体步骤是：

T1:把圆盘格标定片放置到被测物放置平台上，拍摄图像PX1，提取圆盘格标定片上标定圆点的轮廓，采用椭圆拟合的方式计算圆盘格标定片各标定圆点的亚像素圆心坐标(x_1i,y_1i),其中i＝1,2,...,s；

其中，采用椭圆拟合的方式计算圆盘格标定片各标定圆点的亚像素圆心坐标是根据各标定圆点的轮廓，提取出边界点，以边界点为拟合点，以椭圆方程为模型进行拟合，使椭圆方程尽量满足边界点坐标，求出该椭圆方程的各个参数，得到的椭圆中心为标定圆点的亚像素圆。椭圆拟合方式为最小二乘法拟合。

(x_1i,y_1i)具体坐标如下表所示：

i	1	2	3	4	5	6	7
								x1i	106.82	208.11	301.42	401.46	509.32	103.58	200.84
y1i	105.69	107.95	109.13	106.00	101.19	202.49	209.26

表7-1

i	8	9
			x1i	304.38	409.05
y1i	206.64	200.85

表7-2

表7-1到7-2中，第一行代表标定圆点编号i，第二行代表图像PX1中相应标定圆点编号的X坐标，第三行代表图像PX1中相应标定圆点编号的Y坐标。

T2:被测物放置平台带动圆盘格标定片按被测物放置平台X’轴方向移动适当距离，圆盘格标定片不超出相机视野，拍摄图像PX2，提取圆盘格标定片上标定圆点的轮廓，采用椭圆拟合的方式计算圆盘格标定片标定圆点的亚像素圆心坐标(x_2i,y_2i),其中i＝1,2,...,s；

(x_2i,y_2i)具体坐标如下表所示：

i	1	2	3	4	5	6	7
								x2i	3109.61	3113.82	3108.59	3110.50	3101.26	3214.27	3208.44
y2i	348.77	447.64	553.10	652.42	748.55	350.87	454.23

表8-1

i	8	9
			x2i	3208.72	3214.46
y2i	550.68	652.25

表8-2

表8-1到8-2中，第一行代表标定圆点编号i，第二行代表图像PX2中相应标定圆点编号的X坐标，第三行代表图像PX 2中相应标定圆点编号的Y坐标。

T3：把圆盘格标定片放置到被测物放置平台上，拍摄图像PX3,提取圆盘格标定片上标定圆点的轮廓，采用椭圆拟合的方式计算圆盘格标定片标定圆点的亚像素圆心坐标(x_3i,y_3i),其中i＝1,2,...,s；

(x_3i,y_3i)具体坐标如下表所示：

i	1	2	3	4	5	6	7
								x3i	308.17	408.46	503.70	603.83	708.61	304.64	405.71
y3i	302.53	308.84	301.96	301.21	305.44	403.15	403.82

表9-1

i	8	9
			x3i	506.95	609.61
y3i	407.92	408.39

表9-2

表9-1到9-2中，第一行代表标定圆点编号i，第二行代表图像PX 3中相应标定圆点编号的X坐标，第三行代表图像PX 3中相应标定圆点编号的Y坐标。

T4:被测物放置平台带动圆盘格标定片按被测物放置平台Y’轴方向移动适当距离，圆盘格标定片不超出相机视野，拍摄照片PX4，提取圆盘格标定片上标定圆点的轮廓，采用椭圆拟合的方式计算圆盘格标定片标定圆点的亚像素圆心坐标(x_4i,y_4i),其中i＝1,2,...,s；

(x_4i,y_4i)具体坐标如下表所示：

i	1	2	3	4	5	6	7
								x4i	523.07	625.57	717.56	818.48	926.45	521.67	619.82
y4i	3308.24	3314.47	3303.73	3306.35	3310.92	3404.80	3408.76

表10-1

i	8	9
			x4i	724.95	822.93
y4i	3413.27	3410.38

表10-2

表10-1到10-2中，第一行代表标定圆点编号i，第二行代表图像PX4中相应标定圆点编号的X坐标，第三行代表图像PX4中相应标定圆点编号的Y坐标。

T5:计算PX2与PX1图像相对应标定圆点亚像素圆心坐标之差得到s个向量r_xi＝(x_2i-x_1i,y_2i-y_1i),i＝1,2,...,s，取s个向量与相机X轴的夹角θ_i，i＝1,2,...,s，求取夹角的平均值θ，得到平台X’轴与相机X轴的夹角θ；(x_2i-x_1i,y_2i-y_1i)具体计算如下：

i	1	2	3	4	5	6	7
								x2i-x1i	3008.17	3005.32	3005.21	3007.74	3001.20	3006.25	3003.47
y2i-y1i	244.91	243.32	244.79	244.17	244.02	247.07	244.97
								θi	0.0818	0.0821	0.0813	0.0816	0.0812	0.0824	0.0816

表11-1

i	8	9
			x2i-x1i	3003.35	3005.75
y2i-y1i	243.27	244.88
			θi	0.0816	0.0812

表11-2

表11-1到112中，第一行代表标定圆点编号，第二行代表图像PX2和图像PX1中相对应标定圆点编号的X坐标之差，第三行代表图像PX2和图像PX1中相对应标定圆点编号的Y坐标之差,第四行为s个向量与相机X轴的夹角θ_i。

把第四行的夹角θ_i取平均值得到平台X’轴与相机X轴的夹角θ为：0.008128弧度，所得到的被测物放置平台X’轴与相机坐标轴X之间夹角θ为图像采集装置X’轴坐标误差。

T6:计算PX4与PX3图像相对应标定圆点亚像素圆心坐标之差得到s个向量r_xi＝(x_4i-x_3i,y_4i-y_3i),i＝1,2,...,s，取s个向量与相机Y轴的夹角β_i，i＝1,2,...,s，求取夹角的平均值β，得到平台Y’轴与相机Y轴的夹角β。

(x_4i-x_3i,y_4i-y_3i)具体计算如下：

i	1	2	3	4	5	6	7
								x4i-x3i	214.90	217.11	213.86	214.65	217.83	217.03	214.11
y4i-y3i	3005.71	3005.63	3001.77	3005.14	3005.48	3001.65	3004.94
								βi	0.0071	0.00706	0.00707	0.0071	0.00708	0.00707	0.00702

表12-1

i	8	9
			x4i-x3i	218.00	213.32
y4i-y3i	3005.35	3001.99
			βi	0.00682	0.00703

表12-2

表12-1到12-2中，第一行代表标定圆点编号，第二行代表图像PX4和图像PX 3中相对应标定圆点编号的X坐标之差，第三行代表图像PX4和图像PX3中相对应标定圆点编号的Y坐标之差,第四行为s个向量与相机X轴的夹角β_i。

把第四行的夹角β_i取平均值得到平台Y’轴与相机Y轴的夹角β为：0.006769弧度，所得到的被测物放置平台Y’轴与相机坐标轴Y之间夹角β为图像采集装置Y’轴坐标误差。

S3：相机拍摄图像子图，计算各子图坐标及尺寸，步骤为：

S31：子图1拍摄时X'轴光栅尺的读数记为D1，Y'轴光栅尺的读数记为D2，子图1左下角点位置坐标与坐标原点的距离K为：

平台沿X'移动适当距离拍摄子图2，……，拍摄完第一行q张子图后，平台沿Y'移动适当距离再拍摄第二行q张子图，拍摄子图为p行，q列，总数为n，其中n＝p×q，拍摄子图按字母“S”顺序排布，相邻两张子图部分重叠，所有子图包括被拍摄物所有部分；

第1行1列子图左下角点为A₁₁，逆时针顺序标记A₁₁B₁₁C₁₁D₁₁点；第1行2列子图左下角点为A₁₂，逆时针顺序标记A₁₂B₁₂C₁₂D₁₂；……；第p行q列子图n左下角点为A_pq，逆时针顺序标记A_pqB_pqC_pqD_pq；

S32：各子图A点坐标位置为：

第1行子图A点坐标为：

$\left\{\begin{array}{cc}{x}_{A11}=K\cos \mathrm{\θ},& y_{A11}=K\sin \mathrm{\θ}\\ x_{A12}=A_{A11}{A}_{A12}\cos \mathrm{\θ}+x_{A11},& y_{A12}=A_{A11}{A}_{A12}\sin \mathrm{\θ}+y_{A11}\\ x_{A13}=A_{A12}{A}_{A13}\cos \mathrm{\θ}+x_{A12},& y_{A13}=A_{12}{A}_{13}\sin \mathrm{\θ}+y_{A12}\\ ......& \\ x_{A1q}=A_{A1(q-1)}{A}_{A1q}\cos \mathrm{\θ}+x_{A1(q-1)},& y_{A1q}=A_{A1(q-1)}{A}_{A1q}\sin \mathrm{\θ}+y_{A1(q-1)}\end{array}\right.$

本实施例为2行2列，

第1行1列子图A点坐标为：

平台沿X'移动的距离A₁A₂为19.5mm，平台沿Y'移动的距离A₁A₄和A₂A₃为25.5mm。

K＝250mm

$\left\{\begin{array}{cc}{x}_{A1}=Kcos\mathrm{\θ}=249.99mm,& y_{A1}=Ksin\mathrm{\θ}=0.0165mm\\ x_{A2}=A_1{A}_{2}cos\mathrm{\θ}+x_{A1}=269.49mm,& y_{A2}=A_1{A}_{2}sin\mathrm{\θ}+y_{A1}=0.1750mm\end{array}\right.$

其余子图A点坐标为：

本实施例中其余子图A点坐标为：

$\left\{\begin{array}{cc}{x}_{A3}=A_2{A}_{3}sin\mathrm{\β}+x_{A2}=269.66mm,& y_{A3}=A_2{A}_{3}cos\mathrm{\β}+y_{A2}=25.67mm\\ x_{A4}=A_1{A}_4\sin \mathrm{\β}+x_{A1}=250.16mm,& y_{A4}=A_1{A}_{4}cos\mathrm{\β}+y_{A1}=25.52mm\end{array}\right.$

S33：相机的分辨率为宽为w₀像素，高为h₀像素，图像单个像素代表的物理尺寸Δd，相机覆盖的物理视场为：宽度为W₀，高度为H₀；

$\left\{\begin{array}{c}{W}_0=\mathrm{\Δ}d\×w_0\\ H_0=\mathrm{\Δ}d\×h_0\end{array}\right.$

本实施例中，相机的分辨率为w₀×h₀＝3664x2748，那么利用前面求得图像单个像素代表的物理尺寸Δd，求得相机覆盖的物理视场(即物理长宽)为：

$\left\{\begin{array}{c}{W}_0=\mathrm{\Δ}d\×w_0=36.64mm\\ H_0=\mathrm{\Δ}d\×h_0=27.48mm\end{array}\right.$

S34：各子图B点C点和D点坐标为：

$\left\{\begin{array}{cc}{x}_{B1}=x_{A1}+W_0& y_{B1}=y_{A1}\\ x_{C1}=x_{A1}+W_0& y_{C1}=y_{A1}+H_0\\ x_{D1}=x_{A1}& y_{D1}=y_{A1}+H_0\end{array}\right.$

$\left\{\begin{array}{cc}{x}_{B2}=x_{A2}+W_0& y_{B2}=y_{A2}\\ x_{C2}=x_{A2}+W_0& y_{C2}=y_{A2}+H_0\\ x_{D2}=x_{A2}& y_{D2}=y_{A2}+H_0\end{array}\right.$

$\left\{\begin{array}{cc}{x}_{B3}=x_{A3}+W_0& y_{B3}=y_{A3}\\ x_{C3}=x_{A3}+W_0& y_{C3}=y_{A3}+H_0\\ x_{D3}=x_{A3}& y_{D3}=y_{A3}+H_0\end{array}\right.$

…

$\left\{\begin{array}{cc}{x}_{Bn}=x_{An}+W_0& y_{Bn}=y_{An}\\ x_{Cn}=x_{An}+W_0& y_{Cn}=y_{An}+H_0\\ x_{Dn}=x_{An}& y_{Dn}=y_{An}+H_0\end{array}\right.$

本实施例中，图中子图B点C点和D点点坐标为：

$\left\{\begin{array}{cc}{x}_{B1}=x_{A1}+W_0=286.63mm& y_{B1}=y_{A1}=0.0165mm\\ x_{C1}=x_{A1}+W_0=286.63mm& y_{C1}=y_{A1}+H_0=27.50mm\\ x_{D1}=x_{A1}=249.99mm& y_{D1}=y_{A1}+H_0=27.50mm\end{array}\right.$

$\left\{\begin{array}{cc}{x}_{B2}=x_{A2}+W_0=306.13mm& y_{B2}=y_{A2}=0.1750mm\\ x_{C2}=x_{A2}+W_0=306.13mm& y_{C2}=y_{A2}+H_0=27.66mm\\ x_{D2}=x_{A2}=269.49mm& y_{D2}=y_{A2}+H_0=27.66mm\end{array}\right.$

$\left\{\begin{array}{cc}{x}_{B3}=x_{A3}+W_0=306.30mm& y_{B3}=y_{A3}=25.67mm\\ x_{C3}=x_{A3}+W_0=306.30mm& y_{C3}=y_{A3}+H_0=53.15mm\\ x_{D3}=x_{A3}=269.66mm& y_{D3}=y_{A3}+H_0=53.15mm\end{array}\right.$

$\left\{\begin{array}{cc}{x}_{B4}=x_{A4}+W_0=286.80mm& y_{B4}=y_{A4}=25.52mm\\ x_{C4}=x_{A4}+W_0=286.80mm& y_{C4}=y_{A4}+H_0=53.00mm\\ x_{D4}=x_{A4}=250.16mm& y_{D4}=y_{A4}+H_0=53.00mm\end{array}\right.$

S35：拼接后大图的宽度为W，高度为H：

大图宽W是x_Bi中最大值maxx_Bi与x_A1的差值，其中W＝maxx_Bi-x_A1；

大图高度H是y_Di中最大值maxy_Di与y_A1的差值，其中H＝maxy_Di-y_A1；

大图的像素尺寸宽为w，像素尺寸高为h

本实施例中，x_Bi中最大值maxx_Bi与x_A1的差值为大图的宽度W，其中W＝maxx_Bi-x_A1＝306.30-249.99＝56.31mm；

本实施例中，y_Di中最大值maxy_Di与y_A1的差值为大图的高度H，其中H＝maxy_Di-y_A1＝53.15-0.0165＝53.13mm；

本实施例中，大图的像素尺寸

S4：计算大图像素点灰度值，步骤为：

S41：大图的像素尺寸宽为w，像素尺寸高为h，各像素位置p(i,j),i＝1,2,3,...,w；j＝1,2,3,...,h的物理坐标为p(x,y)

p(x,y)＝p(i×Δd,|j-H|×Δd)；

S42:根据p(x,y)与x_A1,y_A1和大图的宽度W和高度H关系，以及横向与纵向小图的数量，确定p(x,y)位于第t张小图中，其中1≤t≤n；

S43:p(x,y)位于第t张子图局部坐标位置为p(x′,y′)，其中p(x′,y′)＝p(x-x_At,y-y_At)；

S44:计算p(x′,y′)位于小图的亚像素坐标p(i′,j′)，其中p(i′,j′)＝p(x′/Δd,h₀-(y′/Δd))；

S45:使用双线性插值计算亚像素坐标p(i′,j′)的灰度值，亚像素坐标p(i′,j′)的灰度值为大图中p(i,j)像素点的灰度值。

本实施例中，取点计算为：

p(i,j)	(1500,1500)	(4000,2000)	(5000,4000)
				p(x,y)	(15,38.13)	(40,33.13)	(50，13.13)
位于第t个小图	4	3	2
				p(x′,y′)	(14.83,12.63)	(20.33,7.48)	(30.5,12.97)
p(i′,j′)	(1483,1485)	(2033,2000)	(3050,1451)

表15

Claims (3)

1.一种自动视觉检测中基于光栅定位的二维图像拼接方法，通过拍摄平台与相机坐标夹角参数修正子图在大图中的坐标值，计算各子图四角的位置坐标，通过各像素所对应的实际物理距离得到大图的尺寸，用双线性插值计算子图中的亚像素坐标位置像素灰度得到大图中的像素灰度，得出拼接后的大图，具体步骤是：

S1：计算图像中单个像素代表的物理尺寸Δd，步骤是：

S11：制作圆盘格标定片，所述圆盘格标定片上设置不重叠标定圆点，标定圆点与圆盘格标定片边界清晰，所述标定圆点设置为e行e列，个数为s，其中s＝e×e，e＝3到30；

S12：把圆盘格标定片放置到被测物放置平台上，拍摄第一张图像,提取圆盘格标定片上标定圆点的轮廓，采用椭圆拟合的方式计算圆盘格标定片各标定圆点的亚像素圆心坐标(x_1i,y_1i),i＝1,2,...,s，记录X'轴光栅尺的读数为d₁；

S13：平台沿X'轴运动保证圆盘格完整的出现在相机视场中，相机拍摄第二张图像，X'轴光栅尺的读数变为d₂，提取圆盘格标定片上标定圆点的轮廓，采用椭圆拟合的方式计算圆盘格标定片各标定圆点的亚像素圆心坐标(x_2i,y_2i),i＝1,2,...,s，计算前后两张图像中对应标定圆的圆心坐标之差，得到s个向量r_i＝(x_2i-x_1i,y_2i-y_1i),i＝1,2,...,s；

S14：用平台X'轴移动的距离除以向量的平均长度，得到X'轴方向上图像单个像素代表的物理尺寸Δd₁，具体计算为

${\mathrm{\Δd}}_1=\frac{s\×(d_2-d_1)}{\left|\right|r_1\left|\right|+\left|\right|r_2\left|\right|+...+\left|\right|r_s\left|\right|}$

S15：把圆盘格标定片放置到被测物放置平台上，拍摄第三张图像,提取圆盘格标定片上标定圆点的轮廓，采用椭圆拟合的方式计算圆盘格标定片各标定圆点的亚像素圆心坐标(x_3i,y_3i),i＝1,2,...,s，记录Y'轴光栅尺的读数为d₃；

S16：平台沿Y'轴运动保证圆盘格完整的出现在相机视场中，相机拍摄第四张图像，Y'轴光栅尺的读数变为d₄，提取圆盘格标定片上标定圆点的轮廓，采用椭圆拟合的方式计算圆盘格标定片各标定圆点的亚像素圆心坐标(x_4i,y_4i),i＝1,2,...,s，计算前后两张图像中对应标定圆的圆心坐标之差，得到s个向量rr_i＝(x_4i-x_3i,y_4i-y_3i),i＝1,2,...,s；

S17：用平台Y'轴移动的距离除以向量的平均长度，得到Y'轴方向上图像单个像素代表的物理尺寸Δd₂，具体计算为

${\mathrm{\Δd}}_2=\frac{s\×(d_4-d_3)}{\left|\right|{\mathrm{rr}}_1\left|\right|+\left|\right|{\mathrm{rr}}_2\left|\right|+...+\left|\right|{\mathrm{rr}}_s\left|\right|}$

S18：取平均值得到图像中单个像素代表的物理尺寸Δd，其中

Δd＝(Δd₁+Δd₂)/2

S2：检测被检测物移动平台坐标系X'与相机坐标系X之间的夹角θ，Y'与相机坐标系Y之间的夹角β；

S3：相机拍摄图像子图，计算各子图坐标及尺寸，步骤为：

S31：子图1拍摄时X'轴光栅尺的读数记为D1，Y'轴光栅尺的读数记为D2，子图1左下角点位置坐标与坐标原点的距离K为：

平台沿X'移动适当距离拍摄子图2，……，拍摄完第一行q张子图后，平台沿Y'移动适当距离再拍摄第二行q张子图，拍摄子图为p行，q列，总数为n，其中n＝p×q，拍摄子图按字母“S”顺序排布，相邻两张子图部分重叠，所有子图包括被拍摄物所有部分；

第1行1列子图左下角点为A₁₁，逆时针顺序标记A₁₁B₁₁C₁₁D₁₁点；第1行2列子图左下角点为A₁₂，逆时针顺序标记A₁₂B₁₂C₁₂D₁₂；……；第p行q列子图n左下角点为A_pq，逆时针顺序标记A_pqB_pqC_pqD_pq；

S32：各子图A点坐标位置为：

第1行子图A点坐标为：

$\left\{\begin{array}{cc}{x}_{A11}=K\cos \mathrm{\θ},& y_{A11}=K\sin \mathrm{\θ}\\ x_{A12}=A_{A11}{A}_{A12}\cos \mathrm{\θ}+x_{A11},& y_{A12}=A_{A11}{A}_{A12}\sin \mathrm{\θ}+y_{A11}\\ x_{A13}=A_{A12}{A}_{A13}\cos \mathrm{\θ}+x_{A12},& y_{A13}=A_{A12}{A}_{A13}\sin \mathrm{\θ}+y_{A12}\\ \mathrm{...}& \\ x_{A1q}=A_{A1(q-1)}{A}_{A1q}\cos \mathrm{\θ}+x_{A1(q-1)},& y_{A1q}=A_{A1(q-1)}{A}_{A1q}\sin \mathrm{\θ}+y_{A1(q-1)}\end{array}\right.$

其余子图A点坐标为：

$\left\{\begin{array}{cc}{x}_{A21}=A_{A11}{A}_{A21}\sin \mathrm{\β}+x_{A11},& y_{A21}=A_{A11}{A}_{A21}\cos \mathrm{\β}+y_{A11}\\ x_{A22}=A_{A12}{A}_{A22}\sin \mathrm{\β}+x_{A12},& y_{A22}=A_{A12}{A}_{A22}\cos \mathrm{\β}+y_{A12}\\ x_{A23}=A_{A13}{A}_{A23}\sin \mathrm{\β}+x_{A13},& y_{A23}=A_{13}{A}_{23}\cos \mathrm{\β}+y_{A13}\\ \mathrm{...}& \\ x_{A2q}=A_{A1q}{A}_{A2q}\sin \mathrm{\β}+x_{A1q},& y_{A2q}=A_{A1q}{A}_{A2q}\cos \mathrm{\β}+y_{A1q}\\ \mathrm{...}& \\ x_{A31}=A_{A21}{A}_{A31}\sin \mathrm{\β}+x_{A21},& y_{A31}=A_{A21}{A}_{A31}\cos \mathrm{\β}+y_{A21}\\ x_{A32}=A_{A22}{A}_{A32}\sin \mathrm{\β}+x_{A22},& y_{A32}=A_{A22}{A}_{A32}\cos \mathrm{\β}+y_{A22}\\ x_{A33}=A_{A23}{A}_{A33}\sin \mathrm{\β}+x_{A23},& y_{A33}=A_{23}{A}_{33}\cos \mathrm{\β}+y_{A23}\\ \mathrm{...}& \\ x_{A3q}=A_{A2q}{A}_{A3q}\sin \mathrm{\β}+x_{A2q},& y_{A3q}=A_{A2q}{A}_{A3q}\cos \mathrm{\β}+y_{A2q}\\ \mathrm{...}& \\ x_{Ap1}=A_{A(p-1)1}{A}_{Ap1}\sin \mathrm{\β}+x_{A(p-1)1},& y_{Ap1}=A_{A(p-1)1}{A}_{A21}\cos \mathrm{\β}+y_{A(p-1)1}\\ x_{Ap2}=A_{A(p-1)2}{A}_{Ap2}\sin \mathrm{\β}+x_{A(p-1)2},& y_{Ap2}=A_{A(p-1)2}{A}_{A22}\cos \mathrm{\β}+y_{A(p-1)2}\\ x_{Ap3}=A_{A(p-1)3}{A}_{Ap3}\sin \mathrm{\β}+x_{A(p-1)3},& y_{Ap3}=A_{13}{A}_{(p-1)3}\cos \mathrm{\β}+y_{A(p-1)3}\\ \mathrm{...}& \\ x_{Apq}=A_{A(p-1)q}{A}_{Apq}\sin \mathrm{\β}+x_{A(p-1)q},& y_{Apq}=A_{A1q}{A}_{A(p-1)q}\cos \mathrm{\β}+y_{A(p-1)q}\end{array}\right.$

S33：相机的分辨率为宽为w₀像素，高为h₀像素，图像单个像素代表的物理尺寸Δd，相机覆盖的物理视场为：宽度为W₀，高度为H₀；

$\left\{\begin{array}{c}{W}_0=\mathrm{\Δ}d\×w_0\\ H_0=\mathrm{\Δ}d\×h_0\end{array}\right.$

S34：各子图B点C点和D点坐标为：

$\left\{\begin{array}{cc}{x}_{B1}=x_{A1}+W_0& y_{B1}=y_{A1}\\ x_{C1}=x_{A1}+W_0& y_{C1}=y_{A1}+H_0\\ x_{D1}=x_{A1}& y_{D1}=y_{A1}+H_0\end{array}\right.$

$\left\{\begin{array}{cc}{x}_{B2}=x_{A2}+W_0& y_{B2}=y_{A2}\\ x_{C2}=x_{A2}+W_0& y_{C2}=y_{A2}+H_0\\ x_{D2}=x_{A2}& y_{D2}=y_{A2}+H_0\end{array}\right.$

$\left\{\begin{array}{cc}{x}_{B3}=x_{A3}+W_0& y_{B3}=y_{A3}\\ x_{C3}=x_{A3}+W_0& y_{C3}=y_{A3}+H_0\\ x_{D3}=x_{A3}& y_{D3}=y_{A3}+H_0\end{array}\right.$

…

$\left\{\begin{array}{cc}{x}_{Bn}=x_{An}+W_0& y_{Bn}=y_{An}\\ x_{Cn}=x_{An}+W_0& y_{Cn}=y_{An}+H_0\\ x_{Dn}=x_{An}& y_{Dn}=y_{An}+H_0\end{array}\right.$

S35：拼接后大图的宽度为W，高度为H：

大图宽W是x_Bi中最大值maxx_Bi与x_A1的差值，其中W＝maxx_Bi-x_A1；

大图高度H是y_Di中最大值maxy_Di与y_A1的差值，其中H＝maxy_Di-y_A1；

大图的像素尺寸宽为w，像素尺寸高为h

S4：计算大图像素点灰度值，步骤为：

S41：大图的像素尺寸宽为w，像素尺寸高为h，各像素位置p(i,j),i＝1,2,3,...,w；j＝1,2,3,...,h的物理坐标为p(x,y)

p(x,y)＝p(i×Δd,|j-H|×Δd)；

S42:根据p(x,y)与x_A1,y_A1和大图的宽度W和高度H关系，以及横向与纵向小图的数量，确定p(x,y)位于第t张小图中，其中1≤t≤n；

S43:p(x,y)位于第t张子图局部坐标位置为p(x′,y′)，其中p(x′,y′)＝p(x-x_At,y-y_At)；

S44:计算p(x′,y′)位于小图的亚像素坐标p(i′,j′)，其中p(i′,j′)＝p(x′/Δd,h₀-(y′/Δd))；

S45:使用双线性插值计算亚像素坐标p(i′,j′)的灰度值，亚像素坐标p(i′,j′)的灰度值为大图中p(i,j)像素点的灰度值。

2.根据权利要求1所述的自动视觉检测中基于光栅定位的二维图像拼接方法，其特征是标定圆点直径0.5mm～3mm,标定圆点行列间距为1mm～4mm。

3.根据权利要求1或2所述的自动视觉检测中基于光栅定位的二维图像拼接方法，其特征是：所述采用椭圆拟合的方式计算圆盘格标定片各标定圆点的亚像素圆心坐标是根据各标定圆点的轮廓，提取出边界点，以边界点为拟合点，以椭圆方程为模型进行最小二乘法拟合，使椭圆方程尽量满足边界点坐标，求出该椭圆方程的各个参数，得到的椭圆中心为标定圆点的亚像素圆。