CN111156900B - 一种枪弹底火装配深度线结构光测量方法 - Google Patents

Abstract

本发明提供一种枪弹底火装配深度线结构光测量方法，包括针对枪弹底火装配深度的测量模型、标定方法、激光散斑光条中心提取方法。测量模型中，在相机坐标系下，引入两块标定块用于结构光参数标定，通过对标定块上多个特殊点进行直线拟合。在相机坐标系下，计算直线和激光曲线的交点。根据交比不变性原理，得出激光平面计算公式，完成结构光参数的标定过程。通过新的数学模型，可以计算在图像上任意激光线上两点所对应的世界坐标值，采用实时标定和测量的方式，实现枪弹底火装配深度测量实时测量需求，减小累积误差。根据高频增益系数对图像中散斑部分进行图像增强操作，解决了因为激光条散斑而引起的枪弹底火深度测量精度与稳定性下降问题。

Description

一种枪弹底火装配深度线结构光测量方法

技术领域

本发明涉及用于工业视觉检测与测量领域，具体涉及结构光测量模型的搭建与标定，图像中线结构光中心提取等关键技术。

背景技术

在枪弹生产和装配过程中，底火装配深度不达标，会对枪弹质量造成严重的影响。枪弹底火有效检测面积小于100mm²，深度检测精度标准要求小于0.02mm，国内大多弹厂仍采用传统接触式的模具检测方法，需要大量的人工配合，效率低成本高。检测精度依赖于模具的尺寸精度，随着时间的推移，模具的尺寸发生变化，检测精度随之下降。近年来，在非接触式测量领域中，线结构光测量方法简单，实用被广泛应用。对于枪弹底火检测来说，应用线结构光测量方法进行测量面两个困难点：

第一，测量模型的标定。传统的线结构光测量模型和标定方法分为两步：首先，应用合作靶标(标定板)在测量模型成像中，利用标定点拟合直线，求取光平面方程，利用光平面方程和相机内参联立方程，解算测量模型内外参数。其次，利用解算后的测量模型可多次对实物进行测量。对于枪弹底火深度测量而言，一次标定多次测量的方式，对测量装置位置关系一致性和的枪弹检测环境要求极为苛刻，容易产生累积误差。

第二，图像中线结构光中心提取。在枪弹制造领域，不同型号的枪弹，底火制造的材料和枪弹弹身所用材料不同。激光条在同一光照情况下，投射到枪弹底面，在相机成像中会出现光条和散斑相间的情况，传统方法无法高精度提取光条中心，影响枪弹底火深度测量精度与稳定性。

发明内容

针对现有方法的不足，本发明提供一种枪弹底火装配深度线结构光测量方法包括针对枪弹底火装配深度的测量模型、标定方法、激光散斑光条中心提取方法。

本发明采用如下技术方案：一种枪弹底火装配深度线结构光测量方法，包括以下步骤：

建立枪弹底火装配深度的测量模型；

对测量模型进行标定，得到枪弹底面图像中像素位置与实际枪弹底火装配深度的对应关系；

对图像中散斑光条进行图像增强，并提取激光器照射于枪弹形成的激光光条中心坐标，构成激光光条中心线；

根据图像的激光光条中心线位置得到实际枪弹底火装配深度；

所述建立枪弹底火装配深度的测量模型包括以下步骤：

以相机O为坐标系的中心，光轴为Z轴构成坐标系O-X-Y-Z；两个标定块分别设置于枪弹两侧，并和枪弹底面存在于相机坐标系中；激光器投射在被测枪弹和标定块表面的曲线为L；

建立相机坐标系统的测量模型；测量模型包括：在相机坐标系下，建立相机坐标与图像坐标的转换关系；曲线L与激光器点N形成的一个光平面；

将世界坐标系转换到相机坐标系，得出世界坐标系下的系统测量数学模型。

所述对测量模型进行标定包括以下步骤：

在标定块1、标定块2上获取已知固定点的世界坐标(A₁,A₂,A₃,A₄,A₅,B₁,B₂,B₃,B₄,B₅)所对应的相机坐标系下的坐标(a₁,a₂,a₃,a₄,a₅,b₁,b₂,b₃,b₄,b₅)；A₁,A₂,A₃,A₄,A₅位于标定块1上，B₁,B₂,B₃,B₄,B₅位于标定块2上；其中A₁,A₂,A₃共线，A₁,A₄,A₅共线，B₁,B₂,B₃共线，B₁,B₄,B₅共线；拟合直线分别和激光线曲L形成4个交点NODE1,NODE2,NODE3,NODE4，图像坐标为(n₁,n₂,n₃,n₄,n₅)，求其对应的世界坐标(N₁,N₂,N₃,N₄,N₅)；

根据空间中四线共点，根据焦比不变性原理得到(N₁,N₂,N₃,N₄)；将世界坐标系下(N₁,N₂,N₃,N₄)转换为相机坐标系下的坐标(n₁,n₂,n₃,n₄)，并根据(n₁,n₂,n₃,n₄)求出4个激光平面方程PLANE1、PLANE2、PLANE3、PLANE4；

求各个交点(n₁,n₂,n₃,n₄)分别到(PLANE1,PLANE2,PLANE3,PLANE4)欧式距离的平方和，记作(D₁,D₂,D₃,D₄)，取其中最小值D_光＝min{D₁,D₂,D₃,D₄}；D_光所对应的激光平面方程确定为光平面方程，光平面方程参数求取公式如下：

所述枪弹底面图像中像素位置与实际枪弹底火装配深度的对应关系如下：

其中，(u₀，v₀)表示图像的中心像素坐标和图像原点像素坐标之间的横向和纵向像素；(u，v)是相机坐标系下，某点在像面上的像素坐标；(x_c，y_c，z_c)是相机坐标系下，点P的相机坐标；(X_w，Y_w，Z_w)是世界坐标系下，点P的世界坐标；r₁₁-r₃₃表示世界坐标系转换到相机坐标系的旋转矩阵R中的元素，t₁-t₃表示世界坐标系转换到相机坐标系的平移矩阵T中的元素；a、b、c、d、ρ为光平面参数；f为焦距。

所述相机镜头光轴与激光器输出光路夹角为10～20度。

所述两个标定块在垂直于枪弹轴线的同一方向上的平面夹角为5～15度。

所述两个标定块的轴心重合。

所述对图像中散斑光条进行图像增强具体为根据高频增益系数对图像中散斑光条进行图像增强，具体如下：

高频增益系数通过下式得到，

其中，u_p为相机靶面的像元尺寸；p为相机轴向放大倍数；Wv为激光理想光条的横截面有像素效宽度；D_p为投影距离；k_p为线性比例系数；σ_x为高斯增益系数；x(k,l)为待增强图像中的像素点，k,l为某像素点的横坐标和纵坐标；m_x(i,j)为背景像素点，i,j为某像素点的横坐标和纵坐标；

将图像中散斑光条的前景与背景灰度差乘以高频增益系数，即对图像中散斑光条进行图像增强。

本发明具有以下有益效果及优点：

1.发明一种基于线结构光的枪弹底火装配深度新的实时标定模型及标定方法，缩减了传统标定计算时间，解决传统测量模型产生累积误差的问题。

2.发明一种激光散斑光条中心提取方法，解决了因为激光条散斑而引起的枪弹底火深度测量精度与稳定性下降问题。

3.根据1、2发明，归纳一种新的枪弹底火装配深度测量方法与实现步骤。

附图说明

图1为本发明的测量模型示意图；

图2为本发明的标定方法示意图；

图3为本发明的实施步骤示意图；

图4为激光器最小线宽与投影距离关系图；

图5为激光光条中心亚像素坐标标记图；

图6为相机倾斜示意图；

图7为校正前z方向数据图；

图8为校正后z方向数据图。

具体实施方式

下面结合附图和公式及实施例对本发明做进一步的详细说明。

现有的线结构光测量和标定方法中，无法满足能够满足枪弹生产线快速准确测量枪弹底火装配深度的需求。本发明提供一种枪弹底火装配深度线结构光测量方法包括针对枪弹底火装配深度的测量模型、标定方法、激光散斑光条中心提取方法。测量模型中，在相机坐标系下，引入两块标定块用于结构光参数标定，通过对标定块上多个特殊点进行直线拟合。在相机坐标系下，计算直线和激光曲线的交点。根据交比不变性原理，得出激光平面计算公式，完成结构光参数的标定过程。通过新的数学模型，可以计算在图像上任意激光线上两点所对应的世界坐标值，简化标定过程，减少标定时间，采用实时标定和测量的方式，实现枪弹底火装配深度测量实时测量，减小累积误差。采用对原始图像先验部分和激光投影模型计算高频增益系数，根据高频增益系数对图像中散斑部分进行图像增强操作，基于Steger算法提取增强后图像的激光光条中心坐标，解决了因为激光条散斑而引起的枪弹底火深度测量精度与稳定性下降问题。

1、枪弹底火装配深度的测量模型

为了避免累积误差，与传统测量模型不同，把两块标定块引入测量模型中。测量模型由相机、激光器、枪弹样本以及两个标定块四部分组成，各部分组成关系如图1所示。以相机O为坐标系的中心，光轴为Z轴构成坐标系O-X-Y-Z，标定块1、2被设置成一定角度α和枪弹样本底面存在于相机坐标系中，用于实时标定与测量。激光器被看作为一个固定点N，投射在被测物体和标定块表面的曲线设为L。在相机坐标系下，相机坐标与图像坐标的转换公式如(1)、(2)所示。u₀，v₀表示图像的中心像素坐标和图像原点像素坐标之间的横向和纵向像素，(u，v)是相机坐标下，点P在像面上的像素坐标。曲线L与激光器点N形成一个光平面，方程为公式(3)。根据公式(1)、(2)、(3)建立方程组，来表示在相机坐标系统的测量模型，以矩阵形式表示如公式(4)所示。世界坐标系通过外参矩阵转换到相机坐标系，如公式(5)所示。其中R表示旋转矩阵，T表示平移矩阵，(x_c,y_c,z_c)是相机坐标系下的坐标值，(X_w,Y_w,Z_w)为世界坐标系下坐标值。将公式(5)带入公式(4)中，得出世界坐标系下的系统测量数学模型，如公式(6)所示。

2、枪弹底火装配深度的测量模型标定方法

模型参数标定过程可分为相机标定和光平面标定两部分。相机标定参数为内部参数f，外部参数R和T，已有很多成熟的标定方法。本发明针对光平面标定进行创新，根据公式(6)光平面标定参数为a，b，c，d。考虑到枪弹底火有效测量面积小于100mm²，测量要求误差小于0.02mm的实际要求，本系统引入两块标定块1和2，使其和激光曲线L共同作用在相机坐标系下，如图2所示。为了实现实时标定和测量的需求，在标定块上的获取已知固定点的世界坐标(A₁,A₂,A₃,A₄,A₅,B₁,B₂,B₃,B₄,B₅)所对应的相机坐标系下的坐标(a₁,a₂,a₃,a₄,a₅,b₁,b₂,b₃,b₄,b₅)。其中A₁,A₂,A₃共线，A₁,A₄,A₅共线，B₁,B₂,B₃共线，B₁,B₄,B₅共线。在获取图像中，通过直线拟合算法，拟合直线分别和激光线L形成4个交点NODE1,NODE2,NODE3,NODE4，图像坐标为(n₁,n₂,n₃,n₄,n₅)，求其对应的世界坐标(N₁,N₂,N₃,N₄,N₅)。根据空间中四线共点，根据焦比不变性的原理公式(7)，可以得到(N₁,N₂,N₃,N₄)，如公式(8)所示。根据公式(5)将世界坐标系下(N₁,N₂,N₃,N₄)转换为相机坐标系下的坐标(n₁,n₂,n₃,n₄)。将(n₁,n₂,n₃,n₄)带入公式(3)，可以求出4个激光平面方程PLANE1、PLANE2、PLANE3、PLANE4。求各个交点(n₁,n₂,n₃,n₄)到(PLANE1,PLANE2,PLANE3,PLANE4)欧式距离的平方和，记作(D₁,D₂,D₃,D₄)，取其中最小值D_光。D_光＝min{D₁,D₂,D₃,D₄}。D_光所对应的PLANE确定为光平面方程。所有参数标定完毕，任意输入一组像素坐标(u测,v测)到公式(6)，可以计算出对应的世界坐标系下的坐标(X测,Y测,Z测)。本发明的公式(8)利用了引入的两个标定块及其位置关系，大大降低了光平面方程的计算复杂度，从而减少了标定过程所需要的时间，达到了每次测量都可以标定一遍，减小累积误差的目的。

3、激光散斑光条中心提取方法：

根据枪弹底火装配深度的测量模型，通过相机采集激光器投射的激光线在枪弹底火上的图像。由于不同型号的枪弹，底火制造的材料和枪弹弹身所用材料不同。激光条在同一光照情况下，投射到枪弹底面，在相机成像中会出现光条和散斑相间的情况。本发明采用对原始图像先验部分(公式9)和激光投影模型计算高频增益系数(公式10)，根据高频增益系数对图像中散斑部分进行图像增强操作，基于Steger算法提取增强后图像的激光光条中心坐标，解决了因为激光条散斑而引起的枪弹底火深度测量精度与稳定性下降问题。

公式1-6参数说明：(u₀，v₀)表示图像的中心像素坐标和图像原点像素坐标之间的横向和纵向像素；(u，v)是相机坐标系下，点P在像面上的像素坐标；(x_c，y_c，z_c)是相机坐标系下，点P的相机坐标；(X_w，Y_w，Z_w)是世界坐标系下，点P的世界坐标；R(r₁₁-r₃₃)表示旋转矩阵，T(t₁-t₃)表示平移矩阵；a,b,c,d为光平面参数；

公式7-8参数说明：(A₁,A₂,A₃,A₄,A₅,B₁,B₂,B₃,B₄,B₅)：标定块上的获取已知固定点的世界坐标；(a₁,a₂,a₃,a₄,a₅,b₁,b₂,b₃,b₄,b₅)：标定块上的获取已知固定点的相机坐标系下的坐标。(n₁,n₂,n₃,n₄,n₅)：交点图像坐标，(N1,N2,N3,N4,N5)：交点世界坐标。Cr表示焦比不变等式。

公式9-10参数说明：其中，u_p为相机靶面的像元尺寸；p为相机轴向放大倍数；Wv为激光理想光条的横截面有像素效宽度；D_p为投影距离；k_p为线性比例系数；σ_x为高斯增益系数；x(k,l)为待增强图像中的像素点，k,l为此像素点的横坐标和纵坐标；m_x(i,j)为背景像素点，i,j为此像素点的横坐标和纵坐标；

枪弹底火装配深度测量分为四步,如图3所示，具体步骤如下：

1、测量系统搭建

根据图1所发明的枪弹底火装配深度测量模型。系统采用IMPEX CAMMRA-LINK接口数字相机B1310M，相机分辨率为1280×720，像元为3.75um，初始曝光时间为5000us。镜头采用Computar 25mm变焦镜头，激光投影器采用V-405-005-AS-10-L01-N型号。相机镜头光学中心到枪弹底面距离为400mm，激光器到枪弹底面距离为200mm，与相机成15度夹角。两块标定块分别为长45mm，宽为35mm的黑白格标定块，两个标定块在垂直于枪弹轴线的同一方向上的平面夹角为10度,中心相距100mm。

2、测量系统的标定

为了减小累积误差，采用发明的枪弹底火装配深度测量模型标定方法实时进行相机内参和外参的标定。具体步骤为，首先采集在枪弹底火装配深度测量模型下的一幅相机图像，分别取标定块1和2各5个已知点的图像坐标及其中三个点的世界坐标，利用相机内参公式求出相机内参f,u₀,v₀。再将参数带入公式8，解出线激光中心和子弹表面激光线的光平面方程，自此完成测量系统的标定过程。任意输入一组像素坐标(u_测,v_测)，利用公式6可以计算出对应的世界坐标系下的坐标(X_测,Y_测,Z_测)。标定过程，主要计算量在于光平面方程的求取过程，本发明的公式(8)利用了引入的两个标定块及其位置关系，大大降低了光平面方程的计算复杂度，从而减少了标定过程所需要的时间，达到了每次测量都可以标定一遍，减小累积误差的目的。

3、枪弹底火激光光条中心提取方法

通过相机采集激光器投射的激光线在枪弹底火上的图像。由于不同型号的枪弹，底火制造的材料和枪弹弹身所用材料不同。激光条在同一光照情况下，投射到枪弹底面，在相机成像中会出现光条和散斑相间的情况。本发明提出一种基于自适应对比度增强算法的图像增强方法和光条中心提取方法。该方法通过对原始图像先验部分和激光投影模型计算高频增益系数，根据高频增益系数对图像中散斑部分进行图像增强操作。

自适应对比度增算法的核心就是高频部分增益系数的计算，通常方法是将增益设为一个固定值，由先验参数确定。在图像的高频区域，增益值设置较小，出现增强不足的情况，在图像平滑的区域，增益值设置比较大，从而可能会放大噪声信号。所以本发明利用理想光条的横截面灰度对比度为基础，结合结构光模型和激光器投的物理特性，设计高频增益系数计算模型。

首先将增益值表示为与方差相关的量均值m_x可以近似认为是背景部分，此时m_x即是高频细节部分，高频作增益系数。其中窗口参数n规定了增加的有效范围，必须和实际激光投影情况来设定。引入参数投影最小线宽w_min与投影距离为D_p成线性比例关系，比例系数为k，如图4所示。u为相机靶面的像元尺寸，p为相机轴向放大倍数，激光理想光条的横截面有像素效宽度为W_v，如公式9所示，带入高频作增益系数，如公式10所示。通过公式10对原始图像进行增强操作，解决激光条在同一光照情况下，投射到枪弹底面，在相机成像中会出现光条和散斑相间的问题，基于Steger算法提取增强后图像的激光光条中心亚像素坐标，如图5所示。

4、枪弹底火装配深度计算

根据步骤2所述，标定完成后，在图像上任意输入一组像素坐标(u_测,v_测)，利用公式6可以计算出对应的世界坐标系下的坐标(X_测,Y_测,Z_测)。由于CCD相机无法保证直对准弹尾拍摄，因此测量所获得的三维数据是倾斜的，并不能直接用来获得底火深度，如图6所示，必须经过的空间坐标变换。如图7所示，所获得的弹底三维数据z方向，z方向数据表征了该点离相机光心的距离，坐标变换结果如图8所示。在图8中，取两个平面平均值的差即为枪弹底火装配深度的数值。图7、8中横坐标表示图像中激光光条中心像素点序列序号，纵坐标表示z方向该点离相机光心的距离(mm)。

以上对所述例子做了说明，以便允许容易地理解本发明，但上述例子并不限制本发明。相反，本发明打算包含各种改进和等效方法，其范围在法律允许下要被给予最宽的解释以便包括所有这样的改进和等效方法。

Claims (7)

1.一种枪弹底火装配深度线结构光测量方法，其特征在于，包括以下步骤：

建立枪弹底火装配深度的测量模型；

对测量模型进行标定，得到枪弹底面图像中像素位置与实际枪弹底火装配深度的对应关系；

对图像中散斑光条进行图像增强，并提取激光器照射于枪弹形成的激光光条中心坐标，构成激光光条中心线；

根据图像的激光光条中心线位置得到实际枪弹底火装配深度；

所述建立枪弹底火装配深度的测量模型包括以下步骤：

以相机O为坐标系的中心，光轴为Z轴构成坐标系O-X-Y-Z；两个标定块分别设置于枪弹两侧，并和枪弹底面存在于相机坐标系中；激光器投射在被测枪弹和标定块表面的曲线为L；

建立相机坐标系统的测量模型；测量模型包括：在相机坐标系下，建立相机坐标与图像坐标的转换关系；曲线L与激光器点N形成的一个光平面；

将世界坐标系转换到相机坐标系，得出世界坐标系下的系统测量数学模型。

2.根据权利要求1所述的一种枪弹底火装配深度线结构光测量方法，其特征在于，所述对测量模型进行标定包括以下步骤：

在标定块1、标定块2上获取已知固定点的世界坐标(A₁,A₂,A₃,A₄,A₅,B₁,B₂,B₃,B₄,B₅)所对应的相机坐标系下的坐标(a₁,a₂,a₃,a₄,a₅,b₁,b₂,b₃,b₄,b₅)；A₁,A₂,A₃,A₄,A₅位于标定块1上，B₁,B₂,B₃,B₄,B₅位于标定块2上；其中A₁,A₂,A₃共线，A₁,A₄,A₅共线，B₁,B₂,B₃共线，B₁,B₄,B₅共线；拟合直线分别和激光线曲L形成4个交点NODE1,NODE2,NODE3,NODE4，图像坐标为(n₁,n₂,n₃,n₄,n₅)，求其对应的世界坐标(N₁,N₂,N₃,N₄,N₅)；

根据空间中四线共点，根据焦比不变性原理得到(N₁,N₂,N₃,N₄)；将世界坐标系下(N₁,N₂,N₃,N₄)转换为相机坐标系下的坐标(n₁,n₂,n₃,n₄)，并根据(n₁,n₂,n₃,n₄)求出4个激光平面方程PLANE1、PLANE2、PLANE3、PLANE4；

求各个交点(n₁,n₂,n₃,n₄)分别到(PLANE1,PLANE2,PLANE3,PLANE4)欧式距离的平方和，记作(D₁,D₂,D₃,D₄)，取其中最小值D_光＝min{D₁,D₂,D₃,D₄}；D_光所对应的激光平面方程确定为光平面方程，光平面方程参数求取公式如下：

3.根据权利要求1所述的一种枪弹底火装配深度线结构光测量方法，其特征在于，所述枪弹底面图像中像素位置与实际枪弹底火装配深度的对应关系如下：

其中，(u₀，v₀)表示图像的中心像素坐标和图像原点像素坐标之间的横向和纵向像素；(u，v)是相机坐标系下，某点在像面上的像素坐标；(x_c，y_c，z_c)是相机坐标系下，点P的相机坐标；(X_w，Y_w，Z_w)是世界坐标系下，点P的世界坐标；r₁₁-r₃₃表示世界坐标系转换到相机坐标系的旋转矩阵R中的元素，t₁-t₃表示世界坐标系转换到相机坐标系的平移矩阵T中的元素；a、b、c、d、ρ为光平面参数；f为焦距。

4.根据权利要求1所述的一种枪弹底火装配深度线结构光测量方法，其特征在于，所述相机镜头光轴与激光器输出光路夹角为10～20度。

5.根据权利要求1所述的一种枪弹底火装配深度线结构光测量方法，其特征在于，所述两个标定块在垂直于枪弹轴线的同一方向上的平面夹角为5～15度。

6.根据权利要求1所述的一种枪弹底火装配深度线结构光测量方法，其特征在于，所述两个标定块的轴心重合。

7.根据权利要求1所述的一种枪弹底火装配深度线结构光测量方法，其特征在于，所述对图像中散斑光条进行图像增强具体为根据高频增益系数对图像中散斑光条进行图像增强，具体如下：

高频增益系数通过下式得到，

其中，u_p为相机靶面的像元尺寸；p为相机轴向放大倍数；Wv为激光理想光条的横截面有像素效宽度；D_p为投影距离；k_p为线性比例系数；σ_x为高斯增益系数；x(k,l)为待增强图像中的像素点，k,l为某像素点的横坐标和纵坐标；m_x(i,j)为背景像素点，i,j为某像素点的横坐标和纵坐标；

将图像中散斑光条的前景与背景灰度差乘以高频增益系数，即对图像中散斑光条进行图像增强。

Images