CN111402330A - 一种基于平面靶标的激光线关键点提取方法 - Google Patents

Abstract

本发明涉及线结构光视觉系统的标定方法技术领域，特别涉及一种基于平面靶标的激光线关键点提取方法，其特征在于，包括以下步骤：S1，靶标图像二值化：将CCD黑白相机获得的灰度图像转化为二值图像；S2，形态学图像处理：对目标二值图像分别进行腐蚀与开运算处理，将开运算与腐蚀运算的结果做差以去除靶标图像中无用信息干扰，得到激光线关键图像信息；S3，霍夫直线变换：获得激光线二维方程；S4，提取靶标激光线上图像坐标系中的二维坐标。本发明的有益效果是：通过本发明方法提取的激光线方程，可以精确计算激光线上的图像坐标点，大大提高了系统的测量精度。

Description

一种基于平面靶标的激光线关键点提取方法

技术领域

本发明涉及线结构光视觉系统的标定方法技术领域，特别涉及一种自动提取线结构光在靶标平面的二维方程并计算其关键点图像坐标，以提高系统标定精度的方法。

背景技术

线结构光测量是一种非接触式主动光学三维检测技术，基本原理是由结构光投射器向被测物体表面投射可控制的光点、光条或光面结构，并由图像传感器(如摄像机)获得图像，通过系统几何关系，利用三角原理计算得到物体的三维坐标的过程。因其具有结构简单，测量范围广、效率高，操作简单等优点，在工业测量、逆向工程等领域起着重要作用。

线结构光平面的标定直接决定着系统三维测量的精度，是线结构光测量的基础和核心。线结构光平面标定需首先进行摄像机标定，得到CCD工业相机的内外参数，进而通过选取靶标激光线上的图像点坐标(u,v)来计算激光线的三维数据，并将多条激光线三维数据经平面拟合得到激光线平面方程以完成标定过程。图像点坐标(u,v)的选取精度直接影响着激光线三维坐标点的计算精度，进而影响光平面标定的精度，最终影响系统三维数据测量精度。

光平面标定需要调节棋盘格位置通过CCD工业相机采集得到对应位置图像。由于需要调节的棋盘格与激光器的距离、角度都有较大变化，导致采集到的激光线在棋盘格上的线段宽度往往大于一个像素。激光线上图像点(u,v)的选取大都通过手动选点的方式。人主观因素影响大，很难满足工业高精度测量要求。为了解决以上问题，需要提供一种能够自动提取结构光中心线上关键点的方法来提高线结构光三维测量精度。

发明内容

本发明为了弥补现有技术中线结构光测量精度不高的不足，提供了一种基于平面靶标的激光线关键点提取方法。

本发明是通过如下技术方案实现的：

一种基于平面靶标的激光线关键点提取方法，其特征在于，包括以下步骤：

S1，靶标图像二值化：将CCD黑白相机获得的灰度图像转化为二值图像；

S2，形态学图像处理：对目标二值图像分别进行腐蚀与开运算处理，将开运算与腐蚀运算的结果做差以去除靶标图像中无用信息干扰，得到激光线关键图像信息；

S3，霍夫直线变换：获得激光线二维方程；

S4，提取靶标激光线上图像坐标系中的二维坐标。

进一步的，为了更好的实现本发明，所述靶标图像二值化具体为，使用阈值法将灰度图像转化为二值图像，阈值取为180，灰度图像每个像素点的灰度值取值范围为0到255，二值图像的定义为图像中的像素点的取值为0和1，用0表示黑色，用1表示白色，若灰度图像的灰度值大于此阈值为白色，反之，为黑色。

进一步的，为了更好的实现本发明，设定A作为原始图像，B作为结构元素，

所述腐蚀的数学表达式为：

其中，

为腐蚀运算符。B_z为元素z对集合B的平移。结构元素B平移z后连续在A上移动z后的结果为B_z， B_z仍在A中的所有z的集合即为腐蚀结果；

膨胀是与腐蚀互为对偶操作的一种运算，膨胀的数学表达式为：

其中，

为膨胀运算符，z为整数集中笛卡尔乘积的一个元素。

为元素z对集合

的平移。结构元素B计算关于原点的映射后连续在A上移动z后的结果为

与原始图像A的交集的非空集的所有 z的集合即为膨胀的结果；

所述开运算是将目标图像腐蚀后膨胀的过程，其数学表达式为：

开运算能够平衡图像边界，去除尖刺和狭小物体等噪声干扰，可有效断开窄小连接，分离纤细点处物体。

进一步的，为了更好的实现本发明，所述霍夫直线变换是从二维空间到极坐标空间的一种映射，这种映射表现为二维空间上的一点到极坐标空间的某条曲线的对应关系，映射表达式为：ρ＝x cos θ+y sin θ 0≤θ≤π，其中，ρ为原点到直线的距离。θ为直线的法线与x轴的夹角，经霍夫变换后，激光线方程为；y＝2.0502x-435.6043。

进一步的，为了更好的实现本发明，所述S4具体为，图像坐标系中，通过靶标棋盘格上任一像素点坐标，可得到经过此点的水平线方程；联立靶标水平线与激光线方程，即可求得激光线上关键点坐标。

本发明的有益效果是：

本发明将带有激光线的靶标图像二值化处理，简化图像信息。然后利用形态学图像处理获取激光线方程的关键信息，去除无用图像信息的干扰。最后利用霍夫直线变换技术快速、精确计算靶标图像中的激光线方程。

霍夫直线变换具有对局部缺损信息不敏感，对随机噪声具有较好鲁棒性特点，可以将图像中复杂的全局检测问题转化为空间参数中局部峰值检测问题，能够有效提高计算效率，提高图像中直线拟合的成功率。形态学图像处理能够有效去除图像中的无用信息。靶标图像数据相对简单，先将靶标图像二值化然后进行形态学处理，进而采用霍夫直线变换能够有效提取靶标激光线，最后通过联立激光线与水平线方程，可得到激光线关键点坐标(u,v)。

利用本发明方法提取的激光线关键点，摒弃了传统的手动选点的方式，通过提高图像点坐标(u,v)的选取精度，能够提升系统三维数据测量精度，满足工业高精度测量要求。

附图说明

图1为本发明基于平面靶标的激光线关键点提取方法的光平面标定流程图；

图2为本发明基于平面靶标的激光线关键点提取方法的靶标激光线数据示意图；

图3为本发明基于平面靶标的激光线关键点提取方法的针孔摄像机模型示意图；

图4为本发明基于平面靶标的激光线关键点提取方法的激光线提取流程图；

图5为本发明基于平面靶标的激光线关键点提取方法的形态学运算结果图；

图6为本发明基于平面靶标的激光线关键点提取方法的ρ、θ示意图；

图7为本发明基于平面靶标的激光线关键点提取方法的霍夫直线提取效果图；

图8为本发明基于平面靶标的激光线关键点提取方法的激光线三维数据示意图；

图9为本发明基于平面靶标的激光线关键点提取方法的靶标激光线点到拟合平面距离示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1-图9为本发明的一种具体实施例，该实施例为一种基于平面靶标的激光线关键点提取方法。

如图1所示，光平面标定流程如下：

1.采集图像数据

本发明将棋盘格数据作为二维平面靶标。具体的棋盘格数量为20*20，边长为10mm正方形(棋盘格数量与尺寸不局限发明内容)。固定激光器与CCD工业相机位置，将激光器投射的激光置于靶标内，工业相机能够采集得到靶标位置图像。调整靶标至不同位置，使靶标与工业相机呈现不同距离与角度，采集相对应图像数据。其中一个位置的靶标激光线数据如图2所示。原则上须采集3幅以上图像数据,推荐采集10到20幅图像数据。本实施例采用13幅图像作为标定数据。

2.摄像机标定

图3为系统结构模型。其中，O_c为CCD工业相机光轴中心线O_cZ_c与镜头平面交点。O_cX_cY_cZ_c是以O_c为坐标系原点的摄像机坐标系。O_wX_wY_wZ_w为世界坐标系。空间点世界坐标与图像坐标的数学关系为：

公式(1)中，(u,v)为棋盘格靶面图像坐标。s为比例因子。设

K为摄像机内部参数。其中，α、β为图像u和v轴尺度因子，γ为两图像坐标轴倾斜程度参数，(u₀,v₀)为CCD工业相机主点坐标。R、t为CCD工业相机外部参数。R为旋转矩阵。表示形式为3×3的正交单位矩阵，设为[r₁ r₂ r₃]，r为 3×1向量。t为平移向量。(X_w,Y_w,Z_w)为棋盘格靶面图像坐标(u,v)对应的世界坐标系下的三维坐标。

CCD工业相机采集数据的过程中，内部参数保持不变，只有外部参数发生变化。定义靶标标定的每一个位置的棋盘格平面作为世界坐标系的X_wO_wY_w平面，则棋盘格平面上的点满足Z_w＝0。公式(1)可转化为：

设

则m和M分别为空间点图像坐标和世界坐标的齐次坐标表示形式。公式(2)简化记为：sm＝K[r₁ r₂ t]M＝HM。其中 H＝K[r₁ r₂ t]，设H＝[h₁ h₂h₃]，则公式变为[h₁ h₂ h₃]＝λK[r₁ r₂ t]。其中λ为常数因子。因为旋转矩阵R为单位正交矩阵，所以r₁、r₂为单位正交向量，即r₁ ^Tr₂＝0并且|r₁|＝|r₂|，则可得到如下表达式：

令

由上式可知，B为对称矩阵。定义一个六维向量b＝[B₁₁ B₁₂ B₂₂ B₁₃ B₂₃ B₃₃]^T。

则公式(3)可转化为：

其中，v_ij＝[h_i1h_j1,h_i1h_j2+h_i2h_j1,h_i2h_j2,h_i3h_j1+h_i1h_j3,h_i3h_j2+h_i3h_j2,h_i3h_j3]^T， i,j分别表示矩阵H的i和j列数据。因此，公式(5)可转化为关于向量b的两个齐次方程：

若得到了平面模板的n幅图像，则上式可变换为Vb＝0，其中V为2n×6矩阵，当n≥3时,方程的解为V^TV最小特征值对应的特征向量，即可得到b的值，进而得到CCD工业相机全部内参数:

由上述计算的结果可得到CCD工业相机内部参数K，通过公式(1)即可得到CCD工业相机外部参数矩阵。旋转矩阵R＝[r₁ r₂ r₃]，r₁＝λK^-1h₁， r₂＝λK^-1h₂，r₃＝r₁×r₂。平移矩阵T＝λK^-1h₃。其中

3.光平面标定

3.1标定原理

在系统标定的过程中，由于激光器与CCD工业相机的位置保持不变。采集得到的所有靶标图像的结构光条纹在同一个平面内，激光线在摄像机坐标系下的光平面方程不变，这个平面称为结构光的光平面。

设结构光平面在CCD工业相机坐标系O_cX_cY_cZ_c中的方程为： Z＝aX+bY+c。在标定光平面过程中，在棋盘格旋转、移动的每一个位置，都将棋盘格平面定义为世界坐标系的X_wO_wY_w平面，则棋盘格平面上的点满足 Z_w＝0。设标定模板在i位置时，靶标平面上激光线上任意一点在图像坐标系下的坐标为（u_i,v_i），此点在世界坐标系下对应坐标为(X_wi,Y_wi,0)^T。由公式(1) 得：

任一空间点在CCD工业相机摄像机坐标系与世界坐标系之间的转换关系为：

由摄像机标定结果中得到的摄像机内部参数矩阵K、旋转矩阵R、平移矩阵t，通过公式(8)、(9)即可得到图像坐标系中激光线段上的点(u_i,v_i)在对应的摄像机坐标系的空间点(X_ci,Y_ci,Z_ci)。将计算得到的激光线的三维坐标进行平面拟合，即可得到光平面方程。

3.2激光线关键点提取方法

线结构光平面标定的过程为，首先提取激光线的三维数据，然后将提取得到的多条激光线数据经平面拟合得到激光线平面方程。激光线在摄像机坐标系下三维坐标点的计算需要首先选取靶标上的激光线上的图像点坐标(u,v)。

系统标定采集的关键帧图像数据中，棋盘格与激光器的距离、角度都有较大变化，导致了采集到的激光线在棋盘格上的线段宽度往往大于一个像素。为了统一标准，提高系统的测量精度，采用提取结构光中心线方法。现有图像点坐标 (u,v)的选取大都是通过手动选点的方式。手动点选图像点坐标具有很多不确定性，难以满足激光线关键点的提取要求。本实施例基于图像处理技术提取激光线方程，然后精确计算激光线上的图像坐标点。

如图4所示，激光线方程的提取方法为：首先将带有激光线的靶标图像二值化处理，简化图像信息；然后利用形态学图像处理获取激光线方程的关键信息，去除无用图像信息的干扰；进而采用霍夫直线变换技术快速、精确计算靶标图像中的激光线方程，最后通过联立激光线与水平线方程求得激光线关键点坐标。

霍夫直线变换具有对局部缺损信息不敏感，对随机噪声具有较好鲁棒性特点，可以将图像中复杂的全局检测问题转化为空间参数中局部峰值检测问题，能够有效提高计算效率，提高图像中直线拟合的成功率。形态学图像处理能够有效去除图像中的无用信息。所以本实施例激光线提取的方法为：首先将靶标图像二值化然后进行形态学处理，最终通过霍夫直线变换计算激光线方程。

图像坐标系中，通过靶标棋盘格上任一像素点坐标，可得到经过此点的水平线方程；联立靶标水平线与激光线方程，即可求得激光线上的图像点坐标(u,v)。

3.2.1图像二值化

本实施例通过CCD黑白相机得到的数据图像为灰度图像。灰度图像每个像素点的灰度值取值范围为0到255。二值图像的定义为图像中的像素点的取值为0 和1。用0表示黑色，用1表示白色。本实施例采用阈值法将灰度图像转化为二值图像。即首先确定阈值，若灰度图像的灰度值大于此阈值为白色；反之，为黑色。通过实验效果分析，本实施例的阈值取为180。

3.2.2形态学图像处理

形态学图像处理主要用于从图像中提取对表达和描绘区域形状有意义的形状分量，使后续的识别工作能够抓住目标对象最为本质的形状。形态学以集合论作为理论基础，通过像素间的逻辑运算，根据提取的关键信息的需求，用具体对应形状的结构去度量和计算，去除图像中不相关的形态结构属性，而保留本质的结构属性，以达到对图像的分析和处理。

形态学的基本运算包括膨胀，腐蚀，开运算，闭运算。设定A作为原始图像， B作为结构元素。

膨胀是由结构元素形状控制，可实现图像的“加长”或“变粗”的操作。膨胀的数学表达式为：

其中，

为膨胀运算符，z为整数集中笛卡尔乘积的一个元素。

为元素z对集合

的平移。结构元素B计算关于原点的映射后连续在A上移动z后的结果为

与原始图像A的交集的非空集的所有z的集合即为膨胀的结果。

腐蚀是与膨胀互为对偶操作的一种运算，可将目标图像进行“收缩”或“细化”，腐蚀的数学表达式为：

其中，

为腐蚀运算符。B_z为元素z对集合B的平移。结构元素B平移z 后连续在A上移动z后的结果为B_z，B_z仍在A中的所有z的集合即为腐蚀结果。

图像的开、闭运算是对图像膨胀、腐蚀的集合。开运算是将目标图像腐蚀后膨胀的过程。其数学表达式为：

其中，○、

分别为开、腐蚀、膨胀运算符。开运算能够平衡图像边界，去除尖刺和狭小物体等噪声干扰，可有效断开窄小连接，分离纤细点处物体。

针对激光线点信息需求，结合形态学运算中开运算和腐蚀运算的特点，本实施例对目标图像分别进行腐蚀与开运算处理，并将目标图像开运算的运算结果与腐蚀结果做差，能够较好的去除靶标图像中无用信息，得到较多的激光线关键点信息，计算结果如图5所示。

3.2.3霍夫直线变换

霍夫直线变换是从二维空间到极坐标空间的一种映射，这种映射表现为二维空间上的一点(x,y)到极坐标空间的某条曲线的对应关系，映射表达式为：

ρ＝x cos θ+y sin θ 0≤θ≤π (13)

其中，ρ为原点到直线的距离。θ为直线的法线与x轴的夹角。ρ和θ含义如图6所示。

根据霍夫变换的基本原理，算法描述为：

(1)将参数空间量化成m×n(m,n分别为ρ和θ的等份数)个单元

(2)在参数(ρ，θ)空间中建立一个累加数组Q(m,n)，并将每个元素初始化为0

(3)将图像中的点(x,y)代入式(3)，遍历θ参数的每个值，计算出相应的ρ值

(4)根据ρ和θ的值对数组Q(m,n)进行累加

(5)对图像中的点都做完处理后，计算数组Q(m,n)的最大值，得到对应的ρ和θ，即为要求的直线。

经霍夫变换后，激光线方程为：y＝2.0502x-435.6043。直线提取效果如图 7所示。

3.2.4靶标激光线关键点提取

采集的靶标激光线图像数据中，通过棋盘格的水平线方程为设为y＝b，基于棋盘格上任意一像素点可得到通过此点的在图像坐标系下的水平激光线方程。联立激光线方程与水平线方程，可求得靶标激光线上的关键点。

4.实验结果与分析

提取靶标激光线上图像坐标系中的二维坐标(u_i,v_i)，通过公式(8)、(9)计算(u_i,v_i)对应的摄像机坐标系的空间点(X_ci,Y_ci,Z_ci)。得到的13条激光线数据如图8所示。

将得到的激光线三维数据进行平面拟合后，即可得到光平面方程。平面拟合是指将求得的离散空间点(X_ci,Y_ci,Z_ci)按照某种原则得到的最佳平面。由于最小二乘法是通过最小化误差的平方和寻找数据的最佳函数匹配，能够实现求得的数据与实际数据之间误差的平方和最小。故本发明采用最小二乘法实现光平面的拟合。得到的光平面拟合方程为：z＝0.542904*x-0.045560*y+171.432238。

为了验证拟合结果的准确性，均匀的取计算激光线段的点，计算其到光平面的距离，距离误差如图9所示。

图9中，横坐标为激光线上三维点个数，纵坐标为点到拟合平面的误差。在得到的13条靶标激光线上共取160个点，点到平面的最大误差小于7*10^-3mm，精度较高。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，本领域普通技术人员对本发明的技术方案所做的其他修改或者等同替换，只要不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种基于平面靶标的激光线关键点提取方法，其特征在于，包括以下步骤：

S1，靶标图像二值化：将CCD黑白相机获得的灰度图像转化为二值图像；

S2，形态学图像处理：对目标二值图像分别进行腐蚀与开运算处理，将开运算与腐蚀运算的结果做差以去除靶标图像中无用信息干扰，得到激光线关键图像信息；

S3，霍夫直线变换：获得激光线二维方程；

S4，提取靶标激光线上图像坐标系中的二维坐标。

2.根据权利要求1所述的基于平面靶标的激光线关键点提取方法，其特征在于：

所述靶标图像二值化具体为，使用阈值法将灰度图像转化为二值图像，阈值取为180，灰度图像每个像素点的灰度值取值范围为0到255，二值图像的定义为图像中的像素点的取值为0和1，用0表示黑色，用1表示白色，若灰度图像的灰度值大于此阈值为白色，反之，为黑色。

3.根据权利要求1所述的基于平面靶标的激光线关键点提取方法，其特征在于：

设定A作为原始图像，B作为结构元素；

所述腐蚀的数学表达式为：

其中，

为腐蚀运算符。B_z为元素z对集合B的平移。结构元素B平移z后连续在A上移动z后的结果为B_z，B_z仍在A中的所有z的集合即为腐蚀结果；

膨胀是与腐蚀互为对偶操作的一种运算，膨胀的数学表达式为：

其中，

为膨胀运算符，z为整数集中笛卡尔乘积的一个元素。

为元素z对集合

的平移。结构元素B计算关于原点的映射后连续在A上移动z后的结果为

与原始图像A的交集的非空集的所有z的集合即为膨胀的结果；

所述开运算是将目标图像腐蚀后膨胀的过程，其数学表达式为：

开运算能够平衡图像边界，去除尖刺和狭小物体等噪声干扰，可有效断开窄小连接，分离纤细点处物体。

4.根据权利要求1所述的基于平面靶标的激光线关键点提取方法，其特征在于：

所述霍夫直线变换是从二维空间到极坐标空间的一种映射，这种映射表现为二维空间上的一点到极坐标空间的某条曲线的对应关系，映射表达式为：

ρ＝xcosθ+ysinθ 0≤θ≤π，其中，ρ为原点到直线的距离。θ为直线的法线与x轴的夹角，经霍夫变换后，激光线方程为：y＝2.0502x-435.6043。

5.根据权利要求1所述的基于平面靶标的激光线关键点提取方法，其特征在于：

所述S4具体为，图像坐标系中，通过靶标棋盘格上任一像素点坐标，可得到经过此点的水平线方程；联立靶标水平线与激光线方程，即可求得激光线上关键点坐标。

Images