CN112669379B - 一种基于辅助标记点的图像特征快速提取方法 - Google Patents

Abstract

本发明属于光学测量技术领域，具体涉及一种基于辅助标记点的图像特征快速提取方法，其包括获取带有辅助标记的被测物体图像、建立激光光条截面灰度分布模型、特征点快速定位、特征点高精度提取等步骤。本发明提供的基于辅助标记点的图像特征快速提取方法解决复杂物体表面有效特征难提取，精度效率难兼顾，实时性较差等特征信息有效提取问题。本方法充分利用各相邻网格交点间连接关系，通过周围相邻交点信息对待提取网格交点拟合过程进行约束，从而实现数据重复使用，减少数据量提高提取精度和鲁棒性。该方法兼顾提取精度和提取效率，实时性较好。

Description

一种基于辅助标记点的图像特征快速提取方法

技术领域

本发明属于光学测量技术领域，具体涉及一种基于辅助标记点的图像特征快速提取方法。

背景技术

在三维立体视觉中，特征信息的有效提取是三维重构的前提。但是，物体表面的自然特征往往表现得不够明显，使得有效特征信息的提取非常困难，比如飞机蒙皮表面光滑，自然特征较少且不明显导致特征提取存在较大困难，这种无标记的测量方式就受到很大的限制，要提高测量的精确性和可靠性，必须把物体表面的特征凸显出来，因此需要对物体表面进行标记。

传统的标记方法是通过向表面光滑无特征的物体发射具有各种特定样式的点、线、面等图案的辅助激光，依据投射到物体表面激光的立体信息辅助提取物体的深度信息。常用的方法包括点激光法、线激光法、网格激光法等。

点激光法是将单个或点云激光打在物体表面，由摄像机摄取其反射光点。来获得物体表面特征信息进而提取物体表面特征，例如中国发明专利“一种双目散斑激光三维重建方法及系统”(201911379891.5)提出了一种双目散斑激光三维重建方法及系统，该系统采用投影设备投射一幅随机生成的散斑图案，利用双目摄像头采集被物体表面调制后的散斑图案，通过逐点匹配，得到高密度的三维深度信息。

线激光法通过投射源投射出平面狭缝光，每次投射一个或多个激光条纹于物体表面，由摄像机拍摄相应图像，每幅图像可得到一个截面的深度，通过改变投射狭缝光的角度以及拍摄角度，获得更多截面的深度，进而获得物体的深度。例如中国发明专利“一种基于双目视觉激光的复杂表面形状检测方法”(202010238668.5)提出了一种基于双目视觉激光的复杂表面形状检测方法，该方法用于检测复杂工件表面的台阶、凹槽等对象的形状特征，通过向零部件表面投射线激光，利用双目视觉中的任一成像单元在激光的辅助下可实现三维重建。

使用网格激光向物体表面附加网格便也是其中一种常用方法。该方法首先通过提取激光网格直线，求出激光网格直线的交点作为显著点。然后通过对显著点的立体匹配等处理，得到物体的三维信息。例如“一种基于多台激光辅助靶标的特征点提取方法”(201510169317.2)提出一种基于多台激光辅助靶标的特征点提取方法，该方法将采用多台激光器构成激光器阵列投射激光网格，将网格各个交点作为特征点，通过分别在每个特征点所在水平竖直光条上提取10个光条横截面中心点坐标组成激光光条中心点集，拟合竖直、水平方向的直线,以两激光光条拟合直线的交点作为特征点的精确坐标。该方法具有适应性好，提取精度高的优点，但每个激光点的提取都需要提取20个激光光条截面中心点来拟合曲线，计算量比较大，提取效率低，难以实现实时性，同时对于投射在曲面上的曲线提取难度较大。

上述方法中点激光技术对点状光斑逐个进行处理，算法简单，计算复杂度小，但是如果投射在物体表面的激光特征点部分遮挡则会导致特征点信息不完整难以获得特征点精确位置降低测量精度，且点与点之间缺少连接性，一旦中间部分点被遮挡难以通过其余点恢复遮挡部分信息。线激光较为简单，精度也比较高，在工业中广泛用于物体体积测量、三维成像等领域。但是如果被测物体表面形貌复杂，曲率变化较大，就有可能造成相机视野范围丢失了线激光光条信息，导致最终三维测量数据不完整。网格激光法中网格是由顶点，边，面来描述3D物体的，具有轻量、形状细节丰富的特点，重要是相邻点之间有连接关系即使缺失部分信息也可根据周围剩余网格信息进行还原。但由于空间物存在一个或多个复杂物体表面，将网格激光线投射在空间物体表面如曲面、折面、平面上会产生不同的曲线、折线、直线等；单纯提取激光网格直线不能满足复杂环境特征提取要求导致投射在曲面、折面甚至部分平面上的特征信息难以获取，极大影响测量精度和可靠性。

由于特征提取方法存在以上局限性，导致待测复杂环境物体表面特征提取精度和效率难以兼顾，实时性差。因此寻找一种新型针对环境中复杂表面特征提取方法对于物体表面特征检测问题，提高三维立体视觉中三维重构精度和效率具有重要意义。

发明内容

本发明主要解决复杂物体表面有效特征难提取，精度效率难兼顾，实时性较差等特征信息有效提取问题，提供一种基于辅助标记点的图像特征快速提取方法。本发明的目的在于提供一种新型复杂物体表面有效特征准确快速提取方法，其能实时快速完成多个复杂物体表面有效特征快速高精度提取。具体是指利用激光网格形状细节丰富，交点间连接关系强，可以准确表征待测物体表面轮廓特征等优点，将激光网格投射在待测物体表面，对被投射物体上网格信息进行图像采集，采用“近点回归，远点修正”的拟合策略以待提取网格交点临近插值点为核心点，周围网格交点临近插值点为修正点，对核心点赋予较大权重，基于加权最小二乘法构建损失函数评价模型，分别拟合待提取网格交点处横纵光条曲线，进而求取两条曲线交点坐标，完成复杂物体表面特征提取。本方法充分利用各相邻网格交点间连接关系，通过周围相邻交点信息对待提取网格交点拟合过程进行约束，从而实现数据重复使用，减少数据量提高提取精度和鲁棒性。该方法兼顾提取精度和提取效率，实时性较好。

本发明采取的技术方案是一种基于辅助标记点的图像特征快速提取方法其特征是该方法采用激光网格法作为辅助特征，将激光网格投射至待测物体表面，把网格各个交点作为特征点，采用先快速定位，后高精确提取两步法，先通过二值化，腐蚀等操作快速定位特征点初始位置，以该位置为中心r_ROI为半径确定感兴趣区域，而后根据激光条灰度分布构建激光光条横截面灰度分布模型，将每个特征点沿横纵光条距离b处的光条截面中心点作为插值点，采用“近点回归，远点修正的拟合策略”选取相应插值点组成点集作为拟合曲线实际值，对核心点设置较大权重建立损失函数评价模型，在循环提取交点过程中采用拟合时插值点重复利用；上一点拟合参数值作为下一点初值等方法，由获取的点集拟合网格交点处横纵两条曲线，最终求取交点坐标作为特征点的精确位置。提取方法的具体步骤如下：

步骤1：获取带有辅助标记的被测物体图像

激光网格投射器将符合一阶高斯分布的激光网格投射至空间中被测场景物体表面，在空间中被测场景物体表面形成网格状辅助标记，利用双目视觉系统进行拍摄，获得带有辅助标记点的灰度特征图像。

步骤2：建立激光光条截面灰度分布模型

针对步骤1)中投射的网格激光，由于激光网格光条截面灰度分布符合一阶高斯分布，故光条截面中心点提取采用一阶高斯分布拟合方法进行提取。

高斯拟合方程为：

其中x_HD＝[x₁,x₂...x_C]_HD＝12...C为光条截面各像素坐标集合且x₁和x_c分别为光条截面两边界坐标，y_HD为x_HD对应的灰度值，A₀为幅值，x₀为中心点，σ为方差。方程两边取对数为：

lny_HD＝lnA₀-(x_HD-x₀)²/(2σ²) (2)

整理得：

根据激光网格光条截面方向的灰度分布，将光条一阶高斯拟合后中心点定义为光条截面的中心点进行提取。

步骤3：特征点快速定位

将步骤1)得到的带有辅助标记点的灰度特征图像采用高斯滤波加中值滤波对图像进行预处理，对预处理后图像进行二值化处理和腐蚀操作，以去除网格交点间的联通，分离网格交点，获取各个网格交点孤立的联通区域，将联通区域的灰度中心作为特征点初始位置K_ij，即第i行光条P_i与第j列光条Q_j交点初始位置；其中，P_i＝[P₁,P₂...P_n]_i＝1,2...n表示组成激光网格的横向光条，i为横向光条行数i＝1,2...n；Q_j＝[Q₁,Q₂...Q_m]_j＝1,2...m表示组成激光网格的纵向光条，j为纵向光条列数j＝1,2...m。

得到特征点初始位置K_ij后，以K_ij为中心，设置半径为r_ROI的圆形区域作为感兴趣区域。

步骤4：特征点高精度提取

在步骤3)获得的特征点初始位置及感兴趣区域基础上，通过近点插值、取点拟合、建立模型、求取交点，实现特征点高精度提取；

4.1近点插值

纵向方向上：在步骤3)得到感兴趣区域中，获取纵向上的插值点以特征点初始位置K_ij为中心，在纵向光条上求取距离特征点初始位置K_ij上、下b像素位置处，即(U_ij,V_ij-b)和(U_ij,V_ij+b)处的纵向光条横截面中心点作为插值点，其中；U_ij和V_ij为特征点初始位置K_ij在图像坐标系中U轴和V轴的像素坐标。对于K_ij上方(U_ij,V_ij-b)处，将此处纵向光条横截面的U轴像素坐标集合U_HD＝[U₁,U₂...U_C]_HD＝1,2...C(其中，U₁和U_C分别为纵向光条横截面的左、右边界U轴坐标)，及U轴像素坐标集合U_HD对应的灰度值y_UHD带入步骤2)建立的激光光条截面灰度分布模型中，得下式(4)：

利用最小二乘法进行求解得到(U_ij,V_ij-b)处的纵向光条横截面中心点U轴坐标U_iju，通过读取图像获得K_ij上方(U_ij,V_ij-b)处纵向光条截面中心点U轴坐标U_iju在图像上对应的V轴坐标V_iju，则(U_ij,V_ij-b)处纵向光条截面中心点为K_iju其坐标为(U_iju,V_iju)；K_ij下方(U_ij,V_ij+b)处纵向光条横截面中心点为K_ijd其坐标为(U_ijd,V_ijd)。

在横向方向上，获得距离初始位置坐标K_ij左、右b像素位置，即(U_ij-b,V_ij)，(U_ij+b,V_ij)处插值点K_ijl和K_ijr，K_ijl和K_ijr的坐标分别为(U_ijl,V_ijl)和(U_ijr,V_ijr)。

对各特征点初始位置进行近点插值后得到插值点集。

4.2取点拟合

经步骤4.1)插值后在纵向光条横截面中心点集内，对于任意特征点初始位置K_ij的感兴趣区域内，在纵向上对特征点初始位置K_ij纵向光条进行拟合时，选取K_i-1ju、K_i-1jd、K_iju、K_ijd、K_i+1ju、K_i+1jd6点组成纵向插值点集T_u：

进行纵向曲线拟合。

在横向光条截面中心点集内，特征点初始位置K_ij横向方向上选取K_ij-1l，K_ij-1r，K_ijl，K_ijr，K_ij+1l，K_ij+1r6点组成横向插值点集T_v：

进行横向曲线拟合。

4.3构建损失函数评价模型

首先构建1到5次拟合多项式：

取基函数为φ₀(x)＝1，φ₁(x)＝x，φ₂(x)＝x²，φ₃(x)＝x³，φ₄(x)＝x⁴，φ₅(x)＝x⁵，构建多项式：

f(x)＝a₁+a₂x+a₃x²+a₄x³+a₅x⁴+a₆x⁵ (5)

其中，x为自变量；y＝f(x)为因变量；a_xs＝[a₁...a₆]_xs＝1,2...6为6个系数。

根据4.2)在每个特征点初始位置K_ij纵向上分别选取6点基础上获得纵向插值点集T_u，将其带入公式(5)中：

其中，为K_ij处纵向插值点集T_u内各点U轴坐标集合；/>为多项式求得各点V轴观测值；a^u _xs＝[a^u ₁...a^u ₆]_xs＝1,2...6为纵向拟合多项式的6个系数。

建立纵向损失函数L(a^u _xs)：

其中，W_qz＝[w_d,w_x]为权值，且w_x＝2，w_d＝4；a^u _xs＝[a^u ₁...a^u ₆]_xs＝1,2...6为纵向拟合多项式的6个系数。为多项式求得各点V轴观测值；/>为K_ij处纵向插值点集T_u内各点U轴坐标集合/>为K_ij处纵向插值点集T_u内各点V轴坐标集合；

根据4.2)在每个特征点初始位置K_ij横向上分别选取6点基础上获得横向插值点集T_v，将其带入公式(5)中：

其中，为K_ij处横向插值点集T_v内各点V轴坐标集合；/>为多项式求得各点U轴观测值；a^v _xs＝[a^v ₁...a^v ₆]_xs＝1,2...6为横向拟合多项式的6个系数。

建立横向损失函数L(a^v _xs)：

其中，W_qz＝[w_d,w_x]为权值，且w_x＝2，w_d＝4；a^v _xs＝[a^v ₁...a^v ₆]_xs＝1,2...6为横向拟合多项式的6个系数；为多项式求得各点U轴观测值；/>为K_ij处横向插值点集T_v内各点V轴坐标集合/>为K_ij处横向插值点集T_v内各点U轴坐标集合；

4.4获取拟合交点

通过获取特征点初始位置K_ij纵向上点插值点数据集T_u构建的多项式及建立的纵向损失函数L(a^u _xs)，利用最小二乘法计算纵向损失函数L(a^u _xs)最小时纵向曲线拟合多项式系数a^u _xs＝[a^u ₁...a^u ₆]_xs＝1,2...6的值，求出纵向拟合多项式：

f(x)＝a^u ₁+a^u ₂x+a^u ₃x²+a^u ₄x³+a^u ₅x⁴+a^u ₆x⁵ (10)

同理，获得横向拟合多项式：

f(x)＝a^v ₁+a^v ₂x+a^v ₃x²+a^v ₄x³+a^v ₅x⁴+a^v ₆x⁵ (11)

针对每个特征点K_ij分别利用纵、横方向的拟合曲线联立：

求出横纵两条拟合曲线的交点坐标K^z _ij(U^z _ij,V^z _ij)，将其作为特征点的精确位置进行提取。

在一个具体的实施方案中，对于投射在平面或曲面上产生直线或曲线先采用直线拟合，即多项式次数为1时，计算直线拟合最小误差函数，若最小值仍不符合要求，说明此时拟合的为投射在曲面上的曲线，便采用多项式拟合网格交点处横纵方向两条曲线。对于空间物体表面上多个特征点拟合时，由于物体表面上特征点的连续性可将前一点拟合参数作为下一点拟合初值减少计算量提高多个特征点提取效率。

本发明有益效果是：

采用更好描述物体表面形状的网格激光辅助标记法，将网格交点作为物体表面特征点进行快速高精度提取。在提取方法中采用先快速定位后精确提取策略，快速锁定特征点大大减小计算量提高提取速度；在特征点精确提取过程中采用“近点回归，远点修正”策略即保证特征点的拟合精度又通过相邻插值点约束避免拟合偏差同时对已有插值点多次利用减少计算量提高鲁棒性，在拟合过程中通过合理设置权重突出重点提高局部拟合精度；并将上一点拟合参数作为下一点拟合初值充分利用特征点之间的渐进性进一步减少计算量提高提取速度；本发明兼顾特征提取效率和精度，对多个复杂物体表面实时性特征提取具有重要意义。

附图说明

图1是本发明所涉及的带有辅助标记点的灰度特征图像。其中：1-1为平面及折面被测物体，1-2为曲面被测物体，1-3被投射在物体表面的网格辅助标记。

图2为本发明所涉及的激光网格纵向光条横截面灰度分布图。其中：U₁和U_C分别为纵向光条横截面左右边界U轴坐标。

图3是本发明所涉及的感兴趣区域内特征点初始位置提取图。其中：K_ij表示特征点初始位置，r_ROI为以K_ij为圆心的感兴趣区域半径；ROI为初始位置确定的感兴趣区域；P_i＝[P₁,P₂...P_n]_i＝1,2...n表示组成激光网格的横向光条；Q_j＝[Q₁,Q₂...Q_m]_j＝1,2...m表示组成激光网格的纵向光条。

图4是本发明所涉及的插值点示意图。其中：K_ij(U_ij,V_ij)为特征点初始位置，b为特征点初始位置到插值点距离，(U_ij,V_ij-b)和(U_ij,V_ij+b)为在纵向光条上距离特征点初始位置b像素距离处，U_iju为激光光条截面灰度分布模型中得到的(U_ij,V_ij-b)处纵向光条横截面中心点U轴坐标，K_iju(U_iju，V_iju)和K_ijd(U_ijd，V_ijd)为纵向光条上插值点坐标，(U⁰ _ij,V⁰ _ij-b)和(U⁰ _ij,V⁰ _ij+b)为横向光条上距离特征点初始位置b像素距离处，K_ijl(U_ijl，V_ijl)和K_ijr(U_ijr，V_ijr)为横向光条上插值点坐标。

图5是本发明所涉及的经插值后的示意图，其中：K_ij为任意一特征点初始位置，K_iju和K_ijd为纵向插值点，K_ijl和K_ijr为横向插值点；P_i＝[P₁,P₂...P_n]_i＝1,2...n表示组成激光网格的横向光条；Q_j＝[Q₁,Q₂...Q_m]_j＝1,2...m表示组成激光网格的纵向光条。

图6是本发明所涉及的特征点取两点拟合产生偏差时图，其中：K_ij为特征点初始位置，K_i-1ju，K_i-1jd，K_iju，K_ijd，K_i+1ju，K_i+1jd为纵向插值点。

图7是本发明所涉及的特征点纵向拟合曲线图，其中：K_ij为特征点初始位置，K_i-1ju，K_i-1jd，K_iju，K_ijd，K_i+1ju，K_i+1jd为纵向插值点。

图8是本发明所涉及的特征点选取拟合点示意图，其中：K_i-1j，K_iju，K_i+1j，K_i+2j，K_ij-2，K_ij-1，K_ij+1，K_ij+2等为特征点初始位置，K_i-1ju，K_i-1jd，K_iju，K_ijd，K_i+1ju，K_i+1jd，K_i+2ju，K_i+2jd为纵向插值点，K_ij-2l，K_ij-2r，K_ij-1l，K_ij-1r，K_ijl，K_ijr，K_ij+1l，K_ij+1r，K_ij+2l和K_ij+2r为横向插值点；P_i-1，P_i，P_i+1，P_i+2为组成激光网格的横向光条；Q_j-2，Q_j-1，Q_j，Q_j+1，Q_j+2为组成激光网格的纵向光条。

图9是本发明所涉及的横纵向拟合曲线示意图，其中：其中：K_i-1j，K_iju，K_i+1j，K_ij-1，K_ij+1等为特征点初始位置，K_i-1ju，K_i-1jd，K_iju，K_ijd，K_i+1ju，K_i+1jd为纵向插值点，K_ij-1l，K_ij-1r，K_ijl，K_ijr，K_ij+1l，K_ij+1r为横向插值点。

图10是本发明所涉及的基于辅助标记点的图像特征快速提取方法流程图。

图11是本发明所涉及的基于辅助标记点的图像特征快速提取系统，其中：11-1为平面及折面被测物体，11-2为曲面被测物体，11-3被投射在物体表面的网格辅助标记，11-4为激光网格投射器，11-5为摄像机，11-6为工作站显示器，11-7为数据处理中心。

具体实施方式

以下结合附图和技术方案，进一步说明本发明的具体实施方式。

应当了解，所附附图并非按比例地绘制，而仅是为了说明本发明的基本原理的各种特征的适当简化的画法。本文所公开的本发明的具体设计特征包括例如具体尺寸、方向、位置和外形将部分地由具体所要应用和使用的环境来确定。

在所附多个附图中，同样的或等同的部件(元素)以相同的附图标记标引。

本实施例中，基于网格激光的图像特征快速提取方法是一种采用激光网格辅助点标记法和曲线拟合法对复杂物体表面特征提取新方法，其利用空间物体表面特征点在图像上信息不变性，利用激光网格相邻点间具有曲线，直线，折线等连接关系，分别对横向纵向网格线进行拟合，最终求取拟合线交点，对特征点进行提取，

首先，结合待测量物体表面几何形状及表面反射特性投射符合一阶高斯分布的网状激光于被测物体表面构造基于视觉辅助点测量系统；结合激光光条截面灰度分布特性建立激光光条截面灰度分布模型，实现光条截面中心点获取；其次，基于二值化、腐蚀等方法快速定位特征点初始位置确定感兴趣区域，在距离每个特征点初始位置上下左右b个像素位置上选取激光条纵横截面中心点作为插值点组成截面中心点集，采用“近点回归，远点修正”策略选取特征点所在位置横纵向插值点组成拟合点集，根据拟合过程中插值点重要性基于加权最小二乘法，建立损失函数评价模型，合理设置权重提高局部拟合精度。最后，拟合横纵两条曲线，求取两条曲线交点作为特征点高精度位置实现特征点快速高精度提取。该方法无需大量计算，兼顾提取效率和精度，方法简单方便。

第一步网格激光设计

激光网格投射器将符合一阶高斯分布的激光网格投射至空间中被测场景物体表面，在空间中被测场景物体表面形成网格状辅助标记，利用双目视觉系统进行拍摄，获得带有辅助标记点的灰度特征图像。如附图1所示。

第二步建立激光光条截面灰度分布模型

针对第一步中投射的网格激光，由于激光网格光条截面灰度分布符合一阶高斯分布如图2所示，所以光条截面中心点提取采用一阶高斯分布拟合方法进行提取。

高斯拟合方程为：

其中x_HD＝[x₁,x₂...x_C]_HD＝12...C为光条截面各像素坐标集合且x₁和x_c分别为光条截面两边界坐标，y_HD为x_HD对应的灰度值，A₀为幅值，x₀为中心点，σ为方差。方程两边取对数为：

lny_HD＝lnA₀-(x_HD-x₀)²/(2σ²) (2)

整理得：

根据激光网格光条截面方向的灰度分布,将光条一阶高斯拟合后中心点定义为光条的中心点进行提取。

第三步特征点快速定位

将第一步得到的带有辅助标记点的特征图像采用高斯滤波加中值滤波对图像进行预处理，预处理后的图像不仅去除图像脉冲噪声，而且在一定程度上保留有用的细节信息，为了快速定位特征点位置使用腐蚀方法，先对图像进行二值化处理和腐蚀操作，以去除网格交点间的联通，分离网格交点，获取各个网格交点孤立的联通区域，将联通区域的灰度中心作为特征点初始位置K_ij，即第i行光条P_i与第j列光条Q_j交点初始位置；其中，P_i＝[P₁,P₂...P_n]_i＝1,2...n表示组成激光网格的横向光条，i为横向光条行数i＝1,2...n；Q_j＝[Q₁,Q₂...Q_m]_j＝1,2...m表示组成激光网格的纵向光条，j为纵向光条列数j＝1,2...m。

得到特征点初始位置K_ij后，以K_ij为中心，设置半径为r_ROI的圆形区域作为感兴趣区域，如图3所示。

在带有激光网格辅助标记的特征图像中快速获取网格交点即特征点的粗略位置,并鉴别出感兴趣区域能够有效减小搜索区域，减少计算量提高特征点提取速度和实时性。

第四步特征点高精度提取

在第三步获取特征点初始位置基础上，分四步：近点插值；取点拟合；建立模型；求取交点；从而采用改进局部拟合法将特征点提取精度提高到亚像素精度，同时通过插值数据点重复利用；合理设置拟合模型权重；将上一点拟合参数作为下一点拟合初值等方法在保证精度同时大大提高提取效率减少计算量，特征点高精度提取方法具体详细步骤如下

由于特征点精确提取方法采用处理网格纵向光条获得纵向点集，处理网格横向光条获得横向点集，最终拟合激光网格横纵方向光条求取交点坐标方法，横纵方向处理方法相同，为方便理解，以下均从纵向方向说明为主。

4.1近点插值

在第三步得到感兴趣区域中，为了在特征点初始位置K_ij所在纵光条上进行插值以拟合K_ij处纵向光条，将距离特征点初始位置K_ij坐标b像素位置的光条截面中心点作为插值点，为后续拟合曲线提供参数。

其中，距离b的取值应尽量接近网格交点位置以最大程度提高特征点精确位置求取精度，同时避免离交点过近造成横纵光条交织部分对光条截面灰度分布影响。

纵向上：插值点选取(如图4所示)以特征点初始位置K_ij为中心，在纵向光条上求取距离初始位置坐标K_ij上下b像素位置即(U_ij,V_ij-b)，(U_ij,V_ij+b)处的纵向光条横截面中心点作为插值点，其中，U_ij和V_ij为初始位置K_ij在图像坐标系中U轴和V轴的像素坐标。首先对于K_ij上方(U_ij,V_ij-b)处，将此处纵向光条横截面U轴像素坐标集合U_HD＝[U₁,U₂...U_C]_HD＝1,2...C,(其中，U₁和U_C分别为纵向光条横截面左右边界U轴坐标)，及坐标U_HD对应的灰度值y_UHD带入第二步建立的激光光条截面灰度分布模型中：

利用最小二乘法进行求解得到(U_ij,V_ij-b)处的纵向光条横截面中心点U轴坐标U_iju，通过读取图像获得K_ij上方(U_ij,V_ij-b)处纵向光条截面中心点U轴坐标U_iju在图像上对应的V轴坐标V_iju，则(U_ij,V_ij-b)处纵向光条截面中心点为K_iju其坐标为(U_iju,V_iju)。

同样，K_ij下方(U_ij,V_ij+b)处纵向光条横截面中心点为K_ijd其坐标为(U_ijd,V_ijd)。

同理，在横向方向上，获得距离初始位置坐标K_ij左、右b像素位置，即(U_ij-b,V_ij)，(U_ij+b,V_ij)处插值点K_ijl和K_ijr其坐标分别为(U_ijl,V_ijl)和(U_ijr,V_ijr)。

经插值后得到插值点集(如图5所示)。

4.2取点拟合

经步骤4.1)插值后在截面中心点集内，对于每个特征点初始位置感兴趣区域内(如图6所示)，在纵向上对特征点初始位置K_ij拟合时可选取附近2点K_iju，K_ijd，作为参数拟合纵向直线但两点拟合一旦产生误差将导致拟合直线偏斜故采用近点回归加远点修正策略在特征点纵方向上最终选取6点(如图7所示)对特征点初始位置K_ij纵向方向光条拟合选取K_i-1ju，K_i-1jd，K_iju，K_ijd，K_i+1ju，K_i+1jd6点组成纵向插值点集T_u：

进行纵向曲线拟合，其中离特征点初始位置K_ij较近两点K_iju，K_ijd，更能表征特征点精确位置信息主要用来高精度拟合，其余4点K_i-1ju，K_i-1jd，K_i+1ju，K_i+1jd在拟合过程中修正纵向拟合曲线偏差。同样对K_i+1j点纵向上选取K_iju，K_ijd，K_i+1ju，K_i+1jd，K_i+2ju，K_i+2jd6点拟合K_i+1j处纵向光条。

同理特征点初始位置K_ij横向方向上选取K_ij-1l、K_ij-1r、K_ijl、K_ijr、K_ij+1l、K_ij+1r6点组成横向插值点集T_v：

进行横向曲线拟合(如图9所示)。

采用“近点回归，远点修正”策略即保证特征点的拟合精度又通过相邻点约束避免拟合偏差；同时在每个特征点拟合过程中充分利用已有插值点，使得插值点在拟合不同特征点时均被重复使用多次，插值数据点的重复使用提高了速度和鲁棒性减少计算量提高提取效率。

4.3构建损失函数评价模型

纵向上：根据步骤4.2)在每个特征点初始位置K_ij纵向上分别选取6点基础上获得纵向插值点集T_u和横向插值点集T_v基础上，由于实际应用中投射在物体表面激光网格线随物体表面形状和成像视角在图像中产生不同曲线，经对比研究多项式拟合更能符合实际情况下图像中不同物体表面辅助网格线，故选取多项式拟合函数进行拟合。

对于多项式拟合函数次数选取，拟合次数选取过低则导致拟合精度不够，过高则导致过拟合现象，故多方考虑确定拟合次数为1到5次，取基函数为φ₀(x)＝1，φ₁(x)＝x，φ₂(x)＝x²，φ₃(x)＝x³，φ₄(x)＝x⁴，φ₅(x)＝x⁵，构建多项式：

f(x)＝a₁+a₂x+a₃x²+a₄x³+a₅x⁴+a₆x⁵ (5)

其中，x为自变量；y＝f(x)为因变量；a_xs＝[a₁...a₆]_xs＝1,2...6为6个系数。

根据4.2)在每个特征点初始位置K_ij纵向上分别选取6点基础上获得纵向插值点集T_u，将其带入公式(5)中：

其中，为K_ij处纵向插值点集T_u内各点U轴坐标集合；/>为多项式求得各点V轴观测值；a^u _xs＝[a^u ₁...a^u ₆]_xs＝1,2...6为纵向拟合多项式的6个系数。

如图8在纵向上离特征点初始位置K_ij较近两点K_iju，K_ijd，赋予较大权重W_d以提高局部拟合精度，其余点赋予较小权重W_X，建立纵向损失函数L(a^u _xs)：

其中，W_qz＝[w_d,w_x]为权值，且w_x＝2，w_d＝4；a^u _xs＝[a^u ₁...a^u ₆]_xs＝1,2...6为6个系数；为多项式求得各点V轴观测值；/>为K_ij处纵向插值点集T_u内各点U轴坐标集合为K_ij处纵向插值点集T_u内各点V轴坐标集合；

同理，横向上构建1到5次拟合多项式为：

其中，为K_ij处横向插值点集T_v内各点V轴坐标集合；/>为多项式求得各点U轴观测值；a^v _xs＝[a^v ₁...a^v ₆]_xs＝1,2...6为横向拟合多项式的6个系数。

建立横向损失函数L(a^v _xs)：

其中，W_qz＝[w_d,w_x]为权值，且w_x＝2，w_d＝4；a^v _xs＝[a^v ₁...a^v ₆]_xs＝1,2...6为横向拟合多项式的6个系数；为多项式求得各点U轴观测值；/>为K_ij处横向插值点集T_v内各点的V轴坐标集合/>为K_ij处横向插值点集T_v内各点的U轴坐标集合。

4.4获取拟合交点

在步骤4.3)基础上，对特征点初始位置K_ij的高精度提取，通过获取其纵向上点插值点数据集T_u构建的多项式及建立的纵向损失函数L(a^u _xs)，利用最小二乘法计算纵向损失函数L(a^u _xs)最小时纵向曲线拟合多项式系数a^u _xs＝[a^u ₁...a^u ₆]_xs＝1,2...6的值，求出纵向拟合多项式：

f(x)＝a^u ₁+a^u ₂x+a^u ₃x²+a^u ₄x³+a^u ₅x⁴+a^u ₆x⁵ (10)

同理，获得横向拟合多项式：

f(x)＝a^v ₁+a^v ₂x+a^v ₃x²+a^v ₄x³+a^v ₅x⁴+a^v ₆x⁵ (11)

针对每个特征点K_ij分别利用纵、横方向的拟合曲线联立：

求出横纵两条拟合曲线的交点坐标K^z _ij(U^z _ij,V^z _ij)，如图9所示，将其作为特征点的精确位置进行提取。

对于空间物体表面上多个特征点拟合时，由于物体表面上特征点的连续性可将前一点拟合参数作为下一点拟合初值减少计算量提高多个特征点提取效率。

以上示例性实施方式所呈现的描述仅用以说明本发明的技术方案，并不想要成为毫无遗漏的，也不想要把本发明限制为所描述的精确形式。显然，本领域的普通技术人员根据上述教导做出很多改变和变化都是可能的。选择示例性实施方式并进行描述是为了解释本发明的特定原理及其实际应用，从而使得本领域的其它技术人员便于理解、实现并利用本发明的各种示例性实施方式及其各种选择形式和修改形式。本发明的保护范围意在由所附权利要求书及其等效形式所限定。

Claims (1)

1.一种基于辅助标记点的图像特征快速提取方法，其特征在于，所述的方法包括以下步骤：

步骤1：获取带有辅助标记的被测物体图像

激光网格投射器将符合一阶高斯分布的激光网格投射至空间中被测场景物体表面，在空间中被测场景物体表面形成网格状辅助标记，利用双目视觉系统进行拍摄，获得带有辅助标记点的灰度特征图像；

步骤2：建立激光光条截面灰度分布模型

针对步骤1)中投射的网格激光，由于激光网格光条截面灰度分布符合一阶高斯分布，故光条截面中心点提取采用一阶高斯分布拟合方法进行提取；

高斯拟合方程为：

其中x_HD＝[x₁,x₂...x_C]_HD＝12...C为光条截面各像素坐标集合且x₁和x_c分别为光条截面两边界坐标，y_HD为x_HD对应的灰度值，A₀为幅值，x₀为中心点，σ为方差；

方程两边取对数为：

lny_HD＝lnA₀-(x_HD-x₀)²/(2σ²) (2)

整理得：

根据激光网格光条截面方向的灰度分布，将光条一阶高斯拟合后中心点定义为光条截面的中心点进行提取；

步骤3：特征点快速定位

将步骤1)得到的带有辅助标记点的灰度特征图像采用高斯滤波加中值滤波对图像进行预处理，对预处理后图像进行二值化处理和腐蚀操作，以去除网格交点间的联通，分离网格交点，获取各个网格交点孤立的联通区域，将联通区域的灰度中心作为特征点初始位置K_ij，即第i行光条P_i与第j列光条Q_j交点初始位置；其中，P_i＝[P₁,P₂...P_n]_i＝1,2...n表示组成激光网格的横向光条，i为横向光条行数i＝1,2...n；Q_j＝[Q₁,Q₂...Q_m]_j＝1,2...m表示组成激光网格的纵向光条，j为纵向光条列数j＝1,2...m；

得到特征点初始位置K_ij后，以K_ij为中心，设置半径为r_ROI的圆形区域作为感兴趣区域；

步骤4：特征点高精度提取

在步骤3)获得的特征点初始位置及感兴趣区域基础上，通过近点插值、取点拟合、建立模型、求取交点，实现特征点高精度提取；

4.1近点插值

纵向方向上：在步骤3)得到感兴趣区域中，获取纵向上的插值点以特征点初始位置K_ij为中心，在纵向光条上求取距离特征点初始位置K_ij上、下b像素位置处，即(U_ij,V_ij-b)和(U_ij,V_ij+b)处的纵向光条横截面中心点作为插值点，其中；U_ij和V_ij为特征点初始位置K_ij在图像坐标系中U轴和V轴的像素坐标；

对于K_ij上方(U_ij,V_ij-b)处，将此处纵向光条横截面的U轴像素坐标集合U_HD＝[U₁,U₂...U_C]_HD＝1,2...C以及U轴像素坐标集合U_HD对应的灰度值y_UHD带入步骤2)建立的激光光条截面灰度分布模型中，其中，U₁和U_C分别为纵向光条横截面的左、右边界U轴坐标，得下式(4)：

利用最小二乘法进行求解得到(U_ij,V_ij-b)处的纵向光条横截面中心点U轴坐标U_iju，通过读取图像获得K_ij上方(U_ij,V_ij-b)处纵向光条截面中心点U轴坐标U_iju在图像上对应的V轴坐标V_iju，则(U_ij,V_ij-b)处纵向光条截面中心点为K_iju其坐标为(U_iju,V_iju)；K_ij下方(U_ij,V_ij+b)处纵向光条横截面中心点为K_ijd其坐标为(U_ijd,V_ijd)；

以相同的方法，在横向方向上，获得距离初始位置坐标K_ij左、右b像素位置，即(U_ij-b,V_ij)，(U_ij+b,V_ij)处插值点K_ijl和K_ijr，K_ijl和K_ijr的坐标分别为(U_ijl,V_ijl)和(U_ijr,V_ijr)；

对各特征点初始位置进行近点插值后得到插值点集；

4.2取点拟合

经步骤4.1)插值后在纵向光条横截面中心点集内，对于任意特征点初始位置K_ij的感兴趣区域内，在纵向上对特征点初始位置K_ij纵向光条进行拟合时，选取K_i-1ju、K_i-1jd、K_iju、K_ijd、K_i+1ju、K_i+1jd6点组成纵向插值点集T_u：

进行纵向曲线拟合；

在横向光条截面中心点集内，特征点初始位置K_ij横向方向上选取K_ij-1l，K_ij-1r，K_ijl，K_ijr，K_ij+1l，K_ij+1r6点组成横向插值点集T_v：

进行横向曲线拟合；

4.3构建损失函数评价模型

首先构建1到5次拟合多项式：

取基函数为φ₀(x)＝1，φ₁(x)＝x，φ₂(x)＝x²，φ₃(x)＝x³，φ₄(x)＝x⁴，φ₅(x)＝x⁵，构建多项式：

f(x)＝a₁+a₂x+a₃x²+a₄x³+a₅x⁴+a₆x⁵ (5)

其中，x为自变量；y＝f(x)为因变量；a_xs＝[a₁...a₆]_xs＝1,2...6为6个系数；

根据4.2)在每个特征点初始位置K_ij纵向上分别选取6点基础上获得纵向插值点集T_u，将其带入公式(5)中：

其中，为K_ij处纵向插值点集T_u内各点U轴坐标集合；/>为多项式求得各点V轴观测值；a^u _xs＝[a^u ₁...a^u ₆]_xs＝1,2...6为纵向拟合多项式的6个系数；

建立纵向损失函数L(a^u _xs)：

其中，W_qz＝[w_d,w_x]为权值，且w_x＝2，w_d＝4；a^u _xs＝[a^u ₁...a^u ₆]_xs＝1,2...6为纵向拟合多项式的6个系数；为多项式求得各点V轴观测值；/>为K_ij处纵向插值点集T_u内各点U轴坐标集合/> 为K_ij处纵向插值点集T_u内各点V轴坐标集合；

根据4.2)在每个特征点初始位置K_ij横向上分别选取6点基础上获得横向插值点集T_v，将其带入公式(5)中：

其中，为K_ij处横向插值点集T_v内各点V轴坐标集合；/>为多项式求得各点U轴观测值；a^v _xs＝[a^v ₁...a^v ₆]_xs＝1,2...6为横向拟合多项式的6个系数；

建立横向损失函数L(a^v _xs)：

其中，W_qz＝[w_d,w_x]为权值，且w_x＝2，w_d＝4；a^v _xs＝[a^v ₁...a^v ₆]_xs＝1,2...6为横向拟合多项式的6个系数；为多项式求得各点U轴观测值；/>为K_ij处横向插值点集T_v内各点V轴坐标集合/> 为K_ij处横向插值点集T_v内各点U轴坐标集合；

4.4获取拟合交点

通过获取特征点初始位置K_ij纵向上点插值点数据集T_u构建的多项式及建立的纵向损失函数L(a^u _xs)，利用最小二乘法计算纵向损失函数L(a^u _xs)最小时纵向曲线拟合多项式系数a^u _xs＝[a^u ₁...a^u ₆]_xs＝1,2...6的值，求出纵向拟合多项式：

f(x)＝a^u ₁+a^u ₂x+a^u ₃x²+a^u ₄x³+a^u ₅x⁴+a^u ₆x⁵ (10)

同理，获得横向拟合多项式：

f(x)＝a^v ₁+a^v ₂x+a^v ₃x²+a^v ₄x³+a^v ₅x⁴+a^v ₆x⁵ (11)

针对每个特征点K_ij分别利用纵、横方向的拟合曲线联立：

求出横纵两条拟合曲线的交点坐标K^z _ij(U^z _ij,V^z _ij)，将其作为特征点的精确位置进行提取。