CN113313701B - 基于形状先验的电动汽车充电口两阶段视觉检测定位方法 - Google Patents

Abstract

本发明公开了基于形状先验的电动汽车充电口两阶段视觉检测定位方法，包括基于梯度一致性的充电口粗定位方法、基于中心点的充电口关键部件的精细定位方法和基于双目立体视觉约束和标准充电口模板约束的三维位姿估计方法。采取由粗到精的分治过程，在粗检测阶段，利用充电口整体的形状约束，分别在双目图像上实现对充电口的快速定位；在精细检测阶段，利用充电口端子的形状约束，回归优化充电口端子的精确位置；最后将充电口端子的精细位置、立体双目约束、充电口三维模板进行联合约束，最终获得充电口的三维位姿。本发明在鲁棒性、精确度和计算效率上，都优于当前其他充电口检测方法。

Description

基于形状先验的电动汽车充电口两阶段视觉检测定位方法

技术领域

本发明涉及电动汽车充电口检测定位领域，具体是基于形状先验的电动汽车充电口两阶段视觉检测定位方法。

背景技术

随着计算机视觉技术的不断发展，自动驾驶已成为未来的必然趋势，电动汽车是未来自动驾驶技术产业化的最主要的平台。为了适应未来的电动汽车的自动化趋势，电动汽车配套相关的基础设施的自动化也越来越受到工业界和学术界的关注，而电动汽车的充电设备在能源补给方面起着至关重要的作用。为了能够实现更加快速便利的充电，自动充电技术是大势所趋，而自动充电技术中的关键问题充电口识别与定位，是整个自动充电技术中最至关重要的一个部分。

现在市场上普遍的电动汽车充电口，无论是直流充电口还是交流充电口的识别，根据其充电孔的特性，普遍使用基于椭圆检测的识别技术进行充电口的定位。但是由于充电孔的同心圆结构，基于椭圆检测的方法语义模糊，不能明确的拟合充电孔的内圆或外圆，并且在检测过程中不对充电孔进行区分，只检测椭圆，没有考虑到充电口关键部件之间的形状约束，导致在实际应用中，算法的鲁棒性较差。

发明内容

本发明针对当前充电口检测中鲁棒性弱、计算量大的问题，提供基于形状先验的电动汽车充电口两阶段视觉检测定位方法。本发明目的在于从定位精度和鲁棒性上提升充电口检测性能水平。

为了解决上述问题，本发明的技术方案为：基于形状先验的电动汽车充电口两阶段视觉检测定位方法，包括基于梯度一致性的充电口粗定位方法、基于中心点的充电口关键部件的精细定位方法和基于双目立体视觉约束和标准充电口模板约束的三维位姿估计方法，具体流程如下：

(1)分别对输入的双目图像进行预处理，去除图像噪声，并逐一提取图像中物体的边缘轮廓信息；

(2)将获取的物体边缘轮廓图输入充电口检测模块，提取边缘梯度特征，并与充电口模板特征进行匹配，实现充电口粗定位。根据定位结果，逐一将充电口关键部件的图像块从双目图像中裁剪出来；

(3)将充电口关键部件图像块输入充电口精细定位模块，精细定位模块使用充电口形状模板在充电口图像块中初始化各充电孔中心点位置，然后利用中心点回归模型优化中心点位置；

(4)根据双目立体视觉约束，基于前序计算出的双目图像中充电口关键部件精细位置，计算出关键部件的三维位姿，并使用ICP迭代最近邻算法，将其与标准充电口三维模板进行匹配，获得充电口最终三维位姿。

作为改进，所述基于梯度一致性的充电口粗定位方法具体为：将获取的物体边缘轮廓图输入充电口检测模块，提取边缘梯度特征，并与充电口模板特征进行匹配，实现充电口粗定位。根据粗定位结果，根据充电口关键部件的分布先验，逐一将充电口关键部件的图像块从双目图像中裁剪出来。

作为改进，所述基于中心点的充电口关键部件的精细定位方法具体为：将充电口关键部件图像块输入充电口精细定位模块，精细定位模块使用充电口关键部件的形状模板，在充电口图像块中初始化各充电孔中心点位置，然后利用中心点回归模型优化中心点位置。

作为改进，所述基于双目立体视觉约束和标准充电口模板约束的三维位姿估计方法具体为：根据双目立体视觉的对极几何约束，基于前序计算出的双目图像中充电口关键部件精细位置，计算出关键部件的三维关键点，并使用ICP迭代最近邻算法，将其与标准充电口三维模板进行匹配，获得充电口最终三维位姿。

本发明与现有的技术相比的优点在于：充电口检测属于目标检测范畴。当前通用的目标检测算法，大都是将图像中的目标检测成二维的包围盒，其给出的位姿信息不能指导充电机器人完成插枪、充电等一系列操作。而当前其他的充电口检测算法，通常是将检测充电口问题建模成椭圆检测问题，由于充电口原型特征多且复杂，使得当前充电口检测算法在鲁棒性、精确性和高效性方面均存在瓶颈。

本发明提出一种基于形状约束和双目视觉的两阶段电动汽车充电口检测定位方法。采取由粗到精的分治过程，在粗检测阶段，利用充电口整体的形状约束，分别在双目图像上实现对充电口的快速定位；在精细检测阶段，利用充电口端子的形状约束，回归优化充电口端子的精确位置；最后将充电口端子的精细位置、立体双目约束、充电口三维模板进行联合约束，最终获得充电口的三维位姿。本发明在鲁棒性、精确度和计算效率上，都优于当前其他充电口检测方法。

附图说明

图1是本发明的流程图。

具体实施方式

以下通过具体实施例进一步描述本发明，但本发明不仅仅限于以下实施例。在本发明的范围内或者在不脱离本发明的内容、精神和范围内，对本发明进行的变更、组合或替换，对于本领域的技术人员来说是显而易见的，且包含在本发明的范围之内。

实施例一

一、基于梯度一致性的充电口粗定位方法

本文提出了基于梯度一致性的充电口检测方法，使用充电口整体图像的梯度信息结合物体表面的法向特征作为充电口的形状特征编码，从而避免了光照变换的影响，并且由于梯度的丰富性，能保证提取到足够的特征进行匹配。

在实际应用中，由于环境光照变换较大，背景较为复杂，相机拍摄到的充电口图像具有大量的噪声，导致检测算法鲁棒性差。因此需要对输入图像进行预处理，去除背景噪声，提取图像封闭轮廓。

本发明首先将输入图像灰度化，灰度图像有利于图像梯度的提取，然后使用高斯滤波来处理图像中的高斯噪声。高斯滤波的具体操作是：用一个卷积核扫描图像中的每一个像素，用卷积核覆盖的邻域内像素的加权平均灰度值取代中心像素点的值。卷积核函数如公式(1)所示，过滤后的图像为I(x,y)。

为了能够提取出图像中的一些封闭区域的轮廓，首先需要对图像进行边缘提取，这部分处理的目标是能够完整地获取图像中的边缘轮廓信息，且获取的边缘相对于背景要明显。图像边缘提取是图像预处理中很常见的一种操作，边缘指图像中像素值突变的地方，大多通过该像素处的梯度信息进行判断的。本发明使用Sobel算子提取图像的一阶梯度信息，进而分割成图像边缘。

获取了物体的边缘轮廓图像，现有的基于物体边缘进行匹配检测的方法，虽然边缘信息不易被光照、旋转等因素影响，但是从信息量来说，二值化的边缘图很难拟合出包含多个同心圆结构的充电口形状，不利于拟合的优化问题求解，误检率也会高很多，本文提出基于梯度一致性的充电口整体检测方法，使用充电口整体图像的边缘的梯度及梯度方向作为匹配特征，检测过程分为训练和测试两个阶段。

训练阶段输入充电口模板图像，并对模板图像进行不同尺度的旋转和缩放，检测器提取变换后模板图像的梯度信息作为模板特征，最后保存模板图像的旋转角度、缩放尺度及模板特征作为充电口模板的特征库。

测试阶段输入为经过图像预处理包含充电口的边缘轮廓图像。测试过程中，通过检测器提取图像的全局梯度信息，然后使用特征库中的模板特征在输入图像上进行滑动，每滑动到一个新的位置，计算模板特征与对应位置的梯度特征之间的余弦相似性，最后生成相似性矩阵，将相似性矩阵中最大值对应的模板信息作为检测到充电口位置。

二、基于椭圆中心点的充电口端子定位方法

当前其他基于椭圆检测的充电口端子(即充电口端子桩头)定位方法，先检测充电口端子椭圆边缘特征，再使用检测椭圆边缘确定椭圆圆心的位置。这种方法有两个缺点，1)充电口端子往往包含两个同心圆，内圆或者外圆，检测算法并不能鲁棒的区分内圆或外圆产生的边缘特征，导致算法不稳定；2)当前方法只利用了充电口端子自身的几何特性，而忽略了充电口端子之间的几何约束。

本文提出基于椭圆中心点的充电孔定位方法，直接预测每个充电口端子椭圆的圆心，语义明确，并且使用预先构建的充电口端子形状模型对充电口端子之间的几何约束进行建模，极大地提高了检测定位算法的鲁棒性。方法主要分为两个阶段：充电口端子形状模型构建与基于概率图模型的中心点回归。首先，构建充电口端子的初始形状模型，然后对充电口端子中心特征点的邻域位置上进行搜索匹配，生成概率响应图，最后从概率响应图中获得各中心点的位置。

充电口端子形状模型构建

本文从点分布模型(PDM)中获得启发：外形相似的物体，几何形状可以通过若干关键特征点的坐标依次串联形成一个形状向量来表示。因此将构建的充电口端子形状模型表示为充电孔中心点坐标依次拼接而成的特征向量。

具体过程如下：

对于充电口图像，每张图像包含9个部件，即9个特征点，对于9个充电孔同心圆的圆心，每个特征点的坐标为(x_k，y_k)，k∈[1，9]，则充电口端子形状特征向量表示为：

x＝[x₁，y₁，x₂，y₂，...，x₉，y₉]^T (6)

表示充电口形状的平均特征向量为：

其中，x⁽ⁱ⁾表示第i张图像对应的充电口端子形状特征向量。

获取充电口端子形状特征向量后，为了构建充电口端子形状模型，综合考虑图像中充电口端子的形状受现实状况中的旋转、缩放和平移的影响，提出了充电口端子形状模型拟合函数，如公式(8)所示。

其中，参数θ＝{s，R，t，q}分别表示缩放、旋转、平移和主成分权重，求解方法在3.2中详细阐述，

表示充电口端子形状的平均特征向量，同公式(7)在少量标注的数据集中统计获得，φ表示形变主成分矩阵,计算方法为：对于数据集中每个充电口端子形状特征向量减去平均特征向量，获得均值为0的形状变换矩阵X，如公式(9)所示。

对上式形状变化矩阵进行主成分分析，得到形状变换的主要决定性成分，即特征向量P和对应的特征值λ，选择前K个特征向量，并以列的方式排列组成形变主成分矩阵φ。

基于形状模型的充电口端子中心点回归方法：

在构建好充电口端子的形状模型之后，即可在检测到的充电口端子图像块上初始化对应的中心点位置，本文进一步提出基于概率图模型的充电口端子形状建模方法，使每个点在其邻域范围内搜索最佳匹配点。提出的方法分为训练和测试两个阶段，训练阶段求解充电口端子形状模型及中心点回归概率模型的参数，测试阶段使用训练好的模型得到与输入充电口端子图像块尺寸相同的分数响应图，并从响应图中依次计算每个中心点的位置。

训练阶段，本文使用概率图模型将最优匹配问题转化为当所有中心点都匹配最优时，对模型参数的最大似然估计问题。当给定充电口图像块时，假设每个中心点的位置概率分布是相互独立的，那么似然函数可以表示成公式(10)的形式：

公式(10)中，左边表示给定部件匹配点和部件图像块时，参数的似然函数，右边对似然函数进行条件独立分解。其中，l_i∈{1，-1}表示特征点i是否为最优匹配点，θ为需要求解的参数，目标即求解上述目标函数的最大似然估计。求解过程如下：

在公式(8)中的形变主成分矩阵φ由于舍弃了一些低特征值的部分，因此形状模型预测的中心点位置与真实位置存在一定的误差，假设对每个中心点的误差δ服从同方差各向同性高斯分布，则真实的部件中心点位置可由下式计算：

其中，σ表示噪声的协方差，可通过主成分分析中特征值的算术平均求出：

通过公式(11)可得到给定充电口端子中心位置x⁽ⁱ⁾时，

的条件概率分布，如公式(13)所示：

假设充电口端子中心点候选区域为

真实部件中心点位置为隐变量

则中心点匹配的似然函数可以通过对隐变量积分得到，如公式(14)所示：

综合公式(13)和公式(14)可获得对充电口中心位置非参形式的响应图估计，如公式(15)所示：

将上式的匹配代价约束带入公式(10)中，可获得最终关于参数θ的似然概率分布函数，如公式(17)所示：

本文使用期望最大化(EM)算法求解上式，详细推导过程见[22]，通过EM算法得到参数更新的梯度Δθ，并通过下式迭代更新中心点位置，直至算法收敛。

x⁽ⁱ⁾＝x⁽ⁱ⁾+J_iΔθ (3-11)

测试阶段，当使用充电口端子形状模型初始化每个充电孔中心点特征后，通过公式(15)对每个部件特征点邻域范围进行评分预测，得到一个与输入充电口图像尺寸相同的分数响应图，响应图分数最大值所在的位置即为充电孔中心位置。

三、基于双目对极几何约束和标准充电口模板约束的三维位姿估计方法

通过2.3.2中的方法可以获得双目图像中充电口关键部件中心的像素坐标，设左目图像的充电孔中心为

右目图像的充电孔中心为

根据双目立体几何原理，可解算出部件中心点i的三维坐标：

Z_i＝(f_x*b)/d_i (16)

其中，f_x，f_y，c_x，c_y为左目相机的内参，d_i为中心点i的视差。相机内参f_x，f_y，c_x，c_y通过双目摄像机预先标定求出，在检测过程中保持不变。

由于图像检测由于噪声、环境干扰，以及图像像素量化问题，检测结果仍存在误差，该误差会传播到解算的部件中心点的三维坐标中，因此，需要利用充电口的三维模板，对上述误差进行修正，并进一步计算充电口的三维模板到解算出部件中心点三维坐标的姿态信息。

本发明使用随机抽样一致算法(RANdom SAmple Consensus，RANSAC)算法，将上式求出的充电孔三维坐标与充电口3D模型进行对应点匹配，计算位姿矩阵[R,t]，进一步得到充电口的三维位姿。

四、充电口粗定位实验结果与分析

为了测试基于梯度一致性的充电口粗定位方法的准确性和鲁棒性，本文收集了100张包含充电口不同位姿不同光照背景的图片作为测试集，并对比了基于边缘的检测方法与本文提出的方法在验证集上的准确率，准确率定义为检测出的充电口位置包含完整的充电口图像块。实验结果如表1所示。

表1充电口检测准确率、误检率对比

测试方法	准确率	误检率
			基于边缘的检测方法	90％	8％
本文的方法	98％	1％

由表1可知，本文提出的方法检测准确率在验证集超过基于边缘的方法，且在误检率上更低，具有更高的实际应用价值。

五、充电口精细定位实验结果与分析

(1)数据集构建

为了训练充电口形状模型及中心点回归模型，本文收集并标注了400张包含充电口不同位姿不同光照背景的图片作为实验数据集，其中训练集300张，测试集100张。数据集标签包含每个充电孔的编号及中心点位置，为了使标注中心点误差更小，使用标注圆形然后取圆心作为中心点的方式。

(2)评估方法

为了评估提出方法的有效性，本文提出平均像素误差(MPE)指标对方法的性能进行评估。MPE的计算方法如下：

(3)实验结果与分析

本文测试了提出方法在测试集上的平均像素误差，为了验证基于中心点的方法的有效性，首先测试了提出方法对每个中心点位置的预测误差，测试结果如表2所示。

表2提出方法对每个充电孔中心的预测误差

由表2可知，本文的方法预测的中心点位置误差基本在1个像素左右，满足充电口定位精度的要求。

为了更进一步验证提出方法的优越性，本文与当前流行的基于椭圆检测的方法进行了比较，对比结果如表3所示。

表3与基于椭圆检测的方法对比

方法	测试数据量	MPE
			基于椭圆检测的方法	78	1.28
本文方法	100	1.12

由表3可知，本文提出的方法预测的中心点位置误差低于基于椭圆检测的方法(0.16)，说明了本文方法的定位精度更高。值得一提的是，在测试集的全部100张图像上，本文的方法都能精确、稳定的预测中心点位置，基于椭圆检测的方法在其中78张图像上可以检测到满足要求的椭圆，而在另外的22张图像上检测失败，充分说明的本文方法的鲁棒性超过基于椭圆检测的方法。

六、充电口三维位姿估计实验与分析

本发明将收集并标注了400张包含充电口不同位姿不同光照背景的实验样例作为实验数据集，其中训练集300张，测试集100张。本发明将相机安装在高精度机械臂末端，结合已知位置的充电口，换算出这400组样例相机到充电口精确的相对位置。

通过本发明的三维位姿估计方法，位姿测试中，空间精度小于1mm同时角度精度小于3度的测试样例超过95％，优于当前同类算法。

以上所述仅为本发明专利的较佳实施例而已，并不用以限制本发明专利，凡在本发明专利的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明专利的保护范围之内。

Claims (1)

1.基于形状先验的电动汽车充电口两阶段视觉检测定位方法，其特征在于：包括基于梯度一致性的充电口粗定位方法、基于中心点的充电口关键部件的精细定位方法和基于双目立体视觉约束和标准充电口模板约束的三维位姿估计方法；

所述基于梯度一致性的充电口粗定位方法具体为：将获取的物体边缘轮廓图输入充电口检测模块，提取边缘梯度特征，并与充电口模板特征进行匹配，实现充电口粗定位； 根据粗定位结果，根据充电口关键部件的分布先验，逐一将充电口关键部件的图像块从双目图像中裁剪出来；

所述基于中心点的充电口关键部件的精细定位方法具体为：将充电口关键部件图像块输入充电口精细定位模块，精细定位模块使用充电口关键部件的形状模板，在充电口图像块中初始化各充电孔中心点位置，然后利用中心点回归模型优化中心点位置；

所述基于双目立体视觉约束和标准充电口模板约束的三维位姿估计方法具体为：根据双目立体视觉的对极几何约束，基于前序计算出的双目图像中充电口关键部件精细位置，计算出关键部件的三维关键点，并使用ICP迭代最近邻算法，将其与标准充电口三维模板进行匹配，获得充电口最终三维位姿；

具体流程如下：

(1)分别对输入的双目图像进行预处理，去除图像噪声，并逐一提取图像中物体的边缘轮廓信息；

(2)将获取的物体边缘轮廓图输入充电口检测模块，提取边缘梯度特征，并与充电口模板特征进行匹配，实现充电口粗定位； 根据定位结果，逐一将充电口关键部件的图像块从双目图像中裁剪出来；

(3)将充电口关键部件图像块输入充电口精细定位模块，精细定位模块使用充电口形状模板在充电口图像块中初始化各充电孔中心点位置，然后利用中心点回归模型优化中心点位置；

(4)根据双目立体视觉约束，基于前序计算出的双目图像中充电口关键部件精细位置，计算出关键部件的三维位姿，并使用ICP迭代最近邻算法，将其与标准充电口三维模板进行匹配，获得充电口最终三维位姿。

Images