CN109165689A - 一种车辆车窗精准定位方法 - Google Patents

Abstract

本发明提出的一种车辆车窗精准定位方法，具体是一种结合yolo检测模型和直线检测的车辆车窗精准定位方法。该方法首先训练yolo车窗检测模型确定车窗的大致位置，然后根据经验值确定车窗四条边线的合适检测区域。进一步，对于车窗的左右边线，采用一种基于Hough直线检测加聚类的方法进行检测，对于车窗的上下边线，采用一种基于投影的方法进行检测。最终，联合车窗四条边线确定车窗位置。利用本发明可以实现精准定位车辆车窗，对于车辆区域分割、车窗特征提取等目标有重要意义。

Description

一种车辆车窗精准定位方法

技术领域

本发明涉及数字图像处理技术领域，具体涉及一种车辆车窗精准定位方法。

背景技术

车窗是车辆的关键组成部分，它包含了驾驶人乘客行为、车辆内饰、车辆年检标志、环保标志等重要信息。近年来，随着高清卡口系统的普遍应用，图像分辨率的提升，车窗成为驾驶人行为分析、车辆检索等研究问题的重要分析对象。

基于车牌、基于角点、基于直线检测是目前车窗定位三大主要手段。比如霍星等(基于多识别区域融合的机动车驾驶员检测框架[J].模式识别与人工智能,2018,31(3):283-292.)首先利用图像梯度特征进行车牌定位，然后根据不同车型的车牌与车窗之间的经验空间几何比例，利用几何仿射变换进行车窗定位；尚凌辉等(一种基于深度学习的车辆特征物检测方法:,CN 105718912 A[P].2016.)通过统计机器学习进行车窗四个角点的定位，进而联合四个角点确定车窗的位置；吴裕锋等(驾乘人员佩戴安全带的自动检测[J].科技尚品,2017(4):175-177.)同样是利用检测模型找到车窗角点从而确定车窗位置，不同的是他们首先进行了车牌定位，然后利用车牌缩小了车窗角点的检测区域；姚东明等(基于车窗检测的车身颜色识别方法研究[J].信息通信,2017(2):87-88.)在车辆图像的Canny边缘检测结果上，首先利用Hough直线变换检测车窗水平带，进一步利用垂直投影的方法确定车窗左右边线。

目前的车窗定位方法大多都只进行了车窗的粗定位，没有对车窗的四条边线进行精准定位，鉴于车窗精准定位对于车辆区域分割、车窗特征提取等目标有重要意义，本文提出了一种结合yolo和直线检测方法的车窗精准定位方法。

发明内容

针对现有技术中存在的问题，本发明提出的一种车辆车窗精准定位方法的流程为：首先训练yolo车窗检测模型确定车窗的大致位置，然后根据经验值确定车窗四条边线的合适检测区域。进一步，对于车窗的左右边线，采用一种基于Hough直线检测加聚类的方法进行检测，对于车窗的上下边线，采用一种基于投影的方法进行检测。最终，联合车窗四条边线确定车窗位置。

本发明的技术方案如下：

一种车辆车窗精准定位方法，，其特征在于，包括如下步骤：

步骤1：已知车辆图像I，在图像I用yolo检测模型进行车窗检测，将找到的车窗区域记为D^W，确定车窗图像上左、右、上、下四条边线对应的检测区域分别为D^L(0,0,w/3,h)、D^R(2*w/3-1,0,w/3,h)、D^T(0,0,w,h/5)、D^B(0,4*h/5-1,w,h/5)，其中，w、h分别为车窗区域D^W的宽和高；

步骤2：从图像I上得到区域D^L、D^R对应的图像分别记为I^L和I^R，对图像I^L、I^R分别通过一种图像关键直线检测方法，找到对应的车窗左右斜边L^L、L^R；

步骤3：从图像I上得到区域D^T、D^B对应的图像分别记为I^T、I^B，采用一种基于旋转扫描的直线检测方法确定车窗上下边线L^T、L^B；

步骤4：最终，确定直线L^L、L^T、L^R、L^B围成的区域为车辆的车窗区域。

所述的一种车辆车窗精准定位方法，其特征在于，所述步骤2中的一种图像关键直线检测方法的具体步骤如下：

步骤2.1：对于输入图像X，首先给定关键直线的预估角度范围，记为[angleMin,angleMax]；

步骤2.2：对图像X进行灰度化、高斯滤波、Canny边缘检测处理，得到图像X对应的二值边缘图，在边缘图上用Hough直线检测方法确定直线集L＝{l_i|i＝0,1,…,N_L-1}，N_L表示检测到的直线数量；

步骤2.3：筛选剔除直线集L中角度不在[angleMin,angleMax]范围内的直线，然后将直线集L按照直线角度从小到大排序，将更新后的直线集记为L’＝{l_i|i＝0,1,…,N_L’-1}，N_L’表示更新后的直线数量；

步骤2.4：将直线集L用K-means算法聚类成m个子集{T₀,T₁,...,T_m-1}，子集数m根据公式(1)确定；

其中，θ_i表示直线集L’中第i条直线的角度，Φ为预先设定的类间最大角度差；

步骤2.5：计算每个直线集T_i对应的直线长度总和，找到直线长度总和最大的直线集，记为T_k，则确定T_k中长度最长的直线为图像的关键直线。

所述的一种车辆车窗精准定位方法，其特征在于，所述步骤3中的一种基于旋转扫描的直线检测方法的具体步骤如下：

步骤3.1：根据车窗左右边线的角度θ^L、θ^R和公式(2)和(3)确定车窗上下边线的角度θ^TB；

步骤3.2：对图像I^T和I^B进行Sobel水平边缘检测和OTSU二值化，得到二值图I^TB和I^BB，用角度为θ^TB、宽度为3个像素的扫描线分别从上往下扫描图像I^TB，找到对应score1值最大的扫描线位置，记扫描线在该位置的扫描线中心点为P^T，同理，用角度为θ^TB、宽度为3个像素的扫描线分别从下往上扫描图像I^BB，找到对应score1值最大的扫面线位置，记扫描线在该位置的扫描线中心点为P^B；其中score1表示扫描线上的像素投影面积与扫描线在图像上的区域面积之比；

步骤3.3：联合图像I^TB、I^BB确定车窗上下边线的精准偏转角度θ^TB-P，具体为：在图像I^TB、I^BB上分别以点P^T、P^B为扫描线旋转中心，以1°为单位旋转角度、旋转宽度为3个像素的扫描线，在[θ^TB-7°,θ^TB+7°]角度范围内，找到对应socre1最大的扫描线角度，确定为车窗上下边线的精准偏转角度θ^TB-P；

步骤3.4：则车窗上边线L^T为过点P^T角度θ^TB-P为的直线，车窗下边线L^B为过点P^B角度θ^TB-P为的直线。

本发明的有益效果是：结合yolo和直线检测方法可以实现车辆车窗的精准定位，对后续车辆部件分割、车窗特征提取等目标的研究具有重要意义。

附图说明

图1：已知实例图像；

图2：yolo检测模型定位得到的车窗区域；

图3：车窗左边线检测区域；

图4：车窗右边线检测区域；

图5：车窗上边线检测区域；

图6：车窗下边线检测区域；

图7：车窗左边线检测区域Canny边缘检测结果；

图8：车窗右边线检测区域Canny边缘检测结果；

图9：车窗上边线检测区域的二值化结果；

图10：车窗下边线检测区域的二值化结果；

图11：车窗精准定位结果。

具体实施方式

下面结合具体实例，对本发明(一种结合yolo和直线检测方法的车窗精准定位方法)实施的过程进行详细的说明。

步骤1：已知车辆图像I，在图像I用yolo检测模型进行车窗检测，将找到的车窗区域记为D^W，确定车窗图像上左、右、上、下四条边线对应的检测区域分别为D^L(0,0,w/3,h)、D^R(2*w/3-1,0,w/3,h)、D^T(0,0,w,h/5)、D^B(0,4*h/5-1,w,h/5)，其中，w、h分别为车窗区域D^W的宽和高；

本实例用于进行说明的车辆图像如图1所示，在图像I用yolo检测模型检测得到的车窗区域如图2所示，根据经验值确定的车窗左、右、上、下四条边线的检测区域如图3-6所示；

步骤2：从图像I上得到区域D^L、D^R对应的图像分别记为I^L和I^R，对图像I^L、I^R分别通过一种图像关键直线检测方法，找到对应的车窗左右斜边L^L、L^R；

步骤3：从图像I上得到区域D^T、D^B对应的图像分别记为I^T、I^B，采用一种基于旋转扫描的直线检测方法确定车窗上下边线L^T、L^B；

步骤4：最终，确定直线L^L、L^T、L^R、L^B围成的区域为车辆的车窗区域。

在本实例中，最终确定的车辆的车窗区域如图11所示。

一种图像关键直线检测方法的具体步骤如下：

步骤2.1：对于输入图像X，首先给定关键直线的预估角度范围，记为[angleMin,angleMax]；

在本实例中，左、右边线的预估角度范围为[45°，135°]；

步骤2.2：对图像X进行灰度化、高斯滤波、Canny边缘检测处理，得到图像X对应的二值边缘图，在边缘图上用Hough直线检测方法确定直线集L＝{l_i|i＝0,1,…,N_L-1}，N_L表示检测到的直线数量；

根据步骤2.2得到的车窗左右边线检测区域的二值图如图7-8所示；

步骤2.3：筛选剔除直线集L中角度不在[angleMin,angleMax]范围内的直线，然后将直线集L按照直线角度从小到大排序，将更新后的直线集记为L’＝{l_i|i＝0,1,…,N_L’-1}，N_L’表示更新后的直线数量；

步骤2.4：将直线集L用K-means算法聚类成m个子集{T₀,T₁,...,T_m-1}，子集数m根据公式(1)确定；

其中，θ_i表示直线集L’中第i条直线的角度，Φ为预先设定的类间最大角度差；

在本实例中，预先设定的类间最大角度差Φ为4°；

步骤2.5：计算每个直线集T_i对应的直线长度总和，找到直线长度总和最大的直线集，记为T_k，则确定T_k中长度最长的直线为图像的关键直线；

一种基于旋转扫描的直线检测方法的具体步骤如下：

步骤3.1：根据车窗左右边线的角度θ^L、θ^R和公式(2)和(3)确定车窗上下边线的角度θ^TB；

在本实例中，根据步骤3.1计算得到的上下边线的大致角度θ^TB为0°；

步骤3.2：对图像I^T和I^B进行Sobel水平边缘检测和OTSU二值化，得到二值图I^TB和I^BB，用角度为θ^TB、宽度为3个像素的扫描线分别从上往下扫描图像I^TB，找到对应score1值最大的扫描线位置，记扫描线在该位置的扫描线中心点为P^T，同理，用角度为θ^TB、宽度为3个像素的扫描线分别从下往上扫描图像I^BB，找到对应score1值最大的扫面线位置，记扫描线在该位置的扫描线中心点为P^B；其中score1表示扫描线上的像素投影面积与扫描线在图像上的区域面积之比；

在本实例中，根据步骤3.2得到的车窗上下边线检测区域的二值图如图9-10所示；

步骤3.3：联合图像I^TB、I^BB确定车窗上下边线的精准偏转角度θ^TB-P，具体为：在图像I^TB、I^BB上分别以点P^T、P^B为扫描线旋转中心，以1°为单位旋转角度、旋转宽度为3个像素的扫描线，在[θ^TB-7°,θ^TB+7°]角度范围内，找到对应socre1最大的扫描线角度，确定为车窗上下边线的精准偏转角度θ^TB-P；

步骤3.4：则车窗上边线L^T为过点P^T角度θ^TB-P为的直线，车窗下边线L^B为过点P^B角度θ^TB-P为的直线。

在本实例中，根据步骤3.3确定的车窗上下边线的精准偏转角度θ^TB-P为178°。

Claims (3)

1.一种车辆车窗精准定位方法，其特征在于，包括如下步骤：

步骤1：已知车辆图像I，在图像I用yolo检测模型进行车窗检测，将找到的车窗区域记为D^W，确定车窗图像上左、右、上、下四条边线对应的检测区域分别为D^L(0,0,w/3,h)、D^R(2*w/3-1,0,w/3,h)、D^T(0,0,w,h/5)、D^B(0,4*h/5-1,w,h/5)，其中，w、h分别为车窗区域D^W的宽和高；

步骤2：从图像I上得到区域D^L、D^R对应的图像分别记为I^L和I^R，对图像I^L、I^R分别通过一种图像关键直线检测方法，找到对应的车窗左右斜边L^L、L^R；

步骤3：从图像I上得到区域D^T、D^B对应的图像分别记为I^T、I^B，采用一种基于旋转扫描的直线检测方法确定车窗上下边线L^T、L^B；

步骤4：最终，确定直线L^L、L^T、L^R、L^B围成的区域为车辆的车窗区域。

2.根据权利要求1所述的一种车辆车窗精准定位方法，其特征在于，所述步骤2中的一种图像关键直线检测方法的具体过程如下：

2.1)：对于输入图像X，首先给定关键直线的预估角度范围，记为[angleMin,angleMax]；

2.2)：对图像X进行灰度化、高斯滤波、Canny边缘检测处理，得到图像X对应的二值边缘图，在边缘图上用Hough直线检测方法确定直线集L＝{l_i|i＝0,1,…,N_L-1}，N_L表示检测到的直线数量；

2.3)：筛选剔除直线集L中角度不在[angleMin,angleMax]范围内的直线，然后将直线集L按照直线角度从小到大排序，将更新后的直线集记为L’＝{l_i|i＝0,1,…,N_L’-1}，N_L’表示更新后的直线数量；

2.4)：将直线集L用K-means算法聚类成m个子集{T₀,T₁,...,T_m-1}，子集数m根据公式(1)确定；

其中，θ_i表示直线集L’中第i条直线的角度，Φ为预先设定的类间最大角度差；

2.5)：计算每个直线集T_i对应的直线长度总和，找到直线长度总和最大的直线集，记为T_k，则确定T_k中长度最长的直线为图像的关键直线。

3.根据权利要求1所述的一种车辆车窗精准定位方法，其特征在于，所述步骤3中的一种基于旋转扫描的直线检测方法的具体过程如下：

3.1)：根据车窗左右边线的角度θ^L、θ^R和公式(2)和(3)确定车窗上下边线的角度θ^TB；

3.2)：对图像I^T和I^B进行Sobel水平边缘检测和OTSU二值化，得到二值图I^TB和I^BB，用角度为θ^TB、宽度为3个像素的扫描线分别从上往下扫描图像I^TB，找到对应score1值最大的扫描线位置，记扫描线在该位置的扫描线中心点为P^T，同理，用角度为θ^TB、宽度为3个像素的扫描线分别从下往上扫描图像I^BB，找到对应score1值最大的扫面线位置，记扫描线在该位置的扫描线中心点为P^B；其中score1表示扫描线上的像素投影面积与扫描线在图像上的区域面积之比；

3.3)：联合图像I^TB、I^BB确定车窗上下边线的精准偏转角度θ^TB-P，具体为：在图像I^TB、I^BB上分别以点P^T、P^B为扫描线旋转中心，以1°为单位旋转角度、旋转宽度为3个像素的扫描线，在[θ^TB-7°,θ^TB+7°]角度范围内，找到对应socre1最大的扫描线角度，确定为车窗上下边线的精准偏转角度θ^TB-P；

3.4)：则车窗上边线L^T为过点P^T角度θ^TB-P为的直线，车窗下边线L^B为过点P^B角度θ^TB-P为的直线。