CN116659540B - 一种在自动驾驶过程中的交通护栏识别方法 - Google Patents

Abstract

本发明公开了一种在自动驾驶过程中的交通护栏识别方法，属于数据识别技术领域；包括以下步骤：获取车辆行驶前方道路的场景图像；从场景图像中筛选出交通护栏所在的感兴趣区域；并获取与所述感兴趣区域对应的模板图像；将大于所述均值的灰度差异值所对应的窗口作为第一疑似形变区域；将大于纹理形变阈值的纹理形变系数对应于感兴趣区域中的窗口作为第二疑似形变区域；根据第一疑似形变区域与第二疑似形变区域对感兴趣区域中交通护栏发生形变的区域进行识别。本发明结合交通护栏的图像特征提高自动驾驶过程中对交通护栏的识别准确率和识别速度，减少驾驶事故的发生。

Description

一种在自动驾驶过程中的交通护栏识别方法

技术领域

本发明涉及数据识别技术领域，具体涉及一种在自动驾驶过程中的交通护栏识别方法。

背景技术

自动驾驶技术是指通过人工智能、视觉算法、雷达、监控装置等协同合作，在没有驾驶员的主动操作下自动地驾驶汽车。自动驾驶需要多个传感器采集行进道路的数据，通过采集数据和高精度地图以及定位系统判断行驶方向和距离。交通规则是自动驾驶过程中必须遵守的行驶规范要求，这不仅关乎汽车内乘坐人员的安全行驶，通常还影响着行驶道路中行人、各种交通工具等的安全。在城市中，交通护栏是道路中最常见的交通指示物，通过识别道路中的交通护栏能够判断汽车行驶车道，交通护栏也是道路上的安全防护措施。自动驾驶与人开车存在不同的识别方式，对于人来说，很容易识别静态物体，但是对于计算机而言就不同了，当交通护栏未发生轻微碰撞或刮蹭时，一般不会影响道路上车辆的通行，也不会影响自动驾驶车辆的通行；但是，当交通护栏发生轻微碰撞或刮蹭时，容易引起形变或者弯折，凸出一定的距离，会占据道路上的空间；对于人来说，很容易看见交通护栏发生形变，会做出与形变护栏保持安全距离的反应，但是对于控制自动驾驶的车辆的计算机而言，很难通过车载的毫米雷达采集的点云数据进行识别。而毫米波雷达的优势是测速能力，车载摄像头仅仅是对行驶的车辆进行记录，对动态物体是敏感的，但对静态物体的识别能力较差，一旦自动驾驶车辆未及时识别出由于交通护栏形变而引起对道路空间的占据，使得自动驾驶的车辆直接与形变的交通护栏发生碰撞，则会导致交通事故的发生。

发明内容

为了解决现有技术中的不足，本发明提供一种在自动驾驶过程中的交通护栏识别方法，该方法结合交通护栏的图像特征提高自动驾驶过程中对交通护栏的识别准确率和识别速度，减少驾驶事故的发生。

本发明的目的是提供一种在自动驾驶过程中的交通护栏识别方法，包括以下步骤：

获取车辆行驶前方道路的场景图像；从场景图像中筛选出交通护栏所在的感兴趣区域；并获取与所述感兴趣区域对应的模板图像；

分别获取所述感兴趣区域和模板图像的第一灰度图和第二灰度图；利用窗口分别对所述第一灰度图和第二灰度图进行遍历，获取第一灰度图中每个窗口相对于第二灰度图中对应窗口内的灰度差异值；获取第一灰度图中所有窗口的灰度差异值的均值；将大于所述均值的灰度差异值所对应的窗口作为第一疑似形变区域；

分别对所述感兴趣区域和模板图像中的颜色种类进行标记；利用窗口分别对感兴趣区域和模板图像进行遍历；根据感兴趣区域中每个窗口相对于模板图像中对应窗口内颜色的差异，获取感兴趣区域中每个窗口相对于模板图像中对应窗口内的纹理形变系数；将大于纹理形变阈值的纹理形变系数对应于感兴趣区域中的窗口作为第二疑似形变区域；

根据第一疑似形变区域与第二疑似形变区域对感兴趣区域中交通护栏发生形变的区域进行识别。

在一实施例中，所述感兴趣区域中每个窗口相对于模板图像中对应窗口内的纹理形变系数是按照以下步骤获取：

分别对感兴趣区域和模板图像中组成交通护栏的每个部件进行标记，并获取每个部件对应的部件区域；

根据感兴趣区域中每个窗口内每种颜色像素点数量，以及每种颜色像素点至该种颜色像素点集合的质心的距离，获取感兴趣区域中每个窗口内的第一纹理凌乱指数；

根据感兴趣区域中每个部件区域遍历的窗口的数量，以及每个窗口内第一纹理凌乱指数，获取感兴趣区域中每个窗口所在部件区域的第一纹理突出程度；同理，获取模板图像中每个窗口内的第二纹理凌乱指数，以及模板图像中每个窗口所在部件区域的第二纹理突出程度；

根据感兴趣区域中每个窗口的第一纹理凌乱指数和第一纹理突出程度，以及模板图像中与感兴趣区域中对应窗口的第二纹理凌乱指数和第二纹理突出程度，获取感兴趣区域中每个窗口相对于模板图像中对应窗口内的纹理形变系数。

在一实施例中，所述模板图像中每个窗口内的第二纹理凌乱指数是根据模板图像中每个窗口内每种颜色像素点数量，以及每种颜色像素点至该种颜色像素点集合的质心的距离而获取的。

在一实施例中，所述模板图像中每个窗口所在部件区域的第二纹理突出程度的获取方法如下：

根据模板图像中每个部件区域遍历的窗口的数量，以及每个窗口内第二纹理凌乱指数，获取模板图像中每个窗口所在部件区域的第二纹理突出程度。

在一实施例中，获取第一灰度图中每个窗口相对于第二灰度图中对应窗口内的灰度差异值过程中，还包括获取第一灰度图中的边缘线和第二灰度图中的边缘线；

再利用窗口分别对所述第一灰度图和第二灰度图进行遍历，分别获取第一灰度图中每个窗口内每条边缘线的第一灰度差异度，和第二灰度图中每个窗口内每条边缘线的第二灰度差异度；

根据第一灰度图中每个窗口内每条边缘线的第一灰度差异度，及第二灰度图中与第一灰度图中位置对应的窗口内所有边缘线的第二灰度差异度的均值，获取第一灰度图中每个窗口中边缘线的灰度差异值；

将第一灰度图中每个窗口中边缘线的灰度差异值作为第一灰度图中每个窗口相对于第二灰度图中对应窗口内的灰度差异值。

在一实施例中，所述感兴趣区域中交通护栏发生形变区域是按照以下步骤获取：

将第一疑似形变区域与第二疑似形变区域为同一区域时，将该区域作为感兴趣区域中交通护栏发生形变的区域。

在一实施例中，还包括：

获取车辆行驶时的点云图像；

根据交通护栏发生形变的区域内像素点的坐标信息获取对应于点云图像上的像素点；

根据对应于点云图像上的像素点获取交通护栏发生形变的区域距离车辆的位置信息；

根据交通护栏发生形变的区域距离车辆的位置信息，控制车辆与发生形变区域的交通护栏保持安全距离。

本发明的有益效果是：本发明提供一种在自动驾驶过程中的交通护栏识别方法，该方法基于筛选出交通护栏所在的感兴趣区域进行分析，首先通过计算感兴趣区域与模板图像中遍历窗口区域的灰度差异，由于灰度差异越大，则遍历窗口区域越有可能出现局部形变，从而初步确定交通护栏上的发生形变的第一疑似形变区域；其次基于感兴趣区域和模板图像中的颜色种类不同，由于在交通护栏上对应于感兴趣区域一部件处遍历窗口区域如果存在形变，相对于模板图像中对应同位置的遍历窗口区域对应颜色存在差异，则对应的纹理形变系数也会存在差异，为此本发明通过感兴趣区域中每个窗口相对于模板图像中对应窗口内颜色的差异，计算感兴趣区域中每个窗口相对于模板图像中对应窗口内的纹理形变系数，再次确定交通护栏发生形变的第二疑似形变区域；最后，根据第一疑似形变区域与第二疑似形变区域对感兴趣区域中交通护栏发生形变的区域进行识别，从而实现了对自动驾驶车辆对前方交通护栏形变区域进行识别。

本发明还通过计算感兴趣区域与模板图像中遍历窗口区域中边缘线的灰度差异，能够进一步确定感兴趣区域中局部的轮廓信息是否与模板图像中的灰度信息存在差异，从而进一步来确定可能出现局部形变的区域，有效提升形变区域识别的准确性。

本发明还通过识别的形变区域，结合车辆行驶时的点云图像，识别出交通护栏发生形变的区域距离车辆的位置信息，控制车辆与发生形变区域的交通护栏保持安全距离，从而有效确保自动驾驶车辆安全驶离存在形变的交通护栏路段。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的一种在自动驾驶过程中的交通护栏识别方法的实施例总体步骤的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明主要针对城市道路中的交通护栏发生轻微的碰撞或者刮蹭的情况进行分析。基于交通护栏发生局部形变的特点获取交通护栏精准的颜色信息和轮廓信息，结合雷达点云数据，提高对处于静止状态的交通护栏的识别准确率，能够更好辅助自动驾驶汽车的安全行驶，保障人车的安全。

本发明提供的一种在自动驾驶过程中的交通护栏识别方法，参见图1所示，包括以下步骤：

S1、获取车辆行驶前方道路的场景图像；从场景图像中筛选出交通护栏所在的感兴趣区域；并获取与感兴趣区域对应的模板图像；

需要说明的是，自动驾驶车辆的信息采集是通过车载环境传感器采集行驶道路的交通信息，对于自动驾驶系统来说，只将单一传感器作为数据源并不足以得到精准的判断，不仅AI系统的训练需要大数据集的支撑，获取的特征越多对交通护栏的识别精度也会越高，目前自动驾驶汽车上环境信息采集设备包含摄像头、激光雷达、毫米波雷达、GPS导航设备等。本实施例中识别交通护栏所用的图像数据同样利用车载摄像头和雷达采集。

其中，交通护栏是由横梁、立柱、底座等重要部件组成的，这些组成也是交通护栏经常被碰撞发生形变的区域。对交通护栏的识别属于图像处理任务，现阶段自动驾驶车辆通过车身搭载的摄像头、激光雷达等传感器接收道路信息，将检测目标的相关信息发送到车辆，实现路况判断和路径规划。本实施例中利用摄像头采集行驶过程中前方道路中的场景图像，场景图像为RGB图像，行驶过程中会受到较大的噪声干扰，为了提高图像质量，利用均值滤波对图像进行去噪处理，均值滤波去噪为公知技术，具体过程不再详细赘述。

至此，即根据车辆行驶前方道路的场景图像。

在本实施例中，从场景图像中筛选出交通护栏所在的感兴趣区域，具体如下：

首先采集大量的城市道路图像用于训练网络模型，制作三种标签分别记为标签0、标签1和标签2，标签0对应的是护栏中的横梁区域，标签1对应的是护栏中的立柱区域，标签2对应的是其他区域。对采集的道路图像与标签进行one-hot编码，将编码结果作为神经网络的输入，损失函数采用交叉熵损失，优化算法采用Adam算法，语义分割模型训练完成后，对采集的RGB图像进行检测，根据输出结果获取摄像头采集的RGB图像中交通护栏对应的区域，神经网络的训练为公知技术，具体过程不再详细赘述。将采集的场景图像的分割结果中交通护栏所在区域作为感兴趣（ROI）区域。另外，交通护栏是周期性设置的，通常是由等间隔的长立柱，以及相邻长立柱之间的上下横梁和横梁之间的短立柱组成。

本实施例，通过模板是一个周期长度的交通护栏图像，记为模板图像，假设一个周期的交通护栏长度为M，交通护栏的高度为N，那么所用模板图像大小即为M×N。其中，该模板图像就是感兴趣区域对应的模板图像。

S2、获取第一疑似形变区域；

分别获取感兴趣区域和模板图像的第一灰度图和第二灰度图；利用窗口分别对第一灰度图和第二灰度图进行遍历，获取第一灰度图中每个窗口相对于第二灰度图中对应窗口内的灰度差异值；获取第一灰度图中所有窗口的灰度差异值的均值；将大于均值的灰度差异值所对应的窗口作为第一疑似形变区域；

需要说明的是，当交通护栏发生局部形变时，如果形变发生在立柱上，形变立柱与相邻立柱的间隔会发生变化，形变立柱上会发生形变破坏周期性。如果形变发生在横梁上，形变区域边缘变化会出现剧烈变化，区域边缘线的几何外形也会发生变化。因此，通过感兴趣区域和模板图像中相同位置的区域信息是否一致，如果相同位置的信息存在差异，那么感兴趣区域中的可能存在形变。

具体的，获取第一灰度图中每个窗口相对于第二灰度图中对应窗口内的灰度差异值过程中，还包括获取第一灰度图中的边缘线和第二灰度图中的边缘线；其中，第一灰度图和第二灰度图中的边缘线是利用canny边缘检测算法而获取的；

再利用窗口分别对第一灰度图和第二灰度图进行遍历，分别获取第一灰度图中每个窗口内每条边缘线的第一灰度差异度，和第二灰度图中每个窗口内每条边缘线的第二灰度差异度；

根据第一灰度图中每个窗口内每条边缘线的第一灰度差异度，及第二灰度图中与第一灰度图中位置对应的窗口内所有边缘线的第二灰度差异度的均值，获取第一灰度图中每个窗口中边缘线的灰度差异值；

将第一灰度图中每个窗口中边缘线的灰度差异值作为第一灰度图中每个窗口相对于第二灰度图中对应窗口内的灰度差异值。

在本实施例中，第一灰度图中每个窗口内每条边缘线的第一灰度差异度计算公式如下：

式中，表示第一灰度图中每个窗口内第/>条边缘线的第一灰度差异度；/>表示第/>条边缘线上第/>个像素点的灰度值；/>表示第/>条边缘线上第/>个像素点的八邻域中的第/>个像素点的灰度值；/>表示第/>个像素点的八邻域中像素点的数量；/>表示第/>个像素点属于第/>条边缘线上的像素点；通过每条边缘线上像素点与其邻域像素点灰度值的差异的加和表示第一灰度图中每个窗口内第/>条边缘线的第一灰度差异度；反映了每条边缘线周围的像素点的相似程度；如果滑动窗口内存在局部形变区域，那么就会包含局部形变区域的边缘线，相应的边缘线上的像素点与周围八邻域像素点对应的邻域变化程度/>相对较大；需要说明的是，如果遍历窗口中没有边缘线则将计算出的/>记为0。

按照第一灰度图中每个窗口内每条边缘线的第一灰度差异度计算公式，同理，计算出第二灰度图中每个窗口内每条边缘线的第二灰度差异度，将第二灰度图中与第一灰度图中位置对应的窗口内所有边缘线的第二灰度差异度的均值记为。

其中，第一灰度图中每个窗口中边缘线的灰度差异值的计算公式如下：

式中，表示第一灰度图中第/>个窗口中边缘线的灰度差异值；/>表示第一灰度图中每个窗口内第/>条边缘线的第一灰度差异度；/>表示第二灰度图中与第一灰度图中位置对应的窗口内所有边缘线的第二灰度差异度的均值；/>表示第/>个窗口中边缘线数量。需要说明的是，如果滑动窗口内存在局部形变区域，那么就会包含局部形变区域的边缘线，相应的边缘线上的像素点与周围八邻域像素点对应的邻域变化程度/>相对较大，对比位置相同的模板图像中边缘线的邻域变化程度，局部形变增加了额外的边缘线，因此在进行模板图像匹配的过程中，认为存在形变区域的遍历窗口对应的灰度差异值是大于正常区域的。灰度差异值反映了感兴趣区域与模板图像中同位置区域的差异程度，灰度差异值越大，遍历窗口的区域与模板图像中同位置窗口区域的差异程度越大，则感兴趣区域中遍历窗口越有可能出现局部形变。

进一步，遍历整个第一灰度图，计算所有遍历窗口的灰度差异值，并计算所有灰度差异值的平均值，记为，分别对比每个滑动窗口区域的灰度差异值与/>的大小，认为大于/>的遍历窗口区域是交通护栏第一疑似形变区域。

S3、获取第二疑似形变区域；

分别对感兴趣区域和模板图像中的颜色种类进行标记；利用窗口分别对感兴趣区域和模板图像进行遍历；根据感兴趣区域中每个窗口相对于模板图像中对应窗口内颜色的差异，获取感兴趣区域中每个窗口相对于模板图像中对应窗口内的纹理形变系数；将大于纹理形变阈值的纹理形变系数对应于感兴趣区域中的窗口作为第二疑似形变区域；

感兴趣区域中每个窗口相对于模板图像中对应窗口内的纹理形变系数是按照以下步骤获取：

根据感兴趣区域中每个窗口内每种颜色像素点数量，以及每种颜色像素点至该种颜色像素点集合的质心的距离，获取感兴趣区域中每个窗口内的第一纹理凌乱指数；

分别对感兴趣区域和模板图像中组成交通护栏的每个部件进行标记，并获取每个部件对应的部件区域；

根据感兴趣区域中每个部件区域遍历的窗口的数量，以及每个窗口内第一纹理凌乱指数，获取感兴趣区域中每个窗口所在部件区域的第一纹理突出程度；同理，获取模板图像中每个窗口内的第二纹理凌乱指数，以及模板图像中每个窗口所在部件区域的第二纹理突出程度；

根据感兴趣区域中每个窗口的第一纹理凌乱指数和第一纹理突出程度，以及模板图像中与感兴趣区域中对应窗口的第二纹理凌乱指数和第二纹理突出程度，获取感兴趣区域中每个窗口相对于模板图像中对应窗口内的纹理形变系数。

其中，模板图像中每个窗口内的第二纹理凌乱指数是根据模板图像中每个窗口内每种颜色像素点数量，以及每种颜色像素点至该种颜色像素点集合的质心的距离而获取的。

模板图像中每个窗口所在部件区域的第二纹理突出程度的获取方法如下：

根据模板图像中每个部件区域遍历的窗口的数量，以及每个窗口内第二纹理凌乱指数，获取模板图像中每个窗口所在部件区域的第二纹理突出程度。

需要说明的是，交通护栏为了在道路上看起来比较显眼，且容易对双向道路区分，通常会将比较显眼的涂料喷涂在护栏上，则在判断感兴趣区域与模板图像同位置区域的相似性时，颜色信息是重要的一部分。本实施例的目的是对交通护栏的局部形变进行识别，护栏发生局部形变的原因是受到了碰撞或刮蹭等因素的影响，这些因素会导致护栏发生形变，护栏上的颜色也会发生变化，护栏内将出现多种颜色。在本实施例中，出现的多种颜色包括交通护栏表面喷涂的颜色，以及形变产生的其余颜色；为此，通过感兴趣区域和模板图像中同遍历窗口区域颜色的差异来构建感兴趣区域相对于模板图像上对应窗口的纹理凌乱指数。

在本实施例中，构建纹理凌乱指数，用于表征窗口滑动区域内的纹理分布情况，则感兴趣区域中每个窗口内的第一纹理凌乱指数的计算公式如下：

式中，是第y种颜色包含的像素点数量，/>是第y种颜色像素集合中的第n个像素点，/>是第y种颜色像素集合的质心，/>是像素点/>与质心/>的欧氏距离，Y是遍历窗口区域内像素包含的颜色种类，y是其中的任意一种颜色， 获取集合的质心为公知技术，具体过程不再详细赘述。/>表示感兴趣区域中第x个窗口内的第一纹理凌乱指数。需要说明的是，图像中每个点的像素值可以理解成这个像素点的质量。为此在本实施例中，获取每种颜色像素点的质心后，根据每个像素点到其对应的质心的距离来评估每种颜色像素点在区域内是否均匀分布，以第y种颜色为例，如果第y种颜色对应的像素点在质心/>均匀分布，对应的/>相对较小，而如果局部形变导致在区域内第y种颜色的像素点分布零散，对应的/>结果相对较大，统计区域内Y种颜色像素点到质心的欧氏距离，通过累加结果得到纹理凌乱指数，近似表征窗口区域内像素的分布情况。

同理，模板图像中每个窗口内的第二纹理凌乱指数是根据模板图像中每个窗口内每种颜色像素点数量，以及每种颜色像素点至该种颜色像素点集合的质心的距离而获取的，即第二纹理凌乱指数即为。需要说明的是，模板图像中的颜色种类比较统一，相对于感兴趣区域中的颜色种类较少。

进一步的，获取组成护栏的同一部件中遍历窗口区域对应的纹理凌乱指数在整个部件上的突出程度，则感兴趣区域中每个窗口所在部件区域的第一纹理突出程度计算公式如下：

式中，表示感兴趣区域中在一部件上的第k个窗口内的第一纹理凌乱指数；/>表示在一部件上遍历窗口的数量；/>表示感兴趣区域中在一部件上的第k个窗口在整个该部件上的突出程度，即第一纹理突出程度。需要说明的是，突出程度反映了不同区域在整个部件区域上的突出程度，形变程度越大，对应的不同颜色的像素点的分布越零散，对应的越大。

同理，根据模板图像中每个部件区域遍历的窗口的数量，以及每个窗口内第二纹理凌乱指数，获取模板图像中每个窗口所在部件区域的第二纹理突出程度，即为。

进一步的，获取模板图像中与感兴趣区域遍历窗口相同位置的区域t在其所在同一部件上的第二纹理突出程度和其对应的纹理凌乱指数/>，计算待匹配的感兴趣区域k与模板图像中区域t的差异得到对应的纹理形变系数/>。则感兴趣区域中每个窗口相对于模板图像中对应窗口内的纹理形变系数计算公式如下：

式中，表示感兴趣区域中在一部件上的第k个窗口在整个该部件上的突出程度，即第一纹理突出程度；/>表示模板图像中与感兴趣区域遍历窗口相同位置的第t个窗口区域所在同一部件上的第二纹理突出程度；/>感兴趣区域中在一部件上的第k个窗口内的第一纹理凌乱指数；/>模板图像中与感兴趣区域遍历窗口相同位置的第t个窗口区域所在同一部件上的第二纹理凌乱指数；/>表示感兴趣区域中第k个窗口相对于模板图像中对应窗口内的纹理形变系数。

需要说明的是，纹理形变系数反映了感兴趣区域中与模板图像同一位置区域之间颜色差异程度，纹理形变系数的值越大，则遍历窗口区域与模板图形同位置区域的差异程度越大，遍历窗口区域越有可能出现局部形变。设置纹理形变阈值θ，θ取经验值10，将纹理形变系数大于θ的区域认为是发生形变的区域，即为第二疑似形变区域；需要说明的是，纹理形变阈值的设置，操作者可以根据实际情况设置对应的纹理形变阈值。

至此，通过遍历窗口区域中纹理的特点获取纹理形变系数，从而获取遍历窗口区域中发生形变的区域。

S4、根据第一疑似形变区域与第二疑似形变区域对感兴趣区域中交通护栏发生形变的区域进行识别。

其中，感兴趣区域中交通护栏发生形变区域是按照以下步骤获取：将第一疑似形变区域与第二疑似形变区域为同一区域时，将该区域作为感兴趣区域中交通护栏发生形变的区域。

根据获取的感兴趣区域中交通护栏发生形变的区域的位置，将形变区域内像素点的灰度值置为1，非形变区域内的像素点置为0，获得一张二值图，记为交通护栏形变参考图。获取采集的RGB图像对应的交通护栏形变参考图。从而实现了自动驾驶车辆对前方交通护栏形变区域进行识别。

在本实施例中，还包括：获取车辆行驶时的点云图像；根据交通护栏发生形变的区域内像素点的坐标信息获取对应于点云图像上的像素点；根据对应于点云图像上的像素点获取交通护栏发生形变的区域距离车辆的位置信息；根据交通护栏发生形变的区域距离车辆的位置信息，控制车辆与发生形变区域的交通护栏保持安全距离。

具体的，交通护栏形变参考图是根据RGB图像交通护栏的图像区域特征得到的形变区域像素点对应的二值图像，将和RGB图像一起作用到激光雷达的点云图像上，具体的作用是为确定点云图像中那些像素点是发生局部形变的区域，然后获取这些像素点所在位置的毫米波的反射时间，就可以计算出形变区域距离车载雷达的位置信息，控制车辆与发生形变区域的交通护栏保持安全距离。

需要说明的是，获取交通护栏发生形变的区域距离车辆的位置信息时，主要是借助车载的激光雷达传感器，采集道路信息是通过毫米波和微波实现的，通过传感器发送波到接受物体反射波形的时间计算，毫米波是有传输速度的，知道时间和速度就可算出物体到车载雷达的位置距离。其中，本实施例获取车辆行驶时的点云图像，主要是通过车载的激光雷达对汽车周围环境按照某种轨迹进行扫描，便会边扫描边记录到反射的激光点信息，由于扫描极为精细，则能够得到大量的激光点，因而就可形成激光点云，从而获取车辆行驶时的点云图像。

本发明提供一种在自动驾驶过程中的交通护栏识别方法，该方法基于筛选出交通护栏所在的感兴趣区域进行分析，首先通过计算感兴趣区域与模板图像中遍历窗口区域的灰度差异，由于灰度差异越大，则遍历窗口区域越有可能出现局部形变，从而初步确定交通护栏上的发生形变的第一疑似形变区域；其次基于感兴趣区域和模板图像中的颜色种类不同，由于在交通护栏上对应于感兴趣区域一部件处遍历窗口区域如果存在形变，相对于模板图像中对应同位置的遍历窗口区域对应颜色存在差异，则对应的纹理形变系数也会存在差异，为此本发明通过感兴趣区域中每个窗口相对于模板图像中对应窗口内颜色的差异，计算感兴趣区域中每个窗口相对于模板图像中对应窗口内的纹理形变系数，再次确定交通护栏发生形变的第二疑似形变区域；最后，根据第一疑似形变区域与第二疑似形变区域对感兴趣区域中交通护栏发生形变的区域进行识别，从而实现了对自动驾驶车辆对前方交通护栏形变区域进行识别。

本发明还通过识别的形变区域，结合车辆行驶时的点云图像，识别出交通护栏发生形变的区域距离车辆的位置信息，控制车辆与发生形变区域的交通护栏保持安全距离，从而有效确保自动驾驶车辆安全驶离存在形变的交通护栏路段。

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种在自动驾驶过程中的交通护栏识别方法，其特征在于，包括以下步骤：

获取车辆行驶前方道路的场景图像；从场景图像中筛选出交通护栏所在的感兴趣区域；并获取与所述感兴趣区域对应的模板图像；

分别获取所述感兴趣区域和模板图像的第一灰度图和第二灰度图；利用窗口分别对所述第一灰度图和第二灰度图进行遍历，获取第一灰度图中每个窗口相对于第二灰度图中对应窗口内的灰度差异值；获取第一灰度图中所有窗口的灰度差异值的均值；将大于所述均值的灰度差异值所对应的窗口作为第一疑似形变区域；

分别对所述感兴趣区域和模板图像中的颜色种类进行标记；利用窗口分别对感兴趣区域和模板图像进行遍历；根据感兴趣区域中每个窗口相对于模板图像中对应窗口内颜色的差异，获取感兴趣区域中每个窗口相对于模板图像中对应窗口内的纹理形变系数；将大于纹理形变阈值的纹理形变系数对应于感兴趣区域中的窗口作为第二疑似形变区域；

根据第一疑似形变区域与第二疑似形变区域对感兴趣区域中交通护栏发生形变的区域进行识别；

所述感兴趣区域中每个窗口相对于模板图像中对应窗口内的纹理形变系数是按照以下步骤获取：

分别对感兴趣区域和模板图像中组成交通护栏的每个部件进行标记，并获取每个部件对应的部件区域；

根据感兴趣区域中每个窗口内每种颜色像素点数量，以及每种颜色像素点至该种颜色像素点集合的质心的距离，获取感兴趣区域中每个窗口内的第一纹理凌乱指数；

根据感兴趣区域中每个部件区域遍历的窗口的数量，以及每个窗口内第一纹理凌乱指数，获取感兴趣区域中每个窗口所在部件区域的第一纹理突出程度；同理，获取模板图像中每个窗口内的第二纹理凌乱指数，以及模板图像中每个窗口所在部件区域的第二纹理突出程度；

根据感兴趣区域中每个窗口的第一纹理凌乱指数和第一纹理突出程度，以及模板图像中与感兴趣区域中对应窗口的第二纹理凌乱指数和第二纹理突出程度，获取感兴趣区域中每个窗口相对于模板图像中对应窗口内的纹理形变系数。

2.根据权利要求1所述的在自动驾驶过程中的交通护栏识别方法，其特征在于，所述模板图像中每个窗口内的第二纹理凌乱指数是根据模板图像中每个窗口内每种颜色像素点数量，以及每种颜色像素点至该种颜色像素点集合的质心的距离而获取的。

3.根据权利要求1所述的在自动驾驶过程中的交通护栏识别方法，其特征在于，所述模板图像中每个窗口所在部件区域的第二纹理突出程度的获取方法如下：

根据模板图像中每个部件区域遍历的窗口的数量，以及每个窗口内第二纹理凌乱指数，获取模板图像中每个窗口所在部件区域的第二纹理突出程度。

4.根据权利要求1所述的在自动驾驶过程中的交通护栏识别方法，其特征在于，获取第一灰度图中每个窗口相对于第二灰度图中对应窗口内的灰度差异值过程中，还包括获取第一灰度图中的边缘线和第二灰度图中的边缘线；

再利用窗口分别对所述第一灰度图和第二灰度图进行遍历，分别获取第一灰度图中每个窗口内每条边缘线的第一灰度差异度，和第二灰度图中每个窗口内每条边缘线的第二灰度差异度；

根据第一灰度图中每个窗口内每条边缘线的第一灰度差异度，及第二灰度图中与第一灰度图中位置对应的窗口内所有边缘线的第二灰度差异度的均值，获取第一灰度图中每个窗口中边缘线的灰度差异值；

将第一灰度图中每个窗口中边缘线的灰度差异值作为第一灰度图中每个窗口相对于第二灰度图中对应窗口内的灰度差异值。

5.根据权利要求1所述的在自动驾驶过程中的交通护栏识别方法，其特征在于，所述感兴趣区域中交通护栏发生形变区域是按照以下步骤获取：

将第一疑似形变区域与第二疑似形变区域为同一区域时，将该区域作为感兴趣区域中交通护栏发生形变的区域。

6.根据权利要求1所述的在自动驾驶过程中的交通护栏识别方法，其特征在于，还包括：

获取车辆行驶时的点云图像；

根据交通护栏发生形变的区域内像素点的坐标信息获取对应于点云图像上的像素点；

根据对应于点云图像上的像素点获取交通护栏发生形变的区域距离车辆的位置信息；

根据交通护栏发生形变的区域距离车辆的位置信息，控制车辆与发生形变区域的交通护栏保持安全距离。