CN113435250B - 基于分焦平面红外偏振成像的全时道路检测方法及装置 - Google Patents

Abstract

本发明公开了一种基于分焦平面红外偏振成像的全时道路检测方法，包括以下步骤：利用设置在车辆上的分焦平面红外偏振相机采集道路场景图像；对道路场景图像进行图像预处理得到预处理图像；对预处理图像进行地平线检测得到地平线位置；在地平线约束下进行道路区域检测，得到道路置信度检测结果；对道路置信度检测结果进行处理得到道路检测结果。本发明还提出一种基于分焦平面红外偏振成像的全时道路检测装置。本发明根据道路的红外偏振特征及道路与背景的偏振特性差异，实现对道路的单目、实时、全天检测。

Description

基于分焦平面红外偏振成像的全时道路检测方法及装置

技术领域

本发明属于辅助/自动驾驶技术领域，具体涉及一种基于分焦平面红外偏振成像的全时道路检测方法及装置。

背景技术

道路检测是辅助驾驶系统/自动驾驶系统的重要任务。

目前辅助驾驶系统/自动驾驶系统主要的道路检测方式包括对路边状态的视觉检测方法与激光雷达方法、以及对行人采用的长波红外成像方法，其中视觉检测系统主要采用单目可见光相机与双目可见光相机，而单目可见光相机与双目可见光相机均工作在可见光波段；激光雷达采用主动光源对周围环境进行三维信息采集重建，可以实现全天工作。长波红外成像主要用于夜间道路上的行人检测，防止造成人员伤亡。

上述现有技术中，单目可见光相机与双目可见光相机均工作在可见光波段，在夜间与低照度环境下难以实现准确检测；采用激光雷达方法中激光雷达体积较大，且在雾霾条件误差较大；不利于恶劣天气的使用；而长波红外成像主要用于行人检测，尚无应用于道路检测。

发明内容

针对上述现有技术存在不足，本发明提供一种基于分焦平面红外偏振成像的全时道路检测方法及装置，由于道路的红外偏振信息与背景存在显著差异，利用道路的红外偏振特性可以实现道路区域的检测。结合分焦平面红外偏振成像技术将使得单目、实时、全天辅助驾驶系统/自动驾驶系统道路检测成为可能。

本发明采用的技术方案为：

一种基于分焦平面红外偏振成像的全时道路检测方法，包括以下步骤：

利用设置在车辆上的分焦平面红外偏振相机采集道路场景图像；

对道路场景图像进行图像预处理得到预处理图像；

对预处理图像进行地平线检测得到地平线位置；

在地平线约束下进行道路区域检测得到道路置信度检测结果；

对道路置信度检测结果进行处理得到道路检测结果。

作为本发明的进一步技术方案为：所述利用设置在车辆上的分焦平面红外偏振相机采集道路场景图像；具体包括：所述分焦平面红外偏振相机包括四个偏振输出，其中四个偏振输出图像角度为0°、45°、90°、135°。

作为本发明的进一步技术方案为：所述对原始偏振马赛克图像进行图像预处理得到预处理图像；具体包括：

对原始偏振马赛克图像进行图像去噪；

对原始偏振马赛克图像去马赛克；恢复四个方向的高质量、高分辨偏振图像I_θ(u)(θ＝0°,45°,90°,135°)。

作为本发明的进一步技术方案为：对预处理图像进行地平线检测得到地平线位置；具体包括：利用偏振角的0分布特性得到道路的粗检测结果M_coarse，利用道路消失先验得到地平线置信度图H，并定位地平线所处位置；具体为：

根据斯托克斯公式可得：

S₀,S₁和S₂是前三个斯托克斯参量，其中S₀为强度分量，S₁和S₂为线偏振分量；

计算偏振度图像D(u)和偏振角图像A(u)：

根据道路的偏振角0分布特性，可以得到道路粗检结果R_coarse：

R_coarse(i,j)＝exp(-γ|A(i,j)-0|)；

对道路粗检结果二值化处理得到道路粗检二值化结果M_coarse：

其中Θ表示形态学开操作，X为结构单元，M_coarse为道路粗检测结果；

将道路粗检测结果M_coarse通过以下方式投影到一维空间：

其中W为图像的宽，R_x表示道路粗检测结果M_coarse中每一行属于道路的像素数；

为了寻找地平线所在位置，首先生成地平线置信度图：

其中l和r表示行号，表示R_x中具有特定行距的任意两点(x和y)所决定直线与左侧纵轴相交点所在行；[·]表示当方括号内式成立时其值取1，否则取0；

对H进行后处理：

P_H为H的分段累积能量，th为分段跨度，通过寻找P_H中的最大能量所在位置确定地平线位置。

作为本发明的进一步技术方案为：在地平线约束下进行道路区域检测得到道路置信度检测结果；具体包括：

根据道路区域偏振角0分布特性和道路与车辆及背景间的偏振度差异特性，并结合图像边缘信息，得到联合道路检测置信度结果R_confidence，

其中，

其中，为偏振角图像约束项，/>为偏振度图像约束项，E_i,j为图像边缘约束项；/>和/>分别为偏振度图像、偏振角图像和S₀图像的边缘信息，ω₁、ω₂和ω₃为相应的权重；η、η₁、η₂和η₃为以上各约束项的权重；AoP_dom和DoP_dom为道路区域的占优偏振角及偏振度值；σ为偏置项。

进一步的，所述偏置项σ为道路区域主要偏振度分布范围的一半。

作为本发明的进一步技术方案为：所述对道路置信度检测结果进行处理得到道路检测结果，具体包括：

对道路的置信度检测结果进行二值化处理；

利用背景区域生长填充路面标志引起的空洞；

去除碎片区域得到最终道路检测结果。

本发明还提出一种基于分焦平面红外偏振成像的全时道路检测装置，包括：

道路场景采集单元，利用设置在车辆上的分焦平面红外偏振相机采集道路场景图像；

预处理图像单元，用于对道路场景图像进行图像预处理得到预处理图像；

地平线位置检测单元，用于对预处理图像进行地平线检测得到地平线位置；

道路置信度检测单元，用于在地平线约束下进行道路区域检测得到道路置信度检测结果；

检测结果输出单元，用于对道路置信度检测结果进行处理得到道路检测结果。

本发明的有益效果是：

本发明针对辅助驾驶系统/自动驾驶系统对全时、单目道路检测的需求，利用分焦平面红外偏振相机作为感知手段，根据道路的红外偏振特征及道路与背景的偏振特性差异，实现一种应用于辅助驾驶系统/自动驾驶系统的单目、实时、全天道路检测方法，为辅助驾驶系统/自动驾驶系统提供一种全新的道路检测手段。

附图说明

图1为本发明提出的分焦平面红外偏振成像相机及其应用结构示意图；

图2a为微纳光栅偏振阵列的整体结构示意图；

图2b为一个超像素单元示意图；

图3是道路表面法线在图像坐标系中的位置及相应的路面方位角分布图；

图4是2000幅道路图像中路面区域斯托克斯托勒斯参量S₁和S₂的概率统计分布结果图；

图5a是2000幅道路图像中路面区域偏振角的像素分布结果图；

图5b是相应的率统计分布结果图；

图6是2000幅道路图像中路面区域、车辆区域归一化偏振度的像素分布结果图；

图7是本发明提出的基于道路偏振特性的道路检测方法流程图；

图8a是偏振角图像图；

图8b是相应道路粗检测结果图；

图8c是相应道路粗检测二值化结果图；

图8d是道路粗检测二值化结果的一维投影结果图；

图8e是地平线置信度图；

图9是基于本发明提出方法所得部分道路检测结果图；

图10是本发明提出的基于道路偏振特性的道路检测装置结构图；

图中所示：

1-分焦平面红外偏振成像相机，2-微纳光栅偏振阵列，3-红外焦平面，

4-微纳光栅偏振阵列整体结构，5-偏振超像素的单元，6-90°偏振光栅单元，7-45°偏振光栅单元，8-0°偏振光栅单元，9-135°偏振光栅单元。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面结合附图对本申请作进一步的详细说明。应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。

本发明提供一种基于分焦平面红外偏振成像的全时道路检测方法原理如图1所示，采用分焦平面红外偏振相机作为辅助驾驶系统/自动驾驶系统的传感装置，设置于车辆顶部前方，分焦平面红外偏振相机集成了图2中结构的微纳光栅偏振阵列，可以实时获取场景四个方向红外偏振信息；超像素单元周期重复排布形成整个微纳光栅偏振阵列；另外，这种集成式偏振成像方式使得传感装置结构紧凑，与传统红外成像方式的体积、重量、功耗及成本基本一致，这使得分焦平面非常适合作为辅助驾驶系统/自动驾驶系统的传感装置。

偏振信息可以反映物体的表面三位方向信息，如图3所示道路场景，假设路面与相机图像坐标系y-z平面平行，路面的表面法向量为所以路面的表面法线/>与图像坐标系x轴平行，根据方位角定义(x轴与法线/>在x-y平面投影间的夹角)，易知路面的方位角α为0。路面方位角α与路面偏振角A(x)之间存在以下关系：

可以发现路面方位角α与偏振角A(x)之间的关系由路面的斯托克斯参量S₁的符号决定。由于在长波红外波段路面以自发辐射为主，根据基尔霍夫定律与菲涅尔公式可以证明路面的S₁为负，图4为对2000幅道路图像中路面区域斯托克斯托勒斯参量S₁和S₂的概率统计分布结果图，验证路面区域的S₁全部分布在负数区域，即S₁＜0，所以对于路面区域，有：

A(x)＝α＝0；

即道路区域的偏振角主要分布在0附近，进一步对2000幅道路图像中路面区域偏振角分布进行统计，像素分布结果如图5a所示，图5b是相应的概率统计分布结果图，可以发现，绝大部分道路区域的偏振角分布在0附近。所以道路区域的偏振角具有区别性特征，且与背景存在显著差异；道路的偏振角0分布特性为道路检测提供了强力的约束。

另一方面，由于车辆的前后窗及车引擎盖与道路具有相似的方位角，所以在偏振角中，车辆的这些部位与道路具有相近的偏振角分布，为了将车与道路区别开来，需要利用道路与车辆的偏振度特性差异。通常车辆前后窗具有较大的偏振度，其他部位偏振度较小，而道路的偏振度通常介于两者之间，如图6所示为2000幅道路图像中路面区域、车辆区域归一化偏振度的像素分布结果，可以发现道路与车辆之间存在显著的偏振度差异，这也为道路检测提供了又一有力约束。

实施例一

如图7所示，为本发明提出的一种基于分焦平面红外偏振成像的全时道路检测方法流程图。

参照图7，一种基于分焦平面红外偏振成像的全时道路检测方法，包括以下步骤：

步骤101，利用设置在车辆上的分焦平面红外偏振相机采集道路场景图像；

步骤102，对道路场景图像进行图像预处理得到预处理图像；

步骤103，对预处理图像进行地平线检测得到地平线位置；

步骤104，在地平线约束下进行道路区域检测得到道路置信度检测结果；

步骤105，对道路置信度检测结果进行处理得到道路检测结果。

在步骤101中，利用设置在车辆上的分焦平面红外偏振相机采集道路场景图像；具体包括：所述分焦平面红外偏振相机包括四个偏振输出，其中四个偏振输出图像角度为I_θ(u)(θ＝0°,45°,90°,135°)。

在步骤102中，对原始偏振马赛克图像进行图像预处理得到预处理图像；具体包括：

对原始偏振马赛克图像进行图像去噪；

对原始偏振马赛克图像去马赛克；恢复四个方向的高质量、高分辨偏振图像I_θ(u)(θ＝0°,45°,90°,135°)，并计算斯托克斯参量S₀,S₁和S₂和偏振度图D(u)及偏振角图A(u)。

在步骤103中，对预处理图像进行地平线检测得到地平线位置；具体包括：利用偏振角的0分布特性得到道路的粗检测结果M_coarse，然后利用道路消失先验得到地平线置信度图H，并定位地平线所处位置；具体为：

根据斯托克斯公式可得：

S₀,S₁和S₂是前三个斯托克斯参量，其中S₀为强度分量，S₁和S₂为线偏振分量，进一步可计算偏振度图像D(u)和偏振角图像A(u)：

图8a为偏振角图像图，根据道路的偏振角0分布特性，可以得到如图8b的道路粗检结果R_coarse：

R_coarse(i,j)＝exp(-γ|A(i,j)-0|)；

进一步可得如图8c的道路粗检二值化结果M_coarse：

其中Θ表示形态学开操作，X为结构单元，M_coarse提供了道路粗检测结果，进一步在此基础上可以实现地平线的检测。由于随着道路消失，从图像底部向上每一行属于道路的像素数逐渐减少，基于此先验信息，将道路粗检测结果M_coarse通过以下方式投影到一维空间：

其中W为图像的宽，R_x表示道路粗检测结果M_coarse中每一行属于道路的像素数，所以地平线应该位于道路消失的尽头，即图8d中斜线与左侧纵轴相交所在行。为了寻找地平线所在位置，首先生成如图8e的地平线置信度图：

其中l和r表示行号，表示R_x中具有特定行距(如行距为3)的任意两点(x和y)所决定直线与左侧纵轴相交点所在行。[·]表示当方括号内式成立时其值取1，否则取0；

对H进行如下后处理：

P_H为H的分段累积能量，th为分段跨度，则可通过寻找P_H中的最大能量所在位置确定地平线位置。地平线可以将道路区域限制到图像下方区域，所以后续道路区域检测只需在地平线以下部分进行即可，大大减小计算复杂度。地平线可以将道路区域约束到图像较低的区域，从而可以在地平线以下区域进行道路检测，提高检测效率。

在步骤104中，在地平线约束下进行道路区域检测得到道路置信度检测结果；具体包括：

根据道路区域偏振角0分布特性和道路与车辆及背景间的偏振度差异特性，并结合图像边缘信息，得到联合道路检测置信度结果R_confidence，

其中，

其中，为偏振角图像约束项，/>为偏振度图像约束项，E_i,j为图像边缘约束项。/>和/>分别为偏振度图像、偏振角图像和S₀图像的边缘信息，ω₁、ω₂和ω₃为相应的权重。η、η₁、η₂和η₃为以上各约束项的权重；

AoP_dom和DoP_dom为道路区域的占优偏振角及偏振度值，可在道路粗检测结果M_coarse约束下通过统计方式获得；σ为偏置项，可设置为道路区域主要偏振度分布范围的一半，通过统计获得。

在步骤105中，对道路置信度检测结果进行处理得到道路检测结果，具体包括：

对道路的置信度检测结果进行二值化处理；

利用背景区域生长填充路面标志引起的空洞；

去除碎片区域得到最终道路检测结果。

本发明实施例中，通过以上方式即可获得道路的置信度检测结果R_confidence，进一步可对道路置信度检测结果进行二值化处理：然后利用背景区域生长填充可能由路面标志引起的空洞，去除较小的碎片区域实现道路检测结果的改善精炼，从而得到最终道路检测结果。

如图9所示为基于本发明提出方法所得部分道路检测结果，道路区域被区别标记以便观测，结果中包括白天与夜间采集的道路场景数据。

实施例二

参见图10，为本实用新型提出的基于分焦平面红外偏振成像的全时道路检测装置结构图；

如图10所示，基于分焦平面红外偏振成像的全时道路检测装置，包括：

道路场景采集单元201，利用设置在车辆上的分焦平面红外偏振相机采集道路场景图像；

预处理图像单元202，用于对道路场景图像进行图像预处理得到预处理图像；

地平线位置检测单元203，用于对预处理图像进行地平线检测得到地平线位置；

道路置信度检测单元204，用于在地平线约束下进行道路区域检测得到道路置信度检测结果；

检测结果输出单元205，用于对道路置信度检测结果进行处理得到道路检测结果。

实施例一提出的一种基于分焦平面红外偏振成像的全时道路检测方法的各种变化方式和具体实例同样适用于本实施例中基于分焦平面红外偏振成像的全时道路检测装置，通过前述对基于分焦平面红外偏振成像的全时道路检测方法的详细描述，本领域技术人员可以清楚的知道实施例中基于分焦平面红外偏振成像的全时道路检测装置，所以为了说明书的简洁，在此不再详述。

本发明针对辅助驾驶系统/自动驾驶系统对全时、单目道路检测的需求，利用分焦平面红外偏振相机作为感知手段，根据道路的红外偏振特征及道路与背景的偏振特性差异，实现一种应用于辅助驾驶系统/自动驾驶系统的单目、实时、全天道路检测方法，为辅助驾驶系统/自动驾驶系统提供一种全新的道路检测手段。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，所属领域的普通技术人员参照上述实施例依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的权利要求保护范围之内。

Claims (7)

1.一种基于分焦平面红外偏振成像的全时道路检测方法，其特征在于，包括以下步骤：

利用设置在车辆上的分焦平面红外偏振相机采集道路场景图像；

对道路场景图像进行图像预处理得到预处理图像；

对预处理图像进行地平线检测得到地平线位置；具体包括：利用偏振角的0分布特性得到道路的粗检测结果M_coarse，利用道路消失先验得到地平线置信度图H，并定位地平线所处位置；具体为：

根据斯托克斯公式可得：

S₀,S₁和S₂是前三个斯托克斯参量，其中S₀为强度分量，S₁和S₂为线偏振分量；

计算偏振度图像D(u)和偏振角图像A(u)：

根据道路的偏振角0分布特性，得到道路粗检结果R_coarse：

R_coarse(i,j)＝exp(-γ|A(i,j)-0|)；

对道路粗检结果二值化处理得到道路粗检二值化结果M_coarse：

其中Θ表示形态学开操作，X为结构单元，M_coarse为道路粗检测结果；

将道路粗检测结果M_coarse投影到一维空间：

其中W为图像的宽，R_x表示道路粗检测结果M_coarse中每一行属于道路的像素数；

为了寻找地平线所在位置，首先生成地平线置信度图：

其中l和r表示行号，表示R_x中具有特定行距的任意两点x和y所决定直线与左侧纵轴相交点所在行；[·]表示当方括号内式成立时其值取1，否则取0；

对H进行后处理：

P_H为H的分段累积能量，th为分段跨度，通过寻找P_H中的最大能量所在位置确定地平线位置；

在地平线约束下进行道路区域检测得到道路置信度检测结果；

对道路置信度检测结果进行处理得到道路检测结果。

2.根据权利要求1所述的方法，其特征在于，所述利用设置在车辆上的分焦平面红外偏振相机采集道路场景图像；具体包括：所述分焦平面红外偏振相机包括四个偏振输出，其中四个偏振输出图像角度为0°、45°、90°、135°。

3.根据权利要求1所述的方法，其特征在于，所述对道路场景图像进行图像预处理得到预处理图像；具体包括：其中，道路场景图像为原始偏振马赛克图像；

对原始偏振马赛克图像进行图像去噪；

对原始偏振马赛克图像去马赛克；恢复四个方向的高质量、高分辨偏振图像I_θ(u)(θ＝0°,45°,90°,135°)。

4.根据权利要求1所述的方法，其特征在于，在地平线约束下进行道路区域检测得到道路置信度检测结果；具体包括：

根据道路区域偏振角0分布特性和道路与车辆及背景间的偏振度差异特性，并结合图像边缘信息，得到联合道路检测置信度结果R_confidence，

其中，

其中，为偏振角图像约束项，/>为偏振度图像约束项，E_i,j为图像边缘约束项；和/>分别为偏振度图像、偏振角图像和S₀图像的边缘信息，ω₁、ω₂和ω₃为相应的权重；η、η₁、η₂和η₃为以上各约束项的权重；AoP_dom和DoP_dom为道路区域的占优偏振角及偏振度值；σ为偏置项。

5.根据权利要求4所述的方法，其特征在于，所述偏置项σ为道路区域主要偏振度分布范围的一半。

6.根据权利要求1所述的方法，其特征在于，对道路置信度检测结果进行处理得到道路检测结果，具体包括：

对道路的置信度检测结果进行二值化处理；

利用背景区域生长填充路面标志引起的空洞；

去除碎片区域得到最终道路检测结果。

7.一种基于分焦平面红外偏振成像的全时道路检测装置，其应用如权利要求1-6任一权利要求所述的方法，其特征在于，包括：

道路场景采集单元，利用设置在车辆上的分焦平面红外偏振相机采集道路场景图像；

预处理图像单元，用于对道路场景图像进行图像预处理得到预处理图像；

地平线位置检测单元，用于对预处理图像进行地平线检测得到地平线位置；

道路置信度检测单元，用于在地平线约束下进行道路区域检测得到道路置信度检测结果；

检测结果输出单元，用于对道路置信度检测结果进行处理得到道路检测结果。