CN102564431B - 基于多传感器融合的非结构化环境理解方法 - Google Patents

Abstract

本发明公开了一种基于多传感器融合的非结构化环境理解方法。首先进行各个视觉传感器特征信息的配准与对齐，投影到当前车辆坐标系下；其次采用基于置信度加权的道路边沿特征提取方法，提取出融合的道路边沿；然后对融合的道路边沿进行帧间数据比较判断，获得较为稳定的道路边沿；再次从三位雷达数据中提取出可通行区域，和从视觉传感器获得稳定的道路边沿进行融合，获得最优道路边沿信息；最后进行道路边沿结果的帧间融合，减小帧间数据的变化。最终实现对非结构化环境稳定可靠的理解。本发明采用基于置信度加权的路边融合算法，解决单个传感器或者单帧数据道路边沿特征不能有效提取的问题。

Description

基于多传感器融合的非结构化环境理解方法

技术领域

本发明属于智能信息处理技术领域，特别是一种基于多传感器融合的非结构化环境理解方法。

背景技术

智能移动平台处于某个环境中，要实现在未知环境下的自主导航。智能体必须知道自己处在什么样的环境中，具体在什么位置和方位，周围哪些地方是安全区域，哪些地方存在危险，而且必须准确知道危险所在的位置，这些都必须以有效而可靠的环境感知为基础。

由于智能移动平台的工作环境不是光照、景物等相对恒定的室内环境，而是光照、景物、天气、季节及地理位置都复杂多变的室外环境。并且单一传感器本身具有局限性，单一传感器难以提供环境的全面描述，因此如今的智能移动平台基本上都配备了多种传感器。它们在不同频段，不同方位同时工作，按照一定频率获取其自身位置和外部环境的信息。这些信息之某种程度上可能具有冗余性，

也具有互补性，系统必须采用某种处理机制和方法对这些多源的信息进行必要的处理，并将其数据整合到当前智能体的世界中，达到对自身和外部环境信息的统一的，一致的描述，给予智能体当前环境的感知。

智能移动平台的视觉感知系统完成对环境内部模型的外部观测任务，需实时维持对外部环境描述的更新，但是各传感器对外部信息的观察总是有误差的，创建局部地图时，系统需对这些观测到不确定性进行建模，并分析来自多传感器信息的不确定度对决策所造成的影响，并考虑采用何种融合结构和方法尽可能消除不确定性的影响，达到对环境更可靠的描述。因此，智能移动平台的多传感器系统必须考虑多传感器的管理以及具体的传感器间的融合方法等。

信息融合主要在特征上进行，其中主要包括：多传感器标定技术、特征匹配技术、传感器建模技术、数据融合技术、障碍物检测技术等。多种传感器的信息，经过信息融合模块，使局部规划模块得到环境的局部模型信息。另外，智能移动平台的当前位置和姿态信息是关系到其能否正确完成导航认为的关键因素之一。目前这些信息主要采用惯性导航系统和全球定位系统(GPS)等方法来获取。

由于乡村道路具有以下特点：（1）道路表面覆盖物多种多样，可能是泥土、砂石、沥青和水泥；（2）道路宽度变化大，有些地方路面较宽，有些地方路面较窄，只能允许一辆车通过；（3）道路边界变化多样，大多是人工铺设路面与自然景物（植物）相交形成的道路边界，因此不能用简单的直线飙升，并且会随着季节变化；（4）道路平整度较差，可能凹凸不平，影响车辆的行驶速度；（5）路面存在多种多样的随机出现的静态或者动态障碍。因此已有的基于多传感器融合的环境理解方法不能很好的解决非结构化的乡村道路环境理解问题。

发明内容

本发明所解决的技术问题在于提供一种基于多传感器融合的非结构化环境理解方法，将不同频段，不同方位同时工作的多个传感器信息感知融合在一起，从而提高智能系统对局部环境感知理解的可靠性。

实现本发明目的的技术解决方案为：一种基于多传感器融合的非结构化环境理解方法，包括以下步骤：

步骤1、在车辆顶部设置两个以上视觉传感器来获取前方道路的视觉图像信息；在车辆顶部设置一个三维激光雷达传感器，在车辆头部设置两个单线雷达，用于获取车身周围的激光雷达信息；

步骤2、从各个视觉传感器获得的道路图像中提取出道路的边沿特征信息Rs[i](i代表传感器序号)，同时给该特征信息打上时间戳，该时间戳对应采集图像时车辆的位姿以及在全局坐标系统下的坐标；

步骤3、对边沿特征信息Rs进行预处理，具体是将道路边沿特征信息从图像坐标系转化到车辆当前的世界坐标系中，形成车辆世界坐标系下的道路边沿特征信息Rw；

步骤4、判断历史信息缓冲数组Rh是否满，如果不满，则将道路边沿特征信息Rw保存在历史信息缓冲数组Rh中，转入步骤5；否则使用历史信息缓冲数组Rh对道路边沿特征信息Rw的边界属性进行判断，如果边界属性正确，则将Rw保存于Rh中，如果边界属性错误，则调整该道路边沿特征信息的边界属性，最后将Rw保存在Rh中；使用历史信息缓冲数组Rh对道路边沿特征信息Rw的边界属性进行判断并调整该道路边沿特征信息的边界属性具体为：

步骤41、判断历史信息缓冲队列Rh是否已满，如果缓冲队列不满或者其稳定稳定程度低于50%，则退出对当前道路边属性的判断，否则执行下一步；

步骤42、计算车辆世界坐标系下的道路边沿特征信息Rw与历史信息缓冲数组Rh之间对应边及对称边的距离，如果当前道路边沿特征信息Rw[i][j]与对应边的距离小于与对称边的距离，则当前道路边沿特征信息Rw[i][j]与对应边相邻，否则与对称边相邻；之后统计Rw[i][1]与历史信息缓冲数组Rh中对应边相邻的次数x1,与历史信息缓冲数组Rh中对称边相邻的次数为x2；之后统计对应边Rw[i][2]与历史信息缓冲数组Rh中对应边的相邻次数x3，与历史信息缓冲数组Rh中对称边相邻的次数为x4；所述Rw[i][j]为第i个传感器的第j条边(j代表边的序号);

步骤43、调整该道路边沿特征信息的边界属性，如果x3<x4且x1<x2，则交换两条边的属性；如果x1<x2且x3<x2，则将第一条边的属性设置为第二条边的属性；如果x3<x4且x1<x4，则将第二条边的属性设置为第一条边的属性；

步骤5、基于置信度加权的路边特征融合，首先将历史信息缓冲数组Rh中的所有道路边沿特征信息进行置信度分析处理，然后采用基于置信度加权的道路边沿特征时空融合算法，提取出最可信的道路边沿特征Rf；

步骤6、将提取出的道路边沿特征信息Rf与历史道路边沿特征融合信息R_m-1进行帧间融合处理，获得融合后的特征信息R_m；

步骤7、在三维激光雷达数据中提取出道路的可通行区域Rr；

步骤8、使用步骤7提取的道路的可通行区域Rr对当前融合边R_m进行约束，得到激光雷达与视觉融合的最优特征信息R_m；

步骤9、对当前融合边进行平滑处理，具体是将当前融合边R_m和历史融合数据R_m-1进行平滑处理，使当前融合边R_m与历史融合数据R_m-1相比，路边的横向位移减小，且不超过设定的横向位移阈值，实现对非结构化环境的理解。

本发明与现有技术相比，其显著优点为：1）采用基于置信度加权的路边融合算法，解决单个传感器或者单帧数据道路边沿特征不能有效提取的问题；2）对置信度加权融合后的路边进行帧间融合，使融合的结果更加稳定；3）采用利用激光雷达数据提取可通行区域的边界来约束通过视觉传感器提取的最优道路边沿特征，解决视觉传感器在阴影或者障碍物阻碍时不能很好提取道路边沿特征情况；4）对于约束后的结果，进行帧间平滑处理，使融合的结果更加稳定。

下面结合附图对本发明作进一步详细描述。

附图说明

图1是本发明一种基于多传感器融合的非结构化环境理解方法的流程图。

图2是本发明一种基于多传感器融合的非结构化环境理解方法的基于雷达数据提取可通行区域边界的流程图。

图3是本发明一种基于多传感器融合的非结构化环境理解方法的实施例效果图。其中图（a）为可见光摄像机1道路边沿特征点提取效果图，图（b）为可见光摄像机2道路边沿特征点提取效果图，图（c）为红外摄像机1道路边沿特征点提取效果图，图（d）为三维激光雷达道路边沿特征提取效果图，图（e）为多传感器融合的复杂环境理解二维平面效果图。

具体实施方式

结合图1，一种基于多传感器融合的非结构化环境理解方法，包括以下步骤：

步骤1、在车辆顶部设置两个以上视觉传感器来获取前方道路的视觉图像信息；在车辆顶部设置一个三维激光雷达传感器，在车辆头部设置两个单线雷达，用于获取车身周围的激光雷达信息；由于三维激光雷达安装在车辆顶部，在车辆周围，特别是车头前面具有盲区，所以在车头前面安装两个单线雷达，消除车辆周围，特别是车头前面的雷达盲区，获得车身周围的障碍物信息；

步骤2、从各个视觉传感器获得的道路图像中提取出道路的边沿特征信息Rs[i](i代表传感器序号)，同时给该特征信息打上时间戳，该时间戳对应采集图像时车辆的位姿以及在全局坐标系统下的坐标；所述全局坐标系统为大地坐标系下的笛卡尔坐标系统，原点位置可以任意设定；

步骤3、对边沿特征信息Rs进行预处理，具体是将道路边沿特征信息从图像坐标系转化到车辆当前的世界坐标系中，形成车辆世界坐标系下的道路边沿特征信息Rw；

步骤4、判断历史信息缓冲数组Rh是否满，如果不满，则将道路边沿特征信息Rw保存在历史信息缓冲数组Rh中，转入步骤5；否则使用历史信息缓冲数组Rh对道路边沿特征信息Rw的边界属性进行判断，如果边界属性正确，则将Rw保存于Rh中，如果边界属性错误，则调整该道路边沿特征信息的边界属性，最后将Rw保存在Rh中；使用历史信息缓冲数组Rh对道路边沿特征信息Rw的边界属性进行判断并调整该道路边沿特征信息的边界属性具体为：

步骤41、判断历史信息缓冲队列Rh是否已满，如果缓冲队列不满或者其稳定稳定程度低于50%，则退出对当前道路边属性的判断，否则执行下一步；

步骤42、计算车辆世界坐标系下的道路边沿特征信息Rw与历史信息缓冲数组Rh之间对应边及对称边的距离，如果当前道路边沿特征信息Rw[i][j]与对应边的距离小于与对称边的距离，则当前道路边沿特征信息Rw[i][j]与对应边相邻，否则与对称边相邻；之后统计Rw[i][1]与历史信息缓冲数组Rh中对应边相邻的次数x1,与历史信息缓冲数组Rh中对称边相邻的次数为x2；之后统计对应边Rw[i][2]与历史信息缓冲数组Rh中对应边的相邻次数x3，与历史信息缓冲数组Rh中对称边相邻的次数为x4；所述Rw[i][j]为第i个传感器的第j条边;

步骤43、调整该道路边沿特征信息的边界属性，如果x3<x4且x1<x2，则交换两条边的属性；如果x1<x2且x3<x2，则将第一条边的属性设置为第二条边的属性；如果x3<x4且x1<x4，则将第二条边的属性设置为第一条边的属性。

步骤5、基于置信度加权的路边特征融合，首先将历史信息缓冲数组Rh中的所有道路边沿特征信息进行置信度分析处理，然后采用基于置信度加权的道路边沿特征时空融合算法，提取出最可信的道路边沿特征Rf；基于置信度加权的路边特征融合具体包括以下步骤：

步骤51、将历史信息数组Rh中的每一条边与历史信息中对应的边作比较，根据其稳定程度，赋予其置信度，之后统计每条边的最大置信度Fm[j]；若历史信息数组Rh中的某一条边与历史信息中对应的边相邻，则将置信度加一，当统计结束后，将历史信息数组Rh中边的置信度做归一化处理；

步骤52、对历史信息数组Rh中的所有特征边进行插值处理；插值的间隔大小是20cm；步骤53、将插值处理后的特征边投影到当前车体世界坐标系下建立的二维栅格图中；

步骤54、提取二维栅格图中每一行中的最优栅格点，首先对该行中每个栅格点的置信度赋值为该栅格点及其左右各4个栅格点的置信度之和F[n]；找出其最大的置信度F[max]，若F[max]大于该行其余最大置信度的125%，则该点为最优点，进入步骤57，否则执行步骤55；

步骤55、判断该行各个栅格点的置信度，如果最大F[max]和次大F[submax]的栅格点序号差小于等于5，则选择这两个栅格点中间点为最优栅格点，之后执行步骤57；否则执行步骤56；

步骤56、对该行各个栅格点的置信度进行再次判断，统计最大F[max]和次大F[submax]附近F[n]之和，选择和更大的点作为最优栅格点，之后执行步骤57；

步骤57、采用主元分析方法对所有的最优栅格点进行道路边界拟合，提取出最可信的道路边沿特征Rf。

步骤6、将提取出的道路边沿特征信息Rf与历史道路边沿特征融合信息R_m-1进行帧间融合处理，获得融合后的特征信息R_m；将提取出的道路边沿特征信息Rf与历史道路边沿特征融合信息R_m-1进行帧间融合处理，具体包括以下步骤：

步骤61、将通过置信度加权方法提取出最优道路边沿特征Rf进行初始置信度赋值处理：对于道路边沿特征信息Rf中的每条边，如果其中历史信息数组中某条对应边的置信度大于我们设定的完全可信阈值，则将该边的置信度设置为FPerfect，否则将其设置为FGood；

步骤62、将道路边沿特征信息Rf的每条边与历史结果R_m-1进行比较，如果对应边间的平均距离变化在设定的阈值范围内，则确认其置信度为FGood，否则将其置信度设置为FFluc，并执行步骤63；

步骤63、对道路每条边的连续波动的次数Fn进行判断，如果Fn<FTresh，且历史对应边或者Rf中的对称边的置信度大于等于FGood，则从历史对应边或者Rf中的对称边中选择置信度高的边对当前边进行修改；如果Fn≥FTresh，则选择当前道路边沿特征信息Rf作为融合结果。

步骤7、在三维激光雷达数据中提取出道路的可通行区域Rr；具体包括以下步骤：步骤71、对由激光雷达获得的三维数据进行降维处理，投影到二维栅格图中；

步骤72、将二维栅格图进行膨胀与腐蚀处理，使栅格图中的零散点聚集到一起，且不影响整体障碍分布构成；

步骤73、将膨胀与腐蚀后的数据以一定角度的低精度幅度按逆时针方向旋转雷达栅格数据，然后往X轴投影，所述一定角度为10°～20°，优选15°；

步骤74、将每组投影数据，按照OTSU算法求取一个最佳阈值t以及方差g；并将方差值最大的那组阈值t和方差g，以及旋转角度angle记录下来；

步骤75、以一定角度的高精度幅度在angle附近按逆时针方向旋转雷达栅格数据，然后重复步骤74求取最终的阈值t和旋转角度angle；t代表我们需要的可通行区域道路的中心，angle代表可通行区域道路的方向，所述一定角度为1～3°，优选2°；

步骤76、使用可通行区域道路的中心t，道路方向angle，并结合当前道路的宽度，求出可通行区域的道路边界Rr。

步骤8、使用步骤7提取的道路的可通行区域Rr对当前融合边R_i进行约束，得到激光雷达与视觉融合的最优特征信息R_m；

使用道路可通行区域Rr对当前融合边R_i进行约束具体包括以下步骤：

步骤81、根据每条边的最大置信度Fm[j]来选择一个线性的阈值做约束：道路内的距离Dt[j][1]=500*Fm[j]/（Fidelity_Thresh*2）+50,道路外地距离Dt[j][2]=200×Fm[j]/（Fidelity_Thresh*2）+30；所述Fidelity_Thresh为置信度完全可行的阈值,优选80%；

步骤82、求每一条边帧间融合后的道路边沿特征信息R_m与雷达可通行区域边界Rr的距离Dfr[j]，如果R_m[j]在雷达可通行区域边界Rr外面且Dfr[j]>Dt[j][2],或者如果R_m[j]在雷达可通行区域边界Rr里面且Dfr[j]>Dt[j][1]，则当前的融合边R_m[j]不可信，将其置信度设置为FNone；否则融合边R_m[j]可信，其置信度不变；

步骤83、对道路的各条融合边进行置信度判断，如果其置信度为FNone，则用雷达可通行区域边界Rr[j]替换当前融合的道路边沿特征信息R_m[j]。

步骤9、对当前融合边进行平滑处理具体为：

步骤91、求当前融合边R_m[j]与历史融合边R_m-1[j]的距离Ds[j]和道路方向的夹角As[j]；

步骤92、调整当前融合边R_m[j]的道路方向，使其与历史融合边R_m-1[j]的夹角为平滑角度Af[j]，所述Af[j]为As[j]的一半，如果Af[j]>Angle_Thresh，调整Af[j]为角度变化阈值Angle_Thresh；所述Angle_Thresh为角度变化阈值，优选10°

步骤93、调整当前融合边R_i[j]上各个道路边沿特征点的水平方向位置，该位置为当前融合边R_i[j]上特征点水平位置与历史融合边R_i-1[j]对应位置特征点水平位置的加权融合，如果距离Ds[j]大于距离变化阈值Dist_Thresh，那么R_i-1[j]对应位置特征点的权重为80%，R_i[j]的特征点权重为20%；如果距离Ds[j]小于距离变化阈值Dist_Thresh，那么两者的权重值相等，所述Dist_Thresh为距离变化阈值，优选100厘米。

下面结合实施例对本发明做进一步详细的描述：

图(a)为一种可见光视觉摄像机获取的当前环境的视觉图像，其图像大小为352×288，上面的线为提取的道路边沿特征点。

图(b)为另一种可见光视觉摄像机获取的当前环境的视觉图像，其图像大小为320×240，上面的线为提取的道路边沿特征点。

图(c)为红外视觉摄像机获取的当前环境的视觉图像，其图像大小为352×288，上面的线为提取的道路边沿特征点。

图(d)为三维激光雷达数据投影的二维栅格图。其中20米内的雷达数据比较丰富，栅格的分辨率为20cm×20cm，20米以外的数据比较稀疏，栅格的分辨率为50cm×50cm。然后采用图2所示的方法提取可通行区域边界，即(d)图中所示线。

最后执行图1所示的基于多传感器融合的非结构化环境理解方法。将不同频谱的多个传感器感知的环境信息，采用基于置信度加权的时空数据融合方法，最终获得对于外界环境更为准确的理解，如图(e)所示。

由上述实施例可知，本发明的方法可以有效获得对非结构化环境的可靠理解。

Claims (6)

1.一种基于多传感器融合的非结构化环境理解方法，其特征在在于，包括以下步骤：

步骤1、在车辆顶部设置两个以上视觉传感器来获取前方道路的视觉图像信息；在车辆顶部设置一个三维激光雷达传感器，在车辆头部设置两个单线雷达，用于获取车身周围的激光雷达信息；

步骤2、从各个视觉传感器获得的道路图像中提取出道路的边沿特征信息Rs[i]，其中i代表传感器序号，同时给该特征信息打上时间戳，该时间戳对应采集图像时车辆的位姿以及在全局坐标系统下的坐标；

步骤3、对边沿特征信息Rs进行预处理，具体是将道路边沿特征信息从图像坐标系转化到车辆当前的世界坐标系中，形成车辆世界坐标系下的道路边沿特征信息Rw；

步骤4、判断历史信息缓冲数组Rh是否满，如果不满，则将道路边沿特征信息Rw保存在历史信息缓冲数组Rh中，转入步骤5；否则使用历史信息缓冲数组Rh对道路边沿特征信息Rw的边界属性进行判断，如果边界属性正确，则将Rw保存于Rh中，如果边界属性错误，则调整该道路边沿特征信息的边界属性，最后将Rw保存在Rh中；使用历史信息缓冲数组Rh对道路边沿特征信息Rw的边界属性进行判断并调整该道路边沿特征信息的边界属性具体为：

步骤41、判断历史信息缓冲队列Rh是否已满，如果缓冲队列不满或者其稳定稳定程度低于50％，则退出对当前道路边属性的判断，否则执行下一步；

步骤42、计算车辆世界坐标系下的道路边沿特征信息Rw与历史信息缓冲数组Rh之间对应边及对称边的距离，如果当前道路边沿特征信息Rw[i][j]与对应边的距离小于与对称边的距离，则当前道路边沿特征信息Rw[i][j]与对应边相邻，否则与对称边相邻；之后统计Rw[i][1]与历史信息缓冲数组Rh中对应边相邻的次数x1,与历史信息缓冲数组Rh中对称边相邻的次数为x2；之后统计对应边Rw[i][2]与历史信息缓冲数组Rh中对应边的相邻次数x3，与历史信息缓冲数组Rh中对称边相邻的次数为x4；所述Rw[i][j]为第i个传感器的第j条边，其中j代表边的序号；

步骤43、调整该道路边沿特征信息的边界属性，如果x3<x4且x1<x2，则交换两条边的属性；如果x1<x2且x3<x2，则将第一条边的属性设置为第二条边的属性；如果x3<x4且x1<x4，则将第二条边的属性设置为第一条边的属性；

步骤5、基于置信度加权的路边特征融合，首先将历史信息缓冲数组Rh中的所有道路边沿特征信息进行置信度分析处理，然后采用基于置信度加权的道路边沿特征时空融合算法，提取出最可信的道路边沿特征Rf；

步骤6、将提取出的道路边沿特征信息Rf与历史道路边沿特征融合信息R_m-1进行帧间融合处理，获得融合后的特征信息R_m，其中m代表在历史融合结果中的序号；

步骤7、在三维激光雷达数据中提取出道路的可通行区域Rr；

步骤8、使用步骤7提取的道路的可通行区域Rr对当前融合边R_m进行约束，得到激光雷达与视觉融合的最优特征信息R_m；

步骤9、对当前融合边进行平滑处理，具体是将当前融合边R_m和历史融合数据R_m-1进行平滑处理，使当前融合边R_m与历史融合数据R_m-1相比，路边的横向位移减小，且不超过设定的横向位移阈值，实现对非结构化环境的理解。

2.根据权利要求1所述的基于多传感器融合的非结构化环境理解方法，其特征在在于，步骤5基于置信度加权的路边特征融合具体包括以下步骤：

步骤51、将历史信息数组Rh中的每一条边与历史信息中对应的边作比较，根据其稳定程度，赋予其置信度，之后统计每条边的最大置信度Fm[j]；

步骤52、对历史信息数组Rh中的所有特征边进行插值处理；

步骤53、将插值处理后的特征边投影到当前车体世界坐标系下建立的二维栅格图中；

步骤54、提取二维栅格图中每一行中的最优栅格点，首先对该行中每个栅格点的置信度赋值为该栅格点及其左右各4个栅格点的置信度之和F[n]，其中n为栅格点的序号；找出其最大的置信度F[max]，若F[max]大于该行其余最大置信度的125％，则该点为最优点，进入步骤57，否则执行步骤55；

步骤55、判断该行各个栅格点的置信度，如果最大F[max]和次大F[submax]的栅格点序号差小于等于5，则选择这两个栅格点中间点为最优栅格点，之后执行步骤57；否则执行步骤56；

步骤56、对该行各个栅格点的置信度进行再次判断，统计最大F[max]和次大F[submax]附近F[n]之和，选择和更大的点作为最优栅格点，之后执行步骤57；

步骤57、采用主元分析方法对所有的最优栅格点进行进行道路边界拟合，提取出最可信的道路边沿特征Rf。

3.根据权利要求1所述的基于多传感器融合的非结构化环境理解方法，其特征在在于，步骤6将提取出的道路边沿特征信息Rf与历史道路边沿特征融合信息R_i-1进行帧间融合处理，具体包括以下步骤：

步骤61、将通过置信度加权方法提取出最优道路边沿特征Rf进行初始置信度赋值处理：对于道路边沿特征信息Rf中的每条边，如果其中历史信息数组中某条对应边的置信度大于我们设定的完全可信阈值，则将该边的置信度设置为FPerfect，否则将其设置为FGood，其中FPerfect、FGood、FFluc和FNone都为置信度值，且FPerfect>FGood>FFluc>FNone；

步骤62、将道路边沿特征信息Rf的每条边与历史结果R_m-1进行比较，如果对应边间的平均距离变化在设定的阈值范围内，则确认其置信度为FGood，否则将其置信度设置为FFluc，并执行步骤63；

步骤63、对道路每条边的连续波动的次数Fn进行判断，如果Fn<FTresh，且历史对应边或者Rf中的对称边的置信度大于等于FGood，则从历史对应边或者Rf中的对称边中选择置信度高的边对当前边进行修改；如果Fn≥FTresh，则选择当前道路边沿特征信息Rf作为融合结果，其中FTresh为进行波动次数判断的阈值。

4.根据权利要求1所述的基于多传感器融合的非结构化环境理解方法，其特征在在于，步骤7在三维激光雷达数据中提取出道路的可通行区域Rr具体包括以下步骤：

步骤71、对由激光雷达获得的三维数据进行降维处理，投影到二维栅格图中；

步骤72、将二维栅格图进行膨胀与腐蚀处理，使栅格图中的零散点聚集到一起，且不影响整体障碍分布构成；

步骤73、将膨胀与腐蚀后的数据以一定角度的低精度幅度按逆时针方向旋转雷达栅格数据，然后往X轴投影，所述一定角度为10°～20°；

步骤74、将每组投影数据，按照OTSU算法求取一个最佳阈值t以及方差g；并将方差值最大的那组阈值t和方差g，以及旋转角度angle记录下来；

步骤75、以一定角度的高精度幅度在angle附近按逆时针方向旋转雷达栅格数据，然后重复步骤74求取最终的阈值t和旋转角度angle；t代表我们需要的可通行区域道路的中心，angle代表可通行区域道路的方向，所述一定角度为1～3°；

步骤76、使用可通行区域道路的中心t，道路方向angle，并结合当前道路的宽度，求出可通行区域的道路边界Rr。

5.根据权利要求1所述的基于多传感器融合的非结构化环境理解方法，其特征在在于，步骤8使用道路可通行区域Rr对当前融合边R_m进行约束具体包括以下步骤：

步骤81、根据每条边的最大置信度Fm[j]来选择一个线性的阈值做约束：道路内的距离Dt[j][1]＝500*Fm[j]/(Fidelity_Thresh*2)+50,道路外地距离Dt[j][2]＝200×Fm[j]/(Fidelity_Thresh*2)+30；所述Fidelity_Thresh为置信度完全可行的阈值；

步骤82、求每一条边帧间融合后的道路边沿特征信息R_m与雷达可通行区域边界Rr的距离Dfr[j]，如果R_m[j]在雷达可通行区域边界Rr外面且Dfr[j]>Dt[j][2],或者如果R_m[j]在雷达可通行区域边界Rr里面且Dfr[j]>Dt[j][1]，则当前的融合边R_m[j]不可信，将其置信度设置为FNone；否则融合边R_m[j]可信，其置信度不变；

步骤83、对道路的各条融合边进行置信度判断，如果其置信度为FNone，则用雷达可通行区域边界Rr[j]替换当前融合的道路边沿特征信息R_m[j]。

6.根据权利要求1所述的基于多传感器融合的非结构化环境理解方法，其特征在在于，步骤9对当前融合边进行平滑处理具体为：

步骤91、求当前融合边R_m[j]与历史融合边R_m-1[j]的距离Ds[j]和道路方向的夹角As[j]；

步骤92、调整当前融合边R_m[j]的道路方向，使其与历史融合边R_m-1[j]的夹角为平滑角度Af[j]，所述Af[j]为As[j]的一半，如果Af[j]>Angle_Thresh，调整Af[j]为角度变化阈值Angle_Thresh；

步骤93、调整当前融合边R_m[j]上各个道路边沿特征点的水平方向位置，该位置为当前融合边R_m[j]上特征点水平位置与历史融合边R_m-1[j]对应位置特征点水平位置的加权融合，如果距离Ds[j]大于距离变化阈值Dist_Thresh，那么R_m-1[j]对应位置特征点的权重为80％，R_m[j]的特征点权重为20％；如果距离Ds[j]小于距离变化阈值Dist_Thresh，那么两者的权重值相等。