CN103198302A - 一种基于双模态数据融合的道路检测方法 - Google Patents

Abstract

本发明公开了一种基于双模态数据融合的道路检测方法。包括如下步骤：激光雷达三维点的坐标系转换；获取落在摄像机图像范围内的激光雷达三维点集合；设定高度阈值，获取障碍物激光雷达三维点的子集；获取可通行道路区域激光雷达三维点的子集；获取非路区域和可通行道路区域的颜色混合高斯模型；获取图像上道路检测的感兴趣区域；构建基于马尔科夫随机场能量函数，求解能量函数最小值，获得全局最优图像道路检测结果。本发明实现了对复杂环境的鲁棒；检测结果不受道路表面阴影影响；能将传感器感知环境中细小的障碍物与可通行道路路区域区分；能对激光雷达无数据返回的区域与非路的判断；它适用于自主车辆导航等领域。

Description

一种基于双模态数据融合的道路检测方法

技术领域

本发明涉及图像分割技术，特别是涉及一种基于双模态数据融合的道路检测方法。

背景技术

基于传感器的道路检测算法在移动机器人自主导航领域中起着至关重要的作用。传统的道路检测算法基于单一的传感器，例如摄像机、激光雷达等。基于单一传感器对移动机器人周围环境进行感知存在着许多不足。单目摄像机能提供环境的颜色信息，但是该传感器对光照环境的不变性要求较高，在道路检测中对阴影和颜色对比度小的环境不鲁棒。双目摄像机可以通过获取环境的三维信息弥补单目摄像机在环境光线变化、出现斑驳阴影以及颜色对比度小的情况下检测效果差的不足，但是基于摄像机的三维重建系统不能满足算法实时性要求。激光雷达一般来说能准确的得到移动机器人周围环境的三维信息，但该传感器的不足在于，一方面不能获取无激光射线返回的物体的三维信息，例如水面、镜面物体，另一方面不能获取环境的颜色信息。

近年来，研究者进行了一系列基于多传感器融合进行道路检测的研究，其中将摄像机与激光雷达进行融合成为该领域的热门。这些研究主要分为两类，一类是在数据层上进行融合，将摄像机得到的图像信息和激光雷达得到的三维点信息作为特征进行分类，该方法的缺点是需要大量的人工标注来对样本进行训练，而且分类的结果好坏依赖于样本是否全面；另一类在决策层上进行融合，先将摄像机的图像信息与激光雷达的三维点信息分别进行分类，然后建立一个融合分类网络将两种传感器分类结果融合，该方法的缺点是需要人工定义融合分类网络，当分类类别数量较大时，该网络的定义将相当复杂。

发明内容

本发明的目的是提出一种基于双模态数据融合的道路检测方法，解决传统基于单一模态数据进行道路检测对环境光线变化不鲁棒，受道路上阴影影响大，对道路上路牌杆、护栏检测不敏感，对传感器无数据返回区域无法检测的问题。

本发明采用的技术方案的步骤如下：

1.1）激光雷达三维点的坐标系转换：将激光雷达三维坐标系，包括x轴，y1轴和z轴下的激光雷达三维点X_L＝(x_l,y_l,z_l)^T通过左乘激光雷达与摄像机之间的旋转平移矩阵[R_LC t_LC]转换为摄像机三维坐标系下的激光雷达三维点X_C＝(x_c,y_c,z_c)^T，其中R_LC表示激光雷达坐标系与摄像机坐标系之间的旋转矩阵，t_LC表示激光雷达坐标系与摄像机坐标系之间的平移量，(x_l,y_l,z_l)和(x_c,y_c,z_c)分别表示激光雷达坐标系下和摄像机坐标系下激光雷达三维点的坐标值，该坐标系转换公式（1）如下，其中

和分别表示X_C和X_L的其次坐标(x_c,y_c,z_c,1)^T和(x_l,y_l,z_l,1)^T，

${\tilde{X}}_C=\left[\begin{array}{cc}{R}_{\mathrm{LC}}& t_{\mathrm{LC}}\end{array}\right]{\tilde{X}}_L---\left(1\right)$

1.2）获取落在摄像机图像范围内的激光雷达三维点集合Γ：通过摄像机的内外参矩阵K，将摄像机三维坐标系下的激光雷达三维点X_C投影为摄像机拍摄二维图像的坐标系，u轴，即图像横轴和v轴，即图像纵轴下的激光雷达二维点X_I＝(u_I,v_I)^T，(u_I,v_I)表示二维图像的坐标系下激光雷达二维点的坐标值，摄像机投影公式（2）如下，其中

表示X_I的其次坐标(u_I,v_I,1)^T，

${\tilde{X}}_I=K{\tilde{X}}_C,\left(2\right)$

选取激光雷达二维点X_I中在图像长I_L宽I_W范围内的二维点对应的激光雷达坐标系下的激光雷达三维点，记为X_L′＝(x_l′,y_l′,z_l′)^T，作为集合Γ；

1.3）获取障碍物激光雷达三维点的子集Γ_O，并拟合道路所在的地平面：根据激光雷达安装的高度，设定高度阈值h，令激光雷达三维点集合Γ中z坐标在阈值h以上的点作为激光雷达检测到障碍物点的子集，记为Γ_O，令激光雷达三维点集合Γ中z坐标在阈值h以下的点，记为Γ/Γ_O，用于RANSAC平面拟合算法，拟合得到的平面即为道路所在地平面，该拟合的地平面参数记为π＝(a,b,c,d)^T，RANSAC平面拟合算法得到的内点集合记为

其中

为X_L′的其次坐标，

为设定的距离阈值；

1.4）获取可通行道路区域激光雷达三维点的子集Γ_R：RANSAC平面拟合算法得到的内点集合Γ_G中包含了所有离平面π＝(a,b,c,d)^T距离小于

的激光雷达三维点，但这些点中不仅包含可通行道路区域中的点，而且包含与道路平面垂直高度距离小于

的绿化带上的点，为了将可通行道路区域与绿化带区分，需要运用激光雷达射线对含叶绿素的植物反射率强的性质，通过k-means聚类算法对路面上的激光雷达点进行两类的聚类，其中反射率均值较低的一类激光雷达三维点作为可通行道路区域激光雷达三维点的子集，记为Γ_R；

1.5）分别获取非路区域和可通行道路区域的颜色混合高斯模型Θ_B和Θ_R：分别用激光雷达三维点集Γ_O和Γ_R对应的图像上激光雷达二维点X_I坐标值上的图像像素点颜色信息对非路区域和可通行道路区域进行混合高斯模型估计，得到估计的非路区域和可通行道路区域的颜色模型分别用Θ_B和Θ_R表示；

1.6）获取图像上道路检测的感兴趣区域ROI：通过摄像机坐标系下拟合的地平面参数π＝(a,b,c,d)^T，定义摄像机坐标系下地平面无穷远处三维点X_∞为

再通过摄像机的内外参矩阵K，得到摄像机坐标系下地平面穷远点对应的图像地平线上的点X_H＝(u_H,v_H)^T，如公式（3）所示，其中

为X_H的其次坐标，

${\tilde{X}}_H=K\left[\begin{array}{cc}{R}_{\mathrm{LG}}& t_{\mathrm{LG}}\end{array}\right]{\tilde{X}}_{\∞}---\left(3\right);$

然后将Κ个图像地平线上的点X_H通过最小二乘算法拟合地平线H＝(α₀,-1,α₁)，其中α₀和α₁为直线参数，使地平线上的点满足v_H＝α₀u_H+α₁，并设定图像地平线H以下为图像上道路检测感兴趣区域ROI；

1.7）马尔科夫随机场能量函数初始设计：利用马尔科夫随机场原理，将图像感兴趣区域ROI内的道路检测全局最优问题转化为解马尔科夫随机场的能量最小问题，该能量函数初始设计Ε(L,F,Θ)如公式（4）所示，

Ε(L,F,Θ)＝λΕ_Smooth(L,F)+Ε_Data(L,F,Θ)    （4）

其中，L＝{l_i|i∈ROI}表示图像感兴趣区域ROI内第i个像素点对应标记l_i的集合，l_i的取值0和1分别表示第i个像素点的标记为“非路”和“可通行道路”，F＝{f_i|i∈ROI}表示图像感兴趣区域ROI内第i个像素点对应特征f_i的集合，在本方法中选取图像像素点的RGB值作为该像素点的特征，即f_i＝(R_i,G_i,B_i)，(R_i,G_i,B_i)表示第i个像素点的R,G,B三个颜色通道的值，Θ＝{Θ_B,Θ_R}表示经计算得到的非路与可通行道路的先验概率模型，Ε_Smooth和Ε_Data分别是该能量函数的平滑项和数据项，λ是调节平滑项和数据项的权重参数；

1.8）马尔科夫随机场能量函数最终设计：通过考虑激光雷达点提供的信息，在最终设计的能量函数中将在激光雷达三维点中获得的障碍物子集Γ_O和可通行道路区域子集Γ_R对应的图像像素点作为已知的部分分割结果，新的能量函数设计如公式（5）所示

Ε(L,F,Θ,S)＝λΕ_Smooth(L,F)+Ε_Data(L,F,Θ,S)    （5）

其中，与公式（4）不同在于，增加了变量S用于表示图像感兴趣区域ROI内的像素点对应的激光雷达三维点障碍物子集Γ_O和可通行道路区域子集Γ_R；

1.9）求解能量函数最小值，获得全局最优图像道路检测结果：通过图割方法对公式（5）所示能量函数进行最小值求解，公式（5）所示能量函数的最小值对应的L的取值，即为图像感兴趣区域ROI内全局最优的可通行区域道路检测结果。

所述的RANSAC平面拟合算法，用激光雷达三维点集合Γ中z坐标在阈值h以下的点，记为

计算地平面参数π＝(a,b,c,d)^T，RANSAC平面拟合算法按照以下步骤进行：

2.1）从样本点集X_R中随机抽取3个点，得到平面初始模型π₀＝(a₀,b₀,c₀,d₀)^T；

2.2）计算样本点集X_R中与初始平面模型π₀的距离小于阈值t₁的子集构成内点集合X_Inliers；

2.3）若内点集合X_Inliers中元素个数超过阈值t₂，则用X_Inliers采用最小二乘算法重新计算平面模型π^*，重复步骤2）和3），直到算法收敛；

2.4）若内点集合X_Inliers中元素个数没有超过阈值t₂，则返回步骤2.1）。

所述的k-means聚类算法，是将激光雷达三维点样本特征聚类为两类，其中r，

d分别表示该激光雷达三维点的反射率、入射角和反射距离，k-means聚类算法按照以下步骤进行：

3.1）随机选取两个聚类质心

3.2）对于第n一个样本激光雷达三维点的特征如公式（6）计算其应该属于的类c_n，其中c_n取值1和2，分别表示以γ₁和γ₂为聚类质心的类，j表示类的序号；

3.3）如公式（7）所示，对于每一类j，重新计算该类的质心γ_j，其中m_j表示第j类的样本点个数

3.4）重复步骤3.2）和3.3），直至算法收敛。

所述的混合高斯模型估计通过下述方式估计由五个高斯分布加权构成的混合高斯模型，令在图像感兴趣区域ROI中第i个像素点的特征f_i服从如公式（8）所示概率，其中N(f_i;μ_k,Σ_k)是随机变量向量为f_i，均值向量为μ_k，协方差矩阵为Σ_k的高斯分布，ε_j是每个高斯分布的加权因子，k＝[1,5]是五个高斯分布的标号

$p\left(f_i\right)=\underset{k=1}{\overset{5}{\mathrm{\Σ}}}{\mathrm{\ϵ}}_{k}N(f_i;{\mathrm{\μ}}_k,{\mathrm{\Σ}}_k)---\left(8\right)$

由于样本服从的概率分布参数未知，需要找到一组混合高斯模型参数Θ＝(θ₁,θ₂,θ₃,θ₄,θ₅)，使得生成这些样本点的概率最大，其中θ_k＝(ε_k,μ_k,Σ_k)，该混合高斯模型用其参数Θ表示，令Μ为图像感兴趣区域像素点的数量，定义似然函数如公式（9）

$\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\log p(f_i;\mathrm{\Θ})=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\log \left\{\underset{k=1}{\overset{5}{\mathrm{\Σ}}}{\mathrm{\ϵ}}_{k}N(f_i;{\mathrm{\μ}}_k,{\mathrm{\Σ}}_k)\right\}---\left(9\right)$

通过期望最大算法求解如公式（10）所示，得到估计的混合高斯模型参数Θ^*，

${\mathrm{\Θ}}^{*}=\arg \underset{\mathrm{\Θ}}{\max }\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\log p(f_i;\mathrm{\Θ})---\left(10\right).$

所述的最小二乘算法拟合地平线，给定K组数据

(g₁＝0,1,...,K)，找一个直线方程v_H＝S^*(u_H)使误差平方和满足公式（11），其中S(u_H)＝a₀u_H+a₁，

${\left|\right|\mathrm{\δ}\left|\right|}^2=\underset{g_1=0}{\overset{K}{\mathrm{\Σ}}}{{\mathrm{\δ}}_{g_1}}^2=\underset{g_1=0}{\overset{K}{\mathrm{\Σ}}}{[S^{*}\left(u_{H_{g_1}}\right)-v_{H_{g_1}}]}^2=\underset{S\left(u_H\right)}{\min }\underset{g_1=0}{\overset{K}{\mathrm{\Σ}}}{[S\left(u_{H_{g_1}}\right)-v_{H_{g_1}}]}^2---\left(11\right).$

所述的马尔科夫随机场建模，将已经观测到的图像像素点特征F与像素点对应的未知标记L构建成一个两层的马尔科夫随机场，其中F构成观测层，其条件概率服从非路与可通行道路的先验概率模型，即所估计的混合高斯模型Θ_B和Θ_R，L构成隐藏层，从而本方法中的全局最优图像道路检测问题被描述为马尔科夫随机场中求解能量函数最小问题。

所述的马尔科夫随机场能量函数初始设计仅考虑来自于摄像机单模态的像素信息；

7.1）能量函数的平滑项用于描述图像像素点邻域Ν(i)内的像素点之间的依赖关系，如公式（12）所示

$E_{\mathrm{Smooth}}(L,F)=\underset{i\∈\mathrm{ROI}}{\mathrm{\Σ}}\underset{j\∈N\left(i\right)}{\mathrm{\Σ}}\exp (-{\left|\right|f_i-f_j\left|\right|}^2)T(l_i\≠l_j)---\left(12\right)$

其中，Ν(i)是像素点i的上、下、左和右四邻域；T(e)的取值0和1分别表示事件e为假和真；

7.2）能量函数的数据项用于估计各像素点标记为非路或可通行道路的置信度，如公式（13）所示

$E_{\mathrm{Data}}(L,F,\mathrm{\Θ})=\underset{\begin{array}{}\end{array}}{\underset{i\∈\mathrm{ROI}}{\underset{l_i=1,}{\mathrm{\Σ}}}}-\ln p\left(f_i\right|{\mathrm{\Θ}}_R)+\underset{i\∈\mathrm{ROI}}{\underset{l_i=0,}{\mathrm{\Σ}}}-\ln p\left(f_i\right|{\mathrm{\Θ}}_B)---\left(13\right)$

其中，p(f_i|Θ_R)和p(f_i|Θ_B)分别为路与非路的似然概率，分别服从的路和非路的先验概率分布Θ_R和Θ_B。

所述的马尔科夫随机场能量函数最终设计，在初始设计的能量函数的基础上增加了对激光雷达三维点的考虑；在新的设计中，将已被分类为路与障碍物的激光雷达点子集Γ_R和Γ_O对应的图像像素点集分别作为可通行道路与非路的部分分割结果，由此引入一个新的变量集S＝{s_i|i∈ROI}，由于摄像机与激光雷达非同质传感器，也就是说像素点与激光雷达点之间不存在一一对应关系，定义s_i如公式（14）所示

$s_i=\left\{\begin{array}{c}1,\∃X_{\mathrm{Li}}\∈{\mathrm{\Γ}}_R\\ 0,\∃X_{\mathrm{Li}}\∈{\mathrm{\Γ}}_O\\ -1,\mathrm{otherwise}\end{array}\right.---\left(14\right)$

定义新的能量函数保持平滑项不变，数据项如公式（15）至（17）所示

$E_{\mathrm{Data}}(L,F,\mathrm{\Θ},S)=\underset{i\∈I}{\underset{l_i=1,}{\mathrm{\Σ}}}h(f_i,s_i,{\mathrm{\Θ}}_R)+\underset{i\∈I}{\underset{l_i=0,}{\mathrm{\Σ}}}h(f_i,s_i,{\mathrm{\Θ}}_B)---\left(15\right)$

$h(f_i,s_i,{\mathrm{\Θ}}_R)=\left\{\begin{array}{cc}\mathrm{\α}& s_i=1\\ \mathrm{\β}& s_i=0\\ -\ln p\left(f_i\right|{\mathrm{\Θ}}_R)& \mathrm{otherwise}\end{array}\right.---\left(16\right)$

$h(f_i,s_i,{\mathrm{\Θ}}_R)=\left\{\begin{array}{cc}\mathrm{\β}& s_i=1\\ \mathrm{\α}& s_i=0\\ -\ln p\left(f_i\right|{\mathrm{\Θ}}_B)& \mathrm{otherwise}\end{array}\right.---\left(17\right)$

其中，α和β都是根据实验设定的参数，α是一个正数，β是一个正数，且β大于α。

本发明与背景技术相比具有的有益效果是：

1）对传感器感知环境中的光线变化鲁棒，适用于自主车辆导航等领域；

2）检测结果不受道路表面阴影影响；

3）能将传感器感知环境中细小的障碍物，例如路牌杆、护栏、电线杆与可通行道路路区域区分；

4）能对激光雷达无数据返回的区域，例如水面、玻璃，进行路与非路的判断；

5）属于自监督学习算法，无需任何人工标记；

6）无需人工定义融合分类网络。

附图说明

图1是基于双模态数据融合的道路检测方法流程图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

本发明采用KITTI数据集中原始数据，包括像素为的彩色图像、激光雷达数据点以及激光雷达与摄像机之间的旋转平移矩阵[R_LC t_LC]，进行实验，如图1所示，实施步骤如下：

1.1）激光雷达三维点的坐标系转换：将激光雷达三维坐标系，包括x轴，y轴和z轴下的激光雷达三维点X_L＝(x_l,y_l,z_l)^T通过左乘激光雷达与摄像机之间的旋转平移矩阵[R_LC t_LC]，转换为摄像机三维坐标系下的激光雷达三维点X_C＝(x_c,y_c,z_c)^T，其中R_LC表示激光雷达坐标系与摄像机坐标系之间的旋转矩阵，t_LC表示激光雷达坐标系与摄像机坐标系之间的平移量，(x_l,y_l,z_l)和(x_c,y_c,z_c)分别表示激光雷达坐标系下和摄像机坐标系下激光雷达三维点的坐标值，该坐标系转换公式（1）如下，其中

和

分别表示X_C和X_L的其次坐标(x_c,y_c,z_c,1)^T和(x_l,y_l,z_l,1)^T，

${\tilde{X}}_C=\left[\begin{array}{cc}{R}_{\mathrm{LC}}& t_{\mathrm{LC}}\end{array}\right]{\tilde{X}}_L---\left(1\right)$

在本实施例中，激光雷达在一个场景中共获得117765个数据点，激光雷达与摄像机之间的旋转平移矩阵[R_LC t_LC]具体数值为

$\left[\begin{array}{cccc}2.3477e-4& -0.9999& -0.0106& -0.5399\\ 0.0104& 0.0106& -0.9999& -0.0751\\ 0.9999& 1.2437e-4& 0.0105& -0.2721\\ 0& 0& 0& 1\end{array}\right]$

1.2）获取落在摄像机图像范围内的激光雷达三维点集合Γ：通过摄像机的内外参矩阵K，将摄像机三维坐标系下的激光雷达三维点X_C投影为摄像机拍摄二维图像的坐标系，u轴，即图像横轴和v轴，即图像纵轴下的激光雷达二维点X_I＝(u_I,v_I)^T，(u_I,v_I)表示二维图像的坐标系下激光雷达二维点的坐标值，摄像机投影公式（2）如下，其中

表示X_I的其次坐标(u_I,v_I,1)^T，

${\tilde{X}}_I=K{\tilde{X}}_C,\left(2\right)$

选取激光雷达二维点X_I中在图像长I_L宽I_W范围内的二维点对应的激光雷达坐标系下的激光雷达三维点，记为X_L'＝(x_l',y_l',z_l')^T，作为集合Γ；

在本实施例中，图像长I_L宽I_W分别为375和1242，单位是像素，所得集合Γ中元素个数为18744，摄像机的内外参矩阵K具体数值为

$\left[\begin{array}{ccc}721.5377& 0& 609.5593\\ 0& 721.5377& 172.8540\\ 0& 0& 1\end{array}\right]$

1.3）获取障碍物激光雷达三维点的子集Γ_O，并拟合道路所在的地平面：根据激光雷达安装的高度，设定高度阈值h，令激光雷达三维点集合Γ中z坐标在阈值h以上的点作为激光雷达检测到障碍物点的子集，记为Γ_O，令激光雷达三维点集合Γ中z坐标在阈值h以下的点，记为Γ/Γ_O，用于RANSAC平面拟合算法，拟合得到的平面即为道路所在地平面，该拟合的地平面参数记为π＝(a,b,c,d)^T，RANSAC平面拟合算法得到的内点集合记为其中

为X_L'的其次坐标，为设定的距离阈值在此设为0.08米；

在本实施例中，高度阈值h设为1.3米，障碍物激光雷达点的子集Γ_O元素个数为5014，用于RANSAC平面拟合算法的激光雷达三维点个数为13730，距离阈值

为0.08米，拟合得到的平面参数为(0.0095,0.0052,-1,-1.7110)^T，平面拟合内点的个数为13130，内点Γ_G占输入RANSAC算法数据点Γ/Γ_O的比例为95.63%；

1.4）获取可通行道路区域激光雷达三维点的子集Γ_R：RANSAC平面拟合算法得到的内点集合Γ_G中包含了所有离平面π＝(a,b,c,d)^T距离小于

的激光雷达三维点，但这些点中不仅包含可通行道路区域中的点，而且包含与道路平面垂直高度距离小于

的绿化带上的点，为了将可通行道路区域与绿化带区分，需要运用激光雷达射线对含叶绿素的植物反射率强的性质，通过k-means聚类方法对路面上的激光雷达点进行两类的聚类，其中反射率均值较低的一类激光雷达三维点作为可通行道路区域激光雷达三维点的子集，记为Γ_R；

在本实施例中，k-means聚类方法所聚两类的反射率均值分别为0.1118和0.2954，其中反射率均值为0.1118那一类作为可通行道路区域激光雷达点的子集Γ_R，其个数为2947；

1.5）分别获取非路区域和可通行道路区域的颜色混合高斯模型Θ_B和Θ_R：分别用激光雷达三维点集Γ_O和Γ_R对应的图像上激光雷达二维点X_I坐标值上的图像像素点颜色信息对非路区域和可通行道路区域进行混合高斯模型建模估计，得到估计的非路区域和可通行道路区域的颜色模型分别用Θ_B和Θ_R表示；

在本实施例中，非路区域和可通行道路区域的颜色模型分别用Θ_B和Θ_R分别为：

1.6）获取图像上道路检测的感兴趣区域ROI：通过摄像机坐标系下拟合的地平面参数π＝(a,b,c,d)^T，定义摄像机坐标系下地平面无穷远处三维点X_∞为

再通过摄像机的内外参矩阵K，得到摄像机坐标系下地平面穷远点对应的图像地平线上的点X_H＝(u_H,v_H)^T，如公式（3）所示，其中

为X_H的其次坐标，

${\tilde{X}}_H=K\left[\begin{array}{cc}{R}_{\mathrm{LG}}& t_{\mathrm{LG}}\end{array}\right]{\tilde{X}}_{\∞}---\left(3\right);$

然后运用最小二乘算法，将Κ个图像地平线上的点X_H拟合成地平线H＝(α₀,-1,α₁)，其中α₀和α₁为直线参数，使地平线上的点满足v_H＝α₀u_H+α₁，并设定图像地平线H以下为图像上道路检测感兴趣区域ROI；

在本实施例中，随机选取1242个三维空间中的无穷远点，拟合得到的地平线参数为H＝(-0.0054,-1,176.78)；

1.7）马尔科夫随机场能量函数初始设计：利用马尔科夫随机场原理，将图像感兴趣区域ROI内的道路检测全局最优问题转化为解马尔科夫随机场的能量最小问题，该能量函数初始设计Ε(L,F,Θ)如公式（4）所示，

Ε(L,F,Θ)＝λΕ_Smooth(L,F)+Ε_Data(L,F,Θ)    （4）

其中，L＝{l_i|i∈ROI}表示图像感兴趣区域ROI内第i个像素点对应标记l_i的集合，l_i的取值0和1分别表示第i个像素点的标记为“非路”和“可通行道路”，F＝{f_i|i∈ROI}表示图像感兴趣区域ROI内第i个像素点对应特征f_i的集合，在本方法中选取图像像素点的RGB值作为该像素点的特征，即f_i＝(R_i,G_i,B_i)，(R_i,G_i,B_i)表示第i个像素点的R,G,B三个颜色通道的值，Θ＝{Θ_B,Θ_R}表示经计算得到的非路与可通行道路的先验概率模型，Ε_Smooth和Ε_Data分别是该能量函数的平滑项和数据项，λ是调节平滑项和数据项的权重参数；

1.8）通过考虑激光雷达点提供的信息，在最终设计的能量函数中将在激光雷达三维点中获得的障碍物子集Γ_O和可通行道路区域子集Γ_R对应的图像像素点作为已知的部分分割结果，新的能量函数设计如公式（5）所示

Ε(L,F,Θ,S)＝λΕ_Smooth(L,F)+Ε_Data(L,F,Θ,S)    （5）

其中，与公式（4）不同在于，增加了变量S用于表示图像感兴趣区域ROI内的像素点对应的激光雷达三维点障碍物子集Γ_O和可通行道路区域子集Γ_R；

1.9）通过图割方法对公式（5）所示能量函数进行最小值求解，公式（5）所示能量函数的最小值对应的L的取值，即为图像感兴趣区域ROI内全局最优的可通行区域道路检测结果。

所述的RANSAC平面拟合算法，用激光雷达三维点集合Γ中z坐标在阈值h以下的点，记为

计算地平面参数π＝(a,b,c,d)^T，RANSAC平面拟合算法按照以下步骤进行：

2.1）从样本点集X_R中随机抽取3个点，得到平面初始模型π₀＝(a₀,b₀,c₀,d₀)^T；

2.2）计算样本点集X_R中与初始平面模型π₀的距离小于阈值t₁的子集构成内点集合X_Inliers；

2.3）若内点集合X_Inliers中元素个数超过阈值t₂，则用X_Inliers采用最小二乘算法重新计算平面模型π^*，重复步骤2）和3），直到算法收敛；

2.4）若内点集合X_Inliers中元素个数没有超过阈值t₂，则返回步骤2.1）。

所述的k-means聚类算法，是将激光雷达三维点样本特征聚类为两类，其中r，

d分别表示该激光雷达三维点的反射率、入射角和反射距离，k-means聚类算法按照以下步骤进行：

3.1）随机选取两个聚类质心

3.2）对于第n一个样本激光雷达三维点的特征

如公式（6）计算其应该属于的类c_n，其中c_n取值1和2，分别表示以γ₁和γ₂为聚类质心的类，j表示类的序号；

3.3）如公式（7）所示，对于每一类j，重新计算该类的质心γ_j，其中m_j表示第j类的样本点个数

3.4）重复步骤3.2）和3.3），直至算法收敛。

4.根据权利要求1所述的一种基于双模态数据融合的道路检测方法，其特征在于：所述的混合高斯模型由五个高斯分布加权构成，在图像感兴趣区域ROI中第i个像素点的特征f_i，服从如公式（8）所示概率，其中N(f_i;μ_k,Σ_k)是随机变量向量为f_i，均值向量为μ_k，协方差矩阵为Σ_k的高斯分布，ε_j是每个高斯分布的加权因子，k＝[1,5]是五个高斯分布的标号

$p\left(f_i\right)=\underset{k=1}{\overset{5}{\mathrm{\Σ}}}{\mathrm{\ϵ}}_{k}N(f_i;{\mathrm{\μ}}_k,{\mathrm{\Σ}}_k)---\left(8\right)$

由于样本服从的概率分布参数未知，需要找到一组参数Θ＝(θ₁,θ₂,θ₃,θ₄,θ₅)，使得生成这些样本点的概率最大，其中θ_k＝(ε_k,μ_k,Σ_k)，令Μ为图像感兴趣区域像素点的数量，定义似然函数如公式（9）

$\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\log p(f_i;\mathrm{\Θ})=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\log \left\{\underset{k=1}{\overset{5}{\mathrm{\Σ}}}{\mathrm{\ϵ}}_{k}N(f_i;{\mathrm{\μ}}_k,{\mathrm{\Σ}}_k)\right\}---\left(9\right)$

通过期望最大算法求解如公式（10）所示，得到估计的参数Θ^*，

${\mathrm{\Θ}}^{*}=\arg \underset{\mathrm{\Θ}}{\max }\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\log p(f_i;\mathrm{\Θ})---\left(10\right).$

所述的最小二乘算法拟合地平线，给定K组数据

(g₁＝0,1,...,K)，找一个直线方程v_H＝S^*(u_H)使误差平方和满足公式（11），其中S(u_H)＝a₀u_H+a₁，

${\left|\right|\mathrm{\δ}\left|\right|}^2=\underset{g_1=0}{\overset{K}{\mathrm{\Σ}}}{{\mathrm{\δ}}_{g_1}}^2=\underset{g_1=0}{\overset{K}{\mathrm{\Σ}}}{[S^{*}\left(u_{H_{g_1}}\right)-v_{H_{g_1}}]}^2=\underset{S\left(u_H\right)}{\min }\underset{g_1=0}{\overset{K}{\mathrm{\Σ}}}{[S\left(u_{H_{g_1}}\right)-v_{H_{g_1}}]}^2---\left(11\right).$

所述的马尔科夫随机场建模，将已经观测到的图像像素点特征F与像素点对应的未知标记L构建成一个两层的马尔科夫随机场，其中F构成观测层，其条件概率服从非路与可通行道路的先验概率Θ_B和Θ_R，L构成隐藏层，从而，本方法中的全局最优图像道路检测问题被描述为马尔科夫随机场中求解能量函数最小问题。

所述的马尔科夫随机场能量函数初始设计仅考虑来自于摄像机单模态的像素信息；

7.1）能量函数的平滑项用于描述图像像素点邻域Ν(i)内的像素点之间的依赖关系，如公式（12）所示

$E_{\mathrm{Smooth}}(L,F)=\underset{i\∈\mathrm{ROI}}{\mathrm{\Σ}}\underset{j\∈N\left(i\right)}{\mathrm{\Σ}}\exp (-{\left|\right|f_i-f_j\left|\right|}^2)T(l_i\≠l_j)---\left(12\right)$

其中，Ν(i)是像素点i的上、下、左和右四邻域；T(e)的取值0和1分别表示事件e为假和真；

7.2）能量函数的数据项用于估计各像素点标记为非路或可通行道路的置信度，如公式（13）所示

$E_{\mathrm{Data}}(L,F,\mathrm{\Θ})=\underset{i\∈\mathrm{ROI}}{\underset{l_i=1,}{\mathrm{\Σ}}}-\ln p\left(f_i\right|{\mathrm{\Θ}}_R)+\underset{i\∈\mathrm{ROI}}{\underset{l_i=0,}{\mathrm{\Σ}}}-\ln p\left(f_i\right|{\mathrm{\Θ}}_B)---\left(13\right)$

其中，p(f_i|Θ_R)和p(f_i|Θ_B)分别为路与非路的似然概率，分别服从的路和非路的先验概率分布Θ_R和Θ_B。

所述的马尔科夫随机场能量函数的最终设计，在初始设计的能量函数的基础上增加了对激光雷达三维点的考虑；在新的设计中，将已被分类为路与障碍物的激光雷达点子集Γ_R和Γ_O对应的图像像素点集分别作为可通行道路与非路的部分分割结果，由此引入一个新的变量集S＝{s_i|i∈ROI}，由于摄像机与激光雷达非同质传感器，也就是说像素点与激光雷达点之间不存在一一对应关系，定义s_i如公式（14）所示

$s_i=\left\{\begin{array}{c}1,\∃X_{\mathrm{Li}}\∈{\mathrm{\Γ}}_R\\ 0,\∃X_{\mathrm{Li}}\∈{\mathrm{\Γ}}_O\\ -1,\mathrm{otherwise}\end{array}\right.---\left(14\right)$

定义新的能量函数保持平滑项不变，数据项如公式（15）至（17）所示

$E_{\mathrm{Data}}(L,F,\mathrm{\Θ},S)=\underset{i\∈I}{\underset{l_i=1,}{\mathrm{\Σ}}}h(f_i,s_i,{\mathrm{\Θ}}_R)+\underset{i\∈I}{\underset{l_i=0,}{\mathrm{\Σ}}}h(f_i,s_i,{\mathrm{\Θ}}_B)---\left(15\right)$

$h(f_i,s_i,{\mathrm{\Θ}}_R)=\left\{\begin{array}{cc}\mathrm{\α}& s_i=1\\ \mathrm{\β}& s_i=0\\ -\ln p\left(f_i\right|{\mathrm{\Θ}}_R)& \mathrm{otherwise}\end{array}\right.---\left(16\right)$

$h(f_i,s_i,{\mathrm{\Θ}}_R)=\left\{\begin{array}{cc}\mathrm{\β}& s_i=1\\ \mathrm{\α}& s_i=0\\ -\ln p\left(f_i\right|{\mathrm{\Θ}}_B)& \mathrm{otherwise}\end{array}\right.---\left(17\right)$

其中，α和β都是根据实验设定的参数，α是一个正数，β是一个正数，且β大于α。

在本实施例中，α和β分别是5和100。

通过对KITTI数据集中2303组数据进行实验，并与人工标注的真值进行对比，得到结果如下所示

方法	能量函数初始设计	能量函数最终设计
			准确率	93.208%	94.403%
召回率	93.406%	93.337%

Claims (8)

1.一种基于双模态数据融合的道路检测方法，其特征在于，包括如下步骤：

1.1）激光雷达三维点的坐标系转换：将激光雷达三维坐标系，包括x轴，y轴和z轴下的激光雷达三维点X_L＝(x_l,y_l,z_l)^T通过左乘激光雷达与摄像机之间的旋转平移矩阵[R_LC t_LC]转换为摄像机三维坐标系下的激光雷达三维点X_C＝(x_c,y_c,z_c)^T，其中R_LC表示激光雷达坐标系与摄像机坐标系之间的旋转矩阵，t_LC表示激光雷达坐标系与摄像机坐标系之间的平移量，(x_l,y_l,z_l)和(x_c,y_c,z_c)分别表示激光雷达坐标系下和摄像机坐标系下激光雷达三维点的坐标值，该坐标系转换公式（1）如下，其中和

分别表示X_C和X_L的其次坐标(x_c,y_c,z_c,1)^T和(x_l,y_l,z_l,1)^T，

${\tilde{X}}_C=\left[\begin{array}{cc}{R}_{\mathrm{LC}}& t_{\mathrm{LC}}\end{array}\right]{\tilde{X}}_L---\left(1\right)$

1.2）获取落在摄像机图像范围内的激光雷达三维点集合Γ：通过摄像机的内外参矩阵K，将摄像机三维坐标系下的激光雷达三维点X_C投影为摄像机拍摄二维图像的坐标系，u轴，即图像横轴和v轴，即图像纵轴下的激光雷达二维点X_I＝(u_I,v_I)^T，(u_I,v_I)表示二维图像的坐标系下激光雷达二维点的坐标值，摄像机投影公式（2）如下，其中

表示X_I的其次坐标(u_I,v_I,1)^T，

${\tilde{X}}_I=K{\tilde{X}}_C,---\left(2\right)$

选取激光雷达二维点X_I中在图像长I_L宽I_W范围内的二维点对应的激光雷达坐标系下的激光雷达三维点，记为X_L'＝(x_l',y_l',z_l')^T，作为集合Γ；

1.3）获取障碍物激光雷达三维点的子集Γ_O，并拟合道路所在的地平面：根据激光雷达安装的高度，设定高度阈值h，令激光雷达三维点集合Γ中z坐标在阈值h以上的点作为激光雷达检测到障碍物点的子集，记为Γ_O，令激光雷达三维点集合Γ中z坐标在阈值h以下的点，记为Γ/Γ_O，用于RANSAC平面拟合算法，拟合得到的平面即为道路所在地平面，该拟合的地平面参数记为π＝(a,b,c,d)^T，RANSAC平面拟合算法得到的内点集合记为其中

为X_L'的其次坐标，

为设定的距离阈值；

1.4）获取可通行道路区域激光雷达三维点的子集Γ_R：RANSAC平面拟合算法得到的内点集合Γ_G中包含了所有离平面π＝(a,b,c,d)^T距离小于

的激光雷达三维点，但这些点中不仅包含可通行道路区域中的点，而且包含与道路平面垂直高度距离小于

的绿化带上的点，为了将可通行道路区域与绿化带区分，需要运用激光雷达射线对含叶绿素的植物反射率强的性质，通过k-means聚类算法对路面上的激光雷达点进行两类的聚类，其中反射率均值较低的一类激光雷达三维点作为可通行道路区域激光雷达三维点的子集，记为Γ_R；

1.5）分别获取非路区域和可通行道路区域的颜色混合高斯模型Θ_B和Θ_R：分别用激光雷达三维点集Γ_O和Γ_R对应的图像上激光雷达二维点X_I坐标值上的图像像素点颜色信息对非路区域和可通行道路区域进行混合高斯模型估计，得到估计的非路区域和可通行道路区域的颜色模型分别用Θ_B和Θ_R表示；

1.6）获取图像上道路检测的感兴趣区域ROI：通过摄像机坐标系下拟合的地平面参数π＝(a,b,c,d)^T，定义摄像机坐标系下地平面无穷远处三维点X_∞为

再通过摄像机的内外参矩阵K，得到摄像机坐标系下地平面穷远点对应的图像地平线上的点X_H＝(u_H,v_H)^T，如公式（3）所示，其中

为X_H的其次坐标，

${\tilde{X}}_H=K\left[\begin{array}{cc}{R}_{\mathrm{LG}}& t_{\mathrm{LG}}\end{array}\right]{\tilde{X}}_{\∞}---\left(3\right);$

然后将Κ个图像地平线上的点X_H通过最小二乘算法拟合地平线H＝(α₀,-1,α₁)，其中α₀和α₁为直线参数，使地平线上的点满足v_H＝α₀u_H+α₁，并设定图像地平线H以下为图像上道路检测感兴趣区域ROI；

1.7）马尔科夫随机场能量函数初始设计：利用马尔科夫随机场原理，将图像感兴趣区域ROI内的道路检测全局最优问题转化为解马尔科夫随机场的能量最小问题，该能量函数初始设计Ε(L,F,Θ)如公式（4）所示，

Ε(L,F,Θ)＝λΕ_Smooth(L,F)+Ε_Data(L,F,Θ)    （4）

其中，L＝{l_i|i∈ROI}表示图像感兴趣区域ROI内第i个像素点对应标记l_i的集合，l_i的取值0和1分别表示第i个像素点的标记为“非路”和“可通行道路”，F＝{f_i|i∈ROI}表示图像感兴趣区域ROI内第i个像素点对应特征f_i的集合，在本方法中选取图像像素点的RGB值作为该像素点的特征，即f_i＝(R_i,G_i,B_i)，(R_i,G_i,B_i)表示第i个像素点的R,G,B三个颜色通道的值，Θ＝{Θ_B,Θ_R}表示经计算得到的非路与可通行道路的先验概率模型，Ε_Smooth和Ε_Data分别是该能量函数的平滑项和数据项，λ是调节平滑项和数据项的权重参数；

1.8）马尔科夫随机场能量函数最终设计：通过考虑激光雷达点提供的信息，在最终设计的能量函数中将在激光雷达三维点中获得的障碍物子集Γ_O和可通行道路区域子集Γ_R对应的图像像素点作为已知的部分分割结果，新的能量函数设计如公式（5）所示

Ε(L,F,Θ,S)＝λΕ_Smooth(L,F)+Ε_Data(L,F,Θ,S)    （5）

其中，与公式（4）不同在于，增加了变量S用于表示图像感兴趣区域ROI内的像素点对应的激光雷达三维点障碍物子集Γ_O和可通行道路区域子集Γ_R；

1.9）求解能量函数最小值，获得全局最优图像道路检测结果：通过图割方法对公式（5）所示能量函数进行最小值求解，公式（5）所示能量函数的最小值对应的L的取值，即为图像感兴趣区域ROI内全局最优的可通行区域道路检测结果。

2.根据权利要求1所述的一种基于双模态数据融合的道路检测方法，其特征在于：所述的RANSAC平面拟合算法，用激光雷达三维点集合Γ中z坐标在阈值h以下的点，记为

计算地平面参数π＝(a,b,c,d)^T，RANSAC平面拟合算法按照以下步骤进行：

2.1）从样本点集X_R中随机抽取3个点，得到平面初始模型π₀＝(a₀,b₀,c₀,d₀)^T；

2.2）计算样本点集X_R中与初始平面模型π₀的距离小于阈值t₁的子集构成内点集合X_Inliers；

2.3）若内点集合X_Inliers中元素个数超过阈值t₂，则用X_Inliers采用最小二乘算法重新计算平面模型π^*，重复步骤2）和3），直到算法收敛；

2.4）若内点集合X_Inliers中元素个数没有超过阈值t₂，则返回步骤2.1）。

3.根据权利要求1所述的一种基于双模态数据融合的道路检测方法，其特征在于：所述的k-means聚类算法，是将激光雷达三维点样本特征

聚类为两类，其中r，

d分别表示该激光雷达三维点的反射率、入射角和反射距离，k-means聚类算法按照以下步骤进行：

3.1）随机选取两个聚类质心

3.2）对于第n一个样本激光雷达三维点的特征

如公式（6）计算其应该属于的类c_n，其中c_n取值1和2，分别表示以γ₁和γ₂为聚类质心的类，j表示类的序号；

3.3）如公式（7）所示，对于每一类j，重新计算该类的质心γ_j，其中m_j表示第j类的样本点个数

3.4）重复步骤3.2）和3.3），直至算法收敛。

4.根据权利要求1所述的一种基于双模态数据融合的道路检测方法，其特征在于：所述的混合高斯模型估计通过下述方式估计由五个高斯分布加权构成的混合高斯模型，令在图像感兴趣区域ROI中第i个像素点的特征f_i服从如公式（8）所示概率，其中N(f_i;μ_k,Σ_k)是随机变量向量为f_i，均值向量为μ_k，协方差矩阵为Σ_k的高斯分布，ε_j是每个高斯分布的加权因子，k＝[1,5]是五个高斯分布的标号

$p\left(f_i\right)=\underset{k=1}{\overset{5}{\mathrm{\Σ}}}{\mathrm{\ϵ}}_{k}N(f_i;{\mathrm{\μ}}_k,{\mathrm{\Σ}}_k)---\left(8\right)$

由于样本服从的概率分布参数未知，需要找到一组混合高斯模型参数Θ＝(θ₁,θ₂,θ₃,θ₄,θ₅)，使得生成这些样本点的概率最大，其中θ_k＝(ε_k,μ_k,Σ_k)，该混合高斯模型用其参数Θ表示，令Μ为图像感兴趣区域像素点的数量，定义似然函数

如公式（9）

$\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\log p(f_i;\mathrm{\Θ})=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\log \left\{\underset{k=1}{\overset{5}{\mathrm{\Σ}}}{\mathrm{\ϵ}}_{k}N(f_i;{\mathrm{\μ}}_k,{\mathrm{\Σ}}_k)\right\}---\left(9\right)$

通过期望最大算法求解如公式（10）所示，得到估计的混合高斯模型参数Θ^*，

${\mathrm{\Θ}}^{*}=\arg \underset{\mathrm{\Θ}}{\max }\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\log p(f_i;\mathrm{\Θ})---\left(10\right).$

5.根据权利要求1所述的一种基于双模态数据融合的道路检测方法，其特征在于：所述的最小二乘算法拟合地平线，给定K组数据

(g₁＝0,1,...,K)，找一个直线方程v_H＝S^*(u_H)使误差平方和满足公式（11），其中S(u_H)＝a₀u_H+a₁，

${\left|\right|\mathrm{\δ}\left|\right|}^2=\underset{g_1=0}{\overset{K}{\mathrm{\Σ}}}{{\mathrm{\δ}}_{g_1}}^2=\underset{g_1=0}{\overset{K}{\mathrm{\Σ}}}{[S^{*}\left(u_{H_{g_1}}\right)-v_{H_{g_1}}]}^2=\underset{S\left(u_H\right)}{\min }\underset{g_1=0}{\overset{K}{\mathrm{\Σ}}}{[S\left(u_{H_{g_1}}\right)-v_{H_{g_1}}]}^2---\left(11\right).$

6.根据权利要求1所述的一种基于双模态数据融合的道路检测方法，其特征在于：所述的马尔科夫随机场建模，将已经观测到的图像像素点特征F与像素点对应的未知标记L构建成一个两层的马尔科夫随机场，其中F构成观测层，其条件概率服从非路与可通行道路的先验概率模型，即所估计的混合高斯模型Θ_B和Θ_R，L构成隐藏层，从而本方法中的全局最优图像道路检测问题被描述为马尔科夫随机场中求解能量函数最小问题。

7.根据权利要求1所述的一种基于双模态数据融合的道路检测方法，其特征在于：所述的马尔科夫随机场能量函数初始设计仅考虑来自于摄像机单模态的像素信息；

7.1）能量函数的平滑项用于描述图像像素点邻域Ν(i)内的像素点之间的依赖关系，如公式（12）所示

$E_{\mathrm{Smooth}}(L,F)=\underset{i\∈\mathrm{ROI}}{\mathrm{\Σ}}\underset{j\∈N\left(i\right)}{\mathrm{\Σ}}\exp (-{\left|\right|f_i-f_j\left|\right|}^2)T(l_i\≠l_j)---\left(12\right)$

其中，Ν(i)是像素点i的上、下、左和右四邻域；T(e)的取值0和1分别表示事件e为假和真；

7.2）能量函数的数据项用于估计各像素点标记为非路或可通行道路的置信度，如公式（13）所示

$E_{\mathrm{Data}}(L,F,\mathrm{\Θ})=\underset{i\∈\mathrm{ROI}}{\underset{l_i=1,}{\mathrm{\Σ}}}-\ln p\left(f_i\right|{\mathrm{\Θ}}_R)+\underset{i\∈\mathrm{ROI}}{\underset{l_i=0,}{\mathrm{\Σ}}}-\ln p\left(f_i\right|{\mathrm{\Θ}}_B)---\left(13\right)$

其中，p(f_i|Θ_R)和p(f_i|Θ_B)分别为路与非路的似然概率，分别服从的路和非路的先验概率分布Θ_R和Θ_B。

8.根据权利要求1所述的一种基于双模态数据融合的道路检测方法，其特征在于：所述的马尔科夫随机场能量函数最终设计，在初始设计的能量函数的基础上增加了对激光雷达三维点的考虑；在新的设计中，将已被分类为路与障碍物的激光雷达点子集Γ_R和Γ_O对应的图像像素点集分别作为可通行道路与非路的部分分割结果，由此引入一个新的变量集S＝{s_i|i∈ROI}，由于摄像机与激光雷达非同质传感器，也就是说像素点与激光雷达点之间不存在一一对应关系，定义s_i如公式（14）所示

$s_i=\left\{\begin{array}{c}1,\∃X_{\mathrm{Li}}\∈{\mathrm{\Γ}}_R\\ 0,\∃X_{\mathrm{Li}}\∈{\mathrm{\Γ}}_O\\ -1,\mathrm{otherwise}\end{array}\right.---\left(14\right)$

定义新的能量函数保持平滑项不变，数据项如公式（15）至（17）所示

$E_{\mathrm{Data}}(L,F,\mathrm{\Θ},S)=\underset{i\∈I}{\underset{l_i=1,}{\mathrm{\Σ}}}h(f_i,s_i,{\mathrm{\Θ}}_R)+\underset{i\∈I}{\underset{l_i=0,}{\mathrm{\Σ}}}h(f_i,s_i,{\mathrm{\Θ}}_B)---\left(15\right)$

$h(f_i,s_i,{\mathrm{\Θ}}_R)=\left\{\begin{array}{cc}\mathrm{\α}& s_i=1\\ \mathrm{\β}& s_i=0\\ -\ln p\left(f_i\right|{\mathrm{\Θ}}_R)& \mathrm{otherwise}\end{array}\right.---\left(16\right)$

$h(f_i,s_i,{\mathrm{\Θ}}_R)=\left\{\begin{array}{cc}\mathrm{\β}& s_i=1\\ \mathrm{\α}& s_i=0\\ -\ln p\left(f_i\right|{\mathrm{\Θ}}_B)& \mathrm{otherwise}\end{array}\right.---\left(17\right)$

其中，α和β都是根据实验设定的参数，α是一个正数，β是一个正数，且β大于α。

Images