CN101185084A - 用于夜间探测道路的方法和系统 - Google Patents

Abstract

一种在源自于红外敏感摄像机的图像信号中探测道路特征的方法。总体来讲，所述方法包括，通过响应于其代表性温度为帧内的像素赋予二进制值来处理图像帧，之后对所述二进制掩码进行空间分析，以识别被赋予的二进制值相互类似的像素的区域。接下来，通过对所识别的具有相互类似的二进制值的区域的分析找到道路特征，并将与图像帧相关的道路特征的视觉指示提供给用户。

Description

用于夜间探测道路的方法和系统

技术领域

本发明涉及基于红外摄像机生成的信号探测夜间或者较差视觉条件下的道路的夜视系统。本发明还涉及通过从红外摄像机获得的图像探测夜间或者较差视觉条件下的道路的方法。本发明还涉及存储数据处理器的指令的数据载体，在被装载到计算机系统内之后，所述数据处理器执行探测夜间或较差视觉条件下的道路的方法。

背景技术

几乎70％的事故涉及夜间的行人。这样的事故的主要原因之一在于夜间能见度的降低。此外，有些人还会因为特殊的视力问题而造成夜间视敏度的下降，从而受到阻碍。因此，汽车公司非常关心为司机提供能够在夜间对道路进行自动障碍物/物体探测或计算机增强成像的车载系统。这需要有效的道路探测系统。

由于夜间道路照明不充分或者没有照明，因此，感测物体温度的红外(IR)摄像机有可能替代或补充基于视觉的系统。夜视系统的主要应用在于对道路上的物体的鲁棒探测，从而警告司机或者增强司机可以获得的观察。

前面已经联系行人探测描述了采用单个红外摄像机的夜间道路探测。最近，国际PCT专利申请No.WO2004/029659公开了一种有助于识别可能的行人的道路探测算法。该专利申请描述了一种基于某种特征的道路探测算法，该特征是说，在将图像区的温度值变换为灰度级代码之后，道路将呈现为具有恒定强度的光滑表面。在这样的假设下，诸如Sobel边缘探测算法的边缘探测技术能够识别出道路图案。但是，前述技术存在几种缺点。将会把道路标记识别为将道路划分为几个表面的边缘。道路可能在其表面上呈现纹理图案而不是恒定强度，其降低了边缘探测技术的有效性。天空也将呈现为光滑表面，并且可能具有与道路相同的边缘和纹理特性。此外，没有说明将道路与天空区分开的明确方法。

因而，用于夜间或较差视觉条件下的改进的或者更为鲁棒的道路探测方法将是有利的，具体而言，用于探测夜间或较差视觉条件下的道路的视觉系统将是有利的。

本发明基于这样的观察，即，道路在夜间具有低温；因而，与在红外摄像机图像帧内观察到的其余景物相比，其在该图像帧内将导致低强度像素值。本发明还基于这样的观察，车辆司机遇到不良视觉条件的绝大多数情况发生在冬季的月份，这时，平均温度低，并且红外摄像机也能够在白天提供有用的信息。本发明还基于这样的事实，即，如果道路和天空在从红外摄像机获得的图像中呈现为单个表面，那么它们通常在与地平面一致的线处相连。

本发明的目的在于提供克服现有技术的问题的探测夜间道路的方法和系统。本发明的另一目的在于提供鲁棒并且经济有效的探测夜间道路的方法和系统。

发明内容

本发明的目的是通过一种用于探测夜间或不良视觉条件下的道路的方法实现的，所述方法以图像帧为基础，并通过计算机执行，将所述图像帧划分为像素，每一像素具有被赋予的强度值，该强度值对应于所述图像帧代表的环境的点的温度，所述方法包括的步骤有：

通过在所述图像帧内探测作为显示道路的候选的像素计算掩码；

从所述候选道路像素中选择候选道路像素的初始群作为对所述道路的估算，其具有与所述图像帧的下部一致的或者处于其附近的下边界；

确定初始地平线估算，作为以候选道路像素的不同强度为特征的水平区域之间的第一条水平取向边界；

通过校正所选择的具有上边界的候选道路像素的初始群界定最终的道路群，所述校正是以所述上边界相对于所述初始估算地平线和地平线位置的预定上限的位置为基础的。

所述的候选道路像素的探测可以以由所述图像帧的像素强度值计算第一阈值为基础，其中，通过将每一像素强度值与所述第一阈值比较探测所述候选道路像素。

就本发明的一个方面而言，可以将所述第一阈值作为所述图像帧中的像素值的平均值计算。由此令人吃惊地获得了有用的第一阈值。由此通过提供降低的计算机处理需求简化了所述阈值的计算。但是，就本发明的另一方面而言，可以采用所述图像帧中的像素强度值的标准偏差对所述第一阈值加权。

可以由所述掩码的候选道路像素的垂直投影和所述投影的导数计算所述初始地平线估算。由此获得了确定地平线的有效计算方法。

所述初始地平线估算基于

第二地平线估算，其被确定为导数的绝对值大于预定常数的掩码R的最上面的一行；或者

所述第二地平线估算和第一地平线估算的平均值，其中，将所述第一地平线估算确定为垂直投影大于所述掩码的预定行的垂直投影和所述预定常数之和的掩码的最上面一行。

候选道路像素的选择包括识别掩码中具有相同候选像素值的连通群(connected cluster)，并选择最大的连贯群(coherent cluster)，其大于所有像素的预定百分比，并且具有位于掩码的某一行之下的下边界。

就本发明的一方面而言，通过将连通分支标识算法应用于所述掩码执行对掩码中具有相等像素值的连通群的识别。

所述最终道路群的选择包括：

如果初始道路群的上边界处于预定第二阈值之上，那么通过以初始地平线估算重新界定初始道路群的上边界来校正所述初始道路群；以及

如果所述初始道路群的上边界位于所述第二阈值之下或处于所述预定第二阈值上，那么选择所述初始道路群，并调整所述地平线估算，使之与所述初始道路群的上边界一致。

由此实现了使最终道路估算变得更为精确，因为采用图像中最可能与道路估算相关的信息对该方法进行了加权。

本发明的目的还通过一种用于探测夜间或不良视觉条件下的道路的系统实现，所述系统包括一个或多个数据处理器以及一个或多个数据存储器，所述系统将数据存储到所述一个或多个存储器内，其表示被划分为像素的图像帧，每一像素具有被赋予的强度值，所述强度值对应于所述图像帧代表的环境点的温度，为所述系统提供指令，所述指令通过一个或多个处理器执行后使该系统适于：

通过在所述图像帧内探测作为显示道路的候选的像素计算掩码；

从所述候选道路像素中选择候选道路像素的初始群作为对所述道路的估算，其具有与所述图像帧的下部一致的或者处于其附近的下边界；

确定初始地平线估算，作为以候选道路像素的不同强度为特征的水平区域之间的第一条水平取向边界；

通过校正所选择的具有上边界的候选道路像素的初始群界定最终的道路群，所述校正是以所述上边界相对于所述初始估算地平线和地平线位置的预定上限的位置为基础的。

就本发明的一个方面而言，所述系统还包括用于获得图像帧的单个红外摄像机。由此能够获得经济有效且鲁棒的系统。

但是，就本发明的另一个方面而言，所述系统可以包括用于获得图像帧的多个红外摄像机。由此，能够将根据本发明的方法和系统应用到用于校准多个摄像机的更为传统的系统当中。

就本发明的另一方面而言，所述系统还适于将最终道路群的图像显示给用户。由此，应用了该系统的车辆的用户，即司机可以对所显示的道路的图像做出反应，由此在视觉条件差时，例如，在夜间改善其驾驶。

本发明的目的还通过一种存储数据处理器的指令的数据载体实现，在指令装载到计算机系统内之后，其执行上述方法。

在当前语境中，“导数”一词用于表示两个数或矢量之间的数值差。

在当前语境中，“上”、“下”以及“上部”和“下部”是指对图像的观察中通常感受到的图像帧的取向，除非另行说明。

在当前语境中，“群(cluster)”是指具有类似的像素值的像素的连贯组(coherent group)。

附图说明

现在将参考附图，仅通过举例的方式说明本发明，在附图中：

图1是示出了根据本发明的第一方面的、用于探测夜间或者不良视觉条件下的道路的系统的方框图；

图2是示出了根据本发明的第一方面的道路探测模块的方框图；

图3是示出了根据本发明的第二方面的通过由单个红外摄像机获得的图像帧探测夜间或不良视觉条件下的道路的方法的流程图；

图4是示出了根据本发明的第二方面的、用于探测道路候选像素和提供初始红外影像的二进制掩码(mask)的算法的流程图；

图5是示出了根据本发明的第二方面的、估计地平线的算法的流程图；

图6是示出了根据本发明的第二方面的、根据候选道路像素的二进制掩码识别和探测道路的算法的流程图；

图7是示出了根据本发明的第二方面的、基于天空显示和地平线情况校正道路界定的算法的流程图；

图8是示出了根据本发明的实施例的、显示叠加在对应的初始红外图像上的道路的算法的流程图；以及

图9示意性地示出了用于探测夜间或不良视觉条件下的道路的方法的操作的例子。所述例子包括景物的图像(就像其在白天呈现的一样)、对图像的算法操作的中间步骤以及综合图像(resultingimage)，在综合图像中，将计算出的道路、地平线估算和天空区域叠加到初始图像上。

具体实施方式

在图1中示出了用于探测夜间或不良视觉条件下的道路的系统10的示意图，其包括计算机系统20、红外摄像机60、显示器70、视听报警器80和一系列控制键90。计算机系统10包括存储器25、输入/输出控制器35、通信总线45和处理器55。存储器25包括图像帧存储模块30、警报模块40和道路探测模块50。将红外摄像机60、显示器70和视听报警器80通过(例如)同轴电缆、双绞线电缆或者利用射频连接连接至计算机系统20。输入/输出控制器35、存储器25和处理器55通过通信总线45相互连接。将帧存储模块30、警报模块40和道路探测模块50置于存储器25内。例如，控制键90可以(例如)实现系统的启动和停机，当然还存在其他可能的应用。

在本发明的一个应用中，可以将用于探测夜间或不良视觉条件下的道路的系统10放到车辆当中，例如，小汽车、摩托车或卡车，其能够帮助司机、用户在驾驶过程中识别前方道路。

现在将描述用于探测夜间或不良视觉条件下的道路的系统10的操作。处理器55通过输入/输出控制器35和通信总线45从红外摄像机60接收图像。将帧存储在存储器25内，更具体地说，存储在帧存储模块30内。处理器55从道路探测模块50接收操作指令，并提供对路面的估算，所述估算是从接收自红外摄像机60并存储在帧存储模块30内的图像帧观察到的。此外，在本发明的一个实施例中，处理器55将估算的路面叠加到从摄像机60接收的图像帧上，并在显示器70上显示对应的综合图像。在第二实施例中，处理器55可以择一(alternatively)或者额外接收来自警报模块40的操作指令，并(例如)当在从摄像机60接收的红外图像中识别不到道路时，通过视听报警器80提醒汽车司机。警报模块40可以择一或者额外向伺服控制系统提供反馈信息，从而使汽车保持在道路界限内。

在图2中更为详细地示出了道路探测模块50，其中，模块50包括候选道路像素探测模块100、初始地平线估算模块110、道路界定模块120和道路/地平线校正模块130。在本发明的一个实施例中，显示器显示模块140可以补充所述方法。处理器55接收来自道路探测模块50的指令，并通过候选道路像素探测模块100、初始地平线估算模块110、道路界定模块120和道路/地平线校正模块130依次执行指令。在本发明的一个实施例中，所述模块将最终执行包含在显示器显示模块140内的指令。

在图3中通过200总体标示体现了通过从单个红外摄像机获得的图像探测夜间或者不良视觉条件下的道路的方法的步骤的流程图。优选通过图1所示的系统10中的道路探测模块50将该方法作为算法执行。所述方法包括的步骤有：按下探测系统启动210，在可以获得下一图像帧时，访问下一图像帧220，探测候选道路像素230，提供二进制掩码，估算地平线240，通过二进制掩模界定道路250，校正道路和地平线260，如有必要，任选地在显示器上显示图像270，如果用户已经指示了停止，以处理额外的帧，那么进行检验280。

在通过控制键90按下系统启动210，并且可以在帧存储模块30内获得新的图像帧时，访问图像帧220，并执行探测候选道路像素的算法步骤230。基于从候选像素获得的二进制掩码230，执行初始地平线估算240和道路界定250算法。在道路和/或地平线的校正260算法中获得对道路识别和地平线放置的最终判决。之后，优选在显示器上70上连同道路和地平线估算一起显示初始红外图像帧270。最后，算法200检验是否能够确认(例如)用户采用控制键90输入了系统停止信号280；如果没有观察到停止信号，算法200访问新图像帧，之后再次执行前述步骤。如果观察到系统停止信号，那么算法200将其自身设置到等待状态290，等待重新按下系统启动210。

从红外摄像机获得的图像帧通常由像素矩阵构成(x_max*y_max)，其中，x_max表示水平方向可用的像素数量，即列数，y_max表示垂直方向可用的像素的数量，即行数。每一像素被赋予一个表示该像素所涉及的图像的区域的温度的具体值。通常，像素值将随着每一图像帧而改变其强度。在下述说明中，为图像的最上面的一行赋予行值i＝1，为图像的最下面的一行赋予行值i＝Y_max。

在图4中示出了涉及探测候选道路像素的算法230的流程图。在处理器55接收到构成图2所示的候选道路像素探测模块100的指令时，执行所述算法。算法230包括的步骤有：通过复制一份有待分析的图像帧开始310，估算阈值320，访问来自所述图像帧的第一像素330，评估像素强度是否处于在步骤320中估算的阈值之上340，为像素赋予零值350，P＝0，或者为其赋予一值360，P＝1，检验估算的像素是否是图像中的最后一个像素370，访问下一像素图像380，创建并存储候选道路像素的二进制掩码390，并结束395。

一旦使第一帧/下一帧处于可用状态220，候选道路像素算法230就通过在存储图像帧存储模块30内复制一份有待分析的图像帧而开始运行。通常，将阈值Th作为图像帧像素值的强度的平均值

及其标准偏差σ_I的函数进行估算320。方程(1)示出了这一函数，其中k₁和k₂是确定两统计项，即

和σ_I的贡献的参数。根据具体的应用，可以找到这些参数k₁和k₂的最佳值。在本发明的一个实施例中，将阈值Th直接作为红外图像像素值的强度的平均值

计算，其表示将k₁视为1，将k₂视为零。这一实施例的优点在于，避免了用于计算标准偏差σ_I的密集计算处理，从而确保了低成本。上述实施例的性能已经得到了仔细的检验，并且与包括标准偏差的最佳阈值进行了比较。结果表明，在应用于道路探测应用中时，本发明的这一方法在降低了处理要求的同时提供了伪最佳状况(pseudo-optimumsituation)。

$\mathrm{Th}=k_1\×\stackrel{\‾}{I}+k_2\×{\mathrm{\σ}}_I---\left(1\right)$

在与本发明没有直接关系的情况下，如果需要计算标准偏差σ_I，使用k₁和k₂二者。在宽条件范围内获得的涉及图像的详细试验研究表明在为k₁和k₂二者都赋予值0.5时实现了最佳性能。

在算法230的下一步骤中，从帧存储模块30访问红外图像的第一像素，并将其强度值与估算的阈值相比较340。如果像素强度处于阈值Th之上350，那么为像素P赋予值0。如果像素的强度小于等于阈值Th，那么为像素赋予值1。这一程序尝试提取具有较低温度的像素作为候选道路像素。在所述方法的步骤370，检验所访问的像素是否是来自所述图像帧的最后一个像素。如果其是最后一个像素，那么将包括所有候选道路像素的二进制掩码存储在帧存储模块30内。如果不是最后一个像素，将访问下一像素P380，并执行与阈值Th的新的比较340，直到抵达最后一个像素为止，从而结束了对道路候选像素的执行395。在方程(2)中示出了步骤360，其中，将二进制掩码R(x，y)定义为红外图像的像素的强度I(x，y)和阈值Th的函数。

$R(x,y)=\left\{\begin{array}{cc}1& I(x,y)\≤\mathrm{Th}\\ 0& I(x,y)>\mathrm{Th}\end{array}\right.---\left(2\right)$

图5示出了给出最初估算地平线的算法240的步骤的流程图。在处理器55接收到构成图2所示的初始地平线估算模块110的指令时，执行所述算法。所述算法包括的步骤有：访问候选道路像素的二进制掩码410，计算像素的垂直投影(vertical projection)420，计算所述垂直投影的导数430，计算第一地平线估算440，计算第二地平线估算450，确定最终地平线估算并存储其位置460。

垂直投影计算420负责针对从候选道路像素的二进制掩码访问410的像素数据的每一行计算所有像素值的和，并将该和存储在存储器的矢量P_v(y)内。如方程(3)中所示，可以在数学上将这一步骤表示为对P_v(y)的计算。该算法中的下一步骤是对垂直投影的导数P_Dv(y)的计算430；其计算如方程(4)所示，其中，N是在微分过程中所要减去的元(element)之间的行差。涉及在宽条件范围内生成的图像的详细试验研究得出的结论为，N＝3提供了最佳的算法性能。但是，从这一最佳值N＝3产生的小变化，例如，N＝2，N＝4，N＝5对算法的精确度没有显著的影响。主要针对包括(320×240)像素的图像帧执行测试。如果就像素(x_max×y_max)而言，红外图像具有其他尺寸，那么N值通常将缩放至处于方程(5)中表示的裕量内的值。

$P_v=\left(y\right)=\underset{x}{\mathrm{\Σ}}R(x,y)---\left(3\right)$

$P_{\mathrm{Dv}}\left(y\right)=\left\{\begin{array}{cc}{P}_v\left(y\right)-P_v(y-N)& y>N\\ 0& y\≤N\end{array}\right.---\left(4\right)$

$\frac{y_{\max }}{120}\≤N\≤\frac{y_{\max }}{48}---\left(5\right)$

通过计算方程(6)来计算第一地平线估算440。从最上面的图像行i＝1启动比较，继续进行检验，直到找到与方程(6)中表示的不等式匹配的行为止，其中，H₁表示估算到地平线的行编号。

$H_1=\arg \underset{i}{\min }(P_v\left(i\right)>P_v\left(i_{\mathrm{up}}\right)+T_{L\arg e})---\left(6\right)$

在方程(6)中，i_up表示在其上具有找到天空区域的高概率的行，将T_Large定义为包括来自处于地平线处的道路的预期宽度(根据其包括的像素的数量定义的宽度)和由噪声生成的候选道路像素的影响的常数。图像帧内的噪声可能源自于具有与道路类似的温度特性的物体，或者只是简单地源自于图像的记录过程。

在天空温度通常高于阈值Th，并且通常不将其像素考虑为候选道路像素的情况下，对第一地平线估算的计算440尤为贴切。

在已经抵达了二进制掩码的最低行i＝Y_max，但却没有与所述不等式匹配的行的情况下，退出第一地平线估算440，算法240将在决定生成最终的地平线估算460的过程中仅考虑第二地平线估算450。例如，在所有的天空像素的温度均低于平均温度的情况下，将会产生后面描述的情况。

在本发明的一个实施例中，其中，所获得的红外图像帧包括由分别处于水平方向和垂直方向的320*240像素构成的矩阵，认为iup处于30和70之间，T_Large处于20和80之间。这些值是从涉及在宽条件范围内获得的图像的详细试验研究中获得的。如果就像素(x_max×y_max)而言，红外图像具有其他尺寸，那么i_up和T_Large的值通常将缩放至处于方程(7)和(8)表示的裕量内的值。

$\frac{y_{\max }}{8}\≤i_{\mathrm{up}}\≤\frac{y_{\max }}{3.5}---\left(7\right)$

$\frac{X_{\max }}{16}\≤T_{\max }\≤\frac{X_{\max }}{4}---\left(8\right)$

第二地平线估算450基于这样的观察，即，在地平线处垂直投影P_v(y)应当存在大局部导数。通过估算方程(9)计算这一估算450。从最上面的图像行i＝1启动比较，接下来进行检验，直到找到与方程(9)中表示的不等式匹配的行为止，其中，H₂表示估算到地平线的行编号。

$H_2=\arg \underset{i}{\min }\left(\right|P_{\mathrm{Dv}}\left(i\right)|>T_{L\arg e})---\left(9\right)$

在已经抵达二进制掩码的最低行i＝Y_max，却没有与方程(9)中的不等式匹配的行，即没有识别出地平线的情况下，认为第二地平线估算450处于二进制掩码之外，即，地平线必然处于图像帧所显示的内容之上。将第二地平线估算赋予值零，H₂＝0，从而避免在该算法的其他步骤中出现不确定性。

初始地平线估算460的确定和存储是以第一地平线估算440和第二地平线估算450为基础的。如果没有找到第一地平线估算H₁，那么初始地平线估算H460将等于第二地平线估算H₂。如果将第一和第二地平线估算二者都计算了出来，那么将根据方程(10)计算初始地平线估算H，即，将其作为两个估算的平均值计算，其在所分析的例子中提供了最为精确的估算。

$H=\frac{H_1+H_2}{2}---\left(10\right)$

在图6中示出了涉及允许在图像帧中界定道路的算法250的流程图。在处理器55接收到构成图2所示的道路界定模块120的指令时，执行所述算法。所述算法包括的步骤有：访问候选道路像素的二进制掩码410，将连通分支标识算法(connected component labelingalgorithm)应用于所述二进制掩码520，识别道路候选者530，从所述候选者中选择道路540，以及计算并存储所选道路的最小边界框(minimum-bounding box)550。

连通分支标识算法520包括的步骤有：从掩码的上部到下部，左侧到右侧逐像素扫描所述二进制掩码，以识别具有相互类似的强度值的相邻像素的区域；在这种情况下，以1标记具有相互类似的值的相邻像素。在所述分支标记算法的实现中，有可能采用不同的连通度(connectivity)的测量。在本发明的一个实施例中，采用8连通度。采用4连通度也有可能，但是其将在道路估算方面影响算法的准确性。所述算法提供了在x-y平面内表示的候选道路区域530的列表，基于下述说明中的三个原则从该列表中选择道路540，其中，图像的最低y坐标y＝1对应于图像的顶部，图像的最高y坐标y＝Y_max对应于图像的底部。第一个原则是有效道路区域必须至少覆盖像素总量的一定百分比。第二个原则是，应当将候选道路区域放到屏幕的特定区域内，并且其最大y坐标Ry_max应当高于某一预定常数RC_min。第三个原则是，将道路看作是符合第一和第二原则的最大候选道路区域。最后，计算道路的最小边界框，并将其存储在存储器550内。涉及在宽条件范围内获得的图像的详细试验研究表明，如果道路候选者覆盖了像素总量的至少10％，应当将其视为有效。在本发明的一个实施例中，其中，所获得的红外图像由320×240个像素的矩阵构成，RC_min被认为等于120，其表明预计道路的最低部分，即其最高的y坐标处于下半部分，即图像的底部。如果就像素(x_max×y_max)而言，红外图像具有其他尺寸，那么值RC_min通常将缩放至方程(11)中表示的值。

${\mathrm{RC}}_{\min }=\frac{Y_{\max }}{2}---\left(11\right)$

在图7中示出了表示用于校正道路和/或地平线的算法260的步骤的流程图。在处理器55接收到构成图2所示的道路/地平线校正模块130的指令时，执行所述算法。在下述说明中，图像的最低y坐标y＝1对应于图像的顶部，图像的最高y坐标y＝Y_max对应于图像的底部。算法260包括的步骤有：

访问初始地平线估算和道路的最小边界框610；

将道路最小边界框的最小垂直y坐标值与预定第二阈值N_sky比较620；

如有必要校正地平线630；

如有必要校正道路的最大垂直坐标(y)640；以及

最后存储更新的地平线和道路边界框660。

前面已经结合图5描述了地平线估算240，并且前面已经结合图6描述了最小边界框道路界定250。

通过将道路最小边界框的最小垂直y坐标值Ry_min与预定第二阈值N_sky比较启动校正道路和/或地平线的算法260。作为所述比较的第一选择，如果Ry_min小于N_sky，那么分析地平线估算H。如果地平线估算H等于零，那么不修改道路最小边界框。如果地平线估算H不同于零，那么修改道路最小边界框，使之仅包括处于地平线H下的部分，即，从垂直分量低于地平线值H的候选道路区域中擦除所有像素。作为所述比较的第二个选择，如果Ry_min大于等于N_sky，那么修改地平线估算，并将其值重新定义为等于道路最小边界框的最小垂直y坐标值Ry_min。最后，将新的道路最小边界框(如果受到了修改)和新的地平线(如果受到了修改)存储在存储器660内。在本发明的一个实施例中，其中，所获得的红外图像由320×240像素的矩阵构成，N_sky被认为处于30和70之间。这些值是从涉及在宽条件范围内获得的图像的详细试验研究中获得的。如果就像素(x_max×y_max)而言，红外图像具有其他尺寸，那么N_sky值通常将缩放至处于方程(12)中表示的裕量内的值。

$\frac{y_{\max }}{8}{\≤N}_{\mathrm{sky}}\≤\frac{y_{\max }}{3.5}---\left(12\right)$

在(例如)驾车穿过景观或城市的过程中，在能够设想到的大多数情况下，当前描述的校正初始道路群的标准均适用于所述方法。但是，可能发生特殊的情况，对于所述情况而言，可能要在校正算法260内实施额外的标准。

在图8中示出了有关显示叠加在对应的红外图像上的相关信息的算法270的流程图，所述相关信息是由在夜间或不良视觉条件下探测道路的方法200获得的。所述算法270包括的步骤有：访问初始红外图像帧710，如果用户指定则叠加道路边界框720，如果用户指定则叠加估算地平线730，如果用户指定则叠加天空边界框740，以及将最终的图像通过显示器70呈现给用户750。

除了从帧存储模块30获得的对应的初始红外图像之外，用户可以通过(例如)控制键90决定使哪些特征在显示器70中显示。可以通过不同的颜色代码在显示器中显示天空和道路特征，从而使用户容易地进行视觉识别。所述选择包括下述选择中的零项到全部：

-道路边界框720

-地平线估算730

-天空边界框740

在可以获得天空估算时，将天空的边界框740作为处于地平线估算以上的区域计算。在所指定的元素中的一个或多个无法得到的情况下，可以通过(例如)视听报警器80，例如，在显示器70上显示的消息提醒用户该情况。

在图9中示出了说明探测夜间或不良视觉条件下的道路的方法的操作的例子。所述例子包括景物810(就像白天所呈现的一样)、从红外图像帧生成的包含在二进制掩码中的候选道路像素820、从应用到红外图像帧上的算法获得的地平线估算和道路边界框830以及提供给屏幕的最终图像840，其中，道路、地平线估算(horizonestimate)和天空区域被叠加到了初始图像帧上。

图9所示的例子代表以具有16×12的降低分辨率的图像为基础的算法200的应用。图示的例子的特征在于具有天空区域，其中，天空的温度处于图像帧的平均温度之下。天空的低温在天空区域内提供了候选道路像素，这一点可以在二进制掩码820中观察到。尽管天空边界框构成了最大边界框，但是排除将其作为道路候选者，因为其最高y坐标处于某一位置RC_min之上，在所给出的例子中，认为RC_min为6。所述算法提供了地平线估算和道路边界框830作为结果，在本发明的一个实施例中，除了天空区域之外，所述地平线估算和道路边界框830均被叠加到初始红外图像帧840上，从而在显示器70上为用户提供导航信息。

应当认识到，在不背离后附权利要求界定的本发明的范围的情况下，可以对上文中描述的本发明的实施例进行修改。

在权利要求中，结合包含在括号内的附图标记和其他符号的目的在于促进对权利要求的理解，而不是以任何方式限制权利要求的范围。

在解释说明书及其相关权利要求时，不应以排他的方式解释诸如“包括”、“包含”、“结合”、“是”、“具有”的表达方式，即，应当将其解释为同样允许未明确定义的其他项目或部分存在。对单数的引用还可以被解释为对复数的引用，反之亦然。

总之，本发明涉及通过源自于红外敏感摄像机的图像信号探测道路特征的方法。总体来讲，所述方法包括，通过响应于其代表性温度为帧内的像素赋予二进制值来处理图像帧，之后对所述二进制掩码进行空间分析，以识别被赋予的二进制值相互类似的像素的区域。接下来，通过对所识别的具有相互类似的二进制值的区域的分析找到道路特征，并将与图像帧相关的道路特征的视觉指示提供给用户。

Claims (15)

1.一种用于在夜间或不良视觉条件下探测道路的方法，所述方法以图像帧为基础，并通过计算机执行，将所述图像帧I划分为像素，每一像素具有被赋予的强度值，该强度值对应于所述图像帧代表的环境点的温度，所述方法包括的步骤有

通过在所述图像帧内探测作为显示道路的候选的像素计算掩码R(230)；

从所述候选道路像素中选择(250)候选道路像素的初始群作为对所述道路的估算，所述初始群具有与所述图像帧的下部一致的或者处于其附近的下边界；

确定初始地平线估算(240)作为以候选道路像素的不同强度为特征的水平区域之间的第一条水平取向边界；

通过校正所选择的具有上边界的候选道路像素的初始群(250)界定最终道路群(260)，所述校正是以所述上边界相对于所述初始估算地平线和地平线位置的预定上限的位置为基础的。

2.根据权利要求1所述的方法，其中，所述候选道路像素的探测(230)是以从所述图像帧的像素强度值计算第一阈值Th为基础的，并且其中，通过将每一像素强度值与所述第一阈值Th进行比较来探测所述候选道路像素(230)。

3.根据权利要求2所述的方法，其中，将所述第一阈值Th作为所述图像帧中的像素值的平均值

计算。

4.根据权利要求3所述的方法，其中，用所述图像帧中的像素强度值的标准偏差σ_I为所述第一阈值Th加权。

5.根据权利要求1-4中的任何一项所述的方法，其中，由所述掩码R的候选道路像素的垂直投影P_v和所述投影P_v的导数P_Dv计算所述初始地平线估算(240)。

6.根据权利要求5所述的方法，其中，所述初始地平线估算(240)基于：

第二地平线估算H₂，其被确定为导数P_Dv的绝对值大于预定常数T_Large的掩码R的最上面的一行；或者

所述第二地平线估算H₂和第一地平线估算H₁的平均值，其中，所述第一地平线估算H₁被确定为垂直投影P_v大于掩码R的预定行的垂直投影P_v(i_up)和所述预定常数T_Large之和的掩码R的最上面一行。

7.根据权利要求1-6中的任何一项所述的方法，其中，所述的候选道路像素的选择(250)包括识别掩码R中具有相等候选像素值的连通群，并选择最大的连贯群，其大于所有像素的预定百分比，并且具有位于掩码R的某一行RC_max之下的下边界。

8.根据权利要求7所述的方法，其中，所述的在掩码R中具有相等像素值的连通群的识别是通过将连通分支标识算法应用于掩码R执行的。

9.根据权利要求1-8中的任何一项所述的方法，其中，所述的最终道路群的选择(260)包括：

如果所述初始道路群的上边界处于预定第二阈值(N_sky)之上，那么通过以所述初始地平线估算重新界定所述初始道路群的上边界来校正(640)所述初始道路群(250)；以及

如果所述初始道路群的上边界位于所述预定第二阈值N_sky之下或处于所述预定第二阈值N_sky上，那么选择(630)所述初始道路群(250)，并调整所述地平线估算，使之与所述初始道路群的所述上边界一致。

10.一种用于在夜间或不良视觉条件下探测道路的系统，所述系统包括一个或多个数据处理器以及一个或多个数据存储器，所述系统将数据存储在所述一个或多个存储器内，其表示被划分为像素的图像帧I，每一像素具有被赋予的强度值，所述强度值对应于所述图像帧代表的环境点的温度，为所述系统提供指令，所述指令通过所述一个或多个处理器执行后使该系统适于：

通过在所述图像帧内探测作为显示道路的候选的像素计算掩码R(230)；

从所述候选道路像素中选择(250)候选道路像素的初始群作为对所述道路的估算，所述初始群具有与所述图像帧的下部一致的或者处于其附近的下边界；

确定初始地平线估算(240)作为以候选道路像素的不同强度为特征的水平区域之间的第一条水平取向边界；

通过校正所选择的具有上边界的候选道路像素的初始群(250)界定最终道路群(260)，所述校正是以所述上边界相对于所述初始估算地平线和地平线位置的预定上限的位置为基础的。

11.根据权利要求10所述的系统，还包括用于获得图像帧I的单个红外摄像机。

12.根据权利要求10所述的系统，包括用于获得图像帧I的多个红外摄像机。

13.根据权利要求10-12中的任何一项所述的系统，其中，所述系统还适于向用户显示最终道路群(260)的图像。

14.采用根据权利要求12所述的系统校正所述多个摄像机。

15.一种存储用于数据处理器的指令的数据载体，在装载到计算机系统中时，其执行根据权利要求1-9中的任何一项所述的方法。

Images