CN104951747B - 用于确定安装在立体系统中的至少一个摄像机的阻碍状态的方法 - Google Patents

Abstract

本发明涉及用于确定安装在立体系统中的至少一个摄像机的阻碍状态的方法。本发明旨在提高用于确定使用两个或更多摄像机的立体系统的阻碍状态的性能特性，具有低错误率和允许准备好的车载安装的大小的资源。为了这个目的，本发明提供了局部方法和半全局方法的混合方法。根据一个实施例，每个立体图像由同时产生的左图像和右图像（11、12）形成，应用了将每个左图像（11）和右图像（12）分解成对应区段（10）。基于左图像（11）和右图像（12）按区段（10）由视差图（20）确定阻碍水平，并且其中向与最佳匹配评分相对应的每个像素分配视差。通过参考视差被认为有效的像素的百分率来执行视差图（20）的按区段（10）的密度的确定。然后，基于通过在区段的密度和预定义的密度水平之间进行比较而获得的使视差图（20）的区段模糊的概率的加权平均来确定至少一个摄像机的阻碍状态。

Description

用于确定安装在立体系统中的至少一个摄像机的阻碍状态的 方法

技术领域

本发明涉及一种方法，其用于确定车载安装在车辆（尤其是机动车辆）上的立体系统中的至少一个摄像机的阻碍（还称为阻塞）的状态，并且有助于辅助车辆驾驶员进行他/她的驾驶。

背景技术

在机动车安全和驾驶辅助的领域中，车载携带于车辆上的视频系统被用于检测障碍物（物体或人）或者检测此车辆外部的事件。通过使用两个车载摄像机，由数字处理系统所管理的视频系统允许确定车辆和这些障碍物之间的距离。那么其有可能承担各种功能，例如：障碍物的检测，危险的检测，道路标志、不要穿越的连续白线的检测和识别，或者其他的对来自另一方向的汽车的检测。后者检测可以与车辆灯光的管理相关联。

此外，这些障碍物或事件的识别是通过来自驾驶辅助系统的介入的警告来引起驾驶员的注意的。摄像机的可靠性因此是至关重要的并且可能变为决定性的，例如当需要实时知道在检测到没有障碍物时是否路上真的没有障碍物或者是否摄像机之一被至少部分地阻碍时。对摄像机阻碍的检测因此是与良好能见度的确定同样重要的。应当注意的是，阻碍的常见原因是摄像机光学器件上水的凝结。通常，阻碍的检测导致警告驾驶员存在这种凝结并且可以触发除雾/除霜装置。

车载摄像机的阻碍量的确定在专利文件US2013/0070966中得以解决。在这个文件中，屏幕被划分成区段（sector）并且基于对每个区段内通过物体的轮廓所检测到的物体的数量的测量来按区段分析阻碍的概率。这是按图像区段进行分析的方法。

根据这个方法的摄像机阻碍的检测仅提供有限的性能：仅在75%的情况中检测到摄像机的部分阻碍，用于执行这个检测的平均距离是200米。此外，在启动时，需要30米的平均距离来确定摄像机的阻碍状态。

使用按区段的相同方法，专利文件US8116526的思想是通过“边缘图（map）提取”生成图像数据并且基于该数据来检测特性点。根据三个检测扫描区来分类特性点，该三个检测扫描区分别布置在距车辆的近距离、中等距离和远距离处：一个区专用于道路、另一个区用于侧路和交叉点、以及一个区意图用于盲路（blind alley）或障碍物。以这种方式，图像处理步骤的数量相对于固定模型的检测而被减少，该固定模型的检测具有对整个图像的扫描以便检验图像与模型的对应性。

已经开发了针对具有两个摄像机的立体系统的其他方法，其允许提供关于由驾驶员观察到的场景的物体和障碍物的深度的附加信息。这个场景的元素的像素的深度与来自左图像和右图像的匹配像素的移位（另外称为“视差（disparity）”）成反比例，该左图像和右图像对应于场景的初始像素并且分别由左摄像机和右摄像机所检测。视差图（disparitymap）由这样匹配的像素之间的视差的集合构成。

通过使用针对场景的深度信息，连续视差图随时间的生成允许驾驶辅助应用的性能被增强。视差图的使用例如由专利文件US 2010/0013908、EP 2 381 416或FR 2 958 774所说明。

问题是正确匹配左图像和右图像的像素。常规地，视差图的生成通过两个步骤来执行：针对每对像素确定各个匹配度（还称为“匹配评分”），以及针对每对像素提取视差估计。

通过针对被分析的每对像素考虑这个环境内的像素来执行第一步骤。评分对应于被分析的该对的像素之间的相似性程度。第二步骤允许最可能的视差（其基于这个像素的匹配评分而被估计）被分配给来自左或右两个图像之一的每个像素（称为参考像素）。来自参考图像的像素集合构成立体图像的视差图，保留的视差已被转移到该参考图像上。

一般来说，已经根据确定评分的模式和表达视差的模式开发了三种类型的方法用于产生视差图：局部、全局和半全局方法。

局部方法基于来自每个图像的每个像素对的匹配评分，该匹配评分在紧密围绕要匹配的两个像素的像素之间获得。可以使用各种相关函数（平方差的和、绝对差的和、中心归一化互相关等）以便随后确定匹配像素的视差。对于所分析的每对像素，选择对应于最好评分的视差。

这些局部方法是最简单的并且因此占据很少的资源。它们生成高密度视差图，换句话说，其中大部分像素具有被认为有效的视差，有效性基于成对像素的视差之间的一致性（coherence）准则。然而，这些局部方法在闭塞区域中和在具有很少纹理（texture）的区域（例如对于新道路而言）中显著地遭受高错误率。

全局方法在于优化在整个参考图像上定义的能量函数。能量函数定义了视差图必须遵守的约束，例如视差在物体上的连续性。随后，寻求最小化这个能量函数的视差的集合。图形切割（Graph-Cut）方法和置信传播（Belief Propagation）是被最多研究的全局方法。

这些方法产生包括少数错误的密集视差图像。但是它们实施起来是复杂的并且需要非常大量的处理和存储器资源，这与车载硬件约束非常不兼容。

半全局方法基于与全局方法相同的原理但是基于图像的子集，即线或块。将优化能量函数的问题分解成子问题允许相对于全局方法而减少在处理和存储器资源方面的要求，但是导致重现了视差图上的伪像出现，具有不可忽略的错误率和平均到中等密度（average- to mediocre-density）的视差图（其由伪像的存在而引起）。

发明内容

本发明的主要目的是提高对具有两个摄像机的立体系统的阻碍状态的确定的性能特性，具有低错误率而同时提取具有高密度的视差图，具有合理大小的处理和存储器资源，从而允许准备好的车载安装。为了这个目的，本发明提供了局部和半全局方法的混合方法，其基于在直接半全局分析中将图像分解成区段来使用个体视差图，而不使用能量函数。

出于这个目的，本发明的主题是一种用于确定车载安装于车辆上的多摄像机系统中的至少一个摄像机的阻碍状态的方法，包括如下步骤：

· 采集视场的连续立体图像，来自多摄像机系统的每个立体图像由左图像和右图像形成，所述左图像和右图像被同时产生并以像素形式被数字存储，

· 基于连续的多摄像机图像计算视差图，以及

· 计算阻碍水平。

在本方法中，所述阻碍水平是由下面的连续步骤所确定的加权平均值：

· 将视差图划分成区段，

· 由具有被认为有效的视差的像素的百分率（fraction）来确定每个区段的密度，

· 通过在这个区段的密度和预定义的阻碍水平之间进行比较，确定视差图的按区段的立体阻碍概率，以及

· 作为视差图内这些区段的位置的加权的函数确定使区段模糊的概率的加权平均值。

相对于使用一个或多个摄像机的其他方法，这个方法然后可以提供关于潜在阻碍的更高速度的判定——甚至在不存在部分遮蔽车辆的物体时——提供更大速度的检测和更高速率的阻碍检测。

因此，为了定义本发明框架内的阻碍水平，视场中单个有纹理表面——例如道路——可以是足够的并且因此物体的存在不是必要的。本发明获得的性能特性与归因于下面的方法的计算速度相关联。例如，在车辆驾驶仅12米（而不是利用现有技术方法的大约30米）所需要的时间之后确定摄像机的阻碍存在。

在优选实施例中：

· 能够在确定区段的密度之前在视差图上按区段来执行视差噪声的数字滤波，

· 能够通过将数学形态学工具应用到视差图来执行视差噪声的数字滤波。

根据其他特别有利的实施例：

· 每个区段被分解成称为宏块的子集，这些宏块能够具有相同的大小并且在每个区段内被规则分布，通过测量这个区段的每个宏块的密度来按区段执行视差噪声的数字滤波，该密度是通过宏块的大于阈值的视差被认为有效的像素的百分率所测量的，被认为有效的宏块的比例确定区段的密度，

· 通过在这个区段中被认为有效的宏块的百分比与预定义的阻碍水平之间进行比较来确定按区段的立体阻碍概率，

·可以基本上在10和50之间选择区段的数量，

·可以基本上在10和100之间选择按区段的宏块的数量。

有利地，作为对计算阻碍水平的补充，执行单维-立体（mono-stereo）组合的分析测试以便确定在摄像机前面存在物体。对于每个被分析的图像而言，这个测试包括下面的步骤：

· 选择要分析的两个立体图像之一，称为单维图像（mono image），

· 将这个单维图像分解成具有与视差图的区段相同尺寸的区段以便形成单维图（mono map），

·转移到单维图上来计算单维图像的按区段的单维阻碍（mono obstruction）概率，

· 比较立体阻碍和单维阻碍的概率，然后通过将最低阻碍概率（对应于最高密度）分配给经滤波的视差图的每个区段，来在经滤波的视差图（具有按区段的立体阻碍概率）和单维图（具有按区段的单维阻碍概率）之间进行合并，以便生成经滤波的视差图（称为合并的（merged）），以及

· 如果合并的阻碍概率全局低于立体阻碍概率，则对应于正被分析的图像的摄像机被认为潜在地被阻碍，

· 在相反情况中，移动物体被认为已经遮蔽正被分析的摄像机的视场并且处理被触发。

优选地，计算按区段的单维阻碍概率是通过使用检测数据的特性点检测和边缘检测分析来执行的。

附图说明

在阅读参照附图的下文的非限制性详细描述时，本发明的其他数据、特征和优点将变得显而易见，附图分别示出：

图1是根据本发明的方法的一个实施例的由立体系统的两个摄像机采集的图像的示例，该图像与从这些图像形成的视差图相关联，

图2是根据本发明的一个特定实施例的视差图的示例，该视差图的区段被划分成宏块，

图3是用于计算立体系统的摄像机的阻碍水平的加权的示例，

图4a和4b是用于借助于视差图根据本发明来确定摄像机的阻碍水平的一种模式的流程图，

图5是用于基于单维类型的边缘检测以及单维与立体阻碍水平的比较来检测存在对摄像机的视场的临时遮蔽的单维-立体组合方法。

具体实施方式

图1图示了车载于机动车辆上的立体显示系统的摄像机上接收的左图像11和右图像12的一个示例。由数字处理系统（未示出）从这些图像11和12生成的视差图也被示出。图像11、12被划分成5×3个规则区段10，并且视差图20相应地被划分成5×3个区段。替代地，有可能直接将视差图划分成区段。

右图像12是完整的，然而将表现出的是，左图像11至少未再现（reproduce）在右图像12上看到的上部感兴趣区A1。与图像11相对应的左摄像机的视场因此在这个上部区A1上被部分阻碍，该上部区A1覆盖5个上部区段。

基于用作参考的图像之一（这里为左手侧图像11）的像素通过转移按区段10的视差来确定视差图20。在该示例中，每个视差表示通过图像11和12的具有最好匹配评分的像素之间的平方差所计算的距离。

区带A1的部分阻碍的结果是视差图20具有伪像21。这些缺陷对应于按区段的低密度水平（诸如从这些区段中的视差所确定的）——并且因此对应于高阻碍水平——如下文所详述的。

参考图2中一个特定变体的实施方式的示例，视差图20的每个区段10有利地被分解成具有相同尺寸的6×11个宏块30（仅示出一个宏块以便不损坏该图的清晰性）。这个附加的分解程度被用于对密度的更高分辨率分析（参照图4a和4b所示出的）。

在这个被如此划分成区段10和宏块30的视差图20中——在每个宏块30内测量视差密度。然后，根据这个区段10的宏块30的视差密度来按区段10计算密度，由具有大于给定阈值的密度的宏块的高比例来定义密集区段。

总的来说，通过作为区段在由摄像机产生的图像内的位置的函数而对区段的密度进行加权来计算摄像机的阻碍水平。图3示出用于计算立体系统的摄像机的总体阻碍水平的加权的一个示例。每个区段10具有加权系数40，并且摄像机的总体阻碍水平通过借助于这些系数40所加权的区段10的密度水平的平均来计算。具有系数“4”的最强加权对应于先前被判断为属于重要感兴趣区的区段10。这样的加权可适用于由图5中示出的视差图42的区段10所确定的密度。

用于基于视差图的按区段的密度水平的加权平均来确定摄像机的阻碍状态的一个示例由图4a中的流程图所图示，该流程图在图4b中被完成。图4a中的所有步骤102到108在图4b中在参考标记“B”下显现以便简化这个图4b的阅读。在图4a中，第一步骤100（称为“开始”）被用于初始设立，尤其用于一个摄像机相对于另一个摄像机的校准，这通过关联来自每个图像的相似小区域对来实现。

步骤101涉及根据给定的频率取得视场的连续立体左图像和右图像，诸如图1中的图像11和12。这些图像被存储在数字处理系统中。

这些图像允许视差图被生成（步骤102），这通过向每个像素分配表示两个像素间的相似性程度的匹配评分来实现，该两个像素来自随后被匹配的立体左图像和右图像。这个图被认为是未滤波的，因为它可能包含视差噪声，该视差噪声是由于阻碍、由于物体对摄像机的遮蔽、或者由于摄像机的失校准（de-calibration）而引起的。下面的步骤允许消除任何潜在的视差噪声。

在步骤103期间，视差图被划分成区段（根据参考图2的描述）。

在这个示例中，视差图的15个区段被划分成宏块，在这个示例中为66个宏块（步骤104）。有利的是，通过分析每个区段的每个宏块内的密度（步骤105），对视差噪声的数字滤波允许这个区段的密度被更精细地定义。这个密度分析步骤105以下面的方式被执行。对于每个宏块，通过宏块的、视差通过与阈值的比较而被认为有效的像素的百分率来测量密度。在这个示例中，密度高于80%的百分率的宏块被认为有效。

替代地，可以使用本领域技术人员已知的数学形态学工具按区段直接执行对视差噪声的数字滤波。

作为选项或在并行序列中独立地，在密度分析步骤105之后，然后有可能在失校准测试106中检测所观察的噪声是由于失校准而引起还是由于阻碍类型的干扰而引起，因为在这两种情况中视差图被不同地影响。通过实行车载多摄像机系统的初始设立来执行这个测试。如果失校准测试断定存在失校准，则有利的是执行重校准（步骤107）。

然后，在步骤108处，由每个区段内被认为有效的宏块的比例来确定按区段的密度。在确定所有区段的密度之后，视差图被认为“已滤波”。

随后按区段进行阻碍概率的计算。其在步骤109处在于，将这个区段内被认为有效的宏块的百分比与预定义的阻碍水平进行比较。在示例中，如果该区段内被认为有效的宏块的百分比高于35%，则该区段被认为未被阻碍。

替代地，在示例性实施例的简化版本中还有可能在分析步骤B中不使用宏块（编号为104到108的步骤）。出于这个目的，在用于计算阻碍概率的步骤109处，直接使用按区段的经过滤的密度而不是通过比较每个区段的密度（在用于计算密度的步骤108处由视差被认为有效的按区段的像素的百分率所定义）与预定义的密度百分比（这里为35%）而被认为有效的宏块的密度。

在本方法的下面的部分中，考虑基于构成每个区段的宏块的密度的视差分析。

一旦按区段的宏块的密度已在步骤108处被定义，通过计算（步骤109）所供应的按区段的阻碍概率被称为立体阻碍概率（与下文描述的单维阻碍概率相区分），因为它在从立体系统的图像生成的视差图的区段上被执行。

图4b示出根据本发明的方法的后续部分，其将有利地允许检验在视差图上观察到的噪声是由于真实阻碍而引起的还是由于遮蔽两个摄像机之一的视场的物体而引起的。

这个检验在于：根据被称为“合并的”42的视差图建立按区段10c的阻碍概率，参照图5（将进一步被描述）图示该“合并的”42，其是通过使用被称为“立体图”22的经滤波的视差图并使用被称为“单维图”32的图，从由正被分析的摄像机所供应的图像所形成的。

该单维图实际上对应于从在步骤101处取得的两个立体图像11和12（图1）之间选择的图像（步骤112）：为了确定每个摄像机的阻碍或遮蔽的状态，通过选择（步骤112）图像11或12中的一个或另一个（在图示的示例中选择左图像11（参见图5））进行更精确的分析，以便分析对应的摄像机。在比较和合并步骤（步骤115）之前，所选择的图像以与视差图相同的方式被划分成区段（步骤113），以便形成单维图32（在这个示例中被划分成15个区段）。然后，对单维图32执行通过单维方法（在本示例中为边缘检测分析）的阻碍概率分析（步骤144）。按区段10a的单维概率的计算（图5）然后被转移到单维图32上。

在步骤115中逐个区段地在显现在立体视差图上的按区段的立体阻碍概率（步骤109）和来自单维图的按区段的单维阻碍概率之间执行比较。这个比较（仍然在步骤115中）导致向立体视差图的每个区段分配对应区段的单维或立体的最低阻碍概率（或者，换句话说，最高密度）。所保留的概率被称为“合并的”，并且在步骤115处因此获得的视差图（具有这种“合并的”阻碍概率）也被称为“合并的”。

用于立体和单维阻碍概率的比较和合并的这个步骤115允许消除物体对摄像机的潜在遮蔽，如下面解释的。

在遮蔽测试116中，如果来自（步骤115处获得的）视差图的总体合并阻碍概率小于来自立体图的总体阻碍概率，则与在用于分析单维阻碍概率的步骤（步骤114）中所分析的图像相对应的摄像机被认为潜在地被阻碍但未被遮蔽。通过按区段对值的平均或求和来计算总体阻碍概率。

在相反情况中，障碍物或物体被认为已经遮蔽正被分析的摄像机的视场，例如物体接近这个摄像机。然后，对这个遮蔽测试116的结果的分析因此导致采取（步骤117）适当的措施（临时禁用摄像机或干预摄像机）和/或通知驾驶员。

如果正被分析的摄像机未被认为被遮蔽，则步骤119利用区段的加权基于各区段的阻碍概率的加权平均来计算总体阻碍概率。在先前步骤118中作为区段在图像内位置的函数来确定加权，如上文所详述的（参考图3）。

要报告给车辆驾驶员的阻碍状态是以下信息段之一：无阻碍、凝结、部分阻碍、阻碍。阻碍可能由于凝结而引起，由于张贴物、雪、冰或盐或某种等同物在挡风玻璃上的存在而引起。在该示例中，在总体概率等于至少90%的情况下，系统被认为被完全阻碍，并且在70%和90%之间的情况下认为系统被“降级”为被凝结或被部分阻碍。

图5图示了单维-立体组合方法，其用于检测对摄像机的视场的潜在遮蔽的存在，如图4b中步骤115处示出的。通过比较按区段的立体和单维阻碍的概率来执行这个检测，该比较使用针对按区段的立体阻碍概率被转移到经滤波的视差图22上的数值以及针对按区段的单维阻碍概率被转移到与正被分析的图像（在该本示例中为图像11）相对应的单维图32上的数值（图4b中分别参引为109和114的步骤）。

对于这两个图32和22的每对区段10a、10b，比较单维密度和立体密度（箭头Fa、Fb），如参考图4b中的流程图描述的。在单维方法和立体方法之间的比较（箭头Fa、Fb）按区段10c定义了具有按区段的合并阻碍概率的经修改的视差图42。对于这个图的每个区段10c，摄像机的阻碍概率对应于单维密度和立体密度的最小值。如果总体上视差图42的密度小于总体立体密度，则摄像机被认为被阻碍。在相反情况中，将显现出移动障碍物或物体很可能已经遮蔽了正被分析的摄像机的视场。

本发明不限于所描述和示出的示例性实施例。因此，本发明可以被应用于具有两个以上的摄像机的系统，针对该系统的每组摄像机（一对、三个一组、四个一组等）使用该方法。

此外还有可能在不将区段划分成宏块的情况下实施根据本发明的方法，并且在通过数学形态学进行滤波或其他等同的滤波之后通过由直接取决于区段的密度的步骤代替作为宏块的密度的函数进行区分的步骤来实施。

此外，使得从一个摄像机图像到另一个摄像机图像进行对应的区段具有相同的尺寸，但是相同图像的区段可以具有不同的尺寸。例如，取决于关于安全性的关键性质，上部行的区段（诸如上部感兴趣区A1（参照图1））可以更小，并且具有稍微更大的加权，以便增加它们的数量并且因此增加分析的精度。

Claims (7)

1.一种用于确定安装在车辆上的多摄像机系统中至少一个摄像机的阻碍状态的方法，包括如下步骤：

采集视场的连续立体图像，来自所述多摄像机系统的每个立体图像由左图像和右图像形成，所述左图像和右图像被同时产生并以像素形式被数字存储，

基于连续的多摄像机图像计算视差图，以及

计算阻碍水平，所述阻碍水平是由下面的步骤所确定的加权平均值：

将所述视差图划分成区段，

由具有被认为有效的视差的像素的百分率来确定每个区段的密度，

通过在这个区段的密度和预定义的阻碍水平之间进行比较，确定所述视差图的按区段的立体阻碍概率，以及

作为所述视差图内这些区段的位置的加权的函数确定使所述区段模糊的概率的加权平均值；

所述用于确定安装在车辆上的多摄像机系统中至少一个摄像机的阻碍状态的方法特征在于其还包括补充的单维-立体组合分析测试，所述补充的单维-立体组合分析测试包括下面的步骤以便确定在摄像机前面存在物体：

选择要分析的两个立体图像之一，称为单维图像；

将这个单维图像划分成具有与视差图的区段相同尺寸的单维图像的区段以便形成单维图；

转移到单维图上来计算单维图像的按单维图像的区段的单维阻碍概率，所述计算是通过使用检测数据的特性点检测和边缘检测分析来执行的；

比较立体阻碍和单维阻碍的概率，然后通过将与最高密度相对应的最低阻碍概率分配给视差图的每个区段，来在具有按区段的立体阻碍概率的视差图和具有按单维图像的区段的单维阻碍概率的单维图之间进行合并，以便生成被称为合并的视差图；以及

如果合并的阻碍概率全局低于立体阻碍概率，则对应于正被分析的图像的摄像机被认为潜在地被阻碍；

在相反情况中，物体被认为已经遮蔽正被分析的摄像机的视场并且处理被触发。

2.根据权利要求1中所要求保护的用于确定安装在车辆上的多摄像机系统中至少一个摄像机的阻碍状态的方法，其中在确定区段的密度之前在视差图上按区段来执行视差噪声的数字滤波。

3.根据权利要求1或2中所要求保护的用于确定安装在车辆上的多摄像机系统中至少一个摄像机的阻碍状态的方法，其中通过将数学形态学工具应用到视差图来执行视差噪声的数字滤波。

4.根据权利要求2中所要求保护的用于确定安装在车辆上的多摄像机系统中至少一个摄像机的阻碍状态的方法，其中每个区段被分解成称为宏块的子集，所述宏块具有相同的尺寸并且在每个区段内被规则分布，通过测量这个区段的每个宏块的密度来按区段执行视差噪声的数字滤波，所述密度是通过宏块的大于阈值的视差被认为有效的像素的百分率所测量的，被认为有效的宏块的比例确定区段的密度。

5.根据权利要求4中所要求保护的用于确定安装在车辆上的多摄像机系统中至少一个摄像机的阻碍状态的方法，其中通过在这个区段中被认为有效的宏块的比例与预定义的阻碍水平之间进行比较来确定按区段的立体阻碍概率。

6.根据权利要求1或2中所要求保护的用于确定安装在车辆上的多摄像机系统中至少一个摄像机的阻碍状态的方法，其中在10和50之间选择区段的数量。

7.根据权利要求4和5中任一项中所要求保护的用于确定安装在车辆上的多摄像机系统中至少一个摄像机的阻碍状态的方法，其中在10和100之间选择按区段的宏块的数量。