CN107924570B - 用于机动车辆的视觉系统和控制视觉系统的方法 - Google Patents

Abstract

一种用于机动车辆的视觉系统，包括形成立体成像设备的成对的成像装置和建立对象检测器和追踪器的数据处理装置，其中所述数据处理装置计算所检测和追踪的对象的大小相关值和视差相关值，对所追踪的对象与不同时间相对应的一组至少五个数据点使用预定回归函数进行回归分析以产生最佳值，并根据最佳值计算视差相关值和/或大小相关值中的系统误差。

Description

用于机动车辆的视觉系统和控制视觉系统的方法

技术领域

本发明涉及一种用于机动车辆的视觉系统，该视觉系统包括成对的成像装置和数据处理装置，成对的成像装置形成立体成像设备，数据处理装置建立对象检测器和追踪器，该对象检测器适于检测所述成像设备所捕捉到的图像中的对象，该追踪器适于随时间追踪由所述对象检测器所检测到的对象，其中，所述数据处理装置适于计算所检测和追踪的对象的大小相关值和视差相关值。本发明还涉及一种控制视觉系统的方法。

背景技术

在立体相机系统中，左侧相机与右侧相机之间的斜视角(也称为偏航角)必须被非常准确地测定，这是由于此角度的误差会导致立体计算中的大距离估计误差。距离误差随着距离的平方增长。例如，对于160mm的基线立体相机而言，在距离为100m时，低至0.01°的斜视角误差产生约10m的距离估计误差。对于汽车立体相机而言，由于热变化和汽车系统的长使用寿命，斜视角将不会在车辆使用寿命期间保持恒定。因此，需要用于估计斜视角误差的在线解决方案。

已知通过将雷达或激光雷达距离信息用作参考值来估计斜视角误差，然而这需要雷达或激光雷达参考系统。

DE 10 2012 009 577 A1描述了一种通过比较由测距数据确定的参考驱动距离与由图像处理确定的立体驱动距离来校准机动车辆中两个立体相机之间的斜视角的方法。然而，计算参考驱动距离所需的外部测距数据构成了确定斜视角误差的不确定的附加系统来源。

US 2014/0168377 A1公开了一种用于对准车载对象检测系统的立体相机的方法，其中，在两个不同时间来自每个相机的图像均被用来确定静止对象(如交通标志)相对于该车辆的观测位移。还使用例如在两个不同时间拍摄的图像中的对象的大小差异来确定该对象相对于车辆的预测位移。使用基于观测位移与预测位移的差异的三角测量校正确定来校正相机的不对准。

发明内容

本发明的目的是提供一种视觉系统和一种控制视觉系统的方法，该视觉系统和方法允许在机动车辆操作期间精确地确定立体相机之间的斜视角误差。

本发明使用独立权利要求的特征解决了此目的。根据本发明，对所追踪的对象的、与不同时间对应的一组至少五个数据点执行回归分析，该回归分析使用具有至少一个变量的预定回归函数。在此，每个数据点均包括所检测的对象的大小相关值和相应的(即相同时间的)视差相关值。回归分析对应于回归函数与该组数据点的最佳匹配或拟合而产生每个变量的最佳值。根据该至少一个最佳值来计算所述视差相关值和/或所述大小相关值中的系统误差。此系统误差可以为斜视角误差提供量度，其仅由成像设备获得的图像数据得出，而不涉及对外部信息(如外部测距数据、本车辆速度、或雷达或激光雷达信息)的任何参考。

本发明使用图像中的随时间被追踪的对象的大小信息。对象的大小信息与相应对象的计算出的立体信息(视差或视差相关信息)一起用于估计斜视角误差或与斜视角误差明确相关的系统误差。

如果明确需要斜视角误差的值，则可以使用成像系统的已知光学参数将视差相关值和/或大小相关值中的所确定系统误差较为容易地转换成斜视角误差。

与例如在US 2010/0168377 A1中描述的现有技术相比，本发明产生斜视或偏航角误差的更加精确的量度，这是由于本发明并非基于两个数据点，而是基于至少五个数据点，优选为至少十个数据点。

此外，本发明不限于对静止对象的调查。优选地，在所述回归分析中使用的所追踪的对象是另一车辆，该另一车辆可以是移动车辆，特别是迎面驶来的车辆。除了车辆以外的其他对象也可以用于回归分析中。

优选地，回归分析是线性回归分析。在优选实施例中，回归函数是直线。在此，有利地使用以下事实。1)对于完美的斜视角而言(零斜视角误差)，对象的宽度和视差在无限远距离处均为零。2)对于完美的斜视角而言，当距离减半时宽度加倍。具体地，如果视差相关值是视差值，并且大小相关值是大小值，则理想关系是直线。在这种情况下，可以较为容易地将视差相关值和/或大小相关值中的系统误差测定为回归函数相对于原点的偏移，即零点视差和零点大小。

优选地，逐步执行回归分析，即找到回归函数的第一变量的最佳值，然后找到回归函数的第二变量的最佳值等。这可能比在多变量回归中同时对所有变量执行回归分析更有效，考虑到机动车辆中有限的处理能力，后者可能在计算上要求过高。

具体地，如果回归函数是直线，则回归分析优选地包括找到直线回归函数的最佳斜率的第一回归步骤，以及找到直线回归函数的最佳偏移同时保持斜率固定于在第一回归步骤中建立的最佳斜率的第二回归步骤。

因为直线的斜率由所追踪的对象的绝对大小来确定，所以如果从其他来源(例如通过车间通信)或者通过图像处理已知所追踪的对象的绝对大小，则可以有利地免除找到直线回归函数的最佳斜率的步骤。在那种情况下，回归分析优选地减少为找到直线回归函数的最佳偏移的成本节约型单变量回归分析。

在回归分析中使用的数据点优选为跨越与至少30m、更优选为至少50m、甚至更优选为至少70m的距离范围相对应的范围。一般来说，如果回归分析中考虑的数据点的距离范围越大，则系统误差确定的精确度可以越高。然而，优选地，与小于预定值的对象距离相对应的数据点有利地可以在5m至35m、优选为10m至30m、更优选为15m至25m的范围内(例如20m)，可以在所述回归分析中丢弃这些数据点，这是由于与所追踪的对象的相对近距离相对应的数据点显示为增加其他来源的偏差，这些偏差胜过因斜视角误差而产生的偏差。

在优选实施例中，视差相关值是视差值。在另一个实施例中，视差相关值例如可以是距离值。优选地，大小相关值是对象的大小，特别地是对象的宽度。在另一个实施例中，大小相关值例如可以是对象的高度。

优选地，将来自若干个所追踪的车辆的回归结果相结合，以产生更稳定和更准确的系统误差值。

附图说明

在下文中，将基于参照附图的优选实施例对本发明进行描述，其中：

图1示出了机动车辆中的视觉系统的示意图；

图2示出了视差宽度图，其示出了第一发明实施例中的回归分析；以及

图3示出了距离宽度图，其示出了第二发明实施例中的回归分析。

具体实施方式

视觉系统10安装在机动车辆中并且包括成像设备11，该成像设备用于采集机动车辆周围的区域(例如，机动车辆前方的区域)的图像。成像设备11包括形成立体成像设备11并在可见和/或红外波长范围内操作的两个光学成像装置12a、12b(特别是相机)，其中，红外线包括波长低于5微米的近红外线(near IR)和/或波长超过5微米的远红外线(far IR)。

成像设备11耦合到数据处理装置14，该数据处理装置对从成像设备11接收的图像数据进行数据处理。数据处理装置14有利地包括预处理部13，该预处理部适于控制成像设备11对图像的捕捉，从成像设备11接收包含图像信息的电信号，将成对的左/右图像变形成对准和/或创建视差图像，这本身在本领域中是已知的。图像预处理部13可以由专用硬件电路(例如，现场可编程门阵列(FPGA))来实现。或者，预处理部13或其部分功能可以在微处理器中实现。

进一步的图像和数据处理由相应的软件在数据处理装置14中执行。具体地，数据处理装置14包括：对象检测部15，该对象检测部适于对机动车辆前方的可能对象(诸如，行人、其他车辆、骑自行车者和/或大型动物)进行识别并且还优选进行分类；追踪部16，其适于随时追踪由对象检测部15识别的、在所记录的图像中的候选对象的位置；以及估计和判定部17，该估计和判定部适于估计追踪对象的碰撞概率并根据该估计的碰撞概率来激活或控制至少一个驾驶员辅助装置18、19。驾驶员辅助装置18可以具体地包括显示装置18以显示与检测到的对象有关的信息。然而，本发明不限于显示装置18。驾驶员辅助装置18、19可以附加地或替代地包括：警告设备，其适于通过合适的光学、声学和/或触觉警告信号向驾驶员提供碰撞警告；一个或多个约束系统，诸如乘员安全气囊或安全带张紧器、行人安全气囊、引擎罩升降器等；和/或动态车辆控制系统，诸如制动或转向设备。数据处理装置14具有对存储装置25的访问权限。

数据处理装置14优选是经编程的或可编程的数字装置，并且有利地包括微处理器、微控制器或数字信号处理器(DSP)。数据处理装置14和存储装置25优选在车载电子控制单元(ECU)中实现，并且可以经由单独的线缆或车辆数据总线连接到成像设备11。在另一个实施例中，可以将ECU和一个或多个成像设备12集成到单个单元中，其中包括ECU和所有成像设备12的单箱解决方案可以是优选的。从成像、图像预处理、图像处理到驾驶员辅助装置18的可能激活或控制、和/或回归分析的所有步骤都是实时地在驾驶过程中自动且连续地执行的。

根据本发明，数据处理装置14包括分析部20。在下文中详细描述了在分析部20中执行的回归分析。

对于要进行的回归分析，分析部20需要至少五个，优选为至少十个，更优选为至少二十个，甚至更优选为至少三十个数据点。在此，已经从由对象检测部15检测并由追踪部16追踪的同一对象的不同图像或图像帧中提取了各个数据点。用于回归分析的对象优选是(迎面驶来的和/或前方的)其他机动车辆。每个数据点优选由两个相关值(双或2元组)组成，即视差相关值和相应的大小相关值，其中数据点的两个值都是从同一个图像帧中计算出的。所检测和追踪的对象的数据点可以存储在存储器25中以稍后供分析部20使用。

在图2中示出了优选实施例中的回归分析的实例。在此，示出了在由成像设备拍摄的图像中由对象检测部15检测到的五个不同车辆(ID67、ID178、ID190、ID198、ID216)的多个数据点。在此实施例中，视差相关值是检测到的其他车辆的视差，而大小相关值是检测到的其他车辆的宽度。用于确定检测到的其他车辆的宽度(通常为大小)和视差的图像处理方法对于本领域的技术人员而言是已知的，将不在这里进行描述。通常，对于每个图像而言，例如在对象检测部15中确定以像素为单位的对象宽度，并且例如在预处理部13中通过立体计算获得对应的视差值。在此应用中，视差如惯常一样被定义为以像素为单位的焦距乘以立体成像设备的基线除以到对象的距离。

在图2所示的图中，x轴表示以像素为单位的其他车辆的宽度w，并且y轴表示以像素为单位的其他车辆的视差d。应当理解，图2中所示的数据点和线的图形表示仅为了更好地理解；在车辆的车载视觉系统10中，仅存储和处理数据点本身。

在图2中，示出了五个不同的所检测和追踪的其他车辆的数据点。对于具有ID178的车辆而言，与大约100m距离相对应的20像素的车辆宽度周围仅几个数据点可用。对于具有ID67、ID198、ID216的车辆而言，与约35m至100m的车辆距离相对应的20像素与50像素之间的宽度范围内多个数据点可用。在以下回归分析中，具有ID67、ID178、ID198、ID216的车辆的数据点被丢弃。

具有ID190的其他车辆的数据点包括在20m与100m之间的距离范围内的至少十个值，并且跨越与在约15m与约100m之间(即，大于70m)的车辆距离相对应的在20像素与130像素之间的宽度范围。基于上述标准和/或其他适合的标准中的一者或多者，分析部20确定具有ID190的车辆的数据集非常适用于回归分析。

在开始对回归函数进行拟合之前，可以选择所检测和追踪的对象的所有可用数据点的子集，使得与小于预定阈值的对象距离或高于预定阈值的对象宽度相对应的数据点被丢弃。在这种情况下，丢弃与大于80像素的对象宽度或小于20m的对象距离相对应的数据点，这是由于已经显示出在该较大宽度区域中的数据点由于斜视角误差以外的其他原因而显示出大变化。

回归分析包括将直线与具有ID190的车辆的数据点进行拟合。由于直线由两个变量(即斜率和偏移)确定，因此这可以通过双变量回归分析来完成，双变量回归分析可同时产生两个变量的最佳值。然而，优选地，以若干个单变量回归步骤执行回归分析，其中每个回归步骤均产生变量的一个最佳值；即，参数的最佳值是一个接一个地获得的。

在这种情况下，具体地，回归分析优选地包括找到直线回归函数的最佳斜率的第一回归步骤，以及找到直线回归函数的最佳偏移同时保持斜率固定于在第一回归步骤中建立的最佳斜率的第二回归步骤。

找到直线回归函数的最佳斜率的第一回归步骤可以以任何适合的方式执行。在优选实施例中，将成对的数据点通过直线连接，并且这些直线的各个斜率的平均值或中值被取作回归直线的斜率的最佳值。

在第二步骤中，将斜率固定于来自第一步骤的最佳值的直线沿数据点移动，直到成本函数(例如，平方误差)变为最小值。对于第二步骤，优选地，可以选择在第一步骤中使用的数据点的子集，使得具有高于预定阈值的宽度的数据点优选被丢弃。在这种情况下，对于第二步骤丢弃具有与小于35m的距离相对应的大于50像素的宽度的数据点。

所得到的最佳拟合直线回归函数21示出在图2的图中。如果最佳拟合直线回归函数21表示为y＝a·x+b，则最佳拟合回归函数的y-偏移b对应于最佳拟合直线回归函数21与y轴的交点到原点(0,0)的距离。应当理解，在车载视觉系统10中，偏移b不是如上所述在图形上确定的，而是直接通过回归分析获得的。

所确定的偏移b是斜视角误差的量度。分析部20可以将系统视差误差b转换为度、辐射或任何其他合适单位的斜视角误差，但这不是强制性的，这是由于可以直接使用视差误差b工作。

优选地，不是仅使用来自一辆车辆(在此是ID190)的回归分析的系统误差值b，而是例如使用过滤器将来自若干辆被追踪的车辆的回归结果优选地随时间组合，以便增加误差确定的稳定性和准确度。

基于所确定的视差误差b，数据处理装置14可以采取适合的动作。具体地，可以在预处理部13中使用所确定的视差误差b或从其导出的斜视角误差，以便针对该斜视角误差校正来自成像设备11的图像数据。确定的视差误差b的其他应用也是可能的。

视差误差b以外的其他值也提供了斜视角误差的量度。例如，在图2所示的示例中，最佳拟合直线回归函数21与x轴相交的绝对距离产生了宽度误差b/a，这可以被考虑替代b。通常，可以使用与斜视角误差明确相关的任何误差值。

可以使用其他对象大小相关值来代替对象宽度，例如对象高度、对象面积、或对象面积的根。

在图3所示的图中，x轴表示以像素为单位的其他车辆的宽度w，而y轴表示以米为单位的其他车辆的距离D。这例示了本发明的视差相关值不必是视差，而可以是与所检测对象的视差明确相关的任何量值，例如距离D。从图3显而易见的是，距离与宽度的函数关系不是直线。因此，在图3的实施例中的回归分析中使用类似双曲线函数y＝1/(a·x+b)的适当的回归函数22，其中b是斜视角误差的量度。

除了斜视角误差外，回归分析还可以根据一个或多个不同的加权函数(如所用数据点的数量、平均车辆宽度等)产生斜视角误差的置信度值。

Claims (16)

1.一种用于机动车辆的视觉系统(10)，包括：

一对成像装置(12a、12b)，所述一对成像装置(12a、12b)形成立体成像设备(11)；以及

数据处理装置(14)，所述数据处理装置建立对象检测器(15)和追踪器(16)，所述对象检测器(15)适于从所述立体成像设备(11)捕捉到的图像中检测所述机动车辆周围的对象，所述追踪器(16)适于随时间追踪所述对象检测器(15)检测到的所述对象，其中，所述数据处理装置(14)适于计算图像中所检测和追踪的对象的大小相关值和所检测和追踪的对象的视差相关值，其特征在于：

所述数据处理装置(14)包括分析部(20)，所述分析部(20)适于对所追踪的对象与不同时刻相对应的一组至少五个数据点执行分析，其中，每个数据点均包括所检测的对象的大小相关值和相对应的视差相关值，其中，所述分析是使用具有至少一个变量的预定回归函数的回归分析，其中，所述回归分析为每个变量产生与所述回归函数与一组数据点的最佳匹配相对应的最佳值，其中，所述分析部(20)适于根据所述最佳值计算所述视差相关值和/或所述大小相关值中作为所述回归函数相对于原点的偏移的系统误差，所述系统误差对应于斜视角误差。

2.根据权利要求1所述的视觉系统，其特征在于所述视差相关值是视差值。

3.根据权利要求1所述的视觉系统，其特征在于所述视差相关值是对象距离值。

4.根据权利要求1所述的视觉系统，其特征在于所述大小相关值是对象大小。

5.根据权利要求4所述的视觉系统，其中所述对象大小包括对象宽度。

6.根据权利要求2所述的视觉系统，其特征在于所述回归分析是线性回归分析。

7.根据权利要求6所述的视觉系统，其特征在于所述回归函数是直线(21)。

8.根据权利要求7所述的视觉系统，其特征在于所述回归分析包括：

第一回归步骤，所述第一回归步骤找到所述直线(21)回归函数y＝a·x+b的最佳斜率a，其中，x表示大小相关值并且y表示视差相关值；以及

第二回归步骤，所述第二回归步骤找到所述直线(21)回归函数的最佳偏移b，同时保持所述斜率固定于所述第一回归步骤中建立的所述最佳斜率a，所述最佳偏移b对应于最佳拟合直线回归函数(21)与y轴的交点到原点(0,0)的距离。

9.根据权利要求8所述的视觉系统，其特征在于所述视差相关值的所述误差被计算为所述回归函数的视差偏移b。

10.根据权利要求1-9中任一项所述的视觉系统，其特征在于在所述回归分析中使用同一被追踪对象在不同时刻的至少十个数据点。

11.根据权利要求1-9中任一项所述的视觉系统，其特征在于在所述回归分析中使用的所追踪的对象是另一车辆。

12.根据权利要求1-9中任一项所述的视觉系统，其特征在于在所述回归分析中使用的数据点跨越至少30m的距离范围和/或包括在20m与100m之间的距离范围中的至少十个值。

13.根据权利要求1-9中任一项所述的视觉系统，其特征在于在所述回归分析中丢弃与小于预定值的对象距离相对应的数据点。

14.根据权利要求5所述的视觉系统，其特征在于所述数据处理装置(14)适于将所述视差相关值和/或所述大小相关值中的所述系统误差转换为斜视角误差，其中，如果对象的所述宽度和所述视差相关值在无限远距离处都是零，那么所述斜视角误差是零。

15.根据权利要求1-9中任一项所述的视觉系统，其特征在于将针对若干个所追踪车辆获得的回归分析结果相结合，以产生更准确的系统误差估计。

16.一种控制用于机动车辆的视觉系统(10)的方法，包括：

从具有一对成像装置(12a、12b)的立体成像设备(11)捕捉到的图像中检测所述机动车辆周围的对象；

随时间追踪所检测的所述对象；以及

计算图像中所检测和追踪的对象的大小相关值以及所检测和追踪的对象的视差相关值，其特征在于：

对所追踪的对象与不同时刻对应的一组至少五个数据点执行分析，其中，每个数据点均包括所检测的对象的大小相关值和相对应的视差相关值，其中，所述分析是使用具有至少一个变量的预定回归函数进行的回归分析，其中，所述回归分析为每个变量产生与所述回归函数与一组数据点的最佳匹配相对应的最佳值；以及

根据所述最佳值计算所述视差相关值和/或所述大小相关值中作为所述回归函数相对于原点的偏移的系统误差，所述系统误差对应于斜视角误差。

Images