CN106303407A - 用于确定从对象到车辆的距离的方法和摄像机系统 - Google Patents

Abstract

本发明涉及用于确定从对象到车辆的距离的方法和摄像机系统。建议用于借助于两个摄像机（101、102）确定从对象到车辆的距离的摄像机系统和方法，所述摄像机（101、102）检测不同的（113、114）、然而至少部分重叠（107）的视场，其中摄像机有不同地设计的光学系统，并且使用摄像机（101、102）的图像用于执行在摄像机（101、102）的重叠区域（107）中的对象（108）的距离确定（109）。

Description

用于确定从对象到车辆的距离的方法和摄像机系统

技术领域

本发明涉及用于利用至少两个摄像机确定从对象到车辆的距离的方法或摄像机系统。

背景技术

已经由出版物指南D. I. T., Heger, I. T., &Heckel, M. S. J.(2014).Stereo-Videokamera als Basis für Assistenzfunktionen. ATZ-AutomobiltechnischeZeitschrift, 116(2), 22-27已知立体摄像机系统，所述立体摄像机系统基于两个相同地设计的光路测定到在所述光路的重叠区域中的对象的间距，并且将所述信息绑定到驾驶员辅助系统中。立体视频摄像机生成所谓的立体失配信息，也即，所述立体视频摄像机从在左边的和右边的图像之间的比较中创建车辆环境的精确的3D图（3D-Karte）。由此形成的深度图（Tiefenkarte）包括用于在摄像机图像的重叠区域中的所有点的高度准确的间隔计算。

此外，在公开文献 DE112012003685T5中介绍一种系统，所述系统包括图像处理设备，其由具有广角镜的第一和第二摄像单元组成，所述第一和第二摄像单元可以拍摄至少部分重叠的图像。此外，所述系统由间距测量单元组成，所述间距测量单元在大量图像的基础上计算从本地的车辆到对象的间距，所述图像是通过第一和第一摄像单元拍摄的。此外，间距的计算可以在通过入射角确定单元所确定的入射角的基础上被执行。

在所使用的摄像机的理想平行的光轴、摄像机的相同的焦距f和已知的基本间隔b的情况下，从在由摄像机或者图像传感器所检测的图像上的特征的失配（Disparität）D中可以确定与属于该特征的对象的间隔g：

g=f*b/D，

因为两个摄像机的光路几乎是相同的，所以该定律在这一点上有简单的结果。

在JP H11-39596 A中公开一种由两个立体视频摄像机组成的摄像机系统。在此情况下，所述立体视频摄像机具有不同的图像角度。可以根据相应一个立体视频摄像机的所检测的图像进行对象的间隔确定，相应另一立体视频摄像机的图像不纳入（einfließen）间隔确定中。对于位于两个立体视频摄像机的可见范围的重叠区域中的对象，由分别各个立体视频摄像机所测定的间隔被互相比较。

发明内容

本发明涉及用于利用至少两个摄像机确定从对象到车辆的距离的摄像机系统，所述摄像机检测不同的、然而至少部分重叠的图像区域。本发明的核心在于，至少两个摄像机的成像的设计彼此不同，并且在摄像机的视场的重叠区域中的对象的由至少两个摄像机检测的图像在分析单元中被使用用于确定对象到车辆的距离。

本发明能够借助于具有不同地设计的光学系统的至少两个摄像机实现对象的距离确定。与立体视频摄像机相比，所使用的摄像机不必是结构相同的以及满足相同的成像定律。由此可以构造一种系统，所述系统可以利用不同地设计的摄像机（例如利用广角和远摄物镜）覆盖不同的图像区域，并且可以同时执行位于重叠区域中的对象的距离确定。公开的摄像机系统能够借助于仅仅两个单摄像机实现图像区域的所述覆盖。由此相对于已经公知的摄像机系统出现明显的成本节省，其中所述已经公知的摄像机系统使用两个立体视频摄像机用于覆盖相同的图像区域。

所建议的本发明特别可以被应用于驾驶员辅助功能或者安全功能。诸如紧急制动系统、防偏驶警报系统、车道转换辅助物、交通标志识别装置、用于间隔调节的系统、舒适系统诸如拥堵辅助、施工现场辅助物（Baustellenassistent）和类似系统的系统会是可设想的。

因为多个辅助功能利用一个摄像机系统是可设想的，所以本发明的优点在这一点上再次变得特别明显。在不同的系统情况下，在车辆的非常近的周围环境中的多个车道在一些情况下必须被成像，这优选地可利用具有非常宽的视场、尤其具有广角物镜的摄像机实现。必须识别离得远的对象和/或车辆的其他系统、例如交通标志识别装置或者辅助功能，对此优选地需要例如使用远摄物镜的摄像机系统，利用所述远摄物镜可以清晰地对离得远的目标成像。

因此，所建议的本发明能够实现：借助于一个摄像机系统满足不同的驾驶员辅助功能和/或用于自主驾驶的功能的要求，对此至少两个传统的/已知的摄像机系统会是必要的。由此，可以节省成本或者可替代地可以利用仅一个摄像机系统实现较大数量的辅助功能或者安全功能。

成像的设计可以例如被理解为所使用的摄像机的成像器的视场和/或图像角度和/或光敏度和/或分离能力和/或像素分辨率和/或滤色器图案。

此外在公开的摄像机系统情况下，摄像机的视场和/或图像角度可以任意彼此不同。视场表示由摄像机所检测的图像区域，所述图像区域经常也被称作“视野（field ofview）（FOV）”，其界限通过摄像机的图像角度给出。

摄像机的布置可以以任意方式彼此不同，例如其彼此位置改变和/或定向、更准确地说光轴彼此的方向和定向不同。在此情况下，所述摄像机可以具有彼此平行的和/或发散的和/或收敛的光轴。

此外，至少两个摄像机可以被布置在壳体中，其中分析单元可选地也可以被安装（verbauen）在所述壳体中，然而所述分析单元也可以被安放在车辆中的任意其他部位处。此外，摄像机可以被安置在至少两个完全单独的壳体中，所述壳体位于车辆中的任意部位处。在该情况下，分析单元同样可以位于车辆中的任意位置处，或者可替代地可以被安置在摄像机壳体之一中。

摄像机的所使用的物镜可以以任意方式彼此不同，使得例如至少一个广角物镜被使用并且光学系统具有至少一个其他摄像机、例如远摄物镜，其中摄像机的所使用的物镜的光学成像例如可以通过值、例如图像传感器的视场、图像角度、焦距和/或间隔来描述。

此外，按照本发明介绍用于确定从对象到车辆的距离的方法，利用至少两个摄像机，所述摄像机检测不同的、然而至少部分重叠的图像区域，其特征在于，至少两个摄像机的成像的设计彼此不同，并且在重叠区域中的对象的由至少两个摄像机检测的图像在分析单元中被使用用于确定从对象到车辆的距离。

用于应用按照本发明的方法的所使用的摄像机的特征可以在于：成像的设计通过以下方式不同，即摄像机具有不同的视场和/或图像角度，和/或成像标准和/或成像的失真彼此不同。

为了确定对象到车辆的距离，可以在另一步骤中考虑视场中的至少一个和/或图像角度中的至少一个。此外，为了计算距离，可以使用摄像机的所检测的图像，和/或摄像机彼此的定向的考虑、尤其光轴的定向可以纳入。此外，摄像机彼此的定位、尤其摄像机的基本间隔、通过失真反算对由摄像机所检测的图像的校正的考虑和/或对象在至少两个摄像机的图像中的经测定的经校正的位置的考虑可以纳入计算中，其中对象由所述两个摄像机检测。

此外，在确定对象到车辆的距离时，至少两个摄像机的对象角度（Objektwinkel）的所测定的角度差可以纳入。在此情况下，摄像机的对象角度描述在摄像机的光轴和从摄像机到所探测的对象的所设想的线之间的角度。因为摄像机和图像传感器之间的间隔与摄像机和所探测的对象之间的间隔相比是非常小的，所以摄像机可以被用作参考点。可替代地，参考点也可以不同地被定义，例如相对于对象而言最前面的透镜的中点或者在前面的或者在后面的焦点或者图像传感器或者摄像机壳体可以被使用。所有提及的点分别处于相应的摄像机的光轴上。如果参考点清楚地被定义，那么任何时候都可以执行对象角度到任意其他参考点的换算。通过使用更准确地详细说明的参考点得出对象角度的可替代的描述，例如：

-在此情况下，对象角度描述在光轴和从关于对象而言最前面的透镜与摄像机的光轴的交点到对象的所设想的线之间的角度。

-在此情况下，对象角度描述在光轴和从关于对象而言最前面的焦点与摄像机的光轴的交点到对象的所设想的线之间的角度。

-如所描述的，因为对象间隔相对于从入射光圈到镜顶的所述增量（Inkrement）是非常大的，所以是否取光轴与第一透镜的顶或者例如与入射光圈的交点不起作用。

基于本发明的其他细节、特征、特征组合、优点和效果由从属权利要求以及本发明的优选实施例的随后描述以及由附图得出。所述附图以示意图示出：

图1示出由具有不同的视场和图像角度的两个摄像机组成的示例性摄像机系统。

图2示出用于表示所应用的方法的图表。

图3示出图像高度关于两个摄像机的对象角度的示例性变化过程。

图4示出用于定义一些概念的示例性光学成像。

图5示出关于图像高度绘制的两个摄像机的失真。

图6示出关于对象角度绘制的两个摄像机的失真。

具体实施方式

图1示例性地示出由两个摄像机101、102组成的摄像机系统的结构，所述两个摄像机101、102彼此以一定的间隔112布置。在提出的示例中，摄像机101、102的光轴105、106是彼此平行的，然而可替代地也可以收敛地或者发散地布置。

摄像机101、102被安置在共同的壳体115中，这可选择地是可能的，而不是前提。此外，摄像机系统与分析单元116连接，所述分析单元116可以可选地安装在相同的壳体115中，或者可以在外部位于任意另一位置处。

两个摄像机101、102拥有不同的视场113、114或者不同的图像角度103、104。视场113、114在区域107中重叠，因此所述区域107由两个摄像机检测。对象108位于重叠区域107中。对象108在确定的对象角度110、111下由两个摄像机101、102发现。借助于按照本发明的方法确定从对象108到车辆的间隔109。

在图2中示意性地示出用于根据流程图确定间隔的所公开的方法。在方法201的开始时，摄像机101、102的技术数据是已知的，例如摄像机101、102的位置、其间隔112、光轴105、106的定向、图像角度103、104和视场113、114属于所述技术数据。

在发生图像数据203的读入之前，所述信息在系统中是注明的和/或被注明（vermerken）202。然而，处理的顺序在这一点上是不相干的，使得步骤202可以被放置在201和207之间的任意点处。

在读入数据203之后，在步骤204中进行图像的去失真（Entzeichnung），也即摄像机101、102的失真（Verzeichnung）的反算，参见根据随后的图的阐述。然后，在步骤205中可以根据共同的系统对图像进行标准化，使得在步骤206中可以执行在由两个摄像机101、102共同检测的区域107中的共同的对象108的对象角度110、111的确定。步骤204、205、206可以任意地被交换，由此方法的结果没什么变化。

在随后的步骤207中，在考虑所确定的对象角度110、111和摄像机101、102的已经公知的技术数据的情况下进行间隔109的计算。代替对象角度110、111，在经校正的、由摄像机101、102检测的成像上的对象108的位置也可以被使用用于计算。与借助于对象角度110、111可能的一样，可以利用所述位置测定失配。这意味着，距离109的确定也可以在考虑对象的由摄像机101、102检测的图像的所测定的间隔109的情况下发生。

所述方法作为结果208说明对象到车辆的距离109。精确的参考点可以基于对摄像机系统的要求被定义，其中到所述参考点的间隔109被测量。在输出和/或转交间隔208之后，距离确定结束，并且可以重新利用相同的对象或者任意其他对象来执行。所述距离确定不是顺序地进行，而是在两个摄像机的重叠区域中鉴于相对应的（korrespondierend）的图像内容搜索所述两个摄像机的同时测量的总图像。在根据共同的成像定律和/或共同的标准对成像反算后，可以由失配确定关于对象空间的深度图。

间隔109的测定不限于对象108，在重叠区域中的所有对象的间隔可以同时被确定，并且因此由摄像机101、102所检测的车辆环境的精确的3D图可以被创建。对此，步骤201至209可以任意多次地被重复。到重叠区域中的任意的对象108的间隔109的测定可以在时间上重复，由此可确定到对象108的间隔的时间上的变化。只要对象由两个摄像机检测，那么这又可以利用在重叠区域中的任意多个对象被执行。由此，例如车辆的速度测量是可能的。

在图3中示例性地关于对象角度110、111绘出两个摄像机101、102的图像高度h401。在图4中在透镜光学系统的成像处示例性地阐明图像高度401。在图4中，同样地再次绘出到对象403的对象角度402和透镜404的焦距。

在摄像机系统的接着的示例性实施中，两个摄像机101、102的光轴理想地是共线性的，两个摄像机101、102的基本间隔112被给出。在第一近似中，摄像机101、102的成像关于其光轴105、106是旋转对称的（可被描述为关于对象角度Ω402的图像高度hΩ401）。在该示例中假定图像传感器的3mm的最大图像高度，这大致对应于图像传感器的旋光（optischaktiv）矩形的半对角线。

两个摄像机101、102的成像定律在该示例中被假定为近似线性的，具有焦距f 404的斜率（Steigung）。在此，第一摄像机101有25°的最大对象角度110，第二摄像机102有50°的最大对象角度。在图3中示出关于两个摄像机101、102的角度302、304绘出的不同的图像高度。在此，图像高度302对应于第一摄像机101的图像高度，以及相应地图像高度304对应于第二摄像机102的图像高度。除此之外，以虚线301、303示出根据针孔摄像机h_s=f*tanΩ的理想成像的相应的图像高度，其中h_s代表针孔摄像机成像的图像高度，f代表焦距以及Ω代表对象角度402。所述理想的成像曲线301、303构成针对所谓的失真的参考。

在图5中关于图像高度401绘出两个摄像机101、102的失真501、502，由此得到两个完全不同的曲线变化过程。这里，失真501对应于第一摄像机101的失真，并且失真502相应地对应于第二摄像机102的失真。如果关于对象角度402绘出两个失真601、602，那么对于摄像机101、102的两个光路得出相同的失真。这里，失真601对应于第一摄像机101的失真，并且失真602相应地对应于第二摄像机102的失真。

可以基于所述关联描述一种方式，利用所述方式可以确定两个摄像机101、102的视场113、114的重叠区域107中的对象108的间隔109：

-按照第一摄像机101和第二摄像机102的像素栅格对所检测的图像进行去失真，这意味着，失真被反算。

-在去失真后，在摄像机101、102的成像中、也即在摄像机101、102的所检测的图像中测定对象108的经校正的位置。

-接着测定摄像机101、102的对象角度110 、111的差。

-随后由角度差和基本间隔112确定对象距离。

Claims (15)

1.用于借助于两个摄像机（101、102）确定对象（108）到车辆的距离的方法，所述摄像机（101、102）检测不同的（113、114）、然而至少部分重叠的视场（107），其特征在于，

-两个摄像机（101、102）的图像角度（103、104）彼此不同，和

-在分析单元（116）中借助于摄像机（101、102）的视场（113、114）的重叠区域（107）中的对象（108）的由两个摄像机（101、102）检测的图像来确定对象（108）到车辆的距离（109）。

2.按照权利要求1所述的方法，其特征在于，成像标准和/或摄像机的失真不同。

3.按照上述权利要求之一所述的方法，其特征在于，距离（109）的确定在考虑图像角度（103、104）中的至少一个的情况下发生。

4.按照上述权利要求之一所述的方法，其特征在于，所述摄像机（101、102）是单摄像机。

5.按照上述权利要求之一所述的方法，其特征在于，距离（109）的确定在考虑对象（108）的由摄像机（101、102）所检测的图像的比较的情况下发生。

6.按照上述权利要求之一所述的方法，其特征在于，距离（109）的确定在考虑摄像机（101、102）彼此的定向、尤其光轴（105、106）的定向的情况下发生。

7.按照上述权利要求之一所述的方法，其特征在于，距离（109）的确定在考虑摄像机（101、102）彼此的定位情况下发生，其中尤其规定：距离（109）的确定在考虑摄像机（101、102）的基本间隔（112）的情况下发生。

8.按照上述权利要求之一所述的方法，其特征在于，距离（109）的确定在考虑通过失真的反算对由摄像机（101、102）所检测的图像进行校正的情况下发生。

9.按照上述权利要求之一所述的方法，其特征在于，距离（109）的确定在考虑在由摄像机（101、102）所检测的图像中由至少两个摄像机（101、102）探测的对象（108）的经校正的位置的测定的情况下发生。

10.按照上述权利要求之一所述的方法，其特征在于，距离（109）的确定在考虑对象角度（110、111）的所测定的角度差、也即摄像机（101、102）的光轴（105、106）与从摄像机（101、102）到对象（108）的所设想的线之间的角度的情况下发生。

11.用于借助于两个摄像机（101、102）确定对象（108）到车辆的距离的摄像机系统，所述摄像机（101、102）检测不同的（113、114）、然而至少部分地重叠的视场（107），其特征在于，

-至少两个摄像机（101、102）的图像角度（103、104）彼此不同，和

-设置用于确定对象（108）到车辆的距离（109）的分析单元（116），所述分析单元（116）被设计用于，借助于在视场（113、114）的重叠区域（107）中的对象（108）的由至少两个摄像机（101、102）检测的图像确定距离（109）。

12.按照权利要求11所述的摄像机系统，其特征在于，所述摄像机（101、102）是单摄像机。

13.按照权利要求11或12所述的摄像机系统，其特征在于，摄像机通过不同的失真而不同。

14.按照权利要求11至13之一所述的摄像机系统，其特征在于，不同的摄像机（101、102）被安置在共同的壳体（115）中。

15.按照权利要求11至14之一所述的摄像机系统，其特征在于，不同的摄像机（101、102）具有平行的或者收敛的或者发散的光轴（105、106）。