CN112106059A

CN112106059A - 对车辆的环境进行成像的方法

Info

Publication number: CN112106059A
Application number: CN201980013487.8A
Authority: CN
Inventors: 斯特芬·亚伯拉罕; 法比安·布里克韦德; 鲁道夫·梅斯特
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2018-02-14
Filing date: 2019-02-11
Publication date: 2020-12-18
Also published as: DE102018202244A1; WO2019158450A1

Abstract

一种对车辆(100)的环境进行成像的方法(300)，所述方法包括如下步骤：借助单摄像机采集(302)图像序列；将所述图像序列的至少一个图像划分(303)成列；确定(304、304‑a至304‑f)至少一列中的片段数据；基于所述片段数据对所述环境进行成像(305)；输出(306)至少一个表示所述成像的环境的信号。本发明的核心在于，所述确定(304)至少一列中的片段数据的步骤具有将所述至少一列的像素与预定的片段类型对应(304‑e)的分步骤。

Description

对车辆的环境进行成像的方法

技术领域

本发明涉及一种对车辆的环境进行成像的方法、一种用于实施所述方法的计算机程序以及一种用于对车辆的环境进行成像的装置。

背景技术

借助摄像机系统对车辆的环境进行成像用于驾驶辅助系统，以便例如识别停车位、触发紧急制动功能或者通过环境对部分自主驾驶或自主驾驶的车辆进行导航。为了对环境进行成像，可以将至少一个借助摄像机系统采集的图像分割成段，即所谓的Stixel。一个片段描述环境中的一个较小区域。

由DE 10 2009 009 047 A1、DE 10 2011 111 440 A1、DE 10 2012 000 459 A1以及Schneider,L.等人所著的Semantic Stixels:Depth is not Enough.IntelligentVehicles Symposium(IV),2016IEEE.IEEE,2016(2016年IEEE智能车辆研讨会IV)，第110-117页，已知若干方法，其中将借助立体摄像机采集的图像逐列地分割成Stixel。在此情况下，Stixel的形成基于针对每个像素的距离估计，该距离估计根据立体摄像机的两个图像而计算得出。

DE 10 2016 106 293 A1公开了一种检测物体的方法和一种用于检测物体的系统，包括以下步骤：通过处理器从单个摄像机接收图像数据，其中这些图像数据表示一个场景的图像；通过处理器根据图像数据来确定Stixel数据；通过处理器基于Stixel数据来检测物体；以及通过处理器基于检测到的物体选择性地产生报警信号。DE 10 2016 122 190A1公开了一种类似的方法，其中进一步从雷达系统接收雷达数据，且其中通过处理器使用深度学习的方法来处理这些图像数据和雷达数据。借助这两种方法可以识别一个列中的第一个物体。

发明内容

本发明基于一种对车辆的环境进行成像的方法。所述方法具有以下步骤：借助单摄像机采集图像序列，将这个图像序列的至少一个图像划分成列，确定至少一列中的片段数据，基于这些片段数据对环境进行成像以及输出至少一个表示成像的环境的信号。

根据本发明，确定至少一列中的片段数据的步骤具有将所述至少一列的像素与预定的片段类型对应的分步骤。

本发明的优点在于，可以将一个列内的像素的差别考虑在内。可以将像素在其距图像平面的距离、一个列内的运动或语义类别方面的差别考虑在内。在与片段进行对应时，可以将这些差别考虑在内，其中片段对应于预定的片段类型。这样就能在一个列中识别多个物体。可以更精确地对车辆的环境进行成像。在此情况下，借助单个摄像机便足以采集图像序列。特别是借助单摄像机便足以采集图像序列。这使得这个方法与需要多个摄像机的方法相比成本更低。在此所揭露的方法与需要立体摄像机的方法相比成本更低。

在本发明的一个有利的技术方案中提出，预定的片段类型是潜在可动物体。潜在可动物体可以是可动的物体。潜在可动物体可以是可以运动的物体。潜在可动物体可以在采集图像序列期间运动。在采集图像序列期间，潜在可动物体可以停留在这个图像序列的一个图像或多个图像中的某一位置上。在采集图像序列期间，潜在可动物体可以定位在这个图像序列的一个图像或多个图像中的某一位置上。潜在可动物体可以是车辆，例如汽车、载重汽车、摩托车、自行车或踏板车。潜在可动物体例如也可以是婴儿车、手推车等。潜在可动物体例如也可以是人。潜在可动物体例如也可以是动物。

另一预定的片段类型可以是静态物体。静态物体可以是在条件变化时尽可能保持不变的物体。在采集图像序列期间，静态物体可以定位在这个图像序列的一个图像或多个图像中的某一位置上。在采集图像序列期间，静态物体的部分可以运动，其中这个静态物体作为整体在采集图像序列期间始终定位在这个图像序列的一个图像或多个图像中的某一位置上。在采集图像序列期间，静态物体的部分可以运动，其中这个静态物体的至少一个固定点在采集图像序列期间始终定位在这个图像序列的一个图像或多个图像中的某一位置上。静态元素例如可以是建筑物、天线杆、交通标志、照明系统、植被的一部分等。

另一预定的片段类型可以是天空。另一预定的片段类型可以是地面。片段类型可以由其几何形状定义。片段类型可以由其定向定义。就片段类型“天空”而言，几何形状可以是这样的，以使得天空片段无穷远。就片段类型“地面”而言，几何形状可以是这样的，以使得地面片段被看作是水平的。就片段类型“静态物体”而言，几何形状可以是这样的，以使得静态物体的片段的定向被定义为垂直于地面。就片段类型“潜在可动物体”而言，几何形状可以是这样的，以使得潜在可物体的片段的定向被定义为垂直于地面。

这个技术方案的优点在于，可以提高车辆环境的成像精度。特别是可以通过区分静态物体和潜在可动物体更好地将物体彼此区分开。

在本发明的另一有利的技术方案中提出，确定至少一列中的片段数据的步骤具有在一个列中形成至少一个片段的另一分步骤。在此，根据各个像素所对应的片段类型和这些像素距一个图像的图像平面的距离以及表征像素的各个运动的变量来形成片段。这个技术方案的优点在于，可以更精确地对车辆的环境进行成像。可以在一个列中以较高的精度识别多个物体。可以通过这些像素距图像平面的距离的相关性来识别环境的深层结构。因此，例如可以在一个列中形成至少两个片段，其中例如一个片段对应于具有像素距图像平面的第一距离的第一潜在动态物体，且其中至少第二片段对应于具有像素距图像平面的第二距离的第二潜在动态物体。表征像素的各个运动的变量同样可以显著改善对环境的成像。在此情况下，例如可以将两个车辆的两个彼此不同的速度考虑在内。

在本发明的另一有利的技术方案中提出，确定至少一列中的片段数据的步骤具有另一借助单应性测定至少一列的至少一个像素的期望光流的分步骤。这个确定至少一列中的片段数据的步骤特别是具有另一借助单应性测定至少一列的至少一个片段的期望光流的分步骤。光流指的是像素在两个图像之间的运动。单应性可以理解为两个图像之间的片段平面的成像。单应性可以理解为两个图像之间的片段平面的投影。作为借助单应性进行详细说明的替代方案，也可以启发式地测定预期的光流。这个技术方案的优点在于，能够根据预期的光流来区分片段。可以实现像素与预定的片段类型(例如天空、地面、静态物体或潜在可动物体)的对应。可以实现像素与具有距图像平面的不同距离的片段的对应。可以实现像素与具有不同运动的片段的对应。

在本发明的另一有利的技术方案中提出，在考虑到至少一个预定的假设的情况下测定期望的光流。预定的假设可以是片段类型的几何形状。预定的假设可以是片段类型的运动形式。预定的假设可以是这个片段距图像平面的距离。预定的假设可以是这个片段的运动。这个技术方案的优点在于，减少了用于测定预期流量的参数的数目。可以减少所描述的方法的计算工作量。因此，例如可以避免不必要地针对静态物体进行运动确定。片段数据的确定的精度可以得到提高。

在本发明的另一有利的技术方案中提出，在考虑到至少一个表示摄像机的运动的信号的情况下测定期望的光流。这个技术方案的优点在于，可以更精确地测定预期的光流。

在本发明的另一有利的技术方案中提出，确定至少一列中的片段数据的步骤具有另一将像素的期望光流与同一像素的根据所采集的图像序列测得的光流进行比较的分步骤。在此，可以将根据所采集的图像序列测得的像素光流理解为表征像素的各个运动的变量。这个技术方案的优点在于，可以以较高的精度将像素与预定的片段类型对应。可以以较高的精度将像素与具有距图像平面的不同距离的片段对应。可以以较高的精度将像素与具有不同运动的片段对应。

在本发明的另一有利的技术方案中提出，借助使能量项最小化来将至少一列的像素与预定的片段类型对应。可以通过动态编程实现能量项的最小化。这个技术方案的优点在于，可以减少所描述的方法的计算工作量。

在本发明的另一有利的技术方案中提出，至少一列的像素与潜在可动物体的片段类型的对应取决于所述至少一列的每个像素与预定的语义类别的对应。预定的语义类例如可以是指相似特性的物体的类别。例如可以将天空归入预定的语义类别。街道、人行道或地形例如可以归入另一预定的语义类别。车辆或人员例如可以归入另一预定的语义类别。建筑物、天线杆、标牌或植被例如可以归入另一预定的语义类别。这个技术方案的优点特别是在于，可以辅助区分静态物体与潜在可动物体。可以更精确地对环境进行成像。

在本发明的另一有利的技术方案中提出，确定至少一列中的片段数据的步骤具有另一借助车辆环境模型测定潜在可动物体的像素距图像平面的距离的分步骤。车辆环境模型可以理解为对街景的典型结构的认识。例如假设在街道场景中，潜在可动物体，如车辆或行人，通常立于地面上。这个技术方案的优点在于，即使这些片段的预期光流相同，也能够区分具有距图像平面的不同距离的潜在可动物体的片段。

本发明还基于一种计算机程序，所述计算机程序用于实施所描述的方法的所有步骤。

本发明还基于一种机器可读的存储介质，在所述存储介质上存储有所述计算机程序。

本发明还基于一种用于对车辆的环境进行成像的装置。所述装置具有至少一个用于采集图像序列的单摄像机、至少一个用于将所述图像序列的至少一个图像划分成列的模块、至少一个用于确定至少一列中的片段数据的模块、至少一个用于基于片段数据对环境进行成像的模块以及至少一个用于输出至少一个表示成像的环境的信号的模块。所述用于确定至少一列中的片段数据的模块用于将至少一列的像素与预定的片段类型对应。

在本发明的一个有利的技术方案中，所述用于确定至少一列中的片段数据的模块还用于借助单应性测定所述至少一列的至少一个像素的预期光流。所述用于确定至少一列中的片段数据的模块特别是用于借助单应性法测定所述至少一列的至少一个片段的预期光流。

附图说明

下面结合所附图式对本发明的实施例进行详细说明。在这些附图中，相同或等效的元件采用相同的附图标记。其中：

图1为具有用于对环境进行成像的装置的实施例的车辆；

图2为控制器的实施例，在这个控制器上可以执行对车辆的环境进行成像的方法；

图3为对车辆的环境进行成像的方法的实施例。

具体实施方式

图1示例性地示出具有用于对车辆100的环境进行成像的装置110的实施例的车辆100。装置110具有单摄像机101。单摄像机101可以采集车辆100的环境的图像序列。装置110还具有至少一个控制器102，在其上执行所述对车辆的环境进行成像的方法。从单摄像机101将至少一个表示这个图像序列的图像数据的信号105传输至控制器102。控制器102可以用于接收至少一个表示这个图像序列的图像数据的信号105。控制器102可以用于将这个图像序列的至少一个图像划分成列。控制器102还可以用于确定至少一列中的片段数据。控制器102还可以用于基于片段数据来对车辆100的环境进行成像。此外，控制器102可以用于输出至少一个表示成像的环境的信号106、107。例如可以以报警信号106的形式将表示成像的环境的信号输出到车辆100的报警模块104。报警模块104例如可以用于警告车辆100的乘员注意在车辆100的环境中识别到的物体。例如可以以控制信号107的形式将表示成像的环境的信号输出到车辆100的控制模块103。控制模块103例如可以用于控制车辆100。此外，车辆100可以具有至少一个用于检测单摄像机101的运动的传感器108。可以将至少一个表示单摄像机的运动的信号109从传感器108传输至控制器102。控制器102可以用于接收至少一个表示单摄像机的运动的信号109。

图2示出控制器102的实施例，在这个控制器上可以执行对车辆的环境进行成像的方法。如上所述，控制器102可以是图1中所描述的装置110的部件。从图2可以看出，控制器102可以具有多个模块。此外，预定的数据207可以储存在控制器102中。例如可以在控制器102中储存至少一个预定的片段类型207-1。可以在控制器102中储存至少一个用于测定预期的光流的预定假设207-2。可以在控制器102中储存至少一个预定的语义类别207-3。可以在在控制器102中储存至少一个车辆环境模型207-4。

控制器102可以具有用于将图像序列的至少一个图像划分成列的模块201。模块201可以用于接收表示图像序列的图像数据的信号105。控制器102还可以具有用于确定至少一列中的片段数据的模块202。模块201可以用于将表示被划分成列的图像的信号209传输至模块202。模块202可以用于接收信号209。模块201和模块202可以构建为共用的控制单元。模块201和模块202可以共同构建为模块208，其用于确定图像序列的至少一个图像中的片段数据。控制器102还可以具有用于测定所采集的图像序列的图像的至少一个像素的光流的模块205。模块205可以用于接收表示这个图像序列的图像数据的信号105。模块205可以用于将表示图像的至少一个像素的所测得的光流的信号210传输至模块202。模块202可以用于接收信号210。控制器102还可以具有用于将图像序列的至少一个图像的至少一个像素与预定的语义类别对应的模块206。模块202例如可以用于接收表示至少一个预定的语义类别207-3的信号212-3。模块206可以用于接收表示这个图像序列的图像数据的信号105。模块206可以用于将表示这个图像序列的至少一个图像的至少一个像素与预定语义类别的对应的信号211传输至模块202。模块202可以用于接收信号211。模块202还可以用于接收预定的数据207。模块202例如可以用于接收表示预定数据的信号212。

此外，模块202可以用于将表示在至少一列中所确定的片段数据的信号传输至模块203，用以对环境进行成像。模块203也可以是控制器102的部件。模块203例如可以将针对多个列而确定的片段数据合并成一个图像。这种图像可以再现车辆的环境。模块203可以用于将表示成像的环境的信号传输至模块204，用以输出至少一个表示成像的环境的信号214。模块204可以例如以报警信号106的形式输出表示这个成像的环境的信号214。模块204可以例如以控制信号107的形式输出表示这个成像的环境的信号214。

图3示出对车辆的环境进行成像的方法300的实施例。例如可以在如图1所示的装置110上执行方法300。方法300始于步骤301开始。在步骤302中采集车辆环境的图像序列。在步骤303中将图像序列的至少一个图像划分成列。这些列可以具有固定的宽度w_s。每个列的宽度w_s可以是相同的。在步骤304中确定这些列中的至少一个中的片段数据。因此，片段数据的确定成为一维优化问题。可以针对每个列独立解决这个优化问题。可以以如下方式确定片段数据：

(1)s＝{s_i|1≤i≤N≤h}

其中：

s＝该列中的片段量

s_i＝片段

i＝片段的指数

N＝该列中的片段数

h＝沿该列的像素数

v^b _i＝片段i的下图像坐标

v^t _i＝片段i的上图像坐标

m_i＝片段i的片段类型

p_i＝片段i距图像平面的反距离

t_i＝片段i的运动

c_i＝片段i的语义类别。

可以将这些列中的至少一个中的片段数据的确定作为能量最小化问题而公式化：

(2)

其中：

E＝能量

＝测得的该列中的片段量

Ψ(s)＝车辆环境模型

Φ(s,f,l)＝数据概率

f＝光流

l＝像素与预定的语义类别的对应。

车辆环境模型Ψ(s)描述了对街景的典型结构的认识。这个项Ψ(s)引起像素与预定的片段类型基于片段类型的几何形状的优选对应。优选例如基于街景的典型结构的最可能的几何形状进行对应。如果一个列中的一个片段例如对应于片段类型“地面”，则可以以一定的概率将下一片段与片段类型“物体”对应，即与片段类型“静态物体”或片段类型“潜在可动物体”对应。这是基于对街景的典型结构的认识而实现的，根据这个典型结构，物体大多立于地面上。在以下情形下，车辆环境模型例如还可以引起更精确的对应：如果前一片段对应于片段类型“静态物体”或片段类型“潜在可动物体”并且同样可以将下一片段与片段类型“静态物体”或片段类型“潜在可动物体”对应，则可以以一定的概率假定下一片段的下图像坐标并不表示下一物体的下边缘。在此情形下，可以假定一个物体覆盖了另一物体。

如上所述，车辆环境模型可以储存在实施所述方法的装置中。在步骤304的分步骤304-a中，借助车辆环境模型测定像素距图像平面的距离。在分步骤304-a中，特别是借助车辆环境模型测定动态物体的像素的距离。这样就能测定深层结构。

在分步骤304-b中，测定表征像素的各个运动的变量。表征像素的各个运动的变量可以是根据所采集的图像序列而测得的像素的光流。可以基于单摄像机的运动来测定表征像素的各个运动的变量。

在分步骤304-c中，借助单应性测定至少一列的至少一个像素的预期光流

在分步骤304-c中，特别是借助单应性测定至少一列的至少一个片段的预期光流f_v。片段被认为是平面部件，因此，可以以如下方式针对关于光流的假设对预期光流f_v进行说明：

(3)

其中：

H_i＝单应性

x_v＝像素

K＝内部摄像机矩阵

R_cam＝摄像机运动的旋转矩阵

t_cam,i＝摄像机运动的平移矢量

n^T _i＝法线矢量。

法线矢量n^T _i由片段类型的几何形状定义。法线矢量n^T _i可以是水平的。法线矢量n^T _i可以是竖直的。在此，假设片段居中地朝向单摄像机。就片段类型“静态物体”而言，基于摄像机运动而预定摄像机的旋转矩阵R_cam和摄像机的平移矢量t_cam,i。就片段类型“天空”而言，这个片段距图像平面的反距离为p_i＝0。这样一来，就这个片段类型而言，单应性就简化为H_i＝K R_cam K-¹。与此相反，就片段类型“潜在可动物体”而言，也必须考虑片段自身的平移运动t_i。这个预期的光流可以借助单应性进行说明。在此，摄像机的平移矢量t_cam,i可以看作是摄像机与关于片段s_i的假设之间的相对平移。

此外，可以评估关于光流的假设的一致性。为此，在步骤304的分步骤304-d中，将像素的片段s_i的预期光流与同一像素的根据所采集的图像序列而测得的光流进行比较。在此情况下，特别是要考虑到在分步骤304-b中所测得的表征像素运动的变量。针对这个比较，可以将以下能量项考虑在内：

(4)

其中：

Φ_F(s_i,f_v,v)＝基于在该列的行v中的预定片段si中所测得的光流f_v的能量

α_F＝用于限制能量份额的常数

C_v＝所测得的光流的置信区间

r^T _i,v＝预期光流与所测得的光流之间的分量式差异的转置矢量r_i,v＝预期光流与所测得的光流之间的分量式差异的矢量。

可以作为公式(2)中的能量最小化问题的解决方案，借助动态编程，例如借助Viterbi算法(维特比算法)，对至少一列中的片段数据进行确定。为了减少计算工作量，可以以某种方式对片段类型m_i、片段的下图像坐标v^b _i和片段的上图像坐标v^t _i进行优化。针对其他变量作出预定的假设。可以关于片段距图像平面的反距离p_i作出假设。可以关于片段的运动t_i作出假设。可以关于语义类别c_i作出假设。例如可以基于车辆环境模型来假定这个片段的最可能的距离。例如可以假定一个距离和运动，就这个距离和运动而言，预期光流的至少一个像素相当于所测得的光流。例如可以假定一个语义类别，就这个语义类别而言，至少一个像素相当于模块206中对应的类别。

在分步骤304-d之后的分步骤304-e中，将至少一列的像素与预定的片段类型对应。可以通过使公式(4)中的能量项最小化来将至少一列像素的像素与预定的片段类型对应。在此情况下，特别是要考虑到在分步骤304-a中所测得的像素距图像平面的距离。

在分步骤304-f中形成至少一个片段。在此情况下，可以将在分步骤304-e中与同一片段类型对应的彼此相邻的像素合并成一个片段。

在步骤305中，基于片段数据对车辆的环境进行成像。例如可以将针对多个列而确定的片段数据合并成一个图像。在步骤306中，输出至少一个表示成像的环境的信号。方法300结束于步骤307。

Claims

1.一种对车辆(100)的环境进行成像的方法(300)，所述方法包括如下步骤：

-借助单摄像机采集(302)图像序列；

-将所述图像序列的至少一个图像划分(303)成列；

-确定(304、304-a至304-f)至少一列中的片段数据；

-基于所述片段数据对所述环境进行成像(305)；

-输出(306)至少一个表示所述成像的环境的信号；

其特征在于，

-所述确定(304)至少一列中的片段数据的步骤具有将所述至少一列的像素与预定的片段类型对应(304-e)的分步骤。

2.根据权利要求1所述的方法(300)，其特征在于，预定的片段类型是潜在可动物体。

3.根据权利要求1或2所述的方法(300)，其中所述确定(304)至少一列中的片段数据的步骤具有另一在一个列中形成(304-f)至少一个片段的分步骤，且其中根据各个像素所对应的片段类型和所述像素距一个图像的图像平面的距离以及表征像素的各个运动的变量来形成(304-f)片段。

4.根据权利要求1至3中任一项所述的方法(300)，其中所述确定(304)至少一列中的片段数据的步骤具有另一借助单应性测定(304-c)所述至少一列的至少一个像素的期望光流的分步骤。

5.根据权利要求4所述的方法(300)，其中在考虑到至少一个预定的假设的情况下测定所述期望的光流。

6.根据权利要求4或5所述的方法(300)，其中所述确定(304)至少一列中的片段数据的步骤具有另一将像素的所述期望的光流与同一像素的根据所采集的图像序列测得的光流进行比较(304-d)的分步骤。

7.根据权利要求2至6中任一项所述的方法(300)，其中通过使能量项最小化来将所述至少一列的像素与预定的片段类型对应(304-e)。

8.根据权利要求2至7中任一项所述的方法(300)，其中所述至少一列的像素与潜在可动物体的片段类型的对应(304-e)取决于所述至少一列的每个像素与预定的语义类别的对应。

9.根据权利要求3至8中任一项所述的方法(300)，其中所述确定(304)至少一列中的片段数据的步骤具有另一借助车辆环境模型测定(304-a)潜在可动物体的像素距所述图像平面的距离的分步骤。

10.一种计算机程序，所述计算机程序用于实施根据权利要求1至9中任一项所述的方法(300)的所有步骤。

11.一种用于对车辆(100)的环境进行成像的装置(110)，所述装置具有：

-用于采集图像序列的单摄像机(101)；

-至少一个用于将所述图像序列的至少一个图像划分成列的模块(201)；

-至少一个用于确定至少一列中的片段数据的模块(202)；

-至少一个用于基于所述片段数据对所述环境进行成像的模块(203)；

-至少一个用于输出至少一个表示所述成像的环境的信号的模块(204)；

其特征在于，

-所述用于确定至少一列中的片段数据的模块(202)用于将所述至少一列的像素与预定的片段类型对应。

12.根据权利要求11所述的装置(110)，其中所述用于确定至少一列中的片段数据的模块(202)还用于借助单应性测定所述至少一列的至少一个像素的预期光流。