CN105549013A - 用于汽车雷达成像的物体边界检测 - Google Patents

Abstract

汽车雷达系统包括雷达摄照机，其捕获雷达视野中的雷达图像的一系列雷达帧。边界检测器从雷达摄照机中接收雷达数据并检测雷达数据中的物体边界数据。图像处理器接收雷达数据和物体边界数据并至少部分基于雷达数据和物体边界数据执行包括图像去模糊化的图像处理以及生成响应控制信号。响应装置基于响应控制信号执行一个或多个响应动作。物体边界检测包括执行像素级的多普勒分析以把像素速度与雷达数据像素关联起来，和识别像素速度中的不连续。响应装置可包括例如导航显示器，防撞报警装置，自动巡航控制装置、自动制动、和自动转向装置中的一个或多个。

Description

用于汽车雷达成像的物体边界检测

相关申请的交叉引用

本申请是2014年9月5日提交的序列号为62/046,200的美国临时专利申请的非临时申请，该申请的内容通过引用结合在此。

技术领域

本发明涉及一种汽车雷达系统，更具体地涉及物体边界检测以改善汽车雷达系统中的雷达图像去模糊化。

背景技术

机动车所使用的雷达系统被用于各种各样的用途，比如导航显示、防撞报警、自动巡航控制调整、自动制动、和自动转向。在正在移动的车辆中，所有可见的物体都相对于主车辆移动。同方向行驶的其他车辆可能看起来移动的相对慢一些，而迎面而来的车辆看起来移动的更迅速。车辆不可预见地改变速度和转弯，此时静止或缓慢移动的物体，例如障碍物和行人，可能出现在路边或在路面中。物体经常会临时被突然出现在视野内的其他物体所阻碍。因此，在行驶的正常过程中，以不同速度移动的物体经常会以不可预料的方式进入或离开雷达的视野。这对于执行自动物体检测、分类、危险侦测和响应的汽车雷达系统提出了一种具有挑战性的情况。

图像去模糊化是汽车雷达系统的雷达图像处理中的一个重要方面。当关于图像的附加信息，通常称为“优先(prior)”，可用于增强原始雷达图像时图像去模糊化技术通常会更有效。例如，可以使用关于图像中以不同速度移动的物体的边界的先验信息来极大地增强使用已知技术的图像去模糊化。不幸的是，汽车雷达数据经常具有“弱优先”，意味着在图像处理之前很少或没有关于图像内容的信息可以使用。因此，对于包括多个以不同速度移动的物体且具有“弱优先”的图像的去模糊化就成了一个具有挑战性的问题。在汽车雷达系统中，所有可见的物体以不同的相对速度移动且经常在通过视野时变成临时障碍，这加剧了挑战。

因此，需要提供一种改进的雷达图像处理系统，用于汽车雷达系统中的具有“弱优先”的雷达图像的去模糊化。更明确地说，需要在汽车雷达系统中的后续图像去模糊化、物体检测和响应中采用物体边界检测技术。

发明内容

在本发明的一个示例性的实施例中，车辆包括具有雷达摄照机的雷达系统，该雷达摄照机捕获雷达摄照机视野中的一系列雷达帧。边界检测器接收来自雷达摄照机的雷达数据并检测该雷达数据中的物体边界数据。图像处理器接收雷达数据和物体边界数据并执行图像分析，该图像分析包括图像去模糊化并至少部分基于雷达数据和物体边界数据生成响应控制信号。响应装置基于响应控制信号实施一个或多个响应动作。根据实施例的一个方面，物体边界检测包括执行像素级的多普勒分析以把像素速度与雷达数据的像素关联起来，和识别像素速度中的不连续。响应装置可包括导航显示，防撞报警，和自动巡航控制、制动系统、和转向。

在本发明的另一个示例性的实施例中，通过捕获包括雷达图像的一系列雷达帧的雷达数据来控制车辆。使用像素级的多普勒分析以把像素速度与雷达数据像素关联起来，和通过检测像素速度中的不连续来识别物体边界。物体边界识别还可包括通过雷达数据的帧序列来识别边界。图像去模糊化是至少部分基于雷达数据和物体边界数据的。响应动作可包括下列中的一个或多个：在导航显示器上显示雷达图像，激活防撞警告装置，激活自动巡航控制调整系统、激活自动制动系统、和激活自动转向系统。

本发明提供下述技术方案。

1.具有雷达系统的车辆，包括：

雷达摄照机，用于捕获雷达数据，该雷达数据包括雷达摄照机的视野的雷达图像的一系列帧；

边界检测器，用于从所述雷达摄照机接收所述雷达数据，并检测所述雷达数据中的物体边界；

图像处理器，用于接收所述雷达数据和所述物体边界数据，并至少部分基于所述雷达数据和所述物体边界数据执行包括图像去模糊化的图像分析应产生响应控制信号；和

响应装置，用于基于所述响应控制信号执行一个或多个响应动作。

2.如技术方案1的车辆，其中所述边界检测器进一步用于执行像素级多普勒分析，以将像素速度和所述雷达数据的像素关联起来。

3.如技术方案2的车辆，其中所述边界检测器进一步用于通过识别所述像素速度的不连续来检测物体边界数据。

4.如技术方案3的车辆，其中所述边界检测器进一步用于通过计算所述像素速度的梯度来识别所述像素速度中的不连续。

5.如技术方案4的车辆，其中所述边界检测器进一步用于通过计算所述像素速度的梯度的范数来识别所述像素速度中的不连续。

6.如技术方案5的车辆，其中所述边界检测器进一步用于通过经由所述雷达数据的帧序列识别边界不连续来检测物体边界数据。

7.如技术方案1的车辆，其中所述边界检测器进一步用于接收车辆速度信息并在检测所述物体边界数据时使用所述车辆速度。

8.如技术方案1的车辆，其中所述图像处理器进一步被配置为使用所述物体边界数据作为图像去模糊化传递函数中的自适应参数。

9.如技术方案8的车辆，其中所述图像去模糊化传递函数的形式为：

$H^{*},I^{*}=\arg \underset{H,I}{\min }\left|\right|I_0-HI\left|\right|+{\mathrm{\λ}}_1\left|\right|L_{1}I\left|\right|+{\mathrm{\λ}}_2\left|\right|L_{2}I\left|\right|---\left(6\right);$ 和

其中，所述物体边界数据在所述图像去模糊化传递函数中是通过参数λ₁的自适应确定来反映的。

10.如技术方案1的车辆，其中所述雷达摄照机在77GHz至81GHz的频率范围内工作。

11.如技术方案1的车辆，其中

所述响应装置包括导航显示器，防撞警告装置，自动巡航控制调整系统、自动制动系统、和自动转向系统中的一个或多个；和

所述边界检测器确定所述物体边界数据且所述图像处理器使用所述物体边界数据来进行实时的图像去模糊化，以支持对雷达数据中识别出的物体的有效响应动作。

12.用于移动车辆的雷达系统，包括：

雷达摄照机，用于捕获雷达数据，该雷达数据包括在所述雷达摄照机的视野中的雷达图像的一系列帧；

边界检测器，用于从所述雷达摄照机接收所述雷达数据，并检测所述雷达数据中的物体边界；以及

图像处理器，用于接收所述雷达数据和所述物体边界数据，以及至少部分基于所述雷达数据和所述物体边界数据执行包括图像去模糊化的图像分析并产生响应控制信号。

13.如技术方案12的车辆，其中所述边界检测器进一步用于执行像素级多普勒分析，以将像素速度和所述雷达数据的像素关联起来。

14.如技术方案13的车辆，其中所述边界检测器进一步用于通过识别所述像素速度的不连续来检测物体边界数据。

15.如技术方案14的车辆，其中所述边界检测器进一步用于通过计算所述像素速度的梯度来识别所述像素速度中的不连续。

16.如技术方案16的车辆，其中所述边界检测器进一步用于通过经由所述雷达数据的帧序列识别边界不连续来检测物体边界数据。

17.如技术方案12的车辆，其中所述图像处理器进一步被配置为使用物体边界数据作为图像去模糊化传递函数中的自适应参数。

18.一种用于控制移动车辆的方法，包括：

捕获包括雷达图像的一系列帧的雷达数据；

通过执行像素级多普勒分析以把像素速度与所述雷达图像的像素关联起来以及识别所述像素速度中的不连续，检测所述雷达数据中的物体边界数据；和

至少部分基于所述雷达数据和所述物体边界数据执行包括图像去模糊化的图像分析。

19.如技术方案18的方法，其中检测物体边界数据进一步包括通过雷达数据的帧序列来识别边界不连续。

20.如技术方案18的方法，进一步包括基于所述响应控制信号执行一个或多个响应动作，其包括在雷达显示器上显示雷达图像，激活防撞警告装置，激活自动巡航控制调整系统、激活自动制动系统、和激活自动转向系统中的一个或多个。

通过下面结合附图对本发明的细描述，上述特征和优势以及本发明的其他特征和优势是非常明显的。

附图说明

在下述实施例的详细描述，参考附图的详细描述中，仅通过示例的方式，体现其他特征、优势和细节，其中：

图1是汽车雷达系统的框图；和

图2是在汽车雷达系统中的物体边界接收的逻辑流程图。

具体实施方式

下面的描述实际上是示例性的，并不意图用来限制本发明，其使用或应用。可以理解，在所有附图中，对应的附图标记表示相似或对应的部分和特征。如这里所用，术语模块指处理电路，其可包括专用集成电路(ASIC)，电子电路，处理器(共享的，专用的，或组)和执行一个或多个软件或硬件程序的存储器，组合逻辑电路，和/或其他可提供所描述功能的合适部件。

根据图1所示的本发明的示例性实施例，车辆10，其可以是正在移动的，包括雷达12(也可称为雷达摄照机)，其用于对车辆周边的环境进行成像。为了说明在这个例子中的物体边界技术的实施例，在雷达视野中有多个物体11a-11n，它们相对于车辆10且相对于彼此以不同的速度移动。例如，这些物体可包括与车辆同向移动的行人车辆、迎面而来的行人车辆，车辆拐弯，路边或在路面上的物体，在背景环境中的物体，等等。雷达12捕获雷达数据13的连续帧(也可称为雷达帧序列)，其被下游传送用于图像分析和响应动作。雷达数据13和可选的来自车辆速度计的车辆速度信息14被提供给物体边界检测器15，其产生“实时的”物体边界数据16(也可被称为物体边界)，以便用在随后由图像处理器17进行的图像处理中。通常，图像处理器17至少部分地基于雷达数据和物体边界数据执行图像分析，包括图像去模糊化，物体识别，危险检测，和产生响应控制信号18。响应装置19使用响应控制信号18来对雷达数据作出响应，比如在导航显示器上显示图像，激活警告，碰撞准备，和采取有效的躲避或防撞动作。

本发明主要关注由边界检测器15执行的边界检测技术20，其可与任何适宜类型的雷达12，图像处理器17，和响应装置19一起使用。通常，为汽车雷达12保留约77GHz至81GHz的毫米波频率段，而图像处理器17通常执行图像去模糊化、物体识别，危险检测，和其他与主车辆中的特定雷达系统相关的图像处理任务。典型的响应装置19可包括导航显示器，防撞系统，和一定范围的主动防撞装置，如自动巡航控制调整、自动制动、和自动转向。物体边界检测技术20在很大程度上对雷达系统的其他元件无影响，因此可以用作大范围的汽车雷达系统的部件。

美国专利No.8,577,534、6,223,117、5,777,563、5,572,428、和5,014,200描述了其中可以使用边界检测技术的汽车雷达系统的一些特定例子，它们与本发明一起提交并形成本申请的一部分，且以引用的方式结合到该非临时申请中。美国专利No.8,750,643、5,283,813中了描述可以使用由边界检测器生成的物体边界的图像处理技术的例子，它们也与本发明一起提交并形成本申请的一部分，且同样以引用的方式结合到该非临时申请中。要强调的是，这些特定引用仅仅提供在其中可使用的边界检测技术的系统的说明示例，且绝不限制在这些特定示例的实施例。另外，虽然在机动车的雷达系统的环境下描述了示例性实施例，但是边界检测技术也可以应用于通常包括那些用于其他类型的移动交通工具的雷达系统，比如海上运载工具，飞机，航天器等等。

图2是适于由图1所示的汽车雷达系统的物体边界检测器15执行的物体边界检测技术20的流程图。在块22，物体边界检测器15接收雷达帧序列13和可选的车辆速度信息14，并使用这个数据执行像素级多普勒分析。更具体地说，多普勒分析，其可选地增加有车辆速度提供参考速度的车辆帧，被用于将像素速度与原始雷达数据的每个帧的每个像素相关联。块22之后是块24，在其中，物体边界检测器15检测速度中的不连续以识别物体边界(也可称为速度不连续分析)。块24之后是块26，其中物体边界检测器15识别持续经过一系列帧的边界的连续性(还可称为帧序列连续性分析)。块26之后是块28，在其中物体边界检测器15使用速度不连续数据和边界连续数据来识别雷达数据中的物体边界(还可称为物体边界识别)。

物体边界检测技术20可由传统的微处理器技术足够快速地执行，从而“实时”地用在随后的图像处理中，以支持机动车应用中的高效导航和响应动作。也就是说，为了以正常道路速度行驶的机动车的导航显示、防撞报警，和自动控制，物体边界检测通过服从“实时”执行的直接像素级处理技术来完成。这允许实时物体边界检测以有效地把具有“弱优先”的原始雷达数据转变成形式为物体边界的具有“强优先”的物体分段雷达数据，以用在随后的图像处理和车辆控制中。物体边界在图像去模糊化中非常有用，其通常是图像处理序列中应用的下一步骤，随后是物体识别，危险检测等等。具有良好定义的边界和清晰地去模糊化的物体改善了随后的图像处理和响应的所有方面。

更具体地，通过对多普勒速度应用微分算子来发现像素速度的像素级不连续性，由此来检测物体边界。多普勒速度可由3d图像表示：V(x，y，z)，其中x，y，z表示雷达视野的像素坐标(或2d图像，如果仅给出x，y)。通过使用V(x，y，z)的梯度算子来确定速度不连续。对于3d图像，梯度是为图像的每个点定义的向量场这个向量场的范数(norm)是向量场不连续的特征。当较大时，向量场不连续。

物体边界被提供给去模糊滤波器，其可部分由指定为H的传递函数表示。传递函数H通常定义为这样的函数，其在作用于理想强度雷达图像I之后，生成类似于由雷达测量的观测数据的图像，与此同时将光洁度性质强加于理想图像。当速度不连续场较小时光洁度通常应更大，而在大速度不连续区中应当更小些。换句话说，在去模糊处理过程中通过适应性放松在物体边界检测器确定的物体边界区域内的去模糊传递函数H的平滑要求来考虑边界检测。可选的，去模糊传递函数可以把清晰度约束施加在理想图像上，且然后允许大区内更大的清晰度和小区内更小的清晰度。换句话说，依赖的单调下降的正则化函数：可以基于不连续域自适应的确定，以在图像去模糊处理中考虑边界检测。这个单调函数不是必须是严格单调的，因此其可以取决于阈值而被压扁(squashed)(被分配到0或一些小恒定值)。

这个方法可以反映在已知的盲去模糊(去卷积)传递函数的框架的背景下，其中得到下面函数的最小值：

$H^{*},I^{*}=\arg \underset{H,I}{\min }\left|\right|I_0-HI\left|\right|+{\mathrm{\λ}}_1\left|\right|L_{1}I\left|\right|+{\mathrm{\λ}}_2\left|\right|L_{2}I\left|\right|$

其中，H*，I*是重建(最优)去模糊滤波器和理想图像，L₁是理想图像I上的任意平滑算子，L₂是滤波器H的在先算子。函数λ₁自适应选择以在图像去模糊化处理中反映物体边界，比如由上面公式所描述的过程。在这个特定例子中，检测到的物体边界允许上面表达式的第二项基于图像去模糊处理期间检测到的速度不连续性而被自适应地确定。将理解，这仅仅是已知去模糊化处理的一个例子，且其他去模糊化运算以及其他类型的图像处理运算也可使用物体边界数据。

虽然已经参考示例性实施例描述了本发明，但是本领域技术人员可以理解，可以对元件进行各种改变和进行替换而不脱离本发明的范围。另外，可以进行许多修改以特定的情形或材料适于本发明的教导而不脱离本发明的本质范围。因此，本发明不仅限于所公开的特定实施例，相反本发明还包括落在本申请范围内的所有实施例。

Claims (10)

1.具有雷达系统的车辆，包括：

雷达摄照机，用于捕获雷达数据，该雷达数据包括雷达摄照机的视野的雷达图像的一系列帧；

边界检测器，用于从所述雷达摄照机接收所述雷达数据，并检测所述雷达数据中的物体边界；

图像处理器，用于接收所述雷达数据和所述物体边界数据，并至少部分基于所述雷达数据和所述物体边界数据执行包括图像去模糊化的图像分析应产生响应控制信号；和

响应装置，用于基于所述响应控制信号执行一个或多个响应动作。

2.如权利要求1的车辆，其中所述边界检测器进一步用于执行像素级多普勒分析，以将像素速度和所述雷达数据的像素关联起来。

3.如权利要求2的车辆，其中所述边界检测器进一步用于通过识别所述像素速度的不连续来检测物体边界数据。

4.如权利要求3的车辆，其中所述边界检测器进一步用于通过计算所述像素速度的梯度来识别所述像素速度中的不连续。

5.如权利要求4的车辆，其中所述边界检测器进一步用于通过计算所述像素速度的梯度的范数来识别所述像素速度中的不连续。

6.如权利要求5的车辆，其中所述边界检测器进一步用于通过经由所述雷达数据的帧序列识别边界不连续来检测物体边界数据。

7.如权利要求1的车辆，其中所述边界检测器进一步用于接收车辆速度信息并在检测所述物体边界数据时使用所述车辆速度。

8.如权利要求1的车辆，其中所述图像处理器进一步被配置为使用所述物体边界数据作为图像去模糊化传递函数中的自适应参数。

9.用于移动车辆的雷达系统，包括：

雷达摄照机，用于捕获雷达数据，该雷达数据包括在所述雷达摄照机的视野中的雷达图像的一系列帧；

边界检测器，用于从所述雷达摄照机接收所述雷达数据，并检测所述雷达数据中的物体边界；以及

图像处理器，用于接收所述雷达数据和所述物体边界数据，以及至少部分基于所述雷达数据和所述物体边界数据执行包括图像去模糊化的图像分析并产生响应控制信号。

10.一种用于控制移动车辆的方法，包括：

捕获包括雷达图像的一系列帧的雷达数据；

通过执行像素级多普勒分析以把像素速度与所述雷达图像的像素关联起来以及识别所述像素速度中的不连续，检测所述雷达数据中的物体边界数据；和

至少部分基于所述雷达数据和所述物体边界数据执行包括图像去模糊化的图像分析。