CN105574892A - 雷达图像中的基于多普勒的分割及光流 - Google Patents

Abstract

本发明涉及雷达图像中的基于多普勒的分割及光流。在实施例中，提供了一种图像处理方法。所述方法接收包括多个像素的图像。每个像素包括径向速度信息。所述方法基于像素的径向速度信息将图像的多个像素分类成多个像素组。所述方法将至少一个像素组与目标相关联。

Description

雷达图像中的基于多普勒的分割及光流

相关申请的交叉引用

本申请是2014年9月19日提交的美国临时专利申请序列号为No.62/052696的非临时申请，其公开内容通过引用全部并入本文。

技术领域

本发明主题涉及使用计算机视觉技术的数字图像处理，更具体地涉及处理图像时使用经改进以使用图像像素径向速度信息的计算机视觉技术。

背景技术

为了从数字图像中提取有用的信息，已有使用多种计算机视觉技术以处理数字图像。例如，图像分割技术将图像分割成多个区域来定位图像中的目标和边界(例如，直线和曲线)。光流技术用于研究由观察者(眼睛或照相机)和场景之间的相对运动引起的图像中的目标、表面和边缘的运动。具体地，光流技术用于估算光流(即，图像中的一个像素向另一图像中的另一位置运动的速度)。光流技术被用于运动估算、数据压缩、机器人导航和目标跟踪。

发明内容

在本发明的一个示例性实施例中，提供一种图像处理方法。所述方法接收包括多个像素的图像。每个像素包括径向速度信息。所述方法基于像素的径向速度信息将图像的多个像素分类成多个像素组。所述方法将至少一个像素组与目标相关联。

在本发明的另一个示例性实施例中，提供一种图像处理系统。所述系统包括雷达，所述雷达被配置用于生成包括多个像素的图像。每个像素包括径向速度信息。所述系统还包括图像处理模块，所述图像处理模块被配置成基于像素的径向速度信息将图像的多个像素分类成多个像素组，并将至少一个像素组与目标相关联。

在本发明的另一个示例性实施例中，提供一种用于处理图像的计算机程序产品。所述计算机程序产品包括存储有体现在一起的程序指令的计算机可读存储介质。所述程序指令可由处理电路读取，使所述处理电路执行一种方法。所述方法接收包括多个像素的图像。每个像素包括径向速度信息。所述方法基于像素的径向速度信息将图像的多个像素分类成多个像素组。所述方法将至少一个像素组与目标相关联。

本发明还公开了以下方案：

方案1：一种用于处理图像的计算机实现方法，其包括：

接收包括多个像素的图像，每个像素包括径向速度信息；

基于所述像素的径向速度信息由计算机将所述图像的所述多个像素分类成多个像素组；以及

将至少一个所述像素组与目标相关联。

方案2：如方案1所述的方法，其中，所述径向速度信息表示基于目标相对于雷达的运动而由所述雷达所测量的每个所述像素的径向速度。

方案3：如方案1所述的方法，进一步包括使用适于使用所述像素的所述径向速度信息的图像分割技术。

方案4：如方案1所述的方法，其中，每个像素进一步包括强度信息，其中，所述分类进一步基于所述像素的所述强度信息。

方案5：如方案1所述的方法，其中，所述分类包括基于两个像素的径向速度信息来确定所述多个像素中的一个像素是否与所述多个像素中的另一个像素足够相似。

方案6：如方案1所述的方法，其中，所述分类包括比较所述多个像素中的一个像素的所述径向速度信息与所述多个像素中的另一个像素的所述径向速度信息。

方案7：一种用于处理图像的系统，其包括：

雷达，其被配置用于生成包括多个像素的图像，每个像素包括径向速度信息；以及

图像处理模块，其被配置成：

基于所述像素的径向速度信息将所述图像的所述多个像素分类成多个像素组；以及

将至少一个所述像素组与目标相关联。

方案8：如方案7所述的系统，其中，所述径向速度信息表示基于目标相对于雷达的运动而由所述雷达所测量的每个所述像素的径向速度。

方案9：如方案7所述的系统，其中，所述图像处理模块被配置成使用适于使用所述像素的所述径向速度信息的图像分割技术。

方案10：如方案7所述的系统，其中，每个像素进一步包括强度信息，其中，所述分类进一步基于所述像素的所述强度信息。

方案11：如方案7所述的系统，其中，所述图像处理模块被配置成通过基于两个像素的所述径向速度信息确定所述多个像素中的一个像素与所述多个像素中的另一个像素是否足够相似来进行分类。

方案12：如方案7所述的系统，其中，所述图像处理模块被配置成通过比较所述多个像素中的一个像素的所述径向速度信息与所述多个像素中的另一个像素的所述径向速度信息来进行分类。

方案13：一种用于处理图像的计算机程序产品，所述计算机程序产品包括：

计算机可读存储介质，其具有体现在一起的程序指令，所述程序指令能够由处理电路读取以促使所述处理电路执行一种方法，所述方法包括：

接收包括多个像素的图像，每个像素包括径向速度信息；

基于所述像素的径向速度信息而将所述图像的所述多个像素分类成多个像素组；以及

将至少一个所述像素组与目标相关联。

方案14：如方案13所述的计算机程序产品，其中，所述径向速度信息表示基于目标相对于雷达的运动而由所述雷达所测量的所述像素的径向速度。

方案15：如方案13所述的计算机程序产品，其中，所述方法进一步包括使用适于使用所述像素的所述径向速度信息的图像分割技术。

方案16：如方案13所述的计算机程序产品，其中，每个像素进一步包括强度信息，其中，所述分类进一步基于所述像素的所述强度信息。

方案17：如方案13所述的计算机程序产品，其中，所述分类包括基于两个像素的径向速度信息来判断所述多个像素中的一个像素与所述多个像素中的另一个像素是否足够相似。

方案18：如方案13所述的计算机程序产品，其中，所述分类包括比较所述多个像素中的一个像素的所述径向速度信息与所述多个像素中的另一个像素的所述径向速度信息。

从以下结合附图的本发明的详细描述中，可以清楚地得出本发明的上述特征和优点以及其它特征和优点。

附图说明

在以下实施例的详细说明中，仅通过举例的方式示出其它的特征、优点和细节，该详细说明参照附图，其中：

图1描述了根据本发明实施例的雷达和图像处理系统；

图2是根据本发明实施例的说明处理图像方法的流程图；以及

图3是根据本发明实施例的说明处理图像序列的方法的流程图。

具体实施方式

以下描述本质上仅是示例性的，而非意在限制本公开、其应用或用途。应当理解，在整个附图中，对应的参考标记表示相同或相应的部件和特征。

高分辨率成像雷达所生成的图像比常规雷达系统所生成的图像或常规摄像系统所生成的图像携带更多的信息。这是因为，高分辨率成像雷达所生成的图像中示出的目标由显示所述目标更多细节的更多数目的像素来表示，而常规雷达系统所生成的图像中示出的目标为较低分辨率的图像，其中较少数量的像素(例如点)表示该目标。此外，由于常规的摄像系统不捕捉图像中像素的径向速度信息，因此高分辨率成像雷达所生成的图像比常规成像系统所生成的图像携带更多的信息。

在实施例中，除了常规雷达所生成的图像中包括的范围信息、仰角信息和方位角信息之外，高分辨率成像雷达所生成的图像还包括径向速度信息。具体地，在实施例中，高分辨率成像雷达所生成的图像中的每个像素均包括径向速度信息、范围信息、仰角信息、方位角信息以及所测量的反射强度。像素的径向速度信息表示基于目标相对于雷达的运动而由雷达所测量的像素的径向速度。像素的范围信息表示目标和雷达之间的距离。仰角信息表示从雷达到目标的仰角。方位角信息表示从雷达到目标的方位角。像素的径向速度信息、范围信息、仰角信息和方位角信息由雷达使用球面坐标系生成。然而，雷达可被配置成使用其它坐标系，例如笛卡尔坐标系，并生成具有根据其它坐标系统的坐标信息的像素的图像。

一般而言，本发明实施例的方法和系统使得计算机视觉技术适于使用高分辨率成像雷达所生成的图像或帧中的像素的径向速度信息，并使用所适用的计算机视觉技术处理一个或多个图像。本发明实施例的方法和系统的适于使用径向速度信息的计算机视觉技术包括分割技术和光流技术。

根据本发明的示例性实施例，图1描绘了图像处理系统100和雷达102。在实施例中，图像处理系统100包括一个或多个模块，例如数据存储器104、分割模块106和光流估算模块108。如本文所使用的，术语“模块”或“子模块”是指执行一个或多个软件或固件程序的专用集成电路(ASIC)、电子电路、处理器(共享的、专用的或成组的)和存储器、组合逻辑电路和/或其它适合的提供所描述的功能的组件。当在软件中实现时，模块或子模块可实施在存储器中作为非暂时性机器可读存储介质，其可由处理电路和由所述处理电路执行用于执行一种方法的存储指令来读取。此外，图1所示的模块可被组合和/或进一步划分。在实施例中，图像处理系统100和雷达102在车辆中运行。

雷达102生成图像处理系统100周围环境的高分辨率图像或帧。雷达102捕捉雷达数据的系列图像114，这些图像被传递到图像处理系统100进行图像处理和分析。在实施例中，雷达102被配置成可对存在于雷达102的范围内的一个或多个移动目标150上执行多普勒分析，以对雷达102所捕捉的图像中各个像素生成径向速度信息。除径向速度信息外，雷达102还生成图像中各个像素的范围信息、仰角信息和方位角信息。此外，雷达102生成表示像素的一个或多个强度或亮度值的像素的强度信息。

图像处理系统100的数据存储器104存储从雷达102接收的图像114。在实施例中，编码器模块(未示出)可在将图像存储到数据存储器104之前对图像114进行编码，当分割模块106和光流估算模块108从数据存储器104中检索所述图像时，解码器模块可对经编码的图像进行解码。

分割模块106实现一种或多种分割技术，以应用到来自雷达102的图像中，以识别图像中的目标和边界。在实施例中，除了像素所涉及的其它信息，例如强度信息之外，分割模块106所实现的分割技术还使用图像中像素的径向速度信息。分割模块106将处理后的具有经识别的目标和边界的图像发送到使用所述处理后的图像的另一个系统(未示出)。例如，在车辆中运行的所述实施例中的图像处理系统100将处理后的图像发送到实现车辆安全功能(例如，检测其它车辆、行人、其它障碍物等)的另一个系统(未示出)。

根据本发明的实施例，分割模块106所实现的分割技术包括适于使用径向速度信息的常规分割技术。存在多种常规分割技术可适于使用所述径向速度信息。常规分割技术的示例包括区域增长技术、聚类技术、基于边缘的(或边缘检测)技术和基于模型的技术。

区域增长技术开始于图像中作为目标的代表像素的一个或多个种子像素。区域增长技术将一个或多个相似性标准应用到与种子像素相邻的像素，来判断所述相邻的像素与所述种子像素是否足够相似而能够表示同一目标。在实施例中，相似性标准包括两个像素的径向速度之间的差是否小于阈值径向速度差。如果径向速度之间的差小于阈值差，所述区域增长技术确定所述两个像素足够相似而能够表示同一目标。其它类似的标准(例如，两个像素之间的强度值差是否小于阈值强度差)可补充判断两个像素是否足够相似而能够表示同一目标。适于使用径向速度信息的区域生长技术可被用于基于脉冲耦合神经网络(PCNN)来检测图像中的目标。

聚类技术例如基于强度值的相似性将图像的像素群集到图像中的表示同一目标的一个或多个区域内。在实施例中，所述聚类技术适于使用图像中像素的径向速度信息。本发明的实施例中适于使用径向速度信息的聚类技术包括K均值算法，其为一种将图像分割成K个聚类的迭代技术，其中K是一个正整数。K均值算法(1)随机或基于启发拾取K个聚类中心，(2)将图像中的每个像素分配给使所述像素和相应的聚类中心之间的“距离”最小化的聚类，(3)通过聚类中所有像素的平均属性(例如，强度)重新计算所述聚类中心，以及(4)重复(2)和(3)，直到达到收敛(即没有像素进一步改变聚类)。所述像素和聚类中心之间的“距离”是所述属性(例如，强度、颜色值、位置等)或所述属性的加权组合之间的平方或绝对值差。可通过手动、随机或通过启发选择K。在实施例中，K均值算法适于使用像素的径向速度信息，使得所述像素和聚类中心之间的“距离”包括像素的径向速度和聚类中心的径向速度之间的平方或绝对值差。

基于边缘的技术通过识别图像中的分离边缘并将所述边缘连接而形成图像中的目标的边界来检测图像中的目标。边缘位于例如相邻像素的强度值突然改变的地方。在实施例中，基于边缘的技术适于使用图像中像素的径向速度信息来检测图像中的边缘。即，基于边缘的技术将径向速度的突然改变(例如，两个像素的径向速度之间的改变或差值大于径向速度差值阈值)认为是图像中边缘的表示。

基于模型的技术使用概率模型(例如，马尔可夫随机场)来识别图像中的目标。即，基于模型的技术基于目标的概率模型定义属于图像中特定目标的图像中的像素的概率。在实施例中，基于模型的技术适于使用图像中像素的径向速度信息来建立目标的概率模型并定义属于所述目标的像素的概率。

光流估算模块108实现一种或多种光流技术来估算雷达102所生成的图像序列中的图像的每个像素的光流。在实施例中，除了像素所涉及的其它信息、例如强度信息之外，光流估算模块108所实现的光流技术还适于使用图像中的径向速度信息。光流估算模块108将处理后的具有经估算的光流的图像发送给使用所述处理后的图像的另一个系统(未示出)。例如，实施例中在车辆中运行的图像处理系统100将处理后的图像发送给实现车辆安全功能(例如，对其它车辆、行人、其它障碍物等的运动做出响应)的另一个系统(未示出)。

有多种可由本发明的实施例使用以适于使用径向速度信息的常规光流技术。常规光流技术的示例包括LukasKanade(LK)技术、加权LK技术、离散优化技术、移流技术和具有整合的运动模型的加权LK技术。

常规光流技术基于使用有序图像的序列对瞬时图像速度或离散图像位移的估算。在笛卡尔坐标系中，瞬时图像速度由下列方程1定义：

V(r)＝[V_x(r)，V_y(r)，V_z(r)]方程1

其中，V(r)表示像素r从一个图像到序列中下一个图像的瞬时速度；r表示序列中图像的每个特定像素的坐标值(例如，在笛卡尔坐标系中的x，y和z坐标值)；V_x(r)表示特定像素的x坐标像素速度；V_y(r)表示特定像素的y坐标像素速度；V_z(r)表示特定像素的z坐标像素速度。常规的光流技术通过向方程1施加强度恒定约束来确定图像的图像速度。下面的方程2表示强度恒定约束，其为在序列中两个连续的图像中第一个图像的像素的强度或亮度，并且两个连续的图像中第二个图像的对应的像素不变：

I(r+V，t+Δt)＝I(r，t)方程2

其中，I(r，t)表示两个图像中的第一个图像的强度值——在时间t和位置r的强度(即，x，y和z坐标值)；I(r+V，t+Δt)表示两个图像中的第二个图像的强度值；V表示具有x，y和z分量向量的坐标向量；Δt表示捕捉这两个图像时两种情况之间的时间间隔。在泰勒级数中方程2的线性化趋于由下述方程3表示的近似值，其被称为强度恒定约束方程：

$\▿I(r,t)\·V(r,t)+I_t(r,t)=0$ 方程3

其中，为：

$\[\frac{\∂I}{\∂x},\frac{\∂I}{\∂y}\frac{\∂I}{\∂z}\]$

在方程3中，为图像像素强度的梯度向量(即，I(r))，并且I_t(r，t)为随时间t的偏导，(以下，在方程和术语中省略了时间t)。这些值基于数值离散从连续的图像计算得出。但是，单独的强度恒定约束不足以求解三个未知的速度分量(即，V_x，V_y和V_z)。为了得出这些未知数，需要附加的约束。

不同的常规光流技术不同于它们施加不同的附加约束。例如，LK技术施加局部速度恒定约束，其中假设具有V_x，V_y和V_z的坐标向量V在特定像素在r的空间邻域(即，围绕特定像素在r处的空间窗口)内是恒定的。即，假设方程3对所述特定像素的所有相邻像素有效，那么方程3可改写成方程4：

$\▿I\left(q\right)\·V\left(r\right)+I_t\left(q\right)=0$ 方程4

其中，q表示在序列的图像中特定像素r的空间邻域的各个像素，I_t(q)是随时间t的偏导。然后，LK技术基于最小二乘原理来获得解——整体方案使得每个单方程所引起的误差的平方和最小化。所述方案被表示为方程5：

V＝(A^TA)^-1A^Tb方程5

其中，A为n×3的矩阵，其中n为特定像素r的相邻像素的数目，其由相邻像素q的一系列梯度构建。即，在所述方案中的矩阵A(称为矩阵1)为：

${\left[\begin{array}{cccc}\▿I_x\left(q_1\right)& \▿I_x\left(q_2\right)& ...& \▿I_x\left(q_n\right)\\ {\mathrm{VI}}_y\left(q_1\right)& \▿I_y\left(q_2\right)& ...& \▿I_y\left(q_n\right)\\ \▿I_z\left(q_1\right)& \▿I_z\left(q_2\right)& ...& \▿I_z\left(q_n\right)\end{array}\right]}^T$ 矩阵1

向量b由下式给出(称为向量1)：

-[I_t(q₁)I_t(q₂)…I_t(q_n)]^T向量1

在实施例中，常规的技术LK适于使用图像中每个像素的径向速度信息作为附加约束来求解方程3中的图像速度V(r)。具体来说，径向速度信息提供了图像速度V(r)的径向分量。作为附加约束的每个像素的径向速度信息可表达为方程6：

e_r·V(r)＝V_D(r)方程6

其中，V(r)是序列中图像的图像速度；V_D(r)是特定像素在r的径向速度，e_r表示为：

$\frac{r}{\left|\right|r\left|\right|}$

方程3上所施加的附加线性约束使得每个像素中光流的估算更加精确和稳定。使用方程3上所施加这一附加约束，由方程5求解所得的矩阵A为2n×3的矩阵：

${\left[\begin{array}{cccccccc}\▿I_x\left(q_1\right)& \▿I_x\left(q_2\right)& \mathrm{...}& \▿I_x\left(q_n\right)& e_{x,1}& e_{x,2}& \mathrm{...}& e_{x,n}\\ \▿I_y\left(q_1\right)& \▿I_y\left(q_2\right)& \mathrm{...}& \▿I_y\left(q_n\right)& e_{y,1}& e_{y,2}& \mathrm{...}& e_{y,n}\\ \▿I_z\left(q_1\right)& \▿I_z\left(q_2\right)& \mathrm{...}& \▿I_z\left(q_n\right)& e_{z,1}& e_{z,2}& \mathrm{...}& e_{z,n}\end{array}\right]}^T$ 矩阵2

其中，e_r，n表示为：

$\frac{q_n}{\left|\right|q_n\left|\right|}$

然后，向量b由下式给出(称为向量2)：

-[I_t(q₁)I_t(q₂)…I_t(q_n)-V_D(q₁)-V_D(q₂)…-V_D(q_n)]^T向量2

约束数目的倍增允许为每个特定像素使用较少数量的邻近像素(即，二维雷达图像窗口大小减小达三维雷达图像窗口大小减小达)。此外，使用径向速度信息作为约束比常规LK技术所施加的使用局部速度的约束具有更好的光流估算。

最小二乘原理使得特定像素的所有相邻像素具有相同的重要性。在加权LK技术中，相邻像素进行加权。因此，在实施例中，矩阵1被重写为包括权重的矩阵3：

${\left[\begin{array}{cccc}{w}_1\▿I_x\left(q_1\right)& w_2\▿I_x\left(q_2\right)& \mathrm{..}& w_n\▿I_x\left(q_R\right)\\ w_1\▿I_y\left(q_1\right)& W_2\▿I_y\left(q_2\right)& ...& w_n\▿I_y\left(q_R\right)\\ w_1\▿I_z\left(q_1\right)& w_2\▿I_z\left(q_2\right)& ...& w_n\▿I_z\left(q_R\right)\end{array}\right]}^T$ 矩阵3

此外，向量1被重写为向量3：

-[w₁I_t(q₁)w₂I_t(q₂)…w_nI_t(q_n)]^T向量3

应当注意的是，在实施例中，矩阵2被类似地修改为包括权重。被重写为包括权重的矩阵2为以下矩阵4：

${\left[\begin{array}{cccccccc}{w}_1\▿I_x\left(q_1\right)& w_2\▿I_x\left(q_2\right)& \mathrm{...}& w_n\▿I_x\left(q_n\right)& w_1{e}_{x,1}& w_2{e}_{x,2}& \mathrm{...}& w_n{e}_{x,n}\\ w_1\▿I_y\left(q_1\right)& w_2\▿I_y\left(q_2\right)& \mathrm{...}& w_n\▿I_y\left(q_n\right)& w_1{e}_{y,1}& w_2{e}_{y,2}& \mathrm{...}& w_n{e}_{y,n}\\ w_1\▿I_z\left(q_1\right)& w_2\▿I_z\left(q_2\right)& \mathrm{...}& w_n\▿I_z\left(q_n\right)& w_1{e}_{z,1}& w_2{e}_{z,2}& \mathrm{...}& w_n{e}_{z,n}\end{array}\right]}^T$ 矩阵4

向量3被重写为(称为向量4)：

-[w₁I_t(q₁)w₂I_t(q₂)…w_nI_t(q_n)-w₁V_D(q₁)-w₂V_D(q₂)…-w_nI_tV_D(q_n)]向量4

在实施例中，矩阵3、4和向量3、4中的权重被建模为kernel函数，并随在r的特定像素与相邻像素之间的距离而减小。建模为kernel函数的权重可表示为方程7：

w_k＝K_s(||q_k-r||)方程7

其中，K_s为kernel函数。

另一种使用像素的径向速度信息作为约束的方式是将LK技术的局部速度恒定约束转换为径向速度信息的对应关系，并使用所述对应关系对加权系数w_k进行建模。即，可基于特定像素的相邻像素的径向速度是恒定的这一假设来确定所述加权系数。这一假设引出以下方程8和9：

V_D(q_k)＝||V(r)||cos(e_k，V(r))方程8

V_D(r)＝||V(r)||cos(e_r，V(r))方程9

其中，V_D(q_k)表示相邻像素q_k的径向速度；V_D(r)为特定像素在r的径向速度。从方程8减去方程9来计算径向分量之间的差值，如下面的方程10所示：

$\begin{array}{c}|V_D\left(q_k\right)-V_D\left(r\right)|=\left|\right|V\left(r\right)\left|\right|\·|\cos (\[e_r,V(r)\])-\cos (\[e_k,V(r)\]\left)\right|\\ =2\left|\right|V\left(r\right)\left|\right|\·|\sin \left(\frac{{\mathrm{\δ}}_k}{2}\right)\sin (\[e_r,V(r)\]+\frac{{\mathrm{\δ}}_k}{2})|\\ =2\left|\sin \left(\frac{{\mathrm{\δ}}_k}{2}\right)\right(V_{\mathrm{\τ}}\left(r\right)\cos \left(\frac{{\mathrm{\δ}}_k}{2}\right)+V_d\left(r\right)\sin \left(\frac{{\mathrm{\δ}}_k}{2}\right)\left)\right|\\ =|V_{\mathrm{\τ}}\left(r\right)\sin \left({\mathrm{\δ}}_k\right)+V_D\left(r\right)(1-\cos ({\mathrm{\δ}}_k\left)\right)|\end{array}$ 方程10

其中，δ_k是e_r与e_qk之间的角度。假设δ_k在特定像素r的空间邻域内不显著变化(即，δ_k小)，则使得加权系数建模为如下面的方程11所示：

w_k＝K_s(||q_k-r||)·K_D(||V_D(q_k)-V_D(r)||)方程11

其中，K_D为Kernel函数。

在实施例中，在由施加局部速度恒定约束(即，矩阵1和向量1)所计算的方案中以及在由施加径向速度约束(即，矩阵2和向量2)所计算的方案中使用基于方程11所计算的加权系数。此外，在实施例中，kernel函数K_D被修正为如方程12所示：

$w_k=K_s\left(\right||q_k-r|\left|\right)\·K_D\left(\frac{\left|\right|V_D\left(q_k\right)-V_D\left(r\right)\left|\right|}{1-cos\left({\mathrm{\δ}}_k\right)}\right)$ 方程12

应当注意的是，本发明实施例的径向速度约束适用于Horn-Schunck算法，其在运动场中使用平滑度约束并切换到鲁棒方法而进行运动估算，假定使用非高斯零均值假设：

$\mathrm{\ϵ}\left(r\right)=\▿I(r,t)\·V(r,t)+I_t(r,t)$ 方程13

B.K.P.Horn和B.G.Schunk的Determiningopticalflow(“确定光流”)，ArtificialIntelligence，vol.17：185-203，1981描述了Horn-Schunck算法，其通过引用并入本文。

本发明实施例的径向速度约束也可用作D.J.Fleet和Y.Weiss的“OpticalFlowEstimation(光流估算)”，第5章，2006中所描述的运动估算的概率公式中运动场上的约束，其通过引用并入本文。本发明实施例的径向速度约束可并入到A.Jepson和M.J.Black的“Mixturemodelsforopticalflowcomputation(光流计算的混合模型)”Proc.IEEEComputerVisionandPatternRecognition，CVPR-93，pages760-761，NewYork，June1993中所描述的使用最大期望(EM)法求解的混合模型中，其通过引用并入本文。

现参照图2，并继续参照图1，流程图示出了用于压缩图像序列的方法。在实施例中，所述方法可使用图1中的图像处理系统100来执行。鉴于本公开可以理解，方法中的操作顺序并不限于如图2所示的顺序执行，而是根据情况并且根据本公开也可以以一个或多个不同的顺序执行。在实施例中，所述方法可基于预定的事件按计划运行，和/或在图像处理系统100的操作期间持续运行。

在框210，图像处理系统100从雷达102接收包括多个像素的图像。每个像素包括径向速度信息。径向速度信息表示基于目标相对于雷达102的运动而由雷达102所测量的多个像素中每个像素的径向速度。每个像素还包括强度信息。

在框220，图像处理系统100基于像素的径向速度信息和像素的强度信息将图像的多个像素分类成多个像素组。图像处理系统100通过比较一个像素的径向速度信息与另一个像素的径向速度信息并基于两个像素的径向速度信息来判断所述多个像素中的一个像素是否与所述多个像素中的另一个像素足够相似。在实施例中，图像处理系统100使用适于使用像素径向速度信息的图像分割技术来对像素进行分类。

在框230，图像处理系统100将像素组中的至少一个与目标相关联。

现参照图3，并继续参照图1，流程图示出了用于压缩图像序列的方法。在实施例中，所述方法可使用图1中的图像处理系统100来执行。鉴于本公开可以理解，方法中的操作顺序并不限于如图3所示的顺序执行，而是根据情况并且根据本公开也可以以一个或多个不同的顺序执行。在实施例中，所述方法可基于预定的事件按计划运行，和/或在图像处理系统100的操作期间持续运行。

在框310，图像处理系统100从雷达102接收图像序列。序列中的每个图像均包括多个像素。每个像素包括径向速度信息。径向速度信息表示基于目标相对于雷达102的运动而由雷达102所测量的多个像素中的每个像素的径向速度。每个像素包括强度信息。多个像素中的每个像素包括位置信息，例如x坐标值，y坐标值和z坐标值。

在框320，图像处理系统100通过将像素的径向速度信息作为约束来估算图像序列中的图像内像素的光流。基于与图像中特定像素在空间上相邻的多个像素的径向速度是恒定的这一假设，每个像素的径向速度信息被用作约束以求解像素光流的强度恒定约束方程。图像处理系统100还使用强度信息作为另一约束。图像处理系统100使用适于使用像素的径向速度信息的光流技术来估算像素的光流。

虽然已参照示例性实施例描述了本发明，但本领域技术人员应当理解，可以对其要素进行各种改变以及替换各种等同物，而不偏离本发明的范围。此外，可作出多种修改以改变特定的情况或材料至本发明的教导，而不偏离其实质范围。因此，本发明旨在不局限于所公开的具体实施方式，而在于本发明包括落入本申请范围内的所有实施例。

Claims (10)

1.一种用于处理图像的计算机实现方法，其包括：

接收包括多个像素的图像，每个像素包括径向速度信息；

基于所述像素的径向速度信息由计算机将所述图像的所述多个像素分类成多个像素组；以及

将至少一个所述像素组与目标相关联。

2.如权利要求1所述的方法，其中，所述径向速度信息表示基于目标相对于雷达的运动而由所述雷达所测量的每个所述像素的径向速度。

3.如权利要求1所述的方法，进一步包括使用适于使用所述像素的所述径向速度信息的图像分割技术。

4.如权利要求1所述的方法，其中，每个像素进一步包括强度信息，其中，所述分类进一步基于所述像素的所述强度信息。

5.如权利要求1所述的方法，其中，所述分类包括基于两个像素的径向速度信息来确定所述多个像素中的一个像素是否与所述多个像素中的另一个像素足够相似。

6.如权利要求1所述的方法，其中，所述分类包括比较所述多个像素中的一个像素的所述径向速度信息与所述多个像素中的另一个像素的所述径向速度信息。

7.一种用于处理图像的系统，其包括：

雷达，其被配置用于生成包括多个像素的图像，每个像素包括径向速度信息；以及

图像处理模块，其被配置成：

基于所述像素的径向速度信息将所述图像的所述多个像素分类成多个像素组；以及

将至少一个所述像素组与目标相关联。

8.如权利要求7所述的系统，其中，所述径向速度信息表示基于目标相对于雷达的运动而由所述雷达所测量的每个所述像素的径向速度。

9.如权利要求7所述的系统，其中，所述图像处理模块被配置成使用适于使用所述像素的所述径向速度信息的图像分割技术。

10.一种用于处理图像的计算机程序产品，所述计算机程序产品包括：

计算机可读存储介质，其具有体现在一起的程序指令，所述程序指令能够由处理电路读取以促使所述处理电路执行一种方法，所述方法包括：

接收包括多个像素的图像，每个像素包括径向速度信息；

基于所述像素的径向速度信息而将所述图像的所述多个像素分类成多个像素组；以及

将至少一个所述像素组与目标相关联。