CN110033476A - 目标速度估计方法、装置和图像处理设备 - Google Patents

Abstract

一种目标速度估计方法、装置和图像处理设备，所述方法包括：对输入的当前帧图像进行前景检测和边缘检测，得到前景图像和边缘图像；根据所述前景图像和所述边缘图像确定候选检测区域；对所述候选检测区域进行角点检测，得到多个角点；计算所述多个角点的速度，将所述多个角点的速度的平均值作为所述目标的速度。通过本实施例的方法，能够快速且鲁棒地估计车辆速度，可以用于交通状态检测，拥堵检测以及其他智能交通应用中。

Description

目标速度估计方法、装置和图像处理设备

技术领域

本发明涉及图像处理技术领域，特别涉及一种目标速度估计方法、装置和图像处理设备。

背景技术

智能交通系统(Intelligent Transportation System，ITS)成为现代交通(modern transportation)的主要部分，其可以自动检测交通事件(traffic incidents)并将这些信息提供给交通部门以应对这些事件。作为ITS的一部分，交通状况监测系统(traffic state monitoring system)能够自动检测交通状况，当拥塞发生时交通状况不佳，会使用相应的措施来优化交通状况。差的交通状况增加了通行时间，相应地影响了社会经济效益和生活质量，也导致能源的浪费和空气的污染。因此，交通状况监测系统对于现代交通来说非常宝贵。

交通状况可以通过两个因素来描述，一个因素是车辆密度(vehicle density)，其被定义为道路的每单位长度的车辆数量，另一个因素是车辆速度(vehicle velocity)。实际上，车辆速度可以通过不同类型的设备来测量，例如，多普勒雷达，全球定位系统(GlobalPositioning System，GPS)设备，地下感应线圈等。随着数字相机的流行，城市道路配备了交通监控摄像机(traffic surveillance cameras)，利用来自这些摄像机的视频帧，无需额外的设备即可检测车辆速度。

为了检测车辆速度，提出了各种视频处理方法。在这些方法中，通过车辆检测和前景检测可以定位车辆，然后追踪车辆，通过车辆的位移(displacement)可以得到车辆的速度。但是，在交通拥塞的情况下，车辆定位可能由于遮挡而不准确，导致这些方法失效。

应该注意，上面对技术背景的介绍只是为了方便对本发明的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本发明的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。

发明内容

考虑到光流算法使用局部像素的灰度信息来计算位移，其无需定位车辆，这使得它可以在交通拥塞的情况下正常工作，本发明实施例提供了一种基于光流算法的目标速度估计方法、装置和图像处理设备，以解决背景技术指出的问题中的至少一个。

根据本发明实施例的第一方面，提供了一种目标速度估计方法，其中，所述方法包括：

对输入的当前帧图像进行前景检测和边缘检测，得到前景图像和边缘图像；

根据所述前景图像和所述边缘图像确定候选检测区域；

对所述候选检测区域进行角点检测，得到多个角点；

计算所述多个角点的速度，将所述多个角点的速度的平均值作为所述目标的速度。

根据本发明实施例的第二方面，提供了一种目标速度估计装置，其中，所述装置包括：

第一检测单元，其对输入的当前帧图像进行前景检测，得到前景图像；

第二检测单元，其对输入的当前帧图像进行边缘检测，得到边缘图像；

确定单元，其根据所述前景图像和所述边缘图像确定候选检测区域；

第三检测单元，其对所述候选检测区域进行角点检测，得到多个角点；

计算单元，其计算所述多个角点的速度，将所述多个角点的速度的平均值作为所述目标的速度。

根据本发明实施例的第三方面，提供了一种图像处理设备，其中，所述图像处理设备包括前述第二方面所述的目标速度估计装置。

根据本发明实施例的第四方面，提供了一种计算机可读程序，其中当在目标速度估计装置或图像处理设备中执行所述程序时，所述程序使得所述目标速度估计装置或图像处理设备执行本发明实施例的第一方面所述的目标速度估计方法。

根据本发明实施例的第五方面，提供了一种存储有计算机可读程序的存储介质，其中所述计算机可读程序使得目标速度估计装置或图像处理设备执行本发明实施例的第一方面所述的目标速度估计方法。

本发明实施例的有益效果在于：首先提取当前帧的前景和边缘，给出候选检测区域，然后从该候选检测区域提取角点(corner pixels)，基于这些角点计算光流，给出这些角点的速度，最后，将计算出的速度的平均值作为目标(前景)的速度。当用于车辆速度的估计时，能够快速且鲁棒地估计车辆速度，可以用于交通状态检测，拥堵检测以及其他智能交通应用中。

参照后文的说明和附图，详细公开了本发明的特定实施方式，指明了本发明的原理可以被采用的方式。应该理解，本发明的实施方式在范围上并不因而受到限制。在所附权利要求的条款的范围内，本发明的实施方式包括许多改变、修改和等同。

针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。

附图说明

在本发明实施例的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。此外，在附图中，类似的标号表示几个附图中对应的部件，并可用于指示多于一种实施方式中使用的对应部件。

所包括的附图用来提供对本发明实施例的进一步的理解，其构成了说明书的一部分，用于例示本发明的实施方式，并与文字描述一起来阐释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是实施例1的目标速度估计方法的一个实施方式的示意图；

图2是对当前帧图像进行前景检测获得前景图像的示意图；

图3是对当前帧图像进行背景检测获得背景图像的示意图；

图4是从对候选检测区域进行检测获得的角点中选择角点的示意图；

图5是实施例1的目标速度估计方法的另一个实施方式的示意图；

图6是实施例2的目标速度估计装置的示意图；

图7是实施例3的图像处理设备的示意图。

具体实施方式

参照附图，通过下面的说明书，本发明的前述以及其它特征将变得明显。在说明书和附图中，具体公开了本发明的特定实施方式，其表明了其中可以采用本发明的原则的部分实施方式，应了解的是，本发明不限于所描述的实施方式，相反，本发明包括落入所附权利要求的范围内的全部修改、变型以及等同物。

在本发明实施例中，术语“第一”、“第二”等用于对不同元素从称谓上进行区分，但并不表示这些元素的空间排列或时间顺序等，这些元素不应被这些术语所限制。术语“和/或”包括相关联列出的术语的一种或多个中的任何一个和所有组合。术语“包含”、“包括”、“具有”等是指所陈述的特征、元素、元件或组件的存在，但并不排除存在或添加一个或多个其他特征、元素、元件或组件。

在本发明实施例中，单数形式“一”、“该”等包括复数形式，应广义地理解为“一种”或“一类”而并不是限定为“一个”的含义；此外术语“所述”应理解为既包括单数形式也包括复数形式，除非上下文另外明确指出。此外术语“根据”应理解为“至少部分根据……”，术语“基于”应理解为“至少部分基于……”，除非上下文另外明确指出。

下面结合附图对本发明实施例的各种实施方式进行说明。这些实施方式只是示例性的，不是对本发明的限制。为了方便说明，本实施例以估计车辆的速度为例进行说明。

实施例1

本实施例提供了一种目标速度估计方法，图1是本实施例的目标速度估计方法的一个实施方式的示意图。请参照图1，该方法包括：

步骤101：对输入的当前帧图像进行前景检测和边缘检测，得到前景图像和边缘图像；

步骤102：根据所述前景图像和所述边缘图像确定候选检测区域；

步骤103：对所述候选检测区域进行角点检测，得到多个角点；

步骤104：计算所述多个角点的速度，将所述多个角点的速度的平均值作为所述目标的速度。

在本实施例中，通过提取当前帧的前景和边缘，给出候选检测区域，然后从该候选检测区域提取角点，基于这些角点计算光流，给出这些角点的速度，最后，将计算出的速度的平均值作为目标(前景)的速度。由此，能够快速且鲁棒地估计目标速度，例如在交通状态检测，拥堵检测以及其他智能交通应用中，可以用于估计车辆的速度。

值得注意的是，附图1仅示意性地对本发明实施例进行了说明，但本发明不限于此。例如可以适当地调整各个步骤之间的执行顺序，此外还可以增加其他的一些步骤或者减少其中的某些步骤。本领域的技术人员可以根据上述内容进行适当地变型，而不仅限于上述附图1的记载。

在本实施例中，上述输入的当前帧图像可以是输入的视频图像中的一帧，简称为视频帧图像，也可以是该视频帧图像上的感兴趣区域(Region Of Interest，ROI)，在本实施例中，用I_video表示。

在本实施例中，以车辆作为目标为例，为了估计车辆的速度，需要将车辆从道路上分离出来，相对于道路而言车辆可以被视为前景，而道路可以被视为背景，因此，在步骤101中，可以使用前景检测方法，例如高斯混合模型方法，检测I_video中的前景像素，将车辆(前景)从道路(背景)上分割开来，得到前景图像，表示为I_foreground。

在一个实施方式中，如果当前帧图像上的某个像素点是前景，则可以将其像素值标记为1，反之，如果当前帧图像上的某个像素点是背景，则可以将其像素值标记为0，由此得到前景图像I_foreground。该前景图像I_foreground可以用公式可以表示为：

其中，(y,x)表示当前帧图像上的像素点的垂直和水平坐标。

在本实施例中，由于当前帧图像上也可能没有车辆，在本实施例中，可以根据得到的前景图像的面积(或像素数)来决定是否进行后续处理。

在一个实施方式中，可以根据得到的前景图像的面积来决定是否进行后续处理，例如，判断该前景图像的面积是否大于或等于该当前帧图像的高度与宽度以及第一阈值的乘积，如果判断为是，则认为当前帧图像上有车辆，或者说检测到的前景图像代表了从道路上分离出来的车辆，则可以继续后续的处理，否则，结束对当前帧图像的处理，可以进行对下一帧图像的处理。

在本实施方式中，该前景图像的面积可以表示为area_foreground，则：

如果area_foreground≥Th₁·height·width，则继续后续处理；

如果area_foreground<Th₁·height·width，则结束对当前帧图像的处理，如果有下一帧图像，则进行对下一帧图像的处理。

在上述公式中，Th₁为第一阈值，其是预先设定的，可以是一个经验值，与当前帧图像的面积、车辆的面积、拍摄当前帧图像的摄像机的视角等因素有关，本实施例对其具体的取值不作限制。在上公式中，height为当前帧图像的高度，width为当前帧图像的宽度。

在另一个实施方式中，可以根据得到的前景图像的像素数来决定是否进行后续处理，例如，判断该前景图像的像素数与当前帧图像的像素数的比值是否在预定范围内，或者判断该前景图像的像素数与当前帧图像的像素数的差是否在预定范围内，如果判断为是，则认为当前帧图像上有车辆，或者说检测到的前景图像代表了从道路上分离出来的车辆，则可以继续后续的处理，否则结束对当前帧图像的处理，可以进行对下一帧图像的处理。

在本实施方式中，对该预定范围不作限制，其可以是经验值，并且，根据判断对象不同(例如前述比值或者前述差，等等)其可以取不同的值，也可以取相同的值，具体取决于实践。

图2示意了对当前帧图像200进行前景检测之后，得到的前景图像300的示意图。在图2的示例中，如图2的左侧所示，当前帧图像200为输入图像201的感兴趣区域，但如前所述，当前帧图像也可以是输入图像201。并且，如图2的右侧所示，通过前景检测，得到的前景图像300即为车辆所在的位置。

在本实施例中，由于角点是边缘像素的一部分，在角点检测之前先得到边缘像素，使用该边缘像素有助于角点检测，因此，在步骤101中，还可以使用边缘检测方法，例如Canny方法，Sobel方法等，对当前帧图像进行边缘检测，提取出边缘像素，在边缘图像上标记该边缘像素，从而得到边缘图像，表示为I_edge。

该边缘图像I_edge用公式可以表示为：

图3示意了对当前帧图像200进行边缘检测之后，得到的边缘图像400的示意图。在图3的示例中，如图3的右侧所示，通过边缘检测，得到的边缘图像400即为车辆的大体轮廓。在图3的示例中，当前帧图像200上仅有一辆车，所以经过边缘检测得到的边缘图像400仅为该车辆的轮廓，在其他示例中，当前帧图像200上除了车可能还有其他物体，例如隔离带、指示线、斑马线、路灯、指示牌等，则通过边缘检测得到的边缘图像400还包含了其他轮廓。

在本实施例中，对前景检测和边缘检测的执行顺序不作限制，本实施例以先进行前景检测后进行边缘检测为例，由此，可以根据通过前景检测得到的前景图像的面积(或像素数)来决定是否进行后续处理，在不需要进行后续处理，也即结束对当前帧图像的处理，而进入对下一帧图像的处理的情况下，可以减少计算量并保证对后续帧图像的检测的稳定性。在其他的示例中，也可以先进行边缘检测后进行前景检测，或者同时进行前景检测和边缘检测。

在本实施例中，前景图像指示了当前帧图像上的目标，例如车辆；而边缘图像指示了当前帧图像上的物体的边缘，例如车辆的轮廓等。得到了前景图像和边缘图像之后，即可通过步骤102确定用于角点检测的候选检测区域。

在步骤102中，通过对前景图像上的像素点和边缘图像上的像素点进行与操作，得到的像素点作为候选检测区域中的像素点，由此可以得到候选检测区域，表示为I_candidate。

该候选检测区域I_candidate用公式可以表示为：

在本实施例中，在图2和图3的示例中，由于当前帧图像200上只有一辆车，所以在对前景像素(前景图像300上的像素点)和边缘像素(边缘图像400上的像素点)进行与操作之后，得到的后续检测区域上的像素点与边缘图像400上的像素点相同，这些像素点都构成了车辆的轮廓。在其他的示例中，在边缘图像400上，除了构成车辆的轮廓的边缘像素以外，还可能包含其他边缘像素，则通过步骤102的与操作，可以去掉边缘图像400上的其他边缘像素，而仅保留构成车辆的轮廓的边缘像素。同理，在前景图像300上，除了对应车辆所在位置的前景像素以外，还可能包括其他位置的前景像素，则通过步骤102的与操作，可以仅保留构成车辆的轮廓的前景像素。

在本实施例中，得到了候选检测区域(在图3的示例中，该后续检测区域与边缘图像400相同)，即可在步骤103对该候选检测区域进行角点检测，得到多个角点。本实施例对具体的角点检测方法不作限制，下面给出一个示例，本领域技术人员根据该示例所能想到的任何其他可实施的角点检测方法都适用于本申请。

在一个实施方式中，对于候选检测区域中的每个像素点，可以计算该像素点的Harris算子，将Harris算子的响应局部最大并且大于第二阈值的像素点作为角点，由此得到候选检测区域中的所有角点。这里的局部最大是指该角点的Harris算子的响应大于其相邻角点的Harris算子的响应。

在本实施方式中，可以将Harris算子应用于候选检测区域，针对候选检测区域中的每个角点，通过偏导数I_x和I_y计算出结构张量A_Harris，而后得到Harris算子的响应R_Harris。

A_Harris和R_Harris可以表示为：

R_Harris＝det(A_Harris)-κ·trace²(A_Harris)

在上述公式中，I_x为角点(y,x)的图像灰度值在x方向的变化率，I_y为角点(y,x)的图像灰度值在y方向的变化率，I_x和I_y均为偏导数，k为常数。

在本实施方式中，使用R_Harris的最大值(可以表示为R_max)乘以一个常数c得到第二阈值，表示为thresh_R。R_max和thresh_R分别表示如下：

R_max＝maxR_Harris(y,x),受限于I_candidate(y,x)＝1

thresh_R＝c·R_max

Harris算子的响应局部最大并且大于该第二阈值thresh_R的像素点可以被视为角点，由此得到角点图像，表示为I_conner。

该角点图像I_conner用公式可以表示为：

通过上述方法，可以得到候选检测区域中的所有角点。如前所述，本实施例对角点检测方法不作限制，也可以采用其他已有的角点检测方法或未来发展的角点检测方法对候选检测区域进行角点检测，得到候选检测区域中的所有角点。

例如，在另一个实施方式中，可以使用Shi-Tomasi角点检测方法。与Harris角点检测方法类似，在本实施方式中，使用Harris算子作用在候选检测区域中的像素点上，计算每一个像素点对于Harris算子的响应，并按照与前一个实施方式中类似的规则获取角点。

Shi-Tomasi角点检测方法与Harris角点检测方法不同的地方在于，对Harris算子响应的计算方式不同，在Harris角点检测方法中，响应值的计算方式为R_Harris＝det(A_Harris)-κ·trace²(A_Harris)，而在Shi-Tomasi角点检测方法中，响应值的计算方式为R_Shi-Tomasi＝min(λ₁,λ₂)，其中λ₁、λ₂为结构张量A_Harris的两个特征值。相比Harris角点检测，Shi-Tomasi角点检测提取角点更加稳定，但因为需要计算特征值，所以需要更大的运算量。

再例如，在又一个实施方式中，可以使用FAST角点检测方法来提取候选检测区域中的角点。FAST角点检测相比于前两种实施方式计算量更小。其具体计算过程如下，对于候选检测区域中的每一个像素点p，设其灰度值为I_p，在其周围邻域内按顺时针或逆时针顺序依次选取16个邻近的像素点，记为i＝1,2,3...16。依次比较I_p、并设定阈值t，若存在连续的12个邻近点使得大于I_p+t或使得小于I_p-t，则认为此像素点p为角点。

在本实施方式中，为了减少计算量，还可以从得到的所有角点中选择一部分来进行后续处理，例如，从得到的角点中选择具有最大Harris算子的响应的k个角点，并且，为了避免选择出的这k个角点集中在较小的区域内，还可以使用最小距离的限制，也即，选择的角点之间的距离需要大于第三阈值(表示为thresh_dist)。

下面给出了k个角点的选择的一种算法：

for i＝1:K

end

图4示出了选择出的5个角点，如图4所示，选择出的这些角点分布于车辆的不同位置，其速度可以体现该车辆的速度。

在本实施方式中，有一种例外是，角点的数量小于k，则在这种情况下，由于角点的数量较少，不足以表征车辆的速度，由此可能影响后续处理的稳定性，因此，在这种情况下，本实施例可以结束对当前帧图像的处理，继续对下一帧图像(如果有的话)的处理。

基于上述考虑，在本实施例的方法中，在得到候选检测区域中的所有角点之后，可以先判断得到的所有角点的数量是否小于第一预定数量k；如果判断为是，则结束当前帧图像的处理；如果判断为否，则按照得到的所有角点的Harris算子的响应从大到小的顺序从得到的所有角点中选择第一预定数量k的角点，其中，选择的所述第一预定数量k的角点之间的距离大于第三阈值。

在本实施例中，得到了角点，即可在步骤104中计算所有角点的速度并将所有角点的速度的平均值作为该前景图像(也即前述车辆)的速度。

在一个实施方式中，可以利用光流计算公式计算每个角点的速度，下面给出了光流计算公式的一个示例，但本实施例对此不作限制。

I_xv_x+I_yv_y＝-I_t

在上面的公式中，I_x,I_y,I_t为角点(y,x)的图像灰度值在不同维度的偏导数，其中，I_x为角点(y,x)的图像灰度值在x方向的变化率，I_y为角点(y,x)的图像灰度值在y方向的变化率，I_t为角点(y,x)的图像灰度值在时间上的变化率，v_x和v_y为角点(y,x)的两个维度的速度。

利用该公式，通过求解k次高斯加权最小二乘，可以得到k个角点的速度v_x和v_y。

在本实施例中，上述计算方式是基于若干假设的，例如，假设光照在时间维度上是恒定的。但是，在交通视频图像中，当天气变化时，光照也随之发生了改变。一旦这些假设不成立，计算结果有可能不准确。为了提高速度估计的鲁棒性，在本实施例中，还可以对上述检测出的光流，也即计算出的k个角点的速度进行验证和过滤。

在本实施例中，可以从以下两方面进行验证，第一方面，上述k个角点的速度v_x和v_y应该有上限，这就意味着v_x和v_y需要小于一个阈值，在本实施例中，称为第四阈值，表示为thresh_v，也即对于每个角点，要求v_x＜thresh_v，v_y＜thresh_v；第二方面，速度向量的方向(v_x和v_y的组合)需要接近道路的方向也即，这里道路的方向是指车辆的行驶方向。

在一个实施方式中，可以针对计算出的每个角点的速度，判断该角点的速度是否大于或等于第四阈值，或者该角点的速度向量的方向与道路的方向是否不同；如果判断为是，也即速度过快或者方向不同，则认为这个角点可能并非对应车辆的角点，其速度不能代表车辆的速度，则可以丢弃该角点的速度，也即在计算上述平均值时不考虑该角点的速度。在本实施方式中，如果判断为否，也即，速度没有达到上述阈值并且方向相同，则认为这个角点是对应车辆的角点，其速度可以代表车辆的速度，则在计算上述平均值时考虑该角点的速度。

通过上述验证，最后得到的速度的平均值可以作为车辆的速度，表示如下：

在上面的公式中，假设k个角点均通过了前述验证，并且，v_i为第i个角点的速度，由第i个角点在x，y方向的速度分量v_x、v_y合并而成，即

在本实施例中，为了提高计算结果的准确性，还可以对上述k个角点(可以是验证过的，也可以没有验证过的)的速度的平均值进行过滤。例如，通过移动平均值的方法对该平均值在时间维度上进行过滤，得到的速度作为车辆的速度。表示如下：

v_t＝(1-α)v_t-1+αv_ave

在上面的公式中，α为预先设定的因子，其为常数，v_ave为上述平均值，v_t-1为前一帧移动平均的速度，v_t为当前帧移动平均的速度。

图5是本实施例的目标速度估计方法的另一个实施方式的示意图。请参照图5，该方法包括：

步骤501：对当前帧图像进行前景检测，得到前景图像；

步骤502：判断前景图像的面积是否大于第一阈值；如果判断为是，则执行步骤503，否则继续下一帧图像的处理；

步骤503：对当前帧图像进行边缘检测，得到边缘图像，根据前景图像和边缘图像生成候选检测区域；

步骤504：对候选检测区域进行角点检测，得到多个角点；

步骤505：判断角点的数量是否大于第二阈值；如果判断为是，则执行步骤506，否则继续下一帧图像的处理；

步骤506：计算所有角点的速度，得到所有角点的速度的平均值；

步骤507：对所有角点的速度的平均值进行验证和过滤，得到目标的速度。

在图5的示例中，上述步骤的各种实施方式已经在前面做了说明，此处不再赘述。

值得注意的是，附图5仅示意性地对本发明实施例进行了说明，但本发明不限于此。例如可以适当地调整各个步骤之间的执行顺序，此外还可以增加其他的一些步骤或者减少其中的某些步骤。本领域的技术人员可以根据上述内容进行适当地变型，而不仅限于上述附图5的记载。

值得注意的是，以上仅对与本发明相关的各步骤或过程进行了说明，但本发明不限于此。目标速度估计方法还可以包括其他步骤或者过程，关于这些步骤或者过程的具体内容，可以参考现有技术。

通过本实施例的方法，可以相对准确地估计出目标的速度，计算量小，稳定性高，鲁棒性强，并且，当用于车辆速度的估计时，能够快速且鲁棒地估计车辆速度，可以用于交通状态检测，拥堵检测以及其他智能交通应用中。

实施例2

本实施例提供了一种目标速度估计装置，该装置例如可以是用于图像处理或视频处理的电子设备，也可以是配置于电子设备的某个或某些部件或者组件。由于该装置解决问题的原理与实施例1的方法类似，因此其具体的实施可以参考实施例1的方法的实施，内容相同之处不再重复说明。

图6是本实施例的目标速度估计装置600的示意图，如图6所示，该目标速度估计装置600包括：第一检测单元601、第二检测单元602、确定单元603、第三检测单元604以及计算单元605。第一检测单元601对输入的当前帧图像进行前景检测，得到前景图像；第二检测单元602对输入的当前帧图像进行边缘检测，得到边缘图像；确定单元603根据所述前景图像和所述边缘图像确定候选检测区域；第三检测单元604对所述候选检测区域进行角点检测，得到多个角点；计算单元605计算所述多个角点的速度，将所述多个角点的速度的平均值作为所述目标的速度。

上述各单元的具体的实施可以参照图1中的各步骤，此处不再赘述。

在本实施例的一个实施方式中，如图6所示，该装置600还可以包括：

第一判断单元606，其在第一检测单元601对当前帧图像进行前景检测得到前景图像之后，判断该前景图像的面积是否大于或等于当前帧图像的高度与宽度以及第一阈值的乘积；

在第一判断单元606判断为是的情况下，第一检测单元601继续后续处理；

在第一判断单元606判断为否的情况下，第一检测单元601结束当前帧图像的处理。

在本实施例中，确定单元603可以对前景图像上的像素点与边缘图像上的像素点进行与操作，得到的像素点作为上述候选检测区域中的像素点。

在本实施例中，第三检测单元604可以将上述候选检测区域中Harris算子的响应局部最大并且大于第二阈值的像素点作为角点，由此得到多个角点。

在本实施例的一个实施方式中，如图6所示，该装置600还可以包括：

第二判断单元607，其判断第三检测单元604得到的所有角点的数量是否小于第一预定数量；

在第二判断单元607判断为是的情况下，第三检测单元604结束当前帧图像的处理；

在第二判断单元607判断为否的情况下，第三检测单元604按照得到的所有角点的Harris算子的响应从大到小的顺序从得到的所有角点中选择第一预定数量的角点作为上述多个角点，其中，选择的该第一预定数量的角点之间的距离大于第三阈值。

在本实施例中，计算单元605可以利用光流计算公式计算每个角点的速度，将所有角点的速度的平均值作为所述目标的速度。本实施例对光流计算公式不作限制，实施例1给出了一个示例。

在本实施例的一个实施方式中，如图6所示，该装置600还可以包括：

第三判断单元608，其针对计算出的每个角点的速度，判断该角点的速度是否大于或等于第四阈值，或者该角点的速度向量的方向与道路的方向是否不同；

在第三判断单元608判断为是的情况下，计算单元605丢弃该角点的速度。

在本实施例的一个实施方式中，如图6所示，该装置600还可以包括：

后处理单元609，其通过移动平均值的方法对上述平均值在时间维度上进行过滤，得到的速度作为所述目标的速度。

值得注意的是，以上仅对与本发明相关的各部件或模块进行了说明，但本发明不限于此。目标速度估计装置600还可以包括其他部件或者模块，关于这些部件或者模块的具体内容，可以参考相关技术。

通过本实施例的装置，可以相对准确地估计出目标的速度，计算量小，稳定性高，鲁棒性强，并且，当用于车辆速度的估计时，能够快速且鲁棒地估计车辆速度，可以用于交通状态检测，拥堵检测以及其他智能交通应用中。

实施例3

本实施例提供一种图像处理设备，该图像处理设备包括如实施例2所述的目标速度估计装置。

图7是本实施例的图像处理设备的示意图。如图7所示，图像处理设备700可以包括：中央处理器(CPU)701和存储器702；存储器702耦合到中央处理器701。其中该存储器702可存储各种数据；此外还存储信息处理的程序，并且在中央处理器701的控制下执行该程序。

在一个实施方式中，目标速度估计装置600的功能可以被集成到中央处理器701中。其中，中央处理器701可以被配置为实现如实施例1所述的目标速度估计方法。

在另一个实施方式中，目标速度估计装置600可以与中央处理器701分开配置，例如可以将目标速度估计装置配置为与中央处理器701连接的芯片，通过中央处理器701的控制来实现目标速度估计装置的功能。

在本实施例中，中央处理器701可以被配置为进行如下的控制：对输入的当前帧图像进行前景检测和边缘检测，得到前景图像和边缘图像；根据所述前景图像和所述边缘图像确定候选检测区域；对所述候选检测区域进行角点检测，得到多个角点；计算所述多个角点的速度，将所述多个角点的速度的平均值作为所述目标的速度。

此外，如图7所示，图像处理设备700还可以包括：输入输出(I/O)设备703和显示器704等；其中，上述部件的功能与现有技术类似，此处不再赘述。值得注意的是，图像处理设备700也并不是必须要包括图7中所示的所有部件；此外，图像处理设备700还可以包括图7中没有示出的部件，可以参考现有技术。

本发明实施例提供一种计算机可读程序，其中当在目标速度估计装置或图像处理设备中执行所述程序时，所述程序使得所述目标速度估计装置或图像处理设备执行如实施例1所述的目标速度估计方法。

本发明实施例提供一种存储有计算机可读程序的存储介质，其中所述计算机可读程序使得目标速度估计装置或图像处理设备执行如实施例1所述的目标速度估计方法。

本发明以上的装置和方法可以由硬件实现，也可以由硬件结合软件实现。本发明涉及这样的计算机可读程序，当该程序被逻辑部件所执行时，能够使该逻辑部件实现上文所述的装置或构成部件，或使该逻辑部件实现上文所述的各种方法或步骤。本发明还涉及用于存储以上程序的存储介质，如硬盘、磁盘、光盘、DVD、flash存储器等。

结合本发明实施例描述的方法/装置可直接体现为硬件、由处理器执行的软件模块或二者组合。例如，图6中所示的功能框图中的一个或多个和/或功能框图的一个或多个组合(例如，第一检测单元、第二检测单元、确定单元、第三检测单元和计算单元等)，既可以对应于计算机程序流程的各个软件模块，亦可以对应于各个硬件模块。这些软件模块，可以分别对应于图1所示的各个步骤。这些硬件模块例如可利用现场可编程门阵列(FPGA)将这些软件模块固化而实现。

软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域已知的任何其它形式的存储介质。可以将一种存储介质耦接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息；或者该存储介质可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该软件模块可以存储在移动终端的存储器中，也可以存储在可插入移动终端的存储卡中。例如，若设备(如移动终端)采用的是较大容量的MEGA-SIM卡或者大容量的闪存装置，则该软件模块可存储在该MEGA-SIM卡或者大容量的闪存装置中。

针对附图中描述的功能方框中的一个或多个和/或功能方框的一个或多个组合，可以实现为用于执行本发明所描述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意适当组合。针对附图描述的功能方框中的一个或多个和/或功能方框的一个或多个组合，还可以实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP通信结合的一个或多个微处理器或者任何其它这种配置。

以上结合具体的实施方式对本发明进行了描述，但本领域技术人员应该清楚，这些描述都是示例性的，并不是对本发明保护范围的限制。本领域技术人员可以根据本发明的精神和原理对本发明做出各种变型和修改，这些变型和修改也在本发明的范围内。

关于包括以上实施例的实施方式，还公开下述的附记：

附记1、一种目标速度估计方法，其中，该方法包括：

对输入的当前帧图像进行前景检测和边缘检测，得到前景图像和边缘图像；

根据所述前景图像和所述边缘图像确定候选检测区域；

对所述候选检测区域进行角点检测，得到多个角点；

计算所述多个角点的速度，将所述多个角点的速度的平均值作为所述目标的速度。

附记2、根据附记1所述的方法，其中，所述当前帧图像为视频帧图像或者为视频帧图像上的感兴趣区域。

附记3、根据附记1所述的方法，其中，在对当前帧图像进行前景检测得到前景图像之后，所述方法还包括：

判断所述前景图像的面积是否大于或等于所述当前帧图像的高度与宽度以及第一阈值的乘积，在判断为是的情况下，继续后续检测步骤，在判断为否的情况下，结束当前帧图像的处理。

附记4、根据附记1所述的方法，其中，根据所述前景图像和所述边缘图像确定候选检测区域，包括：

对所述前景图像上的像素点与所述边缘图像上的像素点进行与操作，得到的像素点作为所述候选检测区域中的像素点。

附记5、根据附记1所述的方法，其中，对所述候选检测区域进行角点检测，得到多个角点，包括：

对于所述候选检测区域中的每个像素点，如果所述点的Harris算子的响应局部最大并且大于第二阈值，则将所述点作为角点，由此得到所述候选检测区域中的所有角点作为所述多个角点。

附记6、根据附记5所述的方法，其中，所述方法还包括：

判断得到的所有角点的数量是否小于第一预定数量；

如果判断为是，则结束当前帧图像的处理；

如果判断为否，则按照得到的所有角点的Harris算子的响应从大到小的顺序从得到的所有角点中选择第一预定数量的角点作为所述多个角点，其中，选择的所述第一预定数量的角点之间的距离大于第三阈值。

附记7、根据附记1所述的方法，其中，利用光流计算公式计算每个角点的速度，将所有角点的速度的平均值作为所述目标的速度。

附记8、根据附记7所述的方法，其中，所述方法还包括：

针对计算出的每个角点的速度，判断所述角点的速度是否大于或等于第四阈值，或者所述角点的速度向量的方向与道路的方向是否不同；

如果判断为是，则丢弃所述角点的速度。

附记9、根据附记7所述的方法，其中，所述方法还包括：

通过移动平均值的方法对所述平均值在时间维度上进行过滤，得到的速度作为所述目标的速度。

Claims (10)

1.一种目标速度估计装置，其中，所述装置包括：

第一检测单元，其对输入的当前帧图像进行前景检测，得到前景图像；

第二检测单元，其对输入的当前帧图像进行边缘检测，得到边缘图像；

确定单元，其根据所述前景图像和所述边缘图像确定候选检测区域；

第三检测单元，其对所述候选检测区域进行角点检测，得到多个角点；

计算单元，其计算所述多个角点的速度，将所述多个角点的速度的平均值作为所述目标的速度。

2.根据权利要求1所述的装置，其中，所述装置还包括：

第一判断单元，其在所述第一检测单元对当前帧图像进行前景检测得到前景图像之后，判断所述前景图像的面积是否大于或等于所述当前帧图像的高度与宽度以及第一阈值的乘积；

在所述第一判断单元判断为是的情况下，所述第一检测单元继续后续处理；

在所述第一判断单元判断为否的情况下，所述第一检测单元结束当前帧图像的处理。

3.根据权利要求1所述的装置，其中，所述确定单元对所述前景图像上的像素点与所述边缘图像上的像素点进行与操作，并将得到的像素点作为所述候选检测区域中的像素点。

4.根据权利要求1所述的装置，其中，所述第三检测单元将所述候选检测区域中Harris算子的响应局部最大并且大于第二阈值的像素点作为角点，由此得到多个角点。

5.根据权利要求4所述的装置，其中，所述装置还包括：

第二判断单元，其判断所述第三检测单元得到的所有角点的数量是否小于第一预定数量；

在所述第二判断单元判断为是的情况下，所述第三检测单元结束当前帧图像的处理；

在所述第二判断单元判断为否的情况下，所述第三检测单元按照得到的所有角点的Harris算子的响应从大到小的顺序从得到的所有角点中选择第一预定数量的角点作为所述多个角点，其中，选择的所述第一预定数量的角点之间的距离大于第三阈值。

6.根据权利要求1所述的装置，其中，所述计算单元利用光流计算公式计算每个角点的速度，将所有角点的速度的平均值作为所述目标的速度。

7.根据权利要求6所述的装置，其中，所述装置还包括：

第三判断单元，其针对计算出的每个角点的速度，判断所述角点的速度是否大于或等于第四阈值，或者所述角点的速度向量的方向与道路的方向是否不同；

在所述第三判断单元判断为是的情况下，所述计算单元丢弃所述角点的速度。

8.根据权利要求6所述的装置，其中，所述装置还包括：

后处理单元，其通过移动平均值的方法对所述平均值在时间维度上进行过滤，并将得到的速度作为所述目标的速度。

9.一种目标速度估计方法，其中，该方法包括：

对输入的当前帧图像进行前景检测和边缘检测，得到前景图像和边缘图像；

根据所述前景图像和所述边缘图像确定候选检测区域；

对所述候选检测区域进行角点检测，得到多个角点；

计算所述多个角点的速度，将所述多个角点的速度的平均值作为所述目标的速度。

10.一种图像处理设备，其中，所述图像处理设备包括权利要求1-8任一项所述的装置。