发明内容
有鉴于此,本发明的主要目的在于提供一种能够解决目标分类,同时简单准确的目标分类方法和装置。
为达到上述目的,按照本发明的第一个方面,提供了一种简单的目标分类方法,包括:提取目标特征,根据输入的目标图像,提取目标的特征;投票目标类型,根据每个所述目标的特征,对目标的类型进行投票;确定目标类型,统计目标类型的票数,并根据统计结果确定目标的类型,输出目标的分类结果。
优选地,提取目标特征步骤中所述目标图像是视频序列经过目标检测处理后的结果图像,或者是视频序列经过目标跟踪处理后的结果图像,所述视频序列是视频的一部分或全部。
优选地,提取目标特征步骤中所述目标的特征包括:目标边缘的特征和区域拟合椭圆的特征,所述区域是目标的前景区域;其中,所述目标边缘的特征是对目标边缘图或者前景图统计的特征,所述区域拟合椭圆的特征是根据目标前景区域,利用二阶矩技术进行椭圆拟合而计算得到的。
优选地,所述目标边缘的特征包括:目标水平方向边缘总数NHe、目标垂直方向边缘总数NVe、目标垂直方向边缘图的水平方向投影中的最大值占目标外接矩形宽度的比例R1、区域在垂直方向投影中的最大值占目标外接矩形高度的比例R2。
优选地,计算所述目标水平方向边缘总数NHe是对所述目标进行水平方向的边缘提取,并统计所提取的边缘的个数;
计算所述目标垂直方向边缘总数NVe是对所述目标进行垂直方向的边缘提取,并统计所提取的边缘的个数;
所述目标垂直方向边缘图的水平方向投影中的最大值占目标外接矩形宽度的比例R1的计算步骤如下:首先对所述目标进行垂直方向的边缘提取,得到所述目标的垂直方向边缘图,然后对所述边缘图做水平方向的投影,并统计所述投影的最大值,最后计算所述最大值与目标外接矩形宽度的比例R1;
所述区域在垂直方向投影中的最大值占目标外接矩形高度的比例R2的计算步骤如下:首先对所述目标前景区域进行垂直方向的的投影,并统计所述投影的最大值,最后计算所述最大值与目标外接矩形高度的比例R2。
优选地,所述区域拟合椭圆的特征包括:区域进行二阶矩椭圆拟合的离心率ρ、区域进行二阶矩椭圆拟合的方向角α。区域拟合椭圆的特征还可以包括目标运动方向与拟合椭圆方向角α的夹角θ。
优选地,所述区域进行二阶矩椭圆拟合的离心率ρ和所述区域进行二阶矩椭圆拟合的方向角α的计算步骤如下:
(1)计算所述目标前景区域f(x,y)的0阶矩、1阶矩:
(2)计算所述目标前景区域f(x,y)的质心(xc,yc):
(3)计算所述目标前景区域f(x,y)的2阶中心矩:
(4)计算所述区域进行二阶矩椭圆拟合的离心率ρ和所述区域进行二阶矩椭圆拟合的方向角α:
其中
其中,H和W表示所述目标前景区域的高度和宽度。
优选地,所述投票目标类型是对每个所述目标的特征进行判别,对符合的某一类型投赞成票,并增加一定的票值,反之对不符合的某一类型投反对票,并减少一定的票值。
优选地,其特征在于,所述确定目标类型是比较每个目标类型的票值,其中,票值最多的类型确定为该目标的类型;对于票值小于0的目标,则认为该目标为无类型目标。
按照本发明的另一个目的,提供了一种简单的目标分类装置,包括:提取目标特征模块,用于根据输入的目标图像,提取目标的特征;投票目标类型模块,用于根据每个所述目标的特征,对目标的类型进行投票;确定目标类型模块,用于统计目标类型的票数,并根据统计结果确定目标的类型,输出目标的分类结果。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施例和附图,对本发明进一步详细说明。
本发明提供了一种简单的目标分类方法及装置,能用于实时的视频处理的应用,如视频监控或实时的基于对象的压缩。
图1示出了按照本发明的一种简单的目标分类方法的流程图。如图1所示,按照本发明的一种简单的目标分类方法可以包括:
提取目标特征101,根据输入的目标图像,提取目标的特征;
投票目标类型102,根据每个所述目标的特征,对目标的类型进行投票;
确定目标类型103,统计目标类型的票数,并根据统计结果确定目标的类型,输出目标的分类结果。
其中,提取目标特征101步骤中所述目标图像可以是视频序列经过目标检测处理后的结果图像,或者是视频序列经过目标跟踪处理后的结果图像。视频序列可以是视频的一部分或全部。目标可以是根据用户设定的运动目标。目标检测处理、目标跟踪处理可以通过现有的任意一种目标检测方法、目标跟踪方法实现。实施例中,采用专利申请号为CN200910077435.5的专利中的方法对视频序列进行处理,以输出目标图像。所设定的目标例如是人、车、人群。
所述目标的特征可以包括目标边缘的特征、区域拟合椭圆的特征。所述的区域是目标的前景区域。目标边缘的特征是对目标边缘图或者前景图统计的特征。区域拟合椭圆的特征是根据目标前景区域,利用二阶矩技术进行椭圆拟合而计算得到的。
所述目标边缘的特征可以包括:目标水平方向边缘总数NHe、目标垂直方向边缘总数NVe、目标垂直方向边缘图的水平方向投影中的最大值占目标外接矩形宽度的比例R1、区域在垂直方向投影中的最大值占目标外接矩形高度的比例R2。
计算目标水平方向边缘总数NHe是对目标进行水平方向的边缘提取,并统计提取的边缘的个数。计算目标垂直方向边缘总数NVe是对目标进行垂直方向的边缘提取,并统计提取的边缘的个数。
目标垂直方向边缘图的水平方向投影中的最大值占目标外接矩形宽度的比例R1的计算步骤如下:首先对目标进行垂直方向的边缘提取,已得到目标的垂直方向边缘图,然后对该边缘图做水平方向的投影,并统计其投影的最大值,最后计算该最大值与目标外接矩形宽度的比例R1。其中,目标外接矩形宽度通过以下方法得到:首先计算图像中目标的边缘的垂直投影的左、右端点,然后计算右端点与左端点的距离的差值,该差值即为所述目标外接矩形宽度。
区域在垂直方向投影中的最大值占目标外接矩形高度的比例R2的计算步骤如下:首先对目标的前景区域进行垂直方向的的投影,并统计其投影的最大值,然后计算该最大值与目标外接矩形高度的比例R2。其中,目标外接矩形高度通过以下方法得到:首先计算图像中目标的边缘的水平投影的上、下端点,然后计算上端点与下端点的距离的差值,该差值即为所述目标外接矩形高度。
需要说明的是,这里所述的垂直方向和水平方向是指与图像中的像素列和像素行相对应的方向,即垂直投影指的是图像中目标在平行于像素列的直线上形成的投影,水平投影指的是图像中目标在平行于像素行的直线上形成的投影。
其中,在对上述四个特征进行计算的过程中,所述边缘提取可以通过梯度算法、Roberts梯度算法、Sobel算法、Canny算法、Laplace算法等现有的边缘提取算法实现。
所述区域拟合椭圆的特征可以包括区域进行二阶矩椭圆拟合的离心率ρ、区域进行二阶矩椭圆拟合的方向角α。区域拟合椭圆的特征还可以包括目标运动方向与拟合椭圆方向角α的夹角θ。
对于前景区域f(x,y),区域进行二阶矩椭圆拟合的离心率ρ、区域进行二阶矩椭圆拟合的方向角α的计算步骤如下:
1)计算前景区域f(x,y)的0阶矩、1阶矩:
2)计算前景区域f(x,y)的质心:
3)计算前景区域f(x,y)的2阶中心矩:
4)计算区域进行二阶矩椭圆拟合的离心率ρ、区域进行二阶矩椭圆拟合的方向角α:
其中
其中,H和W表示前景区域的高度和宽度。
投票目标类型102步骤是对目标的每个所述目标的特征进行判别,对符合的某一类型投赞成票,并增加一定的票值,反之对不符合的某一类型投反对票,并减少一定的票值。所述目标的特征是指提取目标特征101步骤输出的目标特征,包括目标边缘的特征、区域拟合椭圆的特征。根据特征对目标类型判决的重要性的不同,票值有不同的取值。
实施例中以人、车、人群为目标。假设人、车、人群的票值Vote_people、Vote_car、Vote_crowd起始值均为0。以人、车、人群为目标,以下将分别针对目标水平方向边缘总数NHe与目标垂直方向边缘总数NVe的差值Diff、区域进行二阶矩椭圆拟合的离心率ρ、区域进行二阶矩椭圆拟合的方向角α、比较目标垂直方向边缘图的水平方向投影中的最大值占目标外接矩形宽度的比例R1、比较区域在垂直方向投影中的最大值占目标外接矩形高度的比例R2、目标运动方向与拟合椭圆方向角的夹角θ这6个特征,对人、车、人群三个类型进行投票。
(1)根据目标水平方向边缘总数NHe与目标垂直方向边缘总数NVe的差值Diff特征进行的投票。计算目标水平方向边缘总数NHe与目标垂直方向边缘总数NVe的差值Diff,如果该差值Diff大于设定的阈值threl1,则对车投赞成票,并将车的票值Vote_car加上设定的票值v1,对人、人群投反对票,并将人的票值Vote_people减去设定的票值v2,人群的票值Vote_crowd减去设定的票值v3;否则,则判定该差值Diff与设定的阈值threl2的大小,如果Diff小于threl2,则对车投反对票,并将车的票值Vote_car减去设定的票值v4对人、人群投赞成票,并将人的票值Vote_people加上设定的票值v5,人群的票值Vote_crowd加上设定的票值v6。
(2)根据区域进行二阶矩椭圆拟合的离心率ρ特征进行的投票。比较区域进行二阶矩椭圆拟合的离心率ρ与设定的阈值threl3的大小,若该离心率ρ大于threl3,则对人投赞成票,并将人的票值Vote_people加上设定的票值v7,对车、人群投反对票,并将车的票值Vote_car减去设定的票值v8,人群的票值Vote_crowd减去设定的票值v9;否则,则对人投反对票,并将人的票值Vote_people减去设定的票值v10,对车、人群投赞成票,并将车的票值Vote_car加上设定的票值v11,人群的票值Vote_crowd加上设定的票值v12。
(3)根据区域进行二阶矩椭圆拟合的方向角α特征进行的投票。比较区域进行二阶矩椭圆拟合的方向角α与设定的阈值threl4、threl5的大小,若该方向角α位于(threl4,threl5)范围内,则对人投赞成票,并将人的票值Vote_people加上设定的票值v13。
(4)根据目标垂直方向边缘图的水平方向投影中的最大值占目标外接矩形宽度的比例R1特征进行的投票。比较目标垂直方向边缘图的水平方向投影中的最大值占目标外接矩形宽度的比例R1与设定的阈值threl6的大小,若该比例R1小于threl6,则对人群投反对票,并将人群的票值Vote_crowd减去设定的票值v14。
(5)根据区域在垂直方向投影中的最大值占目标外接矩形高度的比例R 2特征进行的投票。比较区域在垂直方向投影中的最大值占目标外接矩形高度的比例R2与设定的阈值threl7的大小,若该比例R2小于threl7,则对人投反对票,并将人的票值Vote_people减去设定的票值v15。
(6)根据目标运动方向与拟合椭圆方向角的夹角θ特征进行的投票。比较目标运动方向与拟合椭圆方向角的夹角θ与设定的阈值threl8的大小,若该夹角θ大于threl8,则对车投反对票,并将车的票值Vote_car减去设定的票值v16。
其中阈值threl1~threl8,以及票值v1~v16都可根据实际应用进行设置。例如对于仓库场景,threl1可以选为10,v1可以选为2,v2可以选为2,v3可以选为2;threl2可以选为10;v4可以选为2,v5可以选为2,v6可以选为2;thre3可以选为90,v7可以选为2,v8可以选为2,v9可以选为2,v10可以选为2,v11可以选为1,v12可以选为2;threl4可以选为55,threl5可以选为90,v13可以选为2;threl6可以选为40,v14可以选为5;threl7可以选为70,v15可以选为5;threl8可以选为30,v16可以选为5。以上所给出的各个阈值和票值的具体数值只是可实施的一个具体例子,并不代表各个阈值和票值的可取值的所有范围。
确定目标类型103步骤是比较每个目标类型的票值,其中票值最多的类型确定为该目标的类型。对于票值小于0的目标,则认为该目标为无类型目标。
与现有技术相比,按照本发明的一种简单的目标分类方法选取了目标的显著特征,并将其与投票机制相结合,有效地提高了分类的准确性和可靠性。
图2示出了按照本发明的一种简单的目标分类装置的模块图。如图2所示,按照本发明的一种简单的目标分类装置可以包括:
提取目标特征模块1,用于根据输入的目标图像,提取目标的特征;
投票目标类型模块2,用于根据每个所述目标的特征,对目标的类型进行投票;
确定目标类型模块3,用于统计目标类型的票数,并根据统计结果确定目标的类型,输出目标的分类结果。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围,应当理解,本发明并不限于这里所描述的实现方案,这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善,因此本发明只受到本发明权利要求的内容和范围的限制,其意图涵盖所有包括在由所附权利要求所限定的本发明精神和范围内的备选方案和等同方案。