具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
本发明实施例提供一种障碍物分割方法及装置。
图1示出了本发明障碍物分割方法实施例的流程图,如图1所示,该方法包括:
S101:将序列图像中的当前帧图像与帧间隔大于等于1帧的相邻帧图像划分为相同的若干块,对所述当前帧图像与所述相邻帧图像的对应位置图像块做差分,并确定差分图像中的差异块区域。
所述将序列图像中的当前帧图像与帧间隔大于等于1帧的相邻帧图像划 分为若干块,例如,可以将当前帧图像和之前的帧间隔大于等于1帧的相邻帧图像都分成同样的若干n×n大小的块,如图2所示,将一幅图像划分为若干n×n大小的小块。
所谓将图像做差分,在现有技术中,即将两帧图像对应位置的像素的差异构成一幅新的图像,该新图像则称为两帧图像的差分图像。所述差异,可以为灰度差异,也可以为颜色差异。如图3a的当前帧图像与3b的前一帧图像,这两幅图像是在相机移动时拍摄的相邻帧图像,这两幅图像的差异表现在人、路面阴影及远处的树木。其中,由于图像中人的运动,差异较明显。按照现有技术,具体的,对于图2a当前帧图像中显示人的区域中的像素,是与图2b前一帧图像中同一区域中的对应像素的做差分。
而S101中的做差分,是对所述当前帧图像与所述相邻帧图像的对应位置块做差分。具体的,可以是对所述当前帧图像与所述相邻帧图像的对应位置图像块做基于灰度的差分,也可以是对所述当前帧图像与所述相邻帧图像的对应位置图像块做基于彩色的差分。
以基于灰度的差分为例,可以按照如下公式计算:
如果满足 则可以确定该块区域是差异块区域。
其中,N为图像分块中的像素个数,例如可以为N=n2;p(x,y),p′(x,y)分别为所述当前帧和相邻帧中对应的某块图像块内一对应像素的灰度值;σ是以0为均值符合高斯分布的噪声的变化范围,即方差,在本发明实施例中为常数。R表示块图像区域,Thre表示阈值。
以基于彩色的差分为例,可以按照如下公式计算:
SC=max{Sr,Sg,Sb}
如果满足 则可以确定该块区域是差异块区域。
其中,N为图像分块中的像素个数,例如可以为N=n
2;p
t(x,y),p′
t(x,y)(t∈{r,g,b})分别为所述当前帧和相邻帧中对应的某块图像块内一对应像素的t通道颜色值;σ是以0为均值符合高斯分布的噪声的变化范围,即方差,在本发明实施例中为常数。
表示以e为底的指数函数,指数即
I表示块图像区域,Thre表示阈值。
在本发明实施例中采用分块差分、判断的方式确定差异块区域,其同现有技术基于像素的差分方法相比,优点是可以减少图像噪声所产生的影响,抗干扰能力强,从而提高判断的准确性。现有技术中基于像素差分的方式,仅仅根据两幅图像对应位置的像素的灰度或颜色的差异大小来判断该像素是否发生变化,从而决定该像素是否为感兴趣像素。这样的方式,考虑到图像中存在易受光照等噪声的影响的像素,一次易产生错误判断。而本发明基于分块的方式,由分块的整体差异决定是否有变化,再确定该块是否为差异块区域,可忽略个别像素点由于光照等原因突变而产生的变化,提高了判断的准确性。
S102:计算当前帧图像中与所述差异块区域中对应的每一分块的垂直性和纹理性。
如前所述,S101中,对当前帧图像与相邻帧图像的对应位置块做差分,并得到差分图像中的差异块区域。S102中,在当前帧图像中与所述差异块区域对应的分块,计算这些分块的垂直性和纹理性。垂直性是判断图像中是否有垂直于水平面的图像特征。纹理性是判断图形中是否有与背景不相同物体的图 像特征。
垂直性可以如下计算:
A、分别统计每块区域的水平、垂直、45度、135度四个方向的强度变化。
水平方向: 1≤k<i
垂直方向: 1≤k<j
45度方向 1≤k<j 且1≤k<i
135度方向: 1≤k<i,j+k≤W
其中ci,j是当前帧图像的第i行,第j列像素的灰度值,k为整数,i,j∈I,I为该块图像区域,W为当前帧图像宽度。
B、将满足下列条件的图像块确定为具有垂直性的块。
IV-max(IL,I45,I135)>T,其中T为设定阈值。
本发明实施例中在此处仅将与路面存在垂直可能性的图像区域分割为障碍物,而对于与路面不存在垂直可能性的图像区域,并不分割为障碍物。而真实的障碍物始终具有与路面保持垂直的特征。因此,即使相机在移动状态下,本发明实施例在此处仍然是将与路面存在垂直可能性的图像区域分割为障碍物,而对于由于相机移动而在图像中发生变化的非障碍物图像,根据垂直性特征,并不一定将其分割为障碍物,因此,避免了现有技术将大量在相机中发生移动的背景中的非障碍物分割为障碍物而导致的实用性不高的问题。
纹理性可以采用基于熵的计算方法计算,即计算每块图像的灰度熵,如果熵值大于预先设定的阈值,则将该块确定为有纹理性的块。
所述熵的计算可以采用如下方式计算:
其中,P(k)为块图像中灰度值为k的像素出现的频率,且
其中,I为指定的块图像,其大小可以为m×n,I(i,j)是是块图像I中坐标为(i,j)的像素的灰度值。
需要说明的是,当m=n时,即为n*n大小的块。
纹理性也可以计算每块图像的彩色图像信息熵,如果彩色图像信息熵值大于预先设定的阈值,则将该块确定为有纹理的块。具体的,可以采用如下方式计算:
在RGB颜色空间中,r、g、b3个颜色通道的信息熵表示为:
Kr,Kg,Kb表示各颜色通道的系数,且Kr+Kg+Kb=1;
彩色图像信息熵为:EC(I)=KrEr(I)+KgEg(I)+KbEb(I)
其中,PT(k)为块图像中T(T∈{r,g,b})颜色通道值为k的像素出现的频率,且
其中,I为指定的块图像,其大小为m×n,IT(i,j)为块图像I中坐标为(i,j)的像素的T颜色通道。
S103:将当前帧图像中与所述差异块区域对应的、且具有垂直性和纹理性的分块确定为障碍物分块。
S104:将所述障碍物分块按照连通规则生成障碍物区域。
可以将所述障碍物分块按照8连通规则生成障碍物区域。所述将所述障碍物分块按照8连通规则生成障碍物区域,即如果某一分块块被确定为障碍物,且该块的8邻域相邻的分块同样为障碍物,则该分块与8邻域中同样为障碍物的分块共同构成同一障碍物的区域。类似的,还可以按照4连通规则或是其它连通规则生成障碍物区域。
所述8邻域,本领域技术人员知道,为与该块相邻的周围8个块,如图2所示,8个灰色块为黑色块的8邻域。
作为应用上述实施例的一个例子,图3至图5示出了障碍物分割的过程。图3中,图3a为当前帧,图3b为相邻帧,两幅图像均由S101处理后划分为若干块。图3a与图3b中,相机发生了移动,而且,人在前后两帧图像中也发生了移动。图4为图3a与图3b的图像块做差分生成的新的图像,其中,显示人的区域根据基于灰度差分的计算方式后显示出与背景不同的灰度。图5为图3a中所述差异块区域对应的分块经垂直性和纹理性计算确定出障碍物分块后,按照8连通规则生成障碍物区域。
本发明基于图像差分法的原理,提出将图像分块差分的方法产生障碍物区域,并通过图像纹理特征和垂直特征对所产生的区域进行验证,能实现障碍物的分割。而且由于采用图像分块的形式,利用分块区域的连通性所生成的障碍物区域,能表现任意形状的障碍物,适用性更为广泛。并且,由于省去了传统图像差分法的背景建模和背景更新过程,因而处理效率更高。更为重要的是,本发明实施例中引入垂直性计算和纹理性计算,可以仅将与路面存在垂直可能性、且有纹理的图像区域分割为障碍物,而对于与路面不存在垂直可能性或没有纹理的的图像区域,并不分割为障碍物。而真实的障碍物始终具有与路面保持垂直的特征、与背景有差异的特征。因此,即使相机在移动状态下,本发明实施例仍然是将与路面存在垂直可能性、且有纹理的图像区域分割为障碍物,而对于由于相机移动而在图像中发生变化的非障碍物图像,根据垂直性特征或纹理性特征,并不一定将其分割为障碍物。因此,避免了现有技术将大量在相机中发生移动的背景中的非障碍物分割为障碍物而导致的实用性不高的问题。当然,该方法实施例同样适用于相机静止状态下的移动障碍物检测。
以下介绍本发明障碍物分割装置的实施例,图6示出了该实施例的框图,如图6,包括:
差异块区域确定单元61,用于将序列图像中的当前帧图像与帧间隔大于等于1帧的相邻帧图像划分为相同的若干块,对所述当前帧图像与所述相邻帧图像的对应位置图像块做差分,并确定差分图像中的差异块区域;
垂直性计算单元62,用于计算当前帧图像中与所述差异块区域中对应的每一分块的垂直性;
纹理性计算单元63,用于计算当前帧图像中与所述差异块区域中对应的每一分块的纹理性;
障碍物分块确定单元64,用于将当前帧图像中与所述差异块区域对应的、且具有垂直性和纹理性的分块确定为障碍物分块;
障碍物区域生成单元65,用于将所述障碍物分块按照8连通规则生成障碍物区域。
优选地,所述装置中,所述差异块区域确定单元61,包括:
图像分块单元611,用于将序列图像中的当前帧图像与帧间隔大于等于1帧的相邻帧图像划分为若干块;
差分单元612,包括灰度差分单元或彩色差分单元,其中,
所述灰度差分单元,用于对所述当前帧图像与所述相邻帧图像的对应位置图像块做基于灰度的差分;
所述彩色差分单元,用于对所述当前帧图像与所述相邻帧图像的对应位置图像块做基于彩色的差分;
差异块区域选择单元613,用于基于差分结果确定差异块区域。
优选地,所述装置中,所述灰度差分单元按照下式计算:
其中,N为图像分块中的像素个数;p(x,y),p′(x,y)分别为所述当前帧和相邻帧中对应的某块图像块内一对应像素的灰度值;σ是以0为均值符合高斯分布的噪声的变化范围;R表示块图像区域,Thre表示阈值。
优选地,所述装置中,所述彩色差分单元按照下式计算:
SC=max{Sr,Sg,Sb}
其中,N为图像分块中的像素个数,例如可以为N=n
2;p
t(x,y),p
t′(x,y)(t∈{r,g,b})分别为所述当前帧和相邻帧中对应的某块图像块内一对应像素的t通道颜色值;σ是以0为均值符合高斯分布的噪声的变化范围,即方差,在本发明实施例中为常数。
表示以e为底的指数函数,指数即
I表示块图像区域,Thre表示阈值。
优选地,所述装置中,所述垂直性计算单元62包括强度变化计算单元621,判断单元622,其中,
强度变化计算单元621,分别统计每块区域的水平、垂直、45度、135度四个方向的强度变化:
水平方向: 1≤k<i
垂直方向: 1≤k<j
45度方向 1≤k<j且1≤k<i
135度方向: 1≤k<i,j+k≤W
其中,ci,j是当前帧图像的第i行,第j列像素的灰度值,k为整数,i,j∈I,I为该块图像区域,W为当前帧图像宽度;
所述判断单元622,将满足IV-max(IL,I45,I135)>T的图像块确定为具有垂直性的块,其中T为设定的阈值。
优选地,所述装置中,所述纹理性计算单元63包括灰度熵纹理计算单元631或彩色图像信息熵纹理计算单元632,其中,
灰度熵纹理计算单元631,用于计算当前帧图像中与所述差异块区域中对应的每一分块图像的灰度熵,将所述灰度熵值大于预先设定的阈值的块确定为有纹理性的块;
彩色图像信息熵纹理计算单元632,用于计算当前帧图像中与所述差异块区域对应的每一分块图像的彩色图像信息熵,将所述彩色图像信息熵值大于预先设定的阈值的块确定为有纹理性的块。
优选地,所述装置中,所述灰度熵纹理计算单元631采用下式计算:
其中,P(k)为块图像中灰度值为k的像素出现的频率,且
其中,I为指定的块图像,其大小为m×n,I(i,j)为块图像I中坐标为(i,j)的像素的灰度值。
优选地,所述装置中,所述彩色图像信息熵纹理计算单元632按照如下方式计算:
在RGB颜色空间中,r、g、b3个颜色通道的信息熵表示为:
Kr,Kg,Kb表示各颜色通道的系数,且Kr+Kg+Kb=1;
彩色图像信息熵为:EC(I)=KrEr(I)+KgEg(I)+KbEb(I)
其中,PT(k)为块图像中T(T∈{r,g,b})颜色通道值为k的像素出现的频率,且
其中,I为指定的块图像,其大小为m×n,IT(i,j)为块图像I中坐标为(i,j)的像素的T颜色通道。
本发明实施例中引入垂直性计算和纹理性计算,可以仅将与路面存在垂直可能性的、且有纹理的图像区域分割为障碍物,而对于与路面不存在垂直可能性的或没有纹理的图像区域,并不分割为障碍物。而真实的障碍物始终具有与路面保持垂直的特征、与背景有差异的特征。因此,即使相机在移动状态下,本发明实施例仍然是将与路面存在垂直可能性的、且有纹理的图像区域分割为障碍物,而对于由于相机移动而在图像中发生变化的非障碍物图像,根据垂直性特征或纹理性特征,并不一定将其分割为障碍物。因此,避免了现有技术将大量在相机中发生移动的背景中的非障碍物分割为障碍物而导致的实用性不 高的问题。当然,该方法实施例同样适用于相机静止状态下的移动障碍物检测。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本发明可用于众多通用或专用的计算系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
虽然通过实施例描绘了本发明实施例,本领域普通技术人员知道,本发明有许多变形和变化而不脱离本发明的精神,希望所附的权利要求包括这些变形和变化而不脱离本发明的精神。