CN111833362A

CN111833362A - 基于超像素和区域生长的非结构化道路分割方法及系统

Info

Publication number: CN111833362A
Application number: CN202010556153.XA
Authority: CN
Inventors: 刘涛; 钟曦; 张利欣
Original assignee: University of Science and Technology Beijing USTB
Current assignee: University of Science and Technology Beijing USTB
Priority date: 2020-06-17
Filing date: 2020-06-17
Publication date: 2020-10-27

Abstract

本发明公开了一种基于超像素和区域生长的非结构化道路分割方法及系统，该方法包括：基于目标非结构化道路区域图像的Lab特征，确定超像素数目初始设定值；根据所确定的超像素数目初始设定值，对目标非结构化道路区域图像进行SLIC超像素分割；基于区域生长算法原理，对SLIC超像素分割结果中的超像素块进行合并，从而得到目标非结构化道路区域图像的分割结果。本发明可解决传统区域生长方法的随机性大，分割目标区域存在局部未合并的情况，且图像颜色信息利用率低，以及超像素分割初始设定参数的不确定性问题。

Description

基于超像素和区域生长的非结构化道路分割方法及系统

技术领域

本发明涉及视觉导航技术领域，特别涉及一种基于超像素和区域生长的非结构化道路分割方法及系统。

背景技术

随着物流行业的兴起，电子商务的快速发展，智能物流仓储逐渐成为人们研究的热点，而实现智能物流仓库中，对智能引导车(Automated Guided Vehicle，AGV)的研究是不可或缺的。

在解决智能引导车的导航问题时，就道路是否存在清晰的标识线将问题分为结构化道路的AGV车导航问题和非结构化道路的AGV车导航问题。

对于结构化的道路导航问题研究目前已经十分成熟，而对于非结构化的道路导航研究相比之下还不够充分。而针对非结构化的道路导航研究，其中一个重点是非结构化道路的分割，但对于非结构化道路的分割，传统区域生长方法存在随机性大，分割目标区域可能有局部未合并的情况，且图像颜色信息利用率低等问题，并且超像素分割初始设定参数存在不确定性，影响后续分割精度。

发明内容

本发明提供了一种基于超像素和区域生长的非结构化道路分割方法及系统，以解决传统区域生长方法的随机性大，分割目标区域可能存在局部未合并的情况，且图像颜色信息利用率低，以及超像素分割初始设定参数的不确定性问题。

为解决上述技术问题，本发明提供了如下技术方案：

一方面，本发明提供了一种基于超像素和区域生长的非结构化道路分割方法，所述基于超像素和区域生长的非结构化道路分割方法包括：

基于目标非结构化道路区域图像的Lab特征，确定超像素数目初始设定值；

根据所确定的超像素数目初始设定值，采用SLIC超像素算法，对所述目标非结构化道路区域图像进行SLIC超像素分割；

基于区域生长算法原理，对SLIC超像素分割结果中的超像素块进行合并，得到所述目标非结构化道路区域图像的分割结果。

进一步地，所述基于目标非结构化道路区域图像的Lab特征，确定超像素数目初始设定值，包括：

获取所述目标非结构化道路区域图像的Lab特征中的L分量直方图；

确定所述L分量直方图中的最小波峰值hpv；

将所述超像素数目初始设定值n设定为：

其中，N表示所述目标非结构化道路区域图像的像素个数，int(.)表示对计算结果取整。

进一步地，所述基于区域生长算法原理，对SLIC超像素分割结果中的超像素块进行合并，得到所述目标非结构化道路区域图像的分割结果，包括：

对SLIC超像素分割结果中的超像素块进行像素化处理，得到每一超像素块的质心位置坐标和每一超像素块的Lab特征值均值；

基于各超像素块的质心位置坐标，计算出各超像素块之间的距离，确定每一超像素块的邻接超像素块，构建包括各超像素块位置关系的区域连接图；

基于所述区域连接图和相邻超像素块的Lab特征值的相似度，对SLIC超像素分割结果中的超像素块进行合并，得到目标非结构化道路区域图像分割结果。

进一步地，对SLIC超像素分割结果中的超像素块进行像素化处理，包括：

采用下式，计算出每一超像素块的质心位置坐标和Lab特征值：

其中，

表示超像素块i的质心位置坐标，c_i表示超像素块i中的像素集合，|c_i|表示超像素块i中的像素个数，n_j表示c_i中的单个像素，x_j，y_j表示c_i中的单个像素的位置坐标，l_j，a_j，b_j表示c_i中的单个像素的Lab特征的L，a，b三个分量值，

表示超像素块i的Lab特征的L，a，b三个分量值的平均值。

进一步地，所述基于所述区域连接图和相邻超像素块的Lab特征值的相似度，对SLIC超像素分割结果中的超像素块进行合并，包括：

在SLIC超像素分割结果中的超像素块中选取种子像素块；

基于所述区域连接图，通过BFS广度优先搜索算法，对所述种子像素块的邻接超像素块进行搜索；

将搜索到的邻接超像素块和所述种子像素块进行Lab特征值相似度比较；

根据相似度比较结果对SLIC超像素分割结果中的超像素块进行合并。

另一方面，本发明还提供了一种基于超像素和区域生长的非结构化道路分割系统，所述基于超像素和区域生长的非结构化道路分割系统包括：

超像素数目初始设定值确定模块，用于基于目标非结构化道路区域图像的Lab特征，确定超像素数目初始设定值；

SLIC超像素分割模块，用于根据所确定的超像素数目初始设定值，采用SLIC超像素算法，对所述目标非结构化道路区域图像进行SLIC超像素分割；

区域生长模块，用于基于区域生长算法原理，对SLIC超像素分割结果中的超像素块进行合并，得到所述目标非结构化道路区域图像的分割结果。

进一步地，所述超像素数目初始设定值确定模块具体用于：

确定所述L分量直方图中的最小波峰值hpv；

将所述超像素数目初始设定值n设定为：

进一步地，所述区域生长模块具体用于：

其中，

表示超像素块i的Lab特征的L，a，b三个分量值的平均值。

进一步地，所述区域生长模块具体用于：

在SLIC超像素分割结果中的超像素块中选取种子像素块；

再一方面，本发明还提供了一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。

又一方面，本发明还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。

本发明提供的技术方案带来的有益效果至少包括：

本发明融合了区域生长算法和超像素分割算法，首先通过SLIC超像素分割算法对整个图像进行预分割；然后采用区域生长算法对预分割结果中的超像素块进行合并；提高了非结构化道路分割的准确性。另外，本发明在使用SLIC超像素分割算法时引入了基于图像Lab特征的自适应超像素初始数目设定方法，从而提高了SLIC超像素预分割的效果。本发明提升了仓库环境非结构化道路分割的准确率，解决了区域生长局部误分割的问题，适用于仓库环境下的AGV。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为区域生长算法示意图；

图2为SLIC搜寻比较范围示意图；

图3为本发明实施例提供的基于超像素和区域生长的非结构化道路分割方法的流程示意图；

图4为本发明实施例提供的图像Lab特征中L分量直方图；

图5为超像素分割的标记表示意图；

图6a为超像素预分割示意图；

图6b为区域连接示意图；

图7为超像素个数设定值与其对应的分割精度示意图；

图8为本发明的方法与另外两种算法的分割效果对比以及Jaccard系数对比。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

第一实施例

请参阅图1至图8，本实施例提供了一种基于超像素和区域生长的非结构化道路分割方法，该方法可由电子设备实现，该电子设备可以是终端或者服务器。

首先，为使本实施例的技术方案和优点更加清楚，下面结合附图对区域生长算法和超像素算法的实现原理进行简要说明。

1、区域生长算法

如图1所示为区域生长算法示意图，如果一幅图的灰度图像为图1中(a)所示，种子点p所在位置为像素点8，在它的八邻域里比较，如果灰度图像的差值设为2，灰度值相差小于2的像素点都被融合到种子点的区域，就会得到1中(b)所示的结果；然后如果以像素点7为种子点，在其邻域内，像素点6也会被融合进来，如图1中(c)所示；然后接下来的生长以像素点6为种子点，会把像素点6和像素点5融合进去，如图1中(d)所示。

如上一直做融合处理，直到把某一像素点选为种子点时，其周围的8邻域内，不存在于种子点满足相似关系的像素点时，则生长停止。

2、超像素算法

如图2所示为SLIC超像素分割算法示意图。

首先选取初始化超像素聚类中心，按照设定的个数，均匀的分布在整张图像上，如果设定的种子点个数是K，整张图像的像素点个数是N，那么每个超像素块的大小近似为

将图片转换到CIELAB空间，与聚类中心C_g坐标构成一个五维的特征向量[l_g,a_g,b_g,x_g,y_g]，其中，前三维中l_g为亮度分量，a_g,b_g为颜色分量，初始化每个像素的标签为l(n)＝-1，距离为d(n)＝∞。

将聚类中心调整到一个n×n邻域的最小梯度位置，一般n取3，然后以每个聚类中心为中心，往外延伸的2s邻域内，为每个像素标记标签。

标记标签的准则是：邻域内像素n到聚类中心距离D_n，如果D_n＜d(n)，则将该像素点合并到该中心所在的区域，直到完成所有像素点的计算和合并，然后重新计算每个区域的超像素聚类中心，并重新计算邻域内的像素点到聚类中心距离D_n，重复若干次之后，直到聚类中心的坐标不在发生变法，则计算结束。

其中：

D_n表示邻域内像素和超像素块中心处的相似程度，其中m为紧凑因子，m越大则距离项d_xy在相似程度的比较中影响程度较大，m越小说明颜色距离项d_lab影响程度比较大。

基于上述，可知超像素块的初始设定值是SLIC算法的重要参数，而合适的超像素块数量将会给后面的分割精度实现大幅提高。因此，本实施例在超像素算法中使用了自适应确定初始超像素设定数目的技术，利用图像的Lab特征直方图寻找最适合的超像素数目设定值，从而保证SLIC预分割是尽可能贴合非结构化道路边界的。并在区域生长算法中使用了更多的颜色信息和空间信息，从而提升了非结构化道路分割的准确率。

具体地，如图3所示，本实施例的方法包括以下步骤：

S101，基于目标非结构化道路区域图像的Lab特征，确定超像素数目初始设定值；

需要说明的是，Lab空间的三维分量L、a、b分别表示像素的亮度，从绿色到红色的分量，从蓝色到黄色的分量，如果在同一块区域上颜色相同，那么亮度不同造成的分块不一样就会造成视觉上的不同，我们会认为这是不同的区域。

本实施例为了能够将这种细微变化的区域分开来，从Lab空间的L分量上进行研究，找出合适的超像素块个数初始值的设定。

如图4所示为图像转换到Lab色彩空间后，L分量的直方图。

L分量的直方图上会出现若干“小波峰”，波峰的出现说明这个亮度的颜色区域聚集性出现，就是说有一块区域都具有均匀的亮度值，所以应该寻找最小的波峰，最小波峰的值即最小区域的像素个数，这里记步长为δ，高低值差为θ，才算是波峰。搜索波峰的时候必须同时满足：

l_hist[i]-l_hist[i-1]>0

l_hist[i]-l_hist[i+1]>0

l_hist[i]-l_hist[i-δ]>θ

l_hist[i]-l_hist[i+δ]>θ

其中，l_hist[i]表示l为i时的超像素个数。记求出的最小波峰值为hpv，整张图像的像素点个数为N＝h×w，那么合适的超像素块初始设定值n应为：

其中，int(.)表示对计算结果取整。

S102，根据所确定的超像素数目初始设定值，采用SLIC超像素算法，对目标非结构化道路区域图像进行SLIC超像素分割；

需要说明的是，根据最合适的超像素个数对非结构化道路进行超像素分割，选取种子点，对种子点进行优化，然后在S区域内进行像素的融合，融合成若干像素块，得到的是一张标记表，如图5所示。

S103，基于区域生长算法原理，对SLIC超像素分割结果中的超像素块进行合并，得到目标非结构化道路区域图像的分割结果。

需要说明的是，在本实施例中，上述S103具体包括：

S1031，对SLIC超像素分割结果中的超像素块进行像素化处理，得到每一超像素块的质心位置坐标和每一超像素块的Lab特征值均值，具体为：

对每个标记区域的像素位置进行统计，找到像素块的质心位置，用单个超像素块的平均L,a,b值作为该像素块的L,a,b值，这样把整个像素块用一个像素代替，表示为

具体计算如下式：

其中，

表示超像素块i的Lab特征的L，a，b三个分量值的平均值。

S1032，基于各超像素块的质心位置坐标，计算出各超像素块间的距离，确定每一超像素块的邻接超像素块，构建包括各超像素块位置关系的区域连接图。

图是由一些定点和连接定点的边构成的集合，图可以分为无向图和有向图，而超像素块像素化之后可以理解为一副无向图，如图6a所示。无向图中，每个顶点代表的是一个超像素块的代表像素点，相邻区域建立连接边，构成了超像素分割预处理的区域连接图(Region Adjacency Graphs，RAG)，如图6b所示。

S1032，基于RAG图和相邻超像素块的Lab特征值的相似度，对SLIC超像素分割结果中的超像素块进行合并，得到目标非结构化道路区域图像分割结果。

此处对于超像素块，每块超像素块位置是不固定的，不存在八邻域的说法，所以本实施例用RAG图的办法，加上BFS算法搜索相邻超像素块，如果给出一个种子点的坐标，这个种子点在超像素分割中label被记为11，那么依次搜索11相邻的超像素块，找到10,8,9,12，把这四个像素块label压入队列中，从10开始搜索，又搜索到5,8,9，判断是否已经在队列中，如果在队列中，就不再压入队列，可以减少一定的计算量，依次比较相邻两个超像素块之间的相似度，如果两个超像素块足够相似，那么合并这两个超像素块。

由于要找的仅仅是非结构化道路的区域，所以只需要把和种子点相似的超像素块做上标记合并起来。具体步骤如下：

在SLIC超像素分割结果中的超像素块中选取种子像素块，基于区域连接图RAG，通过BFS广度优先搜索算法，对种子像素块的邻接超像素块进行搜索；将搜索到的邻接超像素块和种子像素块进行Lab特征值相似度比较；根据相似度比较结果对SLIC超像素分割结果中的超像素块进行合并。

具体算法实施如下：

1、彩色RGB空间图像转换为lab空间图像。

2、根据图像的lab空间l直方图，确定SLIC初始超像素数目设定值，分割结果记录为mask矩阵。

3、将SLIC分割结果的每一块超像素块坐标值取出，存放在x_array，y_array列表中，求出每块超像素块的质心点存放在centroi中。

4、根据质心位置判断超像素相邻关系，得出区域连接图。

5、选取种子点，根据图像特征选取图片中间偏下方的某一点，取出其超像素对应的label记为qishi。

6、初始化队列array＝[]。

7、把qishi压入队列，从array弹出第一个label记为seed，查询seed的相邻超像素块label，将相邻超像素块的平均lab值进行比较，如果相似度函数callab(seed,label)<T，T为相似度的阈值，则将标记记为1，如果该超像素块已经标记为1了，则不压入队列array，否则将该label压入队列。

8、依次弹出array[0]，重复上述步骤，直到array中的元素全部弹出。

下面结合实际试验结果，来进一步说明本实施例方法的优越性：

图7所示为初始设定超像素数目从100到1000的时候，最后得出的非结构化道路分割结果的准确度。

如果手动随机设定超像素分割的数目，对每幅图采取同样的超像素数目，那么显然不同的图的边缘贴合程度是不一样的，如果为了提高边界贴合程度，一味的将超像素数目上调，会增加一定程度的计算量，并且超像素数目越多，后面步骤中合并超像素的误判几率也会变大。

经过实验验证，该方法确实能产生更能贴近超像素边缘的超像素分割图。能够保证分割精度保持相对较高的程度，避免人工手动设定的随机性。

进一步地，对于不同场景的仓库非结构化道路进行实验，利用杰卡德系数Jaccard将本实施的方法和传统的区域生长法，以及现有的基于SLIC超像素的归一化分割方法和基于图像灰度特征的方法进行对比评估；其中，基于SLIC超像素的归一化分割方法，采用SLIC方法进行预分割，然后对得到的RAG图计算每一条边的权值，基于归一化的分割准则对目标分割区域进行分割。基于图像灰度特征的方法，对图像的灰度图像进行均匀的矩形划分，对划分出来的若干小矩形区域进行研究，合并小区域得到目标分个区域。评估结果如图8所示。

结果表明本实施例提出的算法相比于传统区域生长算法以及上述两种现有算法，在大多数情况下可以获得优良的分割结果，具有更高的准确性。

综上，本实施例首先通过SLIC超像素分割算法对整个图像进行预分割；然后采用区域生长算法对预分割结果中的超像素块进行合并；提高了非结构化道路分割的准确性。另外，本实施例引入了基于图像Lab特征的自适应超像素初始数目设定方法，提高了超像素预分割效果。提升了仓库环境非结构化道路分割的准确率，解决了区域生长局部误分割的问题，适用于仓库环境下的AGV。

第二实施例

本实施例提供了一种基于超像素和区域生长的非结构化道路分割系统，该基于超像素和区域生长的非结构化道路分割系统包括以下模块：

SLIC超像素分割模块，用于根据所确定的超像素数目初始设定值，采用SLIC超像素算法，对目标非结构化道路区域图像进行SLIC超像素分割；

区域生长模块，用于基于区域生长算法原理，对SLIC超像素分割结果中的超像素块进行合并，得到目标非结构化道路区域图像的分割结果。

本实施例的基于超像素和区域生长的非结构化道路分割系统与上述第一实施例的基于超像素和区域生长的非结构化道路分割方法相对应；其中，本实施例的基于超像素和区域生长的非结构化道路分割系统中的各功能模块所实现的功能与上述第一实施例的基于超像素和区域生长的非结构化道路分割方法中的各流程步骤一一对应；故，在此不再赘述。

第三实施例

本实施例提供一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行，以实现第一实施例的方法。

该电子设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)和一个或一个以上的存储器，其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行以下步骤：

本实施例的电子设备用于执行上述第一实施例中的方法，首先通过SLIC超像素分割算法对整个图像进行预分割；然后采用区域生长算法对预分割结果中的超像素块进行合并；提高了非结构化道路分割的准确性。采用基于图像Lab特征的自适应超像素初始数目设定方法，提高了超像素预分割效果。进而提升了仓库环境非结构化道路分割的准确率，解决了区域生长局部误分割的问题。

第四实施例

本实施例提供一种计算机可读存储介质，该存储介质中存储有至少一条指令，所述指令由处理器加载并执行，以实现上述方法。其中，该计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。其内存储的指令可由终端中的处理器加载并执行以下步骤：

本实施例的存储介质用于存储上述第一实施例中的方法，首先通过SLIC超像素分割算法对整个图像进行预分割；然后采用区域生长算法对预分割结果中的超像素块进行合并；提高了非结构化道路分割的准确性。采用基于图像Lab特征的自适应超像素初始数目设定方法，提高了超像素预分割效果。进而提升了仓库环境非结构化道路分割的准确率，解决了区域生长局部误分割的问题。

此外，需要说明的是，本发明可提供为方法、装置或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

最后需要说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。