CN113470049A - 一种基于结构化彩色点云分割的完整目标提取方法 - Google Patents

Abstract

一种基于结构化彩色点云分割的完整目标提取方法，涉及机器视觉技术领域，为解决现有技术采用颜色信息进行分割产生的欠分割问题，该方法包括：步骤一，构建结构化彩色点云{E}；步骤二，获取点云{C}在{E}上的投影区域{R}和非投影区域{NR}；步骤三，基于空间位置信息的初次聚合；步骤四，基于颜色信息的二次扩充；该方法通过双目相机采集点云和图像，利用点云空间信息分割和图像颜色信息拓展，克服了现有技术采用颜色信息进行分割而产生的欠分割问题，实现了对完整目标的提取，具有实现简便和较高通用性特点。

Description

一种基于结构化彩色点云分割的完整目标提取方法

技术领域

本发明涉及机器视觉技术领域，具体涉及一种基于结构化彩色点云分割的完整目标提取方法。

背景技术

目标提取是机器视觉应用中一个基本且关键的问题。目标提取的目的就是获取图像中感兴趣目标，以便进行后续的目标特征分析以及目标跟踪等后续图像处理。

中国专利公开号为“CN112862843A”,名称为“一种基于邻域像素多权重决策的公章图像分割方法及系统”,该方法首先利用分水岭算法对目标进行初次分割，后利用邻域像素多权重决策的方法对分割结果进行深度优化，得到最终分割结果。该方法由于采用颜色信息进行分割，对颜色相近的相邻目标容易视为同一目标，产生欠分割的问题。

发明内容

本发明为解决现有技术采用颜色信息进行分割产生的欠分割问题，提出了一种基于结构化彩色点云分割的完整目标提取方法。

本发明解决技术问题的方案是：

一种基于结构化彩色点云分割的完整目标提取方法，包括以下步骤：

步骤一，构建结构化彩色点云{E}；

通过双目相机拍摄同时得到点云{C}＝{c_i|c_i＝(X_i,Y_i,Z_i),i∈[1,num]}和分辨率为M×N的RGB图像{I}，保持{I}的行列结构不变，在{I}中添加{C}中的三维坐标信息，构建如式(1)所示的矩阵结构的彩色点云数据{E}；

其中，R、G和B为{I}中像素红、绿、蓝通道灰度值；X、Y和Z为对应三维点坐标数据，若存在对应三维点，(X,Y,Z)为实际对应三维点坐标，若没有对应三维点，(X,Y,Z)记为(0,0,0)；记{E}中的任意元素为e；

步骤二，获取点云{C}在{E}上的投影区域{R}和非投影区域{NR}；

通过式(2)可得{C}在{E}上的投影区域{R}，则非投影区域{NR}为{R}在{E}上的补集{R^c}；

其中，(X_i,Y_i,Z_i)为{C}中三维点坐标；A为双目相机投影矩阵；(x_i,y_i)为(X_i,Y_i,Z_i)对应e的坐标；

步骤三，基于空间位置信息的初次聚合；

根据漫水填充算法，在{R}中随机选取一个e，作为初次聚合体队列首个元素，开始建立初次聚合体队列，记当前正在建立的聚合体队列为{RB}；遍历{RB}中的元素，记当前遍历的元素为Seed，对Seed周围N₈邻域元素据式(3)计算d_oj(1≤j≤8)，将d_oj≤t_o的N₈邻域元素加入队列{RB}，t_o为空间位置欧式距离阈值，直到在{R}-{RB}中队列里所有元素的N₈邻域元素都不符合加入队列{RB}的条件，停止遍历{RB}，该队列记为一个初次聚合体{RB₁}；

式中：N₈(Seed)为Seed的N₈邻域；(x_j,y_j)为Seed周围N₈邻域某一元素的坐标；(x_seed,y_seed)为Seed的坐标；{E}_X(x_j,y_j)、{E}_Y(x_j,y_j)、{E}_Z(x_j,y_j)为{E}(x_j,y_j)的X、Y、Z信息；d_oj为{E}(x_j,y_j)与{E}(x_seed,y_seed)之间的空间位置欧式距离；

若{R}-{RB₁}不为空，则在{R}-{RB₁}中，按照{RB₁}的聚合过程建立{RB₂}，以此类推，直至{R}-{RB₁}-{RB₂}-{RB₃}，…，-{RB_n}为空，初次聚合结束，得到初次聚合体序列{RB₁}，{RB₂}，{RB₃}，…{RB_n}，其中n为形成的初次聚合体数量；

步骤四，基于颜色信息的二次扩充；

在{NR}上依次对{RB₁}，{RB₂}，{RB₃}，…{RB_n}进行扩充：记当前扩充的初次聚合体队列为{RB'}，遍历{RB'}中的元素，将{RB'}当前遍历的元素记为种子点Seed'，对{NR}上的Seed'N₈邻域元素根据式(4)计算d_RGBk(1≤k≤8)，将d_RGBk≤t_RGB的N₈邻域元素加入队列{RB'}，t_RGB为颜色信息欧式距离阈值，直到在{NR}-{RB'}中队列里所有元素的N₈邻域元素都不符合加入队列{RB'}的条件，停止遍历{RB'}，形成最终聚合体；当所有聚合体都完成扩充时，目标提取完毕，得到扩充后的聚合体序列{RB₁'}，{RB'₂}，{RB₃'}，…，{RB'_n}；

式中：N₈(Seed')为Seed'的N₈邻域；(x_k,y_k)为Seed'周围N₈邻域某一元素的坐标；(x_seed',y_seed')为Seed'的坐标；{E}_R(x_k,y_k)、{E}_G(x_k,y_k)、{E}_B(x_k,y_k)为{E}(x_k,y_k)的R、G、B信息；d_RGBk为{E}(x_k,y_k)与{E}(x_seed',y_seed')的颜色信息欧式距离。

本发明的有益效果在于：本方法提供一种基于结构化彩色点云分割的完整目标提取方法，通过双目相机采集点云和图像，利用点云空间信息分割和图像颜色信息拓展，克服了现有技术采用颜色信息进行分割而产生的欠分割问题，实现了对完整目标的提取，具有实现简便和较高通用性特点。

附图说明

图1是本发明一种基于结构化彩色点云分割的完整目标提取方法流程图；

图2是基于颜色信息的二次扩充示意图；

图3是Seed'N₈邻域聚合示意图；

图4是基于空间位置信息的初次聚合效果图；

图5是基于颜色信息的二次扩充效果图。

具体实施方式

以下将结合附图对本发明的具体实施方式做进一步的详细描述。

以下实施例用于说明本发明，但不限制本发明的范围。

如图1所示，一种基于结构化彩色点云分割的完整目标提取方法，包括如下步骤：

步骤一，构建结构化彩色点云{E}

通过双目相机拍摄公路场景，同时得到点云{C}＝{c_i|c_i＝(X_i,Y_i,Z_i),i∈[1,49886]}和分辨率为768×1024的RGB图像{I}，保持{I}的行列结构不变，在{I}中添加{C}中的三维坐标信息，构建出如式(1)所示的矩阵结构的彩色点云数据{E}。

步骤二，获取点云{C}在{E}上的投影区域{R}和非投影区域{NR}

通过式(2)可得{C}在{E}上的投影区域{R}，则非投影区域{NR}为{R}在{E}上的补集{R^c}。

其中，(X_i,Y_i,Z_i)为{C}中三维点坐标；

为双目相机投影矩阵；(x_i,y_i)为(X_i,Y_i,Z_i)对应e的坐标。

步骤三，基于空间位置信息的初次聚合

根据漫水填充算法，在{R}中随机选取一个e，作为初次聚合体队列首个元素，开始建立初次聚合体队列，记当前正在建立的聚合体队列为{RB}。遍历{RB}中的元素，记当前遍历的元素为Seed，对Seed周围N₈邻域元素据式(3)计算d_oj(1≤j≤8)，将d_oj≤20的N₈邻域元素加入队列{RB}，直到在{R}-{RB}中队列里所有元素的N₈邻域元素都不符合加入队列{RB}的条件，停止遍历{RB}，该队列记为一个初次聚合体{RB₁}。

式中：N₈(Seed)为Seed的N₈邻域；(x_j,y_j)为Seed周围N₈邻域某一元素的坐标；(x_seed,y_seed)为Seed的坐标；{E}_X(x_j,y_j)、{E}_Y(x_j,y_j)、{E}_Z(x_j,y_j)为{E}(x_j,y_j)的X、Y、Z信息；d_oj为{E}(x_j,y_j)与{E}(x_seed,y_seed)之间的空间位置欧式距离；

若{R}-{RB₁}不为空，则在{R}-{RB₁}中，按照{RB₁}的聚合过程建立{RB₂}，以此类推，直至{R}-{RB₁}-{RB₂}-{RB₃}，…，-{RB₈₁}为空，初次聚合结束，得到初次聚合体序列{RB₁}，{RB₂}，{RB₃}，…{RB₈₁}，对不同初次聚合体进行不同的颜色标识，基于空间位置信息的初次聚合效果如图4所示，图中目标1、目标2和目标3为3个感兴趣目标经过基于空间位置信息的初次聚合形成的初次聚合体。

步骤四，基于颜色信息的二次扩充

如图2所示，在{NR}上依次对{RB₁}，{RB₂}，{RB₃}，…{RB₈₁}进行扩充：记当前扩充的初次聚合体队列为{RB'}，遍历{RB'}中的元素，将{RB'}当前遍历的元素记为种子点Seed'，对{NR}上的Seed'N₈邻域元素根据式(4)计算d_RGBk(1≤k≤8)，假设Seed'N₈邻域如图3所示，则将d_RGBk≤20的4和7邻域元素加入队列{RB'}，直到在{NR}-{RB'}中队列里所有元素的N₈邻域元素都不符合加入队列{RB'}的条件，停止遍历{RB'}，形成最终聚合体。当所有聚合体都完成扩充时，目标提取完毕，得到扩充后的聚合体序列{RB₁'}，{RB'₂}，{RB₃'}，…，{RB₈'₁}，对不同最终聚合体进行不同的颜色标识，基于颜色信息的二次扩充效果如图5所示，图中目标1、目标2和目标3为3个感兴趣目标经过基于颜色信息的二次扩充形成的最终聚合体。

式中：N₈(Seed')为Seed'的N₈邻域；(x_k,y_k)为Seed'周围N₈邻域某一元素的坐标；(x_seed',y_seed')为Seed'的坐标；{E}_R(x_k,y_k)、{E}_G(x_k,y_k)、{E}_B(x_k,y_k)为{E}(x_k,y_k)的R、G、B信息；d_RGBk为{E}(x_k,y_k)与{E}(x_seed',y_seed')的颜色信息欧式距离。

Claims (1)

1.一种基于结构化彩色点云分割的完整目标提取方法，其特征是包括以下步骤：

步骤一，构建结构化彩色点云{E}；

通过双目相机拍摄同时得到点云{C}＝{c_i|c_i＝(X_i,Y_i,Z_i),i∈[1,num]}和分辨率为M×N的RGB图像{I}，保持{I}的行列结构不变，在{I}中添加{C}中的三维坐标信息，构建如式(1)所示的矩阵结构的彩色点云数据{E}；

其中，R、G和B为{I}中像素红、绿、蓝通道灰度值；X、Y和Z为对应三维点坐标数据，若存在对应三维点，(X,Y,Z)为实际对应三维点坐标，若没有对应三维点，(X,Y,Z)记为(0,0,0)；记{E}中的任意元素为e；

步骤二，获取点云{C}在{E}上的投影区域{R}和非投影区域{NR}；

通过式(2)可得{C}在{E}上的投影区域{R}，则非投影区域{NR}为{R}在{E}上的补集{R^c}；

其中，(X_i,Y_i,Z_i)为{C}中三维点坐标；A为双目相机投影矩阵；(x_i,y_i)为(X_i,Y_i,Z_i)对应e的坐标；

步骤三，基于空间位置信息的初次聚合；

根据漫水填充算法，在{R}中随机选取一个e，作为初次聚合体队列首个元素，开始建立初次聚合体队列，记当前正在建立的聚合体队列为{RB}；遍历{RB}中的元素，记当前遍历的元素为Seed，对Seed周围N₈邻域元素据式(3)计算d_oj(1≤j≤8)，将d_oj≤t_o的N₈邻域元素加入队列{RB}，t_o为空间位置欧式距离阈值，直到在{R}-{RB}中队列里所有元素的N₈邻域元素都不符合加入队列{RB}的条件，停止遍历{RB}，该队列记为一个初次聚合体{RB₁}；

式中：N₈(Seed)为Seed的N₈邻域；(x_j,y_j)为Seed周围N₈邻域某一元素的坐标；(x_seed,y_seed)为Seed的坐标；{E}_X(x_j,y_j)、{E}_Y(x_j,y_j)、{E}_Z(x_j,y_j)为{E}(x_j,y_j)的X、Y、Z信息；d_oj为{E}(x_j,y_j)与{E}(x_seed,y_seed)之间的空间位置欧式距离；

若{R}-{RB₁}不为空，则在{R}-{RB₁}中，按照{RB₁}的聚合过程建立{RB₂}，以此类推，直至{R}-{RB₁}-{RB₂}-{RB₃}，…，-{RB_n}为空，初次聚合结束，得到初次聚合体序列{RB₁}，{RB₂}，{RB₃}，…{RB_n}，其中n为形成的初次聚合体数量；

步骤四，基于颜色信息的二次扩充；

在{NR}上依次对{RB₁}，{RB₂}，{RB₃}，…{RB_n}进行扩充：记当前扩充的初次聚合体队列为{RB'}，遍历{RB'}中的元素，将{RB'}当前遍历的元素记为种子点Seed'，对{NR}上的Seed'N₈邻域元素根据式(4)计算d_RGBk(1≤k≤8)，将d_RGBk≤t_RGB的N₈邻域元素加入队列{RB'}，t_RGB为颜色信息欧式距离阈值，直到在{NR}-{RB'}中队列里所有元素的N₈邻域元素都不符合加入队列{RB'}的条件，停止遍历{RB'}，形成最终聚合体；当所有聚合体都完成扩充时，目标提取完毕，得到扩充后的聚合体序列{RB′₁}，{RB'₂}，{RB′₃}，…，{RB'_n}；

式中：N₈(Seed')为Seed'的N₈邻域；(x_k,y_k)为Seed'周围N₈邻域某一元素的坐标；(x_seed',y_seed')为Seed'的坐标；{E}_R(x_k,y_k)、{E}_G(x_k,y_k)、{E}_B(x_k,y_k)为{E}(x_k,y_k)的R、G、B信息；d_RGBk为{E}(x_k,y_k)与{E}(x_seed',y_seed')的颜色信息欧式距离。

Images