CN101383005B - 一种利用辅助规则纹理的乘客目标图像和背景分离方法 - Google Patents

Abstract

本发明涉及一种利用辅助规则纹理的乘客目标图像和背景分离方法，包含以下步骤：接收一幅新采集的数字图像；检测是否接收成功，若为是，则进行图像预处理；检测是否处理成功，若为是，则进行图像边缘检测；检测是否检测成功，若为是，则进行直线检测；检测是否检测成功，若为是，则进行被遮挡的直线段定位；检测是否处理成功，若为是，则进行人体图像区域提取；检测是否检测成功，若为是，则进行输出人体图像区域。与现有技术相比，本发明方法在外界工作环境极其复杂，人体上下车的行为和姿态千差万别等复杂情况下，较好的解决了人体目标图像和背景图象的分离问题。

Description

一种利用辅助规则纹理的乘客目标图像和背景分离方法

技术领域

本发明涉及乘客目标图像和背景分离方法，特别涉及一种利用辅助规则纹理的乘客目标图像和背景分离方法。

背景技术

客运车辆乘客上下门等场所常常需要统计在某一时间点或时间段内上车的乘客数量和下车的乘客数量，以此乘客统计数据为依据优化运营和提高管理水平。

统计客运车辆上下乘客的数量流程中，非常关键的一个步骤是检测在任意时间点是否存在乘客，以及每一个乘客在上下车过程中在该时间点所处的位置。

申请号为200710036809.X的发明专利“运动目标跟踪及数量统计方法”公开了一种主要应用于客运汽车统计乘客数量的方法。该发明在车门上方安装摄像机完成图像数据的采集，采用图像识别的方法，完成乘客目标和背景的分离。

武汉科技大学信息科学与工程学院的付晓薇在其硕士学位论文“一种基于动态图像的多目标识别计数方法”中公布了一种采用帧间差和背景差的方法检测图像中的乘客目标区域，大连海事大学信号与图像处理研究所的田京雷在2005年全国图象图形学学术会议上公布了“基于视频的客流计数系统的研究”论文(《第十二届全国图象图形学学术会议论文集》，作者：章毓晋，ISBN：7302119309)，也采用背景差的方法来检测图像中乘客目标区域。

以上采用图像识别技术来统计乘客数量的方法，检测乘客目标并将乘客目标和背景分离是实现高精度乘客计数的关键。但是，由于摄像机所面临的外界工作环境极其复杂，人体上下车的行为、姿态千差万别并且不可控。如果仅仅采用上述方法对复杂情况下拍摄到的乘客上下车图像进行图像识别，难以高效准确的将乘客目标图像和背景分离开来。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种在外界工作环境极其复杂，人体上下车的行为和姿态千差万别等复杂情况下乘客目标和背景区域的正确分离的利用辅助规则纹理的乘客目标图像和背景分离方法。

本发明的目的可以通过以下技术方案来实现：一种利用辅助规则纹理的乘客目标图像和背景分离方法，其特征在于，包含以下步骤：

(1)接收一幅新采集的数字图像；

(2)检测是否接收成功，若检测结果为否，则返回步骤(1)；

(3)若步骤(2)中检测的结果为是，则进行图像预处理；

(4)检测是否处理成功，若检测结果为否，则返回步骤(1)；

(5)若步骤(4)中检测的结果为是，则进行图像边缘检测；

(6)检测是否检测成功，若检测结果为否，则返回步骤(1)；

(7)若步骤(6)中检测的结果为是，则进行直线检测；

(8)检测是否检测成功，若检测结果为否，则返回步骤(1)；

(9)若步骤(8)中检测的结果为是，则进行被遮挡的直线段定位；

(10)检测是否处理成功，若检测结果为否，则返回步骤(1)；

(11)若步骤(10)中检测的结果为是，则进行人体图像区域提取；

(12)检测是否检测成功，若检测结果为否，则返回步骤(1)；

(13)若步骤(12)中检测的结果为是，则进行输出人体图像区域。

所述的图像预处理包括以下步骤：

(1)图像色度空间变换，将RGB色度空间中的图像变换为YUV色度空间中的图像；

(2)图像滤波，采用3×3大小的模板进行中值滤波，然后采用3×3大小的模板完成开启运算，再采用3×3大小的模板完成闭合运算。

所述的图像边缘检测包括以下步骤：

(1)采用Sobel、Gaussian梯度算子计算图像的梯度；

(2)统计图像的梯度直方图；

(3)检测梯度直方图的最高峰值；

(4)对任何非峰值点，采用“均值偏移”算法进行运算，找到大于峰值且第一个不偏移到最高峰值的梯度值，以此梯度值为小阈值LowThreshold，则大阈值HighThreshold＝2*LowThreshold；

(5)提取图像三值化，规则为：如果G(i，j)＜LowThreshold，T(i，j)＝0，如果G(i，j)＞HighThreshold，T(i，j)＝2，否则T(i，j)＝1；

(6)对所有T(i，j)的值不是0的点进行非极大值抑制，所有非极大值抑制成功的像素点，其T(i，j)值重新置0；

(7)对所有T(i，j)值为2的点，进行连通性分析，消除所有长度短于预先给定值Length的边缘；

(8)边缘连接，如果某T(i，j)值为1的点和T(i，j)值为2的边缘段连通，则修改T(i，j)的值为2，否则将其值修改为0；

(9)输出边缘检测结果。

所述的直线检测采用哈夫变换方法检测直线，获得每一条直线的描述方程y＝k(i)x+b(i)(i＝0，1，...N)，其中k(i)是第i条直线Li的斜率，b(i)是第i条直线Li的截距。

所述的被遮挡的直线段定位包括以下步骤：

(1)对拟合好的每一条直线Li，求出在图像空间中的所有坐标点，方法为：如果k(i)≤1，对所有x，从0开始每次增长1，直到x增长到图像的宽度值为止，采用方程y＝k(i)x+b(i)，求出对应的y值并取整，否则，对所有y，从0开始每次增长1，直到y增长到图像的高度值为止，采用方程

$x=\frac{y-b\left(i\right)}{k\left(i\right)}$

求出对应的x值并取整。

(2)对直线Li上的每个点P_i(x_k，y_k)，在以该点为圆心，以r为半径的圆形区域内，查找是否存在图像边缘检测中检测到的边缘点，如果查找到边缘点，而该点赋予标记1，否则赋予标记0，其中r是预先指定的值，一般取3；

(3)在给定的直线上，采用长度为5的线结构元素对标记1进行形态学闭合运算；

(4)线标记连通性分析。对提取的标记为0的所有线连通元，均确定为被遮挡的直线段。

所述的人体图像区域提取包括以下步骤：

(1)连通性分析。将所有相邻的被遮挡的直线聚类在一起形成一个连通的区域；

(2)计算连通元k的最小外接矩形(k＝0，1，...，N)。求得的矩形宽度、高度和面积依次记为W(k)、H(k)和A(k)；

(3)连通元宽度高度和面积校验。对连通元k，如果W(k)≤W或者H(k)≤H或者A(k)≤A，则认为此连通元不是候选的人体图像区域。其中W、H和A为预先设定的值。其中W、H和A为预先设定的值，根据摄像机距离汽车踏步高度的不同，一般取W为图像宽度的

H为图像高度的

A为图像面积的

(4)将通过宽度、高度和面积验证的连通元最小外接矩形的宽和高全部归一化，并计算归一化的连通元图像；

(5)计算归一化矩形中人体区域与标准人体模板区域之间的相关系数C；

(6)如果相关系数C大于Threshold，则认为是人体区域，否则不是人体区域。其中Threshold是预先指定的值，一般取为0.7。

与现有技术相比，本发明方法在外界工作环境极其复杂，人体上下车的行为和姿态千差万别等复杂情况下，较好的解决了人体目标图像和背景图象的分离问题。

附图说明

图1是本发明利用辅助规则纹理的乘客目标图像和背景分离方法的流程图；

图2是本发明辅助规则纹理之一的示意图；

图3是本发明辅助规则纹理之二的示意图；

图4是本发明辅助规则纹理之三的示意图；

图5是本发明辅助规则纹理之四的示意图；

图6是本发明利用辅助规则纹理的乘客目标图像和背景分离系统的主要结构示意图。

具体实施方式

如图1所示，一种利用辅助规则纹理的乘客目标图像和背景分离方法，步骤1为起始步骤，接收一幅新采集的数字图像；在步骤2中，检测是否接收成功，若检测结果为否，则返回步骤1；若步骤2中检测的结果为是，则在步骤3中，进行图像预处理；在步骤4中，检测是否处理成功，若检测结果为否，则返回步骤1；若步骤4中检测的结果为是，则在步骤5中，进行图像边缘检测；在步骤6中，检测是否检测成功，若检测结果为否，则返回步骤1；若步骤6中检测的结果为是，则在步骤7中，进行直线检测；在步骤8中，检测是否检测成功，若检测结果为否，则返回步骤1；若步骤8中检测的结果为是，则在步骤9中，进行被遮挡的直线段定位；在步骤10中，检测是否处理成功，若检测结果为否，则返回步骤1；若步骤10中检测的结果为是，则在步骤11中，进行人体图像区域提取；在步骤12中，检测是否检测成功，若检测结果为否，则返回步骤1；若步骤12中检测的结果为是，则在步骤13中，进行输出人体图像区域。

所述的图像预处理包括以下步骤：

(1)图像色度空间变换，将RGB色度空间中的图像变换为YUV色度空间中的图像；

(2)图像滤波，采用3×3大小的模板进行中值滤波，然后采用3×3大小的模板完成开启运算，再采用3×3大小的模板完成闭合运算。

所述的图像边缘检测包括以下步骤：

(1)采用Sobel、Gaussian梯度算子计算图像的梯度；

(2)统计图像的梯度直方图；

(3)检测梯度直方图的最高峰值；

(4)对任何非峰值点，采用“均值偏移”算法进行运算，找到大于峰值且第一个不偏移到最高峰值的梯度值，以此梯度值为小阈值LowThreshold，则大阈值HighThreshold＝2*LowThreshold；

(5)提取图像三值化，规则为：如果G(i，j)＜LowThreshold，T(i，j)＝0，如果G(i，j)＞HighThreshold，T(i，j)＝2，否则T(i，j)＝1；

(6)对所有T(i，j)的值不是0的点进行非极大值抑制，所有非极大值抑制成功的像素点，其T(i，j)值重新置0；

(7)对所有T(i，j)值为2的点，进行连通性分析，消除所有长度短于预先给定值Length的边缘；

(8)边缘连接，如果某T(i，j)值为1的点和T(i，j)值为2的边缘段连通，则修改T(i，j)的值为2，否则将其值修改为0；

(9)输出边缘检测结果。

所述的直线检测采用哈夫变换方法检测直线，获得每一条直线的描述方程y＝k(i)x+b(i)(i＝0，1，...N)，其中k(i)是第i条直线Li的斜率，b(i)是第i条直线Li的截距。

所述的被遮挡的直线段定位包括以下步骤：

(1)对拟合好的每一条直线Li，求出在图像空间中的所有坐标点，方法为：如果k(i)≤1，对所有x，从0开始每次增长1，直到x增长到图像的宽度值为止，采用方程y＝k(i)x+b(i)，求出对应的y值并取整，否则，对所有y，从0开始每次增长1，直到y增长到图像的高度值为止，采用方程

$x=\frac{y-b\left(i\right)}{k\left(i\right)}$

求出对应的x值并取整。

(2)对直线Li上的每个点P_i(x_k，y_k)，在以该点为圆心，以r为半径的圆形区域内，查找是否存在图像边缘检测中检测到的边缘点，如果查找到边缘点，而该点赋予标记1，否则赋予标记0，其中r是预先指定的值，一般取3；

(3)在给定的直线上，采用长度为5的线结构元素对标记1进行形态学闭合运算；

(4)线标记连通性分析。对提取的标记为0的所有线连通元，均确定为被遮挡的直线段。

所述的人体图像区域提取包括以下步骤：

(1)连通性分析。将所有相邻的被遮挡的直线聚类在一起形成一个连通的区域；

(2)计算连通元k的最小外接矩形(k＝0，1，...，N)。求得的矩形宽度、高度和面积依次记为W(k)、H(k)和A(k)；

(3)连通元宽度高度和面积校验。对连通元k，如果W(k)≤W或者H(k)≤H或者A(k)≤A，则认为此连通元不是候选的人体图像区域。其中W、H和A为预先设定的值。其中W、H和A为预先设定的值，根据摄像机距离汽车踏步高度的不同，一般取W为图像宽度的

H为图像高度的

A为图像面积的

(4)将通过宽度、高度和面积验证的连通元最小外接矩形的宽和高全部归一化，并计算归一化的连通元图像；

(5)计算归一化矩形中人体区域与标准人体模板区域之间的相关系数C；

(6)如果相关系数C大于Threshold，则认为是人体区域，否则不是人体区域。其中Threshold是预先指定的值，一般取为0.7。

如图2至5所示，辅助规则纹理装饰物可以是任何不影响乘客通行且具有相当抗压抗磨抗腐蚀的人造规则图案物，如毛地毯、地板革、木踏板等等。对规则纹理的一般要求是该规则纹理分布相对密集。规则纹理可以是图2至5中的某种图案方式，但不限于图2至5的纹理图案，任何其它规则的纹理图案均可。

如图6所示，该图6是本发明利用辅助规则纹理的乘客目标图像和背景分离系统的主要结构示意图，其结构包含工业摄像机14、补光光源15、图像采集装置17、运算处理器18、信号传输电缆16和辅助规则纹理装饰物19。工业摄像机14和补光光源15固定垂直或略微向车门内或车门外倾斜一个小角度安装在车门正上方的车辆顶棚上，并且确保补光光源15的光照射主轴方向和工业摄像机14镜头拍摄图像的主轴方向同轴。图像采集装置17和运算处理器18组成运算主机，安装在车体内任何隐蔽的位置。工业摄像机14通过信号传输电缆16和图像采集装置17相连，图像采集装置17和运算处理器18的数据总线相连。辅助规则纹理装饰物19平整的铺设在车门上下车台阶通道上。

Claims (1)

1.一种利用辅助规则纹理的乘客目标图像和背景分离方法，其特征在于，包含以下步骤：

(1)接收一幅新采集的数字图像；

(2)检测是否接收成功，若检测结果为否，则返回步骤(1)；

(3)若步骤(2)中检测的结果为是，则进行图像预处理；所述的图像预处理包括以下步骤：

1)图像色度空间变换，将RGB色度空间中的图像变换为YUV色度空间中的图像；

2)图像滤波，采用3×3大小的模板进行中值滤波，然后采用3×3大小的模板完成开启运算，再采用3×3大小的模板完成闭合运算；

(4)检测是否处理成功，若检测结果为否，则返回步骤(1)；

(5)若步骤(4)中检测的结果为是，则进行图像边缘检测；所述的图像边缘检测包括以下步骤：

1)采用Sobel或Gaussian梯度算子计算图像的梯度；

2)统计图像的梯度直方图；

3)检测梯度直方图的最高峰值；

4)对任何非峰值点，采用“均值偏移”算法进行运算，找到大于峰值且第一个不偏移到最高峰值的梯度值，以此梯度值为小阈值LowThreshold，则大阈值HighThreshold＝2*LowThreshold；

5)梯度图像三值化，规则为：如果G(i，j)＜LowThreshold，T(i，j)＝0，如果G(i，j)＞HighThreshold，T(i，j)＝2，否则T(i，j)＝1；G(i，j)，T(i，j)表示坐标是(i，j)的像素点的值为G(i，j)，T(i，j)；其中i表示横坐标的值，j表示纵坐标的值；

6)对所有T(i，j)的值不是0的点进行非极大值抑制，所有非极大值抑制成功的像素点，其T(i，j)值重新置0；

7)对所有T(i，j)值为2的点，进行连通性分析，消除所有长度短于预先给定值Length的边缘；

8)边缘连接，如果某T(i，j)值为1的点和T(i，j)值为2的边缘段连通，则修改T(i，j)的值为2，否则将其值修改为0；

9)输出边缘检测结果；

(6)检测是否检测成功，若检测结果为否，则返回步骤(1)；

(7)若步骤(6)中检测的结果为是，则进行直线检测；所述的直线检测采用哈夫变换方法检测直线，获得每一条直线的描述方程y＝k(i)x+b(i)(i＝0，1，...N)，其中k(i)是第i条直线Li的斜率，b(i)是第i条直线Li的截距；N为描述图像中所有边缘段的直线方程数；

(8)检测是否检测成功，若检测结果为否，则返回步骤(1)；

(9)若步骤(8)中检测的结果为是，则进行被遮挡的直线段定位；所述的被遮挡的直线段定位包括以下步骤：

1)对拟合好的每一条直线Li，求出在图像空间中的所有坐标点，方法为：如果k(i)≤1，对所有x，从0开始每次增长1，直到x增长到图像的宽度值为止，采用方程y＝k(i)x+b(i)，求出对应的y值并取整，否则，对所有y，从0开始每次增长1，直到y增长到图像的高度值为止，采用方程

$x=\frac{y-b\left(i\right)}{k\left(i\right)}$

求出对应的x值并取整，

2)对直线Li上的每个点P_i(x_k，y_k)，在以该点为圆心，以r为半径的圆形区域内，查找是否存在图像边缘检测中检测到的边缘点，如果查找到边缘点，而该点赋予标记1，否则赋予标记0，其中r是预先指定的值，取3；

3)在给定的直线上，采用长度为5的线结构元素对标记1进行形态学闭合运算；

4)线标记连通性分析，对提取的标记为0的所有连通元，均确定为被遮挡的直线段；

(10)检测是否处理成功，若检测结果为否，则返回步骤(1)；

(11)若步骤(10)中检测的结果为是，则进行人体图像区域提取；所述的人体图像区域提取包括以下步骤：

1)连通性分析，将所有相邻的被遮挡的直线聚类在一起形成一个连通元；

2)计算连通元k的最小外接矩形(k＝0，1，...，N)，求得的矩形宽度、高度和面积依次记为W(k)、H(k)和A(k)；

3)连通元宽度高度和面积校验，对连通元k，如果W(k)≤W或者H(k)≤H或者A(k)≤A，则认为此连通元不是候选的人体图像区域，其中W、H和A为预先设定的值，根据摄像机距离汽车踏板高度的不同，取W为图像宽度的

H为图像高度的A为图像面积的

4)将通过宽度、高度和面积验证的连通元最小外接矩形的宽和高全部归一化，并计算归一化的连通元图像；

5)计算归一化矩形中人体区域与标准人体模板区域之间的相关系数C；

6)如果相关系数C大于Threshold，则认为是人体区域，否则不是人体区域，其中Threshold是预先指定的值，取为0.7；

(12)检测是否检测成功，若检测结果为否，则返回步骤(1)；

(13)若步骤(12)中检测的结果为是，则进行输出人体图像区域。

Images