CN106920230B - 一种车门闭合区灰度相近的车门开闭自动检测方法 - Google Patents

Abstract

本发明公开了一种车门闭合区灰度相近的车门开闭自动检测方法，该方法，利用公交车辆的视频监控系统的图像采集器实时采集图像数据，基于公交车辆的车门闭合区的灰度一致特性提取车门闭合区，当闭合区被检出时认为车门处于闭合状态，当未检测到车门闭合区时，则认为车门为开启的，从而实现自动检测公交车门所处的状态。本发明基于车门间闭合区域的灰度相近特性来检测车门闭合区，以此判定车门的开闭状态，本发明方法能适合所有闭合区颜色相近的车门状态的检测，适用范围广；本发明具有简单、经济，准确率高等优点。

Description

一种车门闭合区灰度相近的车门开闭自动检测方法

技术领域

本发明涉及一种应用图像处理技术的车门开闭状态自动检测方法。

背景技术

由于现在的公交车，地铁等公共交通设施的开门和关门均是由驾驶人通过手动按下按钮来进行实现的。驾驶人极有可能因为注意力分散，或者乘客在下车时行动迟缓，导致司机关门过早夹伤乘客，或极端情况下出现忘记关闭车门等情况，对乘客的人身安全存在潜在的威胁。本发明提出了一种基于车门闭合区灰度相近的车门状态自动检测方法。本发明自动检测车辆车门的开闭状态具有重要的现实意义：一是避免事故。将车门的开闭状态和驾驶员对车门的操作进行对比，可以更大程度上避免事故的发生，保障乘客的安全。二是未来的无人驾驶公共车辆，需要实时检测车门的开闭状态，对车辆进行行驶、停靠等操控。三是开关门的操作可以作为触发其他程序的开关。例如关门作为信号自动广播下站的站名，提醒即将下车的乘客做好准备。

发明内容

本发明的目的在于提供一种基于图像处理技术的公交的车门开闭状态自动检测方法。

为达到上述目的，本发明采用如下的技术方案予以实现。

一种车门闭合区灰度相近的车门开闭自动检测方法，利用公交车辆的视频监控系统的图像采集器实时采集图像数据，基于公交车辆的车门闭合区的灰度一致特性提取车门闭合区，当闭合区被检出时认为车门处于闭合状态，当未检测到车门闭合区时，则认为车门为开启的，从而实现自动检测公交车门所处的状态(开启和闭合)。具体包括如下步骤：

一种车门闭合区灰度相近的车门开闭自动检测方法，该方法通过安装在公交车后车门顶部的摄像头采集彩色车门图像，包括以下步骤：

步骤一，将彩色车门图像转化为灰度图像；

设彩色车门图像的大小为M×N，彩色车门图像中任一像素点p的坐标为(x,y)，x和y分别表示像素点p的行号和列号，x和y均为整数，1≤x≤M,1≤y≤N；

步骤二，对灰度图像中的所有像素点进行分类，得到灰度类；

包括：

步骤21，设定分类级差Φ，通过式(2)得到灰度图像中所有像素点的灰度类标记，再通过灰度类标记对灰度图像中的所有像素点进行分类；

其中，[]为取整数运算符，即取小于等于运算符内数据的最大整数；Φ为分类级差，Φ≥1；g(p)为像素点p的灰度类标记；I(p)为像素点p的灰度值；0≤I(p)≤255；

步骤22，在灰度图像中，所述灰度类标记相同的像素点属于一个灰度类，统计每个灰度类中的像素数和每个灰度类的灰度均值；

步骤三，将步骤二得到的灰度类进行相似合并，得到合并后的灰度类；

包括：

步骤31，任选两个相邻灰度类，若该两个相邻灰度类的灰度均值的绝对值之差小于Φ时，合并该两个相邻灰度类；

步骤32，重复步骤31，直至任意两个相邻灰度类的灰度均值的绝对值之差大于等于Φ，得到合并后的灰度类，设合并后的灰度类数量为K₁；

步骤四，设筛选阈值为T₁，0≤T₁≤M×N，首次执行循环时循环因子i＝1；

步骤41，任选合并后的灰度类中的一个灰度类作为当前灰度类，若该当前灰度类的像素数小于等于T₁，执行步骤49；否则执行步骤42；

步骤42，通过式(3)获取该当前灰度类的可能车门图Fⁱ：

其中，Fⁱ表示第i个可能车门图，p′为灰度车门图中的任一像素点；Bbⁱ为当前灰度类的灰度均值，T₂为分图阈值，0≤T₂≤255；

步骤43，对Fⁱ进行位置滤波，得到位置滤波后的第i个位置滤波图Eⁱ；

步骤44，当则执行步骤49；当则利用8邻域法对第i个位置滤波图Eⁱ标记出所有的连通区域块；

其中，x′，y′分别为位置滤波图Eⁱ中任一像素点的行号和列号，x′和y′均为整数；表示第i个位置滤波图Eⁱ的第r个连通区域块，r＝1,2,…,Vⁱ，Vⁱ为大于等于1的整数；

步骤45，若r＝1,2,...,Vⁱ且同时满足： 和时，Uⁱ(p″)＝1；否则，Uⁱ(p″)＝0；

其中，表示的最大列宽，表示的最大行高，表示的平均列宽，表示的平均行高；T₃表示行宽阈值，T₄表示行高阈值,0≤T₃≤N，0≤T₄≤M；p″为中的任一像素点；p″的行号和列号分别为x″和y″，Uⁱ为第i个滤波图；

步骤46，若则执行步骤49；否则，对滤波图Uⁱ进行数学形态学开运算，得到开运算图，获取开运算图的矩形比nrⁱ；

步骤47，若nrⁱ≥T₅，通过式(13)得到闭合区比重ncⁱ；否则，执行步骤49；

其中，Rlⁱ表示Qⁱ的中心窗的像素数，Reⁱ表示Qⁱ的外接矩形的像素数,0.7≤T₅≤1.0；

步骤48，若ncⁱ≤T₆，0.2≤T₆≤0.4则检测到车门闭合区；否则，执行步骤49；

步骤49，i＝i+1，若i≤K₁，执行步骤41～48。

进一步地，摄像头安装在公交车车厢顶部的中轴线上且正对后车门的位置，摄像头的中轴线与水平线之间的夹角为θ，65°≤θ≤75°。

相对于现有技术，本发明具有如下的优点：

(1)本发明基于车门间闭合区域的灰度相近特性来检测车门闭合区，以此判定车门的开闭状态，本发明方法能适合所有闭合区颜色相近的车门状态的检测，适用范围广；

(2)本发明具有简单、经济，准确率高等优点。

附图说明

图1为车门图像Z；

图2为灰度车门图I；

图3为可能车门图F¹；

图4为位置滤波图E¹；

图5为滤波图U¹；

图6为开运算图Q¹；

具体实施方式

下面结合后附图和实施例对本发明作进一步说明。

实施例1

本发明提供了一种车门闭合区灰度相近的车门开闭自动检测方法，该方法利用公交车后车门的图像数据检测后车门的关闭状态。后车门摄像头安装在车厢顶部的中心轴线上，正对车门位置，俯角70±5度。车门闭合区是指车门闭合后两扇车门接合处的橡胶密封条所在的区域。

包括以下步骤：

步骤S0：读取车门图像数据。

读取车门位置的视频图像数据，用符号Z表示车门图像，采集的车门图像为RGB彩色图像，大小为M×N，假定车门图像中任一像素点p的坐标为(x,y)，x和y分别表示像素p的行号和列号，x和y均为整数，满足：1≤x≤M,1≤y≤N。像素p的RGB颜色值用符号表示为(R(p),G(p),B(p))，其中R(p)、G(p)和B(p)分别表示像素p的红色(Red,R)分量值、绿色(Green,G)分量值和蓝色(Blue,B)分量值。在本实施例中，采集的车门图像大小为680×389，即M＝680和N＝389。车门图像Z如图1所示。

转入步骤S1。

步骤S1：将车门图像转化为灰度图像

将车门图像进行灰度化处理，得到灰度车门图，用符号I表示，I为0～255级的灰度图像，其计算式如式(1)所示：

I(p)＝α×R(p)+β×G(p)+γ×B(p)(1)

其中，I(p)表示灰度车门图中像素点p的灰度值；α为红色分量系数，β为绿色分量系数，γ为蓝色分量系数，满足：α+β+γ＝1。本实例中α取0.3，β取0.59，γ取0.11。灰度化后的灰度车门图I如图2所示。

转入步骤S2。

步骤S2：基于灰度一致性的灰度类标记

通常，车门闭合区的颜色是一致的，对灰度车门图进行灰度分类，可得到灰度相似的区域，进而遴选出车门闭合区。像素p的灰度类标记计算如式(2)：

其中，[]为取整数运算符，即取小于等于运算符内数据的最大整数；Φ为分类级差，实施例中取Φ＝30；g(p)为像素p的灰度类标记，像素p的灰度值I(p)满足(g(p)·Φ)≤I(p)＜min((g(p)+1)·Φ，255)时，具有相同的灰度类标记。用K表示得到的灰度类总和，显然实施例中灰度类总和

转入步骤S3。

步骤S3：灰度类特征属性值。

用灰度类的均值和像素数来表征灰度类的特征属性。用j表示灰度类索引,为整数，符号Da^j和Db^j表示第j个灰度类的像素数和灰度均值。本实施例中，j＝1,2,…,9，所有灰度类的像素数和灰度均值如表1所示。

表1灰度类的像素数(Da^j)和灰度均值(Db^j)

转入步骤S4。

步骤S4：合并相似的灰度类

当任意两个相邻灰度类的灰度均值的绝对差小于Φ时，将其合并为一个灰度类，并重新计算合并后的灰度类的均值和像素数，直到合并完所有满足条件的相邻灰度类，使得任意两个相邻灰度类的灰度均值的绝对值之差大于等于Φ。执行合并处理后，灰度类索引用t表示，t为整数，连续编号，此时1≤t≤K₁，K₁为合并后的灰度类总数，有K₁≤K。合并后第t个灰度类的像素数和灰度均值用符号Ba^t和Bb^t表示。本实施例中合并后K₁＝5，即此时，合并后的灰度段像素数和灰度均值如表2所示。

表2合并后的灰度类像素数(Ba^t)和灰度均值(Bb^t)

转入步骤S5。

步骤S5：若第t个灰度类的像素数Ba^t≤T₁，转入步骤S17；否则，转入步骤S6。

T₁为筛选阈值，取值范围为0～M×N，本实施例中，T₁＝0.1×M×N＝26452。

步骤S6：构建可能闭合区。

根据车门闭合区颜色的一致性，对各灰度类均值进行处理以提取可能的车门闭合区。第一次执行步骤S6时，i＝1；后续循环执行S6时，i＝i+1。通过式(3)提取与该灰度类对应的可能车门图Fⁱ：

其中，Fⁱ表示第i个可能车门图，为二值图，p′为Fⁱ中任一像素点，Fⁱ(p′)＝1表示像素点p′为可能车门闭合区的像素点，Fⁱ(p′)＝0表示像素点p′为非车门闭合区的像素点，i表示车门图的索引，它连续编号，且为整数；K₂表示可能车门图的总数，1≤i≤K₂。T₂为分图阈值，取值范围为0～255。

本实施例中，K₂＝4；取T₂＝20，可能车门图Fⁱ(i＝1)如图3所示。

转入步骤S7。

步骤S7：位置滤波。

采集的车门区要求尽量在图像的中间位置，因而图像的中心窗以外的区域不可能是车门区。中心窗定义为[0.2·M]行至[0.8·M]行和[0.2·N]列至[0.8·N]列组成的中心矩形区。对步骤S6中得到的可能车门图进行位置滤波，滤波后得到位置滤波图Eⁱ，如图4所示。

其中，Eⁱ表示第i个可能车门图对应的位置滤波图，其为二值图；x′，y′分别为位置滤波图Eⁱ中任一像素点的行号和列号，x′和y′均为整数；Eⁱ(x′,y′)＝1表示像素点(x′,y′)为可能车门闭合区的像素点，Eⁱ(x′,y′)＝0表示像素点(x′,y′)为非车门闭合区的像素点。

转入步骤S8。

步骤S8：当说明位置滤波图Eⁱ无连通块，转入步骤S17；当时，用8邻域法标记出连通区域块，转入步骤S9。

用表示第i个位置滤波图Eⁱ的第r个连通块，用r表示连通块索引，若连通块总数为Vⁱ(Vⁱ为大于等于1的整数)，有r＝1,2,…,Vⁱ。

步骤S9：计算连通块的形状特征参数。

车门闭合区外观呈现具有一定宽度和长度的矩形块，故那些很窄的连通块不可能是车门闭合区应被去除。本发明方法选定连通块最大列宽、最大行高、平均行高和平均列宽作为连通块的形状特征参数。用Y_r ⁱ表示第i个位置滤波图的第r个连通块的最大列宽；表示连通块的最大行高；分别用和表示连通块的平均列宽和平均行高，四个形状特征参数的计算式如(5～8)所示。

其中，和表示连通块的首行和尾行，和表示连通块E_r ⁱ的首列和尾列。

转入步骤S10。

步骤S10：形状滤波处理。

根据形状特征参数值进行滤波，可以去除列宽过小或行高过小的连通块。对位置滤波图Eⁱ执行形状滤波处理后得到滤波图Uⁱ，计算式如(9)所示。

其中，T₃表示行宽阈值，取值范围为0～N，T₄表示行高阈值，取值范围为0～M；p″为中的任一像素点；p″的行号和列号分别为x″和y″，Uⁱ为第i个滤波图；

用表示第i个滤波图Uⁱ的第r个连通块，用r表示连通块索引；

本实例中，取T₃＝[0.1×N]＝38，T₄＝[0.2×M]＝136。实施中得到的滤波图U¹如图5所示。

转入步骤S11。

步骤S11：若转入步骤S17；否则，转入步骤S12。

步骤S12：对滤波图Uⁱ(步骤S10得到)进行数学形态学开运算，以消除滤波图Uⁱ中的毛刺，得到开运算图Qⁱ，其计算式如(10)所示：

其中，Se为结构元素，通常取：3×3～21×21的正方形结构元素,本实例中Se取7×7的正方形结构元素；·表示形态学开运算，Uⁱ·Se表示滤波图Uⁱ被结构算子Se进行开运算操作,表示膨胀运算；表示腐蚀运算。

本实施例中，开运算图Q¹如图6所示。

转入步骤S13。

步骤S13：计算矩形比。

用Ruⁱ表示开运算图Qⁱ的像素数，其计算式如式(11)。用Reⁱ表示Qⁱ的外接矩形的像素数，矩形比nrⁱ的计算式如(12)所示。

其中，(x″′,y″′)表示开运算图Qⁱ中的任一像素点；

本实施例中，Ru¹＝8681，Re¹＝10298，得：nr¹＝0.84。

转入步骤S14。

步骤S14：若nrⁱ≥T₅，转入步骤S15；否则，转入步骤S17。T₅为矩形比阈值，取值一般为0.7～1.0。

本实施例中取T₅＝0.8。

步骤S15：计算闭合区比重。用Rlⁱ表示中心窗的像素数，ncⁱ表示闭合区比重，其计算式如(13)所示。

由步骤S7可知：Rlⁱ＝([0.8·M]-[0.2·M]+1)·([0.8·N]-[0.2·N]+1)＝96115。实施例中计算得nc¹＝0.11。

转入步骤S16。

步骤S16：闭合区比重滤波。若ncⁱ≤T₆，表示检测到车门闭合区，故判定车门处于为“关闭”状态，转入步骤S18；否则，转入步骤S17。T₆为闭合区比重阈值，取值一般为0.2～0.4。

本实施例中取T₆＝0.3，nc¹<T₆，表示检测到车门闭合区，此时判定车门处于为“关闭”状态。

步骤S17：迭代执行t＝t+1。若t≤K₁，转入步骤S5；否则，认为没有检测到车门闭合区，判定车门为“开启”状态，转入步骤S18。

步骤S18：算法结束。

按照以上发明的技术方案，采集车辆行驶中的车门的视频图像数据，利用本发明的检测方法，可自动检测车辆车门处于的开启或关闭状态。

从运行时间和检测精度两方面，说明本发明方案的优缺点。

(1)运行时间。选取6段共计10小时的公交视频流数据，视频帧采样频率为每5秒采集1帧，在Intel I3M350处理器，4GB内存的计算机，利用MATLAB软件进行仿真，平均每帧运行耗时1.28s，与图像帧采集频率相比，本发明方法处理速度快，可应用于实时处理系统中。

(2)检测精度。用W_r表示被正确检测的帧数，W表示检测的总帧数，η表示正确率，选定正确率作为本发明的检测精度的评价指标，争取率越高，本发明的检测精度越高。正确率计算式如下：

测试视频流计算得算法的正确率为92.4％，说明方法检测精度高、鲁棒性好。

Claims (2)

1.一种车门闭合区灰度相近的车门开闭自动检测方法，该方法通过安装在公交车后车门顶部的摄像头采集彩色车门图像，其特征在于，包括以下步骤：

步骤一，将彩色车门图像转化为灰度图像；

设彩色车门图像的大小为M×N，彩色车门图像中任一像素点p的坐标为(x,y)，x和y分别表示像素点p的行号和列号，x和y均为整数，1≤x≤M,1≤y≤N；

步骤二，对灰度图像中的所有像素点进行分类，得到灰度类；

包括：

步骤21，设定分类级差Φ，通过式(2)得到灰度图像中所有像素点的灰度类标记，再通过灰度类标记对灰度图像中的所有像素点进行分类；

其中，[]为取整数运算符，即取小于等于运算符内数据的最大整数；Φ为分类级差，Φ≥1；g(p)为像素点p的灰度类标记；I(p)为像素点p的灰度值；0≤I(p)≤255；

步骤22，在灰度图像中，所述灰度类标记相同的像素点属于一个灰度类，统计每个灰度类中的像素数和每个灰度类的灰度均值；

步骤三，将步骤二得到的灰度类进行相似合并，得到合并后的灰度类；

包括：

步骤31，任选两个相邻灰度类，若该两个相邻灰度类的灰度均值的绝对值之差小于Φ时，合并该两个相邻灰度类；

步骤32，重复步骤31，直至任意两个相邻灰度类的灰度均值的绝对值之差大于等于Φ，得到合并后的灰度类，设合并后的灰度类数量为K₁；

步骤四，设筛选阈值为T₁，0≤T₁≤M×N，首次执行循环时循环因子i＝1；

步骤41，任选合并后的灰度类中的一个灰度类作为当前灰度类，若该当前灰度类的像素数小于等于T₁，执行步骤49；否则执行步骤42；

步骤42，通过式(3)获取该当前灰度类的可能车门图Fⁱ：

其中，Fⁱ表示第i个可能车门图，p′为灰度车门图中的任一像素点；Bbⁱ为当前灰度类的灰度均值，T₂为分图阈值，0≤T₂≤255；

步骤43，对Fⁱ进行位置滤波，得到位置滤波后的第i个位置滤波图Eⁱ；

步骤44，当则执行步骤49；当则利用8邻域法对第i个位置滤波图Eⁱ标记出所有的连通区域块；

其中，x′，y′分别为位置滤波图Eⁱ中任一像素点的行号和列号，x′和y′均为整数；表示第i个位置滤波图Eⁱ的第r个连通区域块，其中r为大于等于1的整数；

步骤45，若其中r为大于等于1的整数， 和时，Uⁱ(p″)＝1；否则，Uⁱ(p″)＝0；

其中，表示的最大列宽，表示的最大行高，表示的平均列宽，表示的平均行高；T₃表示行宽阈值，T₄表示行高阈值,0≤T₃≤N，0≤T₄≤M；p″为中的任一像素点；p″的行号和列号分别为x″和y″，Uⁱ为第i个滤波图；

步骤46，若则执行步骤49；否则，对滤波图Uⁱ进行数学形态学开运算，得到开运算图，获取开运算图的矩形比nrⁱ；

步骤47，若nrⁱ≥T₅，通过式(13)得到闭合区比重ncⁱ；否则，执行步骤49；

其中，Rlⁱ表示Qⁱ的中心窗的像素数，Reⁱ表示Qⁱ的外接矩形的像素数,T₅为矩形比阈值，0.7≤T₅≤1.0；

步骤48，若ncⁱ≤T₆，T₆为闭合区比重阈值，0.2≤T₆≤0.4则检测到车门闭合区；否则，执行步骤49；

步骤49，i＝i+1，若i≤K₁，执行步骤41～48。

2.如权利要求1所述的一种车门闭合区灰度相近的车门开闭自动检测方法，其特征在于，摄像头安装在公交车车厢顶部的中轴线上且正对后车门的位置，摄像头的中轴线与水平线之间的夹角为θ，65°≤θ≤75°。