CN109190577B - 一种结合头枕和人脸特征的出租车副驾座异常的图像信号检测方法 - Google Patents

Abstract

本发明提供的一种结合头枕和人脸特征的出租车副驾座异常的图像信号检测方法，通过车载摄像头对采集的副驾驶图像进行处理，然后在对处理后的图像进行检测，当图像上检测到有头枕时，认为无乘客乘坐，且信号正常，反之对图像进行人脸检测，当检测到人脸时认为信号正常，当检测不到人脸时，此时认为信号不正常，本发明不仅能检测出图像信号的正常或异常状态，还能自动判定车内副驾座的乘坐状态，有利于管理部门监管车辆的运营和调度；同时，本发明的检测准确率高，可达89％，与城市出租车监控调度系统相结合，可以实现对出租车摄像头异常的检测，大大降低了出租车的维护成本。

Description

一种结合头枕和人脸特征的出租车副驾座异常的图像信号检 测方法

技术领域

本发明属于图像处理技术领域，具体涉及一种结合头枕和人脸特征的出租车副驾座异常的图像信号检测方法。

背景技术

随着机器视觉技术的快速发展，国内许多城市都通过出租车副驾驶位置安装摄像头来实时监控出租车运营情况，利用车载摄像头采集车内的视频图像数据，当图像信号正常被采集时，可以对出租的运营过程实施全程监督和管理。但是出租车在运营过程中，车载摄像头会受到颠簸、人为遮挡等干扰，导致无法正常采集图像数据或采集的图像异常时，就需要对摄像头拍摄的图像进行甄别，及时将异常图像检测出来，提醒驾驶员或出租车管理人员及时修复车载摄像头，以保证获取到正常的图像数据，这对于监管部门快速、准确地掌握出租车内的情况，并及时调整摄像头处于正确的拍摄位置具有重要的现实意义。出租车副驾座的异常图像信号包括：图像传输故障、图像画面不完整和图像严重偏转等。目前基于车内静态特征的图像信号异常检测，车顶静态特征比较单一，当场景变复杂时算法鲁棒性会明显降低。基于此，亟待提出一种鲁棒的出租车副驾座(异常)图像信号检测方法。

发明内容

本发明的目的在于提供一种结合头枕和人脸特征的出租车副驾座异常的图像信号检测方法，解决了现有的车载摄像头会受到干扰导致其无法采集图像数据或采集的图像异常，进而导致无法对出租车的运营过程实施全程监督和管理。

为了达到上述目的，本发明采用的技术方案是：

本发明提供的一种结合头枕和人脸特征的出租车副驾座异常的图像信号检测方法，包括以下步骤：

步骤1，通过摄像头采集出租车副驾座的图像，得到图像f₁，图像f₁的大小为M₁×N₁；

步骤2，将步骤1中所采集到的图像f₁的左下角进行裁剪得到矩形区域的裁剪图像f；

步骤3，对步骤2中所得到的裁剪图像f进行灰度化处理，得到灰度图像I；

步骤4，对步骤3中所得到的灰度图像I进行检测，当检测到副驾驶座上有头枕时，则认为没有乘客乘坐，进入步骤6；反之，进入步骤5；

步骤5，结合人脸特征对灰度图像I进行人脸检测和筛查，当检测到有乘客时，则图像信号正常，转入步骤6；否则转入步骤7；

步骤6，数据采集正常；

步骤7，数据采集异常。

优选地，步骤2中，裁剪图像f为图像f₁左下角第[0.4M₁]行到第M₁行、第1列到第[0.6N₁]列的矩形区域，其中，[]为四舍五入取整运算。

优选地，步骤4中，对灰度图像I进行检测的具体方法是：

步骤a，设定灰度图像I的灰度均值为初始基准阈值Tb₁；

步骤b，由式(2)建立初始区间阈值Tq_i,j(i＝1,j＝1)：

其中，j表示区间阈值的迭代变量；C₁为低暗图像阈值，当Tb₁小于等于C₁时，则为低暗图像；C₂为人眼亮度差异的区分阈值；α₁为系数，α₁＝0.2-0.3；

步骤c,根据初始基准阈值Tb₁和初始区间阈值Tq_1,1对灰度图像I进行分割，得到分割图F_i,j；

步骤d，对得到的分割图F_i,j进行图像的形态学处理，得到形态学处理图D_i,j；

步骤e，去除形态学处理图D_i,j中尺寸异常的区域块，得到联通图L_i,j；

步骤f，设定连通图L_i,j中有n个连通块，计算第k个连通区域的矩形度R_k；

步骤g，若L_i,j存在任一连通块k满足R_k≥α₄时，则令fl＝1，表示检出了头枕，转入步骤6；否则，转入步骤h；其中，α₄＝0.7-1.0；

步骤h，若(Tq_i,j+Tq_i,1)≤Tb_i，利用式(5)更新区间阈值Tq_i,j，之后转入步骤c；否则，转入步骤i：

Tq_i,j+1＝Tq_i,j+Tq_i,1 (5)

步骤i，若

更新迭代次数：i＝i+1和j＝1，分别由式(6)和(7)更新基准阈值和区间阈值，之后转入步骤c；否则，转入步骤5：

优选地，步骤c中，由式(3)结合基准阈值Tb_i和初始区间阈值Tq_i,j对灰度图像I进行分割：

优选地，步骤e中，去除形态学处理图D_i,j中尺寸异常的区域块的具体方法是：

将形态学处理图D_i,j中，尺寸介于闭区间[α₂,α₃]·MN的连通区域块作为联通图L_i,j，其中，α₂和α₃为尺寸限定阈值，取值分别为α₂＝0.05-0.1和α₃＝0.4-0.5。

优选地，步骤f中，第k个连通区域的矩形度R_k的计算式如下：

其中，R_k表示L_i,j中的连通块k的矩形度；Aw_k表示连通区域k的外接矩形的面积；A_k表示连通区域k的面积。

与现有技术相比，本发明的有益效果是：

本发明提供的一种结合头枕和人脸特征的出租车副驾座异常的图像信号检测方法，出租车车载摄像头在运营过程中会受到颠簸、人为遮挡等干扰，导致无法正常采集图像数据或采集的图像异常；本发明基于头枕的颜色和形状特征，对图像信号进行检测，当检测到头枕时，认为图像信号正常且副驾座无人乘坐；当未检测到头枕时，进一步执行乘客的人脸检测，当检测到人脸时，认为图像正常且副驾座有人乘坐；当头枕和人脸均未检测到时，认为图像异常，向管理中心警报提示“异常”；本发明不仅能检测出图像信号的正常或异常状态，还能自动判定车内副驾座的乘坐状态，有利于管理部门监管车辆的运营和调度。

本发明能自动的检测出租车车载摄像头的工作状态，检测准确率高，可达89％，与城市出租车监控调度系统相结合，可以实现对出租车摄像头异常的检测，大大降低了出租车的维护成本。

附图说明

图1是出租车副驾座图像f₁；

图2是裁剪图像f；

图3是灰度图像I；

图4是分割图F_1,1；

图5是形态学处理图D_1,1；

图6是分割图F_5,6；

图7是形态学处理图D_5,6；

图8是联通图L_5,6。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。

当出租车视频系统采集到正常图像信号时，副驾座位置处于画面的左下角区域，当检测出副驾座位置有头枕时，认为图像信号正常且无人乘坐；当未检出头枕时进一步进行人脸检测，当检出人脸时，认为图像信号正常且有乘客乘坐；当头枕和乘客均未检出时，认为图像信号发生了异常，报警提示。经过观察不难发现，出租车副驾驶座椅头枕具有明显的形状和颜色特征，形状近似为矩形，颜色为白色。因此，通过对副驾驶座椅的头枕检测，可以实现对出租车内摄像头工作的状态进行检测，进而执行后续的处理。

本实施例的具体实施步骤如下：

步骤S0，出租车内图像采集：通过安装在出租车内副驾驶位置前方控制面板的摄像头，采集出租车副驾座图像f₁，图像大小为M₁×N₁，本实施例中采集到的图像f₁如图1所示，大小为M₁＝288和N₁＝352。

步骤S1，选定处理区：在步骤S0中所采集到的出租车副驾座图像f₁的左下角裁剪大小第[0.4M₁]行到第M₁行、第1列到第[0.6N₁]列的矩形区域，得到裁剪图像f，其中，[]为四舍五入取整运算。本实施例中，选定第115行到288行，第1列到第211列的矩形区域为裁剪图像f，其图像大小为M×N。本实施例中，M＝0.6M₁,N＝0.6N₁，如图2所示。

步骤S2，灰度化处理：灰度化处理可以将彩色图像变成灰度图像，大大降低发明的运算量。对步骤S1中所得到的裁剪图像f进行灰度化处理，得到灰度图像I。本实施例中，灰度化处理过程如式(1)所示。

I(x,y)＝0.3×R(x,y)+0.59×G(x,y)+0.11×B(x,y) (1)

其中，R(x,y)表示裁剪图像f中像素(x,y)的R分量值；G(x,y)表示裁剪图像f中像素(x,y)的G分量值；B(x,y)表示裁剪图像f中像素(x,y)的B分量值；I(x,y)表示灰度图像I中像素的(x,y)灰度值，x,y满足1≤x≤M,1≤y≤N；M,N分别表示灰度图像I的大小。灰度图像I如图3所示。

步骤S3，初始基准阈值的确定：基准阈值用于表示图像采集的环境亮度，其值会随基准阈值迭代变量i而改变，当i＝1时为第1次迭代，其对应的基准阈值称为初始基准阈值，记为Tb₁，即Tb_i(i＝1)。初始基准阈值取值为灰度图像I的灰度均值，本实施例可得：Tb₁＝117.9。继续循环时Tb_i更新如式(7)，本实施例可得：Tb₅＝87。

步骤S4，初始区间阈值的确定：基准阈值和区间阈值组成双层阈值，用于灰度图像I的分割处理。不同灰度背景下，人眼所能区分的灰度差异是不一样的，基于基准阈值建立不同灰度背景下的区间阈值，用于区分灰度差异区域。将图像灰度分为低暗和正常两种，初始区间阈值Tq_i,j(i＝1,j＝1)，即：Tq_1,1，计算过程如式(2)所示。

其中，j表示区间阈值的迭代变量；C₁为低暗图像阈值，当Tb₁小于C₁时，认为低暗图像，对于255的灰度图像，C₁＝40-50，本实施例中，C₁＝40；C₂为人眼亮度差异的区分阈值，C₂取值通常为10-30，实施例中C₂取值为15；α₁为系数，取值一般为0.2-0.3，实施例中α₁取值为0.2。本实施例中，Tq_1,1＝15。当继续循环时，与Tb₅＝87对应的Tq_5,6＝75。

步骤S5，基于双层阈值的图像分割。基于基准阈值和区间阈值确定的分割上下限，对灰度图像I进行分割，得到分割图F_i,j。

实施例中，F_1,1和F_5,6如图4和图6所示。

步骤S6，形态学开闭运算：

对得到的分割图F_i,j，利用5×5的矩形结构算子进行图像的形态学处理，可以去除分割图中的零星区域和填补小空洞，最终得到形态学处理图D_i,j。实施例中，形态学处理图D_1,1和D_5,6如图5和图7所示。

步骤S7，去除尺寸异常的区域块：

以大小的M×N裁剪图像f为参考，进一步去除形态学处理图D_i,j中尺寸(像素面积)过小或过大的连通区域，即仅保留尺寸(面积或像素数)在介于闭区间[α₂,α₃]·MN的连通区域块，得到联通图L_i,j；其中，α₂和α₃为尺寸限定阈值，取值分别为α₂＝0.05-0.1和α₃＝0.4-0.5。联通图L_5,6如图8所示，本实施例中α₂＝0.07和α₃＝0.45。

步骤S8，计算联通区域的矩形度：

定义矩形度为表征头枕区域的形状参数，连通区的矩形度越大则其为头枕的可能性越大，反之亦反。假定连通图L_i,j中有n个连通块，第k个连通区域的矩形度R_k，如式(4)所示。

其中，R_k表示L_i,j中的连通块k的矩形度；Aw_k表示连通区域k的外接矩形的面积(或像素数)；A_k表示连通区域k的面积(或像素数)。联通图L_5,6中的2个连通区域的矩形度分别是0.16585和0.88587。

步骤S9，头枕检出判断：用fl表示头枕检出标记，fl＝1表示检出了头枕，fl＝0表示未检测到头枕，fl初始值置为零。若连通图L_i,j中存在任一连通区k≤n，满足Rk≥α₄时，令fl＝1，转入步骤S15；否则，转入步骤S10。α₄取值通常为0.7-1.0，本实施例中，取α₄＝0.75。本实施例中，由联通图L_5,6中的1个连通区域的矩形度为0.88587，可得f1＝1，转入步骤S15，摄像头采集数据正常。

步骤S10，区间阈值更新判断：若(Tq_i,j+Tq_i,1)≤Tb_i，利用式(5)更新区间阈值，转入步骤S5；否则，转入步骤S11。

Tq_i,j+1＝Tq_i,j+Tq_i,1 (5)

步骤S11，双层阈值更新判断：

若

更新迭代次数：i＝i+1和j＝1，并更新基准阈值和区间阈值，计算式如(6-7)所示，转入步骤S5；否则，转入步骤S12。

步骤S12，人脸检测方法：既有的人脸检测方法很多，利用已有的人脸检测方法对乘客进行检测。当检测到有乘客时，转入步骤S14；否则，转入：步骤S13。

步骤S13，车内摄像头采集数据异常，并“报警”提示出租车驾驶员和监管部门。

步骤S14，车内摄像头采集数据正常。并转入步骤S0开始新的检测。

Claims (6)

1.一种结合头枕和人脸特征的出租车副驾座异常的图像信号检测方法，其特征在于，包括以下步骤：

步骤1，通过摄像头采集出租车副驾座的图像，得到图像f₁，图像f₁的大小为M₁×N₁；

步骤2，将步骤1中所采集到的图像f₁的左下角进行裁剪得到矩形区域的裁剪图像f；

步骤3，对步骤2中所得到的裁剪图像f进行灰度化处理，得到灰度图像I；

步骤4，对步骤3中所得到的灰度图像I进行检测，当检测到副驾驶座上有头枕时，则认为没有乘客乘坐，进入步骤6；反之，进入步骤5；

步骤5，结合人脸特征对灰度图像I进行人脸检测和筛查，当检测到有乘客时，则图像信号正常，转入步骤6；否则转入步骤7；

步骤6，数据采集正常；

步骤7，数据采集异常。

2.根据权利要求1所述的一种结合头枕和人脸特征的出租车副驾座异常的图像信号检测方法，其特征在于，步骤2中，裁剪图像f为图像f₁左下角第[0.4M₁]行到第M₁行、第1列到第[0.6N₁]列的矩形区域，其中，[]为四舍五入取整运算。

3.根据权利要求1所述的一种结合头枕和人脸特征的出租车副驾座异常的图像信号检测方法，其特征在于，步骤4中，对灰度图像I进行检测的具体方法是：

步骤a，设定灰度图像I的灰度均值为基准阈值Tb_i，该基准阈值的初始值为Tb₁，i表示基准阈值的迭代变量；

步骤b，由下式建立区间阈值Tq_i,j，该区间阈值的初始值为Tq_1,1：

其中，j表示区间阈值的迭代变量；C₁为低暗图像阈值，C₁＝(40,50)，当Tb_i小于等于C₁时，则为低暗图像；C₂为人眼亮度差异的区分阈值，C₂＝(10，30)；α₁为系数，α₁＝(0.2，0.3)；

步骤c,根据基准阈值的初始值Tb₁和区间阈值的初始值Tq_1,1对灰度图像I进行分割，得到分割图F_i,j，其中，i表示基准阈值的迭代变量；j表示区间阈值的迭代变量；

步骤d，对得到的分割图F_i,j进行图像的形态学处理，得到形态学处理图D_i,j，其中，i表示基准阈值的迭代变量；j表示区间阈值的迭代变量；

步骤e，去除形态学处理图D_i,j中尺寸异常的区域块，得到联通图L_i,j，其中，i表示基准阈值的迭代变量；j表示区间阈值的迭代变量；

步骤f，设定连通图L_i,j中有n个连通块，计算第k个连通区域的矩形度R_k，其中，i表示基准阈值的迭代变量；j表示区间阈值的迭代变量；

步骤g，若L_i,j存在任一连通块k满足R_k≥α₄时，则令fl＝1，表示检出了头枕，转入步骤6；否则，转入步骤h；其中，α₄＝(0.7，1.0)；fl表示头枕检出标记；

步骤h，若(Tq_i,j+Tq_i,1)≤Tb_i，利用下式更新区间阈值Tq_i,j，之后利用基准阈值的初始值和更新后的区间阈值对灰度图像I进行分割，得到分割图F_i,j，之后转入步骤d；否则，转入步骤i：

Tq_i,j+1＝Tq_i,j+Tq_i,1

其中，Tb_i为基准阈值；Tq_i,j为区间阈值；

步骤i，若

更新迭代次数：i＝i+1和j＝1，分别由下式更新基准阈值和区间阈值，之后利用更新的基准阈值和更新后的区间阈值对灰度图像I进行分割，得到分割图F_i,j，之后转入步骤d；否则，转入步骤5：

4.根据权利要求3所述的一种结合头枕和人脸特征的出租车副驾座异常的图像信号检测方法，其特征在于，由下式结合基准阈值Tb_i和区间阈值Tq_i,j对灰度图像I进行分割：

其中，I(x,y)表示灰度图像I中像素的(x,y)灰度值。

5.根据权利要求3所述的一种结合头枕和人脸特征的出租车副驾座异常的图像信号检测方法，其特征在于，步骤e中，去除形态学处理图D_i,j中尺寸异常的区域块的具体方法是：

将形态学处理图D_i,j中，尺寸介于闭区间[α₂,α₃]·MN的连通区域块作为联通图L_i,j，其中，α₂和α₃为尺寸限定阈值，取值分别为α₂＝(0.05,0.1)和α₃＝(0.4,0.5)；M＝0.6M₁,N＝0.6N₁。

6.根据权利要求3所述的一种结合头枕和人脸特征的出租车副驾座异常的图像信号检测方法，其特征在于，步骤f中，第k个连通区域的矩形度R_k的计算式如下：

其中，R_k表示L_i,j中的连通块k的矩形度；Aw_k表示连通区域k的外接矩形的面积；A_k表示连通区域k的面积。

Images