CN105373779B - 一种车辆安全带智能检测方法及智能检测系统 - Google Patents
一种车辆安全带智能检测方法及智能检测系统 Download PDFInfo
- Publication number
- CN105373779B CN105373779B CN201510763423.3A CN201510763423A CN105373779B CN 105373779 B CN105373779 B CN 105373779B CN 201510763423 A CN201510763423 A CN 201510763423A CN 105373779 B CN105373779 B CN 105373779B
- Authority
- CN
- China
- Prior art keywords
- safety belt
- region
- personal
- picture
- personal region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
Abstract
本发明公开了一种车辆安全带智能检测方法及智能检测系统,本方法包括:检测车内人员,确定每个车内人员的人身区域;对各人身区域内的图像数据进行边缘检测;判断各人身区域内是否均存在平行直线对,如果是,则判定本图片内的车内人员均配带有安全带;如果否,确定出不存在平行直线对的X个人身区域,分别对X个人身区域的图像数据进行滤波,提取评价参数和分类特征矢量;在训练完成的分类器内分别输入X个人身区域对应的分类特征矢量,确定X个人身区域对应的配带结果;判断X个人身区域是否均对应于配带安全带的结果,如果是,则判定本图片内的车内人员均配带安全带。本发明方案准确率高并且有效率高,运行速度快,可以大大降低人工工作量。
Description
技术领域
本发明涉及智能交通数据处理领域,尤其涉及一种车辆安全带智能检测方法及智能检测系统,应用于对监控范围内行驶车辆中驾驶员及乘坐人员是否按规定佩戴安全带进行自动的检测识别。
背景技术
随着社会经济的不断发展和人们生活水平日益提高,越来越多小汽车作为代步工具走入人们的生活。机动车数量的的迅猛增长给交通系统带来巨大的负担,各种违法驾驶行为也此消彼长。根据《中华人民共和国道路交通安全法》第51条之规定:“机动车行驶时,驾驶员、乘车人员应当按照规定使用安全带,摩托车驾驶员及乘坐人员应当按照规定戴安全头盔。”然而,机动车行驶时驾驶员及乘坐人员不按规定佩戴安全带的现象屡见不鲜,这种行为将直接危害到自身及他人的生命财产安全。
目前大多数交警部门在进行安全带检测时都采用人工肉眼判断,而人工判断不但准确性和时效性因人而异,且海量的交通监控数据使得人工检测耗费的人力成本相当巨大。因此如何将安全带检测过程智能化,自动化,高效化成为交警部门的迫切需求。
现存的安全带检测和识别技术还不十分完善,这些安全带检测算法多基于车窗位置,直接进行车窗位置检测或在车牌检测后扩充出车窗位置,然后使用边缘检测、直线检测、机器识别分类等简单的图像处理和识别算法在车窗区域内检测安全带。
这些方法性能和效率还不是很高:首先,基于车窗位置的安全带检测受车窗检测位置的准确性和车窗内物品干扰的影响严重;其次,车窗区域范围较大,在车窗区域内进行机器识别分类算法耗时较高;再次,边缘检测和直线检测对图像拍摄角度和光照情况、驾驶员衣物颜色、配饰等十分敏感;最后,由于成像质量和光照原因,少部分图像肉眼都无法区分是否佩戴安全带,目前的算法均未对这部分图像进行处理,这些图像将被判为未系直接影响到最终的有效率。这几方面都将严重影响最终检测结果的准确率、有效率和检测效率。
发明内容
针对现存安全带检测技术的不足,提出了一种车辆安全带智能检测方法及智能检测系统,解决现有技术中车辆安全带检测效率不高的问题。
本发明提供了一种车辆安全带智能检测方法,所述的方法包括以下步骤:
步骤S1,读入待判断安全带佩戴情况的图片;
步骤S2,根据图片的图像数据检测车内人员,确定每个车内人员的人身区域;
步骤S3,对各人身区域内的图像数据进行边缘检测;
步骤S4,判断各人身区域内是否均存在平行直线对,如果是,则判定本图片内的车内人员均配带有安全带,本方法结束;如果否,执行步骤S5,
步骤S5,确定出不存在平行直线对的X个人身区域,其中X是大于零的整数;分别对X个人身区域的图像数据进行滤波,提取评价参数和分类特征矢量;
步骤S6,使用配带安全带的正样本和未配带安全带的负样本对分类器进行训练,在训练完成的分类器内分别输入X个人身区域对应的分类特征矢量,确定X个人身区域对应的配带结果;
步骤S7,判断X个人身区域是否均对应于配带安全带的结果,如果是,则判定本图片内的车内人员均配带安全带,本方法结束;如果否,执行步骤S8;
步骤S8,确定对应于未配带安全带的结果的Y个人身区域,Y为等于或小于X的整数,判断此Y个人身区域中是否存在至少一个人身区域对应的评价参数超过相应的阈值,如果是,确定此图片为无效图片,针对此图片不作安全带配带的判断,方法结束;如果否,判定本图片内有车内人员未配带安全带,方法结束。
上述方法还可以具有以下特点:
所述步骤S2具体包括:
选择多个人身区域样本,计算人身区域样本的梯度方向直方图,训练分类器,得到训练完成的梯度模型,使用此梯度模型对所述图片中的人身区域进行检测,根据人身区域中主部件的匹配程度以及子部件的匹配程度,确定整体匹配程度和形变最优的区域为所述图片中的人身区域,其中主部件为头部,子部件为上半身,或者,主部件为头部,子部件为两臂和躯干。
上述方法还可以具有以下特点:
所述步骤S2具体包括:
向神经网络输入人身区域图像样本数据,用于非监督学习训练第一层图像特征;
将第一层的输出特征作为第二层的输入,训练第二层特征,依此类推,直到最后一层特征学习完毕;
用人工标记的人身掩膜对所述神经网络进行有监督微调;
用已训练好的神经网络对所述图片的图像数据进行图像分割,得到车内人员所在的人身区域。
上述方法还可以具有以下特点:
所述步骤S2和S3之间还包括对车内人员所在的人身区域的图像数据进行图像增强的步骤。
上述方法还可以具有以下特点:
所述步骤S3具体包括:
使用滤波算子对人身区域的数据进行平滑滤波;
计算滤波后的图像数据-30度方向和30度方向的梯度方向和幅值;
抑制梯度图中非局部极值点的像素,去掉梯度方向不满足安全带方向的极值点;
根据高低阈值确定边缘点;
去除图像本身和图像增强引起的图像孤立噪声并且将处于同一条直线上的短线段连接成长直线。
上述方法还可以具有以下特点:
所述步骤S5中提取分类特征矢量的方法包括:
计算人身区域中每个像素的梯度幅值和方向,获得车内人员的轮廓信息;
将人身区域划分成大小相等的胞元,为每个胞元构建梯度方向直方图;
把胞元组合成块,在组合后的块内归一化梯度直方图;
将人身区域中所有重叠的块进行特征整合,得到最终的特征向量。
上述方法还可以具有以下特点:
所述步骤S5中提取分类特征矢量的方法包括:
将人身区域划分为大小相等的胞元,对每个胞元中的每个像素点,将所述像素点与此所述像素点的环形邻域内的至少一个像素点进行顺时针或逆时针的比较,如果所述像素的像素值比该所述像素点的环形邻域内的像素点的像素值大,则将所述像素的环形邻域内的像素点赋值为1,否则赋值为0;
计算处理后的每个胞元的直方图,对该直方图进行归一化;
将每个胞元的统计直方图进行连接,最终得到整个人身区域的特征向量。
上述方法还可以具有以下特点:
所述步骤S5中,对X个人身区域的图像数据进行滤波的具体方法包括:高斯滤波、中值滤波、均值滤波、双边滤波、引导滤波。
上述方法还可以具有以下特点:
所述评价参数包括:第一评价参数、第二评价参数、第三评价参数;
第一评价参数的计算公式为:
第二评价参数的计算公式为:
第三评价参数的计算公式为:其中
其中i为像素的横坐标标识,j为像素的纵坐标标识,I为灰度值,M为人身区域对应的矩形的横坐标中像素的个数,N为人身区域对应的矩形的纵坐标中像素的个数,ln为对数函数。
本发明提供了一种车辆安全带智能检测系统,包括:
读取模块,用于读入待判断安全带佩戴情况的图片;
位置检测模块,根据图片的图像数据检测车内人员,确定每个车内人员的人身区域;
边缘检测模块,对各人身区域内的图像数据进行边缘检测;
第一判定模块,判断各人身区域内是否均存在平行直线对,如果是,则判定本图片内的车内人员均配带有安全带;如果否,则确定出不存在平行直线对的X个人身区域,其中X是大于零的整数;
配带结果检测模块,分别对X个不存在平行直线对的人身区域的图像数据进行滤波,提取评价参数和分类特征矢量;使用配带安全带的正样本和未配带安全带的负样本对分类器进行训练,在训练完成的分类器内分别输入X个人身区域对应的分类特征矢量,确定X个人身区域对应的配带结果;
第二判定模块,判断X个人身区域是否均对应于配带安全带的结果,如果是,则判定本图片内的车内人员均配带安全带;如果否,确定对应于未配带安全带的结果的Y个人身区域,Y为等于或小于X的整数,判断此Y个人身区域中是否存在至少一个人身区域对应的评价参数超过相应的阈值,如果是,确定此图片为无效图片,针对此图片不作安全带配带的判断;如果否,判定本图片内有车内人员未配带安全带。
本发明采用图像处理和机器识别特征分类相结合的技术,通过机器识别定位人身位置,在人身位置用图像处理技术进行相关预处理,用特征分类的方法判断是否佩戴安全带,去除图片模糊级别达到肉眼无法判断程度的图片,达到了算法运行稳定、准确率高并且有效率高、运行速度快、适应各种图片成像质量和各种图像分辨率的效果,在有效率和适用范围上均具有优势,并且在交警部门判罚机动车驾驶员和乘坐人员未按规定佩戴安全带的违法行为时具有实际应用意义。在实际交警部门使用时,警务人员只需对判为未系安全带的图片进行简单筛选即可,大大降低了人工工作量。
与现有技术相比较的优点在于:
1、基于驾驶员和乘坐人员人身位置进行安全带检测,避免了一般基于车窗位置的安全带检测算法的感兴趣区域大、区域不准确、干扰因素多的缺点,提高了检测准确率;
2、通过检测副驾驶位置人身,能够对副驾驶位置是否有乘坐人员进行判断,便于筛选出副驾驶有乘坐人员且未佩戴安全带的图片,克服了基于人脸检测判断副驾驶是否有人的算法在人脸被遮阳板或年检标等遮挡时算法失效的缺点;
3、综合使用了图像处理技术和机器识别技术在驾驶员和乘坐人员人身位置进行安全带检测,这两种方法的综合应用,扬长避短,即解决了图像处理技术的对图像成像质量、图像拍摄角度及光照等敏感的缺点,又解决了机器识别进行特征分类时耗时较多的缺点。
4、加入对判为未系图片的感兴趣区域进行图像评价参数筛选,去除肉眼无法判断的图片,避免这部分无法判断的图像进入最终判罚图片中,有效提高整体准确率和有效率。
附图说明
图1为本发明中车辆安全带智能检测方法的流程图;
图2(a)为本发明方法中提取到的驾驶员人身区域示意图;
图2(b)为本发明方法中增强后的驾驶员人身区域示意图;
图2(c)为本发明方法中边缘检测后的驾驶员人身区域示意图;
图2(d)为本发明方法中提取到的平行直线对示意图;
图2(e)为本发明方法中图像滤波后的示意图;
图2(f)为本发明方法中分类器训练样本正样本示意图;
图2(g)为本发明方法中分类器训练样本负样本示意图;
图2(h)为本发明方法中滑动分块方式示意图;
图2(i)为本发明方法中成像质量差图片示意图;
图3为本发明中车辆安全带智能检测系统的结构图。
具体实施例
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。
图1是车辆安全带智能检测方法的流程图,本方法包括以下步骤:
步骤S1,读入待判断安全带佩戴情况的图片。
步骤S2,根据图片的图像数据检测车内人员,确定每个车内人员的人身区域。
步骤S3,对各人身区域内的图像数据进行边缘检测。
步骤S4,判断各人身区域内是否均存在平行直线对,如果是,则判定本图片内的车内人员均配带有安全带,本方法结束;如果否,则确定出不存在平行直线对的X个人身区域,执行步骤S5,其中X是大于零的整数。
步骤S5,确定出不存在平行直线对的X个人身区域,其中X是大于零的整数;分别对X个人身区域的图像数据进行滤波,提取评价参数和分类特征矢量。
步骤S6,使用配带安全带的正样本和未配带安全带的负样本对分类器进行训练,在训练完成的分类器内分别输入X个人身区域对应的分类特征矢量,确定X个人身区域对应的配带结果。
步骤S7,判断X个人身区域是否均对应于配带安全带的结果,如果是,则判定本图片内的车内人员均配带安全带,本方法结束;如果否,执行步骤S8。
步骤S8,确定对应于未配带安全带的结果的Y个人身区域,Y为等于或小于X的整数,判断此Y个人身区域中是否存在至少一个人身区域对应的评价参数超过相应的阈值,如果是,确定此图片为无效图片,针对此图片不作安全带配带的判断,方法结束;如果否,判定本图片内有车内人员未配带安全带,方法结束。
下面对上述方法进行详细说明。
步骤S1中的读入的图片一般为摄像头摄取到的实时图片。
步骤S2中确定出的车内人员的人身区域为一个矩形区域,如图2(a)所示。假设检测到人身区域宽为W个像素,高为H个像素,(x,y)为图像上点的坐标,0≤x≤W-1,0≤y≤H-1,W、H、x、y为非负整数,像素值I(x,y)为0到255之间的整数。
检测人身区域的方法可以采用以下方式中的一种:
第一种方法包括以下步骤:
(1)使用多个人身区域样本训练分类器,计算人身区域样本的梯度方向直方图,训练分类器得到训练完成的梯度模型。模型训练过程中将人身区域看成是由主部件和子部件组成的,主部件为头部,子部件为上半身,或者,主部件为头部,子部件为两臂和躯干,这解决了人身区域遮挡及形变对检测造成的干扰。
(2)使用此梯度模型对图片中的人身区域进行检测,根据人身区域中主部件的匹配程度以及子部件的匹配程度,确定整体匹配程度和形变最优的区域为图片中的人身区域。这种方法检测到的人身区域能精确包含驾驶室内的人身区域,不包含非人干扰区域。
第二种方法中给定一个神经网络,输入人身区域图像,网络中通过分层提取图像的最重要的特征,尽可能的在输出端复现输入图像的信息,具体步骤包括:
(1)向神经网络输入人身区域图像样本数据,用于非监督学习训练第一层图像特征;
(2)将第一层的输出特征作为第二层的输入,训练第二层特征,依此类推,直到最后一层特征学习完毕;
(3)用人工标记的人身掩膜对所述神经网络进行有监督微调;
(4)用已训练好的神经网络对图片的图像数据进行图像分割,得到车内人员所在的人身区域。
本方法的步骤S2和S3之间还可以包括对车内人员所在的人身区域的图像数据进行图像增强的步骤。图像增强的目的主要是提高区域内安全带的边缘信息,增强结果如图2(b)所示,可直接对图像像素用对比度拉伸算法对图像进行增强,具体包括以下步骤:
(1)统计人身区域和安全带区域的灰度区间;
(2)根据统计到的灰度区间构造分段线性拉伸函数,拉伸函数的构造应遵循着重拉伸安全带灰度区间,缩小其他部分的灰度区间的原则;
(3)使用分段线性拉伸函数对人身区域进行对比度拉伸,得到增强后的图像。
也可针对图像直方图按照如下步骤对图像区域进行增强,具体包括以下步骤:
(1)将感兴趣图像区域平均分割为m×n个大小相同的子区域,对于图像尺寸不满足m、n倍数条件的,对图像扩展后再进行分割;
(2)对m×n个子区域分别统计灰度直方图,并对直方图进行限制;
(3)根据限制后的子区域灰度直方图得到新的直方图;
(4)对每个子区域的像素计算变换后的新灰度值,得到增强后的图像。
步骤S3中边缘检测结果如图2(c)所示,具体检测方法包括:
(1)图像预滤波。使用滤波算子对感兴趣区域进行平滑滤波,预滤波可以提高算法运行速度且去除图像增强引入的干扰;
(2)计算滤波后的图像数据-30度方向和30度方向的梯度方向和幅值;
(3)抑制梯度图中非局部极值点的像素,去掉梯度方向不满足安全带方向的极值点;
(4)根据高低阈值确定边缘点;
(5)去除图像本身和图像增强引起的图像孤立噪声并且将处于同一条直线上的短线段连接成长直线。
步骤S4中在上一步骤中提取出的边缘图基础上检测满足安全带条件的平行直线对,提取到的平行直线对示意图如图2(d)所示,若存在这样的平行直线对,则判定为系安全带,否则继续进行后续检测。可使用霍夫变换、概率霍夫变换、radon变换和LSD直线检测算法等,这一步骤的主要目的是将安全带边缘十分明显的图片挑出来,因此阈值参数选取比较严格,只提取边缘图中明显的且中间无较长断点的长直线作为候选直线,避免引入图像纹理对判断结果的干扰。
步骤S5中可将多种滤波方法和多种滤波模板联合使用,最大程度的保留安全带信息同时去除不必要的干扰,可选择的滤波算法如高斯滤波、中值滤波、均值滤波、双边滤波、引导滤波等,滤波之后的图像如图2(e)所示。
步骤S5中评价参数包括:第一评价参数、第二评价参数、第三评价参数;第一评价参数的计算公式为:
第二评价参数的计算公式为:
第三评价参数的计算公式为:其中
其中i为像素的横坐标标识,j为像素的纵坐标标识,I为灰度值,M为人身区域对应的矩形的横坐标中像素的个数,N为人身区域对应的矩形的纵坐标中像素的个数,ln为对数函数。
参数1主要用于判断处理曝光不足、曝光过度类型的图片,
参数2主要用于判断处理模糊图片,
参数3主要用于判断阴影等其他复杂情况的图片。
步骤S6中分类特征矢量指能区分人身区域内是否存在安全带的图像特征,如方向梯度直方图、局部二值模式、尺度不变特征转换等等,也有可能为其他描述图像信息的特征。可按照如下步骤进行提取:
(1)计算人身区域中每个像素的梯度幅值和方向,获得车内人员的轮廓信息。具体参数如下:水平梯度Gi(i,j)=H(i+1,j)-H(i-1,j),垂直梯度Gi(i,j)=H(i,j+1)-H(i,j-1),梯度方向梯度幅值
(b)将人身区域划分成大小相等的胞元,为每个胞元构建梯度方向直方图;
(c)把胞元组合成块,在组合后的块内归一化梯度直方图;
(d)将人身区域中所有重叠的块进行特征整合,得到最终的特征向量。
也可选用如下方法进行提取:
(1)将人身区域划分为大小相等的胞元,对每个胞元中的每个像素点,将所述像素点与所述像素点的环形邻域内的至少一个像素点进行顺时针或逆时针的比较,如果所述像素点的像素值比所述像素点的环形邻域内的像素点的像素值大,则将所述像素的环形邻域内的像素点赋值为1,否则赋值为0;
(2)计算处理后的每个胞元的直方图,对该直方图进行归一化;
(3)将每个胞元的统计直方图进行连接,最终得到整个人身区域的特征向量。
步骤S6中将提取出的特征进行分类的分类器可以是贝叶斯分类器;具体分类的步骤如下:
(1)选取训练样本,训练分类器。训练样本选取人体正面胸前位置,尽量保证安全带在样本图片对角线附近。正样本如图2(f)所示,负样本如图2(g)所示;
(2)在人身区域进行滑动分块,选取H/2为滑动块的宽和高,H/8为滑动步长,去除人身区域左侧和上侧的干扰区域,对每个子块区域分别进行分类,如图2(h)所示;
(3)根据子块的分类结果,给予不同子块不同的权重,对整体图像是否佩戴安全带进行判断。
步骤S8中可以去除曝光不足、曝光过度、模糊、阴影等成像质量非常差的图片,避免成像质量差的图片判断出错对检测结果的影响。成像质量差的图片如图2(i)所示。
如图3所示,与上述方法相对应的车辆安全带智能检测系统包括读取模块、位置检测模块、边缘检测模块、第一判定模块、配带结果检测模块、第二判定模块。
读取模块,用于读入待判断安全带佩戴情况的图片;
位置检测模块,用于根据图片的图像数据检测车内人员,确定每个车内人员的人身区域;
边缘检测模块,用于对各人身区域内的图像数据进行边缘检测;
第一判定模块,用于判断各人身区域内是否均存在平行直线对,如果是,则判定本图片内的车内人员均配带有安全带;如果否,则确定出不存在平行直线对的X个人身区域,其中X是大于零的整数;
配带结果检测模块,用于分别对X个不存在平行直线对的人身区域的图像数据进行滤波,提取评价参数和分类特征矢量;使用配带安全带的正样本和未配带安全带的负样本对分类器进行训练,在训练完成的分类器内分别输入X个人身区域对应的分类特征矢量,确定X个人身区域对应的配带结果;
第二判定模块,用于判断X个人身区域是否均对应于配带安全带的结果,如果是,则判定本图片内的车内人员均配带安全带;如果否,确定对应于未配带安全带的结果的Y个人身区域,Y为等于或小于X的整数,判断此Y个人身区域中是否存在至少一个人身区域对应的评价参数超过相应的阈值,如果是,确定此图片为无效图片,针对此图片不作安全带配带的判断;如果否,判定本图片内有车内人员未配带安全带。
本系统中各模块的具体执行方法与上述方法中详细描述的相关方法相同,此处不再赘述。
具体实施例一:
高速路上的车辆智能监控拍摄到车辆图片,读取图片中图像数据,根据图片的图像数据检测车内人员共有两人即驾驶员和副驾驶员,确定驾驶员的人身区域和副驾驶员的人身区域;对此两个人身区域内的图像数据进行边缘检测,判断此两个人身区域内均存在平行直线对,判定本图片内的车内人员均配带有安全带。
具体实施例二:
高速路上的车辆智能监控拍摄到车辆图片,读取图片中图像数据,根据图片的图像数据检测车内人员共有两人即驾驶员和副驾驶员,确定驾驶员的人身区域和副驾驶员的人身区域;对此两个人身区域内的图像数据进行边缘检测,判断驾驶员的人身区域存在平行直线对而副驾驶员的人身区域不存在平行直线对。对副驾驶员人身区域的图像数据进行滤波,提取评价参数和分类特征矢量,在训练完成的分类器内输入副驾驶员的人身区域对应的分类特征矢量,确定副驾驶员的人身区域对应的配带结果为配带安全带,判定本图片内的车内人员均配带安全带。
具体实施例三:
高速路上的车辆智能监控拍摄到车辆图片,读取图片中图像数据,根据图片的图像数据检测车内人员共有两人即驾驶员和副驾驶员,确定驾驶员的人身区域和副驾驶员的人身区域;对此两个人身区域内的图像数据进行边缘检测,判断副驾驶员的人身区域存在平行直线对而驾驶员的人身区域不存在平行直线对。对驾驶员人身区域的图像数据进行滤波,提取评价参数和分类特征矢量,在训练完成的分类器内输入驾驶员的人身区域对应的分类特征矢量,确定驾驶员的人身区域对应的配带结果为配带安全带,判定本图片内的车内人员均配带安全带。
具体实施例四:
高速路上的车辆智能监控拍摄到车辆图片,读取图片中图像数据,根据图片的图像数据检测车内人员共有两人即驾驶员和副驾驶员,确定驾驶员的人身区域和副驾驶员的人身区域;对此两个人身区域内的图像数据进行边缘检测,判断此两个人身区域均不存在平行直线对。对此两个人身区域内的图像数据进行滤波,提取评价参数和分类特征矢量。在训练完成的分类器内此两个人身区域对应的分类特征矢量,确定驾驶员的人身区域对应的配带结果为配带安全带而副驾驶员的人身区域对应的配带结果为未配带安全带,判断副驾驶员的人身区域中的评价参数未超过相应的阈值,判定本图片内有车内人员未配带安全带。
本发明采用图像处理和机器识别特征分类相结合的技术,通过机器识别定位人身位置,在人身位置用图像处理技术进行相关预处理,用特征分类的方法判断是否佩戴安全带,去除图片模糊级别达到肉眼无法判断程度的图片,达到了算法运行稳定、准确率高并且有效率高、运行速度快、适应各种图片成像质量和各种图像分辨率的效果,在有效率和适用范围上均具有优势,并且在交警部门判罚机动车驾驶员和乘坐人员未按规定佩戴安全带的违法行为时具有实际应用意义。在实际交警部门使用时,警务人员只需对判为未系安全带的图片进行简单筛选即可,大大降低了人工工作量。
与现有技术相比较的优点在于:
1、基于驾驶员和乘坐人员人身位置进行安全带检测,避免了一般基于车窗位置的安全带检测算法的感兴趣区域大、区域不准确、干扰因素多的缺点,提高了检测准确率;
2、通过检测副驾驶位置人身,能够对副驾驶位置是否有乘坐人员进行判断,便于筛选出副驾驶有乘坐人员且未佩戴安全带的图片,克服了基于人脸检测判断副驾驶是否有人的算法在人脸被遮阳板或年检标等遮挡时算法失效的缺点;
3、综合使用了图像处理技术和机器识别技术在驾驶员和乘坐人员人身位置进行安全带检测,这两种方法的综合应用,扬长避短,即解决了图像处理技术的对图像成像质量、图像拍摄角度及光照等敏感的缺点,又解决了机器识别进行特征分类时耗时较多的缺点。
4、加入对判为未系图片的感兴趣区域进行图像评价参数筛选,去除肉眼无法判断的图片,避免这部分无法判断的图像进入最终判罚图片中,有效提高整体准确率和有效率。
此外,需要说明的是,本说明书中所描述的具体实施例,其零、部件的形状、所取名称等可以不同,本说明书中所描述的以上内容仅仅是对本发明结构所作的举例说明。
上面描述的内容可以单独地或者以各种方式组合起来实施,而这些变型方式都在本发明的保护范围之内。
在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案而非限制,仅仅参照较佳实施例对本发明进行了详细说明。本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.一种车辆安全带智能检测方法,其特征在于,所述的方法包括以下步骤:
步骤S1,读入待判断安全带佩戴情况的图片;
步骤S2,根据图片的图像数据检测车内人员,确定每个车内人员的人身区域;
步骤S3,对各人身区域内的图像数据进行边缘检测;
步骤S4,判断各人身区域内是否均存在平行直线对,如果是,则判定本图片内的车内人员均配带有安全带,本方法结束;如果否,执行步骤S5,
步骤S5,确定出不存在平行直线对的X个人身区域,其中X是大于零的整数;分别对X个人身区域的图像数据进行滤波,提取评价参数和分类特征矢量;
步骤S6,使用配带安全带的正样本和未配带安全带的负样本对分类器进行训练,在训练完成的分类器内分别输入X个人身区域对应的分类特征矢量,确定X个人身区域对应的配带结果;
步骤S7,判断X个人身区域是否均对应于配带安全带的结果,如果是,则判定本图片内的车内人员均配带安全带,本方法结束;如果否,执行步骤S8;
步骤S8,确定对应于未配带安全带的结果的Y个人身区域,Y为等于或小于X的整数,判断此Y个人身区域中是否存在至少一个人身区域对应的评价参数超过相应的阈值,如果是,确定此图片为无效图片,针对此图片不作安全带配带的判断,方法结束;如果否,判定本图片内有车内人员未配带安全带,方法结束。
2.如权利要求1所述的一种车辆安全带智能检测方法,其特征在于,
所述步骤S2具体包括:
选择多个人身区域样本,计算人身区域样本的梯度方向直方图,训练分类器,得到训练完成的梯度模型,使用此梯度模型对所述图片中的人身区域进行检测,根据人身区域中主部件的匹配程度以及子部件的匹配程度,确定整体匹配程度和形变最优的区域为所述图片中的人身区域,其中主部件为头部,子部件为上半身,或者,主部件为头部,子部件为两臂和躯干。
3.如权利要求1所述的一种车辆安全带智能检测方法,其特征在于,
所述步骤S2具体包括:
向神经网络输入人身区域图像样本数据,用于非监督学习训练第一层图像特征;
将第一层的输出特征作为第二层的输入,训练第二层特征,依此类推,直到最后一层特征学习完毕;
用人工标记的人身掩膜对所述神经网络进行有监督微调;
用已训练好的神经网络对所述图片的图像数据进行图像分割,得到车内人员所在的人身区域。
4.如权利要求1所述的一种车辆安全带智能检测方法,其特征在于,
所述步骤S2和S3之间还包括对车内人员所在的人身区域的图像数据进行图像增强的步骤。
5.如权利要求1所述的一种车辆安全带智能检测方法,其特征在于,
所述步骤S3具体包括:
使用滤波算子对人身区域的数据进行平滑滤波;
计算滤波后的图像数据-30度方向和30度方向的梯度方向和幅值;
抑制梯度图中非局部极值点的像素,去掉梯度方向不满足安全带方向的极值点;
根据高低阈值确定边缘点;
去除图像本身和图像增强引起的图像孤立噪声并且将处于同一条直线上的短线段连接成长直线。
6.如权利要求1所述的一种车辆安全带智能检测方法,其特征在于,
所述步骤S5中提取分类特征矢量的方法包括:
计算人身区域中每个像素的梯度幅值和方向,获得车内人员的轮廓信息;
将人身区域划分成大小相等的胞元,为每个胞元构建梯度方向直方图;
把胞元组合成块,在组合后的块内归一化梯度直方图;
将人身区域中所有重叠的块进行特征整合,得到最终的特征向量。
7.如权利要求1所述的一种车辆安全带智能检测方法,其特征在于,
所述步骤S5中提取分类特征矢量的方法包括:
将人身区域划分为大小相等的胞元,对每个胞元中的每个像素点,将所述像素点与所述像素点的环形邻域内的至少一像素点进行顺时针或逆时针的比较,如果所述像素点的像素值比所述像素点的环形邻域内的像素点的像素值大,则将所述像素的环形邻域内的像素点赋值为1,否则赋值为0;
计算处理后的每个胞元的直方图,对该直方图进行归一化;
将每个胞元的统计直方图进行连接,最终得到整个人身区域的特征向量。
8.如权利要求1所述的一种车辆安全带智能检测方法,其特征在于,
所述步骤S5中,对X个人身区域的图像数据进行滤波的具体方法包括:高斯滤波、中值滤波、均值滤波、双边滤波、引导滤波。
9.如权利要求1所述的一种车辆安全带智能检测方法,其特征在于,
所述评价参数包括:第一评价参数、第二评价参数、第三评价参数;
第一评价参数的计算公式为:
第二评价参数的计算公式为:
第三评价参数的计算公式为:其中
其中i为像素的横坐标标识,j为像素的纵坐标标识,I为灰度值,M为人身区域对应的矩形的横坐标中像素的个数,N为人身区域对应的矩形的纵坐标中像素的个数,ln为对数函数。
10.一种车辆安全带智能检测系统,其特征在于,包括:
读取模块,用于读入待判断安全带佩戴情况的图片;
位置检测模块,根据图片的图像数据检测车内人员,确定每个车内人员的人身区域;
边缘检测模块,对各人身区域内的图像数据进行边缘检测;
第一判定模块,判断各人身区域内是否均存在平行直线对,如果是,则判定本图片内的车内人员均配带有安全带;如果否,则确定出不存在平行直线对的X个人身区域,其中X是大于零的整数;
配带结果检测模块,分别对X个不存在平行直线对的人身区域的图像数据进行滤波,提取评价参数和分类特征矢量;使用配带安全带的正样本和未配带安全带的负样本对分类器进行训练,在训练完成的分类器内分别输入X个人身区域对应的分类特征矢量,确定X个人身区域对应的配带结果;
第二判定模块,判断X个人身区域是否均对应于配带安全带的结果,如果是,则判定本图片内的车内人员均配带安全带;如果否,确定对应于未配带安全带的结果的Y个人身区域,Y为等于或小于X的整数,判断此Y个人身区域中是否存在至少一个人身区域对应的评价参数超过相应的阈值,如果是,确定此图片为无效图片,针对此图片不作安全带配带的判断;如果否,判定本图片内有车内人员未配带安全带。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510763423.3A CN105373779B (zh) | 2015-11-10 | 2015-11-10 | 一种车辆安全带智能检测方法及智能检测系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510763423.3A CN105373779B (zh) | 2015-11-10 | 2015-11-10 | 一种车辆安全带智能检测方法及智能检测系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105373779A CN105373779A (zh) | 2016-03-02 |
CN105373779B true CN105373779B (zh) | 2018-09-28 |
Family
ID=55375963
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510763423.3A Active CN105373779B (zh) | 2015-11-10 | 2015-11-10 | 一种车辆安全带智能检测方法及智能检测系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105373779B (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106156564B (zh) * | 2016-06-30 | 2021-06-08 | 重庆大学 | 基于智能手机的驾驶员识别方法 |
CN106650567B (zh) * | 2016-08-31 | 2019-12-13 | 东软集团股份有限公司 | 一种安全带检测方法和装置 |
CN106778928B (zh) * | 2016-12-21 | 2020-08-04 | 广州华多网络科技有限公司 | 图像处理方法及装置 |
CN108932453B (zh) * | 2017-05-23 | 2021-04-09 | 杭州海康威视数字技术股份有限公司 | 一种车辆备胎检测方法及装置 |
CN107392313B (zh) * | 2017-06-12 | 2020-09-29 | 五邑大学 | 一种基于深度学习的钢轨识别方法 |
US10339401B2 (en) * | 2017-11-11 | 2019-07-02 | Bendix Commercial Vehicle Systems Llc | System and methods of monitoring driver behavior for vehicular fleet management in a fleet of vehicles using driver-facing imaging device |
CN108241433B (zh) * | 2017-11-27 | 2019-03-12 | 王国辉 | 疲劳度解析平台 |
US10501048B2 (en) | 2018-01-19 | 2019-12-10 | Ford Global Technologies, Llc | Seatbelt buckling detection |
CN110304072A (zh) * | 2018-03-27 | 2019-10-08 | 通用汽车环球科技运作有限责任公司 | 作为安全特征的共享自主车辆的占用检测 |
CN110533056A (zh) * | 2018-05-24 | 2019-12-03 | 广东技术师范学院 | 一种基于计算机视觉的车内安全检测方法 |
CN109635758B (zh) * | 2018-12-18 | 2021-07-09 | 武汉市蓝领英才科技有限公司 | 智慧工地基于视频的高空作业人员安全带穿戴检测方法 |
CN110458093B (zh) * | 2019-08-09 | 2024-04-09 | 径卫视觉科技(上海)有限公司 | 一种基于驾驶员监控系统的安全带检测方法以及相应的设备 |
CN111931642A (zh) * | 2020-08-07 | 2020-11-13 | 上海商汤临港智能科技有限公司 | 一种安全带佩戴检测的方法、装置、电子设备及存储介质 |
CN112235512B (zh) * | 2020-09-16 | 2022-01-14 | 浙江大华技术股份有限公司 | 图像曝光参数调节方法、设备及装置 |
CN112232142A (zh) * | 2020-09-27 | 2021-01-15 | 浙江大华技术股份有限公司 | 一种安全带识别方法、设备及计算机可读存储介质 |
CN114758324A (zh) * | 2020-12-26 | 2022-07-15 | 虹软科技股份有限公司 | 安全带佩戴检测方法、装置、存储介质及处理器 |
US20220203930A1 (en) * | 2020-12-29 | 2022-06-30 | Nvidia Corporation | Restraint device localization |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102915640A (zh) * | 2012-10-30 | 2013-02-06 | 武汉烽火众智数字技术有限责任公司 | 基于Hough变换的安全带检测方法 |
CN103871052A (zh) * | 2014-02-21 | 2014-06-18 | 杭州奥视图像技术有限公司 | 一种基于直线检测的安全带检测算法 |
CN104417489A (zh) * | 2013-08-29 | 2015-03-18 | 同观科技(深圳)有限公司 | 一种汽车安全带检测方法及汽车安全带检测装置 |
CN104417490A (zh) * | 2013-08-29 | 2015-03-18 | 同观科技(深圳)有限公司 | 一种汽车安全带检测方法及装置 |
CN104700066A (zh) * | 2013-12-11 | 2015-06-10 | 杭州海康威视数字技术股份有限公司 | 一种检测驾驶员是否佩戴有安全带的方法和装置 |
-
2015
- 2015-11-10 CN CN201510763423.3A patent/CN105373779B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102915640A (zh) * | 2012-10-30 | 2013-02-06 | 武汉烽火众智数字技术有限责任公司 | 基于Hough变换的安全带检测方法 |
CN104417489A (zh) * | 2013-08-29 | 2015-03-18 | 同观科技(深圳)有限公司 | 一种汽车安全带检测方法及汽车安全带检测装置 |
CN104417490A (zh) * | 2013-08-29 | 2015-03-18 | 同观科技(深圳)有限公司 | 一种汽车安全带检测方法及装置 |
CN104700066A (zh) * | 2013-12-11 | 2015-06-10 | 杭州海康威视数字技术股份有限公司 | 一种检测驾驶员是否佩戴有安全带的方法和装置 |
CN103871052A (zh) * | 2014-02-21 | 2014-06-18 | 杭州奥视图像技术有限公司 | 一种基于直线检测的安全带检测算法 |
Non-Patent Citations (2)
Title |
---|
一种改进的安全带图像特征提取方法的应用;谢腾,穆平安,戴曙光,金晅宏;《信息技术》;20150125(第2015年01期);全文 * |
图像处理与机器学习在未系安全带驾车检测中的应用;吴法;《中国博士学位论文全文数据库》;20140815(第2014年08期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN105373779A (zh) | 2016-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105373779B (zh) | 一种车辆安全带智能检测方法及智能检测系统 | |
CN104657752B (zh) | 一种基于深度学习的安全带佩戴识别方法 | |
CN103198332B (zh) | 一种实时鲁棒的远红外车载行人检测方法 | |
CN102289660B (zh) | 一种基于手部姿态跟踪的违规驾驶行为检测方法 | |
CN103093210B (zh) | 人脸识别中眼镜的鉴别方法及装置 | |
CN104408707B (zh) | 一种快速数字成像模糊鉴别与复原图像质量评估方法 | |
CN104077594B (zh) | 一种图像识别方法和装置 | |
CN104217217B (zh) | 一种基于两层分类的车辆标志物检测方法与系统 | |
CN106250936A (zh) | 基于机器学习的多特征多线程安检违禁品自动识别方法 | |
CN108647708A (zh) | 驾驶员评估方法、装置、设备和存储介质 | |
CN106682586A (zh) | 一种复杂光照条件下基于视觉的实时车道线检测的方法 | |
CN103455820A (zh) | 基于机器视觉技术的车辆检测和跟踪方法及系统 | |
DE102015205309A1 (de) | Stabile Erfassung von Windschutzscheiben über die Lokalisierung von Markierungspunkten | |
CN102855500A (zh) | 一种基于Haar和HoG特征的前车检测方法 | |
CN100561501C (zh) | 一种图像检测方法及装置 | |
CN104424632B (zh) | 一种视频对比度异常检测方法及装置 | |
CN103927548B (zh) | 一种新的避免车辆碰撞的刹车行为检测方法 | |
Kashevnik et al. | Seat belt fastness detection based on image analysis from vehicle in-abin camera | |
CN106548131A (zh) | 一种基于行人检测的施工人员安全帽实时检测方法 | |
CN103778613A (zh) | 一种窗口自适应的极化sar影像滤波方法 | |
CN108009574A (zh) | 一种轨道扣件检测方法 | |
CN102024149B (zh) | 物体检测的方法及层次型物体检测器中分类器的训练方法 | |
CN110120032A (zh) | 基于相对总变差模型与mser的织物毛球等级评价方法 | |
CN113140093A (zh) | 一种基于AdaBoost算法的疲劳驾驶检测方法 | |
CN105138989B (zh) | 一种车辆遮阳板状态检测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 100194, block 3, zone 9, building A, Zhongguancun Software Park, Beijing, Haidian District Applicant after: BEIJING DIGITAL ZHITONG TECHNOLOGY CO., LTD. Address before: 100194, block 3, zone 9, building A, Zhongguancun Software Park, Beijing, Haidian District Applicant before: Beijing Hanwang Intelligent Traffic Technology Co., Ltd. |
|
COR | Change of bibliographic data | ||
GR01 | Patent grant | ||
GR01 | Patent grant |