CN106485224B - 一种安全带佩戴识别方法及装置 - Google Patents

一种安全带佩戴识别方法及装置 Download PDF

Info

Publication number
CN106485224B
CN106485224B CN201610892329.2A CN201610892329A CN106485224B CN 106485224 B CN106485224 B CN 106485224B CN 201610892329 A CN201610892329 A CN 201610892329A CN 106485224 B CN106485224 B CN 106485224B
Authority
CN
China
Prior art keywords
region
image
driver
operator seat
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610892329.2A
Other languages
English (en)
Other versions
CN106485224A (zh
Inventor
谢静
李志国
班华忠
崔凯
王正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing yunshang Zhiwei Technology Co.,Ltd.
Original Assignee
Beijing Zhi Xinyuandong Science And Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhi Xinyuandong Science And Technology Ltd filed Critical Beijing Zhi Xinyuandong Science And Technology Ltd
Priority to CN201610892329.2A priority Critical patent/CN106485224B/zh
Publication of CN106485224A publication Critical patent/CN106485224A/zh
Application granted granted Critical
Publication of CN106485224B publication Critical patent/CN106485224B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种安全带佩戴识别方法，该方法包括：选取标签的样本图像，采用深度卷积神经网络进行训练，获取训练好的安全带佩戴识别模型；获取车牌区域；获取前车窗区域；提取驾驶位区域和副驾驶位区域；检测副驾驶位区域，若副驾驶位区域存在人脸，则转入第六步骤，否则转入第七步骤；利用训练好的安全带佩戴识别模型对副驾驶位区域进行识别，标注出异常佩戴安全带或者未佩戴安全带的区域；利用训练好的安全带佩戴识别模型对驾驶位区域进行识别，标注出异常佩戴安全带或者未佩戴安全带的区域；输出标注区域。本发明能同时识别出驾驶位与副驾驶位的安全带佩戴情况，且识别准确率高。

Description

一种安全带佩戴识别方法及装置
技术领域
本发明涉及图像处理、视频监控以及安防，特别涉及安全带佩戴识别的方法及装置。
背景技术
每年有超过120万人死于机动车事故，相当比例的交通事故中，当驾驶员佩戴安全带时，造成的人员伤亡明显减轻。目前，世界上大多数国家都通过法律强制要求驾驶位及副驾驶位的人在行驶中使用安全带。通过监控相机进行安全带检测成为了智能交通领域内的新课题。对于那些轻视交通法规和安全意识淡薄的人，安全带检测可以起到提醒和警告作用，在保证安全驾驶的同时提高人们遵守交通法规的意识。
现有的安全带检测方法一般都是基于直线检测的，首先进行车窗区域检测或者在车牌检测后扩充出车窗区域，然后使用边缘检测、直线检测、分类器等在车窗区域内检测安全带。然而，边缘检测和直线检测对图像拍摄角度和光照情况、驾驶员衣物颜色、配饰等十分敏感，因此该方法鲁棒性较差。近年来，由于深度学习在训练过程中能够自动提取图像中的有效特征，因此在图像分类、图像识别等领域中成为研究热点。
公开号为CN105488453A的中国发明专利申请公开了一种基于图像处理的驾驶员未系安全带检测识别的方法，该方法通过车牌定位模块初步确定机动车辆在图片中的位置，依据车牌位置预估驾驶员的大致区域，在此图像区域中利用驾驶员检测模块精确定位驾驶员的位置，然后结合图像清晰度分析模块算法过滤掉驾驶员区域不清晰的图片，针对驾驶员区域清晰的图片采用深度卷积网络算法分析驾驶员是否系安全带，自动完成驾驶员未系安全带的检测识别。
然而，上述安全带佩戴检测方法只针对驾驶位，而没有检测副驾驶位，而与驾驶位不同，副驾驶位需要先判断是否有乘客。
综上所述，目前迫切需要提出一种能同时识别驾驶位和副驾驶位是否正常佩戴安全带的方法及装置。
发明内容
有鉴于此，本发明的主要目的在于实现同时识别出驾驶位和副驾驶位的安全带佩戴情况，且识别准确率高。
为达到上述目的，按照本发明的第一个方面，提供了一种安全带佩戴识别方法，该方法包括：
第一步骤，选取标签的正常佩戴安全带、异常佩戴安全带、未佩戴安全带的驾驶位和副驾驶位图像作为样本图像，采用深度卷积神经网络进行训练，获取训练好的安全带佩戴识别模型；
第二步骤，通过车牌定位算法获取场景图像中的车牌区域；
第三步骤，根据车牌区域获取前车窗区域；
第四步骤，根据前车窗区域提取驾驶位区域和副驾驶位区域；
第五步骤，采用人脸检测算法检测副驾驶位区域，若副驾驶位区域存在人脸，则转入第六步骤，否则直接转入第七步骤；
第六步骤，利用训练好的安全带佩戴识别模型对副驾驶位区域进行识别，若识别出副驾驶位区域异常佩戴安全带或者未佩戴安全带，则对副驾驶位区域进行标注；
第七步骤，利用训练好的安全带佩戴识别模型对驾驶位区域进行识别，若识别出驾驶位区域异常佩戴安全带或者未佩戴安全带，则对驾驶位区域进行标注；以及
第八步骤，输出标注异常佩戴安全带或者未佩戴安全带的区域。
所述第一步骤进一步包括：
样本选取步骤，分别选取SINum1个正常佩戴安全带的驾驶位和副驾驶位图像、SINum2个异常佩戴安全带的驾驶位和副驾驶位图像、SINum3个未佩戴安全带的驾驶位和副驾驶位图像作为样本图像，并将样本图像缩放为宽度为Width、高度为Height，若样本图像为彩色图像，对样本图像进行灰度化处理，获取灰度的样本图像；
初步样本训练步骤，利用深度卷积神经网络对灰度的样本图像进行训练，获取初步训练好的模型；
二次训练步骤，选取TINum个由正常佩戴安全带、异常佩戴安全带、未佩戴安全带的驾驶位和副驾驶位图像组成的测试图像，并将测试图像缩放为宽度Width、高度为Height，若测试图像为彩色图像，对测试图像进行灰度化处理，获取灰度的测试图像，利用初步训练好的模型对灰度的测试图像进行反复训练，直至模型收敛，将收敛的模型作为安全带佩戴识别模型输出。
所述二次训练步骤进一步包括：
测试图像选取步骤，选取TINum个测试图像，测试图像由正常佩戴安全带、异常佩戴安全带、未佩戴安全带的驾驶位和副驾驶位图像组成，并将测试图像缩放为宽度Width、高度为Height，若测试图像为彩色图像，对测试图像进行灰度化处理，获取灰度的测试图像；
训练特征提取步骤，根据初步训练好的模型提取灰度的测试图像的特征；
训练分类判定步骤，计算灰度的测试图像的特征与正常佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi1、与异常佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi2、以及与未佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi3，选取Simik值最大的安全带佩戴类别作为候选安全带佩戴类别，k表示第k个类别，k＝{1,2,3}；
反复训练步骤，计算判定结果与真实结果的误差，利用反向传播算法来训练模型，重复训练特征提取步骤和训练分类判定步骤，直至该模型收敛，将收敛的模型作为安全带佩戴识别模型并输出。
所述深度卷积神经网络包括：
输入层，输入Width*Height的图像；
第一层卷积层，输出Th_CK1个卷积核，卷积核的大小为CKSi1*CKSi1、步长为1；
第一层采样层，采用池化算法输出大小为KSi*KSi、步长为KSi的采样核；
第二层卷积层，输出Th_CK2个卷积核，卷积核的大小为CKSi2*CKSi2、步长为1；
第二层采样层，采用池化算法输出大小为KSi*KSi、步长为KSi的采样核；
第一层全连接层，采用激活函数，输出Th_Neur个神经元；
第二层全连接层，输出3个神经元，即3个安全带佩戴类别。
所述第三步骤进一步包括：
候选前车窗区域获取步骤，根据车牌区域获取车牌区域的左边边界x＝pl、右边边界x＝pr、上边边界y＝pt、下边边界y＝pb，设置候选前车窗区域的左边边界为右边边界为上边边界为下边边界为并将设置的候选前车窗区域的左边边界、右边边界、上边边界、下边边界所围成的矩形区域标记为候选前车窗区域，Wp为车牌区域的宽度，W为采集图像的宽度，λ3＜λ2；
竖直边缘获取步骤，将候选前车窗区域进行灰度化处理，获取灰度的候选区域，采用滤波器，获取灰度的候选区域的竖直边缘图像；
二值图像获取步骤，采用阈值Th_F对数值边缘图像进行分割，获取二值图像；
直线检测步骤，采用Hough变换直线检测算法对二值图像进行处理，获取检测的直线序列y＝kix+bi，i＝1，2，…，N1，N1为直线的数量；
直线筛选步骤，若arctan|ki|≤Th_θ，则保留该直线，否则删除该直线，由此得到剩余的直线序列y＝kjx+bj，j＝1，2，…，N2，N2为剩余直线的数量；
上下边界获取步骤，扫描每条直线y＝kjx+bj，j＝1，2，…，N2，获取直线y＝kjx+bj的第一个像素点(xj1,yj1)和最后一个像素点(xj2,yj2)，在y方向上按将直线进行分段，获取对应的x方向上的长度，并将其放入LineHist数组中，采用聚类算法对LineHist数组进行聚类，将获取的聚类值最大的两条直线分别作为上边界和下边界；
左右边界获取步骤，分别扫描上边界、下边界，将上边界的第一个像素点和下边界的第一个像素点构成的直线作为左边界，将上边界的最后一个像素点和下边界的最后一个像素点构成的直线作为右边界；
前车窗区域提取步骤，将上边界、左边界、右边界、下边界围成的矩形区域标记为前车窗区域。
所述第四步骤进一步包括：
副驾驶位区域获取步骤，根据前车窗区域的左边边界x＝fwl、右边边界x＝fwr、上边边界y＝fwt、下边边界y＝fwb，设置副驾驶位区域的左边边界为x＝fwl+λ7*(fwr-fwl)，右边边界为上边边界为y＝fwt，下边边界为y＝fwb，并将设置的副驾驶位区域的左边边界、右边边界、上边边界、下边边界所围成的矩形区域标记为副驾驶位区域；
驾驶位区域获取步骤，根据前车窗区域的左边边界x＝fwl、右边边界x＝fwr、上边边界y＝fwt、下边边界y＝fwb，设置驾驶位区域的左边边界为右边边界为x＝fwr-λ7*(fwr-fwl)，上边边界为y＝fwt，下边边界为y＝fwb，并将设置的驾驶位区域的左边边界、右边边界、上边边界、下边边界所围成的矩形区域标记为驾驶位区域。
所述第六步骤进一步包括：
副驾驶位区域预处理步骤，将副驾驶位区域缩放为宽度为Width、高度为Height，若副驾驶位区域为彩色图像，则对副驾驶位区域进行灰度化处理，获取灰度化的副驾驶位区域；
副驾驶位区域特征提取步骤，利用安全带佩戴识别模型提取灰度化的副驾驶位区域的特征；
副驾驶位安全带佩戴类别判定步骤，计算副驾驶位区域的特征与正常佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi1、与异常佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi2、以及与未佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi3，比较Simi1、Simi2、Simi3三个值的大小，若Simi2值最大，则将副驾驶位区域标记为异常佩戴安全带，若Simi3值最大，则将副驾驶位区域标记为未佩戴安全带。
所述第七步骤进一步包括：
驾驶位区域预处理步骤，将驾驶位区域缩放为宽度为Width、高度为Height，若驾驶位区域为彩色图像，则对驾驶位区域进行灰度化处理，获取灰度化的驾驶位区域；
驾驶位区域特征提取步骤，利用安全带佩戴识别模型提取灰度化的驾驶位区域的特征；
驾驶位安全带佩戴类别判定步骤，计算驾驶位区域的特征与正常佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi1、与异常佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi2、以及与未佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi3，比较Simi1、Simi2、Simi3三个值的大小，若Simi2值最大，则将驾驶位区域标记为异常佩戴安全带，若Simi3值最大，则将驾驶位区域标记为未佩戴安全带。
按照本发明的另一个方面，提供了一种安全带佩戴识别装置，该装置包括：
安全带佩戴识别模型训练模块(1)，用于选取标签的正常佩戴安全带、异常佩戴安全带、未佩戴安全带的驾驶位和副驾驶位图像作为样本图像，采用深度卷积神经网络进行训练，获取训练好的安全带佩戴识别模型；
车牌区域获取模块(2)，用于通过车牌定位算法获取场景图像中的车牌区域；
前车窗区域获取模块(3)，用于根据车牌区域获取前车窗区域；
驾驶位和副驾驶位区域提取模块(4)，用于根据前车窗区域提取驾驶位区域和副驾驶位区域；
副驾驶位人脸检测模块(5)，用于采用人脸检测算法检测副驾驶位区域，若副驾驶位区域存在人脸，则转入副驾驶位安全带佩戴识别模块(6)，否则直接转入驾驶位安全带佩戴识别模块(7)；
副驾驶位安全带佩戴识别模块(6)，用于利用训练好的安全带佩戴识别模型对副驾驶位区域进行识别，若识别出副驾驶位区域异常佩戴安全带或者未佩戴安全带，则对副驾驶位区域进行标注；
驾驶位安全带佩戴识别模块(7)，用于利用训练好的安全带佩戴识别模型对驾驶位区域进行识别，若识别出驾驶位区域异常佩戴安全带或者未佩戴安全带，则对驾驶位区域进行标注；以及
标注区域输出模块(8)，用于输出标注异常佩戴安全带或者未佩戴安全带的区域。
所述安全带佩戴识别模型训练模块(1)进一步包括：
样本选取模块(11)，用于分别选取SINum1个正常佩戴安全带的驾驶位和副驾驶位图像、SINum2个异常佩戴安全带的驾驶位和副驾驶位图像、SINum3个未佩戴安全带的驾驶位和副驾驶位图像作为样本图像，并将样本图像缩放为宽度为Width、高度为Height，若样本图像为彩色图像，对样本图像进行灰度化处理，获取灰度的样本图像；
初步样本训练模块(12)，用于利用深度卷积神经网络对灰度的样本图像进行训练，获取初步训练好的模型；
二次训练模块(13)，用于选取TINum个由正常佩戴安全带、异常佩戴安全带、未佩戴安全带的驾驶位和副驾驶位图像组成的测试图像，并将测试图像缩放为宽度Width、高度为Height，若测试图像为彩色图像，对测试图像进行灰度化处理，获取灰度的测试图像，利用初步训练好的模型对灰度的测试图像进行反复训练，直至模型收敛，将收敛的模型作为安全带佩戴识别模型输出。
所述二次训练模块(13)进一步包括：
测试图像选取模块(131)，用于选取TINum个测试图像，测试图像由正常佩戴安全带、异常佩戴安全带、未佩戴安全带的驾驶位和副驾驶位图像组成，并将测试图像缩放为宽度Width、高度为Height，若测试图像为彩色图像，对测试图像进行灰度化处理，获取灰度的测试图像；
训练特征提取模块(132)，用于根据初步训练好的模型提取灰度的测试图像的特征；
训练分类判定模块(133)，用于计算灰度的测试图像的特征与正常佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi1、与异常佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi2、以及与未佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi3，选取Simik值最大的安全带佩戴类别作为候选安全带佩戴类别，k表示第k个类别，k＝{1,2,3}；
反复训练模块(134)，用于计算判定结果与真实结果的误差，利用反向传播算法来训练模型，重复训练特征提取模块(132)和训练分类判定模块(133)，直至该模型收敛，将收敛的模型作为安全带佩戴识别模型并输出。
所述前车窗区域获取模块(3)进一步包括：
候选前车窗区域获取模块(31)，用于根据车牌区域获取车牌区域的左边边界x＝pl、右边边界x＝pr、上边边界y＝pt、下边边界y＝pb，设置候选前车窗区域的左边边界为右边边界为上边边界为下边边界为并将设置的候选前车窗区域的左边边界、右边边界、上边边界、下边边界所围成的矩形区域标记为候选前车窗区域，Wp为车牌区域的宽度，W为采集图像的宽度，λ3＜λ2；
竖直边缘获取模块(32)，用于将候选前车窗区域进行灰度化处理，获取灰度的候选区域，采用滤波器，获取灰度的候选区域的竖直边缘图像；
二值图像获取模块(33)，用于采用阈值Th_F对数值边缘图像进行分割，获取二值图像；
直线检测模块(34)，用于采用Hough变换直线检测算法对二值图像进行处理，获取检测的直线序列y＝kix+bi，i＝1，2，…，N1，N1为直线的数量；
直线筛选模块(35)，用于若arctan|ki|≤Th_θ，则保留该直线，否则删除该直线，由此得到剩余的直线序列y＝kjx+bj，j＝1，2，…，N2，N2为剩余直线的数量；
上下边界获取模块(36)，用于扫描每条直线y＝kjx+bj，j＝1，2，…，N2，获取直线y＝kjx+bj的第一个像素点(xj1,yj1)和最后一个像素点(xj2,yj2)，在y方向上按将直线进行分段，获取对应的x方向上的长度，并将其放入LineHist数组中，采用聚类算法对LineHist数组进行聚类，将获取的聚类值最大的两条直线分别作为上边界和下边界；
左右边界获取模块(37)，用于分别扫描上边界、下边界，将上边界的第一个像素点和下边界的第一个像素点构成的直线作为左边界，将上边界的最后一个像素点和下边界的最后一个像素点构成的直线作为右边界；
前车窗区域提取模块(38)，用于将上边界、左边界、右边界、下边界围成的矩形区域标记为前车窗区域。
所述驾驶位和副驾驶位区域提取模块(4)进一步包括：
副驾驶位区域获取模块(41)，用于根据前车窗区域的左边边界x＝fwl、右边边界x＝fwr、上边边界y＝fwt、下边边界y＝fwb，设置副驾驶位区域的左边边界为x＝fwl+λ7*(fwr-fwl)，右边边界为上边边界为y＝fwt，下边边界为y＝fwb，并将设置的副驾驶位区域的左边边界、右边边界、上边边界、下边边界所围成的矩形区域标记为副驾驶位区域；
驾驶位区域获取模块(42)，用于根据前车窗区域的左边边界x＝fwl、右边边界x＝fwr、上边边界y＝fwt、下边边界y＝fwb，设置驾驶位区域的左边边界为右边边界为x＝fwr-λ7*(fwr-fwl)，上边边界为y＝fwt，下边边界为y＝fwb，并将设置的驾驶位区域的左边边界、右边边界、上边边界、下边边界所围成的矩形区域标记为驾驶位区域。
所述副驾驶位安全带佩戴识别模块(6)进一步包括：
副驾驶位区域预处理模块(61)，用于将副驾驶位区域缩放为宽度为Width、高度为Height，若副驾驶位区域为彩色图像，则对副驾驶位区域进行灰度化处理，获取灰度化的副驾驶位区域；
副驾驶位区域特征提取模块(62)，用于利用安全带佩戴识别模型提取灰度化的副驾驶位区域的特征；
副驾驶位安全带佩戴类别判定模块(63)，用于计算副驾驶位区域的特征与正常佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi1、与异常佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi2、以及与未佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi3，比较Simi1、Simi2、Simi3三个值的大小，若Simi2值最大，则将副驾驶位区域标记为异常佩戴安全带，若Simi3值最大，则将副驾驶位区域标记为未佩戴安全带。
所述驾驶位安全带佩戴识别模块(7)进一步包括：
驾驶位区域预处理模块(71)，用于将驾驶位区域缩放为宽度为Width、高度为Height，若驾驶位区域为彩色图像，则对驾驶位区域进行灰度化处理，获取灰度化的驾驶位区域；
驾驶位区域特征提取模块(72)，用于利用安全带佩戴识别模型提取灰度化的驾驶位区域的特征；
驾驶位安全带佩戴类别判定模块(73)，用于计算驾驶位区域的特征与正常佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi1、与异常佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi2、以及与未佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi3，比较Simi1、Simi2、Simi3三个值的大小，若Simi2值最大，则将驾驶位区域标记为异常佩戴安全带，若Simi3值最大，则将驾驶位区域标记为未佩戴安全带。
与现有的安全带佩戴识别技术相比，本发明的一种安全带佩戴识别方法及装置采用深度卷积神经网络进行训练和识别，能够同时识别出驾驶位与副驾驶位的安全带佩戴情况，且识别准确率高。
附图说明
图1示出了按照本发明的一种安全带佩戴识别方法的流程图。
图2示出了按照本发明的一种安全带佩戴识别装置的框架图。
具体实施方式
为使贵审查员能进一步了解本发明的结构、特征及其他目的，现结合所附较佳实施例详细说明如下，所说明的较佳实施例仅用于说明本发明的技术方案，并非限定本发明。
图1给出了按照本发明的一种安全带佩戴识别方法的流程图。如图1所示，按照本发明的一种安全带佩戴识别方法包括：
第一步骤S1，选取标签的正常佩戴安全带、异常佩戴安全带、未佩戴安全带的驾驶位和副驾驶位图像作为样本图像，采用深度卷积神经网络进行训练，获取训练好的安全带佩戴识别模型；
第二步骤S2，通过车牌定位算法获取场景图像中的车牌区域；
第三步骤S3，根据车牌区域获取前车窗区域；
第四步骤S4，根据前车窗区域提取驾驶位区域和副驾驶位区域；
第五步骤S5，采用人脸检测算法检测副驾驶位区域，若副驾驶位区域存在人脸，则转入第六步骤S6，否则直接转入第七步骤S7；
第六步骤S6，利用训练好的安全带佩戴识别模型对副驾驶位区域进行识别，若识别出副驾驶位区域异常佩戴安全带或者未佩戴安全带，则对副驾驶位区域进行标注；
第七步骤S7，利用训练好的安全带佩戴识别模型对驾驶位区域进行识别，若识别出驾驶位区域异常佩戴安全带或者未佩戴安全带，则对驾驶位区域进行标注；以及
第八步骤S8，输出标注异常佩戴安全带或者未佩戴安全带的区域。
所述第一步骤S1进一步包括：
样本选取步骤S11，分别选取SINum1个正常佩戴安全带的驾驶位和副驾驶位图像、SINum2个异常佩戴安全带的驾驶位和副驾驶位图像、SINum3个未佩戴安全带的驾驶位和副驾驶位图像作为样本图像，并将样本图像缩放为宽度为Width、高度为Height，若样本图像为彩色图像，对样本图像进行灰度化处理，获取灰度的样本图像；
初步样本训练步骤S12，利用深度卷积神经网络对灰度的样本图像进行训练，获取初步训练好的模型；
二次训练步骤S13，选取TINum个由正常佩戴安全带、异常佩戴安全带、未佩戴安全带的驾驶位和副驾驶位图像组成的测试图像，并将测试图像缩放为宽度Width、高度为Height，若测试图像为彩色图像，对测试图像进行灰度化处理，获取灰度的测试图像，利用初步训练好的模型对灰度的测试图像进行反复训练，直至模型收敛，将收敛的模型作为安全带佩戴识别模型输出。
所述二次训练步骤S13进一步包括：
测试图像选取步骤S131，选取TINum个测试图像，测试图像由正常佩戴安全带、异常佩戴安全带、未佩戴安全带的驾驶位和副驾驶位图像组成，并将测试图像缩放为宽度Width、高度为Height，若测试图像为彩色图像，对测试图像进行灰度化处理，获取灰度的测试图像；
训练特征提取步骤S132，根据初步训练好的模型提取灰度的测试图像的特征；
训练分类判定步骤S133，计算灰度的测试图像的特征与正常佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi1、与异常佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi2、以及与未佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi3，选取Simik值最大的安全带佩戴类别作为候选安全带佩戴类别，k表示第k个类别，k＝{1,2,3}；
反复训练步骤S134，计算判定结果与真实结果的误差，利用反向传播算法来训练模型，重复训练特征提取步骤S132和训练分类判定步骤S133，直至该模型收敛，将收敛的模型作为安全带佩戴识别模型并输出。
所述异常佩戴安全带是指没有按照规定的标准佩戴安全带。
所述SINuml≥1000，SINum2≥1000，SINum3≥1000，Width∈[64,192]，Height∈[64,192]，TINum≥1000。
优选地，SINum1≥5000，SINum2≥5000，SINum3≥5000，Width选为128，Height选为128，TNum≥5000。
优选地，所述深度卷积神经网络包括：
输入层，输入Width*Height的图像；
第一层卷积层，输出Th_CK1个卷积核，卷积核的大小为CKSi1*CKSi1、步长为1；
第一层采样层，采用池化算法输出大小为KSi*KSi、步长为KSi的采样核；
第二层卷积层，输出Th_CK2个卷积核，卷积核的大小为CKSi2*CKSi2、步长为1；
第二层采样层，采用池化算法输出大小为KSi*KSi、步长为KSi的采样核；
第一层全连接层，采用激活函数，输出Th_Neur个神经元；
第二层全连接层，输出3个神经元，即3个安全带佩戴类别。
其中，Width和Height分别为输入图像的宽度和高度，Width∈[64,192]，Height∈[64,192]。Th_CK1∈[6,20]，CKSi1∈[3,7]，KSi∈[2,4]，Th_CK2∈[10,40]，CKSi2∈[3,5]，Th_Neur∈[80,10000]。
优选地，Width选为128，Height选为128，Th_CK1选为16，CKSi1选为5，KSi选为2，Th_CK2选为32，CKSi2选为3，Th_Neur选为84。
所述第一层采样层和第二层采样层中的池化算法可以通过现有的池化算法实现，例如最大池化法、平均池化法、随机池化法。优选地，在第一层采样层和第二层采样层中采用最大池化法。
所述第一层全连接层中激活函数为现有的激活函数，例如ReLU、sigmoid函数、tanh函数。优选地，在第一层全连接层中采用ReLU作为激活函数。ReLU全称为RectifiedLinear Units，中文译为修正线性单元，可以参考文献“Taming the ReLU with ParallelDither in a Deep Neural Network.AJR Simpson.Computer Science,2015”。
所述第二步骤S2中的车牌定位算法可以通过现有的车牌定位或车牌检测算法实现。例如，“李文举，梁德群，张旗，樊鑫.基于边缘颜色对的车牌定位新方法.《计算机学报》,2004,27(2):204-208”。所述场景图像可以是通过现有的图像传感器采集某一路段的实际图像。
所述第三步骤S3进一步包括：
候选前车窗区域获取步骤S31，根据车牌区域获取车牌区域的左边边界x＝pl、右边边界x＝pr、上边边界y＝pt、下边边界y＝pb，设置候选前车窗区域的左边边界为右边边界为上边边界为下边边界为并将设置的候选前车窗区域的左边边界、右边边界、上边边界、下边边界所围成的矩形区域标记为候选前车窗区域，Wp为车牌区域的宽度，W为采集图像的宽度，λ3＜λ2；
竖直边缘获取步骤S32，将候选前车窗区域进行灰度化处理，获取灰度的候选区域，采用滤波器，获取灰度的候选区域的竖直边缘图像；
二值图像获取步骤S33，采用阈值Th_F对数值边缘图像进行分割，获取二值图像；
直线检测步骤S34，采用Hough变换直线检测算法对二值图像进行处理，获取检测的直线序列y＝kix+bi，i＝1，2，…，N1，N1为直线的数量；
直线筛选步骤S35，若arctan|ki|≤Th_θ，则保留该直线，否则删除该直线，由此得到剩余的直线序列y＝kjx+bj，j＝1，2，…，N2，N2为剩余直线的数量；
上下边界获取步骤S36，扫描每条直线y＝kjx+bj，j＝1，2，…，N2，获取直线y＝kjx+bj的第一个像素点(xj1,yj1)和最后一个像素点(xj2,yj2)，在y方向上按将直线进行分段，获取对应的x方向上的长度，并将其放入LineHist数组中，采用聚类算法对LineHist数组进行聚类，将获取的聚类值最大的两条直线分别作为上边界和下边界；
左右边界获取步骤S37，分别扫描上边界、下边界，将上边界的第一个像素点和下边界的第一个像素点构成的直线作为左边界，将上边界的最后一个像素点和下边界的最后一个像素点构成的直线作为右边界；
前车窗区域提取步骤S38，将上边界、左边界、右边界、下边界围成的矩形区域标记为前车窗区域。
所述候选前车窗区域获取步骤S31中λ1∈[1.2,1.8]，λ2∈[4.2,4.8]，λ3∈[0.3,0.8]。优选地，λ1选为1.5，λ2选为4.5，λ3选为0.5。
所述二值图像获取步骤S33中Th_F∈[10,30]。优选地，Th_F选为20。
所述直线检测步骤S34中Hough变换直线检测算法通过现有的技术实现。例如，“段汝娇，赵伟，黄松岭，陈建业.一种基于改进Hough变换的直线快速检测算法.《仪器仪表学报》,2010,31(12):2774-2780”。
所述直线筛选步骤S35中Th_θ∈[5°,15°]。优选地。Th_θ选为10°。
所述上下边界获取步骤S36中Th_S为采样间隔，Th_S∈[5,20]。优选地，Th_S选为12。所述聚类算法通过现有的聚类算法实现。
所述第四步骤S4进一步包括：
副驾驶位区域获取步骤S41，根据前车窗区域的左边边界x＝fwl、右边边界x＝fwr、上边边界y＝fwt、下边边界y＝fwb，设置副驾驶位区域的左边边界为x＝fwl+λ7*(fwr-fwl)，右边边界为上边边界为y＝fwt，下边边界为y＝fwb，并将设置的副驾驶位区域的左边边界、右边边界、上边边界、下边边界所围成的矩形区域标记为副驾驶位区域；
驾驶位区域获取步骤S42，根据前车窗区域的左边边界x＝fwl、右边边界x＝fwr、上边边界y＝fwt、下边边界y＝fwb，设置驾驶位区域的左边边界为右边边界为x＝fwr-λ7*(fwr-fwl)，上边边界为y＝fwt，下边边界为y＝fwb，并将设置的驾驶位区域的左边边界、右边边界、上边边界、下边边界所围成的矩形区域标记为驾驶位区域。
所述λ7∈[0.02,0.15]，λ8∈[0.1,0.2]。优选地，λ7选为0.08，λ8选0.15。
所述第五步骤S5中人脸检测算法可以通过现有的人脸检测算法实现。例如，“郭志波，华继钊，严云洋，陈才扣，杨静宇.基于双阈值继承型AdaBoost算法的人脸快速检测.《数据采集与处理》,2008,23(3):306-310”。
所述第六步骤S6进一步包括：
副驾驶位区域预处理步骤S61，将副驾驶位区域缩放为宽度为Width、高度为Height，若副驾驶位区域为彩色图像，则对副驾驶位区域进行灰度化处理，获取灰度化的副驾驶位区域；
副驾驶位区域特征提取步骤S62，利用安全带佩戴识别模型提取灰度化的副驾驶位区域的特征；
副驾驶位安全带佩戴类别判定步骤S63，计算副驾驶位区域的特征与正常佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi1、与异常佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi2、以及与未佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi3，比较Simi1、Simi2、Simi3三个值的大小，若Simi2值最大，则将副驾驶位区域标记为异常佩戴安全带，若Simi3值最大，则将副驾驶位区域标记为未佩戴安全带。
所述第七步骤S7进一步包括：
驾驶位区域预处理步骤S71，将驾驶位区域缩放为宽度为Width、高度为Height，若驾驶位区域为彩色图像，则对驾驶位区域进行灰度化处理，获取灰度化的驾驶位区域；
驾驶位区域特征提取步骤S72，利用安全带佩戴识别模型提取灰度化的驾驶位区域的特征；
驾驶位安全带佩戴类别判定步骤S73，计算驾驶位区域的特征与正常佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi1、与异常佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi2、以及与未佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi3，比较Simi1、Simi2、Simi3三个值的大小，若Simi2值最大，则将驾驶位区域标记为异常佩戴安全带，若Simi3值最大，则将驾驶位区域标记为未佩戴安全带。
所述第八步骤S8进一步为将标注的异常佩戴安全带或者未佩戴安全带的副驾驶位区域或者驾驶位区域输出。
图2给出了按照本发明的一种安全带佩戴识别装置的框架图。如图2所示，按照本发明的一种安全带佩戴识别装置包括：
安全带佩戴识别模型训练模块1，用于选取标签的正常佩戴安全带、异常佩戴安全带、未佩戴安全带的驾驶位和副驾驶位图像作为样本图像，采用深度卷积神经网络进行训练，获取训练好的安全带佩戴识别模型；
车牌区域获取模块2，用于通过车牌定位算法获取场景图像中的车牌区域；
前车窗区域获取模块3，用于根据车牌区域获取前车窗区域；
驾驶位和副驾驶位区域提取模块4，用于根据前车窗区域提取驾驶位区域和副驾驶位区域；
副驾驶位人脸检测模块5，用于采用人脸检测算法检测副驾驶位区域，若副驾驶位区域存在人脸，则转入副驾驶位安全带佩戴识别模块6，否则直接转入驾驶位安全带佩戴识别模块7；
副驾驶位安全带佩戴识别模块6，用于利用训练好的安全带佩戴识别模型对副驾驶位区域进行识别，若识别出副驾驶位区域异常佩戴安全带或者未佩戴安全带，则对副驾驶位区域进行标注；
驾驶位安全带佩戴识别模块7，用于利用训练好的安全带佩戴识别模型对驾驶位区域进行识别，若识别出驾驶位区域异常佩戴安全带或者未佩戴安全带，则对驾驶位区域进行标注；以及
标注区域输出模块8，用于输出标注异常佩戴安全带或者未佩戴安全带的区域。
所述安全带佩戴识别模型训练模块1进一步包括：
样本选取模块11，用于分别选取SINum1个正常佩戴安全带的驾驶位和副驾驶位图像、SINum2个异常佩戴安全带的驾驶位和副驾驶位图像、SINum3个未佩戴安全带的驾驶位和副驾驶位图像作为样本图像，并将样本图像缩放为宽度为Width、高度为Height，若样本图像为彩色图像，对样本图像进行灰度化处理，获取灰度的样本图像；
初步样本训练模块12，用于利用深度卷积神经网络对灰度的样本图像进行训练，获取初步训练好的模型；
二次训练模块13，用于选取TINum个由正常佩戴安全带、异常佩戴安全带、未佩戴安全带的驾驶位和副驾驶位图像组成的测试图像，并将测试图像缩放为宽度Width、高度为Height，若测试图像为彩色图像，对测试图像进行灰度化处理，获取灰度的测试图像，利用初步训练好的模型对灰度的测试图像进行反复训练，直至模型收敛，将收敛的模型作为安全带佩戴识别模型输出。
所述二次训练模块13进一步包括：
测试图像选取模块131，用于选取TINum个测试图像，测试图像由正常佩戴安全带、异常佩戴安全带、未佩戴安全带的驾驶位和副驾驶位图像组成，并将测试图像缩放为宽度Width、高度为Height，若测试图像为彩色图像，对测试图像进行灰度化处理，获取灰度的测试图像；
训练特征提取模块132，用于根据初步训练好的模型提取灰度的测试图像的特征；
训练分类判定模块133，用于计算灰度的测试图像的特征与正常佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi1、与异常佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi2、以及与未佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi3，选取Simik值最大的安全带佩戴类别作为候选安全带佩戴类别，k表示第k个类别，k＝{1,2,3}；
反复训练模块134，用于计算判定结果与真实结果的误差，利用反向传播算法来训练模型，重复训练特征提取模块132和训练分类判定模块133，直至该模型收敛，将收敛的模型作为安全带佩戴识别模型并输出。
所述异常佩戴安全带是指没有按照规定的标准佩戴安全带。
所述SINum1≥1000，SINum2≥1000，SINum3≥1000，Width∈[64,192]，Height∈[64,192]，TINum≥1000。
优选地，SINum1≥5000，SINum2≥5000，SINum3≥5000，Width选为128，Height选为128，TNum≥5000。
优选地，所述深度卷积神经网络包括：
输入层，输入Width*Height的图像；
第一层卷积层，输出Th_CK1个卷积核，卷积核的大小为CKSi1*CKSi1、步长为1；
第一层采样层，采用池化算法输出大小为KSi*KSi、步长为KSi的采样核；
第二层卷积层，输出Th_CK2个卷积核，卷积核的大小为CKSi2*CKSi2、步长为1；
第二层采样层，采用池化算法输出大小为KSi*KSi、步长为KSi的采样核；
第一层全连接层，采用激活函数，输出Th_Neur个神经元；
第二层全连接层，输出3个神经元，即3个安全带佩戴类别。
其中，Width和Height分别为输入图像的宽度和高度，Width∈[64,192]，Height∈[64,192]。Th_CK1∈[6,20]，CKSi1∈[3,7]，KSi∈[2,4]，Th_CK2∈[10,40]，CKSi2∈[3,5]，Th_Neur∈[80,10000]。
优选地，Width选为128，Height选为128，Th_CK1选为16，CKSi1选为5，KSi选为2，Th_CK2选为32，CKSi2选为3，Th_Neur选为84。
所述第一层采样层和第二层采样层中的池化算法可以通过现有的池化算法实现，例如最大池化法、平均池化法、随机池化法。优选地，在第一层采样层和第二层采样层中采用最大池化法。
所述第一层全连接层中激活函数为现有的激活函数，例如ReLU、sigmoid函数、tanh函数。优选地，在第一层全连接层中采用ReLU作为激活函数。ReLU全称为RectifiedLinear Units，中文译为修正线性单元，可以参考文献“Taming the ReLU with ParallelDither in a Deep Neural Network.AJR Simpson.Computer Science,2015”。
所述车牌区域获取模块2中的车牌定位算法可以通过现有的车牌定位或车牌检测算法实现。例如，“李文举，梁德群，张旗，樊鑫.基于边缘颜色对的车牌定位新方法.《计算机学报》,2004,27(2):204-208”。所述场景图像可以是通过现有的图像传感器采集某一路段的实际图像。
所述前车窗区域获取模块3进一步包括：
候选前车窗区域获取模块31，用于根据车牌区域获取车牌区域的左边边界x＝pl、右边边界x＝pr、上边边界y＝pt、下边边界y＝pb，设置候选前车窗区域的左边边界为右边边界为上边边界为下边边界为并将设置的候选前车窗区域的左边边界、右边边界、上边边界、下边边界所围成的矩形区域标记为候选前车窗区域，Wp为车牌区域的宽度，W为采集图像的宽度，λ3＜λ2；
竖直边缘获取模块32，用于将候选前车窗区域进行灰度化处理，获取灰度的候选区域，采用滤波器，获取灰度的候选区域的竖直边缘图像；
二值图像获取模块33，用于采用阈值Th_F对数值边缘图像进行分割，获取二值图像；
直线检测模块34，用于采用Hough变换直线检测算法对二值图像进行处理，获取检测的直线序列y＝kix+bi，i＝1，2，…，N1，N1为直线的数量；
直线筛选模块35，用于若arctan|ki|≤Th_θ，则保留该直线，否则删除该直线，由此得到剩余的直线序列y＝kjx+bj，j＝1，2，…，N2，N2为剩余直线的数量；
上下边界获取模块36，用于扫描每条直线y＝kjx+bj，j＝1，2，…，N2，获取直线y＝kjx+bj的第一个像素点(xj1,yj1)和最后一个像素点(xj2,yj2)，在y方向上按将直线进行分段，获取对应的x方向上的长度，并将其放入LineHist数组中，采用聚类算法对LineHist数组进行聚类，将获取的聚类值最大的两条直线分别作为上边界和下边界；
左右边界获取模块37，用于分别扫描上边界、下边界，将上边界的第一个像素点和下边界的第一个像素点构成的直线作为左边界，将上边界的最后一个像素点和下边界的最后一个像素点构成的直线作为右边界；
前车窗区域提取模块38，用于将上边界、左边界、右边界、下边界围成的矩形区域标记为前车窗区域。
所述候选前车窗区域获取模块31中λ1∈[1.2,1.8]，λ2∈[4.2,4.8]，λ3∈[0.3,0.8]。优选地，λ1选为1.5，λ2选为4.5，λ3选为0.5。
所述二值图像获取模块33中Th_F∈[10,30]。优选地，Th_F选为20。
所述直线检测模块34中Hough变换直线检测算法通过现有的技术实现。例如，“段汝娇，赵伟，黄松岭，陈建业.一种基于改进Hough变换的直线快速检测算法.《仪器仪表学报》,2010,31(12):2774-2780”。
所述直线筛选模块35中Th_θ∈[5°,15°]。优选地。Th_θ选为10°。
所述上下边界获取模块36中Th_S为采样间隔，Th_S∈[5,20]。优选地，Th_S选为12。所述聚类算法通过现有的聚类算法实现。
所述驾驶位和副驾驶位区域提取模块4进一步包括：
副驾驶位区域获取模块41，用于根据前车窗区域的左边边界x＝fwl、右边边界x＝fwr、上边边界y＝fwt、下边边界y＝fwb，设置副驾驶位区域的左边边界为x＝fwl+λ7*(fwr-fwl)，右边边界为上边边界为y＝fwt，下边边界为y＝fwb，并将设置的副驾驶位区域的左边边界、右边边界、上边边界、下边边界所围成的矩形区域标记为副驾驶位区域；
驾驶位区域获取模块42，用于根据前车窗区域的左边边界x＝fwl、右边边界x＝fwr、上边边界y＝fwt、下边边界y＝fwb，设置驾驶位区域的左边边界为右边边界为x＝fwr-λ7*(fwr-fwl)，上边边界为y＝fwt，下边边界为y＝fwb，并将设置的驾驶位区域的左边边界、右边边界、上边边界、下边边界所围成的矩形区域标记为驾驶位区域。
所述λ7∈[0.02,0.15]，λ8∈[0.1,0.2]。优选地，λ7选为0.08，λ8选0.15。
所述副驾驶位人脸检测模块5中人脸检测算法可以通过现有的人脸检测算法实现。例如，“郭志波，华继钊，严云洋，陈才扣，杨静宇.基于双阈值继承型AdaBoost算法的人脸快速检测.《数据采集与处理》,2008,23(3):306-310”。
所述副驾驶位安全带佩戴识别模块6进一步包括：
副驾驶位区域预处理模块61，用于将副驾驶位区域缩放为宽度为Width、高度为Height，若副驾驶位区域为彩色图像，则对副驾驶位区域进行灰度化处理，获取灰度化的副驾驶位区域；
副驾驶位区域特征提取模块62，用于利用安全带佩戴识别模型提取灰度化的副驾驶位区域的特征；
副驾驶位安全带佩戴类别判定模块63，用于计算副驾驶位区域的特征与正常佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi1、与异常佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi2、以及与未佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi3，比较Simi1、Simi2、Simi3三个值的大小，若Simi2值最大，则将副驾驶位区域标记为异常佩戴安全带，若Simi3值最大，则将副驾驶位区域标记为未佩戴安全带。
所述驾驶位安全带佩戴识别模块7进一步包括：
驾驶位区域预处理模块71，用于将驾驶位区域缩放为宽度为Width、高度为Height，若驾驶位区域为彩色图像，则对驾驶位区域进行灰度化处理，获取灰度化的驾驶位区域；
驾驶位区域特征提取模块72，用于利用安全带佩戴识别模型提取灰度化的驾驶位区域的特征；
驾驶位安全带佩戴类别判定模块73，用于计算驾驶位区域的特征与正常佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi1、与异常佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi2、以及与未佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi3，比较Simi1、Simi2、Simi3三个值的大小，若Simi2值最大，则将驾驶位区域标记为异常佩戴安全带，若Simi3值最大，则将驾驶位区域标记为未佩戴安全带。
所述标注区域输出模块8进一步为用于将标注的异常佩戴安全带或者未佩戴安全带的副驾驶位区域或者驾驶位区域输出。
与现有的安全带佩戴识别技术相比，本发明的一种安全带佩戴识别方法及装置采用深度卷积神经网络进行训练和识别，能够同时识别出驾驶位与副驾驶位的安全带佩戴情况，且识别准确率高。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应当理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善，因此本发明只受到本发明权利要求的内容和范围的限制，其意图涵盖所有包括在由所附权利要求所限定的本发明精神和范围内的备选方案和等同方案。

Claims (12)

1.一种安全带佩戴识别方法，其特征在于，该方法包括：
第一步骤，选取标签的正常佩戴安全带、异常佩戴安全带、未佩戴安全带的驾驶位和副驾驶位图像作为样本图像，采用深度卷积神经网络进行训练，获取训练好的安全带佩戴识别模型；
第二步骤，通过车牌定位算法获取场景图像中的车牌区域；
第三步骤，根据车牌区域获取前车窗区域；
第四步骤，根据前车窗区域提取驾驶位区域和副驾驶位区域；
第五步骤，采用人脸检测算法检测副驾驶位区域，若副驾驶位区域存在人脸，则转入第六步骤，否则直接转入第七步骤；
第六步骤，利用训练好的安全带佩戴识别模型对副驾驶位区域进行识别，若识别出副驾驶位区域异常佩戴安全带或者未佩戴安全带，则对副驾驶位区域进行标注；
第七步骤，利用训练好的安全带佩戴识别模型对驾驶位区域进行识别，若识别出驾驶位区域异常佩戴安全带或者未佩戴安全带，则对驾驶位区域进行标注；以及
第八步骤，输出标注异常佩戴安全带或者未佩戴安全带的区域；
其中，所述第三步骤包括：
候选前车窗区域获取步骤，根据车牌区域获取车牌区域的左边边界x＝pl、右边边界x＝pr、上边边界y＝pt、下边边界y＝pb，设置候选前车窗区域的左边边界为右边边界为上边边界为下边边界为并将设置的候选前车窗区域的左边边界、右边边界、上边边界、下边边界所围成的矩形区域标记为候选前车窗区域，Wp为车牌区域的宽度，W为采集图像的宽度，λ3＜λ2；
竖直边缘获取步骤，将候选前车窗区域进行灰度化处理，获取灰度的候选区域，采用滤波器，获取灰度的候选区域的竖直边缘图像；
二值图像获取步骤，采用阈值Th_F对数值边缘图像进行分割，获取二值图像；
直线检测步骤，采用Hough变换直线检测算法对二值图像进行处理，获取检测的直线序列y＝kix+bi，i＝1，2，…，N1，N1为直线的数量；
直线筛选步骤，若arctan|ki|≤Th_θ，则保留该直线，否则删除该直线，由此得到剩余的直线序列y＝kjx+bj，j＝1，2，…，N2，N2为剩余直线的数量；
上下边界获取步骤，扫描每条直线y＝kjx+bj，j＝1，2，…，N2，获取直线y＝kjx+bj的第一个像素点(xj1,yj1)和最后一个像素点(xj2,yj2)，在y方向上按将直线进行分段，获取对应的x方向上的长度，并将其放入LineHist数组中，采用聚类算法对LineHist数组进行聚类，将获取的聚类值最大的两条直线分别作为上边界和下边界；
左右边界获取步骤，分别扫描上边界、下边界，将上边界的第一个像素点和下边界的第一个像素点构成的直线作为左边界，将上边界的最后一个像素点和下边界的最后一个像素点构成的直线作为右边界；
前车窗区域提取步骤，将上边界、左边界、右边界、下边界围成的矩形区域标记为前车窗区域；
其中，所述λ1∈[1.2,1].8，λ2∈[4.2,4.8]，λ3∈[0.3,0.8]，Th_F∈[10,30]，Th_θ∈[5°,15°]，Th_S∈[5,20]。
2.如权利要求1所述的方法，其特征在于，所述第一步骤包括：
样本选取步骤，分别选取SINum1个正常佩戴安全带的驾驶位和副驾驶位图像、SINum2个异常佩戴安全带的驾驶位和副驾驶位图像、SINum3个未佩戴安全带的驾驶位和副驾驶位图像作为样本图像，并将样本图像缩放为宽度为Width、高度为Height，若样本图像为彩色图像，对样本图像进行灰度化处理，获取灰度的样本图像；
初步样本训练步骤，利用深度卷积神经网络对灰度的样本图像进行训练，获取初步训练好的模型；
二次训练步骤，选取TINum个由正常佩戴安全带、异常佩戴安全带、未佩戴安全带的驾驶位和副驾驶位图像组成的测试图像，并将测试图像缩放为宽度Width、高度为Height，若测试图像为彩色图像，对测试图像进行灰度化处理，获取灰度的测试图像，利用初步训练好的模型对灰度的测试图像进行反复训练，直至模型收敛，将收敛的模型作为安全带佩戴识别模型输出；
其中，所述二次训练步骤包括：
测试图像选取步骤，选取TINum个测试图像，测试图像由正常佩戴安全带、异常佩戴安全带、未佩戴安全带的驾驶位和副驾驶位图像组成，并将测试图像缩放为宽度Width、高度为Height，若测试图像为彩色图像，对测试图像进行灰度化处理，获取灰度的测试图像；
训练特征提取步骤，根据初步训练好的模型提取灰度的测试图像的特征；
训练分类判定步骤，计算灰度的测试图像的特征与正常佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi1、与异常佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi2、以及与未佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi3，选取Simik值最大的安全带佩戴类别作为候选安全带佩戴类别，k表示第k个类别，k＝{1,2,3}；
反复训练步骤，计算判定结果与真实结果的误差，利用反向传播算法来训练模型，重复训练特征提取步骤和训练分类判定步骤，直至该模型收敛，将收敛的模型作为安全带佩戴识别模型并输出；
其中，所述SINum1≤1000，SINum2≥1000，SINum3≥1000，Width∈[64,192]，Height∈[64,192]，TINum≥1000。
3.如权利要求2所述的方法，所述深度卷积神经网络包括：
输入层，输入Width*Height的图像；
第一层卷积层，输出Th_CK1个卷积核，卷积核的大小为CKSi1*CKSi1、步长为1；
第一层采样层，采用池化算法输出大小为KSi*KSi、步长为KSi的采样核；
第二层卷积层，输出Th_CK2个卷积核，卷积核的大小为CKSi2*CKSi2、步长为1；
第二层采样层，采用池化算法输出大小为KSi*KSi、步长为KSi的采样核；
第一层全连接层，采用激活函数，输出Th_Neur个神经元；
第二层全连接层，输出3个神经元，即3个安全带佩戴类别；
其中，所述Th_CK1∈[6,20]，CKSi1∈[3,7]，KSi∈[2,4]，Th_CK2∈[10,40]，CKSi2∈[3,5]，Th_Neur∈[80,10000]。
4.如权利要求1所述的方法，其特征在于，所述第四步骤包括：
副驾驶位区域获取步骤，根据前车窗区域的左边边界x＝fwl、右边边界x＝fwr、上边边界y＝fwt、下边边界y＝fwb，设置副驾驶位区域的左边边界为x＝fwl+λ7*(fwr-fwl)，右边边界为上边边界为y＝fwt，下边边界为y＝fwb，并将设置的副驾驶位区域的左边边界、右边边界、上边边界、下边边界所围成的矩形区域标记为副驾驶位区域；
驾驶位区域获取步骤，根据前车窗区域的左边边界x＝fwl、右边边界x＝fwr、上边边界y＝fwt、下边边界y＝fwb，设置驾驶位区域的左边边界为右边边界为x＝fwr-λ7*(fwr-fwl)，上边边界为y＝fwt，下边边界为y＝fwb，并将设置的驾驶位区域的左边边界、右边边界、上边边界、下边边界所围成的矩形区域标记为驾驶位区域；
其中，所述λ7∈[0.02,0.15]，λ8∈[0.1,0.2]。
5.如权利要求1所述的方法，所述第六步骤包括：
副驾驶位区域预处理步骤，将副驾驶位区域缩放为宽度为Width、高度为Height，若副驾驶位区域为彩色图像，则对副驾驶位区域进行灰度化处理，获取灰度化的副驾驶位区域；
副驾驶位区域特征提取步骤，利用安全带佩戴识别模型提取灰度化的副驾驶位区域的特征；
副驾驶位安全带佩戴类别判定步骤，计算副驾驶位区域的特征与正常佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi1、与异常佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi2、以及与未佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi3，比较Simi1、Simi2、Simi3三个值的大小，若Simi2值最大，则将副驾驶位区域标记为异常佩戴安全带，若Simi3值最大，则将副驾驶位区域标记为未佩戴安全带。
6.如权利要求1所述的方法，所述第七步骤进一步包括：
驾驶位区域预处理步骤，将驾驶位区域缩放为宽度为Width、高度为Height，若驾驶位区域为彩色图像，则对驾驶位区域进行灰度化处理，获取灰度化的驾驶位区域；
驾驶位区域特征提取步骤，利用安全带佩戴识别模型提取灰度化的驾驶位区域的特征；
驾驶位安全带佩戴类别判定步骤，计算驾驶位区域的特征与正常佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi1、与异常佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi2、以及与未佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi3，比较Simi1、Simi2、Simi3三个值的大小，若Simi2值最大，则将驾驶位区域标记为异常佩戴安全带，若Simi3值最大，则将驾驶位区域标记为未佩戴安全带。
7.一种安全带佩戴识别装置，其特征在于，该装置包括：
安全带佩戴识别模型训练模块(1)，用于选取标签的正常佩戴安全带、异常佩戴安全带、未佩戴安全带的驾驶位和副驾驶位图像作为样本图像，采用深度卷积神经网络进行训练，获取训练好的安全带佩戴识别模型；
车牌区域获取模块(2)，用于通过车牌定位算法获取场景图像中的车牌区域；前车窗区域获取模块(3)，用于根据车牌区域获取前车窗区域；
驾驶位和副驾驶位区域提取模块(4)，用于根据前车窗区域提取驾驶位区域和副驾驶位区域；
副驾驶位人脸检测模块(5)，用于采用人脸检测算法检测副驾驶位区域，若副驾驶位区域存在人脸，则转入副驾驶位安全带佩戴识别模块(6)，否则直接转入驾驶位安全带佩戴识别模块(7)；
副驾驶位安全带佩戴识别模块(6)，用于利用训练好的安全带佩戴识别模型对副驾驶位区域进行识别，若识别出副驾驶位区域异常佩戴安全带或者未佩戴安全带，则对副驾驶位区域进行标注；
驾驶位安全带佩戴识别模块(7)，用于利用训练好的安全带佩戴识别模型对驾驶位区域进行识别，若识别出驾驶位区域异常佩戴安全带或者未佩戴安全带，则对驾驶位区域进行标注；以及
标注区域输出模块(8)，用于输出标注异常佩戴安全带或者未佩戴安全带的区域；其中，所述前车窗区域获取模块(3)包括：
候选前车窗区域获取模块(31)，用于根据车牌区域获取车牌区域的左边边界x＝pl、右边边界x＝pr、上边边界y＝pt、下边边界y＝pb，设置候选前车窗区域的左边边界为右边边界为上边边界为下边边界为并将设置的候选前车窗区域的左边边界、右边边界、上边边界、下边边界所围成的矩形区域标记为候选前车窗区域，Wp为车牌区域的宽度，W为采集图像的宽度，λ3＜λ2；
竖直边缘获取模块(32)，用于将候选前车窗区域进行灰度化处理，获取灰度的候选区域，采用滤波器，获取灰度的候选区域的竖直边缘图像；二值图像获取模块(33)，用于采用阈值Th_F对数值边缘图像进行分割，获取二值图像；
直线检测模块(34)，用于采用Hough变换直线检测算法对二值图像进行处理，获取检测的直线序列y＝kix+bi，j＝1，2，…，N1，N1为直线的数量；
直线筛选模块(35)，用于若arctan|ki|≤Th_θ，则保留该直线，否则删除该直线，由此得到剩余的直线序列y＝kjx+bj，j＝1，2，…，N2，N2为剩余直线的数量；上下边界获取模块(36)，用于扫描每条直线y＝kjx+bj，j＝1，2，…，N2，获取直线y＝kjx+bj的第一个像素点(xj1,yj1)和最后一个像素点(xj2,yj2)，在y方向上按将直线进行分段，获取对应的x方向上的长度，并将其放入LineHist数组中，采用聚类算法对LineHist数组进行聚类，将获取的聚类值最大的两条直线分别作为上边界和下边界；
左右边界获取模块(37)，用于分别扫描上边界、下边界，将上边界的第一个像素点和下边界的第一个像素点构成的直线作为左边界，将上边界的最后一个像素点和下边界的最后一个像素点构成的直线作为右边界；
前车窗区域提取模块(38)，用于将上边界、左边界、右边界、下边界围成的矩形区域标记为前车窗区域；
其中，所述λ1∈[1.2,1.8]，λ2∈[4.2,4.8]，λ3∈[0.3,0.8]，Th_F∈[10,30]，Th_θ∈[5°,15°]，Th_S∈[5,20]。
8.如权利要求7所述的装置，其特征在于，所述安全带佩戴识别模型训练模块(1)包括：
样本选取模块(11)，用于分别选取SINum1个正常佩戴安全带的驾驶位和副驾驶位图像、SINum2个异常佩戴安全带的驾驶位和副驾驶位图像、SINum3个未佩戴安全带的驾驶位和副驾驶位图像作为样本图像，并将样本图像缩放为宽度为Width、高度为Height，若样本图像为彩色图像，对样本图像进行灰度化处理，获取灰度的样本图像；
初步样本训练模块(12)，用于利用深度卷积神经网络对灰度的样本图像进行训练，获取初步训练好的模型；
二次训练模块(13)，用于选取TINum个由正常佩戴安全带、异常佩戴安全带、未佩戴安全带的驾驶位和副驾驶位图像组成的测试图像，并将测试图像缩放为宽度Width、高度为Height，若测试图像为彩色图像，对测试图像进行灰度化处理，获取灰度的测试图像，利用初步训练好的模型对灰度的测试图像进行反复训练，直至模型收敛，将收敛的模型作为安全带佩戴识别模型输出；
其中，所述二次训练模块(13)包括：
测试图像选取模块(131)，用于选取TINum个测试图像，测试图像由正常佩戴安全带、异常佩戴安全带、未佩戴安全带的驾驶位和副驾驶位图像组成，并将测试图像缩放为宽度Width、高度为Height，若测试图像为彩色图像，对测试图像进行灰度化处理，获取灰度的测试图像；
训练特征提取模块(132)，用于根据初步训练好的模型提取灰度的测试图像的特征；
训练分类判定模块(133)，用于计算灰度的测试图像的特征与正常佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi1、与异常佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi2、以及与未佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi3，选取Simik值最大的安全带佩戴类别作为候选安全带佩戴类别，k表示第k个类别，k＝{1,2,3}；
反复训练模块(134)，用于计算判定结果与真实结果的误差，利用反向传播算法来训练模型，重复训练特征提取模块(132)和训练分类判定模块(133)，直至该模型收敛，将收敛的模型作为安全带佩戴识别模型并输出；
其中，所述SINum1≥1000，SINum2≥1000，SINum3≥1000，Width∈[64,192]，Height∈[64,192]，TINum≥1000。
9.如权利要求8所述的装置，所述深度卷积神经网络包括：
输入层，输入Width*Height的图像；
第一层卷积层，输出Th_CK1个卷积核，卷积核的大小为CKSi1*CKSi1、步长为1；
第一层采样层，采用池化算法输出大小为KSi*KSi、步长为KSi的采样核；
第二层卷积层，输出Th_CK2个卷积核，卷积核的大小为CKSi2*CKSi2、步长为1；
第二层采样层，采用池化算法输出大小为KSi*KSi、步长为KSi的采样核；
第一层全连接层，采用激活函数，输出Th_Neur个神经元；
第二层全连接层，输出3个神经元，即3个安全带佩戴类别；
其中，所述Th_CK1∈[6,20]，CKSi1∈[3,7]，KSi∈[2,4]，Th_CK2∈[10,40]，CKSi2∈[3,5]，Th_Neur∈[80,10000]。
10.如权利要求7所述的装置，其特征在于，所述驾驶位和副驾驶位区域提取模块(4)包括：
副驾驶位区域获取模块(41)，用于根据前车窗区域的左边边界x＝fwl、右边边界x＝fwr、上边边界y＝fwt、下边边界y＝fwb，设置副驾驶位区域的左边边界为x＝fwl+λ7*(fwr-fwl)，右边边界为上边边界为y＝fwt，下边边界为y＝fwb，并将设置的副驾驶位区域的左边边界、右边边界、上边边界、下边边界所围成的矩形区域标记为副驾驶位区域；
驾驶位区域获取模块(42)，用于根据前车窗区域的左边边界x＝fwl、右边边界x＝fwr、上边边界y＝fwt、下边边界y＝fwb，设置驾驶位区域的左边边界为右边边界为x＝fwr-λ7*(fwr-fwl)，上边边界为y＝fwt，下边边界为y＝fwb，并将设置的驾驶位区域的左边边界、右边边界、上边边界、下边边界所围成的矩形区域标记为驾驶位区域；
其中，所述λ7∈[0.02,0.15]，λ8∈[0.1,0.2]。
11.如权利要求7所述的装置，所述副驾驶位安全带佩戴识别模块(6)包括：副驾驶位区域预处理模块(61)，用于将副驾驶位区域缩放为宽度为Width、高度为Height，若副驾驶位区域为彩色图像，则对副驾驶位区域进行灰度化处理，获取灰度化的副驾驶位区域；
副驾驶位区域特征提取模块(62)，用于利用安全带佩戴识别模型提取灰度化的副驾驶位区域的特征；
副驾驶位安全带佩戴类别判定模块(63)，用于计算副驾驶位区域的特征与正常佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi1、与异常佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi2、以及与未佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi3，比较Simi1、Simi2、Simi3三个值的大小，若Simi2值最大，则将副驾驶位区域标记为异常佩戴安全带，若Simi3值最大，则将副驾驶位区域标记为未佩戴安全带。
12.如权利要求7所述的装置，所述驾驶位安全带佩戴识别模块(7)包括：
驾驶位区域预处理模块(71)，用于将驾驶位区域缩放为宽度为Width、高度为Height，若驾驶位区域为彩色图像，则对驾驶位区域进行灰度化处理，获取灰度化的驾驶位区域；
驾驶位区域特征提取模块(72)，用于利用安全带佩戴识别模型提取灰度化的驾驶位区域的特征；
驾驶位安全带佩戴类别判定模块(73)，用于计算驾驶位区域的特征与正常佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi1、与异常佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi2、以及与未佩戴安全带的驾驶位和副驾驶位图像的特征的相似度Simi3，比较Simi1、Simi2、Simi3三个值的大小，若Simi2值最大，则将驾驶位区域标记为异常佩戴安全带，若Simi3值最大，则将驾驶位区域标记为未佩戴安全带。
CN201610892329.2A 2016-10-13 2016-10-13 一种安全带佩戴识别方法及装置 Active CN106485224B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610892329.2A CN106485224B (zh) 2016-10-13 2016-10-13 一种安全带佩戴识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610892329.2A CN106485224B (zh) 2016-10-13 2016-10-13 一种安全带佩戴识别方法及装置

Publications (2)

Publication Number Publication Date
CN106485224A CN106485224A (zh) 2017-03-08
CN106485224B true CN106485224B (zh) 2019-07-16

Family

ID=58269253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610892329.2A Active CN106485224B (zh) 2016-10-13 2016-10-13 一种安全带佩戴识别方法及装置

Country Status (1)

Country Link
CN (1) CN106485224B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107766802B (zh) * 2017-09-29 2020-04-28 广州大学 一种机动车前排驾乘人员未扣安全带的自适应检测方法
CN108182385B (zh) * 2017-12-08 2020-05-22 华南理工大学 一种用于智能交通系统的驾驶员安全带佩戴识别方法
CN109987102A (zh) * 2018-01-03 2019-07-09 田文洪 一种基于卷积神经网络的高精度自动识别驾驶员不安全行为的方法与装置
CN108710857B (zh) * 2018-05-22 2022-05-17 深圳前海华夏智信数据科技有限公司 基于红外补光的人车识别方法及装置
CN108898054B (zh) * 2018-05-24 2020-08-07 合肥工业大学 一种基于语义分割的安全带检测方法
CN110569732B (zh) * 2019-08-09 2024-07-23 径卫视觉科技（上海）有限公司 一种基于驾驶员监控系统的安全带检测方法以及相应的设备
CN113255395B (zh) * 2020-02-07 2024-06-11 深圳云天励飞技术有限公司 驾驶人员区域定位方法、装置、电子设备及存储介质
CN111814636A (zh) * 2020-06-29 2020-10-23 北京百度网讯科技有限公司 一种安全带检测方法、装置、电子设备及存储介质
CN111914671B (zh) * 2020-07-08 2024-09-03 浙江大华技术股份有限公司 一种安全带检测方法、装置、电子设备及存储介质
CN111860259B (zh) * 2020-07-10 2024-07-09 广东正扬传感科技股份有限公司 驾驶检测模型的训练、使用方法、装置、设备及介质
JP7481995B2 (ja) * 2020-10-28 2024-05-13 株式会社東芝 状態判定装置、方法およびプログラム
CN114758324A (zh) * 2020-12-26 2022-07-15 虹软科技股份有限公司 安全带佩戴检测方法、装置、存储介质及处理器
CN112949379A (zh) * 2020-12-30 2021-06-11 南京佑驾科技有限公司 一种基于视觉的安全带检测方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999749A (zh) * 2012-12-21 2013-03-27 广东万安科技股份有限公司 基于人脸检测的安全带违章事件智能检测方法
CN104680156A (zh) * 2015-03-23 2015-06-03 山东农业大学 基于机器视觉的机动车前排未系安全带识别系统及方法
CN106022285A (zh) * 2016-05-30 2016-10-12 北京智芯原动科技有限公司 一种基于卷积神经网络的车款识别方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070195990A1 (en) * 2006-02-16 2007-08-23 Uri Levy Vision-Based Seat Belt Detection System

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999749A (zh) * 2012-12-21 2013-03-27 广东万安科技股份有限公司 基于人脸检测的安全带违章事件智能检测方法
CN104680156A (zh) * 2015-03-23 2015-06-03 山东农业大学 基于机器视觉的机动车前排未系安全带识别系统及方法
CN106022285A (zh) * 2016-05-30 2016-10-12 北京智芯原动科技有限公司 一种基于卷积神经网络的车款识别方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于深度学习的安全带检测系统;王猛;《电脑知识与技术》;20160425;第240-241页
智能交通中的违章识别算法研究;黎华东;《中国优秀硕士学位论文全文数据库信息科技辑》;20150215;第1.3节、第4章、第5.4节

Also Published As

Publication number Publication date
CN106485224A (zh) 2017-03-08

Similar Documents

Publication Publication Date Title
CN106485224B (zh) 一种安全带佩戴识别方法及装置
CN106056071B (zh) 一种驾驶员打电话行为的检测方法及装置
CN107423690B (zh) 一种人脸识别方法及装置
Agaian et al. Automated screening system for acute myelogenous leukemia detection in blood microscopic images
CN105488453B (zh) 一种基于图像处理的驾驶员未系安全带检测识别方法
CN109711264B (zh) 一种公交车道占道检测方法及装置
Sulaiman et al. Development of automatic vehicle plate detection system
CN104217217B (zh) 一种基于两层分类的车辆标志物检测方法与系统
Kashevnik et al. Seat belt fastness detection based on image analysis from vehicle in-abin camera
CN104835175A (zh) 一种基于视觉注意机制的核环境中目标检测方法
CN105184301B (zh) 一种利用四轴飞行器判别车辆方位的方法
CN106022242B (zh) 智能交通系统中的驾驶员接打电话识别方法
Ferreira et al. Eyes in the skies: A data-driven fusion approach to identifying drug crops from remote sensing images
CN108009574A (zh) 一种轨道扣件检测方法
CN109977862A (zh) 一种车位限位器的识别方法
CN107392115B (zh) 一种基于分层特征提取的交通标志识别方法
Reddy et al. A Deep Learning Model for Traffic Sign Detection and Recognition using Convolution Neural Network
CN115984830A (zh) 安全带佩戴检测方法、装置、设备及存储介质
Chiang et al. Road speed sign recognition using edge-voting principle and learning vector quantization network
EP3158543B1 (de) Verfahren zum detektieren eines blickwinkelabhängigen merkmals eines dokumentes
CN105117696A (zh) 一种基于小线分析的未系安全带自动检测方法
CN104966064A (zh) 基于视觉的前方行人测距方法
Anagnostopoulos et al. Using sliding concentric windows for license plate segmentation and processing
CN105488532B (zh) 一种车牌筛选方法及装置
CN105740783B (zh) 基于姿态检测与衣帽特征的交警检测方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220512

Address after: 100176 room 619b, block a, building 1, courtyard 19, Ronghua Middle Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing

Patentee after: Beijing yunshang Zhiwei Technology Co.,Ltd.

Address before: Room 1522, block a, Beichen Century Center, No.2, courtyard 8, Beichen West Road, Chaoyang District, Beijing 100101

Patentee before: Beijing ICETech Science & Technology Co.,Ltd.

TR01 Transfer of patent right
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20170308

Assignee: Zhongguancun Technology Leasing Co.,Ltd.

Assignor: Beijing yunshang Zhiwei Technology Co.,Ltd.

Contract record no.: X2022980007184

Denomination of invention: A safety belt wearing identification method and device

Granted publication date: 20190716

License type: Exclusive License

Record date: 20220606

PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A safety belt wearing identification method and device

Effective date of registration: 20220608

Granted publication date: 20190716

Pledgee: Zhongguancun Technology Leasing Co.,Ltd.

Pledgor: Beijing yunshang Zhiwei Technology Co.,Ltd.

Registration number: Y2022980007352

PE01 Entry into force of the registration of the contract for pledge of patent right
EC01 Cancellation of recordation of patent licensing contract
EC01 Cancellation of recordation of patent licensing contract

Assignee: Zhongguancun Technology Leasing Co.,Ltd.

Assignor: Beijing yunshang Zhiwei Technology Co.,Ltd.

Contract record no.: X2022980007184

Date of cancellation: 20231128

PC01 Cancellation of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20231127

Granted publication date: 20190716

Pledgee: Zhongguancun Technology Leasing Co.,Ltd.

Pledgor: Beijing yunshang Zhiwei Technology Co.,Ltd.

Registration number: Y2022980007352