CN108898054A - 一种基于语义分割的安全带检测方法 - Google Patents

一种基于语义分割的安全带检测方法 Download PDF

Info

Publication number
CN108898054A
CN108898054A CN201810507470.5A CN201810507470A CN108898054A CN 108898054 A CN108898054 A CN 108898054A CN 201810507470 A CN201810507470 A CN 201810507470A CN 108898054 A CN108898054 A CN 108898054A
Authority
CN
China
Prior art keywords
convolutional layer
convolutional
picture
output
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810507470.5A
Other languages
English (en)
Other versions
CN108898054B (zh
Inventor
卫星
张海涛
韩江洪
乔轩元
李佳
张乾威
何海涛
陆阳
张建军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN201810507470.5A priority Critical patent/CN108898054B/zh
Publication of CN108898054A publication Critical patent/CN108898054A/zh
Application granted granted Critical
Publication of CN108898054B publication Critical patent/CN108898054B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于语义分割的安全带检测方法,所述基于语义分割的安全带检测方法包括:获取车辆的正面图像,将所述正面图像划分为训练集和测试集,并对所述正面图像中的司机和安全带分别进行标注,得到司机图片集和安全带图片集,将所述训练集输入第一卷积神经网络,完成对司机特征检测的参数训练,得到司机特征检测的结果图Pi,将所述训练集输入第二卷积神经网络,完成对安全带特征检测的参数训练,得到安全带特征检测的结果图Pk,根据所述司机特征检测的结果图Pi和安全带特征检测的结果图Pk,得到司机是否佩戴安全带。本发明能够训练大量的图片,大大的提高了卷积神经网络对司机和安全带检测的准确性,能够快速的检测出安全带的配带情况。

Description

一种基于语义分割的安全带检测方法
技术领域
本发明涉及图像检测技术领域,特别是涉及一种基于语义分割的安全带检测方法。
背景技术
随着时代的发展,科技的进步,汽车已经逐渐成为人们出门不可或缺的工具,但是,随着汽车的大量增加,交通事故频发,人们出行却经常不佩戴安全带,给出行带来了隐患。为了使交通事故减少,已经加大对不佩戴安全带惩处力度,但人为的去查看摄像机拍摄的照片,不仅浪费了大量的人力,效率也较为低下,卷积神经网络的提出,可以有效的解决这种情况。
目前,在有关检测安全带配带的领域,存在下面的方法进行检测:
现有技术中使用一种新型的反馈增量式卷积神经网络训练方法以及信息多分支最终评估值获取方法提高了卷积神经网络的检测精度,同时借助随机多尺度选取安全带目标候选区域方法,提高了检测操作的灵活性,但是使用的卷积神经网络较为落后,效率还是较为低下,不适合大量的图片训练和使用,同时对于候选区域的选取有很大的误差,不能精确地选择司机的位置,也无法快速的检测出安全带的配带情况。
现有技术中还使用haar特征区间检测人脸,根据人脸区域确定前排位置,将前排位置分为主驾驶和副驾驶进行安全带的检测。这种方法效率低,效果差,当前排较复杂时,便不能检测出人脸区域,造成错误的检测。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供一种基于语义分割的安全带检测方法,用于解决现有技术中无法快速的检测出安全带的配带情况,检测方法效率低,效果差的问题。
为实现上述目的及其他相关目的,本发明提供一种基于语义分割的安全带检测方法,所述基于语义分割的安全带检测方法包括:获取车辆的正面图像,将所述正面图像划分为训练集和测试集,并对所述正面图像中的司机和安全带分别进行标注,得到司机图片集和安全带图片集;将所述训练集输入第一卷积神经网络,完成对司机特征检测的参数训练,得到司机特征检测的结果图Pi;将所述训练集输入第二卷积神经网络,完成对安全带特征检测的参数训练,得到安全带特征检测的结果图Pk;根据所述司机特征检测的结果图Pi和安全带特征检测的结果图Pk,得到司机是否佩戴安全带;将所述测试集分别输入第一卷积神经网络和第二卷积神经网络,得到司机特征检测的测试结果图Pi′和安全带特征检测的结果图Pk′,判断是否继续训练。
作为本发明的一种优选方案,将所述训练集输入第一卷积神经网络,完成对司机特征检测的参数训练,得到司机特征检测的结果图Pi包括:
选取19层卷积神经网络作为第一卷积神经网络,所述第一卷积神经网络依次包括第一卷积层、第二池化层、第三卷积层、第四池化层、第五卷积层、第六卷积层、第七卷积层、第八池化层、第九卷积层、第十卷积层、第十一卷积层、第十二池化层、第十三卷积层、第十四卷积层、第十五卷积层、第十六池化层、第十七反卷积层、第十八反卷积层、第十九反卷积层;所述第一卷积神经网络的图片输入的维度为224×224×3,所述第一卷积层输出的图片维度为224×224×32,第二池化层输出的图片维度为112×112×32,第三卷积层输出的图片维度为112×112×64,第四池化层输出的图片维度为56×56×64,第五卷积层输出的图片维度为56×56×128,第六卷积层输出的图片维度为56×56×64,第七卷积层输出的图片维度为56×56×128,第八池化层输出的图片维度为28×28×128,第九卷积层输出的图片维度为28×28×256,第十卷积层输出的图片维度为28×28×128,第十一卷积层输出的图片维度为28×28×512,第十二池化层输出的图片维度为14×14×512,第十三卷积层输出的图片维度为14×14×1024,第十四卷积层输出的图片维度为14×14×512,第十五卷积层输出的图片维度为14×14×1024,第十六池化层输出的图片维度为7×7×1024,第十七反卷积层输出的图片维度为28×28×128,第十八反卷积层输出的图片维度为112×112×32,第十九反卷积层输出的图片维度为224×224×3;
所述第一卷积层的卷积核为3×3,第三卷积层的卷积核为3×3,第五卷积层的卷积核为3×3,第六卷积层的卷积核为1×1,第七卷积层的卷积核为3×3,第九卷积层的卷积核为3×3,第十卷积层的卷积核为1×1,第十一卷积层的卷积核为3×3,第十三卷积层的卷积核为3×3,第十四卷积层的卷积核为1×1,第十五卷积层的卷积核为3×3;
向第一卷积神经网络输入司机图片集,在第一卷积神经网络的第一卷积层至第十六池化层中,利用公式(1)对第一卷积神经网络进行正向传播和反向传播;
xj=F(xj-1)+Wxi(1)
其中,xj表示矩阵的输出,xj-1表示矩阵的输入,xi表示矩阵的输入,i,j均表示第一卷积神经网络的层数,其中j>i,F(xj-1)表示对xj-1进行卷积操作,W表示调整维度矩阵;
在第一卷积神经网络的第十七反卷积层至第十九反卷积层中,通过上采样反卷积方式,即对第十六池化层输出的图片维度进行还原放大,所述第十七反卷积层、第十八反卷积层、第十九反卷积层分别使用不同大小的卷积核,所述卷积核的大小利用线性递增的方式设定,第十九反卷积层输出的图片中司机的颜色为蓝色;
构造第一卷积神经网络的损失函数为公式(2),
其中,n表示样本编号,y表示第一卷积神经网络的期望输出,a表示第一卷积神经网络的实际输出,ln表示取对数操作,当J<0.001,完成对司机特征检测的参数训练,得到司机特征检测的结果图Pi
作为本发明的一种优选方案,将所述训练集输入第二卷积神经网络,完成对安全带特征检测的参数训练,得到安全带特征检测的结果图Pk包括:
选取16层卷积神经网络作为第二卷积神经网络,所述第二卷积神经网络依次包括第二十卷积层、第二十一池化层、第二十二卷积层、第二十三卷积层、第二十四卷积层、第二十五卷积层、第二十六卷积层、第二十七池化层、第二十八卷积层、第二十九卷积层、第三十卷积层、第三十一卷积层、第三十二卷积层、第三十三池化层、第三十四反卷积层、第三十五反卷积层;所述第二卷积神经网络的图片输入的维度为224×224×3,所述第二十卷积层输出的图片维度为224×224×32,第二十一池化层输出的图片维度为112×112×32,第二十二卷积层输出的图片维度为112×112×32、第二十三卷积层输出的图片维度为112×112×32、第二十四卷积层输出的图片维度为112×112×64、第二十五卷积层输出的图片维度为112×112×32、第二十六卷积层输出的图片维度为112×112×64、第二十七池化层输出的图片维度为56×56×64、第二十八卷积层输出的图片维度为56×56×128、第二十九卷积层输出的图片维度为56×56×64、第三十卷积层输出的图片维度为56×56×128、第三十一卷积层输出的图片维度为56×56×64、第三十二卷积层输出的图片维度为56×56×128、第三十三池化层输出的图片维度为28×28×128、第三十四反卷积层输出的图片维度为56×56×64、第三十五反卷积层输出的图片维度为224×224×3;
所述第二十卷积层的卷积核为3×3,第二十二卷积层的卷积核为3×3,第二十三卷积层的卷积核为3×3,第二十四卷积层的卷积核为3×3,第二十五卷积层的卷积核为1×1,第二十六卷积层的卷积核为3×3,第二十八卷积层的卷积核为3×3,第二十九卷积层的卷积核为1×1,第三十卷积层的卷积核为3×3,第三十一卷积层的卷积核为1×1,第三十二卷积层的卷积核为3×3;
向第二卷积神经网络输入安全带图片集,在第二卷积神经网络的第二十卷积层至第三十三池化层中,利用公式(3)对第二卷积神经网络进行正向传播和反向传播;
xj=F(xj-1)+xi(3)
其中,xj表示矩阵的输出,xj-1表示矩阵的输入,xi表示矩阵的输入,i,j均表示第二卷积神经网络的层数,其中j>i,F(xj-1)表示对xj-1进行卷积操作;
在第二卷积神经网络的第三十四反卷积层和第三十五反卷积层中,通过上采样反卷积方式,即对第三十三池化层输出的图片维度进行还原放大,所述第三十四反卷积层、第三十五反卷积层分别使用不同大小的卷积核,所述卷积核的大小利用线性递增的方式设定,第三十五反卷积层输出的图片中安全带的颜色为黄色;
构造第二卷积神经网络的损失函数为公式(2),完成对安全带特征检测的参数训练,得到安全带特征检测的结果图Pk
作为本发明的一种优选方案,根据所述司机特征检测的结果图Pi和安全带特征检测的结果图Pk,得到司机是否佩戴安全带包括:
判断第一卷积神经网络输出的图片,如果图片中蓝色面积大于第一固定阈值,找出能够包围蓝色面积的矩形框即蓝色矩形框,得出蓝色矩形框的左上角和右下角的坐标;
判断第二卷积神经网络输出的图片,如果图片中不存在黄色,则司机未佩戴安全带,如果图片中黄色面积大于第二固定阈值,找出能够包围黄色面积的矩形框即黄色矩形框,得出黄色矩形框的左上角和右下角的坐标;
判断黄色矩形框和蓝色矩形框的交集与黄色矩形框之间的比值,如果比值大于第三固定阈值,则司机佩戴安全带,如果比值小于第三固定阈值,则司机未佩戴安全带。
作为本发明的一种优选方案,所述第一固定阈值为0.35。
作为本发明的一种优选方案,所述第二固定阈值为0.10。
作为本发明的一种优选方案,所述第三固定阈值为0.95。
本发明还提供了一种存储介质,存储有程序指令,所述程序指令被执行时实现上述的基于语义分割的安全带检测方法。
本发明还提供了一种电子设备,包括处理器和存储器,所述存储器存储有程序指令,所述处理器运行程序指令实现上述的基于语义分割的安全带检测方法。
如上所述,本发明的一种基于语义分割的安全带检测方法,具有以下有益效果:
1、本发明通过采用两个不同的卷积神经网络对司机和安全带单独检测,利用了卷积核递增的方法,本发明能够训练大量的图片,大大的提高了卷积神经网络对司机和安全带检测的准确性,能够快速的检测出安全带的配带情况,降低了人们出行发生车祸后造成伤亡的可能性。
2、本发明在反卷积层,使用上采样方法增大图片的维度,在改变通道数的时候,使用卷积核递增的方式来增大感受野的大小,提高了图片的识别率。
附图说明
图1显示为本发明的基于语义分割的安全带检测方法的流程示意图;
图2显示为本发明的第一卷积神经网络的结构示意图;
图3显示为本发明的第二卷积神经网络的结构示意图。
元件标号说明
S1~S5步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
本实施例提供一种基于语义分割的安全带检测方法,本发明能够训练大量的图片,大大的提高了卷积神经网络对司机和安全带检测的准确性,能够快速的检测出安全带的配带情况,降低了人们出行发生车祸后造成伤亡的可能性。
本实施例提供了一种基于语义分割的安全带检测方法,具体地,请参阅图1,所述基于语义分割的安全带检测方法包括:
S1、获取车辆的正面图像,将所述正面图像划分为训练集和测试集,并对所述正面图像中的司机和安全带分别进行标注,得到司机图片集和安全带图片集。
将车辆的正面图像按照98:2的方式划分为训练集和测试集。
具体地,在步骤S1中,车辆的正面图像为10万张,训练集为9万8千张,测试集为2千张。
S2、将所述训练集输入第一卷积神经网络,完成对司机特征检测的参数训练,得到司机特征检测的结果图Pi
S3、将所述训练集输入第二卷积神经网络,完成对安全带特征检测的参数训练,得到安全带特征检测的结果图Pk
S4、根据所述司机特征检测的结果图Pi和安全带特征检测的结果图Pk,得到司机是否佩戴安全带。
S5、将所述测试集分别输入第一卷积神经网络和第二卷积神经网络,得到司机特征检测的测试结果图Pi′和安全带特征检测的结果图Pk′,判断是否继续训练。
得到司机特征检测的测试结果图Pi′和安全带特征检测的结果图Pk′后,判断司机特征检测的测试结果图Pi′和安全带特征检测的结果图Pk′与实际结果的准确性,当准确性大于99时,即可停止训练。
具体地,在本实施例中,将所述训练集输入第一卷积神经网络,完成对司机特征检测的参数训练,得到司机特征检测的结果图Pi包括:
请参阅图2,选取19层卷积神经网络作为第一卷积神经网络,所述第一卷积神经网络依次包括第一卷积层、第二池化层、第三卷积层、第四池化层、第五卷积层、第六卷积层、第七卷积层、第八池化层、第九卷积层、第十卷积层、第十一卷积层、第十二池化层、第十三卷积层、第十四卷积层、第十五卷积层、第十六池化层、第十七反卷积层、第十八反卷积层、第十九反卷积层;所述第一卷积神经网络的图片输入的维度为224×224×3,所述第一卷积层输出的图片维度为224×224×32,第二池化层输出的图片维度为112×112×32,第三卷积层输出的图片维度为112×112×64,第四池化层输出的图片维度为56×56×64,第五卷积层输出的图片维度为56×56×128,第六卷积层输出的图片维度为56×56×64,第七卷积层输出的图片维度为56×56×128,第八池化层输出的图片维度为28×28×128,第九卷积层输出的图片维度为28×28×256,第十卷积层输出的图片维度为28×28×128,第十一卷积层输出的图片维度为28×28×512,第十二池化层输出的图片维度为14×14×512,第十三卷积层输出的图片维度为14×14×1024,第十四卷积层输出的图片维度为14×14×512,第十五卷积层输出的图片维度为14×14×1024,第十六池化层输出的图片维度为7×7×1024,第十七反卷积层输出的图片维度为28×28×128,第十八反卷积层输出的图片维度为112×112×32,第十九反卷积层输出的图片维度为224×224×3;
具体的,所述第一卷积层的卷积核为3×3,第三卷积层的卷积核为3×3,第五卷积层的卷积核为3×3,第六卷积层的卷积核为1×1,第七卷积层的卷积核为3×3,第九卷积层的卷积核为3×3,第十卷积层的卷积核为1×1,第十一卷积层的卷积核为3×3,第十三卷积层的卷积核为3×3,第十四卷积层的卷积核为1×1,第十五卷积层的卷积核为3×3。
向第一卷积神经网络输入司机图片集,在第一卷积神经网络的第一卷积层至第十六池化层中,利用公式(1)对第一卷积神经网络进行正向传播和反向传播;
具体的,在正向传播和反向传播的过程中对卷积层和反卷积层的参数进行训练,梯度下降的方式提高精度,在卷积过程中,使用不同个数的3×3卷积核调整图片通道的大小,在池化过程中,使用3×3卷积核以大小为2的步幅调整图片的维数。
xj=F(xj-1)+Wxi (1)
其中,xj表示矩阵的输出,xj-1表示矩阵的输入,xi表示矩阵的输入,i,j均表示第一卷积神经网络的层数,其中j>i,F(xj-1)表示对xj-1进行卷积操作,W表示调整维度矩阵;
具体的,当xi和xj的维数不同的时,维度的调整则通过卷积核为2×2以步数2的方式进行池化操作,使用1×1的卷积核进行卷积操作调整通道数。
在第一卷积神经网络的第十七反卷积层至第十九反卷积层中,通过上采样反卷积方式,即对第十六池化层输出的图片维度进行还原放大,所述第十七反卷积层、第十八反卷积层、第十九反卷积层分别使用不同大小的卷积核,所述卷积核的大小利用线性递增的方式设定,即1,2,3…的递增方式,用不同的扩张率,扩张率分配服从锯齿波样分布,一定数量的层聚合在一起形成波的上升沿,扩张率逐渐上升。这样做可以从更多的像素获取信息,最后输出的结果是与原图像大小相同的图片,第十九反卷积层输出的图片中司机的颜色为蓝色;
构造第一卷积神经网络的损失函数为公式(2),
其中,n表示样本编号,y表示第一卷积神经网络的期望输出,a表示第一卷积神经网络的实际输出,ln表示取对数操作,当J<0.001,完成对司机特征检测的参数训练,得到司机特征检测的结果图Pi
将所述训练集输入第二卷积神经网络,完成对安全带特征检测的参数训练,得到安全带特征检测的结果图Pk包括:
请参阅图3,选取16层卷积神经网络作为第二卷积神经网络,所述第二卷积神经网络依次包括第二十卷积层、第二十一池化层、第二十二卷积层、第二十三卷积层、第二十四卷积层、第二十五卷积层、第二十六卷积层、第二十七池化层、第二十八卷积层、第二十九卷积层、第三十卷积层、第三十一卷积层、第三十二卷积层、第三十三池化层、第三十四反卷积层、第三十五反卷积层;所述第二卷积神经网络的图片输入的维度为224×224×3,所述第二十卷积层输出的图片维度为224×224×32,第二十一池化层输出的图片维度为112×112×32,第二十二卷积层输出的图片维度为112×112×32、第二十三卷积层输出的图片维度为112×112×32、第二十四卷积层输出的图片维度为112×112×64、第二十五卷积层输出的图片维度为112×112×32、第二十六卷积层输出的图片维度为112×112×64、第二十七池化层输出的图片维度为56×56×64、第二十八卷积层输出的图片维度为56×56×128、第二十九卷积层输出的图片维度为56×56×64、第三十卷积层输出的图片维度为56×56×128、第三十一卷积层输出的图片维度为56×56×64、第三十二卷积层输出的图片维度为56×56×128、第三十三池化层输出的图片维度为28×28×128、第三十四反卷积层输出的图片维度为56×56×64、第三十五反卷积层输出的图片维度为224×224×3;
具体的,所述第二十卷积层的卷积核为3×3,第二十二卷积层的卷积核为3×3,第二十三卷积层的卷积核为3×3,第二十四卷积层的卷积核为3×3,第二十五卷积层的卷积核为1×1,第二十六卷积层的卷积核为3×3,第二十八卷积层的卷积核为3×3,第二十九卷积层的卷积核为1×1,第三十卷积层的卷积核为3×3,第三十一卷积层的卷积核为1×1,第三十二卷积层的卷积核为3×3。
向第二卷积神经网络输入安全带图片集,在第二卷积神经网络的第二十卷积层至第三十三池化层中,利用公式(3)对第二卷积神经网络进行正向传播和反向传播;
在正向传播和反向传播的过程中对卷积层和反卷积层的参数进行训练,梯度下降方式提高精度,在卷积过程中,使用不同个数的3×3卷积核调整图片通道的大小,在池化过程中,使用3×3卷积核以大小为2的步幅调整图片的维数。
xj=F(xj-1)+xi (3)
其中,xj表示矩阵的输出,xj-1表示矩阵的输入,xi表示矩阵的输入,i,j均表示第二卷积神经网络的层数,其中j>i,F(xj-1)表示对xj-1进行卷积操作;
在第二卷积神经网络的第三十四反卷积层和第三十五反卷积层中,通过上采样反卷积方式,即对第三十三池化层输出的图片维度进行还原放大,所述第三十四反卷积层、第三十五反卷积层分别使用不同大小的卷积核,所述卷积核的大小利用线性递增的方式设定,即1,2,3…的递增方式,最后输出的结果是与原图像大小相同的图片,第三十五反卷积层输出的图片中安全带的颜色为黄色;
构造第二卷积神经网络的损失函数为公式(2),完成对安全带特征检测的参数训练,得到安全带特征检测的结果图Pk
根据所述司机特征检测的结果图Pi和安全带特征检测的结果图Pk,得到司机是否佩戴安全带包括:
判断第一卷积神经网络输出的图片,如果图片中蓝色面积大于0.35,找出能够包围蓝色面积的矩形框即蓝色矩形框,得出蓝色矩形框的左上角和右下角的坐标;
判断第二卷积神经网络输出的图片,如果图片中不存在黄色,则司机未佩戴安全带,如果图片中黄色面积大于0.10,找出能够包围黄色面积的矩形框即黄色矩形框,得出黄色矩形框的左上角和右下角的坐标;
判断黄色矩形框和蓝色矩形框的交集与黄色矩形框之间的比值,如果比值大于0.95,则司机佩戴安全带,如果比值小于0.95,则司机未佩戴安全带。
本发明还提供了一种存储介质,存储有程序指令,所述程序指令被执行时实现上述的基于语义分割的安全带检测方法。
一种电子设备,包括处理器和存储器,所述存储器存储有程序指令,所述处理器运行程序指令实现上述的基于语义分割的安全带检测方法。
综上所述,本发明通过采用两个不同的卷积神经网络对司机和安全带单独检测,利用了卷积核递增的方法,本发明能够训练大量的图片,大大的提高了卷积神经网络对司机和安全带检测的准确性,能够快速的检测出安全带的配带情况,降低了人们出行发生车祸后造成伤亡的可能性。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。

Claims (9)

1.一种基于语义分割的安全带检测方法,其特征在于,所述基于语义分割的安全带检测方法包括:
获取车辆的正面图像,将所述正面图像划分为训练集和测试集,并对所述正面图像中的司机和安全带分别进行标注,得到司机图片集和安全带图片集;
将所述训练集输入第一卷积神经网络,完成对司机特征检测的参数训练,得到司机特征检测的结果图Pi
将所述训练集输入第二卷积神经网络,完成对安全带特征检测的参数训练,得到安全带特征检测的结果图Pk
根据所述司机特征检测的结果图Pi和安全带特征检测的结果图Pk,得到司机是否佩戴安全带;
将所述测试集分别输入第一卷积神经网络和第二卷积神经网络,得到司机特征检测的测试结果图Pi′和安全带特征检测的结果图Pk′,判断是否继续训练。
2.根据权利要求1所述的一种基于语义分割的安全带检测方法,其特征在于:将所述训练集输入第一卷积神经网络,完成对司机特征检测的参数训练,得到司机特征检测的结果图Pi包括:
选取19层卷积神经网络作为第一卷积神经网络,所述第一卷积神经网络依次包括第一卷积层、第二池化层、第三卷积层、第四池化层、第五卷积层、第六卷积层、第七卷积层、第八池化层、第九卷积层、第十卷积层、第十一卷积层、第十二池化层、第十三卷积层、第十四卷积层、第十五卷积层、第十六池化层、第十七反卷积层、第十八反卷积层、第十九反卷积层;所述第一卷积神经网络的图片输入的维度为224×224×3,所述第一卷积层输出的图片维度为224×224×32,第二池化层输出的图片维度为112×112×32,第三卷积层输出的图片维度为112×112×64,第四池化层输出的图片维度为56×56×64,第五卷积层输出的图片维度为56×56×128,第六卷积层输出的图片维度为56×56×64,第七卷积层输出的图片维度为56×56×128,第八池化层输出的图片维度为28×28×128,第九卷积层输出的图片维度为28×28×256,第十卷积层输出的图片维度为28×28×128,第十一卷积层输出的图片维度为28×28×512,第十二池化层输出的图片维度为14×14×512,第十三卷积层输出的图片维度为14×14×1024,第十四卷积层输出的图片维度为14×14×512,第十五卷积层输出的图片维度为14×14×1024,第十六池化层输出的图片维度为7×7×1024,第十七反卷积层输出的图片维度为28×28×128,第十八反卷积层输出的图片维度为112×112×32,第十九反卷积层输出的图片维度为224×224×3;
所述第一卷积层的卷积核为3×3,第三卷积层的卷积核为3×3,第五卷积层的卷积核为3×3,第六卷积层的卷积核为1×1,第七卷积层的卷积核为3×3,第九卷积层的卷积核为3×3,第十卷积层的卷积核为1×1,第十一卷积层的卷积核为3×3,第十三卷积层的卷积核为3×3,第十四卷积层的卷积核为1×1,第十五卷积层的卷积核为3×3;
向第一卷积神经网络输入司机图片集,在第一卷积神经网络的第一卷积层至第十六池化层中,利用公式(1)对第一卷积神经网络进行正向传播和反向传播;
xj=F(xj-1)+Wxi (1)
其中,xj表示矩阵的输出,xj-1表示矩阵的输入,xi表示矩阵的输入,i,j均表示第一卷积神经网络的层数,其中j>i,F(xj-1)表示对xj-1进行卷积操作,W表示调整维度矩阵;
在第一卷积神经网络的第十七反卷积层至第十九反卷积层中,通过上采样反卷积方式,即对第十六池化层输出的图片维度进行还原放大,所述第十七反卷积层、第十八反卷积层、第十九反卷积层分别使用不同大小的卷积核,所述卷积核的大小利用线性递增的方式设定,第十九反卷积层输出的图片中司机的颜色为蓝色;
构造第一卷积神经网络的损失函数为公式(2),
其中,n表示样本编号,y表示第一卷积神经网络的期望输出,a表示第一卷积神经网络的实际输出,ln表示取对数操作,当J<0.001,完成对司机特征检测的参数训练,得到司机特征检测的结果图Pi
3.根据权利要求2所述的一种基于语义分割的安全带检测方法,其特征在于:将所述训练集输入第二卷积神经网络,完成对安全带特征检测的参数训练,得到安全带特征检测的结果图Pk包括:
选取16层卷积神经网络作为第二卷积神经网络,所述第二卷积神经网络依次包括第二十卷积层、第二十一池化层、第二十二卷积层、第二十三卷积层、第二十四卷积层、第二十五卷积层、第二十六卷积层、第二十七池化层、第二十八卷积层、第二十九卷积层、第三十卷积层、第三十一卷积层、第三十二卷积层、第三十三池化层、第三十四反卷积层、第三十五反卷积层;所述第二卷积神经网络的图片输入的维度为224×224×3,所述第二十卷积层输出的图片维度为224×224×32,第二十一池化层输出的图片维度为112×112×32,第二十二卷积层输出的图片维度为112×112×32、第二十三卷积层输出的图片维度为112×112×32、第二十四卷积层输出的图片维度为112×112×64、第二十五卷积层输出的图片维度为112×112×32、第二十六卷积层输出的图片维度为112×112×64、第二十七池化层输出的图片维度为56×56×64、第二十八卷积层输出的图片维度为56×56×128、第二十九卷积层输出的图片维度为56×56×64、第三十卷积层输出的图片维度为56×56×128、第三十一卷积层输出的图片维度为56×56×64、第三十二卷积层输出的图片维度为56×56×128、第三十三池化层输出的图片维度为28×28×128、第三十四反卷积层输出的图片维度为56×56×64、第三十五反卷积层输出的图片维度为224×224×3;
所述第二十卷积层的卷积核为3×3,第二十二卷积层的卷积核为3×3,第二十三卷积层的卷积核为3×3,第二十四卷积层的卷积核为3×3,第二十五卷积层的卷积核为1×1,第二十六卷积层的卷积核为3×3,第二十八卷积层的卷积核为3×3,第二十九卷积层的卷积核为1×1,第三十卷积层的卷积核为3×3,第三十一卷积层的卷积核为1×1,第三十二卷积层的卷积核为3×3;
向第二卷积神经网络输入安全带图片集,在第二卷积神经网络的第二十卷积层至第三十三池化层中,利用公式(3)对第二卷积神经网络进行正向传播和反向传播;
xj=F(xj-1)+xi (3)
其中,xj表示矩阵的输出,xj-1表示矩阵的输入,xi表示矩阵的输入,i,j均表示第二卷积神经网络的层数,其中j>i,F(xj-1)表示对xj-1进行卷积操作;
在第二卷积神经网络的第三十四反卷积层和第三十五反卷积层中,通过上采样反卷积方式,即对第三十三池化层输出的图片维度进行还原放大,所述第三十四反卷积层、第三十五反卷积层分别使用不同大小的卷积核,所述卷积核的大小利用线性递增的方式设定,第三十五反卷积层输出的图片中安全带的颜色为黄色;
构造第二卷积神经网络的损失函数为公式(2),完成对安全带特征检测的参数训练,得到安全带特征检测的结果图Pk
4.根据权利要求3所述的一种基于语义分割的安全带检测方法,其特征在于:根据所述司机特征检测的结果图Pi和安全带特征检测的结果图Pk,得到司机是否佩戴安全带包括:
判断第一卷积神经网络输出的图片,如果图片中蓝色面积大于第一固定阈值,找出能够包围蓝色面积的矩形框即蓝色矩形框,得出蓝色矩形框的左上角和右下角的坐标;
判断第二卷积神经网络输出的图片,如果图片中不存在黄色,则司机未佩戴安全带,如果图片中黄色面积大于第二固定阈值,找出能够包围黄色面积的矩形框即黄色矩形框,得出黄色矩形框的左上角和右下角的坐标;
判断黄色矩形框和蓝色矩形框的交集与黄色矩形框之间的比值,如果比值大于第三固定阈值,则司机佩戴安全带,如果比值小于第三固定阈值,则司机未佩戴安全带。
5.根据权利要求4所述的一种基于语义分割的安全带检测方法,其特征在于:所述第一固定阈值为0.35。
6.根据权利要求4所述的一种基于语义分割的安全带检测方法,其特征在于:所述第二固定阈值为0.10。
7.根据权利要求4所述的一种基于语义分割的安全带检测方法,其特征在于:所述第三固定阈值为0.95。
8.一种存储介质,存储有程序指令,其特征在于:所述程序指令被执行时实现如权利要求1至权利要求7任一项所述的基于语义分割的安全带检测方法。
9.一种电子设备,包括处理器和存储器,所述存储器存储有程序指令,其特征在于:所述处理器运行程序指令实现如权利要求1至权利要求7任一项所述的基于语义分割的安全带检测方法。
CN201810507470.5A 2018-05-24 2018-05-24 一种基于语义分割的安全带检测方法 Active CN108898054B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810507470.5A CN108898054B (zh) 2018-05-24 2018-05-24 一种基于语义分割的安全带检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810507470.5A CN108898054B (zh) 2018-05-24 2018-05-24 一种基于语义分割的安全带检测方法

Publications (2)

Publication Number Publication Date
CN108898054A true CN108898054A (zh) 2018-11-27
CN108898054B CN108898054B (zh) 2020-08-07

Family

ID=64343382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810507470.5A Active CN108898054B (zh) 2018-05-24 2018-05-24 一种基于语义分割的安全带检测方法

Country Status (1)

Country Link
CN (1) CN108898054B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109784386A (zh) * 2018-12-29 2019-05-21 天津大学 一种用语义分割辅助物体检测的方法
CN111091061A (zh) * 2019-11-20 2020-05-01 浙江工业大学 一种基于视频分析的车辆刮蹭检测方法
CN111178272A (zh) * 2019-12-30 2020-05-19 东软集团(北京)有限公司 一种识别驾驶员行为的方法、装置及设备
CN113553938A (zh) * 2021-07-19 2021-10-26 黑芝麻智能科技(上海)有限公司 安全带检测方法、装置、计算机设备和存储介质
CN113657153A (zh) * 2021-07-08 2021-11-16 西安理工大学 改进EfficientNet用于安全带检测的方法
CN115107694A (zh) * 2022-01-14 2022-09-27 长城汽车股份有限公司 一种安全带佩戴提醒方法、装置、系统及车辆

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750544A (zh) * 2012-06-01 2012-10-24 浙江捷尚视觉科技有限公司 基于车牌识别的未扣紧安全带违章驾驶检测系统及方法
CN106203499A (zh) * 2016-07-07 2016-12-07 青岛大学 一种基于深度cnn的安全带检测方法
CN106485224A (zh) * 2016-10-13 2017-03-08 北京智芯原动科技有限公司 一种安全带佩戴识别方法及装置
CN106778583A (zh) * 2016-12-07 2017-05-31 北京理工大学 基于卷积神经网络的车辆属性识别方法与装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750544A (zh) * 2012-06-01 2012-10-24 浙江捷尚视觉科技有限公司 基于车牌识别的未扣紧安全带违章驾驶检测系统及方法
CN106203499A (zh) * 2016-07-07 2016-12-07 青岛大学 一种基于深度cnn的安全带检测方法
CN106485224A (zh) * 2016-10-13 2017-03-08 北京智芯原动科技有限公司 一种安全带佩戴识别方法及装置
CN106778583A (zh) * 2016-12-07 2017-05-31 北京理工大学 基于卷积神经网络的车辆属性识别方法与装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109784386A (zh) * 2018-12-29 2019-05-21 天津大学 一种用语义分割辅助物体检测的方法
CN109784386B (zh) * 2018-12-29 2020-03-17 天津大学 一种用语义分割辅助物体检测的方法
CN111091061A (zh) * 2019-11-20 2020-05-01 浙江工业大学 一种基于视频分析的车辆刮蹭检测方法
CN111178272A (zh) * 2019-12-30 2020-05-19 东软集团(北京)有限公司 一种识别驾驶员行为的方法、装置及设备
CN111178272B (zh) * 2019-12-30 2023-04-18 东软集团(北京)有限公司 一种识别驾驶员行为的方法、装置及设备
CN113657153A (zh) * 2021-07-08 2021-11-16 西安理工大学 改进EfficientNet用于安全带检测的方法
CN113657153B (zh) * 2021-07-08 2024-04-19 西安理工大学 改进EfficientNet用于安全带检测的方法
CN113553938A (zh) * 2021-07-19 2021-10-26 黑芝麻智能科技(上海)有限公司 安全带检测方法、装置、计算机设备和存储介质
CN113553938B (zh) * 2021-07-19 2024-05-14 黑芝麻智能科技(上海)有限公司 安全带检测方法、装置、计算机设备和存储介质
CN115107694A (zh) * 2022-01-14 2022-09-27 长城汽车股份有限公司 一种安全带佩戴提醒方法、装置、系统及车辆

Also Published As

Publication number Publication date
CN108898054B (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
CN108898054A (zh) 一种基于语义分割的安全带检测方法
CN112084866B (zh) 一种基于改进YOLO v4算法的目标检测方法
CN105574827B (zh) 一种图像去雾的方法、装置
Zhou et al. Mixed pooling and richer attention feature fusion for crack detection
CN104537615B (zh) 一种基于HSV色彩空间的局部Retinex增强方法
CN105139039B (zh) 视频序列中人脸微表情的识别方法
CN107134144A (zh) 一种用于交通监控的车辆检测方法
CN106650740B (zh) 一种车牌识别方法及终端
CN107563412A (zh) 一种基于深度学习的红外图像电力设备实时检测方法
CN107871134A (zh) 一种人脸检测方法及装置
CN107506722A (zh) 一种基于深度稀疏卷积神经网络人脸情感识别方法
CN106650615B (zh) 一种图像处理方法及终端
CN105139004A (zh) 基于视频序列的人脸表情识别方法
CN105678813A (zh) 一种肤色检测方法及装置
CN109800770A (zh) 一种实时目标检测的方法、系统及装置
CN104809461A (zh) 结合序列图像超分辨率重建的车牌识别方法及系统
CN108010034A (zh) 商品图像分割方法及装置
DE112016006922T5 (de) Erkennung einer Aktivität in einer Videobildfolge anhand von Tiefeninformationen
CN104570042A (zh) 一种核探测器晶体位置的识别方法和装置
CN104574358A (zh) 从聚焦堆图像进行场景分割的方法和设备
CN107945122A (zh) 基于自适应直方图分段的红外图像增强方法及系统
CN106407908A (zh) 一种训练模型生成方法、人脸检测方法及装置
CN110310301A (zh) 一种检测目标图像的方法及装置
Qi et al. Global and local information based deep network for skin lesion segmentation
CN114708566A (zh) 一种基于改进YOLOv4的自动驾驶目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant