CN113298000A - 一种基于红外相机的安全带检测方法和装置 - Google Patents

一种基于红外相机的安全带检测方法和装置 Download PDF

Info

Publication number
CN113298000A
CN113298000A CN202110611821.9A CN202110611821A CN113298000A CN 113298000 A CN113298000 A CN 113298000A CN 202110611821 A CN202110611821 A CN 202110611821A CN 113298000 A CN113298000 A CN 113298000A
Authority
CN
China
Prior art keywords
safety belt
infrared camera
vehicle
bmp
format
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110611821.9A
Other languages
English (en)
Other versions
CN113298000B (zh
Inventor
李育臣
曾丹
张之江
黄素娟
逯利军
何儒佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Certusnet Inc
University of Shanghai for Science and Technology
Original Assignee
Shanghai Certusnet Inc
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Certusnet Inc, University of Shanghai for Science and Technology filed Critical Shanghai Certusnet Inc
Priority to CN202110611821.9A priority Critical patent/CN113298000B/zh
Publication of CN113298000A publication Critical patent/CN113298000A/zh
Application granted granted Critical
Publication of CN113298000B publication Critical patent/CN113298000B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/116—Details of conversion of file system types or formats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开一种基于红外相机的安全带检测方法和装置，包括：使用红外相机采集红外图像生成.dat格式文件；将.dat格式文件转化为.raw格式以及.bmp格式文件，并对.bmp文件进行图像增强；将增强过后图片中车辆进行定位并截取，并对截取过后车辆图片进行分割，分别构建为主驾驶数据集以及副驾驶数据集，利用深度学习网络作为检测模型，将划分好数据集进行标记并输入到深度学习模型，进行训练，通过调整参数保留多个训练好模型，对训练好模型进行评估，根据在测试集上准确率、检测速率指标选取效果最优模型作为最终主驾驶安全带检测模型及副驾驶安全带检测模型。采用本发明技术方案，提高检测驾乘人员是否佩戴安全带的准确性。

Description

一种基于红外相机的安全带检测方法和装置
技术领域
本发明属于图像处理技术领域，尤其涉及一种基于红外相机的安全带检测方法和装置。
背景技术
随着社会的发展以及人们的物质生活水平的提高，越来越多的人会选择汽车作为交通工具，但随着车辆的增多，交通事故也随之增多。为了减少交通事故以及加强自我保护，佩戴安全带是必须的。通常，只能靠人为的观察监控录像去判断驾驶员是否佩戴安全带，并对没有佩戴安全带的驾驶员进行处罚。这样的效率极为低下，并且在能见度极低的天气下是很难看到驾驶员安全带佩戴情况。
目前，针对于检测安全带的佩戴情况，现有的技术大多是基于可见光的目标检测，但是在雾天或者是晚上当能见度很低的时候，基于可见光的安全带检测的难度就大大提高，检测的准确率将会受到能见度的影响。所以设计一套针对于能见度低时的安全带检测算法是十分有必要的，既可以提高交通管制人员的工作效率，实现对违规人员智能化的管理，又能够确保能见度低的情况下检测的准确率。
发明内容
鉴于上述所提出的观点，本发明的目的在于提供一种基于红外相机的安全带检测方法和装置，利用人体及佩戴安全带区域的红外特征差异，对所拍摄的红外图像进行检测，解决现有技术中能见度极低的情况下检测效率低以及准确率差的问题。
为实现上述目的，采用如下的技术方案：
一种基于红外相机的安全带检测方法，包括：
步骤S1、使用红外相机对车辆的正面采集红外图像生成.dat格式文件，构建样本数据库；
步骤S2、对所述样本数据库进行预处理，将红外相机所拍摄产生的.dat格式的文件依次转化为.raw格式以及.bmp格式的文件，并对.bmp文件进行图像增强；
步骤S3、利用yolov3算法将所述增强过后的图片中的车辆进行定位并截取，并根据正面车窗的位置以及人体的位置对所述截取过后的车辆图片进行分割，分别构建为主驾驶的数据集以及副驾驶的数据集；
步骤S4、根据安全带的形状特点，利用深度学习网络作为检测模型；
步骤S5、将划分好的数据集进行标记并输入到所述的深度学习模型，进行训练，通过调整参数保留多个训练好的模型；
步骤S6、对训练好的模型进行评估，最终根据在测试集上准确率、检测速率等指标选取效果最优的模型作为最终主驾驶安全带检测模型及副驾驶安全带检测模型。
作为优选，在步骤S1中，使用红外相机进行车辆正面图片的采集，对每个车辆进行5次采集，采集的时间间隔为0.01秒，每次采集连续的10帧，文件格式为.dat格式，每个.dat文件对应的是每次采集的连续10帧图像的信息。
作为优选，在步骤S2中，将.dat文件中10个图像信息进行提取并叠加，转化为.raw格式的文件，每个.raw文件对应的是每个.dat文件中十帧图像叠加的结果。
作为优选，在步骤S2中，将.raw文件转化为.bmp文件，对每个.raw文件的像素谱进行动态的截取，将边缘零散的像素谱剔除，将主像素谱的值按比例映射到0-255这个区间内，将.raw文件转化为.bmp格式的灰度图。
作为优选，在步骤S2中，针对于.raw文件转化为.bmp的过程中部分信息的丢失，采用双线性插值的方法进行弥补；然后对同一车辆所采集的5个.dat文件转化过后的5个bmp图片实现像素点的叠加，实现.bmp图片的增强，最终每个车辆对应一张bmp图片作为最终的数据集。
作为优选，在步骤S3中，利用yolov3算法将所述增强过后的.bmp图片中的车辆进行定位并截取，输出车辆检测结果且图片大小固定为1024*1024像素；根据正面车窗的位置以及人体的位置对所述截取过后的车辆图片进行分割，将所述分割过后的图片分割为两张512*512像素的图片，分别构建为主驾驶的数据集以及副驾驶的数据集，训练集和测试集的比例为8:2。
作为优选，在步骤S4中，根据安全带的形状及大小特点，采用基于VGG网络所改进的深度学习网络进行检测，去除了VGG的pooling层，使用步长为2的3*3卷积层进行代替；主干网络共有14层卷积，用于特征提取，分别在第八卷积层、第十一卷积层、第十三卷积层、第十四卷积层的特征图分别输入检测头进行检测，四种卷积层特征图尺寸分别为8*8、16*16、32*32、64*64像素。
作为优选，在步骤S4中，所述检测头具有三个分支，分别用来预测Bounding box、类别以及关键点，最后三个预测的loss之和作为最终的loss；对于Bounding box的预测采用先验框的方法，分别在每个尺寸的特征图的每个坐标上放置3、2、2、2个先验框。
作为优选，在步骤S5中，对所述的数据集进行Bounding box、关键点位置、类别信息的标注，生成主驾驶和副驾驶两种数据集，分别输入到所述深度学习模型当中训练，根据调整模型的参数获得多个主驾驶安全带检测模型及多个副驾驶安全带检测模型。
本发明还提供一种基于红外相机的安全带检测装置，包括：
采集模块，用于使用红外相机对车辆的正面采集红外图像生成.dat格式文件，构建样本数据库；
预处理模块，用于对所述样本数据库进行预处理，将红外相机所拍摄产生的.dat格式的文件依次转化为.raw格式以及.bmp格式的文件，并对.bmp文件进行图像增强；
分割模块，用于利用yolov3算法将所述增强过后的图片中的车辆进行定位并截取，并根据正面车窗的位置以及人体的位置对所述截取过后的车辆图片进行分割，分别构建为主驾驶的数据集以及副驾驶的数据集；
构建模块，用于根据安全带的形状特点，利用深度学习网络作为检测模型；
训练模块，用于将划分好的数据集进行标记并输入到所述的深度学习模型，进行训练，通过调整参数保留多个训练好的模型；
评估模块，用于对训练好的模型进行评估，最终根据在测试集上准确率、检测速率指标选取效果最优的模型作为最终主驾驶安全带检测模型及副驾驶安全带检测模型。
本发明基于红外相机的安全带检测方法和装置，具有以下技术效果：
1.本发明利用人体和佩戴安全带区域的红外特征差异，对所采集的车辆正面的红外图片进行检测，红外特征在能见度不高的情况下也有相对明显的差异，克服了雾天、夜晚能见度不高的情况下安全带检测准确率不高的问题。
2.本发明很好的利用了红外相机拍摄的时序信息将.dat文件先转化为.raw文件，又采结合动态截取的方法将.raw文件归255化转化成.bmp文件，最后又对.bmp图片进行图像增强，很好的解决了针对于小目标红外图像能量不足的问题，使得红外相机拍摄的特征能够更突出。
3.本发明采用一种改进的VGG网络进行安全带的检测，去除了VGG的pooling层，使用步长为2的3*3卷积层进行代替，主干网络共有14层卷积，分别对四种不同尺度的特征图进行检测，并且不仅采用接近安全带长宽比例的先验框来预测bounding box，还进行了类别以及关键点的预测，最后三个预测的loss之和作为最终的loss，使得该网络针对于安全带的检测有更好的效果。
附图说明
图1为本发明的基于红外相机的安全带检测方法的流程示意图；
图2为本发明的数据预处理示意图；
图3为本发明的数据集构造流程示意图；
图4为本发明的深度学习模型的主干网络结构图；
图5为本发明的深度学习模型的检测头结构图；
图6为本发明的基于红外相机的安全带检测装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，本实施例提供一种基于红外相机的安全带检测方法，包括：
步骤S1、使用红外相机在固定的角度对车辆的正面采集红外图像生成.dat格式文件，构建样本数据库；
步骤S2、将.dat格式文件依次转化为.raw格式以及.bmp格式的文件，并对.bmp文件进行图像增强；
步骤S3、利用yolov3算法将所述增强过后的图片中的车辆进行定位并截取，并根据正面车窗的位置以及人体的位置对所述截取过后的车辆图片进行分割，分别构建为主驾驶的数据集以及副驾驶的数据集；
步骤S4、根据安全带的形状特点，利用设计好的深度学习网络作为检测模型.
步骤S5、将划分好的数据集进行标记并输入到所述的深度学习模型，进行训练，通过调整参数保留多个训练好的模型。
步骤S6、对训练好的模型进行评估，最终根据在测试集上准确率、检测速率选取综合效果最优的模型作为最终主驾驶安全带检测模型及副驾驶安全带检测模型。
进一步，在步骤S1当中使用红外相机进行车辆正面图片的采集，对每个车辆进行5次采集，采集的时间间隔为0.01秒，每次采集连续的10帧，生成.dat格式文件，构建样本数据库。采集十万个车辆的信息，每个车辆有5个dat文件，一共有五十万个.dat文件。进一步，如图2所示，在步骤S2中将每个.dat文件中10个图像信息进行提取并叠加，转化为.raw格式的文件，每个.raw文件对应的是每个.dat文件中十帧图像叠加的结果，一共有五十万个.raw文件，对每个.raw文件的像素谱进行动态的截取，将边缘零散的像素谱剔除，将主像素谱的值按比例映射到0-255这个区间内(例如，剔除过后的主像素谱的最大值是510，最小值是0，其中的某个点的像素值是255，那么映射到0-255这个区间之后，像素谱的最小值0就对应0，像素谱的最大值510就对应255，像素值是255的点映射过后就对应127.5)，将.raw文件转化为.bmp格式的灰度图，一共有五十万个.bmp文件。针对于.raw文件转化为.bmp的过程中部分信息的丢失，采用双线性插值的方法进行弥补。然后对同一车辆所采集的5个.dat文件转化过后的5个bmp图片实现像素点的叠加，实现.bmp图片的增强，最终每个车辆对应一张bmp图片作为最终的数据集，最终生成.bmp图片是十万张，对应着十万个不同的车辆正面的红外图像。
进一步，如图3所示，在步骤S3中利用yolov3算法将所述增强过后的图片中的车辆进行定位并截取，输出车辆检测结果且图片大小固定为1024*1024像素，最终输出十万张1024*1024的车辆检测结果图。根据正面车窗的位置以及人体的位置对输出的十万张1024*1024的车辆检测结果图进行分割，图片上下分别截掉256像素，左右保持不变，输出的结果为只包含正面车窗的512*1024像素图片，一共有十万张。将十万张只包含正面车窗的512*1024像素图片分别分割为两张512*512像素的图片，一共有二十万张图片，其中主驾驶的有十万张，副驾驶的有十万张，分别构建为主驾驶的数据集以及副驾驶的数据集，训练集和测试集的比例为8:2，主驾驶及副驾驶数据集的训练集分别有8万张，主驾驶及副驾驶数据集的测试集有两万张。
进一步，如图4所示，在步骤S4中根据安全带的形状及大小特点，采用一种基于VGG网络所改进的深度学习网络进行检测，去除了VGG的pooling层，使用步长为2的3*3卷积层进行代替。主干网络共有14层卷积，神经网络输入图片维度是512*512*3，第一层卷积层的卷积核是3*3，第二层的卷积层的卷积核是3*3，步长为2，输出维度是256*256*32，第三层卷积层的卷积核是3*3，第四层卷积层的卷积核是3*3，输出维度是128*128*32，第五层卷积层的卷积核是3*3，第六层卷积层的卷积核是3*3，第七层卷积层的卷积核是3*3，输出维度是64*64*64，第八层卷积层的卷积核是3*3，第八层的输出维度是64*64*64，第九层卷积层的卷积核是3*3，输出维度是32*32*128，第十层的卷积核是3*3，第十一层卷积层的卷积核是3*3，第十一层的输出维度是32*32*128第十二层卷积层的卷积核是3*3，输出维度是16*16*256，第十三层卷积层的卷积核是3*3，输出维度是16*16*256，第十四层卷积层的卷积核是3*3，输出维度是8*8*256。是分别在第八卷积层、第十一卷积层、第十三卷积层、第十四卷积层的特征图分别输入检测头进行检测，四种特征图尺寸分别8*8、16*16、32*32、64*64。
进一步，如图5所示，在步骤S4中检测头有三个分支，其结构都是深度可分离卷积，分别用来预测Bounding box、类别以及关键点，bbox和关键点的loss使用smoothl1 loss进行计算，分类用交叉熵函数进行计算，最后三个预测的loss之和作为最终的loss。对于Bounding box的预测采用先验框的方法，其中分别在每个尺寸的特征图的每个坐标上放置了3、2、2、2个先验框。先验框的个数为8*8*3+16*16*2+64+64*3＝15040个，设定先验框的长宽比为1：5，更接近安全带的形状，使其针对于安全带此形状及长度的目标有更好的检测效果。
进一步，在步骤S5中将划分好的数据集进行Bounding box、关键点位置、类别信息的标注，类别只有安全带和背景两种，关键点是安全带矩形框的四个顶点，生成主驾驶和副驾驶两种数据集，分别输入到所述深度学习模型当中训练，根据调整学习率、迭代次数等参数分别获得五个主驾驶安全带检测模型及多个副驾驶安全带检测模型。
最终，对训练好的模型进行评估，最终根据在测试集上准确率、检测速率等指标选取效果最优的模型作为最终主驾驶安全带检测模型及副驾驶安全带检测模型。
如图6所示，本发明还提供一种基于红外相机的安全带检测装置，其特征在于，包括：
采集模块，用于使用红外相机对车辆的正面采集红外图像生成.dat格式文件，构建样本数据库；
预处理模块，用于对所述样本数据库进行预处理，将红外相机所拍摄产生的.dat格式的文件依次转化为.raw格式以及.bmp格式的文件，并对.bmp文件进行图像增强；
分割模块，用于利用yolov3算法将所述增强过后的图片中的车辆进行定位并截取，并根据正面车窗的位置以及人体的位置对所述截取过后的车辆图片进行分割，分别构建为主驾驶的数据集以及副驾驶的数据集；
构建模块，用于根据安全带的形状特点，利用深度学习网络作为检测模型；
训练模块，用于将划分好的数据集进行标记并输入到所述的深度学习模型，进行训练，通过调整参数保留多个训练好的模型；
评估模块，用于对训练好的模型进行评估，最终根据在测试集上准确率、检测速率指标选取效果最优的模型作为最终主驾驶安全带检测模型及副驾驶安全带检测模型。
本发明利用了红外成像的特点，能够克服能见度低的情况下安全带检测效果差的问题，同时针对于安全带形状的特点采用特定的深度学习网络进行检测，大大的提高了检测驾乘人员是否佩戴安全带的准确性。
以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (10)

1.一种基于红外相机的安全带检测方法，其特征在于，包括以下步骤：
步骤S1、使用红外相机对车辆的正面采集红外图像生成.dat格式文件，构建样本数据库；
步骤S2、对所述样本数据库进行预处理，将红外相机所拍摄产生的.dat格式的文件依次转化为.raw格式以及.bmp格式的文件，并对.bmp文件进行图像增强；
步骤S3、将所述增强过后的图片中的车辆进行定位并截取，并根据正面车窗的位置以及人体的位置对所述截取过后的车辆图片进行分割，分别构建为主驾驶的数据集以及副驾驶的数据集；
步骤S4、根据安全带的形状特点，利用深度学习网络作为检测模型；
步骤S5、将划分好的数据集进行标记并输入到所述的深度学习模型，进行训练，通过调整参数保留多个训练好的模型；
步骤S6、对训练好的模型进行评估，最终根据在测试集上准确率、检测速率指标选取效果最优的模型作为最终主驾驶安全带检测模型及副驾驶安全带检测模型。
2.如权利要求1所述基于红外相机的安全带检测方法，其特征在于，在步骤S1中，使用红外相机进行车辆正面图片的采集，对每个车辆进行5次采集，采集的时间间隔为0.01秒，每次采集连续的10帧，文件格式为.dat格式，每个.dat文件对应的是每次采集的连续10帧图像的信息。
3.如权利要求1所述基于红外相机的安全带检测方法，其特征在于，在步骤S2中，将.dat文件中10个图像信息进行提取并叠加，转化为.raw格式的文件，每个.raw文件对应的是每个.dat文件中十帧图像叠加的结果。
4.如权利要求1所述基于红外相机的安全带检测方法，其特征在于，在步骤S2中，将.raw文件转化为.bmp文件，对每个.raw文件的像素谱进行动态的截取，将边缘零散的像素谱剔除，将主像素谱的值按比例映射到0-255这个区间内，将.raw文件转化为.bmp格式的灰度图。
5.如权利要求1所述基于红外相机的安全带检测方法，其特征在于，在步骤S2中，针对于.raw文件转化为.bmp的过程中部分信息的丢失，采用双线性插值的方法进行弥补；然后对同一车辆所采集的5个.dat文件转化过后的5个bmp图片实现像素点的叠加，实现.bmp图片的增强，最终每个车辆对应一张bmp图片作为最终的数据集。
6.如权利要求1所述基于红外相机的安全带检测方法，其特征在于，在步骤S3中，利用yolov3算法将所述增强过后的.bmp图片中的车辆进行定位并截取，输出车辆检测结果且图片大小固定为1024*1024像素；根据正面车窗的位置以及人体的位置对所述截取过后的车辆图片进行分割，将所述分割过后的图片分割为两张512*512像素的图片，分别构建为主驾驶的数据集以及副驾驶的数据集，训练集和测试集的比例为8:2。
7.如权利要求1所述基于红外相机的安全带检测方法，其特征在于，在步骤S4中，根据安全带的形状及大小特点，采用基于VGG网络所改进的深度学习网络进行检测，去除了VGG的pooling层，使用步长为2的3*3卷积层进行代替；主干网络共有14层卷积，用于特征提取，分别在第八卷积层、第十一卷积层、第十三卷积层、第十四卷积层的特征图分别输入检测头进行检测，四种卷积层特征图尺寸分别为8*8、16*16、32*32、64*64像素。
8.如权利要求7所述基于红外相机的安全带检测方法，其特征在于，在步骤S4中，所述检测头具有三个分支，分别用来预测Bounding box、类别以及关键点，最后三个预测的loss之和作为最终的loss；对于Bounding box的预测采用先验框的方法，分别在每个尺寸的特征图的每个坐标上放置3、2、2、2个先验框。
9.如权利要求1所述基于红外相机的安全带检测方法，其特征在于，在步骤S5中，对所述的数据集进行Bounding box、关键点位置、类别信息的标注，生成主驾驶和副驾驶两种数据集，分别输入到所述深度学习模型当中训练，根据调整模型的参数获得多个主驾驶安全带检测模型及多个副驾驶安全带检测模型。
10.一种基于红外相机的安全带检测装置，其特征在于，包括：
采集模块，用于使用红外相机对车辆的正面采集红外图像生成.dat格式文件，构建样本数据库；
预处理模块，用于对所述样本数据库进行预处理，将红外相机所拍摄产生的.dat格式的文件依次转化为.raw格式以及.bmp格式的文件，并对.bmp文件进行图像增强；
分割模块，用于利用yolov3算法将所述增强过后的图片中的车辆进行定位并截取，并根据正面车窗的位置以及人体的位置对所述截取过后的车辆图片进行分割，分别构建为主驾驶的数据集以及副驾驶的数据集；
构建模块，用于根据安全带的形状特点，利用深度学习网络作为检测模型；
训练模块，用于将划分好的数据集进行标记并输入到所述的深度学习模型，进行训练，通过调整参数保留多个训练好的模型；
评估模块，用于对训练好的模型进行评估，最终根据在测试集上准确率、检测速率指标选取效果最优的模型作为最终主驾驶安全带检测模型及副驾驶安全带检测模型。
CN202110611821.9A 2021-06-02 2021-06-02 一种基于红外相机的安全带检测方法和装置 Active CN113298000B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110611821.9A CN113298000B (zh) 2021-06-02 2021-06-02 一种基于红外相机的安全带检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110611821.9A CN113298000B (zh) 2021-06-02 2021-06-02 一种基于红外相机的安全带检测方法和装置

Publications (2)

Publication Number Publication Date
CN113298000A true CN113298000A (zh) 2021-08-24
CN113298000B CN113298000B (zh) 2022-10-25

Family

ID=77326731

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110611821.9A Active CN113298000B (zh) 2021-06-02 2021-06-02 一种基于红外相机的安全带检测方法和装置

Country Status (1)

Country Link
CN (1) CN113298000B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295601A (zh) * 2016-08-18 2017-01-04 合肥工业大学 一种改进的安全带检测方法
CN109460699A (zh) * 2018-09-03 2019-03-12 厦门瑞为信息技术有限公司 一种基于深度学习的驾驶员安全带佩戴识别方法
CN110084184A (zh) * 2019-04-25 2019-08-02 浙江吉利控股集团有限公司 一种基于图像处理技术的安全带未系探测系统和方法
CN111476224A (zh) * 2020-06-28 2020-07-31 杭州鸿泉物联网技术股份有限公司 安全带检测方法、装置、电子设备及系统
CN112132040A (zh) * 2020-09-24 2020-12-25 明见(厦门)软件开发有限公司 基于视觉的安全带实时监测方法、终端设备及存储介质
US20210086715A1 (en) * 2019-09-25 2021-03-25 AISIN Technical Center of America, Inc. System and method for monitoring at least one occupant within a vehicle using a plurality of convolutional neural networks
US20210146957A1 (en) * 2019-11-19 2021-05-20 Lg Electronics Inc. Apparatus and method for controlling drive of autonomous vehicle

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295601A (zh) * 2016-08-18 2017-01-04 合肥工业大学 一种改进的安全带检测方法
CN109460699A (zh) * 2018-09-03 2019-03-12 厦门瑞为信息技术有限公司 一种基于深度学习的驾驶员安全带佩戴识别方法
CN110084184A (zh) * 2019-04-25 2019-08-02 浙江吉利控股集团有限公司 一种基于图像处理技术的安全带未系探测系统和方法
US20210086715A1 (en) * 2019-09-25 2021-03-25 AISIN Technical Center of America, Inc. System and method for monitoring at least one occupant within a vehicle using a plurality of convolutional neural networks
US20210146957A1 (en) * 2019-11-19 2021-05-20 Lg Electronics Inc. Apparatus and method for controlling drive of autonomous vehicle
CN111476224A (zh) * 2020-06-28 2020-07-31 杭州鸿泉物联网技术股份有限公司 安全带检测方法、装置、电子设备及系统
CN112132040A (zh) * 2020-09-24 2020-12-25 明见(厦门)软件开发有限公司 基于视觉的安全带实时监测方法、终端设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BURAK BALCI ET AL.: "NIR CAMERA BASED MOBILE SEAT BELT ENFORCEMENT SYSTEM USING DEEP LEARNING TECHNIQUES", 《2018 14TH INTERNATIONAL CONFERENCE ON SIGNAL-IMAGE TECHNOLOGY & INTERNET-BASED SYSTEMS (SITIS)》 *
唐恬 等: "基于图像的驾驶员安全带自动检测系统", 《中国人民公安大学学报(自然科学版)》 *

Also Published As

Publication number Publication date
CN113298000B (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
CN103902976B (zh) 一种基于红外图像的行人检测方法
CN105184779B (zh) 一种基于快速特征金字塔的车辆多尺度跟踪方法
CN100544446C (zh) 用于视频监控的实时运动检测方法
CN110188807A (zh) 基于级联超分辨率网络与改进Faster R-CNN的隧道行人目标检测方法
CN111126136A (zh) 一种基于图像识别的烟雾浓度量化方法
CN103034843B (zh) 一种基于单目视觉的夜间车辆检测方法
CN111832461B (zh) 一种基于视频流的非机动车骑行人员头盔佩戴检测方法
CN105404857A (zh) 一种基于红外的夜间智能车前方行人检测方法
CN103488974A (zh) 基于模拟生物视觉神经网络的人脸表情识别方法及系统
CN107301378A (zh) 图像中多分类器集成的行人检测方法和系统
CN109506628A (zh) 一种基于深度学习的卡车环境下目标物测距方法
CN107909109A (zh) 基于显著性和多尺度深度网络模型的sar图像分类方法
CN109086803B (zh) 一种基于深度学习与个性化因子的雾霾能见度检测系统及方法
CN115311241B (zh) 一种基于图像融合和特征增强的煤矿井下行人检测方法
CN104881661A (zh) 基于结构相似度的车辆检测方法
CN114693657A (zh) 基于Faster R-CNN的大型复杂结构件表面多尺寸多类别缺陷智能检测方法及系统
CN106709903A (zh) 基于图像质量的pm2.5浓度预测方法
CN113033385A (zh) 一种基于深度学习的违章建筑遥感识别方法及系统
CN106570440A (zh) 基于图像分析的人数统计方法和人数统计装置
CN116597270A (zh) 基于注意力机制集成学习网络的道路损毁目标检测方法
CN101630369B (zh) 一种基于小波分形特征的行人检测方法
CN109325426A (zh) 一种基于三正交平面时空特征的黑烟车检测方法
CN113298000B (zh) 一种基于红外相机的安全带检测方法和装置
CN102682291A (zh) 一种场景人数统计方法、装置和系统
CN110110665A (zh) 一种驾驶环境下手部区域的检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant