CN109886205A - 安全带实时监测方法和系统 - Google Patents

安全带实时监测方法和系统 Download PDF

Info

Publication number
CN109886205A
CN109886205A CN201910136112.2A CN201910136112A CN109886205A CN 109886205 A CN109886205 A CN 109886205A CN 201910136112 A CN201910136112 A CN 201910136112A CN 109886205 A CN109886205 A CN 109886205A
Authority
CN
China
Prior art keywords
safety belt
image
detection
coordinate
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910136112.2A
Other languages
English (en)
Other versions
CN109886205B (zh
Inventor
国良
尚广利
张伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Tsingtech Microvision Electronic Science & Technology Co Ltd
Original Assignee
Suzhou Tsingtech Microvision Electronic Science & Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Tsingtech Microvision Electronic Science & Technology Co Ltd filed Critical Suzhou Tsingtech Microvision Electronic Science & Technology Co Ltd
Priority to CN201910136112.2A priority Critical patent/CN109886205B/zh
Publication of CN109886205A publication Critical patent/CN109886205A/zh
Application granted granted Critical
Publication of CN109886205B publication Critical patent/CN109886205B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明公开了一种安全带实时监测方法，包括：采用训练好的卷积神经网络模型对采集的图像进行安全带检测，得到包含置信值的目标检测框；判断置信值是否满足设定阈值，当置信值满足设定阈值后，计算目标检测框在图上像素点的坐标；将所得检测框的各点图像坐标与图像整体区域位置进行对比；当检测框的图像坐标在图像的右下区域时，判定佩戴安全带，否则判定未佩戴安全带。在检测框的置信值满足条件后由位置坐标和图像整体的关系进行判定，可以快速、准确地识别安全带的佩戴情况。

Description

安全带实时监测方法和系统
技术领域
本发明涉及安全带的检测技术领域，具体地涉及一种安全带实时监测方法和系统。
背景技术
目前现有检测安全带的方法多从图像视觉角度，以深度学习方法进行检测。
目前，现有技术中，使用一种新型的反馈增量式卷积神经网络训练方法以及信息多分支最终评估值获取方法提高了卷积神经网络的检测精度，同时借助随机多尺度选取安全带目标候选区域方法，提高了检测操作的灵活性，但是使用的卷积神经网络较为落后，效率还是较为低下，不适合大量的图片训练和使用，同时对于候选区域的选取有很大的误差，不能精确地选择司机的位置，也无法快速的检测出安全带的配带情况。
现有技术中还使用haar特征区间检测人脸，根据人脸区域确定前排位置，将前排位置分为主驾驶和副驾驶进行安全带的检测。这种方法效率低，效果差，当前排较复杂时，便不能检测出人脸区域，造成错误的检测。
现有技术中主要存在以下问题：
1.检测算法庞大，检测涉及车辆、车窗及包括安全带在内的许多车内环境，相对不够专一；
2. 依赖驾驶员。基于对驾驶员进行识别后再对安全带进行检测，可能存在过度的依赖性；
3. 光照和色彩。车内环境多种多样，夜间行车也常有，在缺少亮光的情况下检测效果往往不能最好；
4.实时性。不少检测系统位于车外，在特定道路上进行检测，满足不了驾驶员实际各种条件驾驶时报警的需要。
发明内容
为了解决上述技术问题，本发明提出了一种安全带实时监测系统和方法，在检测框的置信值满足条件后由位置坐标和图像整体的关系进行判定，可以快速、准确地识别安全带的佩戴情况。
本发明所采用的技术方案是：
一种安全带实时监测方法，包括以下步骤：
S01：采用训练好的卷积神经网络模型对采集的图像进行安全带检测，得到包含置信值的目标检测框；
S02：判断置信值是否满足设定阈值，当置信值满足设定阈值后，计算目标检测框在图上像素点的坐标；
S03：将所得检测框的各点图像坐标与图像整体区域位置进行对比；
S04：当检测框的图像坐标在图像的右下区域时，判定佩戴安全带，否则判定未佩戴安全带。
优选的技术方案中，所述步骤S03中将图像在像素层面上划分图像整体区域为左上、左下、右上、右下区域。
优选的技术方案中，所述步骤S03中将检测框的右下部分的像素坐标作为检测框在图上像素点的坐标。
优选的技术方案中，所述步骤S04之后还包括，计算检测到目标的次数占检测总次数的比率，当判定未佩戴安全带并且比率低于设定阈值时，进行报警。
本发明还公开了一种安全带实时监测系统，包括：
安全带检测模块，采用训练好的卷积神经网络模型对采集的图像进行安全带检测，得到包含置信值的目标检测框；
检测框坐标计算模块，当判断置信值是否满足设定阈值，当置信值满足设定阈值后，计算目标检测框在图上像素点的坐标；
位置比对模块，将所得检测框的各点图像坐标与图像整体区域位置进行对比；
安全带判定模块，当检测框的图像坐标在图像的右下区域时，判定佩戴安全带，否则判定未佩戴安全带。
优选的技术方案中，所述位置比对模块中将图像在像素层面上划分图像整体区域为左上、左下、右上、右下区域。
优选的技术方案中，所述位置比对模块中将检测框的右下部分的像素坐标作为检测框在图上像素点的坐标。
优选的技术方案中，还包括报警模块，计算检测到目标的次数占检测总次数的比率，当判定未佩戴安全带并且比率低于设定阈值时，进行报警。
与现有技术相比，本发明的有益效果是：
本发明不依赖驾驶员头部识别，依靠多帧累计检测和深度学习模型检测双向保证实时监测，在检测框的置信值满足条件后由位置坐标和图像整体的关系进行判定，可以快速、准确地识别安全带的佩戴情况。
附图说明
下面结合附图及实施例对本发明作进一步描述：
图1为本发明安全带实时监测方法的流程图；
图2为本发明安全带检测的一种示例；
图3为本发明安全带检测的又一种示例；
图4为本发明安全带检测的又一种示例；
图5为本发明安全带检测的又一种示例。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
实施例
如图1所示，一种安全带实时监测方法，包括以下步骤：
S01：采用训练好的卷积神经网络模型对采集的图像进行安全带检测，得到包含置信值的目标检测框；
S02：判断置信值是否满足设定阈值，当置信值满足设定阈值后，计算目标检测框在图上像素点的坐标；
S03：将所得检测框的各点图像坐标与图像整体区域位置进行对比；
S04：当检测框的图像坐标在图像的右下区域时，判定佩戴安全带，否则判定未佩戴安全带。
进行图像识别和目标检测的模型由大量的特殊摄像头捕捉到的合适图片所制成的样本训练而来。在大量含有安全带的样本中依靠检测训练的需求，对黑白图像中的安全带进行标注，区别于未被标注的非安全带部分，以此为卷积神经网络生成用于训练的正负样本的基准。具体的卷积神经网络模型这里并不进行限定，具体的训练方式可以采用现有技术中的训练方式进行训练，这里不再进行赘述。
如图2-5所示，依据深度学习训练出的模型反馈出的包含置信值，反映在图中框上的数值，用以决定该检测目标是否被确认为安全带并进行后续检测，所得检测区域的各点图像坐标与图像整体位置做出对比：具体是根据模型反馈而来的检出目标物体的检测框的在图上像素点的坐标，而得到检测框都为矩形。从检测视野得到的图片从像素层面上将其均分为左上、左下、右上、右下4个涵盖整个图的区域，考虑到驾驶员在驾驶过程的各种实际动作和判断检测到的矩形框因为检测物体特殊而呈现出的多个框并存的情况，本发明选取矩形框的右下部分的像素坐标与整个图的右下区域进行对比，只要检测框右下部分像素坐标处于全图的右下区域，就能决定驾驶员是佩戴安全带的。从而做出是否存在检测目标的最终判定值。
每进行一次单帧的检测，对检测的总次数进行加一。为了实现实时性的同时保证未系安全带的报警正确性，根据检测到目标的次数所占检测总次数的比率的大小保证实时性。通过最终的判断确定是否系上安全带的检测结果，若判定未佩戴安全带并且比率低于设定阈值时，进行报警。在检测完一轮后，无论最终结果如何，对检测次数归零重置，继续下一轮的检测。
图3为阳光照射下的视频采集效果。而图2为夜间无光情况。可以看到采集的图像在有无自然光照下保持一致的检测算法运作。增强了整体系统应用的实际性和普适性。
图4为光照对图像有明显分割差异的示例。只要检测视频中安全带显示在画面中，即可视的。目标或大或小，模型的反馈结果就是客观的。前述以多次检测用比率判断的算法逻辑也保证了监测报警结果最终的正确性。
图5可以看出安全带检测的算法较为单纯，不依赖于先对驾驶员头部进行识别，可以对摄像视野范围内的安全带进行直接的检测。图示中每帧都有多个模型反馈的检测区域，监测算法只要某个区域的置信值和检测框的位置达到设定阈值便可判断该帧的检测结果，继而反馈，支持整个系统的算法。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (8)

1.一种安全带实时监测方法，其特征在于，包括以下步骤：
S01：采用训练好的卷积神经网络模型对采集的图像进行安全带检测，得到包含置信值的目标检测框；
S02：判断置信值是否满足设定阈值，当置信值满足设定阈值后，计算目标检测框在图上像素点的坐标；
S03：将所得检测框的各点图像坐标与图像整体区域位置进行对比；
S04：当检测框的图像坐标在图像的右下区域时，判定佩戴安全带，否则判定未佩戴安全带。
2.根据权利要求1所述的安全带实时监测方法，其特征在于，所述步骤S03中将图像在像素层面上划分图像整体区域为左上、左下、右上、右下区域。
3.根据权利要求2所述的安全带实时监测方法，其特征在于，所述步骤S03中将检测框的右下部分的像素坐标作为检测框在图上像素点的坐标。
4.根据权利要求1所述的安全带实时监测方法，其特征在于，所述步骤S04之后还包括，计算检测到目标的次数占检测总次数的比率，当判定未佩戴安全带并且比率低于设定阈值时，进行报警。
5.一种安全带实时监测系统，其特征在于，包括：
安全带检测模块，采用训练好的卷积神经网络模型对采集的图像进行安全带检测，得到包含置信值的目标检测框；
检测框坐标计算模块，当判断置信值是否满足设定阈值，当置信值满足设定阈值后，计算目标检测框在图上像素点的坐标；
位置比对模块，将所得检测框的各点图像坐标与图像整体区域位置进行对比；
安全带判定模块，当检测框的图像坐标在图像的右下区域时，判定佩戴安全带，否则判定未佩戴安全带。
6.根据权利要求5所述的安全带实时监测系统，其特征在于，所述位置比对模块中将图像在像素层面上划分图像整体区域为左上、左下、右上、右下区域。
7.根据权利要求6所述的安全带实时监测系统，其特征在于，所述位置比对模块中将检测框的右下部分的像素坐标作为检测框在图上像素点的坐标。
8.根据权利要求5所述的安全带实时监测系统，其特征在于，还包括报警模块，计算检测到目标的次数占检测总次数的比率，当判定未佩戴安全带并且比率低于设定阈值时，进行报警。
CN201910136112.2A 2019-02-25 2019-02-25 安全带实时监测方法和系统 Active CN109886205B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910136112.2A CN109886205B (zh) 2019-02-25 2019-02-25 安全带实时监测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910136112.2A CN109886205B (zh) 2019-02-25 2019-02-25 安全带实时监测方法和系统

Publications (2)

Publication Number Publication Date
CN109886205A true CN109886205A (zh) 2019-06-14
CN109886205B CN109886205B (zh) 2023-08-08

Family

ID=66929146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910136112.2A Active CN109886205B (zh) 2019-02-25 2019-02-25 安全带实时监测方法和系统

Country Status (1)

Country Link
CN (1) CN109886205B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110517261A (zh) * 2019-08-30 2019-11-29 上海眼控科技股份有限公司 安全带状态检测方法、装置、计算机设备和存储介质
CN111539360A (zh) * 2020-04-28 2020-08-14 重庆紫光华山智安科技有限公司 安全带佩戴识别方法、装置及电子设备
CN113147664A (zh) * 2020-01-07 2021-07-23 Aptiv技术有限公司 检测车辆中是否使用了安全带的方法和系统
WO2022027893A1 (zh) * 2020-08-07 2022-02-10 上海商汤临港智能科技有限公司 安全带佩戴检测方法、装置、电子设备、存储介质及程序
CN115123141A (zh) * 2022-07-14 2022-09-30 东风汽车集团股份有限公司 一种基于视觉的乘员安全带提醒装置及方法
US11975683B2 (en) 2021-06-30 2024-05-07 Aptiv Technologies AG Relative movement-based seatbelt use detection

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2734613A1 (en) * 2008-08-19 2010-02-25 Digimarc Corporation Methods and systems for content processing
JP2010113506A (ja) * 2008-11-06 2010-05-20 Aisin Aw Co Ltd 乗員位置検出装置、乗員位置検出方法及び乗員位置検出プログラム
CN106022237A (zh) * 2016-05-13 2016-10-12 电子科技大学 一种端到端的卷积神经网络的行人检测方法
CN106295601A (zh) * 2016-08-18 2017-01-04 合肥工业大学 一种改进的安全带检测方法
CN106372662A (zh) * 2016-08-30 2017-02-01 腾讯科技（深圳）有限公司 安全帽佩戴的检测方法和装置、摄像头、服务器
CN106651886A (zh) * 2017-01-03 2017-05-10 北京工业大学 一种基于超像素聚类优化cnn的云图分割方法
CN108875577A (zh) * 2018-05-11 2018-11-23 深圳市易成自动驾驶技术有限公司 目标检测方法、装置及计算机可读存储介质
CN108921159A (zh) * 2018-07-26 2018-11-30 北京百度网讯科技有限公司 用于检测安全帽的佩戴情况的方法和装置
JP2019016394A (ja) * 2018-10-03 2019-01-31 セコム株式会社 画像処理装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2734613A1 (en) * 2008-08-19 2010-02-25 Digimarc Corporation Methods and systems for content processing
JP2010113506A (ja) * 2008-11-06 2010-05-20 Aisin Aw Co Ltd 乗員位置検出装置、乗員位置検出方法及び乗員位置検出プログラム
CN106022237A (zh) * 2016-05-13 2016-10-12 电子科技大学 一种端到端的卷积神经网络的行人检测方法
CN106295601A (zh) * 2016-08-18 2017-01-04 合肥工业大学 一种改进的安全带检测方法
CN106372662A (zh) * 2016-08-30 2017-02-01 腾讯科技（深圳）有限公司 安全帽佩戴的检测方法和装置、摄像头、服务器
CN106651886A (zh) * 2017-01-03 2017-05-10 北京工业大学 一种基于超像素聚类优化cnn的云图分割方法
CN108875577A (zh) * 2018-05-11 2018-11-23 深圳市易成自动驾驶技术有限公司 目标检测方法、装置及计算机可读存储介质
CN108921159A (zh) * 2018-07-26 2018-11-30 北京百度网讯科技有限公司 用于检测安全帽的佩戴情况的方法和装置
JP2019016394A (ja) * 2018-10-03 2019-01-31 セコム株式会社 画像処理装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110517261A (zh) * 2019-08-30 2019-11-29 上海眼控科技股份有限公司 安全带状态检测方法、装置、计算机设备和存储介质
CN113147664A (zh) * 2020-01-07 2021-07-23 Aptiv技术有限公司 检测车辆中是否使用了安全带的方法和系统
US11597347B2 (en) 2020-01-07 2023-03-07 Aptiv Technologies Limited Methods and systems for detecting whether a seat belt is used in a vehicle
CN113147664B (zh) * 2020-01-07 2023-09-12 Aptiv技术有限公司 检测车辆中是否使用了安全带的方法和系统
US11772599B2 (en) 2020-01-07 2023-10-03 Aptiv Technologies Limited Methods and systems for detecting whether a seat belt is used in a vehicle
CN111539360A (zh) * 2020-04-28 2020-08-14 重庆紫光华山智安科技有限公司 安全带佩戴识别方法、装置及电子设备
CN111539360B (zh) * 2020-04-28 2022-11-22 重庆紫光华山智安科技有限公司 安全带佩戴识别方法、装置及电子设备
WO2022027893A1 (zh) * 2020-08-07 2022-02-10 上海商汤临港智能科技有限公司 安全带佩戴检测方法、装置、电子设备、存储介质及程序
US11975683B2 (en) 2021-06-30 2024-05-07 Aptiv Technologies AG Relative movement-based seatbelt use detection
CN115123141A (zh) * 2022-07-14 2022-09-30 东风汽车集团股份有限公司 一种基于视觉的乘员安全带提醒装置及方法

Also Published As

Publication number Publication date
CN109886205B (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
CN109886205A (zh) 安全带实时监测方法和系统
US9087258B2 (en) Method for counting objects and apparatus using a plurality of sensors
US11706377B2 (en) Visual, depth and micro-vibration data extraction using a unified imaging device
CN110188724A (zh) 基于深度学习的安全帽定位与颜色识别的方法及系统
Alshaqaqi et al. Driver drowsiness detection system
Sina et al. Vehicle counting and speed measurement using headlight detection
CN110569772B (zh) 一种泳池内人员状态检测方法
Ellis Performance metrics and methods for tracking in surveillance
CN103440475B (zh) 一种自动取款机使用者人脸可见性判断系统及方法
Lookingbill et al. Reverse optical flow for self-supervised adaptive autonomous robot navigation
CN107437318B (zh) 一种可见光智能识别算法
CN106446926A (zh) 一种基于视频分析的变电站工人安全帽佩戴检测方法
CN106128053A (zh) 一种智慧金睛识别人员逗留徘徊报警方法和装置
CN107330378A (zh) 一种基于嵌入式图像处理的驾驶员行为检测系统
CN108596129A (zh) 一种基于智能视频分析技术的车辆越线检测方法
US20170344833A1 (en) Method and system for identifying an individual with increased body temperature
US20150086077A1 (en) System and method of alerting a driver that visual perception of pedestrian may be difficult
CN101593352A (zh) 基于面部朝向和视觉焦点的驾驶安全监测系统
US20160078272A1 (en) Method and system for dismount detection in low-resolution uav imagery
CN104978751B (zh) 基于摄像头角度的越界检测方法
CN108564069A (zh) 一种工业佩戴安全帽视频检测方法
CN106250801A (zh) 基于人脸检测和人眼状态识别的疲劳检测方法
CN106770087A (zh) 油污遥感探测模块、系统及方法
CN111553214B (zh) 一种驾驶员吸烟行为检测方法及系统
CN104680145B (zh) 一种门的开关状态变化检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant