CN116152790A - 一种安全带检测方法及装置 - Google Patents

一种安全带检测方法及装置 Download PDF

Info

Publication number
CN116152790A
CN116152790A CN202310439017.6A CN202310439017A CN116152790A CN 116152790 A CN116152790 A CN 116152790A CN 202310439017 A CN202310439017 A CN 202310439017A CN 116152790 A CN116152790 A CN 116152790A
Authority
CN
China
Prior art keywords
target
safety belt
body frame
human body
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310439017.6A
Other languages
English (en)
Other versions
CN116152790B (zh
Inventor
徐博勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Cheliantianxia Information Technology Co ltd
Original Assignee
Wuxi Cheliantianxia Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Cheliantianxia Information Technology Co ltd filed Critical Wuxi Cheliantianxia Information Technology Co ltd
Priority to CN202310439017.6A priority Critical patent/CN116152790B/zh
Publication of CN116152790A publication Critical patent/CN116152790A/zh
Application granted granted Critical
Publication of CN116152790B publication Critical patent/CN116152790B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及图像处理技术领域，尤其涉及一种安全带检测方法及装置。该方法包括：通过车舱内设置的相机拍摄得到待检测图片；通过目标检测模型对所述待检测图片进行目标人员检测，得到目标人体框；将所述目标人体框输入至语义分割模型，确定所述目标人体框中是否存在安全带，并在检测出安全带时，确定所述目标人体框中安全带像素区域与背景像素区域；根据所述安全带像素区域的各个像素点，得到所述各个像素点的最小外接矩形；当所述最小外接矩形的宽高比小于预设阈值，确定所述目标人员未系安全带。本申请通过检测出人体目标框中的安全带像素区域，进而根据安全带像素区域的最小外接矩形，可以准确判断车内的目标人员是否正确佩戴安全带。

Description

一种安全带检测方法及装置
技术领域
本申请涉及图像处理技术领域，尤其涉及一种安全带检测方法及装置。
背景技术
随着汽车保有量的增加，交通安全事故不断攀升，在交通事故发生时，正确使用安全带能够在很大程度上降低事故引起的伤亡，有效保护驾驶员和乘客的人身安全，智能识别驾驶员或乘客是否正确佩戴安全带能够提高座舱智能性和汽车的安全性。依靠道路摄像头设备对车辆进行安全带监测是共感管理部门监督佩戴安全带的主要途径，随着汽车座舱智能化、深度学习技术的不断发展，车舱内监控监控系统功能日益丰富，具备乘客监控系统使汽车具备更高的安全性，也是未来自动驾驶汽车的必备功能。
目前关于驾驶员和乘客安全带检测其方法首先检测车辆区域，随后定位挡风玻璃，在挡风玻璃区域内检测人体和安全带，然后判断是否有乘客或驾驶员未系安全带，此方法摄像头距离车辆较远，高精准度的检测较为困难，并且依靠道路监控设备，无法对车内驾驶员和乘客进行实时、连续地安全带监测。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
有鉴于此，本申请实施例至少提供一种安全带检测方法及装置，这样可以准确判断车内的目标人员是否正确佩戴安全带。
本申请主要包括以下几个方面：
第一方面，本申请实施例提供一种安全带检测方法，所述方法包括：
通过车舱内设置的相机拍摄得到待检测图片；
通过目标检测模型对所述待检测图片进行目标人员检测，得到目标人体框；
将所述目标人体框输入至语义分割模型，确定所述目标人体框中是否存在安全带，并在检测出安全带时，确定所述目标人体框中安全带像素区域与背景像素区域；
根据所述安全带像素区域的各个像素点，得到所述各个像素点的最小外接矩形；
当所述最小外接矩形的宽高比小于预设阈值，确定所述目标人员未系安全带；
通过目标检测模型对所述待检测图片进行目标人员检测，得到目标人体框，包括：
通过所述目标检测模型中的特征提取层，提取所述待检测图片的第一特征图和第二特征图；
将所述第二特征图进行上采样，并与所述第一特征图进行融合，得到第一候选人体框；
将所述第二特征图输入至所述目标检测模型中的第一卷积层，得到第二候选人体框；
将所述第二候选人体框输入至所述目标检测模型中的第二卷积层，得到第三候选人体框；
分别提取所述第一候选人体框、所述第二候选人体框和所述第三候选人体框中安全带像素的覆盖率，并将所述覆盖率最高的候选人体框作为所述目标人体框。
在一种可能的实施方式中，通过目标检测模型对所述待检测图片进行目标人员检测，得到目标人体框之后，所述方法还包括：
通过所述目标检测模型确定所述目标人体框在所述待检测图片中的位置信息；
根据所述位置信息，确定所述目标人员为驾驶员或副驾驶员，以便确定所述驾驶员或副驾驶员是否系安全带。
在一种可能的实施方式中，在将所述目标人体框输入至语义分割模型，确定所述目标人体框中是否存在安全带之前，所述方法还包括：
将任一训练图片输入至初始语义分割模型，得到输出人体框；
当所述输出人体框中安全带像素的覆盖率达到预设值时，完成训练，生成语义分割模型。
在一种可能的实施方式中，当完成训练，生成语义分割模型之后还包括：
将任一验证图片输入至训练完成的语义分割模型，得到验证人体框；所述验证图片与所述训练图片不同；
当所述验证人体框中安全带像素的覆盖率未达到所述预设值时，则根据任一验证图片重复训练步骤，直至最终获取的验证人体框中安全带像素的覆盖率达到预设值，停止训练。
在一种可能的实施方式中，所述目标阈值通过以下步骤得到：
获取多个标准系安全带图片中安全带像素区域的最小外接矩形的宽高比，计算得到第一平均宽高比；
获取多个非标准系安全带图片中安全带像素区域的最小外接矩形的宽高比，计算得到第二平均宽高比；计算所述第一平均宽高比与所述第二平均宽高比的平均值，作为所述目标阈值。
在一种可能的实施方式中，在将所述目标人体框输入至语义分割模型，确定所述目标人体框中是否存在安全带之后，所述方法还包括：
当在所述目标人体框中未检测到安全带时，确定所述目标人员未系安全带。
第二方面，本申请实施例还提供一种安全带检测装置，所述装置包括：
采集模块，所述采集模块被配置为通过车舱内设置的相机拍摄得到待检测图片；
检测模块，所述检测模块被配置为通过目标检测模型对所述待检测图片进行目标人员检测，得到目标人体框；
分割模块，所述分割模块被配置为将所述目标人体框输入至语义分割模型，确定所述目标人体框中是否存在安全带，并在检测出安全带时，确定所述目标人体框中安全带像素区域与背景像素区域；
获取模块，所述获取模块被配置为根据所述安全带像素区域的各个像素点，得到所述各个像素点的最小外接矩形；
确认模块，所述确认模块被配置为当所述最小外接矩形的宽高比小于预设阈值，确定所述目标人员未系安全带；
所述检测模块用于根据以下步骤通过目标检测模型对所述待检测图片进行目标人员检测，得到目标人体框，包括：
通过所述目标检测模型中的特征提取层，提取所述待检测图片的第一特征图和第二特征图；
将所述第二特征图进行上采样，并与所述第一特征图进行融合，得到第一候选人体框；
将所述第二特征图输入至所述目标检测模型中的第一卷积层，得到第二候选人体框；
将所述第二候选人体框输入至所述目标检测模型中的第二卷积层，得到第三候选人体框；
分别提取所述第一候选人体框、所述第二候选人体框和所述第三候选人体框中安全带像素的覆盖率，并将所述覆盖率。
第三方面，本申请实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过所述总线进行通信，所述机器可读指令被所述处理器运行时执行上述第一方面或第一方面中任一种可能的实施方式中所述方法的步骤。
第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面或第一方面中任一种可能的实施方式中所述的步骤。
本申请实施例提供的一种安全带检测方法及装置，通过车舱内设置的相机实时监测车舱内人员，提取人员的人体框并进行安全带分割，分析人体框与安全带区域的位置关系、安全带最小外接矩形的长宽比，判断驾驶员、乘客是否系安全带，与现有技术中的通过交通监控系统检测车辆区域，定位挡风玻璃，在挡风玻璃区域内检测乘客或驾驶员是否系安全带，不能实时并准确的检测出是否有人未系安全带相比，其可以通过车舱内相机采集图片，能够对安全带状态持续检测，并且使用语义分割模型检测安全带区域作为前景，同时检测人体目标框，根据安全带和人体框的位置关系判断主、副驾驶是否正确佩戴安全带，实现更精准的安全带检测。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种安全带检测方法的流程图；
图2示出了本申请实施例所提供的得到目标人体框具体方法的流程图；
图3示出了本申请实施例所提供的一种安全带检测装置的功能模块图；
图4示出了本申请实施例所提供的一种电子设备的结构示意图。
主要元件符号说明：
图中：300-安全带检测装置；310-采集模块；320-检测模块； 330-分割模块；340-获取模块；350-确认模块；400-电子设备；410-处理器；420-存储器；421-内存；422-外部存储器；430-总线。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中的附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应当理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的全部其他实施例，都属于本申请保护的范围。
为了使得本领域技术人员能够使用本申请内容，结合特定应用场景“车舱内”，给出以下实施方式，对于本领域技术人员来说，在不脱离本申请的精神和范围的情况下，可以将这里定义的一般原理应用于其他实施例和应用场景。
本申请实施例下述方法、装置、电子设备或计算机可读存储介质可以应用于任何需要进行安全带检测的场景，本申请实施例并不对具体的应用场景作限制，任何使用本申请实施例提供的一种安全带检测方法及装置的方案均在本申请保护范围内。
值得注意的是，在本申请提出之前，现有方案的驾驶员和乘客安全带检测主要集中在通过交通监控系统检测，其方法首先检测车辆区域，随后定位挡风玻璃，在挡风玻璃区域内检测人体和安全带，然后判断是否有乘客或驾驶员未系安全带，此方法摄像头距离车辆较远，高精准度的检测较为困难，并且依靠道路监控设备，无法对车内驾驶员和乘客进行实时、连续地安全带监测。
针对上述问题，本申请实施例提供了一种安全带检测方法及装置，通过车舱内设置的相机拍摄得到待检测图片；通过目标检测模型对所述待检测图片进行目标人员检测，得到目标人体框；将所述目标人体框输入至语义分割模型，确定所述目标人体框中是否存在安全带，并在检测出安全带时，确定所述目标人体框中安全带像素区域与背景像素区域；根据所述安全带像素区域的各个像素点，得到所述各个像素点的最小外接矩形；当所述最小外接矩形的宽高比小于预设阈值，确定所述目标人员未系安全带。通过目标检测模型和语义分割模型得到安全带像素区域的最小外接矩形，实现对判断车内的目标人员是否正确佩戴安全带达到更加精准的检测。
为便于对本申请进行理解，下面结合具体实施例对本申请提供的技术方案进行详细说明。
图1为本申请实施例所提供的一种安全带检测方法的流程图。如图1所示，本申请实施例提供的方法，包括以下步骤：
S101：通过车舱内设置的相机拍摄得到待检测图片。
示例性的，基于车舱内安装在后视镜上的双模摄像头，采集车舱内自然光图像和红外光图像。
在具体实施中，相机安装在车舱内中控台上中间位置，向后拍摄，以确保拍摄到车内图像。车舱内设置的相机模态采用自然光和红外光双模态，即自然光相机和红外光相机两个摄像头。通过双模态相机可同时获取到红外图像与自然光图像，以便得到更加清晰精准的目标人员检测图片。优选的，相机分辨率可以采用1920x1080，视场角可以为水平120度、垂直80度，镜头水平偏角可为0度，垂直偏角可为0度，通过设置相机在车舱内的具体位置，以确保相机可以拍摄到车内图像。
S102：通过目标检测模型对所述待检测图片进行目标人员检测，得到目标人体框。
在具体实施中，目标检测模型可以为卷积神经网络，卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。当然，在其它实施例中，目标检测模型也可以为不同于卷积神经网络模型的其它模型，只要能得到目标人体框即可。
在一种可能的实施方式中，图2为本申请实施例所提供的得到目标人体框具体方法的流程图，如图2所示，本申请实施例提供的方法，包括以下步骤：
S201，通过所述目标检测模型中的特征提取层，提取所述待检测图片的第一特征图和第二特征图；
S202，将所述第二特征图进行上采样，并与所述第一特征图进行融合，得到第一候选人体框；
S203，将所述第二特征图输入至所述目标检测模型中的第一卷积层，得到第二候选人体框；
S204，将所述第二候选人体框输入至所述目标检测模型中的第二卷积层，得到第三候选人体框；
S205，分别提取所述第一候选人体框、所述第二候选人体框和所述第三候选人体框中安全带像素的覆盖率，并将所述覆盖率最高的候选人体框作为所述目标人体框。
示例性的，目标检测模型的基础网络为ResNet18，因为车舱内人体都是较大的检测目标，算法的小目标检测要求少，且尺寸变化范围较小，所以在目标检测模型的网络结构上进行精简，减小数据量，通过目标检测模型中的特征提取层提取到第一特征图和第二特征图之后，对第二特征图进行Upsample（上采样）操作并与第一特征图进行Add特征融合输出第一候选人体框，第二特征图经过第一卷积层中的2层卷积输出第二候选人体框，通过第二卷积层在第二候选框上使用步长为2的3x3卷积得到第三候选人体框，不再进行更新的特征图提取，即输出的特征图为第一候选人体框、第二候选人体框、第三候选人体框，尺寸下降倍数分别为16倍、32倍、64倍。
进一步的，对目标人体检测模型的基础网络输出的每一个特征图，即第一候选人体框、第二候选人体框、第三候选人体框连接类别分类，人体框的位置回归2个头分支，检测头分支中的激活函数使用Leaky ReLU函数。
S103：将所述目标人体框输入至语义分割模型，确定所述目标人体框中是否存在安全带，并在检测出安全带时，确定所述目标人体框中安全带像素区域与背景像素区域。
在具体实施中，对步骤S102中检测到的目标人体框使用语义分割模型，将目标人体框中安全带像素区域与背景像素区域分开。在与目标检测模型的ResNet18基础上使用SegNet模型实现语义分割，即目标检测模型和语义分割模型使用相同的基础网络，由步骤S102中的第二特征图Upsample（上采样）后与第一特征图进行通道拼接输出第四分割特征图，第四分割特征图Upsample后与第三特征图进行通道拼接输出第三分割特征图，第三分割特征图Upsample后与第四特征图进行通道拼接输出第二分割特征图，第二分割特征图Upsample后与第五特征图进行通道拼接输出第一分割特征图，第一分割特征图经Softmax层后输出分割结果。
S104：根据所述安全带像素区域的各个像素点，得到所述各个像素点的最小外接矩形。
在具体实施中，将步骤S103中通过语义分割模型分割得到的安全带像素区域的像素点作为一个像素点集合，求像素点集合的最小外接矩形。
S105：当所述最小外接矩形的宽高比小于预设阈值，确定所述目标人员未系安全带。
示例性的，在完成目标人体框检测和安全带像素区域的分割后，分析目标人体框与安全带区域的位置关系、安全带最小外接矩形的长宽比，判断驾驶员、副驾驶位乘客是否系安全带，并发出警报。
在具体实施中，计算步骤S104中的最小外接矩形的宽高比，并根据是否小于预设阈值区分目标人员是否未系安全带。
示例性的，当安全带像素区域的最小外接矩形的宽高比未超过预设阈值即代表检测到目标人员已系安全带，而为保证检测结果的准确性，通过计算标准系安全带情况下安全带区域的最小外接矩形的宽高比平均值（即第一平均宽高比）与非标准系安全带图片中安全带像素区域的最小外接矩形宽高比平均值（即第二平均宽高比）。通过取第一平均宽高比与第二平均宽高比的平均值为预设阈值。
在一种可能的实施方式中，在步骤S102中通过目标检测模型对所述待检测图片进行目标人员检测，得到目标人体框之后，所述方法还包括：通过所述目标检测模型确定所述目标人体框在所述待检测图片中的位置信息；根据所述位置信息，确定所述目标人员为驾驶员或副驾驶员，以便确定所述驾驶员或副驾驶员是否系安全带。
在具体实施中，根据检测到的目标人体框的位置坐标区分目标人体框是驾驶位还是副驾驶位，以便进一步确定驾驶员或副驾驶员是否有人未系安全带。
在一些可能的实施例中，在步骤S103中将所述目标人体框输入至语义分割模型，确定所述目标人体框中是否存在安全带之前，所述方法还包括：将任一训练图片输入至初始语义分割模型，得到输出人体框；当所述输出人体框中安全带像素的覆盖率达到预设值时，完成训练，生成语义分割模型。
在具体实施中，根据大量的训练图片对初始语义分割模型进行训练，直至输出的人体框中安全带像素的覆盖率达到预设值时，完成训练。
示例性的，通过目标检测模型检测人体框，目标检测模型输入图片尺寸优选为640x640。人体检测数据集可以包含相机读取的RGB图像10000张和红外图像10000张，其中训练图片可以包含RGB图像8000张、红外图像8000张，验证图片可以包含RGB图像1000张、红外图像1000张，验证集可以包含RGB图像1000张、红外图像1000张，样本标注只标注身体主干部分和头部，不标注伸出的手臂，训练时使用的增强方法包括resize、Mosaic。训练总epoch为250，初始学习率为0.001，在训练190轮和220轮时学习率衰减为原学习率的0.1倍。
在一些可能的实施例中，当完成训练，生成语义分割模型之后还包括：将任一验证图片输入至训练完成的语义分割模型，得到验证人体框；所述验证图片与所述训练图片不同；当所述验证人体框中安全带像素的覆盖率未达到所述预设值时，则根据任一验证图片重复训练步骤，直至最终获取的验证人体框中安全带像素的覆盖率达到预设值，停止训练。
在具体实施中，为确保语义分割模型训练完成可以使用，在通过大量的训练图片完成训练之后，继续通过另外大量与训练图片不同的验证图片来检测语义分割模型，若验证结果不理想则重复训练过程，直至最终获取的验证人体框中安全带像素的覆盖率达到预设值，停止训练。
在一些可能的实施例中，所述目标阈值通过以下步骤得到：获取多个标准系安全带图片中安全带像素区域的最小外接矩形的宽高比，计算得到第一平均宽高比；获取多个非标准系安全带图片中安全带像素区域的最小外接矩形的宽高比，计算得到第二平均宽高比；计算所述第一平均宽高比与所述第二平均宽高比的平均值，作为所述目标阈值。
示例性的，所述标准系安全带即正常系安全带，而非标准系安全带则为安全带只被拉出来但没有拉到锁扣一侧的情况。
将每个人体框内的安全带像素点作为一个安全带点集，计算安全带点集的最小外接矩形，统计约1000张图片中标准系安全带情况下安全带区域的最小外接矩形的宽高比值，取1000个宽高比值的平均值，即第一平均宽高比；计算同等数量张的非标准系安全带情况下的安全带区域最小外接矩形宽高比的平均值，即第二平均宽高比，将第一平均宽高比和第二平均宽高比的均值作为判读是否正常系安全带的目标阈值。需要说明的是，人体框之外的安全带区域不参与后续计算。
在一些可能的实施例中，在将所述目标人体框输入至语义分割模型，确定所述目标人体框中是否存在安全带之后，所述方法还包括：当在所述目标人体框中未检测到安全带时，确定所述目标人员未系安全带。
在具体实施中，当目标检测模型在驾驶位或副驾驶位检测到目标人体框，目标人体框内不存在安全带，或安全带区域外接矩形宽高比小于目标阈值时，发出报警信号提醒目标人员未系安全带，报警信号中可包含作为信息、是否系安全带信息等等。
基于同一申请构思，本申请实施例中还提供了与上述实施例提供的一种安全带检测方法对应的安全带检测装置，由于本申请实施例中的装置解决问题的原理与本申请上述实施例的安全带检测方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
如图3所示，图3为本申请实施例提供的一种安全带检测装置300的功能模块图，包括：
采集模块310，所述采集模块被配置为通过车舱内设置的相机拍摄得到待检测图片；
检测模块320，所述检测模块被配置为通过目标检测模型对所述待检测图片进行目标人员检测，得到目标人体框；
分割模块330，所述分割模块被配置为将所述目标人体框输入至语义分割模型，确定所述目标人体框中是否存在安全带，并在检测出安全带时，确定所述目标人体框中安全带像素区域与背景像素区域；
获取模块340，所述获取模块被配置为根据所述安全带像素区域的各个像素点，得到所述各个像素点的最小外接矩形；
确认模块350，所述确认模块被配置为当所述最小外接矩形的宽高比小于预设阈值，确定所述目标人员未系安全带。
一种可选的实施方式中，所述检测模块320用于根据以下步骤通过目标检测模型对所述待检测图片进行目标人员检测，得到目标人体框，包括：
通过所述目标检测模型中的特征提取层，提取所述待检测图片的第一特征图和第二特征图；
将所述第二特征图进行上采样，并与所述第一特征图进行融合，得到第一候选人体框；
将所述第二特征图输入至所述目标检测模型中的第一卷积层，得到第二候选人体框；
将所述第二候选人体框输入至所述目标检测模型中的第二卷积层，得到第三候选人体框；
分别提取所述第一候选人体框、所述第二候选人体框和所述第三候选人体框中安全带像素的覆盖率，并将所述覆盖率最高的候选人体框作为所述目标人体框。
一种可选的实施方式中，所述检测模块320在通过目标检测模型对所述待检测图片进行目标人员检测，得到目标人体框之后，还包括：
通过所述目标检测模型确定所述目标人体框在所述待检测图片中的位置信息；
根据所述位置信息，确定所述目标人员为驾驶员或副驾驶员，以便确定所述驾驶员或副驾驶员是否系安全带。
一种可选的实施方式中，所述分割模块330在将所述目标人体框输入至语义分割模型，确定所述目标人体框中是否存在安全带之前，还包括：
将任一训练图片输入至初始语义分割模型，得到输出人体框；
当所述输出人体框中安全带像素的覆盖率达到预设值时，完成训练，生成语义分割模型。
一种可选的实施方式中，所述分割模块330在完成训练，生成语义分割模型之后还包括：
将任一验证图片输入至训练完成的语义分割模型，得到验证人体框；所述验证图片与所述训练图片不同；
当所述验证人体框中安全带像素的覆盖率未达到所述预设值时，则根据任一验证图片重复训练步骤，直至最终获取的验证人体框中安全带像素的覆盖率达到预设值，停止训练。
一种可选的实施方式中，所述确认模块350中的所述目标阈值通过以下步骤得到：
获取多个标准系安全带图片中安全带像素区域的最小外接矩形的宽高比，计算得到第一平均宽高比；
获取多个非标准系安全带图片中安全带像素区域的最小外接矩形的宽高比，计算得到第二平均宽高比；计算所述第一平均宽高比与所述第二平均宽高比的平均值，作为所述预设阈值。
一种可选的实施方式中，所述分割模块330在将所述目标人体框输入至语义分割模型，确定所述目标人体框中是否存在安全带之后，还包括：
当在所述目标人体框中未检测到安全带时，确定所述目标人员未系安全带。
本申请公开实施例公开的安全带检测装置可以通过车舱内相机采集图片，能够对安全带状态持续检测，并且使用语义分割模型检测安全带区域作为前景，同时检测人体目标框，根据安全带和人体框的位置关系判断主、副驾驶是否正确佩戴安全带，实现更精准的安全带检测。
基于同一申请构思，参见图4所示，为本申请实施例提供的一种电子设备400的结构示意图，包括：处理器410、存储器420和总线430，存储器420用于存储执行指令，包括内存421和外部存储器422；这里的内存421也称内存储器，用于暂时存放处理器410中的运算数据，以及与硬盘等外部存储器422交换的数据，处理器410通过内存421与外部存储器422进行数据交换，当所述电子设备400运行时，所述处理器410与所述存储器420之间通过总线430通信，使得所述处理器410可以执行上述方法实施例中所示的安全带检测方法的步骤。所述存储器420存储有所述处理器410可执行的机器可读指令，当电子设备400运行时，所述处理器410与所述存储器420之间通过所述总线430进行通信，所述机器可读指令被所述处理器410运行时执行如上述实施例中任一所述的安全带检测方法的步骤。
基于同一申请构思，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述实施例提供的安全带检测方法的步骤。
具体地，所述存储介质能够为通用的存储介质，如移动磁盘、硬盘等，所述存储介质上的计算机程序被运行时，能够执行上述安全带检测方法。
在本申请实施例中，该计算机程序被处理器运行时还可以执行其它机器可读指令，以执行如实施例中其它所述的方法，关于具体执行的方法步骤和原理参见实施例的说明，在此不再详细赘述。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请提供的实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种安全带检测方法，其特征在于，所述方法包括：
通过车舱内设置的相机拍摄得到待检测图片；
通过目标检测模型对所述待检测图片进行目标人员检测，得到目标人体框；
将所述目标人体框输入至语义分割模型，确定所述目标人体框中是否存在安全带，并在检测出安全带时，确定所述目标人体框中安全带像素区域与背景像素区域；
根据所述安全带像素区域的各个像素点，得到所述各个像素点的最小外接矩形；
当所述最小外接矩形的宽高比小于预设阈值，确定所述目标人员未系安全带；
通过目标检测模型对所述待检测图片进行目标人员检测，得到目标人体框，包括：
通过所述目标检测模型中的特征提取层，提取所述待检测图片的第一特征图和第二特征图；
将所述第二特征图进行上采样，并与所述第一特征图进行融合，得到第一候选人体框；
将所述第二特征图输入至所述目标检测模型中的第一卷积层，得到第二候选人体框；
将所述第二候选人体框输入至所述目标检测模型中的第二卷积层，得到第三候选人体框；
分别提取所述第一候选人体框、所述第二候选人体框和所述第三候选人体框中安全带像素的覆盖率，并将所述覆盖率最高的候选人体框作为所述目标人体框。
2.根据权利要求1所述的方法，其特征在于，通过目标检测模型对所述待检测图片进行目标人员检测，得到目标人体框之后，所述方法还包括：
通过所述目标检测模型确定所述目标人体框在所述待检测图片中的位置信息；
根据所述位置信息，确定所述目标人员为驾驶员或副驾驶员，以便确定所述驾驶员或副驾驶员是否系安全带。
3.根据权利要求1所述的方法，其特征在于，在将所述目标人体框输入至语义分割模型，确定所述目标人体框中是否存在安全带之前，所述方法还包括：
将任一训练图片输入至初始语义分割模型，得到输出人体框；
当所述输出人体框中安全带像素的覆盖率达到预设值时，完成训练，生成语义分割模型。
4.根据权利要求3所述的方法，其特征在于，当完成训练，生成语义分割模型之后还包括：
将任一验证图片输入至训练完成的语义分割模型，得到验证人体框；所述验证图片与所述训练图片不同；
当所述验证人体框中安全带像素的覆盖率未达到所述预设值时，则根据任一验证图片重复训练步骤，直至最终获取的验证人体框中安全带像素的覆盖率达到预设值，停止训练。
5.根据权利要求1所述的方法，其特征在于，所述预设阈值通过以下步骤得到：
获取多个标准系安全带图片中安全带像素区域的最小外接矩形的宽高比，计算得到第一平均宽高比；
获取多个非标准系安全带图片中安全带像素区域的最小外接矩形的宽高比，计算得到第二平均宽高比；计算所述第一平均宽高比与所述第二平均宽高比的平均值，作为所述预设阈值。
6.根据权利要求1所述的方法，其特征在于，在将所述目标人体框输入至语义分割模型，确定所述目标人体框中是否存在安全带之后，所述方法还包括：
当在所述目标人体框中未检测到安全带时，确定所述目标人员未系安全带。
7.一种安全带检测装置，其特征在于，所述装置包括：
采集模块，所述采集模块被配置为通过车舱内设置的相机拍摄得到待检测图片；
检测模块，所述检测模块被配置为通过目标检测模型对所述待检测图片进行目标人员检测，得到目标人体框；
分割模块，所述分割模块被配置为将所述目标人体框输入至语义分割模型，确定所述目标人体框中是否存在安全带，并在检测出安全带时，确定所述目标人体框中安全带像素区域与背景像素区域；
获取模块，所述获取模块被配置为根据所述安全带像素区域的各个像素点，得到所述各个像素点的最小外接矩形；
确认模块，所述确认模块被配置为当所述最小外接矩形的宽高比小于预设阈值，确定所述目标人员未系安全带；
所述检测模块用于根据以下步骤通过目标检测模型对所述待检测图片进行目标人员检测，得到目标人体框，包括：
通过所述目标检测模型中的特征提取层，提取所述待检测图片的第一特征图和第二特征图；
将所述第二特征图进行上采样，并与所述第一特征图进行融合，得到第一候选人体框；
将所述第二特征图输入至所述目标检测模型中的第一卷积层，得到第二候选人体框；
将所述第二候选人体框输入至所述目标检测模型中的第二卷积层，得到第三候选人体框；
分别提取所述第一候选人体框、所述第二候选人体框和所述第三候选人体框中安全带像素的覆盖率，并将所述覆盖率。
8.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过所述总线进行通信，所述机器可读指令被所述处理器运行时执行如权利要求1至6任一所述方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至6任一所述方法的步骤。
CN202310439017.6A 2023-04-23 2023-04-23 一种安全带检测方法及装置 Active CN116152790B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310439017.6A CN116152790B (zh) 2023-04-23 2023-04-23 一种安全带检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310439017.6A CN116152790B (zh) 2023-04-23 2023-04-23 一种安全带检测方法及装置

Publications (2)

Publication Number Publication Date
CN116152790A true CN116152790A (zh) 2023-05-23
CN116152790B CN116152790B (zh) 2023-07-07

Family

ID=86339334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310439017.6A Active CN116152790B (zh) 2023-04-23 2023-04-23 一种安全带检测方法及装置

Country Status (1)

Country Link
CN (1) CN116152790B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110096960A (zh) * 2019-04-03 2019-08-06 罗克佳华科技集团股份有限公司 目标检测方法及装置
CN112016502A (zh) * 2020-09-04 2020-12-01 平安国际智慧城市科技股份有限公司 安全带检测方法、装置、计算机设备及存储介质
CN113269005A (zh) * 2020-02-14 2021-08-17 深圳云天励飞技术有限公司 一种安全带检测方法、装置及电子设备
CN113343992A (zh) * 2021-08-06 2021-09-03 长沙海信智能系统研究院有限公司 车辆属性识别方法、装置、设备及介质
CN115331453A (zh) * 2022-08-17 2022-11-11 康一 一种车辆进入无接触式智能控制方法
US20230017759A1 (en) * 2021-07-19 2023-01-19 Black Sesame Technologies Inc. Safety belt detection method, apparatus, computer device and storage medium

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110096960A (zh) * 2019-04-03 2019-08-06 罗克佳华科技集团股份有限公司 目标检测方法及装置
CN113269005A (zh) * 2020-02-14 2021-08-17 深圳云天励飞技术有限公司 一种安全带检测方法、装置及电子设备
CN112016502A (zh) * 2020-09-04 2020-12-01 平安国际智慧城市科技股份有限公司 安全带检测方法、装置、计算机设备及存储介质
US20230017759A1 (en) * 2021-07-19 2023-01-19 Black Sesame Technologies Inc. Safety belt detection method, apparatus, computer device and storage medium
CN113343992A (zh) * 2021-08-06 2021-09-03 长沙海信智能系统研究院有限公司 车辆属性识别方法、装置、设备及介质
CN115331453A (zh) * 2022-08-17 2022-11-11 康一 一种车辆进入无接触式智能控制方法

Also Published As

Publication number Publication date
CN116152790B (zh) 2023-07-07

Similar Documents

Publication Publication Date Title
CN110532976B (zh) 基于机器学习和多特征融合的疲劳驾驶检测方法及系统
EP1606769B1 (en) System and method for vehicle detection and tracking
JP5297078B2 (ja) 車両の死角における移動物体を検知するための方法、および死角検知装置
EP1589485B1 (en) Object tracking and eye state identification method
CN112016457A (zh) 驾驶员分神以及危险驾驶行为识别方法、设备和存储介质
CN104508723B (zh) 图像处理装置
US9662977B2 (en) Driver state monitoring system
CN101187985B (zh) 确定对象分类器分类边界的方法及装置
WO2015052896A1 (ja) 乗車人数計測装置、乗車人数計測方法およびプログラム記録媒体
CN112349144B (zh) 一种基于单目视觉的车辆碰撞预警方法及系统
EP2851841A2 (en) System and method of alerting a driver that visual perception of pedestrian may be difficult
CN110210474A (zh) 目标检测方法及装置、设备及存储介质
US7650034B2 (en) Method of locating a human eye in a video image
US20170330043A1 (en) Method and System for Synthesizing a Lane Image
KR20140004291A (ko) 전방차량 충돌 경고 시스템 및 전방차량 충돌 경고 방법
CN102555982A (zh) 基于机器视觉的安全带佩带识别方法及装置
CN105976570A (zh) 一种基于车载视频监控的驾驶员吸烟行为实时监测方法
Kumtepe et al. Driver aggressiveness detection via multisensory data fusion
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
Santos et al. Car recognition based on back lights and rear view features
CN111332306A (zh) 一种基于机器视觉的交通道路感知辅助驾驶预警装置
CN111539360B (zh) 安全带佩戴识别方法、装置及电子设备
CN116152790B (zh) 一种安全带检测方法及装置
CN110188645B (zh) 用于车载场景的人脸检测方法、装置、车辆及存储介质
CN116935361A (zh) 一种基于深度学习的驾驶员分心行为检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant