CN113553938A - 安全带检测方法、装置、计算机设备和存储介质 - Google Patents

安全带检测方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN113553938A
CN113553938A CN202110814892.9A CN202110814892A CN113553938A CN 113553938 A CN113553938 A CN 113553938A CN 202110814892 A CN202110814892 A CN 202110814892A CN 113553938 A CN113553938 A CN 113553938A
Authority
CN
China
Prior art keywords
image
detection
network
safety belt
seat belt
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110814892.9A
Other languages
English (en)
Other versions
CN113553938B (zh
Inventor
曾宇前
章涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Black Sesame Intelligent Technology Shanghai Co Ltd
Original Assignee
Black Sesame Intelligent Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Black Sesame Intelligent Technology Shanghai Co Ltd filed Critical Black Sesame Intelligent Technology Shanghai Co Ltd
Priority to CN202110814892.9A priority Critical patent/CN113553938B/zh
Publication of CN113553938A publication Critical patent/CN113553938A/zh
Priority to US17/720,024 priority patent/US20230017759A1/en
Application granted granted Critical
Publication of CN113553938B publication Critical patent/CN113553938B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种安全带检测方法、装置、计算机设备和计算机可读存储介质。安全带检测方法包括：获取待检测图像；将待检测图像输入至检测网络，检测网络包括图像分类分支网络和图像分割分支网络；获取从图像分类分支网络输出的分类结果以及从图像分割分支网络输出的分割图，分类结果指示驾驶员是否佩戴安全带，分割图指示安全带的位置信息；以及基于分类结果和分割图获得安全带的检测结果，检测结果指示驾驶员是否规范佩戴安全带。同时结合使用图像分类分支网络和图像分割分支网络，能够快速、准确地判断驾驶员是否规范佩戴安全带。

Description

安全带检测方法、装置、计算机设备和存储介质
技术领域
本发明涉及图像识别领域，特别是涉及安全带检测方法、装置、计算机设备和存储介质。
背景技术
驾驶员监控系统(Driver Monitoring System，DMS)通常使用摄像机对驾驶员开车状态进行监控。在DMS系统的一些应用中，需要对驾驶员是否正确规范佩戴安全带做出判断，在驾驶员没有规范佩戴安全带的情况下，DMS系统将作出报警，防止机动车发生碰撞或紧急制动时，避免碰撞造成伤害。
通常，基于深度学习的方法对从摄像机拍摄的图像进行分类识别或语义分割，以从拍摄的图像中检测安全带的佩戴情况。然而，传统的检测方法检测精度不高、计算量较大，且难以获得安全带的细节信息，难以判断驾驶员是否规范佩戴安全带。
发明内容
基于此，本申请提供了一种安全带检测方法、装置、计算机设备和存储介质。
根据本申请的第一方面，提供了一种安全带检测方法，包括：获取待检测图像；将所述待检测图像输入至检测网络，所述检测网络包括图像分类分支网络和图像分割分支网络；获取从所述图像分类分支网络输出的分类结果以及从所述图像分割分支网络输出的分割图，所述分类结果指示驾驶员是否佩戴安全带，所述分割图指示安全带的位置信息；以及基于所述分类结果和所述分割图获得安全带的检测结果，所述检测结果指示所述驾驶员是否规范佩戴安全带。
在一实施例中，所述分割图相对于所述待检测图像缩小预定比例，并且所述分割图的像素位置与所述待检测图像的像素位置对应映射。
在一实施例中，获取待检测图像包括：通过摄像机捕获原始图像；基于预定算法检测所述原始图像中的人脸以获得人脸边框及头部姿态信息；判断所述原始图像中人脸以下的部分是否满足预定大小；若不满足预定大小，将所述检测结果确定为检测区域不足；若满足预定大小，则基于所述人脸边框及所述头部姿态信息对所述原始图像中人脸以下的部分进行动态截取，以获得截取图像；以及对所述截取图像进行预处理以获得所述待检测图像。
在一实施例中，获取待检测图像还包括：基于人手检测算法检测所述原始图像中的人手以获得人手边框；基于所述人脸边框的位置和大小在所述原始图像中获得安全带边框；以及当所述人手边框位于相对于所述人脸边框的预定位置且所述人手边框与所述安全带边框的交叠面积大于设定阈值时，将所述检测结果确定为安全带被遮挡。
在一实施例中，所述检测网络还包括主干网络；在获取从所述图像分类分支网络输出的分类结果以及从所述图像分割分支网络输出的分割图之前，所述方法还包括：利用所述主干网络对所述待检测图像进行卷积以生成所述待检测图像的特征图，将所述特征图用作所述图像分类分支网络和所述图像分割分支网络的输入。
在一实施例中，基于所述分类结果和所述分割图获得安全带的检测结果包括：按照预定规则从所述分割图拟合所述安全带的中心线；计算与所述中心线相关的参数；以及基于所述参数和所述分类结果获得所述安全带的检测结果。
在一实施例中，按照预定规则从所述分割图拟合所述安全带的中心线包括：针对所述分割图逐行或逐列获取该行或该列中安全带区域的中心点；对所述分割图中的所有中心点进行拟合获得所述安全带的中心线；其中，与所述中心线相关的参数包括：所述中心线与预定方向的夹角、所述中心线与驾驶员肩膀的相对位置。
在一实施例中，在获取待检测图像之前，所述方法还包括：选取训练图像对所述图像分类分支网络进行训练，所述训练图像被划分为佩戴安全带标签图像和未佩戴安全带标签图像；将所述佩戴安全带标签图像按照所述预定比例缩小，并利用缩小的标签图像对所述图像分割分支网络进行训练。
根据本申请的第二方面，提供了一种安全带检测装置，包括：图像获取单元，配置为获取待检测图像；图像检测单元，配置为将所述待检测图像输入至检测网络，所述检测网络包括图像分类分支网络和图像分割分支网络；获取从所述图像分类分支网络输出的分类结果以及从所述图像分割分支网络输出的分割图，所述分类结果指示驾驶员是否佩戴安全带，所述分割图指示安全带的位置信息；以及结果获取单元，配置为基于所述分类结果和所述分割图获得安全带的检测结果；所述检测结果指示所述驾驶员是否正确佩戴安全带。
在一实施例中，所述分割图相对于所述待检测图像缩小预定比例，并且所述分割图的像素位置与所述待检测图像的像素位置对应映射。
在一实施例中，所述图像获取单元包括：图像捕获单元，配置为通过摄像机捕获原始图像；图像截取单元，配置为：基于预定算法检测所述原始图像中的人脸以获得人脸边框及头部姿态信息；判断所述原始图像中人脸以下的部分是否满足预定大小；若不满足预定大小，使所述结果获取单元将所述检测结果确定为检测区域不足；若满足预定大小，则基于所述人脸边框及所述头部姿态信息对所述原始图像中人脸以下的部分进行动态截取，以获得截取图像；以及图像预处理单元，配置为：对所述截取图像进行预处理以获得所述待检测图像。
在一实施例中，所述图像截取单元还配置为：基于人手检测算法检测所述原始图像中的人手以获得人手边框；基于所述人脸边框的位置和大小在所述原始图像中获得安全带边框；以及当所述人手边框位于相对于所述人脸边框的预定位置且所述人手边框与所述安全带边框的交叠面积大于设定阈值时，使所述结果获取单元将所述检测结果确定为安全带被遮挡。
在一实施例中，所述检测网络还包括主干网络；所述图像检测单元包括：特征提取单元，配置为利用所述主干网络对所述待检测图像进行卷积以生成所述待检测图像的特征图，将所述特征图用作所述图像分类分支网络和所述图像分割分支网络的输入。
在一实施例中，所述结果获取单元包括：中心线计算单元，配置为按照预定规则从所述分割图拟合所述安全带的中心线；以及计算与所述中心线相关的参数；所述结果获取单元还配置为：基于所述参数和所述分类结果获得所述安全带的检测结果。
在一实施例中，所述中心线计算单元还配置为：针对所述分割图逐行或逐列获取该行或该列中安全带区域的中心点；对所述分割图中的所有中心点进行拟合获得所述安全带的中心线；其中，与所述中心线相关的参数包括：所述中心线与预定方向的夹角、所述中心线与驾驶员肩膀的相对位置。
在一实施例中，安全带检测装置还包括检测网络训练单元，配置为：选取训练图像对所述图像分类分支网络进行训练，所述训练图像被划分为佩戴安全带标签图像和未佩戴安全带标签图像；将所述未佩戴安全带标签图像按照所述预定比例缩小，并利用缩小的标签图像对所述图像分割分支网络进行训练。
根据本申请的第三方面，提供了一种计算机设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现根据本申请第一方面的安全带检测方法。
根据本申请的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现根据本申请第一方面的安全带检测方法。
根据本申请的安全带检测方法、装置、计算机设备和存储介质，使用深度学习神经网络对待检测图像进行识别，能够获得更高的准确度和鲁棒性。其中，图像分类分支网络能够快速判断驾驶员是否佩戴安全带，图像分割分支网络能够检测安全带的具体位置信息。同时结合使用图像分类分支网络和图像分割分支网络，能够快速、准确地判断驾驶员是否规范佩戴安全带。此外，根据本申请的图像分割分支网络在小尺度上进行语义分割，相对于常规的图像分割网络降低了运算量。
附图说明
图1是根据本申请的一实施例的安全带检测方法的流程图；
图2是根据本申请的一实施例的安全带检测方法的流程图；
图3是根据本申请的一实施例的安全带检测方法的流程图；
图4是根据本申请的一实施例的安全带检测方法的流程图；
图5是根据本申请的一实施例的原始图像的示意图；
图6是根据本申请的一实施例的原始图像的示意图；
图7是根据本申请的一实施例的检测网络的概要示意图；
图8是根据本申请的一实施例的安全带检测方法的流程图；
图9是根据本申请的一实施例的安全带检测装置的结构框图；
图10是根据本申请的一实施例的安全带检测装置的结构框图；
图11是根据本申请的一实施例的安全带检测装置的结构框图；
图12是根据本申请的一实施例的安全带检测装置的结构框图；
图13是根据本申请的一实施例的安全带检测装置的结构框图；
图14是根据本申请的一实施例的计算机设备的内部结构示意图。
具体实施方式
DMS对驾驶员的驾驶状态进行监控，判断驾驶员是否存在疲劳、分心、抽烟打电话喝水等非安全驾驶行为。在一些应用中，DMS需要通过图像识别技术从待检测图像中对驾驶员是否正确规范佩戴安全带做出判断。安全带识别通常受到复杂的环境背景、光照、驾驶员衣服配饰、安全带折叠扭曲变形、遮挡等多方面的影响。然而，在进行图像识别的过程中，安全带一般非常细长而且有时不容易与背景区分，并且还容易受到遮挡的影响，因此安全带检测不同于常规的物体检测，其细长且形状多变的特点增加了其检测难度。对此，希望提供一种能够精确检测驾驶员是否规范佩戴安全带的方法。
参见图1，本申请提供的安全带检测方法包括以下步骤S140-S180。
S120：获取待检测图像。
在一实施例中，待检测图像是包含驾驶员身体的正面的图像，优选地，待检测图像包含驾驶员的上半身，从该图像中，能够清晰地获取驾驶员是否规范佩戴安全带的信息。
S140：将待检测图像输入至检测网络，该检测网络包括图像分类分支网络和图像分割分支网络。
本申请的检测网络是基于深度学习的神经网络。其中，图像分类分支网络用于获取驾驶员是否有佩戴安全带的信息，即，图像中是否存在安全带的信息。图像分割分支网络用于基于图像识别领域中的语义分割技术识别图像中的安全带部分和非安全带部分。语义分割技术从像素级别来理解图像，同一类的像素都被归为一类。在该图像分割分支网络中，通过语义分割将图像中安全带的区域的像素点归为一类，并将图像中不是安全带的区域的像素点归为另一类，呈现为能够示出安全带区域的分割图。
S160：获取从图像分类分支网络输出的分类结果以及从图像分割分支网络输出的分割图，该分类结果指示驾驶员是否佩戴安全带，该分割图指示安全带的位置信息。
在一实施例中，分类结果包括分类标签L和概率P。示例性地，分类标签L可以用“0”和“1”来表示，其中分类标签L为“0”代表驾驶员没有佩戴安全带，分类标签L为“1”代表驾驶员有佩戴安全带。概率P代表对应于该分类标签的概率。例如，当输出的概率P为0.994且分类标签L为“1”时，该分类结果指示驾驶员有佩戴安全带，且有佩戴安全带的概率为99.4％。
分割图即待检测图像的语义分割图，是二值化的图。在本实施例中，分割图示出安全带区域和非安全带区域，并将两个区域以不同颜色表示。分割图与输入到检测网络的待检测图像之间存在像素对应关系，从而能够从该分割图中获得安全带的位置信息。
S180：基于所述分类结果和分割图获得安全带的检测结果，该检测结果指示所述驾驶员是否规范佩戴安全带。
分类结果能够快速地对驾驶员是否有佩戴安全带做出判断，分割图能够识别安全带的位置信息和安全带的遮挡情况。示例性地，可以以分类结果为依据，首先一目了然地获知驾驶员是否有佩戴安全带；进而根据分割图参考安全带的具体位置，如果驾驶员没有规范地佩戴安全带，安全带的位置将偏离预定位置，因此能够判断驾驶员是否规范地佩戴安全带。
根据上述实施例的安全带检测方法，使用深度学习神经网络对待检测图像进行识别，能够获得更高的准确度和鲁棒性。其中，图像分类分支网络能够快速判断驾驶员是否佩戴安全带，图像分割分支网络能够检测安全带的具体位置信息。同时结合使用图像分类分支网络和图像分割分支网络，能够快速、准确地判断驾驶员是否规范佩戴安全带。
在一实施例中，分割图相对于待检测图像缩小预定比例，并且分割图的像素位置与待检测图像的像素位置对应映射。
在该实施例中分割图可以理解为相对于输入到检测网络的待检测图像按照预定比例缩小，由于分割图的像素位置与待检测图像的像素位置对应映射，因此分割图上的安全带的像素点位置可以用于定位待检测图像上的安全带的像素点的位置。示例性地，分割图可以是输入到检测网络的待检测图像的1/8映射，即，图像分割分支网络的分割尺寸为检测网络的输入尺寸的1/8，在这种情况下，能够以合适的尺寸反应原始待检测图像的信息。
相较于传统的语义分割网络，不需要将输出的分割图编码到与输入检测网络的图像相同的尺寸。因此，根据本申请的图像分割分支能够降低图像分割分支网络的运算量，即降低对待检测图像进行语义分割的运算量，能够更快速地获得分割图，进而更快速地获得安全带的位置信息，减少计算开销。
进一步参考图2，在一实施例中，在获取驾驶员的图像之前，安全带检测方法还包括：
S220：选取训练图像对所述图像分类分支网络进行训练，所述训练图像被划分为佩戴安全带标签图像和未佩戴安全带标签图像；
S240：将所述佩戴安全带标签图像按照所述预定比例缩小，并利用缩小的标签图像对所述图像分割分支网络进行训练。
在该实施例中，训练图像可以从DMS获取的驾驶员前视图或驾驶员侧视图中选取，训练图像包括驾驶员佩戴了安全带的图像和驾驶员未佩戴安全带的图像，并对应地被划分为佩戴安全带标签图像和未佩戴安全带标签图像。对图像分类分支网络进行训练的损失函数采用Focal loss损失函数Lcls，该Focal loss损失函数Lcls如下：
Figure BDA0003169811850000091
其中，α是平衡因子，用于平衡正负样本比例不均匀；γ是速率因子，用于调节简单样本权重降低的速率；λ表示补偿因子；y表示分类标签；y’表示输出结果。
例如，当图像分割分支网络的分割尺寸为1/8时，将佩戴安全带标签图像缩小到其原始尺寸的1/8，并将缩小的佩戴安全带标签图像输入到图像分割分支网络中，以对所述图像分割分支网络进行训练。具体地，对佩戴安全带标签图像中的安全带区域使用多边形进行标注，然后对标注区域二值化，再将标注的图像将标注后的图像通过最临近插值算法调整到其原始尺寸的1/8，转换为用于训练的掩模(mask)图。
对图像分割分支网络进行训练的损失函数采用交叉熵损失函数Lseg，该交叉熵损失函数Lseg如下：
Lseg＝-[y log y′+(1-y)log(1-y′)]
该交叉熵损失函数中的相关参数的含义与上述Focal loss损失函数中的相同参数的含义相同。应当理解，本领域技术人员也可以使用其它损失函数以用于训练图像分类分支网络和图像分割分支网络。
根据上述实施例的安全带检测方法，对检测网络进行训练，使得检测网络的模型推理结果具有更高的准确性和可靠性。此外，利用小尺寸图像对图像分割分支网络进行训练，使得在后续利用检测网络进行模型推理时能够得到小尺寸的分割图，相对于常规的图像分割网络降低了运算量。
进一步参见图1和图3，在一实施例中，步骤S102进一步包括步骤S320-S380。
S320：通过摄像机捕获原始图像。
在一实施例中，原始图像是在车辆驾驶的过程中DMS通过使用红外摄像机(IR摄像机)实时对驾驶员的位置拍摄的图像。优选地，IR摄像机包括940nm的红外补光灯和摄像头，红外补光灯用于对拍摄区域进行照射补光，最大限度减少光照对安全带检测的影响。本申请对IR摄像机的位置没有特别限制，只能能够拍摄驾驶员的正面图像即可，例如可以设置在驾驶员座位的前侧或其他位置。
S340：基于预定算法检测原始图像中的人脸以获得人脸边框及头部姿态信息。
在一实施例中，可以基于深度学习的方法检测原始图像中的人脸，并获得人脸边框(bounding box)及头部姿态信息。头部姿态信息例如包括头部俯仰角(pitch)、偏航角(yaw)、翻滚角(roll)。
S350：判断原始图像中人脸以下的部分是否满足预定大小。
在一实施例中，可以基于人脸边框在原始图像中的位置判断原始图像中人脸以下的部分是否满足预定大小。原始图像中人脸以下的部分可被认为是安全带可检测区域，判断该可检测区域是否满足预定大小，从而判断图像是否满足检测区域的要求，即需要保证安全带可检测区域足够。如果可检测区域过小，图像中的信息不足以展示安全带佩戴情况，则容易在信息不足的情况下导致较多的误判和漏判。
S355：若不满足预定大小，将检测结果输出为检测区域不足。
S360：若满足预定大小，则基于人脸边框及头部姿态信息对原始图像中人脸以下的部分进行动态截取，以获得截取图像。
在一实施例中，对原始图像中人脸边框的右下部分进行动态截取，该区域通常对应于安全带的佩戴位置，该区域的图像能够更好地呈现安全带的佩戴情况。考虑到人脸以下图像区域范围可能有限，可以适当将截取区域沿着竖直方向向上偏移，从而使实际安全带区域更靠近截取图像的中心。
优选地，截取图像的高度为人脸边框的高度的2.2倍，并根据检测网络的检测尺寸确定截取图像的宽高比，即截取图像的宽高比等于检测尺寸的宽高比。考虑到驾驶员的安全带佩戴在左侧，截取区域沿水平方向适当向图像右侧偏移。进一步地，考虑头部姿态信息中的偏航角会影响截取，截取区域沿水平方向随偏航角动态调整。更进一步地，考虑到人脸以下部分的图像可能有大有小，适当将截取区域沿竖直偏移向上偏移，从而使实际安全带区域更靠近截取图像的中心区域。
S380：对所述截取图像进行预处理以获得待检测图像。
在一实施例中，预处理包括对截取图像进行等比例缩放到预定尺寸以及对截取图像进行归一化处理。由于截取图像通常是驾驶员上半身的图像，截取图像可能具有不同的尺寸。将截取图像等比例缩放到预定尺寸，其中预定尺寸为检测网络的检测尺寸，能够满足检测网络的检测尺寸要求。优选地，可以将截取图像等比例缩放到224×160的尺寸，以适应主流神经网络的检测尺寸。归一化处理例如使截取图像的像素值都在[-1,1]的区间内。
进一步参见图4至图6，在一实施例中，步骤S320之后还包括步骤S420-S460。
S420：基于人手检测算法检测所述原始图像中的人手以获得人手边框。在一实施例中，该步骤S420可以与步骤S340同时执行，即同时执行人脸检测和人手检测，二者都可以利用深度学习的方法实现。在本实施例中，人脸检测与人手检测在对待检测图像执行安全带检测之前进行，如此，能够在执行安全带检测前判断手部遮挡安全带区域，能够获取更适于进行安全带检测的待检测图像。可以在同一个用于图像识别的神经网络中执行人脸检测和人手检测，也可以设置不同的神经网络以分别用于执行人脸检测和人手检测。
S440：基于所述人脸边框的位置和大小在所述原始图像中获得安全带边框。
由于驾驶员的安全带通常从驾驶员的左侧肩部延伸至右侧腰部，因此可以在人脸边框的右下部分确定安全带边框。进一步参见图5至6，在一实施例中，原始图像中的人脸边框411、511以虚线方框示出，人手边框413、513以点划线边框示出，安全带边框415、515以实线方框示出。当通过人脸识别算法获得了人脸边框411、511之后，可以如下确定安全带边框415、515：将人脸边框411、511的下矩形边的中点确定为安全带边框415、515的左上角顶点，安全带边框415、515的高度h2等于人脸边框411、511的高度h1，安全带边框415、515的高度w2是人脸边框411、511的高度w1的3/4倍，即，h1＝h2，w2＝(3/4)w1。
需要注意的是，执行步骤S420和步骤S440的顺序没有限制，可以先执行步骤S420或先执行步骤S440，或者这两个步骤也可以同时执行。
S460：当所述人手边框位于相对于所述人脸边框的预定位置且所述人手边框与所述安全带边框的交叠面积大于设定阈值时，不截取图像并将所述检测结果确定为安全带被遮挡。
如图4所示，人手边框413位于人脸边框411的右侧，且人手边框413与安全带边框415的交叠面积较大，例如大于安全带边框的面积的1/4，可以判断在图5的原始图像中，手部位置遮挡了安全带区域，从而将检测结果确定为安全带被遮挡。在这种情况下，不截取图像，并且处理流程可以返回到步骤S320，以重新捕获原始图像，以获得更适于进行安全带检测的待检测图像。附加地或替代性地，也可以通过指示灯、显示屏或通过语音通知驾驶员手部动作遮挡了安全带检测。
在一示例中，如图6所示，尽管人手边框513位于人脸边框511的右侧，但人手边框513与安全带边框515的交叠面积较小，没有大于设定阈值。在这种情况下，不将检测结果确定为安全带被遮挡。设定阈值例如可以是安全带边框415、515的面积的1/4，或其它设定的面积阈值。
进一步参考图7，在一实施例中，检测网络还包括主干网络(backbone)410。主干网络410是用于进行特征提取的网络，用于提取输入图像的信息，生成特征图(feature map)，供后续的分支网络使用。主干网络410例如包括mobileNet系列、shuffleNet系列、GhostNet等。
以下将参考图7描述检测网络对驾驶员图片的处理。在一实施例中，在获取从所述图像分类分支网络输出的分类结果以及从所述图像分割分支网络输出的分割图之前，安全带检测方法还包括：利用主干网络410对待检测图像401进行卷积以生成待检测图像的特征图，将特征图用作图像分类分支网络430和图像分割分支网络420的输入。
具体地，主干网络410例如包括特征金字塔网络。如图7所示，主干网络410对待检测图像401进行卷积运算，并得到不同尺寸的第一特征图FM1、第二特征图FM2和第三特征图FM3。在图7所示的实施例中，第一特征图FM1的尺寸为检测网络400的输入尺寸的1/8，第二特征图FM2的尺寸为检测网络400的输入尺寸的1/16，第三特征图FM3的尺寸为检测网络400的输入尺寸的1/32。在该示例中，在主干网络410包含多层卷积层，卷积层的深度越深，对应输出的特征图尺寸越小，特征提取能力越强，特征提取越深入。然而，进行特征提取的形式和次数不限于此，只要能对待检测图像401提取特征并生成特征图以供后续的图像分割分支网络和图像分类分支网络使用即可。图像分类分支网络430和图像分割分支网络420共享用于特征提取的主干网络410，降低运算量。
在上述实施例中，如图7所示，分别对第二特征图FM2和第三特征图FM3卷积，并采样到与第一特征图FM1的尺寸相同的尺寸，分别获得第二调整特征图FM2’和第三调整特征图FM3’；然后对第一特征图FM1、第二调整特征图FM2’和第三调整特征图FM3’在维度上拼接，并将拼接的特征图输入到图像分割分支网络420，通过图像分割分支网络420的卷积处理输出分割图402。
例如，在图7的示例中，当输入到检测网络的驾驶员图片401的尺寸为224×160时，第一特征图FM1的尺寸是28×20，也就是说，输入到图像分割分支网络的拼接的特征图的尺寸也是28×20，并且，从图像分割分支网络420输出的分割图402的尺寸也是28×20，且分割图402的像素位置与待检测图像401的像素位置对应映射。分割图402是待检测图像401的映射，其中白色像素点表示安全带，黑色像素点表示非安全带的背景。该分割图402可用于定位待检测图像中安全带像素点的位置。
另一方面，第三特征图FM3被输入到图像分类分支网络，通过全连接层FC输出分类结果403。分类结果403包括分类标签L和概率P，用于指示驾驶员是否佩戴安全带。
优选地，主干网络410、图像分割分支网络420和图像分类分支网络430中的卷积运算可以使用可分离卷积，以进一步降低运算量。
在一实施例中，参考图1和图8，步骤S108进一步包括步骤S520-S560。
S520：按照预定规则从分割图拟合安全带的中心线。
在一实施例中，该步骤S520具体包括：针对分割图逐行或逐列获取该行或该列中安全带区域的中心点，并对分割图中的所有中心点进行拟合获得安全带的中心线。应当理解，针对在上下方向佩戴的安全带，在分割图上逐行获取安全带区域的中心点，而针对左右方向佩戴的安全带，在分割图上逐列获取安全带区域的中心点。当中心点的个数与分割图的总像素之比大于预定值时，通过对中心点进行聚合得到安全带的中心线，可以理解，该中心线是一阶的。
S540：计算与中心线相关的参数。
在一实施例中，与中心线相关的参数包括中心线与预定方向的夹角、中心线与驾驶员肩膀的相对位置。优选地，通过如下公式计算中心线与水平方向的夹角θ：
θ＝arctan(k)
其中，k为一阶中心线的斜率。
中心线与驾驶员肩膀的相对位置可以基于中心线的位置与驾驶员的肩膀的水平线而获得，其中，驾驶员肩膀的水平线可以用人脸边框右下角的y坐标代替。
S560：基于该参数和分类结果获得安全带的检测结果。
在一实施例中，检测结果包括：规范佩戴安全带、未规范佩戴安全带、不确定和检测区域不足。
示例性地，如在上述实施例中描述的，当原始图像中人脸以下的部分不满足预定大小时，例如，当原始图像中人脸以下的部分的面积小于人脸边框面积的1.2倍时，获得的检测结果为检测区域不足；当安全带中心线上的点位于人肩膀以上的比例超过80％，可以认为驾驶员把安全带系在了身后，获得的检测结果为未规范佩戴安全带；当安全带的中心线与水平方向的夹角θ>70°或θ＜25°，可以认为驾驶员不规范佩戴安全带，获得的检测结果为未规范佩戴安全带；当分割图中的安全带区域长度相对截图区域较短或被分隔成多于一段，可以认为安全带被遮挡，获得的检测结果为不确定；当分类结果中的概率P小于预定值时，可以认为分类结果的置信度较低，获得的检测结果为不确定。当安全带的中心线与水平方向的夹角25°≤θ≤70°且安全带中心线上的点位于人肩膀以上的比例不超过80％时，可以认为驾驶员规范佩戴安全带，获得的检测结果为规范佩戴安全带。在进一步的实施例中，当栅格分类图中的安全带区域长度相对截图区域较短或被分隔成多于一段时，或当检测网络没有检测到安全带时，可以执行图4中的S420-S460的处理，此时，获得的检测结果为人手遮挡安全带。
在优选的实施例中，连续地或以预定时间间隔执行上述安全带检测方法，并将多次执行该安全带检测方法所获得的多个检测结果汇总，判断其中某类检测结果占所有检测结果的比例是否达到预定阈值，并输出达到阈值的检测结果。例如，可以创建固定时间窗口的滑窗队列，例如5s，连续地或以预定时间间隔执行上述安全带检测方法，将多个检测结果送入队列，判断队列中某类结果占所有检测结果的比例是否达到预定阈值。若通过多帧判断输出的检测结果为未规范佩戴安全带，DMS将给出报警。结合多次检测的多个检测结果综合判断，能够提高检测结果的可靠性。
根据上述实施例的安全带检测方法，使用深度学习神经网络对待检测图像进行识别，能够获得更高的准确度和鲁棒性。其中，图像分类分支网络能够快速判断驾驶员是否佩戴安全带，图像分割网络分支能够检测安全带的具体位置信息。同时结合使用图像分类分支网络和图像分割分支网络，能够快速、准确地判断驾驶员是否规范佩戴安全带。此外，根据本申请的图像分割分支网络在小尺度上进行语义分割，相对于常规的图像分割网络降低了运算量。
根据本申请的另一方面，如图9所示，提供了安全带检测装置600，包括图像获取单元620、图像检测单元640和结果获取单元660。其中，图像获取单元620配置为获取待检测图像。图像检测单元640配置为将所述待检测图像输入至检测网络，所述检测网络包括图像分类分支网络和图像分割分支网络；获取从所述图像分类分支网络输出的分类结果以及从所述图像分割分支网络输出的分割图，所述分类结果指示驾驶员是否佩戴安全带，所述分割图指示安全带的位置信息。结果获取单元660配置为基于所述分类结果和所述分割图获得安全带的检测结果；所述检测结果指示所述驾驶员是否正确佩戴安全带。
在一实施例中，所述分割图相对于所述待检测图像缩小预定比例，并且所述分割图的像素位置与所述待检测图像的像素位置对应映射。
在一实施例中，如图10所示，图像获取单元620包括图像捕获单元622、图像截取单元624和图像预处理单元626。其中，图像捕获单元622配置为通过摄像机捕获原始图像。图像截取单元624配置为：基于预定算法检测所述原始图像中的人脸以获得人脸边框及头部姿态信息；判断所述原始图像中人脸以下的部分是否满足预定大小；若不满足预定大小，使所述结果获取单元将所述检测结果确定为检测区域不足；若满足预定大小，则基于所述人脸边框及所述头部姿态信息对所述原始图像中人脸以下的部分进行动态截取，以获得截取图像。图像预处理单元626配置为：对所述截取图像进行预处理以获得所述待检测图像。
在一实施例中，图像截取单元624还配置为：基于人手检测算法检测所述原始图像中的人手以获得人手边框；基于所述人脸边框的位置和大小在所述原始图像中获得安全带边框；以及当所述人手边框位于相对于所述人脸边框的预定位置且所述人手边框与所述安全带边框的交叠面积大于设定阈值时，使所述结果获取单元将所述检测结果确定为安全带被遮挡。
在一实施例中，检测网络还包括主干网络，如图11所示，所述图像检测单元640还包括特征提取单元642，该特征提取单元642配置为：利用所述主干网络对所述待检测图像进行卷积以生成所述待检测图像的特征图，将所述特征图用作所述图像分类分支网络和所述图像分割分支网络的输入。
在一实施例中，如图12所示，结果获取单元660还包括中心线计算单元662，该中心线计算单元662配置为按照预定规则从所述分割图拟合所述安全带的中心线；以及计算与所述中心线相关的参数。结果获取单元660还配置为：基于所述参数和所述分类结果获得所述安全带的检测结果。
在一实施例中，中心线计算单元662还配置为：针对所述分割图逐行或逐列获取该行或该列中安全带区域的中心点；对所述分割图中的所有中心点进行拟合获得所述安全带的中心线。其中，与所述中心线相关的参数包括：所述中心线与预定方向的夹角、所述中心线与驾驶员肩膀的相对位置。
在一实施例中，如图13所示，安全带检测装置600还包括检测网络训练单元610。该检测网络训练单元配置为：选取训练图像对所述图像分类分支网络进行训练，所述训练图像被划分为佩戴安全带标签图像和未佩戴安全带标签图像；将所述未佩戴安全带标签图像按照所述预定比例缩小，并利用缩小的标签图像对所述图像分割分支网络进行训练。
本申请的安全带检测装置与本发明的安全带检测方法一一对应，在上述安全带检测方法的实施例阐述的技术特征及其有益效果均适用于安全带检测装置的实施例中，特此声明。
根据本申请的另一方面，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图14所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有步骤系统和计算机程序。该内存储器为非易失性存储介质中的步骤系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种安全带检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图14中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (18)

1.一种安全带检测方法，其特征在于，包括：
获取待检测图像；
将所述待检测图像输入至检测网络，所述检测网络包括图像分类分支网络和图像分割分支网络；
获取从所述图像分类分支网络输出的分类结果以及从所述图像分割分支网络输出的分割图，所述分类结果指示驾驶员是否佩戴安全带，所述分割图指示安全带的位置信息；以及
基于所述分类结果和所述分割图获得安全带的检测结果，所述检测结果指示所述驾驶员是否规范佩戴安全带。
2.根据权利要求1所述的安全带检测方法，其特征在于，所述分割图相对于所述待检测图像缩小预定比例，并且所述分割图的像素位置与所述待检测图像的像素位置对应映射。
3.根据权利要求1所述的安全带检测方法，其特征在于，获取待检测图像包括：
通过摄像机捕获原始图像；
基于预定算法检测所述原始图像中的人脸以获得人脸边框及头部姿态信息；
判断所述原始图像中人脸以下的部分是否满足预定大小；
若不满足预定大小，将所述检测结果确定为检测区域不足；
若满足预定大小，则基于所述人脸边框及所述头部姿态信息对所述原始图像中人脸以下的部分进行动态截取，以获得截取图像；以及
对所述截取图像进行预处理以获得所述待检测图像。
4.根据权利要求3所述的安全带检测方法，其特征在于，在通过摄像机捕获原始图像之后还包括：
基于人手检测算法检测所述原始图像中的人手以获得人手边框；
基于所述人脸边框的位置和大小在所述原始图像中获得安全带边框；以及
当所述人手边框位于相对于所述人脸边框的预定位置且所述人手边框与所述安全带边框的交叠面积大于设定阈值时，将所述检测结果确定为安全带被遮挡。
5.根据权利要求1所述的安全带检测方法，其特征在于，所述检测网络还包括主干网络；
在获取从所述图像分类分支网络输出的分类结果以及从所述图像分割分支网络输出的分割图之前，所述方法还包括：
利用所述主干网络对所述待检测图像进行卷积以生成所述待检测图像的特征图，将所述特征图用作所述图像分类分支网络和所述图像分割分支网络的输入。
6.根据权利要求1所述的安全带检测方法，其特征在于，基于所述分类结果和所述分割图获得安全带的检测结果包括：
按照预定规则从所述分割图拟合所述安全带的中心线；
计算与所述中心线相关的参数；以及
基于所述参数和所述分类结果获得所述安全带的检测结果。
7.根据权利要求6所述的安全带检测方法，其特征在于，按照预定规则从所述分割图拟合所述安全带的中心线包括：
针对所述分割图逐行或逐列获取该行或该列中安全带区域的中心点；
对所述分割图中的所有中心点进行拟合获得所述安全带的中心线；
其中，与所述中心线相关的参数包括：所述中心线与预定方向的夹角、所述中心线与驾驶员肩膀的相对位置。
8.根据权利要求2所述的安全带检测方法，其特征在于，在获取待检测图像之前，所述方法还包括：
选取训练图像对所述图像分类分支网络进行训练，所述训练图像被划分为佩戴安全带标签图像和未佩戴安全带标签图像；
将所述佩戴安全带标签图像按照所述预定比例缩小，并利用缩小的标签图像对所述图像分割分支网络进行训练。
9.一种安全带检测装置，其特征在于，包括：
图像获取单元，配置为获取待检测图像；
图像检测单元，配置为将所述待检测图像输入至检测网络，所述检测网络包括图像分类分支网络和图像分割分支网络；获取从所述图像分类分支网络输出的分类结果以及从所述图像分割分支网络输出的分割图，所述分类结果指示驾驶员是否佩戴安全带，所述分割图指示安全带的位置信息；以及
结果获取单元，配置为基于所述分类结果和所述分割图获得安全带的检测结果；所述检测结果指示所述驾驶员是否正确佩戴安全带。
10.根据权利要求9所述的安全带检测装置，其特征在于，所述分割图相对于所述待检测图像缩小预定比例，并且所述分割图的像素位置与所述待检测图像的像素位置对应映射。
11.根据权利要求9所述的安全带检测装置，其特征在于，所述图像获取单元包括：
图像捕获单元，配置为通过摄像机捕获原始图像；
图像截取单元，配置为：
基于预定算法检测所述原始图像中的人脸以获得人脸边框及头部姿态信息；
判断所述原始图像中人脸以下的部分是否满足预定大小；
若不满足预定大小，使所述结果获取单元将所述检测结果确定为检测区域不足；若满足预定大小，则基于所述人脸边框及所述头部姿态信息对所述原始图像中人脸以下的部分进行动态截取，以获得截取图像；以及
图像预处理单元，配置为：对所述截取图像进行预处理以获得所述待检测图像。
12.根据权利要求11所述的安全带检测装置，其特征在于，所述图像截取单元还配置为：
基于人手检测算法检测所述原始图像中的人手以获得人手边框；
基于所述人脸边框的位置和大小在所述原始图像中获得安全带边框；以及
当所述人手边框位于相对于所述人脸边框的预定位置且所述人手边框与所述安全带边框的交叠面积大于设定阈值时，使所述结果获取单元将所述检测结果确定为安全带被遮挡。
13.根据权利要求9所述的安全带检测装置，其特征在于，所述检测网络还包括主干网络；
所述图像检测单元包括：
特征提取单元，配置为利用所述主干网络对所述待检测图像进行卷积以生成所述待检测图像的特征图，将所述特征图用作所述图像分类分支网络和所述图像分割分支网络的输入。
14.根据权利要求9所述的安全带检测装置，其特征在于，所述结果获取单元包括：
中心线计算单元，配置为按照预定规则从所述分割图拟合所述安全带的中心线；以及
计算与所述中心线相关的参数；
所述结果获取单元还配置为：基于所述参数和所述分类结果获得所述安全带的检测结果。
15.根据权利要求14所述的安全带检测装置，其特征在于，所述中心线计算单元还配置为：
针对所述分割图逐行或逐列获取该行或该列中安全带区域的中心点；
对所述分割图中的所有中心点进行拟合获得所述安全带的中心线；
其中，与所述中心线相关的参数包括：所述中心线与预定方向的夹角、所述中心线与驾驶员肩膀的相对位置。
16.根据权利要求10所述的安全带检测装置，其特征在于，还包括检测网络训练单元，配置为：
选取训练图像对所述图像分类分支网络进行训练，所述训练图像被划分为佩戴安全带标签图像和未佩戴安全带标签图像；
将所述未佩戴安全带标签图像按照所述预定比例缩小，并利用缩小的标签图像对所述图像分割分支网络进行训练。
17.一种计算机设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8中任一项所述的安全带检测方法。
18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至8中任一项所述的安全带检测方法。
CN202110814892.9A 2021-07-19 2021-07-19 安全带检测方法、装置、计算机设备和存储介质 Active CN113553938B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110814892.9A CN113553938B (zh) 2021-07-19 2021-07-19 安全带检测方法、装置、计算机设备和存储介质
US17/720,024 US20230017759A1 (en) 2021-07-19 2022-04-13 Safety belt detection method, apparatus, computer device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110814892.9A CN113553938B (zh) 2021-07-19 2021-07-19 安全带检测方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN113553938A true CN113553938A (zh) 2021-10-26
CN113553938B CN113553938B (zh) 2024-05-14

Family

ID=78132126

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110814892.9A Active CN113553938B (zh) 2021-07-19 2021-07-19 安全带检测方法、装置、计算机设备和存储介质

Country Status (2)

Country Link
US (1) US20230017759A1 (zh)
CN (1) CN113553938B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116343312A (zh) * 2023-05-29 2023-06-27 深圳市优友互联股份有限公司 人脸图像中佩戴物的识别方法及设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116363364B (zh) * 2023-03-27 2023-09-26 南通大学 一种基于改进DSD-LinkNet的电力安全带分割方法
CN116152790B (zh) * 2023-04-23 2023-07-07 无锡车联天下信息技术有限公司 一种安全带检测方法及装置
CN116645782B (zh) * 2023-07-19 2023-10-13 中国建筑第五工程局有限公司 一种基于图像识别的安全帽帽带检测方法

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6608910B1 (en) * 1999-09-02 2003-08-19 Hrl Laboratories, Llc Computer vision method and apparatus for imaging sensors for recognizing and tracking occupants in fixed environments under variable illumination
JP2004334786A (ja) * 2003-05-12 2004-11-25 Nissan Motor Co Ltd 状態検出装置及び状態検出システム
CN106127153A (zh) * 2016-06-24 2016-11-16 南京林业大学 车载激光扫描点云数据的交通标牌识别方法
CN107529659A (zh) * 2017-07-14 2018-01-02 深圳云天励飞技术有限公司 安全带佩戴检测方法、装置及电子设备
WO2018003212A1 (ja) * 2016-06-30 2018-01-04 クラリオン株式会社 物体検出装置及び物体検出方法
CN108898054A (zh) * 2018-05-24 2018-11-27 合肥工业大学 一种基于语义分割的安全带检测方法
CN109460699A (zh) * 2018-09-03 2019-03-12 厦门瑞为信息技术有限公司 一种基于深度学习的驾驶员安全带佩戴识别方法
WO2019129032A1 (zh) * 2017-12-26 2019-07-04 北京市商汤科技开发有限公司 遥感图像识别方法、装置、存储介质以及电子设备
CN109978037A (zh) * 2019-03-18 2019-07-05 腾讯科技（深圳）有限公司 图像处理方法、模型训练方法、装置、和存储介质
CN110084184A (zh) * 2019-04-25 2019-08-02 浙江吉利控股集团有限公司 一种基于图像处理技术的安全带未系探测系统和方法
CN110807430A (zh) * 2019-11-06 2020-02-18 桂林电子科技大学 一种实况全景交通标志图片预处理方法
CN110853047A (zh) * 2019-10-12 2020-02-28 平安科技（深圳）有限公司 智能图像分割及分类方法、装置及计算机可读存储介质
US20200272825A1 (en) * 2019-05-27 2020-08-27 Beijing Dajia Internet Information Technology Co., Ltd. Scene segmentation method and device, and storage medium
CN111814636A (zh) * 2020-06-29 2020-10-23 北京百度网讯科技有限公司 一种安全带检测方法、装置、电子设备及存储介质
CN112132040A (zh) * 2020-09-24 2020-12-25 明见(厦门)软件开发有限公司 基于视觉的安全带实时监测方法、终端设备及存储介质
US20210019560A1 (en) * 2019-07-18 2021-01-21 Beijing Sensetime Technology Development Co., Ltd. Image processing method and device, and storage medium
CN112339773A (zh) * 2020-11-10 2021-02-09 中科海微(北京)科技有限公司 一种基于单目视觉的非主动车道偏离预警方法及系统
GB202103223D0 (en) * 2020-03-09 2021-04-21 Nvidia Corp Techniques to use a neural network to expand an image
CN112700444A (zh) * 2021-02-19 2021-04-23 中国铁道科学研究院集团有限公司铁道建筑研究所 基于自注意力与中心点回归模型的桥梁螺栓检测方法

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6608910B1 (en) * 1999-09-02 2003-08-19 Hrl Laboratories, Llc Computer vision method and apparatus for imaging sensors for recognizing and tracking occupants in fixed environments under variable illumination
JP2004334786A (ja) * 2003-05-12 2004-11-25 Nissan Motor Co Ltd 状態検出装置及び状態検出システム
CN106127153A (zh) * 2016-06-24 2016-11-16 南京林业大学 车载激光扫描点云数据的交通标牌识别方法
WO2018003212A1 (ja) * 2016-06-30 2018-01-04 クラリオン株式会社 物体検出装置及び物体検出方法
CN107529659A (zh) * 2017-07-14 2018-01-02 深圳云天励飞技术有限公司 安全带佩戴检测方法、装置及电子设备
WO2019129032A1 (zh) * 2017-12-26 2019-07-04 北京市商汤科技开发有限公司 遥感图像识别方法、装置、存储介质以及电子设备
CN108898054A (zh) * 2018-05-24 2018-11-27 合肥工业大学 一种基于语义分割的安全带检测方法
CN109460699A (zh) * 2018-09-03 2019-03-12 厦门瑞为信息技术有限公司 一种基于深度学习的驾驶员安全带佩戴识别方法
CN109978037A (zh) * 2019-03-18 2019-07-05 腾讯科技（深圳）有限公司 图像处理方法、模型训练方法、装置、和存储介质
CN110084184A (zh) * 2019-04-25 2019-08-02 浙江吉利控股集团有限公司 一种基于图像处理技术的安全带未系探测系统和方法
US20200272825A1 (en) * 2019-05-27 2020-08-27 Beijing Dajia Internet Information Technology Co., Ltd. Scene segmentation method and device, and storage medium
US20210019560A1 (en) * 2019-07-18 2021-01-21 Beijing Sensetime Technology Development Co., Ltd. Image processing method and device, and storage medium
CN110853047A (zh) * 2019-10-12 2020-02-28 平安科技（深圳）有限公司 智能图像分割及分类方法、装置及计算机可读存储介质
CN110807430A (zh) * 2019-11-06 2020-02-18 桂林电子科技大学 一种实况全景交通标志图片预处理方法
GB202103223D0 (en) * 2020-03-09 2021-04-21 Nvidia Corp Techniques to use a neural network to expand an image
CN111814636A (zh) * 2020-06-29 2020-10-23 北京百度网讯科技有限公司 一种安全带检测方法、装置、电子设备及存储介质
CN112132040A (zh) * 2020-09-24 2020-12-25 明见(厦门)软件开发有限公司 基于视觉的安全带实时监测方法、终端设备及存储介质
CN112339773A (zh) * 2020-11-10 2021-02-09 中科海微(北京)科技有限公司 一种基于单目视觉的非主动车道偏离预警方法及系统
CN112700444A (zh) * 2021-02-19 2021-04-23 中国铁道科学研究院集团有限公司铁道建筑研究所 基于自注意力与中心点回归模型的桥梁螺栓检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HOEL KERVADEC, ET AL.: "Constrained-CNN losses for weakly supervised segmentation", 《COMPUTER VISION AND PATTERN RECOGNITION (CS.CV)》, 8 February 2019 (2019-02-08) *
S. SUN, H. YUAN, Y. ZHENG, H. ZHANG AND Z. JIANG: "Cancer Sensitive Cascaded Networks (CSC-Net) for Efficient Histopathology Whole Slide Image Segmentation", 《2020 IEEE 17TH INTERNATIONAL SYMPOSIUM ON BIOMEDICAL IMAGING (ISBI)》, 22 May 2020 (2020-05-22) *
Y. FENG LI, X. X. HAN AND S. YANG LI: "Non-contact dimension measurement of mechanical parts based on image processing", 《2015 8TH INTERNATIONAL CONGRESS ON IMAGE AND SIGNAL PROCESSING (CISP)》, 18 February 2016 (2016-02-18) *
徐宝泉: "基于级联Vnet-S网络的CT影像器官分割算法研究", 《中国优秀硕士论文电子期刊网》, 15 March 2020 (2020-03-15) *
程伟: "基于图像分析的未系安全带自动检测方法研究", 《中国优秀硕士论文电子期刊网》, 15 May 2017 (2017-05-15) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116343312A (zh) * 2023-05-29 2023-06-27 深圳市优友互联股份有限公司 人脸图像中佩戴物的识别方法及设备

Also Published As

Publication number Publication date
CN113553938B (zh) 2024-05-14
US20230017759A1 (en) 2023-01-19

Similar Documents

Publication Publication Date Title
CN113553938B (zh) 安全带检测方法、装置、计算机设备和存储介质
EP3539054B1 (en) Neural network image processing apparatus
US9842266B2 (en) Method for detecting driver cell phone usage from side-view images
TWI384408B (zh) 影像辨識以及輸出方法與其系統
EP1589485B1 (en) Object tracking and eye state identification method
EP1725975B1 (en) Method, apparatus and program for detecting an object
US10037466B2 (en) Video processing apparatus, video processing method, and video processing program
EP2485041B1 (en) Method for processing body inspection image and body inspection device
CN111178245A (zh) 车道线检测方法、装置、计算机设备和存储介质
CN110490171B (zh) 一种危险姿态识别方法、装置、计算机设备及存储介质
CN108446586B (zh) 一种列车驾驶员特定动作检测方法
CN109506628A (zh) 一种基于深度学习的卡车环境下目标物测距方法
CN112434578A (zh) 口罩佩戴规范性检测方法、装置、计算机设备和存储介质
CN110458093B (zh) 一种基于驾驶员监控系统的安全带检测方法以及相应的设备
CN104361332A (zh) 一种用于疲劳驾驶检测的人脸眼睛区域定位方法
US20200134343A1 (en) Collation device and collation method
US11908157B2 (en) Image processing device, image processing method, and recording medium in which program is stored
CN111401278A (zh) 安全帽识别方法、装置、电子设备及存储介质
CN111582077A (zh) 基于人工智能软件技术的安全带佩戴检测方法和装置
CN112277957B (zh) 一种用于驾驶员分心纠正的预警方法及其系统、存储介质
CN115346197A (zh) 一种基于双向视频流的驾驶员分心行为识别方法
KR101523765B1 (ko) 스마트폰 영상에서 개선된 실시간 눈동자 검출 방법
US20230020385A1 (en) Safety belt detection method, apparatus, computer device, and storage medium
CN112101260A (zh) 一种作业人员安全带识别方法、装置、设备和存储介质
CN110569732A (zh) 一种基于驾驶员监控系统的安全带检测方法以及相应的设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant