CN113486835A - 安全带检测方法、装置、计算机设备和存储介质 - Google Patents

安全带检测方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN113486835A
CN113486835A CN202110814893.3A CN202110814893A CN113486835A CN 113486835 A CN113486835 A CN 113486835A CN 202110814893 A CN202110814893 A CN 202110814893A CN 113486835 A CN113486835 A CN 113486835A
Authority
CN
China
Prior art keywords
image
classification
grid
detection
seat belt
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110814893.3A
Other languages
English (en)
Other versions
CN113486835B (zh
Inventor
曾宇前
章涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Black Sesame Intelligent Technology Co ltd
Original Assignee
Black Sesame Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Black Sesame Intelligent Technology Co ltd filed Critical Black Sesame Intelligent Technology Co ltd
Priority to CN202110814893.3A priority Critical patent/CN113486835B/zh
Publication of CN113486835A publication Critical patent/CN113486835A/zh
Priority to US17/720,042 priority patent/US20230020385A1/en
Application granted granted Critical
Publication of CN113486835B publication Critical patent/CN113486835B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种安全带检测方法、装置、计算机设备和计算机可读存储介质。安全带检测方法包括：获取待检测图像；将待检测图像输入至检测网络，检测网络包括全局二分类分支网络和栅格分类分支网络；获取从全局二分类分支网络输出的二分类结果以及从栅格分类分支网络基于图像分类输出的栅格分类图，二分类结果指示驾驶员是否佩戴安全带，栅格分类图指示安全带的位置信息；以及基于二分类结果和栅格分类图获得安全带的检测结果，检测结果指示驾驶员是否规范佩戴安全带。同时结合使用全局二分类分支网络和栅格分类分支网络，能够快速、准确地判断驾驶员是否规范佩戴安全带。

Description

安全带检测方法、装置、计算机设备和存储介质
技术领域
本发明涉及图像识别领域，特别是涉及安全带检测方法、装置、计算机设备和存储介质。
背景技术
驾驶员监控系统(Driver Monitoring System，DMS)通常使用摄像机对驾驶员开车状态进行监控。在DMS系统的一些应用中，需要对驾驶员是否正确规范佩戴安全带做出判断，在驾驶员没有规范佩戴安全带的情况下，DMS系统将作出报警，防止机动车发生碰撞或紧急制动时，避免碰撞造成伤害。
通常，基于深度学习的方法对从摄像机拍摄的图像进行分类识别或语义分割，以从拍摄的图像中检测安全带的佩戴情况。然而，传统的检测方法检测精度不高、计算量较大，且难以获得安全带的细节信息，难以判断驾驶员是否规范佩戴安全带。
发明内容
基于此，本申请提供了一种安全带检测方法、装置、计算机设备和存储介质。
根据本申请的第一方面，提供了一种安全带检测方法，包括：获取待检测图像；将所述待检测图像输入至检测网络，所述检测网络包括全局二分类分支网络和栅格分类分支网络；获取从所述全局二分类分支网络输出的二分类结果以及获取从所述栅格分类分支网络基于图像分类输出的栅格分类图，所述二分类结果指示驾驶员是否佩戴安全带，所述栅格分类图指示安全带的位置信息；以及基于所述二分类结果和所述栅格分类图获得安全带的检测结果，所述检测结果指示所述驾驶员是否规范佩戴安全带。
在一实施例中，获取待检测图像包括：通过摄像机捕获原始图像；基于人脸检测算法检测所述原始图像中的人脸以获得人脸边框及头部姿态信息；判断所述原始图像中人脸以下的部分是否满足预定大小；若不满足预定大小，将所述检测结果确定为检测区域不足；若满足预定大小，则基于所述人脸边框及所述头部姿态信息对所述原始图像中人脸以下的部分进行动态截取，以获得截取图像；以及对所述截取图像进行预处理以获得所述待检测图像。
在一实施例中，在通过摄像机捕获原始图像之后还包括：基于人手检测算法检测所述原始图像中的人手以获得人手边框；基于所述人脸边框的位置和大小在所述原始图像中获得安全带边框；以及当所述人手边框位于相对于所述人脸边框的预定位置且所述人手边框与所述安全带边框的交叠面积大于设定阈值时，不截取图像并将所述检测结果确定为安全带被遮挡。
在一实施例中，获取从所述栅格分类分支网络基于图像分类输出的栅格分类图包括：将所述待检测图像在行和列方向上划分为多个栅格；逐行或逐列判断该行或该列的每个栅格中的图像是否对应于安全带区域；将其中图像对应于安全带区域的栅格标记为安全带栅格；以及获取其中标记了安全带栅格的栅格分类图。
在一实施例中，所述检测网络还包括主干网络；在获取从所述全局二分类分支网络输出的二分类结果以及获取从所述栅格分类分支网络基于图像分类输出的栅格分类图之前，所述方法还包括：利用所述主干网络对所述待检测图像进行卷积以生成所述待检测图像的特征图，将所述特征图用作所述全局二分类分支网络和所述栅格分类分支网络的输入。
在一实施例中，基于所述二分类结果和所述栅格分类图获得安全带的检测结果包括：获取所述安全带栅格在所述栅格分类图中的坐标；基于所述坐标在所述栅格分类图中拟合所述安全带的中心线；计算与所述中心线相关的参数；以及基于所述参数和所述二分类结果获得所述安全带的检测结果。
在一实施例中，与所述中心线相关的参数包括：所述中心线与预定方向的夹角、所述中心线与驾驶员肩膀的相对位置。
在一实施例中，在获取待检测图像之前，所述方法还包括：选取训练图像，以及基于所述训练图像，利用图像分割分支网络辅助对所述全局二分类分支网络和所述栅格分类分支网络进行训练；其中，所述图像分割分支网络基于所述训练图像输出分割图，所述分割图相对于所述训练图像缩小预定比例，并且所述分割图的像素位置与所述待检测图像的像素位置对应映射。
根据本申请的另一方面涉及一种安全带检测装置，包括：图像获取单元，配置为获取待检测图像；图像检测单元，配置为将所述待检测图像输入至检测网络，所述检测网络包括全局二分类分支网络和栅格分类分支网络；获取从所述全局二分类分支网络输出的二分类结果以及获取从所述栅格分类分支网络基于图像分类方法输出的栅格分类图，所述二分类结果指示驾驶员是否佩戴安全带，所述栅格分类图指示安全带的位置信息；以及结果获取单元，配置为基于所述二分类结果和所述栅格分类图获得安全带的检测结果；所述检测结果指示所述驾驶员是否正确佩戴安全带。
在一实施例中，所述图像获取单元包括：图像捕获单元，配置为通过摄像机捕获原始图像；图像截取单元，配置为：基于人脸检测算法检测所述原始图像中的人脸以获得人脸边框及头部姿态信息；判断所述原始图像中人脸以下的部分是否满足预定大小；若不满足预定大小，使所述结果获取单元将所述检测结果确定为检测区域不足；若满足预定大小，则基于所述人脸边框及所述头部姿态信息对所述原始图像中人脸以下的部分进行动态截取，以获得截取图像；以及图像预处理单元，配置为：对所述截取图像进行预处理以获得所述待检测图像。
在一实施例中，所述图像截取单元还配置为：基于人手检测算法检测所述原始图像中的人手以获得人手边框；基于所述人脸边框的位置和大小在所述原始图像中获得安全带边框；以及当所述人手边框位于相对于所述人脸边框的预定位置且所述人手边框与所述安全带边框的交叠面积大于设定阈值时，不截取图像并使所述结果获取单元将所述检测结果确定为安全带被遮挡。
在一实施例中，所述图像检测单元包括栅格分类分支网络检测单元，配置为：将所述待检测图像在行和列方向上划分为多个栅格；逐行或逐列判断该行货该列的每个栅格中的图像是否对应于安全带区域；将其中图像对应于安全带区域的栅格标记为安全带栅格；以及获取其中标记了安全带栅格的栅格分类图。
在一实施例中，所述检测网络还包括主干网络；所述图像检测单元还包括：特征提取单元，配置为利用所述主干网络对所述待检测图像进行卷积以生成所述待检测图像的特征图，将所述特征图用作所述全局二分类分支网络和所述栅格分类分支网络的输入。
在一实施例中，所述结果获取单元包括：中心线计算单元，配置为获取所述安全带栅格在所述栅格分类图中的坐标；基于所述坐标在所述栅格分类图中拟合所述安全带的中心线；以及计算与所述中心线相关的参数；所述结果获取单元还配置为：基于所述参数和所述二分类结果获得所述安全带的检测结果。
在一实施例中，与所述中心线相关的参数包括：所述中心线与预定方向的夹角、所述中心线与驾驶员肩膀的相对位置。
在一实施例中，安全带检测装置，还包括检测网络训练单元，配置为：选取训练图像，以及基于所述训练图像，利用图像分割分支网络辅助对所述全局二分类分支网络和所述栅格分类分支网络进行训练；其中，所述图像分割分支网络基于所述训练图像输出分割图，所述分割图相对于所述训练图像缩小预定比例，并且所述分割图的像素位置与所述待检测图像的像素位置对应映射。
根据本申请的第三方面，提供了一种计算机设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现根据本申请第一方面的安全带检测方法。
根据本申请的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现根据本申请第一方面的安全带检测方法。
根据本申请的安全带检测方法、装置、计算机设备和存储介质，使用深度学习神经网络对待检测图像进行识别，能够获得更高的准确度和鲁棒性。其中，全局二分类分支网络能够快速判断驾驶员是否佩戴安全带，栅格分类分支网络能够检测安全带的具体位置信息。同时结合使用全局二分类分支网络和栅格分类分支网络，能够快速、准确地判断驾驶员是否规范佩戴安全带。此外，本申请使用栅格分类分支网络来检测安全带的位置，相对于常规的图像分割网络降低了运算复杂度，且感受野较大能够实现较好的检测效果。
附图说明
图1是根据本申请的一实施例的安全带检测方法的流程图；
图2是根据本申请的一实施例的安全带检测方法的流程图；
图3是根据本申请的一实施例的安全带检测方法的流程图；
图4是根据本申请的一实施例的原始图像的示意图；
图5是根据本申请的一实施例的原始图像的示意图；
图6是根据本申请的一实施例的检测网络的概要示意图；
图7是根据本申请的一实施例的安全带检测方法的流程图；
图8是根据本申请的一实施例的栅格分类图的示意图；
图9是根据本申请的一实施例的安全带检测方法的流程图；
图10是根据本申请的一实施例的检测网络的概要示意图；
图11是根据本申请的一实施例的检测网络的测试结果示意图；
图12是根据本申请的一实施例的安全带检测装置的结构框图；
图13是根据本申请的一实施例的安全带检测装置的结构框图；
图14是根据本申请的一实施例的安全带检测装置的结构框图；
图15是根据本申请的一实施例的安全带检测装置的结构框图；
图16是根据本申请的一实施例的安全带检测装置的结构框图；
图17是根据本申请的一实施例的计算机设备的内部结构示意图。
具体实施方式
DMS对驾驶员的驾驶状态进行监控，判断驾驶员是否存在疲劳、分心、抽烟、打电话、喝水等非安全驾驶行为。在一些应用中，DMS需要通过图像识别技术从待检测图像中对驾驶员是否正确规范佩戴安全带做出判断。安全带识别通常受到复杂的环境背景、光照、驾驶员衣服配饰、安全带折叠扭曲变形、遮挡等多方面的影响。然而，在进行图像识别的过程中，安全带一般非常细长而且有时不容易与背景区分，并且还容易受到遮挡的影响，因此安全带检测不同于常规的物体检测，其细长且形状多变的特点增加了其检测难度。对此，希望提供一种能够精确检测驾驶员是否规范佩戴安全带的方法。
参见图1，本申请提供的安全带检测方法包括以下步骤S120-S180。
S120：获取待检测图像。
在一实施例中，待检测图像是包含驾驶员身体的正面的图像，优选地，待检测图像包含驾驶员的上半身，从该图像中，能够清晰地获取驾驶员是否规范佩戴安全带的信息。
S140：将待检测图像输入至检测网络，该检测网络包括全局二分类分支网络和栅格分类分支网络。
本申请的检测网络是基于深度学习的神经网络。其中，全局二分类分支网络用于获取驾驶员是否有佩戴安全带的信息，即，图像中是否存在安全带的信息。栅格分类分支网络用于基于栅格分类方法识别图像中的安全带部分和非安全带部分。其中，栅格分类方法将待检测图像划分为多个栅格，并能够基于分类方法快速判断待检测图像中的每个栅格是否对应于安全带区域，从而输出能够表示安全带在待检测图像中的具体位置的栅格分类图。
S160：获取从全局二分类分支网络输出的二分类结果以及获取从栅格分类分支网络基于图像分类输出的栅格分类图，该二分类结果指示驾驶员是否佩戴安全带，该栅格分类图指示安全带的位置信息。
在一实施例中，二分类结果包括分类标签L和概率P。示例性地，分类标签L可以用“0”和“1”来表示，其中分类标签L为“0”代表驾驶员没有佩戴安全带，分类标签L为“1”代表驾驶员有佩戴安全带。概率P代表对应于该分类标签的概率。例如，当输出的概率P为0.994且分类标签L为“1”时，该二分类结果指示驾驶员有佩戴安全带，且有佩戴安全带的概率为99.4％。
栅格分类图是对待检测图像划分栅格后示出每个栅格中的图像是否对应于安全带区域的分类图。栅格分类图经栅格分类分支网络基于图像分类推理获得。图像分类是指从给定的分类集合中给图像分配一个标签，目标是将不同的图像，划分到不同的类。在一实施例中，栅格分类图示出安全带栅格以及除了安全带栅格之外的其它栅格，并且两种栅格以不同颜色表示。栅格分类图中的安全带栅格的位置能够反映待检测图像中安全带的位置，从而能够从该栅格分类图中获得安全带的位置信息。
S180：基于所述二分类结果和栅格分类图获得安全带的检测结果，该检测结果指示所述驾驶员是否规范佩戴安全带。
二分类结果能够快速地对驾驶员是否有佩戴安全带做出判断，栅格分类图能够识别安全带的位置信息和安全带的遮挡情况。示例性地，可以以二分类结果为依据，首先一目了然地获知驾驶员是否有佩戴安全带；进而根据栅格分类图参考安全带的具体位置，如果驾驶员没有规范地佩戴安全带，安全带的位置将偏离预定位置，因此能够判断驾驶员是否规范地佩戴安全带。
根据上述实施例的安全带检测方法，使用深度学习神经网络对待检测图像进行识别，能够获得更高的准确度和鲁棒性。其中，全局二分类分支网络能够快速判断驾驶员是否佩戴安全带，栅格分类分支网络能够检测安全带的具体位置信息。同时结合使用全局二分类分支网络和栅格分类分支网络，能够快速、准确地判断驾驶员是否规范佩戴安全带。
进一步参见图1和图2，在一实施例中，步骤S120进一步包括步骤S220-S280。
S220：通过摄像机捕获原始图像。
在一实施例中，原始图像是在车辆驾驶的过程中DMS通过使用红外摄像机(IR摄像机)实时对驾驶员的位置拍摄的图像。优选地，IR摄像机包括940nm的红外补光灯和摄像头，红外补光灯用于对拍摄区域进行照射补光，最大限度减少光照对安全带检测的影响。本申请对IR摄像机的位置没有特别限制，只能能够拍摄驾驶员的正面图像即可，例如可以设置在驾驶员座位的前侧或其他位置。
S240：基于人脸检测算法检测原始图像中的人脸以获得人脸边框及头部姿态信息。
在一实施例中，可以基于深度学习的方法检测原始图像中的人脸，并获得人脸边框(bounding box)及头部姿态信息。头部姿态信息例如包括头部俯仰角(pitch)、偏航角(yaw)、翻滚角(roll)。
S250：判断原始图像中人脸以下的部分是否满足预定大小。
在一实施例中，可以基于人脸边框在原始图像中的位置判断原始图像中人脸以下的部分是否满足预定大小。原始图像中人脸以下的部分可被认为是安全带可检测区域，判断该可检测区域是否满足预定大小，从而判断图像是否满足检测区域的要求，即需要保证安全带可检测区域足够。如果可检测区域过小，图像中的信息不足以展示安全带佩戴情况，则容易在信息不足的情况下导致较多的误判和漏判。
S255：若不满足预定大小，将检测结果输出为检测区域不足。
S260：若满足预定大小，则基于人脸边框及头部姿态信息对原始图像中人脸以下的部分进行动态截取，以获得截取图像。
在一实施例中，对原始图像中人脸边框的右下部分进行动态截取，该区域通常对应于安全带的佩戴位置，该区域的图像能够更好地呈现安全带的佩戴情况。
优选地，截取图像的高度为人脸边框的高度的2.2倍，并根据检测网络的检测尺寸确定截取图像的宽高比，即截取图像的宽高比等于检测尺寸的宽高比。考虑到驾驶员的安全带佩戴在左侧，截取区域沿水平方向适当向图像右侧偏移。进一步地，考虑头部姿态信息中的偏航角会影响截取，截取区域沿水平方向随偏航角动态调整。更进一步地，考虑到人脸以下部分的图像可能有大有小，适当将截取区域沿竖直偏移向上偏移，从而使实际安全带区域更靠近截取图像的中心区域。
S280：对所述截取图像进行预处理以获得待检测图像。
在一实施例中，预处理包括对截取图像进行等比例缩放到预定尺寸以及对截取图像进行归一化处理。由于截取图像通常是驾驶员上半身的图像，截取图像可能具有不同的尺寸。将截取图像等比例缩放到预定尺寸，其中预定尺寸为检测网络的检测尺寸，能够满足检测网络的检测尺寸要求。优选地，可以将截取图像等比例缩放到224×160的尺寸，以适应主流神经网络的检测尺寸。归一化处理例如使截取图像的像素值都在[-1,1]的区间内。
进一步参见图2至图5，在一实施例中，步骤S220之后还包括步骤S320-S360。
S320：基于人手检测算法检测所述原始图像中的人手以获得人手边框。在一实施例中，该步骤S320可以与步骤S240同时执行，即同时执行人脸检测和人手检测，二者都可以利用深度学习的方法实现。在本实施例中，人脸检测与人手检测在对待检测图像执行安全带检测之前进行，如此，能够在执行安全带检测前判断手部遮挡安全带区域，能够获取更适于进行安全带检测的待检测图像。可以在同一个用于图像识别的神经网络中执行人脸检测和人手检测，也可以设置不同的神经网络以分别用于执行人脸检测和人手检测。
S340：基于所述人脸边框的位置和大小在所述原始图像中获得安全带边框。
由于驾驶员的安全带通常从驾驶员的左侧肩部延伸至右侧腰部，因此可以在人脸边框的右下部分确定安全带边框。进一步参见图4至5，在一实施例中，原始图像中的人脸边框401、501以虚线方框示出，人手边框403、503以点划线边框示出，安全带边框405、505以实线方框示出。当通过人脸识别算法获得了人脸边框401、501之后，可以如下确定安全带边框405、505：将人脸边框401、501的下矩形边的中点确定为安全带边框405、505的左上角顶点，安全带边框405、505的高度h2等于人脸边框401、501的高度h1，安全带边框405、505的高度w2是人脸边框401、501的高度w1的3/4倍，即，h1＝h2，w2＝(3/4)w1。
需要注意的是，执行步骤S320和步骤S340的顺序没有限制，可以先执行步骤S320或先执行步骤S340，或者这两个步骤也可以同时执行。
S360：当所述人手边框位于相对于所述人脸边框的预定位置且所述人手边框与所述安全带边框的交叠面积大于设定阈值时，不截取图像并将所述检测结果确定为安全带被遮挡。
如图4所示，人手边框403位于人脸边框401的右侧，且人手边框403与安全带边框405的交叠面积较大，例如大于安全带边框的面积的1/4，可以判断在图4的原始图像中，手部位置遮挡了安全带区域，从而将检测结果确定为安全带被遮挡。在这种情况下，不截取图像，并且处理流程可以返回到步骤S220，以重新捕获原始图像，以获得更适于进行安全带检测的待检测图像。附加地或替代性地，也可以通过指示灯、显示屏或通过语音通知驾驶员手部动作遮挡了安全带检测。
在一示例中，如图5所示，尽管人手边框503位于人脸边框501的右侧，但人手边框503与安全带边框505的交叠面积较小，没有大于设定阈值。在这种情况下，不将检测结果确定为安全带被遮挡。设定阈值例如可以是安全带边框405、505的面积的1/4，或其它设定的面积阈值。
进一步参考图6，在一实施例中，检测网络600还包括主干网络(backbone)610。主干网络610是用于进行特征提取的网络，也被称为特征金字塔，用于提取输入图像的信息，生成特征图(feature map)，供后续的分支网络使用。主干网络610例如包括mobileNet系列、shuffleNet系列、GhostNet等，优选地，主干网络610是轻量级的mobileNetV2。
以下将参考图4描述检测网络对驾驶员图片的处理。在一实施例中，在获取从所述全局二分类分支网络输出的二分类结果以及获取从所述栅格分类分支网络基于图像分类输出的栅格分类图之前，安全带检测方法还包括：利用主干网络610对待检测图像601进行卷积以生成待检测图像的特征图，将特征图用作全局二分类分支网络630和栅格分类分支网络620的输入。
具体地，主干网络610例如包括特征金字塔网络。如图6所示，主干网络610对待检测图像601进行卷积运算，并得到不同尺寸的第一特征图FM1、第二特征图FM2、第三特征图FM3和第四特征图FM4。在图4所示的实施例中，第一特征图FM1的尺寸为检测网络600的输入尺寸的1/8，第二特征图FM2的尺寸为检测网络600的输入尺寸的1/16，第三特征图FM3的尺寸为检测网络600的输入尺寸的1/32，第四特征图FM4的尺寸为检测网络600的输入尺寸的1/64。在该示例中，在主干网络610包含多层卷积层，卷积层的深度越深，对应输出的特征图尺寸越小，特征提取能力越强，特征提取越深入。然而，进行特征提取的形式和次数不限于此，只要能对待检测图像601提取特征并生成特征图以供后续的栅格分类分支网络620和全局二分类分支网络630使用即可。栅格分类分支网络620和全局二分类分支网络630共享用于特征提取的主干网络610，降低运算量。
在全局二分类分支网络630中，第四特征图FM4被输入到全局二分类分支网络，通过卷积(Conv)、最大池化(maxPool)和全连接层(FC)处理输出二分类结果403。二分类结果403包括分类标签L和概率P，用于指示驾驶员是否佩戴安全带。全局二分类分支网络630输出全图是否存在安全带的分类置信度。
以下结合图6至图8描述栅格分类分支网络620。本申请的栅格分类分支网络是基于图像分类的方法识别安全带的深度学习神经网络。使用根据本申请的栅格分类分支网络进行安全带检测可以理解为是寻找安全带在图像的某些行或某些列的位置的集合，即，基于行或列方向的位置选择和分类。在一实施例中，获取从栅格分类分支网络620基于图像分类输出的栅格分类图602包括以下步骤S720-S780。
S720：将所述待检测图像在行和列方向上均匀划分为多个栅格。
参见图8，在一实施例中，将待检测图像在行和列方向上均匀划分为h行w列的栅格，h和w均为大于2的正整数。即，待检测图像由h行栅格排列而成，每行的栅格数量为w。每个栅格应当包含多个像素。在实际实现中，h＝30，w＝25；在其它实施例中，h和w还可以根据待检测图像的大小而选择其它取值。
S740：逐行或逐列判断该行或该列的每个栅格中的图像是否对应于安全带区域。
以下以逐行进行分类(row-based classification)检测为例对栅格分类分支网络进行说明。在如图8所示的示例中，待检测的安全带从驾驶员的左侧肩膀延伸至驾驶员的右侧腰部(上下方向佩戴的安全带)。在这种情况下，逐行对待检测图像进行softmax归一化处理，得到该行中的每个栅格中对应图像为安全带区域的置信度Probj,:。置信度Probj,:可以通过下式计算：
Probj,:＝softmax(Pj,0:w),s.t.j∈[0,h-1]
其中，Pj,0:w为w+1维向量，表示第j行栅格每个grid cell的预测置信度，应当注意的是，每个grid cell的序号是从1到w，序号0为背景。
S760：将其中图像对应于安全带区域的栅格标记为安全带栅格。
若某行中存在置信度大于设定的阈值(例如，0.5)的栅格，则认为该行存在安全带区域，并将该栅格标记为安全带栅格。优选地，该实施例中的“安全带区域”是指安全带中心线所在的区域，上述基于行方向的栅格分类只对安全带中心线所在的区域进行预测和推理，即，仅有其中图像对应于安全带中心线所在区域的栅格被标记为安全带栅格。
S780：获取其中标记了安全带栅格的栅格分类图。
在一实施例中，栅格分类图602如图8所示，其中白色栅格表示安全带栅格。
在上述实施例中，以逐行对待检测图像进行栅格分类检测(基于行方向的栅格分类)为例进行了详细描述。应当理解，在其他实施例中，还可以逐列对待检测图像进行栅格分类检测，以判断该列中的每个栅格中的图像是否对应于安全带区域(基于列方向的栅格分类)，在这种情况下，更适合用于检测在左右方向上延伸的安全带。
继续参考图6，对由主干网络生成的第三特征图FM3和第四特征图FM4及最大池化(maxPool)后的1x1特征层进行拼接融合(concat)，然后使用全连接层(FC)获得全局特征，使得感受野为待检测图像的全图大小。然后，针对全局特征的一维向量执行Reshape操作。Reshape是卷积神经网络中的常用操作，在本实施例中，Reshape操作将长度为grid_col×grid_row×1的一维向量变成grid_row×grid_col的二维矩阵，并最终输出栅格分类图602。其中，grid_col表示栅格分类图的列，grid_row表示栅格分类图的行。
在传统的识别安全带在图像中的位置的方法中，基于图像识别领域中的语义分割技术逐像素地识别图像中的安全带部分和非安全带部分。语义分割技术从像素级别来理解图像，同一类的像素都被归为一类。针对H×W个像素的待检测图像，传统的语义分割方法需要处理H×W个分类问题，而根据本申请的栅格分类分支网络，只需要逐行或逐列完成对该行或该列中的多个栅格的softmax分类，因此仅需处理h个分类问题，其中h是栅格的行数，h通常远小于图像高度H。因此，计算复杂度远小于图像分割方法。此外，分割网络采用全卷积网络，局部感受野较小。因此基于行的栅格分类使用全连接层分类机制，对于任意一行的安全带位置，其感受野为全图大小，因此能实现很好的检测效果。根据本申请的栅格分类分支网络，能够快速、准确地获得安全带的位置信息。
优选地，主干网络610、栅格分类分支网络620和全局二分类分支网络630中的卷积运算可以使用可分离卷积，以进一步降低运算量。
在一实施例中，如图9所示，步骤S180具体包括步骤S920-S980。
S920：获取所述安全带栅格在所述栅格分类图中的坐标。
在步骤S740和S760中，如果在某行中标记有安全带栅格，则记录该行的行坐标，并确定该安全带栅格在栅格分类图中对应的列坐标。
S940：基于所述坐标在所述栅格分类图中拟合所述安全带的中心线。
安全带栅格的坐标是多个离散的点。在实际应用中，可以使用最小二乘法基于多个坐标在栅格分类图中拟合安全带的中心线。应当理解，中心线是一阶的，还可以使用其它算法将多个安全带坐标的坐标点拟合成直线，只要能够反映安全带在待检测图像中的位置即可。
S960：计算与中心线相关的参数。
在一实施例中，与中心线相关的参数包括中心线与预定方向的夹角、中心线与驾驶员肩膀的相对位置。优选地，通过如下公式计算中心线与水平方向的夹角θ：
θ＝arctan(k)
其中，k为一阶中心线的斜率。
中心线与驾驶员肩膀的相对位置可以基于中心线的位置与驾驶员的肩膀的水平线而获得，其中，驾驶员肩膀的水平线可以用人脸边框右下角的y坐标代替。
S980：基于该参数和二分类结果获得安全带的检测结果。
在一实施例中，检测结果包括：规范佩戴安全带、未规范佩戴安全带、不确定和检测区域不足。
示例性地，如在上述实施例中描述的，当原始图像中人脸以下的部分不满足预定大小时，例如，当原始图像中人脸以下的部分的面积小于人脸边框面积的1.2倍时，获得的检测结果为检测区域不足；当安全带中心线上的点位于人肩膀以上的比例超过80％，可以认为驾驶员把安全带系在了身后，获得的检测结果为未规范佩戴安全带；当安全带的中心线与水平方向的夹角θ>70°或θ＜25°，可以认为驾驶员不规范佩戴安全带，获得的检测结果为未规范佩戴安全带；当栅格分类图中的安全带区域长度相对截图区域较短或被分隔成多于一段，可以认为安全带被遮挡，获得的检测结果为不确定；当二分类结果中的概率P小于预定值时，可以认为二分类结果的置信度较低，获得的检测结果为不确定。当安全带的中心线与水平方向的夹角25°≤θ≤70°且安全带中心线上的点位于人肩膀以上的比例不超过80％时，可以认为驾驶员规范佩戴安全带，获得的检测结果为规范佩戴安全带。在进一步的实施例中，当栅格分类图中的安全带区域长度相对截图区域较短或被分隔成多于一段时，或当检测网络没有检测到安全带时，可以执行图3中的S320-S360的处理，此时，获得的检测结果为人手遮挡安全带。
在优选的实施例中，连续地或以预定时间间隔执行上述安全带检测方法，并将多次执行该安全带检测方法所获得的多个检测结果汇总，判断其中某类检测结果占所有检测结果的比例是否达到预定阈值，并输出达到阈值的检测结果。例如，可以创建固定时间窗口的滑窗队列，例如5s，连续地或以预定时间间隔执行上述安全带检测方法，将多个检测结果送入队列，判断队列中某类结果占所有检测结果的比例是否达到预定阈值。若通过多帧判断输出的检测结果为未规范佩戴安全带，DMS将给出报警。结合多次检测的多个检测结果综合判断，能够提高检测结果的可靠性。
根据上述实施例的安全带检测方法，使用深度学习神经网络对待检测图像进行识别，能够获得更高的准确度和鲁棒性。其中，全局二分类分支网络能够快速判断驾驶员是否佩戴安全带，图像分割网络分支能够检测安全带的具体位置信息。同时结合使用全局二分类分支网络和栅格分类分支网络，能够快速、准确地判断驾驶员是否规范佩戴安全带。此外，根据本申请的栅格分类分支网络相对于常规的图像分割网络降低了运算量。
在一实施例中，根据本申请的安全带检测方法还包括对检测网络进行训练。在使用本申请的检测网络对待检测图像进行模型推理以得到检测结果之前，对检测网络进行训练能够提高检测网络的检测效率和精确度。对检测网络进行训练包括：选取训练图像，以及基于所述训练图像，利用图像分割分支网络辅助对所述全局二分类分支网络和所述栅格分类分支网络进行训练。其中，所述图像分割分支网络基于所述训练图像输出分割图，所述分割图相对于所述训练图像缩小预定比例，并且所述分割图的像素位置与所述待检测图像的像素位置对应映射。
在该实施例中，训练图像可以从DMS获取的驾驶员前视图或驾驶员侧视图中选取，训练图像包括驾驶员佩戴了安全带的图像和驾驶员未佩戴安全带的图像，并对应地被划分为佩戴安全带标签图像和未佩戴安全带标签图像。标签图像作为用于训练的掩模(mask)图。利用佩戴安全带标签图像和未佩戴安全带标签图像对全局而分类分支网络进行训练。对全局二分类分支网络进行训练的损失函数采用Focal loss损失函数FL
Figure BDA0003169811290000121
其中，α是平衡因子，用于平衡正负样本比例不均匀；γ是速率因子，用于调节简单样本权重降低的速率；y表示分类标签；y’表示栅格分类分支网络输出结果；
全局分类分支损失函数Lcls如下：
Figure BDA0003169811290000122
其中，m表示分类类别数，Pi表示预测属于第i类的置信度；Ti表示属于第i类的one-hot标签向量，全局二分类分支网络中m为2。
针对栅格分类分支网络，利用佩戴安全带标签图像对其进行训练。佩戴安全带标签图像是二值化的图像。在佩戴安全带标签图像中，安全带的像素点被赋值为1，非安全带的像素点被赋值为0。在对栅格分类分支网络进行训练时，对佩戴安全带标签图像划分栅格，仅安全带中心线所在的栅格被赋值为1，其余栅格被赋值为0。
对栅格分类分支网络进行训练的损失函数采用Focal loss损失函数Lgrid，该损失函数Lgrid如下：
Figure BDA0003169811290000123
其中Pj,:为w+1维向量，表示第j行栅格每个栅格(grid cell)的预测置信度；Tj,:表示第j行栅格的one-hot标签向量，h为栅格总行数，即Lgrid为所有栅格行损失(loss)累加的结果。
参考图10，在一实施例中，利用图像分割分支网络1020辅助对全局二分类分支网络630和栅格分类分支网络620进行训练。
辅助分割分支网络1020与栅格分类分支网络620和全局二分类分支网络630共用主干网络的特征提取。辅助分割分支网络1020基于主干网络1/8、1/16、1/32三个特征层(即图10中的第一特征图FM1、第二特征图FM2和第三特征图FM3)，并采样到与第一特征图FM1的尺寸相同的尺寸，分别获得第二调整特征图FM2’和第三调整特征图FM3’；然后对第一特征图FM1、第二调整特征图FM2’和第三调整特征图FM3’在通道上拼接融合，然后经过图像分割分支网络1020的卷积处理输出到1/8尺寸上，得到分割图1010。分割图1010的像素位置与输入图像一一映射，可用来定位原始图像上安全带像素点的位置。
例如，在图10的示例中，当输入到检测网络的驾驶员图片601的尺寸为224×160时，第一特征图FM1的尺寸是28×20，也就是说，输入到图像分割分支网络1020的拼接的特征图的尺寸也是28×20，并且，从图像分割分支网络1020输出的分割图1010的尺寸也是28×20，且分割图1010的像素位置与待检测图像601的像素位置对应映射。分割图1010是待检测图像601的映射，其中白色像素点表示安全带，黑色像素点表示非安全带的背景。该分割图1010可用于定位待检测图像中安全带像素点的位置。采用该实施例的图像分割分支网络1020，输出的分割图1010相对于输入的图像缩小了预定尺寸，且能够用于定位原始图像上安全带像素点的位置。换句话说，分割图1010不需要编码(encode)到输入尺寸，降低了网络复杂度并因此减少了计算量。
该图像分割分支网络1020仅在对检测网络600进行训练时有效，用于在训练过程中在对栅格分类分支网络和全局二分类分支网络进行训练时加速收敛。而在使用检测网络600进行模型推理的过程中不需要使用该图像分割分支网络1020。因此，该图像分割分支网络1020不影响模型推理的速度。
根据上述实施例的安全带检测方法，使用深度学习神经网络对待检测图像进行识别，能够获得更高的准确度和鲁棒性。其中，全局二分类分支网络能够快速判断驾驶员是否佩戴安全带，栅格分类分支网络能够检测安全带的具体位置信息。同时结合使用全局二分类分支网络和栅格分类分支网络，能够快速、准确地判断驾驶员是否规范佩戴安全带。此外，本申请使用栅格分类分支网络来检测安全带的具体位置信息，相较于传统的图像分割方法能明显降低计算复杂度。
在实际测试中，根据本申请的检测网络具备良好的性能，如下：
(1)安全带定位性能
将栅格分类分支得到的每一行安全带中心点位置与groud truth位置对比，若相距10个像素点以内则认为该安全带中心定位正确，否则错误。测试集统计准确率(accuracy)为96.34％。
(2)安全带分类性能
将全局二分类分支的结果计算混淆矩阵，得到ROC曲线如图11所示，在置信度门限score_th＝0.90时，分类准确率(accuracy)为97.152％
(3)计算量
采用mobilenetv2的主干网络，输入的待检测图像的尺寸为224x160，计算量Flops为0.22GMac，可满足嵌入式设备实时运行的需求。
根据本申请的另一方面，如图12所示，提供了安全带检测装置1200，包括图像获取单元1220、图像检测单元1240和结果获取单元1260。其中，图像获取单元1220配置为获取待检测图像。图像检测单元1240配置为将所述待检测图像输入至检测网络，所述检测网络包括全局二分类分支网络和栅格分类分支网络；获取从所述全局二分类分支网络输出的二分类结果以及获取从所述栅格分类分支网络基于图像分类输出的栅格分类图，所述二分类结果指示驾驶员是否佩戴安全带，所述栅格分类图指示安全带的位置信息。结果获取单元1260配置为所述二分类结果和所述栅格分类图获得安全带的检测结果；所述检测结果指示所述驾驶员是否正确佩戴安全带。
在一实施例中，如图13所示，图像获取单元1220包括图像捕获单元1222、图像截取单元1224和图像预处理单元1226。其中，图像捕获单元1222配置为通过摄像机捕获原始图像。图像截取单元1224配置为：基于人脸检测算法检测所述原始图像中的人脸以获得人脸边框及头部姿态信息；判断所述原始图像中人脸以下的部分是否满足预定大小；若不满足预定大小，使所述结果获取单元将所述检测结果确定为检测区域不足；若满足预定大小，则基于所述人脸边框及所述头部姿态信息对所述原始图像中人脸以下的部分进行动态截取，以获得截取图像。图像预处理单元1226配置为：对所述截取图像进行预处理以获得所述待检测图像。
在一实施例中，图像截取单元1224还配置为：基于人手检测算法检测所述原始图像中的人手以获得人手边框；基于所述人脸边框的位置和大小在所述原始图像中获得安全带边框；以及当所述人手边框位于相对于所述人脸边框的预定位置且所述人手边框与所述安全带边框的交叠面积大于设定阈值时，使所述结果获取单元将所述检测结果确定为安全带被遮挡。
在一实施例中，图像检测单元1240包括栅格分类分支网络检测单元，配置为：将所述待检测图像在行和列方向上划分为多个栅格；逐行或逐列判断该行货该列的每个栅格中的图像是否对应于安全带区域；将其中图像对应于安全带区域的栅格标记为安全带栅格；以及获取其中标记了安全带栅格的栅格分类图。
在一实施例中，检测网络还包括主干网络，如图14所示，所述图像检测单元1240还包括特征提取单元1242，该特征提取单元1242配置为：利用所述主干网络对所述待检测图像进行卷积以生成所述待检测图像的特征图，将所述特征图用作所述全局二分类分支网络和所述栅格分类分支网络的输入。
在一实施例中，如图15所示，结果获取单元1260还包括中心线计算单元1262，该中心线计算单元1262配置为获取所述安全带栅格在所述栅格分类图中的坐标；基于所述坐标在所述栅格分类图中拟合所述安全带的中心线；以及计算与所述中心线相关的参数。结果获取单元1260还配置为：基于所述参数和所述二分类结果获得所述安全带的检测结果。
在一实施例中，与所述中心线相关的参数包括：所述中心线与预定方向的夹角、所述中心线与驾驶员肩膀的相对位置。
在一实施例中，如图16所示，安全带检测装置1200还包括检测网络训练单元1210。该检测网络训练单元配置为：选取训练图像，以及基于所述训练图像，利用图像分割分支网络辅助对所述全局二分类分支网络和所述栅格分类分支网络进行训练。其中，所述图像分割分支网络基于所述训练图像输出分割图，所述分割图相对于所述训练图像缩小预定比例，并且所述分割图的像素位置与所述待检测图像的像素位置对应映射。
本申请的安全带检测装置与本发明的安全带检测方法一一对应，在上述安全带检测方法的实施例阐述的技术特征及其有益效果均适用于安全带检测装置的实施例中，特此声明。
根据本申请的另一方面，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图17所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有步骤系统和计算机程序。该内存储器为非易失性存储介质中的步骤系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种安全带检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图17中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (18)

1.一种安全带检测方法，其特征在于，包括：
获取待检测图像；
将所述待检测图像输入至检测网络，所述检测网络包括全局二分类分支网络和栅格分类分支网络；
获取从所述全局二分类分支网络输出的二分类结果以及获取从所述栅格分类分支网络基于图像分类输出的栅格分类图，所述二分类结果指示驾驶员是否佩戴安全带，所述栅格分类图指示安全带的位置信息；以及
基于所述二分类结果和所述栅格分类图获得安全带的检测结果，所述检测结果指示所述驾驶员是否规范佩戴安全带。
2.根据权利要求1所述的安全带检测方法，其特征在于，获取待检测图像包括：
通过摄像机捕获原始图像；
基于人脸检测算法检测所述原始图像中的人脸以获得人脸边框及头部姿态信息；
判断所述原始图像中人脸以下的部分是否满足预定大小；
若不满足预定大小，将所述检测结果确定为检测区域不足；
若满足预定大小，则基于所述人脸边框及所述头部姿态信息对所述原始图像中人脸以下的部分进行动态截取，以获得截取图像；以及
对所述截取图像进行预处理以获得所述待检测图像。
3.根据权利要求2所述的安全带检测方法，其特征在于，在通过摄像机捕获原始图像之后还包括：
基于人手检测算法检测所述原始图像中的人手以获得人手边框；
基于所述人脸边框的位置和大小在所述原始图像中获得安全带边框；以及
当所述人手边框位于相对于所述人脸边框的预定位置且所述人手边框与所述安全带边框的交叠面积大于设定阈值时，不截取图像并将所述检测结果确定为安全带被遮挡。
4.根据权利要求1所述的安全带检测方法，其特征在于，获取从所述栅格分类分支网络基于图像分类输出的栅格分类图包括：
将所述待检测图像在行和列方向上划分为多个栅格；
逐行或逐列判断该行或该列的每个栅格中的图像是否对应于安全带区域；将其中图像对应于安全带区域的栅格标记为安全带栅格；以及
获取其中标记了安全带栅格的栅格分类图。
5.根据权利要求1所述的安全带检测方法，其特征在于，所述检测网络还包括主干网络；
在获取从所述全局二分类分支网络输出的二分类结果以及获取从所述栅格分类分支网络基于图像分类输出的栅格分类图之前，所述方法还包括：
利用所述主干网络对所述待检测图像进行卷积以生成所述待检测图像的特征图，将所述特征图用作所述全局二分类分支网络和所述栅格分类分支网络的输入。
6.根据权利要求4所述的安全带检测方法，其特征在于，基于所述二分类结果和所述栅格分类图获得安全带的检测结果包括：
获取所述安全带栅格在所述栅格分类图中的坐标；
基于所述坐标在所述栅格分类图中拟合所述安全带的中心线；
计算与所述中心线相关的参数；以及
基于所述参数和所述二分类结果获得所述安全带的检测结果。
7.根据权利要求6所述的安全带检测方法，其特征在于，与所述中心线相关的参数包括：所述中心线与预定方向的夹角、所述中心线与驾驶员肩膀的相对位置。
8.根据权利要求1所述的安全带检测方法，其特征在于，在获取待检测图像之前，所述方法还包括：
选取训练图像，以及
基于所述训练图像，利用图像分割分支网络辅助对所述全局二分类分支网络和所述栅格分类分支网络进行训练；
其中，所述图像分割分支网络基于所述训练图像输出分割图，所述分割图相对于所述训练图像缩小预定比例，并且所述分割图的像素位置与所述待检测图像的像素位置对应映射。
9.一种安全带检测装置，其特征在于，包括：
图像获取单元，配置为获取待检测图像；
图像检测单元，配置为将所述待检测图像输入至检测网络，所述检测网络包括全局二分类分支网络和栅格分类分支网络；获取从所述全局二分类分支网络输出的二分类结果以及获取从所述栅格分类分支网络基于图像分类输出的栅格分类图，所述二分类结果指示驾驶员是否佩戴安全带，所述栅格分类图指示安全带的位置信息；以及
结果获取单元，配置为基于所述二分类结果和所述栅格分类图获得安全带的检测结果；所述检测结果指示所述驾驶员是否正确佩戴安全带。
10.根据权利要求9所述的安全带检测装置，其特征在于，所述图像获取单元包括：
图像捕获单元，配置为通过摄像机捕获原始图像；
图像截取单元，配置为：
基于人脸检测算法检测所述原始图像中的人脸以获得人脸边框及头部姿态信息；
判断所述原始图像中人脸以下的部分是否满足预定大小；
若不满足预定大小，使所述结果获取单元将所述检测结果确定为检测区域不足；若满足预定大小，则基于所述人脸边框及所述头部姿态信息对所述原始图像中人脸以下的部分进行动态截取，以获得截取图像；以及
图像预处理单元，配置为：对所述截取图像进行预处理以获得所述待检测图像。
11.根据权利要求10所述的安全带检测方法，其特征在于，所述图像截取单元还配置为：
基于人手检测算法检测所述原始图像中的人手以获得人手边框；
基于所述人脸边框的位置和大小在所述原始图像中获得安全带边框；以及
当所述人手边框位于相对于所述人脸边框的预定位置且所述人手边框与所述安全带边框的交叠面积大于设定阈值时，不截取图像并使所述结果获取单元将所述检测结果确定为安全带被遮挡。
12.根据权利要求9所述的安全带检测装置，其特征在于，所述图像检测单元包括栅格分类分支网络检测单元，配置为：将所述待检测图像在行和列方向上划分为多个栅格；逐行或逐列判断该行或该列的每个栅格中的图像是否对应于安全带区域；将其中图像对应于安全带区域的栅格标记为安全带栅格；以及获取其中标记了安全带栅格的栅格分类图。
13.根据权利要求9所述的安全带检测装置，其特征在于，所述检测网络还包括主干网络；
所述图像检测单元还包括：
特征提取单元，配置为利用所述主干网络对所述待检测图像进行卷积以生成所述待检测图像的特征图，将所述特征图用作所述全局二分类分支网络和所述栅格分类分支网络的输入。
14.根据权利要求9所述的安全带检测装置，其特征在于，所述结果获取单元包括：
中心线计算单元，配置为获取所述安全带栅格在所述栅格分类图中的坐标；
基于所述坐标在所述栅格分类图中拟合所述安全带的中心线；以及
计算与所述中心线相关的参数；
所述结果获取单元还配置为：基于所述参数和所述二分类结果获得所述安全带的检测结果。
15.根据权利要求14所述的安全带检测装置，其特征在于，与所述中心线相关的参数包括：所述中心线与预定方向的夹角、所述中心线与驾驶员肩膀的相对位置。
16.根据权利要求9所述的安全带检测装置，其特征在于，还包括检测网络训练单元，配置为：
选取训练图像，以及
基于所述训练图像，利用图像分割分支网络辅助对所述全局二分类分支网络和所述栅格分类分支网络进行训练；
其中，所述图像分割分支网络基于所述训练图像输出分割图，所述分割图相对于所述训练图像缩小预定比例，并且所述分割图的像素位置与所述待检测图像的像素位置对应映射。
17.一种计算机设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8中任一项所述的安全带检测方法。
18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至8中任一项所述的安全带检测方法。
CN202110814893.3A 2021-07-19 2021-07-19 安全带检测方法、装置、计算机设备和存储介质 Active CN113486835B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110814893.3A CN113486835B (zh) 2021-07-19 2021-07-19 安全带检测方法、装置、计算机设备和存储介质
US17/720,042 US20230020385A1 (en) 2021-07-19 2022-04-13 Safety belt detection method, apparatus, computer device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110814893.3A CN113486835B (zh) 2021-07-19 2021-07-19 安全带检测方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN113486835A true CN113486835A (zh) 2021-10-08
CN113486835B CN113486835B (zh) 2024-06-28

Family

ID=77942219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110814893.3A Active CN113486835B (zh) 2021-07-19 2021-07-19 安全带检测方法、装置、计算机设备和存储介质

Country Status (2)

Country Link
US (1) US20230020385A1 (zh)
CN (1) CN113486835B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024124536A1 (zh) * 2022-12-16 2024-06-20 京东方科技集团股份有限公司 一种安全带佩戴检测方法、装置、电子设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11798296B2 (en) * 2021-12-21 2023-10-24 Veoneer Us, Llc Method and system for seatbelt detection using adaptive histogram normalization

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140071169A1 (en) * 2012-09-12 2014-03-13 Realtek Semiconductor Corporation Image processing method, image output processing method, and image reception processing method
CN105946786A (zh) * 2016-05-06 2016-09-21 厦门理工学院 一种安全带规范佩戴的检测方法、提醒系统及控制方法
CN107247956A (zh) * 2016-10-09 2017-10-13 成都快眼科技有限公司 一种基于网格判断的快速目标检测方法
CN109460699A (zh) * 2018-09-03 2019-03-12 厦门瑞为信息技术有限公司 一种基于深度学习的驾驶员安全带佩戴识别方法
CN110084184A (zh) * 2019-04-25 2019-08-02 浙江吉利控股集团有限公司 一种基于图像处理技术的安全带未系探测系统和方法
CN110503831A (zh) * 2019-08-28 2019-11-26 上海眼控科技股份有限公司 一种识别驾驶员违法行为的方法及设备
CN111488930A (zh) * 2020-04-09 2020-08-04 北京市商汤科技开发有限公司 分类网络的训练方法、目标检测方法、装置和电子设备
CN112070779A (zh) * 2020-08-04 2020-12-11 武汉大学 一种基于卷积神经网络弱监督学习的遥感影像道路分割方法
CN112132040A (zh) * 2020-09-24 2020-12-25 明见(厦门)软件开发有限公司 基于视觉的安全带实时监测方法、终端设备及存储介质
CN112339773A (zh) * 2020-11-10 2021-02-09 中科海微(北京)科技有限公司 一种基于单目视觉的非主动车道偏离预警方法及系统
CN112560929A (zh) * 2020-12-09 2021-03-26 中国石油大学(华东) 溢油区域确定方法及装置、存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140322676A1 (en) * 2013-04-26 2014-10-30 Verizon Patent And Licensing Inc. Method and system for providing driving quality feedback and automotive support

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140071169A1 (en) * 2012-09-12 2014-03-13 Realtek Semiconductor Corporation Image processing method, image output processing method, and image reception processing method
CN105946786A (zh) * 2016-05-06 2016-09-21 厦门理工学院 一种安全带规范佩戴的检测方法、提醒系统及控制方法
CN107247956A (zh) * 2016-10-09 2017-10-13 成都快眼科技有限公司 一种基于网格判断的快速目标检测方法
CN109460699A (zh) * 2018-09-03 2019-03-12 厦门瑞为信息技术有限公司 一种基于深度学习的驾驶员安全带佩戴识别方法
CN110084184A (zh) * 2019-04-25 2019-08-02 浙江吉利控股集团有限公司 一种基于图像处理技术的安全带未系探测系统和方法
CN110503831A (zh) * 2019-08-28 2019-11-26 上海眼控科技股份有限公司 一种识别驾驶员违法行为的方法及设备
CN111488930A (zh) * 2020-04-09 2020-08-04 北京市商汤科技开发有限公司 分类网络的训练方法、目标检测方法、装置和电子设备
CN112070779A (zh) * 2020-08-04 2020-12-11 武汉大学 一种基于卷积神经网络弱监督学习的遥感影像道路分割方法
CN112132040A (zh) * 2020-09-24 2020-12-25 明见(厦门)软件开发有限公司 基于视觉的安全带实时监测方法、终端设备及存储介质
CN112339773A (zh) * 2020-11-10 2021-02-09 中科海微(北京)科技有限公司 一种基于单目视觉的非主动车道偏离预警方法及系统
CN112560929A (zh) * 2020-12-09 2021-03-26 中国石油大学(华东) 溢油区域确定方法及装置、存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨庆仙;王丽珍;周汝良;: "基于网格技术的聚类算法在遥感数据中的应用", 《云南大学学报(自然科学版)》, no. 1, 15 June 2009 (2009-06-15) *
郭少军;沈同圣;徐健;马新星;: "基于ObjectNess BING的海面多舰船目标检测", 《系统工程与电子技术》, vol. 38, no. 1, 31 January 2016 (2016-01-31) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024124536A1 (zh) * 2022-12-16 2024-06-20 京东方科技集团股份有限公司 一种安全带佩戴检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113486835B (zh) 2024-06-28
US20230020385A1 (en) 2023-01-19

Similar Documents

Publication Publication Date Title
EP3539054B1 (en) Neural network image processing apparatus
CN113553938B (zh) 安全带检测方法、装置、计算机设备和存储介质
CN111178245B (zh) 车道线检测方法、装置、计算机设备和存储介质
US9842266B2 (en) Method for detecting driver cell phone usage from side-view images
JP6630999B2 (ja) 画像認識装置、画像認識方法、および、画像認識プログラム
CN113486835B (zh) 安全带检测方法、装置、计算机设备和存储介质
CN112334906B (zh) 从机器学习模型输出推断出的实例分割
CN110490171B (zh) 一种危险姿态识别方法、装置、计算机设备及存储介质
CN111582077A (zh) 基于人工智能软件技术的安全带佩戴检测方法和装置
CN112101260A (zh) 一种作业人员安全带识别方法、装置、设备和存储介质
JP2019106193A (ja) 情報処理装置、情報処理プログラム、及び、情報処理方法
CN115346197A (zh) 一种基于双向视频流的驾驶员分心行为识别方法
WO2018173848A1 (ja) オブジェクト追跡システム、インテリジェント撮像装置、オブジェクト特徴量抽出装置、オブジェクト特徴量抽出方法及び記憶媒体
CN110298237B (zh) 头部姿势识别方法、装置、计算机设备及存储介质
Sun et al. An improved YOLO V5-based algorithm of safety helmet wearing detection
CN114565531A (zh) 一种图像修复方法、装置、设备和介质
CN111429727B (zh) 一种开放式停车位中车牌识别方法及系统
CN110569732B (zh) 一种基于驾驶员监控系统的安全带检测方法以及相应的设备
CN109726750B (zh) 一种乘客摔倒检测装置及其检测方法及乘客输送装置
JP6762373B2 (ja) 映像障害検知装置、映像障害検知方法、及びプログラム
Shirpour et al. Driver's Eye Fixation Prediction by Deep Neural Network.
CN113496162B (zh) 停车规范识别方法、装置、计算机设备和存储介质
Jakob et al. Camera-based on-road detections for the visually impaired
KR20220151165A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
CN113538193A (zh) 基于人工智能和计算机视觉的交通事故处理方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant