CN111931642A - 一种安全带佩戴检测的方法、装置、电子设备及存储介质 - Google Patents

一种安全带佩戴检测的方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111931642A
CN111931642A CN202010791309.2A CN202010791309A CN111931642A CN 111931642 A CN111931642 A CN 111931642A CN 202010791309 A CN202010791309 A CN 202010791309A CN 111931642 A CN111931642 A CN 111931642A
Authority
CN
China
Prior art keywords
human body
safety belt
central point
information
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010791309.2A
Other languages
English (en)
Inventor
王飞
钱晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Lingang Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority to CN202010791309.2A priority Critical patent/CN111931642A/zh
Publication of CN111931642A publication Critical patent/CN111931642A/zh
Priority to KR1020217042831A priority patent/KR20220019105A/ko
Priority to JP2021578003A priority patent/JP7288097B2/ja
Priority to PCT/CN2020/135494 priority patent/WO2022027893A1/zh
Priority to US17/585,810 priority patent/US20220144206A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01542—Passenger detection systems detecting passenger motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01544—Passenger detection systems detecting seat belt parameters, e.g. length, tension or height-adjustment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • B60R2022/4808—Sensing means arrangements therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • B60R2022/4866—Displaying or indicating arrangements thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Automotive Seat Belt Assembly (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开提供了一种安全带佩戴检测的方法、装置、电子设备及存储介质，其中，该方法包括：获取车舱环境图像；对车舱环境图像进行人体检测，得到车舱内至少一个人体的人体检测信息，以及对车舱环境图像进行安全带检测，得到车舱内至少一条安全带的安全带检测信息；将至少一个人体的人体检测信息与至少一条安全带的安全带检测信息进行匹配，确定安全带佩戴检测结果；在任一人体未佩戴安全带的情况下，发出警示信息。本公开通过将上述人体检测信息和安全带检测信息进行匹配，可以检测出人体是否佩戴安全带，实现了对安全带佩戴行为的有效检测。

Description

一种安全带佩戴检测的方法、装置、电子设备及存储介质
技术领域
本公开涉及图像检测技术领域，具体而言，涉及一种安全带佩戴检测的方法、装置、电子设备及存储介质。
背景技术
机动车行驶过程中发生碰撞或紧急制动时，产生强惯性力，司乘人员通过系安全带可以有效控制身体，避免碰撞带来的身体伤害。可见，系安全带对于保障司机和乘客的生命安全具有至关重要的作用。
为了给司乘提供更为安全的车舱环境，大多数车辆上安装有安全带传感器和报警器。在确定司乘落座后，利用安全带传感器可以检测安全带是否已经扣上，并能够在检测到安全带未扣上时，通过声响和闪烁图标来提醒驾驶员系好安全带。
然而，有些驾驶员为了省事，会通过在用于插入安全带的插口上插入固定的安全带扣的方式，或者将带子从身后绕过再插入插口里的方式来躲避安全带未佩戴的报警提示。
发明内容
本公开实施例至少提供一种安全带佩戴检测的方案，结合人体检测和安全带检测能够对用户是否佩戴安全带的行为进行有效检测。
主要包括以下几个方面：
第一方面，本公开实施例提供了一种安全带佩戴检测的方法，所述方法包括：
获取车舱环境图像；
基于所述车舱环境图像，生成车舱特征图；
对所述车舱环境图像进行人体检测，得到车舱内至少一个人体的人体检测信息，以及对所述车舱环境图像进行安全带检测，得到车舱内至少一条安全带的安全带检测信息；
将所述至少一个人体的人体检测信息与所述至少一条安全带的安全带检测信息进行匹配，确定安全带佩戴检测结果；
在任一人体未佩戴安全带的情况下，发出警示信息。
采用上述安全带佩戴检测的方法，首先可以基于获取的车舱环境图像生成车舱特征图，并对车舱特征图分别进行人体检测和安全带检测，得到人体检测信息和安全带检测信息，考虑到人体在实际佩戴安全带的状态下，人体和安全带存在一定的位置对应关系，通过将上述人体检测信息和安全带检测信息进行匹配，可以检测出人体是否佩戴安全带，实现了对安全带佩戴行为的有效检测。
在一种可能的实施方式中，所述将所述至少一个人体的人体检测信息与所述至少一条安全带的安全带检测信息进行匹配，包括：
确定所述至少一条安全带对应的安全带检测框的中心点位置与人体检测框的中心点位置之间的相对偏移信息；
基于确定的所述相对偏移信息，从所述至少一个人体对应的人体检测框的中心点中查找是否存在与每条安全带对应的安全带检测框的中心点关联的人体检测框的中心点。
在一种可能的实施方式中，确定安全带佩戴检测结果，包括：
若针对任一人体不存在与该人体对应的人体检测框的中心点关联的安全带检测框的中心点，则确定该人体未佩戴有安全带。
在一种可能的实施方式中，确定安全带佩戴检测结果，包括：
若针对任一人体存在与该人体对应的人体检测框的中心点关联的安全带检测框的中心点，则确定该人体佩戴有安全带。
这里，首先可以确定安全带检测框的中心点位置与人体检测框的中心点位置之间的相对偏移信息，而后可以基于相对偏移信息，确定是否存在与每条安全带对应的安全带检测框的中心点关联的人体检测框的中心点，在针对任一人体确定存在与该人体对应的人体检测框的中心点关联的安全带检测框的中心点的情况下，则可以确定人体佩戴有安全带，在针对任一人体确定不存在与该人体对应的人体检测框的中心点关联的安全带检测框的中心点的情况下，则可以确定人体未佩戴有安全带。
在一种可能的实施方式中，所述人体检测信息包括人体检测框信息；所述对所述车舱环境图像进行人体检测，得到车舱内至少一个人体的人体检测信息，包括：
基于所述车舱环境图像，生成车舱特征图；
对所述车舱特征图进行人体检测，得到车舱内至少一个人体分别对应的多通道特征图，所述多通道特征图包括人体中心点特征图、人体长度特征图、以及人体宽度特征图；
基于所述多通道特征图，确定所述至少一个人体对应的人体检测框信息；所述人体检测框信息包括人体检测框的中心点位置信息和人体检测框的尺寸信息。
这里，在进行人体检测的过程中，基于人体检测所得到的多通道特征图可以表征人体中心点、人体长度以及人体宽度等相关特征，这些相关特征决定了人体检测框对应的位置范围。
在一种可能的实施方式中，所述基于所述多通道特征图，确定所述至少一个人体对应的人体检测框信息，包括：
针对所述多通道特征图包括的人体中心点特征图，按照预设池化尺寸和预设池化步长从所述人体中心点特征图中依次截取待池化处理的人体中心点特征子图；
针对依次截取到的每个人体中心点特征子图，对该人体中心点特征子图进行最大池化处理，确定该人体中心点特征子图对应的各个人体中心点特征值中的最大人体中心点特征值，以及该最大人体中心点特征值在所述人体中心点特征图中的坐标位置信息；
基于多个所述人体中心点特征子图分别对应的最大人体中心点特征值以及该最大人体中心点特征值在所述人体中心点特征图中的坐标位置信息，确定至少一个人体对应的人体检测框的中心点位置信息；
基于每个所述人体检测框的中心点位置信息，从所述多通道特征图包括的人体长度特征图以及人体宽度特征图中分别确定与该人体检测框匹配的人体长度信息和人体宽度信息，将匹配的所述人体长度信息和人体宽度信息，作为所述人体检测框的所述尺寸信息。
这里，可以基于最大池化处理从人体中心点特征图中截取的每个人体中心点特征子图中选取出最可能对应人体中心点的特征值，进而可以基于选取的至少一个特征值在所述人体中心点特征图中的坐标位置信息，得到至少一个人体检测框的中心点位置，再基于得到的人体检测框的中心点位置，可以从人体长度特征图和人体宽度特征图中提取对应的人体长度信息和人体宽度信息，进而确定人体检测框的尺寸信息。
在一种可能的实施方式中，所述按照预设池化尺寸和预设池化步长从所述人体中心点特征图中依次截取待池化处理的人体中心点特征子图，包括：
利用激活函数对表征人体中心点位置的人体中心点特征图进行归一化处理，得到归一化处理后的人体中心点特征图；
按照预设池化尺寸和预设池化步长从所述归一化处理后的人体中心点特征图中依次截取待池化处理的人体中心点特征子图。
在一种可能的实施方式中，所述基于多个所述人体中心点特征子图分别对应的最大人体中心点特征值以及该最大人体中心点特征值在所述人体中心点特征图中的坐标位置信息，确定至少一个人体对应的人体检测框的中心点位置信息，包括：
针对多个所述人体中心点特征子图中的每个所述人体中心点特征子图，判断该人体中心点特征子图对应的最大人体中心点特征值是否大于预设阈值；若是，则将该最大人体中心点特征值所指示的人体中心点确定为目标人体中心点；
基于每个所述目标人体中心点在所述人体中心点特征图中对应的坐标位置信息，确定至少一个人体对应的人体检测框的中心点位置信息。
在一种可能的实施方式中，所述安全带检测信息包括安全带检测框信息；所述对所述车舱环境图像进行安全带检测，得到车舱内至少一条安全带的安全带检测信息，包括：
基于所述车舱环境图像，生成车舱特征图；
确定所述车舱特征图包括的多个像素点中每个所述像素点所属的安全带类别信息，所述安全带类别信息包括属于安全带和不属于安全带；并将对应的安全带类别信息为属于安全带的像素点确定为目标安全带像素点；
确定每个所述目标安全带像素点与安全带中心像素点的相对偏移信息；基于确定的所述相对偏移信息，确定与每个所述目标安全带像素点对应的安全带中心像素点；
基于确定的安全带中心像素点，将对应同一安全带中心像素点的多个目标安全带像素点进行聚类，得到车舱内至少一条安全带对应的安全带检测框信息；所述安全带检测框信息包括安全带检测框的中心点位置信息。
这里，在进行安全带检测的过程中，基于语义分割可以确定车舱特征图包括的多个像素点中属于安全带的目标安全带像素点，而后，基于目标安全带像素点与安全带中心像素点之间的相对偏移信息，即可以确定出各个安全带中心像素点，基于确定出的每个安全带中心像素点可以进行多个目标安全带像素点的聚类，从而确定出各条安全带对应的安全带检测框信息。
在一种可能的实施方式中，所述确定所述车舱特征图包括的多个像素点中每个所述像素点所属的安全带类别信息，包括：
对所述车舱特征图进行安全带检测，得到二通道特征图，所述二通道特征图包括背景特征图和安全带特征图；
针对所述车舱特征图包括的多个像素点中的每个像素点，基于所述背景特征图和所述安全带特征图中，与该像素点分别对应的特征值中的较大特征值所指示的安全带类别信息，确定为该像素点所属的安全带类别信息。
第二方面，本公开实施例还提供了一种安全带佩戴检测的装置，所述装置包括：
获取模块，用于获取车舱环境图像；
生成模块，用于基于所述车舱环境图像，生成车舱特征图；
检测模块，用于对所述车舱特征图进行人体检测，得到车舱内至少一个人体的人体检测信息，以及对所述车舱特征图进行安全带检测，得到车舱内至少一条安全带的安全带检测信息；
匹配模块，用于将所述至少一个人体的人体检测信息与所述至少一条安全带的安全带检测信息进行匹配，确定安全带佩戴检测结果；所述安全带佩戴检测结果用于指示检测出的人体是否佩戴安全带。
第三方面，本公开实施例还提供了一种电子设备，包括：处理器、存储器、和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，处理器与存储器之间通过总线通信，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述处理器执行如第一方面及其各种实施方式任一项所述的安全带佩戴检测的方法的步骤。
第四方面，本公开实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被电子设备运行时，所述电子设备执行如第一方面及其各种实施方式任一项所述的安全带佩戴检测的方法的步骤。
关于上述安全带佩戴检测的装置、电子设备、及计算机可读存储介质的效果描述参见上述安全带佩戴检测的方法的说明，这里不再赘述。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例一所提供的一种安全带佩戴检测的方法的流程图；
图2示出了本公开实施例一所提供的安全带佩戴检测的方法中，确定安全带佩戴检测结果具体方法的流程图；
图3示出了本公开实施例二所提供的一种安全带佩戴检测的装置的示意图；
图4示出了本公开实施例三所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
经研究发现，有些驾驶员为了省事，会通过在主驾驶位和/或副驾驶位的安全带插口上插入固定的安全带扣或者将安全带从身后绕过再插入到安全带插口里的方式来逃避安全带未佩戴的报警提示，为司机和乘客安全带来了安全隐患。
基于上述研究，本公开至少提供一种安全带佩戴检测的方案，结合人体检测和安全带检测能够对用户是否佩戴安全带的行为进行有效检测。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种安全带佩戴检测的方法进行详细介绍，本公开实施例所提供的安全带佩戴检测的方法的执行主体一般为具有一定计算能力的电子设备，该电子设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该安全带佩戴检测的方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
下面对本公开实施例提供的安全带佩戴检测的方法加以说明。
实施例一
参见图1所示，为本公开实施例提供的安全带佩戴检测的方法的流程图，方法包括步骤S101～S104，其中：
S101、获取车舱环境图像；
S102、对车舱环境图像进行人体检测，得到车舱内至少一个人体的人体检测信息，以及对车舱环境图像进行安全带检测，得到车舱内至少一条安全带的安全带检测信息；
S103、将至少一个人体的人体检测信息与至少一条安全带的安全带检测信息进行匹配，确定安全带佩戴检测结果；
S104、在任一人体未佩戴安全带的情况下，发出警示信息。
这里，为了便于理解本公开实施例提供的安全带佩戴检测的方法，接下来首先可以对该安全带佩戴检测的方法的具体应用场景进行详细说明。上述安全带佩戴检测的方法主要可以应用于车舱内安全带佩戴的检测场景中。
相关技术中，在确定司乘落座后，通常可以利用安全带传感器检测安全带是否已经扣上，并能够在检测到安全带未扣上时，通过声响和闪烁图标来提醒驾驶员系好安全带。然而，有些驾驶员为了省事，会通过在用于插入安全带的插口上插入固定的安全带扣的方式，或者将带子从身后绕过再插入插口里的方式来躲避安全带未佩戴的报警提示。此外，尽管对于未佩戴安全带的行为已经出台了相关的交通管理规范，但目前主要还是基于人工抽查方式来确定司乘是否佩戴有安全带，而这种人工抽查方式不仅消耗了大量的人力物力，对于安全带佩戴行为并不能起到很好的管理作用。
正是为了解决上述问题，本公开实施例才提供了一种安全带佩戴检测的方法，其结合人体检测和安全带检测能够对用户是否佩戴安全带的行为进行有效检测。
其中，上述车舱环境图像可以是车舱内设置的摄像装置摄取得到的。为了摄取到与人体以及安全带相关的图像信息，这里有关摄像装置可以是以能够摄取到司乘落座后的行为为前提，面对车舱内的座位来设置。
本公开实施例中，针对提取出的车舱环境图像，一方面可以进行人体检测，另一方面可以进行安全带检测。对于人体检测而言，这里可以确定的是与车舱内人体相关的人体检测信息，例如，人体所在人体检测框信息；对于安全带检测而言，这里可以确定的是与车舱内安全带相关的安全带检测信息，例如，安全带所在安全带检测框信息。需要说明的是，上述人体检测和安全带检测可以是同时进行的。
本公开实施例中，在确定人体检测框信息以及安全带检测框之后，可以基于人体与安全带的关联关系，实现安全带佩戴的检测，如图2所示，上述检测安全带佩戴的过程可以通过如下步骤实现：
S201、确定至少一条安全带对应的安全带检测框的中心点位置与人体检测框的中心点位置之间的相对偏移信息；
S202、基于确定的相对偏移信息，从至少一个人体对应的人体检测框的中心点中查找是否存在与每条安全带对应的安全带检测框的中心点关联的人体检测框的中心点；
S203、若针对任一人体不存在与该人体对应的人体检测框的中心点关联的安全带检测框的中心点，则确定该人体未佩戴有安全带；
S204、若针对任一人体存在与该人体对应的人体检测框的中心点关联的安全带检测框的中心点，则确定该人体佩戴有安全带。
这里，可以利用预先训练好的人体中心点偏移网络来确定安全带检测框的中心点位置与人体检测框的中心点位置之间的相对偏移信息。
本公开实施例，在进行网络训练之前，可以预先对一条安全带的中心位置进行像素点标注，并对该条安全带所对应人体的中心位置进行像素点标注，基于上述标注信息即可以训练出上述人体中心点偏移网络的网络参数。
这里，基于训练得到的网络参数可以确定与每个人体对应的相对偏移信息，结合相对偏移信息以及安全带检测框的中心点位置，可以从至少一个人体检测框的中心点中查找是否存在与每条安全带对应的安全带检测框的中心点关联的人体检测框的中心点，也即，在确定相对偏移信息以及安全带检测框的中心点位置之后，安全带检测框所关联的人体检测框可以是确定的。
本公开实施例中，若针对任一人体查找不到与其人体检测框关联的安全带检测框，则说明该人体未佩戴有安全带，若查找到与其人体检测框关联的安全带检测框，则说明该人体佩戴有安全带。
在具体应用中，若确定存在任一人体未佩戴安全带的情况下，本公开实施例提供的安全带佩戴检测的方法还可以通过车载终端或者司机端发出指示存在用户未佩戴安全带的警示信息，以提醒司乘人员佩戴安全带，确保车辆行驶安全。
考虑到在人体佩戴有安全带的情况下，人体检测信息和安全带检测信息之间存在较强的空间关系，因此，这里可以通过将两种检测信息(即人体检测信息和安全带检测信息)进行匹配，来确定检测出的人体是否佩戴安全带。
需要说明的是，本公开实施例在进行人体检测和安全带检测之前，首先可以对获取的车舱环境图像进行特征提取，得到车舱特征图。这里，可以基于图像处理的方法直接对车舱环境图像进行图像处理，以提取出车舱相关特征(例如，场景特征、物体轮廓特征等)，还可以基于预先训练好的特征提取网络，从车舱环境图像中提取特征，得到车舱特征图。
考虑到利用特征提取网络可以挖掘出更为丰富、更深层次的隐藏特征，因此，本公开实施例可以采用特征提取网络实现特征提取。在具体应用中，特征提取网络可以是基于Backbone网络训练得到的，Backbone网络作为一种卷积神经网络(Convolutional NeuralNetworks,CNN)，可以利用卷积神经网络的卷积特性训练出输入图像与输出特征之间的关联关系。
这样，将获取的车舱环境图像输入至训练好的特征提取网络，即可对输入的车舱环境图像进行至少一次卷积运算，从而提取出对应的车舱特征图。
例如，对于输入为640*480尺寸的车舱环境图像而言，经过特征提取网络之后，可以得到降维的80*60*C的车舱特征图，其中，C为通道数量，每个通道可以对应一个维度下的车舱特征。
考虑到人体检测和安全带检测对本公开实施例提供的安全带佩戴检测的方法的关键作用，接下来可以通过如下两个方面分别进行描述。
第一方面：在人体检测框信息作为人体检测信息的情况下，本公开实施例可以先提取有关人体的多通道特征图，而后基于这一多通道特征图来确定人体检测框信息，具体可以通过如下步骤来实现：
步骤一、对车舱特征图进行人体检测，得到车舱内至少一个人体分别对应的多通道特征图，多通道特征图包括人体中心点特征图、人体长度特征图、以及人体宽度特征图；
步骤二、基于多通道特征图，确定至少一个人体对应的人体检测框信息；人体检测框信息包括人体检测框的中心点位置信息和人体检测框的尺寸信息。
这里，可以基于训练好的人体检测网络提取有关人体的多通道特征图。与上述特征提取网络相似的是，这里的人体检测网络也可以是基于CNN网络训练得到的，与上述特征提取网络不同的是，这里的人体检测网络训练的是车舱特征与人体特征之间的关联关系。这样，将车舱特征图输入至训练好的人体检测网络，即可对输入的车舱特征图进行至少一次卷积运算，从而提取出对应于各个人体的多通道特征图。
其中，多通道特征图包括的人体中心点特征图所包括的各个人体中心点特征值表征的可以是对应各个像素点属于人体中心点的概率大小，特征值越大，对应是人体中心点的概率也越大，此外，多通道特征图包括的人体长度特征图以及人体宽度特征图则可以表征的是有关人体的长度信息和宽度信息。
需要说明的是，为了便于实现后续有关人体中心位置的定位，这里的多通道特征图的尺寸可以是与车舱特征图的尺寸相同。这里，以80*60*C的车舱特征图和多通道特征图为三通道特征图为例，在经过人体检测网络之后，可以得到80*60*3的三通道特征图。
这样，基于上述多通道特征图，即可以确定包括人体检测框的中心点位置信息和人体检测框的尺寸信息的人体检测框信息，具体可以通过如下步骤实现：
步骤一、针对多通道特征图包括的人体中心点特征图，按照预设池化尺寸和预设池化步长从人体中心点特征图中依次截取待池化处理的人体中心点特征子图；
步骤二、针对依次截取到的每个人体中心点特征子图，对该人体中心点特征子图进行最大池化处理，确定该人体中心点特征子图对应的各个人体中心点特征值中的最大人体中心点特征值，以及该最大人体中心点特征值在人体中心点特征图中的坐标位置信息；
步骤三、基于多个人体中心点特征子图分别对应的最大人体中心点特征值以及该最大人体中心点特征值在人体中心点特征图中的坐标位置信息，确定至少一个人体对应的人体检测框的中心点位置信息；
步骤四、基于每个人体检测框的中心点位置信息，从多通道特征图包括的人体长度特征图以及人体宽度特征图中分别确定与该人体检测框匹配的人体长度信息和人体宽度信息，将匹配的人体长度信息和人体宽度信息，作为人体检测框的尺寸信息。
这里，考虑到人体中心点特征图对应的各个人体中心点特征值的大小直接影响了对应像素点作为人体中心点的可能性，也即，特征值越大，确定为人体中心点的可能性也越高，反之亦然。因此，本公开实施例提供了一种先进行最大池化处理以根据处理结果查找到最为可能是人体中心点的像素点，而后确定人体对应的人体检测框的中心点位置信息的方案。
其中，本公开实施例可以按照预设池化尺寸和预设池化步长从人体中心特征图中依次截取人体中心点特征子图，例如，以80*60尺寸的人体中心特征图为例，在按照预设池化尺寸3*3、预设池化步长1进行子图截取后，可以得到80*60个人体中心点特征子图。
针对依次截取出的每个人体中心点特征子图，可以确定该人体中心点特征子图对应的各个人体中心点特征值中的最大人体中心点特征值，也即，经过最大池化处理，针对每个人体中心点特征子图可以确定一个最大人体中心点特征值。这样，基于最大人体中心点特征值在该人体中心点特征子图种的坐标位置以及该人体中心点特征子图在人体中心点特征图中所处的坐标范围，即可以确定出最大人体中心点特征值在人体中心点特征图中的坐标位置信息，由于该坐标位置信息很大程度上表征的是人体中心点的位置，因此，基于这一坐标位置信息可以确定人体对应的人体检测框的中心点位置信息。
在具体应用中，为了进一步提升人体中心点检测的准确性，这里可以通过阈值设定的方式从得到的各个最大人体中心点特征值中选取更为符合人体中心点的最大人体中心点特征值。这里，可以首先判断一个人体中心点特征子图对应的最大人体中心点特征值是否大于预设阈值，如果大于预设阈值，则可以将该最大人体中心点特征值所指示的人体中心点确定为目标人体中心点，该目标人体中心点所对应的坐标位置信息即可以确定为人体检测框的中心点位置信息。
其中，上述预设阈值的选取不宜过大，也不以过小，过大的阈值将可能导致人体的漏检，过小的阈值将可能导致多检，均无法确保人体检测的准确性。本公开实施例可以结合具体的应用场景来选取不同的预设阈值，在此不做具体的限制。
需要说明的是，对于不同的人体中心点特征子图而言，其最大人体中心点特征值在人体中心点特征图中的坐标位置信息可能是同一个，这里，为了减少后续的计算量，可以进行信息合并。
本公开实施例中，为了便于进行池化处理，针对表征人体中心点位置的人体中心点特征图而言，可以先利用sigmoid激活函数对该人体中心点特征图进行归一化处理，而后再进行从归一化处理后的人体中心点特征图中依次截取人体中心点特征子图的过程。这里，sigmoid激活函数可以将人体中心点特征图对应的各个人体中心点特征值转化到0到1之间的数值。
本公开实施例中，在确定人体检测框的中心点位置信息的情况下，可以基于同一中心点位置信息从人体长度特征图以及人体宽度特征图中查找与这一人体检测框的中心点位置信息相匹配的人体长度信息和人体宽度信息，进而确定人体检测框的尺寸信息。
第二方面：在安全带检测框信息作为安全带检测信息的情况下，本公开实施例可以结合安全带类别识别、安全带中心偏移确定以及像素点聚类实现安全带检测框信息的确定，具体包括以下步骤：
步骤一、确定车舱特征图包括的多个像素点中每个像素点所属的安全带类别信息，安全带类别信息包括属于安全带和不属于安全带；并将对应的安全带类别信息为属于安全带的像素点确定为目标安全带像素点；
步骤二、确定每个目标安全带像素点与安全带中心像素点的相对偏移信息；基于确定的相对偏移信息，确定与每个目标安全带像素点对应的安全带中心像素点；
步骤三、基于确定的安全带中心像素点，将对应同一安全带中心像素点的多个目标安全带像素点进行聚类，得到车舱内至少一条安全带对应的安全带检测框信息；安全带检测框信息包括安全带检测框的中心点位置信息。
这里，本公开实施例提供的安全带佩戴检测的方法首先可以利用语义分割网络提取有关安全带的安全带类别信息，而后利用安全带中心点偏移网络确定属于安全带这一类别的每个目标安全带像素点对应的安全带中心像素点，最后，基于安全带中心像素点进行目标安全带像素点的聚类，从而确定出安全带检测框的中心点位置信息。
其中，上述语义分割网络可以是基于标注有安全带类别的训练样本集训练得到的，这里的标注可以采用逐像素点标注的方法，也即，针对任一训练样本可以标注该训练样本包括的各个像素点的安全带类别，这样，通过网络参数的学习即可以确定出车舱特征图包括的多个像素点中每个像素点所属的安全带类别信息。
本公开实施例中，上述语义分割模型作为一个二分类模型，可以确定包括背景特征图和安全带特征图的二通道特征图，这样，针对车舱特征图中的每个像素点，可以基于背景特征图和安全带特征图中，与该像素点分别对应的特征值中的较大特征值所指示的安全带类别信息确定每个像素点的安全带类别，也即，特征值越大，其所对应类别的可能性也越高，从而可以从两种预设类别中选取可能性较高的类别。
在具体应用中，以80*60*C的车舱特征图为例，在经过语义分割网络之后，可以得到80*60*2的二通道特征图，通过遍历80*60尺寸的特征图中的每个像素点，取出通道中分数最大的维度对应的安全带类别，即可以确定该像素点对应的类别。
在确定车舱特征图包括的各个像素点的安全带类别信息之后，可以利用安全带中心点偏移网络，确定属于安全带这一安全带类别的目标安全带像素点对应的相对偏移信息，进而确定出与每个目标安全带像素点对应的安全带中心像素点。
其中，上述安全带中心点偏移网络训练的是安全带像素点与安全点中心像素点之间的相对偏移信息，在进行网络训练之前，可以预先对一条安全带所在图像区域进行像素点标注，并对一条安全带的中心位置进行像素点标注，基于上述标注信息即可以训练出上述安全带中心点偏移网络的网络参数。
这里，基于训练得到的网络参数可以确定与每个目标安全带像素点对应的相对偏移信息，结合相对偏移信息以及目标安全带像素点的位置，即可以确定出与目标安全带像素点对应的安全带中心像素点。
在具体应用中，以80*60*2的二通道特征图为例，可以遍历80*60尺寸的特征图中的每个像素点，在经过安全带中心点偏移网络的操作之后，可以得到80*60*2的二通道偏移特征图，两个通道分别表征的是在两个方向上的相对偏移信息，从而确定出最终的相对偏移信息。
本公开实施例中，不同目标安全带像素点所对应的安全带中心像素点可以相同也可以不同，通过将对应同一安全带中心像素点的多个目标安全带像素点进行聚类，可以得到各条安全带对应的安全带检测框信息。
这里的安全带检测框信息主要包括的是安全带检测框的中心点位置信息(对应安全带中心像素点)，除此之外，还可以包括安全带检测框的尺寸信息，该尺寸信息可以由针对安全带中心像素点所聚类得到的多个目标安全带像素点所在图像区域来确定。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与安全带佩戴检测的方法对应的安全带佩戴检测的装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述安全带佩戴检测的方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
实施例二
参照图3所示，为本公开实施例提供的一种安全带佩戴检测的装置的示意图，装置包括：获取模块301、检测模块302、匹配模块303和警示模块304；其中，
获取模块301，用于获取车舱环境图像；
检测模块302，用于对车舱环境图像进行检测，得到车舱内至少一个人体的人体检测信息，以及对车舱环境图像进行安全带检测，得到车舱内至少一条安全带的安全带检测信息；
匹配模块303，用于将至少一个人体的人体检测信息与至少一条安全带的安全带检测信息进行匹配，确定安全带佩戴检测结果；
警示模块304，用于在任一人体未佩戴安全带的情况下，发出警示信息。
采用上述安全带佩戴检测的装置，首先可以基于获取的车舱环境图像生成车舱特征图，并对车舱特征图分别进行人体检测和安全带检测，得到人体检测信息和安全带检测信息，考虑到人体在实际佩戴安全带的状态下，人体和安全带存在一定的位置对应关系，通过将上述人体检测信息和安全带检测信息进行匹配，可以检测出人体是否佩戴安全带，实现了对安全带佩戴行为的有效检测。
在一种可能的实施方式中，匹配模块303，用于按照以下步骤将至少一个人体的人体检测信息与至少一条安全带的安全带检测信息进行匹配：
确定至少一条安全带对应的安全带检测框的中心点位置与人体检测框的中心点位置之间的相对偏移信息；
基于确定的相对偏移信息，从至少一个人体对应的人体检测框的中心点中查找是否存在与每条安全带对应的安全带检测框的中心点关联的人体检测框的中心点。
在一种可能的实施方式中，匹配模块303，用于按照以下步骤确定安全带佩戴检测结果：
若针对任一人体不存在与该人体对应的人体检测框的中心点关联的安全带检测框的中心点，则确定该人体未佩戴有安全带。
在一种可能的实施方式中，匹配模块303，用于按照以下步骤确定安全带佩戴检测结果：
若针对任一人体存在与该人体对应的人体检测框的中心点关联的安全带检测框的中心点，则确定该人体佩戴有安全带。
在一种可能的实施方式中，人体检测信息包括人体检测框信息；检测模块302，用于按照以下步骤对车舱环境图像进行人体检测，得到车舱内至少一个人体的人体检测信息：
基于车舱环境图像，生成车舱特征图；
对车舱特征图进行人体检测，得到车舱内至少一个人体分别对应的多通道特征图，多通道特征图包括人体中心点特征图、人体长度特征图、以及人体宽度特征图；
基于多通道特征图，确定至少一个人体对应的人体检测框信息；人体检测框信息包括人体检测框的中心点位置信息和人体检测框的尺寸信息。
在一种可能的实施方式中，检测模块302，用于按照以下步骤基于多通道特征图，确定至少一个人体对应的人体检测框信息：
针对多通道特征图包括的人体中心点特征图，按照预设池化尺寸和预设池化步长从人体中心点特征图中依次截取待池化处理的人体中心点特征子图；
针对依次截取到的每个人体中心点特征子图，对该人体中心点特征子图进行最大池化处理，确定该人体中心点特征子图对应的各个人体中心点特征值中的最大人体中心点特征值，以及该最大人体中心点特征值在人体中心点特征图中的坐标位置信息；
基于多个人体中心点特征子图分别对应的最大人体中心点特征值以及该最大人体中心点特征值在人体中心点特征图中的坐标位置信息，确定至少一个人体对应的人体检测框的中心点位置信息；
基于每个人体检测框的中心点位置信息，从多通道特征图包括的人体长度特征图以及人体宽度特征图中分别确定与该人体检测框匹配的人体长度信息和人体宽度信息，将匹配的人体长度信息和人体宽度信息，作为人体检测框的尺寸信息。
在一种可能的实施方式中，检测模块302，用于按照以下步骤按照预设池化尺寸和预设池化步长从人体中心点特征图中依次截取待池化处理的人体中心点特征子图：
利用激活函数对表征人体中心点位置的人体中心点特征图进行归一化处理，得到归一化处理后的人体中心点特征图；
按照预设池化尺寸和预设池化步长从归一化处理后的人体中心点特征图中依次截取待池化处理的人体中心点特征子图。
在一种可能的实施方式中，检测模块302，用于按照以下步骤确定至少一个人体对应的人体检测框的中心点位置信息：
针对多个人体中心点特征子图中的每个人体中心点特征子图，判断该人体中心点特征子图对应的最大人体中心点特征值是否大于预设阈值；若是，则将该最大人体中心点特征值所指示的人体中心点确定为目标人体中心点；
基于每个目标人体中心点在人体中心点特征图中对应的坐标位置信息，确定至少一个人体对应的人体检测框的中心点位置信息。
在一种可能的实施方式中，安全带检测信息包括安全带检测框信息；检测模块302，用于按照以下步骤对车舱环境图像进行安全带检测，得到车舱内至少一条安全带的安全带检测信息：
基于车舱环境图像，生成车舱特征图；
确定车舱特征图包括的多个像素点中每个像素点所属的安全带类别信息，安全带类别信息包括属于安全带和不属于安全带；并将对应的安全带类别信息为属于安全带的像素点确定为目标安全带像素点；
确定每个目标安全带像素点与安全带中心像素点的相对偏移信息；基于确定的相对偏移信息，确定与每个目标安全带像素点对应的安全带中心像素点；
基于确定的安全带中心像素点，将对应同一安全带中心像素点的多个目标安全带像素点进行聚类，得到车舱内至少一条安全带对应的安全带检测框信息；安全带检测框信息包括安全带检测框的中心点位置信息。
在一种可能的实施方式中，检测模块302，用于按照以下步骤确定车舱特征图包括的多个像素点中每个像素点所属的安全带类别信息：
对车舱特征图进行安全带检测，得到二通道特征图，二通道特征图包括背景特征图和安全带特征图；
针对车舱特征图包括的多个像素点中的每个像素点，基于背景特征图和安全带特征图中，与该像素点分别对应的特征值中的较大特征值所指示的安全带类别信息，确定为该像素点所属的安全带类别信息。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
实施例三
本公开实施例还提供了一种电子设备，如图4所示，为本公开实施例提供的电子设备结构示意图，包括：处理器401、存储器402、和总线403。存储器402存储有处理器401可执行的机器可读指令(比如，图3中的全带佩戴检测的装置中获取模块301、检测模块302、匹配模块303以及警示模块304对应的执行指令等)，当电子设备运行时，处理器401与存储器402之间通过总线403通信，机器可读指令被处理器401执行时执行如下处理：
获取车舱环境图像；
对车舱环境图像进行人体检测，得到车舱内至少一个人体的人体检测信息，以及对车舱环境图像进行安全带检测，得到车舱内至少一条安全带的安全带检测信息；
将至少一个人体的人体检测信息与至少一条安全带的安全带检测信息进行匹配，确定安全带佩戴检测结果；
在任一人体未佩戴安全带的情况下，发出警示信息。
上述指令的具体执行过程可以参考本公开实施例中的安全带佩戴检测的方法的步骤，此处不再赘述。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的安全带佩戴检测的方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的安全带佩戴检测的方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的安全带佩戴检测的方法的步骤，具体可参见上述方法实施例，在此不再赘述。
本公开实施例还提供一种计算机程序，该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software DevelopmentKit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (13)

1.一种安全带佩戴检测的方法，其特征在于，所述方法包括：
获取车舱环境图像；
对所述车舱环境图像进行检测，得到车舱内至少一个人体的人体检测信息，以及对所述车舱环境图像进行安全带检测，得到车舱内至少一条安全带的安全带检测信息；
将所述至少一个人体的人体检测信息与所述至少一条安全带的安全带检测信息进行匹配，确定安全带佩戴检测结果；
在任一人体未佩戴安全带的情况下，发出警示信息。
2.根据权利要求1所述的方法，其特征在于，所述将所述至少一个人体的人体检测信息与所述至少一条安全带的安全带检测信息进行匹配，包括：
确定所述至少一条安全带对应的安全带检测框的中心点位置与人体检测框的中心点位置之间的相对偏移信息；
基于确定的所述相对偏移信息，从所述至少一个人体对应的人体检测框的中心点中查找是否存在与每条安全带对应的安全带检测框的中心点关联的人体检测框的中心点。
3.根据权利要求2所述的方法，其特征在于，确定安全带佩戴检测结果，包括：
若针对任一人体不存在与该人体对应的人体检测框的中心点关联的安全带检测框的中心点，则确定该人体未佩戴有安全带。
4.根据权利要求2所述的方法，其特征在于，确定安全带佩戴检测结果，包括：
若针对任一人体存在与该人体对应的人体检测框的中心点关联的安全带检测框的中心点，则确定该人体佩戴有安全带。
5.根据权利要求1-4任一所述的方法，其特征在于，所述人体检测信息包括人体检测框信息；所述对所述车舱环境图像进行检测，得到车舱内至少一个人体的人体检测信息，包括：
基于所述车舱环境图像，生成车舱特征图；
对所述车舱特征图进行人体检测，得到车舱内至少一个人体分别对应的多通道特征图，所述多通道特征图包括人体中心点特征图、人体长度特征图、以及人体宽度特征图；
基于所述多通道特征图，确定所述至少一个人体对应的人体检测框信息；所述人体检测框信息包括人体检测框的中心点位置信息和人体检测框的尺寸信息。
6.根据权利要求5所述的方法，其特征在于，所述基于所述多通道特征图，确定所述至少一个人体对应的人体检测框信息，包括：
针对所述多通道特征图包括的人体中心点特征图，按照预设池化尺寸和预设池化步长从所述人体中心点特征图中依次截取待池化处理的人体中心点特征子图；
针对依次截取到的每个人体中心点特征子图，对该人体中心点特征子图进行最大池化处理，确定该人体中心点特征子图对应的各个人体中心点特征值中的最大人体中心点特征值，以及该最大人体中心点特征值在所述人体中心点特征图中的坐标位置信息；
基于多个所述人体中心点特征子图分别对应的最大人体中心点特征值以及该最大人体中心点特征值在所述人体中心点特征图中的坐标位置信息，确定至少一个人体对应的人体检测框的中心点位置信息；
基于每个所述人体检测框的中心点位置信息，从所述多通道特征图包括的人体长度特征图以及人体宽度特征图中分别确定与该人体检测框匹配的人体长度信息和人体宽度信息，将匹配的所述人体长度信息和人体宽度信息，作为所述人体检测框的所述尺寸信息。
7.根据权利要求6所述的方法，其特征在于，所述按照预设池化尺寸和预设池化步长从所述人体中心点特征图中依次截取待池化处理的人体中心点特征子图，包括：
利用激活函数对表征人体中心点位置的人体中心点特征图进行归一化处理，得到归一化处理后的人体中心点特征图；
按照预设池化尺寸和预设池化步长从所述归一化处理后的人体中心点特征图中依次截取待池化处理的人体中心点特征子图。
8.根据权利要求6或7所述的方法，其特征在于，所述基于多个所述人体中心点特征子图分别对应的最大人体中心点特征值以及该最大人体中心点特征值在所述人体中心点特征图中的坐标位置信息，确定至少一个人体对应的人体检测框的中心点位置信息，包括：
针对多个所述人体中心点特征子图中的每个所述人体中心点特征子图，判断该人体中心点特征子图对应的最大人体中心点特征值是否大于预设阈值；若是，则将该最大人体中心点特征值所指示的人体中心点确定为目标人体中心点；
基于每个所述目标人体中心点在所述人体中心点特征图中对应的坐标位置信息，确定至少一个人体对应的人体检测框的中心点位置信息。
9.根据权利要求1-8任一所述的方法，其特征在于，所述安全带检测信息包括安全带检测框信息；所述对所述车舱环境图像进行安全带检测，得到车舱内至少一条安全带的安全带检测信息，包括：
基于所述车舱环境图像，生成车舱特征图；
确定所述车舱特征图包括的多个像素点中每个所述像素点所属的安全带类别信息，所述安全带类别信息包括属于安全带和不属于安全带；并将对应的安全带类别信息为属于安全带的像素点确定为目标安全带像素点；
确定每个所述目标安全带像素点与安全带中心像素点的相对偏移信息；基于确定的所述相对偏移信息，确定与每个所述目标安全带像素点对应的安全带中心像素点；
基于确定的安全带中心像素点，将对应同一安全带中心像素点的多个目标安全带像素点进行聚类，得到车舱内至少一条安全带对应的安全带检测框信息；所述安全带检测框信息包括安全带检测框的中心点位置信息。
10.根据权利要求9所述的方法，其特征在于，确定所述车舱特征图包括的多个像素点中每个所述像素点所属的安全带类别信息，包括：
对所述车舱特征图进行安全带检测，得到二通道特征图，所述二通道特征图包括背景特征图和安全带特征图；
针对所述车舱特征图包括的多个像素点中的每个像素点，基于所述背景特征图和所述安全带特征图中，与该像素点分别对应的特征值中的较大特征值所指示的安全带类别信息，确定为该像素点所属的安全带类别信息。
11.一种安全带佩戴检测的装置，其特征在于，所述装置包括：
获取模块，用于获取车舱环境图像；
检测模块，用于对所述车舱环境图像进行检测，得到车舱内至少一个人体的人体检测信息，以及对所述车舱环境图像进行安全带检测，得到车舱内至少一条安全带的安全带检测信息；
匹配模块，用于将所述至少一个人体的人体检测信息与所述至少一条安全带的安全带检测信息进行匹配，确定安全带佩戴检测结果；
警示模块，用于在任一人体未佩戴安全带的情况下，发出警示信息。
12.一种电子设备，其特征在于，包括：处理器、存储器、和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，处理器与存储器之间通过总线通信，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述处理器执行如权利要求1至10任一项所述的安全带佩戴检测的方法的步骤。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被电子设备运行时，所述电子设备执行如权利要求1至10任一项所述的安全带佩戴检测的方法的步骤。
CN202010791309.2A 2020-08-07 2020-08-07 一种安全带佩戴检测的方法、装置、电子设备及存储介质 Pending CN111931642A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010791309.2A CN111931642A (zh) 2020-08-07 2020-08-07 一种安全带佩戴检测的方法、装置、电子设备及存储介质
KR1020217042831A KR20220019105A (ko) 2020-08-07 2020-12-10 안전벨트 착용 검출 방법, 장치, 전자 기기, 저장 매체 및 프로그램
JP2021578003A JP7288097B2 (ja) 2020-08-07 2020-12-10 シートベルト装着検知方法、装置、電子デバイス、記憶媒体並びにプログラム
PCT/CN2020/135494 WO2022027893A1 (zh) 2020-08-07 2020-12-10 安全带佩戴检测方法、装置、电子设备、存储介质及程序
US17/585,810 US20220144206A1 (en) 2020-08-07 2022-01-27 Seat belt wearing detection method and apparatus, electronic device, storage medium, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010791309.2A CN111931642A (zh) 2020-08-07 2020-08-07 一种安全带佩戴检测的方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN111931642A true CN111931642A (zh) 2020-11-13

Family

ID=73307124

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010791309.2A Pending CN111931642A (zh) 2020-08-07 2020-08-07 一种安全带佩戴检测的方法、装置、电子设备及存储介质

Country Status (5)

Country Link
US (1) US20220144206A1 (zh)
JP (1) JP7288097B2 (zh)
KR (1) KR20220019105A (zh)
CN (1) CN111931642A (zh)
WO (1) WO2022027893A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022027893A1 (zh) * 2020-08-07 2022-02-10 上海商汤临港智能科技有限公司 安全带佩戴检测方法、装置、电子设备、存储介质及程序

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220095819A (ko) * 2020-12-30 2022-07-07 현대자동차주식회사 라이다 센서를 이용한 객체 추적 방법 및 장치, 및 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체
CN117221983A (zh) * 2022-06-02 2023-12-12 中兴通讯股份有限公司 座舱单元控制方法、系统及计算机存储介质
US20240029452A1 (en) * 2022-07-19 2024-01-25 Hyundai Mobis Co., Ltd. Seat belt wearing determination apparatus
CN117671592B (zh) * 2023-12-08 2024-09-06 中化现代农业有限公司 危险行为检测方法、装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105373779A (zh) * 2015-11-10 2016-03-02 北京汉王智通科技有限公司 一种车辆安全带智能检测方法及智能检测系统
KR101957759B1 (ko) * 2018-10-12 2019-03-14 렉스젠(주) 안전 벨트 검출 시스템 및 그 방법
CN109753903A (zh) * 2019-02-27 2019-05-14 北航（四川）西部国际创新港科技有限公司 一种基于深度学习的无人机检测方法
CN110046557A (zh) * 2019-03-27 2019-07-23 北京好运达智创科技有限公司 基于深度神经网络判别的安全帽、安全带检测方法
CN111476224A (zh) * 2020-06-28 2020-07-31 杭州鸿泉物联网技术股份有限公司 安全带检测方法、装置、电子设备及系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010113506A (ja) * 2008-11-06 2010-05-20 Aisin Aw Co Ltd 乗員位置検出装置、乗員位置検出方法及び乗員位置検出プログラム
JP5136473B2 (ja) * 2009-03-12 2013-02-06 株式会社デンソー 乗員姿勢推定装置
US9020482B2 (en) * 2013-03-06 2015-04-28 Qualcomm Incorporated Preventing driver distraction
KR101655858B1 (ko) * 2015-02-03 2016-09-08 (주) 미래테크원 안전벨트 미착용 단속 시스템 및 그의 운용 방법
JP2016199208A (ja) * 2015-04-14 2016-12-01 株式会社東海理化電機製作所 シートベルト警告装置
CN106709443B (zh) * 2016-12-19 2020-06-02 同观科技（深圳）有限公司 一种安全带佩戴状态的检测方法及终端
CN107529659B (zh) * 2017-07-14 2018-12-11 深圳云天励飞技术有限公司 安全带佩戴检测方法、装置及电子设备
CN109086662B (zh) * 2018-06-19 2021-06-15 浙江大华技术股份有限公司 一种异常行为检测方法及装置
CN109886205B (zh) * 2019-02-25 2023-08-08 苏州清研微视电子科技有限公司 安全带实时监测方法和系统
JP7172898B2 (ja) * 2019-07-24 2022-11-16 トヨタ自動車株式会社 制御装置、車両、制御方法、及び制御プログラム
CN111178272B (zh) * 2019-12-30 2023-04-18 东软集团（北京）有限公司 一种识别驾驶员行为的方法、装置及设备
CN113269005B (zh) * 2020-02-14 2024-06-11 深圳云天励飞技术有限公司 一种安全带检测方法、装置及电子设备
CN111950348A (zh) * 2020-06-29 2020-11-17 北京百度网讯科技有限公司 安全带的佩戴状态识别方法、装置、电子设备和存储介质
CN111931642A (zh) * 2020-08-07 2020-11-13 上海商汤临港智能科技有限公司 一种安全带佩戴检测的方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105373779A (zh) * 2015-11-10 2016-03-02 北京汉王智通科技有限公司 一种车辆安全带智能检测方法及智能检测系统
KR101957759B1 (ko) * 2018-10-12 2019-03-14 렉스젠(주) 안전 벨트 검출 시스템 및 그 방법
CN109753903A (zh) * 2019-02-27 2019-05-14 北航（四川）西部国际创新港科技有限公司 一种基于深度学习的无人机检测方法
CN110046557A (zh) * 2019-03-27 2019-07-23 北京好运达智创科技有限公司 基于深度神经网络判别的安全帽、安全带检测方法
CN111476224A (zh) * 2020-06-28 2020-07-31 杭州鸿泉物联网技术股份有限公司 安全带检测方法、装置、电子设备及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
钟铭恩 等: "基于红外标记视觉的安全带佩戴规范性检测", 《汽车工程》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022027893A1 (zh) * 2020-08-07 2022-02-10 上海商汤临港智能科技有限公司 安全带佩戴检测方法、装置、电子设备、存储介质及程序

Also Published As

Publication number Publication date
US20220144206A1 (en) 2022-05-12
KR20220019105A (ko) 2022-02-15
JP7288097B2 (ja) 2023-06-06
WO2022027893A1 (zh) 2022-02-10
JP2022548460A (ja) 2022-11-21

Similar Documents

Publication Publication Date Title
CN111931642A (zh) 一种安全带佩戴检测的方法、装置、电子设备及存储介质
CN109389863B (zh) 提示方法及相关设备
Seshadri et al. Driver cell phone usage detection on strategic highway research program (SHRP2) face view videos
Van Ly et al. Driver classification and driving style recognition using inertial sensors
CN109584507B (zh) 驾驶行为监测方法、装置、系统、交通工具和存储介质
CN107545225B (zh) 一种检测车载驾驶员违规行为的方法、装置及电子设备
CN106952303B (zh) 车距检测方法、装置和系统
CN111540090A (zh) 控制车门解锁的方法、装置、车辆、电子设备及存储介质
US20070230792A1 (en) Pedestrian Detection
CN110866427A (zh) 一种车辆行为检测方法及装置
CN111931639B (zh) 驾驶员行为检测方法、装置、电子设备及存储介质
JP2017505477A (ja) ドライバ行動監視システムおよびドライバ行動監視のための方法
CN111178272B (zh) 一种识别驾驶员行为的方法、装置及设备
Dozza et al. Recognising safety critical events: Can automatic video processing improve naturalistic data analyses?
CN110751012B (zh) 目标检测评估方法、装置、电子设备及存储介质
CN111985429A (zh) 一种头盔佩戴检测的方法、装置、电子设备及存储介质
CN111301280A (zh) 一种危险状态识别方法及装置
CN111652114A (zh) 一种对象检测方法、装置、电子设备及存储介质
Tang et al. Real-time lane detection and rear-end collision warning system on a mobile computing platform
CN112861683A (zh) 一种行驶朝向检测方法、装置、计算机设备及存储介质
CN113352989B (zh) 智能行车安全辅助方法、产品、设备和介质
CN109685083A (zh) 驾驶员开车违规使用手机的多尺度检测方法
CN116503820A (zh) 一种基于道路车型的检测方法及检测设备
CN111126292A (zh) 一种安全监控方法、装置及系统
US11710326B1 (en) Systems and methods for determining likelihood of traffic incident information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201113