CN110795969A - 安全带佩戴识别方法、装置及电子设备 - Google Patents

安全带佩戴识别方法、装置及电子设备 Download PDF

Info

Publication number
CN110795969A
CN110795969A CN201810871065.1A CN201810871065A CN110795969A CN 110795969 A CN110795969 A CN 110795969A CN 201810871065 A CN201810871065 A CN 201810871065A CN 110795969 A CN110795969 A CN 110795969A
Authority
CN
China
Prior art keywords
predictor
user
frame
image
joint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810871065.1A
Other languages
English (en)
Other versions
CN110795969B (zh
Inventor
罗文发
镇新
项娇
孙益民
高伟
章涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SAIC Motor Corp Ltd
Original Assignee
SAIC Motor Corp Ltd
Black Sesame Intelligent Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SAIC Motor Corp Ltd, Black Sesame Intelligent Technology Shanghai Co Ltd filed Critical SAIC Motor Corp Ltd
Priority to CN201810871065.1A priority Critical patent/CN110795969B/zh
Publication of CN110795969A publication Critical patent/CN110795969A/zh
Application granted granted Critical
Publication of CN110795969B publication Critical patent/CN110795969B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了安全带佩戴识别方法、装置及电子设备，可以摄像头录制用户上车后的一段视频，通过人体姿态识别模型得到待测视频中序列化的多帧帧图像分别对应的预测人体姿态，基于序列化的多个预测人体姿态，确定用户是否执行了系安全带的动作。进一步的，交通设备中包括多个座椅，可能坐有多个用户，人体姿态识别模型对于每一帧图像，可以识别该帧图像中哪个座椅上有人，然后得到该帧图像中坐有用户的座椅位置所在的目标区域，可以识别各目标区域分别对应的用户的人体姿态，从而确定该帧图像包含的各用户分别对应的人体姿态，从而基于序列化的多帧图像分别对应的各用户的人体姿态，确定各用户是否分别执行了系安全带的动作。

Description

安全带佩戴识别方法、装置及电子设备
技术领域
本申请涉及图像识别技术领域，更具体的说，是涉及安全带佩戴识别方法、装置及电子设备。
背景技术
安全带可以应用车辆、飞机等，安全带是用户保护用户的基本防护装置，用户在乘坐车辆或飞机时，车辆自身或飞机自身或道路上的电子监控检测用户是否已经佩戴安全带对用户的人身安全具有重要意义。
发明内容
有鉴于此，本申请提供了一种安全带佩戴识别方法、装置及电子设备。
为实现上述目的，本申请提供如下技术方案：
一种安全带佩戴识别方法，包括：
获取待测视频，所述待测视频包括序列化的多帧图像，每一帧图像包括用户；
将序列化的多帧图像依序输入至预构建的人体姿态识别模型，获得所述多帧图像分别对应的预测人体姿态；其中，所述人体姿态识别模型具有将所述待测视频中任一帧图像对应的预测人体姿态趋于该帧图像对应的准确人体姿态的能力；
基于序列化的所述多帧图像分别对应的预测人体姿态，获得表征所述用户是否执行佩戴安全带动作的第一参数。
一种安全带佩戴识别装置，包括：
第一获取模块，用于获取待测视频，所述待测视频包括序列化的多帧图像，每一帧图像包括用户；
输入模块，用于将序列化的多帧图像依序输入至预构建的人体姿态识别模型，获得所述多帧图像分别对应的预测人体姿态；其中，所述人体姿态识别模型具有将所述待测视频中任一帧图像对应的预测人体姿态趋于该帧图像对应的准确人体姿态的能力；
第二获取模块，用于基于序列化的所述多帧图像分别对应的预测人体姿态，获得表征所述用户是否执行佩戴安全带动作的第一参数。
一种电子设备，包括：
存储器，用于存储程序；
处理器，用于执行所述程序，所述程序具体用于：
获取待测视频，所述待测视频包括序列化的多帧图像，每一帧图像包括用户；
将序列化的多帧图像依序输入至预构建的人体姿态识别模型，获得所述多帧图像分别对应的预测人体姿态；其中，所述人体姿态识别模型具有将所述待测视频中任一帧图像对应的预测人体姿态趋于该帧图像对应的准确人体姿态的能力；
基于序列化的所述多帧图像分别对应的预测人体姿态，获得表征所述用户是否执行佩戴安全带动作的第一参数。
经由上述的技术方案可知，与现有技术相比，本申请公开了一种安全带佩戴识别方法，可以利用交通设备上已有的摄像头，或，新安装摄像头录制用户上车后的一段视频，通过预构建的人体姿态识别模型得到待测视频中序列化的多帧帧图像分别对应的预测人体姿态，基于序列化的多个预测人体姿态，确定用户是否执行了系安全带的动作。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的安全带佩戴识别方法的一种实现方式的流程图；
图2a至图2b为本申请实施例提供的待测视频包含的2帧图像的示意图；
图3a至图3b为本申请实施例提供的与图2a至图2b对应的预测人体姿态图；
图4为本申请实施例提供的安全带佩戴识别方法的另一种实现方式的流程图；
图5为本申请实施例提供的人体姿态识别模型包含的第一类级联预测器的一种实现方式的结构图；
图6为本申请实施例提供的第一类级联预测器中任一级预测器的一种实现方式的内部结构图；
图7本申请实施例提供的第二类级联预测器的一种实现方式的结构图；
图8为本申请实施例提供的安全带佩戴识别方法的又一种实现方式的流程图；
图9a至图9c为本申请实施例提供的提取图像中安全带的过程示意图；
图10为本申请实施例提供的人体姿态图和安全带的位置关系图；
图11为本申请实施例提供的一种安全带佩戴识别装置的一种实现方式的结构图；
图12为本申请实施例提供的一种电子设备的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供的安全带佩戴识别方法可以应用于车辆或飞机等具有座椅的交通设备。
目前的安全带佩戴检测装置包括：位于座椅上的压力传感器，位于安全带卡扣上的安全带卡扣传感器；安全带佩戴检测方法包括：当座椅上承载用户时，压力传感器检测到压力，确定座椅上已经承载用户；若用户将安全带的一端插入安全带卡扣，安全带卡扣传感器就会检测到压力，从而确定用户已经佩戴安全带。
目前，车辆仅主驾驶和副驾驶具有安全带佩戴检测装置，后排座椅不具有安全带检测装置。若要均增加安全带佩戴检测装置，就会大大增加成本。
采用本申请实施例提供的安全带佩戴识别方法，可以仅在车辆或飞机等交通设备上安装摄像头即可，若使用交通设备上的原有摄像头，则不用增加任何成本。假设每个安全带提醒装置约46元左右，单车辆按照5个计算，单车辆物料成本可以下降约230人民币，按照每月销售车辆5000台，即每年60,000台计算，可以每年节约成本1380万人民币。
请参阅附图1，为本申请实施例提供的安全带佩戴识别方法的一种实现方式的流程图，该方法包括：
步骤S101：获取待测视频，所述待测视频包括序列化的多帧图像，每一帧图像包括用户。
在一可选实施例中，当用户开启车门，或者启动车辆，或者车辆已完成上电等，唤醒摄像头，在一可选实施例中还可以打开红外灯，此时摄像头开始采集驾驶舱内的图像信息。红外灯可以使得摄像头录制的视频中用户所在位置区域的图像更加清晰。
在一可选实施例中，步骤S101包括：
获取表征用户已经上车的参数；启动摄像头录制视频，以得到待测视频。
表征用户已经上车的参数可以为表征车门开启信号，和/或，车辆启动信号，和/或，车辆上电信号。
步骤S102：将序列化的多帧图像依序输入至预构建的人体姿态识别模型，获得所述多帧图像分别对应的预测人体姿态；其中，所述人体姿态识别模型具有将所述待测视频中任一帧图像对应的预测人体姿态趋于该帧图像对应的准确人体姿态的能力。
在一可选实施例中，待测视频是实时录制，并实时输入至人体姿态识别模型的；或，待测视频是录制完毕后，在输入至人体姿态识别模型。
假设待测视频包含的序列化多帧图像包括如图2a至图2b所示的2帧图像。则人体姿态识别模型可以输出图3a至图3b所示的2个预测人体姿态图，其中，图2a所示的图像对应图3a所示的预测人体姿态，图2b所示的图像对应图3b所示的预测人体姿态。
预测人体姿态由人体的各关节组成，在一可选实施例中，预测人体姿态可以包括多个关节，例如12个关节，分别为：头关节1、颈关节2、右肩关节3、左肩关节4、右手肘关节5、左手肘关节6、左手腕关节7、右手腕关节8、左胯关节9、右胯关节10、左膝盖关节11、右膝盖关节12；在一可选实施例中还可以包括：左脚踝关节、右脚踝关节。
图3a至图3b中未示出左脚踝关节、右脚踝关节。在一可选实施例中，预测人体姿态也可以不包括左膝盖关节11、右膝盖关节12。
图2a至图2b对应中国汽车安全带的应用场景。由于汽车安全带与座椅的位置是相对固定的，因此，用户坐在座椅上，系安全带的动作相同，例如，用户首先拿取并拽安全带(如图2a所示)，用户将安全带插入安全带卡扣(如图2b所示)，此时安全带佩戴完毕。
步骤S103：基于序列化的所述多帧图像分别对应的预测人体姿态，获得表征所述用户是否执行佩戴安全带动作的第一参数。
由于待测视频包含的序列化的多帧图像，因此，得到的多帧图像分别对应的预测人体姿态也是序列化的，可以结合序列化的多个预测人体姿态，得到用户是否执行佩戴安全带动作的第一参数。
在一可选实施例中，可以基于序列化的多个预测人体姿态，得到用户的左手腕关节7和/或右手腕关节8是否从颈关节2和右肩关节3之间移动至左跨关节9附近的位置，或，用户的左手腕关节7和/或右手腕关节8是否从颈关节2和左肩关节4之间移动至右跨关节10附近的位置。
本申请实施例提供的安全带佩戴识别方法，可以利用交通设备上已有的摄像头，或，新安装摄像头录制用户上车后的一段视频，通过预构建的人体姿态识别模型得到待测视频中序列化的多帧帧图像分别对应的预测人体姿态，基于序列化的多个预测人体姿态，确定用户是否执行了系安全带的动作。
如图4所示，为本申请实施例提供的安全带佩戴识别方法的另一种实现方式的流程图，该方法包括：
步骤S401：获取待测视频，所述待测视频包括序列化的多帧图像，每一帧图像包括用户。
步骤S402：将序列化的多帧图像依序输入至预构建的人体姿态识别模型。
其中，所述人体姿态识别模型具有将所述待测视频中任一帧图像对应的预测人体姿态趋于该帧图像对应的准确人体姿态的能力。
步骤S403：人体姿态识别模型获取所述多帧图像分别对应的所述用户包含的各关节的目标位置。
步骤S403的实现方式有多种，本申请实施例提供但不限于以下几种。
第一种，人体姿态识别模型可以包括第一类级联预测器。其中，第一类级联预测器的结构如图5所示。
其中，F表示依序输入的多帧图像。各级预测器用Jk表示，其中k表示层数，k为大于或等于1的正整数，假设第一类级联预测器总共包括N级预测器。N为大于或等于1的正整数。
图5所示的第一类级联预测器包括至少一级预测器；各级预测器用Jk表示，其中k表示层数，k为大于或等于1的正整数，第一级预测器J1的输入为序列化的多帧图像；第二级预测器J2的输入为序列化的多帧图像以及第一级预测器J1的输出结果；第三级预测器J3的输入为序列化的多帧图像以及第二级预测器J2的输出结果，依次类推。
最后一级预测器的输出结果为用户包含的各关节分别位于相应目标位置。
如图6所示，为本发申请实施例提供的第一类级联预测器包含的任一级预测器的内部结构一种实现方式的内部结构图。
该级预测器可以包括：卷积层、池化层、全连接层。
卷积层设置有多个卷积核，多个卷积核分别与输入的图像进行卷积，从图像中获得图像特征。
在卷积层后加入池化层，是因为池化层可以减小计算的数据量，从而提高计算速度。池化层也可以称为下采样层。池化层包括多个池化核。
全连接层(fully connected layers，FC)在整个人体姿态识别模型中起到“分类器”的作用。
在一可选实施例中，每级预测器可以包括多层卷积层，多层卷积的目的是一卷积层学到的图像特征往往是局部的，卷积层的层数越高，学到的图像特征就越全局化。即可以通过多个卷积层获得全局化的图像特征。每级预测器至少包括一组卷积层和池化层。
以序列化的多帧图像中任一帧图像为例对第一类级联预测器进行说明。
第一步：第一级预测器J1通过所述第一级预测器获取该帧图像中所述用户包含的各关节分别位于相应位置的概率，以得到输出结果。
第二步：第二级预测器J2基于第一级预测器J1的输出结果以及该帧图像，获取该帧图像中所述用户包含的各关节分别位于相应位置的概率，以得到输出结果。
在一可选实施例中，假设，第一级预测器J1基于该帧图像，得到该帧图像中用户包含的各关节分别位于相应位置的概率1；第二级预测器J2基于该帧图像，获得该帧图像中用户包含的各关节分别位于相应位置的概率2；第二级预测器J2可以将第一级预测器J1的输出结果，与自身计算的结果进行比较，得到该帧图像中所述用户包含的各关节分别位于相应位置的概率3，以得到输出结果。
例如，第一级预测器J1得到的用户的头关节1位于位置(a1，b1)的概率为60％；颈关节2位于位置(a2，b2)的概率为50％；第二级预测器J2得到的用户的头关节1位于位置(a1，b1)的概率为70％；颈关节2位于位置(a3，b3)的概率为40％。
第二级预测器J2会比较第一级预测器J1得到的头关节1位于位置(a1，b1)的概率为60％，与第二级预测器J2得到的头关节1位于位置(a1，b1)的概率为70％，可以得到输出结果，例如，头关节1位于位置(a1，b1)的概率为65％，或，头关节1位于位置(a1，b1)的概率为70％；第二预测器会比较第一级预测器J1得到的颈关节2位于位置(a2，b2)的概率为50％，与，第二预测器J2得到的颈关节2位于位置(a3，b3)的概率为40％，可以得到输出结果，例如，颈关节2位于位置(a2，b2)的概率为45％。
综上，通过多个预测器级联，得到的各关节所在的位置更加准确。
上述，(a1，b1)，(a2，b2)，(a3，b3)表征图像中像素的位置。
第三步：第三级预测器J3基于第二级预测器J2的输出结果以及该帧图像，获取该图像中用户包含的各关节分别位于相应位置的概率，以得到输出结果。
在一可选实施例中，第三级预测器J3基于该帧图像，获得该帧图像中用户包含的各关节分别位于相应位置的概率4；第三级预测器J3可以将第二级预测器J2的输出结果，与自身计算的结果进行比较，得到该帧图像中所述用户包含的各关节分别位于相应位置的概率5，以得到输出结果。
依次类推。
第四步：最后一级预测器JN基于第N-1级预测器JN-1的输出结果以及该帧图像，获取该图像中所述用户包含的各关节分别位于相应目标位置。
在一可选实施例中，第四步最后一级预测器JN的输出的该帧图像中所述用户包含的各关节分别位于相应目标位置的概率大于或等于第一概率值。
第一概率值可以基于实际情况而定，例如，第一概率值可以为70％。
综上，由于每一级预测器均以上一级预测器的输出结果最为参考(即具有记忆功能)，减小了因随预测器层级增加记忆衰退的情况，使得每一级预测器可以得出相对于上一级预测器的输出结果更加准确的结果。第一类级联预测器的总层数N越大，获得的该帧图像中所述用户包含的各关节分别位于相应位置的概率越大，即越准确。
可以理解的是，交通设备上可能有多个座椅，交通设备上可能承载有多个用户，一般情况下一个座椅承载一个用户；在一可选实施例中，第一类级联预测器中每一级预测器获取该帧图像中所述用户包含的各关节分别位于相应位置的概率的过程可以包括：
基于预先设置的多个座椅位置区域，确定多个用户分别位于该帧图像中的目标区域；
对于每一用户，获得该用户位于该帧图像的目标区域包含的各关节位于相应位置的概率，以得到各用户分别包含的各关节分别位于相应位置的概率。
例如，具有5个座椅的小轿车，针对每一帧图像，任一预测器可以检测出哪个座椅位置区域上承载有用户，然后得到承载有用户的座椅位置区域即目标区域，然后对于每一用户，获得该用户位于该帧图像的目标区域包含的各关节位于相应位置的概率。
在一可选实施例中，还可以预先对交通设备包含的多个座椅设置标号，不同的标号对应的座椅位置区域不同；在对图像进行目标区域划分时，可以基于座椅标号进行划分，从而减小了计算量，提高了响应速度。
第二种，人体姿态识别模型包括第二类级联预测器。如图7所示，本申请实施例提供的第二类级联预测器的一种实现方式的结构图。
其中，F表示依序输入的各帧图像。第二类级联预测器包含的每一级预测器包括关节位置预测器(用Bk表示)以及方向预测器(用Ak表示)，其中k表示层数，k为大于或等于1的正整数，假设第二类级联预测器包括M级预测器。
从图7中可以看出，第二类级联预测器中第一级预测器包含的关节位置预测器B1的输入为依序输入的多帧图像F，第一级预测器包含的方向预测器A1的输入包括依序输入的多帧图像F以及与第一级预测器包含的关节位置预测器B1的输出结果；
第二类级联预测器的第二级预测器包含的关节位置预测器B2的输入为依序输入的多帧图像F、方向预测器A1的输出结果、关节位置预测器B1的输出结果；第二级预测器包含的方向预测器A2输入包括依序输入的多帧图像F、方向预测器A1的输出结果、关节位置预测器B1的输出结果以及关节位置预测器B2的输出结果；
第二类级联预测器的第三级预测器包含的关节位置预测器B3的输入为依序输入的多帧图像F、方向预测器A2的输出结果、关节位置预测器B2的输出结果；第三级预测器包含的方向预测器A3输入包括依序输入的多帧图像F、方向预测器A2的输出结果、关节位置预测器B2的输出结果以及关节位置预测器B3的输出结果。
依次类推。
第二类级联预测器的第M级预测器包含的关节位置预测器BM的输入为依序输入的多帧图像F、方向预测器AM-1的输出结果、关节位置预测器BM-1的输出结果；第M级预测器包含的方向预测器AM输入包括依序输入的多帧图像F、方向预测器AM-1的输出结果、关节位置预测器BM-1的输出结果以及关节位置预测器BM的输出结果。
第二类级联预测器的最后一级预测器包含的方向预测器的输出结果为序列化的多帧图像中每一帧图像包含的多个用户分别包含的各关节的目标位置。
第二类级联预测器包含的任一级预测器包含的关节位置预测器或方向预测器的内部结构可以如图6所示，这里不再赘述。
以序列化的多帧图像中任一帧图像为例对第二类级联预测器进行说明。
第一步：关节位置预测器B1获取该帧图像中用户包含的各关节分别位于相应位置的概率，以得到输出结果。方向预测器A1基于关节位置预测器B1的输出结果以及该帧图像，获取表征该帧图像中任意至少两个相邻位置分别表征的关节属于同一用户的第二概率，以得到该帧图像中各用户分别包含的各关节位于相应位置的概率的输出结果。
可以理解的，一帧图像中可能有多个用户，图像中会呈现多个相同的关节，如果图像中有Nj1个j1，Nj2个j2，j1和j2表征不同的关节对应的位置，则对于j1和j2之间连接置信度，上式有Nj1*Nj2种关节组合。为得到属于每个用户包含的各关节，使用下列公式：
其中，m的取值范围为[1，Nj1]，n的取值范围为[1，Nj2]，
Figure BDA0001752159680000102
表示所有j1和j2的可能的关节组合，Ec为Nj1*Nj2种关节组合分别对应的置信度中最大置信度，Nj1*Nj2种关节组合中最大置信度对应的关节组合为Zc，其中，Emn表示第m个j1和第n个j2的关节组合对应的置信度。
其中，选择所有组合中使得连接置信度最大的关节组合，就得到所有用户的j1和j2的连接情况。
再使用下列公式，得到每个用户的所有关节连接情况：
Figure BDA0001752159680000103
第二步：关节位置预测器B2基于该帧图像、方向预测器A1的输出结果、关节位置预测器B1的输出结果，获取该帧图像中所述用户包含的各关节分别位于相应位置的概率；方向预测器A2基于该帧图像、方向预测器A1的输出结果、关节位置预测器B1的输出结果、关节位置预测器B2的输出结果，获取表征该帧图像中任意至少两个相邻位置分别表征的关节属于同一用户的第二概率，以得到该帧图像中各用户分别包含的各关节位于相应位置的概率的输出结果。
依次类推。
在一可选实施例中，关节位置预测器B2基于该帧图像，获得该帧图像中用户包含的各关节分别位于相应位置的概率6；关节位置预测器B2将该帧图像中用户包含的各关节分别位于相应位置的概率6，与关节位置预测器B1的输出结果和方向预测器A1的输出结果进行比较，得到该帧图像中所述用户包含的各关节分别位于相应位置的概率7。
假设，关节位置预测器B1的输出结果包括：用户的头关节1位于位置(a1，b1)的概率为60％；颈关节2位于位置(a2，b2)的概率为50％。方向预测器A1的输出结果包括：位置(a1，b1)与位置(a2，b2)属于同一用户的概率为60％。
关节位置预测器B2基于该帧图像，得到的用户的头关节1位于位置(a1，b1)的概率为70％；颈关节2位于位置(a2，b2)的概率为40％。
关节位置预测器B2会比较关节位置预测器B1得到的头关节1位于位置(a1，b1)的概率为60％，自身得到的头关节1位于位置(a1，b1)的概率为70％，以及方向预测器A1的输出结果，可以得到最终的输出结果。可选的，方向预测器A1得到的头关节1和颈关节2属于同一用户的概率，关节位置预测器B1得到的头关节1位于位置(a1，b1)的概率为60％，关节位置预测器B2得到的头关节1位于位置(a1，b1)的概率为70％，都会影响关节位置预测器B2得到的最终的头关节1位于位置(a1，b1)的概率。
关节位置预测器B2会比较关节位置预测器B1得到的颈关节2位于位置(a2，b2)的概率为50％，关节位置预测器B2得到的颈关节2位于位置(a2，b2)的概率为40％，以及位置(a1，b1)与位置(a2，b2)属于同一用户的概率为60％，可以得到最终的输出结果。可选的，方向预测器A1得到的头关节1和颈关节2属于同一用户的概率，关节位置预测器B1得到的颈关节2位于位置(a2，b2)的概率为50％，关节位置预测器B2得到的颈关节2位于位置(a2，b2)的概率为40％，都会影响关节位置预测器B2得到的最终的颈关节2位于位置(a2，b2)的概率。
例如，由于方向预测器A1的输出结果，位置(a1，b1)与位置(a2，b2)属于同一用户的概率为60％，表征这两个位置属于同一用户的可能性较大，因此，关节位置预测器B2，得到的输出结果中头关节1位于位置(a1，b1)的概率提高，例如为75％，以及颈关节2位于位置(a2，b2)的概率提高，例如为55％。
方向预测器A2，将自身基于该帧图像得到表征该帧图像中任意至少两个相邻位置分别表征的关节属于同一用户的第二概率，方向预测器A1的输出结果，以及关节位置预测器B2的输出结果进行比较，得到最终的输出结果。例如，方向预测器A2将自身得到的位置(a1，b1)与位置(a2，b2)属于同一用户的概率为70％，与方向预测器A1的输出结果，以及关节位置预测器B2的输出结果进行比较，得到最终的输出结果，例如，位置(a1，b1)与位置(a2，b2)属于同一用户的概率为65％。
第三步：关节位置预测器BM基于该帧图像、方向预测器AM-1的输出结果、关节位置预测器BM-1的输出结果，获取该帧图像中所述用户包含的各关节分别位于相应位置的概率；方向预测器AM基于该帧图像、方向预测器AM-1的输出结果、关节位置预测器BM-1的输出结果、关节位置预测器BM的输出结果，获取表征该帧图像中任意至少两个相邻位置分别表征的关节属于同一用户的第二概率，以得到该帧图像中各用户分别包含的各关节位于相应位置的概率的输出结果。
综上，由于每一级预测器均以上一级预测器的输出结果最为参考(即具有记忆功能)，减小了因随预测器层级增加记忆衰退的情况，使得每一级预测器可以得出相对于上一级预测器的输出结果更加准确的结果。第一类级联预测器的总层数M越大，获得的该帧图像中所述用户包含的各关节分别位于相应位置的概率越大，即越准确。
在一可选实施例中，第三步的最终结果表征该帧图像中用户包含的各关节分别位于相应目标位置的概率大于或等于第一概率值。和/或，获取表征该帧图像中任意至少两个相邻目标位置分别表征的关节属于同一用户的第二概率大于或等于第二概率值。
第三种，人体姿态识别模型包括关节追踪功能。
通过第一种或第二种方式得到多帧图像分别对应的预测人体姿态后，可以得到用户包含的各关节的运动趋势；基于用户包含的各关节的运动趋势可以得到后续的一帧或多帧图像分别包含的各关节相应的位置的概率。
本申请实施例中，将序列化的多帧图像划分为第一类图像以及第二类图像，其中，针对第一类图像采用第一种或第二种方式；对于第二类图像采用关节追踪方式。
以第二类图像中任一图像对关节追踪方式进行说明。
基于与该帧图像时序相连的至少两帧图像分别对应的用户包含的各关节的目标位置，获取所述用户包含的各关节的运动趋势；基于所述用户包含的各关节的运动趋势，获取该帧图像中所述用户包含的各关节分别对应的位置的第一概率，以得到结果。
第四种，第一种方式和第二种方式的切换。
可以理解的是，交通设备上可能乘坐多个用户，此时，待测视频的每一帧图像可能包括多个用户；此时，针对每一帧图像，预构建的人体姿态识别模型可以识别出多个用户分别对应的预测人体姿态，其中，一个用户对应一个预测人体姿态。
可选的，还包括：
获取第二参数，所述第二参数表征该帧图像的前一帧图像中各用户分别对应的各关节的目标位置是否交叉；
若所述第二参数表征该帧图像的前一帧图像中各用户分别包含的各关节的目标位置交叉，启动所述第二类级联预测器中每一级预测器包括的关节位置预测器以及方向预测器；
若所述第二参数表征该帧图像的前一帧图像中各用户分别包含的各关节的目标位置不交叉，关闭所述第二类级联预测器中每一级预测器包含的方向预测器，启动第二类级联预测器中每一级预测器包含的关节位置预测器。
综上，本发明实施例提供的人体姿态识别模型包含的级联预测器可以为第二类级联预测器，若关闭所述第二类级联预测器中每一级预测器包含的方向预测器，则第二类级联预测器就变为第一类级联预测器。
关闭后的方向预测器不进行任何操作。
在一可选实施例中，人体姿态识别模型还包括：对待测视频中每帧图像进行自适应对比对拉伸和自适应特征提取。
其中，自适应对比度拉伸是针对用户在图像中的目标区域进行动态对比度拉伸，可以利用以下公式进行自适应对比对拉伸变换：
Figure BDA0001752159680000141
其中k1为输入像素值，N1为用户所在位置区域总像素个数，nj为其中灰度为j的像素数个数。
自适应特征提取是从用户所在的位置区域中提取中有用的特征。
在一可选实施例中，对序列化的多帧图像进行自适应对比度拉伸，得到用户所在位置区域，对用户所在位置区域进行自适应特征提取，得到用户所在位置区域的特征图，将序列化的多帧特征图输入至级联预测器。
步骤S404：人体姿态识别模型基于所述多帧图像分别对应的所述用户包含的各关节的目标位置，获得所述多帧图像分别对应的所述用户的预测人体姿态。
步骤S405：基于序列化的所述多帧图像分别对应的预测人体姿态，获得表征所述用户是否执行佩戴安全带动作的第一参数。
在一可选实施例中，步骤S405可以包括：
第一步：基于序列化的所述多帧图像分别对应的预测人体姿态，获得用户的手腕关节的运动趋势。
第二步：若所述手腕关节的运行趋势，获取所述用户是否执行佩戴安全带动作的第一参数。
例如，若所述手腕关节的运行趋势为从第一关节区域移动至第二关节区域，获取所述用户执行佩戴安全带动作的第一参数。
其中，所述第一关节区域为颈部关节、左肩关节、右肩关节和头部关节中一个或多个关节所在区域；第二关节区域为左跨关节和右跨关节中一个或多个关节所在区域。
如图8所示，为本申请实施例提供的安全带佩戴识别方法的又一种实现方式的流程图，该方法包括：
步骤S801：获取待测视频，所述待测视频包括序列化的多帧图像，每一帧图像包括用户；
步骤S802：将序列化的多帧图像依序输入至预构建的人体姿态识别模型，获得所述多帧图像分别对应的预测人体姿态；其中，所述人体姿态识别模型具有将所述待测视频中任一帧图像对应的预测人体姿态趋于该帧图像对应的准确人体姿态的能力；
步骤S803：基于序列化的所述多帧图像分别对应的预测人体姿态，获得表征所述用户是否执行佩戴安全带动作的第一参数。
步骤S804：从所述待测视频中获取待测图像。
待测图像为用户执行完毕佩戴安全带动作后的任一帧图像。
步骤S805：对所述待测图像进行边缘特征提取，得到第一图像。
在一可选实施例中，假设待测图像如图9a所示，进行边缘特征提取后的边缘图像如图9b所示，提取边缘图像的对角线方向的直线，得到第一图像，第一图像如图9c所示。
步骤S806：获得所述第一图像中曲率小于或等于预设曲率阈值的至少一条线段。
其中图9c中用虚线标注的位置为线段所在位置。
曲线的曲率(curvature)就是针对曲线上某个点的切线方向角对弧长的转动率，即曲线偏离直线的程度。曲率越大，表示曲线的弯曲程度越大。
预设曲率阈值可以基于实际情况而定。
步骤S806是用于获取安全带的边缘线段，由于用户佩戴安全带后，安全带的边缘一般接近直线或呈直线，因此，找曲率小于或等于预设曲率阈值的至少一条线段。
步骤S807：若所述至少一条线段满足预设条件，确定所述用户身上覆盖有安全带。
在一可选实施例中，步骤S807包括：
获取所述至少一条线段分别对应的斜率；
若所述至少一条线段中一条或多条线段的斜率属于第一斜率范围，和/或，所述至少一条线段中一条或多条线段的斜率属于第二斜率范围，确定所述用户身上覆盖有安全带；
其中，所述第一斜率范围包括颈关节与右肩关节连线中任一点与包含左跨关节的区域中任一点连线的斜率；以及，颈关节与左肩关节连线中任一点与包含右跨关节的区域中任一点连线的斜率；所述第二斜率范围包括：包含左跨关节区域中任一点与包含右跨关节区域中任一点连线的斜率。
在一可选实施例中，如图10所示，颈关节与右肩关节连线中任一点可以是指颈关节2至右肩关节3连线中任意一点；包含左跨关节的区域可以为区域1(包括左跨关节9和9a)；颈关节与左肩关节连线中任一点可以为[2,4]中任意一点；包含右跨关节的区域可以为区域2(包括右跨关节10和10a)。
包含左跨关节区域中任一点与包含右跨关节区域中任一点连线是指区域区域1中任一点到区域2任一点的连线。
步骤S808：若所述第一参数表征所述用户执行佩戴安全带动作，且，所述用户身上覆盖有安全带，确定所述用户已经佩戴安全带；若所述第一参数表征所述用户未执行佩戴安全带动作，或，所述用户身上未覆盖有安全带，确定所述用户未佩戴安全带。
为了本领域技术人员更加理解本申请实施例，下面以一具体例子对本申请进行说明。该方法包括：
第一步：用户启动车辆，车辆上电后，车辆上安装的摄像头开始录制视频，以得到待测视频，所述待测视频包括序列化的多帧图像，每一帧图像包括用户。
第二步：在录制视频的过程中，实时将录制的视频输入至预构建的人体姿态识别模型。
可以理解的是，由于视频是实时录制，且实时输入至人体姿态识别模型的，很可能有以下应用场景：
人体姿态识别模型已经输出一帧或多帧图像分别对应的预测人体姿态，仍有视频输入至人体姿态识别模型。
视频即为序列化的多帧图像。
第三步：人体姿态识别模型依序接收到多帧图像，对于每一帧图像，人体姿态识别模型进行自适应预处理，得到特征图，从而得到多帧图像分别对应的特征图。
自适应预处理包括自适应对比度拉伸以及自适应特征提取。
由于视频包含的多帧图像是序列化的，因此多帧特征图也是序列化的。
第四步：人体姿态识别模型包含的级联预测器(如图5或图7所示)依序接收到多帧特征图。
第五步：对于每一帧特征图可以执行第一种或第二种或第三种或第四种方式，从而得到该帧特征图对应的预测人体姿态。
第六步：基于序列化的所述多帧图像分别对应的预测人体姿态，获得表征所述用户是否执行佩戴安全带动作的第一参数。
第七步：获取待测视频中最后一帧待测图像。
第八步：对所述待测图像进行边缘特征提取，得到第一图像。
第九步：获得所述第一图像中曲率小于或等于预设曲率阈值的至少一条线段。
第十步：若所述至少一条线段满足预设条件，确定所述用户身上覆盖有安全带。
第十一步：若所述第一参数表征所述用户执行佩戴安全带动作，且，所述用户身上覆盖有安全带，确定所述用户已经佩戴安全带；若所述第一参数表征所述用户未执行佩戴安全带动作，或，所述用户身上未覆盖有安全带，确定所述用户未佩戴安全带。
上述本申请公开的实施例中详细描述了方法，对于本申请的方法可采用多种形式的装置实现，因此本申请还公开了一种装置，下面给出具体的实施例进行详细说明。
如图11所示，为本申请实施例提供的一种安全带佩戴识别装置的一种实现方式的结构图，该装置包括：
第一获取模块111，用于获取待测视频，所述待测视频包括序列化的多帧图像，每一帧图像包括用户；
输入模块112，用于将序列化的多帧图像依序输入至预构建的人体姿态识别模型，获得所述多帧图像分别对应的预测人体姿态；其中，所述人体姿态识别模型具有将所述待测视频中任一帧图像对应的预测人体姿态趋于该帧图像对应的准确人体姿态的能力；
第二获取模块113，用于基于序列化的所述多帧图像分别对应的预测人体姿态，获得表征所述用户是否执行佩戴安全带动作的第一参数。
可选的，所述人体姿态识别模型多级预测器；
其中，所述人体姿态识别模型中第一级预测器的输入为依序输入的多帧图像；其他级预测器的输入包括依序输入的多帧图像以及上一级预测器的输出结果；最后一级预测器的输出结果为所述用户包含的各关节分别位于相应目标位置；
其中，最后一级预测器得到的所述用户包含的各关节分别位于相应目标位置概率大于或等于第一概率值。
如图12所示，为本申请实施例提供的一种电子设备的结构图，该电子设备包括：
存储器121，用于存储程序；
存储器121可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
处理器122，用于执行所述程序；所述程序具体用于：
获取待测视频，所述待测视频包括序列化的多帧图像，每一帧图像包括用户；
将序列化的多帧图像依序输入至预构建的人体姿态识别模型，获得所述多帧图像分别对应的预测人体姿态；其中，所述人体姿态识别模型具有将所述待测视频中任一帧图像对应的预测人体姿态趋于该帧图像对应的准确人体姿态的能力；
基于序列化的所述多帧图像分别对应的预测人体姿态，获得表征所述用户是否执行佩戴安全带动作的第一参数。
处理器122可能是一个中央处理器CPU，或者是特定集成电路ASIC
(Application Specific Integrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路。
电子设备还可以包括通信接口123以及通信总线124，其中，存储器121、处理器122以及通信接口123通过通信总线124完成相互间的通信。
可选的，通信接口可以为通信模块的接口，如GSM模块的接口。
本申请实施例还提供了一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述任意一实施例提供的安全带佩戴识别方法的各个步骤。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置或系统类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (15)

1.一种安全带佩戴识别方法，其特征在于，包括：
获取待测视频，所述待测视频包括序列化的多帧图像，每一帧图像包括用户；
将序列化的多帧图像依序输入至预构建的人体姿态识别模型，获得所述多帧图像分别对应的预测人体姿态；其中，所述人体姿态识别模型具有将所述待测视频中任一帧图像对应的预测人体姿态趋于该帧图像对应的准确人体姿态的能力；
基于序列化的所述多帧图像分别对应的预测人体姿态，获得表征所述用户是否执行佩戴安全带动作的第一参数。
2.根据权利要求1所述安全带佩戴识别方法，其特征在于，所述将序列化的多帧图像依序输入至预构建的人体姿态识别模型，获得所述多帧图像分别对应的预测人体姿态包括：
获取所述多帧图像分别对应的所述用户包含的各关节的目标位置；
基于所述多帧图像分别对应的所述用户包含的各关节的目标位置，获得所述多帧图像分别对应的所述用户的预测人体姿态。
3.根据权利要求2所述安全带佩戴识别方法，其特征在于，所述人体姿态识别模型多级预测器；
其中，所述人体姿态识别模型中第一级预测器的输入为依序输入的多帧图像；其他级预测器的输入包括依序输入的多帧图像以及上一级预测器的输出结果；最后一级预测器的输出结果为所述用户包含的各关节分别位于相应目标位置；
其中，最后一级预测器得到的所述用户包含的各关节分别位于相应目标位置概率大于或等于第一概率值。
4.根据权利要求3所述安全带佩戴识别方法，其特征在于，所述获取所述多帧图像分别对应的所述用户包含的各关节的目标位置包括：
对于序列化的多帧图像中任一帧图像，通过所述第一级预测器获取该帧图像中所述用户包含的各关节分别位于相应位置的概率，以得到输出结果；
通过所述其他级预测器中每一级预测器，执行以下操作：
通过该级预测器基于该帧图像以及上一级预测器的输出结果，获取该帧图像中所述用户包含的各关节分别位于相应位置的概率，以得到输出结果；
通过最后一级预测器基于该帧图像以及上一级预测器的输出结果，获得该帧图像中所述用户包含的各关节分别位于相应目标位置，以得到序列化的多帧图像分别对应的所述用户包含的各关节的目标位置。
5.根据权利要求4所述安全费佩戴识别方法，其特征在于，所述用户的数目为多个，通过所述人体姿态识别模型中任一级预测器，获取该帧图像中所述用户包含的各关节分别位于相应位置的概率，包括：
基于预先设置的多个座椅位置区域，确定多个用户分别位于该帧图像中的目标区域；
对于每一用户，获得该用户位于该帧图像的目标区域包含的各关节位于相应位置的概率，以得到各用户分别包含的各关节分别位于相应位置的概率。
6.根据权利要求4所述安全带佩戴识别方法，其特征在于，所述用户的数目为多个，所述人体姿态识别模型包含的多级预测器中任一级预测器包括关节位置预测器以及方向预测器；
其中，所述人体姿态识别模型中第一级预测器包含的关节位置预测器的输入为依序输入的多帧图像，第一级预测器包含的方向预测器的输入包括依序输入的多帧图像以及与所述第一级预测器包含的关节位置预测器的输出结果；
所述人体姿态识别模型的其他级预测器和最后一级预测器中任一级预测器包含的关节位置预测器的输入包括依序输入的多帧图像、上一级预测器包含的关节位置预测器以及方向预测器的输出结果，其他级预测器中任一级预测器包含的方向预测器的输入包括依序输入的多帧图像、上一级预测器包含的关节位置预测器和方向预测器的输出结果，以及该级预测器包含的关节位置预测器的输出结果；
所述人体姿态识别模型的最后一级预测器包含的方向预测器的输出结果为序列化的多帧图像中每一帧图像包含的多个用户分别包含的各关节的目标位置。
7.根据权利要求6所述安全带佩戴识别方法，其特征在于，通过所述人体姿态识别模型中任一级预测器，获取该帧图像中所述用户包含的各关节分别位于相应位置的概率，包括：
通过所述关节位置预测器，获取该帧图像中各关节分别位于相应位置的第一概率，以得到输出结果；
通过所述方向预测器，基于该帧图像中各关节分别位于相应位置的第一概率，获取表征该帧图像中任意至少两个相邻关节属于同一用户的第二概率，以得到该帧图像中各用户分别包含的各关节位于相应位置的概率的输出结果。
8.根据权利要求7所述安全带佩戴识别方法，其特征在于，还包括：
获取第二参数，所述第二参数表征该帧图像的前一帧图像中各用户分别对应的各关节的目标位置是否交叉；
若所述第二参数表征该帧图像的前一帧图像中各用户分别包含的各关节的目标位置交叉，启动所述人体姿态识别模型中每一级预测器包括的关节位置预测器以及方向预测器；
若所述第二参数表征该帧图像的前一帧图像中各用户分别包含的各关节的目标位置不交叉，关闭所述人体姿态识别模型中每一级预测器包含的方向预测器，启动所述人体姿态识别模型中每一级预测器包含的关节位置预测器。
9.根据权利要求8所述安全带佩戴识别方法，其特征在于，所述通过所述关节位置预测器，获取该帧图像中各关节分别位于相应位置的第一概率包括：
基于预先设置的多个座椅位置区域，确定多个用户分别位于该帧图像中的目标区域；
对于每一用户，获得该用户位于该帧图像的目标区域包含的各关节位于相应位置的概率，以得到各用户分别包含的各关节分别位于相应位置的概率。
10.根据权利要求1至9任一所述安全带佩戴识别方法，其特征在于，所述基于序列化的所述多帧图像分别对应的预测人体姿态，获得表征所述用户是否具有佩戴安全带动作的第一参数包括：
基于序列化的所述多帧图像分别对应的预测人体姿态，获得用户的手腕关节的运动趋势；
基于所述手腕关节的运行趋势，获取所述用户是否执行佩戴安全带动作的第一参数。
11.根据权利要求1至9任一所述安全带佩戴识别方法，其特征在于，还包括：
从所述待测视频中获取待测图像；
对所述待测图像进行边缘特征提取，得到第一图像；
获得所述第一图像中曲率小于或等于预设曲率阈值的至少一条线段；
若所述至少一条线段满足预设条件，确定所述用户身上覆盖有安全带。
12.根据权利要求11所述安全带佩戴识别方法，其特征在于，所述若所述至少一条线段满足预设条件，确定所述用户身上覆盖有安全带包括：
获取所述至少一条线段分别对应的斜率；
若所述至少一条线段中一条或多条线段的斜率属于第一斜率范围，和/或，所述至少一条线段中一条或多条线段的斜率属于第二斜率范围，确定所述用户身上覆盖有安全带。
13.根据权利要求11所述安全带佩戴识别方法，其特征在于，还包括：
若所述第一参数表征所述用户执行佩戴安全带动作，且，所述用户身上覆盖有安全带，确定所述用户已经佩戴安全带；
若所述第一参数表征所述用户未执行佩戴安全带动作，或，所述用户身上未覆盖有安全带，确定所述用户未佩戴安全带。
14.一种安全带佩戴识别装置，其特征在于，包括：
第一获取模块，用于获取待测视频，所述待测视频包括序列化的多帧图像，每一帧图像包括用户；
输入模块，用于将序列化的多帧图像依序输入至预构建的人体姿态识别模型，获得所述多帧图像分别对应的预测人体姿态；其中，所述人体姿态识别模型具有将所述待测视频中任一帧图像对应的预测人体姿态趋于该帧图像对应的准确人体姿态的能力；
第二获取模块，用于基于序列化的所述多帧图像分别对应的预测人体姿态，获得表征所述用户是否执行佩戴安全带动作的第一参数。
15.一种电子设备，其特征在于，包括：
存储器，用于存储程序；
处理器，用于执行所述程序，所述程序具体用于：
获取待测视频，所述待测视频包括序列化的多帧图像，每一帧图像包括用户；
将序列化的多帧图像依序输入至预构建的人体姿态识别模型，获得所述多帧图像分别对应的预测人体姿态；其中，所述人体姿态识别模型具有将所述待测视频中任一帧图像对应的预测人体姿态趋于该帧图像对应的准确人体姿态的能力；
基于序列化的所述多帧图像分别对应的预测人体姿态，获得表征所述用户是否执行佩戴安全带动作的第一参数。
CN201810871065.1A 2018-08-02 2018-08-02 安全带佩戴识别方法、装置及电子设备 Active CN110795969B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810871065.1A CN110795969B (zh) 2018-08-02 2018-08-02 安全带佩戴识别方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810871065.1A CN110795969B (zh) 2018-08-02 2018-08-02 安全带佩戴识别方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN110795969A true CN110795969A (zh) 2020-02-14
CN110795969B CN110795969B (zh) 2022-10-14

Family

ID=69425879

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810871065.1A Active CN110795969B (zh) 2018-08-02 2018-08-02 安全带佩戴识别方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN110795969B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539360A (zh) * 2020-04-28 2020-08-14 重庆紫光华山智安科技有限公司 安全带佩戴识别方法、装置及电子设备
CN111783741A (zh) * 2020-07-30 2020-10-16 国网江苏省电力有限公司南通供电分公司 关键要素定位的绝缘手套使用识别方法及专用识别装置、电子设备
CN113870205A (zh) * 2021-09-18 2021-12-31 中国联合网络通信集团有限公司 一种安全带佩戴检测方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101461911B1 (ko) * 2013-07-25 2014-11-13 현대자동차주식회사 안전벨트 체결 상태 가이드 장치 및 방법
CN105488453A (zh) * 2015-11-30 2016-04-13 杭州全实鹰科技有限公司 一种基于图像处理的驾驶员未系安全带检测识别方法
CN105677039A (zh) * 2016-02-16 2016-06-15 北京博研智通科技有限公司 一种基于手势检测驾驶状态的方法、装置及可穿戴设备
CN106427881A (zh) * 2016-07-30 2017-02-22 桐城市祥瑞机动车辆检测有限公司 一种轿车安全带正确佩戴的检测系统及其检测方法
CN107798313A (zh) * 2017-11-22 2018-03-13 杨晓艳 一种人体姿态识别方法、装置、终端和存储介质
CN108345869A (zh) * 2018-03-09 2018-07-31 南京理工大学 基于深度图像和虚拟数据的驾驶人姿态识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101461911B1 (ko) * 2013-07-25 2014-11-13 현대자동차주식회사 안전벨트 체결 상태 가이드 장치 및 방법
CN105488453A (zh) * 2015-11-30 2016-04-13 杭州全实鹰科技有限公司 一种基于图像处理的驾驶员未系安全带检测识别方法
CN105677039A (zh) * 2016-02-16 2016-06-15 北京博研智通科技有限公司 一种基于手势检测驾驶状态的方法、装置及可穿戴设备
CN106427881A (zh) * 2016-07-30 2017-02-22 桐城市祥瑞机动车辆检测有限公司 一种轿车安全带正确佩戴的检测系统及其检测方法
CN107798313A (zh) * 2017-11-22 2018-03-13 杨晓艳 一种人体姿态识别方法、装置、终端和存储介质
CN108345869A (zh) * 2018-03-09 2018-07-31 南京理工大学 基于深度图像和虚拟数据的驾驶人姿态识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ALEXANDER TOSHEV; CHRISTIAN SZEGEDY: "DeepPose: Human Pose Estimation via Deep Neural Networks", 《2014 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
何振亚: "《神经智能 认知科学中若干重大问题的研究》", 30 June 1997 *
韩豫; 张泾杰; 孙昊; 姚佳玥; 尤少迪: "基于图像识别的建筑工人智能安全检查系统设计与实现", 《中国安全生产科学技术》 *
高宏伟: "《电子封装工艺与装备技术基础教程》", 31 July 2017 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539360A (zh) * 2020-04-28 2020-08-14 重庆紫光华山智安科技有限公司 安全带佩戴识别方法、装置及电子设备
CN111539360B (zh) * 2020-04-28 2022-11-22 重庆紫光华山智安科技有限公司 安全带佩戴识别方法、装置及电子设备
CN111783741A (zh) * 2020-07-30 2020-10-16 国网江苏省电力有限公司南通供电分公司 关键要素定位的绝缘手套使用识别方法及专用识别装置、电子设备
CN113870205A (zh) * 2021-09-18 2021-12-31 中国联合网络通信集团有限公司 一种安全带佩戴检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN110795969B (zh) 2022-10-14

Similar Documents

Publication Publication Date Title
CN110795969B (zh) 安全带佩戴识别方法、装置及电子设备
CN110119676B (zh) 一种基于神经网络的驾驶员疲劳检测方法
Weng et al. Driver drowsiness detection via a hierarchical temporal deep belief network
US8837773B2 (en) Apparatus which detects moving object from image and method thereof
Chiou et al. Driver monitoring using sparse representation with part-based temporal face descriptors
JP6398979B2 (ja) 映像処理装置、映像処理方法および映像処理プログラム
US8165408B2 (en) Image recognition apparatus utilizing plurality of weak classifiers for evaluating successive sub-images extracted from an input image
JP5127583B2 (ja) 対象物判定装置及びプログラム
US20130070973A1 (en) Face recognizing apparatus and face recognizing method
CN110378314A (zh) 一种人脸区域图像归档方法、装置、电子设备及存储介质
US20080013803A1 (en) Method and apparatus for determining print image quality
JP6762344B2 (ja) 顔の位置を追跡して使用者に警報する方法及びシステム
EP3812937A1 (en) System and method for protection and detection of adversarial attacks against a classifier
Kashevnik et al. Seat belt fastness detection based on image analysis from vehicle in-abin camera
JP2007156655A (ja) 変動領域検出装置及びその方法
WO2020195732A1 (ja) 画像処理装置、画像処理方法、およびプログラムが格納された記録媒体
EP4026051B1 (en) Anomaly detector for detecting anomaly using complementary classifiers
WO2019171779A1 (ja) 物体検出装置、物体検出方法、およびプログラム
JP2010003116A (ja) 対象物判定装置及びプログラム
Nguyen et al. Light-weight convolutional neural network for distracted driver classification
WO2018107748A1 (zh) 一种路径检测方法及装置
CN108960181B (zh) 基于多尺度分块lbp和隐马尔科夫模型的黑烟车检测方法
CN116863405A (zh) 一种基于yolox的目标检测方法、装置及存储介质
CN114882552A (zh) 基于深度学习的营运车内人员口罩佩戴状态检查方法
Gurrola-Ramos et al. Factorized U-net for retinal vessel segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220208

Address after: No. 203, Shanghai Songjiang Road, No. 201563, Pudong New Area

Applicant after: SAIC Motor Corp.,Ltd.

Address before: 201203 Room 509, Building No. 1, 563 Songtao Road, Zhangjiang High-tech Park, Pudong New Area, Shanghai

Applicant before: SAIC Motor Corp.,Ltd.

Applicant before: Black sesame Intelligent Technology (Shanghai) Co.,Ltd.

GR01 Patent grant
GR01 Patent grant