CN113033239B - 一种行为检测方法及装置 - Google Patents
一种行为检测方法及装置 Download PDFInfo
- Publication number
- CN113033239B CN113033239B CN201911249007.6A CN201911249007A CN113033239B CN 113033239 B CN113033239 B CN 113033239B CN 201911249007 A CN201911249007 A CN 201911249007A CN 113033239 B CN113033239 B CN 113033239B
- Authority
- CN
- China
- Prior art keywords
- driver
- cab
- behavior
- action
- actions
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
本发明实施例提供了一种行为检测方法及装置，上述方法包括：获得车辆处于停止状态时监控场景的监控视频，其中，所述监控场景包括：驾驶室内和驾驶室外；对所述监控视频进行分析，获得获得驾驶室内司机依次执行的动作以及驾驶室外司机依次执行的动作，并获得执行各个动作时所述司机在所述监控场景中的位置；按照所述司机在驾驶室内依次执行的动作的顺序和驾驶室外依次执行的动作的顺序，根据所获得的动作和位置，检测所述司机的行为是否为规范行为。应用本发明实施例提供的方案进行行为检测时，能够在车辆处于停止状态的情况对司机的行为进行检测。
Description
技术领域
本发明涉及视频监控技术领域，特别是涉及一种行为检测方法及装置。
背景技术
车辆行驶过程中，司机操作失误、操作不当等会导致行驶安全问题。为了减少这一问题的发生频率，可以对司机的驾驶行为进行监测，当监测到司机的驾驶行为出现异常时，可以通过警告、报警等方式提醒司机。
然而，车辆不仅在行驶过程中会出现行驶安全问题，在车辆处于停止状态的情况下也可能会由于司机操作失误、操作不当等因素导致存在安全问题。例如：上述车辆为地铁列车的情况下，地铁列车停靠在站台后，可能会由于司机未检查地铁列车的各个车门处是否有乘客，而导致车门开或者关时可能出现夹人夹物等安全问题。因此，亟需一种在车辆处于停止状态的情况对司机的行为进行检测方案。
发明内容
本发明实施例的目的在于提供一种行为检测方法及装置，以检测在车辆处于停止状态的情况对司机的行为进行检测。具体技术方案如下：
第一方面，本发明实施例提供了一种行为检测方法，所述方法包括：
获得车辆处于停止状态时监控场景的监控视频，其中，所述监控场景包括：驾驶室内和驾驶室外；
对所述监控视频进行分析，获得驾驶室内司机依次执行的动作以及驾驶室外司机依次执行的动作，并获得执行各个动作时所述司机在所述监控场景中的位置；
按照所述司机在驾驶室内依次执行的动作的顺序和驾驶室外依次执行的动作的顺序，根据所获得的动作和位置，检测所述司机的行为是否为规范行为。
本发明的一个实施例中，上述方法还包括：
获得所述监控场景的监控音频；
所述按照所述司机在驾驶室内依次执行的动作的顺序和驾驶室外依次执行的动作的顺序，根据所获得的动作和位置，检测所述司机的行为是否为规范行为，包括：
按照所述司机在驾驶室内依次执行的动作的顺序和驾驶室外依次执行的动作的顺序，根据所获得的动作和位置，检测所述司机的动作是否为规范动作，获得第一检测结果；
对所述监控音频进行语音识别；
根据语音识别结果检测所述司机的语音口令是否为规范口令，获得第二检测结果；
根据所述第一检测结果和第二检测结果，检测所述司机的行为是否为规范行为。
本发明的一个实施例中，上述对所述监控视频进行分析，获得驾驶室内司机依次执行的动作以及驾驶室外司机依次执行的动作，包括：
对所述监控视频进行分析，获得司机的关节点和骨架信息；
根据所述关节点和骨架信息，计算所述司机的预设关节之间的角度；
根据所述角度获得驾驶室内司机依次执行的动作以及驾驶室外司机依次执行的动作。
本发明的一个实施例中，上述根据所述角度获得驾驶室内司机依次执行的动作以及驾驶室外司机依次执行的动作，包括：
根据所述骨架信息，确定所述司机的姿态信息；
根据所述姿态信息和所述角度，确定驾驶室内司机依次执行的动作以及驾驶室外司机依次执行的动作。
本发明的一个实施例中，上述对所述监控视频进行分析，获得驾驶室内司机依次执行的动作以及驾驶室外司机依次执行的动作，包括：
对所述监控视频进行分析，获得所述司机的人脸关键点；
根据所述司机的人脸关键点，确定驾驶室内司机的人脸朝向以及驾驶室外司机的人脸朝向。
本发明的一个实施例中，上述根据所获得的动作和位置，检测所述司机的行为是否为规范行为，包括：
检测所述司机执行所获得的动作时司机的位置是否为预设位置，并根据检测结果确定所述司机的行为是否为规范行为；
或者
检测所述司机执行所获得的动作时司机的位置与预设位置之间的位置关系是否为预设位置关系，并根据检测结果确定所述司机的行为是否为规范行为。
本发明的一个实施例中，上述检测所述司机执行所获得的动作时司机的位置与预设位置之间的位置关系是否为预设位置关系，并根据检测结果确定所述司机的行为是否为规范行为，包括：
获得所述司机执行所获得动作的持续时长；
检测所述司机执行所获得的动作时司机的位置与预设位置之间的位置关系是否为预设位置关系、且所述持续时长是否大于预设时长；
根据检测结果确定所述司机的行为是否为规范行为。
第二方面，本发明实施例提供了一种行为检测装置，所述装置包括：
视频获得模块，用于获得车辆处于停止状态时监控场景的监控视频，其中，所述监控场景包括：驾驶室内和驾驶室外；
动作和位置获得模块，用于对所述监控视频进行分析，获得驾驶室内司机依次执行的动作以及驾驶室外司机依次执行的动作，并获得执行各个动作时所述司机在所述监控场景中的位置；
行为检测模块，用于按照所述司机在驾驶室内依次执行的动作的顺序和驾驶室外依次执行的动作的顺序，根据所获得的动作和位置，检测所述司机的行为是否为规范行为。
本发明的一个实施例中，上述装置还包括：
音频获得模块，用于获得所述监控场景的监控音频；
所述行为检测模块，包括：
第一检测结果获得子模块，用于按照所述司机在驾驶室内依次执行的动作的顺序和驾驶室外依次执行的动作的顺序，根据所获得的动作和位置，检测所述司机的动作是否为规范动作，获得第一检测结果；
语音识别子模块，用于对所述监控音频进行语音识别；
第二检测结果模块子模块，用于根据语音识别结果检测所述司机的语音口令是否为规范口令，获得第二检测结果；
行为检测子模块，用于根据所述第一检测结果和第二检测结果，检测所述司机的行为是否为规范行为。
本发明的一个实施例中，上述动作和位置获得模块，包括：
信息获得子模块，用于对所述监控视频进行分析，获得司机的关节点和骨架信息；
角度计算子模块，用于根据所述关节点和骨架信息，计算所述司机的预设关节之间的角度；
动作获得子模块，用于根据所述角度获得驾驶室内司机依次执行的动作以及驾驶室外司机依次执行的动作；
位置获得子模块，用于获得执行各个动作时所述司机在所述监控场景中的位置。
本发明的一个实施例中，上述动作获得子模块，包括：
姿态信息确定单元，用于根据所述骨架信息，确定所述司机的姿态信息；
动作确定单元，用于根据所述姿态信息和所述角度，确定驾驶室内司机依次执行的动作以及驾驶室外司机依次执行的动作。
本发明的一个实施例中，上述动作和位置获得模块，包括：
人脸关键点模块子模块，用于对所述监控视频进行分析，获得所述司机的人脸关键点；
人脸朝向确定子模块，用于根据所述司机的人脸关键点，确定驾驶室内司机的人脸朝向以及驾驶室外司机的人脸朝向；。
位置获得子模块，用于获得执行各个动作时所述司机在所述监控场景中的位置。
本发明的一个实施例中，上述行为检测模块，包括：
预设位置检测子模块，用于在所述司机执行所获得的动作时，检测所获得的司机的位置是否为预设位置；
或者
预设位置关系检测子模块，用于在所述司机执行所获得的动作时，检测所获得的司机的位置与预设位置之间的位置关系是否为预设位置关系。
本发明的一个实施例中，上述预设位置关系检测子模块，包括：
持续时长获得单元，用于获得所述司机执行所获得动作的持续时长；
持续时长检测单元，用于检测所述司机执行所获得的动作时司机的位置与预设位置之间的位置关系是否为预设位置关系、且所述持续时长是否大于预设时长；
规范行为确定单元，用于根据检测结果确定所述司机的行为是否为规范行为。
第三方面，本发明实施例提供了一种终端设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述第一方面所述的方法步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法步骤。
由以上可见，应用本发明实施例提供的方案进行行为检测时，获得车辆处于停止状态时监控场景的监控视频后，对上述监控视频进行分析，获得驾驶室内司机依次执行的动作以及驾驶室外司机依次执行的动作，并获得执行各个动作时司机在监控场景中的位置。由上述司机的动作和位置能够确定司机的行为。然后按照司机在驾驶室内依次执行的动作的顺序和驾驶室外依次执行的动作的顺序，检测司机的行为是否为规范行为。可见，应用上述实施例提供的方案能够对车辆处于停止状态时司机的行为进行检测。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种行为检测方法的流程示意图；
图2a为本发明实施例提供的一种对象的原始形象的示意图；
图2b为本发明实施例提供的一种对象的骨架信息的示意图；
图3为本发明实施例提供的一种司机关节点和骨架信息的示意图；
图4为本发明实施例提供的一种行为检测装置的结构示意图；
图5为本发明实施例提供的一种终端设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，图1为本发明实施例提供的一种行为检测方法的流程示意图，上述方法包括S101-S103。
本发明实施例的执行主体可以是带有图像采集器件的电子设备，还可以是不带有图像采集器件、但与图像采集器件进行通信连接的电子设备。上述电子设备可以为：服务器、视频处理设备等。
S101：获得车辆处于停止状态时监控场景的监控视频。
上述监控场景包括：驾驶室内和驾驶室外。具体的，上述驾驶室外可以为驾驶室外预设范围内的区域。
上述车辆可以为火车、地铁列车、公交车等车辆。
当上述车辆为火车或者地铁列车时，上述车辆处于停止状态时可以理解为火车或者地铁列车停靠在站台时的状态；当上述车辆为公交车时，上述车辆处于停止状态可以理解为公交车停靠在公交站台时的状态。
上述监控视频可以由视频采集设备进行采集，例如：摄像头、监控探头等设备。具体的，可以将视频采集设备架设在司机驾驶室内以及驾驶室外。例如：架设在地铁驾驶室外的上方或者以平视架设，以确保能够检测到司机的行为。
具体的，上述视频采集器件可以将采集到的视频发送至电子设备上。更具体的，可以是按照预设的时间间隔，发送该时间间隔内采集的视频。
S102：对监控视频进行分析，获得驾驶室内司机依次执行的动作以及驾驶室外司机依次执行的动作，并获得执行各个动作时司机在监控场景中的位置。
在车辆处于停止状态时，例如：地铁列车停靠在站台后，司机会在驾驶室内以及驾驶室外依次执行各种动作，例如：司机在驾驶室内可以依次执行抬手、面朝显示屏站立、关闭车门等动作，司机在驾驶室外可以依次执行面朝乘客上车方向站立、直立于预设位置等动作。
具体的，可以对驾驶室内以及驾驶室外的监控视频的每一视频帧进行分析，获得驾驶室内司机依次执行的动作以及驾驶室外司机依次执行的动作。还可以按照预设帧率截取驾驶室内以及驾驶室外的监控视频的视频帧，对所获取的视频帧进行分析，获得驾驶室内司机依次执行的动作以及驾驶室外司机依次执行的动作。
对上述监控视频进行分析可以采用对象识别技术，识别每一视频帧中出现的对象，从所识别的对象中确定目标对象，在本实施例中目标对象为司机。在确定目标对象后，识别和跟踪该目标对象的动作。
上述司机在监控场景中的位置可以是司机在监控场景中的绝对位置，例如：驾驶室外预设地标处、驾驶室内驾驶椅处等。还可以是司机在监控场景中的相对位置，例如：可以是相对于驾驶室外的场景物的位置，如：相对于信号灯的位置、相对于车门的位置等；还可以是相对于驾驶室内的场景物的位置，如：相对于显示屏的位置、相对于车头的位置等。
S103：按照司机在驾驶室内执行动作的顺序和驾驶室外执行动作的顺序，根据所获得的动作和位置，检测司机的行为是否为规范行为。
上述规范行为可以理解为：预先设定的要求司机执行的行为。例如：规范行为可以包括：在驾驶室内执行伸手臂的动作，且伸手臂时要求手臂的方向朝向身体右侧、关节之间的角度为180°、且站立于预设位置；在驾驶室外执行抬手臂的动作，且抬手臂时要求手臂的方向朝向身体右侧、且关节之间的角度为80°、且面朝显示屏站立等。
具体的，根据司机的动作和位置，可以检测司机的行为。例如：假设司机依次执行两个动作，分别为伸手臂、抬手臂，并且司机在执行伸手臂时位于位置A，司机在执行抬手臂时位于位置B，那么司机的行为分别是在位置A伸手臂、在位置B抬手臂。
在确定司机的行为后，可以将司机的行为逐一与规范行为进行对比，检测司机的行为是否为规范行为。例如：检测到司机在驾驶室内执行伸手臂的动作，且伸手臂时手臂的方向朝向身体左侧、关节之间的角度为180°、站立于预设位置，假设规范行为为：在驾驶室内执行伸手臂的动作，且伸手臂时要求手臂的方向朝向身体右侧、关节之间的角度为180°、且站立于预设位置。由于检测到司机在伸手臂时手臂的方向朝向身体左侧，不符合规范行为的要求，因此可以认为司机在执行的上述行为不是规范行为。
具体的，上述检测结果可以用分数来表征。指定检测结果的满分为10分，计算司机的行为与规范行为之间的行为偏差程度，当行为偏差程度大于预设偏差程度阈值时，进行扣分，上述行为偏差程度可以用动作角度偏差程度、姿态偏差程度等来表征。行为偏差程度越大，扣分越多。
具体的，在检测司机的行为是否为规范行为时，可以按照司机在驾驶室内执行动作的顺序和在驾驶室外执行动作的顺序，依次对各个动作和位置组成的行为进行检测。例如：在驾驶室内司机依次执行动作A、动作B，检测到司机在执行动作A时位于位置1处，执行动作B时位于位置2处，对司机位于位置1处执行的动作A进行检测，对司机位于位置2处执行的动作B进行检测，根据检测的结果可以获得驾驶室内司机的行为的检测结果。
本发明的一个实施例中，上述根据所获得的动作和位置，可以通过以下方式检测司机的行为是否为规范行为。
检测司机执行所获得的动作时司机的位置是否为预设位置，并根据检测结果确定司机的行为是否为规范行为。
上述预设位置是监控场景中的固定标志物在视频帧中的位置，例如：车门、地标、信号灯等。可以将这些固定标志物在监控场景中的位置参数作为上述预设位置。
上述规范行为可以理解为司机的位置位于预设位置的行为。
具体的，根据司机的位置以及预设位置，可以判断所获得的司机的位置是否为预设位置。例如：假设司机的位置为(100，100)，预设位置为(100，100)，单位为像素点，可以判断司机的位置与预设位置重合，那么司机的位置为预设位置。
这样，检测上述位置是否为预设的位置，可以较为准确检测司机的行为是否为预设行为。
本发明的一个实施例中，上述根据所获得的动作和位置，还可以通过以下方式检测司机的行为是否为规范行为。
检测司机执行所获得的动作时司机的位置与预设位置之间的位置关系是否为预设位置关系，并根据检测结果确定司机的行为是否为规范行为。
上述位置关系可以理解为相对位置关系。例如，预设位置为A，司机位置为B，那么上述位置关系可以是B位于A的正前方、左侧等。
上述规范行为可以理解为司机的位置与预设位置之间的位置关系为预设位置关系的行为。
具体的，根据司机的位置以及预设位置，获得司机的位置与预设位置之间的位置关系，判断上述位置关系是否为预设位置关系。例如：预设位置关系为司机的位置位于预设位置的右侧。检测所获得的司机的位置为(100,100)，预设位置为(50,100)，单位为像素点，获得司机的位置为预设位置的右侧，判断司机的位置与预设位置之间的位置关系是预设位置关系。
这样，检测上述位置关系是否为预设的位置关系，可以较为准确检测司机的行为是否为预设行为。
由以上可见，应用本实施例提供的方案进行行为检测时，获得车辆处于停止状态时监控场景的监控视频后，对上述监控视频进行分析，获得驾驶室内司机依次执行的动作以及驾驶室外司机依次执行的动作，并获得执行各个动作时司机在监控场景中的位置。由上述司机的动作和位置能够确定司机的行为。然后按照司机在驾驶室内依次执行的动作的顺序和驾驶室外依次执行的动作的顺序，检测司机的行为是否为规范行为。可见，应用上述实施例提供的方案能够对车辆处于停止状态时司机的行为进行检测。
本发明的一个实施例中，可以按照以下步骤A1-步骤A3实现上述S102中对所述监控视频进行分析，获得驾驶室内司机依次执行的动作以及驾驶室外司机依次执行的动作。
步骤A1：对上述监控视频进行分析，获得司机的关节点和骨架信息。
上述关节点可以包括膝关节、肘关节、指关节、腕关节等。
上述骨架信息可以理解为将对象的形象骨骼化。例如：图2a为对象的原始形象的示意图，图2b为对象的骨架信息的示意图。
具体的，获得司机的关节点和骨架信息时，可以采用关节点识别模型、骨架提取算法等技术对上述监控视频进行分析，获得上述监控视频中司机的关节点和骨架信息。
步骤A2：根据上述关节点和骨架信息，计算司机的预设关节之间的角度。
具体的，可以根据各个关节点的位置以及骨架信息，计算司机的预设关节之间的角度。
例如：以图3为例，图3为本发明实施例提供的一种司机关节点和骨架信息的示意图，在图3中，白色线为司机的骨架信息，白色点为司机的关节点，预设关节点为关节点A和关节点B。假设关节点A的位置为(100，100)，关节点B的位置为(200，100)，单位为像素点，可以判断关节点A与关节B之间的夹角为180°。
步骤A3：根据上述角度获得驾驶室内司机依次执行的动作以及驾驶室外司机依次执行的动作。
由于司机执行的动作可以包括抬手、伸手等动作，不同的动作各个关节之间的角度也是不一样的。因此，根据关节之间的角度，可以确定司机所执行的动作。
例如：假设检测到司机执行动作时肘关节与腕关节之间角度为180°，可以确定司机执行的动作为伸直手臂；假设检测到司机执行动作时肘关节与腕关节之间角度为90°，可以确定司机执行的动作为抬起手臂。
根据司机执行动作时所在的场景，可以分别获得驾驶室内司机执行的动作以及驾驶室外司机执行的动作。根据所获得的驾驶室内司机执行的动作，可以按照时间的顺序确定驾驶室内司机依次执行的动作，根据所获得的驾驶室外司机执行的动作，可以按照时间的顺序确定驾驶室外司机依次执行的动作。
这样，根据预设关节之间的角度，能够较为准确获得驾驶室内司机依次执行的动作以及驾驶室外司机依次执行的动作。
本发明的一个实施例中，可以按照以下步骤B1-B2实现上述A3中根据角度获得驾驶室内司机依次执行的动作以及驾驶室外司机依次执行的动作。
步骤B1：根据上述骨架信息，确定司机的姿态信息。
上述姿态信息可以理解为司机的姿态。例如：直立、弯腰、下蹲等姿态。
具体的，由于司机的骨架信息可以反映司机的轮廓，因此根据司机的骨架信息图可以确定司机的姿态信息。
步骤B2：根据姿态信息和上述角度，确定驾驶室内司机依次执行的动作以及驾驶室外司机依次执行的动作。
具体的，由于不同的动作的姿态以及关节之间的角度是不一样的，因此，根据司机的姿态信息和关节之间的角度，可以确定司机执行的动作。例如：假设司机的姿态信息为直立、且肘关节与腕关节之间角度为180°，可以确定司机执行的动作为直立于地面且伸直手。
根据司机执行动作时所在的场景，可以分别获得驾驶室内司机执行的动作以及驾驶室外司机执行的动作。根据所获得的驾驶室内司机执行的动作，可以按照时间的顺序确定驾驶室内司机依次执行的动作，根据所获得的驾驶室外司机执行的动作，可以按照时间的顺序确定驾驶室外司机依次执行的动作。
这样，通过司机的预设关节之间的角度和姿态信息确定司机执行的动作，由于不同的动作的姿态信息和各个关节之间的角度是不一样的。依次，根据姿态信息和关节之间的角度，能够较为准确获得驾驶室内司机依次执行的动作以及驾驶室外司机依次执行的动作。
本发明的一个实施例中，还可以按照以下步骤C1-C2实现上述S102中对监控视频进行分析，获得驾驶室内司机依次执行的动作以及驾驶室外司机依次执行的动作，包括：
步骤C1：对监控视频进行分析，获得司机的人脸关键点。
上述人脸关键点包括人脸的眼睛、鼻子、嘴巴、眉毛等。
具体的，获得司机的人脸关键点时，可以采用人脸关键点识别模型对上述监控视频进行分析，获得司机的人脸关键点。
步骤C2：根据司机的人脸关键点，确定驾驶室内司机的人脸朝向以及驾驶室外司机的人脸朝向。
上述人脸朝向可以理解为人脸朝着某一方向。例如：人脸朝着左下方、人脸朝着右上方等。
具体的，可以根据人脸关键点之间的相对位置，确定司机的人脸朝向。例如：检测到眼珠在眼眶内的相对位置为：眼眶内左侧，则可以确定司机的目光朝向为：朝向左侧。
根据司机执行上述动作时所在的场景，可以分别获得驾驶室内司机的人脸朝向以及驾驶室外司机的人脸朝向。根据所获得的驾驶室内司机的人脸朝向，可以按照时间的顺序确定驾驶室内司机依次执行的动作，根据所获得的驾驶室外司机的人脸朝向，可以按照时间的顺序确定驾驶室外司机依次执行的动作。
这样，由于司机的动作还包括人脸朝向，且人脸朝向与人脸关键点的相对位置有关，因此根据人脸关键点，可以较为准确确定司机的人脸朝向。
本发明的一个实施例中，可以通过以下方式实现上述S103中检测司机执行所获得的动作时司机的位置与预设位置之间的位置关系是否为预设位置关系，并根据检测结果确定司机的行为是否为规范行为。
获得司机执行所获得动作的持续时长；检测司机执行所获得的动作时司机的位置与预设位置之间的位置关系是否为预设位置关系、且上述持续时长是否大于预设时长；根据检测结果确定司机的行为是否为规范行为。
上述规范行为可以为当司机的位置与预设位置之间的位置关系为预设位置关系、且上述持续时长大于预设时长为规范行为。
上述动作的持续时长可以是在检测司机动作时，获得司机抬手动作所在的视频帧后，判断之后的每一视频帧中司机的动作是否相同，进而获得动作的保持时间。
在获得上述动作的持续时长后，判断动作保持时间是否大于预设的动作持续时长。例如：假设预设的动作的持续时长为3秒，获得司机的动作持续时长为5秒，那么司机的动作持续时长为预设的动作持续时长。
这样，在获得司机的动作持续时长后，检测该动作持续时长为预设的动作持续时长，可以较为准确检测司机的行为是否为预设行为。
本发明的一个实施例中，上述方法还可以包括：
获得监控场景的监控音频。
上述监控音频可以由音频采集设备将采集到的音频向本发明实施例的执行主体发送。
基于上述情况，还可以按照以下步骤E1-E4实现上述S103中按照所述司机在驾驶室内执行动作的顺序和驾驶室外执行动作的顺序，根据所获得的动作和位置，检测所述司机的行为是否为规范行为。
步骤E1：按照司机在驾驶室内执行动作的顺序和驾驶室外执行动作的顺序，根据所获得的动作和位置，检测司机的动作是否为规范动作，获得第一检测结果。
具体的，根据所获得的动作和位置，判断司机的动作是否为规范动作。例如：司机首先在驾驶室内执行的动作为：伸手，然后在驾驶室外执行的动作为：抬手，且司机在执行伸手动作时位于驾驶室内的位置A，在执行抬手动作时位于驾驶室外的位置B。规范动作为：司机首先在驾驶室内执行伸手动作时位于驾驶室内的位置A，然后在驾驶室外执行抬手动作时位于驾驶室外的位置C。由于司机在驾驶室外执行的抬手动作位于驾驶室外的位置B，与规范动作的不同，那么可以认为司机执行的伸手动作为规范动作，司机执行的抬手动作不是规范动作。
上述第一检测结果可以用分数来表征，指定检测结果满分为10分，计算司机的动作与规范动作之间的动作偏差程度，当动作偏差程度大于预设偏差程度阈值时，开始进行扣分，上述动作偏差程度可以用动作角度偏差程度、动作方向偏差程度等来表征。动作偏差程度越大，扣分越多。
步骤E2：对监控音频进行语音识别。
具体的，可以用语音识别模型对上述监控音频进行语音识别。
步骤E3：根据语音识别结果检测司机的语音口令是否为规范口令，获得第二检测结果。
上述语音口令为司机发出的语音口令，能够对司机进行自我提示。上述语音口令可以是根据语音识别结果获得与司机匹配的语音，进而获得司机的语音口令。
在获得司机的语音口令后，判断司机的语音口令是否为规范口令。例如：规范口令要求语音口令内容为：完毕、且音量大于50分贝，若司机的语音口令为完毕、且音量为60分贝，可以判断上述司机的语音口令为规范口令。
上述第二检测结果也可以用分数进行表征。指定检测结果的满分为10分。计算司机的语音口令与规范口令之间的口令偏差程度，当口令偏差程度大于预设偏差程度阈值时，开始进行扣分。上述口令偏差程度可以用口令内容偏差程度、口令音量偏差程度等来表征。口令偏差程度越大，扣分越多。
步骤E4：根据第一检测结果和第二检测结果，检测司机的行为是否为规范行为。
具体的，根据第一检测结果和第二检测结果，检测司机的行为是否为规范行为可以分为以下三种情况：
第一种情况：当规范行为中要求规范口令为位于执行规范行为之前或者之后发出的。
首先判断司机发出的语音口令是否位于执行动作之前或者之后；若为是，再判断第一检测结果和第二检测结果是否均满足预设的检测结果，若满足预设的检测结果，则可以判定司机的行为为规范行为，若不满足，则可以判定司机的行为不是规范行为；若司机发出的语音口令不位于执行动作之前或者之后，可以判定司机的行为不是规范行为。
例如：假设规范行为为：先发出规范口令，再执行规范动作，规范动作依次为：抬起手臂、举起手臂。其中，检测结果以分数表征，预设的检测结果为90分。
首先检测语音口令是否在执行动作之前发出的，若为是，再判断第一检测结果、第二检测结果是否大于90分，若第一检测结果、第二检测结果均为95分，则可以判定司机的行为为规范行为；若至少有一项未达到90分，例如：第一检测结果为95分、第二检测结果为85分，则可以判定司机的行为不是规范行为。
第二种情况：当规范行为中要求司机发出规范口令位于执行规范动作之间发出的。
首先判断司机发出语音口令是否位于执行动作之间。具体的，可以根据司机发出语音口令时监控音频记录的时间戳和执行动作时监控视频记录的时间戳来确定。例如：规范行为为：规范动作依次为抬起手臂、举起手臂，且在抬起手臂后、举起手臂前发出规范口令。根据监控视频记录的时间戳，分别确定司机抬起手臂和举起手臂的时刻，并且根据监控音频记录的时间戳，确定司机发出语音口令的时刻，判断司机发出语音口令的时刻是否位于司机抬起手臂的时刻和举起手臂的时刻之间，若为是，则可以判定司机发出的语音口令位于执行动作之间。
当司机发出语音口令位于执行动作之间，再判断第一检测结果和第二检测结果是否均满足预设的检测结果，若满足预设的检测结果，则可以判定司机的行为为规范行为，若不满足，则可以判定司机的行为不是规范行为；若司机发出的语音口令不位于执行动作时预设的位置，可以判定司机的行为不是规范行为。
例如：假设规范行为为：规范动作依次为抬起手臂、举起手臂，且在抬起手臂后，举起手臂前发出规范口令。其中，检测结果以分数表征，预设的检测结果为90分。
首先检测语音口令是否在执行抬起手臂之后、举起手臂之前发出的，若为是，再判断第一检测结果、第二检测结果是否大于90分，若第一检测结果、第二检测结果均为95分，则可以判定司机的行为为规范行为；若至少有一项未达到90分，例如：第一检测结果为95分、第二检测结果为85分，则可以判定司机的行为不是规范行为。
第三种情况：当规范行为中要求司机的动作满足规范动作、语音口令满足规范口令，但并不指定语音口令在执行动作时所处的位置时。
判断第一检测结果和第二检测结果是否均满足预设的检测结果，若满足预设的检测结果，则可以判定司机的行为为规范行为，若不满足，则可以判定司机的行为不是规范行为。
例如：假设规范行为包括：规范口令和规范动作，规范动作依次为：抬起手臂、举起手臂。其中，检测结果以分数表征，预设的检测结果为90分。
若第一检测结果、第二检测结果均为95分，则可以判定司机的行为为规范行为；若至少有一项未达到90分，例如：第一检测结果为95分、第二检测结果为85分，则可以判定司机的行为不是规范行为。
应用本实施例，获得司机的语音口令的检测结果，并检测是否为预设的语音口令，并将司机的语音口令与司机的动作均作为司机的行为，可以较为准确检测司机的行为是否为预设行为。
以下以地铁列车为例，对地铁列车处于停车状态时对司机的行为进行检测进行具体解释说明：
预先规定地铁司机在地铁列车处于停车状态时司机行为的流程，如下表1所示：
表1
| 步骤 | 司机行为 |
| 1 | 抬手、位于车厢门正前方 |
| 2 | 面朝显示屏站立 |
| 3 | 面朝车门、伸手关门 |
| 4 | 目光朝向信号灯A |
| 5 | 目光朝向信号灯B |
| 6 | 目光朝向信号灯C |
| 7 | 抬手、目光持续3秒以上朝向显示屏、 |
| 8 | 直立于地表位置处、抬手、目光朝向信灯D |
| 9 | 抬手、目光朝向信号灯E |
| 10 | 发出语音 |
规范行为中要求在执行步骤1-2时，司机位于驾驶室外，执行步骤3-10时，司机位于驾驶室内。
在地铁列车处于停车状态时，视频采集设备开始采集监控视频，对监控视频进行分析，依次对司机的动作、位置等进行检测，并检测司机的行为是否为规范行为。具体检测过程如下：
1、若对监控视频进行分析，确定视频帧中司机的关节点和骨架信息后，根据所确定的关节点之间的角度和骨架信息，判断司机的动作为抬手动作。
另外，检测到司机的位置与车厢门之间的相对位置关系为司机的手臂穿过车厢门，这时可以判定司机的行为为：抬手、位于车厢门正前方。这时可以认为司机的行为与上表中的第一个行为一致，并且在驾驶室外执行的上述行为。因此属于规范行为。
这种情况下，可以认为司机抬手确认各车厢门是否开启。
2、继续对监控视频进行分析，确定视频帧中司机的人脸关键点后，根据所确定的人脸关键点之间的相对位置，判断司机的人脸朝向。
另外，检测到司机的位置与显示屏之间的相对位置关系为司机的人脸朝向朝向显示屏，这时可以判定司机的行为为：面朝显示屏站立。这时可以认为司机的行为与上表中的第二个行为一致，并且在驾驶室外执行的上述行为。因此属于规范行为。
这种情况下，可以认为司机面朝显示屏站立，通过显示屏确定站台有无异常。
3、继续对监控视频进行分析，确定视频帧中司机的人脸关键点后，根据所确定的人脸关键点之间的相对位置，判断司机的人脸朝向，并且检测到司机的位置与车门之间的相对位置关系为司机的人脸朝向朝向车门。
另外确定视频帧中司机的关节点和骨架信息后，根据所确定的关节点之间的角度和骨架信息，判断司机的动作为伸手动作，这时可以判定司机的行为为：面朝车门、伸手关门。这时可以认为司机的行为与上表中的第三个行为一致，并且在驾驶室内执行的上述行为。因此属于规范行为。
这种情况下，可以认为司机通过面朝车门、伸手关门，来确认乘客上车后伸手进司机室内关闭车门、屏蔽门。
4、继续对监控视频进行分析，确定视频帧中司机的人脸关键点后，根据所确定的人脸关键点之间的相对位置，判断司机的人脸朝向。
另外，检测到司机的位置与信号灯A之间的相对位置关系为司机的人脸朝向朝向信号灯A，这时可以判定司机的行为为：目光朝向信号灯A。这时可以认为司机的行为与上表中的第四个行为一致，并且在驾驶室内执行的上述行为。因此属于规范行为。
这种情况下，可以认为司机通过目光朝向信号灯A确认各车厢门是否关闭。
5、继续对监控视频进行分析，确定视频帧中司机的人脸关键点后，根据所确定的人脸关键点之间的相对位置，判断司机的人脸朝向。
另外，检测到司机的位置与信号灯B之间的相对位置关系为司机的人脸朝向朝向信号灯B，这时可以判定司机的行为为：目光朝向信号灯B。这时可以认为司机的行为与上表中的第五个行为一致，并且在驾驶室内执行的上述行为。因此属于规范行为。
这种情况下，可以认为司机通过目光朝向信号灯B确认各车厢门的车头锁闭灯。
6、继续对监控视频进行分析，确定视频帧中司机的人脸关键点后，根据所确定的人脸关键点之间的相对位置，判断司机的人脸朝向。
另外，检测到司机的位置与信号灯C之间的相对位置关系为司机的人脸朝向朝向信号灯C，这时可以判定司机的行为为：目光朝向信号灯C。这时可以认为司机的行为与上表中的第四个行为一致，并且在驾驶室内执行的上述行为。因此属于规范行为。
这种情况下，可以认为司机通过目光朝向信号灯C确认红外线是否检测到人或物。
7、继续对监控视频进行分析，确定视频帧中司机的关节点和骨架信息后，根据所确定的关节点之间的角度和骨架信息，判断司机的动作为抬手动作。并确定视频帧中司机的人脸关键点后，根据所确定的人脸关键点之间的相对位置，判断司机的人脸朝向。
另外，根据对视频帧的分析，获得人脸朝向的持续时长5秒。这时可以判定司机的行为为：抬手、目光持续3秒以上朝向显示屏。这时可以认为司机的行为与上表中的第七个行为一致，并且在驾驶室内执行的上述行为。因此属于规范行为。
这种情况下，可以认为司机通过抬手看屏蔽门和车门之间光带是否有夹人夹物等异常。
8、继续对监控视频进行分析，确定视频帧中司机的关节点和骨架信息后，根据所确定的关节点之间的角度和骨架信息，判断司机的姿态信息为直立。并检测到司机的位置为地标位置。
另外，确定视频帧中司机的关节点和骨架信息后，根据所确定的关节点之间的角度和骨架信息，判断司机的动作为抬手动作。
确定视频帧中司机的人脸关键点后，根据所确定的人脸关键点之间的相对位置，判断司机的人脸朝向。并检测到司机的位置与信号灯D之间的相对位置关系为司机的人脸朝向朝向信号灯D。这时可以判定司机的行为为：直立于地表位置处、抬手、目光朝向信灯D。这时可以认为司机的行为与上表中的第八个行为一致，并且在驾驶室内执行的上述行为。因此属于规范行为。
这种情况下，可以认为司机通过直立于地表位置处、抬手、目光朝向信灯D确认站务员给出的屏蔽门关闭信号。
9、继续对监控视频进行分析，确定视频帧中司机的关节点和骨架信息后，根据所确定的关节点之间的角度和骨架信息，判断司机的动作为抬手动作。
另外确定视频帧中司机的人脸关键点后，根据所确定的人脸关键点之间的相对位置，判断司机的人脸朝向。并检测到司机的位置与信号灯E之间的相对位置关系为司机的人脸朝向朝向信号灯E。这时可以判定司机的行为为：抬手、目光朝向信号灯E。这时可以认为司机的行为与上表中的第九个行为一致，并且在驾驶室内执行的上述行为。因此属于规范行为。
这种情况下，可以认为司机通过抬手、目光朝向信号灯E确认出站信号机信号开发。
10、继续对监控视频进行分析，通过根据语音识别模型识别司机的语音口令。这时可以判定司机的行为为：发出语音。这时可以认为司机的行为与上表中的第十个行为一致，并且在驾驶室内执行的上述行为。因此属于规范行为。
这种情况下，可以认为司机通过发出语音进行自我提示。
由以上可知，由于司机执行的行为均属于规范行为，因此，可以认为司机的行为符合规范行为要求。
与上述行为检测方法相对应，本发明实施例还提供了一种行为检测装置。
参见图4，图4为本发明实施例提供的一种装置的结构示意图，上述装置包括：
视频获得模块401，用于获得车辆处于停止状态时监控场景的监控视频，其中，所述监控场景包括：驾驶室内和驾驶室外。
动作和位置获得模块402，用于对所述监控视频进行分析，获得驾驶室内司机依次执行的动作以及驾驶室外司机依次执行的动作，并获得执行各个动作时所述司机在所述监控场景中的位置。
行为检测模块403，用于按照所述司机在驾驶室内依次执行的动作的顺序和驾驶室外依次执行的动作的顺序，根据所获得的动作和位置，检测所述司机的行为是否为规范行为。
由以上可见，应用本实施例提供的方案进行行为检测时，获得车辆处于停止状态时监控场景的监控视频后，对上述监控视频进行分析，获得驾驶室内司机依次执行的动作以及驾驶室外司机依次执行的动作，并获得执行各个动作时司机在监控场景中的位置。由上述司机的动作和位置能够确定司机的行为。然后按照司机在驾驶室内依次执行的动作的顺序和驾驶室外依次执行的动作的顺序，检测司机的行为是否为规范行为。可见，应用上述实施例提供的方案能够对车辆处于停止状态时司机的行为进行检测。
本发明的一个实施例中，上述装置还包括：
音频获得模块，用于获得所述监控场景的监控音频。
上述行为检测模块403，包括：
第一检测结果获得子模块，用于按照所述司机在驾驶室内依次执行的动作的顺序和驾驶室外依次执行的动作的顺序，根据所获得的动作和位置，检测所述司机的动作是否为规范动作，获得第一检测结果。
语音识别子模块，用于对所述监控音频进行语音识别。
第二检测结果模块子模块，用于根据语音识别结果检测所述司机的语音口令是否规范口令，获得第二检测结果。
行为检测子模块，用于根据所述第一检测结果和第二检测结果，检测所述司机的行为是否为规范行为。
应用本实施例，获得司机的语音口令的检测结果，并检测是否为预设的语音口令，并将司机的语音口令与司机的动作均作为司机的行为，可以较为准确检测司机的行为是否为预设行为。
本发明的一个实施例中，上述动作和位置获得模块402，包括：
信息获得子模块，用于对所述监控视频进行分析，获得司机的关节点和骨架信息。
角度计算子模块，用于根据所述关节点和骨架信息，计算所述司机的预设关节之间的角度。
动作获得子模块，用于根据所述角度获得驾驶室内司机依次执行的动作以及驾驶室外司机依次执行的动作。
位置获得子模块，用于获得执行各个动作时所述司机在所述监控场景中的位置。
应用本实施例，通过司机的预设关节之间的角度获得司机依次执行的动作，由于不同的动作各个关节之间的角度是不一样的。因此根据关节之间的角度，能够较为准确获得司机依次执行的动作。
本发明的一个实施例中，上述动作获得子模块，包括：
姿态信息确定单元，用于根据所述骨架信息确定所述司机的姿态信息。
动作确定单元，用于根据所述姿态信息和所述角度，确定驾驶室内司机依次执行的动作以及驾驶室外司机依次执行的动作。
应用本实施例，通过司机的预设关节之间的角度和姿态信息获得司机依次执行的动作，由于不同的动作的姿态信息和各个关节之间的角度是不一样的。依次，根据姿态信息和关节之间的角度，能够较为准确获得司机依次执行的动作。
本发明的一个实施例中，上述动作和位置获得模块402，包括：
人脸关键点模块子模块，用于对所述监控视频进行分析，获得所述司机的人脸关键点。
人脸朝向确定子模块，用于根据所述司机的人脸关键点，确定驾驶室内司机的人脸朝向以及驾驶室外司机的人脸朝向。
位置获得子模块，用于获得执行各个动作时所述司机在所述监控场景中的位置。
应用本实施例，由于司机的动作还包括人脸朝向，且人脸朝向与人脸关键点的相对位置有关，因此根据人脸关键点，可以较为准确确定司机的人脸朝向。
本发明的一个实施例中，上述行为检测模块403，包括：
预设位置检测子模块，用于在所述司机执行所获得的动作时，检测所获得的司机的位置是否为预设位置。
或者
预设位置关系检测子模块，用于在所述司机执行所获得的动作时，检测所获得的司机的位置与预设位置之间的位置关系是否为预设位置关系。
应用本实施例提供的方案，司机执行动作时所处位置在不同情况下，通过检测上述位置是否为预设的位置，或者检测上述位置关系是否为预设的位置关系，可以较为准确检测司机的行为是否为预设行为。
本发明的一个实施例中，上述预设位置关系检测子模块，包括：
持续时长获得单元，用于获得所述司机执行所获得动作的持续时长。
持续时长检测单元，用于检测所述司机执行所获得的动作时司机的位置与预设位置之间的位置关系是否为预设位置关系、且所述持续时长是否大于预设时长。
规范行为确定单元，用于根据检测结果确定所述司机的行为是否为规范行为。
应用本实施例提供的方案，在获得司机的动作持续时长后，检测该动作持续时长为预设的动作持续时长，可以较为准确检测司机的行为是否为预设行为。
与上述行为检测方法相对应，本发明实施例还提供了一种终端设备。
参见图5，图5为本发明实施例还提供了一种终端设备的结构示意图，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信，
存储器503，用于存放计算机程序；
处理器501，用于执行存储器503上所存放的程序时，实现本发明实施例提供的行为检测方法。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例提供的一种行为检测方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行时实现本发明实施例提供的一种行为检测方法。
由以上可见，应用本实施例提供的方案进行行为检测时，获得车辆处于停止状态时监控场景的监控视频后，对上述监控视频进行分析，获得驾驶室内司机依次执行的动作以及驾驶室外司机依次执行的动作，并获得执行各个动作时司机在监控场景中的位置。由上述司机的动作和位置能够确定司机的行为。然后按照司机在驾驶室内依次执行的动作的顺序和驾驶室外依次执行的动作的顺序，检测司机的行为是否为规范行为。可见，应用上述实施例提供的方案能够对车辆处于停止状态时司机的行为进行检测。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、终端设备、计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (16)
1.一种行为检测方法，其特征在于，所述方法包括：
获得车辆处于停止状态时监控场景的监控视频，其中，所述监控场景包括：驾驶室内和驾驶室外；
对所述监控视频进行分析，获得驾驶室内司机依次执行的动作以及驾驶室外司机依次执行的动作，并获得执行各个动作时所述司机在所述监控场景中的位置；
按照所述司机在驾驶室内依次执行的动作的顺序和驾驶室外依次执行的动作的顺序，根据所获得的动作和位置，检测所述司机的行为是否为规范行为。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获得所述监控场景的监控音频；
所述按照所述司机在驾驶室内依次执行的动作的顺序和驾驶室外依次执行的动作的顺序，根据所获得的动作和位置，检测所述司机的行为是否为规范行为，包括：
按照所述司机在驾驶室内依次执行的动作的顺序和驾驶室外依次执行的动作的顺序，根据所获得的动作和位置，检测所述司机的动作是否为规范动作，获得第一检测结果；
对所述监控音频进行语音识别；
根据语音识别结果检测所述司机的语音口令是否为规范口令，获得第二检测结果；
根据所述第一检测结果和第二检测结果，检测所述司机的行为是否为规范行为。
3.根据权利要求1所述的方法，其特征在于，所述对所述监控视频进行分析，获得驾驶室内司机依次执行的动作以及驾驶室外司机依次执行的动作，包括：
对所述监控视频进行分析，获得司机的关节点和骨架信息；
根据所述关节点和骨架信息，计算所述司机的预设关节之间的角度；
根据所述角度获得驾驶室内司机依次执行的动作以及驾驶室外司机依次执行的动作。
4.根据权利要求3所述的方法，其特征在于，所述根据所述角度获得驾驶室内司机依次执行的动作以及驾驶室外司机依次执行的动作，包括：
根据所述骨架信息，确定所述司机的姿态信息；
根据所述姿态信息和所述角度，确定驾驶室内司机依次执行的动作以及驾驶室外司机依次执行的动作。
5.根据权利要求1所述的方法，其特征在于，所述对所述监控视频进行分析，获得驾驶室内司机依次执行的动作以及驾驶室外司机依次执行的动作，包括：
对所述监控视频进行分析，获得所述司机的人脸关键点；
根据所述司机的人脸关键点，确定驾驶室内司机的人脸朝向以及驾驶室外司机的人脸朝向。
6.根据权利要求3-5中任一所述的方法，其特征在于，所述根据所获得的动作和位置，检测所述司机的行为是否为规范行为，包括：
检测所述司机执行所获得的动作时司机的位置是否为预设位置，并根据检测结果确定所述司机的行为是否为规范行为；
或者
检测所述司机执行所获得的动作时司机的位置与预设位置之间的位置关系是否为预设位置关系，并根据检测结果确定所述司机的行为是否为规范行为。
7.根据权利要求6所述的方法，其特征在于，所述检测所述司机执行所获得的动作时司机的位置与预设位置之间的位置关系是否为预设位置关系，并根据检测结果确定所述司机的行为是否为规范行为，包括：
获得所述司机执行所获得动作的持续时长；
检测所述司机执行所获得的动作时司机的位置与预设位置之间的位置关系是否为预设位置关系、且所述持续时长是否大于预设时长；
根据检测结果确定所述司机的行为是否为规范行为。
8.一种行为检测装置，其特征在于，所述装置包括：
视频获得模块，用于获得车辆处于停止状态时监控场景的监控视频，其中，所述监控场景包括：驾驶室内和驾驶室外；
动作和位置获得模块，用于对所述监控视频进行分析，获得驾驶室内司机依次执行的动作以及驾驶室外司机依次执行的动作，并获得执行各个动作时所述司机在所述监控场景中的位置；
行为检测模块，用于按照所述司机在驾驶室内依次执行的动作的顺序和驾驶室外依次执行的动作的顺序，根据所获得的动作和位置，检测所述司机的行为是否为规范行为。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括：
音频获得模块，用于获得所述监控场景的监控音频；
所述行为检测模块，包括：
第一检测结果获得子模块，用于按照所述司机在驾驶室内依次执行的动作的顺序和驾驶室外依次执行的动作的顺序，根据所获得的动作和位置，检测所述司机的动作是否为规范动作，获得第一检测结果；
语音识别子模块，用于对所述监控音频进行语音识别；
第二检测结果模块子模块，用于根据语音识别结果检测所述司机的语音口令是否为规范口令，获得第二检测结果；
行为检测子模块，用于根据所述第一检测结果和第二检测结果，检测所述司机的行为是否为规范行为。
10.根据权利要求8所述的装置，其特征在于，所述动作和位置获得模块，包括：
信息获得子模块，用于对所述监控视频进行分析，获得司机的关节点和骨架信息；
角度计算子模块，用于根据所述关节点和骨架信息，计算所述司机的预设关节之间的角度；
动作获得子模块，用于根据所述角度获得驾驶室内司机依次执行的动作以及驾驶室外司机依次执行的动作；
位置获得子模块，用于获得执行各个动作时所述司机在所述监控场景中的位置。
11.根据权利要求10所述的装置，其特征在于，所述动作获得子模块，包括：
姿态信息确定单元，用于根据所述骨架信息，确定所述司机的姿态信息；
动作确定单元，用于根据所述姿态信息和所述角度，确定驾驶室内司机依次执行的动作以及驾驶室外司机依次执行的动作。
12.根据权利要求8所述的装置，其特征在于，所述动作和位置获得模块，包括：
人脸关键点模块子模块，用于对所述监控视频进行分析，获得所述司机的人脸关键点；
人脸朝向确定子模块，用于根据所述司机的人脸关键点，确定驾驶室内司机的人脸朝向以及驾驶室外司机的人脸朝向；
位置获得子模块，用于获得执行各个动作时所述司机在所述监控场景中的位置。
13.根据权利要求10-12中任一所述的装置，其特征在于，所述行为检测模块，包括：
预设位置检测子模块，用于在所述司机执行所获得的动作时，检测所获得的司机的位置是否为预设位置；
或者
预设位置关系检测子模块，用于在所述司机执行所获得的动作时，检测所获得的司机的位置与预设位置之间的位置关系是否为预设位置关系。
14.根据权利要求13所述的装置，其特征在于，所述预设位置关系检测子模块，包括：
持续时长获得单元，用于获得所述司机执行所获得动作的持续时长；
持续时长检测单元，用于检测所述司机执行所获得的动作时司机的位置与预设位置之间的位置关系是否为预设位置关系、且所述持续时长是否大于预设时长；
规范行为确定单元，用于根据检测结果确定所述司机的行为是否为规范行为。
15.一种终端设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一所述的方法步骤。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911249007.6A CN113033239B (zh) | 2019-12-09 | 2019-12-09 | 一种行为检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911249007.6A CN113033239B (zh) | 2019-12-09 | 2019-12-09 | 一种行为检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113033239A CN113033239A (zh) | 2021-06-25 |
| CN113033239B true CN113033239B (zh) | 2023-07-07 |
Family
ID=76450912
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911249007.6A Active CN113033239B (zh) | 2019-12-09 | 2019-12-09 | 一种行为检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113033239B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113822250A (zh) * | 2021-11-23 | 2021-12-21 | 中船（浙江）海洋科技有限公司 | 一种船舶驾驶异常行为检测方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105787438A (zh) * | 2016-02-03 | 2016-07-20 | 郑州畅想高科股份有限公司 | 一种基于视频的机车司机值乘状态检测方法及系统 |
| CN107545225A (zh) * | 2016-06-23 | 2018-01-05 | 杭州海康威视数字技术股份有限公司 | 一种检测车载驾驶员违规行为的方法、装置及电子设备 |
| CN108216252A (zh) * | 2017-12-29 | 2018-06-29 | 中车工业研究院有限公司 | 一种地铁司机车载驾驶行为分析方法、车载终端及系统 |
| CN108900000A (zh) * | 2018-07-20 | 2018-11-27 | 北京百度网讯科技有限公司 | 电气倒闸监控方法、装置、设备及计算机可读介质 |
| CN109410630A (zh) * | 2018-09-05 | 2019-03-01 | 西安艾润物联网技术服务有限责任公司 | 基于驾驶员信息的车位推送方法及相关产品 |
| CN109508576A (zh) * | 2017-09-14 | 2019-03-22 | 杭州海康威视数字技术股份有限公司 | 一种异常驾驶行为检测方法、装置及电子设备 |
| CN110163580A (zh) * | 2019-05-31 | 2019-08-23 | 国网江苏省电力有限公司常州供电分公司 | 多任务vr培训场景的创建方法、vr培训系统以及存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7515981B2 (en) * | 2005-10-07 | 2009-04-07 | Ops Solutions Llc | Light guided assembly system |
| US9443152B2 (en) * | 2011-05-03 | 2016-09-13 | Ionroad Technologies Ltd. | Automatic image content analysis method and system |
| EP2857276B1 (en) * | 2013-08-20 | 2018-12-12 | Harman International Industries, Incorporated | Driver assistance system |
-
2019
- 2019-12-09 CN CN201911249007.6A patent/CN113033239B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105787438A (zh) * | 2016-02-03 | 2016-07-20 | 郑州畅想高科股份有限公司 | 一种基于视频的机车司机值乘状态检测方法及系统 |
| CN107545225A (zh) * | 2016-06-23 | 2018-01-05 | 杭州海康威视数字技术股份有限公司 | 一种检测车载驾驶员违规行为的方法、装置及电子设备 |
| CN109508576A (zh) * | 2017-09-14 | 2019-03-22 | 杭州海康威视数字技术股份有限公司 | 一种异常驾驶行为检测方法、装置及电子设备 |
| CN108216252A (zh) * | 2017-12-29 | 2018-06-29 | 中车工业研究院有限公司 | 一种地铁司机车载驾驶行为分析方法、车载终端及系统 |
| CN108900000A (zh) * | 2018-07-20 | 2018-11-27 | 北京百度网讯科技有限公司 | 电气倒闸监控方法、装置、设备及计算机可读介质 |
| CN109410630A (zh) * | 2018-09-05 | 2019-03-01 | 西安艾润物联网技术服务有限责任公司 | 基于驾驶员信息的车位推送方法及相关产品 |
| CN110163580A (zh) * | 2019-05-31 | 2019-08-23 | 国网江苏省电力有限公司常州供电分公司 | 多任务vr培训场景的创建方法、vr培训系统以及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| Driving behavior modeling and evaluation for bus enter and leave stop process;Qingwen Han 等;《Journal of Ambient Intelligence and Humanized Computing》;全文 * |
| 产品使用方式行为层级建构;周明;装饰(第05期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113033239A (zh) | 2021-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11232326B2 (en) | System and process for detecting, tracking and counting human objects of interest | |
| US11048942B2 (en) | Method and apparatus for detecting a garbage dumping action in real time on video surveillance system | |
| EP2801956B1 (en) | Passenger counter | |
| CN105769120B (zh) | 疲劳驾驶检测方法和装置 | |
| WO2021098657A1 (zh) | 视频检测方法、装置、终端设备及可读存储介质 | |
| US9662977B2 (en) | Driver state monitoring system | |
| WO2019223655A1 (zh) | 非机动车载人的检测 | |
| US20210064857A1 (en) | Image analysis device, image analysis method, and recording medium | |
| CN112016528B (zh) | 行为识别方法、装置、电子设备及可读存储介质 | |
| CN111126153B (zh) | 基于深度学习的安全监测方法、系统、服务器及存储介质 | |
| CN110889376A (zh) | 一种基于深度学习的安全帽佩戴检测系统及方法 | |
| CN112071084A (zh) | 一种利用深度学习判断违章停车的方法和系统 | |
| CN114973215A (zh) | 一种疲劳驾驶的确定方法、装置及电子设备 | |
| CN108198431A (zh) | 车辆停放检测设备 | |
| CN112052815A (zh) | 一种行为检测方法、装置及电子设备 | |
| CN113033239B (zh) | 一种行为检测方法及装置 | |
| WO2012014972A1 (ja) | 車両挙動解析装置及び車両挙動解析プログラム | |
| CN111178194A (zh) | 入侵检测方法、装置和设备 | |
| CN109306834B (zh) | 一种基于视觉的汽车电动尾门开启方法 | |
| KR101407394B1 (ko) | 방치물 및 도난물 탐지 시스템 | |
| CN112061065B (zh) | 一种车内行为识别报警方法、设备、电子设备及存储介质 | |
| JP2023144233A (ja) | 車室内監視システム | |
| CN115272939A (zh) | 事故车检测方法及装置、电子设备及计算机可读存储介质 | |
| CN111881733B (zh) | 一种工人作业工步规范视觉识别判定与指导方法和系统 | |
| CN114529874A (zh) | 行为检测方法、装置、设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |