CN114764912A - 驾驶行为识别方法、设备和存储介质 - Google Patents

驾驶行为识别方法、设备和存储介质 Download PDF

Info

Publication number
CN114764912A
CN114764912A CN202011631342.5A CN202011631342A CN114764912A CN 114764912 A CN114764912 A CN 114764912A CN 202011631342 A CN202011631342 A CN 202011631342A CN 114764912 A CN114764912 A CN 114764912A
Authority
CN
China
Prior art keywords
joint point
driving behavior
target
driver
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011631342.5A
Other languages
English (en)
Inventor
慕晨
王春利
郭红星
周金星
孙靖
陈茹梦
周萍萍
赵璐
张勇
朱明明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Changan University
Original Assignee
ZTE Corp
Changan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp, Changan University filed Critical ZTE Corp
Priority to CN202011631342.5A priority Critical patent/CN114764912A/zh
Priority to PCT/CN2021/130751 priority patent/WO2022142786A1/zh
Publication of CN114764912A publication Critical patent/CN114764912A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Social Psychology (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域，尤其涉及一种驾驶行为识别方法、设备和存储介质，该驾驶行为识别方法包括：获取驾驶人员对应的多帧骨骼图像；根据多帧所述骨骼图像确定所述驾驶人员对应的动作特征参数；根据所述动作特征参数，确定所述驾驶人员的当前驾驶行为状态。通过根据骨骼图像识别驾驶人员的当前驾驶行为状态，可以避免外界环境因素的影响，提高了检测驾驶人员的驾驶行为状态的准确度。

Description

驾驶行为识别方法、设备和存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种驾驶行为识别方法、设备和存储介质。
背景技术
随着经济水平的不断发展，汽车已经成为一种普遍的交通工具，但随之而来的是大量的交通事故。通过对这些事故的分析，可以得知驾驶人员的危险行为已经成为交通事故的主要原因。因此驾驶人员的行为规范至关重要，对其行为检测的需求也不断提高。现有的检测驾驶人员行为的方法一般是通过采集、识别图像的方式来对驾驶人员的行为进行检测，但这种检测方法常常受到灯光等环境因素的影响，识别准确度不高。
因此如何提高识别驾驶人员的驾驶行为的准确度成为亟需解决的问题。
发明内容
本发明提供了一种驾驶行为识别方法、设备和存储介质，通过根据骨骼图像识别驾驶人员的当前驾驶行为状态，可以避免外界环境因素的影响，提高了检测驾驶人员的驾驶行为状态的准确度。
第一方面，本发明实施例提供了一种驾驶行为识别方法，所述方法包括：获取驾驶人员当前姿态对应的多帧骨骼图像；根据多帧所述骨骼图像确定所述驾驶人员对应的动作特征参数；根据所述动作特征参数，确定所述驾驶人员的当前驾驶行为状态。
第二方面，本发明实施例还提供了一种驾驶行为识别设备，所述驾驶行为识别设备包括处理器和存储器；所述存储器用于存储程序；所述处理器，用于用于执行所述程序并在执行所述程序时实现如上述的驾驶行为识别方法。
第三方面，本发明实施例还提供了一种存储介质，用于可读存储，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述的驾驶行为识别方法。
本发明实施例公开了一种驾驶行为识别方法、设备和存储介质，通过获取驾驶人员当前姿态对应的多帧骨骼图像，根据多帧骨骼图像确定驾驶人员对应的动作特征参数，能够避免外界环境因素的干扰，可以更加准确地确定动作特征参数；通过根据动作特征参数，确定驾驶人员的当前驾驶行为状态，可以提高检测驾驶人员的驾驶行为状态的准确度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种驾驶行为识别系统的示意图；
图2是本发明实施例提供的一种对人体区域进行部位分割的示意图；
图3是本发明实施例提供的一种驾驶行为识别设备的结构示意图；
图4是本发明实施例提供的一种驾驶行为识别方法的示意性流程图；
图5是本发明实施例提供的一种骨骼图像的示意图；
图6是本发明实施例提供的一种确定驾驶人员对应的动作特征参数的子步骤的示意性流程图；
图7是本发明实施例提供的一种确定目标距离和目标夹角的子步骤的示意性流程图；
图8是本发明实施例提供的一种目标距离的示意图；
图9是本发明实施例提供的一种目标夹角的示意图；
图10是本发明实施例提供的一种驾驶人员处于标准驾驶姿势状态的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特有的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
本发明的实施例提供了一种驾驶行为识别方法、设备、系统和存储介质。其中，该驾驶行为识别方法可以应用于驾驶行为识别设备中，通过根据骨骼图像识别驾驶人员的当前驾驶行为状态，可以避免外界环境因素的影响，提高了检测驾驶人员的驾驶行为状态的准确度。
示例性的，驾驶行为识别设备可以包括服务器或终端。其中，服务器可以为独立的服务器，也可以为服务器集群；终端可以是智能手机、平板电脑、笔记本电脑和台式电脑等电子设备。
请参阅图1，图1是本发明的实施例提供的一种驾驶行为识别系统的示意图。该行为驾驶识别系统包括驾驶行为识别设备10、图像采集装置20和目标设备30。
其中，驾驶行为识别设备10可以与图像采集装置20有线或无线通信连接，驾驶行为识别设备10与目标设备30无线通信连接。图像采集装置20用于采集包括驾驶人员的深度图像并生成骨骼图像，将骨骼图像发送给驾驶行为识别设备10。驾驶行为识别设备10用于对图像采集装置20发送的骨骼图像进行识别处理，以确定驾驶人员对应的当前驾驶行为状态；驾驶行为识别设备10还可以根据当前驾驶行为状态向目标设备30发送预警消息。目标设备30用于接收驾驶行为识别设备10发送的预警消息，并根据预警消息进行报警。
在一些实施例中，图像采集装置20可以采集包含驾驶人员对应的多帧深度图像，并对每帧深度图像进行人体识别、人体部位识别以及骨骼关节点定位等处理，得到多帧骨骼图像。驾驶行为识别设备10可以接收图像采集装置20发送的多帧骨骼图像，根据多帧骨骼图像确定驾驶人员对应的动作特征参数；然后，根据动作特征参数，确定驾驶人员的当前驾驶行为状态。
示例性的，图像采集装置20可以包括用于采集深度图像的拍摄装置或传感装置。例如，图像采集装置20可以是体感器。在本发明实施例中，可以使用体感器采集包括驾驶人员的深度图像。
需要说明的是，体感器可以包括深度摄像头、彩色摄像头以及光源发射器，可以实现获取目标物体的深度图像、彩色图像以及三维数据信息等深度信息。示例性的，获取深度信息的工作原理：将光源发射器发出的光投射到现实的场景中，由于发射出去的光会因为目标物体表面形状的不同会产生改变，由此可以将这种光进行收集并进行编码就可以得到场景中各个像素点与深度摄像头的之间的距离差值，进而得到目标物体的位置和深度信息。
在一些实施例中，体感器在采集包括驾驶人员的深度图像之后，可以对深度图像进行人体识别。例如，根据预设的分割策略对深度图像中的背景和人物进行分割，以确定驾驶人员对应的人体区域或人体轮廓信息，得到的深度图像包括驾驶人员对应的人体区域或人体轮廓信息。然后，体感器对人体识别得到的深度图像进行人体部位识别。
请参阅图2，图2是本发明实施例提供的一种对人体区域进行部位分割的示意图。如图2所示，对深度图像中的人体区域进行部位分割，得到多个部位图像，例如头、手臂、腿、四肢以及躯干等部位图像；对多个部位图像进行特征值分类匹配，以确定各部位图像对应的人体部位。最后，体感器根据人体部位对深度图像进行骨骼关节点定位，得到骨骼图像。示例性的，将识别出的人体部位添加至虚拟的骨骼模型中，并根据人体部位的位置信息进行调整，得到包括多个关节点的骨骼图像。
示例性的，骨骼图像可以包括但不限于：头部关节点、颈部关节点、手部关节点、胳膊肘关节点、手腕关节点、肩部关节点以及脊柱关节点等关节点。
请参阅图3，图3是本发明的实施例提供的一种驾驶行为识别设备10的结构示意图。驾驶行为识别设备10可以包括处理器11和存储器12，其中，所述处理器11和所述存储器12可以通过总线连接，该总线比如为I2C(Inter-integrated Circuit)总线等任意适用的总线。
其中，所述存储器12可以包括非易失性存储介质和内存储器。非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种驾驶行为识别方法。
其中，所述处理器11用于提供计算和控制能力，支撑整个驾驶行为识别设备10的运行。
在一实施例中，处理器11用于运行存储在存储器12中的计算机程序，并在执行计算机程序时实现如下步骤：
获取驾驶人员当前姿态对应的多帧骨骼图像；根据多帧所述骨骼图像确定所述驾驶人员对应的动作特征参数；根据所述动作特征参数，确定所述驾驶人员的当前驾驶行为状态。
在一个实施例中，处理器11在实现获取驾驶人员当前姿态对应的多帧骨骼图像时，用于实现：
获取图像采集装置发送的多帧所述骨骼图像，其中，多帧所述骨骼图像为所述图像采集装置对包含所述驾驶人员的多帧深度图像进行人体识别、人体部位识别以及骨骼关节点定位生成。
在一个实施例中，所述动作特征参数包括所述驾驶人员的头部与手腕之间的目标距离、前臂和后臂之间的目标夹角以及所述驾驶人员当前姿态的动作持续时间；处理器11在实现根据多帧所述骨骼图像确定所述驾驶人员对应的动作特征参数时，用于实现：
根据多帧所述骨骼图像确定所述驾驶人员对应的所述目标距离、所述目标夹角以及所述动作持续时间。
在一个实施例中，处理器11在实现根据所述驾驶人员对应的动作特征参数，确定所述驾驶人员的当前驾驶行为状态时，用于实现：
根据所述目标距离、所述目标夹角以及所述动作持续时间，确定所述驾驶人员的所述当前驾驶行为状态。
在一个实施例中，处理器11在实现根据多帧所述骨骼图像确定所述驾驶人员对应的所述目标距离、所述目标夹角以及所述动作持续时间之前，还用于实现：
根据预设的平滑处理策略，对初始的多帧所述骨骼图像进行平滑处理，得到平滑处理后的多帧所述骨骼图像。
在一个实施例中，处理器11在实现根据多帧所述骨骼图像确定所述驾驶人员对应的所述目标距离、所述目标夹角以及所述动作持续时间时，用于实现：
提取平滑处理后的每帧所述骨骼图像中的关节点信息，根据所述关节点信息确定所述驾驶人员对应的所述目标距离和所述目标夹角；确定对应的所述目标距离与所述目标夹角满足预设条件的连续多帧所述骨骼图像，根据连续多帧所述骨骼图像对应的帧数和帧率，确定所述动作持续时间。
在一个实施例中，所述骨骼图像包括头部关节点、颈部关节点、胳膊肘关节点、手腕关节点、肩部关节点以及脊柱关节点；处理器11在实现根据所述关节点信息确定所述驾驶人员对应的所述目标距离和所述目标夹角时，用于实现：
根据所述脊柱关节点与所述颈部关节点建立三维空间坐标系，分别确定头部关节点、胳膊肘关节点、手腕关节点、肩部关节点在所述三维空间坐标系中的头部关节点坐标、胳膊肘关节点坐标、手腕关节点坐标以及肩部关节点坐标；根据所述头部关节点坐标和所述手腕关节点坐标，确定所述目标距离；根据所述胳膊肘关节点坐标、所述手腕关节点坐标以及所述肩部关节点坐标，确定所述目标夹角。
在一个实施例中，处理器11在实现根据所述胳膊肘关节点坐标、所述手腕关节点坐标以及所述肩部关节点坐标，确定所述目标夹角时，用于实现：
根据所述胳膊肘关节点坐标与所述肩部关节点坐标，确定所述胳膊肘关节点与所述肩部关节点之间的第一向量；根据所述胳膊肘关节点坐标与所述手腕关节点坐标，确定所述胳膊肘关节点与所述手腕关节点之间的第二向量；基于预设的向量点积公式，根据所述第一向量与所述第二向量，确定所述目标夹角。
在一个实施例中，处理器11在实现根据所述目标距离、所述目标夹角以及所述动作持续时间，确定所述驾驶人员的所述当前驾驶行为状态之前，还用于实现：
获取所述驾驶人员处于标准驾驶姿势状态时的头部与手腕之间的参照距离以及前臂与后臂之间的参照夹角；当所述参照距离处于预设的距离范围值中，确定所述参照距离为标准距离；当所述参照夹角处于预设的第一夹角范围值中，确定所述参照夹角为标准夹角。
在一个实施例中，所述当前驾驶行为状态包括危险驾驶行为状态，所述危险驾驶行为状态包括开车抽烟、开车打电话、急转弯、双手脱离方向盘、捡拾物品中至少一种；处理器11在根据所述目标距离、所述目标夹角以及所述动作持续时间，确定所述驾驶人员的所述当前驾驶行为状态时，用于实现：
若所述目标距离小于所述标准距离并小于预设的距离阈值，且所述动作持续时间大于或等于第一时间阈值，则根据所述目标夹角，确定所述当前驾驶行为状态是否为开车抽烟或开车打电话，其中，预设的所述距离阈值小于所述标准距离；若所述目标距离大于所述标准距离，则根据所述目标距离、所述标准距离、所述目标夹角、所述标准夹角以及所述动作持续时间，确定所述当前驾驶行为状态是否为急转弯、双手脱离方向盘、捡拾物品中的一种。
在一个实施例中，处理器11在实现确定所述驾驶人员的当前驾驶行为状态之后，还用于实现：
若所述当前驾驶行为状态为危险驾驶行为状态，则根据所述危险驾驶行为状态进行预警，包括向预设范围内的目标设备发送预警消息和/或在导航地图上显示当前车辆的预警状态，其中，所述目标设备包括车辆、用户携带的移动终端。
其中，所述处理器11可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
如图4所示，图4是本发明的实施例提供的一种驾驶行为识别方法的示意性流程图。该驾驶行为识别方法可以应用于驾驶行为识别设备中，实现根据骨骼图像识别驾驶人员的当前驾驶行为状态，可以避免外界环境因素的影响，提高了检测驾驶人员的驾驶行为状态的准确度。该驾驶行为识别方法包括步骤S10至步骤S30。
步骤S10、获取驾驶人员当前姿态对应的多帧骨骼图像。
需要说明的是，本发明实施例提供的驾驶行为识别方法，可以应用于检测驾驶人员是否安全驾驶、虚拟游戏中的模拟驾驶以及运动员姿态训练等场景中。本发明实施例将以检测驾驶人员是否安全驾驶为例进行详细说明。
在一些实施例中，获取驾驶人员当前姿态对应的多帧骨骼图像，可以包括：获取图像采集装置发送的多帧骨骼图像，其中，多帧骨骼图像为图像采集装置对包含驾驶人员的多帧深度图像进行人体识别、人体部位识别以及骨骼关节点定位生成。
其中，图像采集装置可以是体感器。
需要说明的是，在本发明实施例中，可以通过体感器获取驾驶人员对应的骨骼图像。示例性的，体感器可以安装在汽车驾驶室内，对驾驶室进行监控。例如，可以在汽车启动后，体感器采集包含驾驶人员的深度图像。体感器可以通过内置的软件开发工具包对深度图像进行人体识别、人体部位识别以及骨骼关节点定位等处理，得到驾驶人员当前姿态对应的多帧骨骼图像。
示例性的，体感器包括半身模式和全身模式；其中，半身模式对应的拍摄距离为0.4米至3米，全身模式对应的拍摄距离为0.8米至4米。在驾驶室内，由于驾驶人员的动作大部分是在上半身进行的，因此可以设定体感器为半身模式。
在一些实施例中，体感器在采集包含驾驶人员的深度图像之后，还可以包括：根据预设的数据格式，对采集的深度图像中的深度数据进行格式转换，得到格式转换后的深度图像。
需要说明的是，为了使深度图像有更好的显示效果，需要对采集的深度图像中的深度数据进行格式转换。
示例性的，预设的数据格式可以是Mat格式。例如，根据Mat格式对采集的深度图像对应的深度数据进行格式转换，格式转换后的深度图像对应的深度数据为Mat格式。然后，对格式转换后的深度图像进行人体识别、人体部位识别以及骨骼关节点定位等处理。
示例性的，驾驶行为识别设备可以接收体感器发送的多帧骨骼图像。
请参阅图5，图5是本发明实施例提供的一种骨骼图像的示意图。如图5所示，骨骼图像包括驾驶人员对应的骨骼信息。其中，骨骼信息可以包括不同的关节点和各关节点之间的连接关系等。示例性的，关节点可以包括头部关节点、颈部关节点、手部关节点、胳膊肘关节点、手腕关节点、肩部关节点以及脊柱关节点等等。
通过接收体感器发送的多帧骨骼图像，可以实现对驾驶人员的动态动作进行检测和识别，提高了识别驾驶人员的当前驾驶行为状态的准确性。
步骤S20、根据多帧所述骨骼图像确定所述驾驶人员对应的动作特征参数。
需要说明的是，在本发明实施例中，动作特征参数可以包括驾驶人员的头部与手腕之间的目标距离、前臂和后臂之间的目标夹角以及驾驶人员当前姿态的动作持续时间。
其中，目标距离与目标夹角可以通过骨骼图像中的关节点对应的位置关系来确定；动作持续时间是指驾驶人员保持当前姿态的时间。
通过根据多帧骨骼图像确定驾驶人员对应的动作特征参数，由于骨骼图像不易受外界环境的干扰，而且可以在无灯光场景下实现，因此可以提高识别驾驶人员对应的动作特征参数的准确度，还可以避免隐私泄露。
在一些实施例中，根据多帧骨骼图像确定驾驶人员对应的动作特征参数，可以包括：根据多帧骨骼图像确定驾驶人员对应的目标距离、目标夹角以及动作持续时间。
请参阅图6，图6是本发明实施例提供的一种确定驾驶人员对应的动作特征参数的子步骤的示意性流程图，具体可以包括步骤S201至步骤S203。
步骤S201、根据预设的平滑处理策略，对初始的多帧所述骨骼图像进行平滑处理，得到平滑处理后的多帧所述骨骼图像。
需要说明的是，步骤S201是根据多帧骨骼图像确定驾驶人员对应的目标距离、目标夹角以及动作持续时间之前执行的步骤。
需要说明的是，在本发明实施例中，需要计算机视觉平台中对骨骼图像进行检测和识别，以确定驾驶人员的当前驾驶行为状态。在检测和识别过程中，对驾驶人员的动作特征参数有较高的实时性要求，若不对骨骼图像进行平滑处理，可能导致计算机视觉平台的抖动甚至崩溃。
可以理解的是，初始的多帧骨骼图像是指接收到体感器发送的骨骼图像。平滑处理也叫滤波处理。通过对骨骼图像进行平滑处理，不仅可以减少骨骼图像中的噪声或者失真，而且还可以提高识别效率。
示例性的，预设的平滑处理策略可以包括但不限于均值滤波算法、中值滤波算法、高斯滤波算法以及双边滤波算法等等。
例如，根据均值滤波算法，对初始的多帧骨骼图像进行平滑处理，得到平滑处理后的多帧骨骼图像。
步骤S202、提取平滑处理后的每帧所述骨骼图像中的关节点信息，根据所述关节点信息确定所述驾驶人员对应的所述目标距离和所述目标夹角。
需要说明的是，根据多帧骨骼图像确定驾驶人员对应的目标距离、目标夹角以及动作持续时间，包括步骤S202和步骤S203。
请参阅图7，图7是本发明实施例提供的一种确定驾驶人员对应的目标距离和目标夹角的子步骤的示意性流程图，步骤S202可以包括步骤S2021至步骤S2023。
步骤S2021、根据所述脊柱关节点与所述颈部关节点建立三维空间坐标系，分别确定头部关节点、胳膊肘关节点、手腕关节点、肩部关节点在所述三维空间坐标系中的头部关节点坐标、胳膊肘关节点坐标、手腕关节点坐标以及肩部关节点坐标。
其中，手腕关节点可以替换成手部关节点。
示例性的，可以将脊柱关节点与颈部关节点之间的连线作为三维空间坐标系的Z轴，将脊柱关节点作为原点，再基于Z轴确定X轴和Y轴，从而建立得到三维空间坐标系。
在一些实施方式中，可以根据各关节点与原点之间的距离，以及与X轴、Y轴、Z轴之间的夹角，分别确定头部关节点、胳膊肘关节点、手腕关节点、肩部关节点在三维空间坐标系中的头部关节点坐标、胳膊肘关节点坐标、手腕关节点坐标以及肩部关节点坐标。
在另一些实施方式中，可以根据各关节点在X轴、Y轴、Z轴上的投影，确定各关节点对应的坐标。具体确定各关节点的坐标的过程，在此不作赘述。
步骤S2022、根据所述头部关节点坐标和所述手腕关节点坐标，确定所述目标距离。
需要说明的是，目标距离是指头部关节点与手腕关节点之间的距离。请参阅图8，图8是本发明实施例提供的一种目标距离的示意图。
示例性的，头部关节点坐标可以表示为(x1,y1,z1)；手腕关节点坐标可以表示为(x2,y2,z2)；目标距离可以表示为B。
在本发明实施例中，可以通过欧式距离公式计算头部关节点坐标和手腕关节点坐标之间的目标距离B，如下所示：
Figure BDA0002876615670000071
步骤S2023、根据所述胳膊肘关节点坐标、所述手腕关节点坐标以及所述肩部关节点坐标，确定所述目标夹角。
需要说明的是，目标夹角是指胳膊肘关节点与手腕关节点的连线和胳膊肘关节点与肩部关节点的连线之间的角度。请参阅图9，图9是本发明实施例提供的一种目标夹角的示意图。
在一些实施例中，根据胳膊肘关节点坐标、手腕关节点坐标以及肩部关节点坐标，确定目标夹角，可以包括：根据胳膊肘关节点坐标与肩部关节点坐标，确定胳膊肘关节点与肩部关节点之间的第一向量；根据胳膊肘关节点坐标与手腕关节点坐标，确定胳膊肘关节点与手腕关节点之间的第二向量；基于预设的向量点积公式，根据第一向量与第二向量，确定目标夹角。
示例性的，预设的向量点积公式为：
Figure BDA0002876615670000081
式中，
Figure BDA0002876615670000082
与
Figure BDA0002876615670000083
表示两个向量；θ表示向量
Figure BDA0002876615670000084
与向量
Figure BDA0002876615670000085
之间的夹角。
示例性的，可以根据胳膊肘关节点坐标与肩部关节点坐标，确定胳膊肘关节点与肩部关节点之间连线的第一向量，其中，第一向量可以表示为
Figure BDA0002876615670000086
根据胳膊肘关节点坐标与手腕关节点坐标，确定胳膊肘关节点与手腕关节点之间连线的第二向量，其中，第二向量可以表示为
Figure BDA0002876615670000087
示例性的，目标夹角可以表示为D。基于上述向量点积公式，根据第一向量
Figure BDA0002876615670000088
与第二向量
Figure BDA0002876615670000089
可以得到目标夹角D对应的余弦值：
Figure BDA00028766156700000810
进而可以得到目标夹角D为：
Figure BDA00028766156700000811
通过根据头部关节点坐标、胳膊肘关节点坐标、手腕关节点坐标以及肩部关节点坐标，计算简单，可以准确地确定驾驶人员的当前姿态对应的目标距离和目标夹角。
步骤S203、确定对应的所述目标距离与所述目标夹角满足预设条件的连续多帧所述骨骼图像，根据连续多帧所述骨骼图像对应的帧数和帧率，确定所述动作持续时间。
需要说明的是，预设条件是指目标距离满足设定的距离条件和目标夹角满足设定的夹角条件。可以理解的是，当驾驶人员的当前姿态对应的目标距离满足设定的距离条件和目标夹角满足设定的夹角条件时，开始记录驾驶人员的当前姿态对应的动作持续时间；当动作持续时间满足设定的时间阈值时，根据当前姿态确定驾驶人员的当前驾驶行为状态。
在本发明实施例中，可以通过连续多帧骨骼图像来确定动作持续时间。
在一些实施例中，当确定对应的目标距离与目标夹角满足预设条件的连续多帧骨骼图像时，根据连续多帧骨骼图像对应的帧数和帧率，确定动作持续时间。
示例性的，帧率(Frame rate)＝帧数(Frames)/时间(Time)，帧率的单位为帧每秒。其中，帧率可以根据实际情况设定，具体数值在此不作限定。动作持续时间可以表示为T。
例如，若满足预设条件的连续多帧骨骼图像对应的帧数为10帧，帧率为50帧每秒，则可以确定动作持续时间T为0.2秒。
通过确定对应的目标距离与目标夹角满足预设条件的连续多帧骨骼图像，可以根据连续多帧骨骼图像对应的帧数和帧率，确定动作持续时间，实现对驾驶人员的当前姿态进行实时监控。
步骤S30、根据所述动作特征参数，确定所述驾驶人员的当前驾驶行为状态。
在一些实施例中，根据目标距离、目标夹角以及动作持续时间，确定驾驶人员的当前驾驶行为状态之前，还可以包括：获取驾驶人员处于标准驾驶姿势状态时的头部与手腕之间的参照距离以及前臂与后臂之间的参照夹角。
需要说明的是，由于不同的驾驶人员在体型上存在差别，因此需要根据每个驾驶人员的实际体型设定标准距离和标准夹角，从而可以将目标距离、目标夹角分别与标准距离、标准夹角进行对比，从而提高了识别当前驾驶行为状态的准确性。
请参阅图10，图10是本发明实施例提供的一种驾驶人员处于标准驾驶姿势状态的示意图。如图10所示，在进行识别驾驶人员的当前驾驶行为状态之前，可以提示驾驶人员保持标准驾驶姿势。例如，提示驾驶人员双手扶方向盘、上半身靠着座椅等等。然后获取驾驶人员的标准驾驶姿势状态的骨骼图像，根据骨骼图像确定驾驶人员的头部与手腕之间的参照距离以及前臂与后臂之间的参照夹角。
示例性的，可以根据头部关节点坐标与手腕关节点坐标之间的距离，确定参照距离。
示例性的，前臂与与后臂之间的参照夹角，可以根据胳膊肘关节点坐标、手腕关节点坐标以及肩部关节点坐标进行确定，具体过程可参见上述实施例的详细说明，具体过程在此不再赘述。
示例性的，当参照距离处于预设的距离范围值中，确定参照距离为标准距离；当参照夹角处于预设的第一夹角范围值中，确定参照夹角为标准夹角。
其中，预设的距离范围值与预设的第一夹角范围值可以根据实际情况设定，具体数值在此不作限定。
在本发明实施例中，可以对预设数量的试验人员进行手腕与头部之间的距离测量以及关节角度测量。当试验人员处于标准驾驶姿势时，测量手腕与头部之间的距离，得到距离范围值为(41.5cm-60.2cm)；测量胳膊肘和肩膀连线与胳膊肘和手腕连线之间的角度范围，得到第一夹角范围值为(100.5°-167.8°)。
示例性的，当参照距离处于距离范围值(41.5cm-60.2cm)中时，可以确定参照距离为标准距离。当参照夹角处于第一夹角范围值(100.5°-167.8°)中时，可以确定参照夹角为标准夹角。
可以理解的是，当驾驶人员的参照距离处于距离范围值内以及参照夹角处于第一夹角范围值内时，说明驾驶人员的当前姿态是标准的、安全的，因此可以将参照距离确定为标准距离，将参照角度确定为标准夹角。
示例性的，标准距离可以表示为A，标准夹角可以表示为C。
通过获取驾驶人员的标准驾驶姿势状态的骨骼图像，并根据骨骼图像确定驾驶人员的头部与手腕之间的参照距离以及前臂与后臂之间的参照夹角，从而可以确定标准距离和标准夹角，后续在确定驾驶人员的当前驾驶行为状态时，可以将目标距离与标准距离进行对比以及将目标夹角与标准夹角进行对比，从而提高了识别当前驾驶行为状态的准确性。
在一些实施例中，根据动作特征参数，确定驾驶人员的当前驾驶行为状态，可以包括：根据目标距离、目标夹角以及动作持续时间，确定驾驶人员的当前驾驶行为状态。
需要说明的是，当前驾驶行为状态可以包括危险驾驶行为状态，其中，危险驾驶行为状态包括开车抽烟、开车打电话、急转弯、双手脱离方向盘、捡拾物品中至少一种。
通过根据目标距离、目标夹角以及动作持续时间综合识别驾驶人员的当前驾驶行为状态，可以提高识别的准确度。
在一些实施例中，根据目标距离、目标夹角以及动作持续时间，确定驾驶人员的当前驾驶行为状态，可以包括：若目标距离小于标准距离并小于预设的距离阈值，且动作持续时间大于或等于第一时间阈值，则根据目标夹角，确定当前驾驶行为状态是否为开车抽烟或开车打电话，其中，预设的距离阈值小于标准距离。
需要说明的是，当目标距离B小于标准距离A时，驾驶人员的当前驾驶行为状态可能是开车抽烟或开车打电话；当目标距离B大于或等于标准距离A时，驾驶人员的当前驾驶行为状态可能是急转弯、双手脱离方向盘、捡拾物品中的一种。
示例性的，当目标距离B小于标准距离A并小于预设的距离阈值，且动作持续时间T大于或等于第一时间阈值，则根据目标夹角D，确定当前驾驶行为状态是否为开车抽烟或开车打电话。
其中，预设的距离阈值和第一时间阈值可以根据实际情况设定，具体数值在此不作限定。
示例性的，预设的距离阈值可以是0.1m，第一时间阈值可以是0.8s，其中，标准距离A大于预设的距离阈值0.1m。
在本发明实施例中，当目标距离B小于标准距离A并小于预设的距离阈值0.1m，且动作持续时间T大于或等于第一时间阈值0.8s时，则根据目标夹角D，确定当前驾驶行为状态是否为开车抽烟或开车打电话。
可以理解的是，在本发明实施例中，目标距离可以包括驾驶人员的左手与头部之间对应的第一目标距离和右手与头部之间对应的第二目标距离，目标夹角可以包括驾驶人员的左手臂对应的第一目标夹角和右手臂对应的第二目标夹角。
示例性的，目标距离B可以包括第一目标距离B1与第二目标距离B2；目标夹角D可以包括第一目标夹角D1和第二目标夹角D2。
在一些实施例中，当第一目标夹角或第二目标夹角处于预设的第二夹角范围值时，确定当前驾驶行为状态为开车打电话。
其中，预设的第二夹角范围值可以根据实际情况设定，此处不做唯一限定，例如，第二夹角范围值为[0°，5°)。示例性的，当第一目标夹角D1或第二目标夹角D2为[0°，5°)时，可以确定当前驾驶行为状态为开车打电话。
在另一些实施例中，当第一目标夹角或第二目标夹角处于预设的第三夹角范围值，且在预设时长内第一目标夹角或第二目标夹角多次增大和减小，或者第一目标距离或第二目标距离多次增大和减小时，确定当前驾驶行为状态为开车抽烟。
其中，预设的第三夹角范围值可以根据实际情况设定，此处不做唯一限定，例如，第三夹角范围值为[5°，10°]。预设时长可以根据实际情况设定，此处不做唯一限定，例如，预设时长可以是10s。
示例性的，当第一目标夹角D1或第二目标夹角D2为[5°，10°]，且在预设时长10s内第一目标夹角D1或第二目标夹角D2多次增大和减小，或者第一目标距离B1或第二目标距离B2多次增大和减小时，可以确定当前驾驶行为状态为开车抽烟。
可以理解的是，当驾驶人员在抽烟时，一般会在10s内出现反复的动作，例如，第一目标夹角D1或第二目标夹角D2从[5°，10°]增大到标准夹角C，再从标准夹角C减小到[5°，10°]；或者，第一目标距离B1或第二目标距离B2从距离阈值0.1m增大到标准距离A，再从标准距离A减小到距离阈值0.1m。
在另一些实施例中，根据目标距离、目标夹角以及动作持续时间，确定驾驶人员的当前驾驶行为状态，可以包括：若目标距离大于标准距离，则根据目标距离、标准距离、目标夹角、标准夹角以及动作持续时间，确定当前驾驶行为状态是否为急转弯、双手脱离方向盘、捡拾物品中的一种。
在本发明实施例中，在判定目标距离B大于标准距离A时，则可以根据目标距离B、标准距离A、目标夹角D、标准夹角C以及动作持续时间T，确定当前驾驶行为状态是否为急转弯、双手脱离方向盘、捡拾物品中的一种。
在一些实施方式中，若第一目标夹角或第二目标夹角大于标准夹角且小于或等于预设角度阈值、且动作持续时间小于或等于第二时间阈值，则确定当前驾驶行为状态为急转弯。
其中，第二时间阈值可以根据实际情况设定，此处不做唯一限定，例如，第二时间阈值可以是1s。预设角度阈值可以根据实际情况设定，具体数值在此不作限定，例如，预设角度阈值可以是180°。
示例性的，当目标夹角D大于标准夹角C且小于或等于预设角度阈值180°、且动作持续时间T小于或等于第二时间阈值1s时，可以确定驾驶人员的当前驾驶行为状态为急转弯。
在另一些实施方式中，若第一目标距离和第二目标距离均大于标准距离、第一目标夹角和第二目标夹角均大于标准夹角、且动作持续时间大于或等于第一时间阈值，则确定当前驾驶行为状态为双手脱离方向盘。
示例性的，当第一目标距离B1和第二目标距离B2均大于标准距离A、第一目标夹角D1和第二目标夹角D2均大于标准夹角C、且动作持续时间T大于或等于第一时间阈值0.8s时，可以确定驾驶人员的当前驾驶行为状态为双手脱离方向盘。
在另一些实施方式中，若第一目标距离或第二目标距离大于标准距离、第一目标夹角或第二目标夹角等于预设角度阈值、且动作持续时间大于或等于第一时间阈值，则确定当前驾驶行为状态为捡拾物品。
示例性的，当第一目标距离B1或第二目标距离B2大于标准距离A、第一目标夹角D1或第二目标夹角D2等于预设角度阈值、且动作持续时间T大于或等于第一时间阈值0.8s时，可以确定驾驶人员的当前驾驶行为状态为捡拾物品。
在一些实施例中，确定驾驶人员的当前驾驶行为状态之后，还包括：若当前驾驶行为状态为危险驾驶行为状态，则根据危险驾驶行为状态进行预警，包括向预设范围内的目标设备发送预警消息和/或在导航地图上显示当前车辆的预警状态，其中，目标设备包括车辆、用户携带的移动终端。
示例性的，移动终端可以包括但不限于智能手机、平板电脑、笔记本电脑、个人数字助理以及穿戴式设备等电子设备。
示例性的，若当前驾驶行为状态为开车抽烟、开车打电话、急转弯、双手脱离方向盘、捡拾物品中至少一种，则进行预警。
在一些实施方式中，可以向预设范围内的目标设备发送预警消息。其中，预设范围可以根据实际情况设定，具体数值在此不作限定。例如，预设范围可以是20米，也可以是50米。
例如，若当前驾驶行为状态为开车抽烟，则向预设范围内的目标设备发送预警消息。
示例性的，在发送预警消息时，可以基于4G、5G、蓝牙、Zigbee以及Wifi等通信方式与车辆、用户携带的移动终端建立通信连接，并向移动终端发送预警消息。其中，发送预警消息的方式可以包括但不限于短信、电话、微信以及邮件等等。移动终端在接收到预警消息后，可以通过灯光、声音以及震动等方式进行报警，以提醒用户注意行车安全。
在一些实施方式中，在导航地图上显示当前车辆的预警状态。
需要说明的是，导航地图是指当前时间车辆或行人正在使用的电子地图。
示例性的，可以在导航地图上标注当前车辆的预警状态并实时更新。例如，可以对当前车辆所在的位置进行高亮化，以提醒其它车辆与行人注意安全。
通过在确定当前驾驶行为状态为危险驾驶行为状态时，向预设范围内的目标设备发送预警消息和/或在导航地图上显示当前车辆的预警状态，可以减少交通事故的发生。
上述实施例提供的驾驶行为识别方法、设备、系统和存储介质，通过接收体感器发送的多帧骨骼图像，可以实现对驾驶人员的动态动作进行检测和识别，提高了识别驾驶人员的当前驾驶行为状态的准确性；通过根据多帧骨骼图像确定驾驶人员对应的动作特征参数，由于骨骼图像不易受外界环境的干扰，而且可以在无灯光场景下实现，因此可以提高识别驾驶人员对应的动作特征参数的准确度，还可以避免隐私泄露；通过对骨骼图像进行平滑处理，不仅可以减少骨骼图像中的噪声或者失真，而且还可以提高识别效率；通过根据头部关节点坐标、胳膊肘关节点坐标、手腕关节点坐标以及肩部关节点坐标，计算简单，可以准确地确定驾驶人员的当前姿态对应的目标距离和目标夹角；通过确定对应的目标距离与目标夹角满足预设条件的连续多帧骨骼图像，可以根据连续多帧骨骼图像对应的帧数和帧率，确定动作持续时间，实现对驾驶人员的当前姿态进行实时监控；通过获取驾驶人员的标准驾驶姿势状态的骨骼图像，并根据骨骼图像确定驾驶人员的头部与手腕之间的参照距离以及前臂与后臂之间的参照夹角，从而可以确定标准距离和标准夹角，后续在确定驾驶人员的当前驾驶行为状态时，可以将目标距离与标准距离进行对比以及将目标夹角与标准夹角进行对比，从而提高了识别当前驾驶行为状态的准确性；通过根据目标距离、目标夹角以及动作持续时间综合识别驾驶人员的当前驾驶行为状态，可以提高识别的准确度；通过在确定当前驾驶行为状态为危险驾驶行为状态时，向预设范围内的目标设备发送预警消息和/或在导航地图上显示当前车辆的预警状态，可以减少交通事故的发生。
本发明的实施例中还提供一种存储介质，用于可读存储，所述存储介质存储有程序，所述程序中包括程序指令，所述处理器执行所述程序指令，实现本发明实施例提供的任一项驾驶行为识别方法。
例如，该程序被处理器加载，可以执行如下步骤：
获取驾驶人员当前姿态对应的多帧骨骼图像；根据多帧所述骨骼图像确定所述驾驶人员对应的动作特征参数；根据所述动作特征参数，确定所述驾驶人员的当前驾驶行为状态。
其中，所述存储介质可以是前述实施例所述的驾驶行为识别设备的内部存储单元，例如所述驾驶行为识别设备的硬盘或内存。所述存储介质也可以是所述驾驶行为识别设备的外部存储设备，例如所述驾驶行为识别设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字卡(Secure Digital Card，SD Card)，闪存卡(FlashCard)等。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在可存储介质上，存储介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
以上参照附图说明了本发明的优选实施例，并非因此局限本发明的权利范围。本领域技术人员不脱离本发明的范围和实质内所作的任何修改、等同替换和改进，均应在本发明的权利范围之内。

Claims (11)

1.一种驾驶行为识别方法，所述方法包括：
获取驾驶人员当前姿态对应的多帧骨骼图像；
根据多帧所述骨骼图像确定所述驾驶人员对应的动作特征参数；
根据所述动作特征参数，确定所述驾驶人员的当前驾驶行为状态。
2.根据权利要求1所述的驾驶行为识别方法，其特征在于，所述获取驾驶人员当前姿态对应的多帧骨骼图像，包括：
获取图像采集装置发送的多帧所述骨骼图像，其中，多帧所述骨骼图像为所述图像采集装置对包含所述驾驶人员的多帧深度图像进行人体识别、人体部位识别以及骨骼关节点定位生成。
3.根据权利要求1所述的驾驶行为识别方法，其特征在于，所述动作特征参数包括所述驾驶人员的头部与手腕之间的目标距离、前臂和后臂之间的目标夹角以及所述驾驶人员当前姿态的动作持续时间；所述根据多帧所述骨骼图像确定所述驾驶人员对应的动作特征参数，包括：
根据多帧所述骨骼图像确定所述驾驶人员对应的所述目标距离、所述目标夹角以及所述动作持续时间；
所述根据所述驾驶人员对应的动作特征参数，确定所述驾驶人员的当前驾驶行为状态，包括：
根据所述目标距离、所述目标夹角以及所述动作持续时间，确定所述驾驶人员的所述当前驾驶行为状态。
4.根据权利要求3所述的驾驶行为识别方法，其特征在于，所述根据多帧所述骨骼图像确定所述驾驶人员对应的所述目标距离、所述目标夹角以及所述动作持续时间之前，还包括：
根据预设的平滑处理策略，对初始的多帧所述骨骼图像进行平滑处理，得到平滑处理后的多帧所述骨骼图像；
所述根据多帧所述骨骼图像确定所述驾驶人员对应的所述目标距离、所述目标夹角以及所述动作持续时间，包括：
提取平滑处理后的每帧所述骨骼图像中的关节点信息，根据所述关节点信息确定所述驾驶人员对应的所述目标距离和所述目标夹角；
确定对应的所述目标距离与所述目标夹角满足预设条件的连续多帧所述骨骼图像，根据连续多帧所述骨骼图像对应的帧数和帧率，确定所述动作持续时间。
5.根据权利要求4所述的驾驶行为识别方法，其特征在于，所述骨骼图像包括头部关节点、颈部关节点、胳膊肘关节点、手腕关节点、肩部关节点以及脊柱关节点；所述根据所述关节点信息确定所述驾驶人员对应的所述目标距离和所述目标夹角，包括：
根据所述脊柱关节点与所述颈部关节点建立三维空间坐标系，分别确定头部关节点、胳膊肘关节点、手腕关节点、肩部关节点在所述三维空间坐标系中的头部关节点坐标、胳膊肘关节点坐标、手腕关节点坐标以及肩部关节点坐标；
根据所述头部关节点坐标和所述手腕关节点坐标，确定所述目标距离；
根据所述胳膊肘关节点坐标、所述手腕关节点坐标以及所述肩部关节点坐标，确定所述目标夹角。
6.根据权利要求5所述的驾驶行为识别方法，其特征在于，所述根据所述胳膊肘关节点坐标、所述手腕关节点坐标以及所述肩部关节点坐标，确定所述目标夹角，包括：
根据所述胳膊肘关节点坐标与所述肩部关节点坐标，确定所述胳膊肘关节点与所述肩部关节点之间的第一向量；
根据所述胳膊肘关节点坐标与所述手腕关节点坐标，确定所述胳膊肘关节点与所述手腕关节点之间的第二向量；
基于预设的向量点积公式，根据所述第一向量与所述第二向量，确定所述目标夹角。
7.根据权利要求3所述的驾驶行为识别方法，其特征在于，所述根据所述目标距离、所述目标夹角以及所述动作持续时间，确定所述驾驶人员的所述当前驾驶行为状态之前，还包括：
获取所述驾驶人员处于标准驾驶姿势状态时的头部与手腕之间的参照距离以及前臂与后臂之间的参照夹角；
当所述参照距离处于预设的距离范围值中，确定所述参照距离为标准距离；
当所述参照夹角处于预设的第一夹角范围值中，确定所述参照夹角为标准夹角。
8.根据权利要求7所述的驾驶行为识别方法，其特征在于，所述当前驾驶行为状态包括危险驾驶行为状态，所述危险驾驶行为状态包括开车抽烟、开车打电话、急转弯、双手脱离方向盘、捡拾物品中至少一种；所述根据所述目标距离、所述目标夹角以及所述动作持续时间，确定所述驾驶人员的所述当前驾驶行为状态，包括：
若所述目标距离小于所述标准距离并小于预设的距离阈值，且所述动作持续时间大于或等于第一时间阈值，则根据所述目标夹角，确定所述当前驾驶行为状态是否为开车抽烟或开车打电话，其中，预设的所述距离阈值小于所述标准距离；
若所述目标距离大于所述标准距离，则根据所述目标距离、所述标准距离、所述目标夹角、所述标准夹角以及所述动作持续时间，确定所述当前驾驶行为状态是否为急转弯、双手脱离方向盘、捡拾物品中的一种。
9.根据权利要求1-8任一项所述的驾驶行为识别方法，其特征在于，所述确定所述驾驶人员的当前驾驶行为状态之后，还包括：
若所述当前驾驶行为状态为危险驾驶行为状态，则根据所述危险驾驶行为状态进行预警，包括向预设范围内的目标设备发送预警消息和/或在导航地图上显示当前车辆的预警状态，其中，所述目标设备包括车辆、用户携带的移动终端。
10.一种驾驶行为识别设备，其特征在于，包括：
存储器，用于存储程序；
处理器，用于执行所述程序并在执行所述程序时实现如权利要求1至9任一项所述的驾驶行为识别方法。
11.一种存储介质，用于可读存储，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至9任一项所述的驾驶行为识别方法。
CN202011631342.5A 2020-12-30 2020-12-30 驾驶行为识别方法、设备和存储介质 Pending CN114764912A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011631342.5A CN114764912A (zh) 2020-12-30 2020-12-30 驾驶行为识别方法、设备和存储介质
PCT/CN2021/130751 WO2022142786A1 (zh) 2020-12-30 2021-11-15 驾驶行为识别方法、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011631342.5A CN114764912A (zh) 2020-12-30 2020-12-30 驾驶行为识别方法、设备和存储介质

Publications (1)

Publication Number Publication Date
CN114764912A true CN114764912A (zh) 2022-07-19

Family

ID=82259027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011631342.5A Pending CN114764912A (zh) 2020-12-30 2020-12-30 驾驶行为识别方法、设备和存储介质

Country Status (2)

Country Link
CN (1) CN114764912A (zh)
WO (1) WO2022142786A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115129162A (zh) * 2022-08-29 2022-09-30 上海英立视电子有限公司 一种基于人体图像变化的画面事件驱动方法及系统
CN115471826A (zh) * 2022-08-23 2022-12-13 中国航空油料集团有限公司 航空加油车安全驾驶行为判别方法、装置和安全运维系统
CN116965781A (zh) * 2023-04-28 2023-10-31 南京晓庄学院 一种驾驶员生命体征和驾驶行为监控方法及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117409484A (zh) * 2023-12-14 2024-01-16 四川汉唐云分布式存储技术有限公司 基于云值守的客户违规行为检测方法、装置及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10152642B2 (en) * 2016-12-16 2018-12-11 Automotive Research & Testing Center Method for detecting driving behavior and system using the same
CN111301280A (zh) * 2018-12-11 2020-06-19 北京嘀嘀无限科技发展有限公司 一种危险状态识别方法及装置
CN109886150A (zh) * 2019-01-29 2019-06-14 上海佑显科技有限公司 一种基于Kinect摄像机的驾驶行为识别方法
CN110688921A (zh) * 2019-09-17 2020-01-14 东南大学 一种基于人体动作识别技术的驾驶员抽烟行为检测方法
CN111461020B (zh) * 2020-04-01 2024-01-19 浙江大华技术股份有限公司 不安全使用手机行为的识别方法、设备及相关存储介质
CN111666818B (zh) * 2020-05-09 2023-06-16 大连理工大学 一种驾驶员异常姿态检测方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115471826A (zh) * 2022-08-23 2022-12-13 中国航空油料集团有限公司 航空加油车安全驾驶行为判别方法、装置和安全运维系统
CN115471826B (zh) * 2022-08-23 2024-03-26 中国航空油料集团有限公司 航空加油车安全驾驶行为判别方法、装置和安全运维系统
CN115129162A (zh) * 2022-08-29 2022-09-30 上海英立视电子有限公司 一种基于人体图像变化的画面事件驱动方法及系统
CN116965781A (zh) * 2023-04-28 2023-10-31 南京晓庄学院 一种驾驶员生命体征和驾驶行为监控方法及系统
CN116965781B (zh) * 2023-04-28 2024-01-05 南京晓庄学院 一种驾驶员生命体征和驾驶行为监控方法及系统

Also Published As

Publication number Publication date
WO2022142786A1 (zh) 2022-07-07

Similar Documents

Publication Publication Date Title
CN114764912A (zh) 驾驶行为识别方法、设备和存储介质
CN106952303B (zh) 车距检测方法、装置和系统
US9714037B2 (en) Detection of driver behaviors using in-vehicle systems and methods
JP4173901B2 (ja) 車両周辺監視装置
JP4173902B2 (ja) 車両周辺監視装置
US9158738B2 (en) Apparatus for monitoring vicinity of a vehicle
US10194059B2 (en) Image processing apparatus and image processing method
JP2015007953A (ja) 車両乗車人数の監視装置及び車両乗車人数の監視方法並びにコンピュータ可読記憶媒体
US20180204078A1 (en) System for monitoring the state of vigilance of an operator
US10477155B2 (en) Driving assistance method, driving assistance device, and recording medium recording program using same
CN109766755A (zh) 人脸识别方法及相关产品
CN112489425A (zh) 车辆防撞预警方法、装置、车载终端设备和存储介质
CN111597879A (zh) 一种基于监控视频的姿态检测方法、装置及系统
EP3725217A1 (en) Electronic device and method for measuring heart rate
CN110942474B (zh) 机器人目标跟踪方法、设备及存储介质
JP5878634B2 (ja) 特徴抽出方法、プログラム及びシステム
JP2014038401A (ja) 車両周辺監視装置
CN114518106B (zh) 高精度地图垂向要素更新检测方法、系统、介质及设备
KR20130051691A (ko) 차량충돌 통보 시스템 및 방법
JP7412514B1 (ja) キャビンモニタリング方法及び上記キャビンモニタリング方法を実行するキャビンモニタリングシステム
JP2022544348A (ja) 対象を識別する方法とシステム
CN111797659A (zh) 辅助驾驶方法、装置、存储介质及电子设备
CN115320626B (zh) 基于人车状态的危险感知能力预测方法、装置及电子设备
CN115509222B (zh) 信息处理方法、存储介质和信息处理装置
US20240127477A1 (en) Method and system of pose estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination