CN115719347A - 行为识别方法、装置、电子设备及车辆 - Google Patents

Abstract

本公开涉及一种行为识别方法、装置、电子设备及车辆，该方法包括：获取驾驶员的第一图像集合和第二图像集合；根据所述第一图像集合获取第一光流矢量场，以及根据所述第二图像集合获取第二光流矢量场；获取所述第一光流矢量场和所述第二光流矢量场的矢量数值差值；根据所述矢量数值差值确定所述驾驶员是否存在危险驾驶行为。提供了一种基于图像分析光流矢量场变化来识别驾驶员是否存在危险驾驶行为的方法，能够实时地监测到驾驶员是否存在危险驾驶行为，及时地避免安全隐患。

Description

行为识别方法、装置、电子设备及车辆

技术领域

本公开涉及驾驶安全防护技术领域，具体地，涉及一种行为识别方法、装置、电子设备及车辆。

背景技术

目前，对于驾驶员的驾驶行为的监控，一种方式是采用安装监控摄像头的方式监控司机驾驶行为，在发现危险行为时由监控平台的工作人员提醒驾驶员，另一种是通过传感器监测驾驶员心率或者气味等，容易存在较大误差且存在环境等干扰因素，因此现有的危险驾驶行为识别技术仍旧会存在较大的驾驶安全隐患。

因此如何实时地监测驾驶员是否存在危险驾驶行为是目前亟需解决的问题。

发明内容

为克服相关技术中存在的问题，本公开提供一种行为识别方法、装置、电子设备及车辆。

根据本公开实施例的第一方面，提供一种行为识别方法，包括：

获取驾驶员的第一图像集合和第二图像集合；

根据所述第一图像集合获取第一光流矢量场，以及根据所述第二图像集合获取第二光流矢量场；

获取所述第一光流矢量场和所述第二光流矢量场的矢量数值差值；

根据所述矢量数值差值确定所述驾驶员是否存在危险驾驶行为。

可选地，所述获取驾驶员的第一图像集合和第二图像集合，包括：

获取所述驾驶员在第一设定时间内的至少两帧图像作为所述第一图像集合，以及获取所述驾驶员在第二设定时间内的至少两帧图像作为所述第二图像集合；其中，所述第一设定时间和所述第二设定时间连续。

可选地，获取所述驾驶员在第一设定时间内的至少两帧图像作为所述第一图像集合，以及获取所述驾驶员在第二设定时间内的至少两帧图像作为所述第二图像集合，包括：

获取所述驾驶员的连续两帧图像作为所述第一图像集合；

在获取所述第一图像集合后，获取所述驾驶员的连续两帧图像作为所述第二图像集合，所述第二图像集合中的两帧图像与所述第一图像集合中的两帧图像连续。

可选地，所述根据所述第一图像集合获取第一光流矢量场，以及根据所述第二图像集合获取第二光流矢量场，包括：

根据所述第一图像集合和第二图像集合，利用Horn-Schunck算法确定所述第一图像集合的所述第一光流矢量场，以及确定所述第二图像集合的所述第二光流矢量场。

可选地，所述第一光流矢量场包括多个位置的光流矢量场，所述第二光流矢量场包括多个位置的光流矢量场，所述多个位置为所述第一图像集合和所述第二图像集合中任一图像中的多个位置，所述获取所述第一光流矢量场和所述第二光流矢量场的矢量数值差值，包括：

根据所述第一光流矢量场和所述第二光流矢量场中相同位置的矢量数值，获取所述相同位置的矢量数值差值，以得到所述多个位置中的各个位置的矢量数值差值。

可选地，所述根据所述矢量数值差值确定所述驾驶员是否存在危险驾驶行为，包括：

将所述矢量数值差值的绝对值与预设阈值进行对比；

在所述矢量数值差值大于所述预设阈值的情况下，确定所述驾驶员存在危险驾驶行为；

在所述矢量数值差值小于所述预设阈值的情况下，确定所述驾驶员不存在危险驾驶行为。

可选地，所述根据所述矢量数值差值确定所述驾驶员是否存在危险驾驶行为，包括：

将所述矢量数值差值的绝对值与预设阈值进行对比；

在所述矢量数值差值的绝对值大于或等于所述预设阈值的情况下，重复执行所述获取驾驶员的第一图像集合和第二图像集合至所述获取所述第一光流矢量场和所述第二光流矢量场的矢量数值差值的步骤，以对所述矢量数值差值进行监测；

在所述矢量数值差值的绝对值大于或等于所述预设阈值，且所述矢量数值差值大于或等于所述预设阈值的持续时长大于设定时长的情况下，确定所述驾驶员存在危险驾驶行为；

在所述设定时长内所述矢量数值差值的绝对值大于或等于所述预设阈值，且所述矢量数值差值表征的运动方向与上一次获取的矢量数值差值表征的运动方向相反的情况下，确定所述驾驶员不存在危险驾驶行为。

可选地，所述方法还包括：

在所述驾驶员存在危险驾驶行为时，将所述危险驾驶行为的数据传输至车辆报警系统，和/或输出语音报警信息。

可选地，在所述获取驾驶员的第一图像集合和第二图像集合之前，所述方法还包括：

获取车辆速度；

在所述车辆速度大于设定速度的情况下，确定所述车辆处于行驶状态；

响应于所述行驶状态，执行所述获取驾驶员的第一图像集合和第二图像集合的步骤。

根据本公开实施例的第二方面，提供一种行为识别装置，包括：

第一获取模块，被配置为获取驾驶员的第一图像集合和第二图像集合；

第二获取模块，被配置为根据所述第一图像集合获取第一光流矢量场，以及根据所述第二图像集合获取第二光流矢量场；

第三获取模块，被配置为获取所述第一光流矢量场和所述第二光流矢量场的矢量数值差值；

确定模块，被配置为根据所述矢量数值差值确定所述驾驶员是否存在危险驾驶行为。

根据本公开实施例的第三方面，提供一种电子设备，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现本公开第一方面所提供的行为识别方法的步骤。

根据本公开实施例的第四方面，提供一种车辆，所述车辆包括：本公开第三方面所提供的电子设备。

本公开的实施例提供的技术方案可以包括以下有益效果：

在上述技术方案中，通过获取驾驶员的第一图像集合和第二图像集合；根据所述第一图像集合获取第一光流矢量场，以及根据所述第二图像集合获取第二光流矢量场；获取所述第一光流矢量场和所述第二光流矢量场的矢量数值差值；根据所述矢量数值差值确定所述驾驶员是否存在危险驾驶行为。在上述方案中，通过对驾驶员的动作进行图像采集，将采集到的该图像集合以矢量场形式进行表示并对驾驶员各部位运动情况进行分区计算矢量数值差值，通过分析矢量数值差值能够判断驾驶员是否存在危险驾驶行为，从而提供了一种基于图像分析光流矢量场变化来识别驾驶员是否存在危险驾驶行为的方法，能够实时地监测到驾驶员是否存在危险驾驶行为，及时地避免安全隐患。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1是根据一示例性实施例示出的一种行为识别方法的流程图。

图2是根据一示例性实施例示出的另一种行为识别方法的流程图。

图3是根据一示例性实施例示出的另一种行为识别方法的流程图。

图4是根据一示例性实施例示出的又一种行为识别方法的流程图。

图5是根据一示例性实施例示出的又一种行为识别方法的流程图。

图6是根据一示例性实施例示出的一种行为识别装置的框图。

图7是根据一示例性实施例示出的一种电子设备700的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

可以理解的是，本公开中的术语“第一”、“第二”等用于描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开，并不表示特定的顺序或者重要程度。

进一步可以理解的是，本公开实施例中尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。

需要说明的是，本公开中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。

图1是根据一示例性实施例示出的一种行为识别方法的流程图，如图1所示，该方法包括以下步骤：

在步骤S11中，获取驾驶员的第一图像集合和第二图像集合。

示例性地，可以在车辆的驾驶室安装摄像头，用于采集驾驶员的驾驶动作图像，可以以固定时间间隔来采集驾驶动作图像得到图像集合，其中在每个图像集合中包括至少两帧图像，且每帧图像之间的时间间隔控制在一定的时间范围内，从而保证图像的连续性，每个图像集合用于计算一次光流矢量场，每次收集的图像集合之间的时间间隔控制在一定的时间范围内，从而保证获取到相邻的两个图像集合之间的连续性。

可选地，在一种实施方式中，该步骤S11，可以包括：

获取该驾驶员在第一设定时间内的至少两帧图像作为该第一图像集合，以及获取该驾驶员在第二设定时间内的至少两帧图像作为该第二图像集合；其中，该第一设定时间和该第二设定时间连续。

示例性地，该第一设定时间和第二设定时间的时长可以相等，以视频拍摄的一般帧率为例，通常是每秒采集24帧图像，则图像的采集时间间隔为1/24秒，该第一设定时间和第二设定时间的时长可以为1/24秒，该至少两帧图像可以是为两帧或两帧以上的图像，本实施例中以两帧图像为例，第一图像集合和第二图像集合中均可以包括连续的相邻两帧图像，且该第一设定时间和该第二设定时间连续，即可以理解为第一图像集合中的两帧图像与第二图像集合中的两帧图像这四帧图像可以是连续采集的四帧图像。

在步骤S12中，根据该第一图像集合获取第一光流矢量场，以及根据该第二图像集合获取第二光流矢量场。

示例性地，基于每个图像集合中的至少两个图像可以计算得到一个光流矢量场，因此对第一图像集合分析计算可以得出第一光流矢量场，对第二图像集合分析计算得出第二光流矢量场。

可选地，可以该步骤S12，包括：根据该第一图像集合和第二图像集合，利用Horn-Schunck算法确定该第一图像集合的该第一光流矢量场，以及确定该第二图像集合的该第二光流矢量场。

示例性地，第一图像集合中可以为两帧图像，第二图像集合中也可以为两帧图像，关于各个图像集合中两帧图像的采集方式可以参照上述的步骤S11，利用Horn-Schunck算法，通过计算第一图像集合中的两帧图像可以得到该第一光流矢量场，通过计算第二图像集合中的两帧图像可以得到该第二光流矢量场。

其中，需要说明的是，光流(optical flow)是空间运动物体在观察成像平面上的像素运动的瞬时速度。光流法是利用图像序列(可以理解为多帧图像组成的图像序列，在本公开的实施例中一个图像集合可以理解为一个图像序列)中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。光流矢量场也可以称为光流场，它是一个二维矢量场，它可以反映图像上每一点灰度的变化趋势，可看成是带有灰度的像素点在图像平面上运动而产生的瞬时速度场。它包含的信息即是各像点的瞬时运动速度矢量信息。

下面对Horn-Schunck算法进行介绍，示例地，第一图像集合中的两帧图像和第二图像集合中的两帧图像，可以看作是一个图像序列，对于图像序列中的任一图像，图像中的任一像素点(x，y)的亮度在t时刻可以表示为：I(x，y，t)，其中(x，y)表示在图像中的坐标，则像素运动表示为：dx，dy，dt，那么像素变化前后亮度相同表示为：

I(x，y，t)＝I(x+dx，y+dy,t+dt)

泰勒展开：

其中∈是极小值，综合上式，可得：

同除以dt：

其中

为像素速度，也就是光流。令

则：I_xu+I_yv+I_t＝0。

为了求解上述的光流，需要引入新的平滑约束，需要说明的是不同的光流方法引入的约束条件不同。Horn-Schunck算法是通过引入全局平滑约束来做图像中的运动估计。Horn和Schunck设定图像中像素的运动速度和其临近像素的速度相似或相同，且光流场中的每处的速度变化是平滑的，不会突变。基于Horn-Schunck算法引入的约束条件可以表示为：

对于

和

近似处理后可以表示为：

上面得到的两组约束为：

ξ_b＝I_xu+I_yv+I_t

将上述的两组约束综合后可以表示为：

最小化ξ²，其对应偏导为0，可以得到：

进行化简后可以得到

得

通过上述公式可以求得u(x,y),v(x,y)，即可得到所求的光流矢量场E(u,v)。

通过上述方法对第一图像集合和第二图像集合进行计算，即可得到第一光流矢量场以及第二光流矢量场。

在步骤S13中，获取该第一光流矢量场和该第二光流矢量场的矢量数值差值。

示例性地，由于光流矢量场能够表征带有灰度的像素点在图像平面上运动而产生的瞬时速度场，因此通过获取连续采集的相邻两个光流矢量场的差值，就可以反映出图像上各个像素点的运动情况，从而可以分析出驾驶员在驾驶过程中的动作是否出现局部的大幅度变化。比如，驾驶员的双手同时离开方向盘，或者驾驶员身体有大幅度偏离安全驾驶动作的情况，都会使得图像中双手所在位置或者驾驶员身体位置对应的像素点的第一光流矢量场和第二光流矢量场出现一定的差别，需要说明的是，本公开实施例中的第一光流矢量场和该第二光流矢量场指的是图像中某一像素点的第一光流矢量场和该第二光流矢量场，可以对采集到的整幅图像中的所有像素点都计算第一光流矢量场和该第二光流矢量场，也可以是对图像中的局部区域中的各个像素点计算第一光流矢量场和该第二光流矢量场。

基于上述原理，可以将第二光流矢量场和第一光流矢量场中的矢量数值做差计算，得到对应的矢量数值差值。可选地，该步骤S13，包括：

根据该第一光流矢量场和该第二光流矢量场中相同位置的矢量数值，获取该相同位置的矢量数值差值，以得到该多个位置中的各个位置的矢量数值差值。

例如：对于某一像素点，其第一光流矢量场E1(u1,v1)中取矢量数值u1，其第二光流矢量场E2(u2,v2)中取矢量数值u2，则可以获取矢量数值u2和矢量数值u1的矢量数值差值，表示为U0＝u2-u1。

在步骤S14中，根据该矢量数值差值确定该驾驶员是否存在危险驾驶行为。

示例性地，在一种实施方式中，为了降低图像处理的数据量，摄像头可以针对驾驶员的特定区域进行图像采集，例如驾驶员的手部、头部、身体等关键位置，并且可以对采集到的图像中，针对不同的关键位置设置关键点，例如可以为手部设置1-2个关键点，头部设置1-2个关键点，身体设置1-3个关键点，从而可以对图像中与关键点对应的像素点进行光流矢量场的计算，从而可以得到驾驶员的各个关键点的光流矢量场的矢量数值差值，如果某一个关键点的矢量数值差值大于预设阈值，则表示该关键点所属部位的移动范围过大，例如，检测到手部的某一个关键点的矢量数值差值超过了预设阈值，则说明手部的运动范围较大，可以认定存在危险驾驶行为。

另外，需要说明的是，本实施例中以步骤S11中所述的每个集合中有两帧图像为例，则上述的方案可以理解为每采集两帧图像，生成这两帧图像的中关键部位(上述的手部、头部、身体等部位)的像素点的光流矢量场，从而通过实时地采集驾驶员的图像，即可得到该像素点的多个光流矢量场。上述的第一图像集合和第二图像集合可以是任意相邻两次采集的两个图像集合，因此第一光流矢量场和第二光流矢量场是任意两个相邻的两个光流矢量场，通过对实时地获取光流矢量场，即可实现对驾驶员的驾驶行为进行实时地检测。

可选地，在该驾驶员存在危险驾驶行为时，可以将该危险驾驶行为的数据传输至车辆的报警系统，以通过车内进行语音报警提醒司机规范驾驶，还可以将该危险驾驶行为数据同步上传至相关的监控平台，由相关的监控人员对该危险驾驶行为数据进行记录，以及对该危险驾驶行为跟进处理。

在上述方案中，通过对驾驶员的动作进行图像采集，将采集到的该图像集合以矢量场形式进行表示并对驾驶员各部位运动情况进行分区计算矢量数值差值，通过分析矢量数值差值能够判断驾驶员是否存在危险驾驶行为，从而提供了一种基于图像分析光流矢量场变化来识别驾驶员是否存在危险驾驶行为的方法，能够实时地监测到驾驶员是否存在危险驾驶行为，及时地避免安全隐患。

图2是根据一示例性实施例示出的另一种行为识别方法的流程图，如图2所示，该步骤S11，可以包括以下步骤：

在步骤S111中，获取该驾驶员的连续两帧图像作为该第一图像集合。

在步骤S112中，在获取该第一图像集合后，获取该驾驶员的连续两帧图像作为该第二图像集合，该第二图像集合中的两帧图像与该第一图像集合中的两帧图像连续。

示例性地，通过车辆驾驶室安装的摄像头，获取驾驶员的驾驶动作图像，可以采用连续两帧图像作为该第一图像集合，在获取到驾驶员的连续两帧图像作为该第一图像集合后，通过该摄像头继续采集该驾驶员下一个连续的两帧图像，并将该连续两帧图像作为该第二图像集合，从而得到连续的四帧图像，对于第一图像集合和第二图像集合中连续两帧图像的采集方法在前文已经进行了介绍，不再赘述。可选地，上述的四帧图像也可以不是连续帧，但是各帧之间的时间间隔较短，也能够保证图像的连续性，例如可以每隔1-2帧采集一帧图像，每采集两帧图像后作为一个图像集合。在得到第一图像集合和第二图像集合计算后，分别针对第一图像集合和第二图像集合计算上述的第一光流矢量场和第二光流矢量场，具体方法可参照上述步骤S12不再赘述。

图3是根据一示例性实施例示出的另一种行为识别方法的流程图，如图3所示，该步骤S14，可以包括以下步骤：

在步骤S141中，将该矢量数值差值的绝对值与预设阈值进行对比。

在步骤S142中，在该矢量数值差值大于该预设阈值的情况下，确定该驾驶员存在危险驾驶行为。

在步骤S143中，在该矢量数值差值小于该预设阈值的情况下，确定该驾驶员不存在危险驾驶行为。

示例性地，通过两个连续光流矢量场中的矢量数值做差得到的矢量数值差U0(U0的计算方法可以参照上述的步骤S13，不再赘述)与预设阈值u’进行对比，当该矢量数值差大于该预设阈值时，确定该驾驶员存在危险驾驶行为。例如：预设阈值u’设置为30cm，当|U0|≥30cm时，可以判定该驾驶员的驾驶动作超出安全驾驶动作标准，即该驾驶员存在危险驾驶行为。当|U1|<30cm时，可以判定该驾驶员的驾驶动作符合安全驾驶动作标准，即该驾驶员不存在危险驾驶行为。

可选地，对于不同部位，可以设置不同的阈值，例如对于头部、手部、身体设置不同的矢量数值差值的阈值。

图4是根据一示例性实施例示出的又一种行为识别方法的流程图，如图4所示，该步骤S14，可以包括以下步骤：

在步骤S144中，将该矢量数值差值的绝对值与预设阈值进行对比。

在步骤S145中，在该矢量数值差值的绝对值大于或等于该预设阈值的情况下，重复执行该获取驾驶员的第一图像集合和第二图像集合至该获取该第一光流矢量场和该第二光流矢量场的矢量数值差值的步骤，以对该矢量数值差值进行监测。

可以理解的是，在检测到矢量数值差值的绝对值大于或等于该预设阈值的情况下，可以继续再一次执行上述的步骤S11至S13，从而对矢量数值差值进行再次判断，避免误判，进行再次判断的方法可以参照下述的步骤S146所示。

在步骤S146中，在该矢量数值差值的绝对值大于或等于该预设阈值，且该矢量数值差值大于或等于该预设阈值的持续时长大于设定时长的情况下，确定该驾驶员存在危险驾驶行为。

在步骤S147中，在该设定时长内该矢量数值差值的绝对值大于或等于该预设阈值，且该矢量数值差值表征的运动方向与上一次获取的矢量数值差值表征的运动方向相反的情况下，确定该驾驶员不存在危险驾驶行为。

示例性地，在前一次该矢量数值差值的绝对值|U0|大于或者等于预设阈值u’时，重复执行上述的步骤S11至S13，以得到新的矢量数值差值的绝对值|U0’|，如果该，且|U0’|大于或者等于预设阈值u’，且大于或等于该预设阈值u’的持续时长大于设定时长时，可以判定该驾驶员的驾驶行为存在危险。但是，如果|U0’|大于或者等于预设阈值u’，且U0’所表征的运动方向与U0表征的运动方向相反，则确定该驾驶员不存在危险驾驶行为。

例如：预设阈值u’＝30cm、设定时长t＝5s，在|U0|≥30cm时，再一次获取矢量数值差值的绝对值|U0’|，在|U0’|依然大于或等于30cm的情况下，进一步判断|U0’|大于或等于30cm的持续时长t是否大于或等于5s，当t≥5s时，可以确定该驾驶员存在危险驾驶行为。在|U0|≥30cm、t<5s，且U0’所表征的运动方向与U0表征的运动方向相反(例如，可以表现为U0’和U0的符号为一正一负)，则表明驾驶员对之前的行为进行了纠正，因此可以判定该驾驶员处于安全驾驶状态。

图5是根据一示例性实施例示出的又一种行为识别方法的流程图，如图5所示，在步骤S11之前，该方法还包括以下步骤：

在步骤S15中，获取车辆速度。

在步骤S16中，在该车辆速度大于设定速度的情况下，确定该车辆处于行驶状态。

在步骤S17中，响应于该行驶状态，执行该获取驾驶员的第一图像集合和第二图像集合的步骤。

示例性地，车辆驾驶室的摄像头在采集驾驶员驾驶动作图像之前，车辆可以获取该车辆的行驶速度，以判断车辆是否在行驶中，当该车辆的行驶速度大于零时，当前车辆处于行驶状态，该车辆驾驶室的摄像头响应于该车辆的行驶状态，开始采集驾驶员驾驶动作图像，并进行驾驶员驾驶动作图像的按照上述步骤S11-S14进行分析；如果车辆的形式速度为0，则可以不执行步骤S11-S14所示的方法。

通过上述方案，通过对驾驶员的动作进行图像采集，将采集到的该图像集合以矢量场形式进行表示并对驾驶员各部位运动情况进行分区计算矢量数值差值，通过矢量数值差值的大小和方向与预设阈值进行对比进一步判断驾驶员是否存在危险驾驶行为。

图6是根据一示例性实施例示出的一种行为识别装置的框图，如图6所示，该行为识别装置包括第一获取模块601，第二获取模块602，第三获取模块603以及确定模块604。

第一获取模块601，用于获取驾驶员的第一图像集合和第二图像集合；

第二获取模块602，用于根据该第一图像集合获取第一光流矢量场，以及根据该第二图像集合获取第二光流矢量场；

第三获取模块603，用于获取该第一光流矢量场和该第二光流矢量场的矢量数值差值；

确定模块604，用于根据该矢量数值差值确定该驾驶员是否存在危险驾驶行为。

可选地，该第一获取模块601，可以用于：

获取该驾驶员在第一设定时间内的至少两帧图像作为该第一图像集合，以及获取该驾驶员在第二设定时间内的至少两帧图像作为该第二图像集合；其中，该第一设定时间和该第二设定时间连续。

可选地，该第一获取模块601，可以用于：

获取该驾驶员的连续两帧图像作为该第一图像集合；

在获取该第一图像集合后，获取该驾驶员的连续两帧图像作为该第二图像集合，该第二图像集合中的两帧图像与该第一图像集合中的两帧图像连续。

可选地，该第二获取模块602，可以用于：

根据该第一图像集合和第二图像集合，利用Horn-Schunck算法确定该第一图像集合的该第一光流矢量场，以及确定该第二图像集合的该第二光流矢量场。

可选地，该第三获取模块603，可以用于：

根据该第一光流矢量场和该第二光流矢量场中相同位置的矢量数值，获取该相同位置的矢量数值差值，以得到该多个位置中的各个位置的矢量数值差值。

可选地，在一种实现方式中，该确定模块604，可以用于：

将该矢量数值差值的绝对值与预设阈值进行对比；

在该矢量数值差值大于该预设阈值的情况下，确定该驾驶员存在危险驾驶行为；

在该矢量数值差值小于该预设阈值的情况下，确定该驾驶员不存在危险驾驶行为。

可选地，在另一种实现方式中，该确定模块604，可以用于：

将该矢量数值差值的绝对值与预设阈值进行对比；

在该矢量数值差值的绝对值大于或等于该预设阈值的情况下，重复执行该获取驾驶员的第一图像集合和第二图像集合至该获取该第一光流矢量场和该第二光流矢量场的矢量数值差值的步骤，以对该矢量数值差值进行监测；

在该矢量数值差值的绝对值大于或等于该预设阈值，且该矢量数值差值大于或等于该预设阈值的持续时长大于设定时长的情况下，确定该驾驶员存在危险驾驶行为；

在该设定时长内该矢量数值差值的绝对值大于或等于该预设阈值，且该矢量数值差值表征的运动方向与上一次获取的矢量数值差值表征的运动方向相反的情况下，确定该驾驶员不存在危险驾驶行为。

可选地，该行为识别装置还可以包括：

警报输出装置，用于在该驾驶员存在危险驾驶行为时，将该危险驾驶行为的数据传输至车辆报警系统，和/或输出语音报警信息。

可选地，该行为识别装置还可以包括：

第四获取模块，用于获取车辆速度；

状态识别模块，用于在该车辆速度大于设定速度的情况下，确定该车辆处于行驶状态；

执行模块，用于响应于该行驶状态，执行该获取驾驶员的第一图像集合和第二图像集合的步骤。

在上述方案中，通过对驾驶员的动作进行图像采集，将采集到的该图像集合以矢量场形式进行表示并对驾驶员各部位运动情况进行分区计算矢量数值差值，通过分析矢量数值差值能够判断驾驶员是否存在危险驾驶行为，从而提供了一种基于图像分析光流矢量场变化来识别驾驶员是否存在危险驾驶行为的方法，能够实时地监测到驾驶员是否存在危险驾驶行为，及时地避免安全隐患。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图7是根据一示例性实施例示出的一种电子设备700的框图。如图7所示，该电子设备700可以包括：处理器701，存储器702。该电子设备700还可以包括多媒体组件703，输入/输出(I/O)接口704，以及通信组件705中的一者或多者。

其中，处理器701用于控制该电子设备700的整体操作，以完成上述的行为识别方法中的全部或部分步骤。存储器702用于存储各种类型的数据以支持在该电子设备700的操作，这些数据例如可以包括用于在该电子设备700上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件703可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器702或通过通信组件705发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口704为处理器701和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件705用于该电子设备700与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件705可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。

在一示例性实施例中，电子设备700可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的行为识别方法。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的行为识别方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器702，上述程序指令可由电子设备700的处理器701执行以完成上述的行为识别方法。

本公开还提供一种车辆，该车辆包括图6所示的行为识别装置600，或者该车辆包括图7所示的电子设备700，在该车辆的行为识别装,600或电子设备700具体执行操作的方式已经在上述的行为识别方法的实施例中进行了详细描述，此处将不做详细阐述说明。

在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的行为识别方法的代码部分。

以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。

此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (10)

1.一种行为识别方法，其特征在于，包括：

获取驾驶员的第一图像集合和第二图像集合；

根据所述第一图像集合获取第一光流矢量场，以及根据所述第二图像集合获取第二光流矢量场；

获取所述第一光流矢量场和所述第二光流矢量场的矢量数值差值；

根据所述矢量数值差值确定所述驾驶员是否存在危险驾驶行为。

2.根据权利要求1所述的方法，其特征在于，所述获取驾驶员的第一图像集合和第二图像集合，包括：

获取所述驾驶员在第一设定时间内的至少两帧图像作为所述第一图像集合，以及获取所述驾驶员在第二设定时间内的至少两帧图像作为所述第二图像集合；其中，所述第一设定时间和所述第二设定时间连续。

3.根据权利要求2所述的方法，其特征在于，获取所述驾驶员在第一设定时间内的至少两帧图像作为所述第一图像集合，以及获取所述驾驶员在第二设定时间内的至少两帧图像作为所述第二图像集合，包括：

获取所述驾驶员的连续两帧图像作为所述第一图像集合；

在获取所述第一图像集合后，获取所述驾驶员的连续两帧图像作为所述第二图像集合，所述第二图像集合中的两帧图像与所述第一图像集合中的两帧图像连续。

4.根据权利要求1所述的方法，其特征在于，所述第一光流矢量场包括多个位置的光流矢量场，所述第二光流矢量场包括多个位置的光流矢量场，所述多个位置为所述第一图像集合和所述第二图像集合中任一图像中的多个位置，所述获取所述第一光流矢量场和所述第二光流矢量场的矢量数值差值，包括：

根据所述第一光流矢量场和所述第二光流矢量场中相同位置的矢量数值，获取所述相同位置的矢量数值差值，以得到所述多个位置中的各个位置的矢量数值差值。

5.根据权利要求1所述的方法，其特征在于，所述根据所述矢量数值差值确定所述驾驶员是否存在危险驾驶行为，包括：

将所述矢量数值差值的绝对值与预设阈值进行对比；

在所述矢量数值差值大于所述预设阈值的情况下，确定所述驾驶员存在危险驾驶行为；

在所述矢量数值差值小于所述预设阈值的情况下，确定所述驾驶员不存在危险驾驶行为。

6.根据权利要求1所述的方法，其特征在于，所述根据所述矢量数值差值确定所述驾驶员是否存在危险驾驶行为，包括：

将所述矢量数值差值的绝对值与预设阈值进行对比；

在所述矢量数值差值的绝对值大于或等于所述预设阈值的情况下，重复执行所述获取驾驶员的第一图像集合和第二图像集合至所述获取所述第一光流矢量场和所述第二光流矢量场的矢量数值差值的步骤，以对所述矢量数值差值进行监测；

在所述矢量数值差值的绝对值大于或等于所述预设阈值，且所述矢量数值差值大于或等于所述预设阈值的持续时长大于设定时长的情况下，确定所述驾驶员存在危险驾驶行为；

在所述设定时长内所述矢量数值差值的绝对值大于或等于所述预设阈值，且所述矢量数值差值表征的运动方向与上一次获取的矢量数值差值表征的运动方向相反的情况下，确定所述驾驶员不存在危险驾驶行为。

7.根据权利要求1所述的方法，其特征在于，在所述获取驾驶员的第一图像集合和第二图像集合之前，所述方法还包括：

获取车辆速度；

在所述车辆速度大于设定速度的情况下，确定所述车辆处于行驶状态；

响应于所述行驶状态，执行所述获取驾驶员的第一图像集合和第二图像集合的步骤。

8.一种行为识别装置，其特征在于，包括：

第一获取模块，被配置为获取驾驶员的第一图像集合和第二图像集合；

第二获取模块，被配置为根据所述第一图像集合获取第一光流矢量场，以及根据所述第二图像集合获取第二光流矢量场；

第三获取模块，被配置为获取所述第一光流矢量场和所述第二光流矢量场的矢量数值差值；

确定模块，被配置为根据所述矢量数值差值确定所述驾驶员是否存在危险驾驶行为。

9.一种电子设备，其特征在于，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-9中任一项所述方法的步骤。

10.一种车辆，其特征在于，所述车辆包括：权利要求9所述的电子设备。

Images