CN115690751A - 异常驾驶行为的识别方法、装置、存储介质及车辆 - Google Patents

Abstract

本公开提供一种异常驾驶行为的识别方法、异常驾驶行为的识别装置、计算机可读存储介质及车辆，涉及车辆控制技术领域。该方法包括：获取关于目标用户的目标图像，目标图像中包含目标身体部位；根据目标图像所包含的颜色信息和深度信息，确定上述目标身体部位的行为特征信息；基于预训练的分类模型，根据行为特征信息确定关于目标用户的行为识别结果。本技术方案对异常驾驶行为的检测准确度高，同时，本技术方案能够解决由于手持物品被遮掩而造成的漏检问题。

Description

异常驾驶行为的识别方法、装置、存储介质及车辆

技术领域

本公开涉及车辆技术领域，尤其涉及一种异常驾驶行为的识别方法及装置、计算机可读存储介质及车辆。

背景技术

驾驶行为异常(如驾驶过程中吸烟等行为)的情况下，对行车安全性存在隐患。

一种相关技术中，对驾驶者手中所持有物体进行识别，根据识别结果确定是否属于异常驾驶行为。然而该相关技术提供的异常驾驶行为的识别方案存在现有驾驶员异常驾驶行为识别存在漏检，往往对行车安全起着直接或间接影响。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种异常驾驶行为的识别方法、异常驾驶行为的识别装置、计算机可读存储介质及车辆，至少在一定程度上提升异常驾驶行为的检测准确度。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一个方面，提供一种异常驾驶行为的识别方法，该方法包括：获取关于目标用户的目标图像，上述目标图像中包含目标身体部位；根据上述目标图像所包含的颜色信息和深度信息，确定上述目标身体部位的行为特征信息；以及，基于预训练的分类模型，根据上述行为特征信息确定关于上述目标用户的行为识别结果。

上述获取关于目标用户的目标图像，包括：接收关于目标用户的目标图像，上述目标图像由车载双摄像头获取的。

在示例性的实施例中，基于前述方案，上述根据上述目标图像所包含的颜色信息和深度信息，确定上述目标身体部位的行为特征信息，包括：根据上述目标图像获取关于目标身体部位的第一颜色特征和深度特征，以及获取关于上述目标物品的第二颜色特征；以及，根据上述第一颜色特征、上述深度特征以及上述第二颜色特征，进行多维度建模，得到行为特征信息。

在示例性的实施例中，基于前述方案，上述根据上述第一颜色特征、上述深度特征以及上述第二颜色特征，进行多维度建模，包括：根据上述第一颜色特征、上述深度特征，建立关于上述目标身体部位的三维建模；以及，根据上述第二颜色特征，建立关于上述目标物品的二维建模。

在示例性的实施例中，基于前述方案，上述基于预训练的分类模型，根据上述行为特征信息确定关于上述目标用户的行为识别结果，包括：生成包含上述行为特征信息的三维图像；将上述三维图像输入预训练的分类模型，以通过上述分类模型进行关于上述目标身体部位的定位，或，进行关于上述目标身体和上述目标物品的定位，以及根据定位结果进行分类；以及，根据分类结果得到关于上述目标用户的行为识别结果。

在示例性的实施例中，基于前述方案，上述获取关于目标用户的目标图像，包括：接收关于目标用户的原始图像，上述原始图像由车载双摄像头获取的；对上述原始图像进行目标检测，以在上述原始图像中确定出目标区域，其中，上述目标区域包含上述目标身体部位，或，包含上述目标身体部位和上述目标物品；以及，从上述原始图像中截取上述目标区域，得到上述关于目标用户的目标图像。

在示例性的实施例中，基于前述方案，上述基于预训练的分类模型，根据上述行为特征信息确定关于上述目标用户的行为识别结果，包括：将上述行为特征信息输入预训练的分类模型，以通过上述分类模型进行分类。

在示例性的实施例中，基于上述方案，根据分类结果得到关于上述目标用户的行为识别结果在上述根据上述行为特征信息确定关于上述目标用户的行为识别结果之后，上述方法还包括：在所述行为识别结果为所述目标用户存在异常驾驶行为的情况下，生成警告信息，其中，所述异常驾驶行为包括至少一个分类，不同分类的异常驾驶行为对应于不同的警告信息。

根据本公开的另一个方面，提供一种异常驾驶行为的识别装置，该装置包括：图像获取模块、特征确定模块，以及行为识别模块。

其中，上述图像获取模块，用于获取关于目标用户的目标图像，上述目标图像中包含目标身体部位；上述特征确定模块，用于根据上述目标图像所包含的颜色信息和深度信息，确定上述目标身体部位的行为特征信息；以及，上述行为识别模块，用于基于预训练的分类模型，根据上述行为特征信息确定关于上述目标用户的行为识别结果。

根据本公开的再一个方面，提供一种车辆，包括处理器和存储器，所述存储器用于存储程序，所述处理器用于调用所述程序，以执行上述实施例中的异常驾驶行为的识别方法。

根据本公开的又一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述实施例中的异常驾驶行为的识别方法。

本公开的实施例所提供的异常驾驶行为的识别方法、异常驾驶行为的识别装置、计算机可读存储介质及车辆，具备以下技术效果：

本技术方案中，获取目标图像，其中至少包含目标用户的目标身体部位。进一步地，目标图像所包含的颜色信息和深度信息，能够确定关于上述目标身体部位的行为特征信息；以及，基于预训练的分类模型，根据上述行为特征信息可以确定关于目标用户的行识别结果。其中，由于本技术方案基于目标身体部位的行为特征信息，实现用户行为分类，所以能够有效避免相关技术中存在的漏检问题，有利于提高对异常驾驶行为的检测准确度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出本公开示例性实施例中异常驾驶行为的示意图。

图2示出本公开示例性实施例中异常驾驶行为的识别方法的流程示意图。

图3示出本公开一示例性实施例中异常驾驶行为的识别方法的流程示意图。

图4示出本公开另一示例性实施例中异常驾驶行为的识别方法的流程示意图。

图5示出本公开再一示例性实施例中异常驾驶行为的识别方法的流程示意图。

图6示出本公开一实施例的异常驾驶行为的识别装置的结构示意图。

图7示出本公开的另一实施例的异常驾驶行为的识别装置的结构示意图。

图8示出本公开一实施例的车辆的结构示意图。

具体实施方式

为使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开实施例方式作进一步地详细描述。

下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

异常驾驶行为会降低车辆驾驶者的驾驶注意力，从而影响驾驶安全性。示例性的异常驾驶行为包括吸烟(如图1所示)、接电话、打电话、吃食物、喝饮料等。通过异常驾驶行为的有效识别，进而对驾驶用户提出相应警告，从而有利于提升驾驶安全性。

一种相关技术中，在方向盘上安装重力传感器，当行车过程中驾驶员手部脱离方向盘的情况下则发出警报。但是，由于该相关技术中判断能力的标准单一，频繁的强提醒容易导致驾驶员的厌恶心理，从而给用户造成较多困扰。而第一种相关技术所提供的通过物品(如手持的香烟等)进行异常驾驶行为识别的方案中，则在肢体部分等遮挡物体的情况下无法有效检测，从而存在漏检现象。

本申请技术方案所提供的异常驾驶行为的识别方法及装置、计算机可读存储介质及车辆，能够解决相关技术存在的问题。

以下先对本公开提供的异常驾驶行为的识别方法实施例的进行详细阐述：

图2示出本公开示例性实施例中异常驾驶行为的识别方法的流程示意图。参考图2，该图所示实施例包括：S210-S230。

在S210中，获取关于目标用户的目标图像，目标图像中包含目标身体部位。

在示例性的实施例中，上述目标用户为车辆驾驶人员，上述目标图像为拍摄上述目标用户得到的图像。上述目标身体部位可以是指手部、嘴巴等身体部位，还可以是目标用户的其他身体部位，本说明书对此不作限定。

本实施例中上述目标图像中至少包含上述目标身体部位，还可以包含目标物品。示例性的，上述目标身体部位可以是指手部，则与目标身体部位关联的目标物品为手持物品。上述目标身体部位还可以是嘴巴，则上述与目标身体部位关联的目标物品可以是口中含的香烟、食物等。

可以理解的是，一种实施例中，目标图像中只包含目标身体部位，该场景中可能是目标物体被遮盖；另一种实施例中，目标图像中既包含目标身体部位也包含与目标身体部位关联的目标物体，该场景中则如手持食物等。

可见，本说明书实施例所提供的方案中，目标图像中至少包含了目标身体部位(如手部等)，在此基础上还可能包含相关联的目标物品，基于至少包含目标身体部位的目标图像可以确定关于目标身体部位的行为特征信息，本技术方案基于目标身体部位的行为特征信息实现用户行为分类，能够有效避免相关技术中由于仅靠物品进行行为识别所存在的漏检问题，可见本说明书所提供方案有利于提高对异常驾驶行为的检测准确度。

在示例性的实施例中，参考图3，在S200中，车载双摄像头获取关于目标用户的目标图像。其中，通过车载双摄像头进行图像获取，不仅有利于稳定性的获取图像，而且也无需另外添加设备。同时，通过双摄像头有利于获取深度信息，将有利于行为识别的准确度。

示例性的，响应车辆被驾驶，则上述车载双摄像头以及计算设备持续进行如图3所示的方案。通过车载摄像头持续获取驾驶用户的上半身图像(即，上述目标用户的目标身体部位)，进一步地，将所获取的图像发送至计算设备，执行S310：监测目标用户是否存在异常驾驶行为。其中，步骤S310的具体实施方式与图2对应的实施例相同。具体的，S230中得到的行为识别结果，包括正常驾驶行为和异常驾驶行为。在监测到目标用户存在异常驾驶行为的情况下，则执行S320：生成警报信息。其中，异常驾驶行为包括至少一个分类(关于异常驾驶行为的分类个数可以根据实际需求设置)，不同分类的异常驾驶行为对应于不同的警告信息。例如，异常驾驶行为的分类为一级异常驾驶行为(如喝水)以及二级异常驾驶行为(如吸烟、吃食物、接点活和打电话)等。具体的，一级异常驾驶行为对应的警示信息为提醒尽快停止行为，二级异常驾驶行为对应的警示信息为尽快停靠安全区域等。

在示例性的实施例中，无论是否监测到目标用户是否存在异常驾驶行为均执行S200，即通过车载摄像头持续获取驾驶用户的上半身图像，本说明书实施例通过持续获取图像以及持续的检测过程，能够降低异常驾驶行为的漏检概率，有利于提升驾驶安全性。

继续参考图2，在S220中，根据目标图像所包含的颜色信息和深度信息，确定上述目标身体部位的行为特征信息。以及，在S230中，基于预训练的分类模型，根据行为特征信息确定关于目标用户的行为识别结果。

由于目标图像中至少包含了目标身体部位(如手部)，在此基础上还可能包含相关联的目标物品，则由目标图像所确定的行为特征信息中至少包含关于目标身体部位的特征，进而根据行为特征信息所确定的行为识别结果，将不受到目标物品被遮挡带来的漏检现象。同时，上述行为特征信息中包含深度信息以及颜色信息，也有利于提升行为识别准确度。

在示例性的实施例中，图4示出本公开另一示例性实施例中异常驾驶行为的识别方法的流程示意图。参考图4，该图所示实施例包括：S410-S450。

在S410中，根据目标图像获取关于目标身体部位的第一颜色特征和第一深度特征，以及获取关于目标物品的第二颜色特征。

同前所述，上述目标图像由车载双摄像头获取，因此图像中不仅包含颜色信息(如R(红色，Red)G(绿色，Green)B(蓝色，Blue)通道信息)，还包含了深度信息。本实施例中，将目标图像中关于目标身体部位区域对应的颜色信息记作“第一颜色信息”，此部分对应的深度信息记作“第一深度信息”；将目标图像中关于目标物体区域对应的颜色信息记作“第二颜色信息”，此部分对应的深度信息记作“第二深度信息”。

本实施例中，为了提升计算效率，因此将部分深度信息用于目标用户异常驾驶行为的判断过程。由于目标物体易于识别，而在不同的行为下，身体部位的三维特征存在较多差异，因此本实施例中，根据关于目标身体部位的第一颜色特征和第一深度特征以及关于目标物品的第二颜色特征，确定上述行为特征信息，而暂时不考虑上述第二深度信息。

继续参考图4，在S420中，根据第一颜色特征、第一深度特征，建立关于目标身体部位的三维建模。具体地，针对相同像素，根据其颜色信息和深度信息确定该像素在三维模型中的颜色与位置。通过对目标图像所包含像素的处理，可以确定出关于目标身体部位的三维模型。其中，三维模型能够立体体现目标身体部位的姿态，进而有利于确定行为特征信息。例如上述目标身体部位为手部，通过上述三维建模可以立体体现手部动作。以及，在S420’中，根据第二颜色特征，建立关于目标物品的二维建模。具体地，二维建模仅能够体现目标物品的平面特征。但是相较于上述三维建模，能够减少计算量，有利于提升异常驾驶行为的检出时效性。可见，本实施例中根据关于目标身体部位的第一颜色特征和第一深度特征进行三维建模，根据关于目标物品的第二颜色特征进行二维建模。也就是说，根据目标图像中所包含的颜色特征以及深度特征进行2.5D(维度，Dimension)建模。进一步地，可以将所建模型的特征作为上述行为特征信息。

在一些示例性的实施例中，采用预训练的Yolo(You only look once)模型实现异常驾驶行为的识别，具体地执行S430-S450。

在S430中，生成包含行为特征信息的多维图像。以及，在S440中，将多维图像输入预训练的分类模型，以通过分类模型进行关于目标身体部位的定位，或，进行目标身体部分与目标物体的定位，以及根据定位结果进行分类。

示例性的，同上所述，上述三维图像中仅包含关于目标身体部位的三维特征的情况下，可能是目标物体被遮掩的场景。该情况下，通过上述预训练的Yolo模型实现关于目标身体部位的定位，进一步地，基于关于目标身体部位的三维特征进行行为分类。

示例性的，同前所述，上述三维图像中既包含关于目标身体部位的三维特征和关于目标物体的二维特征，即如手持食物且食物未被全部遮掩的场景。该情况下，通过上述预训练的Yolo模型实现关于目标身体部位的定位以及实现关于目标物品的定位，进一步地，基于关于目标身体部位的三维特征以及关于目标物体的二维特征进行行为分类。

在另一些示例性的实施例中，上述实施例中所采用的分类模型可以是基于元学习进行训练得到的，以进一步提升识别适用范围以及识别准确度。

在S450中，根据分类结果得到关于目标用户的行为识别结果。

示例性的，同前所述，关于上述预训练的分类模型的分类结果可以根据实际需求设置。示例性的包括：正常驾驶、一级异常驾驶行为(如喝水)以及二级异常驾驶行为(如吸烟、吃食物、接点活和打电话)等。进一步地，针对不同等级的分类结果，可以生成不同的警告信息，起到用户集中精力驾驶的作用，提升驾驶安全性。

在示例性的实施例中，图5示出本公开再一示例性实施例中异常驾驶行为的识别方法的流程示意图。参考图5，该图所示实施例包括：S510-S570。

在S510中，接收关于目标用户的原始图像，原始图像由车载双摄像头获取的。

由于车载摄像头所获取的图像(上述原始图像)所覆盖的范围较大，因此在根据图像进行特征提取之前，先将原始图像中POI(感兴趣区域，PointOfInterest)进行截取，再基于截取得到的目标图像(原始图像的局部)实现后续计算，以减少计算量，有利于提升异常驾驶行为的识别及时程度。具体地，本实施例中执行S520和S530。在S520中，对原始图像进行目标检测，以在原始图像中确定出目标区域；以及，在S530中，从原始图像中截取目标区域，得到目标图像。

继续参考图5，在S540中，根据目标图像获取关于目标身体部位的第一颜色特征和第一深度特征，以及获取关于目标物品的第二颜色特征；在S550中，根据第一颜色特征、第一深度特征，建立关于目标身体部位的三维建模；以及，在S550’中，根据第二颜色特征，建立关于目标物品的二维建模。由于该部分的具体实施方式与图4中S410、S420、S420’的具体实施方式相同，在此不再赘述。

由于本实施例中在S520以及S530中进行了POI区域的截取，也就是对目标身体部位(或，目标身体部位和目标物体)的定位，因此本实施例中上述预训练的分类模型具备分类功能即可。具体地执行S560和S570。在S560中，将行为特征信息输入预训练的分类模型，以通过分类模型进行分类；以及，在S570中，根据分类结果得到关于目标用户的行为识别结果。

在示例性的实施例中，上述实施例中所采用的分类模型可以是基于元学习进行训练得到的，以进一步提升识别适用范围以及识别准确度。

需要注意的是，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。

其中，图6示出了可以应用本公开一实施例的异常驾驶行为的识别装置的结构示意图。请参见图6，该图所示的异常驾驶行为的识别装置可以通过软件、硬件或者两者的结合实现成为车辆的全部或一部分，还可以作为独立的模块集成于车辆中或服务器上。

本公开实施例中的异常驾驶行为的识别装置600包括：图像获取模块610、特征确定模块520，以及行为识别模块630。

其中，上述图像获取模块610，用于获取关于目标用户的目标图像，上述目标图像中包含目标身体部位；上述特征确定模块620，用于根据上述目标图像所包含的颜色信息和深度信息，确定上述目标身体部位的行为特征信息；以及，上述行为识别模块630，用于基于预训练的分类模型，根据上述行为特征信息确定关于上述目标用户的行为识别结果。

在示例性的实施例中，图7示意性示出了根据本公开另一示例性的实施例中异常驾驶行为的识别装置的结构图。请参见图7：

在示例性的实施例中，基于前述方案，上述图像获取模块610，具体用于：接收关于目标用户的目标图像，上述目标图像由车载双摄像头获取的。

在示例性的实施例中，基于前述方案，上述特征确定模块620，包括：特征获取单元6201和建模单元6202。

其中，上述特征获取单元6201，用于根据上述目标图像获取关于目标身体部位的第一颜色特征和深度特征，以及获取关于上述目标物品的第二颜色特征；以及，上述建模单元6202，用于根据上述第一颜色特征、上述深度特征以及上述第二颜色特征，进行多维度建模，得到行为特征信息。

在示例性的实施例中，基于前述方案，上述建模单元6202，具体用于：根据上述第一颜色特征、上述深度特征，建立关于上述目标身体部位的三维建模；以及，根据上述第二颜色特征，建立关于上述目标物品的二维建模。

在示例性的实施例中，基于前述方案，上述行为识别模块630，具体用于：生成包含上述行为特征信息的三维图像；将上述三维图像输入预训练的分类模型，以通过上述分类模型进行关于上述目标身体部位的定位，或，进行上述目标身体部分与上述目标物品的定位，以及根据定位结果进行分类；以及，根据分类结果得到关于上述目标用户的行为识别结果。

在示例性的实施例中，基于前述方案，上述图像获取模块610，包括：图像接收单元6101、区域确定单元6102以及图像截取单元6103。

其中，上述图像接收单元6101，用于接收关于目标用户的原始图像，上述原始图像由车载双摄像头获取的；上述区域确定单元6102，用于对上述原始图像进行目标检测，以在上述原始图像中确定出目标区域，其中，上述目标区域包含上述目标身体部位，或包含上述目标身体部位和上述目标物品；以及，上述图像截取单元6103，用于从上述原始图像中截取上述目标区域，得到上述关于目标用户的目标图像。

在示例性的实施例中，基于前述方案，上述行为识别模块630，具体用于：将上述行为特征信息输入预训练的分类模型，以通过上述分类模型进行分类；以及，根据分类结果得到关于上述目标用户的行为识别结果。

在示例性的实施例中，基于前述方案，上述异常驾驶行为的识别装置600还包括：警告模块640。

上述警告模块640，用于在行为识别模块630根据上述行为特征信息确定关于上述目标用户的行为识别结果之后，在上述行为识别结果为上述目标用户存在异常驾驶行为的情况下，生成警告信息，其中，上述异常驾驶行为包括至少一个分类，不同分类的异常驾驶行为对应于不同的警告信息。

需要说明的是，上述实施例提供的异常驾驶行为的识别装置在执行异常驾驶行为的识别方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的异常驾驶行为的识别装置与异常驾驶行为的识别方法实施例属于同一构思，因此对于本公开装置实施例中未披露的细节，请参照本公开上述的异常驾驶行为的识别方法的实施例，这里不再赘述。

上述本公开实施例序号仅仅为了描述，不代表实施例的优劣。

本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一实施例方法的步骤。其中，计算机可读存储介质可以包括但不限于任何类型的盘，包括软盘、光盘、DVD、CD-ROM、微型驱动器以及磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪速存储器设备、磁卡或光卡、纳米系统(包括分子存储器IC)，或适合于存储指令和/或数据的任何类型的媒介或设备。

本公开实施例还提供了一种车辆，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上述任一实施例方法的步骤。

图8示意性示出了根据本公开一示例性的实施例中车辆的结构图。请参见图8所示，车辆800包括有：处理器801和存储器802。

本公开实施例中，处理器801为计算机系统的控制中心，可以是实体机的处理器，也可以是虚拟机的处理器。处理器801可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器801可以采用DSP(数字信号处理，Digital Signal Processing)、FPGA(现场可编程门阵列，Field－Programmable Gate Array)、PLA(Programmable LogicArray，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器801也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(中央处理器，Central Processing Unit)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。

在本公开实施例中，所述处理器801具体用于：

获取关于目标用户的目标图像，上述目标图像中包含目标身体部位；根据上述目标图像所包含的颜色信息和深度信息，确定上述目标身体部位的行为特征信息；以及，基于预训练的分类模型，根据上述行为特征信息确定关于上述目标用户的行为识别结果。

进一步地，上述获取关于目标用户的目标图像，包括：接收关于目标用户的目标图像，上述目标图像由车载双摄像头获取的。

进一步地，上述根据上述目标图像所包含的颜色信息和深度信息，确定上述目标身体部位的行为特征信息，包括：根据上述目标图像获取关于目标身体部位的第一颜色特征和深度特征，以及获取关于上述目标物品的第二颜色特征；以及，根据上述第一颜色特征、上述深度特征以及上述第二颜色特征，进行多维度建模，得到行为特征信息。

进一步地，上述根据上述第一颜色特征、上述深度特征以及上述第二颜色特征，进行多维度建模，包括：根据上述第一颜色特征、上述深度特征，建立关于上述目标身体部位的三维建模；以及，根据上述第二颜色特征，建立关于上述目标物品的二维建模。

进一步地，上述基于预训练的分类模型，根据上述行为特征信息确定关于上述目标用户的行为识别结果，包括：生成包含上述行为特征信息的三维图像；将上述三维图像输入预训练的分类模型，以通过上述分类模型进行关于上述目标身体部位的定位，或，进行关于上述目标身体和上述目标物品的定位，以及根据定位结果进行分类；以及，根据分类结果得到关于上述目标用户的行为识别结果。

进一步地，上述获取关于目标用户的目标图像，包括：接收关于目标用户的原始图像，上述原始图像由车载双摄像头获取的；对上述原始图像进行目标检测，以在上述原始图像中确定出目标区域，其中，上述目标区域包含上述目标身体部位，或，包含上述目标身体部位和上述目标物品；以及，从上述原始图像中截取上述目标区域，得到上述关于目标用户的目标图像。

进一步地，上述基于预训练的分类模型，根据上述行为特征信息确定关于上述目标用户的行为识别结果，包括：将上述行为特征信息输入预训练的分类模型，以通过上述分类模型进行分类。

进一步地，上述处理器801还具体用于：在上述根据上述行为特征信息确定关于上述目标用户的行为识别结果之后，在所述行为识别结果为所述目标用户存在异常驾驶行为的情况下，生成警告信息，其中，所述异常驾驶行为包括至少一个分类，不同分类的异常驾驶行为对应于不同的警告信息。

存储器802可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器802还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在本公开的一些实施例中，存储器802中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器801所执行以实现本公开实施例中的方法。

一些实施例中，车辆800还包括有：外围设备接口803和至少一个外围设备。处理器801、存储器802和外围设备接口803之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口803相连。具体地，外围设备包括：显示屏804、摄像头805和音频电路806中的至少一种。

外围设备接口803可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器801和存储器802。在本公开的一些实施例中，处理器801、存储器802和外围设备接口803被集成在同一芯片或电路板上；在本公开的一些其他实施例中，处理器801、存储器802和外围设备接口803中的任意一个或两个可以在单独的芯片或电路板上实现。本公开实施例对此不作具体限定。

显示屏804用于显示UI(用户界面，User Interface)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏804是触摸显示屏时，显示屏804还具有采集在显示屏804的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器801进行处理。此时，显示屏804还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在本公开的一些实施例中，显示屏804可以为一个，设置车辆800的前面板；在本公开的另一些实施例中，显示屏804可以为至少两个，分别设置在车辆800的不同表面或呈折叠设计；在本公开的再一些实施例中，显示屏804可以是柔性显示屏，设置在车辆800的弯曲表面上或折叠面上。甚至，显示屏804还可以设置成非矩形的不规则图形，也即异形屏。显示屏804可以采用LCD(液晶显示屏，Liquid Crystal Display)、OLED(有机发光二极管，Organic Light-Emitting Diode)等材质制备。

摄像头805用于采集图像或视频。可选地，摄像头805包括前置摄像头和后置摄像头。通常，前置摄像头设置在车辆的前面板，后置摄像头设置在车辆的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(虚拟现实，Virtual Reality)拍摄功能或者其它融合拍摄功能。在本公开的一些实施例中，摄像头805还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路806可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器801进行处理。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在车辆800的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。

电源807用于为车辆800中的各个组件进行供电。电源807可以是交流电、直流电、一次性电池或可充电电池。当电源807包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。

本公开实施例中示出的车辆结构框图并不构成对车辆800的限定，车辆800可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

在本公开的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本公开中的具体含义。此外，在本公开的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，依本公开权利要求所作的等同变化，仍属本公开所涵盖的范围。

Claims (10)

1.一种异常驾驶行为的识别方法，其特征在于，所述方法包括：

获取关于目标用户的目标图像，所述目标图像中包含目标身体部位；

根据所述目标图像所包含的颜色信息和深度信息，确定所述目标身体部位的行为特征信息；

基于预训练的分类模型，根据所述行为特征信息确定关于所述目标用户的行为识别结果。

2.根据权利要求1所述的方法，其特征在于，所述根据所述目标图像所包含的颜色信息和深度信息，确定所述目标身体部位的行为特征信息，包括：

根据所述目标图像获取关于目标身体部位的第一颜色特征和深度特征，以及获取关于所述目标物品的第二颜色特征；

根据所述第一颜色特征、所述深度特征以及所述第二颜色特征，进行多维度建模，得到所述目标身体部位的行为特征信息。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一颜色特征、所述深度特征以及所述第二颜色特征，进行多维度建模，包括：

根据所述第一颜色特征、所述深度特征，建立关于所述目标身体部位的三维建模；

根据所述第二颜色特征，建立关于所述目标物品的二维建模。

4.根据权利要求1至3中任意一项所述的方法，其特征在于，所述基于预训练的分类模型，根据所述行为特征信息确定关于所述目标用户的行为识别结果，包括：

生成包含所述行为特征信息的三维图像；

将所述三维图像输入预训练的分类模型，以通过所述分类模型进行关于所述目标身体部位的定位，或，进行所述目标身体部分与所述目标物品的定位，以及根据定位结果进行分类；

根据分类结果得到关于所述目标用户的行为识别结果。

5.根据权利要求1所述的方法，其特征在于，所述获取关于目标用户的目标图像，包括：

接收关于目标用户的原始图像，所述原始图像由车载双摄像头获取的；

对所述原始图像进行目标检测，以在所述原始图像中确定出目标区域，其中，所述目标区域包含所述目标身体部位，或包含所述目标身体部位和所述目标物品；

从所述原始图像中截取所述目标区域，得到所述关于目标用户的目标图像。

6.根据权利要求5所述的方法，其特征在于，所述基于预训练的分类模型，根据所述行为特征信息确定关于所述目标用户的行为识别结果，包括：

将所述行为特征信息输入预训练的分类模型，以通过所述分类模型进行分类；

根据分类结果得到关于所述目标用户的行为识别结果。

7.根据权利要求1所述的方法，其特征在于，在所述根据所述行为特征信息确定关于所述目标用户的行为识别结果之后，所述方法还包括：

在所述行为识别结果为所述目标用户存在异常驾驶行为的情况下，生成警告信息，其中，所述异常驾驶行为包括至少一个分类，不同分类的异常驾驶行为对应于不同的警告信息。

8.一种异常驾驶行为的识别装置，其特征在于，所述装置包括：

图像获取模块，用于获取关于目标用户的目标图像，所述目标图像中包含目标身体部位；

特征确定模块，用于根据所述目标图像所包含的颜色信息和深度信息，确定所述目标身体部位的行为特征信息；

行为识别模块，用于基于预训练的分类模型，根据所述行为特征信息确定关于所述目标用户的行为识别结果。

9.一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，其特征在于，当所述指令在计算机或处理器上运行时，使得所述计算机或处理器执行如权利要求1至7中任意一项所述的异常驾驶行为的识别方法。

10.一种车辆，包括处理器和存储器，其特征在于，所述存储器用于存储程序，所述处理器用于调用所述程序，以执行如权利要求1至7中任意一项所述的异常驾驶行为的识别方法。

Images