CN115797880A - 驾驶行为的确定方法、装置、存储介质及电子装置 - Google Patents

Abstract

本发明实施例提供了一种驾驶行为的确定方法、装置、存储介质及电子装置，其中，该方法包括：对当前帧图像进行对象检测和关键点提取，得到第一检测框、第二检测框及一组关键点，其中，第一检测框为第一类型对象的检测框，第二检测框为第二类型对象的检测框，一组关键点是第二类型对象上的关键点；当根据第一检测框与一组关键点，判断出当前帧图像中的第一类型对象和第二类型对象位于同一景深范围时，根据第一检测框、第二检测框及一组关键点，确定当前帧图像中的第一局部图像，以用于识别驾驶行为；根据第一局部图像，确定第二类型对象是否产生了不文明驾驶行为。通过本发明，解决了相关技术中存在的不文明驾驶行为的确定方法的效率较低的问题。

Description

驾驶行为的确定方法、装置、存储介质及电子装置

技术领域

本发明实施例涉及监控技术领域，具体而言，涉及一种驾驶行为的确定方法、装置、存储介质及电子装置。

背景技术

随着科学技术的发展，对道路过往机动车不文明驾驶行为进行抓拍的技术日渐成熟，例如，不文明驾驶行为为机动车溅湿行人、非机动车的行为，或其它行为，下面以机动车溅湿行人、非机动车的行为抓拍为例，但机动车溅湿行人、非机动车的行为存在复杂的时空关系，对其进行抓拍依然存在一定的困难待解决。

在雨天场景中，由于积水的存在，机动车车速过快会导致积水飞溅，从而溅湿行人和非机动车，容易引发矛盾纠纷，造成行驶风险。机动车溅湿行人、非机动车不仅是一种不道德的行为，也是一种违章行为。当车辆溅湿行人时，行人可以向相关管理部门举报。虽然管理部门的管理人员可以通过分析道路监控画面来判断是否存在上述违章行为，但无疑会消耗大量人力。可见，相关技术中关于判断机动车辆是否发生不文明驾驶行为的方法存在效率较低的问题。

针对相关技术中存在的不文明驾驶行为的确定方法的效率较低的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种驾驶行为的确定方法、装置、存储介质及电子装置，以至少解决相关技术中存在的不文明驾驶行为的确定方法的效率较低的问题。

根据本发明的一个实施例，提供了一种驾驶行为的确定方法，包括：对当前帧图像进行对象检测和关键点提取，得到第一检测框、第二检测框及一组关键点，其中，所述第一检测框为在所述当前帧图像中识别到的第一类型对象的检测框，所述第二检测框为在所述当前帧图像中识别到的第二类型对象的检测框，所述一组关键点是在所述当前帧图像中识别到的所述第二类型对象上的关键点；根据所述第一检测框与所述一组关键点，判断所述当前帧图像中的所述第一类型对象和所述第二类型对象是否位于同一景深范围；在判断出所述当前帧图像中的所述第一类型对象和所述第二类型对象位于所述同一景深范围的情况下，根据所述第一检测框、所述第二检测框及所述一组关键点，确定所述当前帧图像中位于第一区域的第一局部图像，其中，所述位于第一区域的第一局部图像是用于识别驾驶行为的局部图像；根据所述第一局部图像，确定行为识别结果，其中，所述行为识别结果用于表示所述第二类型对象是否对所述第一类型对象产生了不文明驾驶行为。

在一个示例性实施例中，所述根据所述第一检测框与所述一组关键点，判断所述当前帧图像中的所述第一类型对象和所述第二类型对象是否位于同一景深范围，包括：确定所述第一检测框的底部中心点的第一纵坐标，以及第一关键点所对应的第二纵坐标和第二关键点所对应的第三纵坐标，其中，所述一组关键点包括所述第一关键点和所述第二关键点，所述第一关键点和所述第二关键点是所述第二类型对象上靠近所述第一类型对象一侧的关键点；根据所述第一纵坐标、所述第二纵坐标及所述第三纵坐标，判断所述当前帧图像中的所述第一类型对象和所述第二类型对象是否位于同一景深范围。

在一个示例性实施例中，所述根据所述第一纵坐标、所述第二纵坐标及所述第三纵坐标，判断所述当前帧图像中的所述第一类型对象和所述第二类型对象是否位于同一景深范围，包括：在所述第一纵坐标大于所述第二纵坐标与第一偏移值的差值、且小于所述第三纵坐标与第二偏移值的和值的情况下，判断出所述当前帧图像中的所述第一类型对象和所述第二类型对象位于所述同一景深范围，其中，所述第一偏移值和所述第二偏移值是预设的偏移值。

在一个示例性实施例中，所述第二类型对象为在所述当前帧图像中识别到的目标机动车辆，所述第一关键点和所述第二关键点是所述目标机动车辆上靠近所述第一类型对象一侧的两个车轮上的点。

在一个示例性实施例中，所述根据所述第一检测框、所述第二检测框及所述一组关键点，确定所述当前帧图像中位于第一区域的第一局部图像，包括：将所述第一检测框的第一侧边的横坐标确定为所述第一区域的第一顶点和第二顶点的横坐标，将第一关键点和第二关键点中距离所述第一检测框较近的关键点的横坐标确定为所述第一区域的第三顶点和第四顶点的横坐标，将所述第二检测框的最大纵坐标确定为所述第一顶点和所述第三顶点的纵坐标，以及将所述第二检测框的最小纵坐标确定为所述第二顶点和所述第四顶点的纵坐标，得到所述第一区域，其中，所述第一检测框的第一侧边为所述第一检测框中距离所述第二检测框较近一侧的纵向边框；将所述当前帧图像中与所述第一区域对应的图像确定为所述第一局部图像。

在一个示例性实施例中，所述根据所述第一局部图像，确定行为识别结果，包括：在所述第一局部图像中识别到与所述不文明驾驶行为对应的目标对象的情况下，获取预定帧图像中位于第二区域的第二局部图像，其中，所述预定帧图像包括所述当前帧图像之前和/或之后的帧图像，所述第二区域与所述第一区域对应；通过第一神经网络中的第一特征提取单元提取所述第一局部图像的第一图像表征特征和所述第二局部图像的第二图像表征特征；按照所述预定帧图像和所述当前帧图像的时间先后顺序，将所述第一图像表征特征和所述第二图像表征特征拼接成目标时序特征；通过所述第一神经网络中的第二特征提取单元，根据所述目标时序特征确定图像变化结果，其中，所述图像变化结果用于表示所述第一局部图像与所述第二局部图像之间的变化值是否超出预设阈值；根据所述图像变化结果，确定所述行为识别结果。

在一个示例性实施例中，所述根据所述图像变化结果，确定所述行为识别结果，包括：在所述图像变化结果表示所述第一局部图像与所述第二局部图像之间的变化值超出所述预设阈值的情况下，确定所述行为识别结果为所述第二类型对象对所述第一类型对象产生了所述不文明驾驶行为；在所述图像变化结果表示所述第一局部图像与所述第二局部图像之间的变化值未超出所述预设阈值的情况下，确定所述行为识别结果为所述第二类型对象未对所述第一类型对象产生所述不文明驾驶行为。

在一个示例性实施例中，在获取预定帧图像中位于第二局部区域的第二局部图像之前，所述方法还包括：通过第二神经网络对所述第一局部图像进行所述目标对象的识别，其中，所述目标对象包括水雾或水花。

在一个示例性实施例中，所述方法还包括：在所述行为识别结果表示所述第二类型对象对所述第一类型对象产生了所述不文明驾驶行为的情况下，根据所述第二检测框，获取所述第二类型对象的目标属性信息；将所述目标属性信息确定为产生所述不文明驾驶行为的关联信息。

根据本发明的另一个实施例，还提供了一种驾驶行为的确定装置，包括：检测模块，用于对当前帧图像进行对象检测和关键点提取，得到第一检测框、第二检测框及一组关键点，其中，所述第一检测框为在所述当前帧图像中识别到的第一类型对象的检测框，所述第二检测框为在所述当前帧图像中识别到的第二类型对象的检测框，所述一组关键点是在所述当前帧图像中识别到的所述第二类型对象上的关键点；判断模块，用于根据所述第一检测框与所述一组关键点，判断所述当前帧图像中的所述第一类型对象和所述第二类型对象是否位于同一景深范围；第一确定模块，用于在判断出所述当前帧图像中的所述第一类型对象和所述第二类型对象位于所述同一景深范围的情况下，根据所述第一检测框、所述第二检测框及所述一组关键点，确定所述当前帧图像中位于第一区域的第一局部图像，其中，所述位于第一区域的第一局部图像是用于识别驾驶行为的局部图像；第二确定模块，用于根据所述第一局部图像，确定行为识别结果，其中，所述行为识别结果用于表示所述第二类型对象是否对所述第一类型对象产生了不文明驾驶行为。

根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明，通过对当前帧图像进行对象检测和关键点提取，以获得第一类型对象的第一检测框、第二类型对象的第二检测框以及第二类型对象上的一组关键点，根据第一检测框与一组关键点，判断当前帧图像中第一类型对象和第二类型对象是否位于同一景深范围，当判断出第一类型对象和第二类型对象位于同一景深范围时，可根据第一检测框、第二检测框及一组关键点确定当前帧图像中的第一局部图像，其中，第一局部图像是用于识别驾驶行为的局部图像，然后，根据第一局部图像，确定第二类型对象是否对第一类型对象产生了不文明驾驶行为。即当判断出当前帧图像中的第一类型对象和第二类型对象位于同一景深范围时，确定出当前帧图像中的第一局部图像，并根据第一局部图像确定第二类型对象是否对第一类型对象产生了不文明驾驶行为，避免了相关技术中主要依靠人工分析监控画面来确定是否存在不文明驾驶行为，需要消耗大量人力的问题。因此，解决了相关技术中存在的不文明驾驶行为的确定方法的效率较低的问题，达到了提高确定不文明驾驶行为的效率的效果。

附图说明

图1是本发明实施例的驾驶行为的确定方法的移动终端硬件结构框图；

图2是根据本发明实施例的驾驶行为的确定方法的流程图；

图3是根据本发明实施例的局部图像示例图；

图4是根据本发明实施例的车辆溅湿行为的抓拍检测流程图；

图5是根据本发明实施例的目标检测与关键点回归可视化示例图；

图6是根据本发明实施例的行人和机动车同一景深示例图；

图7是根据本发明实施例的水雾区域抠图提取示意图；

图8是根据本发明实施例的水雾时序变化示意图；

图9是根据本发明实施例的双层Transformer结构神经网络分析示意图；

图10是根据本发明实施例的驾驶行为的确定装置的结构框图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明的实施例。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的驾驶行为的确定方法的移动终端硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的驾驶行为的确定方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种驾驶行为的确定方法，图2是根据本发明实施例的驾驶行为的确定方法的流程图，如图2所示，该流程包括如下步骤：

步骤S202，对当前帧图像进行对象检测和关键点提取，得到第一检测框、第二检测框及一组关键点，其中，所述第一检测框为在所述当前帧图像中识别到的第一类型对象的检测框，所述第二检测框为在所述当前帧图像中识别到的第二类型对象的检测框，所述一组关键点是在所述当前帧图像中识别到的所述第二类型对象上的关键点；

步骤S204，根据所述第一检测框与所述一组关键点，判断所述当前帧图像中的所述第一类型对象和所述第二类型对象是否位于同一景深范围；

步骤S206，在判断出所述当前帧图像中的所述第一类型对象和所述第二类型对象位于所述同一景深范围的情况下，根据所述第一检测框、所述第二检测框及所述一组关键点，确定所述当前帧图像中位于第一区域的第一局部图像，其中，所述位于第一区域的第一局部图像是用于识别驾驶行为的局部图像；

步骤S208，根据所述第一局部图像，确定行为识别结果，其中，所述行为识别结果用于表示所述第二类型对象是否对所述第一类型对象产生了不文明驾驶行为。

通过上述步骤，通过对当前帧图像进行对象检测和关键点提取，以获得第一类型对象的第一检测框、第二类型对象的第二检测框以及第二类型对象上的一组关键点，根据第一检测框与一组关键点，判断当前帧图像中第一类型对象和第二类型对象是否位于同一景深范围，当判断出第一类型对象和第二类型对象位于同一景深范围时，可根据第一检测框、第二检测框及一组关键点确定当前帧图像中的第一局部图像，其中，第一局部图像是用于识别驾驶行为的局部图像，然后，根据第一局部图像，确定第二类型对象是否对第一类型对象产生了不文明驾驶行为。即当判断出当前帧图像中的第一类型对象和第二类型对象位于同一景深范围时，确定出当前帧图像中的第一局部图像，并根据第一局部图像确定第二类型对象是否对第一类型对象产生了不文明驾驶行为，避免了相关技术中主要依靠人工分析监控画面来确定是否存在不文明驾驶行为，需要消耗大量人力的问题。因此，解决了相关技术中存在的不文明驾驶行为的确定方法的效率较低的问题，达到了提高确定不文明驾驶行为的效率的效果。

其中，上述步骤的执行主体可以为图像处理系统，或图像处理器，或视频监控系统，或终端，或交通违章检测系统，或者为配置在存储设备上的具备人机交互能力的处理器，或者为具备类似处理能力的处理设备或处理单元等，但不限于此。

在上述实施例中，对当前帧图像进行对象检测，得到第一检测框、第二检测框及一组关键点，其中，第一检测框为在当前帧图像中识别到的第一类型对象的检测框，第二检测框为在当前帧图像中识别到的第二类型对象的检测框，一组关键点是在当前帧图像中识别到的第二类型对象上的关键点，例如，上述第一类型对象为人和/或非机动车，上述第二类型对象为机动车，上述一组关键点可以是机动车的关键点，例如，机动车的关键点可以包括机动车的左前轮、左后轮、右前轮、右后轮、左大灯、右大灯、左雾灯、右雾灯、左右后视镜等车辆关键部位，而上述一组关键点可以是其中的部分关键点；在实际应用中，可以对当前帧图像采用采用卷积神经网络，不限于CenterNet、CornetNet或者是基于YOLO/SSD等检测目标矩形框的同时添加分支网络回归关键点的方式，亦或是两阶段针对检测到的机动车目标框，再基于机动车目标采用卷积神经网络特征提取并回归关键点；再根据第一检测框与一组关键点，判断当前帧图像中的第一类型对象和第二类型对象是否位于同一景深范围；在判断出当前帧图像中的第一类型对象和第二类型对象位于同一景深范围的情况下，根据第一检测框、第二检测框及一组关键点，确定当前帧图像中位于第一区域的第一局部图像，其中，位于第一区域的第一局部图像是用于识别驾驶行为的局部图像，例如，第一局部图像可以是当前帧图像中第一类型对象和第二类型对象之间的局部图像，该第一局部图像可用于识别是否发生不文明驾驶行为(如溅湿行为)；根据第一局部图像，确定行为识别结果，其中，行为识别结果用于表示第二类型对象是否对第一类型对象产生了不文明驾驶行为，即可通过对该第一局部图像进行识别，以确定第二类型对象是否对第一类型对象产生了不文明驾驶行为，例如，确定第二类型对象是否对第一类型对象产生了溅湿行为。避免了相关技术中主要依靠人工分析监控画面来确定是否存在不文明驾驶行为，需要消耗大量人力的问题。因此，解决了相关技术中存在的不文明驾驶行为的确定方法的效率较低的问题，达到了提高确定不文明驾驶行为的效率的效果。

在一个可选的实施例中，所述根据所述第一检测框与所述一组关键点，判断所述当前帧图像中的所述第一类型对象和所述第二类型对象是否位于同一景深范围，包括：确定所述第一检测框的底部中心点的第一纵坐标，以及第一关键点所对应的第二纵坐标和第二关键点所对应的第三纵坐标，其中，所述一组关键点包括所述第一关键点和所述第二关键点，所述第一关键点和所述第二关键点是所述第二类型对象上靠近所述第一类型对象一侧的关键点；根据所述第一纵坐标、所述第二纵坐标及所述第三纵坐标，判断所述当前帧图像中的所述第一类型对象和所述第二类型对象是否位于同一景深范围。在本实施例中，可通过确定第一检测框的底部中心点的第一纵坐标，以及第二类型对象的第一关键点的纵坐标(如上述第二纵坐标)和第二关键点的纵坐标(如上述第三纵坐标)，其中，第一关键点和第二关键点可以是第二类型对象(如机动车)上靠近第一类型对象(如人/非机动车)一侧的关键点，例如，如果人和/或非机动车在机动车的左侧，那么上述第一关键点和第二关键点可以是机动车的左前轮和左后轮关键部位，或者，如果人和/或非机动车在机动车的右侧，那么上述第一关键点和第二关键点可以是机动车的右前轮和右后轮关键部位，然后，再根据第一纵坐标、第二纵坐标和第三纵坐标，判断当前帧图像中第一类型对象(如人/非机动车)和第二类型对象(如机动车)是否位于同一景深范围，例如，可以判断第一纵坐标是否位于由第二纵坐标和第三纵坐标组成的坐标区间内，或者，是否位于该坐标区间之外的一定误差范围内。通过本实施例，实现了根据第一检测框及一组关键点判断当前帧图像中第一类型对象和第二类型对象是否位于同一景深范围的目的。

在一个可选的实施例中，所述根据所述第一纵坐标、所述第二纵坐标及所述第三纵坐标，判断所述当前帧图像中的所述第一类型对象和所述第二类型对象是否位于同一景深范围，包括：在所述第一纵坐标大于所述第二纵坐标与第一偏移值的差值、且小于所述第三纵坐标与第二偏移值的和值的情况下，判断出所述当前帧图像中的所述第一类型对象和所述第二类型对象位于所述同一景深范围，其中，所述第一偏移值和所述第二偏移值是预设的偏移值。在本实施例中，假设第一纵坐标为P、第二纵坐标为V1、第三纵坐标为V2，bias1为第一偏移值，bias2为第二偏移值，则当第一纵坐标、第二纵坐标及第三纵坐标之间满足关系(V1-bias1)<P<(V2+bias2)时，可判断出第一类型对象和第二类型对象在同一景深范围，bias1、bias2可以根据实际需要进行设置，可以根据大数据总结的经验进行合理设置。通过本实施例，实现了根据第一检测框及一组关键点的相关坐标之间的关系判断当前帧图像中第一类型对象和第二类型对象是否位于同一景深范围的目的。

在一个可选的实施例中，所述第二类型对象为在所述当前帧图像中识别到的目标机动车辆，所述第一关键点和所述第二关键点是所述目标机动车辆上靠近所述第一类型对象一侧的两个车轮上的点。在本实施例中，上述第二类型对象可以是在当前帧图像中识别到的目标机动车辆，第一关键点和第二关键点可以是目标机动车辆上靠近第一类型对象一侧的两个车轮上的点；上述第一类型对象可以是人和/或非机动车，例如，如果第一类型对象在第二类型对象的左侧，那么上述第一关键点和第二关键点可以是第二类型对象(如上述目标机动车辆)的左前轮和左后轮关键部位，或者，如果第一类型对象在第二类型对象的右侧，那么上述第一关键点和第二关键点可以是第二类型对象(如上述目标机动车辆)的右前轮和右后轮关键部位。

在一个可选的实施例中，所述根据所述第一检测框、所述第二检测框及所述一组关键点，确定所述当前帧图像中位于第一区域的第一局部图像，包括：将所述第一检测框的第一侧边的横坐标确定为所述第一区域的第一顶点和第二顶点的横坐标，将第一关键点和第二关键点中距离所述第一检测框较近的关键点的横坐标确定为所述第一区域的第三顶点和第四顶点的横坐标，将所述第二检测框的最大纵坐标确定为所述第一顶点和所述第三顶点的纵坐标，以及将所述第二检测框的最小纵坐标确定为所述第二顶点和所述第四顶点的纵坐标，得到所述第一区域，其中，所述第一检测框的第一侧边为所述第一检测框中距离所述第二检测框较近一侧的纵向边框；将所述当前帧图像中与所述第一区域对应的图像确定为所述第一局部图像。结合附图3对本实施例进行说明，根据第一检测框、第二检测框及一组关键点确定第一区域，如图3中第一区域的四个顶点分别为R1、R2、R3和R4，A和B分别为第二类型对象(如机动车)的第一关键点和第二关键点，可将第一检测框的第一侧边(图3中靠近机动车一侧的边框)的横坐标确定为第一顶点R1的横坐标和第二顶点R2的横坐标，将距离第一检测框较近的关键点(如图3中关键点A)的横坐标确定为第三顶点R3的横坐标和第四顶点R4的横坐标，将第二检测框的最大纵坐标(如图3中第二检测框的下边框对应的纵坐标)确定为第一顶点R1和第三顶点R3的纵坐标，将第二检测框的最小纵坐标(如图3中第二检测框的上边框对应的纵坐标)确定为第二顶点R2的纵坐标和第四顶点的纵坐标，这样可得到如图3中所示的第一区域，然后，将当前帧图像中与第一区域所对应的局部图像确定为第一局部图像，该第一局部图像用于识别是否有不文明驾驶行为(如溅湿行为)。需要说明的是，图3中是以当前帧图像的左上角为坐标原点，以向右为横坐标的正方向，以向下为纵坐标的正方向，如果图像坐标系不同的话，可以按照上述思路对各个顶点的坐标进行相应地调整。通过本实施例，实现了在当前帧图像中确定第一区域以及确定第一局部图像的目的。

在一个可选的实施例中，所述根据所述第一局部图像，确定行为识别结果，包括：在所述第一局部图像中识别到与所述不文明驾驶行为对应的目标对象的情况下，获取预定帧图像中位于第二区域的第二局部图像，其中，所述预定帧图像包括所述当前帧图像之前和/或之后的帧图像，所述第二区域与所述第一区域对应；通过第一神经网络中的第一特征提取单元提取所述第一局部图像的第一图像表征特征和所述第二局部图像的第二图像表征特征；按照所述预定帧图像和所述当前帧图像的时间先后顺序，将所述第一图像表征特征和所述第二图像表征特征拼接成目标时序特征；通过所述第一神经网络中的第二特征提取单元，根据所述目标时序特征确定图像变化结果，其中，所述图像变化结果用于表示所述第一局部图像与所述第二局部图像之间的变化值是否超出预设阈值；根据所述图像变化结果，确定所述行为识别结果。在本实施例中，当在第一局部图像中识别到与不文明驾驶行为对应的目标对象(如水雾，或水花，或其它)时，获取预定帧图像中位于第二区域的第二局部图像，预定帧图像可以是当前帧图像之前的帧图像和/或当前帧图像之后的帧图像，第二区域可以是预定帧图像中与当前帧图像中的第一区域对应的局部区域，这样可得到第二局部图像，在实际应用中，至少需要两帧图像，例如，当前帧图像和当前帧之前的帧图像，或者，当前帧图像和当前帧之后的帧图像，或者，当前帧图像、当前帧之前的帧图像及当前帧之后的帧图像等；再提取第一局部图像的第一图像表征特征和第二局部图像的第二图像表征特征，按照预定帧图像和当前帧图像的时间先后顺序将第一图像表征特征和第二图像表征特征拼接成目标时序特征，例如，可以通过双层Transformer结构神经网络的第一Transformer单元分别提取第一局部图像的第一图像表征特征和第二局部图像的第二图像表征特征，再将它们拼接成目标时序特征；然后，再将该目标时序特征送入上述神经网络的第二Transformer单元中，以判断图像变化情况，即判断图像是否发生明显变化，或者，判断第一局部图像与第二局部图像之间的变化值是否超出预设阈值，例如，可以判断第一局部图像中的水雾(或水花)与第二局部图像中的水雾(或水花)是否发生明显变化，从而可以确定行为识别结果，例如，如果前后变化不明显的话，有可能是雨天产生的水花，通过本实施例，通过采用多帧图像检测同一区域的溅水变化情况，以减少或避免误判的发生，达到提高不文明驾驶行为确定的准确性的目的。

在一个可选的实施例中，所述根据所述图像变化结果，确定所述行为识别结果，包括：在所述图像变化结果表示所述第一局部图像与所述第二局部图像之间的变化值超出所述预设阈值的情况下，确定所述行为识别结果为所述第二类型对象对所述第一类型对象产生了所述不文明驾驶行为；在所述图像变化结果表示所述第一局部图像与所述第二局部图像之间的变化值未超出所述预设阈值的情况下，确定所述行为识别结果为所述第二类型对象未对所述第一类型对象产生所述不文明驾驶行为。在本实施例中，当图像变化结果表示第一局部图像与第二局部图像之间的变化值大于或等于预设阈值时，则可确定行为识别结果为第二类型对象对第一类型对象产生了不文明驾驶行为，当图像变化结果表示第一局部图像与第二局部图像之间的变化值小于预设阈值时，则可确定行为识别结果为第二类型对象未对第一类型对象产生不文明驾驶行为。通过本实施例，可以准确地确定出是否发生不文明驾驶行为。

在一个可选的实施例中，在获取预定帧图像中位于第二局部区域的第二局部图像之前，所述方法还包括：通过第二神经网络对所述第一局部图像进行所述目标对象的识别，其中，所述目标对象包括水雾或水花。在本实施例中，在获取预定帧图像中的第二局部图像之前，先对第一局部图像进行目标对象的识别，例如，先识别第一局部图像中是否包含水雾(或水花)，如果第一局部图像中不包含目标对象，例如，晴天地面干燥，则不需要获取预定帧图像，该过程可称为是对目标对象(如水雾，或水花)的粗识别，而前述实施例中通过多帧图像对同一区域的目标对象的变化情况进行检测，可以称为是对目标对象的精识别。通过本实施例，只有在对当前帧图像的第一区域中检测到目标对象时才会进一步通过多帧图像来判断目标对象是否是不文明驾驶行为(如溅湿行为)所产生的，这样可以实现减少系统耗时开销的目的。

在一个可选的实施例中，所述方法还包括：在所述行为识别结果表示所述第二类型对象对所述第一类型对象产生了所述不文明驾驶行为的情况下，根据所述第二检测框，获取所述第二类型对象的目标属性信息；将所述目标属性信息确定为产生所述不文明驾驶行为的关联信息。在本实施例中，当行为识别结果表示第二类型对象对第一类型对象产生了不文明驾驶行为(如溅湿行为)时，可根据第二检测框获取第二类型对象(如机动车)的目标属性信息，例如，机动车的车牌、车系、车型、车色等基本属性，将该目标属性信息作为第二类型对象产生不文明驾驶行为的关联信息，在实际应用中，可将该目标属性信息与前述当前帧图像和/或预定帧图像和/或第一、第二局部图像一起，作为机动车发生不文明驾驶行为的证据链。通过本实施例，可实现有效获取产生不文明驾驶行为的关联信息或证据链的目的。

显然，上述所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。现结合实施例对本发明进行具体说明，下面以车辆溅湿行为的抓拍检测为例。

图4是根据本发明实施例的车辆溅湿行为的抓拍检测流程图，该流程包括：

S400，获取实时视频，并将视频帧进行缓存；

实时获取图像，得到视频输入，为连续的图片集合I＝{I₁,I₂,...,I_k}。

S402，对当前帧进行人机非(人、机动车、非机动车)目标检测+关键点回归；

对视频流中的每帧图像，进行人机非目标检测，并针对机动车目标进行关键点回归，该步骤具体如下：

S40202，对单帧图像采用卷积神经网络，不限于CenterNet、CornetNet或者是基于YOLO/SSD等检测目标矩形框的同时添加分支网络回归关键点的方式，亦或是两阶段针对检测到的机动车目标框，再基于机动车目标采用卷积神经网络特征提取并回归关键点(对应于前述一组关键点)；

S40204，机动车关键点总共有K个，分别为左前轮、左后轮、右前轮、右后轮、左大灯、右大灯、左雾灯、右雾灯、左右后视镜等车辆关键部位，非机动车与行人不需要回归关键点。最终可以得到关于输入图片的N个关键点响应图，如图5所示，一般用一个高斯核来表达预测到的关键点，整图人机非目标检测与关键点回归可视化如图5所示。

S404，人非位置与运动车辆位置判断；

在前述步骤S402的基础上，对检测到的人机非目标进行跟踪，不具备溅水条件的静止机动车不做分析，只对运动机动车做分析，针对运动机动车，确定人非与运动机动车的位置关系，具体方法如下：记人非检测框底部中心点纵坐标为P，机动车靠近人非侧的两个轮子(左前轮、左后轮或者右前轮、右后轮)的关键点的纵坐标为V1、V2；

S406，判断上述步骤S404中是否满足位置触发条件；

当满足V1-bias<P<V2+bias时，即可判断行人、非机动车和机动车基本处于同一景深范围，满足位置触发条件，其中bias为经验参数，可以根据相机高度、角度动态配置。行人和机动车处于同一景深示意图如图6所示，图中左侧检测框为行人检测框(对应于前述第一检测框)，图中右侧检测框为机动车检测框(对应于前述第二检测框)，图中A、B为机动车的关键点(对应于前述第一关键点、第二关键点)。

S408，在S404-S406的基础上，当满足位置触发条件的情况下，裁剪出可能会出现溅湿行人和非机动车的区域，以判断该区域是否包含水雾，具体如下：

当满足位置触发条件时，记靠近人非侧的机动车的两个轮子的关键点分别为P1(x1,y1)、P2(x2,y2)，两个机动车坐标框上的点为P3(x3,y3)、P4(x3,y4)，靠近机动车侧的两个人非坐标框上的点为P5(x4,y5)、P6(x4,y6)。假设x1<x2，则裁剪区域为W1(x4,y3)、W2(x4,y4)、W3(x1,y3)、W4(x1,y4)，抠图提取区域如图7黑色粗线框所示。(简易理解就是，黑色粗线框的纵坐标与机动车保持一致，横坐标的两个边缘分别为距离人非侧最近的轮子关键点的横坐标，以及距离机动车最近的人非侧检测框的横坐标。)

S410，进行水雾识别(粗识别)；

对抠图区域采用卷积神经网路，不限于VIT、Resnet、Convnext等主流神经网络，进行水雾识别。

S412，进行是否包含水雾的判断。

如果识别出水雾，则进行S414，否则结束当前程序，即进入S422。

需要说明的是，如果只利用单帧图片，判断是否包含水雾，一直下雨的天气可能存在误检，因此采用多帧方法检测同一位置溅水的前后变化，如果水雾发生明显变化，则可近一步识别水雾。否则的话，则可能是雨天造成的误检，结束当前程序，不进行上报。例如，水雾时序变化示意图如图8所示。具体如下：

S414，收集告警前缓存帧、告警帧、告警后帧作为神经网络的输入，神经网络为一个双层Transformer结构，以进行水雾的精识别，其示意图如图9所示。

具体实施时，首先将告警前缓存帧、告警帧、告警后帧分别输入到第一Transformer单元之中，提取图片特征，其中，第一Transformer单元共享权重。然后将提取出来的特征拼接成时序特征，送入到第二Transformer单元之中，判断水雾是否发生明显变化，从而实现水雾精识别，进入步骤S418。

S416，识别单帧(如告警帧)或多帧车辆属性信息，例如，车辆的车牌、车系、车色等属性信息。

可选地，该步骤S416可以在步骤S418之后再执行。

S418，判断是否识别出水雾，即通过多帧图像之间是否发生明显变化，以判断是否有水雾。

如果该步骤判断结果为否的情况下，进入步骤S422。

S420，如果水雾精识别的结果为真，则该机动车为违章目标，通过目标检测与目标识别，获取机动车的车牌、车系、车型、车色等基本属性，从而完成违章车辆的抓拍。

S422，结束。

在上述实施例中，提出了一种机动车不文明驾驶行为(如前述溅湿行为)抓拍系统。采用目标检测与关键点回归的方法，对视频中机动车与人非目标进行位置触发关系判定，对满足触发条件的区域判断是否包含水雾，进一步地对满足水雾基本体征的区域，采用Transformer方法进行多帧时序序列水雾变化识别判断，从而提升水雾识别的准确率，将溅水的机动车违章目标识别车牌、车系、车型、车色等基本属性，达到告警抓拍的目的，采用粗分，然后进一步细分的方法也可以减少系统耗时开销。

本发明实施例提出一种机动车不文明驾驶行为抓拍系统，为业内首创。该系统可以通过智能交通技术，抓拍溅湿行人和非机动车的机动车，替代交通管理部门的执行人员对相关行为的人工分析，减少人员投入，降低人力成本；抓拍系统不需要任何速度传感器和雷达装置，只需要使用视频帧，即只利用图像传感器获取视频帧，基于关键点与目标检测框之间的关系，判断机动车与行人、非机动车之间是否处于同一景深，并且参数可以动态调节，可以有效适用于不同相机高度、角度；采用两阶段方案进行水雾识别，首先基于视频帧进行水雾粗识别，然后使用视频序列进行水雾精识别，一方面可以有效提高水雾识别的准确率，另外一方面，也可以通过粗分筛选的方式减少系统耗时开销；提出一种双层Transformer结构进行水雾精识别，首先将告警前缓存帧、告警帧、告警后帧分别输入到第一层Transformer之中，提取图片特征，然后将提取出来的特征送入到第二层Transformer之中，判断水雾是否发生明显变化。

与相关技术相比，本申请实施例具有以下优点：1)利用关键点结合目标检测检测框来判断车辆与行人、非机动车之间是否处于同一景深，参数可以动态调节，可以有效适用于多种场景；2)采用两阶段方案进行水雾识别，首先基于视频帧进行水雾粗识别，然后使用视频序列进行水雾精识别，一方面可以有效提高水雾识别的准确率，另外一方面，也可以通过粗分筛选的方式减少系统耗时开销；3)提出一种双层Transformer结构进行水雾精识别，首先将告警前缓存帧、告警帧、告警后帧分别输入到第一层Transformer之中，提取图片特征，然后将提取出来的特征送入到第二层Transformer之中，判断水雾是否发生明显变化。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

在本实施例中还提供了一种驾驶行为的确定装置，图10是根据本发明实施例的驾驶行为的确定装置的结构框图，如图10所示，该装置包括：

检测模块1002，用于对当前帧图像进行对象检测和关键点提取，得到第一检测框、第二检测框及一组关键点，其中，所述第一检测框为在所述当前帧图像中识别到的第一类型对象的检测框，所述第二检测框为在所述当前帧图像中识别到的第二类型对象的检测框，所述一组关键点是在所述当前帧图像中识别到的所述第二类型对象上的关键点；

判断模块1004，用于根据所述第一检测框与所述一组关键点，判断所述当前帧图像中的所述第一类型对象和所述第二类型对象是否位于同一景深范围；

第一确定模块1006，用于在判断出所述当前帧图像中的所述第一类型对象和所述第二类型对象位于所述同一景深范围的情况下，根据所述第一检测框、所述第二检测框及所述一组关键点，确定所述当前帧图像中位于第一区域的第一局部图像，其中，所述位于第一区域的第一局部图像是用于识别驾驶行为的局部图像；

第二确定模块1008，用于根据所述第一局部图像，确定行为识别结果，其中，所述行为识别结果用于表示所述第二类型对象是否对所述第一类型对象产生了不文明驾驶行为。

在一个可选的实施例中，上述判断模块1004包括：第一确定单元，用于确定所述第一检测框的底部中心点的第一纵坐标，以及第一关键点所对应的第二纵坐标和第二关键点所对应的第三纵坐标，其中，所述一组关键点包括所述第一关键点和所述第二关键点，所述第一关键点和所述第二关键点是所述第二类型对象上靠近所述第一类型对象一侧的关键点；判断单元，用于根据所述第一纵坐标、所述第二纵坐标及所述第三纵坐标，判断所述当前帧图像中的所述第一类型对象和所述第二类型对象是否位于同一景深范围。

在一个可选的实施例中，上述判断单元包括：判断子单元，用于在所述第一纵坐标大于所述第二纵坐标与第一偏移值的差值、且小于所述第三纵坐标与第二偏移值的和值的情况下，判断出所述当前帧图像中的所述第一类型对象和所述第二类型对象位于所述同一景深范围，其中，所述第一偏移值和所述第二偏移值是预设的偏移值。

在一个可选的实施例中，所述第二类型对象为在所述当前帧图像中识别到的目标机动车辆，所述第一关键点和所述第二关键点是所述目标机动车辆上靠近所述第一类型对象一侧的两个车轮上的点。

在一个可选的实施例中，上述第一确定模块1006包括：第二确定单元，用于将所述第一检测框的第一侧边的横坐标确定为所述第一区域的第一顶点和第二顶点的横坐标，将第一关键点和第二关键点中距离所述第一检测框较近的关键点的横坐标确定为所述第一区域的第三顶点和第四顶点的横坐标，将所述第二检测框的最大纵坐标确定为所述第一顶点和所述第三顶点的纵坐标，以及将所述第二检测框的最小纵坐标确定为所述第二顶点和所述第四顶点的纵坐标，得到所述第一区域，其中，所述第一检测框的第一侧边为所述第一检测框中距离所述第二检测框较近一侧的纵向边框；第三确定单元，用于将所述当前帧图像中与所述第一区域对应的图像确定为所述第一局部图像。

在一个可选的实施例中，上述第二确定模块1008包括：获取单元，用于在所述第一局部图像中识别到与所述不文明驾驶行为对应的目标对象的情况下，获取预定帧图像中位于第二区域的第二局部图像，其中，所述预定帧图像包括所述当前帧图像之前和/或之后的帧图像，所述第二区域与所述第一区域对应；提取单元，用于通过第一神经网络中的第一特征提取单元提取所述第一局部图像的第一图像表征特征和所述第二局部图像的第二图像表征特征；拼接单元，用于按照所述预定帧图像和所述当前帧图像的时间先后顺序，将所述第一图像表征特征和所述第二图像表征特征拼接成目标时序特征；第四确定单元，用于通过所述第一神经网络中的第二特征提取单元，根据所述目标时序特征确定图像变化结果，其中，所述图像变化结果用于表示所述第一局部图像与所述第二局部图像之间的变化值是否超出预设阈值；第五确定单元，用于根据所述图像变化结果，确定所述行为识别结果。

在一个可选的实施例中，上述第五确定单元包括：第一确定子单元，用于在所述图像变化结果表示所述第一局部图像与所述第二局部图像之间的变化值超出所述预设阈值的情况下，确定所述行为识别结果为所述第二类型对象对所述第一类型对象产生了所述不文明驾驶行为；第二确定子单元，用于在所述图像变化结果表示所述第一局部图像与所述第二局部图像之间的变化值未超出所述预设阈值的情况下，确定所述行为识别结果为所述第二类型对象未对所述第一类型对象产生所述不文明驾驶行为。

在一个可选的实施例中，上述装置还包括：识别模块，用于在获取预定帧图像中位于第二局部区域的第二局部图像之前，通过第二神经网络对所述第一局部图像进行所述目标对象的识别，其中，所述目标对象包括水雾或水花。

在一个可选的实施例中，上述装置还包括：获取模块，用于在所述行为识别结果表示所述第二类型对象对所述第一类型对象产生了所述不文明驾驶行为的情况下，根据所述第二检测框，获取所述第二类型对象的目标属性信息；第三确定模块，用于将所述目标属性信息确定为产生所述不文明驾驶行为的关联信息。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种驾驶行为的确定方法，其特征在于，包括：

对当前帧图像进行对象检测和关键点提取，得到第一检测框、第二检测框及一组关键点，其中，所述第一检测框为在所述当前帧图像中识别到的第一类型对象的检测框，所述第二检测框为在所述当前帧图像中识别到的第二类型对象的检测框，所述一组关键点是在所述当前帧图像中识别到的所述第二类型对象上的关键点；

根据所述第一检测框与所述一组关键点，判断所述当前帧图像中的所述第一类型对象和所述第二类型对象是否位于同一景深范围；

在判断出所述当前帧图像中的所述第一类型对象和所述第二类型对象位于所述同一景深范围的情况下，根据所述第一检测框、所述第二检测框及所述一组关键点，确定所述当前帧图像中位于第一区域的第一局部图像，其中，所述位于第一区域的第一局部图像是用于识别驾驶行为的局部图像；

根据所述第一局部图像，确定行为识别结果，其中，所述行为识别结果用于表示所述第二类型对象是否对所述第一类型对象产生了不文明驾驶行为。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一检测框与所述一组关键点，判断所述当前帧图像中的所述第一类型对象和所述第二类型对象是否位于同一景深范围，包括：

确定所述第一检测框的底部中心点的第一纵坐标，以及第一关键点所对应的第二纵坐标和第二关键点所对应的第三纵坐标，其中，所述一组关键点包括所述第一关键点和所述第二关键点，所述第一关键点和所述第二关键点是所述第二类型对象上靠近所述第一类型对象一侧的关键点；

根据所述第一纵坐标、所述第二纵坐标及所述第三纵坐标，判断所述当前帧图像中的所述第一类型对象和所述第二类型对象是否位于同一景深范围。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一纵坐标、所述第二纵坐标及所述第三纵坐标，判断所述当前帧图像中的所述第一类型对象和所述第二类型对象是否位于同一景深范围，包括：

在所述第一纵坐标大于所述第二纵坐标与第一偏移值的差值、且小于所述第三纵坐标与第二偏移值的和值的情况下，判断出所述当前帧图像中的所述第一类型对象和所述第二类型对象位于所述同一景深范围，其中，所述第一偏移值和所述第二偏移值是预设的偏移值。

4.根据权利要求2所述的方法，其特征在于，所述第二类型对象为在所述当前帧图像中识别到的目标机动车辆，所述第一关键点和所述第二关键点是所述目标机动车辆上靠近所述第一类型对象一侧的两个车轮上的点。

5.根据权利要求1所述的方法，其特征在于，所述根据所述第一检测框、所述第二检测框及所述一组关键点，确定所述当前帧图像中位于第一区域的第一局部图像，包括：

将所述第一检测框的第一侧边的横坐标确定为所述第一区域的第一顶点和第二顶点的横坐标，将第一关键点和第二关键点中距离所述第一检测框较近的关键点的横坐标确定为所述第一区域的第三顶点和第四顶点的横坐标，将所述第二检测框的最大纵坐标确定为所述第一顶点和所述第三顶点的纵坐标，以及将所述第二检测框的最小纵坐标确定为所述第二顶点和所述第四顶点的纵坐标，得到所述第一区域，其中，所述第一检测框的第一侧边为所述第一检测框中距离所述第二检测框较近一侧的纵向边框；

将所述当前帧图像中与所述第一区域对应的图像确定为所述第一局部图像。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述根据所述第一局部图像，确定行为识别结果，包括：

在所述第一局部图像中识别到与所述不文明驾驶行为对应的目标对象的情况下，获取预定帧图像中位于第二区域的第二局部图像，其中，所述预定帧图像包括所述当前帧图像之前和/或之后的帧图像，所述第二区域与所述第一区域对应；

通过第一神经网络中的第一特征提取单元提取所述第一局部图像的第一图像表征特征和所述第二局部图像的第二图像表征特征；

按照所述预定帧图像和所述当前帧图像的时间先后顺序，将所述第一图像表征特征和所述第二图像表征特征拼接成目标时序特征；

通过所述第一神经网络中的第二特征提取单元，根据所述目标时序特征确定图像变化结果，其中，所述图像变化结果用于表示所述第一局部图像与所述第二局部图像之间的变化值是否超出预设阈值；

根据所述图像变化结果，确定所述行为识别结果。

7.根据权利要求6所述的方法，其特征在于，所述根据所述图像变化结果，确定所述行为识别结果，包括：

在所述图像变化结果表示所述第一局部图像与所述第二局部图像之间的变化值超出所述预设阈值的情况下，确定所述行为识别结果为所述第二类型对象对所述第一类型对象产生了所述不文明驾驶行为；

在所述图像变化结果表示所述第一局部图像与所述第二局部图像之间的变化值未超出所述预设阈值的情况下，确定所述行为识别结果为所述第二类型对象未对所述第一类型对象产生所述不文明驾驶行为。

8.根据权利要求6所述的方法，其特征在于，在获取预定帧图像中位于第二局部区域的第二局部图像之前，所述方法还包括：

通过第二神经网络对所述第一局部图像进行所述目标对象的识别，其中，所述目标对象包括水雾或水花。

9.根据权利要求1至5中任一项所述的方法，其特征在于，所述方法还包括：

在所述行为识别结果表示所述第二类型对象对所述第一类型对象产生了所述不文明驾驶行为的情况下，根据所述第二检测框，获取所述第二类型对象的目标属性信息；

将所述目标属性信息确定为产生所述不文明驾驶行为的关联信息。

10.一种驾驶行为的确定装置，其特征在于，包括：

检测模块，用于对当前帧图像进行对象检测和关键点提取，得到第一检测框、第二检测框及一组关键点，其中，所述第一检测框为在所述当前帧图像中识别到的第一类型对象的检测框，所述第二检测框为在所述当前帧图像中识别到的第二类型对象的检测框，所述一组关键点是在所述当前帧图像中识别到的所述第二类型对象上的关键点；

判断模块，用于根据所述第一检测框与所述一组关键点，判断所述当前帧图像中的所述第一类型对象和所述第二类型对象是否位于同一景深范围；

第一确定模块，用于在判断出所述当前帧图像中的所述第一类型对象和所述第二类型对象位于所述同一景深范围的情况下，根据所述第一检测框、所述第二检测框及所述一组关键点，确定所述当前帧图像中位于第一区域的第一局部图像，其中，所述位于第一区域的第一局部图像是用于识别驾驶行为的局部图像；

第二确定模块，用于根据所述第一局部图像，确定行为识别结果，其中，所述行为识别结果用于表示所述第二类型对象是否对所述第一类型对象产生了不文明驾驶行为。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现所述权利要求1至9任一项中所述的方法的步骤。

12.一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现所述权利要求1至9任一项中所述的方法的步骤。

Images