CN114299472A - 异常行为的确定方法和装置、存储介质及电子装置 - Google Patents

Abstract

本发明公开了一种异常行为的确定方法和装置、存储介质及电子装置，其中，上述方法包括：构建行为分类模型，其中，所述行为分类模型包括：多个行为分类子模型，所述多个行为分类子模型分别设置有相同或不同的权重；对待检测车辆的车窗区域进行图像识别，以获取所述车窗区域的检测框图片，其中，所述检测框图片中包括：第一目标对象和/或第二目标对象；根据所述多个行为分类子模型的权重大小对所述多个行为分类子模型进行排序，并指示所述多个行为分类子模型根据排序结果对所述车窗区域的检测框图片进行识别，得到识别结果，以及根据所述识别结果确定所述第一目标对象和/或所述第二目标对象的行为是否存在异常。

Description

异常行为的确定方法和装置、存储介质及电子装置

技术领域

本发明涉及通信领域，具体而言，涉及一种异常行为的确定方法和装置、存储介质及电子装置。

背景技术

目前，智能监控技术已经在交通管理领域得到广泛应用，比如：车辆检测，车辆识别，流量统计，违章抓拍等，然而大部分都侧重于交通事故鉴定，在交通事故的预防方面的应用较少，特别是，人工智能技术和智能交通管理在交通事故预防方面的应用比较少见。

很多交通事故的发生以及造成重大损失往往是因为驾驶员的行为疏忽引起的，而现有的交通事故管理措施多为先发现再处理的模式，结合智能监控技术能及时监控到事故的发生并处理，这种模式虽然能及时止损，但是无法监控驾驶员行为，在驾驶员的异常行为造成不良后果前无法及时采取补救措施，因而无法从根本上降低交通事故的发生概率。

针对相关技术中，无法监控驾驶员行为，进而导致驾驶员的异常行为造成不良后果前无法及时采取补救措施的问题，尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种异常行为的确定方法和装置、存储介质及电子装置，以至少解决现有技术无法监控驾驶员行为，进而导致驾驶员的异常行为造成不良后果前无法及时采取补救措施。

根据本发明实施例的一个实施例，提供了一种异常行为的确定方法，包括：构建行为分类模型，其中，所述行为分类模型包括：多个行为分类子模型，所述多个行为分类子模型分别设置有相同或不同的权重；对待检测车辆的车窗区域进行图像识别，以获取所述车窗区域的检测框图片，其中，所述检测框图片中包括：第一目标对象和/或第二目标对象；根据所述多个行为分类子模型的权重大小对所述多个行为分类子模型进行排序，并指示所述多个行为分类子模型根据排序结果对所述车窗区域的检测框图片进行识别，得到识别结果，以及根据所述识别结果确定所述第一目标对象和/或所述第二目标对象的行为是否存在异常。

在一个示例性实施例中，指示所述多个行为分类子模型根据排序结果对所述车窗区域的检测框图片进行识别，得到识别结果，以及根据所述识别结果确定所述第一目标对象或/或所述第二目标对象的行为是否存在异常，包括：指示所述多个行为分类子模型对所述车窗区域的检测框图片进行识别，以确定所述检测框图片中的第一目标对象和/或所述第二目标对象是否存在所述多个行为分类子模型对应的异常行为；在所述检测框图片中第一目标对象对应的区域存在一个或多个行为分类子模型对应的异常行为的情况下，确定所述第一目标对象的行为存在异常；和/或在所述检测框图片中第二目标对象对应的区域存在一个或多个行为分类子模型对应的异常行为的情况下，确定所述第二目标对象的行为存在异常。

在一个示例性实施例中，指示所述多个行为分类子模型根据排序结果对所述车窗区域的检测框图片进行识别，得到识别结果，以及根据所述识别结果确定所述第一目标对象或/或所述第二目标对象的行为是否存在异常，包括：在所述多个行为分子模型的权重相同的情况下，控制所述多个行为分类子模型按照任意识别顺序对所述检测框图片进行识别，以确定所述检测框图片中的第一目标对象和/或第二目标对象是否存在所述多个行为分类子模型对应的异常行为；在所述多个行为分子模型的权重不相同的情况下，按照从大到小的顺序得到所述权重的顺序，控制所述多个行为分类子模型按照所述权重的顺序对所述检测框图片进行识别，以确定所述检测框图片中的第一目标对象和/或第二目标对象是否存在所述多个行为分类子模型对应的异常行为。

在一个示例性实施例中，对待检测车辆的车窗区域进行图像识别，以获取所述车窗区域的检测框图片之前，所述方法还包括：对所述待检测车辆进行图片抓拍，得到所述待检测车辆的图片；将所述待检测车辆的图片输入到车窗检测模型中，通过所述车窗检测模型对所述待检测车辆的车头区域进行识别，以得到所述待检测车辆的车窗区域。

在一个示例性实施例中，根据所述识别结果确定所述第一目标对象或/或所述第二目标对象的行为是否存在异常之后，所述方法还包括：汇总所述第一目标对象的第一异常行为集合，和/或汇总所述第二目标对象的第二异常行为集合；根据所述第一异常行为集合和/或第二异常行为集合向交通管理平台执行告警事件。

根据本发明实施例的另一个实施例，还提供了一种异常行为的确定系统，包括：终端设备，用于构建行为分类模型，对待检测车辆的车窗区域进行图像识别，以获取所述车窗区域的检测框图片，根据所述行为分类模型中的多个行为分类子模型的权重大小对所述多个行为分类子模型进行排序，并指示所述多个行为分类子模型根据排序结果对所述车窗区域的检测框图片进行识别，得到识别结果，以及根据所述识别结果确定所述第一目标对象或/或所述第二目标对象的行为是否存在异常，其中，所述行为分类模型包括：多个行为分类子模型，所述多个行为分类子模型分别设置有相同或不同的权重；所述检测框图片中包括：第一目标对象和/或第二目标对象。

在一个示例性实施例中，所述终端设备，还用于在所述多个行为分子模型的权重相同的情况下，控制所述多个行为分类子模型按照任意识别顺序对所述检测框图片进行识别，以确定所述检测框图片中的第一目标对象和/或第二目标对象是否存在所述多个行为分类子模型对应的异常行为；在所述多个行为分子模型的权重不相同的情况下，按照从大到小的顺序得到所述权重的顺序，控制所述多个行为分类子模型按照所述权重的顺序对所述检测框图片进行识别，以确定所述检测框图片中的第一目标对象和/或第二目标对象是否存在所述多个行为分类子模型对应的异常行为。

在一个示例性实施例中，所述系统还包括：交通管理平台，其中，所述交通管理平台，用于接收所述终端设备发送的所述第一目标对象的第一异常行为集合和/或所述第二目标对象的第二异常行为集合；所述终端设备，用于根据所述识别结果确定所述第一目标对象和/或所述第二目标对象的行为是否存在异常，在所述第一目标对象和/或所述第二目标对象的行为存在异常的情况下，将所述待检测车辆的信息和所述第一目标对象和/或所述第二目标对象异常行为的信息上传到所述交通管理平台；所述交通管理平台，用于根据所述待检测车辆的车辆信息确定所述第一目标对象和/或所述第二目标对象的身份信息。

根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述异常行为的确定方法。

根据本发明实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的异常行为的确定方法。

在本申请实施例中，构建包括多个行为分类子模型的行为分类模型，所述多个行为分类子模型分别设置有相同或不同的权重；对待检测车辆的车窗区域进行图像识别，以获取包括第一目标对象和/或第二目标对象的所述车窗区域的检测框图片；根据所述多个行为分类子模型的权重大小对所述多个行为分类子模型进行排序，并指示所述多个行为分类子模型根据排序结果对所述车窗区域的检测框图片进行识别，得到识别结果，以及根据所述识别结果确定所述第一目标对象和/或所述第二目标对象的行为是否存在异常。采用上述技术方案，解决了现有技术无法监控驾驶员行为，进而导致驾驶员的异常行为造成不良后果前无法及时采取补救措施，进而提高了交通事故预防的及时性。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例的一种异常行为的确定方法的图像采集设备的硬件结构框图；

图2是根据本发明实施例的异常行为的确定方法的流程图；

图3是根据本发明实施例的检测框标注的示意图；

图4是根据本发明实施例的车窗监测模型的应用示意图；

图5是根据本发明实施例的行为分类模型的应用示意图；

图6是根据本发明实施例的异常行为的确定系统的示意图；

图7是根据本发明实施例的异常行为的确定方法的示意图；

图8根据本发明实施例的一种异常行为的确定装置的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请实施例所提供的方法实施例可以在图像采集设备或者类似的运算装置中执行。以运行在图像采集设备上为例，图1是本发明实施例的一种异常行为的确定方法的图像采集设备的硬件结构框图。如图1所示，图像采集设备可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，在一个示例性实施例中，上述图像采集设备还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述图像采集设备的结构造成限定。例如，图像采集设备还可包括比图1中所示更多或者更少的组件，或者具有与图1所示等同功能或比图1所示功能更多的不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的异常行为的确定方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至图像采集设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括图像采集设备的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种异常行为的确定方法，应用于上述图像采集设备，图2是根据本发明实施例的异常行为的确定方法的流程图，该流程包括如下步骤：

步骤S202，构建行为分类模型，其中，所述行为分类模型包括：多个行为分类子模型，所述多个行为分类子模型分别设置有相同或不同的权重；

需要说明的是，上述行为分类模型用于对第一对象和/或第二对象的行为进行分析，上述行为分类子模型可用于识别第一对象和/或第二对象不同的异常行为。

步骤S204，对待检测车辆的车窗区域进行图像识别，以获取所述车窗区域的检测框图片，其中，所述检测框图片中包括：第一目标对象和/或第二目标对象；

需要说明的是，待检测车辆可以是货车，卡车，家用轿车等道路上的机动车，不可以是火车、自行车、三轮车等。

需要说明的是，上述第一目标对象和第二目标对象可以理解为检测框图片中的对象，可以包括人、机器人等，本申请对此不做限制。

需要说明的是，上述检测框用于标注待检测车辆的车窗区域，为了帮助理解，结合图3来进行说明，图3是根据本发明实施例的检测框标注的示意图，图3中黑色粗线标注的区域即检测框区域。

步骤S206，根据所述多个行为分类子模型的权重大小对所述多个行为分类子模型进行排序，并指示所述多个行为分类子模型根据排序结果对所述车窗区域的检测框图片进行识别，得到识别结果，以及根据所述识别结果确定所述第一目标对象和/或所述第二目标对象的行为是否存在异常。

需要说明的是，上述行为分类子模型可用于识别不同的异常行为，当任意一个行为分类子模型识别到第一目标对象和/或第二目标对象的行为存在异常，则可确定第一目标对象和/或第二目标对象的行为存在异常。

需要说明的是，上述“指示所述多个行为分类子模型根据排序结果对所述车窗区域的检测框图片进行识别”可以理解为多个行为分类子模型按照排序结果依次对车窗区域的检测照片进行识别，比如当用于第一分类子模型的权重大于第二分类子模型的权重，则第一分类子模型先对车窗区域的检测照片进行识别，然后第二分类子模型再进行识别。

通过上述步骤，根据本发明实施例的一个实施例，提供了一种异常行为的确定方法，包括：构建包括多个行为分类子模型的行为分类模型，所述多个行为分类子模型分别设置有相同或不同的权重；对待检测车辆的车窗区域进行图像识别，以获取所述车窗区域包括第一目标对象和/或第二目标对象的检测框图片；根据所述多个行为分类子模型的权重大小对所述多个行为分类子模型进行排序，并指示所述多个行为分类子模型根据排序结果对所述车窗区域的检测框图片进行识别，得到识别结果，以及根据所述识别结果确定所述第一目标对象和/或所述第二目标对象的行为是否存在异常。采用上述技术方案，解决了现有技术无法监控驾驶员行为，进而导致驾驶员的异常行为造成不良后果前无法及时采取补救措施的问题。

在一个示例性实施例中，对待检测车辆的车窗区域进行图像识别，以获取所述车窗区域的检测框图片之前，对所述待检测车辆进行图片抓拍，得到所述待检测车辆的图片；将所述待检测车辆的图片输入到车窗检测模型中，通过所述车窗检测模型对所述待检测车辆的车头区域进行识别，以得到所述待检测车辆的车窗区域。

需要说明的是，所述车窗检测模型用于对车辆的检测框进行标注。如图4所示，图4是根据本发明实施例的车窗监测模型的应用示意图，输入待检测车辆的正面照片后，通过车窗检测模型进行处理，得到带有车窗标注的输出照片。

可选的，在本实施例中，可以采用常规的一阶段检测方式来构建车窗检测模型，由backbone(主干)，fpn(特征金字塔)，classification(分类分支)，regression(回归分支)。如图4所示，图4是根据本发明实施例的车窗监测模型的应用示意图，输入待检测车辆的正面照片后，backbone和fpn用于提取该图片的特征，classification用于该图片前后背景分类，regression用于该图片车辆检测框的回归拟合。

可选的，在本实施例中，上述车窗检测框模型的训练方式，包括但不限于：采集机动车的正面图片，将采集的图片以车辆为单位进一步进行驾驶室前玻璃检测框标注，将机动车的正面图片和驾驶室前玻璃检测框标注组成数据集，通过这两种图片的数据集来训练车窗检测模型。

在一个示例性实施例中，在所述多个行为分子模型的权重相同的情况下，控制所述多个行为分类子模型按照任意识别顺序对所述检测框图片进行识别，以确定所述检测框图片中的第一目标对象和/或第二目标对象是否存在所述多个行为分类子模型对应的异常行为；在所述多个行为分子模型的权重不相同的情况下，按照从大到小的顺序得到所述权重的顺序，控制所述多个行为分类子模型按照所述权重的顺序对所述检测框图片进行识别，以确定所述检测框图片中的第一目标对象和/或第二目标对象是否存在所述多个行为分类子模型对应的异常行为。

需要说明的是，上述第一目标对象可以是待检测车辆的主驾驶，第二目标对象可以是待检测车辆的副驾驶。

需要说明的是，上述权重可以根据相关交通管理办法确定的异常行为的严重程度来确定，比如，行为分类子模型1用于识别是否抽烟，行为分类子模型2用于识别不带安全带，交通管理法将车内抽烟为十分严重，不带安全带为严重，则行为分类子模型1的权重大于行为分类子模型2的权重；上述权重还可以根据异常行为发生的频率来确定，比如，行为分类子模型1用于识别是否抽烟，行为分类子模型2用于识别不带安全带，车内不带安全带发生的频率大于车内抽烟发生的频率，则行为分类子模型2的的权重大于行为分类子模型1的权重。

在一个示例性实施例中，指示所述多个行为分类子模型对所述车窗区域的检测框图片进行识别，以确定所述检测框图片中的第一目标对象和/或所述第二目标对象是否存在所述多个行为分类子模型对应的异常行为；在所述检测框图片中第一目标对象对应的区域存在一个或多个行为分类子模型对应的异常行为的情况下，确定所述第一目标对象的行为存在异常；和/或在所述检测框图片中第二目标对象对应的区域存在一个或多个行为分类子模型对应的异常行为的情况下，确定所述第二目标对象的行为存在异常。

需要说明的是，为了帮助理解上述实施例，结合图5来对本实施例进行说明，图5是根据本发明实施例的行为分类模型的应用示意图，通过行为分类模型中backbone来提取检测框图片的特征，FC(fully Connected，全连接)用于对检测框中第一目标对象和/或所述第二目标对象的行为特征进行分类，即通过多个行为分类子模型来识别第一目标对象和/或所述第二目标对象是否存在异常行为，其中，不同的行为子模型分别用于识别不同的异常行为，比如行为分类子模型1用于识别是否在车内抽烟，行为分类子模型2用于识别是否玩手机。

需要说明的是，只要第一目标对象和/或所述第二目标对象存在任意一个或多个行为分类子模型对应的异常行为，就认定第一目标对象和/或所述第二目标对象的行为存在异常。

需要说明的是，第一目标对象和第二目标对象的异常行为的种类可以存在差异，这取决于模型训练的结果。比如说，当第一目标对象为主驾驶，第二目标对象为副驾驶，在模型进行训练的时候，副驾驶的异常行为的数据集中不包括副驾驶玩手机，而主驾驶的数据集中包括主驾驶玩手机，则经过训练的行为分类模型识别的第一目标对象和第二目标对象的异常行为的种类存在差异。

需要说明的是，由于异常行为之间并不互相独立，比如带安全带情况，抽烟情况和看手机情况并不互相独立，所以采用多分支的方式构建行为分类模型，每个分支对应一个行为分类子模型，每一行为分类子模型用于识别一种异常行为。

可选的，在本实施例中，上述分类子模型包括一个二分类，这一二分类用于指示第一目标对象和/或第二目标对象是否存在所述多个行为分类子模型对应的异常行为，比如，当分类子模型是是否抽烟的时候，二分类可以是：是和否，是用于指示第一目标对象和/或第二目标对象抽烟，否用于指示第一目标对象和/或第二目标对象没有抽烟。

可选的，在本实施例中，确定所述第一目标对象和/或第二目标对象的行为存在异常之后，所述方法还包括：组合多个分类模型识别到的异常行为的结果，输出为行为分类模型的结果，比如说，行为分类子模型1用于识别到第一目标对象在车内抽烟，第二目标对象没有抽烟，行为分类子模型2识别到第一目标对象没有玩手机，第二目标对象玩手机，则模型输出的结果为{第一目标对象在车内抽烟，第二目标对象玩手机}。

在一个示例性实施例中，根据所述识别结果确定所述第一目标对象或/或所述第二目标对象的行为是否存在异常之后，所述方法还包括：汇总所述第一目标对象的第一异常行为集合，和/或汇总所述第二目标对象的第二异常行为集合；根据所述第一异常行为集合和/或第二异常行为集合向交通管理平台执行告警事件。

可选的，根据所述第一异常行为集合和/或第二异常行为集合向交通管理平台执行告警事件之前，所述方法还包括但不限于：根据待检测车辆的正面照片识别该车辆的车辆信息或目标对象的身份信息，比如说：通过图像识别识别到车辆的车牌为X，或者根据识别到目标对象的面部特征，将这两个信息上传到交通管理平台。

根据本发明实施例的另一个实施例，还提供了一种异常行为的确定系统，包括：终端设备，用于构建行为分类模型，对待检测车辆的车窗区域进行图像识别，以获取所述车窗区域的检测框图片，根据所述行为分类模型中的多个行为分类子模型的权重大小对所述多个行为分类子模型进行排序，并指示所述多个行为分类子模型根据排序结果对所述车窗区域的检测框图片进行识别，得到识别结果，以及根据所述识别结果确定所述第一目标对象或/或所述第二目标对象的行为是否存在异常，其中，所述行为分类模型包括：多个行为分类子模型，所述多个行为分类子模型分别设置有相同或不同的权重；所述检测框图片中包括：第一目标对象和/或第二目标对象。

在一个示例性实施例中，所述终端设备，还用于在所述多个行为分子模型的权重相同的情况下，控制所述多个行为分类子模型按照任意识别顺序对所述检测框图片进行识别，以确定所述检测框图片中的第一目标对象和/或第二目标对象是否存在所述多个行为分类子模型对应的异常行为；在所述多个行为分子模型的权重不相同的情况下，按照从大到小的顺序得到所述权重的顺序，控制所述多个行为分类子模型按照所述权重的顺序对所述检测框图片进行识别，以确定所述检测框图片中的第一目标对象和/或第二目标对象是否存在所述多个行为分类子模型对应的异常行为。

在一个示例性实施例中，所述系统还包括：交通管理平台，其中，所述交通管理平台，用于接收所述终端设备发送的所述第一目标对象的第一异常行为集合和/或所述第二目标对象的第二异常行为集合；所述终端设备，用于根据所述识别结果确定所述第一目标对象和/或所述第二目标对象的行为是否存在异常，在所述第一目标对象和/或所述第二目标对象的行为存在异常的情况下，将所述待检测车辆的信息和所述第一目标对象和/或所述第二目标对象异常行为的信息上传到所述交通管理平台；所述交通管理平台，用于根据所述待检测车辆的车辆信息确定所述第一目标对象和/或所述第二目标对象的身份信息。

需要说明的是，上述车辆信息可以是待检测车辆的车牌号码，上述目标对象的身份信息可以是目标对象的身份证号，目标对象的面部特征等。

需要说明的是，为了帮助理解上述实施例，结合图6来对本实施例进行说明，图6是根据本发明实施例的异常行为的确定系统的示意图，图6中摄像头前的箭头表示摄像头的朝向，本系统只有在摄像头迎着车流朝向时才生效，因为此时能拍摄到驾驶室的正面视角。机动车车辆检测模块用于采集待检测车辆的正面图片，终端设备位于机动车车辆检测模块之后，终端中包括异常行为分析模块和异常行为判断模块，异常行为分析模块包括：通过车窗检测模型对待检测车辆的检测框进行标注，以获取所述车窗区域的检测框图片；通过行为分类模型识别第一目标对象和/或第二目标对象的异常行为进行识别。异常行为判断模块用于判断第一目标对象和/或第二目标对象是否存在异常行为。在终端确定第一目标对象和/或第二目标对象存在异常行为的情况下，将目标对象第一目标对象的第一异常行为集合和/或所述第二目标对象的第二异常行为集合发送给交通管理云平台，交通管理云平台接收这一集合后，根据待检测车辆的车辆信息确定所述第一目标对象和/或第二目标对象的身份信息。

为了更好的理解上述异常行为的确定方法的过程，以下再结合可选实施例对上述异常行为的确定的实现方法流程进行说明，但不用于限定本发明实施例的技术方案。

在本实施例中提供了一种异常行为的确定方法，图3是根据本发明实施例的检测框标注的示意图，如图7所示，具体如下步骤：

步骤S702：获取待检测车辆的正面照片；

步骤S704：通车窗检测模型对待检测车辆的检测框进行标注；

步骤S706：通过行为分类模型识别主副驾驶(相当于第一目标对象和/或第二目标对象)是否存在异常行为；

步骤S708：根据行为分类模型的结果判断主副驾驶是否存在异常行为；当主副驾驶任意一个存在异常行为时，继续执行步骤S710，当主副驾驶不存在异常行为时，则流程结束。

步骤S710：将主副驾驶异常行为的集合上传到交通管理云平台；

步骤S712：交通管理云平台根据待检测车辆的车辆信息，确定主副驾驶的身份信息。

通过上述步骤，解决了现有技术无法监控驾驶员行为，进而导致驾驶员的异常行为造成不良后果前无法及时采取补救措施的问题，通过本发明的上述技术方案，一方面，通过对驾驶员的异常行为分析可以从驾驶员安全驾驶角度上预防并减少交通事故的发生，从根源上降低交通事故的发生频率；另一方面，通过行为分类模型得到的分析结果可以通过交通管理云平台结合车牌等信息定位到车辆以及该车辆的驾驶员，实现对交通更精细化的管理。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。

在本实施例中还提供了异常行为的确定装置，该异常行为的确定装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图5是根据本发明实施例的行为分类模型的应用示意图；

图6是根据本发明实施例的；如图8所示，包括：

构建模块82，用于构建行为分类模型，其中，所述行为分类模型包括：多个行为分类子模型，所述多个行为分类子模型分别设置有相同或不同的权重；

需要说明的是，上述行为分类模型用于对第一对象和/或第二对象的行为进行分析，上述行为分类子模型可用于识别第一对象和/或第二对象不同的异常行为。

获取模块84，用于对待检测车辆的车窗区域进行图像识别，以获取所述车窗区域的检测框图片，其中，所述检测框图片中包括：第一目标对象和/或第二目标对象；

需要说明的是，待检测车辆可以是货车，卡车，家用轿车等道路上的机动车，不可以是火车、自行车、三轮车等。

需要说明的是，上述第一目标对象和第二目标对象可以理解为检测框图片中的对象，可以包括人、机器人等，本申请对此不做限制。

需要说明的是，上述检测框用于标注待检测车辆的车窗区域，为了帮助理解，结合图3来进行说明，图3是根据本发明实施例的检测框标注的示意图，图3中黑色粗线标注的区域即检测框区域。

控制模块86，用于根据所述多个行为分类子模型的权重大小对所述多个行为分类子模型进行排序，并指示所述多个行为分类子模型根据排序结果对所述车窗区域的检测框图片进行识别，得到识别结果，以及根据所述识别结果确定所述第一目标对象和/或所述第二目标对象的行为是否存在异常。

需要说明的是，上述行为分类子模型可用于识别不同的异常行为，当其中任意一个行为分类子模型识别到第一目标对象和/或第二目标对象的行为存在异常，则可确定第一目标对象和/或第二目标对象的行为存在异常。

需要说明的是，上述“指示所述多个行为分类子模型根据排序结果对所述车窗区域的检测框图片进行识别”可以理解为多个行为分类子模型按照排序结果依次对车窗区域的检测照片进行识别，比如当用于第一分类子模型的权重大于第二分类子模型的权重，则第一分类子模型先对车窗区域的检测照片进行识别，然后第二分类子模型再进行识别。

通过上述装置，构建行为分类模型，其中，所述行为分类模型包括：多个行为分类子模型，所述多个行为分类子模型分别设置有相同或不同的权重；对待检测车辆的车窗区域进行图像识别，以获取所述车窗区域的检测框图片，其中，所述检测框图片中包括：第一目标对象和/或第二目标对象；根据所述多个行为分类子模型的权重大小对所述多个行为分类子模型进行排序，并指示所述多个行为分类子模型根据排序结果对所述车窗区域的检测框图片进行识别，得到识别结果，以及根据所述识别结果确定所述第一目标对象和/或所述第二目标对象的行为是否存在异常。采用上述装置，现有技术无法监控驾驶员行为，进而导致驾驶员的异常行为造成不良后果前无法及时采取补救措施的问题。

在一个示例性实施例中，构建模块82还用于，对所述待检测车辆进行图片抓拍，得到所述待检测车辆的图片；将所述待检测车辆的图片输入到车窗检测模型中，通过所述车窗检测模型对所述待检测车辆的车头区域进行识别，以得到所述待检测车辆的车窗区域。

需要说明的是，所述车窗检测模型用于对车辆的检测框进行标注。如图4所示，图4是根据本发明实施例的车窗监测模型的应用示意图，输入待检测车辆的正面照片后，通过车窗检测模型进行处理，得到带有车窗标注的输出照片。

可选的，在本实施例中，构建模块82还用于，采用常规的一阶段检测方式来构建车窗检测模型模型，由backbone(主干)，fpn(特征金字塔)，cla步骤S步骤Sification(分类分支)，regre步骤S步骤Sion(回归分支)。如图4所示，图4是根据本发明实施例的车窗监测模型的应用示意图，输入待检测车辆的正面照片后，backbone和fpn用于提取该图片的特征，cla步骤S步骤Sification用于该图片前后背景分类，regre步骤S步骤Sion用于该图片车辆检测框的回归拟合。

可选的，在本实施例中，构建模块82还用于，通过以下方式训练上述车窗检测框模型：采集机动车的正面图片，将采集的图片以车辆为单位进一步进行驾驶室前玻璃检测框标注，将机动车的正面图片和驾驶室前玻璃检测框标注组成数据集，通过这两种图片的数据集来训练车窗检测模型。

在一个示例性实施例中，控制模块86还用于，在所述多个行为分子模型的权重相同的情况下，控制所述多个行为分类子模型按照任意识别顺序对所述检测框图片进行识别，以确定所述检测框图片中的第一目标对象和/或第二目标对象是否存在所述多个行为分类子模型对应的异常行为；在所述多个行为分子模型的权重不相同的情况下，按照从大到小的顺序得到所述权重的顺序，控制所述多个行为分类子模型按照所述权重的顺序对所述检测框图片进行识别，以确定所述检测框图片中的第一目标对象和/或第二目标对象是否存在所述多个行为分类子模型对应的异常行为。

需要说明的是，上述第一目标对象可以是待检测车辆的主驾驶，第二目标对象可以是待检测车辆的副驾驶。

需要说明的是，上述权重可以根据相关交通管理办法确定的异常行为的严重程度来确定，比如，行为分类子模型1用于识别是否抽烟，行为分类子模型2用于识别不带安全带，交通管理法将车内抽烟为十分严重，不带安全带为严重，则行为分类子模型1的权重大于行为分类子模型2的权重；上述权重还可以根据异常行为发生的频率来确定，比如，行为分类子模型1用于识别是否抽烟，行为分类子模型2用于识别不带安全带，车内不带安全带发生的频率大于车内抽烟发生的频率，则行为分类子模型2的的权重大于行为分类子模型1的权重。

在一个示例性实施例中，控制模块86还用于，指示所述多个行为分类子模型对所述车窗区域的检测框图片进行识别，以确定所述检测框图片中的第一目标对象和/或所述第二目标对象是否存在所述多个行为分类子模型对应的异常行为；在所述检测框图片中第一目标对象对应的区域存在一个或多个行为分类子模型对应的异常行为的情况下，确定所述第一目标对象的行为存在异常；和/或在所述检测框图片中第二目标对象对应的区域存在一个或多个行为分类子模型对应的异常行为的情况下，确定所述第二目标对象的行为存在异常。

需要说明的是，为了帮助理解上述实施例，结合图5来对本实施例进行说明，图5是根据本发明实施例的行为分类模型的应用示意图，通过行为分类模型中backbone来提取检测框图片的特征，FC(fully Connected，全连接)用于对检测框中第一目标对象和/或所述第二目标对象的行为特征进行分类，即通过多个行为分类子模型来识别第一目标对象和/或所述第二目标对象是否存在异常行为，其中，不同的行为子模型分别用于识别不同的异常行为，比如行为分类子模型1用于识别是否在车内抽烟，行为分类子模型2用于识别是否玩手机。

需要说明的是，只要第一目标对象和/或所述第二目标对象存在任意一个或多个行为分类子模型对应的异常行为，就认定第一目标对象和/或所述第二目标对象的行为存在异常。

需要说明的是，第一目标对象和第二目标对象的异常行为的种类可以存在差异，这取决于模型训练的结果。比如说，当第一目标对象为主驾驶，第二目标对象为副驾驶，在模型进行训练的时候，副驾驶的异常行为的数据集中不包括副驾驶玩手机，而主驾驶的数据集中包括主驾驶玩手机，则经过训练的行为分类模型识别的第一目标对象和第二目标对象的异常行为的种类存在差异。

需要说明的是，由于异常行为之间并不互相独立，比如带安全带情况，抽烟情况和看手机情况并不互相独立，所以采用多分支的方式构建行为分类模型，每个分支对应一个行为分类子模型，每一行为分类子模型用于识别一种异常行为。

可选的，在本实施例中，上述装置还包括：指示模块，指示模块用于，上述分类子模型包括一个二分类，二分类用于指示第一目标对象和/或第二目标对象是否存在所述多个行为分类子模型对应的异常行为，比如，当分类子模型是是否抽烟的时候，二分类可以是：是和否，是用于指示第一目标对象和/或第二目标对象抽烟，否用于指示第一目标对象和/或第二目标对象没有抽烟。

可选的，在本实施例中，控制模块86还用于，组合多个分类模型识别到的异常行为的结果，输出为行为分类模型的结果，比如说，行为分类子模型1用于识别到第一目标对象在车内抽烟，第二目标对象没有抽烟，行为分类子模型2识别到第一目标对象没有玩手机，第二目标对象玩手机，则模型输出的结果为{第一目标对象在车内抽烟，第二目标对象玩手机}。

在一个示例性实施例中，控制模块86还用于，根据所述识别结果确定所述第一目标对象或/或所述第二目标对象的行为是否存在异常之后，所述方法还包括：汇总所述第一目标对象的第一异常行为集合，和/或汇总所述第二目标对象的第二异常行为集合；根据所述第一异常行为集合和/或第二异常行为集合向交通管理平台执行告警事件。

可选的，控制模块86还用于，根据所述第一异常行为集合和/或第二异常行为集合向交通管理平台执行告警事件之前，所述方法还包括但不限于：根据待检测车辆的正面照片识别该车辆的身份信息，比如说：通过图像识别识别到车辆的车牌为X，或者根据识别到目标对象的面部特征，将这两个信息上传到交通管理平台。

本发明的实施例还提供了一种存储介质，该存储介质包括存储的程序，其中，上述程序运行时执行上述任一项的方法。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的程序代码：

S1，构建行为分类模型，其中，所述行为分类模型包括：多个行为分类子模型，所述多个行为分类子模型分别设置有相同或不同的权重；

S2，对待检测车辆的车窗区域进行图像识别，以获取所述车窗区域的检测框图片，其中，所述检测框图片中包括：第一目标对象和/或第二目标对象；

S3，根据所述多个行为分类子模型的权重大小对所述多个行为分类子模型进行排序，并指示所述多个行为分类子模型根据排序结果对所述车窗区域的检测框图片进行识别，得到识别结果，以及根据所述识别结果确定所述第一目标对象和/或所述第二目标对象的行为是否存在异常。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，构建行为分类模型，其中，所述行为分类模型包括：多个行为分类子模型，所述多个行为分类子模型分别设置有相同或不同的权重；

S2，对待检测车辆的车窗区域进行图像识别，以获取所述车窗区域的检测框图片，其中，所述检测框图片中包括：第一目标对象和/或第二目标对象；

S3，根据所述多个行为分类子模型的权重大小对所述多个行为分类子模型进行排序，并指示所述多个行为分类子模型根据排序结果对所述车窗区域的检测框图片进行识别，得到识别结果，以及根据所述识别结果确定所述第一目标对象和/或所述第二目标对象的行为是否存在异常。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种异常行为的确定方法，其特征在于，包括：

构建行为分类模型，其中，所述行为分类模型包括：多个行为分类子模型，所述多个行为分类子模型分别设置有相同或不同的权重；

对待检测车辆的车窗区域进行图像识别，以获取所述车窗区域的检测框图片，其中，所述检测框图片中包括：第一目标对象和/或第二目标对象；

根据所述多个行为分类子模型的权重大小对所述多个行为分类子模型进行排序，并指示所述多个行为分类子模型根据排序结果对所述车窗区域的检测框图片进行识别，得到识别结果，以及根据所述识别结果确定所述第一目标对象和/或所述第二目标对象的行为是否存在异常。

2.根据权利要求1所述的异常行为的确定方法，其特征在于，指示所述多个行为分类子模型根据排序结果对所述车窗区域的检测框图片进行识别，得到识别结果，以及根据所述识别结果确定所述第一目标对象或/或所述第二目标对象的行为是否存在异常，包括：

指示所述多个行为分类子模型对所述车窗区域的检测框图片进行识别，以确定所述检测框图片中的第一目标对象和/或所述第二目标对象是否存在所述多个行为分类子模型对应的异常行为；

在所述检测框图片中第一目标对象对应的区域存在一个或多个行为分类子模型对应的异常行为的情况下，确定所述第一目标对象的行为存在异常；和/或在所述检测框图片中第二目标对象对应的区域存在一个或多个行为分类子模型对应的异常行为的情况下，确定所述第二目标对象的行为存在异常。

3.根据权利要求1所述的异常行为的确定方法，其特征在于，指示所述多个行为分类子模型根据排序结果对所述车窗区域的检测框图片进行识别，得到识别结果，以及根据所述识别结果确定所述第一目标对象或/或所述第二目标对象的行为是否存在异常，包括：

在所述多个行为分子模型的权重相同的情况下，控制所述多个行为分类子模型按照任意识别顺序对所述检测框图片进行识别，以确定所述检测框图片中的第一目标对象和/或第二目标对象是否存在所述多个行为分类子模型对应的异常行为；

在所述多个行为分子模型的权重不相同的情况下，按照从大到小的顺序得到所述权重的顺序，控制所述多个行为分类子模型按照所述权重的顺序对所述检测框图片进行识别，以确定所述检测框图片中的第一目标对象和/或第二目标对象是否存在所述多个行为分类子模型对应的异常行为。

4.根据权利要求1所述的异常行为的确定方法，其特征在于，对待检测车辆的车窗区域进行图像识别，以获取所述车窗区域的检测框图片之前，所述方法还包括：

对所述待检测车辆进行图片抓拍，得到所述待检测车辆的图片；

将所述待检测车辆的图片输入到车窗检测模型中，通过所述车窗检测模型对所述待检测车辆的车头区域进行识别，以得到所述待检测车辆的车窗区域。

5.根据权利要求1所述的异常行为的确定方法，其特征在于，根据所述识别结果确定所述第一目标对象或/或所述第二目标对象的行为是否存在异常之后，所述方法还包括：

汇总所述第一目标对象的第一异常行为集合，和/或汇总所述第二目标对象的第二异常行为集合；

根据所述第一异常行为集合和/或第二异常行为集合向交通管理平台执行告警事件。

6.一种异常行为的确定系统，其特征在于，包括：

终端设备，用于构建行为分类模型，对待检测车辆的车窗区域进行图像识别，以获取所述车窗区域的检测框图片，根据所述行为分类模型中的多个行为分类子模型的权重大小对所述多个行为分类子模型进行排序，并指示所述多个行为分类子模型根据排序结果对所述车窗区域的检测框图片进行识别，得到识别结果，以及根据所述识别结果确定所述第一目标对象或/或所述第二目标对象的行为是否存在异常，其中，所述行为分类模型包括：多个行为分类子模型，所述多个行为分类子模型分别设置有相同或不同的权重；所述检测框图片中包括：第一目标对象和/或第二目标对象。

7.根据权利要求6所述的异常行为的确定系统，其特征在于，

所述终端设备，还用于在所述多个行为分子模型的权重相同的情况下，控制所述多个行为分类子模型按照任意识别顺序对所述检测框图片进行识别，以确定所述检测框图片中的第一目标对象和/或第二目标对象是否存在所述多个行为分类子模型对应的异常行为；在所述多个行为分子模型的权重不相同的情况下，按照从大到小的顺序得到所述权重的顺序，控制所述多个行为分类子模型按照所述权重的顺序对所述检测框图片进行识别，以确定所述检测框图片中的第一目标对象和/或第二目标对象是否存在所述多个行为分类子模型对应的异常行为。

8.根据权利要求6所述的异常行为的确定系统，其特征在于，所述系统还包括：交通管理平台，其中，

所述交通管理平台，用于接收所述终端设备发送的所述第一目标对象的第一异常行为集合和/或所述第二目标对象的第二异常行为集合；所述终端设备，用于根据所述识别结果确定所述第一目标对象和/或所述第二目标对象的行为是否存在异常，在所述第一目标对象和/或所述第二目标对象的行为存在异常的情况下，将所述待检测车辆的信息和所述第一目标对象和/或所述第二目标对象异常行为的信息上传到所述交通管理平台；

所述交通管理平台，用于根据所述待检测车辆的车辆信息确定所述第一目标对象和/或所述第二目标对象的身份信息。

9.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行所述权利要求1至5任一项中所述的方法。

10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至5任一项中所述的方法。

Images