CN113609956A - 训练方法、识别方法、装置、电子设备以及存储介质 - Google Patents

Abstract

本公开公开了视频识别模型的训练方法、视频识别方法、装置、电子设备、存储介质以及程序产品。涉及人工智能技术领域，尤其涉及计算机视觉和直播技术领域。具体实现方案为：获取训练样本，其中，训练样本包括视频数据和与视频数据相对应的标签，视频数据包括与交通场景相关的视频数据，标签指示了在采集视频数据的同时发生的事件；以及利用训练样本训练初始视频识别模型，得到视频识别模型。

Description

训练方法、识别方法、装置、电子设备以及存储介质

技术领域

本公开涉及人工智能技术领域，尤其涉及计算机视觉和直播技术领域。具体涉及视频识别模型的训练方法、视频识别方法、装置、电子设备、存储介质以及程序产品。

背景技术

随着网络上视频数据数量呈现爆炸式增长，海量的数据源以及丰富的数据层次，使得依靠人工来分析和处理这些视频数据变得越来越困难。计算机视觉技术为解放人力提供巨大潜力。计算机视觉是一门研究如何使用电子设备“看”的科学，即，利用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等的科学技术。计算机视觉技术为公共安全、信息安全、金融安全层面的应用发展提供巨大帮助。

发明内容

本公开提供了一种视频识别模型的训练方法、视频识别方法、装置、电子设备、存储介质以及程序产品。

根据本公开的一方面，提供了一种视频识别模型的训练方法，包括：获取训练样本，其中，训练样本包括视频数据和与视频数据相对应的标签，视频数据包括与交通场景相关的视频数据，标签指示了在采集视频数据的同时发生的事件；以及利用训练样本训练初始视频识别模型，得到视频识别模型。

根据本公开的另一方面，提供了一种视频识别方法，包括：获取待识别视频数据；以及将待识别视频数据输入视频识别模型，得到与待识别视频数据相对应的识别结果；其中，视频识别模型是利用如上所述的视频识别模型的训练方法训练的。

根据本公开的另一方面，提供了一种视频识别模型的训练装置，包括：样本获取模块，用于获取训练样本，其中，训练样本包括视频数据和与视频数据相对应的标签，视频数据包括与交通场景相关的视频数据，标签指示了在采集视频数据的同时发生的事件；以及训练模块，用于利用训练样本训练初始视频识别模型，得到视频识别模型。

根据本发明的另一方面，提供了一种视频识别装置，包括：数据获取模块，用于获取待识别视频数据；以及识别模块，用于将待识别视频数据输入视频识别模型，得到与待识别视频数据相对应的识别结果；其中，视频识别模型是利用视频识别模型的训练方法训练的。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的视频识别模型的训练方法以及如上所述的视频识别方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行如上所述的视频识别模型的训练方法以及如上所述的视频识别方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的视频识别模型的训练方法以及如上所述的视频识别方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1示意性示出了根据本公开实施例的可以应用视频识别方法及装置的示例性系统架构；

图2示意性示出了根据本公开实施例的视频识别模型的训练方法的流程图；

图3A示意性示出了根据本公开第一实施例的与交通场景相关的视频数据中的视频帧示意图；

图3B示意性示出了根据本公开第二实施例的与交通场景相关的视频数据中的视频帧示意图；

图3C示意性示出了根据本公开第三实施例的与交通场景相关的视频数据中的视频帧示意图；

图3D示意性示出了根据本公开第四实施例的与交通场景相关的视频数据中的视频帧示意图；

图4示意性示出了根据本公开实施例的时序信息标记的示意图；

图5示意性示出了根据本公开实施例的视频识别方法的流程图；

图6示意性示出了根据本公开另一实施例的视频识别方法的流程图；

图7示意性示出了根据本公开实施例的视频识别模型的训练装置的框图；

图8示意性示出了根据本公开实施例的视频识别装置的框图；以及

图9示意性示出了根据本公开实施例的适于实现视频识别模型的训练方法或者视频识别方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

随着互联网技术的发展，各类场景下的直播快速发展，如直播带货等。但当前各平台直播中，存在如直播过程中驾驶车辆等危险事件。直播场景下的危险驾驶，即主播在驾驶车辆行驶过程中开播，存在很大的安全隐患，易导致交通事故等。

本公开提供了视频识别模型的训练方法、视频识别方法、装置、电子设备、存储介质以及程序产品。

根据本公开的实施例，视频识别模型的训练方法可以包括：获取训练样本，其中，训练样本包括视频数据和与视频数据相对应的标签，视频数据包括与交通场景相关的视频数据，标签指示了在采集视频数据的同时发生的事件；以及利用训练样本训练初始视频识别模型，得到视频识别模型。

根据本公开的实施例，视频识别方法可以包括：获取待识别视频数据；以及将待识别视频数据输入视频识别模型，得到与待识别视频数据相对应的识别结果；其中，视频识别模型是利用如上所述的视频识别模型的训练方法训练的。

图1示意性示出了根据本公开实施例的可以应用视频识别方法及装置的示例性系统架构。

需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。例如，在另一实施例中，可以应用视频识别方法及装置的示例性系统架构可以包括终端设备，但终端设备可以无需与服务器进行交互，即可实现本公开实施例提供的视频识别方法及装置。

如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如直播类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的内容提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。

需要说明的是，本公开实施例所提供的视频识别方法一般可以由服务器105执行。相应地，本公开实施例所提供的视频识别装置一般可以设置于服务器105中。本公开实施例所提供的视频识别方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的视频识别装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。

例如，在用户在直播时，服务器105可以获取用户利用终端设备101、102、103采集到的并已经上传到网络直播过的视频数据，服务器105可以对视频数据进行分析、识别，确定用户在采集视频数据的过程中是否同时进行驾驶事件。或者由能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群对视频数据进行分析，并最终实现识别是否存在在采集视频数据的同时发生驾驶事件。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

图2示意性示出了根据本公开实施例的视频识别模型的训练方法的流程图。

如图2所示，该方法包括操作S210～S220。

在S210中，获取训练样本，其中，训练样本包括视频数据和与视频数据相对应的标签，视频数据包括与交通场景相关的视频数据，标签指示了在采集视频数据的同时发生的事件。

在S220中，利用训练样本训练初始视频识别模型，得到视频识别模型。

根据本公开的实施例，与交通场景相关的视频数据可以是指涉及交通设备例如四轮车、电动车、自行车、红绿灯、道路指示牌等的视频数据，也可以是指涉及交通场所例如高速道路、城市道路、路口、绿化带等的视频数据。只要是本领域已知的与交通场景相关的视频数据即可。

根据本公开的示例性实施例，训练样本中的视频数据，可以将与交通场景相关的视频数据作为正样本，来模拟在采集视频数据的同时发生驾驶事件的场景，但是并不局限于此。视频数据还可以包括与其他场景相关的视频数据来模拟其他事件的场景。通过采用不同场景信息的视频数据，能够扩充训练样本的数量和丰富度，提高模型训练的精确度和速度。

根据本公开的实施例，在采集视频数据的同时发生的事件的类型不做限定。例如，可以是吃饭、学习、行走等事件，还可以是驾驶公共汽车、驾驶汽车或者骑车等事件，只要是在采集视频数据的同时发生的事件即可。

根据本公开的示例性实施例，标签可以用于指示在采集视频数据的同时发生的事件，例如指示了在采集视频数据的同时发生行走事件的标签，或者指示了在采集视频数据的同时发生驾驶事件的标签。

根据本公开的实施例，初始视频识别模型的种类不做限定。例如，可以是利用光流算法再结合分类器的模型，还可以是以卷积神经网络为架构的模型，也可以是时序转换模型。只要是本领域能够对视频数据中的动作进行识别、分类的模型即可。

根据本公开的实施例，利用包括与交通场景相关的视频数据和指示了在采集视频数据的同时发生的事件的标签来训练初始视频识别模型，得到视频识别模型。在本公开的实施例中，利用与交通场景相关的视频数据作为训练样本，考虑了在驾驶车辆时采集的视频数据中的场景信息，贴合实际，更有针对性。该视频识别模型可以通过视频数据识别出在采集该视频数据的同时发生的事件，以此来自动、智能的识别是否存在安全风险。

下面结合具体实施例，并参考图3A、图3B、图3C、图3D以及图4对例如图2所示的方法做进一步说明。

根据本公开的示例性实施例，与交通场景相关的视频数据，可以是在驾驶车辆过程中采集的视频数据。例如，一边驾驶车辆一边进行网络直播，得到的已经播放后的直播视频数据。

根据本公开的实施例，与交通场景相关的视频数据可以包括与车辆相关的视频数据、与道路相关的视频数据、与交通设施相关的视频数据、对象视频数据中的一种或多种。

根据本公开的实施例，视频数据中，与交通场景相关的视频数据的种类越多，越容易进行识别，训练后的视频识别模型识别精度越高。

根据本公开的实施例，与车辆相关的视频数据可以包括车辆车身视频数据、车辆内仓视频数据中的一种或多种。

例如，驾驶员在驾驶过程中，将摄像头背朝自己，即采集车辆外的视频数据，可以采集得到道路上的其他车辆的车辆车身视频数据。还例如，驾驶员在驾驶过程中，采集车辆内的视频数据，可以采集到车辆内仓视频数据。

根据本公开的实施例，与道路相关的数据可以包括道路交通标志线视频数据、道路路面视频数据、绿化带视频数据、道路两侧场景视频数据中的一种或多种。

根据本公开的实施例，道路交通标志线视频数据可以是指涉及人行道线、道路中心线、边缘线、分界线、停止线、导流线等标志线视频数据，但是并不局限于此。只要是涉及与道路交通、指示标志相关的视频数据即可。

根据本公开的实施例，绿化带视频数据可以是指涉及道路中间的绿化带视频数据，还可以是指道路两旁的绿化带视频数据。

根据本公开的实施例，道路路面视频数据可以是指涉及道路路面材质例如柏油路面的视频数据，还可以是指涉及带有减速带的道路路面视频数据等等，只要是能够体现道路路面情况的视频数据即可。

根据本公开的实施例，与交通设施相关的视频数据可以包括交通信号灯视频数据、违章信息采集设备视频数据、交通岗亭视频数据、道路交通指示牌视频数据中的一种或多种。

根据本公开的实施例，将与交通场景相关的视频数据作为训练样本，将合理贴合实际场景，使训练得到的视频识别模型能准确预测、识别在采集视频的同时发生驾驶事件的动作行为。

图3A示意性示出了根据本公开第一实施例的与交通场景相关的视频数据中的视频帧示意图。

如图3A所示，与交通场景相关的视频数据可以是驾驶员在驾驶机动车辆时拍摄车辆前方的与交通场景相关的视频数据。与交通场景相关的视频数据中的视频帧涉及的信息可以有与道路相关的信息，例如斑马线310、还有与车辆相关的信息，例如方向盘320。

图3B示意性示出了根据本公开第二实施例的与交通场景相关的视频数据中的视频帧示意图。

如图3B所示，与交通场景相关的视频数据可以是驾驶员在驾驶机动车辆时拍摄车辆内部的与交通场景相关的视频数据。与交通场景相关的视频数据中的视频帧涉及的信息可以有与车辆相关的信息，例如车辆内仓的方向盘330，还有对象的信息，例如驾驶员的头部。

图3C示意性示出了根据本公开第三实施例的与交通场景相关的视频数据中的视频帧示意图。

如图3C所示，与交通场景相关的视频数据可以是驾驶员在驾驶非机动车辆，例如电动车，时拍摄车辆前方的与交通场景相关的视频数据。与交通场景相关的视频数据中的视频帧涉及的信息可以有与车辆相关的信息，例如道路上的其他车辆340，还有与交通设施相关的信息，例如路灯350。

图3D示意性示出了根据本公开第四实施例的与交通场景相关的视频数据中的视频帧示意图。

如图3D所示，与交通场景相关的视频数据可以是驾驶员在驾驶非机动车辆，例如电动车时，拍摄驾驶员自己的与交通场景相关的视频数据。与交通场景相关的视频数据中的视频帧涉及的信息可以有与车辆相关的信息，例如道路上的其他车辆360，还有对象的信息，例如驾驶员的头部。

根据本公开的实施例，标签可以包括表示了在采集视频数据的同时发生驾驶事件的第一类别标签和表示了在采集视频数据的同时未发生驾驶事件的第二类别标签。

根据本公开的实施例，标签的类型不做限定。例如，可以是0到1之间的数值，或者是以百分比计的数值。只要是能够区别第一类别标签和第二类别标签的类型即可。

根据本公开的实施例，可以将第一类别标签和与交通场景相关的视频数据作为正训练样本，将第二类别标签和与非交通场景相关的视频数据作为负训练样本。将正训练样本和负训练样本结合的训练方式训练初始视频识别模型，提高训练精度。

根据本公开的实施例，利用训练样本训练初始视频识别模型，得到视频识别模型可以包括如下具体操作。

例如，提取视频数据中的多个视频帧；标记多个视频帧各自的时序信息，得到多个目标视频帧；以及利用多个目标视频帧和与视频数据相对应的标签训练初始视频识别模型，得到视频识别模型。

根据本公开的实施例，对提取视频数据中的视频帧的算法不做具体限定，只要是本领域已知的能够实现提取视频数据中的视频帧的算法即可。在本公开的示例性实施例中，可以采用能够实现多提取任务并行的实施方式来执行该提取操作，以此提高处理速度。对视频数据提取视频帧，得到图像信息，便于后续提取每个视频帧中的图像特征。

根据本公开的实施例，可以按照预设抽帧频率等间隔提取视频数据中的多个视频帧，但是并不局限于此。还可以是按照预设变化的抽帧频率来提取视频数据中的多个视频帧。

根据本公开的示例性实施例，按照预设抽帧频率等间隔提取视频数据中的多个视频帧，可以更适于后续初始识别模型的训练以及经训练得到的视频识别模型的识别。

根据本公开的实施例，预设抽帧频率可以根据实际情况自行拟定。在本公开的实施例中，考虑到在进行驾驶操作时，其视频动作并非高速变化，可以将预设抽帧频率设定为1fps(帧/秒)。

根据本公开的实施例，在从视频数据中提取出多个视频帧后，可以标记多个视频帧各自的时序信息，得到多个目标视频帧，但是并不局限于此。还可以在从视频数据中提取出多个视频帧后，再从多个视频帧中进行采样，得到采样帧，标记多个采样帧各自的时序信息。例如，从视频数据中提取256帧视频帧，可以预设采样个数为8帧或者16帧。在预设采样个数为8帧的情况下，则具体的采样帧可以为第1、33、65、97、129、161、193、225帧。

根据本公开的实施例，从多个视频帧中再进行采样，得到采样帧，然后再对多个采样帧标记时序信息，能够在保证以极小的计算量的同时获视频数据中的时序信息。

根据本公开的实施例，利用多个目标视频帧和与视频数据相对应的标签训练初始视频识别模型的操作可以是，例如，将多个目标视频帧输入初始视频识别模型中，获得预测结果。基于损失函数，利用标签和预测结果，得到输出值。根据输出值，调整初始视频识别模型的模型参数，直至输出值收敛。将在输出值收敛的情况下得到的模型确定为视频识别模型。

根据本公开的示例性实施例，初始视频识别模型可以是视频动作分类模型TSM(Temporal Shift Module)或者TSN(Temporal Segment Networks)。采用TSM或者TSN更适于采集视频数据的场景下的危险驾驶事件的识别。

根据本公开的实施例，损失函数的类型不做限定。只要是与初始视频识别模型相匹配，能够适于TSM或者TSN模型的训练的损失函数即可。

根据本公开的实施例，其输出值的收敛情况可以是输出值小于或等于输出值阈值，也可以是输出值基本不变，即前后两次输出值的差值小于或等于差值阈值。

根据本公开的示例性实施例，利用上述方式训练得到的视频识别模型，经验证，准确率可以为99.45％，召回率可以为93.3％，误召率为0.25％。

根据本公开的实施例，利用上述方式训练后的视频识别模型，可以准确有效的对在采集视频的同时发生的事件例如驾驶事件的预测分析，为进行直播场景下的危险驾驶的识别提供指导与依据。

图4示意性示出了根据本公开实施例的时序信息标记的示意图。

可以按照视频数据的时序正序，例如图4中第一箭头410所示的第一方向依次标记多个视频帧各自的时序信息，得到多个目标视频帧。还可以按照视频数据的时序倒序，例如图4中第二箭头420所示的第二方向依次标记多个视频帧各自的时序信息，得到多个目标视频帧。

根据本公开的实施例，按照视频数据的时序正序标记得到的多个目标视频帧与按照视频数据的时序倒序标记得到的多个目标视频帧，因时序信息与图像特征匹配方式更改，可以作为不同的两个训练样本来训练初始视频识别模型。

根据本公开的实施例，采用按照视频数据的时序正序标记多个视频帧各自的时序信息，同时采用按照视频数据的时序倒序标记多个视频帧各自的时序信息，能够获得更多的训练样本用于训练初始视频识别模型，丰富训练样本的数量，提高训练精度。

根据本公开的实施例，对视频数据的时长(即，视频流长度)不做限定。但是在视频数据的时长较长的情况下，按照预设的抽帧频率进行视频帧的提取，可能会存在视频帧数量过多，处理量过大的问题，进而会影响实际处理器的处理速度。

根据本公开的实施例，可以对时长较长的视频数据进行切分操作。具体切分操作可以是例如，确定视频数据的时长；在确定视频数据的时长大于预设时长的情况下，切分视频数据，得到多个视频段数据，以便从多个视频段数据的每个视频段数据中提取多个视频帧。

根据本公开的实施例，预设时长可以根据实际情况自行设定。例如，预设时长设定为60s，也可以设定为6min。

根据本公开的示例性实施例，可以按照等时长对视频数据进行切分，例如，将9min的视频数据切分为多个时长为45s的视频段数据或者切分为多个时长为3min的视频段数据等。

根据本公开的实施例，还可以在确定视频数据的时长小于或等于预设时长的情况下，直接进行从视频数据中提取多个视频帧的操作。

根据本公开的实施例，执行确定视频数据的时长，能够对视频数据进行合理处理，提高效率。在确定视频数据的时长大于预设时长的情况下，执行切分视频数据的操作，可以降低提取视频帧以及模型训练时的处理压力，提高训练效率。

图5示意性示出了根据本公开实施例的视频识别方法的流程图。

如图5所示，该方法包括操作S510～S520。

在操作S510，获取待识别视频数据。

在操作S520，将待识别视频数据输入视频识别模型，得到与待识别视频数据相对应的识别结果；其中，视频识别模型是利用视频识别模型的训练方法训练的。

根据本公开的实施例，可以将待识别视频数据输入视频识别模型中，得到与待识别视频数据相对应的识别结果。

根据本公开的实施例，待识别视频数据可以是与训练样本中的视频数据场景相同的数据，但是并不局限于此，还可以是与训练样本中的视频数据场景不同的数据。

根据本公开的实施例，识别结果可以是与标签相对应的结果。例如，表示了在采集视频数据的同时发生的事件的预测结果或者表示了在采集视频数据的同时未发生的事件的预测结果。

根据本公开的示例性实施例，识别结果可以是表示了在采集视频数据的同时发生驾驶事件的预测结果或者表示了在采集视频数据的同时未发生驾驶事件的预测结果。

利用本公开实施例提供的视频识别方法，能够覆盖直播场景下的大部分危险驾驶类型，准确率高，适用范围广。

下面参考图6，结合具体实施例对例如图5所示的方法做进一步说明。

图6示意性示出了根据本公开另一实施例的视频识别方法的流程图。

如图6所示，该方法包括操作S610～S630。

在操作S610，提取待识别视频数据中的多个待识别视频帧。

在操作S620，标记多个待识别视频帧各自的时序信息，得到多个目标待识别视频帧。

在操作S630，将多个目标待识别视频帧输入视频识别模型，得到与待识别视频数据相对应的识别结果。

根据本公开的实施例，从待识别视频数据中提取多个待识别视频帧，标记多个待识别视频帧各自的时序信息，得到多个目标待识别视频帧；以及将多个目标待识别视频帧输入视频识别模型等操作，可以是与执行视频识别模型的训练方法中的操作相同。

根据本公开的实施例，还可以根据实际需求，在提取待识别视频数据之前，确定待识别视频数据的时长，在确定待识别视频数据的时长大于预设时长的情况下，执行切分待识别视频数据的操作。

根据本公开的实施例，执行将待识别视频数据输入视频识别模型，得到与待识别视频数据相对应的识别结果的处理操作过程与训练初始视频识别模型的相关操作相同，能够与训练后的视频识别模型的应用相匹配，提高视频识别模型的稳定性和准确性。

根据本公开的实施例，可以将训练得到的视频识别模型应用于直播视频数据的监测。

例如，确定正在直播中的直播间标识信息；以及基于直播间标识信息，获取直播间的与当前时间最接近的已经直播过的视频数据，并将直播间的与当前时间最接近的已经直播过的视频数据作为待识别视频数据。

根据本公开的实施例，并不局限于利用直播间标识信息来确定正在直播的直播间的身份信息，还可以利用例如直播间账号、名称、主播名称等信息来确定正在直播的直播间的身份信息。

根据本公开的实施例，在确定正在直播中的直播间的情况下，获取该直播间的已经直播过的视频数据，能够确定出该直播过程是否同时存在危险驾驶事件。

根据本公开的实施例，该待识别数据并不局限于与当前时间最接近的已经直播过的视频数据，还可以只要是直播过程中的已经直播过的视频数据即可。可以根据实际情况自行设置。其视频时长的选取，也可以根据实际情况确定。

根据本公开的示例性实施例，将与当前时间最接近的已经直播过的视频数据作为待识别视频数据，能够提现识别的时效性。

利用本公开实施例提供的视频识别方法，能够应用于各类直播平台，使其能在海量直播数据中，快速识别出危险驾驶的视频段。降低安全风险，提升整体直播质量。

根据本公开的实施例，在利用本公开实施例提供的视频识别方法对待识别视频数据，例如直播视频数据进行识别，检测出其中存在危险驾驶事件的片段及识别结果后，还可以针对该直播间、或者主播进行提示、警告、关播等操作，提升直播平台的规范化程度，降低安全风险，提升整体直播质量。

根据本公开的实施例，可以利用本公开实施例提供的视频识别方法，得到待识别视频数据例如直播视频流的所有待识别视频段数据的结果，可以根据时序信息进行整合，给出整个直播视频流的识别结果。若相邻的视频段数据都存在告警，则合并该相邻的视频段数据，并输出合并后的识别结果，否则直接输出该视频段数据的识别结果。

例如，对于45s的直播视频流，若未进行待识别视频数据的切分，则可以判断该45s待识别视频数据中是否存在危险驾驶操作。若切分成3个15s的待识别视频段数据，可以分别判断出0-15s，15-30s，30s-45s的待识别视频段数据是否存在危险驾驶。

根据本公开的实施例，针对切分为多个待识别视频段数据的情况，可以多个识别结果进行整合，其具体实施方式可以为：若整个直播视频流是45s，将其切分成3个待识别视频段数据，通过视频识别模型处理可以得到3个识别结果。若只有时间段为[0，15]的视频段1和时间段为[16，31]的视频段2存在危险驾驶，则整合前的惩罚时间段为[[0，15]，[16，31]]，整合后的惩罚时间段为[0，31]。若只有视频段1和时间段为[30，45]的视频段3存在危险驾驶，则惩罚时间段为[[0，15]，[30，45]]，不再整合，直接下发该识别结果至直播间。

根据本公开的实施例，通过对待识别视频数据进行切分、对预测结果进行整合，不仅可以提供更细粒度的识别结果，而且使识别结果更明确、清晰。

根据本公开的实施例，可以针对预测结果将具体的惩罚措施下发到相应的直播间。具体的惩罚措施可根据危险驾驶的危险程度、业务需求进行细分，如提示、警告、关播等。

综上所述，利用本公开实施例提供的视频识别方法，可以以较低的成本识别出直播场景下的危险驾驶事件，并提供直播中的危险驾驶的具体时间段。不仅能够达到较高的准确率和召回率，解放人力。而且能够规范直播行为，降低安全风险，提升用户的留存率。

图7示意性示出了根据本公开实施例的视频识别模型的训练装置的框图。

如图7所示，视频识别模型的训练装置700可以包括样本获取模块710、以及训练模块720。

样本获取模块710，用于获取训练样本，其中，训练样本包括视频数据和与视频数据相对应的标签，视频数据包括与交通场景相关的视频数据，标签指示了在采集视频数据的同时发生的事件；以及

训练模块720，用于利用训练样本训练初始视频识别模型，得到视频识别模型。

根据本公开的实施例，视频数据包括以下至少一项：

与车辆相关的视频数据、与道路相关的视频数据、与交通设施相关的视频数据、对象视频数据。

根据本公开的实施例，与车辆相关的视频数据包括以下至少一项：车辆车身视频数据、车辆内仓视频数据。

与道路相关的数据包括以下至少一项：道路交通标志线视频数据、道路路面视频数据、绿化带视频数据、道路两侧场景视频数据。

与交通设施相关的视频数据包括以下至少一项：交通信号灯视频数据、违章信息采集设备视频数据、交通岗亭视频数据、道路交通指示牌视频数据。

根据本公开的实施例，标签包括表示了在采集视频数据的同时发生驾驶事件的第一类别标签和表示了在采集视频数据的同时未发生驾驶事件的第二类别标签。

根据本公开的实施例，训练模块可以包括训练提取单元、训练标记单元、以及训练单元。

训练提取单元，用于提取视频数据中的多个视频帧。

训练标记单元，用于标记多个视频帧各自的时序信息，得到多个目标视频帧。

训练单元，用于利用多个目标视频帧和与视频数据相对应的标签训练初始视频识别模型，得到视频识别模型。

根据本公开的实施例，训练提取单元可以包括提取子单元。

提取子单元，用于按照预设抽帧频率等间隔提取视频数据中的多个视频帧。

根据本公开的实施例，训练提取单元还可以包括时长确定子单元、以及切分子单元。

时长确定子单元，用于确定视频数据的时长。

切分子单元，用于在确定视频数据的时长大于预设时长的情况下，切分视频数据，得到多个视频段数据，以便从多个视频段数据的每个视频段数据中提取多个视频帧。

根据本公开的实施例，训练标记单元可以包括正序标记子单元、或者倒序标记子单元。

正序标记子单元，用于按照视频数据的时序正序标记多个视频帧各自的时序信息，得到多个目标视频帧。

倒序标记子单元，用于按照视频数据的时序倒序标记多个视频帧各自的时序信息，得到多个目标视频帧。

图8示意性示出了根据本公开实施例的视频识别装置的框图。

如图8所示，视频识别装置800可以包括数据获取模块810、以及识别模块820。

数据获取模块，用于获取待识别视频数据。

识别模块，用于将待识别视频数据输入视频识别模型，得到与待识别视频数据相对应的识别结果。

。视频识别模型是利用视频识别模型的训练装置训练的。

根据本公开的实施例，识别模块可以包括识别提取单元、识别标记单元、以及识别输入单元。

识别提取单元，用于提取待识别视频数据中的多个待识别视频帧。

识别标记单元，用于标记多个待识别视频帧各自的时序信息，得到多个目标待识别视频帧。

识别输入单元，用于将多个目标待识别视频帧输入视频识别模型，得到与待识别视频数据相对应的识别结果。

根据本公开的实施例，数据获取模块可以包括确定单元以及获取单元。

确定单元，用于确定正在直播中的直播间标识信息。

获取单元，用于基于直播间标识信息，获取直播间的与当前时间最接近的已经直播过的视频数据，并将直播间的与当前时间最接近的已经直播过的视频数据作为待识别视频数据。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

根据本公开的实施例，一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上所述的方法。

根据本公开的实施例，一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行如上所述的方法。

根据本公开的实施例，一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如上所述的方法。

图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。

设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如视频识别模型的训练方法或者视频识别方法。例如，在一些实施例中，视频识别模型的训练方法或者视频识别方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的视频识别模型的训练方法或者视频识别方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行视频识别模型的训练方法或者视频识别方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以是分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (21)

1.一种视频识别模型的训练方法，包括：

获取训练样本，其中，所述训练样本包括视频数据和与所述视频数据相对应的标签，所述视频数据包括与交通场景相关的视频数据，所述标签指示了在采集所述视频数据的同时发生的事件；以及

利用所述训练样本训练初始视频识别模型，得到所述视频识别模型。

2.根据权利要求1所述的方法，其中，所述视频数据包括以下至少一项：

与车辆相关的视频数据、与道路相关的视频数据、与交通设施相关的视频数据、对象视频数据。

3.根据权利要求2所述的方法，其中，所述与车辆相关的视频数据包括以下至少一项：车辆车身视频数据、车辆内仓视频数据；

其中，所述与道路相关的数据包括以下至少一项：道路交通标志线视频数据、道路路面视频数据、绿化带视频数据、道路两侧场景视频数据；

其中，所述与交通设施相关的视频数据包括以下至少一项：交通信号灯视频数据、违章信息采集设备视频数据、交通岗亭视频数据、道路交通指示牌视频数据。

4.根据权利要求1所述的方法，其中，所述标签包括表示了在采集所述视频数据的同时发生驾驶事件的第一类别标签和表示了在采集所述视频数据的同时未发生驾驶事件的第二类别标签。

5.根据权利要求1至4任一项所述的方法，其中，所述利用所述训练样本训练初始视频识别模型，得到所述视频识别模型包括：

提取所述视频数据中的多个视频帧；

标记所述多个视频帧各自的时序信息，得到多个目标视频帧；以及

利用所述多个目标视频帧和与所述视频数据相对应的标签训练所述初始视频识别模型，得到所述视频识别模型。

6.根据权利要求5所述的方法，其中，所述提取所述视频数据中的多个视频帧包括：

按照预设抽帧频率等间隔提取所述视频数据中的多个视频帧。

7.根据权利要求5所述的方法，其中，所述提取所述视频数据中的多个视频帧还包括：

确定所述视频数据的时长；

在确定所述视频数据的时长大于预设时长的情况下，切分所述视频数据，得到多个视频段数据，以便从所述多个视频段数据的每个视频段数据中提取所述多个视频帧。

8.根据权利要求5所述的方法，其中，所述标记所述多个视频帧各自的时序信息，获得多个目标视频帧包括：

按照所述视频数据的时序正序标记所述多个视频帧各自的时序信息，得到所述多个目标视频帧；或者

按照所述视频数据的时序倒序标记所述多个视频帧各自的时序信息，得到所述多个目标视频帧。

9.一种视频识别方法，包括：

获取待识别视频数据；以及

将所述待识别视频数据输入视频识别模型，得到与所述待识别视频数据相对应的识别结果；

其中，所述视频识别模型是利用根据权利要求1-8中任一项所述的方法训练的。

10.根据权利要求9所述的方法，其中，所述将所述待识别视频数据输入视频识别模型，得到与所述待识别视频数据相对应的识别结果包括：

提取所述待识别视频数据中的多个待识别视频帧；

标记所述多个待识别视频帧各自的时序信息，得到多个目标待识别视频帧；以及

将所述多个目标待识别视频帧输入所述视频识别模型，得到与所述待识别视频数据相对应的识别结果。

11.根据权利要求9所述的方法，其中，所述获取待识别视频数据包括：

确定正在直播中的直播间标识信息；以及

基于所述直播间标识信息，获取所述直播间的与当前时间最接近的已经直播过的视频数据，并将所述直播间的与当前时间最接近的已经直播过的视频数据作为所述待识别视频数据。

12.一种视频识别模型的训练装置，包括：

样本获取模块，用于获取训练样本，其中，所述训练样本包括视频数据和与所述视频数据相对应的标签，所述视频数据包括与交通场景相关的视频数据，所述标签指示了在采集所述视频数据的同时发生的事件；以及

训练模块，用于利用所述训练样本训练初始视频识别模型，得到所述视频识别模型。

13.根据权利要求12所述的装置，其中，所述训练模块包括：

训练提取单元，用于提取所述视频数据中的多个视频帧；

训练标记单元，用于标记所述多个视频帧各自的时序信息，得到多个目标视频帧；以及

训练单元，用于利用所述多个目标视频帧和与所述视频数据相对应的标签训练所述初始视频识别模型，得到所述视频识别模型。

14.根据权利要求13所述的装置，其中，所述训练提取单元还包括：

时长确定子单元，用于确定所述视频数据的时长；

切分子单元，用于在确定所述视频数据的时长大于预设时长的情况下，切分所述视频数据，得到多个视频段数据，以便从所述多个视频段数据的每个视频段数据中提取所述多个视频帧。

15.根据权利要求13所述的装置，其中，所述训练标记单元包括：

正序标记子单元，用于按照所述视频数据的时序正序标记所述多个视频帧各自的时序信息，得到所述多个目标视频帧；或者

倒序标记子单元，用于按照所述视频数据的时序倒序标记所述多个视频帧各自的时序信息，得到所述多个目标视频帧。

16.一种视频识别装置，包括：

数据获取模块，用于获取待识别视频数据；以及

识别模块，用于将所述待识别视频数据输入视频识别模型，得到与所述待识别视频数据相对应的识别结果；

其中，所述视频识别模型是利用根据权利要求1-8中任一项所述的方法训练的。

17.根据权利要求16所述的装置，其中，所述识别模块包括：

识别提取单元，用于提取所述待识别视频数据中的多个待识别视频帧；

识别标记单元，用于标记所述多个待识别视频帧各自的时序信息，得到多个目标待识别视频帧；以及

识别输入单元，用于将所述多个目标待识别视频帧输入所述视频识别模型，得到与所述待识别视频数据相对应的识别结果。

18.根据权利要求16所述的装置，其中，所述数据获取模块包括：

确定单元，用于确定正在直播中的直播间标识信息；以及

获取单元，用于基于所述直播间标识信息，获取所述直播间的与当前时间最接近的已经直播过的视频数据，并将所述直播间的与当前时间最接近的已经直播过的视频数据作为所述待识别视频数据。

19.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的视频识别模型的训练方法以及权利要求9-11中任一项所述的视频识别方法。

20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-8中任一项所述的视频识别模型的训练方法以及权利要求9-11中任一项所述的视频识别方法。

21.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-8中任一项所述的视频识别模型的训练方法以及权利要求9-11中任一项所述的视频识别方法。

Images