CN113723257A - 事件短视频生成方法、系统、设备和存储介质 - Google Patents

Abstract

本申请涉及一种基于深度学习的事件短视频生成方法，包括：对获取的视频图像进行人脸检测，获得人脸图像区域；采用训练好的人脸特征提取模型对人脸图像区域进行人脸特征提取，得到人脸特征向量；基于人脸特征向量，采用预设的多目标跟踪算法得到每个人员的跟踪轨迹；获取跟踪轨迹的起止时间段内视频图像中相应人员的目标人脸图像序列；基于目标人脸图像序列，通过训练好的人脸识别模型进行人脸识别，得到人脸身份信息；获取跟踪轨迹持续时间内的轨迹视频图像；基于轨迹视频图像、人脸身份信息、位置信息、起止时间信息生成事件短视频。本方法能及时发现目标人员，并获取目标人员的相关视频图像，从而有效进行事前预警，事中处理，事后及时取证。

Description

事件短视频生成方法、系统、设备和存储介质

技术领域

本申请属于图像处理技术领域，具体涉及一种事件短视频生成方法。

背景技术

在社会公共安全领域，视频监控系统成为维护社会治安，加强社会管理的一个重要组成部分。例如、公安机关通过监控平台，可以对城市各街道辖区的主要道路、重点单位、热点部位进行24小时监控，可有效消除治安隐患，使发现、抓捕街面现行犯罪的水平得到提高。

然而视频图像存在数据量大的特点，从视频图像中查找目标人员通常要耗费大量人力、物力以及时间，效率极其低下。如何从海量的视频图像中及时发现目标人员，并获取目标人员的相关视频图像，成为亟待解决的问题。

发明内容

(一)要解决的技术问题

鉴于现有技术的上述缺点、不足，本申请提供一种基于深度学习的事件短视频生成方法、系统、设备和存储介质。

(二)技术方案

为达到上述目的，本申请采用如下技术方案：

第一方面，本申请实施例提供一种基于深度学习的事件短视频生成方法，该方法包括：

S10、获取图像采集装置实时采集的目标区域的视频图像；

S20、采用预设的人脸检测算法对所述视频图像中的人员进行人脸检测，获得人脸图像区域；

S30、采用训练好的人脸特征提取模型对所述人脸图像区域进行人脸特征提取，得到人脸特征向量；

S40、基于所述人脸特征向量，采用预设的多目标跟踪算法对所述视频图像中的多个人员进行跟踪，得到每个人员的跟踪轨迹；

S50、基于各个人员的跟踪轨迹获取跟踪轨迹的起止时间段内视频图像中相应人员的目标人脸图像序列，所述目标人脸图像序列包括人脸图像区域内同一人员的多张人脸图像；

S60、基于所述目标人脸图像序列，通过训练好的人脸识别模型进行人脸识别，得到人脸身份信息；

S70、基于所述人脸身份信息，获取跟踪轨迹持续时间内的轨迹视频图像；

S80、基于所述轨迹视频图像、所述人脸身份信息、所述目标区域的位置信息、所述跟踪轨迹的起止时间信息生成事件短视频。

可选地，S50中还包括：

按照预设的人脸择优规则，从所述目标人脸图像序列中去除不满足的所述人脸择优规则的人脸图像。

可选地，人脸择优规则可以包括人脸尺寸择优规则、人脸清晰度择优规则、人脸姿态择优规则、人脸图像质量择优规则中一种或多种。

可选地，S70包括：

S711、将所述人脸身份信息与预先获取的黑名单或白名单中的人员身份信息进行比对；

S712、若所述人脸身份信息与黑名单或白名单中的人员身份信息一致，则将相应的人员作为目标人员；

S713、从所述视频图像中截取所述目标人员在跟踪轨迹持续时间内的轨迹视频图像。

可选地，S70包括：

S721、获取行为事件检测系统的事件检测结果；

S722、当所述事件检测结果为异常事件时，获取与所述人脸身份信息相对应的轨迹视频图像；

S723、将所述人脸身份信息加入到黑名单或白名单中。

可选地，S80包括:

S81、将所述轨迹视频图像转换为预设的格式，所述预设的格式为HTML5支持的Ogg、MPEG4、WebM中任一种格式；

S82、将格式转换后的轨迹视频图像与所述人脸身份信息、所述目标区域的位置信息、所述跟踪轨迹的起止时间信息生成事件短视频进行整合，生成事件短视频。

可选地，所述预设的人脸检测算法为轮廓规则法。

第二方面，本申请实施例提供一种智能视频监控系统，包括视频采集子系统、智能视频分析子系统和控制中心子系统，所述智能视频分析子系统采用如上第一方面任一项所述的基于深度学习的事件短视频生成方法生成事件短视频发送至控制中心子系统。

第三方面，本申请实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上第一方面任一项所述的基于深度学习的事件短视频生成方法的步骤。

第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被所述处理器执行时实现如上第一方面任一项所述的基于深度学习的事件短视频生成方法的步骤。

(三)有益效果

本申请的有益效果是：本申请提出了一种基于深度学习的事件短视频生成方法、设备和可读存储介质，其中的方法包括：对获取的视频图像进行人脸检测，获得人脸图像区域；采用训练好的人脸特征提取模型对人脸图像区域进行人脸特征提取，得到人脸特征向量；基于人脸特征向量，采用预设的多目标跟踪算法得到每个人员的跟踪轨迹；获取跟踪轨迹的起止时间段内视频图像中相应人员的目标人脸图像序列；基于目标人脸图像序列，通过训练好的人脸识别模型进行人脸识别，得到人脸身份信息；获取跟踪轨迹持续时间内的轨迹视频图像；基于轨迹视频图像、人脸身份信息、位置信息、起止时间信息生成事件短视频。本方法能及时发现目标人员，并获取目标人员的相关视频图像，从而有效进行事前预警，事中处理，事后及时取证。

附图说明

本申请借助于以下附图进行描述：

图1为本申请一个实施例中的基于深度学习的事件短视频生成方法流程示意图；

图2为本申请另一实施例中的智能视频监控系统结构示意图；

图3为本申请又一实施例中的电子设备的架构示意图。

具体实施方式

为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。可以理解的是，以下所描述的具体的实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合；为了便于描述，附图中仅示出了与发明相关的部分。

实施例一

图1为本申请一个实施例中的基于深度学习的事件短视频生成方法流程示意图，如图1所示，该方法的执行主体可以是智能视频分析子系统，该子系统可以由软件和/或硬件实现。

本实施例基于深度学习的事件短视频生成方法包括以下步骤：

S10、获取图像采集装置实时采集的目标区域的视频图像；

S20、采用预设的人脸检测算法对视频图像中的人员进行人脸检测，获得人脸图像区域；

S30、采用训练好的人脸特征提取模型对人脸图像区域进行人脸特征提取，得到人脸特征向量；

S40、基于人脸特征向量，采用预设的多目标跟踪算法对视频图像中的多个人员进行跟踪，得到每个人员的跟踪轨迹；

S50、基于各个人员的跟踪轨迹获取跟踪轨迹的起止时间段内视频图像中相应人员的目标人脸图像序列，目标人脸图像序列包括人脸图像区域内同一人员的多张人脸图像；

S60、基于目标人脸图像序列，通过训练好的人脸识别模型进行人脸识别，得到人脸身份信息；

S70、基于人脸身份信息，获取跟踪轨迹持续时间内的轨迹视频图像；

S80、基于轨迹视频图像、人脸身份信息、目标区域的位置信息、跟踪轨迹的起止时间信息生成事件短视频。

本实施例的基于深度学习的事件短视频生成方法，能够能及时发现目标人员，并获取目标人员的相关视频图像，从而有效进行事前预警，事中处理，事后及时取证

为了更好地理解本发明，以下对本实施例中的各步骤进行展开说明。

在步骤S10中，图像采集装置可以设置于卡口区域，如大门，闸机进出口，特定岗位，过道，走廊等，相应的目标区域就是卡口区域，如大门，闸机进出口，特定岗位，过道，走廊等。

具体地，图像采集装置实时拍摄监控区域内的人员监控视频，读取人员监控视频连续视频帧中的图像数据。需要说明的是，在此步骤中，图像采集装置可以但不限制于采用网络监控摄像头进行人员监控视频的拍摄，先将网络监控摄像头安放在能够拍摄人员的位置，然后通过网络、本地传输等方式访问摄像头读取视频图像即可。

视频图像可以是由摄像头等设备采集到的原始视频，也可以是在原始视频上预处理之后获得的视频图像。

本实施例中，事件短视频生成方法的执行主体可以通过有线连接方式或者无线连接方式从图像采集装置获取视频图像。

在步骤S20中，预设的人脸检测算法可采用如基于知识的人脸检测方法(轮廓规则法、器官分布法、颜色纹理法等)、模板匹配人脸检测方法(马赛克图法等)或基于统计的人脸检测方法等，只要能实现人脸检测，获得视频图像的人脸检测框，任何人脸检测方法都能应用到本发明实施例中，在此不一一说明。

具体地，本实施例中人脸检测算法采用轮廓规则法。

在步骤S30中，人脸特征提取模型可以是在公开数据集上取得先进结果的FaceNet人脸识别框架。通过人脸特征提取模型进行人脸特征提取，以得到当前视频图像中人员的人脸特征向量。

需要说明的是，以上仅仅是对人脸特征提取模型采用的算法做示例性说明，并构成对人脸特征提取模型的限定。

在步骤S40中，示例性的，多目标跟踪算法可以采用Boosting Tracker或KCFTracker算法，生成当前视频帧图像中的人员的运动轨迹，并赋予唯一TrackID。BoostingTracker和KCF Tracker算法均是基于特征提取的多目标跟踪算法，本实施例对采用哪种多目标跟踪算法不进行限制。

具体地，根据人员的跟踪轨迹可以得到跟踪轨迹的起止时间。

深度特征相比于传统特征可以更准确地反映检测目标的外观特征，因此可以有效提高跟踪的准确性。

在步骤S50中，目标人脸图像序列包括人脸图像区域内同一人员的多张人脸图像，且人脸图像的数量大于预设的数量。

优选地，S50中还可以包括：

按照预设的人脸择优规则，从目标人脸图像序列中去除不满足的人脸择优规则的人脸图像。

具体地，人脸择优规则可以包括人脸尺寸择优规则、人脸清晰度择优规则、人脸姿态择优规则、人脸图像质量择优规则中一种或多种。

例如，人脸姿态择优规则是：

将偏航角度大于预设的偏航角阈值、俯仰角度大于俯仰角阈值、侧偏角度大于预设的侧偏角阈值的人脸图像作为满足人脸姿态择优规则的图像；

将偏航角度小于等于预设的偏航角阈值，和/或，俯仰角度小于等于俯仰角阈值，和/或，侧偏角度小于等于预设的侧偏角阈值的人脸图像作为不满足人脸姿态择优规则的图像。

本步骤能快捷、有效地筛选出待识别人员的高质量人脸图片，有助于提高人脸识别的效率和准确率。

在步骤S60中，人脸识别模型可以是预先根据指定人脸识别算法构建得到的。其中，指定人脸识别算法可以是单一的一种人脸识别算法、也可以是多种人脸识别算法的组合，还可以是第三方厂商开发的网络结构未知的、具备人脸识别功能的模型。

在步骤S70中，可以包括：

S711、将人脸身份信息与预先获取的黑名单或白名单中的人员身份信息进行比对；

S712、若人脸身份信息与黑名单或白名单中的人员身份信息一致，则将相应的人员作为目标人员；

S713、从视频图像中截取目标人员在跟踪轨迹持续时间内的轨迹视频图像。

需要说明的是，S711-S713用于在查找特定人员的应用场景中。当智能视频分析子系统与行为事件检测子系统协同运行时，可以从事件检测子系统获取事件检测结果，从而当人脸身份信息与黑名单或白名单中的人员身份信息不一致时，在步骤S70中，也可以包括：

S721、获取行为事件检测系统的事件检测结果；

S722、当事件检测结果为异常事件时，获取与人脸身份信息相对应的轨迹视频图像；

S723、将人脸身份信息加入到黑名单或白名单中。

在步骤S80中，可以包括：

S81、将轨迹视频图像转换为预设的格式，预设的格式为HTML5支持的Ogg、MPEG4、WebM中任一种格式；

S82、将格式转换后的轨迹视频图像与人脸身份信息、目标区域的位置信息、跟踪轨迹的起止时间信息生成事件短视频进行整合，生成事件短视频。

通过将轨迹视频图像转换为HTML5支持的Ogg、MPEG4、WebM中任一种格式，从而用户可以随时随地的在任意终端通过浏览器查看。

实施例二

图2为本申请另一实施例中的智能视频监控系统结构示意图，请参阅图2，本申请第二方面通过实施例二提供一种智能视频监控系统，包括视频采集子系统、智能视频分析子系统和控制中心子系统，智能视频分析子系统采用如上实施例一中任一项所述的基于深度学习的事件短视频生成方法生成事件短视频发送至控制中心子系统。

视频采集子系统用于进行视频采集，包括摄像机(可以是可见光、红外、微光等类型)。

智能视频分析子系统用于实现运动目标检测、分类、跟踪、识别并进行行为和事件检测，同时还负责当出现异常行为或事件时发出报警信息，是智能视频监控系统的核心模块。

控制中心子系统用于与监控人员直接交互，在监控端可以进行报警准则的设定，建立事件、异常行为等模型，也可以制定报警响应，并能对整个监控系统进行监视和管理。

实施例三

本申请第三方面通过实施例三提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现如上实施例一中任意一项所述的基于深度学习的事件短视频生成方法的步骤。

图3为本申请又一实施例中的电子设备的架构示意图。

图3所示的电子设备可包括：至少一个处理器101、至少一个存储器102、至少一个网络接口104和其他的用户接口103。电子设备中的各个组件通过总线系统105耦合在一起。可理解，总线系统105用于实现这些组件之间的连接通信。总线系统105除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图3中将各种总线都标为总线系统105。

其中，用户接口103可以包括显示器、键盘或者点击设备(例如，鼠标，轨迹球(trackball)或者触感板等。

可以理解，本实施例中的存储器102可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-OnlyMemory，ROM)、可编程只读存储器(ProgrammableROM，PROM)、可擦除可编程只读存储器(ErasablePROM，EPROM)、电可擦除可编程只读存储器(ElectricallyEPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(RandomAccessMemory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(StaticRAM，SRAM)、动态随机存取存储器(DynamicRAM，DRAM)、同步动态随机存取存储器(SynchronousDRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(DoubleDataRateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(SynchlinkDRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambusRAM，DRRAM)。本文描述的存储器62旨在包括但不限于这些和任意其它适合类型的存储器。

在一些实施方式中，存储器102存储了如下的元素，可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统1021和应用程序1022。

其中，操作系统1021，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序622，包含各种应用程序，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序1022中。

在本发明实施例中，处理器101通过调用存储器102存储的程序或指令，具体的，可以是应用程序1022中存储的程序或指令，处理器101用于执行第一方面所提供的方法步骤。

上述本发明实施例揭示的方法可以应用于处理器101中，或者由处理器101实现。处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器、数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器102，处理器101读取存储器102中的信息，结合其硬件完成上述方法的步骤。

另外，结合上述实施例中的基于深度学习的事件短视频生成方法，本发明实施例可提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上方法实施例中的任意一种基于深度学习的事件短视频生成方法。

应当注意的是，在权利要求中，不应将位于括号之间的任何附图标记理解成对权利要求的限制。词语“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。词语第一、第二、第三等的使用，仅是为了表述方便，而不表示任何顺序。可将这些词语理解为部件名称的一部分。

此外，需要说明的是，在本说明书的描述中，术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管已描述了本发明的优选实施例，但本领域的技术人员在得知了基本创造性概念后，则可对这些实施例作出另外的变更和修改。所以，权利要求应该解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也应该包含这些修改和变型在内。

Claims (10)

1.一种基于深度学习的事件短视频生成方法，其特征在于，该方法包括：

S10、获取图像采集装置实时采集的目标区域的视频图像；

S20、采用预设的人脸检测算法对所述视频图像中的人员进行人脸检测，获得人脸图像区域；

S30、采用训练好的人脸特征提取模型对所述人脸图像区域进行人脸特征提取，得到人脸特征向量；

S40、基于所述人脸特征向量，采用预设的多目标跟踪算法对所述视频图像中的多个人员进行跟踪，得到每个人员的跟踪轨迹；

S50、基于各个人员的跟踪轨迹获取跟踪轨迹的起止时间段内视频图像中相应人员的目标人脸图像序列，所述目标人脸图像序列包括人脸图像区域内同一人员的多张人脸图像；

S60、基于所述目标人脸图像序列，通过训练好的人脸识别模型进行人脸识别，得到人脸身份信息；

S70、基于所述人脸身份信息，获取跟踪轨迹持续时间内的轨迹视频图像；

S80、基于所述轨迹视频图像、所述人脸身份信息、所述目标区域的位置信息、所述跟踪轨迹的起止时间信息生成事件短视频。

2.根据权利要求1所述的基于深度学习的事件短视频生成方法，其特征在于，S50中还包括：

按照预设的人脸择优规则，从所述目标人脸图像序列中去除不满足的所述人脸择优规则的人脸图像。

3.根据权利要求1所述的基于深度学习的事件短视频生成方法，其特征在于，人脸择优规则可以包括人脸尺寸择优规则、人脸清晰度择优规则、人脸姿态择优规则、人脸图像质量择优规则中一种或多种。

4.根据权利要求1所述的基于深度学习的事件短视频生成方法，其特征在于，S70包括：

S711、将所述人脸身份信息与预先获取的黑名单或白名单中的人员身份信息进行比对；

S712、若所述人脸身份信息与黑名单或白名单中的人员身份信息一致，则将相应的人员作为目标人员；

S713、从所述视频图像中截取所述目标人员在跟踪轨迹持续时间内的轨迹视频图像。

5.根据权利要求1所述的基于深度学习的事件短视频生成方法，其特征在于，S70包括：

S721、获取行为事件检测系统的事件检测结果；

S722、当所述事件检测结果为异常事件时，获取与所述人脸身份信息相对应的轨迹视频图像；

S723、将所述人脸身份信息加入到黑名单或白名单中。

6.根据权利要求1所述的基于深度学习的事件短视频生成方法，其特征在于，S80包括:

S81、将所述轨迹视频图像转换为预设的格式，所述预设的格式为HTML5支持的Ogg、MPEG4、WebM中任一种格式；

S82、将格式转换后的轨迹视频图像与所述人脸身份信息、所述目标区域的位置信息、所述跟踪轨迹的起止时间信息生成事件短视频进行整合，生成事件短视频。

7.根据权利要求1所述的基于深度学习的事件短视频生成方法，其特征在于，所述预设的人脸检测算法为轮廓规则法。

8.一种智能视频监控系统，包括视频采集子系统、智能视频分析子系统和控制中心子系统，其特征在于，所述智能视频分析子系统采用权利要求1至7中任一项所述的基于深度学习的事件短视频生成方法生成事件短视频发送至控制中心子系统。

9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上权利要求1至7中任一项所述的基于深度学习的事件短视频生成方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被所述处理器执行时实现如上权利要求1至7中任一项所述的基于深度学习的事件短视频生成方法的步骤。

Images