CN111209807A - 一种基于yolov3的视频结构化方法及系统 - Google Patents

Abstract

本发明公开了一种基于yolov3的视频结构化方法及系统，所述方法包括：通过客户端的一个或多个图像采集传感器采集获得待识别的视频流文件；客户端通过预设规则在所述待识别的视频流文件提取视频帧数据，并将所述视频帧数据通过预设途径发送至服务器；将所述服务器接收到的视频数据帧输入预先训练的yolov3模型中进行识别分类，获得所述待识别的视频流文件对应的行人属性以及车辆特征属性信息；将所述行人属性以及车辆特征属性信息通过预设途径返回至所述客户端；所述方法及系统使用yolov3使得分类识别的效率与速度大大提升，解决了行人车辆复杂环境识别下获得实时识别结果的问题。

Description

一种基于yolov3的视频结构化方法及系统

技术领域

本发明涉及信息技术领域，更具体地，涉及一种基于yolov3的视频结构化方法及系统。

背景技术

行人识别一直是计算机视觉领域的研究热点，但是由于行人外观易受光线、遮挡、视角和姿态的影响，在不同的视频和图片中外观呈现出极大的差异性，使得行人识别成为一个极具挑战性的课题，随着深度学习的产生，在行人识别方面产生的很大的影响，尤其是准确率方面有了很大的提升，车辆属性的识别也是近年来应用比较热门的一个方向，随着现在城市车辆的增加，对车辆管理的要求越来越严格，各种车型，车牌识别的方案也层出不穷。

目前既适用于行人识别又适用于车辆识别的算法主要是深度学习方法，深度学习方法优点显著，如准确率高、识别速度迅速等。现有的技术中，对于行人车辆复杂环境的识别，需要分析动态视频数据，会使得识别速度受到影响，无法提高效率，导致无法获得较好的行人车辆复杂环境的实时识别结果。

发明内容

为了解决背景技术存在的行人车辆复杂环境识别的识别无法提高效率获得较好的实时识别结果的问题，本发明提供了一种基于yolov3的视频结构化方法及系统，所述方法及系统通过预先训练的yolov3模型，对输入的视频帧数据进行识别分类，获得识别结果的详细信息；所述一种基于yolov3的视频结构化方法及系统，包括：

通过客户端的一个或多个图像采集传感器采集获得待识别的视频流文件；

客户端通过预设规则在所述待识别的视频流文件提取视频帧数据，并将所述视频帧数据通过预设途径发送至服务器；

将所述服务器接收到的视频数据帧输入预先训练的yolov3模型中进行识别分类，获得所述待识别的视频流文件对应的行人属性以及车辆特征属性信息；

将所述行人属性以及车辆特征属性信息通过预设途径返回至所述客户端。

进一步的，所述行人属性信息包括身高高矮、身材胖瘦、性别、年龄段、附属携带物以及衣着；

所述车辆属性信息包括车牌号、车辆品牌、车辆型号以及车辆颜色。

进一步的，将所述视频帧数据通过预设途径发送至服务器后，所述方法还包括：

将所述视频帧数据存储在服务器端的数据队列中；

所述数据队列通过tornado框架或flask框架构建。

进一步的，所述yolov3模型的训练方法包括：

基于yolov3生成预训练模型；

将标记属性的多种类型的训练素材输入至所述预训练模型中，通过yolov3网络结构以及损失函数进行训练；

通过预先设置的测试素材确认所述预训练模型的准确率；

若所述准确率超过预设准确率阈值，则训练完成，获得yolov3模型；

若所述准确率未超过所述预设的准确率阈值，则继续输入新的训练素材，进行下一轮准确率测试。

进一步的，所述客户端向所述服务器发送行人分类修改请求；所述服务器根据接收的行人分类修改请求对所述行人分类进行修改；所述行人分类修改包括添加行人属性、修改行人属性以及删除行人属性；

所述客户端向所述服务器发送车辆分类修改请求；所述服务器根据接收的车辆分类修改请求对所述车辆分类进行修改；所述车辆分类修改包括添加车辆特征属性、修改车辆特征属性以及删除车辆特征属性。

进一步的，所述客户端接收所述行人属性以及车辆特征属性信息后，所述方法还包括：

所述客户端将所述所述行人以及车辆属性信息标记在所述视频流文件中被识别的行人及车辆的对应位置，并向用户进行展示。

所述一种基于yolov3的视频结构化系统包括：一个或多个客户端以及服务器；

所述一个或多个客户端的每一个包括一个或多个图像采集传感器；所述服务器包括通信单元以及yolov3模型识别单元；

所述客户端通过一个或多个图像采集传感器采集获得待识别的视频流文件；

所述客户端用于通过预设规则在所述待识别的视频流文件提取视频帧数据，并将所述视频帧数据通过预设途径发送至服务器；

所述yolov3模型识别单元用于将所述服务器接收到的视频数据帧输入预先训练的yolov3模型中进行识别分类，获得所述待识别的视频流文件对应的行人属性以及车辆特征属性信息；

所述通信单元用于将所述行人属性以及车辆特征属性信息通过预设途径返回至所述客户端。

进一步的，所述行人属性信息包括身高高矮、身材胖瘦、性别、年龄段、附属携带物以及衣着；

所述车辆属性信息包括车牌号、车辆品牌、车辆型号以及车辆颜色。

进一步的，所述通信单元用于将所述视频帧数据存储在服务器端的数据队列中；

所述数据队列通过tornado框架或flask框架构建。

进一步的，所述服务器包括yolov3模型训练单元；

所述yolov3模型训练单元基于yolov3生成预训练模型；

所述yolov3模型训练单元用于将标记属性的多种类型的训练素材输入至所述预训练模型中，通过yolov3网络结构以及损失函数进行训练；

所述yolov3模型训练单元用于通过预先设置的测试素材确认所述预训练模型的准确率；

若所述准确率超过预设准确率阈值，则训练完成，获得yolov3模型；

若所述准确率未超过所述预设的准确率阈值，则继续输入新的训练素材，进行下一轮准确率测试。

进一步的，所述客户端向所述服务器发送行人分类修改请求；所述服务器根据接收的行人分类修改请求对所述行人分类进行修改；所述行人分类修改包括添加行人属性、修改行人属性以及删除行人属性；

所述客户端向所述服务器发送车辆分类修改请求；所述服务器根据接收的车辆分类修改请求对所述车辆分类进行修改；所述车辆分类修改包括添加车辆特征属性、修改车辆特征属性以及删除车辆特征属性。

进一步的，所述客户端将所述所述行人以及车辆属性信息标记在所述视频流文件中被识别的行人及车辆的对应位置，并向用户进行展示。

本发明的有益效果为：本发明的技术方案，给出了一种基于yolov3的视频结构化方法及系统，所述方法及系统通过预先训练的yolov3模型，对输入的视频帧数据进行识别分类，获得识别结果的详细信息；所述方法及系统使用yolov3使得分类识别的效率与速度大大提升，解决了行人车辆复杂环境识别下获得实时识别结果的问题。

附图说明

通过参考下面的附图，可以更为完整地理解本发明的示例性实施方式：

图1为本发明具体实施方式的一种基于yolov3的视频结构化方法的流程图；

图2为本发明具体实施方式的一种基于yolov3的视频结构化系统的结构图。

具体实施方式

现在参考附图介绍本发明的示例性实施方式，然而，本发明可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本发明，并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中，相同的单元/元件使用相同的附图标记。

除非另有说明，此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。

图1为本发明具体实施方式的一种基于yolov3的视频结构化方法的流程图；如图1所示，所述方法包括：

步骤110，通过客户端的一个或多个图像采集传感器采集获得待识别的视频流文件；

本实施例中，所述客户端部署在本地，所述一个客户端与一个或多个图像采集传感器相连，接收一个或多个图像采集传感器采集的视频流文件；所述图像采集传感器优先的为摄像头。

步骤120，客户端通过预设规则在所述待识别的视频流文件提取视频帧数据，并将所述视频帧数据通过预设途径发送至服务器；

所述客户端对所述视频流文件进行初步的筛选，将其中具有待识别行人车辆的一帧或多帧视频帧数据提取出来，生成视频帧数据，代表该时间点下的对应视频流文件。

进一步的，所述服务器可能在同一时间同时接到多个客户端发送过来的视频帧数据，为了处理这种大并发处理情形，所述视频帧数据发送到所述服务器后，将所述视频帧数据存储在在服务器端的数据队列中，以避免在大并发处理情形下系统崩溃的风险。所述数据队列通过tornado框架或flask框架构建。

步骤130，将所述服务器接收到的视频数据帧输入预先训练的yolov3模型中进行识别分类，获得所述待识别的视频流文件对应的行人属性以及车辆特征属性信息；

进一步的，所述行人属性信息包括身高高矮、身材胖瘦、性别、年龄段、附属携带物以及衣着；

所述车辆属性信息包括车牌号、车辆品牌、车辆型号以及车辆颜色。

进一步的，所述yolov3模型的训练方法包括：

基于yolov3生成预训练模型；

将标记属性的多种类型的训练素材输入至所述预训练模型中，通过yolov3网络结构以及损失函数进行训练；

通过预先设置的测试素材确认所述预训练模型的准确率；

若所述准确率超过预设准确率阈值，则训练完成，获得yolov3模型；

若所述准确率未超过所述预设的准确率阈值，则继续输入新的训练素材，进行下一轮准确率测试。

步骤140，将所述行人属性以及车辆特征属性信息通过预设途径返回至所述客户端。

进一步的，在所述客户端接收所述行人属性以及车辆特征属性信息后，所述方法还包括：

所述客户端将所述所述行人以及车辆属性信息标记在所述视频流文件中被识别的行人及车辆的对应位置，并向用户进行展示。

因为基于yolov3的识别速度和效率大大提升，可实现实时向用户展示视频流汇总的人物属性的技术效果。

进一步的，所述客户端向所述服务器发送行人分类修改请求；所述服务器根据接收的行人分类修改请求对所述行人分类进行修改；所述行人分类修改包括添加行人属性、修改行人属性以及删除行人属性；

所述客户端向所述服务器发送车辆分类修改请求；所述服务器根据接收的车辆分类修改请求对所述车辆分类进行修改；所述车辆分类修改包括添加车辆特征属性、修改车辆特征属性以及删除车辆特征属性。

图2为本发明具体实施方式的一种基于yolov3的视频结构化系统的结构图。如图2所示，所述系统包括：

一个或多个客户端220以及服务器210；

所述一个或多个客户端220的每一个包括一个或多个图像采集传感器221；所述服务器210包括通信单元212以及yolov3模型识别单元211；

所述客户端220通过一个或多个图像采集传感器221采集获得待识别的视频流文件；

所述客户端220用于通过预设规则在所述待识别的视频流文件提取视频帧数据，并将所述视频帧数据通过预设途径发送至服务器210；

所述yolov3模型识别单元211用于将所述服务器210接收到的视频数据帧输入预先训练的yolov3模型中进行识别分类，获得所述待识别的视频流文件对应的行人属性以及车辆特征属性信息；

所述通信单元212用于将所述行人属性以及车辆特征属性信息通过预设途径返回至所述客户端220。

进一步的，所述行人属性信息包括身高高矮、身材胖瘦、性别、年龄段、附属携带物以及衣着；

所述车辆属性信息包括车牌号、车辆品牌、车辆型号以及车辆颜色。

进一步的，所述通信单元212用于将所述视频帧数据存储在服务器210端的数据队列中；

所述数据队列通过tornado框架或flask框架构建。

进一步的，所述服务器210包括yolov3模型训练单元213；

所述yolov3模型训练单元213基于yolov3生成预训练模型；

所述yolov3模型训练单元213用于将标记属性的多种类型的训练素材输入至所述预训练模型中，通过yolov3网络结构以及损失函数进行训练；

所述yolov3模型训练单元213用于通过预先设置的测试素材确认所述预训练模型的准确率；

若所述准确率超过预设准确率阈值，则训练完成，获得yolov3模型；

若所述准确率未超过所述预设的准确率阈值，则继续输入新的训练素材，进行下一轮准确率测试。

进一步的，所述客户端220向所述服务器210发送行人分类修改请求；所述服务器210根据接收的行人分类修改请求对所述行人分类进行修改；所述行人分类修改包括添加行人属性、修改行人属性以及删除行人属性；

所述客户端220向所述服务器210发送车辆分类修改请求；所述服务器210根据接收的车辆分类修改请求对所述车辆分类进行修改；所述车辆分类修改包括添加车辆特征属性、修改车辆特征属性以及删除车辆特征属性。

进一步的，所述客户端220将所述所述行人以及车辆属性信息标记在所述视频流文件中被识别的行人及车辆的对应位置，并向用户进行展示。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本公开的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。本说明书中涉及到的步骤编号仅用于区别各步骤，而并不用于限制各步骤之间的时间或逻辑的关系，除非文中有明确的限定，否则各个步骤之间的关系包括各种可能的情况。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本公开的范围之内并且形成不同的实施例。例如，在权利要求书中所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本公开的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本公开还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者系统程序(例如，计算机程序和计算机程序产品)。这样的实现本公开的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本公开进行说明而不是对本公开进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本公开可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干系统的单元权利要求中，这些系统中的若干个可以是通过同一个硬件项来具体体现。

以上所述仅是本公开的具体实施方式，应当指出的是，对于本领域的普通技术人员来说，在不脱离本公开精神的前提下，可以作出若干改进、修改、和变形，这些改进、修改、和变形都应视为落在本申请的保护范围内。

Claims (12)

1.一种基于yolov3的视频结构化方法，其特征在于，所述方法包括：

通过客户端的一个或多个图像采集传感器采集获得待识别的视频流文件；

客户端通过预设规则在所述待识别的视频流文件提取视频帧数据，并将所述视频帧数据通过预设途径发送至服务器；

将所述服务器接收到的视频数据帧输入预先训练的yolov3模型中进行识别分类，获得所述待识别的视频流文件对应的行人属性以及车辆特征属性信息；

将所述行人属性以及车辆特征属性信息通过预设途径返回至所述客户端。

2.根据权利要求1所述的方法，其特征在于：

所述行人属性信息包括身高高矮、身材胖瘦、性别、年龄段、附属携带物以及衣着；

所述车辆属性信息包括车牌号、车辆品牌、车辆型号以及车辆颜色。

3.根据权利要求1所述的方法，其特征在于，将所述视频帧数据通过预设途径发送至服务器后，所述方法还包括：

将所述视频帧数据存储在服务器端的数据队列中；

所述数据队列通过tornado框架或flask框架构建。

4.根据权利要求1所述的方法，其特征在于：所述yolov3模型的训练方法包括：

基于yolov3生成预训练模型；

将标记属性的多种类型的训练素材输入至所述预训练模型中，通过yolov3网络结构以及损失函数进行训练；

通过预先设置的测试素材确认所述预训练模型的准确率；

若所述准确率超过预设准确率阈值，则训练完成，获得yolov3模型；

若所述准确率未超过所述预设的准确率阈值，则继续输入新的训练素材，进行下一轮准确率测试。

5.根据权利要求2所述的方法，其特征在于：

所述客户端向所述服务器发送行人分类修改请求；所述服务器根据接收的行人分类修改请求对所述行人分类进行修改；所述行人分类修改包括添加行人属性、修改行人属性以及删除行人属性；

所述客户端向所述服务器发送车辆分类修改请求；所述服务器根据接收的车辆分类修改请求对所述车辆分类进行修改；所述车辆分类修改包括添加车辆特征属性、修改车辆特征属性以及删除车辆特征属性。

6.根据权利要求2所述的方法，其特征在于，所述客户端接收所述行人属性以及车辆特征属性信息后，所述方法还包括：

所述客户端将所述所述行人以及车辆属性信息标记在所述视频流文件中被识别的行人及车辆的对应位置，并向用户进行展示。

7.一种基于yolov3的视频结构化系统，其特征在于，所述系统包括：一个或多个客户端以及服务器；

所述一个或多个客户端的每一个包括一个或多个图像采集传感器；所述服务器包括通信单元以及yolov3模型识别单元；

所述客户端通过一个或多个图像采集传感器采集获得待识别的视频流文件；

所述客户端用于通过预设规则在所述待识别的视频流文件提取视频帧数据，并将所述视频帧数据通过预设途径发送至服务器；

所述yolov3模型识别单元用于将所述服务器接收到的视频数据帧输入预先训练的yolov3模型中进行识别分类，获得所述待识别的视频流文件对应的行人属性以及车辆特征属性信息；

所述通信单元用于将所述行人属性以及车辆特征属性信息通过预设途径返回至所述客户端。

8.根据权利要求7所述的系统，其特征在于：

所述行人属性信息包括身高高矮、身材胖瘦、性别、年龄段、附属携带物以及衣着；

所述车辆属性信息包括车牌号、车辆品牌、车辆型号以及车辆颜色。

9.根据权利要求7所述的系统，其特征在于：

所述通信单元用于将所述视频帧数据存储在服务器端的数据队列中；

所述数据队列通过tornado框架或flask框架构建。

10.根据权利要求7所述的系统，其特征在于，所述服务器包括yolov3模型训练单元；

所述yolov3模型训练单元基于yolov3生成预训练模型；

所述yolov3模型训练单元用于将标记属性的多种类型的训练素材输入至所述预训练模型中，通过yolov3网络结构以及损失函数进行训练；

所述yolov3模型训练单元用于通过预先设置的测试素材确认所述预训练模型的准确率；

若所述准确率超过预设准确率阈值，则训练完成，获得yolov3模型；

若所述准确率未超过所述预设的准确率阈值，则继续输入新的训练素材，进行下一轮准确率测试。

11.根据权利要求8所述的系统，其特征在于：

所述客户端向所述服务器发送行人分类修改请求；所述服务器根据接收的行人分类修改请求对所述行人分类进行修改；所述行人分类修改包括添加行人属性、修改行人属性以及删除行人属性；

所述客户端向所述服务器发送车辆分类修改请求；所述服务器根据接收的车辆分类修改请求对所述车辆分类进行修改；所述车辆分类修改包括添加车辆特征属性、修改车辆特征属性以及删除车辆特征属性。

12.根据权利要求7所述的系统，其特征在于：

所述客户端将所述所述行人以及车辆属性信息标记在所述视频流文件中被识别的行人及车辆的对应位置，并向用户进行展示。

Images