CN111160380A - 生成视频分析模型的方法及视频分析系统 - Google Patents

Abstract

本申请实施例提供了一种生成视频分析模型方法和视频分析系统，该方法中，视频分析系统获取视频流数据，解析视频流并提取出视频流中未标注的图像数据，利用自动化标注策略对图像数据进行管理，完成图像数据的标注、清洗，再将标注后的图像数据进行在线模型训练，生成视频分析模型，然后测试新生成的模型，输出模型的性能分析报表，当性能满足要求时，将视频分析模型发布到视频分析系统。本申请实施例提供的方法能够充分利用实际场景中获取的视频流，进行视频分析模型在线训练，实现了在保障数据安全的前提下，持续优化视频分析模型的性能，以缓解模型在实际场景中的性能下降。

Description

生成视频分析模型的方法及视频分析系统

技术领域

本申请涉及视频领域，特别涉及一种生成视频分析模型的方法及视频分析系统。

背景技术

随着现在视频监控技术的发展，监控由单纯的记录视频向智能化发展，视频监控的要求逐渐从“看得见”逐渐向“看得懂”转变。因此，智能视频分析技术当前被广泛用于视频监控领域。基于视频源(如网络摄像机等)获得的视频数据，在视频分析系统中解码为图像后，再利用预先训练好的视频分析模型对图像进行处理，实现如目标检测、目标跟踪、目标属性及目标识别等一系列复杂功能。视频分析中的目标对象又以人脸、人和车最为典型，且更具备应用前景而受到普遍关注。

根据分析的目的不同，视频分析技术可以分为以下四个方面。

目标检测主要解决图像上多个目标物在哪里的问题，通过目标检测模型，在图像上给出所有目标的兴趣区域(Region of Interest，ROI)边界框。

目标跟踪是在图像序列中找到目标，将不同帧中的相同目标完成一一对应，给出目标的轨迹。

目标属性是采用结构化分析技术对图像中的目标进行属性细节的分析，如人的性别、年龄、穿着以及车的车型、品牌等。

目标识别时基于图像提取的特征，在图像中寻找与物体模型库中的最佳匹配，输出物体的类别。典型的应用为人脸识别，基于人脸特征提取模型，从输入人脸图像中提取出人脸特征向量，再同数据库中的人脸特征向量基于相似度进行匹配，实现人脸布控、人脸搜索及人脸比对等功能。

视频分析系统中实现上述功能的视频分析模型多采用图像处理分析相关的机器学习方法训练获得，其中又以深度学习中的卷积神经网络(Convolutional NeuralNetwork，CNN)模型因性能更佳而被广泛使用。而随着半导体技术的发展及轻量化模型压缩的成熟，视频分析模型既能够部署在云服务器上，也能部署到终端。

当前的视频分析模型是在线下完成训练后，再部署到用户实际场景(线上)中。一旦模型在实际场景部署到线上后，模型的参数便不再更新，直接利用确定的模型参数完成推理。

现有视频分析模型在线下可取得很好的性能，但由于实际场景的复杂性，并且训练集和实际场景样本分布存在差异，模型部署到实际场景后，性能通常会下降，而且不同场景也存在差异，也没有很好的方法能迅速、高效地更新实际场景中的视频分析模型参数。

发明内容

有鉴于此，本申请实施例提供了一种生成视频分析模型的方法及视频分析系统，能够有效利用实际场景中采集的数据进行在线训练，以提升视频分析的模型性能。

为达到上述目的，第一方面，本申请实施例提供了一种生成视频分析模型的方法，该方法中应用于视频分析系统，该方法中，首先接收视频流数据，解析该视频流数据，得到未标注的图像数据，该未标注的图像数据可以包括对应的结构化信息；然后，将未标注的图像数据中的低质量图像过滤，得到图像质量满足模型训练要求的图像，再将得到的图像标注，得到用于模型训练的数据集，数据集中包括训练集和测试集；再采用在线训练算法对数据集中的训练集进行在线训练，得到视频分析模型；最后再发布该视频分析模型。本申请实施例提供的生成视频分析模型的方法，能够利用视频监控前端设备采集的视频数据，自动提取图像以及清洗和标注图像，得到用于模型训练的数据集，再采用模型在线训练算法对数据集进行模型训练，得到视频分析模型。本申请实施例提供的方法不需要过多的人工参与，使模型训练流程自动化，能够部署在视频分析系统中，以实现模型的在线训练和实时优化，避免视频分析模型性能下降。

可选的，也可以基于原有视频分析模型，采用迁移学习或增量训练算法对所述训练集进行在线训练，其中所述原有视频分析模型包括外部输入的视频分析模型或所述视频分析系统保存的在先版本的视频分析模型。这样，可以在原有视频分析模型的基础上，根据实际的视频监控场景获取的图像数据优化原有的视频分析模型，有针对性地对原有视频分析模型进行优化，以保持视频分析模型的性能。

其中，在线训练算法可以为增量训练、迁移训练、知识蒸馏和元学习中的一种或多种。

可选的，采用在线训练算法对数据集中的训练模型进行在线训练时，可以自动调整模型训练超参数，视频分析模型训练所用的超参数可以根据视频分析模型的部署场景自动生成，其中超参数包括学习率衰减步长、训练总步长、基础学习率和批量尺寸中的一种或多种。

其中，通过采用多模型融合评估对图像质量满足训练要求的图像进行预标注，利用图像质量满足训练要求的图像的结构化信息对预标注的图像数据进行校验，生成用于模型训练的数据集，实现图像标注。

可选的，发布视频分析模型包括：测试训练得到的视频分析模型的性能，生成模型性能分析报表，当训练得到的视频分析模型的性能满足使用标准，将训练得到的视频分析模型发布到视频分析系统中。在将训练得到的视频分析模型发布到视频分析系统之前，测试视频分析模型性能，可以进一步筛选符合标准的视频分析模型，避免将性能较差的视频分析模型发布到视频分析系统，造成视频分析性能下降的情况。

可选的，当视频分析系统中已有视频分析模型，发布在线训练得到的视频分析模型具体为当已有视频分析模型处于可更新状态时，用在线训练得到的视频分析模型体院已有视频分析模型。同时，还可以将被替换的已有视频分析模型保存，以便于版本回退。

可选的，发布视频分析模型还包括用在线训练得到视频分析模型进行新的视频分析模型的在线训练。

可选的，可以利用用户提供的测试集或者经过清洗和标注得到的数据集中的测试集测试视频分析模型的性能，视频分析模型性能分析报表中可以包括视频分析模型的推理时延、内存占用以及基于测试集的准确率等参数中的一项或多项。

第二方面，本申请实施例提供了一种视频分析系统。该视频分析系统具有实现上述第一方面所述的方法的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的子系统。

第三方面，本申请实施例提供了一种视频分析系统，包括：处理器、存储器、总线和通信接口；该存储器用于存储计算机执行指令，该处理器与该存储器通过该总线连接，当该设备管理中心运行时，该处理器执行该存储器的该计算机执行指令，以使该设备管理中心执行如上述第一方面中任意所述的生成视频分析模型的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读介质中存储有指令，当其在计算机上运行时，使得计算机可以执行上述第一方面中任意一项的生成视频分析模型的方法。

第五方面，本申请实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机可以执行上述第一方面任意一项的生成视频分析模型的方法。

其中，第二方面至第五方面中任一种设计方式所带来的技术效果可参见第一方面中不同设计方式所带来的技术效果，此处不再赘述。

本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。

附图说明

图1为本申请实施例提供的视频分析系统的架构示意图；

图2为本申请实施例提供的一种计算机设备的结构示意图；

图3为本申请实施例提供的视频分析系统的又一种架构示意图；

图4为本申请实施例提供的视频分析模型在线优化的视频分析方法流程示意图；

图5为本申请实施例提供的目标识别模型在线优化的流程示意图；

图6为本申请实施例提供的目标属性模型在线优化的流程示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。方法实施例中的具体操作方法也可以应用于装置实施例中。

当前视频分析技术中的模型训练是在线下完成之后，再部署到用户实际场景中。而一旦模型部署到线上之后，模型的参数便不再更新，需要利用确定的模型参数完成视频分析。如果需要更新模型参数，则需要在线下基于标注好的数据集对模型参数进行增量训练得到新的模型，再上传新的模型以替换线上模型。

实际的视频分析应用场景中存在大量视频数据源，如视频监控场景中存在大量的网络摄像机(IP Camera，IPC)，用户能够获得大量的视频数据，具备在实际场景中提升模型性能的前置，但现有技术中并未有很好的方法来有效利用这些数据。除此之外，由于用于隐私问题，这部分数据无法直接传给厂商进行模型训练。

为解决现有的视频分析系统中的问题，本申请实施例提供了一种支持在线优化的视频分析方法和系统，能够在模型部署到实际场景之后，自动化清洗和标注在实际场景中获取的视频数据，并利用标注的数据进行模型在线训练，以缓解模型在实际场景中出现的性能下降的现象。

如图1所示，为本申请实施例提供的一种可能的支持在线优化的视频分析系统，其中包括视频分析子系统、数据管理子系统、在线训练子系统以及模型评估与发布子系统。

视频分析子系统可以支持对视频流的解码，以及视频数据及其解码图像的存储与检测等基本功能，还可以包括视频分析模型，用于实现目标检测、跟踪以及识别等各种复杂的功能。前端实时获取的视频数据传输到视频分析系统，视频分析子系统通过视频分析解码工具将收到的视频数据解码为图像序列，可以通过存储区域网络(Storage AreaNetwork，SAN)等方式进行存储，并可以基于深度优先搜索(Deep First Search，DFS)等算法实现基于时间、视频来源等信息的图像检索。由于视频分析子系统中存储有视频分析模型，视频分析子系统还可以支持对解码后的原图像序列进行智能分析，例如通过视频分析模型提取目标抠图、目标轨迹或者目标结构化信息(如属性、特征向量等)等，视频分析子系统可以对智能分析分析结果进行统一存储管理，在需要的时候也支持对保存的图像及分析结果等信息进行检索。本方案中的视频分析子系统的功能可以由原有的视频分析系统实现，也可以在原有的视频分析系统的基础上增加新的视频分析功能，还可以另行提供新的用于视频分析的系统作为本申请实施例中的视频分析子系统。

数据管理子系统用于对视频分析模型在线训练所用到的数据集进行管理，例如将视频子系统获取的未标记的图像数据进行自动化清洗、标注以及存储。视频分析子系统解析视频流得到的图像数据无法直接用于视频分析模型的在线训练，需要由数据管理子系统对视频分析子系统生成的图像数据及其结构化信息进行自动清洗和标注。

数据管理子系统对未标注图像清洗即为过滤未标注图像中质量不符合训练要求的图像，选出图像清晰度以及图像中目标拍摄角度满足用于视频分析模型在线训练条件的图像数据。图像清洗通常是将模糊图像、拍摄角度不合适的图像以及带遮挡的图像过滤。通常，可以利用Laplace算子等评价指标过滤掉模糊图片，利用欧拉角检测模型输出图像中目标的角度，同时限定目标角度阈值以过滤掉大角度图像，还可以利用训练好的遮挡分类器过滤掉目标被遮挡的图像。另外，还可以通过训练图像质量分模型，自动实现图像质量评分，并预设好阈值自动过滤图像质量低的图像。

图像的标注则是将选出的图像质量满足在线训练要求的图像数据标记上对应的属性信息(如身份标识、外部特征等)。数据管理子系统可以使用其自身集成的一系列算法及策略，也可以调用视频分析系统内的其他视频分析模型对数据进行清洗及标注，生成用于模型在线训练的数据集，数据集可以分为训练集以及测试集。例如，可以采用多模型融合评估进行预标注，并结合图像的结构化信息来对标注结果进行校验及纠错，具体如下：1.利用相同功能的多个不同模型对输入的图像数据进行投票，确定预标注结果；2.基于图像本身携带的结构化信息及其他功能模型辅助，对标注数据进行校验纠错。对用于不同任务目标的图像数据，其标注策略会有差异，不同类别的模型的纠错方法也会有差异。数据管理子系统收集了足够的模型训练数据之后，就可以将这些数据交给在线训练子系统进行模型训练。

需要说明的是，数据管理子系统可以对图像数据自动清洗和标注，若数据管理子系统无法确定某些图像数据适合用于模型在线训练，则可以将这些数据交由人工判别及标注，由人工决定是否丢弃这些图像数据。可选的，为提高清洗及标注效率，数据管理子系统也可以选择直接丢弃上述图像数据，用户可以根据实际需要设置对应的清洗和标注策略。

在线训练子系统用于对数据管理子系统生成的模型训练数据进行在线训练，输出在线训练得到的视频分析模型。根据应用场景的不同，可以采用多种在线训练算法中的一种或多种，例如增量训练、迁移学习、知识蒸馏或者元学习算法。模型训练时需要配置超参数，例如学习率衰减步长、训练总步长、基础学习率或者批量尺寸等。模型训练的超参数可以根据视频分析模型的部署环境自动生成，自动生成和调整超参数的方法有多种。例如，在模型训练中可以根据中间模型在测试集上的准确率变化以及当前损失函数的变化情况自动将学习率乘上衰减系数；同样地，可以根据原有视频分析模型在测试集上的准确率自动生成模型训练的初始学习率，如果没有原有视频分析模型，则可以设定较大的初始学习率；而batch size依赖数据量大小，小样本则可以设置较小的batch size。

在线训练子系统可以基于原有视频分析模型进行在线训练，输出在线训练后的视频分析模型。原有视频分析模型可以为外部输入视频分析模型，也可以为训练过程中断时保存的中间模型，还可以为视频分析系统中保存的在先版本的模型。在以原有视频分析模型进行在线训练时，利用实际场景采集的增量图像数据，通过知识蒸馏或迁移学习等方法对原有视频分析模型内部参数进行调优，不同场景的调优策略可以人为设定，也可以通过内部框架自适应调节。在线训练子系统还支持对原有视频分析模型以及在线训练后得到的不同版本的视频分析模型的管理与存储。

可以理解的，在实际实现中，可以根据场景需要、数据集大小、原模型类别或者性能要求等，选择在线训练子系统中合适的模型训练算法，如对神经网络模型可以采用随机梯度下降(stochastic gradient descent，SGD)算法，对决策树模型可以采用boosting算法，对支持向量机模型可以采用增量训练获得新的支持向量等，本申请实施例在此不限制在线训练子系统中具体采用何种模型训练算法。

模型评估与发布子系统用于对在线训练子系统训练生成的模型进行性能评估与决策发布。通常，在线训练生成的新模型不能立即用于视频分析，而需要对在线训练得到的模型的性能进行评估，模型评估与发布子系统正是用于对该模型进行性能测试，输出模型的详细性能测试报表，如延时、资源开销及准确率等。得到性能测试报表之后，可以由用户根据性能测试报表决定是否发布在线训练生成的视频分析模型，也可以预先设定发布策略，由系统根据模型性能测试报表自动化决策是否发布视频分析模型。

可选的，视频分析系统中还包括资源调度子系统，用于实现计算和存储资源的分配调度。相比于专用于模型训练的本地环境，实际场景中的硬件计算资源通常相对更为匮乏，且线上训练不应中断正在进行的视频分析业务进而影响用户体验。资源调度子系统可以根据训练占用资源以及当前可用资源状态，适时自动挂起模型训练任务，而在视频分析业务需要占用资源时快速中断模型训练，并将训练中间的模型保存，并在计算资源充足时再次发起训练。

本申请实施例提供的视频分析系统能够将前端获取的视频流解码为图像序列，并清洗和标注图像序列，获得可以用于模型训练的图像数据集，再基于上述图像数据集进行模型训练，得到视频分析模型，持续改进视频分析系统的性能。本申请实施例能够充分利用前端采集的视频数据来生成用于视频分析的模型，避免了线下训练生成的模型部署到线上之后性能的下降。此外，本申请实施例提供的方法是利用实际监控场景中采集的图像数据来生成视频分析模型，两个不同的视频监控场景即使提供相同的初始训练模型，但由于监控场景不同，采集的图像数据存在差异，一段时间之后通过在线训练生成的视频分析模型也会存在差异。

随着云技术的发展，本申请实施例中的视频分析系统可以部署在云平台上，前端将采集的视频数据发送到部署在云平台的视频分析系统，视频分析系统处理前端采集的视频数据，训练生成视频分析模型。

本申请实施例中的视频分析系统也可以软件的形式存在，并提供给用户，由用户自行将本申请实施例提供的视频分析系统安装在视频监控系统的后端分析系统中，并控制运行本申请实施例提供的视频分析系统，以实现在线优化视频分析模型。

作为一种实现方式，还可以改进升级原有的视频分析系统以得到本申请实施例提供的视频分析系统，即在原有的视频分析系统的基础上，扩展在线优化模型的功能。可以选择将原有的视频分析系统的接口开放给本申请实施例提供的视频分析系统，这样原有的视频分析系统可以作为本申请实施例提供的视频分析系统中的视频分析子系统，用于获取视频流并解码得到图像序列以供后续处理。在生成了视频分析模型之后，原有的视频分析系统可以采用生成的视频分析模型进行视频分析。

作为另一种实现方式，本申请实施例提供的视频分析系统可以作为一个独立的设备提供给用户，能够支持视频分析的模型在线更新。例如，如图2所示，图1中的视频分析系统可以通过图2中的计算机设备来实现。

图2所示为本申请实施例提供的计算机设备的硬件结构示意图。计算机设备200包括至少一个处理器201，通信总线202，存储器203以及至少一个通信接口204。

处理器201可以是一个通用中央处理器(central processing unit，CPU)，图像处理器(graphic processing unit，GPU)，神经网络处理器(neural-network process unit，NPU)微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本申请方案程序执行的集成电路，图2中以CPU为例。

通信总线202可包括一通路，在上述组件之间传送信息。

通信接口204，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如以太网，无线接入网(radio access network，RAN)，无线局域网(wireless local areanetworks，WLAN)等，可以根据实际应用场景选定通信方式，本申请对此不作限定。

存储器203可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory，EEPROM)、只读光盘(compact disc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。

其中，存储器203用于存储执行本申请方案的应用程序代码，并由处理器201来控制执行。处理器201用于执行存储器203中存储的应用程序代码，从而实现本申请下述实施例提供的生成视频分析模型的方法。

在具体实现中，作为一种实施例，处理器201可以包括一个或多个CPU，例如图2中的CPU0和CPU1。

在具体实现中，作为一种实施例，计算机设备200可以包括多个处理器，例如图2中的处理器201和处理器207。这些处理器中的每一个可以是一个单核(single-core)处理器，也可以是一个多核(multi-core)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。

在具体实现中，作为一种实施例，计算机设备200还可以包括输出设备205和输入设备206。输出设备205和处理器201通信，可以以多种方式来显示信息。例如，输出设备205可以是液晶显示器(liquid crystal display，LCD),发光二级管(light emitting diode，LED)显示设备，阴极射线管(cathode ray tube，CRT)显示设备，或投影仪(projector)等。输入设备206和处理器201通信，可以以多种方式接受用户的输入。例如，输入设备206可以是鼠标、键盘、触摸屏设备或传感设备等。

上述的计算机设备200可以是一个通用计算机设备或者是一个专用计算机设备。在具体实现中，计算机设备200可以是台式机、便携式电脑、网络服务器、无线终端设备、嵌入式设备或有图3中类似结构的设备等。本申请实施例不限定计算机设备200的类型。

以下将结合图1至图2，从视频分析系统中的数据流动、在线优化的步骤等方面，并以目标识别模型和目标属性模型在线优化为例对本申请实施例提供的生成视频分析模型的视频分析系统和方法做进一步说明。

图3示出了本申请实施例中生成视频分析模型时系统中的数据流动方向。图4示出了本方案中模型在线优化的过程，下面将结合图3和图4来描述本方案。

如图4所示，为本方案中生成视频分析模型的过程，包括如下步骤：

S401、接收并解析视频流，生成未标注的图像数据。

视频分析系统可以接收前端摄像机采集的视频流数据，也可以接收其他设备保存的视频流数据。视频分析子系统中集成有各种视频分析解码工具，视频分析子系统将收到的视频流数据解码，得到未标注的图像序列。视频分析子系统中还存储有视频分析模型，可以分析解码后的图像序列，能够支持通过视频分析模型提取目标抠图、目标轨迹以及图像结构化信息(如目标属性、特征向量等)。视频分析子系统还可以将分析得到的结果存储在数据仓库(Data Bank，DB)中，DB负责对分析结果进行统一存储管理。视频分析子系统还可以检索以及存储解码得到的图像序列，典型的检索方式可以为基于DFS等算法实现基于时间、视频来源等信息的检索，典型的存储方式可以为SAN等方式。视频分析子系统也可以通过多分类器系统(Multiple Classifier System，MCS)对存储的图像及分析结果进行分类和检索。

S402、清洗及标注未标注的图像数据，得到用于模型训练的数据集。

通过解码前端的视频获得的图像序列无法直接用于模型训练，需要对其清洗及标注。图像的清洗主要是为了将低质量图像过滤，得到图像质量满足训练要求的图像数据，低质量图像包括模糊图像、大角度图像和带遮挡的图像。通常，可以利用Laplace算子等评价指标过滤掉模糊图片，利用欧拉角检测模型输出图像中目标的角度，同时限定目标角度阈值以过滤掉大角度图像，还可以利用训练好的遮挡分类器过滤掉目标被遮挡的图像。另外，还可以通过训练图像质量分模型，自动实现图像质量评分，并预设好阈值自动过滤图像质量低的图像。

图像的标注则是将选出的图像质量满足在线训练要求的图像数据标记上对应的属性信息(如身份标识、外部特征等)，不同的模型训练任务可以规定不同的标注策略。视频分析系统中的数据管理子系统中存储有图像清洗算法和标注策略，用于对图像序列进行自动清洗和标注。数据管理子系统可以使用其自身集成的一系列算法及策略，也可以调用视频分析系统内的其他视频分析模型对数据进行清洗及标注，生成用于模型在线训练的数据集，数据集可以分为训练集以及测试集。例如，可以采用多模型融合评估进行预标注，并结合图像的结构化信息来对标注结果进行校验及纠错，具体如下：1.利用相同功能的多个不同模型对输入的图像数据进行投票，确定预标注结果；2.基于图像本身携带的结构化信息及其他功能模型辅助，对标注数据进行校验纠错。对用于不同任务目标的图像数据，其标注策略会有差异，不同类别的模型的纠错方法也会有差异。

可选的，若数据管理子系统无法确定某些图像数据适合用于模型在线训练，则可以将这些数据交由人工判别及标注，由人工决定是否丢弃这些图像数据或者标注的信息。可选的，为提高清洗及标注效率，数据管理子系统也可以选择丢弃上述图像数据，用户可以根据实际需要设置对应的清洗和标注策略。

未标注的图像数据进行清理和标注之后，最终获得用于在线训练的数据集，根据在模型训练中的用途不同，数据集可以分为训练集和测试集。视频分析的模型训练需要足够的图像数据，当数据集中获得的已标注的图像数据足够时，即可以发起模型训练请求。

S403、基于数据集进行在线训练，得到视频分析模型。

当数据集中获得了足够的标注后的图像时，即可发起模型在线训练流程。模型在线训练时可以基于原有视频分析模型以及训练集，原有视频分析模型可以调用外部模型，也可以是训练过程中的某中间模型，还可以是内部保留的用户指定的任意版本的模型，视频分析模型为一些训练好的模型参数组合成的模型参数文件。在线训练算法可以采用增量训练、迁移学习、知识蒸馏和元学习算法中的一种或多种。

本实施例中，在模型训练时，可以自动调整模型训练采用的超参数，其中超参数包括学习率衰减步长、训练总步长、基础学习率和批量尺寸(batch size)等。针对不同的监控场景和视频分析需求可以设置不同的调优策略，也可以通过参数训练内部框架自适应。

在模型训练中，可以保存训练过程中得到的中间模型，也可以保存训练结束后的最终模型，对模型的版本管理及存储可以由在线训练子系统内部实现，也可以由外部设备实现。

需要说明的是，本申请实施例中的在线模型训练算法具有多种实现方式，典型的如基于传统的随机梯度下降(stochastic gradient descent，SGD)方法，基于训练集的输入图像经由视频分析模型得到相应的输出，计算同标签之间的目标函数后，对权重求导，再乘以自适应学习率后反馈给原权重更新，重复更新直到整个模型的参数收敛；又如基于支持向量机(supporting vector machine)的方法，通过新的训练集的增量训练以更新支持向量，本申请在此不限定具体采用的模型训练方法。

S404、发布视频分析模型。

通常，在线训练得到的视频分析模型不能直接用于视频分析，而需要先测试其参数性能，评估模型的有效性，当视频分析模型性能满足使用标准，则将视频分析模型发布到视频分析系统，视频分析系统中的模型评估与发布子系统用于评估与发布视频分析模型。模型的测试通常是基于测试集，通过模型评估与发布子系统内部集成的测试框架或者模型性能测试工具进行性能测试，输出详细的、多维度的模型性能报表，以协助决策模型的发布，模型性能报表中可以包括延时、资源开销及准确率等信息。

模型测试可以用数据管理子系统数据集中的测试集，也可以由用户另行提供，如专用于性能验收的标准数据集。测试框架或测试工具利用输入的模型及测试集，获得模型输出结果及计算性能指标，再基于输出结果并根据不同的任务目标或视频分析需求评估相应的模型性能。

获得模型的性能分析报表之后，可以由用户根据性能分析报表决定是否将得到的模型发布，也可以预先自定义发布策略，然后将自定义的发布策略写成脚本，由系统自动执行，根据模型性能分析报表自动化决策是否发布模型。需要说明的是，模型的发布是指将训练得到的模型提供给视频分析子系统，用于视频分析，也可以提供给在线训练子系统用于以后的在线模型训练，还可以发布到网络上供其他用户使用。

本申请实施例提供的模型在线优化的视频分析方法，可以基于前端视频流数据自动化生成在线训练数据集，能够实现智能视频分析模型的线上优化，用于缓解视频分析模型在实际场景性能下降的问题。本申请实施例提供的方法可以充分利用监控场景中的视频数据而不需要回传，不会侵犯用户隐私。对前端数据的清洗和标注可以极大程度减少甚至脱离人工参与，能够大幅度降低标注成本。此外，由于模型在线训练是利用来自具体场景的视频数据进行训练，这样得到的模型更有针对性，不同场景能够得到不同的模型，具备自适应能力。

图5和图6中是以目标识别模型和目标属性模型的在线训练为例，对本申请提供的系统和方法做进一步说明。

图5是针对目标识别模型的在线优化，典型的目标如人脸、人体或车辆等，该方法包括以下步骤：

S501、视频分析子系统收到前端设备采集的视频数据流入请求。

前端的视频数据流入请求中可以携带视频流的相关信息，如视频流的码率、时间及来源标识字段等。

S502、视频分析子系统向计算与存储资源调度子系统申请存储空间及智能分析用计算资源。

视频分析子系统在向计算与存储资源调度子系统发送请求时同样也可以选择携带视频相关信息。

S503、计算与存储资源调度子系统响应视频分析子系统的请求。

计算与存储资源调度子系统对当前的可用计算资源及存储资源进行评估，如果有足够存储空间，则为视频数据规划存储地址和内存单元，并将结果反馈给视频分析子系统，再由视频分析子系统执行视频数据的解码、存储与分析。

S504、前端发送的视频流解码后的图像序列经由视频分析子系统内部集成的目标检测跟踪算法处理后，得到目标轨迹。

其中，不同视频必定获得不同轨迹，相同视频内的不同目标也会产生不同轨迹，相同视频内同一目标理想状态会得到相同轨迹，但由于检测跟踪的性能无法做到绝对准确及实际场景的复杂性，此情形下也可能得到不同轨迹。目标轨迹为目标抠图组成的图像序列，同时每张目标图像携带了轨迹信息，如原始视频ID、目标轨迹ID及轨迹中目标的抠图ID等，上述ID可以用于辅助后续的图像标注。

S505、视频分析子系统利用获得的目标抠图，通过内部集成的智能分析算法获得其一系列结构化信息，向数据管理子系统发送目标抠图及结构化信息的流入请求。

S506、数据管理子系统向计算与存储资源调度子系统申请计算与存储资源。

同样的，数据管理子系统在处理数据管理子系统发送的目标抠图前，也需要向计算与存储资源调度系统申请计算与存储资源。

S507、计算与存储资源调度子系统响应数据管理子系统请求。

计算与存储资源调度子系统为流入的目标图像分配存储空间及清洗、标注用计算资源，如果计算资源暂时不够，可以先将图像存储，等待计算资源充足时再进行清洗标注。

可选的，若数据管理子系统与视频分析子系统位于同一硬件设备之上，计算与存储资源调度子系统可以选择仅将目标图像的存储位置返回给数据管理子系统，而不需要再为流入的目标图像另行分配存储空间。

S508、数据管理子系统利用分配的计算资源对输入的目标数据及结构化信息进行自动化清洗、标注，得到数据集。

目标识别的数据清洗主要是保证目标的角度和清晰度满足要求，标注则要求同一目标的不同图像只对应同一个ID，且同一ID下不存在不同目标的图像。数据的自动化清洗标注方法有很多，如可以利用Laplace算子等评价指标过滤掉模糊图片，欧拉角检测模型输出目标角度同时限定角度阈值过滤掉大角度图片。不同场景下的标注方案会有所不同，例如，在有人证比对的人脸识别场景，仅需要通过对采集到的视频中的目标，利用人证信息进行聚合，即可达到较高精度的标注；而在无人证信息的场景，则可以利用检测跟踪算法提取目标的轨迹，然后基于质量评分选择各轨迹下的若干最优帧，然后采用多个人脸特征提取模型计算不同轨迹间特征相似度，再将不同轨迹进行合并聚。如果图像携带了时间及位置信息，在同一ID下出现相同时间但不同位置的图像数据，即辨识为错例。最终，数据管理子系统将标注后的数据存储于数据集中，数据集可以分为用于模型训练的训练集和用于测试训练得到的模型的测试集。

S509、获取了足够的标注图像数据时，数据管理子系统请求模型在线训练。

清洗标注后的数据在数据管理子系统内部统一管理，新增的目标图像数据需要与之前存储的目标图像进行ID融合以满足目标识别的标注原则。系统会统计当前收集的图像数据量，当达到训练模型要求时，则向计算与存储资源调度子系统发送在线训练请求。

S510、在线训练子系统向计算与存储资源调度子系统申请在线训练用的计算和存储资源。

S511、数据存储资源调度子系统响应在线训练子系统的请求。

数据存储资源调度子系统根据当前可用资源状态响应在线训练子系统请求，资源充足时为目标识别模型在线训练分配计算与存储资源。

S512、在线训练子系统进行模型在线训练。

在线训练子系统利用计算与存储资源调度子系统分配的资源，基于数据管理子系统提供的训练数据集，采用内部集成的在线训练框架或者在线训练工具进行在线增量训练，得到视频分析模型，完成模型在线训练。模型训练方法也有很多种，如迁移学习、知识蒸馏及元学习等。

可选的，在计算资源紧张或者视频分析系统有其他紧急的分析任务需要执行时，在线训练子系统可以中断模型训练，并保存模型训练的中间结果，在计算资源空闲时支持中断训练的延续。

S513、在线训练子系统请求进行模型评估。

在线训练子系统在获得视频分析模型后，向模型评估与发布子系统请求对模型性能进行评估。

S514、模型评估与发布子系统向计算与存储资源调度子系统申请模型测试评估用计算资源。

S515、计算与存储调度子系统响应模型评估与发布子系统的请求。

计算与存储资源调度子系统根据当前可用资源状态响应模型评估与发布子系统的请求，资源充足时为在线训练得到的视频分析模型测试评估分配计算与存储资源。

S516、模型评估与发布子系统测试模型性能。

模型评估与发布子系统利用分配的资源，依用户决策根据用户提供的测试集或数据管理子系统生成的测试集，对在线训练得到的模型的性能进行自动测评，得到并记录模型的多维度分析报表，包括模型的推理时延、内存占用、模型大小、基于测试集误报率及召回率等性能。模型评估与发布子系统还可以支持将新的模型与之前版本的模型在相同测试集下进行性能比对。

S517、模型评估与发布子系统决策在线训练得到的视频分析模型的发布策略。

模型评估与发布子系统将模型的性能分析报表反馈给用户，基于用户或自动化决策视频分析模型的发布。a)如果视频分析模型不满足综合性能需求，则可选择重新进行在线训练模型。b)如果视频分析模型的综合性能得到提升，则可选择向计算与存储资源调度子系统请求模型发布。

S518、计算与存储资源调度子系统响应模型评估与发布子系统的请求。

如果模型评估与发布子系统请求了模型发布，则计算与存储资源调度子系统会依据请求为视频分析模型在视频分析子系统内及在线训练子系统内分配存储空间。

S519、发布与存储视频分析模型。

新模型发布请求通过后，a)模型评估与发布子系统将视频分析模型存储到视频分析子系统中，当视频分析子系统中原目标识别模型处于可更新空闲状态时，用新模型替换原模型。可选的，也可以将确认被替换的模型版本在数据管理子系统内归档以便于版本回退，完成模型的在线优化。b)模型评估与发布子系统也可以将视频分析模型存储到在线训练子系统中，用于之后的目标识别模型在线训练流程。

可选的，模型评估与发布子系统还可以将视频分析模型发送给数据管理子系统，用于辅助图像的标注。

图5所示的方法中包括了计算与资源调度子系统，计算与存储资源调度子系统可以实现各子系统间的计算、存储资源合理分配调度，提高资源利用效率。

图6是目标属性模型的在线优化方法，目标属性模型与目标识别模型的在线优化过程类似，主要区别在于标注策略及模型测试方法有所不同，其包括以下步骤：

S601、视频分析子系统收到前端采集的视频数据流入请求。

前端的视频数据流入请求中可以携带视频流的相关信息，如视频流的码率、时间及来源标识字段等。

S602、视频分析子系统响应终端的请求。

视频分析子系统对系统内部可用的计算资源及存储资源进行评估，如果有足够存储空间则为输入的视频流数据规划存储地址和内存单元，之后执行视频流数据的解码，存储与分析。

S603、前端发送的视频流解码后的图像序列经由视频分析子系统内部集成的目标检测跟踪算法处理后，得到目标轨迹。

其中，不同视频必定获得不同轨迹，相同视频内的不同目标也会产生不同轨迹，相同视频内同一目标理想状态会得到相同轨迹，但由于检测跟踪的性能无法做到绝对准确及实际场景的复杂性，此情形下也可能得到不同轨迹。目标轨迹为目标抠图组成的图像序列，同时每张目标图像携带了轨迹信息，如原始视频ID、目标轨迹ID及轨迹中目标的抠图ID等，上述ID可以用于辅助后续的图像标注。

S604、视频分析子系统利用获得的目标抠图，通过内部集成的智能分析算法获得其一系列结构化信息，向数据管理子系统发送流入请求。

S605、数据管理子系统响应视频分析子系统的请求，为流入图像分配存储空间及清洗、标注用计算资源，如果计算资源暂时不够，可以先将图像存储，等待计算资源充足时再进行清洗标注。

可选的，若数据管理子系统与视频分析子系统位于同一硬件设备之上，数据管理子系统可以选择仅将目标图像的存储位置发送给数据管理子系统，数据管理子系统仅需按照目标图像的存储位置读取目标图像。

S606、数据管理子系统对目标进行清洗和标注。

数据管理子系统利用分配的计算资源对输入数据及结构化信息进行自动化清洗、标注，并将标注后的数据按一定比例分到训练集和测试集，训练集和测试集中的图像数据相互独立，训练集与测试集中不存在重复的图像数据。目标属性模型训练中的数据清洗主要是保证目标的角度和清晰度满足要求，标注则要求目标图像的属性正确。不同监控场景对应不同的属性标注方案，如在有人证场景下的人脸/人体属性标注，可以基于人证信息对于部分属性直接赋予标签，如基于身份证件信息获取性别、年龄及民族等属性；在无人证场景，则可以同样基于目标检测跟踪算法提取轨迹，相同轨迹下的不同帧采用基础人体属性模型预测后进行投票，如果少数图像和其它图像属性存在差异，则为错例，如果图像的属性置信度较低，则为难例，之后可以将错例和难例交给多个人体属性模型进行投票预测进行标注。最终，数据管理子系统将标注后的数据存储于数据集中，数据集可以分为用于模型训练的训练集和用于测试训练得到的模型的测试集。

S607、获取了足够的标注图像数据时，数据管理子系统请求模型在线训练。

清洗标注后的数据会在数据管理子系统内部统一管理，新增的目标图像数据会和之前存储的目标图像进行统一管理，不需要融合ID，系统会统计当前收集的数据量，当达到训练模型的数量要求时，向在线训练子系统发送在线训练请求。

S608、在线训练子系统根据当前可用资源状态响应在线训练子系统请求，资源充足时为目标属性模型在线训练分配计算与存储资源。

S609、在线训练子系统进行模型在线训练。

在线训练子系统利用内部计算及存储资源，基于数据管理子系统提供的训练数据集，采用内部集成的在线训练框架或者在线训练工具进行在线训练，得视频分析模型，完成在线生成视频分析模型。模型训练方法有很多种，如迁移学习、知识蒸馏及元学习等，可以根据实际场景需要选择对应的模型训练方法，本申请实施例对此不作限定。

可选的，在计算资源紧张或者视频分析系统有其他紧急的分析任务需要执行时，在线训练子系统可以中断模型训练，并保存模型训练的中间结果，在计算资源空闲时支持中断训练的延续。

S610、在线训练子系统请求进行模型评估。

在线训练子系统在模型的在线训练完成并获得新模型后，向模型评估与发布子系统请求对模型性能进行评估。

S611、模型评估与发布子系统响应在线训练子系统的请求。

模型评估与发布子系统根据当前可用资源状态响应模型评估与发布子系统请求，资源充足时为在线训练得到的新模型测试评估分配计算与存储资源。

S612、模型评估与发布子系统测试模型性能。

模型评估与发布子系统利用分配的资源，依用户决策根据用户提供的测试集或数据管理子系统生成的测试集，对在线训练得到的模型的性能进行自动测评，得到模型的多维度分析报表，包括模型的推理时延、内存占用、模型大小、基于测试集的拒识率及各属性标签准确率等性能。模型评估与发布子系统还可以支持将新的模型与之前版本的模型在相同测试集下进行性能比对。

S613、模型评估与发布子系统决定模型的发布策略。

模型评估与发布子系统将模型的性能分析报表反馈给用户，基于用户或自动化决策模型的发布。a)如果训练生成的模型不满足综合性能需求，则可选择模型重新进行在线训练；b)如果新模型的综合性能得到提升，则将训练生成的模型发布到存储到视频分析子系统中，当视频分析子系统中原目标属性模型处于可更新空闲状态时，用新模型替换原模型。

可选的，也可以将确认被替换的模型版本在数据管理子系统内归档以便于版本回退，完成模型的在线优化。此外，模型评估与发布子系统也可以将生成的模型发布给在线训练子系统，用于之后的目标识别模型在线训练流程。

可选的，模型评估与发布子系统还可以将在线训练得到的视频分析模型发送给数据管理子系统，用于辅助图像的标注。

相对于图5，图6所示的方法中并没有设置计算与存储资源调度子系统来管理系统中的计算与存储资源，而是由各子系统自行管理计算与存储资源。

本申请实施例提供的模型在线优化的视频分析方法中，一方面，可以基于前端视频流数据自动化生成在线训练数据集，支持视频分析模型的线上优化，能够给缓解视频分析模型在实际场景中性能下降的问题；另一方面，可以充分利用前端采集的实际监控场景的数据而不需回传，节省了带宽也避免了侵犯用户隐私。同时，由于是利用来自具体监控场景中的监控数据进行训练以得到模型，这样不同场景可以得到不同的训练模型，使整个视频分析系统具备自适应能力。

上述主要从视频分析系统内部执行的操作介绍了本申请实施例提供的方法。可以理解的是上述视频分析系统为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法实施例将视频分析系统划分为各个子系统，例如，可以对应各个功能划分各个子系统，也可以将两个或两个以上的功能集成在一个子系统中，上述集成的子系统既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对子系统的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

比如，在采用对应各个功能划分各个子系统的情况下，图1示出了上述实施例中所涉及的视频分析系统的一种可能的结构示意图。该视频分析系统100包括视频分析子系统110、数据管理子系统120、在线训练子系统130和模型评估与发布子系统140。视频分析子系统110用于接收并解析视频流数据，得到未标注的图像数据，其中，未标注的图像数据包括结构化信息。数据管理子系统120用于清洗并标注未标注的图像数据，即将未标注的图像数据中的低质量图像过滤，得到图像质量满足训练要求的图像数据，并采用多模型融合评估对满足训练要求的图像数据进行预标注，再利用结构化数据对预标注的图像进行校验，最终生成用于模型在线训练的数据集，其中数据集包括训练集和测试集。在线训练子系统130用于采用在线训练算法对训练集进行在线训练，得到视频分析模型的参数。模型评估与发布子系统140用于发布视频分析模型。

其中，低质量图像包括模糊图像、大角度图像和带遮挡的图像中的一种或多种。

可选的，视频分析子系统110可以接收前端摄像机采集的视频流数据，也可以接收其他设备保存的视频流数据，视频分析子系统110接收的视频流数据中可以包括视频流数据的属性信息，如视频流码率、拍摄时间以及来源标识等。视频分析子系统110中集成有各种视频分析解码工具，将视频流数据解码，得到未标注的图像数据，未标注的图像数据中可以包括图像的结构化信息，如目标属性、特征向量等。

可选的，数据管理子系统120可以通过多种方式清洗和标注未标注的图像数据。例如，数据管理子系统120可以采用Laplace算子等评价指标过滤掉模糊图像，利用欧拉角检测模型输出图像中目标的角度，并限定目标角度阈值以过滤掉大角度图像，还可以利用训练好的遮挡分类器过滤掉目标被遮挡的图像。此外，数据管理子系统120还可以利用训练图像质量分模型，自动实现图像质量评分，并预设图像质量阈值以过滤图像质量不符合模型训练要求的图像数据。数据管理子系统120可以采用特征向量聚类算法或多模型融合评估算法标注筛选得到的未标注的图像数据，得到用于模型在线训练的数据集。当训练集中标注好的图像数据的数量满足模型训练的要求时，即可发起模型训练请求。

可选的，在线训练子系统130可以采用内部集成的在线训练算法或者在线训练工具进行在线训练，得到新的视频分析模型，也可以基于原有视频分析模型，采用迁移学习或增量训练算法对训练集进行在线训练，得到视频分析模型，该视频分析模型为原有视频分析模型针对当前监控场景的优化。

在线训练子系统130采用的在线训练算法可以为增量训练、迁移学习知识蒸馏或者元学习算法中的一种或多种。在线训练时可以自动调整在线训练所用的超参数，如学习率衰减步长、训练总步长、基础学习率和批量尺寸中的一种或多种。

可选的，模型评估与发布子系统140在将视频分析模型发布到视频分析系统时，先测试视频分析模型的性能，生成模型性能分析报表，当视频分析模型的性能满足使用标准，则将视频分析模型发布到视频分析系统100。视频分析系统100中的视频分析子系统110可以采用在线训练得到的视频分析模型来进行视频分析和处理，在线训练子系统130也可以采用在线训练得到的视频分析模型来进行在线训练。

可选的，模型评估与发布子系统140可以根据用户提供的测试集或者数据集中的训练集来测试视频分析模型的性能，得到的模型性能分析报表中可以包括视频分析模型的推理时延、内存占用情况以及基于测试集的准确率中的一项或多项，但不限于上述参数。

可选的，视频分析系统100还可以包括资源调度子系统150，用于分配调度视频分析系统的计算和存储资源。

其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应子系统的功能描述，在此不再赘述。

在本实施例中，该视频分析系统以对应各个功能划分各个子系统的形式来呈现，或者，该视频分析系统以采用集成的方式划分各个子系统的形式来呈现。这里的“子系统”可以指特定应用集成电路(Application-Specific Integrated Circuit，ASIC)，电路，执行一个或多个软件或固件程序的处理器和存储器，集成逻辑电路，和/或其他可以提供上述功能的器件。在一个简单的实施例中，本领域的技术人员可以想到视频分析系统100可以采用图2所示的形式。比如，图1中的视频分析子系统110、数据管理子系统120、在线训练子系统130、模型评估与发布子系统140和资源调度子系统150可以通过图2的处理器201和存储器203来实现。具体的，视频分析子系统110、数据管理子系统120、在线训练子系统130、模型评估与发布子系统140和资源调度子系统150可以通过由处理器201来调用存储器203中存储的应用程序代码来执行，本申请实施例对此不作任何限制。

由于本申请实施例提供的视频分析系统可用于执行上述模型在线优化的视频分析方法，因此其所能获得的技术效果可参考上述方法实施例，在此不再赘述。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(Digital Subscriber Line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质(例如，DVD)、或者半导体介质(例如固态硬盘(Solid State Disk，SSD))等。

尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。

尽管结合具体特征及其实施例对本申请进行了描述，显而易见的，在不脱离本申请的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本申请的示例性说明，且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (12)

1.一种生成视频分析模型的方法，其特征在于，所述方法应用于视频分析系统，所述方法包括：

接收视频流数据，解析所述视频流数据，得到未标注的图像数据，所述未标注的图像数据包括结构化信息；

将所述未标注的图像数据中的低质量图像过滤，得到图像质量满足训练要求的图像数据，其中所述低质量图像包括模糊图像、大角度图像和带遮挡的图像中的一种或多种；

采用多模型融合评估对所述图像质量满足训练要求的图像进行预标注，利用所述图像质量满足训练要求的图像的结构化信息对预标注的图像数据进行校验，生成用于模型训练的数据集，所述数据集包括训练集；

采用在线训练算法对所述训练集进行在线训练，得到视频分析模型；

发布所述视频分析模型。

2.根据权利要求1所述的方法，其特征在于，所述采用在线训练算法对所述训练集进行在线训练，包括：

基于原有视频分析模型，采用迁移学习或增量训练算法对所述训练集进行在线训练，其中所述原有视频分析模型包括外部输入的视频分析模型或所述视频分析系统保存的在先版本的视频分析模型。

3.根据权利要求1所述的方法，其特征在于，所述采用在线训练算法对所述训练集进行在线训练，包括：

自动调整模型训练超参数，所述超参数包括学习率衰减步长、训练总步长、基础学习率和批量尺寸(batch size)中的一种或多种；

所述在线训练算法为增量训练、迁移学习、知识蒸馏和元学习算法中的一种或多种。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述发布所述视频分析模型，包括：

测试所述视频分析模型的性能，生成模型性能分析报表；

当所述视频分析模型的性能满足使用标准，将所述视频分析模型发布到所述视频分析系统。

5.根据权利要求4所述的方法，其特征在于，所述数据集还包括测试集，所述测试所述视频分析模型的性能，生成模型性能分析报表，包括：

根据用户提供的测试集或者所述测试集测试所述视频分析模型的性能；

所述模型性能分析报表中包括：所述视频分析模型的推理时延、内存占用及基于测试集的准确率中的一项或多项。

6.一种视频分析系统，其特征在于，所述视频分析系统包括视频分析子系统、数据管理子系统、在线训练子系统和模型评估与发布子系统，其中：

所述视频分析子系统，用于接收视频流数据，解析所述视频流数据，得到未标注的图像数据，所述未标注的图像数据包括结构化信息；

所述数据管理子系统，用于将所述未标注的图像数据中的低质量图像过滤，得到图像质量满足训练要求的图像数据，其中所述低质量图像包括模糊图像、大角度图像和带遮挡的图像中的一种或多种；

所述数据管理子系统，还用于采用多模型融合评估对所述图像质量满足训练要求的图像数据进行预标注，利用所述图像质量满足训练要求的图像的结构化信息对预标注的图像进行校验，生成用于模型训练的数据集，所述数据集包括训练集和测试集；

所述在线训练子系统，用于采用在线训练算法对所述训练集进行在线训练，得到视频分析模型。

所述模型评估与发布子系统，用于发布所述视频分析模型。

7.根据权利要求6所述的视频分析系统，其特征在于：

所述在线训练子系统用于基于原有视频分析模型，采用迁移学习或增量训练算法对所述训练集进行在线训练，其中所述原有视频分析模型包括外部输入的视频分析模型或所述视频分析系统保存的在先版本的视频分析模型。

8.根据权利要求6所述的视频分析系统，其特征在于：

所述在线训练子系统用于自动调整模型训练超参数，所述超参数包括学习率衰减步长、训练总步长、基础学习率和批量尺寸中的一种或多种；

所述在线训练算法为增量训练、迁移学习、知识蒸馏或者元学习算法中的一种或多种。

9.根据权利要求6至8任一项所述的视频分析系统，其特征在于：

所述模型评估与发布子系统，还用于测试所述视频分析模型的性能，生成模型性能分析报表；

当所述视频分析模型的性能满足使用标准，所述模型评估与发布子系统将用于所述视频分析模型发布到所述视频分析系统。

10.根据权利要求9所述的视频分析系统，其特征在于：

所述模型评估与发布子系统根据用户提供的测试集或者所述测试集测试所述视频分析模型的性能；

所述模型性能分析报表中包括所述视频分析模型的推理时延、内存占用和基于测试集的准确率中的一项或多项。

11.一种视频分析系统，其特征在于，包括：处理器、存储器、总线和通信接口；

所述存储器用于存储计算机执行指令，所述处理器与所述存储器通过所述总线连接，当所述控制设备运行时，所述处理器执行所述存储器存储的所述计算机执行指令，以使所述控制设备执行如权利要求1-5中任意一项所述的生成视频分析模型的方法。

12.一种计算机可读存储介质，其特征在于，包括指令，当其在计算机上运行时，使得所述计算机执行如权利要求1-5中任意一项所述的生成视频分析模型的方法。

Images