CN116010652B - 一种非结构化视频数据处理方法和系统 - Google Patents

Abstract

本发明提供非结构化视频数据处理方法和系统，方法包括法管理模块，任务管理模块，算力管理模块；任务管理模块处理监控摄像模块拍摄的非结构化视频数据，并从动态单帧图片中识别出首次出现的人员、物品、交通工具中至少一个目标，并对识别出的目标赋予编码并归档，且对非结构化视频数据中识别出的相同的目标赋予相同的编码；基于接收到的数据处理任务和编码，分析和预测已归档的识别目标的活动轨迹和目标动向，并基于分析结果预测所述监控摄像模块拍摄的场所的态势变化趋势。实现数据全时归档建库，统一目标对象身份编码，便于对目标对象信息加工和处理，提高数据的利用率和利用效率。

Description

一种非结构化视频数据处理方法和系统

技术领域

本发明涉及非结构化视频处理领域，具体涉及一种非结构化视频数据处理方法和系统。

背景技术

现有的对视频数据的处理方案中，主要对生产视频数据的设备基础信息进行采集，并按照国标进行统一编码。依赖人工对视频、算法模型、算力进行编排组织，完成对低价值密度数据的萃取。相关技术中的数据的处理效率低，未对目标进行有效识别和编码，限制了动态数据的分类、检索和快速索引，缺乏有效组织场景、数据、算法、算力的计算服务框架实现自动编排的目标，无法对目标进行有效追踪和态势预测，缺乏对数据资源的充分挖掘和有效利用。

发明内容

为了克服相关技术中监控视频数据处理系统方案存在的诸多问题中的至少一者，本发明提供了一种非结构化视频数据处理方法和系统。

本发明第一方面提供了一种非结构化视频数据处理方法，所述方法应用于非结构化视频数据处理系统，

任务管理模块处理监控摄像模块拍摄的非结构化视频数据以从所述视频的动态单帧图片中识别出首次出现的目标对象，所述的目标对象包括人员、物品、交通工具中至少一者，并对识别出的目标对象赋予编码和归档，且对非结构化视频数据中识别出的相同的目标对象赋予相同的编码，其中，所述的首次出现的目标对象是不同于历史数据中已识别的目标对象；

任务管理模块基于接收到的数据处理任务和编码，分析和预测已归档的目标对象的活动轨迹和目标动向，并基于分析结果预测所述监控摄像模块拍摄的场所的态势变化趋势；

其中，所述的非结构化视频数据处理系统包括：

算法管理模块，其封装至少一种算法模型；

任务管理模块，其配置为接收视频数据处理任务并调用所述算法模型以处理所述任务；

算力管理模块，其根据计算资源的使用情况动态分配算力。

可选的一个实施例中，所述的识别出首次出现的目标对象包括：

采用Region-free的单阶段一体化目标检测模型实时生成对象类型编码，并结合相似度匹配模型识别目标对象是否为首次出现以避免编码重复生成。

可选的一个实施例中，所述的识别出首次出现的目标对象包括：

基于预设的区域参数和时间段参数确定待分析的时空范围内的非结构化视频数据；

基于设定的追溯时长，确认目标对象在所述时间段开始时刻之前的所述追溯时长内未出现在所述时空范围内，并标记所述目标对象最早出现在所述时空范围内的时间为首次出现时间。

可选的一个实施例中，编码包括识别出的目标对象首次出现的地址编码、编码和标识编码，其中，编码用于区分识别出的目标对象的类型，所述的标识编码用于记录同类型不同目标对象的编号。

可选的一个实施例中，任务管理模块处理监控摄像模块拍摄的非结构化视频数据之后，还包括：

对所述的非结构化视频数据设置多维标签，所述的多维标签包括属性标签、业务标签、场景标签、内容标签、质量标签、成效标签和热度标签中的至少两者。

可选的一个实施例中，所述的从动态单帧图片中识别出首次出现的目标对象包括对视频流单帧图片进行视频结构化特征提取，以识别图片中的人脸信息、人像信息、交通工具信息或物品信息至少一者。

可选的一个实施例中，采用人脸结构化算法、人体结构化算法、非机动车结构化算法、机动车结构化算法中至少一者进行视频结构化特征提取。

可选的一个实施例中，分析和预测已归档的目标对象的活动轨迹和目标动向包括：对所述非结构化视频数据中二维图片添加时间维度信息，并从所述图片中抽取在时间和空间维度上发生超过设定阈值变化的时空关键点特征以及包含目标沿时间变化趋势的密集轨迹特征，再通过时序预测神经网络分析和预测目标的活动轨迹和运动趋势。

可选的一个实施例中，分析和预测已归档的识别目标的活动轨迹和目标动向之后，还包括：使用全目标结构化算法对单张场景图片进行结构化信息提取以获得所述识别目标的多维结构化信息。

可选的一个实施例中，所述的处理系统还提供以下至少一种数据服务：目标特征数据描述服务、数据标准服务、模型服务、数据查询和调阅服务、报表服务、标签服务、知识服务、指标服务。

可选的一个实施例中，基于分析结果预测所述监控摄像模块拍摄的场所的态势变化趋势之后，还包括：对于识别或预测出的危险事件发出预警。

本发明第二方面提供一种非结构化视频数据处理系统，包括：

算法管理模块，其封装至少一种算法模型；

任务管理模块，其配置为接收视频数据处理任务并调用所述算法模型以处理所述任务；

算力管理模块，其根据计算资源的使用情况动态分配算力；

所述的任务管理模块处理监控摄像模块拍摄的非结构化视频数据以从所述视频的动态单帧图片中识别出首次出现的目标对象，所述的目标对象包括人员、物品、交通工具中至少一者，并对识别出的目标对象赋予编码和归档，且对非结构化视频数据中识别出的相同的目标对象赋予相同的编码，其中，所述的首次出现的目标对象是不同于历史数据中已识别的目标对象；

所述的任务管理模块基于接收到的数据处理任务和编码，分析和预测已归档的目标对象的活动轨迹和目标动向，并基于分析结果预测所述监控摄像模块拍摄的场所的态势变化趋势。

可选的一个实施例中，所述的识别出首次出现的目标对象包括采用Region-free的单阶段一体化目标检测模型实时生成对象类型编码，并结合相似度匹配模型识别目标对象是否为首次出现以避免编码重复生成。

可选的一个实施例中，所述的识别出首次出现的目标对象包括：

基于预设的区域参数和时间段参数确定待分析的时空范围内的非结构化视频数据；

基于设定的追溯时长，确认目标对象在所述时间段开始时刻之前的所述追溯时长内未出现在所述时空范围内，并标记所述目标对象最早出现在所述时空范围内的时间为首次出现时间。

可选的一个实施例中，编码包括识别出的目标对象首次出现的地址编码、编码和标识编码，其中，编码用于区分识别出的目标对象的类型，所述的标识编码用于记录同类型不同目标对象的编号。

可选的一个实施例中，任务管理模块处理监控摄像模块拍摄的非结构化视频数据之后，还包括：

对所述的非结构化视频数据设置多维标签，所述的多维标签包括属性标签、业务标签、场景标签、内容标签、质量标签、成效标签和热度标签中的至少两者。

可选的一个实施例中，所述的从动态单帧图片中识别出首次出现的目标对象包括对视频流单帧图片进行视频结构化特征提取，以识别图片中的人脸信息、人像信息、交通工具信息或物品信息至少一者。

可选的一个实施例中，采用人脸结构化算法、人体结构化算法、非机动车结构化算法、机动车结构化算法中至少一者进行视频结构化特征提取。

可选的一个实施例中，分析和预测已归档的目标对象的活动轨迹和目标动向包括：对所述非结构化视频数据中二维图片添加时间维度信息，并从所述图片中抽取在时间和空间维度上发生超过设定阈值变化的时空关键点特征以及包含目标沿时间变化趋势的密集轨迹特征，再通过时序预测神经网络分析和预测目标的活动轨迹和运动趋势。

可选的一个实施例中，分析和预测已归档的识别目标的活动轨迹和目标动向之后，还包括：使用全目标结构化算法对单张场景图片进行结构化信息提取以获得所述识别目标的多维结构化信息。

可选的一个实施例中，所述的处理系统还提供以下至少一种数据服务：目标特征数据描述服务、数据标准服务、模型服务、数据查询和调阅服务、报表服务、标签服务、知识服务、指标服务。

可选的一个实施例中，基于分析结果预测所述监控摄像模块拍摄的场所的态势变化趋势之后，还包括：对于识别或预测出的危险事件发出预警。

本发明的技术方案具有如下优点或有益效果：

（1）基于现有技术中视频数据处理过程中常见的因缺乏动态有效识别编码而造成的视频数据分类归档困难与检索效率低的问题，本发明提供了一种基于一体化实时目标检测分类的视频主数据动态编码方案，对首次识别出的人员、物品、交通工具等目标对象视频数据赋予实时动态编码并进行归档，通过接收到的视频数据处理任务和所述编码，可快速检索已归档的目标对象的活动轨迹和目标动向，并基于分析结果预测所述监控摄像模块拍摄的场所的态势变化趋势。实现了数据的全时归档建库，统一目标对象的身份编码，便于用户对目标对象信息的加工和处理，提高了数据的利用率和利用效率。有别于现有技术中的根据固定规则生成视频编码的方案，本发明提供了一种编码动态生成的方案，结合Region-free的单阶段一体化目标检测模型实时生成对象类型编码，并结合相似度匹配模型识别目标对象是否为首次出现避免编码重复生成，从而最终形成兼容多对象类型的统一视频编码动态生成能力。

（2）通过对所述的非结构化视频数据设置多维标签，方便用户通过标签确定视频内容信息、属性信息等多维度信息。通过对监控视频的一次实时标注，即可方便用户后期多维度信息的提取，增加对非结构化视频数据的结构化语义信息描述，提升了视频数据查询效率，降低了用户处理数据的时间成本和硬件资源使用成本，极大提高了数据的利用率和利用效率。

（3）对所述非结构化视频数据中二维图片添加时间维度信息，并从所述图片中抽取在时间和空间维度上发生超过设定阈值变化的时空关键点特征以及包含目标沿时间变化趋势的密集轨迹特征，再通过时序预测神经网络分析和预测目标的活动轨迹和运动趋势；提高了目标对象行为的分析和预测准确性。

（4）现有技术中基于对非结构化视频数据根据固定规则与设备属性数据进行标签标注在标签维度上的局限性。本发明通过使用全目标结构化算法对单张场景图片进行结构化信息提取以获得所述识别目标的多维结构化信息，能够在目标对象识别的基础上进一步获得目标对象的多维度信息，为用户分析目标对象提供多重数据支持，不仅提高了分析的准确性也提高了原始视频数据的利用率。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的非结构化视频数据处理系统示意图；

图2是根据本发明实施例的目标首次出现的编码结构示意图；

图3是根据本发明实施例的目标首次出现的编码流程图；

图4是根据本发明实施例的视频数据内容标签生成流程。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

为了解决背景技术中的至少一个问题，根据本发明实施例的一个方面提供了一种非结构化视频数据处理方法。如背景技术所述，当前，动态数据资源的采集、编码和分类实现方法，缺乏对采集对象进行规范性定义，限制了动态数据的分类、检核以及快速索引，只能根据设备名称或编码进行检索。该处理方式未能充分挖掘数据和利用数据。并且，当前动态数据的算法模型与算力耦合限制了智能计算的能效，缺乏有效组织场景、数据、算法、算力的计算服务框架实现自动编排的目标。缺少动态数据服务类别划分及对应的信息安全划分，导致动态数据服务能力的安全与共享是失衡的。为了充分分析和利用视觉中枢、视频媒体中心或第三方数据联网平台等提供的非结构视频数据，本发明提供了一种非结构化的视频数据处理方法，其合理安排系统的硬件资源，将算法和算力解耦合，并对视频数据进行标签化和档案编码两个维度进行信息化标注。具体的，如图1所示，所述的处理系统包括算法管理模块，所述的算法管理模块封装至少一种算法模型。实践中，算法管理模块可对不同用户的算法进行统一管理，相应的用户仅需要向处理系统注册所述的算法即可。可以理解的，所述的客户包括但不限于厂商或者开发人员等。使用时，根据场景需要而将算法镜像动态添加至目标服务器中。任务管理模块，其配置为接收数据处理任务并调用所述算法模型以处理所述任务。其中，所述的任务管理模块提供多协议的任务调度，当用户根据需求进行新增任务处理时，算法中心根据当前任务所需算法的运行参数，从算力管理模块中找到当前的空闲算力，匹配到合适的运行参数后，将当前算法Docker镜像推至算力服务器。实践中，任务管理模块按如下顺序执行任务：（1）任务解析；（2）初始化任务；（3）初始化容器/算法镜像实例化/拉取视频流；（4）容器实例；（5）输出状态、事件、渲染视频流；（6）任务结果反馈；（7）容器回收。所述系统还包括算力管理模块，其根据计算资源的使用情况动态分配算力。具体的，所述的处理系统提供多协议的任务调度，当用户根据需求进行新增任务处理时，处理系统根据当前任务所需算法的运行参数，从算力管理模块中找到当前的空闲算力，匹配到合适的运行参数后，将当前算法Docker镜像推至算力服务器。所述的任务管理模块处理监控摄像模块拍摄的非结构化视频数据，并从动态单帧图片中识别出首次出现的人员、物品、交通工具中至少一个目标，并对识别出的目标赋予编码并归档，且对非结构化视频数据中识别出的相同的目标赋予相同的编码，其中，所述的首次出现的人员、物品、交通工具是不同于历史数据中已识别的目标。一个实施例中，为了克服现有技术中对非结构化视频数据采集的各种目标对象缺乏有效管理，无法追踪和预测目标对象的问题，该实施例针对各种场所监控模块拍摄的动态数据信息档案进行编码，对目标对象分类、归档和编码，利用视频等动态数据资源打造以人脸/人体/车辆/物品等为信任根的高价值数据应用，将大量未得到有效利用的低价值动态数据资源“再加工”，将人像/车辆/物品等动态数据资源按照同一目标进行逐一归档，实现全时归档建库，统一颁发视频身份编码，使得从视频图片中识别出的各类目标对象均有唯一的动态数据身份认证体系；深度挖掘动态数据的应用潜力，构建以人/车/物为核心的动态数据资产。基于接收到的数据处理任务和所述编码，分析和预测已归档的识别目标的活动轨迹和目标动向，并基于分析结果预测所述监控摄像模块拍摄的场所的态势变化趋势。所述的态势变化包括但不限于场景的人流密度变化态势、商业热度变化态势、车流变化态势等。

可选的一个实施例中，所述的识别出首次出现的目标对象包括：采用Region-free的单阶段一体化目标检测模型实时生成对象类型编码，并结合相似度匹配模型识别目标对象是否为首次出现以避免编码重复生成。可以理解的是：如何有效避免同类型目标对象中同一对象的重复编码对数据的存储和利用非常重要，一旦存在重复将降低对视频数据的存储效率、检索分析效率等。为此，本发明的一个实施例中在实时生成对象类型编码后，通过相似度匹配模型有效消除重复编码的问题。

可选的一个实施例中，所述的识别出首次出现的目标对象包括：基于预设的区域参数和时间段参数确定待分析的时空范围内的非结构化视频数据；基于设定的追溯时长，确认目标对象在所述时间段开始时刻之前的所述追溯时长内未出现在所述时空范围内，并标记所述目标对象最早出现在所述时空范围内的时间为首次出现时间。如图3所示的实施例中，以标记首次出现的车辆为例展示了定义首次出现的流程。可以理解的是，该实施例中对首次出现做了进一步细分。具体的，用户可自定义区域范围和时间段范围，从识别在限定的时空范围内各类目标对象是否首次出现。示例性的，所述的区域范围可以是一个城市、城市的一个行政区域等。根据上述描述可知，此处的时空范围是变化，所述的“首次出现”也是一个动态变化的过程。其根据用户对时间和空间不同的划分会呈现出不同的时空范围。因此，在根据用户设定的参数划定时空范围后，还需要用户进一步限定追溯时长，进而所述的系统根据该追溯时长追溯用户限定的时间段参数起始时刻之前该目标对象是否已经出现。如果已经出现，则表明该对象已经被编码，非首次出现。如果在追溯时长内均未出现，则可对前文限定的时空范围内的视频数据进行分析以确定首次出现的目标对象。例如，对待分析的目标车辆，可逐帧分析视频数据以确定其首次出现的时间。该处理方式可以锁定有限空间和时间范围内的视频数据量，从而降低系统的数据处理规模，使用户有针对性的追踪特定目标、特定场景等的视频数据。

可选的一个实施例中，编码包括识别的人员、物品或交通工具首次出现的地址编码、类型编码和标识编码，其中，所述的类型编码用于区分识别出的目标的类型，所述的标识编码用记录同类型识别目标的编号。如图2所示的实施例中，可以采用多位编码对首次出现的目标对象进行编码。编码需要涵盖目标对象出现的地理位置定位信息、物品种类编码和确定种类中对应的标识编码。实践中，所述的定位信息包括目标对象的省（自治区、直辖市）编码、地（市）编码、县（区）编码、乡（镇、街道）编码和村（居委）编码。在对其他视频图片进行识别过程中，当发现同一目标对象时，将标注相同的编码。通过所述编码，使用人员可以方便的追踪目标对象的轨迹行程等信息。上述的编码方式仅是一种示例，实践中，用户可以根据需要适当调整其格式和编码方式。

可选的一个实施例中，任务管理模块处理监控摄像模块拍摄的非结构化视频数据之后，还包括：对所述的非结构化视频数据设置多维标签，所述的多维标签包括属性标签、业务标签、场景标签、内容标签、质量标签、成效标签和热度标签中的至少两者。实践中，为了充分利用采集到的视频数据，避免后期大批量处理视频数据，提高数据的使用效率，本发明的一个实施例中对各个视频数据增加多种类型的标签。例如，所述的标签包括但不限于属性、业务、场景、内容、质量、成效和热度等。图4展示了一个实施例中视频数据的标签流程。其中，所述的属性标签自动同步动态数据基础信息档案，生成建设标签，包括摄像模块名称、摄像模块编号、摄像模块坐标信息、摄像模块技术参数、摄像模块品牌信息及摄像模块维护厂家等信息。所述的业务标签是根据城市等运行管理的业务框架，梳理出各类业务预案，结合动态数据应用形成全域业务预案仓库，系统自动抽取业务预案名称生成业务预案标签。所述的场景标签是根据摄像模块照射的场景，并通过人工标注生成视频场景标签，包括摄像模块照射的场所名称、场所部位以及摄像模块照射的场景目标。所述的内容标签是通过对动态单帧图片数据的OCR识别解析后，形成特定结构化信息的标签数据，基于动态数据的实时动态特点，单帧图片OCR结构化信息将动态变化，形成包括：场所描述、人物信息、事件标记和态势分析等在内的视频智能动态标签内容。所述的质量标签：包括动态数据设备故障告警，在线率、完好率、数据上云率、数据实时率，故障修复率等指标的统计。所述的成效标签指：针对视频监控建设情况，提供整体建设成效评估功能，支持针对单点设备建设成效评估，标准场景建设成效评估以及业务场景建设成效评估。所述的热度标签指：针对动态数据的调阅数量、开流成功率、在线预案数量、AI计算预案数量等用户使用数据的统计和分析结果。其中，开流成功率指摄像头视频流累计成功播放次数/该摄像头累计点播次数；在线预案数量指包含该摄像头点位的预案数量；AI计算预案数量指包含该摄像头点位的计算预案的数量，AI预案指针对一组摄像头共同执行某一种AI算法。

可选的一个实施例中，所述的从动态单帧图片中识别出首次出现的人员、物品、交通工具中至少一个目标包括对视频流单帧图片进行视频结构化特征提取，以识别图片中的人脸信息、人像信息、交通工具信息或物品信息。

可选的一个实施例中，采用人脸结构化算法、人体结构化算法、非机动车结构化算法、机动车结构化算法中至少一者进行视频结构化特征提取。

可选的一个实施例中，分析和预测已归档的识别目标的活动轨迹和目标动向包括：对所述非结构化视频数据中二维图片添加时间维度信息，并从所述图片中抽取在时间和空间维度上发生超过设定阈值变化的时空关键点特征以及包含目标沿时间变化趋势的密集轨迹特征，再通过时序预测神经网络分析和预测目标的活动轨迹和运动趋势。实践中，基于视频流数据的结构化计算，会在二维图像的基础上加入时间的维度，从而形成时序序列输入。继而利用3维卷积神经网络(C3D)，抽取含有时空维度上发生超过设定阈值变化的时空关键点特征(space-time interest points)，以及包含目标对象沿时间变化趋势的密集轨迹特征(dense-trajectories)。在获取上述视频特征向量后，即可利用RNN、LSTM等时序预测神经网络，基于视频数据进行人、车、物的相关视频进行行为与趋势分析、预测。

可选的一个实施例中，分析和预测已归档的识别目标的活动轨迹和目标动向之后，还包括：使用全目标结构化算法对单张场景图片进行结构化信息提取以获得所述识别目标的多维结构化信息。为了实现数据的充分利用，在前文结构化特征提取的基础上，本发明的一个实施例中再次对图片中的数据进行二次结构化分析，实现单一数据向多维信息数据的扩展，使得单帧图片数据中相关结构化信息得到充分解析和提取，完成更丰富和更高价值结构化数据呈现和深度利用。具体的，二次结构化分析使用全目标结构化算法对单张场景图片进行结构化信息提取。提取过程如下：1、通过Selective Search（SS）方法筛选出一些备选的重点关注区域框，然后将这些备选重点关注区域缩放到指定尺寸，用于输入CNN卷积网络进行特征提取，并将每一个重点关注区域转化为定长特征向量；2、生成定长特征向量后，使用SVM支持向量机模型，得到每个重点关注区域的目标识别分类结果，获得分类结果后，利用非极大值抑制(Non-Maximun Suppresion)方法，对最终得到的重点关注区域进行筛选与回归，从而进一步修正区域框的精准定位；3、经过上述图像解析算法的处理后，即可得到一张图片中重点区域的个数、每一个重点区域的顶点坐标，以及对于检测到的目标的相关语义描述等多维结构化数据（比如：该图片内人员性别、年龄范围、是否佩戴口罩、打伞识别、拉杆箱识别、衣服款式识别、三轮车戴蓬识别、车型识别、车辆颜色识别、安全带识别等等）。通过二次结构化分析可以获得多维结构化数据，方便用户从多维度信息中分析目标对象，有效提高了数据的利用率，并提高用户的分析效率。

可选的一个实施例中，所述的处理系统还提供以下至少一种数据服务：目标特征数据描述服务、数据标准服务、模型服务、数据查询和调阅服务、报表服务、标签服务、知识服务、指标服务。所述的特征数据服务指基于动态数据的人、物、事件等目标的特征性描述或核心信息提取，对外提供特征数据或特征数据描述信息。所述的数据标准服务指提供数据标准服务作为保障数据的内外部使用和交换的一致性和准确性的规范，如数据取值规范、数据定义规范、库表设计规范及数据共享交换规范等相应数据标准类服务。所述的模型服务指提供集成化、场景化的AI算法模型服务。数据查询和调阅服务提供数据查询、视频图像调阅等服务。报表服务指提供一种数据可视化的集中呈现形式的服务，它利用表格、图表、趋势图等多种类形态各异的数据可视化组件，针对各类异构数据源，在高价值的维度和指标上进行聚合统计运算，并最终形成能分别在大、中、小屏进行适配的可视化数据看板。标签服务指对各类对象特征的精确概括。在面向各类业务场景领域建立了相应的标签体系与标签目录后，即可基于特定的规则、算法或属性，并结合海量数据中的关键字段信息，对目标用户最为关心的对象进行标签的绑定，为画像分析、内容推荐等相关智能应用奠定基础。知识服务指经过高质量的数据挖掘与分析后，沉淀形成的高价值数据。基于海量异构数据，可通过融合碰撞、语义解析、关键信息提取等技术创建面向各个业务领域的知识库；亦可通过关联关系分析从大量非结构化数据中提取出各个关键实体以及实体间的关联关系，并构建知识图谱，从而以一种更加多维立体的方式服务于各类知识检索问答场景。指标服务是一种衡量目标的可量化标准，是基于多源异构数据分析运算后形成的指数、规格和标准。在面向各类业务场景领域建立了相应的指标体系与指标目录树后，即可基于特定的运算规则与计量方式，结合结构化数据中重点维度字段值进行指标统计运算。在此基础之上，可进而进行多种指标值的融合，形成综合排名榜单；亦可基于指标基线标准，进行综合可视化展示。

可选的一个实施例中，基于分析结果预测所述监控摄像模块拍摄的目标场所的态势变化趋势之后，还包括：对于识别或预测出的危险事件发出预警。所述的预警情形包括但不限于：例如算法监测到非机动车（如：电动摩托车）驾驶员和乘客未佩戴头盔，即产生告警；或者机动车驾驶员及副驾驶未正确系安全带，即识别并告警。

本发明第二方面提供一种非结构化视频数据处理系统。需要说明的是，该系统匹配前文描述的方法方案，因此相同的技术特征或术语具有相同的结构或功能，此处不再赘述。

具体的所述处理系统包括：

算法管理模块，其封装至少一种算法模型；

任务管理模块，其配置为接收视频数据处理任务并调用所述算法模型以处理所述任务；

算力管理模块，其根据计算资源的使用情况动态分配算力；

所述的任务管理模块处理监控摄像模块拍摄的非结构化视频数据以从所述视频的动态单帧图片中识别出首次出现的目标对象，所述的目标对象包括人员、物品、交通工具中至少一者，并对识别出的目标对象赋予编码和归档，且对非结构化视频数据中识别出的相同的目标对象赋予相同的编码，其中，所述的首次出现的目标对象是不同于历史数据中已识别的目标对象；

所述的任务管理模块基于接收到的数据处理任务和所述编码，分析和预测已归档的目标对象的活动轨迹和目标动向，并基于分析结果预测所述监控摄像模块拍摄的场所的态势变化趋势。

可选的一个实施例中，所述的识别出首次出现的目标对象包括采用Region-free的单阶段一体化目标检测模型实时生成对象类型编码，并结合相似度匹配模型识别目标对象是否为首次出现以避免编码重复生成。

可选的一个实施例中，所述的识别出首次出现的目标对象包括：

基于预设的区域参数和时间段参数确定待分析的时空范围内的非结构化视频数据；

基于设定的追溯时长，确认目标对象在所述时间段开始时刻之前的所述追溯时长内未出现在所述时空范围内，并标记所述目标对象最早出现在所述时空范围内的时间为首次出现时间。

可选的一个实施例中，编码包括识别出的目标对象首次出现的地址编码、编码和标识编码，其中，编码用于区分识别出的目标对象的类型，所述的标识编码用于记录同类型不同目标对象的编号。

可选的一个实施例中，任务管理模块处理监控摄像模块拍摄的非结构化视频数据之后，还包括：

对所述的非结构化视频数据设置多维标签，所述的多维标签包括属性标签、业务标签、场景标签、内容标签、质量标签、成效标签和热度标签中的至少两者。

可选的一个实施例中，所述的从动态单帧图片中识别出首次出现的目标对象包括对视频流单帧图片进行视频结构化特征提取，以识别图片中的人脸信息、人像信息、交通工具信息或物品信息至少一者。

可选的一个实施例中，采用人脸结构化算法、人体结构化算法、非机动车结构化算法、机动车结构化算法中至少一者进行视频结构化特征提取。

可选的一个实施例中，分析和预测已归档的目标对象的活动轨迹和目标动向包括：对所述非结构化视频数据中二维图片添加时间维度信息，并从所述图片中抽取在时间和空间维度上发生超过设定阈值变化的时空关键点特征以及包含目标沿时间变化趋势的密集轨迹特征，再通过时序预测神经网络分析和预测目标的活动轨迹和运动趋势。

可选的一个实施例中，分析和预测已归档的识别目标的活动轨迹和目标动向之后，还包括：使用全目标结构化算法对单张场景图片进行结构化信息提取以获得所述识别目标的多维结构化信息。

可选的一个实施例中，所述的处理系统还提供以下至少一种数据服务：目标特征数据描述服务、数据标准服务、模型服务、数据查询和调阅服务、报表服务、标签服务、知识服务、指标服务。

可选的一个实施例中，基于分析结果预测所述监控摄像模块拍摄的场所的态势变化趋势之后，还包括：对于识别或预测出的危险事件发出预警。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员在考虑说明书及实践这里公开的方案后，将容易想到本方案的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (16)

1.一种非结构化视频数据处理方法，所述方法应用于非结构化视频数据处理系统，

其特征在于：

任务管理模块处理监控摄像模块拍摄的非结构化视频数据以从所述视频的动态单帧图片中识别出首次出现的目标对象，所述的目标对象包括人员、物品、交通工具中至少一者，并对识别出的目标对象赋予编码和归档，且对非结构化视频数据中识别出的相同的目标对象赋予相同的编码，其中，所述的首次出现的目标对象是不同于历史数据中已识别的目标对象；

任务管理模块基于接收到的数据处理任务和编码，分析和预测已归档的目标对象的活动轨迹和目标动向，并基于分析结果预测所述监控摄像模块拍摄的场所的态势变化趋势；

分析和预测已归档的目标对象的活动轨迹和目标动向包括：对所述非结构化视频数据中二维图片添加时间维度信息，并从所述图片中抽取在时间和空间维度上发生超过设定阈值变化的时空关键点特征以及包含目标沿时间变化趋势的密集轨迹特征，再通过时序预测神经网络分析和预测目标的活动轨迹和运动趋势；

基于分析结果预测所述监控摄像模块拍摄的场所的态势变化趋势之后，还包括：对于识别或预测出的危险事件发出预警；

所述的识别出首次出现的目标对象包括：

采用Region-free的单阶段一体化目标检测模型实时生成对象类型编码，并结合相似度匹配模型识别目标对象是否为首次出现以避免编码重复生成；

其中，所述的非结构化视频数据处理系统包括：

算法管理模块，其封装至少一种算法模型；

任务管理模块，其配置为接收视频数据处理任务并调用所述算法模型以处理所述任务；

算力管理模块，其根据计算资源的使用情况动态分配算力。

2.根据权利要求1所述的非结构化视频数据处理方法，其特征在于，

所述的识别出首次出现的目标对象包括：

基于预设的区域参数和时间段参数确定待分析的时空范围内的非结构化视频数据；

基于设定的追溯时长，确认目标对象在所述时间段开始时刻之前的所述追溯时长内未出现在所述时空范围内，并标记所述目标对象最早出现在所述时空范围内的时间为首次出现时间。

3.根据权利要求1或2所述的非结构化视频数据处理方法，其特征在于，

编码包括识别出的目标对象首次出现的地址编码、类型编码和标识编码，其中，编码用于区分识别出的目标对象的类型，所述的标识编码用于记录同类型不同目标对象的编号。

4.根据权利要求1所述的非结构化视频数据处理方法，其特征在于，

任务管理模块处理监控摄像模块拍摄的非结构化视频数据之后，还包括：

对所述的非结构化视频数据设置多维标签，所述的多维标签包括属性标签、业务标签、场景标签、内容标签、质量标签、成效标签和热度标签中的至少两者。

5.根据权利要求1所述的非结构化视频数据处理方法，其特征在于，

所述的从动态单帧图片中识别出首次出现的目标对象包括对视频流单帧图片进行视频结构化特征提取，以识别图片中的人脸信息、人像信息、交通工具信息或物品信息至少一者。

6.根据权利要求5所述的非结构化视频数据处理方法，其特征在于，

采用人脸结构化算法、人体结构化算法、非机动车结构化算法、机动车结构化算法中至少一者进行视频结构化特征提取。

7.根据权利要求1所述的非结构化视频数据处理方法，其特征在于，

分析和预测已归档的识别目标的活动轨迹和目标动向之后，还包括：使用全目标结构化算法对单张场景图片进行结构化信息提取以获得所述识别目标的多维结构化信息。

8.根据权利要求1所述的非结构化视频数据处理方法，其特征在于，

所述的处理系统还提供以下至少一种数据服务：目标特征数据描述服务、数据标准服务、模型服务、数据查询和调阅服务、报表服务、标签服务、知识服务、指标服务。

9.一种非结构化视频数据处理系统，包括：

算法管理模块，其封装至少一种算法模型；

任务管理模块，其配置为接收视频数据处理任务并调用所述算法模型以处理所述任务；

算力管理模块，其根据计算资源的使用情况动态分配算力；

其特征在于：

所述的任务管理模块处理监控摄像模块拍摄的非结构化视频数据以从所述视频的动态单帧图片中识别出首次出现的目标对象，所述的目标对象包括人员、物品、交通工具中至少一者，并对识别出的目标对象赋予编码和归档，且对非结构化视频数据中识别出的相同的目标对象赋予相同的编码，其中，所述的首次出现的目标对象是不同于历史数据中已识别的目标对象；

所述的任务管理模块基于接收到的数据处理任务和编码，分析和预测已归档的目标对象的活动轨迹和目标动向，并基于分析结果预测所述监控摄像模块拍摄的场所的态势变化趋势；

分析和预测已归档的目标对象的活动轨迹和目标动向包括：对所述非结构化视频数据中二维图片添加时间维度信息，并从所述图片中抽取在时间和空间维度上发生超过设定阈值变化的时空关键点特征以及包含目标沿时间变化趋势的密集轨迹特征，再通过时序预测神经网络分析和预测目标的活动轨迹和运动趋势；

所述的识别出首次出现的目标对象包括采用Region-free的单阶段一体化目标检测模型实时生成对象类型编码，并结合相似度匹配模型识别目标对象是否为首次出现以避免编码重复生成；

基于分析结果预测所述监控摄像模块拍摄的场所的态势变化趋势之后，还包括：对于识别或预测出的危险事件发出预警。

10.根据权利要求9所述的非结构化视频数据处理系统，其特征在于，

所述的识别出首次出现的目标对象包括：

基于预设的区域参数和时间段参数确定待分析的时空范围内的非结构化视频数据；

基于设定的追溯时长，确认目标对象在所述时间段开始时刻之前的所述追溯时长内未出现在所述时空范围内，并标记所述目标对象最早出现在所述时空范围内的时间为首次出现时间。

11.根据权利要求9或10所述的非结构化视频数据处理系统，其特征在于，

编码包括识别出的目标对象首次出现的地址编码、编码和标识编码，其中，编码用于区分识别出的目标对象的类型，所述的标识编码用于记录同类型不同目标对象的编号。

12.根据权利要求9所述的非结构化视频数据处理系统，其特征在于，

任务管理模块处理监控摄像模块拍摄的非结构化视频数据之后，还包括：

对所述的非结构化视频数据设置多维标签，所述的多维标签包括属性标签、业务标签、场景标签、内容标签、质量标签、成效标签和热度标签中的至少两者。

13.根据权利要求9所述的非结构化视频数据处理系统，其特征在于，

所述的从动态单帧图片中识别出首次出现的目标对象包括对视频流单帧图片进行视频结构化特征提取，以识别图片中的人脸信息、人像信息、交通工具信息或物品信息至少一者。

14.根据权利要求13所述的非结构化视频数据处理系统，其特征在于，

采用人脸结构化算法、人体结构化算法、非机动车结构化算法、机动车结构化算法中至少一者进行视频结构化特征提取。

15.根据权利要求9所述的非结构化视频数据处理系统，其特征在于，

分析和预测已归档的识别目标的活动轨迹和目标动向之后，还包括：使用全目标结构化算法对单张场景图片进行结构化信息提取以获得所述识别目标的多维结构化信息。

16.根据权利要求9所述的非结构化视频数据处理系统，其特征在于，

所述的处理系统还提供以下至少一种数据服务：目标特征数据描述服务、数据标准服务、模型服务、数据查询和调阅服务、报表服务、标签服务、知识服务、指标服务。

Images