CN115103157A - 基于边云协同的视频分析方法、装置、电子设备及介质 - Google Patents

基于边云协同的视频分析方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN115103157A
CN115103157A CN202210676243.1A CN202210676243A CN115103157A CN 115103157 A CN115103157 A CN 115103157A CN 202210676243 A CN202210676243 A CN 202210676243A CN 115103157 A CN115103157 A CN 115103157A
Authority
CN
China
Prior art keywords
picture
similarity
early warning
current frame
pictures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210676243.1A
Other languages
English (en)
Inventor
曹连雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyperai Cloud Technology Beijing Co ltd
Original Assignee
Hyperai Cloud Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyperai Cloud Technology Beijing Co ltd filed Critical Hyperai Cloud Technology Beijing Co ltd
Priority to CN202210676243.1A priority Critical patent/CN115103157A/zh
Publication of CN115103157A publication Critical patent/CN115103157A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Abstract

本申请涉及计算机、人工智能技术的领域，尤其是涉及基于边云协同的视频分析方法、装置、电子设备及介质。方法包括：获取通过目标摄像头采集到的监控视频流；基于获取到的目标摄像头对应的算法配置信息对监控视频流进行抽帧，获取多个当前帧；将每个当前帧分别与已获取到的误预警图片集进行相似度对比，生成每个当前帧各自对应的相似度值；将各个相似度值分别与误预警阈值进行比较，将相似度值大于等于误预警阈值的图片作为相似帧，将相似度值小于误预警阈值的图片作为非相似帧；将非相似帧输入至算法配置信息对应的智能算法模型，生成识别结果，将相似帧过滤。本申请具有提高预警系统预警准确度的效果。

Description

基于边云协同的视频分析方法、装置、电子设备及介质
技术领域
本申请涉及计算机、人工智能技术的领域，尤其是涉及基于边云协同的视频分析方法、装置、电子设备及介质。
背景技术
当前，在能源、电力、通信、化工等工业生产领域关键区域通常都部署着视频监控系统，而相应的违规行为都是通过人工进行筛选，极易出现漏报的情况，也耗费相当多的人力。于是，人们希望利用人工智能算法实时识别安全违规行为，以减少人力的耗费，同时减少违规行为的漏报的发生。
为了解决上述问题，可采取的方式包括：一、购买内置安全违规行为算法(比如未戴安全帽、人员闯入等)的摄像头重新部署至现场的方式。但是，浪费已存量的摄像头设备采集资源，耗费更多的资金购买智能摄像头，且市场上的智能摄像头都只能做通用的安全规则检测，没法自己掌控自己定制适合自己的安全规则算法。二、由监控系统视频流直接转发给第三方人工智能云平台或者私有智能平台进行分析，可在智能平台上自由配置多种人工智能算法；但是，视频流占用带宽巨大，即使是私有化部署智能平台，也几乎不可能承载所有设备的视频流数据的传输。
针对于上述第二种方式，在相关技术中的监控系统中增加了边缘设备来进行边缘计算，边缘计算是将智能和计算推向更接近实际的技术,在靠近设备侧部署服务计算(人工智能识别算法)，以提高数据处理效率，降低数据处理延时，通过边缘计算和云端服务器协同配合，使得视频监控系统更加智能化。
目前，在应用的人工智能算法模型(AI模型)中，需要为AI模型设定适合的识别结果置信度阈值，作为判定该场景中是否存在待识别目标的依据，通常传统的做法是仅依据经验和对误识别的容忍度，但是，由于实际识别场景大多背景复杂，若预设的置信度阈值过低可降低正向结果漏检率但导致负向结果误判率提高，进而导致误告警增多；预设的置信度阈值设置过高时虽然可降低负向结果误判率但导致正向结果漏检率提高，进而导致有些告警无法发出，因此相关技术中应用人工智能算法模型的预警准确度还有待提高。
发明内容
为了提高预警管理系统的预警准确度，本申请提供基于边云协同的视频分析方法、装置、电子设备及介质。
第一方面，本申请提供一种基于边云协同的视频分析方法，采用如下的技术方案：一种基于边云协同的视频分析方法，包括：
获取通过目标摄像头采集到的监控视频流；
基于获取到的所述目标摄像头对应的算法配置信息对所述监控视频流进行抽帧，获取多个当前帧；
将每个所述当前帧分别与已获取到的误预警图片集进行相似度对比，生成每个所述当前帧各自对应的相似度值；
将各个相似度值分别与误预警阈值进行比较，将相似度值大于等于所述误预警阈值的图片作为相似帧，将相似度值小于所述误预警阈值的图片作为非相似帧；
将所述非相似帧输入至所述算法配置信息对应的智能算法模型，生成识别结果，将所述相似帧过滤。
通过采用上述技术方案，将相似帧过滤，避免相似帧输入至智能算法模型后，智能算法模型将该图片识别为预警图片，造成误预警；而对于非相似帧，可输入至智能算法模型中进行再次甄别，将当前监控视频流中被抽取的每一帧图片，根据过往存储的误预警图片进行相似度对比的方式进行过滤，去除掉可能造成误预警的图片，能够对经验置信度阈值造成的误预警率进行补偿，提高了预警系统的预警准确度。
在一种可能的实现方式中，将任一当前帧与已获取到的误预警图片集进行相似度对比，生成所述任一当前帧对应的相似度值，包括：
所述误预警图片集包括至少一个图片组，所述图片组中包含被标记的核心误报图片；
将任一当前帧分别与每个所述图片组进行相似度对比，生成各个第一相似度值，将数值最大的所述第一相似度值作为所述任一当前帧对应的相似度值；
其中，将所述任一当前帧与任一图片组进行相似度对比，生成第一相似度值，包括：
若所述图片组中包含与核心误报图片相关的关联图片，则根据所述任一当前帧生成推理图片组，所述推理图片组中包含与各个所述关联图片对应的衍生图片；
将所述推理图片组与所述任一图片组进行相似度对比，生成所述任一当前帧与所述任一图片组之间的第一相似度值。
在一种可能的实现方式中，根据所述任一当前帧生成推理图片组，包括：
确定所述核心误报图片的第一时间戳，以及所述任一当前帧的第二时间戳；
确定所述第一时间戳与所述第二时间戳之间的时间差；
获取每个所述关联图片的时间戳；
根据每个关联图片的时间戳以及所述时间差，确定每个关联图片各自对应的采集时间点；
根据每个所述采集时间点在所述监控视频流中抽取各个图片作为各个衍生图片；
根据所述任一当前帧以及每个所述衍生图片，生成所述推理图片组。
在一种可能的实现方式中，所述将所述推理图片组与所述任一图片组进行相似度对比，生成所述任一当前帧与所述任一图片组之间的第一相似度值，包括：
确定所述任一当前帧与所述核心误报图片之间的第一相似度；
确定每个所述关联图片与每个所述关联图片各自对应的衍生图片之间的第二相似度；
根据所述第一相似度以及各个所述第二相似度，生成所述任一当前帧与所述任一图片组之间的第一相似度值。
在一种可能的实现方式中，所述基于获取到的目标摄像头对应的算法配置信息对所述监控视频流进行抽帧，获取多个当前帧，包括：
对视频传输协议解封装，生成h264或者h265格式的所述监控视频流；
对所述监控视频流进行解码得到RGB颜色空间或者YUV颜色空间的图片帧信息；
按获取到的抽帧间隔定时抽取帧数据；
对所述帧数据进行伸缩操作，得到设定的分辨率图片；
对伸缩操作后的图片进行编码以获取多个当前帧。
在一种可能的实现方式中，将所述非相似帧输入至所述算法配置信息对应的目标算法模型，生成识别结果，之后还包括：
若所述识别结果表征异常，则将异常识别结果发送至云端服务器，并存储所述异常识别结果；若所述异常识别结果的个数大于等于一，则搜寻待通信终端，所述待通信终端为能够与边缘设备进行通信的终端；
若在设定的感应范围内检测到待通信终端，则将所述异常识别结果发送至所述待通信终端。
在一种可能的实现方式中，所述将异常识别结果发送至所述待通信终端，之后还包括：
若获取到所述待通信终端发出的基于任一所述异常识别结果的回复指令，则将已存储的所述任一异常识别结果删除，生成处理标识；
将所述处理标识至所述云端服务器，根据所述处理标识对所述云端服务器中的所述任一异常识别结果进行标记。
第二方面，本申请提供种基于边云协同的视频分析装置，采用如下的技术方案：
一种基于边云协同的视频分析装置，所述装置包括：
获取模块，用于获取通过目标摄像头采集到的监控视频流；
抽帧模块，用于基于获取到的所述目标摄像头对应的算法配置信息对所述监控视频流进行抽帧，获取多个当前帧；
比对模块，用于将每个所述当前帧分别与已获取到的误预警图片集进行相似度对比，生成每个所述当前帧各自对应的相似度值；
筛选模块，用于将各个相似度值分别与误预警阈值进行比较，将相似度值大于等于所述误预警阈值的图片作为相似帧，将相似度值小于所述误预警阈值的图片作为非相似帧；
识别模块，用于将所述非相似帧输入至所述算法配置信息对应的智能算法模型，生成识别结果，将所述相似帧过滤。
在一种可能的实现方式中，比对模块在将任一当前帧与已获取到的误预警图片集进行相似度对比，生成所述任一当前帧对应的相似度值时，具体用于：
所述误预警图片集包括至少一个图片组，所述图片组中包含被标记的核心误报图片；
将任一当前帧分别与每个所述图片组进行相似度对比，生成各个第一相似度值，将数值最大的所述第一相似度值作为所述任一当前帧对应的相似度值；
其中，将所述任一当前帧与任一图片组进行相似度对比，生成第一相似度值，包括：
若所述图片组中包含与核心误报图片相关的关联图片，则根据所述任一当前帧生成推理图片组，所述推理图片组中包含与各个所述关联图片对应的衍生图片；
将所述推理图片组与所述任一图片组进行相似度对比，生成所述任一当前帧与所述任一图片组之间的第一相似度值。
在一种可能的实现方式中，比对模块在根据所述任一当前帧生成推理图片组时，具体用于：
确定所述核心误报图片的第一时间戳，以及所述任一当前帧的第二时间戳；
确定所述第一时间戳与所述第二时间戳之间的时间差；
获取每个所述关联图片的时间戳；
根据每个关联图片的时间戳以及所述时间差，确定每个关联图片各自对应的采集时间点；
根据每个所述采集时间点在所述监控视频流中抽取各个图片作为各个衍生图片；
根据所述任一当前帧以及每个所述衍生图片，生成所述推理图片组。
在一种可能的实现方式中，比对模块在将所述推理图片组与所述任一图片组进行相似度对比，生成所述任一当前帧与所述任一图片组之间的第一相似度值时，具体用于：确定所述任一当前帧与所述核心误报图片之间的第一相似度；
确定每个所述关联图片与每个所述关联图片各自对应的衍生图片之间的第二相似度；
根据所述第一相似度以及各个所述第二相似度，生成所述任一当前帧与所述任一图片组之间的第一相似度值。
在一种可能的实现方式中，抽帧模块在基于获取到的目标摄像头对应的算法配置信息对所述监控视频流进行抽帧，获取多个当前帧，时，具体用于：
对视频传输协议解封装，生成h264或者h265格式的所述监控视频流；
对所述监控视频流进行解码得到RGB颜色空间或者YUV颜色空间的图片帧信息；
按获取到的抽帧间隔定时抽取帧数据；
对所述帧数据进行伸缩操作，得到设定的分辨率图片；
对伸缩操作后的图片进行编码以获取多个当前帧。
在一种可能的实现方式中，所述分析装置还包括连接模块，所述模块用于在将所述非相似帧输入至所述算法配置信息对应的目标算法模型，生成识别结果，在所述识别结果表征异常时，则将异常识别结果发送至云端服务器，并存储所述异常识别结果；
若所述异常识别结果的个数大于等于一，则搜寻待通信终端，所述待通信终端为能够与边缘设备进行通信的终端；
若在设定的感应范围内检测到待通信终端，则将所述异常识别结果发送至所述待通信终端。
在一种可能的实现方式中，所述连接模块在将异常识别结果发送至所述待通信终端，之后具体用于：
若获取到所述待通信终端发出的基于任一所述异常识别结果的回复指令，则将已存储的所述任一异常识别结果删除，生成处理标识；
将所述处理标识至所述云端服务器，根据所述处理标识对所述云端服务器中的所述任一异常识别结果进行标记。
第三方面，本申请提供一种电子设备，采用如下的技术方案：
一种电子设备，该电子设备包括：
至少一个处理器；
存储器；
至少一个应用程序，其中至少一个应用程序被存储在存储器中并被配置为由至少一个处理器执行，所述至少一个应用程序配置用于：执行上述一种基于边云协同的视频分析方法。
第四方面，本申请提供一种计算机可读存储介质，采用如下的技术方案：
一种计算机可读存储介质，包括：存储有能够被处理器加载并执行上述一种基于边云协同的视频分析方法的计算机程序。
综上所述，本申请包括以下有益技术效果：
将相似帧过滤，避免相似帧输入至智能算法模型后，智能算法模型将该图片识别为预警图片，造成误预警；而对于非相似帧，可输入至智能算法模型中进行再次甄别，将当前监控视频流中被抽取的每一帧图片，根据过往存储的误预警图片进行相似度对比的方式进行过滤，去除掉可能造成误预警的图片，能够对经验置信度阈值造成的误预警率进行补偿，提高了预警系统的预警准确度。
附图说明
图1是本申请实施例一种基于边云协同的监控视频流分析系统的硬件示意图；
图2是本申请实施例一种基于边云协同的监控视频流分析系统的硬件示意图；
图3是本申请实施例一种基于边云协同的监控视频流分析系统的硬件示意图；
图4是本申请实施例一种基于边云协同的视频分析方法的流程示意图；
图5是本申请实施例一种基于边云协同的视频分析装置的方框示意图；
图6是本申请实施例电子设备的示意图。
具体实施方式
以下结合附图1-6对本申请作进一步详细说明。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参照图1，本申请实施例提供了一种基于边云协同的监控视频流分析系统，包括云端、多个边缘设备以及与边缘设备对应的摄像头，边缘设备支持RTSP等主流视频流接入协议，不挑摄像头品牌，不挑分辨率，能够一键对接摄像头；用户可根据场景需求，通过云端服务器为每个边缘设备配置对应的算法，以实现对摄像头执行算法的配置，每路摄像头可同时配置多个算法，每种算法可同时配置到多个摄像头；边缘设备是向模型服务提供核心网络入口点的设备，用于根据预警管理系统的算法配置到不同的摄像头去采集不同的图片，并进行模型推理，过滤不关注的信息，将关注的信息提交至预警系统层的云端服务，通过云端服务器展示预警信息。由于无需使用大型的GPU服务器等设备，所以平台的适用场景更广，在一些环境较为恶劣，无法维护大型服务器运行的场景下也有着高效的使用效率，且减少了网络带宽限制，提升了系统处理能力。
参照图1，为了便于对算法模型、摄像头、边缘设备以及预警事件进行管理，本申请实施例提供的云端服务器上配置有预警管理系统，预警管理系统包括预警管理模块、配置管理模块以及系统管理模块。
预警管理模块支持查看所有预警信息的处理情况，按照处理状态，区分为未确认、已确认与误预警三种状态；预警信息包括时间、组织、事件类型、设备名称、抓拍图、状态、操作等信息。点击抓拍图可查看详情，支持对图片放大、缩小，旋转等操作。点击操作按钮处理预警信息，状态可分为已确认与误预警，支持批量操作预警信息。预警管理模块提供按照预警时间、组织、事件类型、设备名称检索功能。预警管理模块还提供统计功能，提供预警事件轮播图功能，支持快速处理预警信息，支持按时间序列查询预警记录，可输出预警统计图表，便于用户管理长时间的预警日志，进行危险事件的分析，做到提前预防和处置。
参照图1，配置管理模块包括：边缘设备管理和摄像头管理。其中，通过摄像头管理列表管理摄像头信息，支持摄像头新增、编辑、算法配置操作，在配置算法前，摄像头需要先关联具体边缘设备，以便通过边缘设备给摄像头赋能；通过摄像头列表管理摄像头基本信息，展示摄像头所在组织、摄像头名称、安装位置、关联边缘设备。
摄像头基本信息可参照下表，表1：
表1
参数 说明
组织 摄像头所属组织
设备名称 摄像头名称
视频流地址 支持RTSP、HTTP、RTMP等
安装位置 摄像头安装位置
边缘设备 摄像头关联的边缘设备
图片尺寸 图片编码后的分辨率
抽帧间隔 对视频流抽帧的时间间隔
抽帧方式 边缘设备抽帧方式选择
边缘设备管理功能支持边缘设备的增、删、查、改，启动禁用操作，支持模型的升级和启动。对边缘设备进行模型配置时，通过在边缘设备列表操作栏目，可为其配置已添加好的通用算法模型，下表2为几种算法模型：
表2
Figure BDA0003696681260000071
Figure BDA0003696681260000081
将算法模型下发到边缘设备后，针对每一个摄像头的应用场景，可对每个摄像头对应的算法模型进行针对性配置，摄像头算法配置信息如下表3：
表3：
Figure BDA0003696681260000082
通过上述配置，不同区域的摄像头被配置了同一算法模型后，也可通过不同的置信度阈值调整安全级别，且根据对每个摄像头的区域可以进行针对性关注。
参照图1和图2，系统预警管理系统管理模块提供了用户、组织、模型、数据、服务等子模块，实现了不同安全级别人员的管理能力，该模块提供了平台服务的监控日志，便于系统问题快速定位与服务恢复。
(1)用户管理支持用户创建、审批、用户禁用/启用、设置部门等用户管理功能，并且提供管理员和操作员用户，管理员可对操作员进行删除，操作员无新增用户的功能。
(2)组织管理支持为用户添加组织，可以查看组织内所有人员。
(3)模型管理支持模型的添加、配置、编辑功能，支持在线编辑模型信息。支持在线配置算法的基本信息，包括图片上需要显示的预警内容，以及算法的状态。
(4)数据管理支持用户可在线配置系统中需要清理的预警图片和未预警图片，以及智能设备传输的监控服务日志和采集服务日志。
(5)服务版本支持在线升级智能设备软件版本，更新设备的采集服务、模型服务。
具体地，参照图3，基于边云协同的监控视频流分析系统的分析流程如图3所示：
(1)用户登陆智能预警系统，查看边缘设备，设备，模型等配置。
(2)边缘设备上的采集服务运行后每隔一段时间请求智能分析系统上摄像头的配置，并将配置信息缓存到边缘设备本地。
(3)边缘设备上的模型服务根据模型配置信息启动相应的模型。
(4)边缘设备上的采集服务根据设备配置信息的抽帧间隔，定时从视频监控摄像头设备抓取图片。根据算法配置信息的检测间隔，定时将抓取到的图片调用配置的模型服务进行推理，在进行推理之前，需要根据不同的算法配置和误预警图片执行图片相似度检测，根据检测的结果判断是否需要进行算法推理(目前系统支持的算法有安全帽检测，吸烟检测，烟雾检测，火焰检测，闯入检测，离岗检测，人脸识别，接打电话，滞留，人员聚集)；将推理后的预警信息上传到预警服务。
(5)预警服务接收到边缘设备采集服务上传的图片及相关信息后，保存图片到服务器，并将预警信息存储到数据库中。
(6)用户可在预警服务平台查询和处理相关的预警信息。
将硬件系统部署完成后，进一步地，为了解决降低依据经验设置置信度阈值的误预警率这一问题，本申请实施例还提供一种基于边云协同的视频分析方法，由上述基于边云协同的监控视频流分析系统中的任一边缘设备执行，方法包括：
步骤S10、获取通过目标摄像头采集到的监控视频流。
具体地，每个边缘设备至少连接一个摄像头，每个摄像头对应有各自的监控区域，每个监控区域各自对应有监控视频流；目标摄像头为边缘设备连接的任一摄像头。
步骤S20、基于获取到的目标摄像头对应的算法配置信息对监控视频流进行抽帧，获取多个当前帧。
具体地，每个边缘设备可配置有多个智能算法模型，对于同一智能算法模型来说，其被配置于不同摄像头时，对应的算法配置信息可能是不同的，算法配置信息包含了表3中的配置信息。
每个智能算法模型在云端服务器进行训练，而后，管理人员通过云端服务器上的预警管理系统，将训练好的智能算法模型下载成离线模型并下发至边缘设备；被配置有离线模型的边缘设备能够执行采集服务(i)、监控服务(ii)、模型服务(iii)和日志服务(iv)。
(i)采集服务为负责采集网络摄像头的视频流的软件服务，并负责管理图片推理、预警信息推送等逻辑。采集服务又分为抽帧模块、推理调用模块。
抽帧模块基于获取到的目标摄像头对应的算法配置信息对监控视频流进行抽帧，获取多个当前帧，包括：步骤Sa1(图中未示出)、对视频传输协议解封装，生成h264或者h265格式的监控视频流；对监控视频流进行解码得到RGB颜色空间或者YUV颜色空间的图片帧信息；步骤Sa2(图中未示出)、按获取到的抽帧间隔定时抽取帧数据；步骤Sa3(图中未示出)、对帧数据进行伸缩操作，得到设定的分辨率图片；步骤Sa4(图中未示出)、对伸缩操作后的图片进行编码以获取多个当前帧。
具体地，先对rtsp或http视频传输协议解封装，得到h264或者h265的编码视频流，然后对视频流进行解码得到RGB颜色空间或者YUV颜色空间的每秒25～30帧的图片帧信息，然后按抽帧间隔定时，抽取帧数据，先进行resize操作，选择合适插值方式，得到指定的分辨率图片，然后对resize后的图片进行jpeg编码，从而得到jpeg有损压缩图片，可以通过控制jpeg压缩水平(大于0小于等于100)来控制生成的图片文件，以控制带宽占用和推理效果平衡。
边缘设备的厂家/型号不同时，抽帧模块的配置流程可根据需求进行调试，具体地：基于jetson边缘设备，使用ffmpeg对视频流进行解封装以得到一帧帧的h264或者h265图片数据，然后使用NVDEC硬件对压缩的当前帧数据进行解码以得到NV12格式的图片信息，然后在NV12格式空间按指定的分辨率进行resize，最后使用NVJPG硬件生成jpeg图片信息。
基于atlas编译设备，使用ffmpeg对视频流进行解封装以得到一帧帧的h264或者h265图片数据，然后使用dvvp硬件视频解码模块对压缩的当前帧数据进行解码以得到yuv420格式的图片信息，然后在yuv格式空间按指定的分辨率进行resize，最后使用dvpp硬件jpeg图片编码模块生成jpeg图片信息。因此在对传统监控系统进行智能化改造时，首先识别边缘设备的型号，然后再根据设备型号分别进行配置。
抽帧模块会将所有jpeg图片信息以更新的方式存储在内存中，并使用map映射到摄像头id下，存储到内存中主要是为了减少io的消耗，提供图片处理速度，降低延时。但同时会增加部分内存占用，主要考虑的是以空间换时间。
推理调用模块获取指定摄像头的最新抽帧jpeg图片信息，然后按该摄像头的配置的算法，并按抽帧间隔周期调用相应的模型。模型及算法关系在模型配置管理中进行配置。将调用后返回的全部目标检测信息存储在内存中，各个算法从检测结果信息中按自己的算法逻辑筛选出有效的预警信息即可。这种方式可以减少算力的消耗，不用每个算法都调用一次，从而消耗更多的算力。
(ii)监控服务负责采集设备状态(GPU、CPU利用率及温度，内存占用率)，监控采集服务、模型服务的运行状态，并负责采集服务和模型服务软件版本更新的软件。故分为三个模块：采集设备状态模块、服务状态监控模块、服务软件更新模块。
采集设备状态模块底层依赖于具体设备提供的监控工具，jetson使用的是jtop工具周期采集设备状态，atlas200使用的是npu-smi工具周期采集设备状态。
服务状态监控模型会基于TCP通信，周期探测采集服务、模型服务心跳包，如3拍未检测到心跳包，则认为相应的服务异常；如短暂的异常后，重新接到心跳包，则认为相应的服务恢复正常。
服务软件更新模块通过SCP协议拉取云端已放置好的更新包，通过md5校验，确保更新包下载数据无误后，解压覆盖安装，并重新启动采集服务和模型服务。
(iii)模型服务负责管理算法模型启动、停止、升级的软件服务。每个算法模型提供接收图片数据接口，并将预测结果返回给调用者。每个算法模型都基于mongoose库提供HTTP服务，接口路由仅提供给采集服务推理调用和监控服务监控模型状态使用，不对外提供服务接口。
基于jetson边缘设备模型提供TensorRT模型推理加速优化，利用层融合、量化技术，在fp16精度下的plan模型会比原模型有2～3倍的推理速度提升，大大提升了由于模型推理的吞吐量，同时也降低了延时。
基于Atlas 200的边缘设备模型提供ATC工具将其它框架模型转为om离线格式模型，同时利用aipp工具将模型输入修改为yuv格式，以便对图片进行预处理阶段可以使用dvpp硬件进行加速处理。
模型升级过程中，使用scp从云端获取相应版本的算法模型文件，经过md5验证模型文件的完整性，然后重启相应的模型服务。
(iv)日志服务负责上传边缘设备采集服务、监控服务、模型服务产生的日志文件，以供设备故障时，查看分析问题出现的时间及原因。采集服务、监控服务、模型服务会周期更新自己的日志文件，日志服务会将已产生的日志文件不做保留的发送至云端。由于日志文件是全天24小时的运行日志，长时间运行占的空间比较大，边缘设备一般磁盘较小，故不保留长期日志在边缘设备磁盘上。
所有服务都利用libcurl库作为HTTP客户端，以POST方式周期性向预警系统层提交访问申请，并获取相关配置信息，如模型配置、算法配置、摄像头配置等。单向数据流以保证边缘设备的数据安全及隐私问题，边缘设备不提供主动访问方式。所有服务都基于systemctld方式自启动，以保证由于设备硬件或系统异常状态导致服务停止后，我们的边缘分析层软件服务能自动恢复。
为每个摄像头设置表3中算法配置信息时，智能算法模型的置信度阈值根据管理人员的经验设定，因此可能会存在误差，需要不断调试。为了降低由置信度阈值导致的误报，本申请实施例设置的边缘设备，能够对由其自身发送的被管理人员标记为“误预警”事件进行记录，即：根据误预警对应的误预警图片对后续监控视频流中可能存在的误预警图片进行筛选，以降低误预警率。
步骤S30、将每个当前帧分别与已获取到的误预警图片集进行相似度对比，生成每个当前帧各自对应的相似度值。
其中，已获取到的误预警图片集为该边缘设备发送至云端服务器后，接收了云端服务器对该图片的处理结果为误预警时所对应的误预警图片集，因此每个边缘设备上的误预警图片集均来自于该边缘设备历史发送至云服务器图片中的图片。且，误预警图片集包含至少一帧由管理人员标记的误报图片，用户在云端服务器的预警管理系统上将某一预警事件标记为误预警时，该预警事件对应的一帧或多帧图片被自动添加至误预警图片集。
具体地，基于内容的图片间相似性计算在许多场景下都有应用，常见的比如图片聚类、图片检索以及基于图片的个性化推荐等；可以利用pHash算法分别获得两幅图片的hash串，然后通过比较两幅图片的hash串的相似性来确定这两幅图片是否为相似图片。
步骤S40、将各个相似度值分别与误预警阈值进行比较，将相似度值大于等于误预警阈值的图片作为相似帧，将相似度值小于误预警阈值的图片作为非相似帧。
步骤S50、将非相似帧输入至算法配置信息对应的智能算法模型，生成识别结果，将相似帧过滤。
本申请实施例提供了一种基于边云协同的视频分析方法，将相似帧过滤，避免相似帧输入至智能算法模型后，智能算法模型将该图片识别为预警图片，造成误预警；而对于非相似帧，可输入至智能算法模型中进行再次甄别，将当前监控视频流中被抽取的每一帧图片，根据过往存储的误预警图片进行相似度对比的方式进行过滤，去除掉可能造成误预警的图片，能够对经验置信度阈值造成的误预警率进行补偿，提高了预警系统的预警准确度。
进一步地，根据场景需求，管理人员可以选择不同功能的智能算法模型对异常事件进行识别，当异常事件与动态目标相关联时，需选择分析连续多帧图片的模型以识别动态目标，例如：对快递的分拣过程进行监控时，实时监控分拣人员是否进行违规动作进行暴力分拣是十分重要的，分析过程中，可以将快递本身作为动态目标，通过分析快递的移动路径来间接识别工作人员是否在进行暴力分拣，也可以分析各帧画面中分拣人员的姿态变化来直接识别分拣人员是否进行了暴力分拣，此时分拣人员即作为动态目标。
当异常事件与静态目标相关联时，可选择利用单帧图片进行识别的智能算法模型，如：识别单帧图片中的目标物体/目标姿态。举例进行说明：监控违规操作的场景，包括：是否在场所内违规吸烟，是否存在场所内违规不佩戴安全帽，是否在场所内违规接打电话等等，均可以通过判断某一帧图片内目标对象的姿态，或者是目标对象(人体)与目标对象(物体)之间的相对位置关系，来判断是否存在违规操作。
对静态目标进行识别能够满足大多数监控场景的需求，但是在某些复杂的场景下，对单帧图片分析获得的结果仍旧可能存在较高的误预警率；例如：场景1、在特定区域内不能进行接打电话的操作，此时，在对智能算法模型进行训练时，输入的样本集可能包含在该摄像头拍摄下的各个角度的人员在接打电话的样本集。在样本集中，人员可能将手机放在耳边接听电话，也可能是将手机放在面部正前方，进行视频通话。此时，可能存在误预警的情况为：用户将手机放在自己正前方用来观看时间或者是对手机进行其他操作，此时被拍摄到的单帧图片与该智能算法模型对应的样本集相似，此时虽然用户并未接打电话，但是造成了系统误预警。又如，场景2、在餐厅后厨等场景下，不允许目标对象(人员)进食，但是可能存在目标对象对菜品颜色、气味观察时，与食物距离过近造成进食的误预警。
以场景2进行举例说明误预警情况出现的具体过程：在场景2下选取其中一组被智能算法模型识别为非违规操作对应的误预警图片集a，如下表4：
表4
Figure BDA0003696681260000131
Figure BDA0003696681260000141
在场景2下选取其中一组被智能算法模型识别为违规操作对应的图片集b，如下表5：
表5
Figure BDA0003696681260000142
参照表4和表5，图片集a中图片a3与图片集b中图片b3之间相似度大于第二阈值，此时识别为预警还是非预警主要取决于是否对图片a3的前后帧进行分析，以及是否对图片b3的前后帧进行分析；具体来说，若对图片a3的前后帧进行分析，则图片集a对应的结果为常规操作，不预警；若对图片b3的前后帧进行分析，则图片集b对应的结果为非常规操作，预警；但是仅仅对图片集a中图片a3与图片集b中图片b3进行分析，则既可能预警，也可能不预警，容易造成误预警。
因此，在更复杂的场景下，在步骤S20中抽取到的任一当前帧，若任一当前帧与图片a3相似，则依旧有可能与图片b3相似，因此需要再进一步判断。若采用对动态目标进行实时追踪的方法，可能在一定程度上提高识别准确度，但是当场景中存在多个动态目标时，连续多帧图片进行分析带来了巨大的运算量，难以保证预警的实时性。
故，为了在复杂场景的识别中，在提高目标识别的准确度的同时能够降低运算量、提高运算效率；在本申请的一个实施例中，步骤S30中：将任一当前帧与已获取到的误预警图片集进行相似度对比，生成每个当前帧各自对应的相似度值，包括：
步骤S301(图中未示出)、误预警图片集包括至少一个图片组，图片组中包含被标记的核心误报图片。
其中，各个图片组对应于同一边缘设备上同一智能算法模型判别的不同误预警事件。每个误预警事件中均至少包括一帧由管理人员标记的核心误报图片，核心误报图片表征将该图片输入至智能算法模型后，智能算法模型的输出的结果为预警/异常的图片。
步骤S302(图中未示出)、将任一当前帧分别与每个图片组进行相似度对比，生成各个第一相似度值，将数值最大的第一相似度值作为任一当前帧对应的相似度值。
其中，将任一当前帧中的内容与各个图片组(历史误预警事件)逐一进行比较，选取数值最大的第一相似度值，以确定可能发生误预警的最大概率，将该最大概率作为任一当前帧与误预警事件之间的相似度。
在本申请的一个实施例中，步骤S302中，将任一当前帧与任一图片组分别进行相似度对比，包括：步骤S3021(图中未示出)、若图片组中包含与核心误报图片相关的关联图片，则根据任一当前帧生成推理图片组，推理图片组中包含与各个关联图片对应的衍生图片。步骤S3022(图中未示出)、将推理图片组与任一图片组进行相似度对比，生成任一当前帧与任一图片组之间的第一相似度值。
其中，关联图片为管理人员标记的在时间序列上与核心误报图片前后关联的若干帧图片。具体地，管理系统的操作页面提示管理人员标记一张图片作为核心误报图片，核心误报图片表征被识别为预警事件的关键图片。
管理人员在标记误预警事件时，可以对误预警的原因进行分析，若管理人员判断误预警原因仅仅是因为该单帧图片中因为存在遮挡等要素而出现误预警，则管理人员仅标记单一帧的核心误报图片，而无需标记关联图片；若管理人员判断误预警原因是智能算法模型未对核心误报图片的前/后几帧图片进行综合分析而导致的，则可以按照时间段抽取核心误报图片前/后的多帧图片作为关联图片，或者是根据经验抽取核心误报图片前/后的多帧图片作为关联图片；因此每个图片组中至少包含核心误报图片，可能包含与该核心误报图片关联的关联图片。
其中，步骤S3021：若图片组中包含与核心误报图片相关的关联图片，则根据任一当前帧生成推理图片组的方式可以为：(1)根据图片组中的帧数、以及核心误报图片在该图片组中的位置生成推理图片组，具体包括：根据核心误报图片与任一当前帧对应，使得各个关联图片与各个衍生图片对应，生成推理图片组，例如：图片组：{关联图片1、关联图片2、关联图片3、核心误报图片、关联图片4、关联图片5}；推理图片组：{衍生图片1、衍生图片2、衍生图片3、任一当前帧、衍生图片4、衍生图片5}。(2)还可以根据时间段抽取，通常对于同一智能算法模型、同一摄像头来说，抽帧间隔是相同的，此时依据时间段抽取的方式等同于方式一；若同一智能算法模型、同一摄像头对应的抽帧间隔发生变化，则方式二与方式一并不相同。
因此，在本申请的一个实施例中，步骤S3021(图中未示出)、根据任一当前帧生成推理图片组，包括：
步骤Sb1(图中未示出)、确定核心误报图片的第一时间戳，以及任一当前帧的第二时间戳。
步骤Sb2(图中未示出)、确定第一时间戳与第二时间戳之间的时间差。
步骤Sb3(图中未示出)、获取每个关联图片的时间戳。
步骤Sb4(图中未示出)、根据每个关联图片的时间戳以及时间差，确定每个关联图片各自对应的采集时间点。
步骤Sb5(图中未示出)、根据每个采集时间点在监控视频流中抽取各个图片作为各个衍生图片。
步骤Sb6(图中未示出)、根据任一当前帧以及每个衍生图片，生成推理图片组。
具体地，每帧被抽取的图片均携带有唯一的时间戳，若被管理人员标记的核心误报图片的时间戳是XX日00：10：05(XX日零点10分5秒)，接上例，则带有时间戳的图片组为：图片组{关联图片1(XX日零点09分50秒)、关联图片2(XX日零点09分55秒)、关联图片3(XX日零点10分0秒)、核心误报图片(XX日零点10分5秒)、关联图片4(XX日零点10分10秒)、关联图片5(XX日零点10分15秒)}；
若任一当前帧的时间为XX+1日00:10：00(XX+1日零点10分5秒)，则时间差＝XX+1日-XX日，其对应的带有时间戳的推理图片组为：推理图片组{衍生图片1(XX+1日零点09分50秒)、衍生图片2(XX+1日零点09分55秒)、衍生图片3(XX+1日零点10分0秒)、任一当前帧(XX+1日零点10分5秒)、衍生图片4(XX+1日零点10分10秒)、衍生图片5(XX+1日零点10分15秒)}。可以看出，每个关联图片的时间戳与其对应衍生图片的时间戳的时间差值均等于时间差。
进一步地，在本申请的一个实施例中，还包括：若智能算法模型对应的识别对象为动态目标且图片组中包含核心图片和关联图片，则识别图片组中动态对象的第一移动速度；识别推理图片组中动态对象的第二移动速度；根据第一移动速度和第二移动速度，调整推理图片组的帧数。
具体地，第二移动速度/第一移动速度＝图片组的总帧数/推理图片组的总帧数(其中，帧数采用取整函数取正整数)。
其中，第一移动速度对应于图片组中的第一动态对象，第二移动速度对应于推理图片组中的第二动态对象，第一动态对象和第二动态对象为智能算法模型所需识别的同一对象，第一/第二只是为了在不同的视频流中进行区分，即，动态对象为人，而不依据第一人员、第二人员作区分。
在不同场景下不同人员进行同一套动作(动作a+动作b+动作c)时，若第一移动速度大于第二移动速度，则仅需抽取第一动态对象的第一帧a、第二帧a、第三帧a；而对于第二动态对象，为了捕捉完成同一套动作，则需要抽取第一帧b、第二帧b、第三帧c、第四帧d、第五帧d。因此，通过调整目标对象速度这一参数，能够使得生成的推理图片组尽可能地根据实际情况包含图片组中的误预警图片，提高误预警识别准确度。
在本申请的一个实施例中，步骤S3022中：将推理图片组与任一图片组进行相似度对比，生成任一当前帧对应的相似度值，包括：步骤Sd1(图中未示出)、确定任一当前帧与核心误报图片之间的第一相似度；步骤Sd2(图中未示出)、确定每个关联图片与每个关联图片各自对应的衍生图片之间的第二相似度；步骤Sd3(图中未示出)、根据第一相似度以及各个第二相似度，生成任一当前帧对应的第一相似度值。具体地，计算各个第一相似度与第二相似度的均值，作为任一当前帧与任一图片组对应的第一相似度值。
在上述场景1和场景2中，在进行相似度对比时，重点需要识别的区域为目标对象的嘴部口型，但是若目标对象嘴部口型发生变化，而其他区域目标对象躯体的其他位置对于误预警图片发生较大变化，此时将两张图片进行相似度对比时，可能会导致相似度值降低，可能出现误预警的图片再次被输入至智能算法模型中，可能会再次误预警，为了提高图片进行相似度对比时的准确度。因此，在本申请的一个实施例中，步骤S3022(图中未示出)、将推理图片组与任一图片组进行相似度对比，生成任一当前帧与任一图片组之间的第一相似度值，包括：
步骤Sc1(图中未示出)、若任一当前帧与核心误报图片之间存在非核心区域和核心区域，则确定推理图片组与任一图片组基于非核心区域的非核心相似度值，确定推理图片组与任一图片组基于核心区域的核心相似度值。
其中，核心区域是在误预警图片和正常预警图片之间存在差异的重点区域，核心区域由用户在标记误预警事件时，在误预警图片上标记的区域。例如，在图片a3与图片b3之间，用户面部与食物之间的距离大于第二阈值的动作为非核心区域，用户的嘴部动作为管理人员标记的核心区域。
若用户未标记区域，可能是因为用户推理该事件时，误预警仅仅是因为遮挡等因素导致的，此时用户可以将该事件再次归类为遮挡因素；若误预警图片确实是由于上述场景1或者场景2中的原因导致的，则若用户未进行标记，管理系统将弹窗提示用户，对核心区域进行标记。
步骤Sc2(图中未示出)、基于核心相似度值、核心相似度值对应的第一权重值、非核心相似度值以及非核心相似度值对应的第二权重值，生成任一当前帧与任一图片组之间的第一相似度值。
具体地，若图片组包括核心误报图片和至少一个关联图片，则每个第一相似度与每个第二相似度的计算均遵循：相似度＝图片对应的第一权重值*对应的核心相似度值+对应的第二权重值*对应的非核心相似度值；其中，第一权重值和第二权重值均为常数，可以根据经验设置；通过配置第一权重值和第二权重值，增大核心区域相似度的所占比例，能够提升在将推理图片组与图片组进行相似度对比时重点关注核心区域。
分别依据相似度的计算公式，计算出各个第一相似度与第二相似度的值，再根据第一相似度和第二相似度，计算所有相似度的均值，即可确定出任一当前帧与任一图片组之间的第一相似度值。
若图片组中仅包括核心误报图片，则任一当前帧与任一图片组之间的第一相似度值＝第一权重值*核心相似度值+第二权重值*非核心相似度值。
各个边缘设备均将异常的识别结果发送至云端服务器，云端服务器负责管理多个边缘设备，需要处理的预警事件个数较多，可能会存在管理人员无法及时处理预警事件的情况。因此本申请实施例配置的视频监控系统还包括可连接于边缘设备的终端设备，当监控区域内的授权对象携带终端设备靠近边缘设备所在对应的感应区域时，边缘设备上配置的通信模块可检测到该终端设备，此时该终端设备即为待通信终端，当终端设备位于感应区域外时，此时该终端设备为非通信终端。若终端设备为待通信终端，则将异常识别结果发送至待通信终端，监控区域内的授权对象即可通过待通信终端对预警事件进行及时处理。
在本申请的一个实施例中，步骤S50中：将非相似帧输入至算法配置信息对应的智能算法模型，生成识别结果，之后还包括：
步骤Se1(图中未示出)、若识别结果表征异常，则将异常识别结果发送至云端服务器，并存储异常识别结果。步骤Se2(图中未示出)、若异常识别结果的个数大于等于一，则搜寻待通信终端，待通信终端为能够与边缘设备进行通信的终端。步骤Se3(图中未示出)、若在设定的感应范围内检测到待通信终端，则将异常识别结果发送至待通信终端。
具体地，通信模块可采用蓝牙技术(蓝牙传感器)来搜索移动终端，通信模块上已记录已匹配的移动终端的名称，下次使用时也无需再识别，具体包括：通信模块进入待机状态，通信模块的蓝牙传感器发射低频信号搜索第一预设范围内是否存在已配对的移动终端的蓝牙模块；若存在，则判断移动终端在通信模块的近距离范围内，蓝牙的搜索范围小于等于10米。
通信模块还可采用NFC(Near Field Communication，近距离无线通信)方式搜索1米范围内是否存在已配对的移动终端，以作出近距离判定。NFC技术是一种短距高频的无线电技术，有主动和被动两种读取模式，其在13.56MHz的频率下，有效使用距离为20厘米内，其传输速度包括106Kbit/秒、212Kbit/秒或者424Kbit/秒。目前近场通信已通过成为ISO/IECIS18092国际标准、ECMA-340标准与ETSITS102190标准。
即，厂区内的终端设备与各个边缘设备上的通信模块在配置时已经做好配对，待通信终端即为进入通信模块预设的搜索范围内的终端。通信模块在搜索移动终端时，自动筛选出已配对的移动终端，通信模块与移动终端身份识别后，通信模块上已记录已匹配的移动终端的名称，下次使用时也无需再识别。
待通信终端在接收到异常识别结果后，具有处理权限的授权对象即可在现场对异常事件进行处理，因此，具备处理权限的授权对象，只要携带待通信终端，无论是在远程监控中心，还是位于厂区内，均可对异常事件进行及时处理；另外，在没有异常事件的情况下，通信模块处于关闭状态，节省电能。
在本申请的一个实施例中，步骤Se3(图中未示出)、若在设定的感应范围内检测到待通信终端，则将异常识别结果发送至待通信终端，之后还包括：步骤Se4(图中未示出)、若获取到待通信终端发出的基于任一异常识别结果的回复指令，则将已存储的任一异常识别结果删除，生成处理标识；步骤Se5(图中未示出)、将处理标识至云端服务器，根据处理标识对云端服务器中的任一异常识别结果进行标记。若边缘设备上的通信模块接收到了授权对象通过待通信终端发出的回复指令，回复指令为针对于其对应的异常识别结果的回复，通过对在待通信终端上已经回复的预警事件进行标记，可避免授权对象在云端管理平台处重复处理。
参照图5，上述实施例从方法流程的角度介绍一种基于边云协同的视频分析方法，下述实施例从虚拟模块或者虚拟单元的角度介绍了一种基于边云协同的视频分析装置1001，具体详见下述实施例。
一种基于边云协同的视频分析装置1001，装置包括：
获取模块1001，用于获取通过目标摄像头采集到的监控视频流；
抽帧模块1002，用于基于获取到的目标摄像头对应的算法配置信息对监控视频流进行抽帧，获取多个当前帧；
比对模块1003，用于将每个当前帧分别与已获取到的误预警图片集进行相似度对比，生成每个当前帧各自对应的相似度值；
筛选模块1004，用于将各个相似度值分别与误预警阈值进行比较，将相似度值大于等于误预警阈值的图片作为相似帧，将相似度值小于误预警阈值的图片作为非相似帧；
识别模块1005，用于将非相似帧输入至算法配置信息对应的智能算法模型，生成识别结果，将相似帧过滤。
在一种可能的实现方式中，比对模块1003在将任一当前帧与已获取到的误预警图片集进行相似度对比，生成任一当前帧对应的相似度值时，具体用于：
误预警图片集包括至少一个图片组，图片组中包含被标记的核心误报图片；
将任一当前帧分别与每个图片组进行相似度对比，生成各个第一相似度值，将数值最大的第一相似度值作为任一当前帧对应的相似度值；
其中，将任一当前帧与任一图片组进行相似度对比，生成第一相似度值，包括：
若图片组中包含与核心误报图片相关的关联图片，则根据任一当前帧生成推理图片组，推理图片组中包含与各个关联图片对应的衍生图片；
将推理图片组与任一图片组进行相似度对比，生成任一当前帧与任一图片组之间的第一相似度值。
在一种可能的实现方式中，比对模块1003在根据任一当前帧生成推理图片组时，具体用于：
确定核心误报图片的第一时间戳，以及任一当前帧的第二时间戳；
确定第一时间戳与第二时间戳之间的时间差；
获取每个关联图片的时间戳；
根据每个关联图片的时间戳以及时间差，确定每个关联图片各自对应的采集时间点；
根据每个采集时间点在监控视频流中抽取各个图片作为各个衍生图片；
根据任一当前帧以及每个衍生图片，生成推理图片组。
在一种可能的实现方式中，比对模块1003在将推理图片组与任一图片组进行相似度对比，生成任一当前帧与任一图片组之间的第一相似度值，时，具体用于：
确定任一当前帧与核心误报图片之间的第一相似度；
确定每个关联图片与每个关联图片各自对应的衍生图片之间的第二相似度；
根据第一相似度以及各个第二相似度，生成任一当前帧与任一图片组之间的第一相似度值。
在一种可能的实现方式中，抽帧模块1002在基于获取到的目标摄像头对应的算法配置信息对监控视频流进行抽帧，获取多个当前帧，时，具体用于：
对视频传输协议解封装，生成h264或者h265格式的监控视频流；
对监控视频流进行解码得到RGB颜色空间或者YUV颜色空间的图片帧信息；
按获取到的抽帧间隔定时抽取帧数据；
对帧数据进行伸缩操作，得到设定的分辨率图片；
对伸缩操作后的图片进行编码以获取多个当前帧。
在一种可能的实现方式中，分析装置还包括连接模块，模块用于在将非相似帧输入至算法配置信息对应的目标算法模型，生成识别结果，在识别结果表征异常时，则将异常识别结果发送至云端服务器，并存储异常识别结果；
若异常识别结果的个数大于等于一，则搜寻待通信终端，待通信终端为能够与边缘设备进行通信的终端；
若在设定的感应范围内检测到待通信终端，则将异常识别结果发送至待通信终端。
在一种可能的实现方式中，连接模块在将异常识别结果发送至待通信终端，之后具体用于：
若获取到待通信终端发出的基于任一异常识别结果的回复指令，则将已存储的任一异常识别结果删除，生成处理标识；
将处理标识至云端服务器，根据处理标识对云端服务器中的任一异常识别结果进行标记。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例还从实体装置的角度介绍了一种电子设备，如图6所示，图6所示的电子设备1100包括：处理器1101和存储器1103。其中，处理器1101和存储器1103相连，如通过总线1102相连。可选地，电子设备1100还可以包括收发器1104。需要说明的是，实际应用中收发器1104不限于一个，该电子设备1100的结构并不构成对本申请实施例的限定。
处理器1101可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器1101也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线1102可包括一通路，在上述组件之间传送信息。总线1102可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线1102可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器1103可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器1103用于存储执行本申请方案的应用程序代码，并由处理器1101来控制执行。处理器1101用于执行存储器1103中存储的应用程序代码，以实现前述方法实施例所示的内容。
其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。还可以为服务器等。图6示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种基于边云协同的视频分析方法，其特征在于，包括：
获取通过目标摄像头采集到的监控视频流；
基于获取到的所述目标摄像头对应的算法配置信息对所述监控视频流进行抽帧，获取多个当前帧；
将每个所述当前帧分别与已获取到的误预警图片集进行相似度对比，生成每个所述当前帧各自对应的相似度值；
将各个相似度值分别与误预警阈值进行比较，将相似度值大于等于所述误预警阈值的图片作为相似帧，将相似度值小于所述误预警阈值的图片作为非相似帧；
将所述非相似帧输入至所述算法配置信息对应的智能算法模型，生成识别结果，将所述相似帧过滤。
2.根据权利要求1所述的方法，其特征在于，将任一当前帧与已获取到的误预警图片集进行相似度对比，生成所述任一当前帧对应的相似度值，包括：
所述误预警图片集包括至少一个图片组，所述图片组中包含被标记的核心误报图片；
将任一当前帧分别与每个所述图片组进行相似度对比，生成各个第一相似度值，将数值最大的所述第一相似度值作为所述任一当前帧对应的相似度值；
其中，将所述任一当前帧与任一图片组进行相似度对比，生成第一相似度值，包括：
若所述图片组中包含与核心误报图片相关的关联图片，则根据所述任一当前帧生成推理图片组，所述推理图片组中包含与各个所述关联图片对应的衍生图片；
将所述推理图片组与所述任一图片组进行相似度对比，生成所述任一当前帧与所述任一图片组之间的第一相似度值。
3.根据权利要求2所述的方法，其特征在于，根据所述任一当前帧生成推理图片组，包括：
确定所述核心误报图片的第一时间戳，以及所述任一当前帧的第二时间戳；
确定所述第一时间戳与所述第二时间戳之间的时间差；
获取每个所述关联图片的时间戳；
根据每个关联图片的时间戳以及所述时间差，确定每个关联图片各自对应的采集时间点；
根据每个所述采集时间点在所述监控视频流中抽取各个图片作为各个衍生图片；
根据所述任一当前帧以及每个所述衍生图片，生成所述推理图片组。
4.根据权利要求2所述的方法，其特征在于，所述将所述推理图片组与所述任一图片组进行相似度对比，生成所述任一当前帧与所述任一图片组之间的第一相似度值，包括：
确定所述任一当前帧与所述核心误报图片之间的第一相似度；
确定每个所述关联图片与每个所述关联图片各自对应的衍生图片之间的第二相似度；
根据所述第一相似度以及各个所述第二相似度，生成所述任一当前帧与所述任一图片组之间的第一相似度值。
5.根据权利要求1所述的方法，其特征在于，所述基于获取到的目标摄像头对应的算法配置信息对所述监控视频流进行抽帧，获取多个当前帧，包括：
对视频传输协议解封装，生成h264或者h265格式的所述监控视频流；
对所述监控视频流进行解码得到RGB颜色空间或者YUV颜色空间的图片帧信息；
按获取到的抽帧间隔定时抽取帧数据；
对所述帧数据进行伸缩操作，得到设定的分辨率图片；
对伸缩操作后的图片进行编码以获取多个当前帧。
6.根据权利要求1所述的方法，其特征在于，将所述非相似帧输入至所述算法配置信息对应的目标算法模型，生成识别结果，之后还包括：
若所述识别结果表征异常，则将异常识别结果发送至云端服务器，并存储所述异常识别结果；
若所述异常识别结果的个数大于等于一，则搜寻待通信终端，所述待通信终端为能够与边缘设备进行通信的终端；
若在设定的感应范围内检测到待通信终端，则将所述异常识别结果发送至所述待通信终端。
7.根据权利要求6所述的方法，其特征在于，所述将异常识别结果发送至所述待通信终端，之后还包括：
若获取到所述待通信终端发出的基于任一所述异常识别结果的回复指令，则将已存储的所述任一异常识别结果删除，生成处理标识；
将所述处理标识至所述云端服务器，根据所述处理标识对所述云端服务器中的所述任一异常识别结果进行标记。
8.一种基于边云协同的视频分析装置，其特征在于，所述装置包括：
获取模块，用于获取通过目标摄像头采集到的监控视频流；
抽帧模块，用于基于获取到的所述目标摄像头对应的算法配置信息对所述监控视频流进行抽帧，获取多个当前帧；
比对模块，用于将每个所述当前帧分别与已获取到的误预警图片集进行相似度对比，生成每个所述当前帧各自对应的相似度值；
筛选模块，用于将各个相似度值分别与误预警阈值进行比较，将相似度值大于等于所述误预警阈值的图片作为相似帧，将相似度值小于所述误预警阈值的图片作为非相似帧；
识别模块，用于将所述非相似帧输入至所述算法配置信息对应的智能算法模型，生成识别结果，将所述相似帧过滤。
9.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202210676243.1A 2022-06-15 2022-06-15 基于边云协同的视频分析方法、装置、电子设备及介质 Pending CN115103157A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210676243.1A CN115103157A (zh) 2022-06-15 2022-06-15 基于边云协同的视频分析方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210676243.1A CN115103157A (zh) 2022-06-15 2022-06-15 基于边云协同的视频分析方法、装置、电子设备及介质

Publications (1)

Publication Number Publication Date
CN115103157A true CN115103157A (zh) 2022-09-23

Family

ID=83290854

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210676243.1A Pending CN115103157A (zh) 2022-06-15 2022-06-15 基于边云协同的视频分析方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN115103157A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115981874A (zh) * 2023-03-20 2023-04-18 天津大学四川创新研究院 基于云边协同的去中心化ai分析与数据存储方法及系统
CN116055338A (zh) * 2023-03-28 2023-05-02 杭州觅睿科技股份有限公司 一种误报消除方法、装置、设备及介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115981874A (zh) * 2023-03-20 2023-04-18 天津大学四川创新研究院 基于云边协同的去中心化ai分析与数据存储方法及系统
CN115981874B (zh) * 2023-03-20 2023-06-13 天津大学四川创新研究院 基于云边协同的去中心化ai分析与数据存储方法及系统
CN116055338A (zh) * 2023-03-28 2023-05-02 杭州觅睿科技股份有限公司 一种误报消除方法、装置、设备及介质
CN116055338B (zh) * 2023-03-28 2023-08-11 杭州觅睿科技股份有限公司 一种误报消除方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN102752574B (zh) 一种视频监控系统及方法
CN115103157A (zh) 基于边云协同的视频分析方法、装置、电子设备及介质
CN111401161A (zh) 基于智能视频分析算法实现行为识别的智慧建筑管控系统
US20170034483A1 (en) Smart shift selection in a cloud video service
EP3087734A1 (en) Smart view selection in a cloud video service
CN110659391A (zh) 一种视频侦查方法及装置
CN111047824B (zh) 一种室内儿童看护联动控制预警方法及系统
KR102296274B1 (ko) 사용자 학습 기반 딥러닝 객체 인식 서비스 제공 방법
CN110830772A (zh) 一种厨房视频分析资源调度方法、装置及系统
CN109495723A (zh) 一种基于雾计算的家用智能监控系统
CN111950484A (zh) 高空抛物信息的分析方法及电子设备
CN113378616A (zh) 视频分析方法、视频分析的管理方法及相关设备
CN109857891A (zh) 一种查询方法及装置
CN111223011A (zh) 一种基于视频分析的餐饮企业食品安全监管方法及系统
CN111178241A (zh) 一种基于视频分析的智能监控系统及方法
CN110716973A (zh) 基于大数据的安全事件上报平台及方法
CN112087604A (zh) 一种基于图像识别的监控视频智慧管控方法
CN113239792A (zh) 一种大数据分析处理系统和方法
CN113723184A (zh) 基于智能网关的场景识别系统、方法、装置和智能网关
CN115273231A (zh) 信息处理方法、装置、存储介质及电子设备
CN110505438B (zh) 一种排队数据的获取方法和摄像机
KR101964230B1 (ko) 데이터 처리 시스템
CN109120896B (zh) 安防视频监控卫士系统
CN103974037A (zh) 一种基于网络视频云的实时检索系统及其方法
CN113783862B (zh) 一种边云协同过程中进行数据校验的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination