CN116980569A - 一种基于云计算的安全监控系统及方法 - Google Patents

一种基于云计算的安全监控系统及方法 Download PDF

Info

Publication number
CN116980569A
CN116980569A CN202311091502.5A CN202311091502A CN116980569A CN 116980569 A CN116980569 A CN 116980569A CN 202311091502 A CN202311091502 A CN 202311091502A CN 116980569 A CN116980569 A CN 116980569A
Authority
CN
China
Prior art keywords
data
video
frame
coding
compression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311091502.5A
Other languages
English (en)
Inventor
高花妹
卜玮
陈学武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202311091502.5A priority Critical patent/CN116980569A/zh
Publication of CN116980569A publication Critical patent/CN116980569A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • G06F9/4843Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请公开了一种基于云计算的安全监控系统,涉及视频图像处理领域,包括:视频采集设备上采集实时视频数据流;接收采集得到的视频数据流,并上传至云平台的对象存储服务;根据视频内容分析的需求,将不同的计算视觉分析算法和处理流程封装为函数服务;利用云平台的队列服务对各个函数服务任务进行调度,触发执行无服务器函数;调用函数服务对视频数据流进行分析,并使用云平台的加速计算资源,将分析结果输出至对象存储;实例间通过虚拟网络互连;利用云平台的监控系统监测任务执行状态并记录日志;从对象存储获取分析结果并输出。针对现有技术中视频流数据处理效率低的问题,本方案利用云计算的弹性、分布式和函数计算,提升了数据处理效率。

Description

一种基于云计算的安全监控系统及方法
技术领域
本发明涉及视频图像处理领域,特别涉及一种基于云计算的安全监控系统及方法。
背景技术
随着社会的发展和进步,安全监控系统在各个领域中起着越来越重要的作用。安全监控系统使用视频监控设备来收集和处理实时的视频流以确保公共安全和监控关键区域。然而,随着技术的不断发展,监控设备产生的视频数据量不断增加,给安防监控系统带来了巨大的挑战。传统的视频处理方法面临着性能瓶颈,无法有效地处理海量的视频流数据,导致数据处理的效率低下和延迟增加。
在相关技术中,比如中国专利文献CN115994023B中提供了一种视觉智能系统资源信息调度方法、装置、终端及介质,包括:获取视频计算设备的设备资源信息,对设备资源信息进行结构化和量化处理,获取至少一个视频计算设备结构化和量化处理后的资源信息,并创建资源池;对获取的任务信息进行结构化和量化处理,并根据结构化和量化处理后的任务信息和资源池中的设备资源信息进行任务调度;根据任务运行情况更新各视频计算设备资源信息,并更新资源池以及资源池中空闲作业槽的信息。但是该方案至少存在如下技术问题:该方案基于异构视频计算设备的任务调度,设备性能存在瓶颈,无法实现弹性扩展来对安全监控海量视频流进行处理,视频计算设备之间缺乏协同以及资源调度策略过于复杂导致数据处理效率低。
基于此,有必要研究一种基于云计算的安全监控系统及方法,来提高安防监控系统中海量视频流的数据处理效率。
发明内容
1.要解决的技术问题
针对现有技术中存在的安全监控视频流处理效率低的问题,本发明提供了一种基于云计算的安全监控系统,充分利用云计算的弹性、分布式和函数计算等优势,实现对大量视频流数据的高效采集、传输、存储、分析和输出,大幅提升了数据处理效率。
2.技术方案
本说明书实施例提供一种基于云计算的安全监控系统,包括:数据采集模块,运行在云计算平台上的多个虚拟机或容器内,在视频采集设备上采集实时视频数据流;数据上传模块,接收采集到的视频数据流,并上传至云平台的对象存储服务;任务封装模块,用于根据视频内容分析的需求,将不同的计算视觉分析算法和处理流程封装为函数服务;任务调度模块,利用云平台的队列服务对各个函数服务任务进行调度,触发执行无服务器函数;任务执行模块,调用函数服务对视频数据流进行分析,并使用云平台的加速计算资源,将分析结果输出至对象存储;网络通信模块,用于实例间的虚拟网络互连;监控管理模块,利用云平台的监控系统监测任务执行状态并记录日志;结果输出模块,从对象存储获取分析结果并输出。
进一步地,数据采集模块包括:采集管理单元,下发每个采集代理单元需要采集的视频流参数,视频流参数包含流ID和时间段;多个采集代理单元,根据视频流参数调用设备API获取原始视频流,并利用FFmpeg进行本地转码处理;本地处理单元,对采集的原始视频流利用轻量级深度学习模型进行视频内容解析和目标检测处理。
进一步地,采集代理单元包括:分离子单元,调用FFmpeg中的解复用器对输入的视频流进行分离,获取独立的音频流和视频流;视频处理子单元,使用FFmpeg中的转码器对视频流进行编码格式、分辨率和码率的转码处理,输出转码后的视频流;音频处理子单元,使用FFmpeg中的重采样器对音频流进场采样率、声道数和采样位数的压缩处理,输出压缩后的音频流。
进一步地,数据上传模块包括:数据分片单元,按预设时间间隔对视频流进行分片,生成多个数据块;校验单元,对各数据块进行内容校验,跳过冗余或损坏的数据块;编码压缩单元,对校验通过的数据块进行压缩编码以降低数据量;加密单元,使用AES加密算法对压缩编码后的数据块进行加密;上传管理单元,管理多个上传线程,将校验、压缩和加密后的数据块分配给各上传线程;上传执行单元,包含多条并行工作的上传线程,将分配的数据块上传至服务器;其中,各个单元通过消息队列连接,上传管理单元根据网络状况动态调整上传参数。
进一步地,压缩单元:视频分析子单元,对视频流进行内容解析,检测出重要区域,并按区域重要程度对不同区域设定不同的压缩率和质量控制参数,生成区域重要性映射;压缩编码子单元,根据区域重要性映射,将视频流分为静态场景区域和动态场景区域,对静态场景区域采用P帧间预测编码,对动态场景区域采用B帧间预测编码,并根据场景类型设定不同的压缩控制参数,输出压缩比特流;压缩控制子单元,实时分析压缩比特流和压缩效果,并向压缩编码子单元输出压缩参数的调控信号;其中,视频分析子单元采用计算机视觉和机器学习算法检测包含人脸、文本和车辆的重要区域;压缩参数包含压缩率、滤波参数和量化步长。
进一步地,压缩编码子单元包括:静态场景编码子单元,仅对静态场景区域的第一帧图像进行内部编码作为静态场景I帧,对后续帧进行帧间编码作为P帧,P帧通过运动补偿与前一静态场景I帧或P帧进行预测,生成差量图像;动态场景编码子单元,对动态场景区域的图像帧进行帧间编码作为B帧,B帧分别与前一静态场景I帧或P帧和后一静态场景I帧或P帧进行双向运动补偿预测,生成差量图像;率控制子单元,根据静态场景区域和动态场景区域的不同特征,采用不同的码率控制策略;熵编码子单元,对编码后的差量数据进行熵编码,输出压缩比特流;其中,码率控制子单元采用的不同码率控制策略为:对静态场景区域,设置低于阈值的目标码率;对动态场景区域,设置高于阈值的目标码率;码率控制子单元根据设置的码率控制策略调整量化步长,以控制各区域的实际输出码率。
进一步地,压缩编码子单元在对不同数据块的场景区域进行压缩编码时,对块间边界帧进行隔离处理,不进行跨块的帧间预测;并在各数据块边界处插入不依赖其他帧的独立编码帧,以减少不同数据块之间的冗余信息;其中,独立编码帧的插入仅在块边界处进行,数据块内采用交错帧间预测编码结构;插入独立编码帧后,重置数据块间的帧间预测链;独立编码帧的间隔根据视频帧率和数据块时长来设置。
进一步地,任务封装模块包括:算法判断单元,根据数据块数量,判断需要实例化的算法执行单元的个数;算法复制单元,根据算法判断单元的输出的个数,实例化生成多个算法执行单元;加载分发单元,将不同的数据块分发给不同的算法执行单元进行处理;多个算法执行单元,对各自分发的数据块执行模型推理运算;结果聚合单元,获取各算法执行单元的输出结果,进行聚合整合;扩容单元,根据输入数据量的变化动态调整算法执行单元的个数。
进一步地,算法执行单元包括:模型加载子单元,从模型库中提取多个不同的模型,加载到各自的模型内存区;模型执行子单元,根据数据块的特征,采用基于内容的模型调度方式,获取需要进行推理的模型,并利用该模型对数据块进行推理运算;后处理子单元,使用GPU异构计算并行执行推理结果的后处理;结果输出子单元,使用锁机制输出不同数据块的推理结果,并在不同线程间设置同步机制。
进一步地,结果聚合单元包括:缓存队列,缓存各个算法执行单元输出的推理结果;优先级排序器,根据结果数据的优先级和权重对缓存队列进行排序;目标结果提取器,从排序后的缓存队列中提取出目标结果,目标结果包含目标检测结果、目标识别结果和目标跟踪结果;规则引擎,使用预设规则对提取的目标结果进行逻辑增强和融合处理;冗余过滤器,对融合后的结果进行冗余去重;流输出接口,以流形式输出冗余去重后的最终结果。
3.有益效果
相比于现有技术,本发明的优点在于:
并行分布式采集视频流数据:通过在云平台的多个虚拟机和容器上部署采集代理,实现对海量视频流的并行采集,提高数据获取效率。
弹性扩展的并行计算资源:通过利用云计算的弹性伸缩特点,按需创建算法执行单元,实现对大量视频流数据的并行分析,提升计算效率。
无服务器函数和队列服务任务调度:通过使用无服务器函数编程模型和云队列服务,实现视频流分析任务的弹性调度,无需维护服务器,提高资源利用效率。
综上,该方案通过并行分布式采集、弹性扩展的并行计算以及无服务器函数任务调度等手段,解决了海量视频流数据采集、传输、存储、计算和输出的效率瓶颈,显著提升了视频流分析和处理的效率。
附图说明
本说明书将以示例性实施例的方式进一步描述,这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的,在这些实施例中,相同的编号表示相同的结构,其中:
图1是根据本说明书的一些实施例所示的一种基于云计算的安全监控系统的示例性模块图;
图2是根据本说明书的一些实施例所示的数据采集模块的示意图;
图3是根据本说明书的一些实施例所示的数据上传模块的示意图;
图4是根据本说明书的一些实施例所示的任务封装模块的示意图。
图中编号:100、一种基于云计算的安全监控系统;110、数据采集模块;120、数据上传模块;130、任务封装模块;140、任务调度模块;150、任务执行模块;160、网络通信模块;170、监控管理模块;180、结果输出模块;111、采集管理单元;112、采集代理单元;113、本地处理单元;121、数据分片单元;122、校验单元;123、编码压缩单元;124、加密单元;125、上传管理单元;126、上传执行单元;131、算法判断单元;132、算法复制单元;133、加载分发单元;134、算法执行单元;135、结果聚合单元;136、扩容单元。
具体实施方式
名词解释
云计算平台是指使用云计算服务构建的IT基础设施,用于部署和运行各种应用系统与服务。该平台利用云计算的特性,提供计算、存储、网络等资源的弹性扩展能力,并实现资源的虚拟化和池化,支持按需分配和释放资源。主要的云计算平台服务包括:IaaS(基础设施即服务),提供服务器、存储、网络等基础IT资源。如阿里云ECS。PaaS(平台即服务),提供数据库、中间件、运行环境等平台级服务。如阿里云MongoDB。SaaS(软件即服务),提供直接可用的云软件和应用。如阿里云对象存储OSS。FaaS(函数即服务),提供无服务器的事件驱动计算。如阿里云函数计算FC。在本方案中,云计算平台可以提供海量的数据存储、并行计算资源、不同网络环境等能力,来部署流处理、结果存储、云函数等核心服务,实现弹性、安全、高效的视频流分析与处理。
虚拟机(Virtual Machine)是指通过软件仿真模拟的计算机系统环境。它基于物理主机之上,模拟各种硬件设备和系统环境,在其上运行各种应用程序和操作系统。虚拟机的主要特征包括:资源隔离,每个虚拟机拥有独立的系统资源,相互隔离。环境封装,虚拟机内部的应用程序对外部是不可见的。按需分配,可以根据需要动态调整虚拟机的配置。高可移植性,虚拟机与底层物理平台无关,可以跨平台迁移。在本方案中,可以在云计算平台上创建虚拟机,用于部署视频采集模块、编码处理模块、结果存储模块等,并配置所需的计算、存储、网络资源。
容器(Container)是一种轻量级的虚拟化技术,它提供了应用程序运行所需的标准化环境。容器的主要特征包括:资源隔离,每个容器有自己独立的文件系统、CPU、内存等资源。轻量高效,容器直接运行于宿主机内核,无需额外的虚拟化层。封装方便,将应用程序及其所有依赖封装为一个标准化单元。高移植性,容器与运行环境无关,可以跨平台迁移。在本方案中,可以使用容器技术在云计算平台上部署各个功能模块,如视频流处理容器、存储容器等。
对象存储(Object Storage)是一种用于存储和访问非结构化数据的存储模式。它的特点包括:面向对象:数据以对象的形式进行存储,每个对象包含数据、元数据等。统一命名空间,对象在存储池中拥有全局唯一的标识符和定位符。可扩展性强,可以线性扩展存储能力,不受容量限制。高持久性,对象存储具有高度冗余机制,确保数据持久可用。访问方便:可以通过简单的RESTful API进行对象存取。在本方案中,可以使用对象存储服务存储生成的海量视频流数据和处理结果。它具有可靠、可扩展、高性能等特点,非常适合大规模非结构化数据的存储,能够很好地满足系统需要。
封装成函数,将视频流处理等具体业务功能封装成Functions(函数)在云计算平台上运行。函数的主要特点是:事件驱动,函数由触发事件启动,实现异步处理。无服务器:不需要管理运行环境,按使用付费。自包含,函数包含所有运行所需依赖。微服务,函数可以看作细粒度的服务,易扩展。状态无关,函数不保留状态,请求相互独立。在本方案中,可以将视频解码、内容分析等处理步骤封装成函数运行在云平台上。相比虚拟机,函数更轻量和弹性,不需管理运行环境,实现函数的无服务器计算。
队列服务(Queue Service)是一种用于传递消息的服务,主要具有以下特点:异步处理:发送方向队列发送消息后可以继续处理其他任务,不需要同步等待消费。解耦合,通过队列可以实现消息发送方和接收方的解耦。消息缓冲,队列可作为消息缓冲区,平滑消息处理的速率差异。负载均衡,多个接收方可以共享一个队列,实现负载分配。在本方案中,可以使用队列服务处理视频流传输和分析结果的异步消息通信。队列服务实现了不同模块之间的解耦合,提高了系统的灵活性、稳定性和扩展性。
无服务函数(Serverless Function)在本方案中的含义是:无服务函数是一种事件驱动、弹性的计算服务,具有以下特征:无服务器:不需要购买和管理服务器,完全由云提供商管理资源。弹性扩缩,函数会根据事件负载自动扩展和缩减。按使用付费,只需要为函数执行时间和使用资源付费。事件驱动,函数由事件触发并运行,完成后停止。短生命周期,函数会频繁创建和销毁,生命周期短。在本方案中,可以使用无服务函数来执行视频流分析、处理等任务。相比虚拟机,无服务函数更灵活、弹性,可以根据视频流量进行自动扩缩容,降低资源成本。它适合处理事件驱动的短生命周期任务,能够满足流式视频处理的需求。
对象存储(Object Storage)是一种用于存储和访问非结构化数据的存储模式。它的特点包括:面向对象,数据以对象的形式进行存储,每个对象包含数据、元数据等。统一命名空间,对象在存储池中拥有全局唯一的标识符和定位符。可扩展性强,可以线性扩展存储能力,不受容量限制。高持久性,对象存储具有高度冗余机制,确保数据持久可用。访问方便:可以通过简单的RESTful API进行对象存取。在本方案中,可以使用对象存储服务存储生成的海量视频流数据和处理结果。它具有可靠、可扩展、高性能等特点,非常适合大规模非结构化数据的存储,能够很好地满足系统需要。相比传统的文件系统,对象存储更适合云计算环境,可以随需应变地扩展存储能力。
虚拟网络互连(VPC,Virtual Private Cloud)是通过软件定义的逻辑隔离网络环境。其主要特征包括:逻辑隔离,在同一物理网络基础设施上创建逻辑隔离的网络。安全控制,用户可以定义网络访问策略、ACL规则等。网络自定义,支持自由定义IP地址范围、路由策略等。弹性扩展,可以随需求弹性调整网络能力。私有连接,支持不同VPC间或者用户本地网络的私有连接。在本方案中,可以通过虚拟网络互连将视频采集、处理、存储等模块创建在同一个逻辑隔离的网络下,进行安全、高速的内部通信,提升系统交互效率。相比物理网络,虚拟网络提供了可自定义、可扩展、可控制的网络环境,更适合云计算的部署需求。
API是一种软件接口,用于不同的应用程序之间进行交互和通讯。在本方案中,API主要具有以下作用:对外服务接口,通过定义公开的API,外部系统可以访问视频分析结果。内部模块交互接口,模块之间通过预定义的API进行数据交换和调用。云服务访问接口,用于调用云平台提供的各种服务接口。管理和控制接口,用于采集端、处理模块之间的管理对接。鉴权和认证接口,用于对访问服务进行安全控制。异步任务接口,用于事件驱动任务的触发及状态监控。日志和监控接口,用于数据上报和跟踪。相较直接依赖点对点连接的交互方式,使用统一预定义的API接口,可以提高模块之间的解耦合性、可扩展性和互操作性。
数据块(Block)是数据存储的基本单元,是构成文件系统或对象存储的最小存储单位。数据块具有以下特征:固定大小,每个数据块大小固定,通常为数KB到数MB。唯一标识,每个数据块有唯一的标识符,用于定位和读取。独立存储,数据块可以独立存储和管理,不必与其他数据块存储在一起。构建文件,一个文件可以由多个数据块构成,数据块可以组合使用。在本方案中,视频流或处理结果可以分割成多个数据块后进行存储。相比整体文件,使用数据块存储可以实现,并行处理,可对不同数据块同时读写,提高速度。冗余降低,重复数据块只存储一份。可扩展性,灵活使用更多数据块扩充存储。因此,使用数据块可以提高大规模数据的存储效率。
视觉分析算法指的是对视频流内容进行自动化分析处理的一系列视觉算法,主要包括:目标检测算法:检测每个视频帧中特定目标(人、车等)的位置,并标注出来。目标跟踪算法,跟踪视频流中目标的运动轨迹和状态变化。场景解析算法,分析视频场景的语义信息,如室内、室外、道路等。行为分析算法,检测视频中出现的特定行为模式,如跌倒等。特征提取算法,从视频帧中提取特定视觉特征,如SIFT、HOG等。图像分类算法,将视频帧分类到特定类别中,如狗、猫等。质量预测算法,预测和评估视频画面质量。通过这些视觉算法的处理,可以实现视频内容的机器理解,并提取重要的分析结果作为后续处理的输入,实现自动化的视频分析与挖掘。
无服务器函数(Serverless Function)指的是一种事件驱动、自动缩放的计算单元。其主要特征是:无服务器,不需要购买和管理服务器,完全托管在云端。弹性伸缩,函数会根据负载自动扩缩容,无需人工干预。按用付费,只需为函数执行时间和使用资源付费。事件驱步调动,函数由事件触发执行,完成后自动销毁。短生命周期,函数频繁创建和销毁,生命周期短。自包含,函数包含必要的运行环境和依赖。在本方案中,可以使用无服务器函数来执行视频解码、分析、编码等处理步骤。
GPU(图形处理单元)的作用是利用其并行计算能力,加速视频内容分析等计算密集型任务。GPU的主要优势包括:流处理器架构,数以千计的小核心,可用于大规模并行计算。更高算力,相比CPU,GPU拥有更多算力,尤其适合矩阵运算。高内存带宽:内存带宽远高于CPU,数据传输更快。可编程性,可以通过CUDA、OpenCL等进行GPU编程。协处理器角色,配合CPU构成异构计算系统。在本方案中,可以使用GPU加速执行视觉分析模型(如检测、分类)的推理过程,显著减少处理时间。相比CPU,GPU对视频编码/解码也有更本地化的硬件优化支持。GPU还可以用于神经网络模型的训练过程加速。是实现高效视频分析的关键硬件。
虚拟网络指的是基于软件定义的逻辑网络。虚拟网络的主要特征包括:逻辑隔离,在物理网络基础设施上创建逻辑隔离的网络。网络控制,可以实现对网络的细粒度控制。安全隔离,不同租户的网络逻辑隔离,提高安全性。弹性扩展,网络可以动态扩展,按需使用。网络定制,可以自定义网络拓扑、地址空间等。虚拟互联,支持不同虚拟网络之间的互联互通。在本方案中,可以使用虚拟网络将视频处理系统的不同组件隔离连接,进行安全高速的组件间通信,提高系统扩展性和灵活性。相比物理网络,虚拟网络提供了可定制性、安全性、隔离性等优势。
FFmpeg是一套开源的多媒体框架,提供了非常完整和高效的音视频处理解决方案。它包含了多媒体数据抓取、编码、转换、封装等功能,是实时流媒体应用中的核心引擎。在本整体技术方案中,FFmpeg主要应用在数据采集模块的本地转码处理中。它可以通过调用设备API获取原始视频流数据,然后利用其自身支持的硬件编码能力,对原始数据进行实时转码、压缩和格式转换处理。这大幅减少了原始数据量,降低后续的存储、处理和传输成本。同时,FFmpeg实现了对主流音视频编解码的全面支持,提供了丰富的媒体处理接口。这为数据采集、压缩编码、Feature提取等模块的实现提供了基础。
AES(Advanced Encryption Standard)是一种对称加密算法,是当今最广泛使用的高级加密标准。其安全性高、实现容易且速度快,适用于各种环境。在本方案的数据上传模块中,AES加密算法应用在加密单元对压缩编码后的数据块进行加密处理,确保视频数据在网络传输和云存储过程中的安全性。AES支持128/192/256位可变密钥长度。AES加密算法经过多年发展已具备软硬件实现和优化,在各类处理器和运算加速卡上都可获得很高的性能,满足海量视频加密的实时处理需要。
P帧间预测编码是视频压缩编码中的一种帧间预测技术。它利用当前帧与之前帧之间的关联性和冗余性来提高编码效率。具体做法是:在一定的帧间隔内,对某个帧进行内部编码作为参考帧,这通常是静态场景的第一帧I帧。之后此I帧和其后续帧之间使用运动补偿技术建立关联,后续帧不再独立编码,而是与I帧进行预测,生成差分帧作为P帧。相比直接编码每一帧,P帧只编码两帧之间的差异,大幅提高了编码效率,可获得高压缩率。同时保留了较好的图像质量。在本方案中,P帧预测编码技术主要应用于静态场景区域的压缩编码,与动态B帧预测编码技术配合,实现内容感知压缩编码。其高效率压缩特点,降低了存储和网络负载,提升了系统处理能力。
B帧间预测编码是视频压缩编码中的一种双向预测帧间编码技术。它利用前后参考帧对当前帧进行运动补偿预测。具体做法是:在编码顺序中,对于编码的B帧,分别与其之前和之后的P帧或I帧建立关联,进行双向预测。生成当前B帧与前后参考帧的差分数据作为编码结果。相比单向P帧预测,B帧预测使用了未来帧的信息,可以获得更精确的预测,具有更高的压缩率。但编码延迟也较大。在本方案中,B帧预测编码技术主要应用于动态场景区域的压缩编码,与静态P帧预测编码技术配合使用,以发挥各自的优势,实现内容感知的智能压缩编码,大幅提高编码效率。
运动补偿是视频压缩编码中使用的一种帧间预测技术。它通过评估和检测相邻帧之间物体/场景的运动变化,建立两帧之间的运动模型,然后进行补偿以减少其差异。具体来说,对于相邻的两帧图像,运动补偿技术会检测画面中的运动信息,判断不同区域的移动方向和大小。然后根据运动信息,对后一帧的像素位置进行补偿,将其转换对齐到与前一帧相匹配的位置。这样就可大幅减少两帧之间由运动引起的差异,进而提高基于帧间差分的视频压缩编码效率,实现高质量压缩。在本方案的P帧和B帧间预测编码中,都广泛应用了运动补偿技术,这是实现高效率压缩编码的关键之一。运动补偿技术的精确性直接影响压缩质量。
双向运动补偿是在B帧间预测编码中使用的一种运动补偿技术。它与单向P帧预测中的运动补偿相比,同时使用了当前B帧之前和之后的参考帧来进行预测。具体来说,对于要编码的B帧,双向运动补偿会分别对该B帧与之前的P/I帧和之后的P/I帧进行运动检测和补偿,生成两组运动向量信息。然后,利用这两组运动向量对当前B帧进行双向预测,分别从前后参考帧中查找到与当前帧匹配的区域,计算两帧之间的差异来生成预测帧。相比单向预测,双向预测可以更全面地利用前后帧信息来消除当前帧冗余,实现更高效的压缩编码。这是B帧能够达到更高压缩率的关键技术之一。在本方案中,双向运动补偿广泛应用于动态场景的B帧预测编码,发挥其超高压缩比的优势。
逻辑增强技术通过引入先进的知识表示与推理方法,加强系统对知识的理解和利用能力,实现更人性化、符合逻辑的分析行为。具体来说,逻辑增强可采用知识图谱、语义网络等形式来表示系统所需的各类概念及其关系,并使用概率、规则等推理技术进行多步骤的链式推理。还可以引入对话系统增强交互,获取用户反馈来纠正系统错误。在本方案中,逻辑增强技术可应用于视觉分析结果的语义解析、事件关联分析等过程,实现基于深度语义理解的行为分析与判断,达到更符合人类逻辑的智能化分析效果。相比单纯的数据统计方法,逻辑增强可显著提高分析的准确性和可解释性,使系统安全监控和决策更加智能化和可靠。
实施例
为了更清楚地说明本说明书实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见的,下面描述中的附图仅仅是本说明书的一些示例或实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图将本说明书应用于其他类似情景。除非从语言环境中显而易见或另作说明,图中相同标号代表相同结构或操作。
本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是,前面或后面操作不一定按照顺序来精确地执行。相反,可以按照倒序或同时处理各个步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
下面结合附图对本说明书实施例提供的方法和系统进行详细说明。
图1是根据本说明书的一些实施例所示的一种基于云计算的安全监控系统100的示例性模块图,如图1所示,一种基于云计算的安全监控系统100,包括:数据采集模块110、数据上传模块120、任务封装模块130、任务调度模块140、任务执行模块150、网络通信模块160、监控管理模块170和结果输出模块180。
数据采集模块110部署在云平台的虚拟机或容器中,直接在视频设备端采集实时的视频流;数据上传模块120将采集到的视频流上传至云平台的可扩展对象存储服务中;任务封装模块130根据分析需求,将计算视觉算法和处理流程封装成函数服务;任务调度模块140使用云平台的队列服务对函数服务任务进行调度;任务执行模块150调用函数服务执行视频分析,使用云平台的GPU/FPGA等加速资源;网络通信模块160实例间使用云平台的虚拟网络进行互联;监控管理模块170使用云平台的监控系统实时监测任务执行状态;结果输出模块180从对象存储获取分析结果并输出。充分利用云计算的虚拟化、自动扩展、函数服务、加速计算等能力来进行海量视频的采集、存储、分析和服务输出,实现资源弹性、成本优化和智能化监控。
具体地,数据采集模块110、上传模块协同工作,实现对大量视频流的数据高效获取和存储;任务封装模块130利用函数服务的方式封装视频分析算法,配合任务调度模块140实现分析任务的弹性调度;任务执行模块150调用函数服务进行并行分析,利用云平台的加速计算资源,实现高效分布式处理;网络通信模块160保证系统实例间连接互联,监控管理模块170实时监控任务状态;数据上传模块120的压缩编码处理与任务执行模块150的内容感知计算协同工作,减少数据量的同时保证分析效果;任务执行模块150的多个算法执行单元134并行处理不同的数据块,结果聚合单元135将分散的结果融合输出;通过无服务器函数编程模型,实现资源弹性扩展和无需维护服务器的分布式处理;利用云计算平台的虚拟化、对象存储、队列服务等资源,构建弹性、高效地数据处理流水线。
综上所述,针对海量安全监控视频流数据处理存在效率低下的技术问题,本技术方案提出了一个基于云计算的分布式弹性视频流分析处理系统。在视频流采集场景下,数据采集模块110在云平台的多虚拟机上实现分布式并行采集,提高了视频数据的获取效率;数据上传模块120使用数据块、压缩、编码等技术充分利用存储和网络资源,加速了数据传输。在视频流分析场景下,任务封装模块130通过函数服务实现算法的灵活调度,任务执行模块150使用无服务器函数编程模型实现弹性伸缩,以并行的计算资源高效处理海量视频数据。监控管理模块170实时监控保证了处理流程顺畅。在处理结果输出场景下,结果聚合模块融合不同数据块的分析结果,冗余过滤生成精炼的输出。该技术方案充分利用云计算的分布式、弹性特性,通过并行采集、存储优化、内容感知分析和结果聚合,形成了一个高效的端到端视频流分析处理系统,显著提升了海量视频数据的处理效率。
图2是根据本说明书的一些实施例所示的数据采集模块110的示意图,如图2所示,数据采集模块110包括:采集管理单元111、多个采集代理单元112和本地处理单元113,该模块主要完成对海量视频流数据的高效采集和预处理。
其中,数据采集模块110主要完成对原始视频流的采集、预处理和初步内容解析处理,为后续的集中式视频分析提供优化的数据源。主要包含以下单元:采集管理单元111采集管理单元111负责下发采集任务参数给各个采集代理,包括需要采集的视频流ID和时间段等信息;采集代理单元112多个采集代理单元112部署分布式,根据下发的视频流参数,调用设备API获取原始视频流,并使用FFmpeg对视频流进行本地的转码、压缩等处理,以提高编码效率;本地处理单元113本地处理单元113利用轻量级的深度学习模型,对采集到的视频流进行初步的内容解析、目标检测等处理。这可以过滤掉大量无关内容,减少后续传输和存储成本。采集模块通过管理调度、分布式采集、本地预处理等手段,实现对海量视频流的高效采集和优化处理,为集中式视频分析提供高质量、便于解析的结构化数据源,降低后续分析处理的工作量,提升整体处理效率。
其中,采集代理单元112主要完成对原始视频流的采集、分离和预处理工作,以提高后续视频分析处理的效率。其主要包含以下几个功能子单元:分离子单元使用FFmpeg工具中的解复用器,对输入的复杂视频流进行分离,获取独立的音频流和视频流。解复用器可以并行处理多路视频流,充分利用多核CPU进行流分离,实现高速处理;视频处理子单元使用FFmpeg中的硬件编码器对视频流进行格式转码、分辨率调整和比特率压缩等处理。转码器支持GPU和编码芯片进行硬件加速,可以大幅提升视频转码效率。转码后的视频流,分辨率和码率都会大幅降低,便于后续的视频分析处理;音频处理子单元使用FFmpeg中的重采样器对音频流进行采样率、声道数和采样位数的压缩处理。重采样器在保证音质的前提下,可有效降低音频流的数据量。压缩后的音频流可以减少存储和传输开销。通过采用FFmpeg中的成熟媒体处理模块,实现高效流分离、视频/音频并行压缩,可以大幅降低数据量和处理负载,为后续的视频分析处理优化数据源,提升处理效率。
具体地,采集管理单元111下发任务,可以针对性获取所需视频流,避免采集大量冗余数据;调用设备API采集,可以直接获取原始高质量视频数据,避免重复编码质量损失;本地转码处理,可以就近压缩视频,减少原始流量,优化网络传输效率;使用FFmpeg转码,因为其支持硬解码和编码,可以加速处理速度,大幅提升转码效率;本地初步内容解析,可以生成轻量级数据,过滤冗余信息,减少存储和网络负载;使用轻量级模型解析,可以加速处理速度,避免重复构建复杂模型;分布式采集代理,可以并行获取和处理多路视频流,实现流水线,充分利用处理资源。通过管理调度、就近处理、硬件加速、前期过滤等技术手段,可优化视频数据的采集、编码和解析效率,大幅减少冗余数据,为后续集中分析提供优质、精简的数据源,从而提升整体监控效率。
具体地,先分离音视频流,是因为视频与音频处理方式不同,分离后可针对性优化,提升处理效率;使用FFmpeg的解复用器分离流,因为其成熟高效,可并行分离多路流,减少串行等待时间;对视频流转码,是为降低比特率,减少后续分析的数据量,提升处理速度;使用FFmpeg的转码器,因为其支持硬件编码,可快速并行转码多路视频,大幅提升转码效率;对音频流采样压缩,是为了减少音频数据量,降低存储和传输开销;应用FFmpeg的重采样器,是因为其成熟高效,可在保证音质的前提下快速压缩音频流;分离后各子流可并行优化处理,可实现流水线,充分利用处理器资源。通过FFmpeg成熟的媒体处理模块,实现流分离并行处理、视频硬解码转码、音频采样压缩等技术手段,综合优化数据量和处理效率,大幅提升了海量视频采集的性能。
综上,采集模块通过管理单元的统一调度,代理单元的并行采集和本地处理,实现了高效获取、解析和优化视频流数据,解决了海量流并行采集的技术问题,为后续处理提供了有效输入。
图3是根据本说明书的一些实施例所示的数据上传模块120的示意图,如图3所示,数据上传模块120主要完成对采集模块输出的数据进行分片、校验、压缩、加密和上传等处理,将数据安全高效地上传至服务器,其包含以下核心单元:数据分片单元121按一定时间间隔(如5分钟)对采集到的视频流进行分片,生成固定大小的数据块,便于分发上传;校验单元122对分片的数据块进行内容校验,检测并跳过由于采集错误或传输损坏引起的数据缺失,保证上传数据的完整性;编码压缩单元123使用视频编码方案(如H.264)对校验通过的数据块进行压缩编码,显著降低数据量,减少上传带宽压力;加密单元124使用AES加密算法对压缩后的数据块进行加密,确保数据传输和存储的安全性;上传管理单元125动态管理和调配多个上传通道,根据网络状况合理调度数据块上传,提高资源利用效率;上传执行单元126包含多线程并行上传通道,按上传管理单元125的指令,将各数据块快速上传至服务器。通过数据处理、校验、压缩、加密和多通道智能调度上传等技术手段,实现了海量视频数据的安全、高效的上传传输。
其中,压缩单元通过内容感知压缩技术,实现对视频流的有效压缩,其包含以下子单元:视频分析子单元使用计算机视觉和机器学习算法对视频流进行内容解析,检测出包含人脸、文本、车辆等重要目标的区域,生成区域的重要性权重映射;压缩编码子单元根据重要性映射,采用不同的帧内预测编码技术对视频流的静态和动态区域进行编码压缩。对静态场景区域采用P帧预测编码,对动态场景区域采用B帧预测编码,并根据区域类型设定不同的压缩控制参数;压缩控制子单元实时分析压缩后的码流比特率和质量,并向编码单元反馈压缩参数的调控信号,实现压缩效果的优化控制。关键压缩参数包括压缩率、滤波参数和量化步长等。通过内容感知分析和自适应控制,可以有效提高视频压缩质量,生成高压缩率而不失真的比特流。该方案充分利用视频内容信息进行差异化压缩,可以大幅提升压缩效率,降低码流比特率。
其中,压缩编码子单元通过运动补偿帧间编码技术,实现对视频流的压缩编码,其包含以下模块:静态场景编码子单元仅对静态场景区域的首帧进行内部编码作为I帧,对后续帧进行帧间预测编码为P帧。P帧通过运动补偿与前一I帧或P帧进行预测,生成差量帧;动态场景编码子单元对动态场景区域的帧进行双向帧间预测编码为B帧。B帧分别与前后参考帧进行运动补偿,生成差量帧;码率控制子单元根据场景类型采用不同的码率控制策略。对静态场景区域,设置低于阈值的目标码率;对动态场景区域,设置高于阈值的目标码率;熵编码子单元对编码生成的差量数据进行熵编码,输出最终压缩比特流。码率控制模块通过调整量化参数,控制各区域的实际输出码率符合预设策略。该架构充分利用帧间冗余来压缩编码,并针对不同场景类型进行码率控制,可有效提高视频压缩质量和压缩率。
其中,块间边界帧处理,在对不同的数据块进行压缩编码时,压缩编码子单元采取以下技术手段处理块间边界帧:块间隔离处理对数据块间的边界帧不进行跨块的帧间预测,避免引入块间冗余信息;独立编码帧插入在每个数据块的边界处插入不依赖其他数据块的独立编码帧(如I帧),重置块间预测链;间隔设置独立编码帧的插入间隔根据视频帧率和数据块时长动态设定;块内结构保留数据块内部仍采用交错的帧间预测编码结构,不受独立帧插入影响。通过在块边界插入独立编码帧打断块间冗余,可以降低不同数据块之间的信息相关性,提高压缩效果。同时保留块内部的最优编码结构,避免编码效率降低。
具体地,数据分片单元121采用时间分片,保留视频时序信息,且分片后数据量更易管理,有利于后续校验、压缩等运算的并行化,提升效率;校验单元122接受时间分片数据,利用块内帧间信息进行冗余校验,避免全流解码分析,降低计算复杂度;压缩编码单元针对校验后的数据块,采用内容自适应多目标压缩算法,在保证目标清晰度的前提下有效压缩数据量;加密单元124运用AES高速加密算法对压缩后数据进行加密,确保安全性的同时,避免加密成为瓶颈;上传管理单元125根据优先级、网络状况进行加密数据块的多线程调度,提升传输效率;上传执行单元126中多线程并行上传,可充分利用处理器和网络资源,显著增强吞吐量。通过上述技术点的有机组合与衔接,形成从采集到上传的高效安全数据处理方案,以解决海量视频流的采集、压缩、安全传输问题。
具体地,视频分析子单元:采用视觉分析模型对输入视频流进行目标检测,识别行人、车辆等区域。根据检测结果生成区域重要性映射;压缩编码子单元:根据重要性映射,使用自适应多目标压缩策略对输入视频进行编码。对静态背景区域采用I/P帧编码;对运动目标区域采用B帧编码。根据区域类型采用不同压缩控制参数;压缩控制子单元:实时分析压缩效果,输出调控信号动态调整目标区域的清晰度和背景区域的压缩率,实现内容自适应的智能压缩。该压缩单元可以实时对多路高清视频进行内容感知的压缩编码,在降低存储和传输带宽占用的同时,保证重要监控目标的识别效果。
具体地,静态场景编码子单元采用I/P帧编码是因为静态背景区域在时间上相关性强,P帧仅需编码与上一帧的差异即可达到高压缩率,降低码率需求;动态场景编码子单元采用B帧编码是因为运动目标区域时序相关性较弱,B帧能够同时参考前后帧进行运动补偿预测,提高预测效率,进一步压缩动态区域;码率控制子单元采用不同码率控制策略是基于信息论的率失真理论,合理分配码率资源,压缩率与重构质量直接相关;在块边界采用独立编码帧是为了隔离块间帧间预测链,避免预测误差累积带来编码效率下降,也避免了块间不必要的冗余相关性;数据块内采用交错帧间预测编码,充分利用帧间冗余性提高内部压缩率。该压缩编码子单元中运用的帧间预测、运动补偿、自适应码率控制等技术,形成了高效的视频压缩编码技术体系,可显著降低视频流数据量,提升后续处理与传输效率。
更具体地,需要对视频流进行压缩编码以降低数据量,但传统固定比特率编码难以兼顾压缩率和重构质量。静态背景相关性强而时序变化小,运动目标相关性弱而时序变化大,静态场景编码子单元对静态区域采用P帧单向运动补偿预测,因为静态背景在时间上高度相关,仅需要编码与上一帧的差异,可达到很高的压缩率;动态场景编码子单元对运动区域采用B帧双向运动补偿预测,因为运动目标时序相关性较弱,需要借助后续帧进行前向和后向预测,以提高预测精度,从而提高动态区域的压缩率;双向预测编码增加了运算复杂度,只对时序相关性较弱的运动区域进行,而对静态区域继续采用单向预测以保持计算效率。综上,该设计充分考虑了静态背景和运动目标的不同时序统计特性,采用不同的预测模式进行自适应压缩编码,以提高总体压缩率的同时保证重构质量。
更具体地,需要对高清视频流进行压缩编码以降低数据量,但保证重要区域的画质,率控制子单元采用不同码率控制策略是基于信息理论中的率失真原理,合理分配码率资源,静态背景可用更低码率;量化是实现码率控制的手段,调整量化步长以逼近目标码率,控制实际输出码率;对块间边界帧进行隔离编码是为了消除块间的帧间相关性,避免冗余的源头;在块边界插入关键帧是为重置预测链,防止块间预测误差累积蔓延;关键帧间隔需根据码率及块长度设置,防止误差积累又不能降低压缩效率;块内采用交错预测编码可提高预测效率,增强压缩率。综上,该设计自动适应静动区域特点,采用信息理论、量化调控、关键帧插入等技术方法有效解决视频压缩编码过程中的技术问题,实现高效压缩的同时保证画质。
更具体地,静态区域阈值设置对样本视频进行静动区域分割,统计静态区域的信息熵分布。确定静态区域保真编码所需的最小码率Rmin。设置静态区域目标码率阈值Rstatic略高于Rmin,如Rstatic=1.1*Rmin;动态区域阈值设置测试不同码率下动态区域的主观质量和目标检测效果。确定检测效果始显著下降的临界码率Rcritical。设置动态区域目标码率阈值Rdynamic明显高于Rcritical,如Rdynamic=1.5*Rcritical;在实际编码中,静动区域码率控制在各自阈值以下浮动,以实现目标保真质量。
更具体地,块间隔离处理是为了防止不同数据块之间进行帧间预测造成的冗余。如果进行跨块预测,会重复编码块间共同信息,增加冗余数据量,降低压缩效率;在块边界插入独立编码帧,是为了重置块间预测链,使不同块相互独立,避免引入冗余。独立帧编码不需要参考其他块的数据,可最大限度去除块间冗余;适当调整独立帧间隔,可以在保证编码效率与去冗余效果之间取得平衡。过长间隔会残留更多冗余,过短则编码效率下降。需根据具体视频内容动态设置;保留块内部的帧间预测编码结构,可以继续利用块内帧间冗余进行高效压缩编码,不影响单块内部的编码优化。通过这些技术手段的协同运用,可以尽可能去除不同数据块之间的冗余信息,降低数据总量,减轻存储和传输压力,从而大幅提升海量视频处理的效率。同时保持单块内部的最优编码方式,不影响编码质量。
综上所述,针对海量视频流上传的场景,数据分片单元121实现按时间分块,便于后续管理,校验单元122过滤冗余数据,降低上传负载。编码压缩单元123通过内容感知压缩,保留视频分析价值的同时大幅减小数据量,上传管理单元125实现多线程调度,提高上传吞吐量。压缩单元中,视频分析子单元检测重要区域,压缩编码子单元根据区域特征使用I/P帧或B帧编码,压缩控制子单元动态调整压缩参数,实现高效率压缩。加密单元124保证数据安全性,上传执行单元126中的多线程并行上传分散压力,增强稳定性。数据上传模块120通过分片、校验、内容自适应压缩编码、加密和多线程上传等技术,实现了对大量视频数据的快速、高效的上传处理,解决了海量视频流传输的技术问题,为后续存储和处理提供了优化的输入。
图4是根据本说明书的一些实施例所示的任务封装模块130的示意图,如图4所示,任务封装模块130包括:算法判断单元131、算法复制单元132、加载分发单元133、多个算法执行单元134、结果聚合单元135和扩容单元136。
其中,算法判断单元131会根据输入的数据块数量,判断需要实例化的算法执行单元134的个数。算法复制单元132根据算法判断单元131的输出个数,实例化生成对应的多个算法执行单元134。加载分发单元133会将不同的数据块分发给不同的算法执行单元134进行并行处理。算法执行单元134对各自接收到的数据块执行AI模型的推理运算。结果聚合单元135会收集各个算法执行单元134的运算结果,进行结果聚合和整合。扩容单元136可以根据输入数据量的实时变化,动态调整算法执行单元134的个数,实现系统扩容。这样,通过任务封装模块130,可以将输入数据划分为块,并行分发给多个算法执行单元134高效处理,最后聚合结果,具有很好的扩展性和灵活性。
其中,算法执行单元134主要包含模型加载子单元、模型执行子单元、后处理子单元和结果输出子单元。模型加载子单元会从模型库中提取需要的多个不同模型,加载到该算法执行单元134对应的模型内存区。模型执行子单元采用基于内容的模型调度方式,根据输入数据块的特征,获取需要进行推理的模型,然后利用该模型对数据块进行AI推理运算。后处理子单元使用GPU进行异构计算,以并行的方式执行推理结果的后处理。结果输出子单元使用锁机制确保不同数据块的推理结果顺序输出,同时在不同线程间设置同步机制。这样,算法执行单元134实现了模型的加载和执行,并使用异构计算提升了推理效率,还确保了多线程情况下结果输出的正确性。其采用基于内容的模型调度方式,可以选择最匹配输入数据的模型,从而提高推理精度。整个单元具有良好的可扩展性和并发性。
其中,结果聚合单元135主要由缓存队列、优先级排序器、目标结果提取器、规则引擎、冗余过滤器和流输出接口组成。缓存队列用于缓存各个算法执行单元134输出的原始推理结果。优先级排序器会根据结果数据的优先级和权重对缓存队列进行排序。目标结果提取器从排序后的队列中提取出目标检测、识别、跟踪等结果。规则引擎使用预设规则对提取结果进行逻辑增强和多角度融合处理。冗余过滤器对融合结果进行冗余和重复信息的过滤。流输出接口以流形式输出经规则引擎和冗余过滤后的最终结果。结果聚合单元135通过并行缓存、排序、规则引擎处理多个子任务结果,实现检测、识别、跟踪等任务的协同运算与优化,输出经融合优化的结果。
具体地,算法判断单元131根据数据量判断执行单元个数,是因为视频数据量变化大,需动态调整并行处理能力;算法复制生成多个执行单元,是为了提供并行处理功能,提高处理吞吐量;加载分发将数据块分发给各单元,是实现并行处理,提高资源利用效率;算法执行单元134并行推理,是充分利用GPU并行加速处理海量视频;结果聚合统一优化结果,是减少冗余信息,提供精炼可用的监控分析结果;扩容单元136动态扩展,实现可伸缩性,适应监控场景视频数据量快速增长的需求;数据块划分加快单帧处理,模块化解耦提高灵活性。综上,各设计充分考虑监控视频数据特点,采用并行、模块化、可扩展的技术方案,可以有效提升海量视频处理效率,提供低延时、高吞吐的监控视频分析服务。
具体地,模型加载子单元提取多个模型,是为了使单元具备处理各类视频内容的能力;模型执行子单元基于内容调度模型,可以选择最匹配的模型,提高模型使用效率;使用GPU并行后处理,可以充分利用异构计算提升单帧处理速度;结果输出设置同步机制,确保多线程条件下结果正确性;多个内部子单元并行执行,可有效提升单元的整体吞吐量;模型并行执行减少串行等待时间,加快单帧处理;内部并行设计充分利用处理器资源,提升资源利用效率;基于内容的模型调度提高模型使用精确度,减少误报。通过这些技术手段的有机配合,形成一个高效、精准、并行的算法执行单元134,可以大幅提升视频内容分析的效率和质量,适应安全监控海量视频的处理需求。
具体地,缓存队列并行缓存各单元结果,预处理数据流水线优化;优先级排序器按优先级排序结果,使重要事件优先输出;目标结果提取器提取关键信息,减少冗余数据量;规则引擎增强结果连续性、一致性,提高输出质量;冗余过滤器去除冗余结果,减少存储和网络负载;流输出采用流水线,缩短单帧输出延迟;分散子任务,并行缓存、处理、输出,提升处理吞吐量;跨模型优化提高结果准确性,减少视频理解错误。通过这些技术手段的有机配合,形成一个高效、精准、低延迟的结果聚合单元135,可以有效整合和优化多个模型的输出,大幅提升视频分析效率和质量,适应安全监控场景的需求。
综上所述,任务封装模块130采用并行架构,通过算法判断、复制、加载分发将视频流分解为数据块,分发给多个算法执行单元134并行处理,可大幅提升处理吞吐量;算法执行单元134内部进一步并行化,模型并行执行,GPU异构计算,可充分利用处理器资源,加速单帧处理;模型加载和基于内容调度提高模型使用效率,增强处理精确度;结果聚合单元135并行缓存、处理不同单元结果,优化输出,减少冗余信息,提升结果质量;扩容单元136实现可伸缩性,可动态增加处理能力,适应海量视频数据增长需求;模块化设计提高灵活性,可自定义视频理解方案;流式处理简化管道,缩短单帧处理延迟。通过并行化、异构计算、优化调度、动态扩展等手段,综合提升视频数据的处理吞吐量、精确度和灵活性,从而大幅优化安全监控领域海量视频数据的分析效率。
下面以一个智慧城市的交通管理系统为例,应用本方案以提高视频数据处理效率,具体地:
采集模块包含采集管理单元111、多个采集代理单元112和本地处理单元113。管理单元统一调度,代理单元并行采集,本地处理单元113使用轻量级模型分析内容。在AWS云平台上创建采集管理EC2实例1个,采集代理EC2实例100个。管理实例下发路口视频流URL等参数给各代理实例。代理实例使用OpenCV调用摄像头RTSP流,并通过FFmpeg进行H.264编码、分辨率降为720P、帧率15FPS的处理,同时分离出音频流采样为16KHZ、单声道。本地处理单元113使用MobileNet-SSD模型对视频流进行车辆检测,输出车辆坐标数据到Kafka。通过管理统一调度,代理并行采集和解析,快速获取路口视频流并进行优化,输出至后续分析,实现了高效的分布式视频流采集方案。
数据上传模块120,数据分片单元121每5分钟对视频流进行一次划分,生成数据块;校验单元122使用CRC32算法对每个数据块进行校验,丢弃校验失败的数据;压缩编码单元对数据块进行内容自适应压缩编码,1920x1080的视频分为静态背景区域和车辆运动目标区域处理。静态区域按16Mbps码率控制,运动区域码率为24Mbps;加密单元124使用AES-128加密算法和密钥对数据块进行加密;上传管理单元125开启4条上传线程,按数据块序号分配压缩编码和加密后的数据;每个上传线程使用HTTP协议将分配的数据块上传至服务器存储;根据网络阻塞情况,上传管理单元125动态调整上传线程数量或压缩编码的参数以适应带宽。这样,通过内容自适应压缩编码和多线并发上传,高清视频的数据量得以大幅减小,并确保安全高效地传输到控制中心,为后续智能视频分析算法提供压缩后的数据输入。
其中,视频分析子单元使用YOLOv3模型检测行人、车辆等目标,输出区域检测结果;根据检测结果生成区域重要性映射,交通目标区域设高压缩率,背景区域设低压缩率;对静态背景区域采用I/P帧编码,对动态目标区域采用B帧编码,双向预测运动向量提高目标压缩率;实时调整量化参数,控制各区域压缩率,保证目标清晰度的前提下提高整体压缩率;采用GPU加速编码算子,确保实时编码性能。通过内容自适应的区域压缩编码方式,在保证交通目标的识别效果前提下,降低了交通监控视频的传输带宽,实现智能交通管理系统的应用需求。
其中,压缩编码子单元:静态场景编码子单元对1080P高清视频中的静态背景区域,首先选择一帧进行JPEG编码作为I帧。后续帧使用运动估计算法与上一P帧进行运动补偿,生成运动向量和预测帧。对预测帧和实际帧差值编码生成P帧。采用16x16块大小搜索,最大运动向量为16像素;动态场景编码子单元对视频中的运动目标区域,每两帧取一帧作为B帧编码。B帧参考前后P帧进行运动补偿预测,采用8x8块大小,最大运动向量为32像素。对双向预测结果与实际帧差值编码生成B帧;率控制子单元静态背景控制在1024kbps以下;运动目标控制在2048kbps以下。通过调整量化参数控制输出帧的实际码率;熵编码子单元利用CAVLC算法对编码帧中的无符号系数进行熵编码。压缩编码后的视频按帧组成压缩比特流输出。
其中,码率控制,静态背景区域目标码率设为1024kbps,动态区域目标码率设为2048kbps。根据码率控制算法调整量化参数:静态区域量化步长设为16动态区域量化步长设为8实际测试静态区域输出平均码率为980kbps,动态区域1870kbps,基本满足要求。
其中,独立编码帧插入,对每5分钟的视频生成一个独立的数据块。在每个数据块边界,插入一个不依赖其他帧编码的I帧。数据块内采用IBBPBBPBB的编码结构。视频帧率为25fps,则每个数据块插入一个I帧,间隔5min*60s*25fps=7500帧。I帧重置数据块间预测链,避免块间冗余。
任务封装模块130,算法判断单元131根据平均每分钟视频量估算,需要实例化3个算法执行单元134来处理;算法复制单元132根据判断结果,实例化出A、B、C 3个算法执行单元134;加载分发单元133将输入的视频流每1分钟划分一个数据块,交替分发给A、B、C三个单元并行处理;每个算法执行单元134加载了对象检测、人脸识别、目标跟踪等多个模型,并针对自己的数据块进行推理;结果聚合单元135收集三个单元的识别结果,进行冗余处理、轨迹连接等优化后输出;如果视频量增大,扩容单元136会增加算法执行单元134个数,如增加到5个,实现系统扩展。这样,通过模块化和并行设计,提高了处理能力和可扩展性,实现了对大量视频数据的智能分析需求。
其中,模型加载子单元从模型库中加载了Vehicle Detection、FaceRecognition、Target Tracking三个模型;对输入的一个数据块,模型执行子单元根据内容分析认定包含车辆特征,调用Vehicle Detection模型进行检测;检测到车辆后,提取车辆图片区域,使用Face Recognition模型进行人脸识别;人脸识别结果输出到后处理子单元,使用CUDA在GPU上并行执行人脸关键点提取、特征编码等后处理;结果输出子单元使用互斥锁,确保Vehicle Detection和Face Recognition的结果能正确串行输出;对同一车辆的不同摄像头识别结果,在输出子单元使用条件变量进行多线程同步,实现目标跟踪。这样,算法执行单元134在并行模型推理的同时,确保结果输出顺序正确、跨摄像头目标融合,实现了可扩展和高效的执行流程。
其中,缓存队列缓存来自3个算法执行单元134的原始检测框、人脸特征、目标轨迹等结果;优先级排序器根据检测框置信度、人脸匹配度对队列结果排序;目标结果提取器提取出检测框、人脸ID、轨迹序列作为目标结果;规则引擎使用连续性规则优化轨迹,使用一致性规则修正检测框;冗余过滤器基于IOU去除重复检测框,基于距离去除近邻轨迹;流输出接口组合优化后的检测框、人脸ID、轨迹,输出为结果流。这样,结果聚合单元135实现了并行处理不同模型输出,并进行跨模型优化和融合,输出更加连续、准确、非冗余的结果。
以上示意性地对本发明创造及其实施方式进行了描述,该描述没有限制性,在不背离本发明的精神或者基本特征的情况下,能够以其他的具体形式实现本发明。附图中所示的也只是本发明创造的实施方式之一,实际的结构并不局限于此,权利要求中的任何附图标记不应限制所涉及的权利要求。所以,如果本领域的普通技术人员受其启示,在不脱离本创造宗旨的情况下,不经创造性地设计出与该技术方案相似的结构方式及实施例,均应属于本专利的保护范围。此外,“包括”一词不排除其他元件或步骤,在元件前的“一个”一词不排除包括“多个”该元件。产品权利要求中陈述的多个元件也可以由一个元件通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。

Claims (10)

1.一种基于云计算的安全监控系统,包括:
数据采集模块,运行在云计算平台上的多个虚拟机或容器内,在视频采集设备上采集实时视频数据流;
数据上传模块,接收采集到的视频数据流,并上传至云平台的对象存储服务;
任务封装模块,用于根据视频内容分析的需求,将不同的计算视觉分析算法和处理流程封装为函数服务;
任务调度模块,利用云平台的队列服务对各个函数服务任务进行调度,触发执行无服务器函数;
任务执行模块,调用函数服务对视频数据流进行分析,并使用云平台的加速计算资源,将分析结果输出至对象存储;
网络通信模块,用于实例间的虚拟网络互连;
监控管理模块,利用云平台的监控系统监测任务执行状态并记录日志;
结果输出模块,从对象存储获取分析结果并输出。
2.根据权利要求1所述的安全监控系统,其特征在于:
数据采集模块包括:
采集管理单元,下发每个采集代理单元需要采集的视频流参数,视频流参数包含流ID和时间段;
多个采集代理单元,根据视频流参数调用设备API获取原始视频流,并利用FFmpeg进行本地转码处理;
本地处理单元,对采集的原始视频流利用轻量级深度学习模型进行视频内容解析和目标检测处理。
3.根据权利要求2所述的安全监控系统,其特征在于:
采集代理单元包括:
分离子单元,调用FFmpeg中的解复用器对输入的视频流进行分离,获取独立的音频流和视频流;
视频处理子单元,使用FFmpeg中的转码器对视频流进行编码格式、分辨率和码率的转码处理,输出转码后的视频流;
音频处理子单元,使用FFmpeg中的重采样器对音频流进场采样率、声道数和采样位数的压缩处理,输出压缩后的音频流。
4.根据权利要求1所述的安全监控系统,其特征在于:
数据上传模块包括:
数据分片单元,按预设时间间隔对视频流进行分片,生成多个数据块;
校验单元,对各数据块进行内容校验,跳过冗余或损坏的数据块;
编码压缩单元,对校验通过的数据块进行压缩编码以降低数据量;
加密单元,使用AES加密算法对压缩编码后的数据块进行加密;
上传管理单元,管理多个上传线程,将校验、压缩和加密后的数据块分配给各上传线程;
上传执行单元,包含多条并行工作的上传线程,将分配的数据块上传至服务器;
其中,各个单元通过消息队列连接,上传管理单元根据网络状况动态调整上传参数。
5.根据权利要求4所述的安全监控系统,其特征在于:
压缩单元:
视频分析子单元,对视频流进行内容解析,检测出重要区域,并按区域重要程度对不同区域设定不同的压缩率和质量控制参数,生成区域重要性映射;
压缩编码子单元,根据区域重要性映射,将视频流分为静态场景区域和动态场景区域,对静态场景区域采用P帧间预测编码,对动态场景区域采用B帧间预测编码,并根据场景类型设定不同的压缩控制参数,输出压缩比特流;
压缩控制子单元,实时分析压缩比特流和压缩效果,并向压缩编码子单元输出压缩参数的调控信号;
其中,视频分析子单元采用计算机视觉和机器学习算法检测包含人脸、文本和车辆的重要区域;压缩参数包含压缩率、滤波参数和量化步长。
6.根据权利要求5所述的安全监控系统,其特征在于:
压缩编码子单元包括:
静态场景编码子单元,仅对静态场景区域的第一帧图像进行内部编码作为静态场景I帧,对后续帧进行帧间编码作为P帧,P帧通过运动补偿与前一静态场景I帧或P帧进行预测,生成差量图像;
动态场景编码子单元,对动态场景区域的图像帧进行帧间编码作为B帧,B帧分别与前一静态场景I帧或P帧和后一静态场景I帧或P帧进行双向运动补偿预测,生成差量图像;
率控制子单元,根据静态场景区域和动态场景区域的不同特征,采用不同的码率控制策略;
熵编码子单元,对编码后的差量数据进行熵编码,输出压缩比特流;
其中,码率控制子单元采用的不同码率控制策略为:对静态场景区域,设置低于阈值的目标码率;对动态场景区域,设置高于阈值的目标码率;
码率控制子单元根据设置的码率控制策略调整量化步长,以控制各区域的实际输出码率。
7.根据权利要求5所述的安全监控系统,其特征在于:
压缩编码子单元在对不同数据块的场景区域进行压缩编码时,对块间边界帧进行隔离处理,不进行跨块的帧间预测;并在各数据块边界处插入不依赖其他帧的独立编码帧,以减少不同数据块之间的冗余信息;
其中,独立编码帧的插入仅在块边界处进行,数据块内采用交错帧间预测编码结构;插入独立编码帧后,重置数据块间的帧间预测链;独立编码帧的间隔根据视频帧率和数据块时长来设置。
8.根据权利要求1所述的安全监控系统,其特征在于:
任务封装模块包括:
算法判断单元,根据数据块数量,判断需要实例化的算法执行单元的个数;
算法复制单元,根据算法判断单元的输出的个数,实例化生成多个算法执行单元;
加载分发单元,将不同的数据块分发给不同的算法执行单元进行处理;
多个算法执行单元,对各自分发的数据块执行模型推理运算;
结果聚合单元,获取各算法执行单元的输出结果,进行聚合整合;
扩容单元,根据输入数据量的变化动态调整算法执行单元的个数。
9.根据权利要求8所述的安全监控系统,其特征在于:
算法执行单元包括:
模型加载子单元,从模型库中提取多个不同的模型,加载到各自的模型内存区;
模型执行子单元,根据数据块的特征,采用基于内容的模型调度方式,获取需要进行推理的模型,并利用该模型对数据块进行推理运算;
后处理子单元,使用GPU异构计算并行执行推理结果的后处理;
结果输出子单元,使用锁机制输出不同数据块的推理结果,并在不同线程间设置同步机制。
10.根据权利要求9所述的安全监控系统,其特征在于:
结果聚合单元包括:
缓存队列,缓存各个算法执行单元输出的推理结果;
优先级排序器,根据结果数据的优先级和权重对缓存队列进行排序;
目标结果提取器,从排序后的缓存队列中提取出目标结果,目标结果包含目标检测结果、目标识别结果和目标跟踪结果;
规则引擎,使用预设规则对提取的目标结果进行逻辑增强和融合处理;
冗余过滤器,对融合后的结果进行冗余去重;
流输出接口,以流形式输出冗余去重后的最终结果。
CN202311091502.5A 2023-08-29 2023-08-29 一种基于云计算的安全监控系统及方法 Pending CN116980569A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311091502.5A CN116980569A (zh) 2023-08-29 2023-08-29 一种基于云计算的安全监控系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311091502.5A CN116980569A (zh) 2023-08-29 2023-08-29 一种基于云计算的安全监控系统及方法

Publications (1)

Publication Number Publication Date
CN116980569A true CN116980569A (zh) 2023-10-31

Family

ID=88479702

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311091502.5A Pending CN116980569A (zh) 2023-08-29 2023-08-29 一种基于云计算的安全监控系统及方法

Country Status (1)

Country Link
CN (1) CN116980569A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117177296A (zh) * 2023-11-02 2023-12-05 甘肃省公安厅 一种基于无线通信的传输与控制方法
CN117270897A (zh) * 2023-11-21 2023-12-22 厦门泛卓信息科技有限公司 基于低代码业务系统的计算机系统
CN117336300A (zh) * 2023-12-01 2024-01-02 山东街景智能制造科技股份有限公司 一种用于状态机的资源管理系统
CN117407179A (zh) * 2023-12-15 2024-01-16 成都凯迪飞研科技有限责任公司 一种基于协同处理的加速子卡处理方法及系统
CN117459792A (zh) * 2023-12-20 2024-01-26 深圳市奔迈科技有限公司 基于视觉算法的视频处理方法和ai盒子
CN117651043A (zh) * 2024-01-30 2024-03-05 天津创意星球网络科技股份有限公司 基于oss服务的多媒体文件上传方法、装置和系统
CN118118709A (zh) * 2024-01-18 2024-05-31 常州恒安智能科技有限公司 一种基于ip网络的数字视频信息传输方法
CN118200459A (zh) * 2024-05-13 2024-06-14 广州索诺康医疗科技有限公司 一种云端驱动的超声图像智能分析方法和装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117177296A (zh) * 2023-11-02 2023-12-05 甘肃省公安厅 一种基于无线通信的传输与控制方法
CN117177296B (zh) * 2023-11-02 2024-01-23 甘肃省公安厅 基于5g网络的公共监控视频实时传输与远程播放方法
CN117270897A (zh) * 2023-11-21 2023-12-22 厦门泛卓信息科技有限公司 基于低代码业务系统的计算机系统
CN117270897B (zh) * 2023-11-21 2024-03-08 北京祝融视觉科技股份有限公司 基于低代码业务系统的计算机系统
CN117336300B (zh) * 2023-12-01 2024-01-30 山东街景智能制造科技股份有限公司 一种用于状态机的资源管理系统
CN117336300A (zh) * 2023-12-01 2024-01-02 山东街景智能制造科技股份有限公司 一种用于状态机的资源管理系统
CN117407179A (zh) * 2023-12-15 2024-01-16 成都凯迪飞研科技有限责任公司 一种基于协同处理的加速子卡处理方法及系统
CN117407179B (zh) * 2023-12-15 2024-04-02 成都凯迪飞研科技有限责任公司 一种基于协同处理的加速子卡处理方法及系统
CN117459792A (zh) * 2023-12-20 2024-01-26 深圳市奔迈科技有限公司 基于视觉算法的视频处理方法和ai盒子
CN117459792B (zh) * 2023-12-20 2024-04-26 深圳市奔迈科技有限公司 基于视觉算法的视频处理方法和ai盒子
CN118118709A (zh) * 2024-01-18 2024-05-31 常州恒安智能科技有限公司 一种基于ip网络的数字视频信息传输方法
CN117651043A (zh) * 2024-01-30 2024-03-05 天津创意星球网络科技股份有限公司 基于oss服务的多媒体文件上传方法、装置和系统
CN118200459A (zh) * 2024-05-13 2024-06-14 广州索诺康医疗科技有限公司 一种云端驱动的超声图像智能分析方法和装置

Similar Documents

Publication Publication Date Title
CN116980569A (zh) 一种基于云计算的安全监控系统及方法
Anjum et al. Video stream analysis in clouds: An object detection and classification framework for high performance video analytics
Canel et al. Scaling video analytics on constrained edge nodes
Ali et al. RES: Real-time video stream analytics using edge enhanced clouds
Emmons et al. Cracking open the dnn black-box: Video analytics with dnns across the camera-cloud boundary
Ali et al. Edge enhanced deep learning system for large-scale video stream analytics
Abdullah et al. Traffic monitoring using video analytics in clouds
Zhang et al. Towards cloud-edge collaborative online video analytics with fine-grained serverless pipelines
Jayasena et al. Multi-modal multimedia big data analyzing architecture and resource allocation on cloud platform
CN114679607B (zh) 一种视频帧率控制方法、装置、电子设备及存储介质
CN111479095B (zh) 一种业务处理控制系统、方法及装置
JP7529025B2 (ja) ネットワークの制御方法、および、データ処理システム
CN111510680B (zh) 一种图像数据的处理方法、系统及存储介质
Song et al. Design and evaluation of remote video surveillance system on private cloud
Rong et al. Scheduling massive camera streams to optimize large-scale live video analytics
CN111935663A (zh) 传感器数据流的处理方法、装置、介质及电子设备
CN107566785B (zh) 一种面向大数据的视频监控系统及方法
Mao et al. Mobieye: An efficient cloud-based video detection system for real-time mobile applications
CN113965381A (zh) 实现监控视频安全加密功能的方法、装置、处理器及其计算机可读存储介质
CN112202932B (zh) 一种基于边缘计算的对视频进行结构化分析的方法及装置
Li et al. Digital twin and artificial intelligence-empowered panoramic video streaming: reducing transmission latency in the extended reality-assisted vehicular metaverse
Kastrinakis et al. Video2Flink: real-time video partitioning in Apache Flink and the cloud
CN114466227A (zh) 一种视频分析方法、装置、电子设备及存储介质
Gao et al. Quality-aware massive content delivery in digital twin-enabled edge networks
Lu et al. Dynamic offloading on a hybrid edge–cloud architecture for multiobject tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20231031

WD01 Invention patent application deemed withdrawn after publication