CN115379286A - 智能视频分析盒、智能视频分析系统以及方法 - Google Patents
智能视频分析盒、智能视频分析系统以及方法 Download PDFInfo
- Publication number
- CN115379286A CN115379286A CN202211301051.9A CN202211301051A CN115379286A CN 115379286 A CN115379286 A CN 115379286A CN 202211301051 A CN202211301051 A CN 202211301051A CN 115379286 A CN115379286 A CN 115379286A
- Authority
- CN
- China
- Prior art keywords
- intelligent
- video analysis
- intelligent video
- camera
- algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 105
- 238000000034 method Methods 0.000 title abstract description 9
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 66
- 238000013135 deep learning Methods 0.000 claims abstract description 25
- 230000002159 abnormal effect Effects 0.000 claims abstract description 22
- 238000001514 detection method Methods 0.000 claims description 22
- 230000006835 compression Effects 0.000 claims description 6
- 238000007906 compression Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 claims description 3
- 239000000779 smoke Substances 0.000 claims description 3
- 230000009466 transformation Effects 0.000 abstract description 6
- 238000013473 artificial intelligence Methods 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000011161 development Methods 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000017525 heat dissipation Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000002265 prevention Effects 0.000 description 3
- 241000233805 Phoenix Species 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000002054 transplantation Methods 0.000 description 2
- 229910000619 316 stainless steel Inorganic materials 0.000 description 1
- 229910000838 Al alloy Inorganic materials 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000004821 distillation Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 229910052754 neon Inorganic materials 0.000 description 1
- GKAOGPIIYCISHV-UHFFFAOYSA-N neon atom Chemical compound [Ne] GKAOGPIIYCISHV-UHFFFAOYSA-N 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000013509 system migration Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
- H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
- H04N21/43635—HDMI
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
- G08B7/06—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
- H04N21/6437—Real-time Transport Protocol [RTP]
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Alarm Systems (AREA)
Abstract
本公开涉及一种智能视频分析盒、智能视频分析系统及方法，并涉及智能安防领域。该智能视频分析盒能够与摄像机连接并且包括：壳体以及设置在壳体内的智能载板和智能核心板，智能载板设置有连接所述智能核心板的连接部、存储器、继电器和视频接口模块，智能核心板构造为从摄像机通过RTSP取流而获得取流数据；还构造为将取流数据分成多路，基于深度学习算法对一路取流数据进行检测，在被检测为异常时，将异常视频数据存储到存储器，触发继电器，联动外部联动装置；智能核心板还构造为将其它一路或多路取流数据经由视频接口模块输出到显示装置，算法应用轻量化和移植技术。该智能视频分析盒能够降低传统监控系统智能化升级改造造价并提升效率。
Description
技术领域
本发明涉及智能安防领域，具体涉及基于视频边缘计算的智能视频分析盒、智能视频分析系统以及方法。
背景技术
智能化是数字化网络化发展的必然趋势，智能分析盒作为一个承载智能技术的终端平台，加入人与物等的智能算法软件，将是智能安防领域重要发展方向。整体来看，简单的智能分析包括移动侦测、遮挡报警等，目前这些方面应用逐步普及。更复杂的智能分析主要涉及行为识别与分析，比如动态跟踪、人脸识别、自动遮蔽等。以视频技术为核心的安防行业拥有海量的数据来源，可以充分满足人工智能对于算法模型训练的要求；此外，安防行业中事前预防、事中响应、事后追查的诉求与人工智能的技术逻辑完全吻合。随着深度学习算法的逐渐成熟，智能安防领域产品智能化水平将随着提升。
近些年来，行业摄像机的演化已经逐渐摆脱以往对硬件参数设备的依赖，取而代之的是以细分行业场景化应用或者是AI（人工智能）算法应用为重点的安防软件服务升级。随着人工智能、深度学习和计算机视觉等技术在智能安防领域的深化应用，以及5G时代的即将到来，整个安防行业的信息化、智能化建设将加速演进。
目前大多数智能安防的方案基本为前端采集后端或云端智能化处理，这种方式对客户来说极大的增加了计算资源成本和带宽压力。
发明内容
为了解决至少上述问题之一而提供了一种智能视频分析盒、智能视频分析系统及方法，能够极大降低传统监控系统智能化升级改造造价，提升升级改造效率。
根据本公开的一个方面，提供一种智能视频分析盒，所述智能视频分析盒能够与摄像机连接，所述智能视频分析盒可以包括：壳体、智能载板和智能核心板，所述智能载板和所述智能核心板可以设置在所述壳体内部，所述智能载板可以设置有连接所述智能核心板的连接部、存储器、继电器和视频接口模块，并且所述智能核心板可以构造为从所述摄像机通过RTSP（实时流传输协议）取流，从而获得取流数据；所述智能核心板还可以构造为将所述取流数据分成多路取流数据，并且基于深度学习算法对所述取流数据中的一路取流数据进行检测，在所述一路取流数据被检测为异常时，将与检测为异常的所述一路取流数据对应的异常视频数据存储到所述存储器，并且触发所述继电器，从而联动外部联动装置；所述智能核心板还可以构造为将所述取流数据中的其它一路或多路取流数据经由所述视频接口模块输出到外部显示装置进行视频展示，并且所述深度学习算法通过算法层压缩加速而轻量化并且从X86架构移植到Arm架构的芯片。
可选地，所述智能核心板可以设置有WEB（万维网）配置模块，所述WEB配置模块可以构造为用户通过登录浏览器或客户端能够对所述智能视频分析盒进行配置。
可选地，所述视频接口模块可以为HDMI（高清多媒体接口）模块。
可选地，所述存储器可以为TF卡（TranFlash卡）。
可选地，所述深度学习算法可以包括人脸识别算法、人像识别算法、人脸结构化算法、人像结构化算法、越线检测算法、区域入侵检测算法、物品移除检测算法、物品遗留检测算法、人员密度检测算法、烟火检测算法中的一种或多种。
可选地，所述智能载板还可以设置有网口模块，所述智能视频分析盒可以通过所述网口模块连接至所述摄像机。
可选地，所述壳体可以包括顶部U形外壳、前面板组件、底面板组件和后面板组件，并且所述顶部U形外壳可以具有散热齿。
根据本公开的另一方面，提供一种智能视频分析系统，所述智能视频分析系统可以包括上述智能视频分析盒、所述摄像机、所述外部显示装置和所述外部联动装置。
可选地，所述智能视频分析系统还可以包括通过内置于所述智能视频分析盒中的WEB配置模块对所述智能视频分析盒进行配置的浏览器或客户端。
可选地，所述外部联动装置可以包括声光报警器。
可选地，所述摄像机可以为球机摄像头或枪机摄像头。
根据本公开的又一方面，提供一种智能视频分析方法，所述智能视频分析方法可以包括以下步骤：将上述智能视频分析盒连接到所述摄像机；登录浏览器或客户端通过内置于所述智能视频分析盒中的WEB配置模块对所述智能视频分析盒进行配置；以及启动所述智能视频分析盒，展示来自所述摄像机的视频数据的视频，存储所述异常视频数据，并且启动所述外部联动装置。
根据本公开的智能视频分析盒、智能视频分析系统及方法，实现了前端光电设备的智能化，即直接对光电监视设备进行智能化改造，实现在前端对采集到的视频图像进行智能化分析，在存在异常情况时将异常信息上传至后端进行告警，对多种场景、多个事件进行自动侦测和提前预警，一定程度上做到事前预防，操作简单，不需要专用的智能平台软件，直接登录浏览器或客户端即可配置。
附图说明
图1是根据本公开的示例性实施例的智能视频分析盒以及外围设备的示意性框图；
图2是根据本公开的示例性实施例的智能视频分析盒的硬件的具体实例的示意图；
图3是根据本公开的示例性实施例的智能视频分析盒的壳体的展开示意图；并且
图4是使用根据本公开的示例性实施例的智能视频分析盒进行智能视频分析的方法示意性流程图。
附图标记说明：
10 智能视频分析盒
100 壳体
110 顶部U形外壳
111 散热齿
120 前面板组件
130 后面板组件
200 智能载板
300 智能核心板
20 摄像机
30 外部联动装置
40 外部显示装置
50 浏览器/客户端。
具体实施方式
为使本领域的技术人员更好地理解本公开的技术方案，下面将详细地对示例性实施例进行说明。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本实施例公开的一些方面相一致的系统和方法的实例。
图1示出了根据本公开的示例性实施例的智能视频分析盒10以及外围设备的示意性框图。参考图1，本公开的智能视频分析盒10能够与外部的摄像机20连接，智能视频分析盒10包括：壳体100、智能载板200和智能核心板300，智能载板200和智能核心板300设置在壳体100内部，智能载板200设置有连接智能核心板300的连接部、存储器、继电器和视频接口模块（未示出），并且智能核心板300构造为从摄像机20通过RTSP取流，从而获得取流数据；智能核心板300还构造为将取流数据分成多路取流数据，并且基于深度学习算法对取流数据中的一路取流数据进行检测，在该一路取流数据被检测为异常时，将与检测为异常的一路取流数据对应的异常视频数据存储到存储器，并且触发继电器，从而联动外部联动装置30；智能核心板300还构造为将取流数据中的其它一路或多路取流数据经由视频接口模块输出到外部显示装置40进行视频展示，并且深度学习算法通过算法层压缩加速而轻量化并且从X86架构移植到Arm架构的芯片。
在一些实施例中，智能核心板300设置有WEB配置模块，该WEB配置模块构造为用户通过登录浏览器或客户端能够对智能视频分析盒10进行配置。
智能视频分析盒10为单体产品，其核心功能由，智能载板200和智能核心板300共同实现。智能载板200为智能核心板300提供连接部、外围硬件通信接口、供电接口等，保障智能核心板300正常工作。如上所述，智能载板200设置有连接智能核心板300的连接部、存储器、继电器和视频接口模块。连接部例如可以为接插件，智能核心板300可以插入在智能载板200上。存储器例如可以为TF卡（TF卡模块，存储器模块）。视频接口模块例如可以为HDMI模块（高清多媒体接口模块）。
参考图2，智能载板200例如还可以包括但不限于：电源模块、控制系统（RK3399控制系统）、千兆网口模块、千兆光口模块、通用串行总线模块（USB Type C模块）、运行指示灯模块、电源指示灯模块、无源输入模块、继电器无源输出模块、复位按键模块。此外，还可以包括RS232及DEBUG模块。应理解的是，智能载板200还可以包括实现必要功能的其它模块、接口和组件等。
智能核心板300为智能视频分析盒10的核心计算单元，在智能核心板300上可以提供软件开发环境，主要实现整个软件功能。例如，可以采用瑞芯微六核（双核Cortex-A72 +四核Cortex-A53）64位处理器，该处理器提供的软件开发环境可以集成人工智能深度学习框架，并且可以集成主频1.8GHz，GPU Mali-T860，支持4K H.265/H.264视频解码，并且支持OpenGL（开放图形库）。
智能核心板300主要实现的软件功能包括：从摄像机20通过RTSP取流，从而获得取流数据（摄像机取流模块）；将取流数据分成多路取流数据，其中一路RTSP取流数据通过H264转RGB输入给深度学习算法，并且基于深度学习算法对取流数据中的该一路取流数据进行检测（视频异常检测模块），在该一路取流数据被检测为异常时，将与检测为异常的一路取流数据对应的异常视频数据存储到存储器（例如TF卡）（视频存储模块），并且触发继电器，从而联动外部联动装置30（外设联动模块）；将取流数据中的其它一路或多路取流数据经由视频接口模块（例如HDMI接口模块）输出到外部显示装置40进行视频展示，通过HDMI接口可以实现对最大四路视频实时展示（视频展示模块）；通过内嵌WEB实现用户通过登录浏览器或客户端对智能视频分析盒10的配置（WEB配置模块）。
以下，参考图4描述智能核心板300实现的上述软件功能的具体流程图。如上所述，智能视频分析盒10的智能载板200还设置有网口模块（例如以太接口），智能视频分析盒10可以通过网口模块连接至摄像机20。在一些实施例中，摄像机20例如可以为球机摄像头或枪机摄像头，球机摄像头或枪机摄像头例如可以连接在网络上。在将智能视频分析盒10连接到摄像机20之后，使智能视频分析盒10通电开机，软件自启动，检测摄像机20是否配置；在检测到配置有摄像机20时，实时读取视频流（RTSP取流）；推送一路（或多路）取流数据到HDMI展示，并且推送一路取流数据到算法；在已配置算法的情况下，利用深度学习目标识别模型进行目标识别；检测到异常后设备端做异常视频存储，同时联动外部联动装置30。
外部联动装置30例如包括声光报警器。应理解的是，外部联动装置不限于此，还可以包括其它形式的适当的报警装置。
用于检测视频异常的深度学习算法应用轻量化技术和移植技术。
关于深度学习算法轻量化技术，卷积神经网络依靠神经网络中数以千万计的网络参数共同参与计算，存在网络结构复杂，运算量大，速度慢的缺点，并且很难移植到嵌入式设备中。算法轻量化模型压缩重点在于减少网络参数量。模型压缩解决思路主要分为三个层次：（a）算法层压缩加速，该维度主要在算法应用层，也是大多数算法工程师的工作范畴，主要包括结构优化（如矩阵分解、分组卷积、小卷积核等）、量化与定点化、模型剪枝、模型蒸馏等。（b）框架层加速，该维度主要在算法框架层，比如tf-lite、NCNN、MNN等，主要包括编译优化、缓存优化、稀疏存储和计算、NEON指令应用、算子优化等。（c）硬件层加速，该维度主要在AI硬件芯片层，目前有GPU、FPGA、ASIC等多种方案，各种TPU、NPU就是ASIC这种方案，通过专门为深度学习进行芯片定制，大大加速模型运行速度。
本公开的智能视频分析盒10采用的深度学习算法轻量化技术是通过算法层压缩加速的。
关于深度学习算法移植技术，目前积累的算法均是在X86架构下开发的，智能光电监视设备要嵌入式使用这些智能分析算法就需要把算法从X86架构移植到Arm架构的芯片，移植深度学习算法模型，大致分为模型转换，仿真运行，上板运行三步。嵌入式Linux系统移植主要由四大部分组成：一、搭建交叉开发环境，在开发主机上（通常是PC机）开发出能够在目标机（通常是开发板）上运行的程序。二、BootLoader的选择和移植，BootLoader的任务是引导操作系统，即启动内核，让内核运行即是把内核加载到内存RAM中去运行。三、kernel的配置、编译、和移植。四、根文件系统的制作。算法移植技术的研究是智能光电监控设备的核心难点。
本公开的智能视频分析盒10采用的深度学习算法移植技术将深度学习算法从X86架构移植到Arm架构的芯片。
在一些实施例中，智能视频分析盒10支持根据不同使用场景配置不同智能算法，深度学习算法例如包括人脸识别算法、人像识别算法、人脸结构化算法、人像结构化算法、越线检测算法、区域入侵检测算法、物品移除检测算法、物品遗留检测算法、人员密度检测算法、烟火检测算法中的一种或多种。应理解的是，具体算法可以依据项目需求优化。
以下参考图3描述壳体100的结构。壳体100可以包括顶部U形外壳110、前面板组件120、底面板组件（未示出）和后面板组件130。壳体100可以主要用于智能载板200和智能核心板300等内部器件的结构支撑、安装防护等。顶部U形外壳110例如可以由自带散热齿111的工业挤压铝合金型材制成，散热齿111可以为壳体100内部的智能载板200和智能核心板300等提供自然散热。
在一些实施例中，壳体100的外形尺寸（不包含接插件）可以为：253×234×80.6（L×B×H，mm）（如图3中示例性示出的）。顶部U形外壳110可以形成有平行于底部的两侧安装侧翼，每个安装侧翼上形成有例如两个15×5mm的长条状安装孔，例如采用4个M4×12的十字盘头组合螺钉（316不锈钢）穿过每个长条状安装孔将壳体100固定就位。使用长条状安装孔能够在安装智能视频分析盒10时更好地找对孔位。
如图3所示，在壳体100的在前面板和后面板还预留有例如电源和信号的输入及输出接口。更具体地，在壳体100的在前面板和后面板例如可以预留如下表1所示的各种接口。
表1 壳体100的预留接口
| 接口名称 | 数量 | 作用 |
| 供电电源 | 1 | 直流电源DC头类型。对设备提供DC12V的供电输入。 |
| 网络接口 | ≥6 | RJ45网口类型。5路100M/1000M自适应网口和1路光口 |
| TF卡 | 1 | 插槽类型。存储报警事件信息,最大支持256G。 |
| USB接口 | 1 | TypeC类型。设备调试使用。 |
| 视频接口 | 1 | HDMI类型。对外提供实时视频流预览。 |
| 无源输入 | 2 | 插拔式凤凰端子类型。输入开关量信号，例如门禁开关。 |
| 无源输出 | 4 | 插拔式凤凰端子类型。输出开关量信号，例如联动触发声光报警器。 |
应理解的是，壳体100的在前面板和后面板根据需要还可以预留其它各种需要的接口。
本公开还提供一种智能视频分析系统，该智能视频分析系统包括如上所述的智能视频分析盒10以及摄像机20、外部显示装置40和外部联动装置30。外部显示装置40例如可以是用于监控的显示器、移动设备等。该智能视频分析系统还可以包括通过内置于智能视频分析盒10中的WEB配置模块对智能视频分析盒10进行配置的浏览器或客户端50。
本公开还提供一种智能视频分析方法，该方法包括以下步骤：将如上所述的智能视频分析盒10连接到摄像机20；登录浏览器或客户端50通过内置于智能视频分析盒10中的WEB配置模块对智能视频分析盒10进行配置，例如，在登录浏览器或客户端50上设定需要的算法；以及启动智能视频分析盒10，展示来自摄像机20的视频数据的视频，存储异常视频数据，并且启动外部联动装置30。
应理解的是，以上提及的各种芯片、平台、架构等的型号仅是示例性的，可以根据需要采用其它合适型号的芯片、平台、架构等。
本公开的智能视频分析盒10搭载有GPU，具有高计算性能、低能耗、小尺寸和先进视觉能力。智能视频分析盒10具有例如以太网接口，可以串行到现有的网络枪机或网络球机上，将这些传统监控设备改造成具备人脸抓取、人员特征提取等智能分析功能的智能设备。智能视频分析盒10智能化程度高，并能够极大降低传统监控系统智能化升级改造的造价，提升改造升级效率。可满足入侵报警、卡口监控、重点区域盯防、智慧城市建设等升级应用需求。智能视频分析盒10对传统设备智能化升级改造的解决思路，成本低廉，改造方便且利旧。球机、枪机和半球可以直接串联到智能视频分析盒10上，可以把智能分析的结果发送到后台，实现在前端对普通摄像机的智能化升级改造。深度学习算法轻量化并移植到瑞芯微RK3399平台，实现对视频的智能分析以及异常情况联动外部报警设备。智能视频分析盒10可以设定多种智能分析策略，联动多种周边外设，形成一个完整的智能系统，对多种场景、多个事件进行自动侦测和提前预警，一定程度上做到事前预防，操作简单，不需要专用的智能平台软件，直接登录IE或客户端即可配置。
应理解的是，以上实施方式仅仅是为了说明本公开的原理而采用的示例性实施方式，然而本公开并不局限于此。对于本领域内的普通技术人员而言，在不脱离本公开的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本公开的保护范围。
Claims (12)
1.一种智能视频分析盒，其特征在于，所述智能视频分析盒能够与摄像机连接，所述智能视频分析盒包括：壳体、智能载板和智能核心板，所述智能载板和所述智能核心板设置在所述壳体内部，
所述智能载板设置有连接所述智能核心板的连接部、存储器、继电器和视频接口模块，
所述智能核心板构造为从所述摄像机通过RTSP取流，从而获得取流数据；所述智能核心板还构造为将所述取流数据分成多路取流数据，并且基于深度学习算法对所述取流数据中的一路取流数据进行检测，在所述一路取流数据被检测为异常时，将与检测为异常的所述一路取流数据对应的异常视频数据存储到所述存储器，并且触发所述继电器，从而联动外部联动装置；所述智能核心板还构造为将所述取流数据中的其它一路或多路取流数据经由所述视频接口模块输出到外部显示装置进行视频展示，并且
所述深度学习算法通过算法层压缩加速而轻量化并且从X86架构移植到Arm架构的芯片。
2.根据权利要求1所述的智能视频分析盒，其特征在于，所述智能核心板设置有WEB配置模块，所述WEB配置模块构造为用户通过登录浏览器或客户端能够对所述智能视频分析盒进行配置。
3.根据权利要求1所述的智能视频分析盒，其特征在于，所述视频接口模块为HDMI模块。
4.根据权利要求1所述的智能视频分析盒，其特征在于，所述存储器为TF卡。
5.根据权利要求1所述的智能视频分析盒，其特征在于，所述深度学习算法包括人脸识别算法、人像识别算法、人脸结构化算法、人像结构化算法、越线检测算法、区域入侵检测算法、物品移除检测算法、物品遗留检测算法、人员密度检测算法、烟火检测算法中的一种或多种。
6.根据权利要求1所述的智能视频分析盒，其特征在于，所述智能载板还设置有网口模块，所述智能视频分析盒通过所述网口模块连接至所述摄像机。
7.根据权利要求1至6中任一项所述的智能视频分析盒，其特征在于，所述壳体包括顶部U形外壳、前面板组件、底面板组件和后面板组件，并且所述顶部U形外壳具有散热齿。
8.一种智能视频分析系统，其特征在于，所述智能视频分析系统包括根据权利要求1至7中任一项所述的智能视频分析盒、所述摄像机、所述外部显示装置和所述外部联动装置。
9.根据权利要求8所述的智能视频分析系统，其特征在于，所述智能视频分析系统还包括通过内置于所述智能视频分析盒中的WEB配置模块对所述智能视频分析盒进行配置的浏览器或客户端。
10.根据权利要求8所述的智能视频分析系统，其特征在于，所述外部联动装置包括声光报警器。
11.根据权利要求8所述的智能视频分析系统，其特征在于，所述摄像机为球机摄像头或枪机摄像头。
12.一种智能视频分析方法，其特征在于，所述智能视频分析方法包括以下步骤：
将根据权利要求1至7中任一项所述的智能视频分析盒连接到所述摄像机；
登录浏览器或客户端通过内置于所述智能视频分析盒中的WEB配置模块对所述智能视频分析盒进行配置；以及
启动所述智能视频分析盒，展示来自所述摄像机的视频数据的视频，存储所述异常视频数据，并且启动所述外部联动装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211301051.9A CN115379286A (zh) | 2022-10-24 | 2022-10-24 | 智能视频分析盒、智能视频分析系统以及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211301051.9A CN115379286A (zh) | 2022-10-24 | 2022-10-24 | 智能视频分析盒、智能视频分析系统以及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115379286A true CN115379286A (zh) | 2022-11-22 |
Family
ID=84073864
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211301051.9A Pending CN115379286A (zh) | 2022-10-24 | 2022-10-24 | 智能视频分析盒、智能视频分析系统以及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115379286A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019109771A1 (zh) * | 2017-12-05 | 2019-06-13 | 南京南瑞信息通信科技有限公司 | 基于多核异构并行计算的电力人工智能视觉分析系统 |
| CN109951682A (zh) * | 2019-02-25 | 2019-06-28 | 广东协安机电工程有限公司 | 一种银行安全视频监控系统 |
| CN113255479A (zh) * | 2021-05-10 | 2021-08-13 | 北京邮电大学 | 轻量化人体姿态识别模型训练方法、动作切分方法及装置 |
| CN113450532A (zh) * | 2021-06-03 | 2021-09-28 | 河北华电石家庄热电有限公司 | 一种安全隐患主动预警系统及其识别方法 |
| US20210400315A1 (en) * | 2020-06-19 | 2021-12-23 | Micron Technology, Inc. | Surveillance Camera Upgrade via Removable Media having Deep Learning Accelerator and Random Access Memory |
| CN215642796U (zh) * | 2021-08-04 | 2022-01-25 | 山东和兑智能科技有限公司 | 输电线路隐患智能检测排查系统 |
| CN114390156A (zh) * | 2022-01-04 | 2022-04-22 | 中国铁道科学研究院集团有限公司 | 轨道交通视频分析控制盒、系统和方法 |
-
2022
- 2022-10-24 CN CN202211301051.9A patent/CN115379286A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019109771A1 (zh) * | 2017-12-05 | 2019-06-13 | 南京南瑞信息通信科技有限公司 | 基于多核异构并行计算的电力人工智能视觉分析系统 |
| CN109951682A (zh) * | 2019-02-25 | 2019-06-28 | 广东协安机电工程有限公司 | 一种银行安全视频监控系统 |
| US20210400315A1 (en) * | 2020-06-19 | 2021-12-23 | Micron Technology, Inc. | Surveillance Camera Upgrade via Removable Media having Deep Learning Accelerator and Random Access Memory |
| CN113255479A (zh) * | 2021-05-10 | 2021-08-13 | 北京邮电大学 | 轻量化人体姿态识别模型训练方法、动作切分方法及装置 |
| CN113450532A (zh) * | 2021-06-03 | 2021-09-28 | 河北华电石家庄热电有限公司 | 一种安全隐患主动预警系统及其识别方法 |
| CN215642796U (zh) * | 2021-08-04 | 2022-01-25 | 山东和兑智能科技有限公司 | 输电线路隐患智能检测排查系统 |
| CN114390156A (zh) * | 2022-01-04 | 2022-04-22 | 中国铁道科学研究院集团有限公司 | 轨道交通视频分析控制盒、系统和方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Vieira et al. | Low-cost CNN for automatic violence recognition on embedded system | |
| CN114373047B (zh) | 一种基于数字孪生监控物理世界的方法、装置及存储介质 | |
| US20220206447A1 (en) | Automated system control with data analytics using doubly stochastic model | |
| CN110751676A (zh) | 一种基于目标检测的异构计算系统、方法和可读存储介质 | |
| US11501536B2 (en) | Image processing method, an image processing apparatus, and a surveillance system | |
| CN110365942B (zh) | 一种实时视频智能分析方法和系统 | |
| CN110830772A (zh) | 一种厨房视频分析资源调度方法、装置及系统 | |
| CN112287741A (zh) | 基于图像处理的农事操作管理方法及装置 | |
| CN111226226A (zh) | 基于运动的对象检测方法及其对象检测装置和电子设备 | |
| CN112530021A (zh) | 用于处理数据的方法、装置、设备以及存储介质 | |
| CN114143220A (zh) | 实时数据可视化平台 | |
| CN110853287A (zh) | 一种基于物联网分布式架构的火焰实时监控系统及方法 | |
| CN116193075A (zh) | 一种基于物联网控制的智能监控方法和系统 | |
| Imran et al. | Implementation of wireless vision sensor node for characterization of particles in fluids | |
| CN114625357A (zh) | 一种基于二维组件多交互技术的可视化编排平台 | |
| Li et al. | RETRACTED ARTICLE: A City Monitoring System Based on Real-Time Communication Interaction Module and Intelligent Visual Information Collection System | |
| CN110661999A (zh) | 一种基于大数据的视频监控系统 | |
| CN115379286A (zh) | 智能视频分析盒、智能视频分析系统以及方法 | |
| Haridas et al. | Visualization of automated and manual trajectories in wide-area motion imagery | |
| CN112487851A (zh) | 一种基于人工智能视频识别的司法场所异常行为监测方法 | |
| CN110232643A (zh) | 一种建筑废弃物全生命监测装置及方法 | |
| CN115606575A (zh) | 基于目标检测网络的智能鸟类驱逐方法及系统 | |
| CN115083229A (zh) | 基于ai视觉识别的飞行训练设备智能识别与警示系统 | |
| CN113743342B (zh) | 一种装配流程检测的方法、系统、终端及存储介质 | |
| CN205883458U (zh) | 基于计算机互联网技术的智能远程视频监控系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20221122 |