CN112866332A - 基于云边融合实现突发事件识别预警的系统、方法、装置、处理器及其存储介质 - Google Patents
基于云边融合实现突发事件识别预警的系统、方法、装置、处理器及其存储介质 Download PDFInfo
- Publication number
- CN112866332A CN112866332A CN202011524124.1A CN202011524124A CN112866332A CN 112866332 A CN112866332 A CN 112866332A CN 202011524124 A CN202011524124 A CN 202011524124A CN 112866332 A CN112866332 A CN 112866332A
- Authority
- CN
- China
- Prior art keywords
- cloud
- edge
- early warning
- recognition
- realizing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 59
- 206010000117 Abnormal behaviour Diseases 0.000 claims abstract description 42
- 238000001514 detection method Methods 0.000 claims abstract description 31
- 238000000605 extraction Methods 0.000 claims abstract description 27
- 238000004422 calculation algorithm Methods 0.000 claims description 26
- 238000003909 pattern recognition Methods 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 10
- 230000006399 behavior Effects 0.000 claims description 9
- 238000010801 machine learning Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012423 maintenance Methods 0.000 claims description 5
- 238000007619 statistical method Methods 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000002955 isolation Methods 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 abstract description 9
- 238000010276 construction Methods 0.000 abstract description 7
- 238000012544 monitoring process Methods 0.000 abstract description 5
- 230000008901 benefit Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 241000283690 Bos taurus Species 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 244000038293 primary consumers Species 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Alarm Systems (AREA)
Abstract
本发明涉及一种基于云边融合实现突发事件识别预警的系统，包括边缘侧和云端侧，所述的边缘侧和云端侧相连接，所述的边缘侧用于实现图像抽取、公共特征提取、异常行为模式识别、结果组装和心跳检测；所述的云端侧用于实现用户数据定制、数据分发和心跳检测。本发明还涉及相应的方法、装置、处理器及其计算机可读存储介质。采用了本发明的基于云边融合实现突发事件识别预警的系统、方法、装置、处理器及其计算机可读存储介质，通过在边缘侧加强智能分析和处理能力，降低云端的分处理和存储压力，减轻网络带宽传输压力，充分利用现有的建设基础，结合运营商和厂商共同推方案，对现有高清视频监控系统进行智能升级。因此，本发明成果具有极大的应用前景和市场前景。
Description
技术领域
本发明涉及边缘计算领域，尤其涉及云边融合技术领域，具体是指一种基于云边融合实现突发事件识别预警的系统、方法、装置、处理器及其计算机可读存储介质。
背景技术
面向大型城市人群密集区域的场景，实现该场景下突发事件快速预警。目前多数的智能监控还是运用了集中式计算和存储的模式，海量视频数据存放到“云”里去计算或存储，与云中心产生了极其大量和频繁的数据交互。
海量视频传输到云计算中心对网络带宽要求较高，造成数据中心和终端之间的传输瓶颈，传输速率大大下降；视频数据处理任务集中在云平台执行，增加了云计算中心视频服务器的处理负担，同时造成很大的时延、实时性得不到保证。
发明内容
本发明的目的是克服了上述现有技术的缺点，提供了一种满足实时性高、传输速率高、适用范围较为广泛的基于云边融合实现突发事件识别预警的系统、方法、装置、处理器及其计算机可读存储介质。
为了实现上述目的，本发明的基于云边融合实现突发事件识别预警的系统、方法、装置、处理器及其计算机可读存储介质如下：
该基于云边融合实现突发事件识别预警的系统，其主要特点是，所述的系统包括边缘侧和云端侧，所述的边缘侧和云端侧相连接，所述的边缘侧用于实现图像抽取、公共特征提取、异常行为模式识别、结果组装和心跳检测；所述的云端侧用于实现用户数据定制、数据分发和心跳检测。
较佳地，所述的边缘侧包括：
边缘侧处理算力模块，用于提供轻量级算法的硬件运行环境；
轻量级算法模块，与所述的边缘侧处理算力模块相连接，用于实现边缘侧分析和预警。
较佳地，所述的轻量级算法模块包括边缘侧主控层和边缘侧识别层，所述的边缘侧主控层与边缘侧处理算力模块相连接，所述的用于接入摄像头，通过解析视频流数据，抽取图片，发送至边缘侧识别层的各个识别模块；所述的边缘侧识别层，用于进行行为识别，并将识别结果发回给边缘主控单元，所述的边缘主控单元汇集所有模块的信息后定时发送至云端侧的综合主控单元。
较佳地，所述的边缘侧还包括多个分布式边缘计算节点，所述的每个节点具与独立系统和处理能力，支持前端各类终端接入和配置管理，通过轻量级识别实现边缘侧分析和有效预警。
较佳地，所述的云端侧包括：
云端主控单元，与所述的边缘侧相连接，接收边缘设备发送的识别数据，进行封装和汇总，向应用层推送识别结果；
配置管理单元，与所述的边缘侧相连接，用于实现边缘设备管理、配置和运维服务。
较佳地，所述的云端侧提供预警展示及统计分析的接口，采用随需应变的级联式可扩展架构。
较佳地，所述的边缘侧根据负载能力决策任务本地执行或上传，所述的云端侧根据场景确定边缘侧的调度模式。
该利用上述系统实现基于云边融合针对突发事件进行识别预警处理的方法，其主要特点是，所述的方法包括以下步骤：
(1)所述的边缘侧进行图像抽取、公共特征提取、异常行为模式识别、结果组装和心跳检测；
(2)所述的云端侧进行用户数据定制、数据分发和心跳检测。
较佳地，所述的步骤(1)中的图像抽取具体为：
在解析视频流抽取关键帧后，将原始尺寸压缩或扩充为标准尺寸的图像；设置尺寸恰当的环形图像队列，将采样的图像放置于其中。
较佳地，所述的步骤(1)中的公共特征提取具体为：
使用人体姿态识别算法和模型提取人员位置特征和人体姿态特征，构成原始图像的特征图。
较佳地，所述的步骤(1)中的异常行为模式识别具体为：
基于轻量级的机器学习框架，提高模型复用度，进行模型识别频率调优。
较佳地，所述的步骤(1)中的心跳检测具体为：
边缘侧检测各个异常行为识别模块是否健康，将检测结果发送至主控单元，如果某个模块不健康，则将根据心跳中包含的具体信息来执行模型重启或隔离；否则，继续步骤(2)。
较佳地，所述的步骤(2)中的用户数据定制具体为：
云端存储原始图像以及各种结构化的异常行为识别结果，根据用户在订阅时提交的定制规则，动态生成推送给用户的数据报。
较佳地，所述的步骤(2)中的心跳检测具体为：
云端主控单元检测各个边缘设备是否健康，如果发现某个设备不健康，则将组装报警信息上报应用；否则，设备继续工作。
该用于实现基于云边融合针对突发事件进行识别预警处理的装置，其主要特点是，所述的装置包括：
处理器，被配置成执行计算机可执行指令；
存储器，存储一个或多个计算机可执行指令，所述计算机可执行指令被所述处理器执行时，实现上述的实现基于云边融合针对突发事件进行识别预警处理的方法的各个步骤。
该用于实现基于深度学习的针对场所人员穿着进行识别处理的处理器，其主要特点是，所述的处理器被配置成执行计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现上述的实现基于云边融合针对突发事件进行识别预警处理的方法的各个步骤。
该计算机可读存储介质，其主要特点是，其上存储有计算机程序，所述的计算机程序可被处理器执行以实现上述的实现基于云边融合针对突发事件进行识别预警处理的方法的各个步骤。
采用了本发明的基于云边融合实现突发事件识别预警的系统、方法、装置、处理器及其计算机可读存储介质，通过在边缘侧加强智能分析和处理能力，降低云端的分处理和存储压力，减轻网络带宽传输压力。如果采用本发明技术成果，可以充分利用现有的建设基础，对现有高清视频监控系统进行智能升级。因此，本发明成果具有极大的应用前景和市场前景。
附图说明
图1为本发明的基于云边融合实现突发事件识别预警的系统结构示意图。
图2为本发明的基于云边融合实现突发事件识别预警的系统的架构图。
图3为本发明的实现基于云边融合针对突发事件进行识别预警处理的方法的流程图。
具体实施方式
为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。
本发明的该基于云边融合实现突发事件识别预警的系统，其中包括边缘侧和云端侧，所述的边缘侧和云端侧相连接，所述的边缘侧用于实现图像抽取、公共特征提取、异常行为模式识别、结果组装和心跳检测；所述的云端侧用于实现用户数据定制、数据分发和心跳检测。
作为本发明的优选实施方式，所述的边缘侧包括：
边缘侧处理算力模块，用于提供轻量级算法的硬件运行环境；
轻量级算法模块，与所述的边缘侧处理算力模块相连接，用于实现边缘侧分析和预警。
作为本发明的优选实施方式，所述的轻量级算法模块包括边缘侧主控层和边缘侧识别层，所述的边缘侧主控层与边缘侧处理算力模块相连接，所述的用于接入摄像头，通过解析视频流数据，抽取图片，发送至边缘侧识别层的各个识别模块；所述的边缘侧识别层，用于进行行为识别，并将识别结果发回给边缘主控单元，所述的边缘主控单元汇集所有模块的信息后定时发送至云端侧的综合主控单元。
作为本发明的优选实施方式，所述的边缘侧还包括多个分布式边缘计算节点，所述的每个节点具与独立系统和处理能力，支持前端各类终端接入和配置管理，通过轻量级识别实现边缘侧分析和有效预警。
作为本发明的优选实施方式，所述的云端侧包括：
云端主控单元，与所述的边缘侧相连接，接收边缘设备发送的识别数据，进行封装和汇总，向应用层推送识别结果；
配置管理单元，与所述的边缘侧相连接，用于实现边缘设备管理、配置和运维服务。
作为本发明的优选实施方式，所述的云端侧提供预警展示及统计分析的接口，采用随需应变的级联式可扩展架构。
作为本发明的优选实施方式，所述的边缘侧根据负载能力决策任务本地执行或上传，所述的云端侧根据场景确定边缘侧的调度模式。
该利用上述系统实现基于云边融合针对突发事件进行识别预警处理的方法，其主要特点是，所述的方法包括以下步骤：
(1)所述的边缘侧进行图像抽取、公共特征提取、异常行为模式识别、结果组装和心跳检测；
(2)所述的云端侧进行用户数据定制、数据分发和心跳检测。
作为本发明的优选实施方式，所述的步骤(1)中的图像抽取具体为：
在解析视频流抽取关键帧后，将原始尺寸压缩或扩充为标准尺寸的图像；设置尺寸恰当的环形图像队列，将采样的图像放置于其中。
作为本发明的优选实施方式，所述的步骤(1)中的公共特征提取具体为：
使用人体姿态识别算法和模型提取人员位置特征和人体姿态特征，构成原始图像的特征图。
作为本发明的优选实施方式，所述的步骤(1)中的异常行为模式识别具体为：
基于轻量级的机器学习框架，提高模型复用度，进行模型识别频率调优。
作为本发明的优选实施方式，所述的步骤(1)中的心跳检测具体为：
边缘侧检测各个异常行为识别模块是否健康，将检测结果发送至主控单元，如果某个模块不健康，则将根据心跳中包含的具体信息来执行模型重启或隔离；否则，继续步骤(2)。
作为本发明的优选实施方式，所述的步骤(2)中的用户数据定制具体为：
云端存储原始图像以及各种结构化的异常行为识别结果，根据用户在订阅时提交的定制规则，动态生成推送给用户的数据报。
作为本发明的优选实施方式，所述的步骤(2)中的心跳检测具体为：
云端主控单元检测各个边缘设备是否健康，如果发现某个设备不健康，则将组装报警信息上报应用；否则，设备继续工作。
作为本发明的优选实施方式，该用于实现基于云边融合针对突发事件进行识别预警处理的装置，其中包括：
处理器，被配置成执行计算机可执行指令；
存储器，存储一个或多个计算机可执行指令，所述计算机可执行指令被所述处理器执行时，实现上述的实现基于云边融合针对突发事件进行识别预警处理的方法的各个步骤。
作为本发明的优选实施方式，该用于实现基于深度学习的针对场所人员穿着进行识别处理的处理器，其被配置成执行计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现上述的实现基于云边融合针对突发事件进行识别预警处理的方法的各个步骤。
作为本发明的优选实施方式，该计算机可读存储介质，其上存储有计算机程序，所述的计算机程序可被处理器执行以实现上述的实现基于云边融合针对突发事件进行识别预警处理的方法的各个步骤。
本发明的具体实施方式中，本发明涉及一种基于云边融合的突发事件识别预警系统及方法，充分结合已有的海量感知基础设施，设计一种基于云边融合的突发事件识别预警系统。
本发明的目的是面向典型的人员密集场所，需要通过在数据产生源端或者附近进行预处理，尽量把处理或优化后的轻量级数据传输至云中心，以节省网络传输带宽和云中心资源。
基于云边融合的突发事件识别预警系统，采用边缘侧和云端侧的级联式系统架构，由边缘侧和云端侧两部分组成：
边缘侧重点针对边缘设备计算和存储资源受限，采用支持边缘计算场景的轻量级识别算法和机器学习框架；实现可复用模型、优化模型识别频率；
云端侧包括云端主控单元和配置管理单元。
该基于云边融合的突发事件识别预警系统中的边缘侧包括：
边缘侧处理算力模块，用于提供轻量级算法的硬件运行环境；
轻量级算法适配于边缘侧处理算力模块，包含边缘侧主控层和边缘侧识别层。
边缘侧包含多个分布式边缘计算节点，每个节点具备独立系统和处理能力，支持前端各类终端接入和配置管理，通过轻量级识别算法，实现边缘侧分析和有效预警。
云端侧包括云端主控单元作为基础服务，在接收多个边缘设备发送来的识别数据后，进行封装和汇总，向应用层推送它们订阅的识别结果。云端主控单元向接收消息的应用层屏蔽了边缘设备层的复杂性。
配置管理单元主要实现边缘设备管理、配置和运维服务。
边缘侧实现图像抽取、公共特征提取、异常行为模式识别模块、结果组装和心跳检测；
云端侧实现用户数据定制、数据分发和心跳检测。
为减轻网络传输和云端侧处理压力，在边缘侧“有限”的存储和计算条件下，采用轻量级的处理或优化算法，充分利用边缘侧的处理能力。
为提升预警效率、减小延时，采用云端侧和边缘侧融合分析，根据场景需要进行动态决策；边缘侧根据负载能力决策任务本地执行或者上传、云端侧需根据场景确定边缘侧的调度模式。
从整体架构上来说，该基于云边融合的突发事件识别预警系统是嵌入在前端高清摄像机之间，其主要特点是，所属的系统包括：
云端侧支持大屏、PC、移动端等不同形态的展示方式，提供预警展示、统计分析等接口；同时为适应不同数量前端设备，云端侧采用随需应变的级联式可扩展架构。
请参阅图1所示，该基于云边融合的突发事件识别预警系统，其中包括：
(1)边缘侧，包括边缘侧处理算力模块和轻量级算法：
·边缘侧处理算力模块，配备GPU算力，采用工业级设计，散热，防水防尘，适用于复杂环境；支持RTSP、ONVIF、GB/T28181-2016协议接入前端网络摄像机；IP67工业级防护设计；
·轻量级算法，适配于边缘侧处理算力模块中，实现边缘侧分析和预警。轻量级算法包括边缘侧主控层和边缘侧识别层。边缘侧主控层(边缘主控单元，Minor Master)，一方面负责接入一个或多个摄像头，通过解析视频流数据，抽取图片，发送给同样运行于边缘设备中的边缘侧识别层的各个识别模块。识别模块接收到图片后进行行为识别，并将识别结果发回给边缘主控单元，边缘主控单元汇集所有模块的信息后定时发送给运行于云端侧的综合主控单元(Major Master)。
(2)云端侧，包括：
·云端主控单元作为基础服务，在接收多个边缘设备发送来的识别数据后，进行封装和汇总，向应用层推送它们订阅的识别结果。云端主控单元向接收消息的应用层屏蔽了边缘设备层的复杂性。
·配置管理单元主要实现边缘设备管理、配置和运维服务。
该基于云边融合的突发事件识别预警系统的方法，其中包括：
边缘侧的图像抽取、公共特征提取、异常行为模式识别模块、结果组装和心跳检测；
云端侧的用户数据定制、数据分发和心跳检测。
在实际使用当中，本发明中的基于云边融合的突发事件识别预警系统的方法请参阅图3 所示，具体描述如下：
(1)边缘侧的方法包括：
1)图像抽取
在抽取图像时，需要关注的核心问题是图像的尺寸。由于各个异常行为模式识别模块通常都是采用卷积神经网络对图像进行处理，因此需要输入的图像具有相同的尺寸。但是未来系统应用的场合具有多样性，摄像头采录的视频尺寸具有不同的尺寸。所以，图像抽取要做到自适应，在解析视频流抽取关键帧之后，要将原始尺寸压缩或扩充为标准尺寸的图像。
图像抽取的另一个核心问题是抽取的频率。由于各个异常行为模式识别模块处理的任务特点不同，因此它们对采样频率具有不同的要求，而任务执行的时间也存在很大的差异。因此，在系统中要设置一个尺寸恰当的环形图像队列，将采样的图像放置于其中，既可以满足不同采样频率的模块，有可以限制其内存规模，以节省对边缘设备中受限资源的占用。
2)公共特征提取
由于异常行为模式的主体是人，因此，无论是哪种以人为主体的行为，都可以在人体姿态识别的基础上进行识别。所以，针对图像队列中的尺寸统一的图像，将使用人体姿态识别算法和模型来提取其中的人员位置特征和人体姿态特征，构成原始图像的特征图，作为各种异常行为识别模块的输入进行识别，从而移除重复计算，减少资源占用，提高识别性能。
考虑到未来的系统可扩展性，可能突发事件并非以人为主体发生，例如无人认领的大件行李。本项目将采用基于TensorRT这样的轻量级模型来替代TensorFlow，一方面可以在不显著降低识别准确性的情况下明显降低对资源的占用，另一方面可以用这种轻量级框架设计扩展到不以人为主体的行为识别模型。
3)异常行为模式识别模块
异常行为模式识别模块将在人体姿态特征图的基础上进一步识别具体的行为。这些模块将在经典算法的基础上，剥离浅层的人体姿态识别层，直接从以人体姿态特征图为输入的层开始执行。因此，所有模块都将根据标准接口和通信协议开发，以实现模块的扩展。
异常行为模式识别模块中将实现模型与业务逻辑的分离，这样模型和业务逻辑可以实现单独升级和演化，以方便在实际应用场景下进行现场适配。
每种异常行为模式识别模块读取人体姿态特征图的频率将根据实际业务类型进行配置，模块与模块之间互相独立。异常行为模式识别模块采用轻量级异常行为识别机制。由于异常模式的识别在资源受限的边缘设备上完成，因此，各个异常行为识别模型和算法要具备轻量级的特征。
具体实现轻量级的途径应该为：
A.基于轻量级的机器学习框架：作为各个模型的基础支撑，机器学习框架是计算资源主要的消费者，因此，使用轻量级的机器学习框架，例如TensorRT将显著降低资源消耗，但是要平衡识别精度与资源消耗之间的关系。
B.提高模型复用度：很多模型都有相同的部分，例如目标识别，这部分特征提取工作统一交由单个模块进行处理，各个模型基于该模块进行后续特征提取，也可以降低异常行为识别的资源需求。
C.模型识别频率调优：并非每种异常行为的识别都必须具有相同的频率，例如黄牛识别与人员跟踪就具有明显的识别频率差异。因此，在不影响异常行为识别准确性的情况下，对每种模型的识别频率进行调优，将有助于资源利用率的优化，实现异常行为识别机制的整体轻量级化。
4)结果组装
各个模块的识别结果表示的是原始图像中用像素坐标表示的矩形，这些矩形属于结构化数据，用矩形的左上顶点和宽度高度来表示。这些结果汇聚之后，将和原始图像一起打包，发送到云端。在组装上报数据时，还需要添加摄像头标识、边缘设备标识和时间戳，以确定数据源的时空位置。
结果组装后的上报数据将以纯文本的形式表示，其中图像以BASE64形式表示，通过 HTTP协议发送给云端主控单元。为了保证数据安全，数据发送时将用证书加密。由于视频流数据源源不断，为了提高传输效率，可以使用UDP协议发送数据。
5)心跳检测
边缘设备中的心跳检测，用于检测各个异常行为识别模块是否健康，并将检测结果发送给主控单元。当发现某个模块不健康时，将根据心跳中包含的具体信息来执行模型重启或隔离。
(2)云端侧的方法包括：
1)用户数据定制
系统允许用户定制希望收到的异常行为类型，因此，在云端存储了原始图像，以及各种结构化的异常行为识别结果，然后根据用户在订阅时提交的定制规则，动态生成推送给用户的数据报。数据报包含两部分内容，一部分是将识别结果的矩形按照行为类型用不同的标记和颜色绘制矩形之后的图像，一部分是这些矩形本身的结构化数据，这样一方面可以满足用户显示识别结果的需求，另一方面可以满足用户在识别结果上进行进一步处理已形成其增值服务的需求。
用户定制规则是随用户订阅信息提交的，所以当用户希望重新调整订阅信息时，可以通过再次订阅来实现。所有的用户定制规则将存储在云端，作为用户数据定制的依据。
2)数据分发
数据分发采用安全可靠便捷的异常行为识别结果分发机制。数据分发将采用HTTP协议实现。每个订阅用户将在回调端口处接收推送的数据，而回调端口是用户在订阅时提交的。在数据分发时，要考虑数据推送不成功的情况，因为此时涉及到用户体验问题，因此将利用存储转发机制确保所有订阅用户都可以收到其定制的推送数据。基于本项目所开发的系统会向订阅用户推送它们定制的异常行为识别结果，这种信息分发机制需要具备安全、可靠和便捷的特征，具体如下：
A.安全性：推送的数据将通过证书加密来确保通信链路上的安全性。该系统会导入授信用户的证书，并通过证书中的公钥和本系统的私钥对推送数据进行加密，一方面保障数据的隐私性，另一方面可以让用户验证数据的真伪。
B.可靠性：推送数据可以通过消息中间件转发，同时在运行主控单元的云端服务器上将部署缓存工具对推送数据进行缓存。这样可以确保推送信息一定能够到达用户处。同时，用户也可以自主选择使用非持久化订阅来保证推送数据的时序。
C.便捷性：推送数据将包含识别所对应的图片，以及在图片中识别出来的各种行为目标的坐标，图片以BASE64格式推送，而识别数据以JSON格式推送。这两种纯文本的数据表示格式，加上可扩展的数据报格式，使得数据解析变得非常简单快速。
3)心跳检测
云端主控单元中的心跳检测，用于检测各个边缘设备是否健康。当发现某个设备不健康时，将组装报警信息上报应用。
采用了上述的基于云边融合的突发事件识别预警系统能够对预设的各种异常行为和突发事件进行即时识别，进而进行及时有效的预防和管治。因此本发明所产生的效益可以从社会效益和经济效益两方面来分析。
首先，在社会效益上，本发明可以提升异常行为识别的智能化、自动化和精度，提高突发事件的响应速度。由于使用了边缘设备在靠近摄像头的位置就近处理数据，因此，可以通过利旧、大幅度降低系统构建和运行的成本，减少施工量，从而降低施工期对安装场所的影响。
其次，在经济效益上，由于尽量利旧，系统构建和运行的成本会较低。安装该系统的公共场所可以节省大量的人力，并提高应对突发事件的能力，避免产生重大人身财产损失。同时，该系统的推广可以带动上下游企业的发展，包括视频监控设备和边缘终端设备的提供商、室内BIM地图/室外GIS地图供应商，以及安保公司等。在市场前景方面，该系统面向的是大型公共场所、社区、厂区、仓库等，在城市中具有大量的适用场合。
本实施例的具体实现方案可以参见上述实施例中的相关说明，此处不再赘述。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
采用了本发明的基于云边融合实现突发事件识别预警的系统、方法、装置、处理器及其计算机可读存储介质，通过在边缘侧加强智能分析和处理能力，降低云端的分处理和存储压力，减轻网络带宽传输压力。如果采用本发明技术成果，可以充分利用现有的建设基础，对现有高清视频监控系统进行智能升级。因此，本发明成果具有极大的应用前景和市场前景。
在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。
Claims (17)
1.一种基于云边融合实现突发事件识别预警的系统，其特征在于，所述的系统包括边缘侧和云端侧，所述的边缘侧和云端侧相连接，所述的边缘侧用于实现图像抽取、公共特征提取、异常行为模式识别、结果组装和心跳检测；所述的云端侧用于实现用户数据定制、数据分发和心跳检测。
2.根据权利要求1所述的基于云边融合实现突发事件识别预警的系统，其特征在于，所述的边缘侧包括：
边缘侧处理算力模块，用于提供轻量级算法的硬件运行环境；
轻量级算法模块，与所述的边缘侧处理算力模块相连接，用于实现边缘侧分析和预警。
3.根据权利要求2所述的基于云边融合实现突发事件识别预警的系统，其特征在于，所述的轻量级算法模块包括边缘侧主控层和边缘侧识别层，所述的边缘侧主控层与边缘侧处理算力模块相连接，所述的用于接入摄像头，通过解析视频流数据，抽取图片，发送至边缘侧识别层的各个识别模块；所述的边缘侧识别层，用于进行行为识别，并将识别结果发回给边缘主控单元，所述的边缘主控单元汇集所有模块的信息后定时发送至云端侧的综合主控单元。
4.根据权利要求1所述的基于云边融合实现突发事件识别预警的系统，其特征在于，所述的边缘侧还包括多个分布式边缘计算节点，所述的每个节点具与独立系统和处理能力，支持前端各类终端接入和配置管理，通过轻量级识别实现边缘侧分析和有效预警。
5.根据权利要求1所述的基于云边融合实现突发事件识别预警的系统，其特征在于，所述的云端侧包括：
云端主控单元，与所述的边缘侧相连接，接收边缘设备发送的识别数据，进行封装和汇总，向应用层推送识别结果；
配置管理单元，与所述的边缘侧相连接，用于实现边缘设备管理、配置和运维服务。
6.根据权利要求1所述的基于云边融合实现突发事件识别预警的系统，其特征在于，所述的云端侧提供预警展示及统计分析的接口，为不同数量前端设备，采用随需应变的级联式可扩展架构。
7.根据权利要求1所述的基于云边融合实现突发事件识别预警的系统，其特征在于，所述的边缘侧根据负载能力决策任务本地执行或上传，所述的云端侧根据场景确定边缘侧的调度模式。
8.一种利用权利要求1所述的系统实现基于云边融合针对突发事件进行识别预警处理的方法，其特征在于，所述的方法包括以下步骤：
(1)所述的边缘侧进行图像抽取、公共特征提取、异常行为模式识别、结果组装和心跳检测；
(2)所述的云端侧进行用户数据定制、数据分发和心跳检测。
9.根据权利要求8所述的实现基于云边融合针对突发事件进行识别预警处理的方法，其特征在于，所述的步骤(1)中的图像抽取具体为：
在解析视频流抽取关键帧后，将原始尺寸压缩或扩充为标准尺寸的图像；设置尺寸恰当的环形图像队列，将采样的图像放置于其中。
10.根据权利要求8所述的实现基于云边融合针对突发事件进行识别预警处理的方法，其特征在于，所述的步骤(1)中的公共特征提取具体为：
使用人体姿态识别算法和模型提取人员位置特征和人体姿态特征，构成原始图像的特征图。
11.根据权利要求8所述的实现基于云边融合针对突发事件进行识别预警处理的方法，其特征在于，所述的步骤(1)中的异常行为模式识别具体为：
基于轻量级的机器学习框架，提高模型复用度，进行模型识别频率调优。
12.根据权利要求8所述的实现基于云边融合针对突发事件进行识别预警处理的方法，其特征在于，所述的步骤(1)中的心跳检测具体为：
边缘侧检测各个异常行为识别模块是否健康，将检测结果发送至主控单元，如果某个模块不健康，则将根据心跳中包含的具体信息来执行模型重启或隔离；否则，继续步骤(2)。
13.根据权利要求8所述的实现基于云边融合针对突发事件进行识别预警处理的方法，其特征在于，所述的步骤(2)中的用户数据定制具体为：
云端存储原始图像以及各种结构化的异常行为识别结果，根据用户在订阅时提交的定制规则，动态生成推送给用户的数据报。
14.根据权利要求8所述的实现基于云边融合针对突发事件进行识别预警处理的方法，其特征在于，所述的步骤(2)中的心跳检测具体为：
云端主控单元检测各个边缘设备是否健康，如果发现某个设备不健康，则将组装报警信息上报应用；否则，设备继续工作。
15.一种用于实现基于云边融合针对突发事件进行识别预警处理的装置，其特征在于，所述的装置包括：
处理器，被配置成执行计算机可执行指令；
存储器，存储一个或多个计算机可执行指令，所述计算机可执行指令被所述处理器执行时，实现权利要求8～14中任一项所述的实现基于云边融合针对突发事件进行识别预警处理的方法的各个步骤。
16.一种用于实现基于深度学习的针对场所人员穿着进行识别处理的处理器，其特征在于，所述的处理器被配置成执行计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现权利要求8～14中任一项所述的实现基于云边融合针对突发事件进行识别预警处理的方法的各个步骤。
17.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述的计算机程序可被处理器执行以实现权利要求8～14中任一项所述的实现基于云边融合针对突发事件进行识别预警处理的方法的各个步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011524124.1A CN112866332A (zh) | 2020-12-22 | 2020-12-22 | 基于云边融合实现突发事件识别预警的系统、方法、装置、处理器及其存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011524124.1A CN112866332A (zh) | 2020-12-22 | 2020-12-22 | 基于云边融合实现突发事件识别预警的系统、方法、装置、处理器及其存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112866332A true CN112866332A (zh) | 2021-05-28 |
Family
ID=75997840
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011524124.1A Pending CN112866332A (zh) | 2020-12-22 | 2020-12-22 | 基于云边融合实现突发事件识别预警的系统、方法、装置、处理器及其存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112866332A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115208959A (zh) * | 2022-05-30 | 2022-10-18 | 武汉市水务集团有限公司 | 一种物联网安全通信系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170078626A1 (en) * | 2015-09-16 | 2017-03-16 | Microsoft Technology Licensing, Llc | Bandwidth efficient video surveillance system |
| CN111199279A (zh) * | 2019-10-30 | 2020-05-26 | 山东浪潮人工智能研究院有限公司 | 一种警务行业云端边缘计算和人工智能融合方法及装置 |
| CN111510774A (zh) * | 2020-04-21 | 2020-08-07 | 济南浪潮高新科技投资发展有限公司 | 一种结合边缘计算与深度学习的智能终端图像压缩算法 |
| CN111698470A (zh) * | 2020-06-03 | 2020-09-22 | 河南省民盛安防服务有限公司 | 一种基于云边协同计算的安防视频监控系统及其实现方法 |
-
2020
- 2020-12-22 CN CN202011524124.1A patent/CN112866332A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170078626A1 (en) * | 2015-09-16 | 2017-03-16 | Microsoft Technology Licensing, Llc | Bandwidth efficient video surveillance system |
| CN111199279A (zh) * | 2019-10-30 | 2020-05-26 | 山东浪潮人工智能研究院有限公司 | 一种警务行业云端边缘计算和人工智能融合方法及装置 |
| CN111510774A (zh) * | 2020-04-21 | 2020-08-07 | 济南浪潮高新科技投资发展有限公司 | 一种结合边缘计算与深度学习的智能终端图像压缩算法 |
| CN111698470A (zh) * | 2020-06-03 | 2020-09-22 | 河南省民盛安防服务有限公司 | 一种基于云边协同计算的安防视频监控系统及其实现方法 |
Non-Patent Citations (2)
| Title |
|---|
| （澳）拉库马·布亚（RAJKUMAR BUYYA）: "《雾计算与边缘计算 原理及范式》", 31 January 2020 * |
| 梁丰: "《协同虚拟维修中体感交互控制技术研究》", 31 December 2019 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115208959A (zh) * | 2022-05-30 | 2022-10-18 | 武汉市水务集团有限公司 | 一种物联网安全通信系统 |
| CN115208959B (zh) * | 2022-05-30 | 2023-12-12 | 武汉市水务集团有限公司 | 一种物联网安全通信系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111556294B (zh) | 安全监测方法、装置、服务器、终端及可读存储介质 | |
| EP2688296B1 (en) | Video monitoring system and method | |
| US9704393B2 (en) | Integrated intelligent server based system and method/systems adapted to facilitate fail-safe integration and/or optimized utilization of various sensory inputs | |
| CA2824330C (en) | An integrated intelligent server based system and method/systems adapted to facilitate fail-safe integration and/or optimized utilization of various sensory inputs | |
| WO2019052266A1 (zh) | 一种智能物联网管理系统、方法以及服务器 | |
| WO2020185233A1 (en) | Responding to machine learning requests from multiple clients | |
| US11822698B2 (en) | Privacy transformations in data analytics | |
| CN112799891B (zh) | iOS设备测试方法、装置、系统、存储介质及计算机设备 | |
| CN112116551A (zh) | 一种摄像头遮挡检测方法、装置、电子设备和存储介质 | |
| CN108347427A (zh) | 一种视频数据传输、处理方法、装置及终端、服务器 | |
| CN115103157A (zh) | 基于边云协同的视频分析方法、装置、电子设备及介质 | |
| CN111988397B (zh) | 一种基于边缘计算的防震减灾救灾方法和系统 | |
| CN112866332A (zh) | 基于云边融合实现突发事件识别预警的系统、方法、装置、处理器及其存储介质 | |
| CN115729683A (zh) | 任务处理方法、装置、系统、计算机设备和存储介质 | |
| CN114490280A (zh) | 一种日志处理方法、装置、设备及介质 | |
| US20230344740A1 (en) | Sla performance prediction method and related apparatus, and device | |
| CN111565303A (zh) | 基于雾计算及深度学习的视频监控方法、系统和可读存储介质 | |
| CN116389492A (zh) | 视频分析系统、方法、装置、计算机可读存储介质 | |
| CN112989078A (zh) | 数据处理方法、装置、计算机设备及存储介质 | |
| CN114187580A (zh) | 更新数字孪生模型状态的方法及相关设备 | |
| CN113472779A (zh) | 一种数据处理方法和装置 | |
| CN115695850B (zh) | 视频数据处理方法、装置、电子设备和介质 | |
| CN111741355B (zh) | 用于推送信息的方法、装置和系统 | |
| Nwokolo et al. | Quality of service evaluation in on-demand cloud-based video surveillance | |
| LU505168B1 (en) | Cloud-edge-terminal collaborative method and system applied in comprehensive management of coal transportation intelligent monitoring system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210528 |
|
| RJ01 | Rejection of invention patent application after publication |