CN114971574A - 基于云边协同的多模态信息复合感知与融合架构及方法 - Google Patents

Abstract

本发明公开了一种基于云边协同的多模态信息复合感知与融合架构及方法，采用云计算和边缘计算技术构建数据感知层、边缘节点层、网络传输层、云计算中心层、应用层，通过云边协同进行统一架构设计，包括资源协同、数据协同、智能服务协同、业务应用协同，实现多模态感知数据的复合感知与融合，提供多样化智慧应用。本发明针对社区公共安全风险防控中遇到的问题，从源头治理出发，打破现有系统自有数据共享的壁垒，解决当前社区分散在不同地点的各类系统导致的“数据孤岛”问题，使得数据能够更加安全、便利的采集和处理，确保信息掌控到位、便民服务到位，提高社区精细化治理能力。

Description

基于云边协同的多模态信息复合感知与融合架构及方法

技术领域

本发明涉及一种架构及方法，尤其涉及一种基于云边协同的多模态信息复合感知与融合架构及方法，属于边缘计算和云计算技术领域。

背景技术

随着社区各类物联网设备的不断增加，治理场景、监控对象类型日益多样，社区公共安全风险与日俱增，社区治理机制的缺乏、安全观念的缺位、治理客体“异质性强、诉求不一”、治理环境复杂多变等原因，使得社区公共安全问题不容忽视。然而，目前的社区综合治理普遍存在前端设备多样、信息重复收集、资源存储分散、智能化应用程度不高等问题，难以更进一步地构建更加安全、智慧的社区治理体系。

发明内容

为了解决上述技术所存在的不足之处，本发明提供了一种基于云边协同的多模态信息复合感知与融合架构及方法。

为了解决以上技术问题，本发明采用的技术方案是：一种基于云边协同的多模态信息复合感知与融合架构，采用云计算和边缘计算技术构建数据感知层、边缘节点层、网络传输层、云计算中心层、应用层，通过云边协同进行统一架构设计，包括资源协同、数据协同、智能服务协同、业务应用协同，实现多模态感知数据的复合感知与融合，提供多样化智慧应用。

进一步地，数据感知层，基于社区已建的前端现场设备、信息化系统及数据库，提供数据采集与上传、指令接收与控制服务；数据感知层提供多模态感知数据，包括视频类数据、音频类数据、图像数据、文本信息及状态数值。

进一步地，边缘节点层，向下支持前端现场设备、信息化系统和数据库的接入，向上与云计算中心层对接，包括边缘网关和边缘服务器，对前端设备实现注册连接、数据采集、资源管理、边缘应用以及对前端设备的数据调用与控制。

进一步地，网络传输层，是连接云计算中心和边缘节点乃至前端现场设备之间数据传输与调度控制的桥梁；包括公共网络、社会资源接入网络、社区自建局域网、支持业务工作开展所需的视频专网、政务专网、公安网。

进一步地，云计算中心层，以分布式云计算为支撑，采用微服务技术体系设计，包括基础支撑层、标准服务层、面向应用的业务服务层及综合管理，提供资源协同、数据协同、服务协同。

进一步地，在基础支撑层中，承担云中心计算资源、存储资源和网络资源的资源协同与统一管理；

在标准服务层中，提供各类支撑性标准服务，实现对数据资源的统一管理，包括数据提供、数据审计以及资源调度、资源共享；

在面向应用的业务服务层中，承担包括数据治理、资产管理、数据分析挖掘的计算任务，面向对应业务建立相应模型库，支撑面向用户的业务应用，通过统一的智能服务引擎对业务服务进行分类管理和对外提供；

综合管理承担整个云中心的管理任务，包括权限管理、账户管理、资产管理、安全管理、运行监测、告警服务、消息订阅和控制台功能。

进一步地，资源协同包括对计算、存储、网络和虚拟化等基础设施资源的协同，以及边缘节点设备自身的生命周期管理协同；当边缘节点接收到来自前端感知设备高并发的数据计算请求或者是处于高优先级的业务场景时，资源协同首先对资源进行端到端的逻辑拆分和封装，然后将当前应用场景下的资源需求映射为资源性能指标，进行资源所需节点数量的计算与弹性配置，以满足当前资源需求；同时建立资源需求预测模型，当再次遇到同类业务场景资源需求后，可以更加快速精准的匹配资源。

进一步地，数据协同为边缘节点与云中心的数据协同；利用消息队列架设实时数据传输服务，完成边缘节点与前端设备、边缘节点与云中心节点之间的数据传输；边缘节点对接收到的前端感知数据进行数据预处理、过滤和转换，剔除冗余数据，将原始感知数据中高质量的数据提取出来，通过数据同步服务实现数据到云中心节点的实时传输；云中心节点通过数据接收服务对边缘节点传递的数据进行实时接收，按照数据类型及用途进行存储和处理，为进一步应用提供数据基础。

进一步地，服务协同通包括智能分析服务协同、标准服务协同与智能服务引擎；

智能分析服务协同，将各类独立的智能分析服务通过剪枝与量化进行模型压缩，采用协同计算卸载策略将资源消耗大的复杂智能分析服务进行任务卸载，拆分为面向数据关联分析的复杂计算模型以及面向简单处理的基础运算模型，将复杂计算模型部署在云中心，将资源需求较小的基础运算模型部署在边缘服务器；

标准服务协同主要是通过在边缘节点与云中心之间建立包括资源接入、调度、管理的标准服务，实现云中心对边缘节点的基础管理控制；

智能服务引擎提供服务发现、服务供应和服务运行功能支撑。

一种基于云边协同的多模态信息复合感知与融合架构的部署方法：

基于现有的前端现场设备、信息化系统、数据库条件，将各类资源进行分类，对数据的一致性、冗余性进行检查后，采用统一的命名规则设置标识码，建立数据接入模型并输出描述文件；

按照数据接入模型的不同，分别部署相应的边缘服务器，分别支持视频、图像、工业数据等不同接入协议和接入方式；

在具备网络通信条件的空间部署智慧社区综合治理平台服务器，依托社区网络环境，智慧社区综合治理平台服务器与边缘服务器之间进行数据的高效传输；

智慧社区综合治理平台服务器端汇聚了来自边缘服务器上传的各类处理后的数据，同时接入社区已有基础数据，形成数据资源库，对数据资源提供整合、建模与质量管理等数据治理服务，通过管理，集成对应的业务模型库，支撑各类智能分析服务，同时对前端边缘节点进行协同管控；

用户可根据所属权限访问智慧社区综合治理平台的相应功能。

本发明针对社区公共安全风险防控中遇到的问题，从源头治理出发，提出了一种基于云边协同的多模态信息复合感知与融合架构及方法，能够打破现有系统自有数据共享的壁垒，解决当前社区分散在不同地点的各类系统导致的“数据孤岛”问题，使得数据能够更加安全、便利的采集和处理，确保信息掌控到位、便民服务到位，提高社区精细化治理能力。

并且，充分发挥了云中心和边缘计算的综合优势，建立起“人防部署到位、物防设施完善、技术手段先进、应急处置高效”的集管理、防范、控制于一体的小区安全保障体系，对各类事件做到预知、预判、预防、预警和有效处置，切实加强小区的安全保障能力和应急响应能力，对于一些突发事件，也可以在处置过程中提供信息沟通共享、资源统一调配、智能分析联动，从而实现高效、智能、安全的社区公共安全应急决策支持，全力营造一个安全、科技、时尚、智能的现代化社区。

附图说明

图1为本发明的主体框架的示意图。

图2为本发明的技术架构组成图。

图3为本发明技术架构的部署示意图。

图4为本发明技术架构协同模式示意图。

图5为本发明数据协同示意图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。

一种基于云边协同的多模态信息复合感知与融合技术架构，采用云计算和边缘计算技术构建数据感知层、边缘节点层、网络传输层、云计算中心层和业务应用层，从资源协同、数据协同、智能服务协同、业务应用协同等方面，可以有效发挥云中心和边缘设备的综合优势，实现视频、音频、图片、文本、状态数值5类不同模态感知数据的复合感知与融合应用，为多维分析挖掘、人员信息管理、风险感知预警等智慧社区应用提供服务支撑，减少社区突发公共安全事件发生的可能性，提升社区安全保障能力和智能化水平。

如图1所示，本发明的基于云边协同的多模态信息复合感知与融合架构主要包括数据感知层、边缘节点层、网络层、云计算中心层、应用层；

再如图2所示技术架构组成图可知，各层的具体设置有：

数据感知层：来源于社区已建的各种现场设备、信息化系统或数据库；具体指：前端各类物联网感知设备，主要包括社区安全防控感知，如视频监控、门禁、卡口等；民生数据感知，涵盖社区已建的能够提供社区居民日常生产的各类智能设备或信息化系统；社区服务站，包括社区劳动就业、社会保障和社会事物管理、社区健康管理与服务等。数据感知层提供数据收集与上传、指令接收与控制功能，获取的数据类型包括视频类数据、音频类数据、图像数据、文本信息以及状态类数据等多种模态。

边缘节点层：向下支持社区各种现场设备、信息化系统和数据库等的接入，向上可以与云计算中心层对接，包括边缘网关和边缘服务器；边缘节点层基于广泛分布的边缘节点，提供边缘资源管理，对前端各类感知设备实现注册连接、数据采集、资源管理、边缘应用以及对前端设备的数据调用与远程控制，承担了非计算密集型、实时性、移动性数据的处理分析和实时简单智能化决策。

其中，边缘网关作为边缘节点，承担边缘数据采集、边缘服务器部署和边缘网络环境管理，分别完成了对边缘网关存储、计算和网络资源的合理配置与使用。边缘数据采集包括对各类前端设备所提供的结构化、半结构化和非结构化的多模态数据的预处理，能够接收云计算中心的采集任务并启动采集任务，对数据进行清理、预处理、转换、映射后，将处理后的数据上传至云计算中心。边缘服务部署包括对异构设备或服务的注册连接、协议解析以及联动控制，针对不同类型的数据提供视频预处理、图像快速识别、数值简单分析等基础性服务。边缘网络环境管理是指从前端的现场设备到边缘网关的网络环境，主要包括4G/5G/WIFI、工业PON、TSN以及互联网等多种网络类型。

边缘应用服务器承担了基础性的边缘管理工作，包括针对不同应用场景完成业务编排、节点管理和资源调用，对边缘网关的AI算法执行管理，支撑数值分析与加工的简单服务管理以及对前端现场设备的远程控制管理。

网络传输层：是连接云计算中心和边缘节点乃至前端现场设备之间数据传输与调度控制的桥梁，主要涉及从边缘节点至云计算中心的各类社区网络环境，主要包括公共网络、社会资源接入网络、社区自建局域网以及支持业务工作开展所需的视频专网、政务专网和公安网等。

云计算中心层：以分布式云计算为支撑，采用微服务技术体系设计，主要包括提供基础云服务的服务支撑平台和面向应用设计的业务应用服务，提供多源数据分析挖掘、资源分配与管理、节点配置管理、业务模型管理以及基础运维服务。

对比边缘端没有足够的内存和处理器来承担海量数据存储及计算的缺点，云计算中心的主要优势是海量计算和海量存储，适合密集型计算、非实时性计算任务和海量数据的存储共享及分析挖掘。云计算中心层主要分为基础支撑层、标准服务层和面向社区应用的业务服务层。

在基础支撑层中，依托社区现有基础平台(如公共信息平台、基础数据库等)和基础设施(各类计算、存储、网络、安全、运维设备设施)，承担云中心计算资源、存储资源和网络资源的资源协同与统一管理，最大程度提升云中心的资源利用率。

在标准服务层中，提供各类支撑性标准服务，包括数据的接入与实施管理、数据ETL、基础中间件等，针对时序数据(Kafka)、对象数据(ETL)、关系型数据(ETL)以及第三方数据等分别采用不同的处理及存储方式，实现对上述数据资源的统一管理，包括数据提供、数据审计以及资源调度、资源共享；可采用流计算引擎、并行化分析引擎：MapReduce/Spark、流处理架构： Flink、批处理架构：HDFS/Hive/HBase。

其中，流计算引擎：为源源不断的流式数据提供计算服务，主要用于对实时产生的各类物联网感知数据的加工处理，满足对数据时效性的要求，如前端感知设备的运行监控及异常告警。

流处理架构：采用基于事件驱动的Flink处理框架，实现高吞吐、低延迟的实时计算，特别适用于社区各类多源感知数据这类乱序大实时数据，可以实现即时监测前端感知设备的各类数据流，判断状态或行为是否正常。

并行化分析引擎：采用MapReduce、Spark等计算框架为各类业务服务提供所需的大数据分析支持，主要用于对离线存储的大量社区物联感知数据的并行化的加工、清洗与挖掘等。其中Spark集成Spark SQL、Spark Streaming、 MLLib、GraphX等组件，为业务服务提供所需的流处理、批处理、机器学习、图处理等支持。

批处理架构：是基础性底层大数据处理结构，通过HDFS提供高可靠性的底层文件存储支持，采用HBase实现社区各类非结构化数据的存储，采用Hive进行数据提取转化加载(ETL)，提供大规模数据的基础性访问、查询和分析功能。

面向社区应用的业务服务层面向社区安全防控典型应用场景进行设计，承担数据治理、数据资产管理、数据分析挖掘等复杂计算任务，面向社区管理、公共服务和专题应用建立相应业务模型库，支撑面向用户的业务应用，通过统一的智能服务引擎对业务服务进行分类管理和对外提供，包括公共管理类服务、社区管理类服务、主题社区服务及第三方支持类服务等特色服务。

数据治理：包括对各类数据的标准化处理、质量管理以及数据模型的建立与数据整合。

数据资产中心：数据资产中心负责平台全部数据资源的综合管理。

元数据包括与业务应用相关的业务元数据和与管理维护相关的技术元数据，通过质量核查、元数据查询统计、元数据使用情况分析、元数据生命周期管理等管理功能，提升数据来源检测及自检能力。

主数据是面向实际应用的关键核心业务数据，按照人、地、事、物、组织进行建立，支持流程化、规范化、校验及分发管理，确保数据质量。

资源目录提供基于元数据、主数据、资源分类、标识符编码的资源采集、组织、加工和全过程管理，支持目录注册、目录聚合、目录发布、目录定位等功能。

运营视图用于整体资产中心运营状况的可视化呈现。

数据分析与挖掘：将社区公共安全风险监测业务逻辑进行数据化结构转换后，构建了风险分析、关系分析、轨迹分析、异常分析等业务模型，并建立风险分析数据模型，根据问题域中的关键信息，使用多维语义理解和时空大数据关联分析，对给定的目标特征(如人、车、事件等)或重点关键词(如重点人姓名、特征等)进行检索与挖掘，抽取命中的情报信息形成结果域，对态势发展和事件趋势进行预测，从而为社区公共安全防控提供智能化的数据情报分析结果。

综合管理承担整个云中心的管理任务，包括权限管理、账户管理、资产管理、安全管理、运行监测、告警服务、消息订阅和控制台功能。

应用层：在业务应用层主要负责应用协同，为社区工作人员提供分类分级的各类社区安全防控应用功能，分为便民应用板块和安全生产板块等四大板块，同时可以根据实际业务场景增加、减少板块并对板块内容进行灵活调整，支持移动端、客户端和大屏等的不同展现方式。

例如，便民应用：面向服务社区居民而设计的专题应用，打通居民与物业、居委会的沟通渠道，提升居民满意度，提供新闻公告(停水停电通知、政策法规宣传等)、主题社区(如环保主题)、社区服务(如求助信息发布、物业维修服务)以及消息通知等功能。

安全生产：面向社区安全生产需求而设计的专题应用，实现社区安全隐患的源头治理与防范，解决街道安全检查工作所面临的“人力不足、频次不够”的难题，提供有安全态势感知地图、安全检查管理(如检查人员管理、检查任务管理)、应急响应(如险情上报、应急预案)、安全教育(如法律法规、警示案例、宣传标语)等功能。

在实际部署中，如图3所示，基于本发明的架构，构建云上管控、边缘执行、多维感知、泛在互联的云边协同服务体系，该服务体系能够覆盖高度分散的终端设备、冗余完备的边缘节点和安全可靠的云计算中心，形成动态、弹性的层次结构，提供包括音视频、图像、文本、工业数值类数据等在内的多种设备分类接入的规范性协议，使社区物联系统/设备的接入、数据采集及远程控制更加简单，通过业务编排、AI算法执行等工具，可以按照不同的应用场景构建相应的边缘计算模型。云中心以分布式云计算为支撑，整合微服务、Docker 容器虚拟化和Kubernetes编排工具等云原生软件开发组件，对边缘上传的数据进行挖掘、分析、应用，同时对模型算法进行训练和迭代，确保边缘节点及终端的智能模型不断更新升级。

详细的部署方法如下：

在社区的出入口、单元楼及公共区域，通常已安装枪机/球机、红外摄像机等监控设备以及出入口管理、门禁管理、停车场管理等信息化系统，还包括服务于社区日常管理事物的信息化管理系统及存储在本地的社区自有数据；

基于上述条件，对前端现场设备、信息化系统、数据库等各类资源，按照“来源-类型-重要程度-更新频率-接入/传输方式”进行分类，对数据的一致性、冗余性进行检查后，按照来源、类型、特征、用途，采用统一的命名规则设置标识码，建立数据接入模型并输出描述文件；

按照数据接入模型的不同，分别部署相应的边缘服务器，包括视频边缘服务器、图像边缘服务器、数据边缘服务器等不同类型，分别支持视频、图像、工业数据等不同接入协议和接入方式；各类边缘服务器均具备局部性、实时、短周期数据的处理与分析功能，主要承担本类业务的实时智能化决策与执行，功能包括业务编排、节点管理、资源调用、算法执行、数据加工、数据分析、远程控制等功能；

在社区机房(若已有)或其他具备网络通信条件的机房或办公室部署智慧社区综合治理平台服务器，依托社区网络环境，智慧社区综合治理平台服务器与边缘服务器之间采用高并发网络通信技术、IO资源管控技术、多级高效数据缓存算法、无损压缩和有损压缩相结合等不同方式，实现数据的高效传输；

智慧社区综合治理平台服务器端汇聚了来自边缘服务器上传的各类处理后的数据，同时接入有城市公共信息平台、公共基础数据库等社区已有基础数据，形成数据资源库，对数据资源提供整合、建模与质量管理等数据治理服务，通过管理，集成了社区管理、公共服务、专题应用等业务模型库，支撑各类智能分析服务，包括公共管理服务、社区管理服务、专题应用服务以及实现可扩展接入的第三方支持服务，同时对前端边缘节点进行协同管控；

用户可根据所属权限访问智慧社区综合治理平台的相应功能，典型功能页面包括便民应用、安全生产，也可以根据实际用户需求扩展其他应用页面；

面向居民用户时，通过移动端应用如微信小程序、移动APP等方式，提供各类便民服务，如消息推送、投诉建议、满意度调查新闻公告等；

面向政府用户时，通过桌面浏览器、移动APP及大屏等不同方式，提供安全生产等管理服务。其中，安全生产支持日常检查管理、自查自纠上报、险情上报、安全教育等功能。

【实施例】

通过面向社区安全防控管理应用的具体实施并结合附图说明本发明的实施方式。

(1)数据感知层：主要涉及当前社区的基础设施分布和感知设备分布，其中基础设施分布涉及社区建筑设施与环境，包括但不限于社区环境设施(如绿化带、花园、车棚等)、市政公共设施(如消防栓井、给排水、配电、道路等)、文化体育设施(如健身角、公告栏、广告牌等)、智能建筑设施(如智能卡口、门禁、停车场系统等)以及负责社区管理与社区服务的社区服务中心、社区服务站等。感知设备分布特指能够通过标准协议规范或通信通信接口接入边缘服务器的各类前端智能设备，主要分布于社区各出入口、单元楼以及公共活动区域，可通过利旧或新建的方式完成数据感知层的建设。特别的，对于半封闭式社区、开放式社区，应通过社区改造尽可能实现物理封闭，条件允许的，应将社区人员、车辆输入口分开设置、分别管控。

(2)边缘节点层：边缘节点类型可包括边缘云、边缘服务器、边缘网关、边缘控制器等不同类型，边缘层建设需要对根据其数据特性对接入的前端设备或传感器资源进行分类，对不同类型分别建立一种接入模型并输出描述文件；对支持远程操作控制的设备或传感器，根据其支持的功能特性等进行控制建模并输出描述文件。模型设计通常包括对象、变量、方法和视图，其包含的信息复杂度由设备或传感器的复杂程度决定，通过建模过程将不同模态的现场设备或传感器资源信息化，构建分类清晰、结构规范的统一数据模型，并以此为基础分级分类设计边缘数据服务。

边缘节点能够完成的工作包括：基于终端实时数据的目标检测与识别算法、基于深度神经网络的轻量化模型设计、支持不同设备的接入协议、终端监控与告警服务、边缘端数据存储与管理服务、终端通信与控制服务。

(3)网络层：依托社区现场网络环境及社区安全隔离网闸、安全防护设备等基础条件进行总体规划建设，搭建支撑业务应用的数据交换边界、视频图像边界，涉及的网络环境主要分为以下五种类型：公共网络(包括互联网及社区接入网)、社会资源接入网、视频专网、政务专。

1)公共网络：社区平台主要部署在公共网络上，可以在满足接入要求的基础上进行扩建，可充分利用社区局域网、互联网等网络。条件允许的社区，也可由社区所在辖区公安统一建设管理，自建社区系统接入本级或市级社会资源接入网，自建社区系统可直接接入本级视频专网。

2)社会资源接入网：原则上社会资源接入网的功能模块只包括网络安全隔离、数据安全防护及数据转发，不负责数据的存储及计算。社会资源接入区域是公共网络与专用网络互联的过渡区域，通过安全隔离设备实现公共网络与社会资源接入区的安全隔离；通过防火墙实现与其他网络之间的安全连接和访问控制，通过入侵检测类设备实现对网络入侵行为的有效防范；通过安全审计类设备实现对链路中网络流量信息、设备日志信息及业务应用信息的全面审计，并防止敏感信息泄露。

3)视频专网：主要负责对社会资源接入网的各类监控视频数据及公安自建系统上传各类视频数据进行清洗、分析，为视频图像、车辆管控、人像分析等提供基础数据，并将数据共享至公安信息网。视频专网与社会资源接入网之间的视频资源通过视频边界传输，数据资源通过数据边界传输。

4)政务专网：政务专网可根据权限访问视频专网资源。

(4)云计算中心层：统一管理边缘节点的计算、存储和网络资源，支撑边缘节点的注册发现、配置管理、业务下发、运维信息上报等场景，提供资源协同、数据协同、服务协同三种协同模式，如图4所示，具体有：

1)资源协同模式

资源协同：资源协同包括对计算、存储、网络和虚拟化等基础设施资源的协同，以及边缘节点设备自身的生命周期管理协同。

边缘节点自身具有一定的资源调度管理能力，同时可以接收云中心下发的资源管理与调度指令，实现与云中心计算、存储、网络和虚拟化等资源的协同，通过对云计算中心和边缘节点的资源进行全局性的动态调整，为每个边缘设备准确高效的分配其智能分析所需要的计算、存储、网络、虚拟化资源，实现系统整体资源的最优匹配和负载均衡。

2)数据协同模式

数据协同是指边缘节点负责前端设备或传感器的数据采集及本地化存储，按照算法模型或决策规则进行数据预处理、特征识别、关键信息提取和初步分析，并将处理后的业务关键数据上传至云中心，由云中心完成多维时空数据融合、数据分析与挖掘、业务模型训练等复杂任务，在需要原始数据时云中心可以通过调度边缘节点获取相应数据。当出现传输网络不稳定情况时，边缘节点对处理后的关键数据进行本地化存储，待网络恢复后再将缓存数据上传，通过这种原始数据本地化存储，关键数据云中心备份的方式，一方面可提升关键业务数据的安全性，另一方面有利于感知数据的实时处理和分析。

边缘节点与云中心的数据协同如图5所示：

利用消息队列架设实时数据传输服务，完成边缘节点与前端设备、边缘节点与云中心节点之间的数据传输。

边缘节点对接收到的前端感知数据进行数据预处理、过滤和转换，剔除重复数据、噪声数据等冗余数据，将原始感知数据中高质量的数据提取出来，通过数据同步服务实现数据到云中心节点的实时传输。

云中心节点通过数据接收服务对边缘节点传递的数据进行实时接收，按照数据类型及用途进行存储和处理，为进一步应用提供数据基础。

3)服务协同模式

服务协同通过提供的应用编排、模型训练等工具，实现应用场景分级、业务编排、任务管理等方面的协同，同时对模型算法进行训练和迭代，确保边缘节点及终端的智能模型的不断更新升级，预留与其他专业服务协同接口以及本身业务新功能的拓展接口，为社区工作人员提供定制化、流程化、智能化的管理服务。服务协同包括智能分析服务协同、标准服务协同与智能服务引擎三部分。

智能分析服务协同，将各类独立的智能分析服务通过剪枝与量化进行模型压缩，采用协同计算卸载策略将资源消耗大的复杂智能分析服务进行任务卸载，拆分为面向数据关联分析的复杂计算模型以及面向简单处理的基础运算模型，将复杂计算模型部署在云中心，将资源需求较小的基础运算模型部署在边缘服务器，从而显著降低服务时延，并加速整体智能模型计算的时间。

标准服务协同主要是通过在边缘节点与云中心之间建立资源接入、调度、管理等标准服务，实现云中心对边缘节点的基础管理控制。

智能服务引擎提供服务发现、服务供应和服务运行功能支撑。分别是：

服务发现：方式一是云端将可用服务及资源进行封装，通过广播形式寻找需要接入服务的边缘网关或前端设备，响应其接入请求并确认，建立安全传输链路，实现双向通信；方式二是边缘网关或前端设备主动查询服务列表并请求接入，接收服务中心确认信息后建立通信链路的过程。

服务供应：根据数据类型、请求的服务以及提供的资源建立服务映射列表，根据列表信息进行资源、服务与数据的提供与协同，当服务请求结束或有高优先级服务加入时，通过更新服务映射列表，动态、弹性控制资源、服务和数据的请求和使用。

服务运行：内置了服务调度规则和逻辑分析规则以及基础业务模型和算法模型，根据不同的服务类型和服务策略，为智能分析服务提供稳定的服务运行环境，并对服务运行状态进行监控，确保各类智能分析服务能够平稳、高效的运行与协同计算。

(5)应用层：面向最终用户(如居委会、网格员、社区居民等)进行设计，根据不同用户类型提供分类分级的各类管控应用，涵盖包括社区治理、小区管理、公共便民服务等多个领域。根据不同的使用需求，提供移动端、客户端和大屏等的不同的展现方式。核心功能可包括综合态势、社区防控、人员管控、专题研判、安全生产以及配置管理等。

由此，与现有技术相比，本发明具有以下技术优势：

本发明具有以下有益效果：

(1)实现多源异构联接的可接入性、实时性、可靠性，使得各类异构数据能够有效的聚合、统一的呈现以及开放的共享，打破各类约束条件下的“数据孤岛”。

(2)整合“云-边-端”所涉及网络、计算、存储等资源，从单一视频监控到多维态势感知，实现多维感知数据的决策前置，减少平台处理压力，为社区人、车、环境、行为的全息感知、价值挖掘提供支撑。

(3)基于云边协同进行统一的架构设计，即将云端服务、边缘资源、终端能力进行通盘考虑，提供架构的统一体系支撑，提升了分析决策的效率和准确率，推动了覆盖视频采集、感知运用、防控提升、产业转型等方面的不断升级，构建起全天候、全时空、全要素、全融合的新体系。

(4)云边协同可以有效加快感知数据分析的速度，减少延迟，提高扩展性、增强信息访问量，并使业务开发变得更加敏捷。

(5)边缘计算与云计算通过互补协同，能够在不同的应用场景下匹配需求，创造出单一技术无法满足的应用价值，有助于提供更多多样化的智慧应用。

(6)通过云边协同实现分布式与集中式的平衡，在边缘侧增加本地存储备份，与云中心异地备份共同实现整体性的容灾能力。

上述实施方式并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的技术方案范围内所做出的变化、改型、添加或替换，也均属于本发明的保护范围。

Claims (10)

1.基于云边协同的多模态信息复合感知与融合架构，其特征在于：采用云计算和边缘计算技术构建数据感知层、边缘节点层、网络传输层、云计算中心层、应用层，通过云边协同进行统一架构设计，包括资源协同、数据协同、智能服务协同、业务应用协同，实现多模态感知数据的复合感知与融合，提供多样化智慧应用。

2.根据权利要求1所述的基于云边协同的多模态信息复合感知与融合架构，其特征在于：所述数据感知层，基于社区已建的前端现场设备、信息化系统及数据库，提供数据采集与上传、指令接收与控制服务；数据感知层提供多模态感知数据，包括视频类数据、音频类数据、图像数据、文本信息及状态数值。

3.根据权利要求1所述的基于云边协同的多模态信息复合感知与融合架构，其特征在于：所述边缘节点层，向下支持前端现场设备、信息化系统和数据库的接入，向上与云计算中心层对接，包括边缘网关和边缘服务器，对前端设备实现注册连接、数据采集、资源管理、边缘应用以及对前端设备的数据调用与控制。

4.根据权利要求1所述的基于云边协同的多模态信息复合感知与融合架构，其特征在于：所述网络传输层，是连接云计算中心和边缘节点乃至前端现场设备之间数据传输与调度控制的桥梁；包括公共网络、社会资源接入网络、社区自建局域网、支持业务工作开展所需的视频专网、政务专网、公安网。

5.根据权利要求1所述的基于云边协同的多模态信息复合感知与融合架构，其特征在于：所述云计算中心层，以分布式云计算为支撑，采用微服务技术体系设计，包括基础支撑层、标准服务层、面向应用的业务服务层及综合管理，提供资源协同、数据协同、服务协同。

6.根据权利要求5所述的基于云边协同的多模态信息复合感知与融合架构，其特征在于：在基础支撑层中，承担云中心计算资源、存储资源和网络资源的资源协同与统一管理；

在标准服务层中，提供各类支撑性标准服务，实现对数据资源的统一管理，包括数据提供、数据审计以及资源调度、资源共享；

在面向应用的业务服务层中，承担包括数据治理、资产管理、数据分析挖掘的计算任务，面向对应业务建立相应模型库，支撑面向用户的业务应用，通过统一的智能服务引擎对业务服务进行分类管理和对外提供；

综合管理承担整个云中心的管理任务，包括权限管理、账户管理、资产管理、安全管理、运行监测、告警服务、消息订阅和控制台功能。

7.根据权利要求6所述的基于云边协同的多模态信息复合感知与融合架构，其特征在于：资源协同包括对计算、存储、网络和虚拟化等基础设施资源的协同，以及边缘节点设备自身的生命周期管理协同；当边缘节点接收到来自前端感知设备高并发的数据计算请求或者是处于高优先级的业务场景时，资源协同首先对资源进行端到端的逻辑拆分和封装，然后将当前应用场景下的资源需求映射为资源性能指标，进行资源所需节点数量的计算与弹性配置，以满足当前资源需求；同时建立资源需求预测模型，当再次遇到同类业务场景资源需求后，可以更加快速精准的匹配资源。

8.根据权利要求7所述的基于云边协同的多模态信息复合感知与融合架构，其特征在于：数据协同为边缘节点与云中心的数据协同；利用消息队列架设实时数据传输服务，完成边缘节点与前端设备、边缘节点与云中心节点之间的数据传输；边缘节点对接收到的前端感知数据进行数据预处理、过滤和转换，剔除冗余数据，将原始感知数据中高质量的数据提取出来，通过数据同步服务实现数据到云中心节点的实时传输；云中心节点通过数据接收服务对边缘节点传递的数据进行实时接收，按照数据类型及用途进行存储和处理，为进一步应用提供数据基础。

9.根据权利要求8所述的基于云边协同的多模态信息复合感知与融合架构，其特征在于：服务协同通包括智能分析服务协同、标准服务协同与智能服务引擎；

智能分析服务协同，将各类独立的智能分析服务通过剪枝与量化进行模型压缩，采用协同计算卸载策略将资源消耗大的复杂智能分析服务进行任务卸载，拆分为面向数据关联分析的复杂计算模型以及面向简单处理的基础运算模型，将复杂计算模型部署在云中心，将资源需求较小的基础运算模型部署在边缘服务器；

标准服务协同主要是通过在边缘节点与云中心之间建立包括资源接入、调度、管理的标准服务，实现云中心对边缘节点的基础管理控制；

智能服务引擎提供服务发现、服务供应和服务运行功能支撑。

10.一种如权利要求1-9任一项所述的基于云边协同的多模态信息复合感知与融合架构的部署方法，其特征在于：部署方法为：

基于现有的前端现场设备、信息化系统、数据库条件，将各类资源进行分类，对数据的一致性、冗余性进行检查后，采用统一的命名规则设置标识码，建立数据接入模型并输出描述文件；

按照数据接入模型的不同，分别部署相应的边缘服务器，分别支持视频、图像、工业数据等不同接入协议和接入方式；

在具备网络通信条件的空间部署智慧社区综合治理平台服务器，依托社区网络环境，智慧社区综合治理平台服务器与边缘服务器之间进行数据的高效传输；

智慧社区综合治理平台服务器端汇聚了来自边缘服务器上传的各类处理后的数据，同时接入社区已有基础数据，形成数据资源库，对数据资源提供整合、建模与质量管理等数据治理服务，通过管理，集成对应的业务模型库，支撑各类智能分析服务，同时对前端边缘节点进行协同管控；

用户可根据所属权限访问智慧社区综合治理平台的相应功能。

Images