CN112804188B - 一种可伸缩视觉计算系统 - Google Patents

一种可伸缩视觉计算系统 Download PDF

Info

Publication number
CN112804188B
CN112804188B CN202011425341.5A CN202011425341A CN112804188B CN 112804188 B CN112804188 B CN 112804188B CN 202011425341 A CN202011425341 A CN 202011425341A CN 112804188 B CN112804188 B CN 112804188B
Authority
CN
China
Prior art keywords
data
stream
module
instruction
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011425341.5A
Other languages
English (en)
Other versions
CN112804188A (zh
Inventor
高文
王耀威
白鑫贝
纪雯
田永鸿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peng Cheng Laboratory
Original Assignee
Peng Cheng Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peng Cheng Laboratory filed Critical Peng Cheng Laboratory
Priority to CN202011425341.5A priority Critical patent/CN112804188B/zh
Priority to US18/037,408 priority patent/US20230412769A1/en
Priority to PCT/CN2021/087017 priority patent/WO2022121196A1/zh
Publication of CN112804188A publication Critical patent/CN112804188A/zh
Application granted granted Critical
Publication of CN112804188B publication Critical patent/CN112804188B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model

Abstract

本发明公开了一种可伸缩视觉计算系统，其特征在于，包括依次建立通信连接的前端设备、边缘服务以及云服务；所述前端设备，用于对采集的影像数据进行智能化分析处理，并根据配置相应地输出压缩视频流、特征编码流和结构化结果流；所述边缘服务，用于接收并存储所述前端设备发送的压缩视频流、特征编码流和结构化结果流，实时输出特征编码流和结构化结果流汇聚到云服务，根据云服务的数据调取指令按需输出压缩视频流至云服务；所述云服务，用于实时接收和汇聚边缘服务输出的特征编码流和结构化结果流，从所述边缘服务按需调取压缩视频流。本发明通过端、边、云三者之间优化分工和有机协作，实现对海量视频数据的实时处理和有效利用。

Description

一种可伸缩视觉计算系统
技术领域
本发明涉及视觉传感器应用领域，特别涉及一种可伸缩视觉计算系统。
背景技术
视频监控系统具有直观、准确、信息内容丰富等独特优点，随着计算机、图像处理技术和传输技术的发展，视频监控系统在安防、警务、交通、生产等领域的应用日益广泛。目前，在道路、社区、机场/火车站、大型场馆等各类场所安装的摄像机数量越来越多，清晰度也越来越高，导致产生的视频或图像数据量急剧增大，这给数据处理和传输带来了极大的挑战。
传统视频监控系统一般采用摄像机进行图像或视频采集和压缩，后台服务器进行数据处理、分析和识别的分工模式，一方面大量视频数据的传输会对系统宽带带来很大的压力，且由于后台处理能力有限，大量视频数据集中在后台处理会导致视频堆积以及信息处理不及时，很多数据来不及分析即被新数据覆盖；另一方面，摄像机用途较为单一，功能无法灵活配置，当应用业务发生变化时，往往需要重新加装摄像机，造成了资源的极大浪费，而且整个处理过程需要大量的人工参与，智能化程度不高。
传统视频监控系统的问题归根结底是数据急剧膨胀而系统架构跟不上摄像机等单机设备的发展水平导致的，只有对系统构架以及内部数据交互方式进行改进，同时与实际应用需求相结合对系统设计进行优化，才能适应海量数据的实时处理要求。
因此，现有技术还有待于改进和发展。
发明内容
本发明要解决的技术问题在于，针对现有技术的不足，提供一种可伸缩视觉计算系统，旨在解决现有视频监控系统无法适应海量数据实时处理要求的问题。
为了解决上述技术问题，本发明所采用的技术方案如下：
一种可伸缩视觉计算系统，其特征在于，包括依次建立通信连接的前端设备、边缘服务以及云服务；
所述前端设备，用于感知和采集场景视觉信息得到影像数据，对所述影像数据进行视频图像处理、特征编码处理以及智能化分析处理，并将处理结果和前端设备标识信息、时间信息以及空间信息进行封装得到压缩视频流、特征编码流和结构化结果流，根据配置相应地输出所述压缩视频流、特征编码流和结构化结果流；还用于按照固定节拍上报自身的状态信息给所述边缘服务，并接收所述边缘服务下发的控制指令和模型流，完成对自身工作参数的配置和模型更新，所述控制指令包括设备控制指令和功能定义指令；
所述边缘服务，用于接收并存储所述前端设备发送的压缩视频流、特征编码流和结构化结果流，实时输出特征编码流和结构化结果流汇聚到云服务，根据云服务的数据调取指令按需输出压缩视频流至云服务；还用于接收和处理前端设备上报的节点接入管理指令并更新设备管理列表，还用于上报前端设备和边缘服务的状态信息给云服务，接收前端设备的模型查询指令并转发至云服务，接收云服务下发的模型流和控制指令，并将所述模型流和控制指令下发至所述前端设备，所述控制指令包括设备控制指令和功能定义指令；还用于根据定义的功能任务，完成多节点联动系统组织方案生成、数据信息配置方案规划、协同工作调度、影像数据处理分析、数据协同分析和联合优化的工作；
所述云服务，用于实时接收、存储和汇聚边缘服务输出的特征编码流和结构化结果流，从所述边缘服务按需调取压缩视频流；还用于存储用于支撑各类应用的算法模型，对算法生命周期和更新流程进行管理，接收所述边缘服务或前端设备发送的模型查询指令，相应地返回模型查询结果或模型流，根据触发情况随机地发送控制指令，接收及响应第三方用户需求指令；还用于进行大数据分析与挖掘以及仿真计算，执行多边协同任务；还用于接收边缘服务上报的设备状态信息，对所有节点进行配置管理、功能定义和资源协同调度。
所述可伸缩视觉计算系统，其中，所述前端设备包括时空确定模块、影像采集模块、影像处理模块、智能计算模块、设备控制与数据交互模块；其中，所述时空确定模块用于获取前端设备统一的时间信息，保持前端设备之间的时间同步，确定前端设备的位置、速度、姿态信息，并将时空信息实时提供给前端设备的其他模块用于计算和传输，接收设备控制与数据交互模块发送的控制指令，完成对自身工作参数的配置；所述影像采集模块用于影像数据的采集与转换，并将所述影像数据发送给所述影像处理模块；所述影像处理模块用于对影像数据进行前处理、压缩、编码、转码处理，输出携带时间戳信息的压缩视频流至所述设备控制与数据交互模块，还用于将前处理后的影像数据输出至智能计算模块，接收设备控制与数据交互模块发送的控制指令，完成对处理参数的配置；所述智能计算模块用于对影像数据进行结构化分析、特征提取和特征编码，输出编码特征流和结构化结果流至设备控制与数据交互模块，所述智能计算模块还用于接收控制指令，所述控制指令包括参数配置指令和功能定义指令，接收模型流并动态更新算法模型；所述设备控制与数据交互模块用于将接收的时间信息、空间信息、压缩视频流、图片、编码特征流和结构化结果流进行打包和封装，发送至边缘服务，接收和解析边缘服务或云服务下发的模型流和控制指令，将所述模型流和控制指令发送给相应的处理模块；还用于完成前端设备的工作流程控制、设备控制、状态监控、模型更新以及传输控制，获取设备的工作状态和标识信息。
所述的可伸缩视觉计算系统，其中，所述边缘服务包括综合控制模块、流媒体模块、数据存储模块以及计算处理模块；其中，所述综合控制模块用于接收前端设备的上报数据或指令，控制其响应过程，将所述编码特征流和结构化结果流实时推送给云服务，接收并转发云服务下发的控制指令或模型流，管理前端设备的接入流程与状态，监听前端设备状态，对于多个前端设备之间的协同工作方式进行调度；所述流媒体模块用于接收所述压缩视频流，对所述压缩视频流进行转码、截取和打包；所述数据存储模块用于接收所述流媒体模块的压缩视频流、前端设备上报的编码特征流和结构化结果流，并将所述压缩视频流、编码特征流和结构化结果流进行分类存储和管理，接收云服务下发的压缩视频流或图片调取指令并按条件检索返回压缩视频流或图片至云服务；所述计算处理模块用于根据定义的功能任务，完成多节点联动系统组织方案生成、影像数据处理分析、多节点数据协同分析和联合优化的工作。
所述的可伸缩视觉计算系统，其中，所述数据存储模块包括存取管理子模块、数据检索子模块、数据库子模块；其中，所述存取管理子模块用于支持数据输入、保存以及调取操作；所述数据检索子模块用于数据查询、检索操作；所述数据库子模块用于对结构化数据或非结构化数据进行存储。
所述的可伸缩视觉计算系统，其中，所述数据库子模块包括视频文件库、图片文件库、特征文件库、结构化特征库以及结构化结果库；其中，所述视频文件库用于存储视频流数据及其摘要信息；所述图片文件库用于存储图像格式文件数据及其摘要信息；所述特征文件库用于存储非结构化特征流数据及其摘要信息；所述结构化特征库用于存储结构化特征数据；所述结构化结果库用于存储结构化结果数据。
所述的可伸缩视觉计算系统，其中，所述云服务包括中央控制模块、计算仿真模块、数据分析模块、数据中心模块、算法模型仓库和用户交互模块；其中，所述中央控制模块用于对系统内所有节点进行配置管理和资源调度，对数据流、控制流和模型流的传输控制过程进行统一管理，向前端设备下发设备控制、功能定义、模型更新命令，向边缘服务下发任务，接收及处理边缘服务的数据上报指令和状态上报指令；所述计算仿真模块用于结构化分析处理、仿真预测、模型训练、模型联合优化、协同策略生成，输出计算结果；所述数据分析模块用于接收编码特征流和结构化结果流，或根据用户指令在数据中心模块检索和调取数据，汇聚大数据信息，进行分析与挖掘，提取出高层语义信息返回给用户；所述数据中心模块用于按需从边缘服务调取压缩视频流或图片，用于编码特征流、结构化结果流和按需调取的压缩视频流或图片的存储、检索和调取输出；所述算法模型仓库用于算法模型的存储、查询、下发流程以及生命周期管理；所述用户交互模块用于接收用户相关指令，返回处理结果。
所述的可伸缩视觉计算系统，其中，所述数据流包括多媒体数据、特征数据、结果信息、时空信息、环境数据、设备数据以及算法模型。
所述的可伸缩视觉计算系统，其中，所述控制流是指与系统运行相关的指令数据，所述指令数据包括设备注册指令、登录指令、注销指令、设备控制指令、功能定义指令、参数配置指令以及数据查询/调取指令。
所述的可伸缩视觉计算系统，其中，所述中央控制模块包括配置管理子模块、协同调度子模块、指令处理子模块；其中，所述配置管理子模块用于对前端设备、边缘服务、云服务所有节点进行安全认证、配置管理和状态监控；所述协同调度子模块用于根据调度策略向前端设备下发设备控制指令、功能定义指令、工作参数指令；所述指令处理子模块用于负责接收、解析和处理边缘服务的上报指令和查询指令，下发模型流数据，负责对用户交互模块的响应。
所述的可伸缩视觉计算系统，其中，所述数据分析模块包括数据检索子模块、统计分析子模块以及数据挖掘子模块，所述数据检索子模块用于接收或向数据中心模块发起数据检索和调取指令，获取分析任务所需要的数据；所述统计分析子模块用于采用分类、回归、相关分析方法对汇聚的特征和结果数据进行多维度分析；所述数据挖掘子模块用于采用人工智能、机器学习、统计学手段，从大量历史数据或实时数据中自动提取出隐含的有用信息和知识。
有益效果：与现有技术相比，本发明提出的可伸缩视觉计算系统，其核心在于压缩视频流、编码特征流以及模型流三类数据流并行的数据传输架构，所述压缩视频流和编码特征流的传输具有实时性，所述前端设备根据配置可同时上报压缩视频流和编码特征流，既能够缓解数据传输压力，又能够实时汇聚有效信息进行数据联合分析；所述模型流的传输具有偶发性，当需要更新模型时，模型流由云服务直接或间接地传输至前端设备，实现模型动态部署和更新，从而支持通过对前端设备功能和算法的定义完成不同的应用任务；本发明提出的可伸缩视觉计算系统还具有可伸缩性，压缩视频流可保存在边缘服务，编码特征流可实时汇聚至云服务，云服务利用特征信息进行分析、识别、检索等后续任务，当云服务因业务需要必须使用原始影像数据时，经过用户授权后，方可从边缘服务调取压缩视频流；本发明提供的可伸缩视觉计算系统内所有前端设备、边缘服务以及云服务节点具有全局统一的时空标识，即所有节点具有统一的时间表示方法和同步的时间信息，具有统一的空间信息表示方法和参考系统，具有全局唯一的设备标识，其中，空间信息包括位置、速度、姿态及其精度信息；所述可伸缩视觉计算系统具有事件响应的自主决策机制，基于前端设备功能可定义的特点，系统能够动态配置节点工作状态与工作参数、算法模型、输出数据流等内容，从而自动完成传统视频监控系统中依赖大量人力劳动的一些任务。
附图说明
图1为本发明一种可伸缩视觉计算系统较佳实施例的原理框图。
图2为本发明智能计算模块的原理框图。
图3为本发明计算处理模块的原理框图。
图4为本发明数据分析模块的原理框图。
具体实施方式
本发明提供一种可伸缩视觉计算系统，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
下面结合附图，通过对实施例的描述，对发明内容作进一步说明。
现有的视频监控系统包括端-边或者端-云两部分，摄像机负责视频/图像采集和压缩，只输出一个压缩视频流，边/云部分负责大规模视频/图像数据的分析处理。然而，由于受到系统带宽的制约，大量的原始数据存在难以汇聚的问题，而且大量数据的集中分析也给边/云带来了巨大的处理压力，且边/云只能针对解码后的视频进行处理会导致一定的性能损失，摄像机功能和用途单一还会造成摄像机重复部署和资源浪费的问题，随着视频数据的急剧增长和系统智能化程度要求逐渐提高，该系统架构的缺陷严重制约了视频大数据的产业化应用。此外，由于原始视频直接上传云服务进行计算和存储还存在用户隐私得不到有效保护的问题。
基于现有技术所存在的问题，本发明提供了一种可伸缩视觉计算系统，如图1所示，其包括依次建立通信连接的前端设备10、边缘服务20以及云服务30；所述前端设备10，用于感知和采集场景视觉信息得到影像数据，对所述影像数据进行视频图像处理、特征编码处理以及智能化分析处理，并将处理结果和前端设备标识信息、时间信息以及空间信息进行封装得到压缩视频流、特征编码流和结构化结果流，根据配置相应地输出所述压缩视频流、特征编码流和结构化结果流；还用于按照固定节拍上报自身的状态信息给所述边缘服务，并接收所述边缘服务下发的控制指令和模型流，完成对自身工作参数的配置和模型更新，所述控制指令包括设备控制指令和功能定义指令；所述边缘服务20，用于接收并存储所述前端设备发送的压缩视频流、特征编码流和结构化结果流，实时输出特征编码流和结构化结果流汇聚到云服务，根据云服务的数据调取指令按需输出压缩视频流至云服务；还用于接收和处理前端设备上报的节点接入管理指令并更新设备管理列表，还用于上报前端设备和边缘服务的状态信息给云服务，接收前端设备的模型查询指令并转发至云服务，接收云服务下发的模型流和控制指令，并将所述模型流和控制指令下发至所述前端设备，所述控制指令包括设备控制指令和功能定义指令；还用于根据定义的功能任务，完成多节点联动系统组织方案生成、数据信息配置方案规划、协同工作调度、影像数据处理分析、数据协同分析和联合优化的工作；所述云服务30，用于实时接收、存储和汇聚边缘服务输出的特征编码流和结构化结果流，从所述边缘服务按需调取压缩视频流；还用于存储用于支撑各类应用的算法模型，对算法生命周期和更新流程进行管理，接收所述边缘服务或前端设备发送的模型查询指令，相应地返回模型查询结果或模型流，根据触发情况随机地发送控制指令，接收及响应第三方用户需求指令；还用于进行大数据分析与挖掘以及仿真计算，执行多边协同任务；还用于接收边缘服务上报的设备状态信息，对所有节点进行配置管理、功能定义和资源协同调度。
具体来讲，传统视频监控系统的问题归根结底是数据急剧膨胀而系统架构跟不上摄像机等单机设备的发展水平导致的，只有对系统架构及其内部数据交互方式进行改进，才能适应海量数据的实时处理要求，同时与实际应用需求相结合，对系统设计进行优化。因此，本实施例借鉴人眼传递到大脑的信息是经过提取与缩减的生物学原理，提出了一种可伸缩视觉计算系统，其包括前端设备、边缘服务、云服务(端、边、云)三个子系统，所述可伸缩视觉计算系统的核心在于压缩视频流、编码特征流以及模型流三类数据流并行的数据传输架构，所述压缩视频流和编码特征流的传输具有实时性，所述前端设备根据配置可同时上报压缩视频流和编码特征流，既能够缓解数据传输压力，又能够实时汇聚有效信息进行数据联合分析；所述模型流的传输具有偶发性，当需要更新模型时，模型流由云服务直接或间接地传输至前端设备，实现模型动态部署和更新，从而支持通过对前端设备功能和算法的定义完成不同的应用任务；本发明提出的可伸缩视觉计算系统还具有可伸缩性，压缩视频流可保存在边缘服务，编码特征流可实时汇聚至云服务，云服务利用特征信息进行分析、识别、检索等后续任务，当云服务因业务需要必须使用原始影像数据时，经过用户授权后，方可从边缘服务调取压缩视频流。因此，本实施例对视频监控系统的计算架构、传输架构以及各个子系统的功能特性重新定义，通过子系统之间优化分工和有机协作达到资源充分利用的效果，从而实现对海量视频数据的实时处理和有效利用。
在本实施例中，所述前端设备的具体功能可通过软件灵活定义，算法模型可动态更新，从而达到一机多用的目的；前端设备还具有全局统一的时空标识信息，便于实现多机协同任务。归纳起来，所述可伸缩视觉计算系统具有压缩视频流、编码特征流、模型流多流并行的数据传输架构，通过在前端设备对视觉高价值信息的及时提取，在边缘服务对视觉原始数据进行分布式存储以及中观数据分析，在云服务进行宏观大数据分析与挖掘，既降低了系统内数据传输压力，又缓解了云服务的集中计算压力，解决了视频大数据难汇聚、难存储、难处理等问题，通过边-云(边缘服务和云服务)协作支持联邦学习方式，从而能够解决数据隐私保护情况下的模型训练问题。边缘服务和云服务还具有自动决策事件响应机制，能够根据所执行的任务自动配置前端功能、模型及输出内容，完成任务执行过程中对前端、边缘的调度控制，降低各类应用对人力劳动的依赖程度。
本实施例提供的可伸缩视觉计算系统内所有前端设备、边缘服务以及云服务节点具有全局统一的时空标识，即所有节点具有统一的时间表示方法和同步的时间信息，具有统一的空间信息表示方法和参考系统，具有全局唯一的设备标识，其中，空间信息包括位置、速度、姿态及其精度信息；所述可伸缩视觉计算系统具有事件响应的自主决策机制，基于前端设备功能可定义的特点，系统能够动态配置节点工作状态与工作参数、算法模型、输出数据流等内容，从而自动完成传统视频监控系统中依赖大量人力劳动的一些任务。
作为举例，本实施例中的前端设备可以为数字视网膜前端，所谓数字视网膜前端，即类比于人类视网膜，对传统摄像头乃至视觉计算架构进行演进与革新，从而能够更加智能地支持城市大脑，服务智能安防、城市精细管理等智能应用。更为具体的来说，传统摄像头只是把拍摄到的视频数据压缩后上传到云端进行存储，再做分析识别处理；而本实施例中的数字视网膜前端能够完成高效的视频编码和紧凑的特征表达，实时输出压缩视频数据和特征数据，其中，视频数据存储在边缘服务，特征数据最终实时汇聚至云服务，云服务可根据业务需要和授权机制对原始数据进行调取。
在一些实施方式中，所述前端设备实时确定自身时空信息，感知和采集场景视觉信息，得到影像数据，所述影像数据包括视频和图片，然后对影像数据进行图像处理和智能化分析处理，具体包括视频/图片前处理、视频压缩编码与转码、特征提取与特征编码、结构化分析等，最终将处理结果加上时间信息、空间信息、设备标识信息一起封装生成压缩视频流、特征编码流和结构化结果流，根据配置可选地输出，同时按照固定节拍上报设备状态信息。所述前端设备接收边缘服务下发的设备控制指令，完成对前端开、关机控制和工作参数的调节，接收边缘服务下发的功能定义指令，完成对前端功能、输出数据等的配置，接收边缘服务下发的模型更新指令，完成对算法模型的加载、全量或增量更新。
本实施例中，所述视频/图片前处理包括对原始视频/图片进行降噪、去雾、调节白平衡等操作，以提高视频/图片质量；视频压缩编码与转码是采用基于正交变换原理、背景建模技术等的编解码算法来消除原始视频数据中的冗余信息，根据配置的编码格式生成更加高效的视频流。
如图1所述，所述前端设备10包括时空确定模块、影像采集模块、影像处理模块、智能计算模块、设备控制与数据交互模块。
在本实施例中，所述时空确定模块用于获取统一的时间信息，用于实现和保持系统内节点之间的时间同步；所述时空确定模块还用于获取前端设备的时空信息并将所述时空信息实时提供给前端设备的其它模块用于计算和传输，所述时空信息包括位置、速度、姿态等信息；所述时空确定模块还用于接收设备控制与数据交互模块发送的控制指令，完成对自身工作参数的配置。
在本实施例中，所述影像采集模块用于影像数据的采集与转换，并将所述影像数据发送给所述影像处理模块。
在本实施例中，所述影像处理模块用于对影像数据进行前处理、压缩、编码、转码处理，输出携带时间戳信息的压缩视频流至所述设备控制与数据交互模块，还用于将前处理后的影像数据输出至智能计算模块；所述影像处理模块还用于接收设备控制与数据交互模块发送的控制指令，完成对处理参数的配置。本实施例中，所述影像数据包括视频数据和图片数据，所述对影像数据进行前处理的步骤包括：对影像数据进行降噪、去雾、调节白平衡等操作，以提高视频/图片质量。对所述影像数据进行压缩、编码以及转码处理的步骤包括：采用基于正交变换原理、背景建模技术等的编解码算法来消除原始影像数据中的冗余信息，根据配置的编码格式生成更加高效的视频流。
在本实施例中，所述智能计算模块用于对影像数据进行结构化分析、特征提取和特征编码，输出编码特征流和结构化结果流至设备控制与数据交互模块，所述智能计算模块还用于接收控制指令，所述控制指令包括参数配置指令和功能定义指令，接收模型流并动态更新算法模型。本实施例中，对影像数据进行特征提取的步骤包括：对影像数据或者其中感兴趣目标或区域进行特征提取操作，包括传统手工特征和深度学习特征，用于汇聚到边缘服务或者云服务进行特征检索和数据协同分析。对所述影像数据进行特征编码的步骤包括：对从影像数据中提取出的传统手工特征和大量深度学习特征进行编码压缩，得到紧凑的特征编码流，特征编码标准包括但不限于CDVS、CDVA。对所述影像数据进行结构化分析的步骤包括：对影像数据中的感兴趣目标或事件进行检测、跟踪、识别、分割、统计等处理，得到目标结构化信息，例如人脸识别信息、司机驾驶行为分析、交通流量统计、车辆/行人计数、车牌识别信息、道路结构化信息、场景信息等等，然后按照一定格式封装成结构化结果流。
具体来讲，如图2所示，所述智能计算模块包括特征提取子模块、特征编码子模块以及结构化分析子模块；所述特征提取子模块用于对影像数据、前端设备的状态信息进行特征提取，并将提取的特征信息发送给所述特征编码子模块；所述特征编码子模块用于对所述特征信息进行编码，输出编码特征流；所述结构化分析子模块用于结合前端设备的状态信息对影像数据进行分析处理，输出结构化结果流。
在本实施例中，所述设备控制与数据交互模块用于完成数字视网膜前端数据处理的流程控制、设备控制、状态监控、模型更新以及传输控制，获取设备工作状态和设备标识信息，接收时空信息、压缩视频流/图片、编码特征流和结构化结果流，将它们进行打包和封装，发送至边缘服务，接收和解析边缘服务或云服务下发的模型流和控制指令，将指令发送给前端设备的处理模块。
在一些实施方式中，所述边缘服务接收和处理前端上报的节点接入管理指令，具体包括：接收和处理前端设备发送的设备注册、登录、注销等指令，更新设备管理列表，并将前端设备接入信息上报至云服务；接收和监控前端设备上报的设备状态信息，如果出现设备工作状态改变或者异常情况，例如设备处于异常工作状态，或者前端位置、姿态等空间信息发生改变，则向云服务上报前端设备状态信息；接收前端设备上报的模型查询指令并转发至云服务。
在一些实施方式中，所述边缘服务接收及汇聚前端上报的数据流，进行处理和保存，将部分数据转发至云服务。具体包括：接收前端设备上报的压缩视频流和图片数据、特征编码流和结构化结果流，将压缩视频流进行截取、打包和转码后，保存视频文件，并更新视频文件数据库；将图片数据解析后重新封装，保存为指定格式图片文件，并更新图片文件数据库；将特征编码流进行解析、拆包后，保存特征文件，并更新结构化特征数据库和特征文件数据库；将结构化结果流解析后存入结构化结果数据库；将特征编码流和结构化结果流直接转发至云服务。
在一些实施方式中，边缘服务接收云服务下发的设备控制指令和功能定义指令，转发至前端设备；接收云服务下发的视频/图片数据调取指令，根据查询条件在数据库中对所需视频/图片进行检索，返回视频/图片信息至云服务；接收云服务下发的模型更新指令，转发至前端设备。
在一些实施方式中，边缘服务根据定义的功能任务，完成多节点联动系统组织方案生成、数据信息配置方案规划、协同工作调度、视频/图片处理分析、数据协同分析和联合优化的工作。具体包括：边缘服务根据实际应用系统的功能任务、结合预定义的算法，自主确定完成任务所需的前端节点数量、详细节点信息以及数据要求，对相关前端节点进行配置，调度多个前端协同工作，利用汇聚的若干前端特征数据或结构化结果进行联合分析与优化，完成在智慧城市建设中所关注的一些具体任务，例如，通过监控一定区域内相互联接的道路交通参数，实时计算信号灯切换最优分配方式，动态调整交通信号灯控制方案；对肇事逃逸车辆/违法犯罪分子的追踪和抓捕，等等；其中，视频/图片处理分析是采用视觉信息处理技术对视频/图片进行再次分析与处理，提取有用信息，用于事后处理或者新任务中。
在一些实施方式中，如图1所示，所述边缘服务包括综合控制模块、流媒体模块、数据存储模块以及计算处理模块。
在本实施例中，所述综合控制模块用于接收前端设备的上报数据或指令，控制其响应过程，将所述编码特征流和结构化结果流实时推送给云服务，接收并转发云服务下发的控制指令或模型流，管理前端设备的接入流程与状态，监听前端设备状态，对于多个前端设备之间的协同工作方式进行调度。
在本实施例中，所述流媒体模块用于接收所述压缩视频流，对所述压缩视频流进行转码、截取和打包。
在本实施例中，所述数据存储模块用于接收所述流媒体模块的压缩视频流、前端设备上报的编码特征流和结构化结果流，并将所述压缩视频流、编码特征流和结构化结果流进行分类存储和管理，接收云服务下发的压缩视频流或图片调取指令并按条件检索返回压缩视频流或图片至云服务。
在本实施例中，所述计算处理模块用于根据定义的功能任务，完成多节点联动系统组织方案生成、影像数据处理分析、多节点数据协同分析和联合优化的工作。
具体来讲，如图3所示，所述计算处理模块包括智能视频分析子模块、数据关联分析子模块以及联合优化子模块，所述智能视频分析子模块、数据关联分析子模块以及联合优化子模块联合对若干前端设备输出的压缩视频流、特征编码流以及结构化结果流进行数据协同处理、联合分析与优化，完成在智慧城市建设中所关注的一些具体任务，例如，通过监控一定区域内相互联接的道路交通参数，实时计算信号灯切换最优分配方式，动态调整交通信号灯控制方案；对肇事逃逸车辆/违法犯罪分子的追踪和抓捕，等等；其中，所述计算处理模块还用于视频/图片处理分析，采用视觉信息处理技术对视频/图片进行再次分析与处理，提取有用信息，用于事后处理或者新任务中。
在一些实施方式中，所述数据存储模块包括存取管理子模块、数据检索子模块、数据库子模块；其中，所述存取管理子模块用于支持数据输入、保存以及调取操作；所述数据检索子模块用于数据查询、检索操作；所述数据库子模块用于对结构化数据或非结构化数据进行存储。
在一些具体的实施方式中，所述数据库子模块包括视频文件库、图片文件库、特征文件库、结构化特征库以及结构化结果库；其中，所述视频文件库用于存储视频流数据及其摘要信息；所述图片文件库用于存储图像格式文件数据及其摘要信息；所述特征文件库用于存储非结构化特征流数据及其摘要信息；所述结构化特征库用于存储结构化特征数据；所述结构化结果库用于存储结构化结果数据。
在一些实施方式中，云服务对所有节点进行配置管理和功能定义，接收及响应第三方用户需求指令；汇聚视觉大数据信息，从边缘服务按需调取视频/图片数据，对各类结构化/非结构化数据进行存储；存储用于支撑各类应用的算法模型，对算法生命周期和更新流程进行管理，响应前端的模型查询指令；进行大数据分析与挖掘以及仿真计算，执行更加宏观的多边协同任务。
具体来讲，云服务接收边缘服务上报的前端设备状态信息，对设备工作状态和时空信息进行监控和维护，更新设备管理列表；监听边缘节点的接入请求、连接状态、设备状态信息等，对边缘节点的设备标识、权限、状态、连接关系等进行管理；根据应用系统用途或接收的用户需求指令，自动生成需要调度的节点类型、数量、标识号、工作参数以及调度策略，下发设备参数配置指令、功能定义指令以及算法模型更新指令，对相关前端、边缘节点进行配置。
在一些实施方式中，云服务实时接收及汇聚边缘服务上报的编码特征流和结构化结果流，将编码特征流进行解析后，将数据量较大的非结构化特征保存为特征文件，提取相应的数据摘要和关键字信息存储到非结构化特征数据库，将数据量较小的结构化特征信息存储到结构化特征数据库；将结构化结果流解析后，存储到相应的结构化结果数据库；在前端设备和云服务直接连通的情况下，云服务实时接收前端设备上报的压缩视频流/图片，将视频数据/图片存储为视频/图片文件，将视频/图片摘要信息存储到视频/图片数据库；经用户授权后，云服务从边缘服务按需调取视频数据/图片，经过处理和智能计算后，用于完成调查取证、视频回放、事故确认、二次识别等任务；云服务的算法模型仓库存储了能够支持不同软硬件平台、不同应用、不同性能的算法模型文件，通过算法模型数据库及其更新机制对算法生命周期进行管理，接收及响应前端的算法模型查询与拉取指令，对所需模型进行检索以及软硬件适配性检查，也能够主动下发最新版本的算法模型更新指令和模型流数据。
在一些实施方式中，云服务接收用户需求指令，利用视频、特征大数据信息进行数据分析与挖掘、仿真预测、联合优化等，完成大时空尺度的多边协同任务，例如：交通通行效率分析及信号灯控制优化、公交车路线及调度优化、移动目标识别与追踪等；利用大规模数据集和超强算力完成大型模型训练，与边缘服务协作完成联邦学习模型训练，支持隐私保护应用。
在一些实施方式中，如图1所示，所述云服务30包括中央控制模块、计算仿真模块、数据分析模块、数据中心模块、算法模型仓库和用户交互模块。
在本实施例中，所述中央控制模块用于对系统内所有节点进行配置管理和资源调度，对数据流、控制流和模型流的传输控制过程进行统一管理，向前端设备下发设备控制、功能定义、模型更新命令，向边缘服务下发任务，接收及处理边缘服务的数据上报指令和状态上报指令，实现系统内设备的安全连接和协同调度。
在本实施例中，所述计算仿真模块用于结构化分析处理、仿真预测、模型训练、模型联合优化、协同策略生成，输出计算结果。
在本实施例中，所述数据分析模块用于接收编码特征流和结构化结果流，或根据用户指令在数据中心模块检索和调取数据，汇聚大数据信息，进行分析与挖掘，提取出高层语义信息返回给用户。
具体来讲，如图4所示，所述数据分析模块包括数据检索子模块、统计分析子模块以及数据挖掘子模块，所述数据检索子模块用于接收或向数据中心模块发起数据检索和调取指令，获取分析任务所需要的数据；所述统计分析子模块用于采用分类、回归、相关分析等方法对汇聚的特征和结果数据进行多维度分析；所述数据挖掘子模块用于采用人工智能、机器学习、统计学等手段，从大量历史数据或实时数据中自动提取出隐含的有用信息和知识。
在本实施例中，所述数据中心模块用于按需从边缘服务调取压缩视频流，用于编码特征流、结构化结果流和按需调取的压缩视频流的存储、检索和调取输出。
在本实施例中，所述算法模型仓库用于算法模型的存储、查询、下发流程以及生命周期管理。
在本实施例中，所述用户交互模块用于接收用户相关指令，返回处理结果。
在一些具体的实施方式中，所述数据流包括多媒体数据、特征数据、结果信息、时空信息、环境数据、设备数据以及算法模型；所述控制流是指与系统运行相关的指令数据。
在一些实施方式中，所述中央控制模块包括配置管理子模块、协同调度子模块、指令处理子模块。
在本实施例中，所述配置管理子模块用于对前端设备、边缘服务、云服务所有节点进行安全认证、配置管理和状态监控。
在本实施例中，所述协同调度子模块用于根据调度策略向前端设备下发设备控制指令、功能定义指令、工作参数指令。
在本实施例中，所述指令处理子模块用于负责接收、解析和处理边缘服务的上报指令和查询指令，下发模型流数据，负责对用户交互模块的响应。
下面以视频监控场景下的对象追踪应用为例，对本发明一种可伸缩视觉计算系统的工作过程做进一步的解释说明：
所述可伸缩视觉计算系统包括部署在交通枢纽、重要关卡、社区街道等公共场所的大量数字视网膜前端，分散于不同位置的若干边缘服务以及负责总体监控指挥的云服务。
通过云服务的用户交互接口输入待追踪的对象数据，包含多媒体数据、时空标识数据、电子数据、痕迹数据、社交数据、环境数据、设备数据等。具体例如，一张含有人脸的图片，该人脸图片出现的时间、地点、环境、状态信息等；与该人物相关的关联人物、关联车辆、关联设备等；与该人脸图片相关的行为信息、行为轨迹信息、状态变化信息等。对象可包括犯罪分子、问题车辆、异常事件等。
所述数字视网膜前端工作在正常监控模式，其拍摄画面可能存在人群密集、目标较小的情况，需要在大量数据中搜索目标，以通过人脸检测追踪特定人员为例，前端部署了快速的人脸检测算法、关键点检测算法和人脸特征提取算法，人脸检测算法模型包括但不限于YoloV4、SSD等，关键点检测模型包括但不限于Resnet18、MobileNetV2等，特征提取算法包括但不限于sphereface、arcface。
数字视网膜前端首先利用人脸检测模型检测出人脸的位置和大小，然后将人脸区域从原图中切割出来，利用关键点检测模型提取关键点信息，回归得到68个关键点，并进一步筛选出五官的5个关键点；数字视网膜前端对检测出的人脸区域进行过滤，过滤条件包括：根据脸部的遮挡情况，当遮挡比例大于一定阈值时，滤除该人脸图片；根据人脸图片质量，当模糊度大于一定阈值时，滤除该人脸图片；根据关键点计算人脸姿态、瞳孔距离，当姿态大于一定阈值或者瞳距小于一定阈值时，滤除该人脸图片；
数字视网膜前端对筛选出的人脸图片，根据5个关键点利用仿射变换或相似变换进行人脸校准；
数字视网膜前端对校准后的人脸图像提取面部特征信息，得到特征向量(例如，1024维)，将特征流以及前端节点时、空和设备标识信息上报至边缘服务并最终汇聚到云服务，将压缩视频流上报并保存至边缘服务；
云服务采用与前端一致的特征提取模型对待追踪人脸图片进行特征提取，并与上报特征比对，采用余弦距离作为相似性度量，粗略识别出特定人员，记录其所属的前端信息和人脸结构化信息；
云服务自动生成目标跟踪控制指令，由边缘服务转发至发现特定人员的前端节点，对可疑人脸进行跟踪，跟踪算法包括但不限于KCF、deepsort；云服务自动生成前端参数控制指令，由边缘服务转发至发现特定人员的前端节点，调整相应前端的角度、焦距等参数，对拍摄画面进行放大，得到更清晰的特定人员图像，根据人脸跟踪结果，选择清晰度高、角度正的一张人脸图片以及前端节点的时、空、设备标识信息上报至边缘服务，然后实时汇聚至云服务，用于二次识别，同时将压缩视频流实时上报并保存至边缘服务；
云服务对汇聚的特定人员图片采用更复杂、更精确的网络模型(例如，Resnet50)进行人脸特征提取和识别，对特定人员进一步确认，记录其所属前端的时空标识，并发送报警信号；
云服务对上一步的犯罪分子确认结果进行展示，并从边缘服务实时调取和显示发现特定人员的前端原始视频数据，经由人工进一步确认，从而锁定犯罪分子；
相关部门根据获取的罪犯所处时间、地点信息，采取下一步行动。
在上述流程中，对罪犯进行搜索、跟踪、确认的不同阶段，在云服务的调度下，端、边、云自动选择合适的算法进行计算，通过软件配置和算法处理将不同类型的输出数据有效衔接起来，既合理利用了资源，又体现了基于数字视网膜的端、边、云协同计算架构的灵活性。
综上所述，本发明提出的可伸缩视觉计算系统，其核心在于压缩视频流、编码特征流以及模型流三类数据流并行的数据传输架构，所述压缩视频流和编码特征流的传输具有实时性，所述前端设备根据配置可同时上报压缩视频流和编码特征流，既能够缓解数据传输压力，又能够实时汇聚有效信息进行数据联合分析；所述模型流的传输具有偶发性，当需要更新模型时，模型流由云服务直接或间接地传输至前端设备，实现模型动态部署和更新，从而支持通过对前端设备功能和算法的定义完成不同的应用任务；本发明提出的可伸缩视觉计算系统内所有节点具有全局统一的时空信息和设备标识，既便于不同节点之间视觉数据的联合分析和目标优化，又便于和其他传感系统数据融合处理；所述可伸缩视觉计算系统内端、边、云具有协同机制，数字视网膜前端功能可软件定义，算法模型可动态更新，边/云具有任务/事件响应自主决策机制和联合调度功能，它们之间通过实时调节的数据和控制指令交互，实现用户指定的任务。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种可伸缩视觉计算系统，其特征在于，包括依次建立通信连接的前端设备、边缘服务以及云服务；
所述前端设备，用于感知和采集场景视觉信息得到影像数据，对所述影像数据进行视频图像处理、特征编码处理以及智能化分析处理，并将处理结果和前端设备标识信息、时间信息以及空间信息进行封装得到压缩视频流、特征编码流和结构化结果流，根据配置相应地输出所述压缩视频流、特征编码流和结构化结果流；还用于按照固定节拍上报自身的状态信息给所述边缘服务，并接收所述边缘服务下发的控制指令和模型流，完成对自身工作参数的配置和模型更新，所述控制指令包括设备控制指令和功能定义指令；
所述边缘服务，用于接收并存储所述前端设备发送的压缩视频流、特征编码流和结构化结果流，实时输出特征编码流和结构化结果流汇聚到云服务，根据云服务的数据调取指令按需输出压缩视频流至云服务；还用于接收和处理前端设备上报的节点接入管理指令并更新设备管理列表，还用于上报前端设备和边缘服务的状态信息给云服务，接收前端设备的模型查询指令并转发至云服务，接收云服务下发的模型流和控制指令，并将所述模型流和控制指令下发至所述前端设备，所述控制指令包括设备控制指令和功能定义指令；还用于根据定义的功能任务，完成多节点联动系统组织方案生成、数据信息配置方案规划、协同工作调度、影像数据处理分析、数据协同分析和联合优化的工作；
所述云服务，用于实时接收、存储和汇聚边缘服务输出的特征编码流和结构化结果流，从所述边缘服务按需调取压缩视频流；还用于存储用于支撑各类应用的算法模型，对算法生命周期和更新流程进行管理，接收所述边缘服务或前端设备发送的模型查询指令，相应地返回模型查询结果或模型流，根据触发情况随机地发送控制指令，接收及响应第三方用户需求指令；还用于进行大数据分析与挖掘以及仿真计算，执行多边协同任务；还用于接收边缘服务上报的设备状态信息，对所有节点进行配置管理、功能定义和资源协同调度。
2.根据权利要求1所述可伸缩视觉计算系统，其特征在于，所述前端设备包括时空确定模块、影像采集模块、影像处理模块、智能计算模块、设备控制与数据交互模块；其中，所述时空确定模块用于获取前端设备统一的时间信息，保持前端设备之间的时间同步，确定前端设备的位置、速度、姿态信息，并将时空信息实时提供给前端设备的其他模块用于计算和传输，接收设备控制与数据交互模块发送的控制指令，完成对自身工作参数的配置；所述影像采集模块用于影像数据的采集与转换，并将所述影像数据发送给所述影像处理模块；所述影像处理模块用于对影像数据进行前处理、压缩、编码、转码处理，输出携带时间戳信息的压缩视频流至所述设备控制与数据交互模块，还用于将前处理后的影像数据输出至智能计算模块，接收设备控制与数据交互模块发送的控制指令，完成对处理参数的配置；所述智能计算模块用于对影像数据进行结构化分析、特征提取和特征编码，输出特征编码流和结构化结果流至设备控制与数据交互模块，所述智能计算模块还用于接收控制指令，所述控制指令包括参数配置指令和功能定义指令，接收模型流并动态更新算法模型；所述设备控制与数据交互模块用于将接收的时间信息、空间信息、压缩视频流、图片、特征编码流和结构化结果流进行打包和封装，发送至边缘服务，接收和解析边缘服务或云服务下发的模型流和控制指令，将所述模型流和控制指令发送给相应的处理模块；还用于完成前端设备的工作流程控制、设备控制、状态监控、模型更新以及传输控制，获取设备的工作状态和标识信息。
3.根据权利要求1所述的可伸缩视觉计算系统，其特征在于，所述边缘服务包括综合控制模块、流媒体模块、数据存储模块以及计算处理模块；其中，所述综合控制模块用于接收前端设备的上报数据或指令，控制其响应过程，将所述特征编码流和结构化结果流实时推送给云服务，接收并转发云服务下发的控制指令或模型流，管理前端设备的接入流程与状态，监听前端设备状态，对于多个前端设备之间的协同工作方式进行调度；所述流媒体模块用于接收所述压缩视频流，对所述压缩视频流进行转码、截取和打包；所述数据存储模块用于接收所述流媒体模块的压缩视频流、前端设备上报的特征编码流和结构化结果流，并将所述压缩视频流、特征编码流和结构化结果流进行分类存储和管理，接收云服务下发的压缩视频流或图片调取指令并按条件检索返回压缩视频流或图片至云服务；所述计算处理模块用于根据定义的功能任务，完成多节点联动系统组织方案生成、影像数据处理分析、多节点数据协同分析和联合优化的工作。
4.根据权利要求3所述的可伸缩视觉计算系统，其特征在于，所述数据存储模块包括存取管理子模块、数据检索子模块、数据库子模块；其中，所述存取管理子模块用于支持数据输入、保存以及调取操作；所述数据检索子模块用于数据查询、检索操作；所述数据库子模块用于对结构化数据或非结构化数据进行存储。
5.根据权利要求4所述的可伸缩视觉计算系统，其特征在于，所述数据库子模块包括视频文件库、图片文件库、特征文件库、结构化特征库以及结构化结果库；其中，所述视频文件库用于存储视频流数据及其摘要信息；所述图片文件库用于存储图像格式文件数据及其摘要信息；所述特征文件库用于存储非结构化特征流数据及其摘要信息；所述结构化特征库用于存储结构化特征数据；所述结构化结果库用于存储结构化结果数据。
6.根据权利要求1所述的可伸缩视觉计算系统，其特征在于，所述云服务包括中央控制模块、计算仿真模块、数据分析模块、数据中心模块、算法模型仓库和用户交互模块；其中，所述中央控制模块用于对系统内所有节点进行配置管理和资源调度，对数据流、控制流和模型流的传输控制过程进行统一管理，向前端设备下发设备控制、功能定义、模型更新命令，向边缘服务下发任务，接收及处理边缘服务的数据上报指令和状态上报指令；所述计算仿真模块用于结构化分析处理、仿真预测、模型训练、模型联合优化、协同策略生成，输出计算结果；所述数据分析模块用于接收特征编码流和结构化结果流，或根据用户指令在数据中心模块检索和调取数据，汇聚大数据信息，进行分析与挖掘，提取出高层语义信息返回给用户；所述数据中心模块用于按需从边缘服务调取压缩视频流或图片，用于特征编码流、结构化结果流和按需调取的压缩视频流或图片的存储、检索和调取输出；所述算法模型仓库用于算法模型的存储、查询、下发流程以及生命周期管理；所述用户交互模块用于接收用户相关指令，返回处理结果。
7.根据权利要求6所述的可伸缩视觉计算系统，其特征在于，所述数据流包括多媒体数据、特征数据、结果信息、时空信息、环境数据、设备数据以及算法模型。
8.根据权利要求6所述的可伸缩视觉计算系统，其特征在于，所述控制流是指与系统运行相关的指令数据，所述指令数据包括设备注册指令、登录指令、注销指令、设备控制指令、功能定义指令、参数配置指令以及数据查询/调取指令。
9.根据权利要求6所述的可伸缩视觉计算系统，其特征在于，所述中央控制模块包括配置管理子模块、协同调度子模块、指令处理子模块；其中，所述配置管理子模块用于对前端设备、边缘服务、云服务所有节点进行安全认证、配置管理和状态监控；所述协同调度子模块用于根据调度策略向前端设备下发设备控制指令、功能定义指令、工作参数指令；所述指令处理子模块用于负责接收、解析和处理边缘服务的上报指令和查询指令，下发模型流数据，负责对用户交互模块的响应。
10.根据权利要求6所述的可伸缩视觉计算系统，其特征在于，所述数据分析模块包括数据检索子模块、统计分析子模块以及数据挖掘子模块，所述数据检索子模块用于接收或向数据中心模块发起数据检索和调取指令，获取分析任务所需要的数据；所述统计分析子模块用于采用分类、回归、相关分析方法对汇聚的特征和结果数据进行多维度分析；所述数据挖掘子模块用于采用人工智能、机器学习、统计学手段，从大量历史数据或实时数据中自动提取出隐含的有用信息和知识。
CN202011425341.5A 2020-12-08 2020-12-08 一种可伸缩视觉计算系统 Active CN112804188B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011425341.5A CN112804188B (zh) 2020-12-08 2020-12-08 一种可伸缩视觉计算系统
US18/037,408 US20230412769A1 (en) 2020-12-08 2021-04-13 Scalable Visual Computing System
PCT/CN2021/087017 WO2022121196A1 (zh) 2020-12-08 2021-04-13 一种可伸缩视觉计算系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011425341.5A CN112804188B (zh) 2020-12-08 2020-12-08 一种可伸缩视觉计算系统

Publications (2)

Publication Number Publication Date
CN112804188A CN112804188A (zh) 2021-05-14
CN112804188B true CN112804188B (zh) 2021-11-26

Family

ID=75806533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011425341.5A Active CN112804188B (zh) 2020-12-08 2020-12-08 一种可伸缩视觉计算系统

Country Status (3)

Country Link
US (1) US20230412769A1 (zh)
CN (1) CN112804188B (zh)
WO (1) WO2022121196A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115358729B (zh) * 2022-10-21 2023-01-13 成都戎星科技有限公司 一种卫星影像数据智能发布系统
CN115861775B (zh) * 2022-12-08 2024-02-23 广州市双照电子科技有限公司 一种视频分析方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105898313A (zh) * 2014-12-15 2016-08-24 江南大学 一种新的基于视频大纲的监控视频可伸缩编码技术
US10452467B2 (en) * 2016-01-28 2019-10-22 Intel Corporation Automatic model-based computing environment performance monitoring
CN108512909A (zh) * 2018-03-14 2018-09-07 日照职业技术学院 一种基于物联网的计算机远程控制系统
CN109451040A (zh) * 2018-12-10 2019-03-08 王顺志 基于边缘计算的物联网组网系统及组网方法
US11616839B2 (en) * 2019-04-09 2023-03-28 Johnson Controls Tyco IP Holdings LLP Intelligent edge computing platform with machine learning capability
CN111787321A (zh) * 2020-07-06 2020-10-16 济南浪潮高新科技投资发展有限公司 用于边缘端的基于深度学习的图片压缩、解压缩方法及系统
CN111901573A (zh) * 2020-08-17 2020-11-06 泽达易盛（天津）科技股份有限公司 一种基于边缘计算的细颗粒度实时监管系统

Also Published As

Publication number Publication date
CN112804188A (zh) 2021-05-14
WO2022121196A1 (zh) 2022-06-16
US20230412769A1 (en) 2023-12-21

Similar Documents

Publication Publication Date Title
Li et al. Reducto: On-camera filtering for resource-efficient real-time video analytics
US10567771B2 (en) System and method for compressing video data
Valera et al. Intelligent distributed surveillance systems: a review
US9704393B2 (en) Integrated intelligent server based system and method/systems adapted to facilitate fail-safe integration and/or optimized utilization of various sensory inputs
CN114971574A (zh) 基于云边协同的多模态信息复合感知与融合架构及方法
CA2824330C (en) An integrated intelligent server based system and method/systems adapted to facilitate fail-safe integration and/or optimized utilization of various sensory inputs
CN102752574B (zh) 一种视频监控系统及方法
CN112804188B (zh) 一种可伸缩视觉计算系统
EP2795600A1 (en) Cloud-based video surveillance management system
CN105164695A (zh) 用于探测视频数据中的高兴趣事件的系统和方法
CN101802843A (zh) 视频分析中的特征
CN1568487A (zh) 视频绊网
CN1835583A (zh) 安防监控管理系统及其工作方法
KR102333143B1 (ko) 무인 계수 서비스 제공 시스템
CN111090773A (zh) 一种数字视网膜体系结构及软件架构方法及系统
Li et al. A city monitoring system based on real-time communication interaction module and intelligent visual information collection system
CN113744528A (zh) 一种智慧城市交通视频监控系统
CN116010652B (zh) 一种非结构化视频数据处理方法和系统
CN110471988B (zh) 一种基于模块化的三段五层式人工智能系统
CN116824480A (zh) 基于DeepStream的监控视频分析方法及系统
CN116208633A (zh) 一种人工智能服务平台系统、方法、设备及介质
CN112312070A (zh) 一种数字视网膜云端软件调度方法
Valera et al. A review of the state-of-the-art in distributed surveillance systems
CN115052128A (zh) 一种综合视频监控与网络异常检测的机房安全管理方法
Li A suvey on edge intelligent video surveillance with deep reinforcement learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant