CN114785792A - 一种云边协同的视频双路分析装置与方法 - Google Patents

一种云边协同的视频双路分析装置与方法 Download PDF

Info

Publication number
CN114785792A
CN114785792A CN202210685796.3A CN202210685796A CN114785792A CN 114785792 A CN114785792 A CN 114785792A CN 202210685796 A CN202210685796 A CN 202210685796A CN 114785792 A CN114785792 A CN 114785792A
Authority
CN
China
Prior art keywords
video
unit
video stream
analysis
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210685796.3A
Other languages
English (en)
Other versions
CN114785792B (zh
Inventor
林健
徐驰
洪志刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongyun Ruilian Wuhan Computing Technology Co ltd
Original Assignee
Dongyun Ruilian Wuhan Computing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongyun Ruilian Wuhan Computing Technology Co ltd filed Critical Dongyun Ruilian Wuhan Computing Technology Co ltd
Priority to CN202210685796.3A priority Critical patent/CN114785792B/zh
Publication of CN114785792A publication Critical patent/CN114785792A/zh
Application granted granted Critical
Publication of CN114785792B publication Critical patent/CN114785792B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Abstract

本发明公开了一种云边协同的视频双路分析装置与方法，由视频采集设备、边缘节点、云侧节点、客户端节点四部分构成；所述视频采集设备通过边缘节点的总线连接到边缘节点；所述边缘节点和客户端节点之间通过各自的通信器件，经由通信链路C1连接；边缘节点和云侧节点之间通过各自的通信器件，经由通信链路C2连接；云侧节点和客户端节点之间通过各自的通信器件，经由通信链路C3连接；还包括多个逻辑组件，逻辑组件运行于边缘节点、云侧节点、客户端节点三类节点之上；本发明可实现资源利旧，降低新硬件成本投入。可提升视频分析性能，降低其运行时功耗。在应用中不受固化算法制约，具有较高的灵活性。

Description

一种云边协同的视频双路分析装置与方法
技术领域
本发明涉及视频分析技术领域，更具体地说是一种云边协同的视频双路分析装置与方法。
背景技术
随着人工智能技术的发展以及数字化基础设施的普及，视频分析系统在日常生活和生产环境中得到了广泛的应用。视频分析系统通常涉及视频的采集、传输、存储、分析等环节。其中，核心环节是分析，即输入视频流或其采样子集，输出用户关心的语义信息。常见的分析内容包括变化检测、行为识别、目标识别、目标跟踪、语义分割等。
以视频分析过程的执行位置为依据，可以将视频分析设备分为三类：
（1）端侧设备：在摄像机等视频采集设备内部执行分析。
（2）边缘设备：在网络拓扑上距离视频采集设备较近的、算力较弱的边缘计算节点上执行分析。
（3）云侧设备：在网络拓扑上距离视频采集设备较远的、算力较强的云侧节点（即服务器）上执行分析。
以视频分析算法的工作原理为依据，可以将视频分析算法分为两类：
（1）基于规则的分析算法：使用基于可解释的数学规则的确定性算法，对输入视频流或其采样子集进行直接计算，得出分析结果。常见的例子是基于图像相邻帧间的像素比对，实现变化检测。
（2）基于模型的分析算法：使用神经网络等高阶数学模型，对输入视频流或其采样子集进行推理操作，得出分析结果。常见的例子是基于卷积神经网络（ConvolutionalNeural Network，CNN）模型，实现目标识别。
结合上述三类设备和两类算法，业界形成了建设视频分析系统的若干实践方案。其中，最为常见的两类方案是：
（方案1）在端侧只做采集，在边缘或云侧完成分析（包括基于规则的分析和基于模型的分析）。
（方案2）在端侧做采集的同时，完成基于规则的分析；在边缘或云侧完成基于模型的分析。
然而，上述两类方案均存在明显的不足：
方案1的实践中，为了节约网络传输开销，往往会引入视频压缩算法（即视频编解码）。视频编解码对于基于规则的分析算法，不但属于无功能意义的额外开销，会影响计算性能，而且由于有损压缩，会造成结果的误差。同时，方案1的实践中，为了简化硬件布局和工作流设计，主流系统往往使用同类器件运行所有算法。高端器件运行低端算法的状况，浪费了高端器件的采购成本以及运行时功耗。
方案2要求使用具有端侧分析能力的智能摄像机，这种摄像机的成本相比普通摄像机更高。在建设视频分析系统时，无法利用既有的普通摄像机，会造成既有投资浪费。同时，智能摄像机中的算法往往是固化的，无法像边缘或云侧设备上的算法那样按需更新，从而在应用中的灵活性较弱，无法应对算法迭代升级需求。
发明内容
为了克服现有技术的上述缺陷，本发明提供一种云边协同的视频双路分析装置与方法。
为实现上述目的，本发明提供如下技术方案：
一种云边协同的视频双路分析装置，由视频采集设备、边缘节点、云侧节点、客户端节点四部分构成；所述视频采集设备通过边缘节点的总线连接到边缘节点；所述边缘节点和客户端节点之间通过各自的通信器件，经由通信链路C1连接；边缘节点和云侧节点之间通过各自的通信器件，经由通信链路C2连接；云侧节点和客户端节点之间通过各自的通信器件，经由通信链路C3连接；
还包括多个逻辑组件，逻辑组件运行于边缘节点、云侧节点、客户端节点三类节点之上；其中：
边缘节点：边缘节点的计算器件上运行视频编码单元、视频采样单元和基于规则 的分析单元，边缘节点的存储器件上分配一块采样缓冲区；视频编码单元用于对视频流执 行压缩编码，该单元以非压缩视频流作为输入，以压缩视频流作为输出；本发明不限制具体 压缩编码格式，常见的格式包括但不限于H.264、H.265等。视频采样单元用于对视频流执行 采样，即依据特定的采样规则，从连续视频流中截取一个子集，作为待分析的样本；该单元 以非压缩视频流作为输入，以采样生成的图像集合作为输出；本发明不限制采样的具体规 则，常见的规则包括但不限于取之前连续的
Figure 632974DEST_PATH_IMAGE001
帧图像、取平均分割的
Figure 764878DEST_PATH_IMAGE001
个时间段中的首帧图 像等。基于规则的分析单元用于对视频流的样本加以分析，通过基于规则的算法得到用户 关心的分析结果。该单元以采样生成的图像集合作为输入，以算法得到分析结果作为输出。 所谓“基于规则的算法”，是指基于可解释的数学规则的确定性算法。采样缓冲区用于临时 存储待分析的样本，即图像集合。该缓冲区的输入来源是视频采样单元，输出目的地是基于 规则的分析单元。该缓冲区不对图像集合做任何处理；
云侧节点：云侧节点的计算器件上运行视频解码单元和基于模型的分析单元，云侧节点的存储器件上分配一块视频缓冲区；视频解码单元用于对视频流执行压缩解码。该单元以压缩视频流作为输入，以非压缩视频流作为输出。该单元使用的具体压缩编码格式与边缘节点中视频编码单元使用的格式相同；基于模型的分析单元用于对视频流加以分析，通过基于模型的算法得到用户关心的分析结果。该单元以解码生成的非压缩视频流作为输入，以算法得到分析结果作为输出；基于模型的算法是指神经网络等高阶数学模型；视频缓冲区用于临时存储待分析的视频，即非压缩视频流。该缓冲区的输入来源是视频解码单元，输出目的地是基于模型的分析单元；该缓冲区不对非压缩视频流做任何处理。
客户端节点：客户端节点的计算器件上运行应用客户端；应用客户端是视频分析系统的具体应用业务承载软件；它接受来自边缘节点和云侧节点的分析结果。本发明不限制应用客户端的具体功能，仅要求其能够接收和解析上述分析结果。
所述通信链路既可以是通过有线（如双绞线）或无线（如Wi-Fi）方式连接的直接链路，也可以是经由交换机、路由器等中间节点转发的间接链路。
所述视频采集设备是摄像机，或者其他等效于摄像机的设备，比如手机摄像头；视频采集的接口可以是以太网接口、USB接口或其他接口形式。
所述边缘节点、云侧节点和客户端节点均是具有计算、存储和通信能力的计算机设备；包括但不限于机架式服务器、桌面计算机、笔记本电脑、工控机或移动终端；边缘节点、云侧节点和客户端节点内部均具有总线、计算器件、存储器件和通信器件。
所述基于规则的算法：
Figure 510111DEST_PATH_IMAGE002
，其中：
Figure 385663DEST_PATH_IMAGE003
是代表采样缓冲区中第
Figure 414799DEST_PATH_IMAGE004
帧采样图像的矩阵。需要注意的是，矩阵 中的元素
Figure 452025DEST_PATH_IMAGE005
（即像素）既可以是一个标量（代表图像为单通道图像），也可以是一个元组 （代表图像为多通道图像）；
Figure 728897DEST_PATH_IMAGE006
是代表分析结果的向量。
Figure 142560DEST_PATH_IMAGE006
的每一个分量
Figure 26203DEST_PATH_IMAGE007
代表分析结果涉及的 多个方面；
Figure 234330DEST_PATH_IMAGE008
是代表“基于规则的算法”的函数。
所述基于模型的算法：
Figure 954156DEST_PATH_IMAGE009
，其中：
Figure 437090DEST_PATH_IMAGE010
是代表视频缓冲区中视频第
Figure 175239DEST_PATH_IMAGE004
帧图像的矩阵。需要注意的是，矩 阵中的元素
Figure 69114DEST_PATH_IMAGE005
（即像素）既可以是一个标量（代表图像为单通道图像），也可以是一个元组 （代表图像为多通道图像）。与基于规则的算法中的
Figure 525503DEST_PATH_IMAGE011
不同的是，基于模型的算法中的
Figure 280970DEST_PATH_IMAGE011
是 视频中具有时间先后关系的帧，而不依赖于特定的采样规则，因此它隐式包含了视频的时 序信息。
Figure 139204DEST_PATH_IMAGE012
是代表分析结果的向量。
Figure 705446DEST_PATH_IMAGE012
的每一个分量
Figure 383552DEST_PATH_IMAGE013
代表分析结果涉及的 多个方面。
Figure 942709DEST_PATH_IMAGE014
是代表“基于模型的算法”的函数。
一种云边协同的视频双路分析方法，该方法具体如下：
（1）视频采集设备将采集到的原始非压缩视频流复制为两个相同的副本：非压缩视频流A1和非压缩视频流B1；
（2）对非压缩视频流A1进行基于规则的分析：
（2.1）边缘节点上的视频采样单元获取非压缩视频流A1，依据该单元预置的采样 规则，从非压缩视频流A1中截取一个子集，即图像集合A2，作为待分析的样本；图像集合A2 的内容记为
Figure 655450DEST_PATH_IMAGE015
；
（2.2）视频采样单元将图像集合A2保存到采样缓冲区；
（2.3）基于规则的分析单元从采样缓冲区中读取图像集合A3；此处图像集合A3的 内容与图像集合A2完全一致，故其内容亦记为
Figure 894058DEST_PATH_IMAGE015
；
（2.4）基于规则的分析单元执行该单元预置的算法，对图像集合A3实施分析，得到 分析结果A4；预置的算法记为
Figure 325039DEST_PATH_IMAGE008
，分析结果A4的内容记为
Figure 687888DEST_PATH_IMAGE006
，则有：
Figure 255135DEST_PATH_IMAGE002
；
（2.5）基于规则的分析单元通过通信链路C1，将分析结果A4传递到客户端节点上的应用客户端；需要注意的是，这里所述的“传递”操作只约束信息的流动方向，不约束操作的发起方式。该操作既可以由基于规则的分析单元以推送方式发起，也可以由应用客户端以拉取方式发起。
（2.6）基于规则的一轮分析结束，返回到步骤（2.1），开始下一轮分析。
（3）对非压缩视频流B1进行基于模型的分析：
（3.1）边缘节点上的视频编码单元获取非压缩视频流B1，依据该单元预置的特定编码格式对应的压缩算法，对非压缩视频流B1实施压缩，生成压缩视频流B2；
（3.2）视频编码单元通过通信链路C2，将压缩视频流B2传递到云侧节点上的视频解码单元；需要注意的是，这里所述的“传递”操作只约束信息的流动方向，不约束操作的发起方式。该操作既可以由视频编码单元以推送方式发起，也可以由视频解码单元以拉取方式发起；
（3.3）视频解码单元获取压缩视频流B2，依据该单元预置的特定编码格式对应的 解压缩算法，对压缩视频流B2实施解压缩，生成非压缩视频流B3，作为待分析的样本；非压 缩视频流B3的内容记为
Figure 163180DEST_PATH_IMAGE016
；
（3.4）视频解码单元将非压缩视频流B3保存到视频缓冲区。
（3.5）基于模型的分析单元从视频缓冲区中读取非压缩视频流B4；此处非压缩视 频流B4的内容与非压缩视频流B3完全一致，故其内容亦记为
Figure 815878DEST_PATH_IMAGE016
；
（3.6）基于模型的分析单元执行该单元预置的算法，对非压缩视频流B4实施分析， 得到分析结果B5；预置的算法记为
Figure 982417DEST_PATH_IMAGE014
，分析结果B5的内容记为
Figure 919018DEST_PATH_IMAGE012
，则有：
Figure 247231DEST_PATH_IMAGE009
；
（3.7）基于模型的分析单元通过通信链路C3，将分析结果B5传递到客户端节点上的应用客户端；需要注意的是，这里所述的“传递”操作只约束信息的流动方向，不约束操作的发起方式。该操作既可以由基于模型的分析单元以推送方式发起，也可以由应用客户端以拉取方式发起；
（3.8）基于模型的一轮分析结束，返回到步骤（3.1），开始下一轮分析。
本发明的技术效果和优点：
（1）在建设视频分析系统时，允许只使用普通摄像机，不使用智能摄像机，从而可实现资源利旧，降低新硬件成本投入。
（2）使用最适宜的硬件运行两类算法，避免无意义的软件开销，从而提升视频分析性能，降低其运行时功耗。
（3）在边缘和云侧均支持算法按需更新、迭代升级，在应用中不受固化算法制约，具有较高的灵活性。
附图说明
图1为本发明装置物理层结构示意图；
图2为本发明逻辑层结构示意图；
图3为本发明方法流程图。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
本实施例给出一套云边协同的视频分析系统的实施方案，该系统采用本发明提出的视频双路分析方法与装置。如图1和图2所示所示，
在本实施例中，云边协同的视频双路分析装置的各部分的具体物理构成说明如下：
视频采集设备：采用USB 2.0接口、CMOS传感器的高清摄像机。
边缘节点：采用一台工控机，其中：
计算器件：采用ARM64 CPU和芯片内置的NPU加速核；
存储器件：采用DDR4内存作为失存储器件，SD卡作为非失存储器件；
通信器件：采用1Gbps有线以太网卡。
云侧节点：采用一台机架式服务器，其中：
计算器件：采用x86-64 CPU和NVIDIA GPU；
存储器件：采用DDR4内存作为失存储器件，硬盘作为非失存储器件；
通信器件：采用10Gbps有线以太网卡。
客户端节点：采用一台桌面计算机，其中：
计算器件：采用x86-64 CPU；
存储器件：采用DDR4内存作为失存储器件，硬盘作为非失存储器件；
通信器件：采用1Gbps有线以太网卡。
通信链路：采用有线以太网构建通信链路；其中：
边缘节点与客户端节点之间：采用电信运营商构建的、由双绞线和光纤连接的、多级路由器转发的间接链路；
边缘节点与云侧节点之间：采用电信运营商构建的、由双绞线和光纤连接的、多级路由器转发的间接链路；
云侧节点与客户端节点之间：采用用户自行构建的、由双绞线连接的、没有中间转发环节的直接链路。
在本实施例中，云边协同的视频双路分析装置的各部分上运行的逻辑组件的说明如下：
边缘节点
视频编码单元：该单元采用基于H.264格式的视频编码器，用于实现视频流压缩。
视频采样单元：该单元由视频采样程序构成。本实施例中的视频采样程序的采样 规则是：取之前连续的
Figure 387225DEST_PATH_IMAGE001
帧图像。
基于规则的分析单元：该单元由基于规则的视频分析程序构成。本实施例中，视频 分析程序用于实现图像显著变化检测。具体实现方法（即函数
Figure 826297DEST_PATH_IMAGE008
）说明如下：
取得第
Figure 118869DEST_PATH_IMAGE017
至第
Figure 617983DEST_PATH_IMAGE018
帧图像的平均图像矩阵：
Figure 245274DEST_PATH_IMAGE019
。
取得第
Figure 488036DEST_PATH_IMAGE001
帧图像与平均图像的差值矩阵：
Figure 402159DEST_PATH_IMAGE020
。
取得第
Figure 337754DEST_PATH_IMAGE001
帧图像逐像素变化率矩阵：
Figure 186761DEST_PATH_IMAGE021
，其中“
Figure 967636DEST_PATH_IMAGE022
”是矩阵逐元素除法的 符号。
取得所有像素的平均变化率向量：
Figure 234800DEST_PATH_IMAGE023
，其中
Figure 75717DEST_PATH_IMAGE024
为图像的高 和宽，单位为像素。
取得平均变化率向量的长度
Figure 677600DEST_PATH_IMAGE025
与预设阈值
Figure 262165DEST_PATH_IMAGE026
的差值，作为图像显著变化检测的分 析结果值；将其封装到分析结果向量中，作为该向量的唯一元素：
Figure 882371DEST_PATH_IMAGE027
。
采样缓冲区：该缓冲区是在边缘节点内存上分配的一段区域，该区域的最小容量 为“
Figure 159768DEST_PATH_IMAGE028
每帧图像占用的空间”。
云侧节点
视频解码单元：该单元采用基于H.264格式的视频解码器，用于实现视频流解压缩。
基于模型的分析单元：该单元由基于模型的视频分析程序构成。本实施例中，视频 分析程序用于实现危险行为识别。具体实现方法（即函数
Figure 248947DEST_PATH_IMAGE014
）说明如下：
本单元包含两个并行的卷积神经网络模型（CNN）作为其子模型，两个模型分别用 来计算空间流特征向量和时间流特征向量。两个模型的函数分别记为
Figure 122356DEST_PATH_IMAGE029
和
Figure 613381DEST_PATH_IMAGE030
。
取得第
Figure 796100DEST_PATH_IMAGE017
至第
Figure 106996DEST_PATH_IMAGE031
帧图像，并行地输入到两个卷积神经网络模型（函数
Figure 551140DEST_PATH_IMAGE029
和
Figure 631092DEST_PATH_IMAGE030
），使 之构成两个处理分支。
对于空间流特征向量计算的分支，使用第一个卷积神经网络模型（函数
Figure 250292DEST_PATH_IMAGE029
）计算 每一帧图像
Figure 48483DEST_PATH_IMAGE011
的特征向量，并叠加得到整体空间流特征向量：
Figure 529274DEST_PATH_IMAGE032
。
对于时间流特征向量计算的分支，需要先计算光流信息，然后再使用第二个卷积 神经网络模型（函数
Figure 729312DEST_PATH_IMAGE030
）计算时间流特征向量
Figure 253834DEST_PATH_IMAGE033
。具体操作如下：
首先，计算光流信息。光流信息可以看作是连续帧
Figure 539322DEST_PATH_IMAGE004
和
Figure 322339DEST_PATH_IMAGE034
之间的位移向量场的 集合。用
Figure 376882DEST_PATH_IMAGE035
表示第
Figure 337885DEST_PATH_IMAGE004
帧中的点
Figure 861402DEST_PATH_IMAGE036
移动到下一帧
Figure 933263DEST_PATH_IMAGE034
中相应点的位移向量。假设 每帧图像宽度为
Figure 842313DEST_PATH_IMAGE037
，高度为
Figure 974217DEST_PATH_IMAGE038
，对于第
Figure 703139DEST_PATH_IMAGE004
帧图像上任意一点
Figure 84749DEST_PATH_IMAGE036
，分别计算水平方向和垂直 方向的位移矢量：水平方向位移矢量为
Figure 848305DEST_PATH_IMAGE039
；垂直方向位 移矢量为
Figure 151111DEST_PATH_IMAGE040
。 其中，
Figure 383640DEST_PATH_IMAGE041
。 将所有帧图像的水平方向位移矢量与垂直方向位移矢量叠加，得到大小为
Figure 797304DEST_PATH_IMAGE042
的光流信息
Figure 680946DEST_PATH_IMAGE043
。
其次，将光流信息
Figure 154653DEST_PATH_IMAGE044
输入神经网络模型（函数
Figure 373013DEST_PATH_IMAGE030
），得到整体时间流特征向量：
Figure 590368DEST_PATH_IMAGE045
。
将空间流特征向量
Figure 328517DEST_PATH_IMAGE046
和时间流特征向量
Figure 238704DEST_PATH_IMAGE033
分别输入一个Softmax模块，得到输出 概率分布值，并进行相加融合：
Figure 445826DEST_PATH_IMAGE047
，作为所有帧图像 的动作识别分类结果（即危险行为识别结果）。
视频缓冲区：该缓冲区是在云侧节点内存上分配的一段区域，该区域的最小容量 为“
Figure 201292DEST_PATH_IMAGE048
每帧图像占用的空间”。
客户端节点
应用客户端：该客户端是一套基于web界面的视频分析业务承载软件，能够接收和解析来自边缘节点和云侧节点上两种分析单元传输而来的分析结果。
实施例二
如图3所示，本实施例在上述装置实施例的基础上，给出一种云边协同的视频双路分析方法的实施方案。本方案具体步骤说明如下。
（1）高清摄像机将采集到的原始非压缩视频流复制为两个相同的副本：非压缩视频流A1和非压缩视频流B1。
（2）本方法使用基于规则的分析算法实现图像显著变化检测，具体步骤如下：
（2.1）边缘节点（ARM64工控机）上的视频采样单元获取非压缩视频流A1，依据该单 元预置的采样规则，从非压缩视频流A1中截取一个子集，即图像集合A2，作为待分析的样 本。图像集合A2的内容记为
Figure 59527DEST_PATH_IMAGE015
。
（2.2）视频采样单元将图像集合A2保存到边缘节点DDR4内存中的采样缓冲区。
（2.3）基于规则的分析单元从采样缓冲区中读取图像集合A3。此处图像集合A3的 内容与图像集合A2完全一致，故其内容亦记为
Figure 127233DEST_PATH_IMAGE015
。
（2.4）基于规则的分析单元执行该单元预置的图像显著变化检测算法，对图像集 合A3实施分析，得到分析结果A4。图像显著变化检测算法记为
Figure 70918DEST_PATH_IMAGE008
，分析结果A4的内容记为
Figure 630076DEST_PATH_IMAGE006
，则有：
Figure 77238DEST_PATH_IMAGE002
。
（2.5）基于规则的分析单元通过通信链路C1，将分析结果A4传递到客户端节点（x86-64桌面计算机）上的应用客户端。需要注意的是，这里所述的“传递”操作只约束信息的流动方向，不约束操作的发起方式。该操作既可以由基于规则的分析单元以推送方式发起，也可以由应用客户端以拉取方式发起。
（2.6）基于规则的一轮分析结束，返回到步骤（2.1），开始下一轮分析。
（3）本方法使用基于模型的分析算法实现危险行为识别，具体步骤如下：
（3.1）边缘节点（ARM64工控机）上的视频编码单元获取非压缩视频流B1，依据该单元预置的H.264编码格式对应的压缩算法，对非压缩视频流B1实施压缩，生成压缩视频流B2。
（3.2）视频编码单元通过通信链路C2，将压缩视频流B2传递到云侧节点（x86-64机架式服务器）上的视频解码单元。需要注意的是，这里所述的“传递”操作只约束信息的流动方向，不约束操作的发起方式。该操作既可以由视频编码单元以推送方式发起，也可以由视频解码单元以拉取方式发起。
（3.3）视频解码单元获取压缩视频流B2，依据该单元预置的H.264编码格式对应的 解压缩算法，对压缩视频流B2实施解压缩，生成非压缩视频流B3，作为待分析的样本。非压 缩视频流B3的内容记为
Figure 79960DEST_PATH_IMAGE016
。
（3.4）视频解码单元将非压缩视频流B3保存到云侧节点DDR4内存中的视频缓冲区。
（3.5）基于模型的分析单元从视频缓冲区中读取非压缩视频流B4。此处非压缩视 频流B4的内容与非压缩视频流B3完全一致，故其内容亦记为
Figure 245362DEST_PATH_IMAGE016
。
（3.6）基于模型的分析单元执行该单元预置的危险行为识别算法，对非压缩视频 流B4实施分析，得到分析结果B5。危险行为识别算法记为
Figure 342631DEST_PATH_IMAGE014
，分析结果B5的内容记为
Figure 175458DEST_PATH_IMAGE012
，则 有：
Figure 582037DEST_PATH_IMAGE009
。
（3.7）基于模型的分析单元通过通信链路C3，将分析结果B5传递到客户端节点（x86-64桌面计算机）上的应用客户端，并在其web界面上展示。需要注意的是，这里所述的“传递”操作只约束信息的流动方向，不约束操作的发起方式。该操作既可以由基于模型的分析单元以推送方式发起，也可以由应用客户端以拉取方式发起。
（3.8）基于模型的一轮分析结束，返回到步骤（3.1），开始下一轮分析。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种云边协同的视频双路分析装置，其特征在于：由视频采集设备、边缘节点、云侧节点、客户端节点四部分构成；所述视频采集设备通过边缘节点的总线连接到边缘节点；所述边缘节点和客户端节点之间通过各自的通信器件，经由通信链路C1连接；边缘节点和云侧节点之间通过各自的通信器件，经由通信链路C2连接；云侧节点和客户端节点之间通过各自的通信器件，经由通信链路C3连接；
还包括多个逻辑组件，逻辑组件运行于边缘节点、云侧节点、客户端节点三类节点之上；其中：
边缘节点的计算器件上运行视频编码单元、视频采样单元和基于规则的分析单元，边缘节点的存储器件上分配一块采样缓冲区；基于规则的分析单元用于对视频流的样本加以分析，通过基于规则的算法得到用户关心的分析结果；该基于规则的分析单元以采样生成的图像集合作为输入，以算法得到分析结果作为输出；
云侧节点的计算器件上运行视频解码单元和基于模型的分析单元，云侧节点的存储器件上分配一块视频缓冲区；基于模型的分析单元用于对视频流加以分析，通过基于模型的算法得到用户关心的分析结果；该单元以解码生成的非压缩视频流作为输入，以算法得到分析结果作为输出；
客户端节点的计算器件上运行应用客户端。
2.根据权利要求1所述的一种云边协同的视频双路分析装置，其特征在于：所述通信链路既可以是通过有线或无线方式连接的直接链路，也可以是经由交换机、路由器等中间节点转发的间接链路；
视频编码单元用于对视频流执行压缩编码，该单元以非压缩视频流作为输入，以压缩 视频流作为输出；视频采样单元用于对视频流执行采样，即依据特定的采样规则，从连续视 频流中截取一个子集，作为待分析的样本；该单元以非压缩视频流作为输入，以采样生成的 图像集合作为输出；采样的具体规则包括但不限于取之前连续的
Figure DEST_PATH_IMAGE001
帧图像、取平均分割的
Figure 579863DEST_PATH_IMAGE001
个时间段中的首帧图像；基于规则的算法是指基于可解释的数学规则的确定性算法；采样 缓冲区用于临时存储待分析的样本，即图像集合；采样缓冲区的输入来源是视频采样单元， 输出目的地是基于规则的分析单元；采样缓冲区不对图像集合做任何处理；
视频解码单元用于对视频流执行压缩解码；该单元以压缩视频流作为输入，以非压缩视频流作为输出；该单元使用的具体压缩编码格式与边缘节点中视频编码单元使用的格式相同；基于模型的算法是指神经网络等高阶数学模型；视频缓冲区用于临时存储待分析的视频，即非压缩视频流；视频缓冲区的输入来源是视频解码单元，输出目的地是基于模型的分析单元；视频缓冲区不对非压缩视频流做任何处理；
应用客户端是视频分析系统的具体应用业务承载软件；它接受来自边缘节点和云侧节点的分析结果。
3.根据权利要求1所述的一种云边协同的视频双路分析装置，其特征在于：所述视频采集设备是摄像机，或者其他等效于摄像机的设备；视频采集的接口可以是以太网接口、USB接口或其他接口形式。
4.根据权利要求1所述的一种云边协同的视频双路分析装置，其特征在于：所述边缘节点、云侧节点和客户端节点均是具有计算、存储和通信能力的计算机设备；包括但不限于机架式服务器、桌面计算机、笔记本电脑、工控机或移动终端；边缘节点、云侧节点和客户端节点内部均具有总线、计算器件、存储器件和通信器件。
5.根据权利要求1所述的一种云边协同的视频双路分析装置，其特征在于：所述基于规 则的算法：
Figure 413696DEST_PATH_IMAGE002
，其中：
Figure DEST_PATH_IMAGE003
是代表采样缓冲区中第
Figure 315793DEST_PATH_IMAGE004
帧采样图像的矩阵；需要注意的是，矩阵中的 元素
Figure DEST_PATH_IMAGE005
即像素，既可以是一个标量，标量代表图像为单通道图像，也可以是一个元组，元 组代表图像为多通道图像；
Figure 609502DEST_PATH_IMAGE006
是代表分析结果的向量；
Figure 433102DEST_PATH_IMAGE006
的每一个分量
Figure DEST_PATH_IMAGE007
代表分析结果涉及的多个 方面；
Figure 618095DEST_PATH_IMAGE008
是代表“基于规则的算法”的函数。
6.根据权利要求1所述的一种云边协同的视频双路分析装置，其特征在于：所述基于模 型的算法：
Figure DEST_PATH_IMAGE009
，其中：
Figure 626896DEST_PATH_IMAGE010
是代表视频缓冲区中视频第
Figure 809616DEST_PATH_IMAGE004
帧图像的矩阵；需要注意的是，矩阵中的 元素
Figure 386091DEST_PATH_IMAGE005
既可以是一个标量，也可以是一个元组；与基于规则的算法中的
Figure DEST_PATH_IMAGE011
不同的是，基 于模型的算法中的
Figure 859928DEST_PATH_IMAGE011
是视频中具有时间先后关系的帧，而不依赖于特定的采样规则，因此 它隐式包含了视频的时序信息；
Figure 939880DEST_PATH_IMAGE012
是代表分析结果的向量；
Figure 808348DEST_PATH_IMAGE012
的每一个分量
Figure DEST_PATH_IMAGE013
代表分析结果涉及的多个 方面；
Figure 403277DEST_PATH_IMAGE014
是代表“基于模型的算法”的函数。
7.一种云边协同的视频双路分析方法，其特征在于，该方法具体如下：
（1）视频采集设备将采集到的原始非压缩视频流复制为两个相同的副本：非压缩视频流A1和非压缩视频流B1；
（2）对非压缩视频流A1进行基于规则的分析：
（2.1）边缘节点上的视频采样单元获取非压缩视频流A1，依据该单元预置的采样规则， 从非压缩视频流A1中截取一个子集，即图像集合A2，作为待分析的样本；图像集合A2的内容 记为
Figure DEST_PATH_IMAGE015
；
（2.2）视频采样单元将图像集合A2保存到采样缓冲区；
（2.3）基于规则的分析单元从采样缓冲区中读取图像集合A3；此处图像集合A3的内容 与图像集合A2完全一致，故其内容亦记为
Figure 149647DEST_PATH_IMAGE015
；
（2.4）基于规则的分析单元执行该单元预置的算法，对图像集合A3实施分析，得到分析 结果A4；预置的算法记为
Figure 349684DEST_PATH_IMAGE008
，分析结果A4的内容记为
Figure 874207DEST_PATH_IMAGE006
，则有：
Figure 894115DEST_PATH_IMAGE002
；
（2.5）基于规则的分析单元通过通信链路C1，将分析结果A4传递到客户端节点上的应用客户端；
（2.6）基于规则的一轮分析结束，返回到步骤（2.1），开始下一轮分析；
（3）对非压缩视频流B1进行基于模型的分析：
（3.1）边缘节点上的视频编码单元获取非压缩视频流B1，依据该单元预置的特定编码格式对应的压缩算法，对非压缩视频流B1实施压缩，生成压缩视频流B2；
（3.2）视频编码单元通过通信链路C2，将压缩视频流B2传递到云侧节点上的视频解码单元；
（3.3）视频解码单元获取压缩视频流B2，依据该单元预置的特定编码格式对应的解压 缩算法，对压缩视频流B2实施解压缩，生成非压缩视频流B3，作为待分析的样本；非压缩视 频流B3的内容记为
Figure 933923DEST_PATH_IMAGE016
；
（3.4）视频解码单元将非压缩视频流B3保存到视频缓冲区；
（3.5）基于模型的分析单元从视频缓冲区中读取非压缩视频流B4；此处非压缩视频流 B4的内容与非压缩视频流B3完全一致，故其内容亦记为
Figure 988466DEST_PATH_IMAGE016
；
（3.6）基于模型的分析单元执行该单元预置的算法，对非压缩视频流B4实施分析，得到 分析结果B5；预置的算法记为
Figure 949469DEST_PATH_IMAGE014
，分析结果B5的内容记为
Figure 456674DEST_PATH_IMAGE012
，则有：
Figure 279267DEST_PATH_IMAGE009
；
（3.7）基于模型的分析单元通过通信链路C3，将分析结果B5传递到客户端节点上的应用客户端；
（3.8）基于模型的一轮分析结束，返回到步骤（3.1），开始下一轮分析。
8.根据权利要求7所述的一种云边协同的视频双路分析方法，其特征在于，所述步骤（2.5）中，传递操作只约束信息的流动方向，不约束操作的发起方式；该操作既可以由基于规则的分析单元以推送方式发起，也可以由应用客户端以拉取方式发起。
9.根据权利要求7所述的一种云边协同的视频双路分析方法，其特征在于，所述步骤（3.2）中，传递操作只约束信息的流动方向，不约束操作的发起方式；该操作既可以由视频编码单元以推送方式发起，也可以由视频解码单元以拉取方式发起。
10.根据权利要求7所述的一种云边协同的视频双路分析方法，其特征在于，所述步骤（3.7）中，传递操作只约束信息的流动方向，不约束操作的发起方式；该操作既可以由基于模型的分析单元以推送方式发起，也可以由应用客户端以拉取方式发起。
CN202210685796.3A 2022-06-17 2022-06-17 一种云边协同的视频双路分析装置与方法 Active CN114785792B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210685796.3A CN114785792B (zh) 2022-06-17 2022-06-17 一种云边协同的视频双路分析装置与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210685796.3A CN114785792B (zh) 2022-06-17 2022-06-17 一种云边协同的视频双路分析装置与方法

Publications (2)

Publication Number Publication Date
CN114785792A true CN114785792A (zh) 2022-07-22
CN114785792B CN114785792B (zh) 2022-09-16

Family

ID=82421052

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210685796.3A Active CN114785792B (zh) 2022-06-17 2022-06-17 一种云边协同的视频双路分析装置与方法

Country Status (1)

Country Link
CN (1) CN114785792B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3226510A1 (en) * 2016-03-31 2017-10-04 Hitachi, Ltd. Gis based compression and reconstruction of gps data for transmission from a vehicular edge platform to the cloud
CN112037365A (zh) * 2020-09-01 2020-12-04 枣庄学院 面向行车记录仪基于边缘计算的车辆火灾事故检测报警系统
CN112115830A (zh) * 2020-09-10 2020-12-22 同济大学 一种基于比特域特征提取的目标分布式融合识别方法
WO2021009155A1 (en) * 2019-07-17 2021-01-21 Koninklijke Kpn N.V. Facilitating video streaming and processing by edge computing
CN112765143A (zh) * 2021-01-20 2021-05-07 国网山东省电力公司电力科学研究院 一种基于边缘计算技术的低压物联网配网数据处理方法
CN112804280A (zh) * 2019-11-14 2021-05-14 普天信息技术有限公司 电力物联网系统及其数据处理方法
CN113254529A (zh) * 2021-05-12 2021-08-13 兰州兰石集团有限公司 一种基于边缘计算和HiTSDB存储的工业物联网平台
CN113392760A (zh) * 2021-06-15 2021-09-14 中国民航机场建设集团有限公司 一种基于视频的不停航施工不安全行为识别的系统及方法
CN114363562A (zh) * 2021-12-08 2022-04-15 国网河北省电力有限公司信息通信分公司 基于云分发的5g配网监测系统和配网监测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3226510A1 (en) * 2016-03-31 2017-10-04 Hitachi, Ltd. Gis based compression and reconstruction of gps data for transmission from a vehicular edge platform to the cloud
WO2021009155A1 (en) * 2019-07-17 2021-01-21 Koninklijke Kpn N.V. Facilitating video streaming and processing by edge computing
CN112804280A (zh) * 2019-11-14 2021-05-14 普天信息技术有限公司 电力物联网系统及其数据处理方法
CN112037365A (zh) * 2020-09-01 2020-12-04 枣庄学院 面向行车记录仪基于边缘计算的车辆火灾事故检测报警系统
CN112115830A (zh) * 2020-09-10 2020-12-22 同济大学 一种基于比特域特征提取的目标分布式融合识别方法
CN112765143A (zh) * 2021-01-20 2021-05-07 国网山东省电力公司电力科学研究院 一种基于边缘计算技术的低压物联网配网数据处理方法
CN113254529A (zh) * 2021-05-12 2021-08-13 兰州兰石集团有限公司 一种基于边缘计算和HiTSDB存储的工业物联网平台
CN113392760A (zh) * 2021-06-15 2021-09-14 中国民航机场建设集团有限公司 一种基于视频的不停航施工不安全行为识别的系统及方法
CN114363562A (zh) * 2021-12-08 2022-04-15 国网河北省电力有限公司信息通信分公司 基于云分发的5g配网监测系统和配网监测方法

Also Published As

Publication number Publication date
CN114785792B (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
Kang et al. Jointly optimizing preprocessing and inference for DNN-based visual analytics
US20190190538A1 (en) Accelerator hardware for compression and decompression
CN110099280B (zh) 一种无线自组织网络带宽受限下的视频业务质量增强方法
US20150117545A1 (en) Layered Video Encoding and Decoding
CN110428382B (zh) 一种用于移动终端的高效视频增强方法、装置和存储介质
WO2023174098A1 (zh) 一种实时手势检测方法及装置
CN116917926A (zh) 特征图数据的指示
CN111046766A (zh) 一种行为识别方法、装置及计算机存储介质
CN111226226A (zh) 基于运动的对象检测方法及其对象检测装置和电子设备
CN112597824A (zh) 行为识别方法、装置、电子设备和存储介质
CN113313241A (zh) 确定深度学习模型的张量信息的方法和计算装置
CN114818989B (zh) 基于步态的行为识别方法、装置、终端设备及存储介质
CN114785792B (zh) 一种云边协同的视频双路分析装置与方法
Wang et al. Edge-assisted real-time video analytics with spatial–temporal redundancy suppression
CN112235598B (zh) 一种视频结构化处理方法、装置及终端设备
US20140009563A1 (en) Non-video codecs with video conferencing
WO2023174256A1 (zh) 一种数据压缩方法以及相关设备
WO2024001653A9 (zh) 特征提取方法、装置、存储介质及电子设备
TWI826160B (zh) 圖像編解碼方法和裝置
WO2019127926A1 (zh) 一种稀疏神经网络的计算方法及计算装置、电子装置、计算机可读存储介质以及计算机程序产品
CN116433491A (zh) 一种图像处理方法、装置、设备、存储介质及产品
CN114501031B (zh) 一种压缩编码、解压缩方法以及装置
CN213023998U (zh) 一种应用于边缘ai分析、视频、物联网传感器数据采集仪
WO2023167465A1 (en) Method and system for reducing complexity of a processing pipeline using feature-augmented training
CN114143188B (zh) 一种视频处理的方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant