CN114741185A - 面向多目标视频监控的边缘计算系统及其工作方法 - Google Patents
面向多目标视频监控的边缘计算系统及其工作方法 Download PDFInfo
- Publication number
- CN114741185A CN114741185A CN202210306198.0A CN202210306198A CN114741185A CN 114741185 A CN114741185 A CN 114741185A CN 202210306198 A CN202210306198 A CN 202210306198A CN 114741185 A CN114741185 A CN 114741185A
- Authority
- CN
- China
- Prior art keywords
- target
- configuration
- video
- precision
- time delay
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000012544 monitoring process Methods 0.000 title claims abstract description 14
- 238000001514 detection method Methods 0.000 claims abstract description 26
- 238000005457 optimization Methods 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000004458 analytical method Methods 0.000 claims abstract description 17
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 230000003044 adaptive effect Effects 0.000 claims abstract description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 18
- 239000002131 composite material Substances 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 9
- 230000009191 jumping Effects 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5072—Grid computing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开了一种面向多目标视频监控的边缘计算系统及其工作方法，包括：视频预处理模块，用于接收摄像头实时传输的视频流，根据自适应配置优化模块发送的最优配置参数对视频流中的视频帧进行处理，并将处理后的视频帧传输给视频分析模块；视频分析模块，通过目标检测和目标跟踪算法对处理后的视频帧进行分析，得到目标的位置信息，将所述位置信息传输到前端设备进行显示；自适应配置优化模块，实时获取运行时状态信息和系统状态信息，并根据自适应优化配置算法得到最优配置参数。通过使用目标跟踪的方法构建间隔帧与目标运动速度和精度之间的模型关系，可以有效分摊目标检测的时延，确保实时性。
Description
技术领域
本发明属于多目标视频分析和边缘计算领域，具体指代一种面向多目标视频监控的边缘计算系统及其工作方法。
背景技术
随着现代科学技术的发展，面对大量的监控目标，比如交通车辆的监控，人流流量的管控以及课堂教学评估，我们往往需要对高分辨率高帧率的视频流进行处理，达到高精度实时响应的需求。传统的解决方案是将视频数据传输到云端服务器进行处理；首先，如果将海量的视频数据全部传输到云服务器进行处理，云服务器难以承受；其次，数据从边缘端传输到云端容易受到带宽的影响，难以满足许多应用实时性的要求，并且隐私性得不到保护。随着边缘设备计算能力的提高，考虑将视频数据放到边缘端进行处理，实现对多个目标的分析。然而在实际部署中，往往采用静态配置进行处理，边缘设备无法根据情景感知动态配置优化，导致边缘设备计算资源的浪费，从而无法达到高精度和低时延的要求。
因此，基于上述考虑，有必要提出一种面向多目标视频分析的边缘计算系统及其工作方法。不仅可以保护用户隐私，同时能够通过自适应的情境感知来进行配置优化，充分利用边缘设备的计算资源，满足高精度低时延的用户需求。
发明内容
针对于上述现有技术的不足，本发明的目的在于提供一种面向多目标视频监控的边缘计算系统及其工作方法，以解决现有技术不能高精度、低时延地在边缘设备上同时对多目标进行分析的问题。
为达到上述目的，本发明采用的技术方案如下：
本发明的一种面向多目标视频监控的边缘计算系统，包括：视频预处理模块、视频分析模块及自适应配置优化模块；其中，
视频预处理模块，用于接收摄像头实时传输的视频流，根据自适应配置优化模块发送的最优配置参数对视频流中的视频帧进行处理，并将处理后的视频帧传输给视频分析模块；
视频分析模块，通过目标检测和目标跟踪算法对处理后的视频帧进行分析，得到目标的位置信息，将所述位置信息传输到前端设备进行显示；
自适应配置优化模块，实时获取运行时状态信息和系统状态信息，并根据自适应优化配置算法得到最优配置参数。
进一步地，所述最优配置参数包括：跳帧数f、视频分辨率r以及卷积神经网络相关配置M，其中卷积神经网络相关配置包括：网络模型、目标置信度以及IOU阈值。
进一步地，所述视频预处理模块对视频流中的视频帧进行处理具体包括：根据自适应优化配置模块发送的最优配置参数，将输入的视频帧的分辨率调整为最优配置参数中的分辨率。
进一步地，所述视频分析模块对处理后的视频帧进行分析具体包括：
每隔固定帧(跳帧数)对视频帧进行目标检测，处理得到目标跟踪集合，并将此帧作为后续目标跟踪的参照帧；目标跟踪算法基于其余帧对目标跟踪集合进行跟踪，其中具体参数配置由自适应配置优化模块提供；目标检测算法基于卷积神经网络实现，对于输入的视频帧，经过卷积神经网络的前向传播计算，得到一系列候选框及相应的置信度；而后经过NMS算法处理，得到预测框，包括目标的位置及其类别信息；目标跟踪算法利用基于相关滤波器实现的目标跟踪算法，基于其他帧对目标跟踪集中的每个目标位置进行更新(处理时延较短，由于误差累积，因此需要每隔固定帧进行目标检测重新定位目标)；基于相关滤波器实现的目标跟踪算法首先根据参照帧中得到的目标区域经过特征提取来训练相关滤波器，然后基于当前帧进行裁剪，提取特征并进行快速傅里叶变换，并将与相关滤波器相乘的结果进行快速傅里叶变换，对应最大值的点即为目标区域；根据目标数目和移动速度动态调整跳帧数f、视频分辨率r以及卷积神经网络相关配置M。
进一步地，所述运行时状态信息包括：目标数目n、目标移动速度v；所述系统状态包括：内存和CPU。
进一步地，所述自适应优化配置算法具体为：
(1)针对不同配置参数的目标检测算法和目标跟踪算法，在数据集上测试其精度和运行时延，形成知识库；从知识库中获取跟踪数目n、视频分辨率r和标跟踪时延的统计数据，分析目标跟踪数目n、视频分辨率r与目标追踪时延的关系，并拟合成对应的函数T(n，r)；
(2)从知识库中获取跳帧数f、移动速度v和精度a的统计数据，分析跳帧数和移动速度对精度的影响，并拟合成对应的函数G(f，v，a)；
(3)从知识库中获取CPU、内存、时延和精度的统计数据，分析当前系统所占CPU和内存分别对时延和精度的影响,并将影响因子分别记为Icpu，Imemory；
(4)从知识库中分析不同配置的卷积神经网络CM与时延l和精度a的关系，将统计数据形成配置文件；
(5)根据初始化目标检测结果得到目标数目和移动速度，自适应搜索不同配置卷积神经网络的配置文件，分析跳帧数f、目标数目n和移动速度v对时延和精度的影响，得到当前运行时状态下的最优配置参数C(M，r，f)。
进一步地，所述步骤(5)中自适应搜索配置包括以下步骤：
(51)初始化：对于配置文件中的各项配置M对应的精度a和时延l，根据qaa+qll进行排序，将排序最高的配置M作为初始配置，其中，qa和ql分别为精度和时延对应的权重；根据所述初始配置进行一轮目标检测，得到当前状态，包括目标数目n、目标移动速度v、CPU和内存；
(52)临近搜索：结合当前状态对时延和精度的影响，得到临近配置预估的时延L(T(n，r)，l，Icpu，Imemory)和精度A(G(f，v，a)，Icpu，Imemory)，并得到综合指数qaA+qlL，其中qa和ql分别为精度和时延对应的权重；具体为：根据当前卷积神经网络相关配置M搜索临近配置M′得到对应时延l和精度a，结合从知识库中拟合的函数T(n，r)、G(f，v，a)和当前系统状态(即CPU和内存)，根据Icpu，Imemory得到分析不同的跳帧数f下每帧的平均处理时延L(T(n，r)，l，Icpu，Imemory)和精度A(G(f，v，a)，Icpu，Imemory)，将qaA+qlL最大的配置C(M，r，f)作为当前配置；
(53)条件配置：根据当前配置预估的综合指数qaA+qlL判断是否满足用户需求，若满足则返回当前配置C(M，r，f)，否则将最接近用户需求的配置作为当前配置，返回步骤(52)。
本发明的一种面向多目标视频监控的边缘计算系统的工作方法，基于上述系统，包括以下步骤：
1)获取部署在场景附近的摄像头实时采集的视频帧；
2)通过最优配置参数对获取到的视频帧进行预处理，得到处理后的视频帧；
3)根据最优配置参数，选择目标检测算法或目标跟踪算法对所述处理后的视频帧进行处理，得到多目标信息，包括目标数目和目标位置，并将结果传输给前端设备进行显示；
4)判断视频帧是否为最后一帧，若否，则将获取的当前系统状态发送给自适应配置优化模块，搜索临近最优配置参数，获得预估时延和精度；若是，则结束；
5)实时接收用户需求，将其转换为相应的时延限制和精度限制，若最优配置参数预估的时延和精度对应的综合指标qaA+qlL满足用户需求则更新最优配置参数，返回步骤2)。
进一步地，所述步骤5)中的用户需求对应的时延限制和精度限制，具体为：
1)精度优先模式，其针对高精度任务，对应综合指数qaA+qlL，其中ql＝0，qa＝11；
2)时延优先模式，其针对实时任务，对应综合指数qaA+qlL，其中ql＝-1，qa＝0；
3)综合模式，其针对对时延和精度都存在限制的任务-,对应综合指数qaA+qlL，其中ql＜0，qa＞0，根据用户需求设置相应权重。
本发明的有益效果：
1、充分利用计算资源：本发明通过自适应配置优化，弥补了静态配置导致计算资源无法得到充分利用的不足；
2、实时性高：通过使用目标跟踪的方法构建间隔帧与目标运动速度和精度之间的模型关系，可以有效分摊目标检测的时延，确保实时性；
3、隐私保护：不需要将视频传输到云服务器，视频本地处理，保护用户隐私。
附图说明
图1为本发明系统架构图；
图2为本发明方法流程图。
具体实施方式
为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。
参照图1所示，本发明的一种面向多目标视频监控的边缘计算系统，包括：视频预处理模块、视频分析模块及自适应配置优化模块；其中，
视频预处理模块，用于接收摄像头实时传输的视频流，根据自适应配置优化模块发送的最优配置参数对视频流中的视频帧进行处理，并将处理后的视频帧传输给视频分析模块；所述最优配置参数包括：跳帧数f、视频分辨率r以及卷积神经网络相关配置M，其中卷积神经网络相关配置包括：网络模型、目标置信度以及IOU阈值；
其中，对视频流中的视频帧进行处理具体包括：根据自适应优化配置模块发送的最优配置参数，将输入的视频帧的分辨率调整为最优配置参数中的分辨率。
视频分析模块，通过目标检测和目标跟踪算法对处理后的视频帧进行分析，得到目标的位置信息，将所述位置信息传输到前端设备进行显示；
其中，所述视频分析模块对处理后的视频帧进行分析具体包括：
每隔固定帧(跳帧数)对视频帧进行目标检测，处理得到目标跟踪集合，并将此帧作为后续目标跟踪的参照帧；目标跟踪算法基于其余帧对目标跟踪集合进行跟踪，其中具体参数配置由自适应配置优化模块提供；目标检测算法基于卷积神经网络实现，对于输入的视频帧，经过卷积神经网络的前向传播计算，得到一系列候选框及相应的置信度；而后经过NMS算法处理，得到预测框，包括目标的位置及其类别信息；目标跟踪算法利用基于相关滤波器实现的目标跟踪算法，基于其他帧对目标跟踪集中的每个目标位置进行更新(处理时延较短，由于误差累积，因此需要每隔固定帧进行目标检测重新定位目标)；基于相关滤波器实现的目标跟踪算法首先根据参照帧中得到的目标区域经过特征提取来训练相关滤波器，然后基于当前帧进行裁剪，提取特征并进行快速傅里叶变换，并将与相关滤波器相乘的结果进行快速傅里叶变换，对应最大值的点即为目标区域；根据目标数目和移动速度动态调整跳帧数f、视频分辨率r以及卷积神经网络相关配置M。
自适应配置优化模块，实时获取运行时状态信息和系统状态信息，并根据自适应优化配置算法得到最优配置参数；
其中，所述运行时状态信息包括：目标数目n、目标移动速度v；所述系统状态包括：内存和CPU。
所述自适应优化配置算法具体为：
(1)针对不同配置参数的目标检测算法和目标跟踪算法，在数据集上测试其精度和运行时延，形成知识库；从知识库中获取跟踪数目n、视频分辨率r和标跟踪时延的统计数据，分析目标跟踪数目n、视频分辨率r与目标追踪时延的关系，并拟合成对应的函数T(n，r)；
(2)从知识库中获取跳帧数f、移动速度v和精度a的统计数据，分析跳帧数和移动速度对精度的影响，并拟合成对应的函数G(f，v，a)；
(3)从知识库中获取CPU、内存、时延和精度的统计数据，分析当前系统所占CPU和内存分别对时延和精度的影响,并将影响因子分别记为Icpu，Imemory；
(4)从知识库中分析不同配置的卷积神经网络CM与时延l和精度a的关系，将统计数据形成配置文件；
(5)根据初始化目标检测结果得到目标数目和移动速度，自适应搜索不同配置卷积神经网络的配置文件，分析跳帧数f、目标数目n和移动速度v对时延和精度的影响，得到当前运行时状态下的最优配置参数C(M，r，f)。
具体地，所述自适应搜索配置包括以下步骤：
(51)初始化：对于配置文件中的各项配置M对应的精度a和时延l，根据qaa+qll进行排序，将排序最高的配置M作为初始配置，其中，qa和ql分别为精度和时延对应的权重；根据所述初始配置进行一轮目标检测，得到当前状态，包括目标数目n、目标移动速度v、CPU和内存；
(52)临近搜索：结合当前状态对时延和精度的影响，得到临近配置预估的时延L(T(n，r)，l，Icpu，Imemory)和精度A(G(f，v，a)，Icpu，Imemory)，并得到综合指数qaA+qlL，其中qa和ql分别为精度和时延对应的权重；具体为：根据当前卷积神经网络相关配置M搜索临近配置M′得到对应时延l和精度a，结合从知识库中拟合的函数T(n，r)、G(f，v，a)和当前系统状态(即CPU和内存)，根据Icpu，Imemory得到分析不同的跳帧数f下每帧的平均处理时延L(T(n，r)，l，Icpu，Imemory)和精度A(G(f，v，a)，Lcpu，Imemory)，将qaA+qlL最大的配置C(M，r，f)作为当前配置；
(53)条件配置：根据当前配置预估的综合指数qaA+qlL判断是否满足用户需求，若满足则返回当前配置C(M，r，f)，否则将最接近用户需求的配置作为当前配置，返回步骤(52)。
参照图2所示，本发明的一种面向多目标视频监控的边缘计算系统的工作方法，基于上述系统，包括以下步骤：
1)获取部署在场景附近的摄像头实时采集的视频帧；
2)通过最优配置参数对获取到的视频帧进行预处理，得到处理后的视频帧；
3)根据最优配置参数，选择目标检测算法或目标跟踪算法对所述处理后的视频帧进行处理，得到多目标信息，包括目标数目和目标位置，并将结果传输给前端设备进行显示；
4)判断视频帧是否为最后一帧，若否，则将获取的当前系统状态发送给自适应配置优化模块，搜索临近最优配置参数，获得预估时延和精度；若是，则结束；
5)实时接收用户需求，将其转换为相应的时延限制和精度限制，若最优配置参数预估的时延和精度对应的综合指标qaA+qlL满足用户需求则更新最优配置参数，返回步骤2)。
具体地，所述步骤5)中的用户需求对应的时延限制和精度限制，具体为：
1)精度优先模式，其针对高精度任务，对应综合指数qaA+qlL，其中ql＝0，qa＝1；
2)时延优先模式，其针对实时任务，对应综合指数qaA+qlL，其中ql＝-1，qa＝0；
3)综合模式，其针对对时延和精度都存在限制的任务-,对应综合指数qaA+qlL，其中ql＜0，qa＞0，根据用户需求设置相应权重。
本发明具体应用途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。
Claims (8)
1.一种面向多目标视频监控的边缘计算系统，其特征在于，包括：视频预处理模块、视频分析模块及自适应配置优化模块；
视频预处理模块，用于接收摄像头实时传输的视频流，根据自适应配置优化模块发送的最优配置参数对视频流中的视频帧进行处理，并将处理后的视频帧传输给视频分析模块；
视频分析模块，通过目标检测和目标跟踪算法对处理后的视频帧进行分析，得到目标的位置信息，将所述位置信息传输到前端设备进行显示；
自适应配置优化模块，实时获取运行时状态信息和系统状态信息，并根据自适应优化配置算法得到最优配置参数。
2.根据权利要求1所述的面向多目标视频监控的边缘计算系统，其特征在于，所述最优配置参数包括：跳帧数f、视频分辨率r以及卷积神经网络相关配置M，所述卷积神经网络相关配置包括：网络模型、目标置信度以及IOU阈值。
3.根据权利要求1所述的面向多目标视频监控的边缘计算系统，其特征在于，所述视频预处理模块对视频流中的视频帧进行处理具体包括：根据自适应优化配置模块发送的最优配置参数，将输入的视频帧的分辨率调整为最优配置参数中的分辨率。
4.根据权利要求1所述的面向多目标视频监控的边缘计算系统，其特征在于，所述视频分析模块对处理后的视频帧进行分析具体包括：
每隔固定帧对视频帧进行目标检测，处理得到目标跟踪集合，并将此帧作为后续目标跟踪的参照帧；目标跟踪算法基于其余帧对目标跟踪集合进行跟踪，其中具体参数配置由自适应配置优化模块提供；目标检测算法基于卷积神经网络实现，对于输入的视频帧，经过卷积神经网络的前向传播计算，得到一系列候选框及相应的置信度；而后经过NMS算法处理，得到预测框，包括目标的位置及其类别信息；目标跟踪算法利用基于相关滤波器实现的目标跟踪算法，基于其他帧对目标跟踪集中的每个目标位置进行更新；基于相关滤波器实现的目标跟踪算法首先根据参照帧中得到的目标区域经过特征提取来训练相关滤波器，然后基于当前帧进行裁剪，提取特征并进行快速傅里叶变换，并将与相关滤波器相乘的结果进行快速傅里叶变换，对应最大值的点即为目标区域；根据目标数目和移动速度动态调整跳帧数f、视频分辨率r以及卷积神经网络相关配置M。
5.根据权利要求1所述的面向多目标视频监控的边缘计算系统，其特征在于，所述自适应优化配置算法具体为：
(1)针对不同配置参数的目标检测算法和目标跟踪算法，在数据集上测试其精度和运行时延，形成知识库；从知识库中获取跟踪数目n、视频分辨率r和标跟踪时延的统计数据，分析目标跟踪数目n、视频分辨率r与目标追踪时延的关系，并拟合成对应的函数T(n，r)；
(2)从知识库中获取跳帧数f、移动速度v和精度a的统计数据，分析跳帧数和移动速度对精度的影响，并拟合成对应的函数G(f，v，a)；
(3)从知识库中获取CPU、内存、时延和精度的统计数据，分析当前系统所占CPU和内存分别对时延和精度的影响，并将影响因子分别记为Icpu，Imemory；
(4)从知识库中分析不同配置的卷积神经网络CM与时延l和精度a的关系，将统计数据形成配置文件；
(5)根据初始化目标检测结果得到目标数目和移动速度，自适应搜索不同配置卷积神经网络的配置文件，分析跳帧数f、目标数目n和移动速度v对时延和精度的影响，得到当前运行时状态下的最优配置参数C(M，r，f)。
6.根据权利要求5所述的面向多目标视频监控的边缘计算系统，其特征在于，所述步骤(5)中自适应搜索配置包括以下步骤：
(51)初始化：对于配置文件中的各项配置M对应的精度a和时延l，根据qaa+qll进行排序，将排序最高的配置M作为初始配置，其中，qa和ql分别为精度和时延对应的权重；根据所述初始配置进行一轮目标检测，得到当前状态，包括目标数目n、目标移动速度v、CPU和内存；
(52)临近搜索：结合当前状态对时延和精度的影响，得到临近配置预估的时延L(T(n，r)，l，Icpu，Imemory)和精度A(G(f，v，a)，Icpu，Imemory)，并得到综合指数qaA+qlL，其中qa和ql分别为精度和时延对应的权重；具体为：根据当前卷积神经网络相关配置M搜索临近配置M′得到对应时延l和精度a，结合从知识库中拟合的函数T(n，r)、G(f，v，a)和当前系统状态，根据Icpu，Imemory得到分析不同的跳帧数f下每帧的平均处理时延L(T(n，r)，l，Icpu，Imemory)和精度A(G(f，v，a)，Icpu，Imemory)，将qaA+qlL最大的配置C(M，r，f)作为当前配置；
(53)条件配置：根据当前配置预估的综合指数qaA+qlL判断是否满足用户需求，若满足则返回当前配置C(M，r，f)，否则将最接近用户需求的配置作为当前配置，返回步骤(52)。
7.一种面向多目标视频监控的边缘计算系统的工作方法，基于权利要求1-6中任一系统，其特征在于，包括以下步骤：
1)获取部署在场景附近的摄像头实时采集的视频帧；
2)通过最优配置参数对获取到的视频帧进行预处理，得到处理后的视频帧；
3)根据最优配置参数，选择目标检测算法或目标跟踪算法对所述处理后的视频帧进行处理，得到多目标信息，包括目标数目和目标位置，并将结果传输给前端设备进行显示；
4)判断视频帧是否为最后一帧，若否，则将获取的当前系统状态发送给自适应配置优化模块，搜索临近最优配置参数，获得预估时延和精度；若是，则结束；
5)实时接收用户需求，将其转换为相应的时延限制和精度限制，若最优配置参数预估的时延和精度对应的综合指标qaA+qlL满足用户需求则更新最优配置参数，返回步骤2)。
8.根据权利要求7所述的面向多目标视频监控的边缘计算系统的工作方法，其特征在于，所述步骤5)中的用户需求对应的时延限制和精度限制具体为：
1)精度优先模式，其针对高精度任务，对应综合指数qaA+qlL，其中ql＝0，qa＝1；
2)时延优先模式，其针对实时任务，对应综合指数qaA+qlL，其中ql＝-1，qa＝0；
3)综合模式，其针对对时延和精度都存在限制的任务-，对应综合指数qaA+qlL，其中ql＜0，qa＞0，根据用户需求设置相应权重。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210306198.0A CN114741185A (zh) | 2022-03-25 | 2022-03-25 | 面向多目标视频监控的边缘计算系统及其工作方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210306198.0A CN114741185A (zh) | 2022-03-25 | 2022-03-25 | 面向多目标视频监控的边缘计算系统及其工作方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114741185A true CN114741185A (zh) | 2022-07-12 |
Family
ID=82276924
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210306198.0A Pending CN114741185A (zh) | 2022-03-25 | 2022-03-25 | 面向多目标视频监控的边缘计算系统及其工作方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114741185A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023024791A1 (zh) * | 2021-08-27 | 2023-03-02 | 上海商汤智能科技有限公司 | 帧率调整方法、装置、电子设备、存储介质及程序 |
| CN116437057A (zh) * | 2023-06-13 | 2023-07-14 | 博纯材料股份有限公司 | 乙硼烷生产监控系统的系统优化方法及系统 |
-
2022
- 2022-03-25 CN CN202210306198.0A patent/CN114741185A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023024791A1 (zh) * | 2021-08-27 | 2023-03-02 | 上海商汤智能科技有限公司 | 帧率调整方法、装置、电子设备、存储介质及程序 |
| CN116437057A (zh) * | 2023-06-13 | 2023-07-14 | 博纯材料股份有限公司 | 乙硼烷生产监控系统的系统优化方法及系统 |
| CN116437057B (zh) * | 2023-06-13 | 2023-09-19 | 博纯材料股份有限公司 | 乙硼烷生产监控系统的系统优化方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3673417B1 (en) | System and method for distributive training and weight distribution in a neural network | |
| US10776665B2 (en) | Systems and methods for object detection | |
| CN110276783B (zh) | 一种多目标跟踪方法、装置及计算机系统 | |
| CN114741185A (zh) | 面向多目标视频监控的边缘计算系统及其工作方法 | |
| CN109686108B (zh) | 一种车辆目标轨迹跟踪系统及车辆轨迹跟踪方法 | |
| WO2019040213A1 (en) | ADAPTIVE REAL TIME DETECTION AND EXAMINATION NETWORK (ARDEN) | |
| CN112817755A (zh) | 基于目标追踪加速的边云协同深度学习目标检测方法 | |
| CN111553213A (zh) | 移动边缘云中实时分布式的身份感知行人属性识别方法 | |
| US20230222647A1 (en) | Method and system for detecting change to structure by using drone | |
| US20220352995A1 (en) | Communication system and terminal | |
| Dai et al. | Respire: Reducing spatial–temporal redundancy for efficient edge-based industrial video analytics | |
| CN112100435A (zh) | 一种基于边缘端交通音视频同步样本的自动标注方法 | |
| CN113052039A (zh) | 一种交通路网行人密度检测的方法、系统及服务器 | |
| CN117392604A (zh) | 物联网实时信息监控管理系统及方法 | |
| JP6935850B2 (ja) | 情報処理装置、方法、およびプログラム | |
| CN114169425A (zh) | 训练目标跟踪模型和目标跟踪的方法和装置 | |
| CN117201733B (zh) | 一种实时无人机监控分享系统 | |
| Liu et al. | Multiple objects tracking based vehicle speed analysis with Gaussian filter from drone video | |
| Oka et al. | Spatial feature-based prioritization for transmission of point cloud data in 3D-image sensor networks | |
| Zhang et al. | Edge-assisted learning for real-time UAV imagery via predictive offloading | |
| CN113269301B (zh) | 基于神经网络估计多目标跟踪系统参数的方法及系统 | |
| JP7205628B2 (ja) | 情報処理装置、制御方法、およびプログラム | |
| CN114035687A (zh) | 一种基于虚拟现实的手势识别方法和系统 | |
| CN114844585A (zh) | 一种数据同步的方法、系统及相关设备 | |
| CN111291597A (zh) | 一种基于图像的人群态势分析方法、装置、设备及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |