CN114697619B - 一种工业智能视频监控系统及多视频流自适应配置方法 - Google Patents

一种工业智能视频监控系统及多视频流自适应配置方法 Download PDF

Info

Publication number
CN114697619B
CN114697619B CN202210425516.5A CN202210425516A CN114697619B CN 114697619 B CN114697619 B CN 114697619B CN 202210425516 A CN202210425516 A CN 202210425516A CN 114697619 B CN114697619 B CN 114697619B
Authority
CN
China
Prior art keywords
edge
video
cluster
reconfiguration
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210425516.5A
Other languages
English (en)
Other versions
CN114697619A (zh
Inventor
许齐敏
涂静正
陈彩莲
关新平
张景龙
徐磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202210425516.5A priority Critical patent/CN114697619B/zh
Publication of CN114697619A publication Critical patent/CN114697619A/zh
Application granted granted Critical
Publication of CN114697619B publication Critical patent/CN114697619B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
    • H04L41/083—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability for increasing network speed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种工业智能视频监控系统及多视频流自适应配置方法。本发明根据多路视频流的不同优先级，考虑不同QoS要求下的多路视频流的视觉检测任务，有效地解决了视频流存在优先级差异的局限，使得高优先级的视频流可尽量被优先处理，保障工业智能视频监控的可靠性。

Description

一种工业智能视频监控系统及多视频流自适应配置方法
技术领域
本发明涉及视觉处理领域，尤其涉及一种工业智能视频监控系统及多视频流自适应配置方法。
背景技术
随着工业智能的不断发展，边缘赋能的工业物联网(IIoT)获得空前关注，边缘计算技术在工业物联网的渗透率不断提高，越来越多的感知终端、通信终端、执行终端和边缘设备被部署于工业现场。在大量感知终端中，工业摄像头以其提供信息的不可替代性和丰富性占据了至关重要的地位。基于工业摄像头网络的智能视频监控需要进行多路高维视频流的计算密集型视觉检测任务，对保障工厂执行效率和操作规范与安全具有重大支撑作用。
基于摄像头网络的智能视频监控要求多路高维视频流的视觉检测任务快速完成并准确响应，然而，多路视频流竞争边缘设备和摄像头网络之间的有限通信资源，导致视觉检测任务的完成时间推迟，并降低了检测精度，极大地影响了具有低时延、高精度要求的智能视频监控质量。因此，如何在通信资源和端到端时延的约束下尽可能提高视觉检测任务的精度，对工业智能视频监控的研究具有重要意义。
此外，由于工业现场需保障正常工业运行，边缘设备的可用计算资源和缓存空间随着时间呈现周期性或非周期性的变化。单个边缘设备的计算资源无法保证视觉检测任务的快速、精确的响应，因此，如何设计有效的边缘协作机制进行智能视频监控是凾待解决的关键问题。
经对现有文献检索发现，最相近似的实现方案为中国专利申请号为：202110515718.4，名称为：一种基于深度强化学习的全景视频边缘协作缓存替换方法，具体做法为：全景视频的每个视频帧划分成矩形平铺块，并以两种不同的视频分辨率存储于视频库中。边缘集群中的用户从根基站请求全景视频内容，根据边缘集群的缓存状态矩阵判断是否命中。若无缓存(即未命中)，则边缘集群通过基于深度强化学习的缓存替换或直接缓存该内容，从而使用户获取所请求的视频内容。但是，该方法中边缘协作机制仅实施缓存任务，未能充分利用边缘集群的有效算力。专利申请号为：201910378071.8，名称为：支持D2D通信的分层无线网络下的边缘协作缓存方法，具体做法为：根据内容请求查看本设备的本地缓存中是否包含请求内容，若包含，则命中所述请求内容；若不包含，则基于深度强化学习算法进行路由选择以命中所述请求内容。但是，该方法利用深度强化学习进行路由选择，需要大量样本进行训练，耗费时间较长，在实际运行时无法保证用户所请求内容的快速响应。专利申请号为：202010358386.9，名称为：一种基于边缘协作的任务卸载及资源分配联合优化方法，具体做法为：通过基于软件定义网络的集中式系统架构对网络设备资源进行管理，在用户最大容忍延迟和边缘服务器计算资源约束下，建立时延最小化的理论模型，并基于模拟退火思想的启发式算法进行求解。但是，该方法所采用的启发式迭代算法计算复杂度高，求解缓慢，无法满足用户的实时响应需求，不适用于工业智能视频监控的快速响应需求。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种基于边缘协作的工业智能视频监控系统，以满足工业智能视频监控的快速、准确响应需求。
为实现上述目的，本发明的一种基于边缘协作的工业智能视频监控系统，所述基于边缘协作的工业智能视频监控系统包括：监控相机层、边缘计算层、工业本地云；
所述监控相机层包括若干监控节点，每个监控节点包括相机和第一通信模块，所述相机用于视频流的捕获；
所述边缘计算层包括若干边缘集群，每个边缘集群包括若干边缘设备，所述边缘设备包括接入设备、普通设备、第二通信模块，其中所述接入设备用于接收相机捕获的多路视频流并缓存特定时长T的视频块，并根据所述接入设备所属边缘集群的大小将视频块进行划分，并传输给所述普通设备；所述普通设备用于接收从接入设备传输过来的视频块划分，并对其进行处理，得到视觉检测任务结果；
所述工业本地云用于接收所述普通设备处理好的视觉检测任务结果，以进行后续的数据分析以及信息分发。
本发明的一种基于边缘协作的工业多视频流自适应配置方法，应用于上述的基于边缘协作的工业智能视频监控系统，包括以下步骤：
第一步：初始化系统参数，包括：相机的分辨率、每个边缘设备上的目标检测模型、边缘集群分组、边缘集群与相机的匹配关系；
第二步：系统开始运行，每个边缘集群内的边缘设备周期监测带宽变化，当带宽的变化超过设定阈值时，重配置程序启动；
第三步：重配置程序启动，进行边缘集群的重新分组；
第四步：根据第三步得到的边缘集群重新分组信息，重新计算边缘集群与相机的匹配关系；
第五步：根据第三步和第四步得到的边缘集群重新分组信息、边缘集群与相机的匹配关系信息，进行边缘设备的视频重配置，优化目标为：最小化多路异构QoS视频流的时延，同时最大化所有边缘设备上视觉检测任务的平均精度；
第六步：根据第五步得到的边缘设备的视频重配置信息，每个边缘集群的接入设备将视频重配置信息中的目标检测模型确认选项分发给所属边缘集群内的其他普通设备，将视频重配置信息中的视频分辨率信息分发给连接至该边缘集群的所有相机；
第七步：每个相机根据接收到的视频重配置的视频分辨率信息进行重新配置；每个普通设备根据接收到的视频重配置的目标检测模型确认选项信息进行重新配置；
第八步：重配置程序结束，跳到下一步；
第九步：边缘集群协作进行视觉检测任务，并将视觉检测结果上传至工业本地云；
第十步：判断多路视频流是否仍在传输，若是，则返回第二步；若否，则系统运行终止。
优选的，第一步中，所述目标检测模型为可应用于目标检测模型的深度学习模型，包括通用的骨干网模型或针对于目标检测任务的卷积神经网络模型(CNN)。
优选的，第一步中，边缘集群分组将所有边缘设备划分为若干组，每组至少包含一个边缘设备，且任意两组之间无重复的边缘设备。
优选的，第二步中，所述重配置程序可分解为以下三个步骤：
2.1边缘集群重新分组；
2.2边缘集群与相机的匹配关系重新计算；
2.3边缘设备视频重配置。
优选的，第三步中，边缘集群重新分组问题采用最优组合竞胜标问题(WDP)求解，设：拍卖者(bidders)为S个边缘设备，记为
Figure BDA0003608343410000041
商品(items)为剩余N-S个边缘设备，记为/>
Figure BDA0003608343410000042
Figure BDA0003608343410000043
商品组合(bubbles)为商品的任意组合/>
Figure BDA0003608343410000044
且/>
Figure BDA0003608343410000045
效用函数
Figure BDA0003608343410000046
为拍卖者i拍下商品组合/>
Figure BDA0003608343410000047
后的减小时延：
Figure BDA0003608343410000048
其中，
Figure BDA0003608343410000049
为减小的处理时延，/>
Figure BDA00036083434100000410
为增加的通信时延，形式如下：
Figure BDA00036083434100000411
Figure BDA00036083434100000412
为第i个边缘设备采用第j个检测模型的处理时延，/>
Figure BDA00036083434100000413
表示该商品组合里的商品数量，S为边缘集群里每个边缘设备接收到的视频块划分的大小，通过视频流码率pi/8*T再除以该边缘集群所包含的边缘设备数目得到；其中，/>
Figure BDA00036083434100000414
表示拍卖者i拍下商品组合/>
Figure BDA00036083434100000415
反之为0。
优选的，第三步中，所述边缘集群的重新分组问题采用贪婪算法求解，包含以下步骤：
步骤1：初始化Bi为空集，Q＝J；
步骤2：当Q非空时，进行下一步；
步骤3：计算i*,j*＝argmax{ui(B∪{j})|i∈I,j∈Q}；Bi＝Bi∪{j*},Q＝Q\{j*}；返回步骤3.2；
步骤4：计算结束，返回{Bi|i∈I}；
上述求解得到的结果{Bi|i∈I}即为边缘集群的重新分组。
优选的，第四步中，所述边缘集群与相机的匹配关系的计算通过最优匹配定理得到。
优选的，第五步中，所述边缘设备的视频重配置的优化问题的求解算法包括贪婪算法、暴力破解算法。
优选的，第六步中，每个边缘集群的接入设备将视频重配置信息中的目标检测模型确认选项通过第二通信模块分发给所属边缘集群内的其他普通设备，将视频重配置信息中的视频分辨率信息通过第一通信模块分发给连接至该边缘集群的所有相机。
本发明的有益技术效果：
1.根据多路视频流的不同优先级，考虑不同QoS要求下的多路视频流的视觉检测任务，有效地解决了视频流存在优先级差异的局限，使得高优先级的视频流可尽量被优先处理，保障工业智能视频监控的可靠性。
2.考虑边缘设备的网络资源和计算资源的时空异质性，设计异构处理能力和动态网络条件下的边缘端协同机制，使得边缘设备可自适应地根据可用的网络资源和计算资源进行动态分组，从而达到视觉检测任务的时延和精度的最优权衡。
3.引入视频流和边缘集群的匹配机制，通过最优匹配定理直接进行排序，大大降低了计算复杂度，加快了重配置程序的速度，使得本发明可自适应的调整边缘集群，满足工业智能视频监控的快速响应需求。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
图1是本发明的一个较佳实施例的系统结构示意图；
图2是本发明的一个较佳实施例的系统功能示意图；
图3是本发明的一个较佳实施例的边缘集群和多视频流匹配后的系统运行流程图；
图4是本发明的一个较佳实施例的边缘集群的接入设备的运行流程图；
图5是本发明的一个较佳实施例的多视频流自适应配置方法流程图；
图6是本发明的一个较佳实施例的重配置程序流程图。
具体实施方式
以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。
在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。
如图1～6所示，本发明的一种基于边缘协作的工业智能视频监控系统，所述基于边缘协作的工业智能视频监控系统包括：监控相机层、边缘计算层、工业本地云；
所述监控相机层包括若干监控节点，每个监控节点包括相机和第一通信模块，所述相机用于视频流的捕获；
所述边缘计算层包括若干边缘集群，每个边缘集群包括若干边缘设备，所述边缘设备包括接入设备、普通设备、第二通信模块，其中所述接入设备用于接收相机捕获的多路视频流并缓存特定时长T的视频块，并根据所述接入设备所属边缘集群的大小将视频块进行划分，并传输给所述普通设备；所述普通设备用于接收从接入设备传输过来的视频块划分，并对其进行处理，得到视觉检测任务结果；
所述工业本地云用于接收所述普通设备处理好的视觉检测任务结果，以进行后续的数据分析以及信息分发。
本发明的一种基于边缘协作的工业多视频流自适应配置方法，应用于上述的基于边缘协作的工业智能视频监控系统，包括以下步骤：
第一步：初始化系统参数，包括：相机的分辨率、每个边缘设备上的目标检测模型、边缘集群分组、边缘集群与相机的匹配关系；
第二步：系统开始运行，每个边缘集群内的边缘设备周期监测带宽变化，当带宽的变化超过设定阈值时，重配置程序启动；
第三步：重配置程序启动，进行边缘集群的重新分组；
第四步：根据第三步得到的边缘集群重新分组信息，重新计算边缘集群与相机的匹配关系；
第五步：根据第三步和第四步得到的边缘集群重新分组信息、边缘集群与相机的匹配关系信息，进行边缘设备的视频重配置，优化目标为：最小化多路异构QoS视频流的时延，同时最大化所有边缘设备上视觉检测任务的平均精度；
第六步：根据第五步得到的边缘设备的视频重配置信息，每个边缘集群的接入设备将视频重配置信息中的目标检测模型确认选项分发给所属边缘集群内的其他普通设备，将视频重配置信息中的视频分辨率信息分发给连接至该边缘集群的所有相机；
第七步：每个相机根据接收到的视频重配置的视频分辨率信息进行重新配置；每个普通设备根据接收到的视频重配置的目标检测模型确认选项信息进行重新配置；
第八步：重配置程序结束，跳到下一步；
第九步：边缘集群协作进行视觉检测任务，并将视觉检测结果上传至工业本地云；
第十步：判断多路视频流是否仍在传输，若是，则返回第二步；若否，则系统运行终止。
本实施例中，第一步中，所述目标检测模型为可应用于目标检测模型的深度学习模型，包括通用的骨干网模型或针对于目标检测任务的卷积神经网络模型(CNN)。
本实施例中，第一步中，边缘集群分组将所有边缘设备划分为若干组，每组至少包含一个边缘设备，且任意两组之间无重复的边缘设备。
本实施例中，第二步中，所述重配置程序可分解为以下三个步骤：
2.1边缘集群重新分组；
2.2边缘集群与相机的匹配关系重新计算；
2.3边缘设备视频重配置。
本实施例中，第三步中，边缘集群重新分组问题采用最优组合竞胜标问题(WDP)求解，设：拍卖者(bidders)为S个边缘设备，记为
Figure BDA0003608343410000071
商品(items)为剩余N-S个边缘设备，记为/>
Figure BDA0003608343410000072
商品组合(bubbles)为商品的任意组合/>
Figure BDA0003608343410000073
且/>
Figure BDA0003608343410000074
效用函数/>
Figure BDA0003608343410000075
为拍卖者i拍下商品组合/>
Figure BDA0003608343410000076
后的减小时延：
Figure BDA0003608343410000077
其中，
Figure BDA0003608343410000078
为减小的处理时延，/>
Figure BDA0003608343410000079
为增加的通信时延，形式如下：
Figure BDA00036083434100000710
Figure BDA00036083434100000711
为第i个边缘设备采用第j个检测模型的处理时延，/>
Figure BDA00036083434100000712
表示该商品组合里的商品数量，S为边缘集群里每个边缘设备接收到的视频块划分的大小，通过视频流码率pi/8*T再除以该边缘集群所包含的边缘设备数目得到；其中，/>
Figure BDA00036083434100000713
表示拍卖者i拍下商品组合/>
Figure BDA00036083434100000714
反之为0。
本实施例中，第三步中，所述边缘集群的重新分组问题采用贪婪算法求解，包含以下步骤：
步骤1：初始化Bi为空集，Q＝J；
步骤2：当Q非空时，进行下一步；
步骤3：计算i*,j*＝argmax{ui(B∪{j})|i∈I,j∈Q}；Bi＝Bi∪{j*},Q＝Q\{j*}；返回步骤3.2；
步骤4：计算结束，返回{Bi|i∈I}；
上述求解得到的结果{Bi|i∈I}即为边缘集群的重新分组。
本实施例中，第四步中，所述边缘集群与相机的匹配关系的计算通过最优匹配定理得到。
本实施例中，第五步中，所述边缘设备的视频重配置的优化问题的求解算法包括贪婪算法、暴力破解算法。
本实施例中，第六步中，每个边缘集群的接入设备将视频重配置信息中的目标检测模型确认选项通过第二通信模块分发给所属边缘集群内的其他普通设备，将视频重配置信息中的视频分辨率信息通过第一通信模块分发给连接至该边缘集群的所有相机。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (6)

1.一种基于边缘协作的工业多视频流自适应配置方法，其特征在于，包括以下步骤：
第一步：初始化系统参数，包括：相机的分辨率、每个边缘设备上的目标检测模型、边缘集群分组、边缘集群与相机的匹配关系；
第二步：系统开始运行，每个边缘集群内的边缘设备周期监测带宽变化，当带宽的变化超过设定阈值时，重配置程序启动；
第三步：重配置程序启动，进行边缘集群的重新分组；
所述边缘集群的重新分组采用最优组合竞胜标问题(WDP)求解，设：拍卖者(bidders)为S个边缘设备，记为
Figure FDA0004173158570000011
商品(items)为剩余N-S个边缘设备，记为
Figure FDA0004173158570000012
商品组合(bubbles)为商品的任意组合/>
Figure FDA0004173158570000013
且/>
Figure FDA0004173158570000014
效用函数/>
Figure FDA0004173158570000015
为拍卖者i拍下商品组合/>
Figure FDA0004173158570000016
后的减小时延：
Figure FDA0004173158570000017
其中，
Figure FDA0004173158570000018
为减小的处理时延，/>
Figure FDA0004173158570000019
为增加的通信时延，形式如下：
Figure FDA00041731585700000110
Figure FDA00041731585700000111
为第i个边缘设备采用第j个检测模型的处理时延，/>
Figure FDA00041731585700000112
表示该商品组合里的商品数量，S为边缘集群里每个边缘设备接收到的视频块划分的大小，通过视频流码率pi/8*T再除以该边缘集群所包含的边缘设备数目得到；其中，/>
Figure FDA00041731585700000113
表示拍卖者i拍下商品组合
Figure FDA00041731585700000114
反之为0；
所述边缘集群的重新分组采用贪婪算法求解，包含以下步骤：
步骤3.1：初始化Bi为空集，Q＝J；
步骤3.2：当Q非空时，进行下一步；
步骤3.3：计算i*,j*＝argmax{ui(B∪{j})|i∈I,j∈Q}；Bi＝Bi∪{j*},Q＝Q\{j*}；返回步骤3.2；
步骤3.4：计算结束，返回{Bi|i∈I}；
上述求解得到的结果{Bi|i∈I}即为边缘集群的重新分组；
第四步：根据第三步得到的边缘集群重新分组信息，重新计算边缘集群与相机的匹配关系；所述边缘集群与相机的匹配关系的计算通过最优匹配定理得到；
第五步：根据第三步和第四步得到的边缘集群重新分组信息、边缘集群与相机的匹配关系信息，进行边缘设备的视频重配置，优化目标为：最小化多路异构QoS视频流的时延，同时最大化所有边缘设备上视觉检测任务的平均精度；所述边缘设备的视频重配置的优化问题的求解算法包括贪婪算法、暴力破解算法；
第六步：根据第五步得到的边缘设备的视频重配置信息，每个边缘集群的接入设备将视频重配置信息中的目标检测模型确认选项分发给所属边缘集群内的其他普通设备，将视频重配置信息中的视频分辨率信息分发给连接至该边缘集群的所有相机；
第七步：每个相机根据接收到的视频重配置的视频分辨率信息进行重新配置；每个普通设备根据接收到的视频重配置的目标检测模型确认选项信息进行重新配置；
第八步：重配置程序结束，跳到下一步；
第九步：边缘集群协作进行视觉检测任务，并将视觉检测结果上传至工业本地云；
第十步：判断多路视频流是否仍在传输，若是，则返回第二步；若否，则系统运行终止。
2.根据权利要求1所述的一种基于边缘协作的工业多视频流自适应配置方法，其特征在于：第一步中，所述目标检测模型为可应用于目标检测模型的深度学习模型，包括通用的骨干网模型或针对于目标检测任务的卷积神经网络模型(CNN)。
3.根据权利要求2所述的一种基于边缘协作的工业多视频流自适应配置方法，其特征在于：第一步中，边缘集群分组将所有边缘设备划分为若干组，每组至少包含一个边缘设备，且任意两组之间无重复的边缘设备。
4.根据权利要求3所述的一种基于边缘协作的工业多视频流自适应配置方法，其特征在于：第二步中，所述重配置程序可分解为以下三个步骤：
2.1边缘集群重新分组；
2.2边缘集群与相机的匹配关系重新计算；
2.3边缘设备视频重配置。
5.根据权利要求1所述的一种基于边缘协作的工业多视频流自适应配置方法，其特征在于：第六步中，每个边缘集群的接入设备将视频重配置信息中的目标检测模型确认选项通过第二通信模块分发给所属边缘集群内的其他普通设备，将视频重配置信息中的视频分辨率信息通过第一通信模块分发给连接至该边缘集群的所有相机。
6.一种基于边缘协作的工业智能视频监控系统，其特征在于，执行如权利要求1-5任一所述的基于边缘协作的工业多视频流自适应配置方法，所述系统包括：监控相机层、边缘计算层、工业本地云；
所述监控相机层包括若干监控节点，每个监控节点包括相机和第一通信模块，所述相机用于视频流的捕获；
所述边缘计算层包括若干边缘集群，每个边缘集群包括若干边缘设备，所述边缘设备包括接入设备、普通设备、第二通信模块，其中所述接入设备用于接收相机捕获的多路视频流并缓存特定时长T的视频块，并根据所述接入设备所属边缘集群的大小将视频块进行划分，并传输给所述普通设备；所述普通设备用于接收从接入设备传输过来的视频块，并对其进行处理，得到视觉检测任务结果；
所述工业本地云用于接收所述普通设备处理好的视觉检测任务结果，以进行后续的数据分析以及信息分发。
CN202210425516.5A 2022-04-21 2022-04-21 一种工业智能视频监控系统及多视频流自适应配置方法 Active CN114697619B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210425516.5A CN114697619B (zh) 2022-04-21 2022-04-21 一种工业智能视频监控系统及多视频流自适应配置方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210425516.5A CN114697619B (zh) 2022-04-21 2022-04-21 一种工业智能视频监控系统及多视频流自适应配置方法

Publications (2)

Publication Number Publication Date
CN114697619A CN114697619A (zh) 2022-07-01
CN114697619B true CN114697619B (zh) 2023-07-07

Family

ID=82145490

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210425516.5A Active CN114697619B (zh) 2022-04-21 2022-04-21 一种工业智能视频监控系统及多视频流自适应配置方法

Country Status (1)

Country Link
CN (1) CN114697619B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115484438A (zh) * 2022-09-15 2022-12-16 镇江平安科技服务有限公司 一种智能视频监控系统及多视频流自适应配置方法
CN117636264A (zh) * 2024-01-25 2024-03-01 泉州装备制造研究所 一种基于边缘计算盒的工厂安全检测智能监控方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112087312B (zh) * 2019-06-15 2023-02-03 华为云计算技术有限公司 一种提供边缘服务的方法、装置和设备
CN111901573A (zh) * 2020-08-17 2020-11-06 泽达易盛（天津）科技股份有限公司 一种基于边缘计算的细颗粒度实时监管系统
CN112152995B (zh) * 2020-08-19 2022-09-13 鹏城实验室 一种基于智能边缘的svc视频的传输方法及智能边缘
CN112650585A (zh) * 2020-12-24 2021-04-13 山东大学 一种新型边缘-云协同边缘计算平台、方法及存储介质
CN113282786B (zh) * 2021-05-12 2022-09-30 河海大学 一种基于深度强化学习的全景视频边缘协作缓存替换方法
CN113961264B (zh) * 2021-09-30 2024-01-09 河海大学 一种面向视频监控云边协同的智能卸载算法与系统

Also Published As

Publication number Publication date
CN114697619A (zh) 2022-07-01

Similar Documents

Publication Publication Date Title
CN114697619B (zh) 一种工业智能视频监控系统及多视频流自适应配置方法
CN111278132B (zh) 移动边缘计算中面向低时延高可靠业务的资源分配方法
Deng et al. Towards power consumption-delay tradeoff by workload allocation in cloud-fog computing
CN107911478B (zh) 基于化学反应优化算法的多用户计算卸载方法及装置
WO2018130163A1 (zh) 移动云计算平台的调度方法和装置
CN112004239A (zh) 一种基于云边协同的计算卸载方法及系统
CN102915254B (zh) 任务管理方法及装置
CN109274730B (zh) 物联网系统、mqtt消息传输的优化方法及装置
CN110941667A (zh) 一种移动边缘计算网络中的计算卸载方法及系统
CN112996056A (zh) 一种云边协同下时延最优化的计算任务卸载方法及装置
CN109104373A (zh) 网络拥塞的处理方法、装置及系统
CN104021040A (zh) 基于时间约束条件下的云计算关联任务调度方法和装置
CN105224393B (zh) 一种JT-CoMP在C-RAN架构下的虚拟机调度机制
CN110928694B (zh) 一种计算机系统
Fattah et al. Mixed-criticality run-time task mapping for noc-based many-core systems
CN108280018B (zh) 一种节点工作流通信开销效率分析优化方法及系统
CN113961264A (zh) 一种面向视频监控云边协同的智能卸载算法与系统
CN114205353A (zh) 一种基于混合动作空间强化学习算法的计算卸载方法
Xu et al. Multiuser computation offloading for long-term sequential tasks in mobile edge computing environments
CN114741200A (zh) 面向数据中台的计算资源分配方法、装置及电子设备
CN114339891A (zh) 一种基于q学习的边缘卸载资源分配方法及系统
Wang et al. Minimizing energy consumption of IoT devices for O-RAN based IoT systems
CN114666339B (zh) 一种基于中智集的边缘卸载方法、系统及存储介质
CN111245878A (zh) 一种基于混合云计算和雾计算的计算卸载通信网络的方法
Yang et al. Research on two-level priority polling access control protocol based on continuous time

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant