CN116310935A - 一种基于云边协同的实时视频智能处理方法及系统 - Google Patents
一种基于云边协同的实时视频智能处理方法及系统 Download PDFInfo
- Publication number
- CN116310935A CN116310935A CN202211538428.2A CN202211538428A CN116310935A CN 116310935 A CN116310935 A CN 116310935A CN 202211538428 A CN202211538428 A CN 202211538428A CN 116310935 A CN116310935 A CN 116310935A
- Authority
- CN
- China
- Prior art keywords
- model
- processing
- edge
- video
- cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 207
- 238000012549 training Methods 0.000 claims description 68
- 238000000034 method Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 16
- 238000004458 analytical method Methods 0.000 claims description 12
- 230000000694 effects Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 abstract description 5
- 238000005065 mining Methods 0.000 abstract description 5
- 238000007726 management method Methods 0.000 description 12
- 238000012544 monitoring process Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 7
- 230000003993 interaction Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于云边协同的实时视频智能处理方法及系统，包括云计算中心接收业务平台下发的视频处理任务；基于视频处理任务，云计算中心从模型库中选择与其相匹配的处理模型，并将处理模型下发至边缘盒子；边缘盒子接收到处理模型后，将从终端设备获取视频数据输入处理模型，获得处理结果；边缘盒子将处理结果发送至云计算中心；本发明采用基于云边协同的实时视频处理方法，将实时性强要求的任务进行分解下沉到边端进行处理，缓解云中心的计算压力以及存储压力，提高从视频中挖掘有效信息数据的效率。
Description
技术领域
本发明涉及视频处理技术领域，尤其涉及一种基于云边协同的实时视频智能处理方法及系统。
背景技术
在如今5G高速发展的时代，监控设备每天都会采集并产生大量的视频数据信息，在以上的大部分行业中针对该信息都需要有极高的保密性和高效的视频传输能力，若视频被泄露，将会带来不可估量的后果。
在很多行业中，随着摄像头的监控能力朝着高清化的不断发展，视频中所承载的内容也更加复杂，因此需要对视频进行挖掘分析，从视频数据中获得有利的信息以应对突发事件产生而反应不及时所带来的失误，目前很多公司和企业仍采用人工的方式对视频进行分析处理，需要投入大量的人力来实现视频信息的挖掘，这种方式存在人工成本高、时间冗长、效率低、不规范等问题，已经越来越难以满足日益庞大的数据量需求。
随着人工智能、云计算、边缘计算等技术的发展和日益成熟，云服务器凭借其优秀的计算能力和资源存储能力脱颖而出，利用云计算或边缘计算，通过智能化手段对监控设备采集的音频视频数据自动化分析成为可能，从而实现视频智能处理自动化、智能化，提高监控视频质检的效率和规范性，从而节省更多的时间和金钱。
监控摄像头采集现场的视频数据，通过人工的方式对以上数据进行监测监测，该方式费时费力，同时存在因监测人员疲劳而带来的各种失误，另外，人工检查时的强主观性也会对质检结果带来偏差。
若利用人工智能的方式对视频数据进行实时处理，传统的云计算已经不能满足一些对实时性要求比较高的应用，实时视频智能处理需要较高质量的低延迟与准确率，而将端视频监控设备采集到的海量视频数据都发送到云数据中心，其对网络的带宽要求较高，会给网络带宽带来很大的压力，再加上端监控设备与中心云的通信距离远，则导致通信时的链路极其不稳定，较大的延迟更加降低了视频分析的实时性，若所有视频都集中在云计算中心执行处理，也为其视频服务器带来了极高的负担。
发明内容
针对上述问题中存在的不足之处，本发明提供一种基于云边协同的实时视频智能处理方法及系统。
为实现上述目的，本发明提供一种基于云边协同的实时视频智能处理方法，包括：
云计算中心接收业务平台下发的视频处理任务；
基于所述视频处理任务，所述云计算中心从模型库中选择与其相匹配的处理模型，并将所述处理模型下发至边缘盒子；
所述边缘盒子接收到所述处理模型后，将从终端设备获取视频数据输入所述处理模型，获得处理结果；
所述边缘盒子将所述处理结果发送至所述云计算中心。
优选的是，所述视频处理任务包括人数分析处理任务、人物识别任务、人物跟踪任务和表情识别任务，所述模型库内存储有与所述视频处理任务对应的所述处理模型。
优选的是，所述处理模型进行单节点训练包括：
基于所述视频处理任务，所述云计算中心创建一Job；
所述Job启动后，从所述模型库中拉取对应的所述处理模型，并获取原始数据、从所述边缘盒子获取的新数据以及所述处理模型的模型参数进行重新训练；
训练完成后，将训练完成的模型与初始的所述处理模型比较，并将效果好的模型更新存储至所述模型和下发至所述边缘盒子。
优选的是，所述处理模型进行分布式训练包括：
基于所述视频处理任务，所述云计算中心创建一TF-Job；
将原始数据、从所述边缘盒子获取的新数据以及对应的所述处理模型下发至各个训练控制器进行训练；
基于所述处理模型的参数，训练过程中对所述处理模型的梯度和各个权重进行更新后，得到训练完成的模型；
训练完成后，将训练完成的模型与初始的所述处理模型比较，并将效果好的模型更新存储至所述模型和下发至所述边缘盒子。
优选的是，所述边缘盒子接收到所述处理模型后，将从终端设备获取视频数据输入所述处理模型，获得处理结果包括：
所述边缘盒子利用所述处理模型生成一容器，所述处理模型均由所述容器的方式进行处理，从所述视频数据中获得所述处理结果。
本发明还包括一种基于云边协同的实时视频智能处理系统，包括：
接收模块，用于云计算中心接收业务平台下发的视频处理任务；
匹配模块，用于基于所述视频处理任务，所述云计算中心从模型库中选择与其相匹配的处理模型，并将所述处理模型下发至边缘盒子；
处理模块，用于所述边缘盒子接收到所述处理模型后，将从终端设备获取视频数据输入所述处理模型，获得处理结果；
发送模块，用于所述边缘盒子将所述处理结果发送至所述云计算中心。
优选的是，所述视频处理任务包括人数分析处理任务、人物识别任务、人物跟踪任务和表情识别任务，所述模型库内存储有与所述视频处理任务对应的所述处理模型。
优选的是，所述处理模型进行单节点训练包括：
基于所述视频处理任务，所述云计算中心创建一Job；
所述Job启动后，从所述模型库中拉取对应的所述处理模型，并获取原始数据、从所述边缘盒子获取的新数据以及所述处理模型的模型参数进行重新训练；
训练完成后，将训练完成的模型与初始的所述处理模型比较，并将效果好的模型更新存储至所述模型和下发至所述边缘盒子。
优选的是，所述处理模型进行分布式训练包括：
基于所述视频处理任务，所述云计算中心创建一TF-Job；
将原始数据、从所述边缘盒子获取的新数据以及对应的所述处理模型下发至各个训练控制器进行训练；
基于所述处理模型的参数，训练过程中对所述处理模型的梯度和各个权重进行更新后，得到训练完成的模型；
训练完成后，将训练完成的模型与初始的所述处理模型比较，并将效果好的模型更新存储至所述模型和下发至所述边缘盒子。
优选的是，所述边缘盒子接收到所述处理模型后，将从终端设备获取视频数据输入所述处理模型，获得处理结果包括：
所述边缘盒子利用所述处理模型生成一容器，所述处理模型均由所述容器的方式进行处理，从所述视频数据中获得所述处理结果。
与现有技术相比，本发明的有益效果为：
本发明采用基于云边协同的实时视频处理方法，将实时性强要求的任务进行分解下沉到边端进行处理，缓解云中心的计算压力，同时采用分布式存储的方式把所有边端设备采集到的数据发送到网络的边缘端边缘盒子上进行处理运算并存储在各个边缘盒子上，边缘盒子本身就是一种分布式的存储方式，可以在一定程度上保障数据的安全，同时边缘盒子也是直接运行在终端设备周围，在数据产生的源头就可以直接在网络的边缘端进行运算，从而缩短数据之间传输的距离，可以降低采集到的数据的传输时间，减小延迟，减轻云计算中心的计算压力以及存储压力，提高从视频中挖掘有效信息数据的效率。
附图说明
图1是本发明基于云边协同的实时视频智能处理方法流程图；
图2是本发明中模型单点训练流程图；
图3是本发明中模型分布式训练流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1，本发明提供一种基于云边协同的实时视频智能处理方法，包括：
云计算中心接收业务平台下发的视频处理任务；
基于视频处理任务，云计算中心从模型库中选择与其相匹配的处理模型，并将处理模型下发至边缘盒子；
具体地，视频处理任务包括人数分析处理任务、人物识别任务、人物跟踪任务和表情识别任务，模型库内存储有与视频处理任务对应的处理模型，处理模型为现有技术中的神经网络模型；
边缘盒子接收到处理模型后，将从终端设备获取视频数据输入处理模型，获得处理结果；
边缘盒子将处理结果发送至云计算中心。
在本实施例中，终端设备为用于监控和录制的摄像头设备，并将视频数据压缩为h.264的格式，使用该格式的数据，可以将数据的压缩质量、容错率更高，同时码率也更低，还有其对网络的适应性也更加强，方便后续对视频数据的处理以及数据存储和第三方平台的查看；其采集和产生海量的原始数据用来挖掘分析，采集完成之后通过EdgeX Foundry传输至边缘盒子。云计算中心和边缘盒子之间的通信是由云端的Kubernetes上的控制节点与边缘层上KubeEdge中的EdgeCore两部分共同完成交互。在边缘节点空闲时，会将采集到的数据发送至业务平台由人工对数据进行打标并更新模型训练所需要的数据集，边缘节点将数据集同步至云计算中心，云计算中心会利用新的数据集加上已有的数据集重新训练模型，获得的新模型根据其评优结果看是否以一个新的标签保存至云计算中心的模型库。
进一步地，边缘节点作为中间层，不仅负责与终端设备的沟通，也负责与云计算中心的交互，边缘盒子所拥有的组件具体如下：
云边协同边缘组件：云边协同组件由云边协同边缘组件与云计算中心的云边协同云端组件组成，边缘盒子不能代替云计算中心独立运行，而当边缘设备多的时候，若全部都独立运行，则维护的成本也非常高，因此将云端与边缘端统一起来一起管理，使用的便是云边协同组件，通过该组件，云端可以对边缘节点进行统一管理，也可以对边缘节点的状态以及模型进行更新，边缘盒子也可以将模型处理后的结果通过云边协同组件发送到云计算中心。
端设备对接组件：该组件主要负责与终端设备之间的连接交互，包括但不限于摄像头设备，该组件可以屏蔽底层的差异，使边缘盒子与终端设备可以无差别的进行数据传输。
端设备数据采集组件：端设备数据采集组件负责从摄像头等边设备采集原始数据，配备了微处理器，其主要的用来对摄像头实时获取到的监控视频进行编解码，使用国际标准化组织提出的H.264作为视频量化、编码和压缩的标准，为模型推理提供原始的视频来源以便其进行实时处理。
模型推理：模型推理应用到实际场景便是针对一个具体情形对视频所进行的一系列分析处理。模型是针对一个场景所做的详细处理经过训练封装后得到的，针对不同的场景，边缘节点从云计算中心的模型库中请求不同的模型，将一个训练好的模型通过容器的方式在边缘盒子端启动起来，对终端设备数据采集组件采集到的实时的摄像头数据进行实时推理识别，从而实现实时处理速度的大幅度提升以及终端设备到边缘计算中心之间端到端时延的降低，最终将推理的结果通过云边协同框架上传到云端再处理。
参照图2，处理模型进行单节点训练包括：
基于视频处理任务，云计算中心创建一Job；
Job启动后，从模型库中拉取对应的处理模型，并获取原始数据、从边缘盒子获取的新数据以及处理模型的模型参数进行重新训练；
训练完成之后将新的算法模型保存在Ceph存储中，该部分是一个临时存储的地方，若新模型经过评估之后比原始模型更加优秀，便将新模型保存，并且删除掉这一部分；从Ceph中获得模型的一些更加细化的数据；
即训练完成后，将训练完成的模型与初始的处理模型比较，并将效果好的模型更新存储至模型和下发至边缘盒子。
经过以上步骤，一个单点的训练便完成了，但是该方法没法利用多个node的cpu和gpu资源，在训练数据量较大时，性能不好。
参照图3，处理模型进行分布式训练包括：
基于视频处理任务，云计算中心创建一TF-Job；
将原始数据、从边缘盒子获取的新数据以及对应的处理模型下发至各个训练控制器进行训练；
基于处理模型的参数，训练过程中对处理模型的梯度和各个权重进行更新后，得到训练完成的模型；
训练完成后，TF-Job将训练之后得到的新模型保存到Ceph模型库中；对比新模型与原始模型的优化结果，并选择一个更好的模型进行存储；将Ceph模型库中的模型数据同步到新算法模型仓库中。
即将训练完成的模型与初始的处理模型比较，并将效果好的模型更新存储至模型和下发至边缘盒子。
通过以上步骤，便完成了一种分布式的模型训练，这种方式需要修改训练脚本以支持分布式训练，但能充分利用多台机器的资源提高训练效率。
在本实施例中，模型库负责存储所有场景的模型以及模型的版本管理。Harbor作为镜像仓库具有天然的版本管理、权限管理、分发等能力，因此这里采用Harbor作为模型库的实现方案，当需要将模型上传至Harbor上时，只需将模型文件封装成镜像格式并上传到Harbor，镜像的Tag作为模型的版本，当需要从Harbor上下载模型到本地时，只需拉取镜像的方式从Harbor中按照场景需求拉取相应模型的镜像，并将其解析为模型文件即可。
进一步地，边缘盒子接收到处理模型后，将从终端设备获取视频数据输入处理模型，获得处理结果包括：
边缘盒子利用处理模型生成一容器，处理模型均由容器的方式进行处理，从视频数据中获得处理结果。边缘盒子推理完成之后将推理结果通过云边协同组件发送至云计算中心，其再根据对外交互组件将结果反馈到业务平台，业务平台经过人工判断之后来进行判断是否告警。
在本实施例中，云计算中心用来整合由边缘盒子发来的结果数据，接收到数据之后对数据进行人工判断，看结果是否符合标准以及是否符合规范，最终将结果发送到业务系统端，由人工处理选择是否发送告警到边缘盒子上。
云计算中心作为整体的控制中心，主要与边缘中心进行交互，云计算中心所拥有的组件具体如下：
对外交互：主要负责与第三方的业务平台进行交互，主要包括接收业务平台下发的一些指令、对采集的视频进行推理之后的结果返回等。
边缘节点管理：边缘设备是与终端设备紧密相关的，该组件主要是对边缘盒子进行管理，负责节点状态的变化、模型更新等。
端设备管理：主要负责对端层的所有设备(摄像头、传感器等)进行管理，包括设备状态的监控等。
云边协同云端组件：云边协同云端组件与云端的云边协同边缘组件共同组成了云边协同框架，通过与云边协同边缘组件建立通信通道，为云边协同提供通讯能力。
数据集：负责存储所有场景所需的数据。数据一部分是用户提供的，另外一部分数据便是由边缘盒子实时采集到的视频数据传输到业务系统端，并上传到数据集库中，由于数据具有数据量大，一次写入多次读等特点，本发明使用轻量级的mysql数据库完成数据的存储。
模型训练：云计算中心的服务器具有强大的运算能力，因此当边缘设备传回一部分打标数据之后，利用其再次进行模型训练，可以不断优化边缘盒子上的模型，使其结果更加优秀。基于Kubernetes实现模型的训练，支持单节点训练，也支持分布式训练，训练数据来自于打标数据集，训练的原模型来自模型库，训练好的模型经过评估若比旧版本的模型更优则以一个新的版本存储在模型库中。
模型库：负责存储所有场景的模型以及模型的版本管理。Harbor作为镜像仓库具有天然的版本管理、权限管理、分发等能力，因此这里采用Harbor作为模型库的实现方案，当需要将模型上传至Harbor上时，只需将模型文件封装成镜像格式并上传到Harbor，镜像的Tag作为模型的版本，当需要从Harbor上下载模型到本地时，只需拉取镜像的方式从Harbor中按照场景需求拉取相应模型的镜像，并将其解析为模型文件即可。
模型配置：主要负责为模型的各种配置提供可视化的界面，并将配置信息存储到数据库中供模型推理时使用。
模型部署：基于Kubernetes实现模型的部署。部署分为部署到云端和部署到边端，部署到云端，那最终的模型推理在云端进行，部署到边端，那最终的模型推理在边端进行。
模型更新：当边缘盒子收集到新数据并利用打标系统进行打标之后，将新数据上传到元计算中心的数据集中，云端使用新数据对模型参数进行更新，当有效果更优的模型生成时，将模型推理所使用的老版本模型升级到新版本模型。
模型推理：真正的视频智能分析执行者，通过交互模块去视频数据库获取待检测的视频数据，并将视频数据输入到部署好的模型服务中得到分析识别结果。
本发明采用云边协同的实时视频处理方法，将终端设备采集到的非结构化数据通过控制接口上传至边缘盒子上进行分析处理，可以实现在数据产生的源头就对数据进行处理，实现本地分析、快速处理、实时响应，降低了数据传输延迟；在处理场景的分配问题上，将实时性要求高的任务下沉至边缘段，做到实时数据的实时处理；将计算量大且实时性要求不高的任务放在云端进行处理，大大提高了整个实时视频处理的效率。整体的云边协同框架起到的全局协调的作用，云计算中心与边缘节点进行交互，将边端采集到的数据返回给云计算中心，其利用新的数据重新优化模型库中的模型，并将优化好的模型重新分配给边缘盒子，使边缘盒子上的模型也不断更新，通过以上整个流程，做到了数据--模型的良性循环，实现数据闭环。
本发明还包括一种基于云边协同的实时视频智能处理系统，包括：
接收模块，用于云计算中心接收业务平台下发的视频处理任务；
匹配模块，用于基于视频处理任务，云计算中心从模型库中选择与其相匹配的处理模型，并将处理模型下发至边缘盒子；
处理模块，用于边缘盒子接收到处理模型后，将从终端设备获取视频数据输入处理模型，获得处理结果；
发送模块，用于边缘盒子将处理结果发送至云计算中心。
在本实施例中，终端设备为用于监控和录制的摄像头设备，并将视频数据压缩为h.264的格式，使用该格式的数据，可以将数据的压缩质量、容错率更高，同时码率也更低，还有其对网络的适应性也更加强，方便后续对视频数据的处理以及数据存储和第三方平台的查看；其采集和产生海量的原始数据用来挖掘分析，采集完成之后通过EdgeX Foundry传输至边缘盒子。云计算中心和边缘盒子之间的通信是由云端的Kubernetes上的控制节点与边缘层上KubeEdge中的EdgeCore两部分共同完成交互。在边缘节点空闲时，会将采集到的数据发送至业务平台由人工对数据进行打标并更新模型训练所需要的数据集，边缘节点将数据集同步至云计算中心，云计算中心会利用新的数据集加上已有的数据集重新训练模型，获得的新模型根据其评优结果看是否以一个新的标签保存至云计算中心的模型库。
参照图2，处理模型进行单节点训练包括：
基于视频处理任务，云计算中心创建一Job；
Job启动后，从模型库中拉取对应的处理模型，并获取原始数据、从边缘盒子获取的新数据以及处理模型的模型参数进行重新训练；
训练完成之后将新的算法模型保存在Ceph存储中，该部分是一个临时存储的地方，若新模型经过评估之后比原始模型更加优秀，便将新模型保存，并且删除掉这一部分；从Ceph中获得模型的一些更加细化的数据；
即训练完成后，将训练完成的模型与初始的处理模型比较，并将效果好的模型更新存储至模型和下发至边缘盒子。
经过以上步骤，一个单点的训练便完成了，但是该方法没法利用多个node的cpu和gpu资源，在训练数据量较大时，性能不好。
参照图3，处理模型进行分布式训练包括：
基于视频处理任务，云计算中心创建一TF-Job；
将原始数据、从边缘盒子获取的新数据以及对应的处理模型下发至各个训练控制器进行训练；
基于处理模型的参数，训练过程中对处理模型的梯度和各个权重进行更新后，得到训练完成的模型；
训练完成后，TF-Job将训练之后得到的新模型保存到Ceph模型库中；对比新模型与原始模型的优化结果，并选择一个更好的模型进行存储；将Ceph模型库中的模型数据同步到新算法模型仓库中。
即将训练完成的模型与初始的处理模型比较，并将效果好的模型更新存储至模型和下发至边缘盒子。
通过以上步骤，便完成了一种分布式的模型训练，这种方式需要修改训练脚本以支持分布式训练，但能充分利用多台机器的资源提高训练效率。
在本实施例中，模型库负责存储所有场景的模型以及模型的版本管理。Harbor作为镜像仓库具有天然的版本管理、权限管理、分发等能力，因此这里采用Harbor作为模型库的实现方案，当需要将模型上传至Harbor上时，只需将模型文件封装成镜像格式并上传到Harbor，镜像的Tag作为模型的版本，当需要从Harbor上下载模型到本地时，只需拉取镜像的方式从Harbor中按照场景需求拉取相应模型的镜像，并将其解析为模型文件即可。
进一步地，边缘盒子接收到处理模型后，将从终端设备获取视频数据输入处理模型，获得处理结果包括：
边缘盒子利用处理模型生成一容器，处理模型均由容器的方式进行处理，从视频数据中获得处理结果。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于云边协同的实时视频智能处理方法，其特征在于，包括：
云计算中心接收业务平台下发的视频处理任务；
基于所述视频处理任务，所述云计算中心从模型库中选择与其相匹配的处理模型，并将所述处理模型下发至边缘盒子；
所述边缘盒子接收到所述处理模型后，将从终端设备获取视频数据输入所述处理模型，获得处理结果；
所述边缘盒子将所述处理结果发送至所述云计算中心。
2.根据权利要求1所述的基于云边协同的实时视频智能处理方法，其特征在于，所述视频处理任务包括人数分析处理任务、人物识别任务、人物跟踪任务和表情识别任务，所述模型库内存储有与所述视频处理任务对应的所述处理模型。
3.根据权利要求2所述的基于云边协同的实时视频智能处理方法，其特征在于，所述处理模型进行单节点训练包括：
基于所述视频处理任务，所述云计算中心创建一Job；
所述Job启动后，从所述模型库中拉取对应的所述处理模型，并获取原始数据、从所述边缘盒子获取的新数据以及所述处理模型的模型参数进行重新训练；
训练完成后，将训练完成的模型与初始的所述处理模型比较，并将效果好的模型更新存储至所述模型和下发至所述边缘盒子。
4.根据权利要求2所述的基于云边协同的实时视频智能处理方法，其特征在于，所述处理模型进行分布式训练包括：
基于所述视频处理任务，所述云计算中心创建一TF-Job；
将原始数据、从所述边缘盒子获取的新数据以及对应的所述处理模型下发至各个训练控制器进行训练；
基于所述处理模型的参数，训练过程中对所述处理模型的梯度和各个权重进行更新后，得到训练完成的模型；
训练完成后，将训练完成的模型与初始的所述处理模型比较，并将效果好的模型更新存储至所述模型和下发至所述边缘盒子。
5.根据权利要求1所述的基于云边协同的实时视频智能处理方法，其特征在于，所述边缘盒子接收到所述处理模型后，将从终端设备获取视频数据输入所述处理模型，获得处理结果包括：
所述边缘盒子利用所述处理模型生成一容器，所述处理模型均由所述容器的方式进行处理，从所述视频数据中获得所述处理结果。
6.一种基于云边协同的实时视频智能处理系统，其特征在于，包括：
接收模块，用于云计算中心接收业务平台下发的视频处理任务；
匹配模块，用于基于所述视频处理任务，所述云计算中心从模型库中选择与其相匹配的处理模型，并将所述处理模型下发至边缘盒子；
处理模块，用于所述边缘盒子接收到所述处理模型后，将从终端设备获取视频数据输入所述处理模型，获得处理结果；
发送模块，用于所述边缘盒子将所述处理结果发送至所述云计算中心。
7.根据权利要求6所述的基于云边协同的实时视频智能处理系统，其特征在于，所述视频处理任务包括人数分析处理任务、人物识别任务、人物跟踪任务和表情识别任务，所述模型库内存储有与所述视频处理任务对应的所述处理模型。
8.根据权利要求7所述的基于云边协同的实时视频智能处理系统，其特征在于，所述处理模型进行单节点训练包括：
基于所述视频处理任务，所述云计算中心创建一Job；
所述Job启动后，从所述模型库中拉取对应的所述处理模型，并获取原始数据、从所述边缘盒子获取的新数据以及所述处理模型的模型参数进行重新训练；
训练完成后，将训练完成的模型与初始的所述处理模型比较，并将效果好的模型更新存储至所述模型和下发至所述边缘盒子。
9.根据权利要求7所述的基于云边协同的实时视频智能处理系统，其特征在于，所述处理模型进行分布式训练包括：
基于所述视频处理任务，所述云计算中心创建一TF-Job；
将原始数据、从所述边缘盒子获取的新数据以及对应的所述处理模型下发至各个训练控制器进行训练；
基于所述处理模型的参数，训练过程中对所述处理模型的梯度和各个权重进行更新后，得到训练完成的模型；
训练完成后，将训练完成的模型与初始的所述处理模型比较，并将效果好的模型更新存储至所述模型和下发至所述边缘盒子。
10.根据权利要求6所述的基于云边协同的实时视频智能处理系统，其特征在于，所述边缘盒子接收到所述处理模型后，将从终端设备获取视频数据输入所述处理模型，获得处理结果包括：
所述边缘盒子利用所述处理模型生成一容器，所述处理模型均由所述容器的方式进行处理，从所述视频数据中获得所述处理结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211538428.2A CN116310935A (zh) | 2022-12-01 | 2022-12-01 | 一种基于云边协同的实时视频智能处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211538428.2A CN116310935A (zh) | 2022-12-01 | 2022-12-01 | 一种基于云边协同的实时视频智能处理方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116310935A true CN116310935A (zh) | 2023-06-23 |
Family
ID=86776777
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211538428.2A Pending CN116310935A (zh) | 2022-12-01 | 2022-12-01 | 一种基于云边协同的实时视频智能处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116310935A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117453377A (zh) * | 2023-12-21 | 2024-01-26 | 腾讯科技（深圳）有限公司 | 模型调度方法、终端设备以及服务器 |
-
2022
- 2022-12-01 CN CN202211538428.2A patent/CN116310935A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117453377A (zh) * | 2023-12-21 | 2024-01-26 | 腾讯科技（深圳）有限公司 | 模型调度方法、终端设备以及服务器 |
| CN117453377B (zh) * | 2023-12-21 | 2024-04-26 | 腾讯科技（深圳）有限公司 | 模型调度方法、终端设备以及服务器 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111797969A (zh) | 神经网络模型的转换方法及相关装置 | |
| US10673684B2 (en) | System and method for autonomus data center operation and healing | |
| CN112966772A (zh) | 一种多人在线的图像半自动标注方法及系统 | |
| CN109145828A (zh) | 用于生成视频类别检测模型的方法和装置 | |
| CN112651126A (zh) | 一种基于bim的建筑工程施工优化系统、方法、终端及存储介质 | |
| CN111062504A (zh) | 一种基于ar技术的智能配电站运维系统及方法 | |
| CN116310935A (zh) | 一种基于云边协同的实时视频智能处理方法及系统 | |
| CN113312957A (zh) | 基于视频图像的脱岗识别方法、装置、设备及存储介质 | |
| CN113760464A (zh) | 一种基于深度学习的人工智能模型开发平台 | |
| CN116468287A (zh) | 一种基于数字孪生的智慧园区控制系统 | |
| CN116070143A (zh) | 一种基于人工智能的配电网多源异构数据融合方法及系统 | |
| CN113609393B (zh) | 一种基于数据服务和数据管理的数字化平台 | |
| CN117540321A (zh) | 一种数据服务监测系统 | |
| CN115689277B (zh) | 云边协同技术下的化工园区风险预警系统 | |
| CN112235164A (zh) | 一种基于控制器的神经网络流量预测装置 | |
| CN115330200A (zh) | 用于运营人工智能模型的装置、系统及方法 | |
| US9830568B2 (en) | Controlling and managing identity access risk | |
| Pfitzner et al. | Towards data mining on construction sites: Heterogeneous data acquisition and fusion | |
| CN115511802A (zh) | 一种基于SpringBoot框架的海洋目标检测系统 | |
| CN115795118A (zh) | 一种多源异构数据的信息协同处理方法及装置 | |
| CN115438812A (zh) | 输电设备全生命管理方法、装置、计算机设备和存储介质 | |
| CN113779125A (zh) | 一种施工安全信息管理方法及系统 | |
| CN113691390A (zh) | 一种云端协同的边缘节点报警系统及方法 | |
| CN110620680A (zh) | 一种基于ar的运维知识推送方法 | |
| CN114356502B (zh) | 基于边缘计算技术的非结构化数据标记、训练和发布系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |