CN114301816A - 一种多路分析方法及装置 - Google Patents
一种多路分析方法及装置 Download PDFInfo
- Publication number
- CN114301816A CN114301816A CN202210025575.3A CN202210025575A CN114301816A CN 114301816 A CN114301816 A CN 114301816A CN 202210025575 A CN202210025575 A CN 202210025575A CN 114301816 A CN114301816 A CN 114301816A
- Authority
- CN
- China
- Prior art keywords
- analysis
- data
- unit
- video
- scheduling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 84
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 14
- 230000008859 change Effects 0.000 claims abstract description 11
- 238000012544 monitoring process Methods 0.000 claims description 11
- 238000007405 data analysis Methods 0.000 claims description 8
- 230000008602 contraction Effects 0.000 claims description 5
- 238000004148 unit process Methods 0.000 claims description 2
- 230000003139 buffering effect Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 4
- 238000001514 detection method Methods 0.000 description 13
- 239000000779 smoke Substances 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明涉及数据处理技术领域，具体提供了一种多路分析方法，其特征在于，数据采集单元获取摄像设备集群中多路视频通道的图像帧并将数据发送至数据接收及缓存单元，多路视频数据的多个人工智能分析任务由动态配置服务设置，调度中心采用长轮询的方法持续进行监听配置、感知分析任务的变化并动态调整计算中心中分析单元分析能力。与现有技术相比，本发明提升多路视频在执行多种人工智能分析任务时的高效性和灵活扩展性。
Description
技术领域
本发明涉及数据处理技术领域，具体提供一种多路分析方法及装置。
背景技术
随着人工智能技术的发展,视频数据的分析已成为计算机视觉的重要分支之一,视频相对于图像有更加丰富的信息量,同时挑战也更大,特别是在国产CPU和OS下,人工智能视频分析仍存在这生态偏弱的挑战。对于视频处理服务而言，往往一路视频对应着一个人工智能分析人物，比如仅用作人脸识别，这种服务的功能相对简单，然而，随着场景的不断丰富，越来越多的检测和识别任务需要不断的动态加入，比如一路视频数据正在执行人脸识别任务，当有新的分析任务口罩检测需要加入时，需要停机部署才可以同时执行多分析任务。
现有多路视频的人工智能分析服务采用提前确定检测或识别任务的方式加载服务，无法有效动态应对不断丰富的视频分析能力，这种方式限制了多路视频对多分析任务的扩展能力，应用能力欠缺灵活性。
发明内容
本发明是针对上述现有技术的不足，提供一种实用性强多路分析方法
本发明进一步的技术任务是提供一种设计合理，安全适用的多路分析装置。
本发明解决其技术问题所采用的技术方案是：
一种多路分析方法，数据采集单元获取摄像设备集群中多路视频通道的图像帧并将数据发送至数据接收及缓存单元，多路视频数据的多个人工智能分析任务由动态配置服务设置，调度中心采用长轮询的方法持续进行监听配置、感知分析任务的变化并动态调整计算中心中分析单元分析能力。
进一步的，所述摄像设备集群包括若干摄像设备，所述摄像设备将所述动态配置服务分配的唯一识别码作为唯一标识，通过识别码区分不同视频通道的数据。
进一步的，所述数据采集单元与所述摄像设备集群建立连接后，一方面采集摄像设备集群中视频通道上的图像帧，并将图像数据封装为消息发送至数据接收及缓存单元；
所述消息包括摄像集群设备唯一识别码、时间戳和图像数据帧。
另一方面向数据接收及缓存单元发送控制消息，所述控制消息分为第一种为资源创建的控制消息，即请求调度中心为其分配数据处理资源；
第二种为释放资源的控制消息，即一路视频分析结束后请求调度中心释放为其分配的资源。
进一步的，所述数据接收及缓存单元接收所述数据采集单元的数据消息和控制消息，同时缓存消息队列等待调度；
对于缓存消息队列等待调度的消息，采用限制缓存容量上限的方法对堆积的数据予以丢弃，采用设置消息超时时间的方法对过期的数据予以清理。
进一步的，所述调度中心包括控制单元、监听单元和调度单元，所述控制单元处理资源创建和资源释放的控制消息，包括为新加入的视频通道创建分析单元以及释放任务结束的计算单元所占用的资源。
所述监听单元采用长轮询的方式请求所述动态配置服务，实时获取最新的配置信息变动，获取到最新配置后立即通知所述调度单元，由调度单元按照最新的配置进行数据的调度；
所述调度单元采用先来先服务的方法调度数据接收及缓存单元中的数据消息，并实时监控计算中心的分析单元负载状况进行弹性伸缩。
进一步的，进行弹性伸缩时，当资源利用率过高时，弹性扩张计算资源，增加分析单元分担压力；当资源利用率过低时，弹性收缩分析单元。
进一步的，所述计算中心包括若干分析单元，每个所述的分析单元都独立提供一种视频数据人工智能分析服务，所述分析单元的启停、弹性伸缩受所述调度中心的控制。
进一步的，所述动态配置服务配置所述数据采集单元参数以及配置每路视频数据对应的数据分析任务。
其中配置的数据采集单元参数包括每一路摄像设备的唯一识别码、视频流路径和视频帧率，配置的数据分析任务包括每路视频需要执行的若干分析任务、分析任务对应的算法参数。
进一步的，在所述动态配置服务中的数据分析任务配置能够动态调整，并为所述监听单元提供配置变动通知接口，所述监听单元采用长轮询的方式持续监听配置，实时感知参数配置的变化，及时通知所述调度中心做出相应的调整。
一种多路分析装置，其特征在于，包括：至少一个存储器和至少一个处理器；
所述至少一个存储器，用于存储机器可读程序；
所述至少一个处理器，用于调用所述机器可读程序，执行一种多路分析方法。
本发明的一种多路分析方法及装置和现有技术相比，具有以下突出的有益效果：
本发明多路视频数据的多个分析任务由配置服务动态设置，调度中心采用长轮询方法持续监听配置，实时感知分析任务的变化并作出相应的调整，动态化管理配置的方式消除了分析任务变更时重新部署服务的需要，提升多路视频在执行多种人工智能分析任务时的高效性和灵活扩展性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
附图1是一种多路分析方法的流程示意图。
具体实施方式
为了使本技术领域的人员更好的理解本发明的方案，下面结合具体的实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例都属于本发明保护的范围。
下面给出一个最佳实施例：
如图1所示，本实施例中的一种多路分析方法，数据采集单元获取摄像设备集群中多路视频通道的图像帧并将数据发送至数据接收及缓存单元，多路视频数据的多个人工智能分析任务由动态配置服务设置，调度中心采用长轮询的方法持续进行监听配置、感知分析任务的变化并动态调整计算中心中分析单元分析能力。
具体为：
动态配置服务中管理的配置项包括摄像设备UUID、视频流路径、视频帧率、视频流对应的任务列表。
通过动态配置服务中配置服务为不同的视频流分配不同的人工智能分析任务。
本实施例中动态配置服务设置了两台摄像设备作为视频输入流，第一台摄像设备需要执行3种视频分析任务，分别是口罩检测任务、人脸识别任务、烟火检测任务，第二台摄像设备需要执行2种视频分析任务，分别是口罩检测任务、人脸识别任务。
在计算中心中口罩检测单元检测视频数据中人脸是否佩戴口罩，人脸识别单元捕捉和识别视频数据的人脸数据，烟火检测单元检测视频数据中是否含有烟火情况。
所述数据采集单元分别与第一台摄像设备和第二台摄像设备视频地址建立连接，当连接建立成功后向调度中心发送创建资源的控制消息，其中，控制消息中包含了设备的UUID(通用唯一识别码)。
调度中心接收到控制消息后，由监听单元主动获取动态配置服务中该设备UUID对应的任务列表，由控制单元依据任务列表创建任务单元，包括口罩检测单元、人脸识别单元、烟火检测单元。
计算中心中各个分析单元创建成功后，向数据采集单元发送计算中心计算创建成功的响应。
数据采集单元接收资源创建成功的响应后，采集视频通道上的图像数据帧，将设备UUID、时间戳、图像数据帧封装为消息并发送至数据接收及缓存单元。
数据接收及缓存单元接收数据采集单元的消息，将数据消息缓存至队列中，所述缓存队列设置缓存容量上限为80条消息，当消息堆积超过80条后，将丢弃时间戳最小的数据，并将新的数据插入队尾，缓存容量的设置避免了消息的大量堆积；同时设置消息的超时时间为3分钟，当消息的等待时间大于3分钟时会被清理，过期时间的设置保证了消息的时效性。
调度单元采用先来先服务的方法调度缓存单元中的数据消息；同时实时监控计算中心的各个分析单元负载状况进行弹性伸缩，当资源利用率高于80％时，弹性扩张计算资源，控制单元创建新的分析单元加入计算中心，调度单元向多个分析单元转发数据来分担负载，避免计算延时过高和资源超负荷运行；当资源利用率低于30％时，弹性收缩分析资源，控制单元回收工作不饱和的分析单元，避免资源浪费。
计算中心的每一个数据分析单元可以独立提供一种视频数据人工智能分析服务。
视频数据分析过程中，动态配置服务可以不停服务的动态调整分析任务列表，监听单元采用长轮询的方式持续监听配置变化，并及时通知调度中心做出相应的调整，动态化管理配置的方式消除了配置变更时重新部署服务的需要。
例如，当第二台摄像设备原本配置的分析任务只有口罩检测和人脸识别，在数据分析过程中增加烟火检测至其任务列表中，调度中心通过长轮询监听到配置列表有新增任务，由控制单元动态创建新的烟火检测单元为第二台摄像设备提供分析服务，通过不停服务的动态扩展方式让配置管理更加高效和灵活。
分析任务结束后，数据采集单元断开与摄像设备集群的连接，并向控制单元发送释放资源的控制消息，请求调度中心释放为其分配的资源。
基于上述方法，本实施例中的一种多路分析装置，包括：至少一个存储器和至少一个处理器；
所述至少一个存储器，用于存储机器可读程序；
所述至少一个处理器，用于调用所述机器可读程序，执行一种多路分析方法。
上述具体的实施方式仅是本发明具体的个案，本发明的专利保护范围包括但不限于上述具体的实施方式，任何符合本发明的一种多路分析方法及装置权利要求书的且任何所述技术领域普通技术人员对其做出的适当变化或者替换，皆应落入本发明的专利保护范围。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.一种多路分析方法，其特征在于，数据采集单元获取摄像设备集群中多路视频通道的图像帧并将数据发送至数据接收及缓存单元，多路视频数据的多个人工智能分析任务由动态配置服务设置，调度中心采用长轮询的方法持续进行监听配置、感知分析任务的变化并动态调整计算中心中分析单元分析能力。
2.根据权利要求1所述的一种多路分析方法，其特征在于，所述摄像设备集群包括若干摄像设备，所述摄像设备将所述动态配置服务分配的唯一识别码作为唯一标识，通过识别码区分不同视频通道的数据。
3.根据权利要求2所述的一种多路分析方法，其特征在于，所述数据采集单元与所述摄像设备集群建立连接后，一方面采集摄像设备集群中视频通道上的图像帧，并将图像数据封装为消息发送至数据接收及缓存单元；
另一方面向数据接收及缓存单元发送控制消息，所述控制消息分为第一种为资源创建的控制消息，第二种为释放资源的控制消息。
4.根据权利要求3所述的一种多路分析方法，其特征在于，所述数据接收及缓存单元接收所述数据采集单元的数据消息和控制消息，同时缓存消息队列等待调度；
对于缓存消息队列等待调度的消息，采用限制缓存容量上限的方法对堆积的数据予以丢弃，采用设置消息超时时间的方法对过期的数据予以清理。
5.根据权利要求4所述的一种多路分析方法，其特征在于，所述调度中心包括控制单元、监听单元和调度单元，所述控制单元处理资源创建和资源释放的控制消息；
所述监听单元采用长轮询的方式请求所述动态配置服务，实时获取最新的配置信息变动，获取到最新配置后立即通知所述调度单元，由调度单元按照最新的配置进行数据的调度；
所述调度单元采用先来先服务的方法调度数据接收及缓存单元中的数据消息，并实时监控计算中心的分析单元负载状况进行弹性伸缩。
6.根据权利要求5所述的一种多路分析方法，其特征在于，进行弹性伸缩时，当资源利用率过高时，弹性扩张计算资源，增加分析单元分担压力；当资源利用率过低时，弹性收缩分析单元。
7.根据权利要求6所述的一种多路分析方法，其特征在于，所述计算中心包括若干分析单元，每个所述的分析单元都独立提供一种视频数据人工智能分析服务，所述分析单元的启停、弹性伸缩受所述调度中心的控制。
8.根据权利要求7所述的一种多路分析方法，其特征在于，所述动态配置服务配置所述数据采集单元参数以及配置每路视频数据对应的数据分析任务。
9.根据权利要求8所述的一种多路分析方法，其特征在于，在所述动态配置服务中的数据分析任务配置能够动态调整，并为所述监听单元提供配置变动通知接口，所述监听单元采用长轮询的方式持续监听配置，实时感知参数配置的变化，及时通知所述调度中心做出相应的调整。
10.一种多路分析装置，其特征在于，包括：至少一个存储器和至少一个处理器；
所述至少一个存储器，用于存储机器可读程序；
所述至少一个处理器，用于调用所述机器可读程序，执行权利要求1至9中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210025575.3A CN114301816A (zh) | 2022-01-11 | 2022-01-11 | 一种多路分析方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210025575.3A CN114301816A (zh) | 2022-01-11 | 2022-01-11 | 一种多路分析方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114301816A true CN114301816A (zh) | 2022-04-08 |
Family
ID=80976311
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210025575.3A Pending CN114301816A (zh) | 2022-01-11 | 2022-01-11 | 一种多路分析方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114301816A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115439787A (zh) * | 2022-09-07 | 2022-12-06 | 长扬科技(北京)股份有限公司 | 粮库的ai视觉检测方法、装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104581423A (zh) * | 2013-10-12 | 2015-04-29 | 北京航天长峰科技工业集团有限公司 | 一种海量视频智能分析系统的综合调度和负载均衡方法 |
| CN104618693A (zh) * | 2015-02-09 | 2015-05-13 | 北京邮电大学 | 一种基于云计算的监控视频在线处理任务管理方法及系统 |
| WO2016145919A1 (zh) * | 2015-03-13 | 2016-09-22 | 杭州海康威视数字技术股份有限公司 | 一种视频分析任务的调度方法及系统 |
| CN112380009A (zh) * | 2020-11-12 | 2021-02-19 | 北京开物数智科技有限公司 | 基于docker弹性伸缩的大数据平台资源调度方法 |
-
2022
- 2022-01-11 CN CN202210025575.3A patent/CN114301816A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104581423A (zh) * | 2013-10-12 | 2015-04-29 | 北京航天长峰科技工业集团有限公司 | 一种海量视频智能分析系统的综合调度和负载均衡方法 |
| CN104618693A (zh) * | 2015-02-09 | 2015-05-13 | 北京邮电大学 | 一种基于云计算的监控视频在线处理任务管理方法及系统 |
| WO2016145919A1 (zh) * | 2015-03-13 | 2016-09-22 | 杭州海康威视数字技术股份有限公司 | 一种视频分析任务的调度方法及系统 |
| CN112380009A (zh) * | 2020-11-12 | 2021-02-19 | 北京开物数智科技有限公司 | 基于docker弹性伸缩的大数据平台资源调度方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115439787A (zh) * | 2022-09-07 | 2022-12-06 | 长扬科技(北京)股份有限公司 | 粮库的ai视觉检测方法、装置、电子设备及存储介质 |
| CN115439787B (zh) * | 2022-09-07 | 2023-08-04 | 长扬科技(北京)股份有限公司 | 粮库的ai视觉检测方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11362961B2 (en) | Service processing method and system and device | |
| WO2016145919A1 (zh) | 一种视频分析任务的调度方法及系统 | |
| CN105577801B (zh) | 一种业务加速方法及装置 | |
| TW200928983A (en) | Distributed task system and distributed task management process | |
| CN114301816A (zh) | 一种多路分析方法及装置 | |
| CN112132022B (zh) | 人脸抓拍架构及其人脸抓拍方法、装置、设备及存储介质 | |
| CN106791957B (zh) | 视频直播处理方法及装置 | |
| JP2017037492A (ja) | 分散処理プログラム、分散処理方法および分散処理装置 | |
| CN107479966B (zh) | 一种基于多核心cpu的信令采集方法 | |
| WO2021073054A1 (zh) | 数据处理的方法、装置、设备和存储介质 | |
| CN115150473A (zh) | 一种资源调度方法、装置及存储介质 | |
| CN117560700B (zh) | 一种基于智能设备监控网络数据的控制方法及系统 | |
| CN112965811B (zh) | 一种监控数据的优化方法及服务端 | |
| CN116614517B (zh) | 一种针对边缘计算场景的容器镜像预热及分发方法 | |
| CN109684130A (zh) | 一种机房间数据备份的方法及装置 | |
| CN109428745B (zh) | Jms消息转发方法、装置、电子设备和存储介质 | |
| CN109445931A (zh) | 一种大数据资源调度系统及方法 | |
| CN112468310B (zh) | 流媒体集群节点管理方法、装置及存储介质 | |
| CN112202932A (zh) | 一种基于边缘计算的对视频进行结构化分析的方法及装置 | |
| CN105516276B (zh) | 基于仿生分级通信的消息处理方法与系统 | |
| CN112040090A (zh) | 视频流处理方法、装置、电子设备和存储介质 | |
| JP2011145833A (ja) | データ分散管理システム及びデータ分散管理方法 | |
| CN112817732B (zh) | 一种适应云边协同多数据中心场景下的流数据处理方法及系统 | |
| WO2011010657A1 (ja) | トラフィック制御装置及びそれを含むデータ通信システム | |
| CN113515356A (zh) | 一种轻量级分布式资源管理与任务调度器及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |