CN111476704B - 实现针对多路实时视频进行智能分析的嵌入式装置及其方法 - Google Patents
实现针对多路实时视频进行智能分析的嵌入式装置及其方法 Download PDFInfo
- Publication number
- CN111476704B CN111476704B CN202010317643.4A CN202010317643A CN111476704B CN 111476704 B CN111476704 B CN 111476704B CN 202010317643 A CN202010317643 A CN 202010317643A CN 111476704 B CN111476704 B CN 111476704B
- Authority
- CN
- China
- Prior art keywords
- board
- execution
- service
- scheduling
- intelligent analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明涉及一种实现针对多路实时视频进行智能分析的嵌入式装置,包括调度板、执行板组和交换板,所述的执行板组包括多个执行板,所述的调度板与交换板相连接,所述的每个执行板均与交换板相连接,所述的调度板和执行板通过交换板进行网络连接。本发明还涉及一种实现针对多路实时视频进行智能分析控制的方法。采用了本发明的实现针对多路实时视频进行智能分析的嵌入式装置及其方法,可放置前端节省多媒体传输到平台后端分析方式的流量同时也保证了智能分析的时效性,稳定性;同时嵌入式方案可大大降低部署智能分析的成本;多路视频的支持,并且执行板可热插拔的方式,使分析方案可灵活配置;任务的配置的灵活性使分析装置满足绝大部分智能分析场景。
Description
技术领域
本发明涉及人工智能领域,尤其涉及计算机视觉领域,具体是指一种实现针对多路实时视频进行智能分析的嵌入式装置及其方法。
背景技术
随着人工智能的发展和普及,计算机视觉(CV)方向一直是目前深度学习领域最热的研究领域,由于计算机视觉的的成熟发展,智能分析可快速有效的部署到现实场景中,目前常见的作法是基于X86平台和依赖GPU的算力来设计智能分析的方案,这种方案也会带来一下问题:
(1)功耗大,基于X86的系统本身就功耗巨大,再加上使用GPU来做推断过程,更会极大的增加功耗;
(2)散热差,由于巨大的功耗导致散热也是一大难题,放置的空间还需要采取降温,同时也是资源的巨大浪费;
(3)稳定性差,由于功耗大散热差会导致CPU/GPU过热保护,死机等情况发生;
(4)延时大,需要分析的视频资源需要从前端通过公网拉流来分析,也会因网络环境导致延时增大;
(5)非实时分析,目前的方案基本都采用抽帧的方式分析,容易遗漏快速移动的场景。
发明内容
本发明的目的是克服了上述现有技术的缺点,提供了一种满足功耗低、散热效果好、适用范围较为广泛的实现针对多路实时视频进行智能分析的嵌入式装置及其方法。
为了实现上述目的,本发明的实现针对多路实时视频进行智能分析的嵌入式装置及其方法如下:
该实现针对多路实时视频进行智能分析的嵌入式装置,其主要特点是,所述的装置包括调度板、执行板组和交换板,所述的执行板组包括多个执行板,所述的调度板与交换板相连接,所述的每个执行板均与交换板相连接,所述的调度板和执行板通过交换板进行网络连接,所述的调度板用于管理上线设备以及下发智能分析任务至执行板,所述的执行板用于从流媒体代理服务获取流媒体数据。
较佳地,所述的调度板和执行板均包含支持热插拔的硬件接口,且调度板的接口和执行板的接口相同。
较佳地,所述的装置为自组网方式,每个执行板主动注册至调度板,所述的调度板对执行板进行管理。
较佳地,所述的装置支持同时使用多个执行板。
较佳地,所述的装置的外型为标准2U/4U设备。
较佳地,所述的装置内置双电源,用于保障电力供应安全。
该利用上述装置实现针对多路实时视频进行智能分析控制的方法,其主要特点是,所述的方法包括以下步骤:
(1)设备上电,调度板和执行板完成自组网;
(2)调度板获取执行板的全部信息,调度板将设备信息注册到平台;
(3)调度板接收智能分析任务,判断执行板的运行情况,如果存在空闲的执行板,则继续步骤(4);否则,返回错误信息至平台;
(4)调度板根据策略选择执行板,同时将视频源拉取至流媒体代理服务上,调度板将任务、包含流媒体代理地址和算法模型地址发送至执行板;
(5)执行板接收任务后,下载指定的算法模型并解压至指定目录,初始化算法模型,拉取流媒体代理服务的视频资源数据,将视频解码为指定的格式;
(6)判断算法模型推断结果,将符合情况的结果根据回传间隔,将结果及带有标注的截图发送至调度板;
(7)调度板接收回传消息及图片,通过指定的协议推送结果至服务器。
较佳地,所述的步骤(1)具体为:
设备上电,调度板每隔一段时间发出广播信息,执行板上电后收到消息后回复,完成自组网。
较佳地,所述的步骤(2)中调度板获取的执行板的全部信息包括版本、可用服务和已启动服务,所述的服务包括服务注册中心、任务调度服务、业务代理服务、数据库服务、设备管理服务、流媒体代理服务、自动更新服务、日志服务、算法代理服务、保活服务和web服务。
采用了本发明的实现针对多路实时视频进行智能分析的嵌入式装置及其方法,可放置前端节省多媒体传输到平台后端分析方式的流量同时也保证了智能分析的时效性,稳定性;同时嵌入式方案可大大降低部署智能分析的成本;多路视频的支持,并且执行板可热插拔的方式,使分析方案可灵活配置,具有很强的可伸缩性,设备按照2U/4U标准尺寸设计,方便装置的放置;任务的配置的灵活性使分析装置满足绝大部分智能分析场景。
附图说明
图1为本发明的实现针对多路实时视频进行智能分析的嵌入式装置的结构图。
具体实施方式
为了能够更清楚地描述本发明的技术内容,下面结合具体实施例来进行进一步的描述。
本发明的该实现针对多路实时视频进行智能分析的嵌入式装置,其中包括调度板、执行板组和交换板,所述的执行板组包括多个执行板,所述的调度板与交换板相连接,所述的每个执行板均与交换板相连接,所述的调度板和执行板通过交换板进行网络连接,所述的调度板用于管理上线设备以及下发智能分析任务至执行板,所述的执行板用于从流媒体代理服务获取流媒体数据。
作为本发明的优选实施方式,所述的调度板和执行板均包含支持热插拔的硬件接口,且调度板的接口和执行板的接口相同。
作为本发明的优选实施方式,所述的装置为自组网方式,每个执行板主动注册至调度板,所述的调度板对执行板进行管理。
作为本发明的优选实施方式,所述的装置支持同时使用多个执行板。
作为本发明的优选实施方式,所述的装置的外型为标准2U/4U设备。
作为本发明的优选实施方式,所述的装置内置双电源,用于保障电力供应安全。
本发明的该利用上述装置实现针对多路实时视频进行智能分析控制的方法,其中包括以下步骤:
(1)设备上电,调度板和执行板完成自组网;
设备上电,调度板每隔一段时间发出广播信息,执行板上电后收到消息后回复,完成自组网;
(2)调度板获取执行板的全部信息,调度板将设备信息注册到平台;
(3)调度板接收智能分析任务,判断执行板的运行情况,如果存在空闲的执行板,则继续步骤(4);否则,返回错误信息至平台;
(4)调度板根据策略选择执行板,同时将视频源拉取至流媒体代理服务上,调度板将任务、包含流媒体代理地址和算法模型地址发送至执行板;
(5)执行板接收任务后,下载指定的算法模型并解压至指定目录,初始化算法模型,拉取流媒体代理服务的视频资源数据,将视频解码为指定的格式;
(6)判断算法模型推断结果,将符合情况的结果根据回传间隔,将结果及带有标注的截图发送至调度板;
(7)调度板接收回传消息及图片,通过指定的协议推送结果至服务器。
作为本发明的优选实施方式,所述的步骤(2)中调度板获取的执行板的全部信息包括版本、可用服务和已启动服务,所述的服务包括服务注册中心、任务调度服务、业务代理服务、数据库服务、设备管理服务、流媒体代理服务、自动更新服务、日志服务、算法代理服务、保活服务和web服务。
本发明的具体实施方式中,涉及自组网,分析算法调度,智能算法分析,流媒体代理服务,rtsp拉流解码,实时分析,算法分析结果回传等技术。
本发明的装置,能解决如下问题:
1)节约成本,由于使用低功耗的嵌入式芯片做智能分析的推理运算,可有效节能减排;
2)自组网,调度板和执行板支持热插拔,根据需要分析视频的路数决定投入的执行板数量;
3)实时智能分析,支持每秒25帧实时视频深度算法分析;
4)前端解码分析,无需将摄像头视频数据通过公网或专线接入平台分析,只需将分析结果回传后台,大大节约公网或专线带宽资源占用,并且能保证分析结果的实时性和稳定性;
5)流媒体代理服务,如需从一路视频中使用多种智能算法只需流媒体代理服务从摄像头拉取一路视频接入本系统装置,其他执行板从流媒体代理服务获取流媒体数据,减轻摄像头多路传输相同数据的压力。
本发明在硬件上,其调度板和执行板通过交换板完成网络连接,通过交换板和外网实现互联;内置双电源,确保电力供应安全;本装置外型设计为标准2U/4U设备,方便放置于标准机架;调度板和执行板设计设计接口一致,可热插拔,执行板可按需决定,成本可伸缩。
本发明在软件上,具有自组网方式,设备上线调度板自动管理起来调度板;流媒体代理服务,节省从公网/专网获取相同流媒体视频资源的带宽,并可共多路执行板同时使用;自动更新技术,调度板或者执行板上的服务程序,算法模型都可根据版本自动更新为最新版本;实时智能分析能力,使用硬件硬解码能力,可实时分析每秒25帧的能力。
本发明具有可热插拔的硬件接口:
外型设计为标准2U/4U设备,便于部署于机架,可热插拔的硬件接口,使分析方案可灵活配置,具有很强的可伸缩性。
本发明具有自组网技术:
调度板和执行板通过交换板实现物理的网络连接,调度板和执行板之间在通过广播技术,执行板主动注册到调度板上,调度板可方便的管理起来所有上线的调度板,并可下发智能分析任务给执行板,执行板将分析结果返回给调度板。
本发明具有流媒体代理服务:
对一路视频中使用多种智能算法只需流媒体代理服务从摄像头拉取一路视频接入本系统装置,其他执行板从流媒体代理服务获取流媒体数据,减轻摄像头多路传输相同数据的压力,并且能保证获取流媒体数据的稳定性,流媒体代理服务,节省从公网/专网获取相同流媒体视频资源的带宽,并可共多路执行板同时使用。
本发明具有自动更新技术:
调度板上可查看所有安装的服务程序和算法模型的版本,并且调度板或者执行板上的服务程序,算法模型都可根据版本自动更新为最新版本。
本发明的基于上述装置实现针对多路实时视频进行智能分析控制的方法,其中,包括以下步骤:
1)设备上电,调度板每隔一段时间发出广播信息,执行板上电后收到消息后回复,完成自组网;
2)调度板获取到执行板的全部信息包括版本,可用服务,已启动服务,服务包括服务注册中心,任务调度服务,业务代理服务,数据库服务,设备管理服务,流媒体代理服务,自动更新服务,日志服务,算法代理服务,保活服务,web服务;
3)调度板将设备信息注册到平台,并保活;
4)平台下发智能分析任务,智能分析任务支持现有大部分的公开网络,如Alexnet、VGG16、Googlenet、Resnet18、Resnet50等分类网络,FasterR-CNN、YOLO、SSD、RFCN等检测网络以及SegNet、FCN等场景分割网络;
5)分析任务中包含指定的智能分析模型,使用的视频资源地址,分析模式和分析间隔,结果回传。
6)分析模式分为全时分析,定时分析,全时分析根据任务创建开始一直执行,定时分析设置开始分析结束分析的时间点。分析间隔分为实时分析和间隔分析,实时分析根据视频帧率每一帧都分析,间隔分析根据设置的分析间隔例如1秒,2秒为单位抽帧分析;
7)结果回传--指定回传的间隔时间,是否需要将结果图片post到指定服务器,以及服务器地址、端口号和协议;
8)调度板收到智能分析任务后,根据目前执行板的运行情况,如果执行板全部在工作状态,就返回错误信息给平台,表示目前没有可用的执行板;
9)如果有空闲的执行板,调度板根据策略选择其中一块执行板,调度板同时将视频源拉取到流媒体代理服务上;
10)调度板将任务并包含流媒体代理地址及算法模型地址发送给执行板;
11)执行板收到任务后,首先下载指定的算法模型并解压到指定目录,初始化算法模型,拉取流媒体代理服务的视频资源数据;
12)循环使用硬件解码或者软解码将视频解码为指定的格式,如BGR格式,在调用算法模型推断功能;
13)判断算法模型推断结果,如有符合情况并根据回传间隔,将结果及带有标注的截图发送给调用板;
14)调度板收到回传消息及图片,通过指定的协议,推送结果到指定的服务器。
采用了本发明的实现针对多路实时视频进行智能分析的嵌入式装置及其方法,可放置前端节省多媒体传输到平台后端分析方式的流量同时也保证了智能分析的时效性,稳定性;同时嵌入式方案可大大降低部署智能分析的成本;多路视频的支持,并且执行板可热插拔的方式,使分析方案可灵活配置,具有很强的可伸缩性,设备按照2U/4U标准尺寸设计,方便装置的放置;任务的配置的灵活性使分析装置满足绝大部分智能分析场景。
在此说明书中,本发明已参照其特定的实施例作了描述。但是,很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此,说明书和附图应被认为是说明性的而非限制性的。
Claims (4)
1.一种实现针对多路实时视频进行智能分析的嵌入式装置,其特征在于,所述的装置包括调度板、执行板组和交换板,所述的执行板组包括多个执行板,所述的调度板与交换板相连接,所述的每个执行板均与交换板相连接,所述的调度板和执行板通过交换板进行网络连接,所述的调度板用于管理上线设备以及下发智能分析任务至执行板,所述的执行板用于从流媒体代理服务获取流媒体数据;
所述的调度板和执行板均包含支持热插拔的硬件接口,且调度板的接口和执行板的接口相同;
所述的装置为自组网方式,每个执行板主动注册至调度板,所述的调度板对执行板进行管理;
所述的装置支持同时使用多个执行板;
所述的装置的外型为标准2U/4U设备;
所述的装置内置双电源,用于保障电力供应安全。
2.一种基于权利要求1所述的嵌入式装置实现针对多路实时视频进行智能分析控制的方法,其特征在于,所述的方法包括以下步骤:
(1)设备上电,调度板和执行板完成自组网;
(2)调度板获取执行板的全部信息,调度板将设备信息注册到平台;
(3)调度板接收智能分析任务,判断执行板的运行情况,如果存在空闲的执行板,则继续步骤(4);否则,返回错误信息至平台;
(4)调度板根据策略选择执行板,同时将视频源拉取至流媒体代理服务上,调度板将任务、包含流媒体代理地址和算法模型地址发送至执行板;
(5)执行板接收任务后,下载指定的算法模型并解压至指定目录,初始化算法模型,拉取流媒体代理服务的视频资源数据,将视频解码为指定的格式;
(6)判断算法模型推断结果,将符合情况的结果根据回传间隔,将结果及带有标注的截图发送至调度板;
(7)调度板接收回传消息及图片,通过指定的协议推送结果至服务器。
3.根据权利要求2所述的实现针对多路实时视频进行智能分析控制的方法,其特征在于,所述的步骤(1)具体为:
设备上电,调度板每隔一段时间发出广播信息,执行板上电后收到消息后回复,完成自组网。
4.根据权利要求2所述的实现针对多路实时视频进行智能分析控制的方法,其特征在于,所述的步骤(2)中调度板获取的执行板的全部信息包括版本、可用服务和已启动服务,所述的服务包括服务注册中心、任务调度服务、业务代理服务、数据库服务、设备管理服务、流媒体代理服务、自动更新服务、日志服务、算法代理服务、保活服务和web服务。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010317643.4A CN111476704B (zh) | 2020-04-21 | 2020-04-21 | 实现针对多路实时视频进行智能分析的嵌入式装置及其方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010317643.4A CN111476704B (zh) | 2020-04-21 | 2020-04-21 | 实现针对多路实时视频进行智能分析的嵌入式装置及其方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111476704A CN111476704A (zh) | 2020-07-31 |
CN111476704B true CN111476704B (zh) | 2023-10-20 |
Family
ID=71755259
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010317643.4A Active CN111476704B (zh) | 2020-04-21 | 2020-04-21 | 实现针对多路实时视频进行智能分析的嵌入式装置及其方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111476704B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005004011A1 (fr) * | 2003-07-07 | 2005-01-13 | Victor Wei Mo | Reseau media intelligent integre, lecteur media intelligent integre et procede correspondant |
CN104580327A (zh) * | 2013-10-29 | 2015-04-29 | 上海沐风数码科技有限公司 | 基于3g网络的车联网智能终端及其实现方法 |
CN109246151A (zh) * | 2018-11-05 | 2019-01-18 | 国家电网有限公司 | 一种输电线路视频智能巡检分析调度方法 |
CN109768996A (zh) * | 2019-03-07 | 2019-05-17 | 北京德普视讯科技有限公司 | 基于业务模块应用逻辑构建的云拼接大屏显示系统 |
-
2020
- 2020-04-21 CN CN202010317643.4A patent/CN111476704B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005004011A1 (fr) * | 2003-07-07 | 2005-01-13 | Victor Wei Mo | Reseau media intelligent integre, lecteur media intelligent integre et procede correspondant |
CN104580327A (zh) * | 2013-10-29 | 2015-04-29 | 上海沐风数码科技有限公司 | 基于3g网络的车联网智能终端及其实现方法 |
CN109246151A (zh) * | 2018-11-05 | 2019-01-18 | 国家电网有限公司 | 一种输电线路视频智能巡检分析调度方法 |
CN109768996A (zh) * | 2019-03-07 | 2019-05-17 | 北京德普视讯科技有限公司 | 基于业务模块应用逻辑构建的云拼接大屏显示系统 |
Non-Patent Citations (1)
Title |
---|
王强 ; 陈飞凌 ; .基于嵌入式Linux裁剪系统的高性能流媒体服务器.电力系统自动化.2010,(11),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN111476704A (zh) | 2020-07-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106302616B (zh) | 网络唤醒方法、远程服务器和网络交换设备 | |
CN108540816B (zh) | 一种直播视频获取方法、装置及存储介质 | |
WO2016023357A1 (zh) | 访问网页的方法、装置及路由器 | |
CN104093088B (zh) | 实现自适应流媒体播放控制的系统及方法 | |
CN108848060A (zh) | 一种多媒体文件处理方法、处理系统及计算机可读存储介质 | |
WO2018166415A1 (zh) | 云存储系统、媒体数据存储方法及系统 | |
WO2017161757A1 (zh) | 一种流媒体文件分发方法及系统 | |
CN111970215B (zh) | 一种数据包管理方法及装置 | |
CN107979592A (zh) | 一种发送业务请求消息的方法及装置 | |
CN108989845A (zh) | 一种基于spice协议的视频传输方法 | |
CN113031874A (zh) | 基于Kubernetes集群的缓存处理方法、装置、设备及存储介质 | |
CN115190430A (zh) | 基于5g核心网n2、n3、n4接口用户溯源关联方法及系统 | |
CN115002497B (zh) | 直播回源的调度方法及系统、回源服务器 | |
CN108924485A (zh) | 客户端实时视频流中断处理方法及系统、监控系统 | |
CN111476704B (zh) | 实现针对多路实时视频进行智能分析的嵌入式装置及其方法 | |
FR2845848B1 (fr) | Procede de configuration automatique d'un equipement de telephonie sur ip et/ou de donnees, systeme et equipement le mettant en oeuvre | |
WO2016201992A1 (zh) | 云存储服务器的视频存储及检索方法、视频云存储系统 | |
CN110113298A (zh) | 数据传输方法、装置、信令服务器和计算机可读介质 | |
CN109413120A (zh) | 一种通信方法及装置、电子设备及服务器 | |
US10506021B2 (en) | Method and device for providing communication connection for a plurality of candidate applications in a mobile device | |
CN110519397B (zh) | 一种基于nginx的sip终端接入的负载均衡系统及方法 | |
WO2018090315A1 (zh) | 数据请求的处理方法及缓存系统 | |
CN110660205B (zh) | 报警信息处理方法、装置、电子设备及可读存储介质 | |
CN110099208B (zh) | 一种视频监控系统中跨级跨域升级摄像机的方法及装置 | |
CN110290035B (zh) | 一种基于k3s的智慧家庭数据存储访问方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |