CN111476704A - 实现针对多路实时视频进行智能分析的嵌入式装置及其方法 - Google Patents

实现针对多路实时视频进行智能分析的嵌入式装置及其方法 Download PDF

Info

Publication number
CN111476704A
CN111476704A CN202010317643.4A CN202010317643A CN111476704A CN 111476704 A CN111476704 A CN 111476704A CN 202010317643 A CN202010317643 A CN 202010317643A CN 111476704 A CN111476704 A CN 111476704A
Authority
CN
China
Prior art keywords
board
execution
scheduling
service
intelligent analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010317643.4A
Other languages
English (en)
Other versions
CN111476704B (zh
Inventor
梁征
朱广文
张建民
王艳
倪燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Haofang Information Technology Co ltd
Original Assignee
Shanghai Haofang Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Haofang Information Technology Co ltd filed Critical Shanghai Haofang Information Technology Co ltd
Priority to CN202010317643.4A priority Critical patent/CN111476704B/zh
Publication of CN111476704A publication Critical patent/CN111476704A/zh
Application granted granted Critical
Publication of CN111476704B publication Critical patent/CN111476704B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明涉及一种实现针对多路实时视频进行智能分析的嵌入式装置，包括调度板、执行板组和交换板，所述的执行板组包括多个执行板，所述的调度板与交换板相连接，所述的每个执行板均与交换板相连接，所述的调度板和执行板通过交换板进行网络连接。本发明还涉及一种实现针对多路实时视频进行智能分析控制的方法。采用了本发明的实现针对多路实时视频进行智能分析的嵌入式装置及其方法，可放置前端节省多媒体传输到平台后端分析方式的流量同时也保证了智能分析的时效性，稳定性；同时嵌入式方案可大大降低部署智能分析的成本；多路视频的支持，并且执行板可热插拔的方式，使分析方案可灵活配置；任务的配置的灵活性使分析装置满足绝大部分智能分析场景。

Description

实现针对多路实时视频进行智能分析的嵌入式装置及其方法
技术领域
本发明涉及人工智能领域，尤其涉及计算机视觉领域，具体是指一种实现针对多路实时视频进行智能分析的嵌入式装置及其方法。
背景技术
随着人工智能的发展和普及，计算机视觉(CV)方向一直是目前深度学习领域最热的研究领域，由于计算机视觉的的成熟发展，智能分析可快速有效的部署到现实场景中，目前常见的作法是基于X86平台和依赖GPU的算力来设计智能分析的方案，这种方案也会带来一下问题：
(1)功耗大，基于X86的系统本身就功耗巨大，再加上使用GPU来做推断过程，更会极大的增加功耗；
(2)散热差，由于巨大的功耗导致散热也是一大难题，放置的空间还需要采取降温，同时也是资源的巨大浪费；
(3)稳定性差，由于功耗大散热差会导致CPU/GPU过热保护，死机等情况发生；
(4)延时大，需要分析的视频资源需要从前端通过公网拉流来分析，也会因网络环境导致延时增大；
(5)非实时分析，目前的方案基本都采用抽帧的方式分析，容易遗漏快速移动的场景。
发明内容
本发明的目的是克服了上述现有技术的缺点，提供了一种满足功耗低、散热效果好、适用范围较为广泛的实现针对多路实时视频进行智能分析的嵌入式装置及其方法。
为了实现上述目的，本发明的实现针对多路实时视频进行智能分析的嵌入式装置及其方法如下：
该实现针对多路实时视频进行智能分析的嵌入式装置，其主要特点是，所述的装置包括调度板、执行板组和交换板，所述的执行板组包括多个执行板，所述的调度板与交换板相连接，所述的每个执行板均与交换板相连接，所述的调度板和执行板通过交换板进行网络连接，所述的调度板用于管理上线设备以及下发智能分析任务至执行板，所述的执行板用于从流媒体代理服务获取流媒体数据。
较佳地，所述的调度板和执行板均包含支持热插拔的硬件接口，且调度板的接口和执行板的接口相同。
较佳地，所述的装置为自组网方式，每个执行板主动注册至调度板，所述的调度板对执行板进行管理。
较佳地，所述的装置支持同时使用多个执行板。
较佳地，所述的装置的外型为标准2U/4U设备。
较佳地，所述的装置内置双电源，用于保障电力供应安全。
该利用上述装置实现针对多路实时视频进行智能分析控制的方法，其主要特点是，所述的方法包括以下步骤：
(1)设备上电，调度板和执行板完成自组网；
(2)调度板获取执行板的全部信息，调度板将设备信息注册到平台；
(3)调度板接收智能分析任务，判断执行板的运行情况，如果存在空闲的执行板，则继续步骤(4)；否则，返回错误信息至平台；
(4)调度板根据策略选择执行板，同时将视频源拉取至流媒体代理服务上，调度板将任务、包含流媒体代理地址和算法模型地址发送至执行板；
(5)执行板接收任务后，下载指定的算法模型并解压至指定目录，初始化算法模型，拉取流媒体代理服务的视频资源数据，将视频解码为指定的格式；
(6)判断算法模型推断结果，将符合情况的结果根据回传间隔，将结果及带有标注的截图发送至调度板；
(7)调度板接收回传消息及图片，通过指定的协议推送结果至服务器。
较佳地，所述的步骤(1)具体为：
设备上电，调度板每隔一段时间发出广播信息，执行板上电后收到消息后回复，完成自组网。
较佳地，所述的步骤(2)中调度板获取的执行板的全部信息包括版本、可用服务和已启动服务，所述的服务包括服务注册中心、任务调度服务、业务代理服务、数据库服务、设备管理服务、流媒体代理服务、自动更新服务、日志服务、算法代理服务、保活服务和web服务。
采用了本发明的实现针对多路实时视频进行智能分析的嵌入式装置及其方法，可放置前端节省多媒体传输到平台后端分析方式的流量同时也保证了智能分析的时效性，稳定性；同时嵌入式方案可大大降低部署智能分析的成本；多路视频的支持，并且执行板可热插拔的方式，使分析方案可灵活配置，具有很强的可伸缩性，设备按照2U/4U标准尺寸设计，方便装置的放置；任务的配置的灵活性使分析装置满足绝大部分智能分析场景。
附图说明
图1为本发明的实现针对多路实时视频进行智能分析的嵌入式装置的结构图。
具体实施方式
为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。
本发明的该实现针对多路实时视频进行智能分析的嵌入式装置，其中包括调度板、执行板组和交换板，所述的执行板组包括多个执行板，所述的调度板与交换板相连接，所述的每个执行板均与交换板相连接，所述的调度板和执行板通过交换板进行网络连接，所述的调度板用于管理上线设备以及下发智能分析任务至执行板，所述的执行板用于从流媒体代理服务获取流媒体数据。
作为本发明的优选实施方式，所述的调度板和执行板均包含支持热插拔的硬件接口，且调度板的接口和执行板的接口相同。
作为本发明的优选实施方式，所述的装置为自组网方式，每个执行板主动注册至调度板，所述的调度板对执行板进行管理。
作为本发明的优选实施方式，所述的装置支持同时使用多个执行板。
作为本发明的优选实施方式，所述的装置的外型为标准2U/4U设备。
作为本发明的优选实施方式，所述的装置内置双电源，用于保障电力供应安全。
本发明的该利用上述装置实现针对多路实时视频进行智能分析控制的方法，其中包括以下步骤：
(1)设备上电，调度板和执行板完成自组网；
设备上电，调度板每隔一段时间发出广播信息，执行板上电后收到消息后回复，完成自组网；
(2)调度板获取执行板的全部信息，调度板将设备信息注册到平台；
(3)调度板接收智能分析任务，判断执行板的运行情况，如果存在空闲的执行板，则继续步骤(4)；否则，返回错误信息至平台；
(4)调度板根据策略选择执行板，同时将视频源拉取至流媒体代理服务上，调度板将任务、包含流媒体代理地址和算法模型地址发送至执行板；
(5)执行板接收任务后，下载指定的算法模型并解压至指定目录，初始化算法模型，拉取流媒体代理服务的视频资源数据，将视频解码为指定的格式；
(6)判断算法模型推断结果，将符合情况的结果根据回传间隔，将结果及带有标注的截图发送至调度板；
(7)调度板接收回传消息及图片，通过指定的协议推送结果至服务器。
作为本发明的优选实施方式，所述的步骤(2)中调度板获取的执行板的全部信息包括版本、可用服务和已启动服务，所述的服务包括服务注册中心、任务调度服务、业务代理服务、数据库服务、设备管理服务、流媒体代理服务、自动更新服务、日志服务、算法代理服务、保活服务和web服务。
本发明的具体实施方式中，涉及自组网，分析算法调度，智能算法分析，流媒体代理服务，rtsp拉流解码，实时分析，算法分析结果回传等技术。
本发明的装置，能解决如下问题：
1)节约成本，由于使用低功耗的嵌入式芯片做智能分析的推理运算，可有效节能减排；
2)自组网，调度板和执行板支持热插拔，根据需要分析视频的路数决定投入的执行板数量；
3)实时智能分析，支持每秒25帧实时视频深度算法分析；
4)前端解码分析，无需将摄像头视频数据通过公网或专线接入平台分析，只需将分析结果回传后台，大大节约公网或专线带宽资源占用，并且能保证分析结果的实时性和稳定性；
5)流媒体代理服务，如需从一路视频中使用多种智能算法只需流媒体代理服务从摄像头拉取一路视频接入本系统装置，其他执行板从流媒体代理服务获取流媒体数据，减轻摄像头多路传输相同数据的压力。
本发明在硬件上，其调度板和执行板通过交换板完成网络连接，通过交换板和外网实现互联；内置双电源，确保电力供应安全；本装置外型设计为标准2U/4U设备，方便放置于标准机架；调度板和执行板设计设计接口一致，可热插拔，执行板可按需决定，成本可伸缩。
本发明在软件上，具有自组网方式，设备上线调度板自动管理起来调度板；流媒体代理服务，节省从公网/专网获取相同流媒体视频资源的带宽，并可共多路执行板同时使用；自动更新技术，调度板或者执行板上的服务程序，算法模型都可根据版本自动更新为最新版本；实时智能分析能力，使用硬件硬解码能力，可实时分析每秒25帧的能力。
本发明具有可热插拔的硬件接口：
外型设计为标准2U/4U设备，便于部署于机架，可热插拔的硬件接口，使分析方案可灵活配置，具有很强的可伸缩性。
本发明具有自组网技术：
调度板和执行板通过交换板实现物理的网络连接，调度板和执行板之间在通过广播技术，执行板主动注册到调度板上，调度板可方便的管理起来所有上线的调度板，并可下发智能分析任务给执行板，执行板将分析结果返回给调度板。
本发明具有流媒体代理服务：
对一路视频中使用多种智能算法只需流媒体代理服务从摄像头拉取一路视频接入本系统装置，其他执行板从流媒体代理服务获取流媒体数据，减轻摄像头多路传输相同数据的压力，并且能保证获取流媒体数据的稳定性，流媒体代理服务，节省从公网/专网获取相同流媒体视频资源的带宽，并可共多路执行板同时使用。
本发明具有自动更新技术：
调度板上可查看所有安装的服务程序和算法模型的版本，并且调度板或者执行板上的服务程序，算法模型都可根据版本自动更新为最新版本。
本发明的基于上述装置实现针对多路实时视频进行智能分析控制的方法，其中，包括以下步骤：
1)设备上电，调度板每隔一段时间发出广播信息，执行板上电后收到消息后回复，完成自组网；
2)调度板获取到执行板的全部信息包括版本，可用服务，已启动服务，服务包括服务注册中心，任务调度服务，业务代理服务，数据库服务，设备管理服务，流媒体代理服务，自动更新服务，日志服务，算法代理服务，保活服务，web服务；
3)调度板将设备信息注册到平台，并保活；
4)平台下发智能分析任务，智能分析任务支持现有大部分的公开网络，如Alexnet、VGG16、Googlenet、Resnet18、Resnet50等分类网络，FasterR-CNN、YOLO、SSD、RFCN等检测网络以及SegNet、FCN等场景分割网络；
5)分析任务中包含指定的智能分析模型，使用的视频资源地址，分析模式和分析间隔，结果回传。
6)分析模式分为全时分析，定时分析，全时分析根据任务创建开始一直执行，定时分析设置开始分析结束分析的时间点。分析间隔分为实时分析和间隔分析，实时分析根据视频帧率每一帧都分析，间隔分析根据设置的分析间隔例如1秒，2秒为单位抽帧分析；
7)结果回传--指定回传的间隔时间，是否需要将结果图片post到指定服务器，以及服务器地址、端口号和协议；
8)调度板收到智能分析任务后，根据目前执行板的运行情况，如果执行板全部在工作状态，就返回错误信息给平台，表示目前没有可用的执行板；
9)如果有空闲的执行板，调度板根据策略选择其中一块执行板，调度板同时将视频源拉取到流媒体代理服务上；
10)调度板将任务并包含流媒体代理地址及算法模型地址发送给执行板；
11)执行板收到任务后，首先下载指定的算法模型并解压到指定目录，初始化算法模型，拉取流媒体代理服务的视频资源数据；
12)循环使用硬件解码或者软解码将视频解码为指定的格式，如BGR格式，在调用算法模型推断功能；
13)判断算法模型推断结果，如有符合情况并根据回传间隔，将结果及带有标注的截图发送给调用板；
14)调度板收到回传消息及图片，通过指定的协议，推送结果到指定的服务器。
采用了本发明的实现针对多路实时视频进行智能分析的嵌入式装置及其方法，可放置前端节省多媒体传输到平台后端分析方式的流量同时也保证了智能分析的时效性，稳定性；同时嵌入式方案可大大降低部署智能分析的成本；多路视频的支持，并且执行板可热插拔的方式，使分析方案可灵活配置，具有很强的可伸缩性，设备按照2U/4U标准尺寸设计，方便装置的放置；任务的配置的灵活性使分析装置满足绝大部分智能分析场景。
在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (9)

1.一种实现针对多路实时视频进行智能分析的嵌入式装置，其特征在于，所述的装置包括调度板、执行板组和交换板，所述的执行板组包括多个执行板，所述的调度板与交换板相连接，所述的每个执行板均与交换板相连接，所述的调度板和执行板通过交换板进行网络连接，所述的调度板用于管理上线设备以及下发智能分析任务至执行板，所述的执行板用于从流媒体代理服务获取流媒体数据。
2.根据权利要求1所述的实现针对多路实时视频进行智能分析的嵌入式装置，其特征在于，所述的调度板和执行板均包含支持热插拔的硬件接口，且调度板的接口和执行板的接口相同。
3.根据权利要求1所述的实现针对多路实时视频进行智能分析的嵌入式装置，其特征在于，所述的装置为自组网方式，每个执行板主动注册至调度板，所述的调度板对执行板进行管理。
4.根据权利要求1所述的实现针对多路实时视频进行智能分析的嵌入式装置，其特征在于，所述的装置支持同时使用多个执行板。
5.根据权利要求1所述的实现针对多路实时视频进行智能分析的嵌入式装置，其特征在于，所述的装置的外型为标准2U/4U设备。
6.根据权利要求1所述的实现针对多路实时视频进行智能分析的嵌入式装置，其特征在于，所述的装置内置双电源，用于保障电力供应安全。
7.一种基于权利要求1所述的嵌入式装置实现针对多路实时视频进行智能分析控制的方法，其特征在于，所述的方法包括以下步骤：
(1)设备上电，调度板和执行板完成自组网；
(2)调度板获取执行板的全部信息，调度板将设备信息注册到平台；
(3)调度板接收智能分析任务，判断执行板的运行情况，如果存在空闲的执行板，则继续步骤(4)；否则，返回错误信息至平台；
(4)调度板根据策略选择执行板，同时将视频源拉取至流媒体代理服务上，调度板将任务、包含流媒体代理地址和算法模型地址发送至执行板；
(5)执行板接收任务后，下载指定的算法模型并解压至指定目录，初始化算法模型，拉取流媒体代理服务的视频资源数据，将视频解码为指定的格式；
(6)判断算法模型推断结果，将符合情况的结果根据回传间隔，将结果及带有标注的截图发送至调度板；
(7)调度板接收回传消息及图片，通过指定的协议推送结果至服务器。
8.根据权利要求7所述的实现针对多路实时视频进行智能分析控制的方法，其特征在于，所述的步骤(1)具体为：
设备上电，调度板每隔一段时间发出广播信息，执行板上电后收到消息后回复，完成自组网。
9.根据权利要求7所述的实现针对多路实时视频进行智能分析控制的方法，其特征在于，所述的步骤(2)中调度板获取的执行板的全部信息包括版本、可用服务和已启动服务，所述的服务包括服务注册中心、任务调度服务、业务代理服务、数据库服务、设备管理服务、流媒体代理服务、自动更新服务、日志服务、算法代理服务、保活服务和web服务。
CN202010317643.4A 2020-04-21 2020-04-21 实现针对多路实时视频进行智能分析的嵌入式装置及其方法 Active CN111476704B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010317643.4A CN111476704B (zh) 2020-04-21 2020-04-21 实现针对多路实时视频进行智能分析的嵌入式装置及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010317643.4A CN111476704B (zh) 2020-04-21 2020-04-21 实现针对多路实时视频进行智能分析的嵌入式装置及其方法

Publications (2)

Publication Number Publication Date
CN111476704A true CN111476704A (zh) 2020-07-31
CN111476704B CN111476704B (zh) 2023-10-20

Family

ID=71755259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010317643.4A Active CN111476704B (zh) 2020-04-21 2020-04-21 实现针对多路实时视频进行智能分析的嵌入式装置及其方法

Country Status (1)

Country Link
CN (1) CN111476704B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005004011A1 (fr) * 2003-07-07 2005-01-13 Victor Wei Mo Reseau media intelligent integre, lecteur media intelligent integre et procede correspondant
CN104580327A (zh) * 2013-10-29 2015-04-29 上海沐风数码科技有限公司 基于3g网络的车联网智能终端及其实现方法
CN109246151A (zh) * 2018-11-05 2019-01-18 国家电网有限公司 一种输电线路视频智能巡检分析调度方法
CN109768996A (zh) * 2019-03-07 2019-05-17 北京德普视讯科技有限公司 基于业务模块应用逻辑构建的云拼接大屏显示系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005004011A1 (fr) * 2003-07-07 2005-01-13 Victor Wei Mo Reseau media intelligent integre, lecteur media intelligent integre et procede correspondant
CN104580327A (zh) * 2013-10-29 2015-04-29 上海沐风数码科技有限公司 基于3g网络的车联网智能终端及其实现方法
CN109246151A (zh) * 2018-11-05 2019-01-18 国家电网有限公司 一种输电线路视频智能巡检分析调度方法
CN109768996A (zh) * 2019-03-07 2019-05-17 北京德普视讯科技有限公司 基于业务模块应用逻辑构建的云拼接大屏显示系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王强;陈飞凌;: "基于嵌入式Linux裁剪系统的高性能流媒体服务器" *

Also Published As

Publication number Publication date
CN111476704B (zh) 2023-10-20

Similar Documents

Publication Publication Date Title
CN108540816B (zh) 一种直播视频获取方法、装置及存储介质
CN105451087A (zh) 弹幕信息的推送方法、终端、历史数据服务器及系统
CN107357571B (zh) 设备组件程序的维护方法及系统
CN111970215B (zh) 一种数据包管理方法及装置
WO2020094035A1 (zh) 用于终端的无线网络连接方法
CN108989845A (zh) 一种基于spice协议的视频传输方法
WO2017161757A1 (zh) 一种流媒体文件分发方法及系统
CN108965932A (zh) 一种连麦窗口展示方法及装置
CN111935663B (zh) 传感器数据流的处理方法、装置、介质及电子设备
CN113031874A (zh) 基于Kubernetes集群的缓存处理方法、装置、设备及存储介质
CN112044078A (zh) 虚拟场景应用的接入方法、装置、设备及存储介质
CN115794139A (zh) 镜像数据处理方法、装置、设备以及介质
CN106921634B (zh) 多媒体流组播方法和装置
CN116820527B (zh) 程序升级方法、装置、计算机设备和存储介质
CN111476704B (zh) 实现针对多路实时视频进行智能分析的嵌入式装置及其方法
US10506021B2 (en) Method and device for providing communication connection for a plurality of candidate applications in a mobile device
CN114125024B (zh) 音频传输方法、电子设备及可读存储介质
CN112543354B (zh) 业务感知的分布式视频集群高效伸缩方法和系统
CN110519397B (zh) 一种基于nginx的sip终端接入的负载均衡系统及方法
CN111901561B (zh) 监控系统中的视频数据处理方法、装置、系统及存储介质
CN114844870A (zh) 一种媒体流获取方法、装置、电子设备及存储介质
CN110099208B (zh) 一种视频监控系统中跨级跨域升级摄像机的方法及装置
CN111541864A (zh) 一种数字视网膜软件定义摄像机方法及系统
CN112188245A (zh) 一种前端摄像头实时视频点播方法及装置、电子设备
US20230354107A1 (en) Adjustment of network handover processing based on service time requirements

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant