CN111277727B - 一种多cpu异构处理视频数据的方法 - Google Patents
一种多cpu异构处理视频数据的方法 Download PDFInfo
- Publication number
- CN111277727B CN111277727B CN202010034941.2A CN202010034941A CN111277727B CN 111277727 B CN111277727 B CN 111277727B CN 202010034941 A CN202010034941 A CN 202010034941A CN 111277727 B CN111277727 B CN 111277727B
- Authority
- CN
- China
- Prior art keywords
- chip
- service
- channel
- video
- code stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供了一种多CPU异构处理视频数据的方法，包括以下步骤：S1.业务芯片将前端码流从数字通道取出发送至AI芯片；S2.AI芯片接收由业务芯片传递的码流方向的码流传输；S3.AI芯片的LocalChn通道根据配置分别获取本地视频的编码结果发送给业务芯片；S4.业务芯片端对接收AI芯片传回的编码视频抽象成另一个类型的数字通道；S5.业务芯片端对数字通道与接收前端视频的IPChn数字通道进行统一管理；S6.AI芯片将智能算法结果回送业务芯片，AI芯片将算法结果封装为PB格式，通过对应的ALG通道发送给业务芯片；S7.所有配置命令，含全局和各通道的，以及AI芯片端状态上报，使用命令通道传输。本发明所述的AI芯片与业务芯片之间进行视频转发交互，保证稳定的进行网传与录像存储。
Description
技术领域
本发明属于音视频监控领域，尤其是涉及一种多CPU异构处理视频数据的方法。
背景技术
智能网络审讯主机是一款针对政法行业审讯业务开发的多功能审讯设备，具备审讯监管、本地智能行为分析判断、异常报警、实时刻录、音视频混合、编解码输出等功能。
设备硬件方案采用一款32位业务芯片+一款64位AI视频处理芯片的网络级联的方案，业务芯片负责网络接入、SATA存储、外设管理、显示输出等功能。AI视频处理芯片负责智能算法、4K视频输入编码、画面合成、混音、显示输出等功能。两款芯片间通过千兆网络互连。
本架构的重点和难点是两款芯片间的，多种码流类型的双向码流数据收发的实现。该方案的实现即本申请注明的“一种多CPU异构处理视频数据的方案”。
发明内容
有鉴于此，本发明旨在提出一种多CPU异构处理视频数据的方法，以解决业务芯片性能业务运行的不稳定、AI芯片处理功能比较单一的问题。
为达到上述目的，本发明的技术方案是这样实现的：
一种多CPU异构处理视频数据的方法，包括以下步骤：
S1.业务芯片将前端码流从IPChn数字通道取出，调用ALG通道提供的接口逐帧发送至AI芯片；
S2.AI芯片接收由业务芯片传递的码流，根据配置将码流送至不同业务分析模块；
S3.AI芯片的LocalChn通道根据配置分别获取本地视频输入编码结果、画面合成编码结果、音频输入编码结果，通过ALG通道模块接口逐帧发送给业务芯片；
S4.业务芯片端对接收AI芯片传回的编码视频的RemoteEncChn通道进行统一管理，抽象成另一个类型的数字通道；
S5.业务芯片端对数字通道与接收前端视频的IPChn数字通道进行统一管理；
S6.AI芯片根据配置把需要进行智能分析的视频送入算法模块进行视频分析，智能算法结果回送业务芯片，AI芯片将算法结果封装为PB格式，通过对应的ALG通道发送给业务芯片；
S7.含全局和各通道的所有配置命令，以及AI芯片端状态上报，使用命令通道传输。
进一步的，所述步骤S2中的业务分析包括:算法业务分析、画面合成业务分析，开启算法业务分析则将码流送算法业务进行分析，开启画面合成则把码流送画面合成业务进行画面合成。
进一步的，所述步骤S4中的RemoteEncChn通道用于接收AI芯片向业务芯片方向的码流传输。
进一步的，所述步骤5中的数字通道管理方式与IPChn数字通道的管理方式保持一至。
进一步的，所述步骤S6中所述通过PB封装格式发送解决了两个芯片异构锁带来的数据兼容性问题。
进一步的，所述步骤S7中的通道的通信方式，采用提供一条双向命令通道，及多条无差别的数据通道。每一条数据通道采用分时复用方式，支持多路码流和消息的混合传输。
进一步的，所述步骤S4中的业务芯片及AI芯片业务根据数据中自带的类型和通道号参数进行区别分发。
相对于现有技术，本发明所述的一种多CPU异构处理视频数据的方法具有以下优势：
(1)本发明所述的AI芯片的性能优势,同时做到多路智能分析和4K视频输入输出：AI芯片负责接收业务层的视频数据，对视频数据进行智能分析，根据业务芯片下发配置进行，音频混合及视频合成，4K视频解码显示，接入模拟信号进4K行编码传回业务芯片。
(2)本发明所述的业务芯片只做总控的作用，负责响应客户操作命令，网络视频接入，存储刻录，与AI芯片之间进行视频转发交互，能够保证稳定的进行网传与录像存储。
(3)本发明所述的AI芯片能够支持1到8路本地视频和前端相机接入视频随意合成显示、支持最大4路音频混合。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例所述的一种多CPU异构处理视频数据的方法的示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。
下面将参考附图并结合实施例来详细说明本发明。
一种多CPU异构处理视频数据的方法，包括以下步骤：
S1.业务芯片将前端码流从IPChn数字通道取出，调用ALG通道提供的接口逐帧发送至AI芯片；
S2.AI芯片接收由业务芯片传递的码流，根据配置将码流送至不同业务分析模块；
S3.AI芯片的LocalChn通道根据配置分别获取本地视频输入编码结果、画面合成编码结果、音频输入编码结果，通过ALG通道模块接口逐帧发送给业务芯片；
S4.业务芯片端对接收AI芯片传回的编码视频的RemoteEncChn通道进行统一管理，抽象成另一个类型的数字通道；
S5.业务芯片端对数字通道与接收前端视频的IPChn数字通道进行统一管理；
S6.AI芯片根据配置把需要进行智能分析的视频送入算法模块进行视频分析，智能算法结果回送业务芯片，AI芯片将算法结果封装为PB格式，通过对应的ALG通道发送给业务芯片；
S7.含全局和各通道的所有配置命令，以及AI芯片端状态上报，使用命令通道传输。
所述步骤S2中的业务分析包括:算法业务分析、画面合成业务分析，开启算法业务分析则将码流送算法业务进行分析，开启画面合成则把码流送画面合成业务进行画面合成。
所述步骤S4中的RemoteEncChn通道用于接收AI芯片向业务芯片方向的码流传输。
所述步骤5中的数字通道管理方式与IPChn数字通道的管理方式保持一致。
所述步骤S6中所述通过PB封装格式发送解决了两个芯片异构锁带来的数据兼容性问题。
述步骤S7中的通道的通信方式，采用提供一条双向命令通道，及多条无差别的数据通通道。每一条数据通道采用分时复用方式，支持多路码流和消息的混合传输。
所述步骤S4中的业务芯片及AI芯片业务根据数据中自带的类型和通道号等参数进行区别分发。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种多CPU异构处理视频数据的方法，其特征在于包括以下步骤：
S1.业务芯片将前端码流从IPChn数字通道取出，调用ALG通道提供的接口逐帧发送至AI芯片；
S2.AI芯片接收由业务芯片传递的码流，并根据配置将码流送至不同业务分析模块；
S3.AI芯片的LocalChn通道根据配置分别获取本地视频输入编码结果、画面合成编码结果、音频输入编码结果，通过ALG通道模块接口逐帧发送给业务芯片；
S4.业务芯片端对接收AI芯片传回的编码视频的RemoteEncChn通道进行统一管理，抽象成另一个类型的数字通道；
S5.业务芯片端对数字通道与接收前端视频的IPChn数字通道进行统一管理；
S6.AI芯片根据配置把需要进行智能分析的视频送入算法模块进行视频分析，智能算法结果回送业务芯片，AI芯片将算法结果封装为PB格式，通过对应的ALG通道发送给业务芯片；
S7.含全局和各通道的所有配置命令，以及AI芯片端状态上报，使用命令通道传输。
2.根据权利要求1所述的一种多CPU异构处理视频数据的方法，其特征在于：所述步骤S2中的业务分析包括:算法业务分析、画面合成业务分析，开启算法业务分析则将码流送算法业务进行分析，开启画面合成则把码流送画面合成业务进行画面合成。
3.根据权利要求1所述的一种多CPU异构处理视频数据的方法，其特征在于：所述步骤S4中的RemoteEncChn通道用于接收AI芯片向业务芯片方向的码流传输。
4.根据权利要求1所述的一种多CPU异构处理视频数据的方法，其特征在于：所述步骤5中的数字通道管理方式与IPChn数字通道的管理方式保持一致。
5.根据权利要求1所述的一种多CPU异构处理视频数据的方法，其特征在于：所述步骤S6中所述通过PB封装格式发送解决了两个芯片异构锁带来的数据兼容性问题。
6.根据权利要求1所述的一种多CPU异构处理视频数据的方法，其特征在于：所述步骤S7中的通道的通信方式，采用提供一条双向命令通道，及多条无差别的数据通道， 每一条数据通道采用分时复用方式，支持多路码流和消息的混合传输。
7.根据权利要求1所述的一种多CPU异构处理视频数据的方法，其特征在于：所述步骤S4中的业务芯片及AI芯片业务根据数据中自带的类型和通道号参数进行区别分发。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010034941.2A CN111277727B (zh) | 2020-01-13 | 2020-01-13 | 一种多cpu异构处理视频数据的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010034941.2A CN111277727B (zh) | 2020-01-13 | 2020-01-13 | 一种多cpu异构处理视频数据的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111277727A CN111277727A (zh) | 2020-06-12 |
| CN111277727B true CN111277727B (zh) | 2022-04-05 |
Family
ID=71000190
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010034941.2A Active CN111277727B (zh) | 2020-01-13 | 2020-01-13 | 一种多cpu异构处理视频数据的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111277727B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113747170A (zh) * | 2021-09-08 | 2021-12-03 | 深圳市算筹信息技术有限公司 | 一种使用ai芯片进行视频编解码运算的方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102752291A (zh) * | 2012-06-21 | 2012-10-24 | 深圳市共进电子股份有限公司 | 一种alg的数据处理方法及rtsp服务系统 |
| CN108566357A (zh) * | 2017-12-21 | 2018-09-21 | 中国科学院西安光学精密机械研究所 | 基于ZYNQ-7000和FreeRTOS的图像传输与控制系统及方法 |
| CN209472705U (zh) * | 2019-04-12 | 2019-10-08 | 上海赛治信息技术有限公司 | 一种视频传输装置及具有该装置的视频传输系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10542233B2 (en) * | 2014-10-22 | 2020-01-21 | Genetec Inc. | System to dispatch video decoding to dedicated hardware resources |
-
2020
- 2020-01-13 CN CN202010034941.2A patent/CN111277727B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102752291A (zh) * | 2012-06-21 | 2012-10-24 | 深圳市共进电子股份有限公司 | 一种alg的数据处理方法及rtsp服务系统 |
| CN108566357A (zh) * | 2017-12-21 | 2018-09-21 | 中国科学院西安光学精密机械研究所 | 基于ZYNQ-7000和FreeRTOS的图像传输与控制系统及方法 |
| CN209472705U (zh) * | 2019-04-12 | 2019-10-08 | 上海赛治信息技术有限公司 | 一种视频传输装置及具有该装置的视频传输系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111277727A (zh) | 2020-06-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5490134A (en) | Versatile communications controller | |
| JP2950366B2 (ja) | マルチメディア通信プラットフォームおよびマルチメディア通信装置 | |
| CN1143221C (zh) | 向总线桥中的多个总线节点分配周期时钟的方法和装置 | |
| CN102215381A (zh) | 一种对数字视频监控系统进行整合的整合装置及方法 | |
| CN102185833A (zh) | 一种基于fpga的fc i/o并行处理方法 | |
| CN111277727B (zh) | 一种多cpu异构处理视频数据的方法 | |
| CN102316276A (zh) | 一种信号切换矩阵系统 | |
| US6263366B1 (en) | System and method therefor of translating a message having a given format for usage in an operations system | |
| CN107786243A (zh) | 基于跳频tdma组网通信系统的压缩视频传输系统及方法 | |
| CN108833134B (zh) | 一种多管理通道下gpon/epon设备监控系统 | |
| JP2009260652A (ja) | 無線通信システム | |
| EP1388952B1 (en) | Transceiver having shadow memory facilitating on-transceiver collection and communication of local parameters | |
| CN102831007B (zh) | 实时处理系统中的共享资源访问方法和实时处理系统 | |
| CN217655523U (zh) | 一种坐席、主机一体化的分布式kvm装置 | |
| CN100576863C (zh) | 动态资源管理方法及其媒体网关和媒体网关控制器 | |
| CN110365690A (zh) | 流量采集方法、装置及存储介质 | |
| CN112217592A (zh) | 一种新前传网络的管理控制方法和设备 | |
| CN115442340A (zh) | 一种实现多制式视频接入的方法和系统 | |
| CN109120443A (zh) | 一种网络附加存储nas设备的管理方法和装置 | |
| CN114745229A (zh) | 一种嵌入式ai视频网关及其实现方法 | |
| CN104427378B (zh) | 多类型业务数据流传输装置 | |
| CN104349128A (zh) | 一种视音频编码设备与系统及其存储提取方法 | |
| CN114513553A (zh) | 一种数据处理方法、装置、电子设备及存储介质 | |
| CN100521594C (zh) | 基于ip网络的编码终端、解码终端和编解码终端 | |
| US20050207546A1 (en) | Modem sharing device of PDA phone and method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |