CN112261460B

CN112261460B - 一种基于pcie的多路视频解码方案设计方法

Info

Publication number: CN112261460B
Application number: CN202011120711.4A
Authority: CN
Inventors: 高娟
Original assignee: Tianjin Jinhang Computing Technology Research Institute
Current assignee: Tianjin Jinhang Computing Technology Research Institute
Priority date: 2020-10-19
Filing date: 2020-10-19
Publication date: 2022-09-27
Anticipated expiration: 2040-10-19
Also published as: CN112261460A

Abstract

本发明涉及一种基于PCIE的多路视频解码方案设计方法，包括：移植ffmpeg到海思平台；根据传输需求，将海思pcie配置成从设备，主机pcie设备为主设备，配置pcie驱动，制定主设备和从设备传输规则；获取主机通过PCIE传输的数据；使用ffmpeg动态库解码压缩的图像数据，包括：初始化ffmpeg使用环境，创建解码线程，使用ffmpeg动态库解码并进行目标格式转换；将解码后的图像通过PCIE发送给主机，包括：获取ffmpeg解码后的目标图像后，将图像数据拷贝到DMA传输的内存空间，并启动DMA传输任务将图像数据发送到主机端的PCIE，并将发送长度写入协议规定的地址段通知主机读取数据。本发明能有效地提高数据传输速率，减少解码时间。

Description

一种基于PCIE的多路视频解码方案设计方法

技术领域

本发明属于linux系统下视频解码技术，特别涉及一种基于PCIE的多路视频解码方案设计方法。

背景技术

Hi3559AV100是专业的8K Ultra HD Mobile Camera SOC，它提供了8K30/4K120广播级图像质量的数字视频录制，支持多路Sensor输入，支持H.265编码输出或影视级的RAW数据输出，并集成高性能ISP处理，同时采用先进低功耗工艺和低功耗架构设计，为用户提供了卓越的图像处理能力。

Hi3559AV100支持业界领先的多路4K Sensor输入，多路ISP图像处理，支持HDR10高动态范围技术标准，并支持多路全景硬件拼接。在支持8K30/4K120视频录制下，Hi3559AV100提供硬化的6-Dof数字防抖，减少了对机械云台的依赖。

PCI-Express(peripheral component interconnect express)是一种高速串行计算机扩展总线标准，它原来的名称为"3GIO"，是由英特尔在2001年提出的，旨在替代旧的PCI，PCI-X和AGP总线标准。PCIe属于高速串行点对点双通道高带宽传输，所连接的设备分配独享通道带宽，不共享总线带宽，主要支持主动电源管理，错误报告，端对端的可靠性传输，热插拔以及服务质量(QOS)等功能。PCIe交由PCI-SIG(PCI特殊兴趣组织)认证发布后才改名为"PCI-Express"，简称"PCI-e"。它的主要优势就是数据传输速率高，而且还有相当大的发展潜力。

但是Hi3559AV100属于硬解码范畴，在协议帧不完全符合解码协议，或者错误帧比较多的情况下，解码效率比较低下或者不能解码。本发明采用ffmpeg解码库进行软解码，可实时调整解码序列，使用Hi3559AV100的pcie模块进行视频数据的dma传输，有效减少传输时延。

发明内容

本发明涉及一种基于PCIE的多路视频解码方案设计方法，用于解决上述现有技术图像传输延时问题。

本发明一种基于PCIE的多路视频解码方案设计方法，其中，包括：移植ffmpeg到海思平台；根据传输需求，将海思pcie配置成从设备，主机pcie设备为主设备，配置pcie驱动，制定主设备和从设备传输规则；获取主机通过PCIE传输的数据，包括：创建pcie读数据线程实时查看主机是否有新的图像数据可供读取，根据协议规则再在指定的地址段读取数据，将读完标志清零，以供主机进行下次传输数据；使用ffmpeg动态库解码压缩的图像数据，包括：初始化ffmpeg使用环境，创建解码线程，使用ffmpeg动态库解码并进行目标格式转换；将解码后的图像通过PCIE发送给主机，包括：获取ffmpeg解码后的目标图像后，将图像数据拷贝到DMA传输的内存空间，并启动DMA传输任务将图像数据发送到主机端的PCIE，并将发送长度写入协议规定的地址段通知主机读取数据。

根据本发明的基于PCIE的多路视频解码方案设计方法的一实施例，其中，移植ffmpeg到海思平台包括：首先，配置ffmpeg编译属性，然后，交叉编译ffmpeg源码，最后，获取ffmpeg解码动态库拷贝到海思开发板。

根据本发明的基于PCIE的多路视频解码方案设计方法的一实施例，其中，移植ffmpeg到海思平台包括：首先，配置ffmpeg编译属性，根据平台类型、cpu类型、编码解码器属性、格式转换属性以及交叉编译属性配置参数；然后，执行configure命令，在配置文件夹的子文件夹lib下将生成的解码库libavcodec、libavformat、libavutil以及libswscale；将动态库拷贝到解码板卡的/usr/lib路径下。

根据本发明的基于PCIE的多路视频解码方案设计方法的一实施例，其中，配置pcie驱动包括：在海思板卡的系统路径/etc/profile里面自动加载3559驱动文件：hi35xx_dev_slv.ko、irq_map_slv.ko、mcc_drv_slv.ko、mcc_usrdev_slv.ko以及pcit_dma_slv.ko。

根据本发明的基于PCIE的多路视频解码方案设计方法的一实施例，其中，制定主设备和从设备传输规则包括：主设备上电后写入握手的规定内容，从设备在上电后检测到相应内容并握手成功；主设备和从设备为每个通道分配读写的pcie地址，并防止读写地址冲突；主设备握手成功后在规定的pcie地址段写入每个通道接收数据的地址内容；主设备通过查询固定地址段的内容长度是否大于0作为判断是否有数据的标准，并在读走数据后将长度清零；从设备在传输数据之前先判断主设备是否已读走上次数据，如果是则写入解码后的图像数据并将长度写入，如果不是则放弃本次写数据任务，等待下一次解码后的数据再传输。

根据本发明的基于PCIE的多路视频解码方案设计方法的一实施例，其中，根据通道数为每个通道创建pcie读数据线程，包括：首先，申请读写互斥锁，对每个通道的读写操作进行保护，不允许同时有多个通道进行读写操作；然后，查看主设备是否有新的图像数据可供读取，在固定地址内的读数据长度是否不为零，同时主机的读地址也不为零；其次，根据协议规则在指定的读地址段读取数据，设置pcie读任务的目的地址，为从设备的pcie读地址，和源地址，为主设备的pcie写地址；然后，对从设备发送读数据任务命令；判断返回值是否成功，如成功则读长度清零，以供主设备进行下次传输数据；解锁，释放资源。

根据本发明的基于PCIE的多路视频解码方案设计方法的一实施例，其中，初始化ffmpeg使用环境包括：首先，设置解码器类型，初始化解码器上下文环境，动态申请图像帧存储空间；根据通道数创建ffmpeg解码线程，线程具体流程如下：步骤1:获取从pcie读取的图像数据缓冲区首地址指针bufPtr和长度bufLen；步骤2:判断当前的数据长度bufLen是否大于0，如果是则继续下一步，如果不是，则退出本次数据的解码过程，等待下次PCIE传送的数据；步骤3:传送数据缓冲区首地址指针bufPtr和长度bufLen给解码器，使用库函数对缓冲区的数据按帧进行分割，如果从缓冲区能成功获得一个完整的图像帧数据则记录继续下一步，如果不是则退出本次解码过程；步骤4:保存本次缓冲区中图像帧分割的长度ret，从数据缓冲区总长度bufLen剔除本次分割的图像帧数据长度ret，并向前移动首地址指针bufPtr，移动次数为ret；步骤5:将本次分割的图像帧数据通过库函数发送到解码器，放到解码队列中，如果发送失败则退出本次解码过程；步骤6:等待解码器返回解码后的图像帧，调用动态库函数将图像数据进行目标格式转换，如解码器不再返回图像帧，则转回步骤2。

根据本发明的基于PCIE的多路视频解码方案设计方法的一实施例，其中，将解码后的图像通过PCIE发送给主机，具体包括：获取互斥锁，拷贝解码后的图像数据到DMA虚拟地址空间；判断写长度是否被主机清零，判断上一帧图像数据是否已被主设备取走；获取给主设备发送数据的目的物理地址，如果为零则报错退出，否则继续；根据图像物理地址和数据长度以及主机接收数据地址执行DMA写操作，发送目标图像数据到主设备端，发送成功，则将发送长度写入协议规定的地址段，提示主设备可以读取数据，发送失败，则报错退出；解锁互斥锁，释放pcie通道资源。

在系统为linux的应用场景下，针对海思Hi3559AV100芯片特点，并结合PCIE设备属性，设计实现了一种linux系统下基于PCIE的多路视频解码方案设计方法。本发明为主机系统为vxwork下，以海思Hi3559AV100芯片作为PCIE硬件通道，使用FFMPEG解码库进行多路解码和像素格式转换，并且能有效地提高数据传输速率，减少解码时间。

附图说明

图1基于PCIE的多路视频解码方案实现流程图。

具体实施方式

为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

本发明的目的是在linux平台下，解决多路视频解码问题。

为实现上述目的，本发明采取以下技术方案。

移植ffmpeg到海思平台

首先，配置ffmpeg编译属性。然后，交叉编译ffmpeg源码。最后，获取ffmpeg解码动态库拷贝到海思开发板。

配置PCIE设备

首先，根据传输需求，将海思pcie配置成从设备，主机pcie设备为主设备。然后，配置pcie驱动。最后，制定主设备和从设备传输规则。

获取主机通过PCIE传输的数据

首先，创建pcie读数据线程实时查看主机是否有新的图像数据可供读取；然后根据协议规则再在指定的地址段读取数据；最后将读完标志清零，以供主机进行下次传输数据。

使用ffmpeg动态库解码压缩的图像数据

首先，初始化ffmpeg使用环境。其次，创建解码线程。然后，使用ffmpeg动态库解码并进行目标格式转换。

将解码后的图像通过PCIE发送给主机。

获取ffmpeg解码后的目标图像后，将图像数据拷贝到DMA传输的内存空间，并启动DMA传输任务将图像数据发送到主机端的PCIE，并将发送长度写入协议规定的地址段通知主机读取数据。

通过以上步骤，可以实现linux系统下的多路视频解码功能。

结合图1，为了解决linux系统下多路视频解码问题，采用的基于ffmpeg软解码的方法的一个具体实施例包括：

移植ffmpeg到海思平台：

首先，配置ffmpeg编译属性，根据平台类型、cpu类型、编码解码器属性、格式转换属性、交叉编译属性配置参数。

然后，执行configure命令，在配置文件夹的子文件夹lib下将生成的解码库libavcodec、libavformat、libavutil、libswscale。

最后，将动态库拷贝到解码板卡的/usr/lib路径下；

配置PCIE设备：

首先，根据传输需求，将海思的pcie配置成从设备，主机的pcie设备为主设备。

然后，配置pcie驱动。在海思板卡的系统路径/etc/profile里面自动加载3559驱动文件：hi35xx_dev_slv.ko、irq_map_slv.ko、mcc_drv_slv.ko、mcc_usrdev_slv.ko、pcit_dma_slv.ko。

最后，制定主设备和从设备传输规则，规则如下：

主设备上电后写入握手的规定内容，从设备在上电后检测到相应内容并握手成功；

主设备和从设备为每个通道分配读写的pcie地址，并防止读写地址冲突；

主设备握手成功后在规定的pcie地址段写入每个通道接收数据的地址内容；

主设备通过查询固定地址段的内容长度是否大于0作为判断是否有数据的标准，并在读走数据后将长度清零；

从设备在传输数据之前先判断主设备是否已读走上次数据(即固定地址段长度为0)，如果是则写入解码后的图像数据并将长度写入，如果不是则放弃本次写数据任务，等待下一次解码后的数据再传输。

获取主机通过PCIE传输的数据包括：

根据通道数为每个通道创建pcie读数据线程，线程具体操作为：

首先，申请读写互斥锁，对每个通道的读写操作进行保护，不允许同时有多个通道进行读写操作；

然后，查看主设备是否有新的图像数据可供读取，即在固定地址内的读数据长度是否不为零，同时主机的读地址也不为零；

其次，根据协议规则再在指定的读地址段读取数据，具体操作：设置pcie读任务的目的地址(该地址为从设备的pcie读地址)和源地址(该地址为主设备的pcie写地址)；

然后，通过ioctl函数对从设备发送读数据任务命令；判断返回值是否成功，如成功则读长度清零，以供主设备进行下次传输数据。

最后，解锁，释放资源。

使用ffmpeg动态库解码PCIE传输的数据包括：

初始化解码库使用环境

首先，设置解码器类型，采用HEVC(h265)类型的解码器。然后，初始化解码器上下文环境，动态申请图像帧存储空间。

根据通道数创建ffmpeg解码线程，线程具体流程如下：

Step1:获取从pcie读取的图像数据缓冲区首地址指针bufPtr和长度bufLen；

Step2:判断当前的数据长度bufLen是否大于0，如果是则继续下一步，如果不是，则退出本次数据的解码过程，等待下次PCIE传送的数据。

Step3:传送数据缓冲区首地址指针bufPtr和长度bufLen给解码器，使用库函数对缓冲区的数据按帧进行分割，如果从缓冲区能成功获得一个完整的图像帧数据则记录继续下一步，如果不是则退出本次解码过程。

Step4:保存本次缓冲区中图像帧分割的长度ret，从数据缓冲区总长度bufLen剔除本次分割的图像帧数据长度ret，并向前移动首地址指针bufPtr，移动次数为ret。

Step5:将本次分割的图像帧数据通过库函数发送到解码器，放到解码队列中，如果发送失败则退出本次解码过程。如果成功则继续进行下一步；

Step6:等待解码器返回解码后的图像帧，调用动态库函数将图像数据进行目标格式转换。如解码器不再返回图像帧，则继续进行step2；

将解码后的图像通过PCIE发送给主机包括：

Step1:获取互斥锁，拷贝解码后的图像数据到DMA虚拟地址空间；

然后判断写长度是否被主机清零(即上一帧图像数据已被主设备取走)，如果为0则报错退出；

Step2：获取给主设备发送数据的目的物理地址，如果为零则报错退出，否则进行下一步；

Step3，根据图像物理地址和数据长度、主机接收数据地址执行DMA写操作，发送目标图像数据到主设备端。发送成功，则将发送长度写入协议规定的地址段，提示主设备可以读取数据。发送失败则报错退出。

Step4:解锁互斥锁，释放pcie通道资源。

本发明可以实现linux系统下视频解码和传输问题，该方法已经经过了算法验证，并进行了实验检验。结果标明，该方案可以为解决图像解码问题，采用软解码方法，动态过滤错帧，并结合PCIE的DMA传输方式有效解决图像传输延时问题。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims

1.一种基于PCIE的多路视频解码方案设计方法，其特征在于，

移植ffmpeg到海思平台；

根据传输需求，将海思pcie配置成从设备，主机pcie设备为主设备，配置pcie驱动，制定主设备和从设备传输规则；

获取主机通过PCIE传输的数据，包括：

创建pcie读数据线程实时查看主机是否有新的图像数据可供读取，根据协议规则再在指定的地址段读取数据，将读完标志清零，以供主机进行下次传输数据；

使用ffmpeg动态库解码压缩的图像数据，包括：初始化ffmpeg使用环境，创建解码线程，使用ffmpeg动态库解码并进行目标格式转换；

将解码后的图像通过PCIE发送给主机，包括：获取ffmpeg解码后的目标图像后，将图像数据拷贝到DMA传输的内存空间，并启动DMA传输任务将图像数据发送到主机端的PCIE，并将发送长度写入协议规定的地址段通知主机读取数据；

制定主设备和从设备传输规则包括：

从设备在传输数据之前先判断主设备是否已读走上次数据，如果是则写入解码后的图像数据并将长度写入，如果不是则放弃本次写数据任务，等待下一次解码后的数据再传输。

2.如权利要求1所述的基于PCIE的多路视频解码方案设计方法，其特征在于，移植ffmpeg到海思平台包括：

首先，配置ffmpeg编译属性，然后，交叉编译ffmpeg源码，最后，获取ffmpeg解码动态库拷贝到海思开发板。

3.如权利要求1所述的基于PCIE的多路视频解码方案设计方法，其特征在于，移植ffmpeg到海思平台包括：

首先，配置ffmpeg编译属性，根据平台类型、cpu类型、编码解码器属性、格式转换属性以及交叉编译属性配置参数；

然后，执行configure命令，在配置文件夹的子文件夹lib下将生成的解码库libavcodec、libavformat、libavutil以及libswscale；

最后，将动态库拷贝到解码板卡的/usr/lib路径下。

4.如权利要求1所述的基于PCIE的多路视频解码方案设计方法，其特征在于，配置pcie驱动包括：在海思板卡的系统路径/etc/profile里面自动加载3559驱动文件：hi35xx_dev_slv.ko、irq_map_slv.ko、mcc_drv_slv.ko、mcc_usrdev_slv.ko以及pcit_dma_slv.ko。

5.如权利要求1所述的基于PCIE的多路视频解码方案设计方法，其特征在于，

根据通道数为每个通道创建pcie读数据线程，包括：

然后，查看主设备是否有新的图像数据可供读取，在固定地址内的读数据长度是否不为零，同时主机的读地址也不为零；

其次，根据协议规则在指定的读地址段读取数据，设置pcie读任务的目的地址，为从设备的pcie读地址，和源地址，为主设备的pcie写地址；

然后，对从设备发送读数据任务命令；判断返回值是否成功，如成功则读长度清零，以供主设备进行下次传输数据；

解锁，释放资源。

6.如权利要求1所述的基于PCIE的多路视频解码方案设计方法，其特征在于，

初始化ffmpeg使用环境包括：

首先，设置解码器类型，初始化解码器上下文环境，动态申请图像帧存储空间；

根据通道数创建ffmpeg解码线程，线程具体流程如下：

步骤1:获取从pcie读取的图像数据缓冲区首地址指针bufPtr和长度bufLen；

步骤2:判断当前的数据长度bufLen是否大于0，如果是则继续下一步，如果不是，则退出本次数据的解码过程，等待下次PCIE传送的数据；

步骤3:传送数据缓冲区首地址指针bufPtr和长度bufLen给解码器，使用库函数对缓冲区的数据按帧进行分割，如果从缓冲区能成功获得一个完整的图像帧数据则记录继续下一步，如果不是则退出本次解码过程；

步骤4:保存本次缓冲区中图像帧分割的长度ret，从数据缓冲区总长度bufLen剔除本次分割的图像帧数据长度ret，并向前移动首地址指针bufPtr，移动次数为ret；

步骤5:将本次分割的图像帧数据通过库函数发送到解码器，放到解码队列中，如果发送失败则退出本次解码过程;

步骤6:等待解码器返回解码后的图像帧，调用动态库函数将图像数据进行目标格式转换，如解码器不再返回图像帧，则转回步骤2。

7.如权利要求1所述的基于PCIE的多路视频解码方案设计方法，其特征在于，将解码后的图像通过PCIE发送给主机，具体包括：

获取互斥锁，拷贝解码后的图像数据到DMA虚拟地址空间；

判断写长度是否被主机清零，判断上一帧图像数据是否已被主设备取走；

获取给主设备发送数据的目的物理地址，如果为零则报错退出，否则继续；

根据图像物理地址和数据长度以及主机接收数据地址执行DMA写操作，发送目标图像数据到主设备端，发送成功，则将发送长度写入协议规定的地址段，提示主设备可以读取数据，发送失败，则报错退出；

解锁互斥锁，释放pcie通道资源。