CN115955568B - 一种基于海思芯片的低延时视频压缩与智能目标识别方法 - Google Patents

Abstract

本发明提供一种基于海思芯片的低延时视频压缩与智能目标识别方法。该方法应用于海思Hi3559AV100芯片，包括低延时视频压缩过程和智能目标识别过程，两个过程并行运行。其中，低延时视频压缩的功能特别适用于无人机的无线传输链路，码流波动小，带来的传输延时小；智能目标识别功能使用双NNIE核同时进行智能目标识别，极大提高了目标识别帧率。本发明可实现低延时视频压缩以及边缘端智能目标识别，非常适用于边缘计算终端，具有广阔的应用前景。

Description

一种基于海思芯片的低延时视频压缩与智能目标识别方法

技术领域

本发明涉及海思Hi3559av100芯片相关的视频压缩技术、智能目标识别技术等领域，特别是指一种基于海思芯片的低延时视频压缩与智能目标识别方法，适用于可以搭载到无人机的边缘计算终端。

背景技术

随着人工智能技术高速发展，搭载低功耗小型化人工智能芯片的边缘计算终端也逐步成为可能。边缘计算终端可以在无人机上实现视频压缩，目标识别等功能，在无人机领域有广泛的应用前景和巨大的市场价值。Hi3559av100是人工智能芯片一种，包含VPU、NPU、多核ARM、GPU等，可以实现视频编解码、智能目标识别等应用。在无人机图传中，对视频压缩系统的延时性能要求较高，视频压缩系统延时高对操作手的要求高，留给操作手的反应时间少，系统延时低，则方便操作手更准确的进行飞行控制和目标跟踪；智能目标识别为操作员和地面观察员提供了更多的辅助功能，并且在无人探测领域，通过智能识别可以实时发现探测区域的目标，大大降低了人工识别的难度，而低功耗小型化，可搭载到无人机边缘计算终端的人工智能芯片算力低，需要优化算法模型以及其他策略来提高目标识别准确率和识别帧率。

现有的基于人工智能芯片的视频压缩与智能目标识别，是串行计算，先采集一帧图像，然后进行目标识别，识别之后把目标框打到图像上，然后对标注后的图像进行视频压缩。这其中的采集时间、识别时间都很长，给视频压缩带来了很大的延时。

发明内容

有鉴于此，本发明提供一种基于海思芯片的低延时视频压缩与智能目标识别方法，该方法可在人工智能芯片有限计算资源下，合理调度芯片的各个模块，优化视频编码以及智能识别数据流程，优化智能识别算法，实现低延时的视频压缩以及高效的智能目标识别。

为了实现上述目的，本发明采用的技术方案为：

一种基于海思芯片的低延时视频压缩与智能目标识别方法，应用于海思Hi3559AV100芯片，包括低延时视频压缩过程和智能目标识别过程，两个过程并行运行；其中，低延时视频压缩过程包括以下步骤：

（A1）通过VI模块采集视频，VI和VPSS均采用ONLINE模式，同时采用提前发送中断的方式，实现一边采集一边编码；

（A2）VENC视频编码模块的GOP结构采用P帧帧内刷新模式，码率控制算法采用CBR算法；

（A3）发送VENC编码后的数据，查询已编码的码流长度，码流长度设定阈值就送出去；

智能目标识别过程包括以下步骤：

（B1）将两个NNIE核进行相同的初始化操作，加载相同的wk文件；

（B2）从VPSS通道实时获取一帧完整的图像ExtFrm；

（B3）根据帧计数，把ExtFrm存入YUV环形缓冲区的对应地址；

（B4）将ExtFrm进行色度空间转换，从YUV图像转换为RGB图像；

（B5）根据帧计数，把RGB图像存入RGB环形缓冲区的对应地址；

（B6）使用两个线程，调用两个不同的NNIE核，交替从RGB环形缓冲区读取RGB图像，并识别，实现两个NNIE核并行计算；

（B7）把图像识别的结果与时标打包存入步骤（A3）的VENC编码的码流的用户数据区域，与码流同时下传；

（B8）释放对应的ExtFrm的存储空间；

（B9）地面接收到码流信息，解码图像，并把图像存入缓冲区，解码用户数据的目标信息与时标，根据对目标信息的识别从图像缓冲区取出对应的图像，把目标信息在对应的图像上进行标注并显示。

本发明与背景技术相比具有如下优点：

1．使用P帧帧内刷新模式获得的码率非常平稳，对网络冲击小，适用于无线网络传输环境，视频采集、压缩、码流发送并行进行，进一步降低了延时。

2．两个NNIE核并行运行，提高了目标识别的效率。

3．视频压缩与目标识别并行运行，相比先进行目标识别在进行视频压缩，大大提升了延时性能，而且保证了视频压缩的流畅性，在地面可以看到流畅的无人机图像以及目标识别的效果。

附图说明

图1是本发明实施例中一种基于海思芯片的低延时视频压缩与智能目标识别方法的原理示意图。

图2是图1中P帧帧内刷新视频压缩部分的具体流程图。

图3是图1中双核NNIE智能识别部分的具体流程图。

图中的英文均为海思sdk中的函数名称，为本领域技术人员的公知常识，此处不再赘述。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步地说明。

一种基于海思芯片的低延时视频压缩与智能目标识别方法，应用于海思Hi3559av100芯片。如图1所示，该方法通过视频采集、编码、码流发送、目标识别并行运行，来降低视频压缩系统的时延，并通过双NNIE并行运算提高智能目标识别效率。本方法实现了低延时视频压缩的功能以及智能目标识别的功能，其中低延时视频压缩的功能特别适用于无人机的无线传输链路，码流波动小，带来的传输延时小；智能目标识别功能使用双NNIE核同时进行智能目标识别，极大提高了目标识别帧率。本方法中的视频压缩与智能目标识别并行运行，不需要等到图像完成目标识别之后再进行视频压缩。由于芯片智能算力低，识别速度慢，所以传统的目标识别之后再进行视频压缩的方式延时大，通过图像时标对压缩图像和识别图像进行对应，识别图像的目标信息（目标种类、区域、置信度等）按照一定格式进行打包，然后放入压缩图像的码流的用户数据区域，通过无人机数据链下传后，地面接收压缩后的码流进行视频解压，并提取码流中的用户数据，根据视频和用户数据的帧标识进行一一对应，在对应的视频图像中，显示AI识别结果。

一般来讲，视频压缩性能比较强，每一帧图像都会被压缩；智能识别算法由于计算量庞大，芯片智能计算算力低，所以只有一部分图像可以进行智能识别，视频压缩速度快于目标识别速度。为此，使用时标来区分图像，压缩图像的时标与目标识别图像的时标都放入图像码流的用户数据中，在地面软件解码时，通过时标信息把解码后的图像与识别图像进行对应。

本方法包括低延时视频压缩过程和智能目标识别过程，两个过程并行运行；其中，低延时视频压缩过程包括以下步骤：

（A1）芯片的VI模块采集视频，VI和VPSS均采用ONLINE模式，减少DDR读写时间，同时采用提前发送中断的方式，实现一边采集一边编码；

（A2）VENC视频编码模块的GOP结构采用P帧帧内刷新模式，码率控制算法采用CBR算法，保证码率的平稳，减少对传输链路的冲击；

（A3）VENC编码后的数据及时发送，查询已编码的码流长度，码流长度大于一定阈值就送出去。

智能目标识别过程包括以下步骤：

（B1）将两个NNIE核进行相同的初始化操作，加载相同的wk文件；

（B2）从VPSS通道实时获取一帧完整的图像ExtFrm；

（B3）根据帧计数，把ExtFrm存入YUV环形缓冲区的对应地址；

（B4）将ExtFrm进行色度空间转换，从YUV图像转换为RGB图像；

（B5）根据帧计数，把RGB图像存入RGB环形缓冲区的对应地址；

（B6）使用两个线程，调用两个不同的NNIE，交替从RGB环形缓冲区读取RGB图像，并识别，实现两个NNIE核并行计算；

（B7）把图像识别的结果与时标打包存入码流的用户数据区域，与码流同时下传；

（B8）释放对应的ExtFrm的存储空间；

（B9）解码图像时，根据时标信息，把目标信息在对应的图像上进行标注并显示。

本方法采用低延时视频压缩方式，可实现采集、压缩、传输并行运行，不需要等到一帧图像采集完成后再进行编码，一帧图像编码完成后再进行发送；通过这样的方式可以降低约25ms的时延。并且，压缩后的码流比较平稳，波动较小，对无线链路的传输压力小，特别适用于无人机等无线链路。低延时视频压缩方法适配无人机匀速窄带宽链路，可以完成视频的低延时压缩和传输，并通过智能目标识别技术辅助操作员更好地完成任务。此外，视频压缩与智能目标识别并行计算，可实现多核同时完成智能目标识别。

如图2所示，本方法的低延时视频压缩过程，实现采集、压缩、传输并行运行，且视频压缩采用适用于无人机链路的低延时压缩模式，包括以下步骤：

（1）芯片的VI模块采集外部视频数据，可以通过MIPI、BT1120等接口采集视频，VI的后端绑定VPSS模块，VI和VPSS均采用ONLINE模式，即VI_ONLINE_VPSS_ONLINE模式，减少DDR读写时间，同时采用提前发送中断的方式，实现一边采集一边编码；

（2）VPSS模块后端绑定VENC模块，VENC模块的GOP结构采用P帧帧内刷新模式，码率控制算法采用CBR算法，保证码率的平稳，减少对传输链路的冲击；

（3）VENC编码后的数据实时获取，码流获取方式为按包获取，定时查询当前编码通道中已编码的码流长度，码流长度大于一定阈值时，把码流发送出去。

其中，步骤（1）具体包括以下步骤：

（1.1）首先对MPI系统进行初始化HI_MPI_SYS_Init，然后在VI PIPE和VPSS组创建之前，通过HI_MPI_SYS_SetVIVPSSMode将VI和VPSS都设置为ONLINE模式，在这样的模式下，VI的VI_CAP与VI_PROC之间的数据流为在线传输，不需要DDR进行缓存，可以节约DDR读写时间；VI_PROC与VPSS之间也是在线数据传输，不需要写入DDR，节省了DDR的读写时间；VI_ONLINE_VPSS_ONLINE模式，节省了2次DDR的读写时间；硬件通道上，VI使用PIPE0，VPSS通道使用GRP0，使用HI_MPI_SYS_Bind将VI的PIPE0与VPSS的GRP0绑定，这样VI的PIPE0获取的数据将实时发送给VPSS的GRP0；

（1.2）设置VPSS的VPSS_LOW_DELAY_INFO_S结构体使能低延时模式，低延时提前的行数设置为256行（1080P30），这里低延时的行数不能设置过小，否则可能影响后端的编码，编码出现马赛克或花屏。然后通过HI_MPI_VPSS_SetLowDelayAttr来使设置的低延时属性生效；

假设VI采集一帧图像有效数据（不包含消隐期）的时间为T0，图像高度为H，后端VPSS、VENC处理一帧的时间为T1，低延时提前的行数为L，那么L应该满足：(T0÷H)×(H-L)≤T1；

（1.3）通过HI_MPI_VPSS_SetGrpFrameInterruptAttr设置VPSS帧中断，帧中断FRAME_INTERRUPT_ATTR_S类型设置为FRAME_INTERRUPT_EARLY，采用这样的提前上报中断的方式，在整个视频采集过程中，VB视频缓冲区只占用1帧的时间；

通过以上设置，可以实现一边采集一边编码，采集到的256行之后，VPSS即发送给VENC进行编码，不需要等待一帧采集完成才开始编码。以1080P30视频为例，不采用以上方法，VECN需要等VI-VPSS采集一帧完成之后（约为33ms），开始编码；采用以上方法以后，VENC在VI-VPSS采集256行之后（约为8ms），开始编码。这节约了25ms左右的延时。

步骤（2）具体包括以下步骤：

（2.1）设置VENC模块的编码参数，压缩标准采用H.265标准，码率控制选择CBR模式，在无人机链路中带宽是匀速的，所以必须使用CBR保证压缩后的码流大小是平稳的，不能有较大波动，否则给链路传输带来较大延时；GOP的设置为输入帧率SrcFrameRate的整数倍，可以设置为3~5倍，CBR的统计时间StatTime设置为（GOP÷SrcFrameRate），统计时间不能过长，否则瞬时码流有可能过大，CBR的统计时间与GOP保存一致，否则可能导致码率控制不准确；

（2.2）GOP的结构采用P帧帧内刷新模式，即Cyclic Intra Refresh，该结构适用于无线链路传输，码率平稳，对网络冲击小，编解码传输延时小，而且不引起严重的呼吸效应。首先将GOP的VENC_GOP_ATTR_S设置为NormalP，然后通过HI_MPI_VENC_SetIntraRefresh使能帧内刷新模式，采用行（从上到下）刷新的模式完成Intra宏块刷新，刷新间隔为一个GOP周期。刷新的行数设置为最小值128，刷新行数越多，I宏块越多，不利于码率控制，刷新行数少，I宏块少，码流平稳度越好；

（2.3）使用HI_MPI_SYS_Bind将VPSS的CHANNEL0与VENC的编码通道绑定，VPSS实时获取的数据，直接发送给VENC模块进行编码。

步骤（3）具体包括以下步骤：

（3.1）通过HI_MPI_VENC_QueryStatus查询当前编码通道中码流buffer中剩余的字节数，当字节数大于256字节，即可从该buffer中取出，取出之后的数据通过数据链进行下传，不需要等到一整帧数据编码完成再获取码流，这样实现了一边编码一边发送；

（3.2）通过HI_MPI_VENC_ReleaseStream释放码流的缓存，否则码流一直堆积可能导致，影响编码器的性能。

如图3所示，本方法的智能目标识别过程包括以下步骤：

（1）芯片包含2个智能加速引擎NNIE，首先将两个NNIE核进行相同的初始化操作，包括识别图片的宽高，识别目标的种类、目标识别网络的参数、加载相同的wk文件（NNIE指定的文件类型）；

（2）创建VPSS通道GRP1，设置GRP1的缩放属性，缩小为目标识别的尺寸，绑定VI的PIPE0，设置为VI_ONLINE_VPSS_ONLINE模式，设置线程使用HI_MPI_VPSS_GetChnFrame从VPSS的GRP1获取采集到的完整一帧图像ExtFrm，采集到的图像ExtFrm的尺寸与wk模型可以识别的图像尺寸一致；

（3）记ExtFrm帧计数为Ce，每获得一个ExtFrm帧计数依次加1，开辟一个存储YUV数据的环形缓冲区，可以存放N个ExtFrm，把ExtFrm放入存储YUV数据的环形缓冲区，存入的地址为(Ce % N)；

（4）将当前获取的图像ExtFrm进行色度空间转换，wk模型一般使用RGB图像进行训练和识别，VI和VPSS采集的图像一般为YUV格式，使用芯片的IVE模块HI_MPI_IVE_CSC将图像ExtFrm转换为RGB图像；

（5）记RGB图像的帧计数Cn，每获得一个RGB图像，帧计数加1，开辟一个存储RGB图像的环形缓冲区，可以存放N个RGB图像，根据当前RGB图像的帧计数Cn，把该图像放到(Cn %N)的地址，为了避免RGB缓冲区中未识别的图片被新的图片覆盖，当（6）中的Cr ≤(Cn - N/ 2)时，停止（2）中获取新的ExtFrm；

（6）相同NNIE识别不同图片的耗时不同，为了让两个NNIE不间断运行，运行两个线程，线程1使用NNIE1，线程2使用NNIE2，分别处理RGB环形缓冲区中的图片，记Cr表示当前线程正在处理的RGB环形缓冲区中的图像帧计数，每个线程获取RGB图像时，将Cr加1，然后从地址为(Cr+1)%N的RGB环形缓冲区中取出RGB图像，进行智能识别；这样保证了两个NNIE核不间断的工作，且处理图像帧不同；

（7）当某个NNIE对当前图片识别完成之后，把当前图像的时标信息、识别的目标种类数、不同种类的目标数量、各目标的位置、置信度按照一定的帧格式进行打包，称为Packet，放入经VENC模块压缩后的图像码流Stream的用户数据Usrdata的指定位置，与图像码流一起经数据链下传，需要注意的是一帧图像I的码流Stream只包含一个Usrdata，这个Usrdata中首先包含该图像I的时标信息，同时可能包含另一个图像R的Packet，因为图像压缩速度快，每秒可以压缩120帧图像，而NNIE每秒最多识别不到10帧图像，所以I的时标快于R的时标，R的识别完成之后，R的Packet等到最新的一帧图像压缩完成之后，与该图像的码流压缩完成后，放入I的Usrdata的指定区域；

（8）当NNIE对当前图片识别完成之后，假设当前已完成识别的图片的帧计数为Cr，使用HI_MPI_VPSS_ReleaseChnFrame释放帧计数为Cr的ExtFrm，由于ExtFrm占用的是芯片内部分配的空间，如果不释放，有可能使得芯片内部的数据缓冲池溢出，无法获得新的数据，RGB环形缓冲区的数据是用户自定义的位置，不需要主动释放；

（9）当图像的码流经链路下传后，使用软件解码图像，把Stream解码为YUV图像数据，可以直接在显示器显示，同时把YUV数据存储到缓冲区；解码的同时按照帧格式解析出当前Stream中的用户数据，包含该Stream图像帧I的时标，以及识别图像R的Pactet（每一帧图像都被压缩，并不是每一帧图像都被识别，所以每一帧图像都有Stream，不一定有Packet），由于I的时标比R的时标快，所以R的Packet解析出来的时候，R的Stream也已经被解码为YUV，根据R的时标，从YUV缓冲区中把R的YUV数据找到，在YUV数据上，把Packet中包含的所有目标的位置都标注出来，并显示。

总之，本发明提供的低延时视频压缩方法非常适用于无人机无线通讯链路，相比传统的IPPP压缩模式，可以极大地降低传输延时，使用IPPP压缩模式在无线链路中延时可以达到500ms以上，且在地面看到的图像有明显卡顿；使用本发明中的P帧帧内刷新模式，可以将延时降低到130ms以内，且传输到地面的图像是匀速的；本发明提供的双NNIE核并行计算的方法，可以极大提高目标识别速度；本发明提供的低延时压缩与智能识别并行计算的方法，在保证低延时图像压缩的同时，实现了机载嵌入式端的智能目标识别应用，这种应用相比于在地面进行智能目标识别有更多的优势，也有更多的应用场景。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (1)

1.一种基于海思芯片的低延时视频压缩与智能目标识别方法，其特征在于，应用于海思Hi3559AV100芯片，包括低延时视频压缩过程和智能目标识别过程，两个过程并行运行；其中，低延时视频压缩过程包括以下步骤：

（A1）通过VI模块采集视频，VI和VPSS均采用ONLINE模式，同时采用提前发送中断的方式，实现一边采集一边编码；

（A2）VENC视频编码模块的GOP结构采用P帧帧内刷新模式，码率控制算法采用CBR算法；

（A3）发送VENC编码后的数据，查询已编码的码流长度，码流长度达到设定阈值就送出去；

智能目标识别过程包括以下步骤：

（B1）将两个NNIE核进行相同的初始化操作，加载相同的wk文件；

（B2）从VPSS通道实时获取一帧完整的图像ExtFrm；

（B3）根据帧计数，把ExtFrm存入YUV环形缓冲区的对应地址；

（B4）将ExtFrm进行色度空间转换，从YUV图像转换为RGB图像；

（B5）根据帧计数，把RGB图像存入RGB环形缓冲区的对应地址；

（B6）使用两个线程，调用两个不同的NNIE核，交替从RGB环形缓冲区读取RGB图像，并识别，实现两个NNIE核并行计算；

（B7）把图像识别的结果与时标打包存入步骤（A3）的VENC编码的码流的用户数据区域，与码流同时下传；

（B8）释放对应的ExtFrm的存储空间；

（B9）地面接收到码流信息，解码图像，并把图像存入缓冲区，解码用户数据的目标信息与时标，根据对目标信息的识别从图像缓冲区取出对应的图像，把目标信息在对应的图像上进行标注并显示。

Images