CN116260800A - 一种基于嵌入式平台的视频实时叠加处理装置及方法 - Google Patents

Abstract

本发明涉及一种基于嵌入式平台的视频实时叠加处理装置及方法，包括：核心处理器和视频转换芯片；所述视频转换芯片用于将HDMI视频信号输入转换为MIPI信号输出至核心处理器；所述核心处理器还与外部网络相连接，压缩格式视频基于RTSP协议封装成视频流通过网络传输，核心处理器接收到视频流后进行协议解析并解码，提取出原始视频数据；所述核心处理器采集到的视频通过融合叠加算法引擎进行处理，并由核心处理器输出并显示；经过处理的原始视频数据利用核心处理器内部的硬件编码核进行编码，再基于RTSP协议封装为视频流通过网络推送。本发明能够在不占用CPU计算资源的情况下实现了4K超高清视频实时融合叠加等功能。

Description

一种基于嵌入式平台的视频实时叠加处理装置及方法

技术领域

本发明属于嵌入式计技术领域，涉及一种视频实时叠加处理装置及方法，尤其是一种基于嵌入式平台的视频实时叠加处理装置及方法。

背景技术

随着图形图像处理技术、软件技术和计算机技术的飞速发展，国外先进武器已配备了功能强大、显示图形复杂、大屏幕高分辨率、高集成度的综合显示系统取代老式机械仪表和CRT显示器。基于嵌入式平台的视频实时叠加处理装置是综合显示系统的核心组成部分，其功能包括视频编解码、图形及视频融合叠加等以满足高速数据处理显示的需求。图像分辨率越高其承载的有效数据量越大，图形处理速度越快就越能够尽早获得重要战场信息。当前，综合显示系统中的基于嵌入式平台的视频实时叠加处理装置大多是基于非国产化的专用图形处理芯片实现的，但是对其芯片内部结构并不知晓，显然不符合关键元器件自主可控的要求。部分实现国产化的图形处理芯片虽然能够实现高分辨率图形显示功能，但是其性能仍无法满足多通道图形实时融合叠加等复杂计算任务的需求，并且在功耗敏感应用方面具有一定的局限性。目前比较成熟的嵌入式方案是基于DSP+FPGA组合架构，DSP作为图形处理计算核心负责执行复杂图形算法，FPGA作为协处理器负责底层算法逻辑处理。但是，DSP在处理分辨率高于1080p的视频图像时就已经遭遇到瓶颈，在FPGA中实现视频处理算法的复杂度高且开发周期较长。另外，DSP+FPGA架构会降低整个综合显示系统系统集成度，不利于系统升级维护。

综上所述，现有的综合显示系统基于嵌入式平台的视频实时叠加处理装置依靠专用图形处理器或DSP执行复杂图形处理算法。然而图形处理器功耗较高，DSP虽然功耗低但图形处理性能无法满足高分辨率实时性的需求。

经检索，未发现与本发明相同或相似的现有技术的专利文献。

发明内容

本发明的目的在于克服现有技术的不足，提出一种基于嵌入式平台的视频实时叠加处理装置及方法，能够在不占用CPU计算资源的情况下实现了4K超高清视频实时融合叠加等功能。

本发明解决其现实问题是采取以下技术方案实现的：

一种基于嵌入式平台的视频实时叠加处理装置，包括：核心处理器和视频转换芯片；所述视频转换芯片的输入端与核心处理器相连接，用于将HDMI视频信号输入转换为MIPI信号输出至核心处理器；所述核心处理器还与外部网络相连接，压缩格式视频基于RTSP协议封装成视频流通过网络传输，核心处理器接收到视频流后进行协议解析并解码，提取出原始视频数据；所述核心处理器采集到的视频通过融合叠加算法引擎进行处理，并由核心处理器输出并显示；经过处理的原始视频数据利用核心处理器内部的硬件编码核进行编码，再基于RTSP协议封装为视频流通过网络推送。

而且，所述核心处理器采用国产海思Hi3559AV100芯片。

而且，所述核心处理器模块包括：

VO模块，该模块绑定一片连续地址的内存区域，存储或更新图像矩阵数据，VO模块基于配置的帧率参数，定时主动从内存相应位置读取视频和图形数据，并通过相应的显示设备输出视频和图形；

VI模块，从龙讯LT6911UXC芯片的视频转换驱动MIPI输出接口获取图像，或者基于RTSP视频流作为视频输入源，VDEC模块集成硬件解码算法，视频源经VDEC解码器解压后的源图像经由VPSS模块进行缩放处理后，输出到VO模块的某一通道显示；

VENC模块，集成硬件压缩算法，将原始视频转换为压缩视频流，通过数据传输通道传递至RTSP视频封装接口，推送至网络；

VPSS模块集成图形处理算法，具备图形裁剪、缩放等功能，能够通过数据传输通道与VENC模块或SVP智能处理模块连接，VENC模块能够实现视频实时编码；SVP智能处理模块，能够实现视频智能处理算法，对图形进行模糊处理或融合叠加。

一种基于嵌入式平台的视频实时叠加处理方法，包括以下步骤：

步骤1、CPU1获取融合叠加参数，如透明度、叠加坐标；

步骤2、CPU1获取源图形矩阵；

步骤3、CPU1依据输入的融合叠加参数，生成叠加目标区域掩膜，截取待叠加区域矩阵；

步骤4、CPU2获取融合叠加参数，如透明度、窗口大小；

步骤5、CPU1获取目的图形矩阵；

步骤6、CPU2依据输入的融合叠加参数，调用图形缩放算法对图形进行缩放处理；

步骤7、将源图形待叠加区域矩阵、经处理后的融合叠加参数提交至AlphaBlend混合叠加算法模块进行初始化；

步骤8、异构并行加速引擎的初始化阶段，构建多个计算块Block，每个计算块Block内包含多个计算单元Unit，所有计算单元Unit执行相同的算法任务，同时将目的图形矩阵存储于一块连续的共享内存中，并将该内存区域划分为与计算单元Unit相同数量的子区域，不同子区域分别与对应的计算单元Unit进行绑定，将算法任务切分为多个任务子集，最终将任务结合提交至异构并行加速引擎执行单元进行并行运算处理；

步骤9、输出叠加处理后的视频。

本发明的优点和有益效果：

1、本发明提出一种基于嵌入式平台的视频实时叠加处理装置及方法，针对综合显示系统基于嵌入式平台的视频实时叠加处理装置对高分辨率视频图像实时融合叠加处理的应用需求，构建了基于异构架构的嵌入式平台替代功耗较高的图形处理器，在不占用CPU计算资源的情况下实现了4K超高清视频实时融合叠加等功能。同时，为了摆脱关键核心器件受制于人的局面，所述发明采用国产嵌入式架构芯片作为核心处理器，不仅实现了综合显示系统关键技术的自主可控，系统的低功耗和高性能等需求也得到了保证。

2、本发明提出了一种用于综合显示系统基于嵌入式平台的视频实时叠加处理装置的视频实时叠加方法，实现了4K超高清视频实时融合叠加功能。同时采用嵌入式异构架构芯片作为核心处理器，利用其异构系统架构在保证低功耗的同时提升图形处理性能，降低系统延时，能够将功耗控制在15W以内，视频处理延迟不高于20ms。另外，本发明实现所使用的核心处理器为国产化芯片，满足自主可控的要求。

附图说明

图1为本发明的基于嵌入式平台的视频实时叠加处理装置数据流图；

图2为本发明的软件架构层次图；

图3为本发明的核心处理器的组成框图；

图4为本发明的基于嵌入式平台的视频实时叠加处理方法处理流程图。

具体实施方式

以下结合附图对本发明实施例作进一步详述：

一种基于嵌入式平台的视频实时叠加处理装置，如图1所示，包括：核心处理器和视频转换芯片；所述视频转换芯片的输入端与核心处理器相连接，用于将HDMI视频信号输入转换为MIPI信号输出至核心处理器；所述核心处理器还与外部网络相连接，压缩格式视频基于RTSP协议封装成视频流通过网络传输，核心处理器接收到视频流后进行协议解析并解码，提取出原始视频数据；所述核心处理器采集到的视频通过融合叠加算法引擎进行处理，并由核心处理器输出并显示；经过处理的原始视频数据利用核心处理器内部的硬件编码核进行编码，再基于RTSP协议封装为视频流通过网络推送。

所述核心处理器采用国产海思Hi3559AV100芯片。

在本实施例中，本发明的具体内容包括硬件和软件两方面。关键器件包括核心处理器和视频转换芯片。

其中，核心处理器采用国产海思Hi3559AV100芯片，典型功耗为5W，具备双核ARMCortexA73@1.8GHz，双核ARMCortexA53@1.2GHz处理单元；具备硬件视频编解码核，对于H.264编码可支持最大分辨率为8192x8640，对于H.265编码可支持最大分辨率为16384x8640，H264/H.265视频解码最高支持到7680x4320@30fps或3840x2160@120fps。

由于海思Hi3559AV100芯片不支持HDMI视频输入，因此采用国产龙讯LT6911UXC协议转换芯片，该芯片最大可支持4K@60fps视频输入，能够将HDMI视频信号输入转换为MIPI信号输出。

图1描述的是所述综合显示系统基于嵌入式平台的视频实时叠加处理装置数据流。视频信号通过两种方式输入：一种是HDMI信号输入到视频转换芯片，输出MIPI信号作为海思处理器视频输入；另一种是H.264/H.265压缩格式视频基于RTSP协议封装成视频流通过网络传输，海思处理器接收到视频流后进行协议解析并解码，从而提取出原始视频数据。上述两种模式采集到的视频通过融合叠加算法引擎进行处理，并由海思处理器HDMI接口输出并显示。

另外，经过处理的原始视频也可以利用海思处理器内部的硬件编码核进行编码，再基于RTSP协议封装为视频流通过网络推送。所述方案能够实现最多6路视频的实时叠加处理。

图2描述的是所述综合显示系统基于嵌入式平台的视频实时叠加处理装置软件架构。整个系统功能层次分为硬件层、操作系统层、操作系统适配层、驱动层、媒体软件处理平台和应用层。其中，操作系统采用嵌入式Linux操作系统；操作系统适配层包括对海思处理器的配置、经裁剪后的设备树以及设备驱动程序；多媒体软件处理平台是针对海思处理器各功能模块的二次开发工具；应用层调用媒体软件处理平台提供的接口函数，针对综合显示系统基于嵌入式平台的视频实时叠加处理装置应用需求实现了实时融合叠加等功能。

所述核心处理器模块包括：

1)VO模块实现，该模块绑定一片连续地址的内存区域，存储或更新图像矩阵数据，VO模块基于配置的帧率参数，定时主动从内存相应位置读取视频和图形数据，并通过相应的显示设备输出视频和图形；2)高清视频层的通道具有缩放能力，VI模块从龙讯LT6911UXC芯片的视频转换驱动MIPI输出接口获取图像，或者基于本发明设计的RTSP视频流作为视频输入源，VDEC模块集成硬件解码算法，视频源经VDEC解码器解压后的源图像经由VPSS模块进行缩放处理后，输出到VO模块的某一通道显示；3)高清视频层的通道具备视频压缩能力，VENC模块集成硬件压缩算法，能够将原始视频转换为压缩视频流，通过数据传输通道传递至本发明设计的RTSP视频封装接口，推送至网络；4)如果输出给VO通道的图像超过VO的通道区域大小，则VO将会对图像进行缩放；5)VPSS模块集成图形处理算法，具备图形裁剪、缩放等功能，能够通过数据传输通道与VENC模块或SVP智能处理模块连接，VENC模块能够实现视频实时编码，SVP智能处理模块能够实现视频智能处理算法，对图形进行模糊处理或融合叠加。

一种基于嵌入式平台的视频实时叠加处理方法，主处理器海思Hi3559AV100芯片具备2个CPU核心，分别标注为CPU1,和CPU2，如图3和图4所示，为了充分利用处理器性能，本发明并行调度两颗CPU实现视频处理过程，包括以下步骤：

步骤1、CPU1获取融合叠加参数，如透明度、叠加坐标等；

步骤2、CPU1获取源图形矩阵；

步骤3、CPU1依据输入的融合叠加参数，生成叠加目标区域掩膜，截取待叠加区域矩阵；

步骤4、CPU2获取融合叠加参数，如透明度、窗口大小等；

步骤5、CPU1获取目的图形矩阵；

步骤6、CPU2依据输入的融合叠加参数，调用图形缩放算法对图形进行缩放处理；

步骤7、将源图形待叠加区域矩阵、经处理后的融合叠加参数提交至AlphaBlend混合叠加算法模块进行初始化，AlphaBlend能够实现透明处理，更适用于并行化处理，能够依托于异构并行加速引擎提升算法执行性能；

步骤8、异构并行加速引擎的初始化阶段，构建多个计算块Block，每个计算块Block内包含多个计算单元Unit，所有计算单元Unit执行相同的算法任务，同时将目的图形矩阵存储于一块连续的共享内存中，并将该内存区域划分为与计算单元Unit相同数量的子区域，不同子区域分别与对应的计算单元Unit进行绑定，如此将算法任务切分为多个任务子集，最终将任务结合提交至异构并行加速引擎执行单元进行并行运算处理；

步骤9、输出叠加处理后的视频。

在本实施例中，基于国产化嵌入式平台的综合显示系统基于嵌入式平台的视频实时叠加处理装置软件开发环境为海思多媒体软件处理平台，部署在Ubuntu操作系统中。关键代码是由标准C++编程语言实现，应用程序编译使用海思处理器专用的GCC编译器。具体实施方式包含以下两个方面：

1)多通道视频实时融合叠加

视频融合叠加是将多路视频信号叠加融合形成一路视频信号输出到一个显示设备进行显示。本发明实现的基于嵌入式平台的视频实时叠加处理装置支持对最多6路4K超高清视频进行融合叠加，其中一路视频在输出视频中作为背景，缩放至显示器支持的尺寸，另外5路视频作为前景叠加在背景之上以小窗口的方式显示，实现画中画以及半透明效果，前景与背景的视频可择源和切换，前景视频的叠加位置、尺寸、优先级等显示参数能够任意调节且视频叠加效果的控制可实时进行。

基于嵌入式平台的视频实时叠加处理装置视频处理功能由多个子功能模块组成，如图3所示；视频融合叠加依托于融合叠加引擎与异构并行加速引擎实现，对于固定在每个显示设备上面对应的视频层，最高能够支持4K分辨率60帧视频输出。一个视频层上可叠加显示多个视频，每一个视频显示区域称为一个通道，通道归属于视频层管理，视频被限制通道内，通道被限制在视频层内。视频叠加的技术方案包括以下步骤：1)VO模块实现，该模块模块主动从内存相应位置读取视频和图形数据，并通过相应的显示设备输出视频和图形；2)高清视频层的通道具有缩放能力，VI模块或经VDEC解码器解压后的源图像经由VPSS模块进行缩放处理后，输出到VO模块的某一通道显示；3)如果输出给VO通道的图像超过VO的通道区域大小，则VO将会对图像进行缩放；4)VPSS模块输出的通道与VENC模块或SVP智能处理模块连接，实现视频实时编码与智能算法处理。

另外，为了实现视频半透明效果，同时降低视频处理延迟，本发明引入了异构并行加速引擎，依托于Hi3559A的多核心处理器以及内置图形处理器，基于OpenCL架构实现AlphaBlend混合叠加算法加速，能够将视频处理延时降低至20ms以内。视频实时融合处理加速技术的实现，如图4所示，包括以下步骤：1)CPU1获取融合叠加参数，如透明度、叠加坐标等；2)CPU1获取源图形矩阵；3)CPU1依据输入的融合叠加参数，生成叠加目标区域掩膜，截取待叠加区域矩阵；4)CPU2获取融合叠加参数，如透明度、窗口大小等；5)CPU1获取目的图形矩阵；6)CPU2依据输入的融合叠加参数，调用图形缩放算法对图形进行缩放处理；7)将源图形待叠加区域矩阵、经处理后的目的图形矩阵和融合叠加参数提交至AlphaBlend混合叠加算法模块进行透明处理；8)将算法任务切分为多个任务子集提交至异构并行加速引擎进行并行运算处理；9)输出叠加处理后的视频。

为了对超清和高清显示设备软件上支持多个通道同时输出显示，按照优先级顺序对输出图像进行叠加，当各个通道的画面有重叠区域时，优先级高的图像显示在上层，如果各个通道优先级一致，则通道号越大的默认优先级越高。同时，应用OSD区域叠加技术在不同的网络视频窗口上叠加通道号标记便于区分不同显示通道。

本发明实现的基于嵌入式平台的视频实时叠加处理装置采用MIPI视频输入通道。MIPIRx是一种支持多种差分视频输入接口的采集单元，通过电压差分信号接收原始视频数据，将接收到的串行差分信号转化为DC时序后传递给Hi3559A的视频采集模块。MIPI接口使用CSI-2协议中的短包进行同步。MIPIRx支持MIPID-PHY、LVDS等串行视频输入信号，同时兼容DC视频接口，支持多种速度和分辨率的数据传输需求，支持多种外部输入设备。视频转换芯片的中断引脚与Hi3559A的GPIO引脚相连，外部输入分辨率发生变化时，会触发转换芯片中断。动态分辨率自适应技术方案包括以下步骤：1)Hi3559A底层驱动捕获到GPIO中断后会上报给海思固件程序；2)在中断时间内，固件程序通过I2C接口读取MIPI视频输出信息；3)根据读取到的行有效信号、场有效信号和像素时钟信号计算出输入视频图像的分辨率和帧率；4)Hi3559A根据视频图像参数对输入通道进行配置。需要强调的是，由于MIPI传输速率有最低限制，使用4条Lane传输低分辨率视频会存在不稳定的问题，因此对转换芯片固件和Hi3559A固件程序做出了调整。当像素时钟小于80M时只使用Lane0单条Lane；像素时钟大于等于80M小于150M时使用Lane0和Lane1两条Lane；大于等于150M时使用4条Lane或8条Lane。在外部HDMI输入视频分辨率不断变化的情况下，所述基于嵌入式平台的视频实时叠加处理装置能够快速检测到分辨率变化并进行输入输出自适应调整，整个过程全部自主完成无需外部配置，且视频信号输出稳定。

本发明的创新之处在于：

本发明的基于嵌入式平台的视频实时叠加处理装置通过HDMI输入接口采集4K原始视频，实现了6路3840ⅹ2160分辨率60Hz超高清视频实时融合叠加功能。同时采用嵌入式异构架构芯片作为核心处理器，基于其异构系统架构设计实现了异构并行加速引擎，能够将功耗控制在15W以内。同时，依托于异构并行加速引擎提升AlphaBlend混合叠加算法处理性能，实现视频处理延迟不高于20ms。

需要强调的是，本发明所述实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (4)

1.一种基于嵌入式平台的视频实时叠加处理装置，其特征在于：包括：核心处理器和视频转换芯片；所述视频转换芯片的输入端与核心处理器相连接，用于将HDMI视频信号输入转换为MIPI信号输出至核心处理器；所述核心处理器还与外部网络相连接，压缩格式视频基于RTSP协议封装成视频流通过网络传输，核心处理器接收到视频流后进行协议解析并解码，提取出原始视频数据；所述核心处理器采集到的视频通过融合叠加算法引擎进行处理，并由核心处理器输出并显示；经过处理的原始视频数据利用核心处理器内部的硬件编码核进行编码，再基于RTSP协议封装为视频流通过网络推送。

2.根据权利要求1所述的一种基于嵌入式平台的视频实时叠加处理装置，其特征在于：所述核心处理器采用国产海思Hi3559AV100芯片。

3.根据权利要求1所述的一种基于嵌入式平台的视频实时叠加处理装置，其特征在于：所述核心处理器包括：

VO模块，该模块绑定一片连续地址的内存区域，存储或更新图像矩阵数据，VO模块基于配置的帧率参数，定时主动从内存相应位置读取视频和图形数据，并通过相应的显示设备输出视频和图形；

VI模块，从龙讯LT6911UXC芯片的视频转换驱动MIPI输出接口获取图像，或者基于RTSP视频流作为视频输入源，VDEC模块集成硬件解码算法，视频源经VDEC解码器解压后的源图像经由VPSS模块进行缩放处理后，输出到VO模块的某一通道显示；

VENC模块，集成硬件压缩算法，将原始视频转换为压缩视频流，通过数据传输通道传递至RTSP视频封装接口，推送至网络；

VPSS模块集成图形处理算法，具备图形裁剪、缩放等功能，能够通过数据传输通道与VENC模块或SVP智能处理模块连接，VENC模块能够实现视频实时编码；SVP智能处理模块，能够实现视频智能处理算法，对图形进行模糊处理或融合叠加。

4.一种基于嵌入式平台的视频实时叠加处理方法，其特征在于：包括以下步骤：

步骤1、CPU1获取融合叠加参数；

步骤2、CPU1获取源图形矩阵；

步骤3、CPU1依据输入的融合叠加参数，生成叠加目标区域掩膜，截取待叠加区域矩阵；

步骤4、CPU2获取融合叠加参数；

步骤5、CPU1获取目的图形矩阵；

步骤6、CPU2依据输入的融合叠加参数，调用图形缩放算法对图形进行缩放处理；

步骤7、将源图形待叠加区域矩阵、经处理后的融合叠加参数提交至AlphaBlend混合叠加算法模块进行初始化；

步骤8、异构并行加速引擎的初始化阶段，构建多个计算块Block，每个计算块Block内包含多个计算单元Unit，所有计算单元Unit执行相同的算法任务，同时将目的图形矩阵存储于一块连续的共享内存中，并将该内存区域划分为与计算单元Unit相同数量的子区域，不同子区域分别与对应的计算单元Unit进行绑定，将算法任务切分为多个任务子集，最终将任务结合提交至异构并行加速引擎执行单元进行并行运算处理；

步骤9、输出叠加处理后的视频。

Images