CN111193877B - 一种arm-fpga协同的广域视频实时融合方法及嵌入式设备 - Google Patents

Abstract

本发明公开了一种ARM‑FPGA协同的广域视频实时融合方法及嵌入式设备，ARM‑FPGA协同的广域视频实时融合方法包括读取Linux操作系统的镜像文件，启动整个Linux嵌入式操作系统，并完成系统的Linux内核、文件系统以及设备树的初始化配置和视频流解码库的加载；获取第一数量路网络摄像机视频流，并基于视频流解码库进行解码，得到第一数量路视频的帧图像；基于存储至安全数码卡内的查找表文件对第一数量路视频的帧图像进行融合处理，得到全景图像，其中，查找表文件包括第一坐标映射表、第二坐标映射表和加权融合权重列表。实现运用查找表文件，用于缝合线拼接方式下不同场景、监控视角、位置视频影像间的融合，具有良好的通用性。

Description

一种ARM-FPGA协同的广域视频实时融合方法及嵌入式设备

技术领域

本发明涉及安防监控技术领域，尤其涉及一种ARM-FPGA协同的广域视频实时融合方法及嵌入式设备。

背景技术

作为有效的监控手段，视频网络摄像机早已在城市安防、公共交通管理、生产控制等众多应用邻域中发挥了不可替代的作用，尤其是新一代网络摄像机IPC，可将采集的模拟视频信号编码压缩成数字信号并通过网络总线传送到Web服务器，授权用户可直接用浏览器实时观看网络摄像机视频，还可控制网络摄像机云台转动镜头或对系统配置进行操作，使得远程监控实施以及施工、维护更简单。然而，单个网络摄像机只能采集有限位置、视角的视频信息，其空间信息割裂、碎片化，不利于全面了解目标在区域行为状态，这极大地限制了监控系统作用的发挥。目前扩大视频监控视角、位置范围主要有两种方案：一是采用超广角的全景网络摄像机(如鱼眼相机)直接获得360°视野的全景视频，二是在监控区域内规划设置多个固定摄像头，后台再通过全景拼接技术融合不同位置监控设备采集的多路视频流以实现宏大场景视觉信息的集中呈现。两种方案相比，前者采集视频图像几何畸变较大，不符合人眼观察习惯；后者应用更灵活，可充分利用已有的传统监控设备，且大景深、高分辨率全景网络摄像机本身也是以特定方式组合多个普通摄像头得到。因此急需一种监控广域视频实时融合的图像拼接技术。

发明内容

本发明的目的在于提供一种ARM-FPGA协同的广域视频实时融合方法及嵌入式设备，旨在解决急需一种监控广域视频实时融合的图像拼接技术的问题。

为实现上述目的，第一方面，本发明提供了一种ARM-FPGA协同的广域视频实时融合方法，包括：

读取与第一处理器连接的安全数码卡的Linux操作系统的镜像文件，启动整个Linux嵌入式操作系统，并完成系统的Linux内核、文件系统以及设备树的初始化配置和视频流解码库的加载；

获取第一数量路网络摄像机视频流，并基于视频流解码库进行解码，得到第一数量路视频的帧图像，并存储至与所述第一处理器连接的第一DDR存储芯片内；

基于存储至安全数码卡内的查找表文件对第一数量路视频的帧图像进行融合处理，得到全景图像，其中，所述查找表文件包括第一坐标映射表、第二坐标映射表和加权融合权重列表；具体步骤包括：读取同一时刻的第一数量路帧图像，并对第一数量路的每一路帧图像进行分块处理，得到每一路帧图像对应的三个图像块，所述图像块包括每一路帧图像的独立区域和相邻两路的重合区域；

获取每一路帧图像的独立图像块，并基于第一坐标映射表和第二坐标映射表对独立图像块的每个像素点进行双线性插值处理，得到全景图像上的第二数量个独立部分；

获取相邻两路帧图像的重合图像块，并基于加权融合权重列表对重合区域的图像块的每个像素点进行双线性插值处理，得到全景图像上的第三数量个重合部分；其中，所述第二数量等于所述第一数量，所述第三数量等于第一数量减去一。

在一实施方式中，在基于存储至安全数码卡内的查找表文件对第一数量路视频的帧图像进行融合处理，得到全景图像之前，所述方法还包括：

转换第一数量路视频的帧图像的数据格式为DDR存储格式，并存储至与第二处理器连接的第二DDR存储芯片内。

在一实施方式中，在基于存储至安全数码卡内的查找表文件对第一数量路视频的帧图像进行融合处理，得到全景图像之后，所述方法还包括：

传输所述全景图像至与所述第一处理器连接的第一DDR存储芯片内缓存；

获取所述全景图像，并转换处理为RGB888格式，同时生成所述全景图像进行HDMI显示需要的视频时序，所述视频时序包括行同步、场同步和像素时钟；

对每一帧RGB888格式全景图像信号进行差分转换和对像素时钟进行编码之后，将全景图像和时钟信号送至显示器进行解码并实时显示视频图像。

第二方面，本发明提供一种嵌入式设备，包括第一处理器、以太网控制器、DDR控制器、安全数码卡、多个第一DDR存储芯片、第二处理器和第二DDR存储芯片，所述以太网控制器、所述DDR控制器和所述安全数码卡分别与所述第一处理器电性连接，多个所述第一DDR存储芯片与所述DDR控制器电性连接，所述第二处理器通过AXI总线协议与所述第一处理器进行数据通信，所述第二DDR存储芯片与所述第二处理器电性连接；其中，

所述第一处理器，用于整体调度、视频流传输与解码、查找表文件数据加载与保存以及拼接视频存储与推送；

所述以太网控制器，用于通过网口访问网络摄像机、控制网络视频流的传输，基于开源库对视频流进行解码；

所述DDR控制器，用于启动Linux嵌入式操作系统本地运行、缓存视频流解码得到的各路帧图像、缓存同一时刻各路帧图像拼接结果；

所述安全数码卡，用于存放查找表文件数据和Linux操作系统镜像文件；

所述第一DDR存储芯片，用于存储解码后的帧图像；

所述第二处理器，用于视频帧采样、帧图像基于查找表文件分块、帧图像融合及视频拼接结果本地显示；

所述第二DDR存储芯片，用于缓存从所述第一DDR存储芯片读取的同一时刻的各路帧图像。

在一实施方式中，所述第二处理器包括VDMA视频流搬运模块、第一视频流格式转换模块、视频时序控制模块、图像融合处理模块、第二视频流格式转换模块和HDMI显示控制模块，所述VDMA视频流搬运模块、所述图像融合处理模块和所述视频时序控制模块均通过AXI总线传输协议与所述第一处理器进行数据通信，所述VDMA视频流搬运模块、所述第一视频流格式转换模块、所述第二DDR存储芯片、所述图像融合处理模块、所述第二视频流格式转换模块和所述HDMI显示控制模块依次电性连接，所述VDMA视频流搬运模块和所述视频时序控制模块均与所述第二视频流格式转换模块电性连接；其中，

所述VDMA视频流搬运模块，用于读取所述第一DDR存储芯片内存储的各路帧图像数据和全景图像；

所述第一视频流格式转换模块，用于将各路帧图像数据转化为DDR存储格式；

所述图像融合处理模块，用于实现各路帧图像实时融合；

所述第二视频流格式转换模块，用于将全景图像的数据格式转换处理为RGB888格式；

所述视频时序控制模块，用于生成所述全景图像进行HDMI显示需要的视频时序；

所述HDMI显示控制模块，用于对每一帧RGB888格式全景图像信号进行差分转换和对像素时钟进行编码之后，将全景图像和时钟信号送至显示器进行解码并实时显示视频图像。

在一实施方式中，所述VDMA视频流搬运模块包括配置单元和访问单元，所述配置单元，用于配置VDMA视频图像传输通道，包括读、写通道的图像宽度、图像高度、单个像素占用的内存字节以及图像数据的颜色空间；

所述访问单元，用于主动访问与第一处理器连接的第一DDR存储芯片的内存，并根据配置的参数对第一DDR存储芯片缓存的视频图像数据进行搬运。

本发明的一种ARM-FPGA协同的广域视频实时融合方法及嵌入式设备，通过包括外接第一DDR存储芯片的第一处理器与外接第二DDR存储芯片的第二处理器，运行于第一处理器中的Linux操作系统从网络实时获取多路摄像机(IPC)视频流并解码缓存于第一DDR存储芯片，第二处理器从第一处理器外接第一DDR存储芯片中读取同一时刻各路帧图像，先缓存于第二处理器外接第二DDR存储芯片再进行融合处理，既解决了第二处理器片上存储空间受限问题，又弥补了第一处理器运算速度较慢、图像实时处理困难之不足。根据各路摄像机(IPC)空间位置固定、多路监控视频到拼接视频的坐标映射关系不发生变化的特点，将多路视频图像到拼接视频的坐标映射关系、缝合线像素融合权重系数制作成查找表文件并存放于安全数码卡，实际融合时仅需在第二处理器中进行简单乘法、加法运算即可，从而能充分发挥第二处理器并行计算效率；此外，由于查找表文件数据结构统一，独立于图像配准过程及配准模型、参数数量，可适用于缝合线拼接方式下不同场景、监控视角、位置视频影像间的融合，具有良好的通用性。所述ARM-FPGA协同的广域视频实时融合方法及嵌入式设备，实时性高，系统运行功耗低，具有良好的实用价值和嵌入式应用前景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明ARM-FPGA协同的广域视频实时融合方法的流程示意图；

图2是本发明嵌入式设备的结构示意图；

图3是本发明嵌入式设备的具体结构示意图；

图4是本发明VDMA视频流搬运模块的结构示意图；

图5是本发明实施例中的查找表数据结构示意图；

图6是本发明实施例中各路视频到拼接视频的坐标映射过程示意图；

图7是本发明实施例中各路视频图像上的像素双线性插值采样示意图；

图8是本发明实施例中视频重叠区域缝合线像素加权融合计算过程示意图；

图9是本发明实施例中三路视频流帧图像的分块示意图；

图中：100-嵌入式设备、10-第一处理器、20-以太网控制器、30-DDR控制器、40-安全数码卡、50-第一DDR存储芯片、60-第二处理器、70-第二DDR存储芯片、601-VDMA视频流搬运模块、602-第一视频流格式转换模块、603-视频时序控制模块、604-图像融合处理模块、605-第二视频流格式转换模块、606-HDMI显示控制模块、6011-配置单元、6012-访问单元。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

请参阅图1，本发明提供一种ARM-FPGA协同的广域视频实时融合方法的流程示意图。如图1所示，所述ARM-FPGA协同的广域视频实时融合方法可以包括以下步骤：

S101、读取与第一处理器10连接的安全数码卡40的Linux操作系统的镜像文件，启动整个Linux嵌入式操作系统，并完成系统的Linux内核、文件系统以及设备树的初始化配置和视频流解码库的加载。

在本发明实施例中，所述第一处理器10是ARM处理器，一个32位元精简指令集(RISC)处理器，选择Cortex-A9内核处理器，所述安全数码卡40(SD卡)是一种基于半导体快闪记忆器的新一代记忆设备，用于存储网络视频。Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和Unix的多用户、多任务、支持多线程和多CPU的操作系统。Linux不仅系统性能稳定，而且是开源软件。其核心防火墙组件性能高效、配置简单，保证了系统的安全。开放源码使得用户可以自由裁剪，灵活性高，功能强大，成本低。镜像文件其实和rar ZIP压缩包类似，它将特定的一系列文件按照一定的格式制作成单一的文件，以方便用户下载和使用。视频流解码库的加载是为了对网络摄像机视频流进行解密。

S102、获取第一数量路网络摄像机视频流，并基于视频流解码库进行解码，得到第一数量路视频的帧图像，并存储至与所述第一处理器10连接的第一DDR存储芯片50内。

在本发明实施例中，通过以太网控制器20可以访问多个网口，每个网口都连接了一个网络摄像机(IPC)，获取第一数量路网络摄像机视频流，并基于存储至SD卡内的视频流解码库进行解码，得到第一数量路视频的帧图像，并存储至ARM处理器的第一DDR存储芯片50。所述第一DDR存储芯片50是双倍数据率同步动态随机存取存储器，具有双倍速率传输数据的特性。

S103、基于存储至安全数码卡40内的查找表文件对第一数量路视频的帧图像进行融合处理，得到全景图像，其中，所述查找表文件包括第一坐标映射表、第二坐标映射表和加权融合权重列表。

在本发明实施例中，在基于存储至安全数码卡40内的查找表文件对第一数量路视频的帧图像进行融合处理，得到全景图像之前，转换第一数量路视频的帧图像的数据格式为DDR存储格式，并存储至与第二处理器60连接的第二DDR存储芯片70内。读取同一时刻的第一数量路帧图像，并对第一数量路的每一路帧图像进行分块处理，得到每一路帧图像对应的三个图像块，所述图像块包括每一路帧图像的独立区域和相邻两路的重合区域；

获取每一路帧图像的独立图像块，并基于第一坐标映射表和第二坐标映射表对独立图像块的每个像素点进行双线性插值处理，得到全景图像上的第二数量个独立部分；

获取相邻两路帧图像的重合图像块，并基于加权融合权重列表对重合区域的图像块的每个像素点进行双线性插值处理，得到全景图像上的第三数量个重合部分；其中，所述第二数量等于所述第一数量，所述第三数量等于第一数量减去一。

在基于存储至安全数码卡40内的查找表文件对第一数量路视频的帧图像进行融合处理，得到全景图像之后，传输所述全景图像至与所述第一处理器10连接的第一DDR存储芯片50内缓存；获取所述全景图像，并转换处理为RGB888格式，同时生成所述全景图像进行HDMI显示需要的视频时序，所述视频时序包括行同步、场同步和像素时钟；对每一帧RGB888格式全景图像信号进行差分转换和对像素时钟进行编码之后，将全景图像和时钟信号送至显示器进行解码并实时显示视频图像。

其中，基于第一坐标映射表、第二坐标映射表和加权融合权重列表对各路帧图像进行融合处理。现举例说明查找表文件的制作过程。如图5所示，所述第一数量为三，即以三路视频流为例，每一路的视频图像的分辨率大小，宽度是W，高度是H，最终的全景拼接图像宽度是3*W，高度是H；由于相邻的两路图像之间有重叠的区域，三路视频图像在最终的全景拼接图像上，共有五部分ID[0]-ID[4]，每个ID的大小在查找表文件代表每个部分在全景图像上所占的宽度，所以有ID[0]+ID[1]+ID[2]+ID[3]+ID[4]＝3*W。全景图像上第二数量个的ID[0]、ID[2]、ID[4]分别是三路视频图像的独立部分，全景图像上第三数量个的ID[1]、ID[3]分别是第一、第二路以及第二、第三路视频图像的重叠部分；基于全景图像，制作查找表文件，主要包括第一坐标映射表MapX和第二坐标映射表MapY以及重叠部分的加权融合权重列表MapW，MapX和MapY存放全景图像在每一路原始图像上插值采样的浮点型坐标，如图6、图7所示；MapW存放重叠部分的像素点在灰度插值之后，进行加权融合的权重值，如图8所示；全景图像的ID[0]、ID[2]、ID[4]是独立的部分，分别来源于每路视频帧图像，所以在映射表存放的是一个独立的浮点型坐标，需要映射到对应的每路视频帧图像上进行插值采样并获取全景图像上ID[0]、ID[2]、ID[4]部分的像素点的灰度值。ID[1]和ID[3]是重叠部分，需要映射到对应的相邻的两路视频帧图像上进行插值采样得到两个灰度值，并通过查找加权融合权重列表得到两个灰度值的权重，最后进一步的加权平均处理，如图8所示，才能得到全景图像上ID[1]和ID[3]部分的像素点的灰度值，所以在坐标映射表上，需要“复制”ID[1]和ID[3]的浮点型坐标，以便通过全景图像的坐标，能够同时索引到相邻的两路视频帧图像，并分别在这两路视频帧图像上进行插值采样。

如图6所示，是在视频帧图像上坐标映射的过程。全景拼接图像的宽度是3*W，高度是H，包括ID[0]-ID[4]共五部分，每个ID[*]代表每部分在全景图像上所占有的宽度，通过每个ID[*]部分的每个像素点在全景图像上的(整数型)坐标(X,Y)，可以索引到当前像素点在MapX和MapY上对应的浮点型的映射坐标(x,y)，需要根据坐标(x,y)映射到视频帧图像上进行插值采样并完成全景图像上每个像素点的灰度赋值，如图7所示。如果是ID[1]和ID[3]重叠部分，通过全景图像坐标(X,Y)可以在查找表索引到两个映射坐标(x,y)和(x',y'，)，分别对应相邻的两路视频帧图像，如图8所示，其中的X取值范围是0至3*W-1，Y取值范围是0至H-1，x和x'，的取值范围是0至W-1,y和y'，的取值范围是0至H-1。

如图7所示，对全景图像的ID[0]、ID[2]、ID[4]独立部分，只有单个浮点型映射坐标(x，y)，只在相应的视频帧图像做双线性插值采样。在X方向上，坐标点(x，y_z)的灰度值I(x，y_z)＝(x-x_z)*I(x_z+1，y_z)+(1-x+x_z)*I(x_z，y_z)，坐标点(x，y_z+1)的灰度值I(x，y_z+1)＝(x-x_z)*I(x_z+1，y_z+1)+(1-x+x_z)*I(x_z，y_z+1)；在Y方向上，坐标(x,y)的灰度值I(x，y)＝(y-y_z)*I(x，y_z+1)+(1-y+y_z)*I(x，y_z)；

所以视频帧图像上的映射坐标(x,y)的最终灰度值I(x,y)＝(y-y_z)*((x-x_z)*I(x_z+1,y_z+1)+(1-x+x_z)*I(x_z,y_z+1))+(1-y+y_z)*((x-x_z)*I(x_z+1,y_z)+(1-x+x_z)*I(x_z,y_z))，其中的(x_z,y_z)是浮点型坐标(x,y)分别在X和Y方向上取整之后的坐标。

如图8所示，是ID[1]/ID[3]重叠部分的最佳缝合子区域的加权融合权重列表制作原理，对于全景图像的ID[1]、ID[3]重叠部分，遍历每个像素点可以索引到MapX和MapY存放的两个映射坐标(x，y)和(x'，y'，)，根据图6、图7的过程可以回到对应的视频帧图像上进行插值采样，得到两个灰度值I(x，y)和I(x',y'，)，并通过当前像素点在全景图像的坐标(X，Y)，索引存放于MapW的ID[1]/ID[3]重叠部分的最佳缝合子区域的加权融合权重列表，分别得到灰度值I(x，y)和I(x'，y')做加权融合处理所需要的权重值w1、w2(w1+w2＝1)，经过最后的融合处理得到全景图像的重叠部分在当前像素点的最终灰度值I(X，Y)＝w1*I(x'，y')+w2*I(x，y)。在图8中，重叠部分的最佳缝合子区域的宽度是M(这里指定M＝11计算权重列表，M可以指定其他的大小，但M小于ID[1]、ID[3]重叠部分的宽度)，如果当前像素点在全景图像的坐标(X，Y)位于最佳缝合子区域之外并且在重叠部分的左边，那w1、w2的加权融合权重分别是1、0；如果当前像素点在全景图像的坐标(X，Y)位于最佳缝合子区域之外并且在重叠部分的右边，那w1、w2的加权融合权重分别是0、1；如果当前像素点在全景图像的坐标(X，Y)位于最佳缝合子区域，那w1＝(X-Ji)/M，w2＝1-w1，其中Ji是通过最佳缝合线确定的，在宽度为M的缝合区域上的某一行的开始列坐标。可以离线计算全景图像上的重叠部分的每个像素点,所对应的加权融合权重值，并制作成相应的列表MapW存放于整个查找表文件。

如图9所示，是每路视频帧图像进行分块的过程。从图7、8可知，对于ID[1]/ID[3]重叠部分需要对相邻的两路视频帧图像进行双线性插值采样，而ID[0]/ID[2]/ID[4]部分只需要对相应的各路视频帧图像进行双线性插值采样。重叠部分ID[1]的每个像素点在MapX和MapY上可以查找得到两个采样点坐标，分别对应相邻的第一、第二路视频帧图像，ID[1]重叠部分的所有像素点所对应的采样点坐标数据，在第一路视频帧图像上会有一个最靠左边的采样点(如图9)，即列坐标是所有采样点中最小的；ID[1]重叠部分的所有像素点所对应的采样点坐标数据，在第二路视频帧图像上会有一个最靠右边的采样点，即列坐标是所有采样点中最大的。同样的，重叠部分ID[3]的每个像素点在MapX和MapY上可以查找得到两个采样点坐标，分别对应相邻的第二、第三路视频帧图像。所以，可对三路视频帧图像分别进行如图9所示的分块。

整个操作流程为：开始给所述嵌入式设备100供上电，ARM处理器读取SD卡的Linux操作系统的镜像文件，启动整个Linux嵌入式操作系统，并完成系统的Linux内核、文件系统以及设备树的初始化配置和FFmpeg视频流解码库的加载；然后初始化FPGA处理器的硬件配置，包括使用开发好的图像融合处理模块604、HP高速数据传输接口以及VDMA视频流搬运模块601；ARM处理器运行FFmpeg对各路网络视频流进行解码，得到各路视频的帧图像，缓存于ARM处理器外接的第一DDR存储芯片50；FPGA处理器借助HP1口，通过VDMA视频流搬运模块601对ARM处理器的第一DDR存储芯片50进行访问，读取同一时刻的各路帧图像，并经过数据格式的转换，写到FPGA处理器外接的大容量第二DDR存储芯片70；FPGA处理器处理器的图像融合处理模块604开始工作，读取FPGA外接的第二DDR存储芯片70，得到各路视频的帧图像，并依次的对每一路的帧图像进行处理；图像融合处理模块604的内部，先将第一路的帧图像分成三块，如图9，并进行相应的双线性插值处理，同时FPGA处理器借助HP2、HP3高速传输接口读取存放于ARM处理器的SD卡的ID[0]的MapX和MapY，并分成相应的三块进行双线性插值处理；然后，将第二路的帧图像分成三块，并进行相应的双线性插值处理，同时FPGA处理器借助HP2、HP3高速传输接口读取存放于ARM处理器的SD卡的ID[2]的MapX和MapY，并分成相应的三块进行相应的双线性插值处理；然后，将第三路的帧图像分成三块，如图9，并进行相应的双线性插值处理，同时FPGA处理器借助HP2、HP3高速传输接口读取存放于ARM的处理器SD卡的ID[4]的MapX和MapY，并进行相应的双线性插值处理；对于ID[1]和ID[3]重叠部分，还需要分时复用HP3高速传输接口，读取SD卡的加权融合权重列表MapW；将每个ID的像素点的灰度值组合成最终的全景图像，借助HP4高速传输接口，将每个ID对应的处理结果送至SD卡存放；FPGA处理器的VDMA视频流搬运模块601可以搬运全景图像进行本地的显示；最后，判断各路视频流的帧图像是否最后一帧，如果不是，继续的重复每一路视频的每一帧图像的处理。

当ARM处理器提供给FPGA处理器的工作时钟限定为100MHz频率、FPGA片上存储资源Block RAM限定为5MB时，完成一个像素点的融合处理(含数据传输)平均耗时40ns，1024*1080分辨率大小的视频影像融合处理约44.3ms/帧，该分辨率下三路视频融合效率可达22帧/秒，完全满足视频监控的应用需要。

第二方面，请参阅图2、图3和图4，本发明提供一种嵌入式设备100，包括第一处理器10、以太网控制器20、DDR控制器30、安全数码卡40、多个第一DDR存储芯片50、第二处理器60和第二DDR存储芯片70，所述以太网控制器20、所述DDR控制器30和所述安全数码卡40分别与所述第一处理器10电性连接，多个所述第一DDR存储芯片50与所述DDR控制器30电性连接，所述第二处理器60通过AXI总线协议与所述第一处理器10进行数据通信，所述第二DDR存储芯片70与所述第二处理器60电性连接；其中，

所述第一处理器10，用于整体调度、视频流传输与解码、查找表文件数据加载与保存以及拼接视频存储与推送；

所述以太网控制器20，用于通过网口访问网络摄像机、控制网络视频流的传输，基于开源库对视频流进行解码；

所述DDR控制器30，用于启动Linux嵌入式操作系统本地运行、缓存视频流解码得到的各路帧图像、缓存同一时刻各路帧图像拼接结果；

所述安全数码卡40，用于存放查找表文件数据和Linux操作系统镜像文件；

所述第一DDR存储芯片50，用于存储解码后的帧图像；

所述第二处理器60，用于视频帧采样、帧图像基于查找表文件分块、帧图像融合及视频拼接结果本地显示；

所述第二DDR存储芯片70，用于缓存从所述第一DDR存储芯片50读取的同一时刻的各路帧图像。

在本实施方式中，所述第一处理器10是ARM处理器，选择Cortex-A9内核处理器。ARM处理器外接所述以太网控制器20，通过所述以太网控制器20可以访问多个网口，每个网口都连接了一个网络摄像机(IPC)；ARM处理器还外接了DDR控制器30，通过DDR控制器30可以访问外部的多个第一DDR存储芯片50，第一DDR存储芯片50是双倍数据率同步动态随机存取存储器，为具有双倍数据传输率的SDRAM，其数据传输速度为系统时钟频率的两倍，由于速度增加，其传输性能优于传统的SDRAM，第一DDR存储芯片50用于嵌入式操作系统Linux在ARM处理器上的运行，以及网络视频流经过FFmpeg解码之后的帧图像在本地的缓存；ARM处理器外接的安全数码卡40(SD卡)，用于存储Linux嵌入式操作系统的镜像文件、查找表文件以及专门的用于网络视频流编、解码的开源库FFmpeg，当嵌入式设备100供电之后，ARM处理器从SD卡加载启动整个Linux操作系统，FFmpeg可以挂载到Linux上面并通过ARM处理器编写的应用程序访问以太网接口的网络视频流数据包，在ARM处理器内部经过FFmpeg解码之后存储于外接的第一DDR存储芯片50；所述第二处理器60为FPGA处理器，是专用集成电路中的一种半定制电路，是可编程的逻辑列阵，用于视频帧采样、帧图像基于查找表文件分块、帧图像融合及视频拼接结果本地显示，FPGA处理器外接第二DDR存储芯片70，用于缓存从所述第一DDR存储芯片50读取的同一时刻的各路帧图像。

进一步的，所述第二处理器60包括VDMA视频流搬运模块601、第一视频流格式转换模块602、视频时序控制模块603、图像融合处理模块604、第二视频流格式转换模块605和HDMI显示控制模块606，所述VDMA视频流搬运模块601、所述图像融合处理模块604和所述视频时序控制模块603均通过AXI总线传输协议与所述第一处理器10进行数据通信，所述VDMA视频流搬运模块601、所述第一视频流格式转换模块602、所述第二DDR存储芯片70、所述图像融合处理模块604、所述第二视频流格式转换模块605和所述HDMI显示控制模块606依次电性连接，所述VDMA视频流搬运模块601和所述视频时序控制模块603均与所述第二视频流格式转换模块605电性连接；其中，

所述VDMA视频流搬运模块601，用于读取所述第一DDR存储芯片50内存储的各路帧图像数据和全景图像；

所述第一视频流格式转换模块602，用于将各路帧图像数据转化为DDR存储格式；

所述图像融合处理模块604，用于实现各路帧图像实时融合；

所述第二视频流格式转换模块605，用于将全景图像的数据格式转换处理为RGB888格式；

所述视频时序控制模块603，用于生成所述全景图像进行HDMI显示需要的视频时序；

所述HDMI显示控制模块606，用于对每一帧RGB888格式全景图像信号进行差分转换和对像素时钟进行编码之后，将全景图像和时钟信号送至显示器进行解码并实时显示视频图像。

其中，所述VDMA视频流搬运模块601包括配置单元6011和访问单元6012，所述配置单元6011，用于配置VDMA视频图像传输通道，包括读、写通道的图像宽度、图像高度、单个像素占用的内存字节以及图像数据的颜色空间；

所述访问单元6012，用于主动访问与第一处理器10连接的第一DDR存储芯片50的内存，并根据配置的参数对第一DDR存储芯片50缓存的视频图像数据进行搬运。

在本实施方式中，所述第二处理器60封装了AXI的三种子协议，包括AXI-Lite、AXI4、AXI-Stream，AXI-Lite服务于所述配置单元6011，用于ARM处理器配置VDMA视频图像传输通道，包括读、写通道的图像宽度、图像高度、单个像素占用的内存字节以及图像数据的颜色空间；AXI4服务于所述访问单元6012，用于FPGA处理器主动访问ARM处理器的第一DDR存储芯片50的内存，并根据AXI-Lite配置好的参数对ARM处理器本地缓存的视频图像数据进行搬运；AXI-Stream用于FPGA处理器从ARM处理器搬运过来的AXI4格式的每一帧视频图像转换成流格式的数据，以便在FPGA处理器内部高效传输，流格式的视频数据先经过FPGA处理器的所述第一视频流格式转换模块602，将AXI-Stream格式的视频流转成符合DDR存储格式的数据，再缓存于FPGA处理器外接的大容量第二DDR存储芯片70。所述图像融合处理模块604从FPGA处理器外接的第一DDR存储芯片50，分别的读取同一时刻的各路图像进行加速融合处理，处理之后得到的全景图像先通过的写通道传回ARM处理器的第一DDR存储芯片50进行缓存，再通过的读通道搬运到FPGA处理器的第二视频流格式转换模块605，将AXI-Stream流格式的视频图像数据转变到RGB888颜色空间，同时FPGA处理器的所述视频时序控制模块603，在ARM处理器的配置和控制下产生全景图像进行HDMI显示需要的视频时序，包括行同步、场同步和像素时钟等信号；所述第二视频流格式转换模块605输出每一帧RGB888格式的图像并传输到所述HDMI显示控制模块606，所述HDMI显示控制模块606内部对每一帧RGB888图像信号进行差分转换和对像素时钟进行编码之后，将图像和时钟信号送至外接的显示器，显示器的显示屏幕会自动完成每一帧图像和时钟信号的解码并实时显示视频图像。

其中，分别的读取同一时刻的各路图像进行加速融合处理，处理之后得到的全景图像，所述全景图像是基于查找表文件处理得到的，所述查找表文件包括第一坐标映射表、第二坐标映射表和加权融合权重列表。查找表的制作过程及全景图像的处理过程在上述ARM-FPGA协同的广域视频实时融合方法相同，此处不再赘述。

本发明的一种ARM-FPGA协同的广域视频实时融合方法及嵌入式设备100，通过包括外接第一DDR存储芯片50的第一处理器10与外接第二DDR存储芯片70的第二处理器60，运行于第一处理器10中的Linux操作系统从网络实时获取多路摄像机(IPC)视频流并解码缓存于第一DDR存储芯片50，第二处理器60从第一处理器10外接第一DDR存储芯片50中读取同一时刻各路帧图像，先缓存于第二处理器60外接第二DDR存储芯片70再进行融合处理，既解决了第二处理器60片上存储空间受限问题，又弥补了第一处理器10运算速度较慢、图像实时处理困难之不足。根据各路摄像机(IPC)空间位置固定、多路监控视频到拼接视频的坐标映射关系不发生变化的特点，将多路视频图像到拼接视频的坐标映射关系、缝合线像素融合权重系数制作成查找表文件并存放于安全数码卡40，实际融合时仅需在第二处理器60中进行简单乘法、加法运算即可，从而能充分发挥第二处理器60并行计算效率；此外,由于查找表文件数据结构统一,独立于图像配准过程及配准模型、参数数量,可适用于缝合线拼接方式下不同场景、摄影视角、位置视频影像间的融合,具有良好的通用性。所述ARM-FPGA协同的广域视频实时融合方法及嵌入式设备100，实时性高，系统运行功耗低，具有良好的实用价值和嵌入式应用前景。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (6)

1.一种ARM-FPGA协同的广域视频实时融合方法，其特征在于，包括：

读取与第一处理器连接的安全数码卡的Linux操作系统的镜像文件，启动整个Linux嵌入式操作系统，并完成系统的Linux内核、文件系统以及设备树的初始化配置和视频流解码库的加载；

获取第一数量路网络摄像机视频流，并基于视频流解码库进行解码，得到第一数量路视频的帧图像，并存储至与所述第一处理器连接的第一DDR存储芯片内；

基于存储至安全数码卡内的查找表文件对第一数量路视频的帧图像进行融合处理，得到全景图像，其中，所述查找表文件包括第一坐标映射表、第二坐标映射表和加权融合权重列表；具体步骤包括：读取同一时刻的第一数量路帧图像，并对第一数量路的每一路帧图像进行分块处理，得到每一路帧图像对应的三个图像块，所述图像块包括每一路帧图像的独立区域和相邻两路的重合区域；

获取每一路帧图像的独立图像块，并基于第一坐标映射表和第二坐标映射表对独立图像块的每个像素点进行双线性插值处理，得到全景图像上的第二数量个独立部分；

获取相邻两路帧图像的重合图像块，并基于加权融合权重列表对重合区域的图像块的每个像素点进行双线性插值处理，得到全景图像上的第三数量个重合部分；其中，所述第二数量等于所述第一数量，所述第三数量等于第一数量减去一。

2.如权利要求1所述的ARM-FPGA协同的广域视频实时融合方法，其特征在于，在基于存储至安全数码卡内的查找表文件对第一数量路视频的帧图像进行融合处理，得到全景图像之前，所述方法还包括：

转换第一数量路视频的帧图像的数据格式为DDR存储格式，并存储至与第二处理器连接的第二DDR存储芯片内。

3.如权利要求1所述的ARM-FPGA协同的广域视频实时融合方法，其特征在于，在基于存储至安全数码卡内的查找表文件对第一数量路视频的帧图像进行融合处理，得到全景图像之后，所述方法还包括：

传输所述全景图像至与所述第一处理器连接的第一DDR存储芯片内缓存；

获取所述全景图像，并转换处理为RGB888格式，同时生成所述全景图像进行HDMI显示需要的视频时序，所述视频时序包括行同步、场同步和像素时钟；

对每一帧RGB888格式全景图像信号进行差分转换和对像素时钟进行编码之后，将全景图像和时钟信号送至显示器进行解码并实时显示视频图像。

4.一种用于执行如权利要求1至权利要求3任一项所述的ARM-FPGA协同的广域视频实时融合方法的嵌入式设备，其特征在于，

包括第一处理器、以太网控制器、DDR控制器、安全数码卡、多个第一DDR存储芯片、第二处理器和第二DDR存储芯片，所述以太网控制器、所述DDR控制器和所述安全数码卡分别与所述第一处理器电性连接，多个所述第一DDR存储芯片与所述DDR控制器电性连接，所述第二处理器通过AXI总线协议与所述第一处理器进行数据通信，所述第二DDR存储芯片与所述第二处理器电性连接；其中，

所述第一处理器，用于整体调度、视频流传输与解码、查找表文件数据加载与保存以及拼接视频存储与推送；

所述以太网控制器，用于通过网口访问网络摄像机、控制网络视频流的传输，基于开源库对视频流进行解码；

所述DDR控制器，用于启动Linux嵌入式操作系统本地运行、缓存视频流解码得到的各路帧图像、缓存同一时刻各路帧图像拼接结果；

所述安全数码卡，用于存放查找表文件数据和Linux操作系统镜像文件；

所述第一DDR存储芯片，用于存储解码后的帧图像；

所述第二处理器，用于视频帧采样、帧图像基于查找表文件分块、帧图像融合及视频拼接结果本地显示；

所述第二DDR存储芯片，用于缓存从所述第一DDR存储芯片读取的同一时刻的各路帧图像。

5.如权利要求4所述的嵌入式设备，其特征在于，

所述第二处理器包括VDMA视频流搬运模块、第一视频流格式转换模块、视频时序控制模块、图像融合处理模块、第二视频流格式转换模块和HDMI显示控制模块，所述VDMA视频流搬运模块、所述图像融合处理模块和所述视频时序控制模块均通过AXI总线传输协议与所述第一处理器进行数据通信，所述VDMA视频流搬运模块、所述第一视频流格式转换模块、所述第二DDR存储芯片、所述图像融合处理模块、所述第二视频流格式转换模块和所述HDMI显示控制模块依次电性连接，所述VDMA视频流搬运模块和所述视频时序控制模块均与所述第二视频流格式转换模块电性连接；其中，

所述VDMA视频流搬运模块，用于读取所述第一DDR存储芯片内存储的各路帧图像数据和全景图像；

所述第一视频流格式转换模块，用于将各路帧图像数据转化为DDR存储格式；

所述图像融合处理模块，用于实现各路帧图像实时融合；

所述第二视频流格式转换模块，用于将全景图像的数据格式转换处理为RGB888格式；

所述视频时序控制模块，用于生成所述全景图像进行HDMI显示需要的视频时序；

所述HDMI显示控制模块，用于对每一帧RGB888格式全景图像信号进行差分转换和对像素时钟进行编码之后，将全景图像和时钟信号送至显示器进行解码并实时显示视频图像。

6.如权利要求5所述的嵌入式设备，其特征在于，

所述VDMA视频流搬运模块包括配置单元和访问单元，所述配置单元，用于配置VDMA视频图像传输通道，包括读、写通道的图像宽度、图像高度、单个像素占用的内存字节以及图像数据的颜色空间；

所述访问单元，用于主动访问与第一处理器连接的第一DDR存储芯片的内存，并根据配置的参数对第一DDR存储芯片缓存的视频图像数据进行搬运。

Images