CN113225491A - 一种嵌入式多镜头全景视频成像方法及装置 - Google Patents

Abstract

本发明公开了一种嵌入式多镜头全景视频成像方法及装置，包括ARM端、GPU端和多路摄像头，将任一所述摄像头作为圆心，其余多个所述摄像头采用水平环绕式均匀阵列于处于圆心的所述摄像头四周；对ARM端进行初始化，并读取查找表和对缓存池内存进行划分；获取多路摄像头数据，并对所述摄像头数据进行缓存和格式转换；基于核函数的多个形参，利用双线性插值法对得到的多路输入影像进行运算和加速，生成对应的全景影像；根据全景影像帧率与分辨率对显示屏参数进行设置，并在设置完成后对所述全景影像进行输出，同时释放缓存，完成全景视频输出显示，能够实现多路视频的实时拼接。

Description

一种嵌入式多镜头全景视频成像方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种嵌入式多镜头全景视频成像方法及装置。

背景技术

作为有效的监控手段，网络视频摄像机早已在城市安防、管理以及生产控制中发挥了不可替代的作用，但传统监控摄像机只能采集有限位置、视角的视频信息，不利于全面了解目标在区域内的行为状态。目前用于安防的商用全景摄像机可概略分为两类：鱼眼摄像机和多镜头摄像机。相比于输出视频分辨率低且存在严重畸变的鱼眼摄像机，由若干不同视角、物理独立的传统监控摄像机封装而成的多镜头摄像机，更能提高我们对周围环境和事物的辨识、感受及监控能力。

视频拼接是多镜头摄像机全景成像的关键技术。视频实质上是由一系列静态的帧图像组成，所以视频拼接的本质是帧图像的实时拼接。目前，多镜头摄像机多路视频拼接处理主要在高性能PC机后台完成。相对于PC机及图像工作站，基于嵌入式平台的多镜头全景成像无论在功耗、成本还是体积上都有着无法比拟的优势，但嵌入式平台处理器主频低、内存小、硬件资源较少，难以实现多路视频实时拼接。

发明内容

本发明的目的在于提供一种嵌入式多镜头全景视频成像方法及装置，能够实现多路视频的实时拼接。

为实现上述目的，第一方面，本发明提供了一种嵌入式多镜头全景视频成像方法，包括以下步骤：

对ARM端进行初始化，读取拼接查找表到内存中，并根据影像分辨率大小对视频缓存池内存进行划分；

获取多路摄像头视频数据，并对所述视频数据进行图像预处理后缓存到所述视频缓存池中；

基于核函数的多个形参，利用双线性插值法对得到的多路输入影像进行运算和加速，生成对应的全景影像；

根据全景影像帧率与分辨率对显示屏参数进行设置，并在设置完成后对所述全景影像进行输出，同时释放缓存，完成全景视频输出显示。

其中，对ARM端进行初始化，读取拼接查找表到内存中，并根据影像分辨率大小对视频缓存池内存进行划分之前，所述方法还包括：

获取多个相同设备型号的摄像头，将任一所述摄像头作为圆心，其余多个所述摄像头采用水平环绕式均匀阵列于处于圆心的所述摄像头四周；

基于Slave模式对多个所述摄像头和所述ARM端进行时钟同步。

其中，对ARM端进行初始化，读取拼接查找表到内存中，并根据影像分辨率大小对视频缓存池内存进行划分之前，所述方法还包括：

基于图像配准的方法获取多组数据，每组数据均包括四种参数值，其中，四种所述参数值分别为待拼接影像对应全景影像的浮点型横坐标、待拼接影像对应全景影像的浮点型纵坐标、像素点灰度值在线融合时在全景影像中的权重值、每路所述摄像头采集的影像在拼接图像上投影后的行列坐标范围；

基于多组数据构建对应的所述查找表。

其中，对ARM端进行初始化，读取拼接查找表到内存中，并根据影像分辨率大小对视频缓存池内存进行划分，包括：

对硬件和OpenCL设备进行初始化，并根据多路视频与输出全景影像分辨率大小为缓存池分内存，以及初始化所述缓存池；

将查找表中的四种参数值分别拷贝到float类型的Map结构体中。

其中，基于核函数的多个形参，利用双线性插值法对得到的多路输入影像进行运算和加速，生成对应的全景影像，包括：

从核函数形参中获取所述ARM端传递的源图宽高、拼接影像宽高以及多路输入影像在全景影像中映射后的起始行列与终止行列参数；

基于当前所述核函数全局索引号计算出待处理坐标点和行宽列宽范围；

利用双线性插值法对所述查找表和原始影像进行计算，得到全景影像待处理坐标点的初始像素值；

判断所述待处理坐标点是否位于重叠区域，并基于获取的权重值对所述待处理坐标点初始像素值进行加权融合，得到对应的全景影像。

其中，利用双线性插值法对所述查找表和原始影像进行计算，得到全景影像待处理坐标点的初始像素值，包括：

根据当前所述核函数全局索引号计算出所述查找表对应的第二坐标点；

获取所述查找表在所述第二坐标点上的浮点型坐标与权重；

将所述输入影像与所述浮点型坐标进行双线性插值，得到全景影像上的所述待处理坐标点的像素值。

第二方面，本发明提供了一种嵌入式多镜头全景视频成像装置，适用于如第一方面所述的一种嵌入式多镜头全景视频成像方法，

所述嵌入式多镜头全景视频成像装置包括ARM端、GPU端和多路摄像头；将任一所述摄像头作为圆心，其余多个所述摄像头采用水平环绕式均匀阵列于处于圆心的所述摄像头四周；

多路所述摄像头分别通过使用Slave模式协议的MIPI总线与所述ARM端连接，所述ARM端与所述GPU端通过PCIE总线连接。

本发明的一种嵌入式多镜头全景视频成像方法及装置，包括ARM端、GPU端和多路摄像头，多路摄像头通过使用Slave模式协议的MIPI总线与所述ARM端连接；将任一所述摄像头作为圆心，其余多个所述摄像头采用水平环绕式均匀阵列于处于圆心的所述摄像头四周；对ARM端进行初始化，并读取查找表和对缓存池内存进行划分；获取多路摄像头数据，并对所述摄像头数据进行缓存和格式转换；基于核函数的多个形参，利用双线性插值法对得到的多路输入影像进行运算和加速，生成对应的全景影像；根据全景影像帧率与分辨率对显示屏参数进行设置，并在设置完成后对所述全景影像进行输出，同时释放缓存，完成全景视频输出显示，能够实现多路视频的实时拼接。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的一种嵌入式多镜头全景视频成像方法的步骤示意图。

图2是本发明提供的一种嵌入式多镜头全景视频成像方法的流程示意图。

图3是本发明提供的程序部署结构图。

图4是本发明提供的基于查找表图像拼接流程图。

图5是本发明提供的实时拼接主机端程序流程图。

图6是本发明提供的实时拼接设备端程序流程图。

图7是本发明提供的Slave模式下IMX290与Hi3559a硬件连接图。

图8是本发明提供的五路摄像头位置框图。

图9是本发明提供的查找表结构示意图。

图10是本发明提供的查找表、原始影像、全景影像对应关系图。

图11是本发发明提供的基于移动帧测图像拼接示意图。

1-ARM端、2-GPU端。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

请参阅图1至图11，本发明提供一种嵌入式多镜头全景视频成像方法，包括以下步骤：

S101、对ARM端1进行初始化，读取拼接查找表到内存中，并根据影像分辨率大小对视频缓存池内存进行划分。

具体的，ARM端1的程序主要负责系统的IO控制以及内存管理，是保证视频能够实时拼接融合的前提。HI3559A主机端程序流程如图5所示，如图8所示，本发明提供5路摄像头作为本发明的其中一个实施例，在实际应用中，采用5路及以上的摄像头均可采用本发明的方法得到全景视频，其执行过程如下：

1)初始化OpenCL设备，主要包括创建kernel函数、命令队列以及向执行设备提交并行处理任务(本发明中主要为五路视频的双线性插值计算)等。

2)创建设备端GPU全局缓存，主要包括一幅全景影像、5幅源图、查找表与匀光系数等缓存。

3)从TF卡中读取查找表，并将查找表中的二维数组Mapx、Mapy、Weight、WrapCol与匀光系数拷贝到float类型的Map结构体中。

4)向核函数传递参数，主要包括全景影像、5路源图、查找表、匀光系数等内存地址。

5)调用共享虚拟内存映射函数clEnqueueSVMMap将全景影像、5路源图映射到设备端缓存。

5)主机端(ARM)对工作项和工作组进行分配，并向命令队列提交要执行的核函数，设备端即可从命令队列中提取要执行的核函数(kernel)运行核函数。

S102、获取多路摄像头视频数据，并对所述视频数据进行图像预处理后缓存到所述视频缓存池中。

具体的，启动Vi模块，捕获多路摄像头数据，将捕获到的视频帧数据(输入影像)存入视频缓存池中，将Vi绑定到VPSS模块准备进行下一阶段处理。

在VPSS模块中为了降低CPU使用率，提高处理速度，调用海思硬件加速模块IVE_CSC进行图像像素空间格式转换，将在Vi中传入的每一路格式为YUV420P图像转换为RGB888格式，为后续插值投影做准备。

S103、基于核函数的多个形参，利用双线性插值法对得到的多路输入影像进行运算和加速，生成对应的全景影像。

具体的，在GPU中调用核函数进行坐标重映射并行计算。GPU核根据ARM主机端对工作项和工作组的分配，从命令队列中提取要执行的任务(多路影像插值运算)，启动并行处理任务，运行并行加速核函数Kernel。在第一帧全景影像处理时，使用已经导入的查找表与与得到的多路经过像素空间格式转换的原始影像进行插值处理得到第一帧全景影像；将全景影像数据同步到宿主机ARM所能读取到的视频缓存池中；将得到的全景图像绑定输出模块vo输出显示。

运行在HI3559A设备端(GPU)的程序其主要负责双线性插值运算并行加速，是保证视频能实时拼接融合的核心部分。设备端核函数的程序流程图如图6所示，其执行过程如下：

1)首先从核函数形参中获取ARM端1传递的源图宽高、拼接影像宽高以及多路输入影像在全景影像中映射后的起始行列与终止行列等参数；

2)根据当前核函数全局索引号tid计算出全景影像上待处理坐标点(x1,y1)；

3)根据当前核函数局部索引号pid判断待拼接影像的路数num以及待拼接影像在全景图上的列宽行宽坐标范围WrapCol[num]；

4)根据当前核函数全局索引号tid计算查找表mapx[num]、mapy[num]、weight[num]第二坐标点(x2,y2)；

5)取出查找表mapx[num]、mapy[num]、weight[num]在第二坐标点(x2,y2)上的浮点型坐标(x3,y3)与权重w；

6)根据输入影像srcimg[num]与浮点型坐标(x3,y3)进行双线性插值得到全景影像上待处理坐标点(x1,y1)的像素值p；

7)根据WrapCol[num]判断待处理坐标(x1,y1)是否处于重叠区域内，如果不处于重叠区域，则直接将像素值p写入到全景影像坐标点(x1,y1)后返回进入下一轮映射，如果处于重叠区域则进行下一步骤；

8)设全景影像在待处理坐标点(x1,y1)上的原像素值为p0。对全景影像上坐标点(x1,y1)进行加权融合后得到p2，将像素值p2重新写入到全景影像坐标点(x1,y1)后返回，进入下一轮映射。

加权融合公式为：

p₂＝p₀(1-w)+p*w

S104、根据全景影像帧率与分辨率对显示屏参数进行设置，并在设置完成后对所述全景影像进行输出，同时释放缓存，完成全景视频输出显示。

具体的，在VO模块中根据显示器分辨率、帧率大小设置输出影像分辨率、帧率，设置完成后进行HDMI输出显示，输出完成后释放各视频缓存块为下一帧全景影像拼接做准备。

所述方法还包括：

视频图像在拼接融合过程受外界因素影响较大，视频采集设备输入图像的质量、曝光差异不同都会对最终输出的全景影像，产生不同程度的影响，故本发明采用同一个生产商且同种型号具有MIPI CSI接口的索尼IMX290摄像头为全景成像系统提供多路视频流输入。Hi3559a拥有16lane的MIPI总线，最大支持2*8lane数据传输，其与IMX290具良好的兼容性。摄像头与处理器连接分为Master模式和Slave模式，其中Slave模式可以控制不同摄像头之间同步信号，使摄像头曝光起始时间基本保持一致，由此消除不同摄像头之间的曝光时间差，以保证摄像头之间成像同步，避免因为时差造成拼接缝出现错位现象。本发明选用Slave模式作为处理器与摄像头之间的连接协议。本发明以5路摄像头进行举例描述，在实际应用中，可以采用5路及以上的摄像头使用本发明的方法得到全景视频，5路IMX290与HI3559A的Slave模式连接如图7所示，其中5路差分信号线Lane0到Lane4分别作为摄像头高速信号采集线，5路差分信号线clock0到clock4作为5路摄像头时钟线，5路半双工I2C总线，作为sensor采样控制信号线，HI3559A可通过I2C对sensor进行同步信号控制、不同的输出格式选择、缩放控制及其他一些特殊效果。

为了得到有重叠区域的5路实时视频影像，本发明将5路摄像头位置关系设为如图8所示。4路摄像头chn1、chn2、chn3与chn4以水平环绕方式布置，摄像头间相互度夹角为90度，4路摄像头启动后将会捕获相互有水平重叠区域的影像1、影像2、影像3与影像5。为了获得垂直方向的视场信息，摄像头chn5以垂直于方式布置于4路摄像头的中心，chn5启动后将会捕获与水平4路影像有重叠区域的实时影像4。

所述方法还包括：

本发明生成的查找表结构如图9所示。图中二维数组mapx[0]、mapx[1]、mapx[2]、mapx[3]、mapx[4]表示经过所选择的配准方法计算而得到的五路视频影像对应全景影像的插值采样浮点型横坐标；二维数组mapy[0]、mapy[1]、mapy[2]、mapy[3]、mapy[4]表示五路视频影像对应拼接图像插值采样浮点型纵坐标；二维数组weight[0]、weight[1]、weight[2]、weight[3]、weight[4]表示每一路视频帧影像经过查找表插值采样后得到的像素点灰度值在线融合时的权重(贡献)大小，该数组大小与对应的mapx、mapy大小相同，该数组元素(权重值)取值范围为[0,1],取值大小结合拼接线邻域位置信息给出，其中：权重值为0时表示对应位置像素位于视频拼接线邻域外，否则位于视频拼接线邻域内；一维数组warpCol[0]、warpCol[1]、warpCol[2]、warpCol[3]、warpCol[4]表示每一路视频影像在拼接图像上投影后的行列坐标范围。

某一路原始影像、查找表参数、与全景影像的对应关系如图10所示，其中：mapx[0]、mapy[0]、weight[0]、warpCol[0]为原始影像1对应全景影像的查找表参数集，w1为原始影像1映射到拼接影像后在全景影像上的有效可视区域。假设原始影像1中某像素点经过配准变换后在查找表mapx[0]、mapy[0]的值为(x',y')，对(x',y')向下取整可以得到(x,y)，在查找表weight[0]中对应的权重值为w；假设原始影像1中点(x,y)对应像素值为f(x,y)，全景影像上待插值点(u,v)初始像素值为g₀(u,v)，通过查表和双线性插值可以得到全景图像在坐标点(u,v)对应像素值为g(u,v)，在重叠区域如下所示：

其中，δ_x＝x'-x,δ_y＝y'-y，K₁＝(1-δ_x)(1-δ_y)，K₂＝(1-δ_x)δ_y，K₃＝δ_x(1-δ_y)，K₄＝δ_xδ_y

公式符号说明：g(u,v)为全景图像在坐标点(u,v)对应像素值；

g₀(u,v)为全景影像上待插值点(u,v)初始像素值；

w为在查找表weight[0]中对应坐标(x,y)的元素值；

f(x,y)为原始影像1中点(x,y)对应像素值；

f(x,y+1)为原始影像1中点(x,y+1)对应像素值；

f(x+1,y)为原始影像1中点(x+1,y)对应像素值；

f(x+1,y+1)为原始影像1中点(x+1,y+1)对应像素值；

(x',y')为查找表数组mapx[0]、mapy[0]所对应全景影像上待插值坐标点的浮点型横纵坐标；

(x,y)为浮点坐标(x',y')向下取整后得到的整形坐标。

本发明的多镜头全景成像前端拼接方案分为以下1、2、3三个部分。

1、如图4所示，为减少多路视频拼接计算量、缩短计算时间，本发明将在图像配准阶段得到的每一路摄像机的原始图像与相应的全景图像的坐标映射关系存储到一张查找表中，并将查找表提前存储在前端拼接平台；后续每一帧全景图像的输出将依据已获取的映射查找表，按照双线性插值的方法进行重映射得到全景影像。

2、本发明将在ARM端1完成视频读取、内存映射、视频输出显示等功能；在GPU端2对多张视频影像拼接过程进行加速，进而实现多路视频实时拼接融合。

本发明在通用ARM+GPU架构上的软件部署如图3所示，分为ARM端1与GPU端2程序部署。本发明在ARM端1部署完整的Linux操作系统，负责系统的软件及硬件管理维护；部署文件系统JFS2，负责系统文件的管理；部署用户应用程序，负责多路摄像头采集控制、全景影像输出控制、内存映射等；部署系统所需要的所有驱动程序，主要包括摄像头驱动、网络设备驱动、显示设备驱动、存储器驱动程序等。在GPU端2部署多路视频影像拼接模块AVS。ARM端1与GPU端2之间的数据交互通过在ARM端1开辟的共享内存实现。

3、在具有硬件解码器或者硬件移动侦测的ARM+GPU设备上可通过解码器或者硬件移动侦测获取运动区域宏块表。如图11所示，某路视频帧影像在左下角发生了运动变化，经移动侦测后，运动宏块表在大于阈值的区域运动矢量输出为1，表示该区域发生了运动变化；小于阈值的区域运动矢量输出为0，表示该宏块与前一帧相同位置宏块的像素值都相同，没有发生运动变化。得出运动宏块表后，可根据查找表位置对应关系确定运动矢量为1的区域范围；最后使用在运动区域内的查找表值与相对应的原始影像像素值在拼接影像中进行投影映射得到拼接影像。

请参阅图7和图8，本发明提供一种嵌入式多镜头全景视频成像装置，适用于所述的一种嵌入式多镜头全景视频成像方法，

所述嵌入式多镜头全景视频成像装置包括ARM端1、GPU端2和多路摄像头，将任一所述摄像头作为圆心，其余多个所述摄像头采用水平环绕式均匀阵列于处于圆心的所述摄像头四周；

多路所述摄像头分别通过使用Slave模式协议的MIPI总线与所述ARM端1连接，所述ARM端1与所述GPU端2通过PCIE总线连接。

在本实施方式中，关于一种嵌入式多镜头全景视频成像装置的具体限定可以参见上文中对于一种嵌入式多镜头全景视频成像方法的限定，在此不再赘述。上述一种嵌入式多镜头全景视频成像装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

实验结果

本发明以海思HI3559A作为硬件平台，其资源主要包括双核1.6GHz ARM Cortex-A73、双核1.2GHz ARM Cortex-A53、900MHz ARM Mali-G71 GPU；以Linux4.9.37系统装载Opencv 4.0、OpenCL2.0等软件开发包作为作为软件开发平台；试验测试场所为光线较为明亮的室内大厅。试验结果如下：

1)多路分辨率大小为1280*960的摄像头视频影像读取帧率为30fps；

2)多路1280*960视频影像实时拼接融合为1920*1080球面全景影像速度为每帧31.5ms。

有益效果

本发明所提出的基于ARM+GPU架构的嵌入式平台上多镜头全景视频成像方法，能够利用ARM端1强大的程序控制能力实现多镜头全景视频成像复杂的外设IO控制、存储管理、内存映射等功能，能利用GPU强大并行计算能力完成处理较为耗时的影像拼接过程；在GPU端2使用查找表映射替代视频图像拼接中的配准过程，能够以存储空间减少大量的计算时间；将拼接查找表与运动宏块表相结合，能够减少大量的冗余计算，加快全景成像速度，节约前端板载资源。

本发明的一种嵌入式多镜头全景视频成像方法及装置，包括ARM端1、GPU端2和多路摄像头，多路摄像头通过使用Slave模式协议的MIPI总线与所述ARM端1连接；将任一所述摄像头作为圆心，其余多个所述摄像头采用水平环绕式均匀阵列于处于圆心的所述摄像头四周；对ARM端1进行初始化，并读取查找表和对缓存池内存进行划分；获取多路摄像头数据，并对所述摄像头数据进行缓存和格式转换；基于核函数的多个形参，利用双线性插值法对得到的多路输入影像进行运算和加速，生成对应的全景影像；基于全景影像的帧率与分辨率大小对显示屏参数进行设置，设置完成后对所述全景影像进行输出，同时释放缓存，完成拼接，能够实现多路视频的实时拼接。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (7)

1.一种嵌入式多镜头全景视频成像方法，其特征在于，包括以下步骤：

对ARM端进行初始化，读取拼接查找表到内存中，并根据影像分辨率大小对视频缓存池内存进行划分；

获取多路摄像头视频数据，并对所述视频数据进行图像预处理后缓存到所述视频缓存池中；

基于核函数的多个形参，利用双线性插值法对得到的多路输入影像进行运算和加速，生成对应的全景影像；

根据全景影像帧率与分辨率对显示屏参数进行设置，并在设置完成后对所述全景影像进行输出，同时释放缓存，完成全景视频输出显示。

2.如权利要求1所述的嵌入式多镜头全景视频成像方法，其特征在于，对ARM端进行初始化，读取拼接查找表到内存中，并根据影像分辨率大小对视频缓存池内存进行划分之前，所述方法还包括：

获取多个相同设备型号的摄像头，将任一所述摄像头作为圆心，其余多个所述摄像头采用水平环绕式均匀阵列于处于圆心的所述摄像头四周；

基于Slave模式对多个所述摄像头和所述ARM端进行时钟同步。

3.如权利要求1所述的嵌入式多镜头全景视频成像方法，其特征在于，对ARM端进行初始化，读取拼接查找表到内存中，并根据影像分辨率大小对视频缓存池内存进行划分之前，所述方法还包括：

基于图像配准的方法获取多组数据，每组数据均包括四种参数值，其中，四种所述参数值分别为待拼接影像对应全景影像的浮点型横坐标、待拼接影像对应全景影像的浮点型纵坐标、像素点灰度值在线融合时在全景影像中的权重值、每路所述摄像头采集的影像在拼接图像上投影后的行列坐标范围；

基于多组数据构建对应的所述查找表。

4.如权利要求1所述的嵌入式多镜头全景视频成像方法，其特征在于，对ARM端进行初始化，读取拼接查找表到内存中，并根据影像分辨率大小对视频缓存池内存进行划分，包括：

对硬件和OpenCL设备进行初始化，并根据多路视频与输出全景影像分辨率大小为缓存池分内存，以及初始化所述缓存池；

将查找表中的四种参数值分别拷贝到float类型的Map结构体中。

5.如权利要求3所述的嵌入式多镜头全景视频成像方法，其特征在于，基于核函数的多个形参，利用双线性插值法对得到的多路输入影像进行运算和加速，生成对应的全景影像，包括：

从核函数形参中获取所述ARM端传递的源图宽高、拼接影像宽高以及多路输入影像在全景影像中映射后的起始行列与终止行列参数；

基于当前所述核函数全局索引号计算出待处理坐标点和行宽列宽范围；

利用双线性插值法对所述查找表和原始影像进行计算，得到全景影像待处理坐标点的初始像素值；

判断所述待处理坐标点是否位于重叠区域，并基于获取的权重值对所述待处理坐标点初始像素值进行加权融合，得到对应的全景影像。

6.如权利要求5所述的嵌入式多镜头全景视频成像方法，其特征在于，利用双线性插值法对所述查找表和原始影像进行计算，得到全景影像待处理坐标点的初始像素值，包括：

根据当前所述核函数全局索引号计算出所述查找表对应的第二坐标点；

获取所述查找表在所述第二坐标点上的浮点型坐标与权重；

将所述输入影像与所述浮点型坐标进行双线性插值，得到全景影像上的所述待处理坐标点的像素值。

7.一种嵌入式多镜头全景视频成像装置，适用于如权利要求1至权利要求6任一项所述的一种嵌入式多镜头全景视频成像方法，其特征在于，

所述嵌入式多镜头全景视频成像装置包括ARM端、GPU端和多路摄像头；将任一所述摄像头作为圆心，其余多个所述摄像头采用水平环绕式均匀阵列于处于圆心的所述摄像头四周；

多路所述摄像头分别通过使用Slave模式协议的MIPI总线与所述ARM端连接，所述ARM端与所述GPU端通过PCIE总线连接。

Images