CN117156294A - 一种简易快速实现双镜头拼接的方法、应用和计算机程序 - Google Patents

Abstract

本发明属于监控摄像机图像处理技术领域，具体涉及一种简易快速实现双镜头拼接的方法、应用和计算机程序。该方法按一定倾角设计的双镜头像机，通过拍摄一张矫正板，识别出所有参照点位置，再通过匹配拟合，修正投影参数，最终实现无缝拼接，获取拼接参数。本发明在双镜头摄像机生成过程中，快速测算拼接参数，固化入像机以方便用户获得视频拼接播放效果。

Description

一种简易快速实现双镜头拼接的方法、应用和计算机程序

技术领域

本发明属于监控摄像机图像处理技术领域，具体涉及一种简易快速实现双镜头拼接的方法、应用和计算机程序。

背景技术

监控摄像机出于职能的考量，如果有更宽的视场则会为实时监控带来便利。而广角镜头的视场范围依然有限，很难超过180°；而诸如鱼眼等全景镜头，会产生令人不适的畸变。为了获得宽视场，如今常用的做法是多镜头画面拼接(如图1所示)。

现在做画面拼接，通常流程如图2，而对于普通监控像机生产线，生产标定环境多变，每台设备的镜头安装都会产生一些位移与角度偏差，进而在对每台设备都进行单独测算时此方法鲁棒性欠佳。

发明内容

为了在双镜头摄像机生成过程中，快速测算拼接参数，固化入像机以方便用户获得视频拼接播放效果。本发明提供了一种简易快速实现双镜头拼接的方法，该方法按一定倾角设计的双镜头像机，通过拍摄一张矫正板，识别出所有参照点位置，再通过匹配拟合，修正投影参数，最终实现无缝拼接，获取拼接参数。

为了实现上述的目的，本发明采用了以下的技术方案：

一种简易快速实现双镜头拼接的方法，该方法包括以下的步骤：

1)制备一个标准矫正板，上面标注若干线条和足量的参照点；

2)标准矫正板放置在一定距离外，保证其完整出现在两个镜头中；

3)对画面进行弧面投影，得到图片I_al和I_ar；

4)根据像机结构决定的双镜头光轴夹角A_inc，镜头水平视场角A_vx，估计I_al和I_ar的水平重叠宽度：w_over＝w_a×(A_vx-A_inc)/2；

对疑似重合区及附近区域进行图像增强、梯度计算，得到轮廓图，再进行匹配实现粗对齐；得到I_ar左上角处于I_al中的位置(d_xl,d_yl)以及重叠区在I_al中的位置

x_al∈[x_lmin,x_lmax],y_al∈[y_lmin,y_lmax]；

和在I_ar中的位置

x_ar∈[x_rmin,x_rmax],y_ar∈[y_rmin,y_rmax]；

5)根据粗对齐结果，分割I_al和I_ar的重叠区域得到I′_al和I′_ar；其中：

I′_al|x_al∈[x_lmin,x_lmax],y_al∈[y_lmin,y_lmax]；

I′_ar|x_ar∈[x_rmin,x_rmax],y_ar∈[y_rmin,y_rmax]；

进行自适应画面增强，红色斑点检测，得到I′_al和I′_ar中矫正板上参照点位置；

6)根据I′_al中参照点位置(x_il,y_il)以及I′_ar中参照点位置(x_ir,y_ir)实现进行二次矫正，通过两个变换矩阵M_l和M_r，使(x_il,y_il)和(x_ir,y_ir)全部转化为(x_im,y_im)

其中x_im＝(x_il+x_ir)/2；y_im＝(y_il+y_ir)/2

M_l和M_r是针对I_al和I_ar的多次拟合矩阵；

7)引入M_l和M_r对原图重新进行弧面投影，得到新的I_a2l和I_a2r；

8)对I_a2l和I_a2r进行图像增强、梯度计算，得到轮廓图，然后在(d_xl,d_yl)附近一定范围内进行匹配实现二次对齐，得到(d_x2l,d_y2l)；

9)切去黑边，得到最终结果图。

作为优选，所述标准矫正板由若干横向、竖向或斜向黑线构成，在横向、竖向或斜向黑线上和/或横向、竖向和斜向黑线的连接处设置红色的参照点。

作为优选，所述步骤3)中像素水平坐标与极坐标水平角成线性对应关系，像素垂直坐标与极坐标俯仰角成线性对应关系；图像宽高为(w,h)；其像素坐标值

或P_x＝x×360/w；T_y＝90-y×180/h；

画面宽(w_a,h_a)与镜头水平垂直视场角(A_vx,A_vy)成线性关系，画面中心对应水平角0°；

P_x＝(x_a-w_a/2)×(A_vx/2)/w_a

T_y＝(y_a-h_a/2)×(A_vy/2)/h_a

在根据单镜头画面与空间向量转换关系，得到该点在原画面中的位置，最终通过插值实现对原始图像的初次弧面投影，得到图片I_al和I_ar。

作为优选，所述步骤6)中两个变换矩阵M_l和M_r的构建方法如下：

构建向量其中

x_iml0＝x_im+x_lmin-w_a/2

y_iml0＝y_im+y_lmin-w_a/2

构建向量其中

x_il0＝x_il+x_lmin-w_a/2

y_il0＝y_il+y_lmin-w_a/2

存在

即G_l×M_l＝T_l

根据最小二乘法：G_l ^TG_l×M_l＝G_l ^TT_l，得到M_l＝(G_l ^TG_l)^-1G_l ^TT_l

拟合后的M_l，便是左镜头弧面投影矫正矩阵——在绘制I_a2l某个像素时，根据(x_i2l,y_i2l)通过拟合矩阵计算出其在I_al中的位置(x_il,y_il)；

同理可得到左镜头弧面投影矫正矩阵M_r。

进一步，本发明还公开了一种播放器实时拼接的方法，该方法通过权利要求1-4所述的方法拼接矫正完成后，获得拟合矩阵M_l和M_r，以及对齐位置(d_x2l,d_y2l)，全部设置进摄像机固件中；并仔细以下的步骤：

1)摄像机将参数连同弧面投影所需的拟合参数一并写入视频流里；

2)播放器在解析视频流时，提取所有参数；

3)播放器在解码视频后，进行画面同步；

4)播放器对一对同步画面，进行弧面投影，获得I_a2l和I_a2r，再根据(d_x2l,d_y2l)直接进行渐进式拼接，并进行双向曝光补偿，消除拼缝，切除黑边。

进一步，本发明还公开了一种计算机设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现所述方法。

进一步，本发明还公开了一种计算机可读存储介质，其上存储有计算机程序或指令，该计算机程序或指令被处理器执行时实现所述方法。

进一步，本发明还公开了一种计算机程序产品，包括计算机程序或指令，该计算机程序或指令被处理器执行时实现所述方法。

本发明由于采用了上述的技术方案，该方法按一定倾角设计的双镜头像机，通过拍摄一张矫正板，识别出所有参照点位置，再通过匹配拟合，修正投影参数，最终实现无缝拼接，获取拼接参数。本发明在双镜头摄像机生成过程中，快速测算拼接参数，固化入像机以方便用户获得视频拼接播放效果。

附图说明

图1为本发明拼接像机效果图。

图2为现有技术拼接流程图。

图3为参考标准矫正板示意图。

图4为双镜头拍摄矫正板效果示意图。

图5为弧面投影示意图。

图6为原始图像初次弧面投影I_al和I_ar示意图。

图7为粗对齐效果图。

图8为重叠区增强效果图和参照点分割图。

图9为原始图像二次弧面投影I_a2l和I_a2r示意图。

图10为拼接最终结果图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

a)制备一个标准矫正板，上面标注若干线条和足量的参照点，比如图3。

b)标准版放置在一定距离外，保证其完整出现在两个镜头中，如图4所示。

c)对画面进行弧面投影。

标准弧面投影也是VR全景常用的投影方式。像素水平坐标与极坐标水平角成线性对应关系，像素垂直坐标与极坐标俯仰角成线性对应关系。如图5所示，图像宽高为(w,h)。其像素坐标值

或P_x＝x×360/w；T_y＝90-y×180/h；

画面宽(w_a,h_a)与镜头水平垂直视场角(A_vx,A_vy)成线性关系，画面中心对应水平角0°。

P_x＝(x_a-w_a/2)×(A_vx/2)/w_a

T_y＝(y_a-h_a/2)×(A_vy/2)/h_a

在根据单镜头画面与空间向量转换关系，得到该点在原画面中的位置，最终通过插值实现对原始图像的初次弧面投影，得到图片I_al和I_ar，如图6所示。

d)根据像机结构决定的双镜头光轴夹角A_inc，镜头水平视场角A_vx，粗略估计I_al和I_ar的水平重叠宽度：w_over＝w_a×(A_vx-A_inc)/2

对疑似重合区及附近区域进行图像增强、梯度计算，得到轮廓图，再进行匹配实现粗对齐。可得到I_ar左上角处于I_al中的位置(d_xl,d_yl)以及重叠区在I_al中的位置

x_al∈[x_lmin,x_lmax],y_al∈[y_lmin,y_lmax]

和在I_ar中的位置

x_ar∈[x_rmin,x_rmax],y_ar∈[y_rmin,y_rmax]

粗对齐效果图如图7所示。

e)根据粗对齐结果，分割I_al和I_ar的重叠区域得到I′_al和I′_ar。其中：

I′_al|x_al∈[x_lmin,x_lmax],y_al∈[y_lmin,y_lmax]

I′_ar|x_ar∈[x_rmin,x_rmax],y_ar∈[y_rmin,y_rmax]

进行自适应画面增强，红色斑点检测，得到I′_al和I′_ar中矫正板上21个红色参照点位置。重叠区增强效果图和参照点分割图如图8所示。

f)根据I′_al中参照点位置(x_il,y_il)以及I′_ar中参照点位置(x_ir,y_ir)实现进行二次矫正。

为了平衡两镜头的安装误差，需要得到左右两个变换矩阵M_l和M_r，能使(x_il,y_il)和(x_ir,y_ir)全部转化为(x_im,y_im)

其中x_im＝(x_il+x_ir)/2；y_im＝(y_il+y_ir)/2

M_l和M_r是针对I_al和I_ar的多次拟合矩阵，因而参照点的实际参数应换算回I_al和I_ar尺度下。

构建向量其中

x_iml0＝x_im+x_lmin-w_a/2

y_iml0＝y_im+y_lmin-w_a/2

构建向量其中

x_il0＝x_il+x_lmin-w_a/2

y_il0＝y_il+y_lmin-w_a/2

存在

即G_l×M_l＝T_l

根据最小二乘法：G_l ^TG_l×M_l＝G_l ^TT_l，得到M_l＝(G_l ^TG_l)^-1G_l ^TT_l

拟合后的M_l，便是左镜头弧面投影矫正矩阵——在绘制I_a2l某个像素时，根据(x_i2l,y_i2l)通过拟合矩阵计算出其在I_al中的位置(x_il,y_il)。

同理可得到左镜头弧面投影矫正矩阵M_r。

g)引入M_l和M_r对原图重新进行弧面投影，得到新的I_a2l和I_a2r。原始图像二次弧面投影I_a2l和I_a2r如图9所示。

h)对I_a2l和I_a2r进行图像增强、梯度计算，得到轮廓图，然后在(d_xl,d_yl)附近一定范围内进行匹配实现二次对齐，得到(d_x2l,d_y2l)。

i)切去黑边，得到最终结果图，拼接最终结果图如图10所示。

以下为本发明的实例与拓展

采用上述的方法实现播放器实时拼接，该方法在拼接矫正完成后，获得拟合矩阵M_l和M_r，以及对齐位置(d_x2l,d_y2l)，全部设置进摄像机固件中。

1)摄像机将此参数连同弧面投影所需的拟合参数一并写入视频流里；

2)播放器在解析视频流时，提取所有参数；

3)播放器在解码视频后，进行画面同步；

4)播放器对一对同步画面，进行弧面投影，获得I_a2l和I_a2r，再根据(d_x2l,d_y2l)直接进行渐进式拼接，并进行双向曝光补偿，消除拼缝，切除黑边。最后显示结果图。

以上为对本发明实施例的描述，通过对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的。本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施列，而是要符合与本文所公开的原理和新颖点相一致的最宽的范围。

Claims (8)

1.一种简易快速实现双镜头拼接的方法，其特征在于，该方法包括以下的步骤：

1)制备一个标准矫正板，上面标注若干线条和足量的参照点；

2)标准矫正板放置在一定距离外，保证其完整出现在两个镜头中；

3)对画面进行弧面投影，得到图片I_al和I_ar；

4)根据像机结构决定的双镜头光轴夹角A_inc，镜头水平视场角A_vx，估计I_al和I_ar的水平重叠宽度：w_over＝w_a×(A_vx―A_inc)/2；

对疑似重合区及附近区域进行图像增强、梯度计算，得到轮廓图，再进行匹配实现粗对齐；得到I_ar左上角处于I_al中的位置(d_xl,d_yl)以及重叠区在I_al中的位置

x_al∈[x_lmin,x_lmax],y_al∈[y_lmin,y_lmax]；

和在I_ar中的位置

x_ar∈[x_rmin,x_rmax],y_ar∈[y_rmin,y_rmax]；

5)根据粗对齐结果，分割I_al和I_ar的重叠区域得到I′_al和I′_ar；其中：

I′_al|x_al∈[x_lmin,x_lmax],y_al∈[y_lmin,y_lmax]；

I′_ar|x_ar∈[x_rmin,x_rmax],y_ar∈[y_rmin,y_rmax]；

进行自适应画面增强，红色斑点检测，得到I′_al和I′_ar中矫正板上参照点位置；

6)根据I′_al中参照点位置(x_il,y_il)以及I′_ar中参照点位置(x_ir,y_ir)实现进行二次矫正，通过两个变换矩阵M_l和M_r，使(x_il,y_il)和(x_ir,y_ir)全部转化为(x_im,y_im)

其中x_im＝(x_il+x_ir)/2；y_im＝(y_il+y_ir)/2

M_l和M_r是针对I_al和I_ar的多次拟合矩阵；

7)引入M_l和M_r对原图重新进行弧面投影，得到新的I_a2l和I_a2r；

8)对I_a2l和I_a2r进行图像增强、梯度计算，得到轮廓图，然后在(d_xl,d_yl)附近一定范围内进行匹配实现二次对齐，得到(d_x2l,d_y2l)；

9)切去黑边，得到最终结果图。

2.根据权利要求1所述的一种简易快速实现双镜头拼接的方法，其特征在于，标准矫正板由若干横向、竖向或斜向黑线构成，在横向、竖向或斜向黑线上和/或横向、竖向和斜向黑线的连接处设置红色的参照点。

3.根据权利要求1所述的一种简易快速实现双镜头拼接的方法，其特征在于，步骤3)中像素水平坐标与极坐标水平角成线性对应关系，像素垂直坐标与极坐标俯仰角成线性对应关系；图像宽高为(w,h)；其像素坐标值

或

P_x＝x×360/w；T_y＝90―y×180/h；

画面宽(w_a,h_a)与镜头水平垂直视场角(A_vx,A_vy)成线性关系，画面中心对应水平角0°；

P_x＝(x_a―w_a/2)×(A_vx/2)/w_a

T_y＝(y_a―h_a/2)×(A_vy/2)/h_a

在根据单镜头画面与空间向量转换关系，得到该点在原画面中的位置，最终通过插值实现对原始图像的初次弧面投影，得到图片I_al和I_ar。

4.根据权利要求1所述的一种简易快速实现双镜头拼接的方法，其特征在于，步骤6)中两个变换矩阵M_l和M_r的构建方法如下：

构建向量其中

x_iml0＝x_im+x_lmin―w_a/2

y_iml0＝y_im+y_lmin―w_a/2

构建向量其中

x_il0＝x_il+x_lmin―w_a/2

y_il0＝y_il+y_lmin―w_a/2

存在

即G_l×M_l＝T_l

根据最小二乘法：G_l ^TG_l×M_l＝G_l ^TT_l，得到M_l＝(G_l ^TG_l)^―1G_l ^TT_l

拟合后的M_l，便是左镜头弧面投影矫正矩阵——在绘制I_a2l某个像素时，根据(x_i2l,y_i2l)通过拟合矩阵计算出其在I_al中的位置(x_il,y_il)；

同理可得到左镜头弧面投影矫正矩阵M_r。

5.一种播放器实时拼接的方法，其特征在于，该方法通过权利要求1-4所述的方法拼接矫正完成后，获得拟合矩阵M_l和M_r，以及对齐位置(d_x2l,d_y2l)，全部设置进摄像机固件中；

并仔细以下的步骤：

1)摄像机将参数连同弧面投影所需的拟合参数一并写入视频流里；

2)播放器在解析视频流时，提取所有参数；

3)播放器在解码视频后，进行画面同步；

4)播放器对一对同步画面，进行弧面投影，获得I_a2l和I_a2r，再根据(d_x2l,d_y2l)直接进行渐进式拼接，并进行双向曝光补偿，消除拼缝，切除黑边。

6.一种计算机设备，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1-5任意一项权利要求所述方法。

7.一种计算机可读存储介质，其上存储有计算机程序或指令，其特征在于，该计算机程序或指令被处理器执行时实现权利要求1-5任意一项权利要求所述方法。

8.一种计算机程序产品，包括计算机程序或指令，其特征在于，该计算机程序或指令被处理器执行时实现权利要求1-5任意一项权利要求所述方法。