CN115834800A - 一种控制拍摄内容合成算法的方法 - Google Patents

Abstract

本发明公开了一种控制拍摄内容合成算法的方法，包括如下步骤：S1、背景建模，采用高斯混合模块进行各个视频学列的背景图像的获得，S2、图像对准，利用特征点对的对称传递误差计算单应矩阵，从而使对准过程的测量误差的影响被有效地消除；S3、图像拼接，S4、消除运动目标的影响，S5、关键帧的选取，从视频序列中选择若干幅清晰的图像作为关键帧，S6，表面识别，S7、表面选择，计算每个采样点的采样密度比，S8、边界混合，本发明便于合成不同试点的图像，且提升了合成的图像质量，采用全局优化算法获得摄像机的全局对准参数，使多个图像之间进行较好的融合，且采用高精度对准方法，消除对准过程中的测量误差的影响。

Description

一种控制拍摄内容合成算法的方法

技术领域

本发明属于图像合成领域，更具体地说，尤其涉及一种控制拍摄内容合成算法的方法。

背景技术

图像合成是将多谱段黑白图像经多光谱图像彩色合成而变成彩色图像的处理的一种技术，这类技术应用是媒体计算技术实际应用的一种，它是基于互联网海量的图像信息源，通过用户给定的图像期望元素对象以及对象的具体特征，通过一定的筛选过滤算法，从图像库中选择最匹配的图像源，再经过对图像对象的分割、提取，经过处理后最终合成出最能满足用户需要的结果图像。

经检索，申请号为201680016242.7的专利公开了图像合成装置以及图像合成方法，图像合成装置具备：摄像部(110)，其用于对影像进行拍摄；显示部(150)，其用于显示所拍摄到的影像；以及化妆图像叠加部(140)，每次影像所包含的脸部的肌肤明度发生变化时，该化妆图像叠加部(140)使叠加于影像的脸部的化妆图像的明度以像素为单位发生变化，将使明度发生了变化的化妆图像叠加于影像的脸部。即使照在脸部的亮度发生了变化，也能够实时地合成出化妆图像与肌肤融合的图像。

上述方案不便于合成不同试点的图像，合成的图像质量有待提升，且该方案不便于获取摄像机的全局对准参数，即图像之前不能进行较好的融合，且不便于消除对准过程中的测量误差的影响，因此，我们需要提出一种控制拍摄内容合成算法的方法

发明内容

本发明的目的是为了解决现有技术中存在的缺点，便于合成不同试点的图像，且提升了合成的图像质量，采用全局优化算法获得摄像机的全局对准参数，使多个图像之间进行较好的融合，且采用高精度对准方法，消除对准过程中的测量误差的影响，而提出的一种控制拍摄内容合成算法的方法。

为实现上述目的，本发明提供如下技术方案：一种控制拍摄内容合成算法的方法，包括如下步骤：

S1、背景建模，采用高斯混合模块进行各个视频学列的背景图像的获得，从而使多模式背景和运动目标的影响被消除；

S2、图像对准，利用特征点对的对称传递误差计算单应矩阵，从而使对准过程的测量误差的影响被有效地消除；

S3、图像拼接，采用全局优化算法获得各个摄像机的全局对准参数，消除误差积累，并利用这些对准参数把各个视频序列投影到全局坐标系中，将其合成一个大的视频序列；

S4、消除运动目标的影响，摄像拍摄过程包括初始的静止阶段和运动阶段，将各帧图像分成多个不重叠的小块，利用快速搜索算法计算各个小块的运动方向，并统计运动向量的幅度直方图；

S5、关键帧的选取，从视频序列中选择若干幅清晰的图像作为关键帧，并利用关键帧之间的约束关系减小误差积累的影响；

S6，表面识别，在参考图像的表面采样关系基础上，根据三线性定理从两副图像源Warp出两幅新视点图像，对新生成的新视点图进行表面识别；

S7、表面选择，计算每个采样点的采样密度比，从多幅参考图中取不同的点和面合成新视点图；

S8、边界混合，由于合成图的点和面来自不同的参考图，会产生感知的裂缝，需要对裂缝也就是边界进行处理，使之看起来过渡的更加平滑。

优选的，在S1中，假定高斯模型的个数K为5，阈值T为10，窗口长度L为200，初始标准差σ为20，多模式背景和运动目标的影响被快速消除。

优选的，在S2中，图像对准时，由于多个摄像机的集合关系只需在开始阶段标定一次即可，需采用对准精度高的方法，检测和匹配各个背景图像的SIFT特征点，同时以RANSAC法消除其中的外电。

优选的，在S3中，采用frame-to-mosaic方法对各个摄像机的全局对准参数进行计算，避免全局方法所产生的的大计算量；比如，假定C1、C2、C3和C4为四个摄像机的背景图像，选择一个摄像机的背景图像，并将其设定为Ci，对准C2到C1，生成一个临时的拼接图像M，对准C3到M，并通过C3，来更新M，C4的处理同理可得，以获得所有背景图像的对准参数。

优选的，在S4中，若直方图的最大峰值点对应的运动向量等于零，则认为摄像机处于静止阶段，否则认为摄像机处于运动阶段。

优选的，在摄像机的静止阶段，利用若干帧图像可以训练各个像素位置的高斯混合模型参数，从而得到一个好的背景图像，当发现有感兴趣目标时，摄像机就进入运动阶段。

优选的，在S5中，关键帧的选取依据为重叠区域的大小和纹理的丰富程度，通常利用梯度能量或颜色直方图作为后者的判断依据，比如，选取摄像机静止阶段的背景图像作为第一个关键帧K1，并将其作为拼接的参考帧M1，当摄像机开始运动时，若当前帧In与K1的重叠区域大于80％，则将其直接对准到K1，在更新背景模型参数之后，可以得到一个新的背景图像Mn；反之，如果In与K1的重叠区域小于80％，并且重叠区的纹理信息比较丰富，可采用同样的方法得到Mn。

优选的，在S6中，由于新视点是经Warp后合成的，采样密度会有所变化，可建立采样密度图，并根据采样密度图极计算采样密度函数δ(q′)：

q′＝[x′，y′]^T，q′_i＝[x′_i，y′_i]^T

上述公式中，L是q′的邻点数，根据上述公式计算每个采样点的δ值，δ值大的面就是要识别的面。

优选的，在S7中，采样密度比设为d：

其中，N为参考图数量，δ^A _Q为Q在图A中的采样密度值；

归一化：

优选的，在S8中，在边界处，用权重来处理问题，待处理的边界区域可以自定义，当有五个像素时：

T_Q＝w₁(T_Q1)+w₂(T_Q2)+w₃(T_Q3)+w₄(T_Q4)+w₅(T_Q5)

其中，TQ为像素纹理值，且w1+w2+w3+w4+w5＝1，权重值可通过试验选取最优的组合。

本发明的技术效果和优点：本发明提供的一种控制拍摄内容合成算法的方法，与现有技术相比，本发明便于合成不同试点的图像，且提升了合成的图像质量，采用全局优化算法获得摄像机的全局对准参数，使多个图像之间进行较好的融合，且采用高精度对准方法，消除对准过程中的测量误差的影响。

附图说明

图1为本发明的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种控制拍摄内容合成算法的方法，包括如下步骤：

S1、背景建模，采用高斯混合模块进行各个视频学列的背景图像的获得，从而使多模式背景和运动目标的影响被消除；

S2、图像对准，利用特征点对的对称传递误差计算单应矩阵，从而使对准过程的测量误差的影响被有效地消除；

S3、图像拼接，采用全局优化算法获得各个摄像机的全局对准参数，消除误差积累，并利用这些对准参数把各个视频序列投影到全局坐标系中，将其合成一个大的视频序列；

S4、消除运动目标的影响，摄像拍摄过程包括初始的静止阶段和运动阶段，将各帧图像分成多个不重叠的小块，利用快速搜索算法计算各个小块的运动方向，并统计运动向量的幅度直方图；

S5、关键帧的选取，从视频序列中选择若干幅清晰的图像作为关键帧，并利用关键帧之间的约束关系减小误差积累的影响；

S6，表面识别，在参考图像的表面采样关系基础上，根据三线性定理从两副图像源Warp出两幅新视点图像，对新生成的新视点图进行表面识别；

S7、表面选择，计算每个采样点的采样密度比，从多幅参考图中取不同的点和面合成新视点图；

S8、边界混合，由于合成图的点和面来自不同的参考图，会产生感知的裂缝，需要对裂缝也就是边界进行处理，使之看起来过渡的更加平滑。

在S1中，假定高斯模型的个数K为5，阈值T为10，窗口长度L为200，初始标准差σ为20，多模式背景和运动目标的影响被快速消除。

在S2中，图像对准时，由于多个摄像机的集合关系只需在开始阶段标定一次即可，需采用对准精度高的方法，检测和匹配各个背景图像的SIFT特征点，同时以RANSAC法消除其中的外电。

在S3中，采用frame-to-mosaic方法对各个摄像机的全局对准参数进行计算，避免全局方法所产生的的大计算量；比如，假定C1、C2、C3和C4为四个摄像机的背景图像，选择一个摄像机的背景图像，并将其设定为Ci，对准C2到C1，生成一个临时的拼接图像M，对准C3到M，并通过C3，来更新M，C4的处理同理可得，以获得所有背景图像的对准参数。

在S4中，若直方图的最大峰值点对应的运动向量等于零，则认为摄像机处于静止阶段，否则认为摄像机处于运动阶段。

在摄像机的静止阶段，利用若干帧图像可以训练各个像素位置的高斯混合模型参数，从而得到一个好的背景图像，当发现有感兴趣目标时，摄像机就进入运动阶段。

在S5中，关键帧的选取依据为重叠区域的大小和纹理的丰富程度，通常利用梯度能量或颜色直方图作为后者的判断依据，比如，选取摄像机静止阶段的背景图像作为第一个关键帧K1，并将其作为拼接的参考帧M1，当摄像机开始运动时，若当前帧In与K1的重叠区域大于80％，则将其直接对准到K1，在更新背景模型参数之后，可以得到一个新的背景图像Mn；反之，如果In与K1的重叠区域小于80％，并且重叠区的纹理信息比较丰富，可采用同样的方法得到Mn。

在S6中，由于新视点是经Warp后合成的，采样密度会有所变化，可建立采样密度图，并根据采样密度图极计算采样密度函数δ(q′)：

q′＝[x′，y′]^T，q′_i＝[x′_i，y′_i]^T

上述公式中，L是q′的邻点数，根据上述公式计算每个采样点的δ值，δ值大的面就是要识别的面。

在S7中，采样密度比设为α：

其中，N为参考图数量，δ^A _Q为Q在图A中的采样密度值；

归一化：

在S8中，在边界处，用权重来处理问题，待处理的边界区域可以自定义，当有五个像素时：

T_Q＝w1(T_Q1)+w₂(T_Q2)+w₃(T_Q3)+w₄(T_Q4)+w₅(T_Q5)，

其中，TQ为像素纹理值，且w1+w2+w3+w4+w5＝1，权重值可通过试验选取最优的组合。

综上所述，控制摄像机拍摄内容合成算法时，背景建模，采用高斯混合模块进行各个视频学列的背景图像的获得，从而使多模式背景和运动目标的影响被消除；图像对准，利用特征点对的对称传递误差计算单应矩阵，从而使对准过程的测量误差的影响被有效地消除；图像拼接，采用全局优化算法获得各个摄像机的全局对准参数，消除误差积累，并利用这些对准参数把各个视频序列投影到全局坐标系中，将其合成一个大的视频序列；消除运动目标的影响，摄像拍摄过程包括初始的静止阶段和运动阶段，将各帧图像分成多个不重叠的小块，利用快速搜索算法计算各个小块的运动方向，并统计运动向量的幅度直方图；

关键帧的选取，从视频序列中选择若干幅清晰的图像作为关键帧，并利用关键帧之间的约束关系减小误差积累的影响；表面识别，在参考图像的表面采样关系基础上，根据三线性定理从两副图像源Warp出两幅新视点图像，对新生成的新视点图进行表面识别；表面选择，计算每个采样点的采样密度比，从多幅参考图中取不同的点和面合成新视点图；边界混合，由于合成图的点和面来自不同的参考图，会产生感知的裂缝，需要对裂缝也就是边界进行处理，使之看起来过渡的更加平滑。

本发明便于合成不同试点的图像，且提升了合成的图像质量，采用全局优化算法获得摄像机的全局对准参数，使多个图像之间进行较好的融合，且采用高精度对准方法，消除对准过程中的测量误差的影响。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种控制拍摄内容合成算法的方法，其特征在于：包括如下步骤：

S1、背景建模，采用高斯混合模块进行各个视频学列的背景图像的获得，从而使多模式背景和运动目标的影响被消除；

S2、图像对准，利用特征点对的对称传递误差计算单应矩阵，从而使对准过程的测量误差的影响被有效地消除；

S3、图像拼接，采用全局优化算法获得各个摄像机的全局对准参数，消除误差积累，并利用这些对准参数把各个视频序列投影到全局坐标系中，将其合成一个大的视频序列；

S4、消除运动目标的影响，摄像拍摄过程包括初始的静止阶段和运动阶段，将各帧图像分成多个不重叠的小块，利用快速搜索算法计算各个小块的运动方向，并统计运动向量的幅度直方图；

S5、关键帧的选取，从视频序列中选择若干幅清晰的图像作为关键帧，并利用关键帧之间的约束关系减小误差积累的影响；

S6，表面识别，在参考图像的表面采样关系基础上，根据三线性定理从两副图像源Warp出两幅新视点图像，对新生成的新视点图进行表面识别；

S7、表面选择，计算每个采样点的采样密度比，从多幅参考图中取不同的点和面合成新视点图；

S8、边界混合，由于合成图的点和面来自不同的参考图，会产生感知的裂缝，需要对裂缝也就是边界进行处理，使之看起来过渡的更加平滑。

2.根据权利要求1所述的一种控制拍摄内容合成算法的方法，其特征在于：在S1中，假定高斯模型的个数K为5，阈值T为10，窗口长度L为200，初始标准差σ为20，多模式背景和运动目标的影响被快速消除。

3.根据权利要求1所述的一种控制拍摄内容合成算法的方法，其特征在于：在S2中，图像对准时，由于多个摄像机的集合关系只需在开始阶段标定一次即可，需采用对准精度高的方法，检测和匹配各个背景图像的SIFT特征点，同时以RANSAC法消除其中的外电。

4.根据权利要求1所述的一种控制拍摄内容合成算法的方法，其特征在于：在S3中，采用frame-to-mosaic方法对各个摄像机的全局对准参数进行计算，避免全局方法所产生的的大计算量；比如，假定C1、C2、C3和C4为四个摄像机的背景图像，选择一个摄像机的背景图像，并将其设定为Ci，对准C2到C1，生成一个临时的拼接图像M，对准C3到M，并通过C3，来更新M，C4的处理同理可得，以获得所有背景图像的对准参数。

5.根据权利要求1所述的一种控制拍摄内容合成算法的方法，其特征在于：在S4中，若直方图的最大峰值点对应的运动向量等于零，则认为摄像机处于静止阶段，否则认为摄像机处于运动阶段。

6.根据权利要求5所述的一种控制拍摄内容合成算法的方法，其特征在于：在摄像机的静止阶段，利用若干帧图像可以训练各个像素位置的高斯混合模型参数，从而得到一个好的背景图像，当发现有感兴趣目标时，摄像机就进入运动阶段。

7.根据权利要求1所述的一种控制拍摄内容合成算法的方法，其特征在于：在S5中，关键帧的选取依据为重叠区域的大小和纹理的丰富程度，通常利用梯度能量或颜色直方图作为后者的判断依据，比如，选取摄像机静止阶段的背景图像作为第一个关键帧K1，并将其作为拼接的参考帧M1，当摄像机开始运动时，若当前帧In与K1的重叠区域大于80％，则将其直接对准到K1，在更新背景模型参数之后，可以得到一个新的背景图像Mn；反之，如果In与K1的重叠区域小于80％，并且重叠区的纹理信息比较丰富，可采用同样的方法得到Mn。

8.根据权利要求1所述的一种控制拍摄内容合成算法的方法，其特征在于：在S6中，由于新视点是经Warp后合成的，采样密度会有所变化，可建立采样密度图，并根据采样密度图极计算采样密度函数δ(q′)：

q′＝[x′，y′]^T，q′_i＝[x′_i，y′_i]^T

上述公式中，L是q′的邻点数，根据上述公式计算每个采样点的δ值，δ值大的面就是要识别的面。

9.根据权利要求1所述的一种控制拍摄内容合成算法的方法，其特征在于：在S7中，采样密度比设为α：

其中，N为参考图数量，δ^A _Q为Q在图A中的采样密度值；

归一化：

10.根据权利要求1所述的一种控制拍摄内容合成算法的方法，其特征在于：在S8中，在边界处，用权重来处理问题，待处理的边界区域可以自定义，当有五个像素时：

T_Q＝w_I(T_Q1)+w₂(T_Q2)+w₃(T_Q3)+w₄(T_Q4)+w₅(T_Q5).

其中，TQ为像素纹理值，且w1+w2+w3+w4+w5＝1，权重值可通过试验选取最优的组合。

Images