CN112669337A - 一种自迭代式的局部绿幕抠像方法 - Google Patents

Abstract

本发明提供一种自迭代式的局部绿幕抠像方法，包括预处理阶段和正式运行阶段；预处理阶段用迭代的方式得到尽量准确的绿幕区域，以得到更好的相机姿态和精准的色键；正式运行阶段是进行逼真的虚拟场景合成以及抠像；(1)在整个过程中，相机和绿幕的位置都是固定的；(2)在预处理阶段，绿幕前没有人、物等前景，而在正式运行阶段，绿幕前会加入人、物等前景进行抠像；与现有技术相比，本发明突破了传统色键抠像的限制，不受拍摄环境的约束，成本低廉，能够在自然环境下同时进行精确的相机姿态估计以及像素级抠像。该算法有自动、实用、快速、精度高的优点。

Description

一种自迭代式的局部绿幕抠像方法

技术领域

本发明涉及绿幕抠像方法技术领域，尤其涉及一种自迭代式的局部绿幕抠像方法。

背景技术

在当今的影视工业中，经常需要使用色键抠像技术(Chroma-Key imagematting)，该技术需要表演者身处绿箱(纯绿色背景的半封闭空间)中进行表演，算法拾取背景中的典型绿色设为色键(Chroma-Key)用以区分前景区域(表演者或装置)和背景区域(绿色墙面)，在精确检测出摄像机视野里所有属于背景的像素区域后，算法可以将当前绿色背景替换成任何指定场景，以达到在可控成本下丰富视觉表达的目的；

近年来随着虚拟现实及混合现实应用的推广，色键抠像后的前景经常需要与3D的虚拟场景进行融合，在这种情况下，系统需要对相机姿态进行估计，传统的相机姿态估计是通过机械设备和传感器来实现的，相机姿态估计是生成3D场景下的混合现实画面提供先决条件，相机姿态估计越准确，合成的混合现实代入感也越强；

传统色键抠像的缺点是相机姿态估计和抠像要分开完成，相机姿态估计依赖机械设备，成本高昂，对抠像的拍摄环境要求较高；绿色背板要覆盖相机的整个视野，否则合成前的自然图景出现在合成后的虚拟场景周围。

发明内容

为解决上述技术问题，本发明采用了自迭代式的局部绿幕区域抠像方法，可以依靠算法同时完成相机的姿态估计和抠像两项工作，在自然环境下完成绿幕抠像且不影响后续的虚拟场景合成，在抠像结束后可以得到精准的抠像结果以及逼真的虚拟场景合成，该算法不受拍摄环境的限制，不依赖机械设备，成本低廉，适合低成本直播间，具有自动、实用、快速的优点，提供一种自迭代式的局部绿幕抠像方法，以解决上述背景技术中描述问题。

本发明一种自迭代式的局部绿幕抠像方法，包括预处理阶段和正式运行阶段；预处理阶段用迭代的方式得到尽量准确的绿幕区域，以得到更好的相机姿态和精准的色键；正式运行阶段是进行逼真的虚拟场景合成以及抠像；

(1)在整个过程中，相机和绿幕的位置都是固定的；

(2)在预处理阶段，绿幕前没有人、物等前景，而在正式运行阶段，绿幕前会加入人、物等前景进行抠像。

具体步骤如下：

第一步，根据参考帧F_R上的关键点集对F_t进行点匹配，找出当前帧F_t对应的关键点集。

第二步，根据这两个点集的几何位置得出单应矩阵H_t，计算得到估计的绿幕区域B和姿态估计。

第三、四步，先对区域B进行色键抽取，再根据公式计算α值，得到绿幕区域掩膜Α_t。

第五步，对Α_t求取边缘处理和霍夫变换，确定该区域的边界，得到新的绿幕四边形区域B”和新的单应矩阵

同时计算出更准确的相机姿态。

第六步，重复上述步骤，不断更新单应矩阵，动态调整热点区域，直到点匹配的搜索范围ε小于给定的预设值，或者迭代步数达到预设上限，即可得到精准的相机姿态和色键。

第七步，基于预处理阶段得到的相机姿态放置虚拟场景。

第八步，根据预处理阶段得到的精准色键对每一帧来进行像素级抠像。

有益效果：

1.本专利的关键点在于同时进行精确的相机姿态估计和像素级抠像，以迭代的方式更新单应矩阵，动态调整热点区域，提高取色键的精度，和传统抠像方法相比，会明显可以获得精确的相机姿态估计和很好的抠像质量；

2.与现有技术相比，本发明突破了传统色键抠像的限制，不受拍摄环境的约束，成本低廉，能够在自然环境下同时进行精确的相机姿态估计以及像素级抠像。该算法有自动、实用、快速、精度高的优点。

附图说明

图1示出了绿幕和相机画面图；

图2示出了点匹配图；

图3示出了估计绿幕四边形区域；

图4示出了抠像效果图(黑色区域表示算法检测到的绿幕区域)；

图5示出了图4经过坎尼算子处理后的边缘图；

图6示出了图5的霍夫变换图(直线参数空间的投票结果)；

图7示出了总体流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

具体步骤：

本发明一种自迭代式的局部绿幕抠像方法，包括预处理阶段和正式运行阶段；预处理阶段用迭代的方式得到尽量准确的绿幕区域(如图1中所示)，以得到更好的相机姿态和精准的色键；正式运行阶段是进行逼真的虚拟场景合成以及抠像；

(1)在整个过程中，相机和绿幕的位置都是固定的；

(2)在预处理阶段，绿幕前没有人、物等前景，而在正式运行阶段，绿幕前会加入人、物等前景进行抠像。

具体步骤如下：

第一步，根据参考帧F_R上的关键点集对F_t进行点匹配，找出当前帧F_t对应的关键点集；

Step 1点匹配：当前帧F_t，是一张摄像机拍摄的无前景的绿幕图像。参考帧F_R，是一张事先得到的标准绿幕图像。该图像中的绿幕区域的边缘、端点及比对关键点皆为已知。

假设，当前在参考帧F_R上，有关键点集

包含N个关键点。每一个关键点

2D像素位置为

图像特征为

且有上一步估计的单应矩阵为H_t-1(当t＝1时，H_t-1＝I也即单位矩阵)，所对应的在当前帧F_t上有搜索域：

其中，||·||为二范数(欧氏距离)函数，ε为搜索范围的半径。注意，对于在区域

中，匹配算法确定该关键点为:

其中，

是当前帧F_t上2D位置为

的关键点的图像特征。

在第一次点匹配的过程中，H_t-1为单位矩阵，要想在当前帧搜索到参考帧的关键点所对应的关键点，需要将搜索范围ε定为无穷大；

其中，关键点是图像上的视觉显著点，如ORB或SIFT点，或者人工预先定义的，真实物体上某些3D点在图像上的2D投影，如汽车轮胎的中心点，摩托车把手的端点等等；

点匹配是将同一个物体在两张不同视角的图片中的关键点进行匹配的过程，并且点匹配可以使用SIFT、SURF或深度学习算法。

第二步，根据这两个点集的几何位置得出单应矩阵H_t，计算得到估计的绿幕区域B和姿态估计；

Step 2计算单应矩阵：假设在点匹配后，在当前帧F_t上找到对应参考帧关键点集

的关键点集

也就得到了有若干关键点对的匹配图，如图2所示。

F_t的绿幕区域则可通过两帧之间的坐标转换矩阵H_t得到。H_t也叫单应矩阵，具体来说，假设F_R上关键点

对应当前帧F_t上的点

且它们的2D坐标分别为

和

则两帧之间的单应矩阵

满足：

根据两个关键点集的坐标位置，采用解多元方程组的方法计算出H_t，也可以通过使用RANSAC方法来提高对H_t估计的鲁棒性。在估算的单应矩阵H_t的基础上，算法把参考帧的绿幕的四个顶点坐标投影到当前帧上，得到绿幕在当前帧所占区域的估计B，如图3所示。通过三维物体成像公式估算出相机与绿幕之间的位置关系，即相机姿态；

其中，单应矩阵是一个3×3的矩阵，描述同一平面物体在两张不同视角的图片中的关键点的对应关系。

第三、四步，先对区域B进行色键抽取，再根据公式计算α值，得到绿幕区域掩膜Α_t；

Step 3取色键：估计的绿幕区域B应为一四边形(可能被图像边缘截断)。可知四边的解析方程式为：

由于存在关键点误匹配的现象，估算的H_t不是很准确，导致得到的绿幕区域B和真实绿幕区域相差较大，需要下面的步骤来修正。

在区域B中取色键，进行抠像。先将B区域内像素的RGB值通过下式转化为YUV值：

可以得到区域内所有像素点的UV值，然后对该区域内的像素点取色键。取色键可以用K-Means聚类方法。

Step 4α值估计：求取α值的基本思路均是利用一定先验条件求解方程：

I_z＝α_zF+(1-α_z)B'

其中，α_z＝1表示像素I_z属于前景F；α_z＝0表示像素I_z属于背景_BB'；若α_z∈(0，1)，则表示像素I_z是前景和背景的混合。所以在得到色键后，要进行α值的估计，得到前景和背景。α值是通过下式得出：

其中，I＝{(u₁，v₁)，(u₂，v₂)，...(u_z，v_z)...(u_n，v_n)}是当前帧像素的U、V值集合，(u_i，v_i)是上一步得到的色键的UV值，m和n是超参数。由于α值范围在[0,1],所以要将上式的结果d输入到Sigmoid函数，映射在[0,1]区间上，得到当前帧每一个像素的α值，将帧像素分为三类：前景F，背景B'以及混合像素集合M，也就是绿幕区域掩膜Α_t；

其中，α值是抠像的具体任务是确定每个像素的α值，像素点的α值取值在[0,1]内,α＝0表示背景区域，α＝1表示前景区域，0<α<1表示前景和背景的边缘混合区域。

其中，色键是像素的α值由该像素的颜色与色键颜色之间的关系决定，凡是与色键颜色相近的像素α值均被置为0。

第五步，对Α_t求取边缘处理和霍夫变换，确定该区域的边界，得到新的绿幕四边形区域B”和新的单应矩阵

同时计算出更准确的相机姿态；

Step 5提取直线：在得到Α_t之后，对Α_t进行坎尼算子求取边缘处理(如图4所示)，进行霍夫变换(如图5所示)：通过对直线参数空间的投票，估计出图像空间中的主要直线的解析方程式{l'₁，l'₂，l'₃，…，l'_Q}。在该集合中，对应上文每一条已经估计的四条边缘直线l_i，提出一根与之最接近的直线，于是算法得到4根霍夫算法估计的边缘线(如图6所示)，这四根边缘直线同样确定了一个四边形，也就是新的绿幕四边形区域B”。利用该四边形B”确定的四个顶点位置，可以估计出新的单应矩阵H'_t,对H'_t和H_t求均值，算法得到更新后的单应矩阵

(注意此处有专门的计算公式，不是简单的代数均值)。已知更新后的

通过三维物体成像公式估算出更准确的相机姿态；

其中，霍夫变换是检测图像中直线的方法。通过在参数空间的投票，确定在图像中主要直线的位置与角度(也即直线参数)。

第六步，重复上述步骤，不断更新单应矩阵，动态调整热点区域，直到点匹配的搜索范围ε小于给定的预设值，或者迭代步数达到预设上限，即可得到精准的相机姿态和色键；

Step 6迭代：下一次迭代依旧是对当前帧F_t与参考帧F_R进行点匹配，将上一步估计的单应矩阵

作为当前帧的H_t-1，且已知参考帧的比对关键点。在点匹配的搜索过程中，由于H_t-1变得准确，缩小搜索范围ε即可得到对应特征点。计算单应矩阵得到的热点区域会更接近真实绿幕区域的位置，相机姿态的估计也更精准提高了取色键的精度。随后取色键和计算α值，优化绿幕区域掩膜Α_t，经过再一次的霍夫变换更新H_t后，得到更精准的绿幕区域和姿态估计，也就达到了迭代优化相机姿态估计和绿幕估计区域的目的。

重复1-5步骤，不断更新H_t，逐渐缩小点匹配搜索范围，校正估计的相机姿态，动态调整热点区域，提高取色键的精度，直到搜索范围ε小于预设值，或者迭代步数达到预设上限，几轮迭代结束后即可得到精准的相机姿态和色键；

其中，热点区域是指绿幕的估计区域；

其中，YUV值转换是相比于RGB值，YUV值将颜色和亮度分隔开，颜色只和UV值有关，更有利于基于颜色的抠像，所以需要转换。

第七步，基于预处理阶段得到的相机姿态放置虚拟场景；

基于预处理阶段得到的精准相机姿态，将当前画面抠像后放置在虚拟3D空间中，达到虚实结合的效果。

第八步，根据预处理阶段得到的精准色键对每一帧来进行像素级抠像；

使用预处理阶段得到的精准色键(一个或多个)对每一帧进行抠像，得到高质量的抠像结果。

Claims (3)

1.一种自迭代式的局部绿幕抠像方法，包括预处理阶段和正式运行阶段；预处理阶段用迭代的方式得到尽量准确的绿幕区域(如图1中所示)，以得到更好的相机姿态和精准的色键；正式运行阶段是进行逼真的虚拟场景合成以及抠像；

(1)在整个过程中，相机和绿幕的位置都是固定的；

(2)在预处理阶段，绿幕前没有人、物等前景，而在正式运行阶段，绿幕前会加入人、物等前景进行抠像。

其特征在于，具体步骤如下：

第一步，根据参考帧F_R上的关键点集对F_t进行点匹配，找出当前帧F_t对应的关键点集；

Step 1点匹配：当前帧F_t，是一张摄像机拍摄的无前景的绿幕图像。参考帧F_R，是一张事先得到的标准绿幕图像。该图像中的绿幕区域的边缘、端点及比对关键点皆为已知。

假设，当前在参考帧F_R上，有关键点集

包含N个关键点。每一个关键点

2D像素位置为

图像特征为

且有上一步估计的单应矩阵为H_t-1(当t＝1时，H_t-1＝I也即单位矩阵)，所对应的在当前帧F_t上有搜索域：

其中，||·||为二范数(欧氏距离)函数，ε为搜索范围的半径。注意，对于在区域

中，匹配算法确定该关键点为：

其中，

是当前帧F_t上2D位置为

的关键点的图像特征。

在第一次点匹配的过程中，H_t-1为单位矩阵，要想在当前帧搜索到参考帧的关键点所对应的关键点，需要将搜索范围ε定为无穷大。

第二步，根据这两个点集的几何位置得出单应矩阵H_t，计算得到估计的绿幕区域B和姿态估计；

Step 2计算单应矩阵：假设在点匹配后，在当前帧F_t上找到对应参考帧关键点集

的关键点集

也就得到了有若干关键点对的匹配图，如图2所示。

F_t的绿幕区域则可通过两帧之间的坐标转换矩阵H_t得到。H_t也叫单应矩阵，具体来说，假设F_R上关键点

对应当前帧F_t上的点

且它们的2D坐标分别为

和

则两帧之间的单应矩阵

满足：

根据两个关键点集的坐标位置，采用解多元方程组的方法计算出H_t，也可以通过使用RANSAC方法来提高对H_t估计的鲁棒性。在估算的单应矩阵H_t的基础上，算法把参考帧的绿幕的四个顶点坐标投影到当前帧上，得到绿幕在当前帧所占区域的估计B，如图3所示。通过三维物体成像公式估算出相机与绿幕之间的位置关系，即相机姿态。

第三、四步，先对区域B进行色键抽取，再根据公式计算α值，得到绿幕区域掩膜A_t；

Step 3取色键：估计的绿幕区域B应为一四边形(可能被图像边缘截断)。可知四边的解析方程式为：

由于存在关键点误匹配的现象，估算的H_t不是很准确，导致得到的绿幕区域B和真实绿幕区域相差较大，需要下面的步骤来修正。

在区域B中取色键，进行抠像。先将B区域内像素的RGB值通过下式转化为YUV值：

可以得到区域内所有像素点的UV值，然后对该区域内的像素点取色键。取色键可以用K-Means聚类方法。

Step 4α值估计：求取d值的基本思路均是利用一定先验条件求解方程：

I_z＝α_zF+(1-α_z)B′

其中，α_z＝1表示像素I_z属于前景F；α_z＝0表示像素I_z属于背景_BB′；若α_z∈(0，1)，则表示像素I_z是前景和背景的混合。所以在得到色键后，要进行α值的估计，得到前景和背景。α值是通过下式得出：

其中，I＝{(u₁，v₁)，(u₂，v₂)，...(u_z，v_z)…(u_n，v_n)}是当前帧像素的U、V值集合，(u_i，v_i)是上一步得到的色键的UV值，m和n是超参数。由于α值范围在[0，1]，所以要将上式的结果d输入到Sigmoid函数，映射在[0，1]区间上，得到当前帧每一个像素的α值。将帧像素分为三类：前景F，背景B′以及混合像素集合M，也就是绿幕区域掩膜A_t。

第五步，对A_t求取边缘处理和霍夫变换，确定该区域的边界，得到新的绿幕四边形区域B″和新的单应矩阵

同时计算出更准确的相机姿态；

Step 5提取直线：在得到A_t之后，对A_t进行坎尼算子求取边缘处理(如图4所示)，进行霍夫变换(如图5所示)：通过对直线参数空间的投票，估计出图像空间中的主要直线的解析方程式{l′₁，l′₂，l′₃，…，l′_Q}。在该集合中，对应上文每一条已经估计的四条边缘直线l_i，提出一根与之最接近的直线，于是算法得到4根霍夫算法估计的边缘线(如图6所示)，这四根边缘直线同样确定了一个四边形，也就是新的绿幕四边形区域B″。利用该四边形B″确定的四个顶点位置，可以估计出新的单应矩阵H′_t，对H′_t和H_t求均值，算法得到更新后的单应矩阵

(注意此处有专门的计算公式，不是简单的代数均值)。已知更新后的

通过三维物体成像公式估算出更准确的相机姿态。

第六步，重复上述步骤，不断更新单应矩阵，动态调整热点区域，直到点匹配的搜索范围ε小于给定的预设值，或者迭代步数达到预设上限，即可得到精准的相机姿态和色键；

Step 6迭代：下一次迭代依旧是对当前帧F_t与参考帧F_R进行点匹配，将上一步估计的单应矩阵

作为当前帧的H_t-1，且已知参考帧的比对关键点。在点匹配的搜索过程中，由于H_t-1变得准确，缩小搜索范围ε即可得到对应特征点。计算单应矩阵得到的热点区域会更接近真实绿幕区域的位置，相机姿态的估计也更精准提高了取色键的精度。随后取色键和计算α值，优化绿幕区域掩膜A_t，经过再一次的霍夫变换更新H_t后，得到更精准的绿幕区域和姿态估计，也就达到了迭代优化相机姿态估计和绿幕估计区域的目的。

重复1-5步骤，不断更新H_t，逐渐缩小点匹配搜索范围，校正估计的相机姿态，动态调整热点区域，提高取色键的精度，直到搜索范围ε小于预设值，或者迭代步数达到预设上限，几轮迭代结束后即可得到精准的相机姿态和色键。

第七步，基于预处理阶段得到的相机姿态放置虚拟场景；

基于预处理阶段得到的精准相机姿态，将当前画面抠像后放置在虚拟3D空间中，达到虚实结合的效果

第八步，根据预处理阶段得到的精准色键对每一帧来进行像素级抠像；

使用预处理阶段得到的精准色键对每一帧进行抠像，得到高质量的抠像结果。。

2.根据权利要求1所述的一种自迭代式的局部绿幕抠像方法，其特征在于：所述点匹配可以使用SIFT、SURF或深度学习算法。

3.根据权利要求1所述的一种自迭代式的局部绿幕抠像方法，其特征在于：所述色键的数量为一个及一个以上，用数据驱动的方法得到。

Images