CN109936709B - 一种基于时间信息的图像提取方法 - Google Patents

Abstract

本发明涉及一种基于时间信息的图像提取方法，属于计算机图像处理领域、影视特效以及抠像技术领域。通过设置摄影机拍摄频率与灯光闪烁频率相同，给非感兴趣区域赋予固定闪烁频率的标记，采集亮暗间隔的图像序列；再使用连续小波变换提取出不同区域之间的亮度随时间变换的频率信息；最后根据其频率不同即可区分出不同区域。所述方法克服了传统绿幕(蓝色)抠像中由于绿色(蓝色)幕布的漫反射导致前景偏绿(偏蓝)的问题；改善了前景不能含有绿色(蓝色)部分的问题，使得前景的颜色表现范围不受限制；降低了对背景的要求，对背景的反射率、平整程度无要求，节省了经济成本。

Description

一种基于时间信息的图像提取方法

技术领域

本发明涉及一种基于时间信息的图像提取方法，属于计算机图像处理领域、影视特效以及抠像技术领域。

背景技术

图像提取技术是指从数字图像中提取出某一块用户感兴趣的区域，是计算机图像处理领域、影视特效领域经典问题。为了获得较高的提取质量，一般会在拍摄时对非感兴趣区域添加标记，利用该标记使感兴趣区域与非感兴趣区域分离。传统影视行业的图像提取技术(抠像技术)主要是基于空间的色度抠像。该方法对非感兴趣区域添加不同的颜色标记。通常实现方法是将被摄物置于特制的绿色(蓝色)平坦幕布前，再适当调整后期处理的参数来移除画面中的绿色(蓝色)，即可实现前景和背景的分离。但传统的绿幕(蓝幕)拍摄由于幕布的漫反射所导致前景偏绿(偏蓝)；且绿幕(蓝幕)拍摄中前景不能含有绿色(蓝色)部分；同时绿幕(蓝幕)拍摄对背景的要求较高，需在平坦、反射率低的幕布下拍摄。由此提出了基于时间信息的图像的提取方法。该方法对非感兴趣区域添加不同频率标记，可有效解决基于空间的色度抠像的技术缺陷。

发明内容

本发明的目的在于克服现有图像提取技术存在的由漫反射所导致的前景偏绿、前景不能含有绿色部分以及对背景幕布要求较高的技术缺陷，提出了一种基于时间信息的图像提取方法，通过设置摄影机拍摄频率与灯光闪烁频率相同，给非感兴趣区域赋予固定闪烁频率的标记，采集亮暗间隔的图像序列；再使用连续小波变换提取出不同区域之间的亮度随时间变换的频率信息；最后根据其频率不同即可区分出不同区域。

一种基于时间信息的图像提取方法，包括如下步骤：

步骤一、系统初始化并采集图像序列，得到采集的视频；

步骤一、具体包括如下子步骤：

步骤1.1将灯光置于感兴趣区域之后以及非感兴趣区域之前；

步骤1.2用同步器设置灯光闪烁频率与摄影机拍摄频率相同；

步骤1.3灯光对后景赋予高速频闪灯光，与此同时，摄影机进行相同频率的高速拍摄来采集图像序列；

步骤二、将步骤一采集的视频分解为一帧一帧的图像序列，并将每张图像转换为灰度图；

步骤三、以每个像素为单位，对该像素从开始到结束的所有帧做小波变换，并保存小波变换后的图像，具体：

步骤3.1初始化i＝1，j＝1；

步骤3.2、对步骤二转换为灰度图的图像中的第i行第j列的像素点，提取该第i行第j列像素点从第一帧到最后一帧的亮度值；

步骤3.3、选择合适的小波基和对应的尺度对步骤3.2提取出的这组“从第一帧到最后一帧的亮度值”数据进行一维连续小波变换，得到连续小波变换后的系数；

优选的，小波变换的小波基包括但不限于bior1.1、bior3.1以及bior3.3中；

步骤3.4、将步骤3.3连续小波变换后的系数存入数组中；

步骤3.5、将i不变，j增1，重复步骤3.2到步骤3.4，判断j是否遍历结束，如果没遍历完，则跳至步骤3.2，否则跳至步骤3.6；

步骤3.6、将i增加1，重复步骤3.2到步骤3.5；判断i是否遍历结束，如果没遍历完跳至步骤3.2，否则，保存小波变换后的图像，并跳至步骤四；

步骤四、将步骤三小波变换后的图像与步骤二转换为灰度图的图像做对比，观察小波变换后的系数，调整透明度阈值，得到抠像蒙版；

步骤五、将抠像蒙版与原图相乘，得到抠像后的图像序列；

步骤六、提取步骤五抠像后的图像序列中非感兴趣区域闪烁灯光为暗的一半图像序列，从中抽取相同间隔的图像序列，再判断帧速率是否是24帧每秒，如果是直接输出24帧每秒的抠像后视频；否则进行帧率变换，输出帧速率为24帧每秒的抠像后视频；

其中，步骤六及其中的帧率变换包括但不限于如下几种情况：

6.1若视频的帧速率为360帧每秒，每隔15帧抽取一帧得到帧速率为24帧每秒的视频；

6.2若视频的帧速率为240帧每秒；则每隔10帧抽取一帧得到帧速率为24帧每秒的扣像视频；

6.3若视频的帧速率为120帧每秒；则每隔5帧抽取一帧即得到帧速率为24帧每秒的扣像视频；

6.4若视频的帧速率为96帧每秒；则每隔4帧抽取一帧即得到帧速率为24帧每秒的扣像视频；

6.5若视频的帧速率为48帧每秒；则抽取一半后得到帧速率为24帧每秒的扣像视频。

有益效果

本发明提出了一种基于时间信息的图像提取方法，与现有的基于空间的色度抠像相比，本方法具有如下有益效果：

1、本发明所述方法克服了传统绿幕(蓝色)抠像中由于绿色(蓝色)幕布的漫反射导致前景偏绿(偏蓝)的问题；

2、本发明所述方法改善了前景不能含有绿色(蓝色)部分的问题，使得前景的颜色表现范围不受限制；

3、本发明所述方法降低了对背景的要求，对背景的反射率、平整程度无要求，节省了经济成本。

附图说明

图1是本发明一种基于时间信息的图像提取方法的流程图；

图2是本发明一种基于时间信息的图像提取方法的步骤一的示意图；

图3是本发明一种基于时间信息的图像提取方法的采集图像序列图示意；

图4是本发明一种基于时间信息的图像提取方法的小波变换系数示意图；

图5是本发明一种基于时间信息的图像提取方法的实施结果。

具体实施方式

下面结合附图及实例对本发明所述的一种基于时间信息的图像提取方法进行详细说明。

实施例1

图1是本发明一种基于时间信息的图像提取方法的流程图。图2是本发明一种基于时间信息的图像提取方法的步骤一的示意图。依据上述流程图描述本申请在特定应用场景下的具体实施。

A、如图2所示，将灯光置于感兴趣区域之后、非感兴趣区域之前，灯光需具有速亮速暗的特性。用同步器设置灯光闪烁频率与摄影机拍摄频率相同，采集亮暗间隔的图像序列，如图3所示。并以不少于48帧每秒的拍摄频率进行拍摄，对于普通对话、动作缓慢的镜头，可以用96帧每秒的拍摄频率进行拍摄；对于运动镜头，可以用240帧每秒的拍摄频率进行拍摄。拍摄频率越高，采集到的图像信息越丰富，抠像的精度越高。但考虑到帧速率越高，对拍摄设备的硬件能力要求越高、拍摄现场灯光亮度要求越亮，拍摄成本也会相应的增加，故应根据实际拍摄情况选择合适的拍摄速率。

B、1、读取拍摄到的视频文件，将其分解为一帧一帧的图像序列，并将这些图像序列逐张转换为灰度图；

2、考虑视频中左上角第一行第一列处的像素点。提取该像素点从第一帧到最后一帧的灰度值，将这组一维数据存入数组中。由于小波变换相对于傅里叶变换具有多尺度细化分析的优点，故选用小波变换来对信号进行处理，将信号的时域特征转换为频域特征。根据情况选择合适的小波基及对应的尺度对该数组进行一维连续小波变换，具体为：

对于小波基及对应尺度的选择，应选择消失炬较小及小波变换后感兴趣区域与非感兴趣区域系数差别较大的小波基及对应的尺度。选择了合适的小波基及对应尺度，变换后得到一组系数；

具体实施时，小波基选择bior1.1、bior3.1以及bior3.3中的一种；也可以选择其他小波基。

该组系数记录了该像素点每一帧的频率信息。

3、对视频中的每个像素点执行步骤B的第1到2步，由此得到每个像素点每一帧的频率信息，即小波变换后的系数。

C、1、调用图像显示函数，观察任意一帧小波变换后的系数组成的图像，如图4所示。通过观察该系数图可得到感兴趣区域系数阈值和非感兴趣区域系数阈值。将系数大于感兴趣区域系数阈值的绝对透明区域设为1，系数小于非感兴趣区域系数阈值的绝对不透明区域设为0，将系数介于两者之间的半透明区域根据其系数大小设为0到1之间的值。

2、由此得到了抠像蒙版图序列。将每一帧的原图与模板的相乘，得到了抠像后的图像序列。

3、将抠像后的图像序列分为两部分，提取图像序列中非感兴趣区域闪烁灯光为暗的一半图像序列，再将这组图像序列组合在一起，得到抠像后的视频。

图5是本发明一种基于时间信息的图像提取方法的实施结果。

所述方法改善了前景不能含有绿色(蓝色)部分的问题，使得前景的颜色表现范围不受限制，即所述方法降低了对背景的要求，对背景的反射率、平整程度无要求，达到了良好的抠图效果，且节省了经济成本。

以上所述为本发明的较佳实施例而已，本发明不应该局限于该实施例和附图所公开的内容。凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保护的范围。

Claims (3)

1.一种基于时间信息的图像提取方法，其特征在于：包括如下步骤：

步骤一、系统初始化并采集图像序列，得到采集的视频；

步骤一具体包括如下子步骤：

步骤1.1将灯光置于感兴趣区域之后以及非感兴趣区域之前；

步骤1.2用同步器设置灯光闪烁频率与摄影机拍摄频率相同；

步骤1.3灯光对后景赋予高速频闪灯光，与此同时，摄影机进行相同频率的高速拍摄来采集图像序列；

步骤二、将步骤一采集的视频分解为一帧一帧的图像序列，并将每张图像转换为灰度图；

步骤三、以每个像素为单位，对该像素从开始到结束的所有帧做小波变换，并保存小波变换后的图像，具体：

步骤3.1初始化i＝1，j＝1；

步骤3.2、对步骤二转换为灰度图的图像中的第i行第j列的像素点，提取该第i行第j列像素点从第一帧到最后一帧的亮度值；

步骤3.3、选择合适的小波基和对应的尺度对步骤3.2提取出的这组“从第一帧到最后一帧的亮度值”数据进行一维连续小波变换，得到连续小波变换后的系数；

步骤3.4、将步骤3.3连续小波变换后的系数存入数组中；

步骤3.5、将i不变，j增1，重复步骤3.2到步骤3.4，判断j是否遍历结束，如果没遍历完，则跳至步骤3.2，否则跳至步骤3.6；

步骤3.6、将i增加1，重复步骤3.2到步骤3.5；判断i是否遍历结束，如果没遍历完跳至步骤3.2，否则，保存小波变换后的图像，并跳至步骤四；

步骤四、将步骤三小波变换后的图像与步骤二转换为灰度图的图像做对比，观察小波变换后的系数，调整透明度阈值，得到抠像蒙版；

步骤五、将抠像蒙版与原图相乘，得到抠像后的图像序列；

步骤六、提取步骤五抠像后的图像序列中非感兴趣区域闪烁灯光为暗的一半图像序列，从中抽取相同间隔的图像序列，再判断帧速率是否是24帧每秒，如果是直接输出24帧每秒的抠像后视频；否则进行帧率变换，输出帧速率为24帧每秒的抠像后视频。

2.根据权利要求1所述的一种基于时间信息的图像提取方法，其特征在于：步骤3.3中合适的小波基包括但不限于bior1.1、bior3.1以及bior3.3中。

3.根据权利要求1所述的一种基于时间信息的图像提取方法，其特征在于：步骤六及其中的帧率变换包括但不限于如下几种情况：

6.1若视频的帧速率为360帧每秒，每隔15帧抽取一帧得到帧速率为24帧每秒的视频；

6.2若视频的帧速率为240帧每秒；则每隔10帧抽取一帧得到帧速率为24帧每秒的扣像视频；

6.3若视频的帧速率为120帧每秒；则每隔5帧抽取一帧即得到帧速率为24帧每秒的扣像视频；

6.4若视频的帧速率为96帧每秒；则每隔4帧抽取一帧即得到帧速率为24帧每秒的扣像视频；

6.5若视频的帧速率为48帧每秒；则抽取一半后得到帧速率为24帧每秒的扣像视频。

Images