CN101917643B - 一种全自动2d转3d技术中的实时镜头检测方法和装置 - Google Patents

Abstract

本发明提出一种全自动2D转3D技术中的实时镜头检测方法，包括：读取当前帧；将所述当前帧划分为多个子块；统计相对于前一帧的所述多个子块的帧间差异值和累积帧差值；根据所述多个子块的帧间差异值动态调整所述多个子块对应的低阈值和高阈值；和根据所述多个子块的帧间差异值和累积帧差值，以及所述对应的低阈值和高阈值获得所述当前帧的镜头检测结果。本发明能够实时并且在线地给出当前帧的镜头检测结果，在保证查准率的基础上，具有较高的查全率，基本能满足后续处理的要求。

Description

一种全自动2D转3D技术中的实时镜头检测方法和装置

技术领域

本发明涉及计算机多媒体技术领域，特别涉及一种全自动2D转3D技术中的实时镜头检测方法和装置。

背景技术

视频中的一个镜头是指用同一摄像机进行连续不间断拍摄、表示时间和空间上的一个连续动作的帧序列。从上下文语义内容上讲，镜头是视频序列内容的基本单元。对于实时的全自动2D转3D系统而言，一种常见的流程是将其分为镜头检测、深度计算和DIBR渲染三个步骤。其中，镜头检测要求能够同时检测出视频中发生镜头突变和镜头渐变的边界；深度计算则是在镜头检测的基础上，针对同一镜头内的相邻图像帧，通过块匹配算法及双边滤波的处理，得到近似的深度图；而DIBR渲染则是指利用深度图所提供的场景的深度信息，根据原图生成该场景在其他虚拟视角上的图像，最终合成相应的立体图。

因此，镜头检测是全自动2D转3D系统中比较重要的一个模块。虽说到目前为止，许多研究者都提出了各式各样的镜头检测方法，但都存在各自的缺点，因此还需要改进。举例来说，有的方法在运算的时间复杂度上太高，它们或是需要将原图像从RGB空间转换到HSV或La^*b^*颜色空间，或是需要对图像的每个子块进行块匹配，或是需要对图像中的物体边缘进行检测和比较，因此总而言之，它们在进行这些处理时都会耗费较多的时间，不能够满足全自动2D转3D系统在实时性上的要求。另外，还有一些方法所使用的原理过于复杂，步骤过于繁琐，不利于今后实现该模块的硬件化。而像一些基于聚类的镜头分割方法则需要先读入所有帧的信息，再对这些帧进行分类，也不符合全自动2D转3D系统那种读入一帧就判断一帧的在线处理的模式。

发明内容

本发明的目的旨在至少解决上述技术缺陷，本发明提出了用于全自动2D转3D系统中的实时镜头检测方法。该方法能够实时并且在线地给出当前帧的镜头检测结果，在保证查准率的基础上，具有较高的查全率，基本能满足后续处理的要求。

为达到上述目的，本发明一方面提出一种全自动2D转3D技术中的实时镜头检测方法，包括以下步骤：读取当前帧；将所述当前帧划分为多个子块；统计相对于前一帧的所述多个子块的帧间差异值和累积帧差值；根据所述多个子块的帧间差异值动态调整所述多个子块对应的低阈值和高阈值；和根据所述多个子块的帧间差异值和累积帧差值，以及所述对应的低阈值和高阈值获得所述当前帧的镜头检测结果。

本发明再一方面还提出了一种全自动2D转3D技术中的实时镜头检测装置，包括：读取模块，用于读取当前帧；统计模块，用于将所述当前帧划分为多个子块，并统计相对于前一帧的所述多个子块的帧间差异值和累积帧差值；阈值调整模块，用于根据所述多个子块的帧间差异值动态调整所述多个子块对应的低阈值和高阈值；和镜头检测模块，用于根据所述多个子块的帧间差异值和累积帧差值，以及所述对应的低阈值和高阈值获得所述当前帧的镜头检测结果。

本发明的主要特点在于：

1)本发明的实时性较高，实验证明，对于分辨率为800×600的图像，在普通的单核电脑上，每帧的处理速度低于5ms。

2)据统计，视频中出现的镜头变换90％以上都是突变及淡出淡入渐变，本发明对这两种类型的镜头变换都能获得比较好的检测结果。当淡出淡入渐变过程中有黑屏出现时，对淡出淡入渐变的检测主要是确定黑屏起始帧。除此之外，本发明还能实现对没有黑屏帧出现的淡出淡入渐变、溶解渐变甚至是错切渐变的检测。

3)本发明所使用的阈值是自适应选取的，因此当视频中的场景发生变化，或是视频中物体的运动速度发生改变时，算法均能够自动确定适当的阈值，从而增强了本发明的鲁棒性和适应性。

4)本发明不像某些已有的镜头检测方法那样，需要建立某种数学模型，使用比较复杂的判定方法。相比之下，本发明在原理和流程上都较为简单，方便将该模块在硬件上进行实现。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的全自动2D转3D技术中的实时镜头检测方法流程图；

图2为本发明实施例动态调整四个子块对应的低阈值和高阈值的示意图；

图3为本发明实施例的获得当前帧镜头检测结果的流程图；

图4为本发明实施例的全自动2D转3D技术中的实时镜头检测装置结构图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本发明基于双阈值算法，并对双阈值算法进行了改进。为了能够对本发明有清楚的认识和理解，以下对双阈值算法进行简单介绍。双阈值法设置了两个阈值T_b及T_s，其中T_b＞T_s，当前一帧与后一帧之间的帧差大于T_b时存在镜头突变，而当前一帧与后一帧之间的帧差小于T_b而大于T_s时可能存在镜头渐变，此时将后一帧作为镜头渐变，并从该帧开始同时计算两种帧差：一种仍然是相邻两帧的帧差fd_k，k+1，一种则为相隔帧的帧差fd_l。当相隔帧的帧差fd_l超过T_b而且相邻帧的帧差小于T_s时，我们认为渐变过程结束。当相邻帧的帧差小于T_s而相隔帧的帧差fd_l没有超过T_b时，废除之前确定的起始帧，重新寻找新的起始帧。本发明在此基础上提出了用于全自动2D转3D系统中的实时镜头检测方法和装置，本发明能够实时并且在线地给出当前帧的镜头检测结果，在保证查准率的基础上，具有较高的查全率，基本能满足后续处理的要求。

本发明的目的是针对全自动2D转3D系统特有的需求，在借鉴了现有的镜头检测方法的基础之上，提出了一种通用性较强、实时性较高、便于硬件化的镜头检测算法，作为全自动2D转3D系统中的一个模块。该模块所要实现的主要功能时，每读入一帧图像，能够实时地给出当前帧的镜头检测结果，即以下可能的四种情况之一：当前帧没有发生镜头变化；当前帧出现了镜头突变；当前帧是镜头渐变过程的结束帧；当前帧为黑屏起始帧。根据不同的检测结果，系统的深度计算模块可以对当前帧进行不同的处理。

如图1所示，为本发明实施例的全自动2D转3D技术中的实时镜头检测方法流程图，包括以下步骤：

步骤S101，读入当前帧图像，并对其进行降采样。

步骤S102，若当前帧图像为彩色图，将其转化为灰度图像。

步骤S103，将当前帧图像划分为左上、右上、左下、右下这四个大小相同的子块统计每个子块的灰度直方图。当然本领域技术人员还可进行其他形式的子块划分，这些均应包含在本发明的保护范围之内。

步骤S104，统计相对于前一帧的所述多个子块的帧间差异值和累积帧差值。利用直方图最小帧差法，分别计算出每个子块在当前帧与前一帧的灰度直方图之间的差异(后面部分将其称之为各子块的帧间差异值)。计算公式如下：

$\mathrm{Dist}=1-\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\min (g\left(i\right),h\left(i\right))}{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}h\left(i\right)},$

其中，g(i)、h(i)分别表示在某子块的当前帧及前一帧的灰度直方图中第i针的像素个数，灰度直方图总共包含N针。在本发明的一个实施例中，可取N＝64。

步骤S105，根据四个子块的帧间差异值动态调整所述四个子块对应的低阈值和高阈值。如图2所示，为本发明实施例动态调整四个子块对应的低阈值和高阈值的示意图，具体包括以下步骤：

步骤S201，初始设置。为每个子块设定一个大小为N的队列，用于保存各子块在满足条件的最近N帧的帧间差异值。在本发明的一个实施例中，N＝20。当然本领域技术人员还可选择其他N值。为每个子块都设定两个阈值，即低阈值Tl[i]和高阈值Th[i]，i＝1，2，3，，并它们设定好初始值Tl_o[i]及Th_o[i]。除此之外，还为每个子块设定了变量maxd[i]和subMaxd[i]，分别用于表示当前在队列中最大的帧间差异值及次大的帧间差异值，并且也设定好初值maxd₀[i]及subMaxd₀[i]，并保证maxd₀[i]＞2*subMaxd₀[i]。在本发明的一个实施例中，Tl_o[i]＝0.05、Th_o[i]＝0.3、maxd₀[i]＝0.2、subMaxd₀[i]＝0.05。

步骤S202，检测所述当前帧是否几乎为黑屏。具体包括：

1.1对于每个子图，若低灰度值的像素所占比率大于第一预设值，则投票数增1。在这里取第一预设值为0.97，低灰度值的像素指的是落在直方图第1针中的像素。

1.2若四个子图中有三个或三个以上进行了投票，则判定该帧几乎为黑屏帧，此时将变量startDarkScence设为true，表示将准备对接下来可能出现的黑屏起始帧进行检测。

1.3若投票数小于3，则将变量startDarkScence设为false。此外，若变量darkScenceDetected为true，则将darkScenceDetected重置为false。

步骤S203，如果所述当前帧不几乎为黑屏，则进一步判断每个子块的帧间差异值是否大于第三预设值。在本发明的一个实施例中，第三预设值可为0.001。

步骤S204，如果每个子块的帧间差异值均大于第三预设值，则将各个子块的帧间差异值分别加入它们各自对应的队列中。

步骤S205，判断队列是否被填满。

步骤S206，如果判断队列没有被填满，则用初始阈值Tl_o[i]、Th_o[i]、maxd₀[i]及subMaxd₀[i]进行检测。

步骤S207，如果判断队列被填满，则每加入一个新的帧间差异值，都会将最早加入的帧间差异值移出队列。

步骤S208，根据更新后的队列，对各个阈值进行更新。具体包括：

208a、对于每个子块所对应的队列，求出当前在队列中最大的帧间差异值maxd[i]、次大的帧间差异值subMaxd[i]、最小的帧间差异值mind[i]，以及队列中帧间差异值的均值mean[i]。

208b、对每个队列，将区间[mind[i]，maxd[i]]划分为前后两个相等的区间

及

分别求出落在前一个区间的帧间差异值的均值formerMean[i]及落在后一个区间的帧间差异值的均值latterMean[i]。

208c、其中，lowFactor及highFactor是预先设定的值，在本发明的一个实施例中，可以取lowFactor＝4，lowFactor＝1.2。若latterMean[i]-formerMean[i]＞highFactor*mean[i]，则

否则Th[i]＝highFactor*mean[i]。

208d、Tl[i]＝highFactor*mean[i]。

步骤S106，根据所述多个子块的帧间差异值和累积帧差值，以及所述对应的低阈值和高阈值获得所述当前帧的镜头检测结果。如图3所示，为本发明实施例的获得当前帧镜头检测结果的流程图，具体包括以下步骤：

步骤S301，判断是否有一个以上的子块的帧间差异值小于低阈值Tl。对于当前帧的每个子块，若帧间差异值小于低阈值Tl，则投票数增1。当四个子图中有两个及两个以上进行了投票，则认为对整幅图像而言帧间差异值小于Tl，此时执行步骤S302，否则执行步骤S306。

步骤S302，进一步判断所述当前帧是否处于潜在的镜头渐变过程中，即若变量startGradualchange为true，则表示该帧处于潜在的镜头渐变过程中。此时进一步判断所述当前帧是否为镜头渐变过程中的结束帧，如果判断是镜头渐变过程中的结束帧，则继续对下一帧图像进行判定，返回步骤S101。具体包括：

302a)、对于每个子块，若相隔帧的累积帧差大于高阈值Th，则投票数增1。当四个子块中有三个以上进行了投票，则认为对整幅图像而言相隔帧的累积帧差大于Th，此时执行步骤302b)-302d，否则执行步骤302e-302f。

302b)、将startGradualchange设为false，表示渐变过程结束。

302c)、若startDarkScence为true，则表示该渐变过程很可能是淡出渐变，变量darkScenceDetected被设置为true，表明我们不需要再对淡出渐变结束后出现的黑屏起始帧进行检测，因为它与该帧的位置应该非常接近。

302d)、该帧被判断为镜头渐变过程的结束帧。继续对下一帧图像进行判定，返回步骤S101。

302e)、若startDarkScence为false，将accum_gradual_exception计数器增1。

302f)、当accumGradualException大于预设值maxException时，表示对整幅图像而言帧间差异值小于Tl的次数已经超过maxException次。此时将startGradualchange设为false，表明将废除之前所判断的潜在的渐变起始帧，重新寻找新的起始帧。在这里取maxException＝3。若该帧不是镜头渐变过程中的结束帧，则执行步骤S303。

步骤S303，进一步判断所述当前帧是否完全黑屏。对于每个子图，若低灰度值的像素所占比率大于第二预设值，则投票数增1。在本发明的一个实施例中，可以取第二预设值为0.99，低灰度值的像素指的是落在直方图第1针中的像素。若四个子图全部都进行了投票，则判定该帧完全黑屏。

步骤S304，如果判断所述当前帧为完全黑屏，且变量darkScenceDetected为false，则将所述当前帧判定为一个黑屏起始帧，并将darkScenceDetected设置为true，表示不再标记之后那些连续的黑屏帧，同时，将startGradualchange设为false，表示可能是一个淡出渐变过程的结束。并继续对下一帧图像进行判定，返回步骤S101。

步骤S305，如果判断所述当前帧不为完全黑屏，则此时有三种可能，一是之前的那些帧都位于潜在的镜头渐变过程中，但在上述步骤中废除了之前所判断的潜在起始帧；二是当前帧仍处在潜在的镜头渐变过程中，只不过对整幅图像而言当前帧的帧间差异值小于Tl；三是之前的那些帧并不在镜头渐变过程中，并且当前帧的帧间差异值小于Tl。对于这三种情况而言，当前帧均被判定为没有发生镜头变化。继续对下一帧图像进行判定，返回步骤S101。

步骤S306，检测所述当前帧是否发生了镜头突变。对于每个子图，若帧间差异值大于高阈值Th，同时它还是其对应的队列中最大的帧间差异值，并且在其对应的队列最大的帧间差异值超过次大的帧间差异值一倍以上，则投票数增1。若四个子图中有三个进行了投票，则判定当前帧出现了镜头突变，并将startGradualchange设为false。继续对下一帧图像进行判定，返回步骤S101。否则，判断此时帧间差异值介于低阈值Tl及高阈值Th之间，将变量accumGradualException置为零，该变量表示潜在的镜头渐变过程中帧间差异值连续小于Tl的次数

步骤S307，计算相隔帧的累积帧差。若变量startGradualchange为false，表示可能从当前帧开始发生了镜头渐变过程。为各子块定义一个相隔帧的累积帧差值，并将当前各子块的帧间差异值做为它们各自所对应的相隔帧的累积帧差。若变量startGradualchange为true，表示当前帧仍然处在潜在的镜头渐变过程中。此时更新各子块所对应的相隔帧的累积帧差，即在它们原有数值的基础上再分别叠加当前各子块的帧间差异值。

步骤S308，检测该帧是否完全黑屏。

步骤S309，若该帧完全黑屏，且变量darkScenceDetected为false，则将所述当前帧判定为一个黑屏起始帧，并将darkScenceDetected设置为true，表示不再标记之后那些连续的黑屏帧，同时，将startGradualchange设为false，表示可能是一个淡出渐变过程的结束。并继续对下一帧图像进行判定，返回步骤S101。

步骤S310，若该帧不完全黑屏，则此时当前帧处在潜在的镜头渐变过程中，但渐变过程还没有结束。在这种情况下，当前帧仍被判定为没有发生镜头变化。继续对下一帧图像进行判定，返回步骤S101。

如图4所示，为本发明实施例的全自动2D转3D技术中的实时镜头检测装置结构图。该装置100包括读取模块110、统计模块120、阈值调整模块130和镜头检测模块140。读取模块110用于读取当前帧。统计模块120用于将所述当前帧划分为多个子块，并统计相对于前一帧的所述多个子块的帧间差异值和累积帧差值。阈值调整模块130用于根据所述多个子块的帧间差异值动态调整所述多个子块对应的低阈值和高阈值。镜头检测模块140用于根据所述多个子块的帧间差异值和累积帧差值，以及所述对应的低阈值和高阈值获得所述当前帧的镜头检测结果。

在本发明的一个实施例中，实时镜头检测装置100用于全自动2D转3D系统中，为深度计算提供检测结果。其中，镜头检测结果包括：当前帧没有发生镜头变化、当前帧出现了镜头突变、当前帧是镜头渐变过程的结束帧、当前帧为黑屏起始帧。

在本发明的一个实施例中，阈值调整模块130为每个子块设定一个大小为N的队列，其中，所述队列中保存的是该子块在满足条件的最近N帧的帧间差异值，并统计队列中最大、次大、最小以及平均的帧间差异值，以及根据所述统计结果调整所述每个子块对应的低阈值和高阈值。其中，所述满足条件的最近N帧包括：不是几乎为黑屏，并且每个子块在该帧的帧间差异值均大于预设值的，位于所述当前帧及当前帧之前的最近N帧。

在本发明的一个实施例中，如果所述四个子块中有三个及三个以上子块在当前帧的帧间差异值大于所述高阈值，同时其还是此时的队列中最大的帧间差异值，并且此时的队列中最大的帧间差异值超过次大的帧间差异值一倍以上，则镜头检测模块140判断所述当前帧出现了镜头突变。

在本发明的一个实施例中，如果所述当前帧处于潜在的镜头渐变过程中，并且有一个以上的子块在该帧的帧间差异值小于低阈值，同时四个子块中有三个及三个以上子块在当前帧的累积帧差大于高阈值，则镜头检测模块140判断所述当前帧是镜头渐变过程结束帧。

在本发明的一个实施例中，如果所述当前帧处于潜在的镜头渐变过程中，并且当前帧是该镜头渐变过程中，第一个满足在四个子块中低灰度值像素所占比率均大于第一预设值这一条件的图像帧，则镜头检测模块140判断当前帧为黑屏起始帧；或者，如果从距离当前帧最近的一个不是几乎为黑屏的图像帧出现时算起，所述当前帧是第一个满足在四个子块中低灰度值像素所占比率均大于第一预设值这一条件的图像帧，并且在此之间没有出现处于潜在的镜头渐变过程中的几乎为黑屏的图像帧，则镜头检测模块140判断当前帧为黑屏起始帧。其中，如果当前帧中在三个及三个以上子块中低灰度值像素所占比率均大于第二预设值，则所述镜头检测模块判断所述当前帧是几乎为黑屏的图像帧，其中，所述第二预设值略小于所述第一预设值。

在本发明的一个实施例中，如果在所述当前帧之前出现了镜头渐变过程的起始帧，且对于所述起始帧之后、当前帧之前的每一帧而言，均不满足镜头突变帧所需条件，并且有一个以上子块在该帧的累积帧差小于高阈值，此外在这些帧中，最多只能允许连续maxException个非黑屏帧可以有一个以上的子块在该帧的帧间差异值小于低阈值，则镜头检测模块140判断所述当前帧处于潜在的镜头渐变过程中。其中，若四个子块中有三个及三个以上子块在某一帧的帧间差异值高于低阈值，但该帧却不满足镜头突变帧所需条件，则所述镜头检测模块判断该帧是所述镜头渐变过程的起始帧。

本发明的主要特点在于：

1)本发明的实时性较高，实验证明，对于分辨率为800×600的图像，在普通的单核电脑上，每帧的处理速度低于5ms。

2)据统计，视频中出现的镜头变换90％以上都是突变及淡出淡入渐变，本发明对这两种类型的镜头变换都能获得比较好的检测结果。当淡出淡入渐变过程中有黑屏出现时，对淡出淡入渐变的检测主要是确定黑屏起始帧。除此之外，本发明还能实现对没有黑屏帧出现的淡出淡入渐变、溶解渐变甚至是错切渐变的检测。

3)本发明所使用的阈值是自适应选取的，因此当视频中的场景发生变化，或是视频中物体的运动速度发生改变时，算法均能够自动确定适当的阈值，从而增强了本发明的鲁棒性和适应性。

4)本发明不像某些已有的镜头检测方法那样，需要建立某种数学模型，使用比较复杂的判定方法。相比之下，本发明在原理和流程上都较为简单，方便将该模块在硬件上进行实现。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims (25)

1.一种全自动2D转3D技术中的实时镜头检测方法，其特征在于，包括以下步骤：

读取当前帧；

将所述当前帧划分为多个子块；

统计相对于前一帧的所述多个子块的帧间差异值和累积帧差值；

根据所述多个子块的帧间差异值动态调整所述多个子块对应的低阈值和高阈值；和

根据所述多个子块的帧间差异值和累积帧差值，以及所述对应的低阈值和高阈值获得所述当前帧的镜头检测结果，

其中，所述根据多个子块的帧间差异值动态调整所述多个子块对应的低阈值和高阈值包括：

为每个子块设定一个大小为N的队列，其中，所述队列中保存的是该子块在满足条件的最近N帧的帧间差异值；

统计队列中最大、次大、最小以及平均的帧间差异值；

根据所述统计结果调整所述每个子块对应的低阈值和高阈值，

其中，所述根据统计结果调整所述每个子块对应的低阈值和高阈值包括：

将队列中帧间差异值的平均值mean分别乘以两个系数：highFactor及lowFactor；

将最大及最小的帧间差异值所确定的区间均分为前后两个子区间，分别统计落在前一个子区间及后一个子区间的帧间差异值的均值；

如果这两个均值的差大于mean*highFactor，则将这两个均值的中间值作为高阈值，将mean*lowFactor作为低阈值；否则便将mean*highFactor作为高阈值，将mean*lowFactor作为低阈值。

2.如权利要求1所述的全自动2D转3D技术中的实时镜头检测方法，其特征在于，所述镜头检测结果包括：当前帧没有发生镜头变化、当前帧出现了镜头突变、当前帧是镜头渐变过程的结束帧、当前帧为黑屏起始帧。

3.如权利要求1所述的全自动2D转3D技术中的实时镜头检测方法，其特征在于，相对于前一帧的所述多个子块的帧间差异值通过以下公式计算：

$\mathrm{Dist}=1-\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\min (g\left(i\right),h\left(i\right))}{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}h\left(i\right)},$

其中g(i)、h(i)分别表示在该子块前一帧及当前帧的灰度直方图中第i针的像素个数，灰度直方图总共包含N针。

4.如权利要求1所述的全自动2D转3D技术中的实时镜头检测方法，其特征在于，所述多个子块的累积帧差值为：从上一个可能的镜头渐变过程的起始帧开始，将各个子块在每一帧的帧间差异值累加起来所得到的累积值。

5.如权利要求1所述的全自动2D转3D技术中的实时镜头检测方法，其特征在于，所述满足条件的最近N帧包括：不是几乎为黑屏，并且每个子块在该帧的帧间差异值均大于预设值的，位于所述当前帧及当前帧之前的最近N帧。

6.如权利要求1所述的全自动2D转3D技术中的实时镜头检测方法，其特征在于，所述多个子块为所述当前帧内左上、右上、左下、右下这四个大小相同的子块。

7.如权利要求6所述的全自动2D转3D技术中的实时镜头检测方法，其特征在于，如果所述四个子块中有三个或三个以上子块在当前帧的帧间差异值大于所述高阈值，同时其还是此时的队列中最大的帧间差异值，并且此时的队列中最大的帧间差异值超过次大的帧间差异值一倍以上，则判断所述当前帧出现了镜头突变。

8.如权利要求1所述的全自动2D转3D技术中的实时镜头检测方法，其特征在于，所述多个子块为所述当前帧内左上、右上、左下、右下这四个大小相同的子块。

9.如权利要求8所述的全自动2D转3D技术中的实时镜头检测方法，其特征在于，如果所述当前帧处于潜在的镜头渐变过程中，并且有一个以上的子块在该帧的帧间差异值小于低阈值，同时四个子块中有三个或三个以上子块在当前帧的累积帧差值大于高阈值，则判断所述当前帧是镜头渐变过程结束帧。

10.如权利要求8所述的全自动2D转3D技术中的实时镜头检测方法，其特征在于，如果所述当前帧处于潜在的镜头渐变过程中，并且当前帧是该镜头渐变过程中，第一个满足在四个子块中低灰度值像素所占比率均大于第一预设值这一条件的图像帧，则判断当前帧为黑屏起始帧；

或者，如果从距离当前帧最近的一个不是几乎为黑屏的图像帧出现时算起，所述当前帧是第一个满足在四个子决中低灰度值像素所占比率均大于第一预设值这一条件的图像帧，并且在此之间没有出现处于潜在镜头渐变过程中的几乎为黑屏的图像帧，则判断当前帧为黑屏起始帧。

11.如权利要求4所述的全自动2D转3D技术中的实时镜头检测方法，其特征在于，若四个子块中有三个或三个以上子块在某一帧的帧间差异值高于低阈值，但该帧却不满足镜头突变帧所需条件，则所述帧是所述镜头渐变过程的起始帧。

12.如权利要求10所述的全自动2D转3D技术中的实时镜头检测方法，其特征在于，如果当前帧中在三个或三个以上子块中低灰度值像素所占比率均大于第二预设值，则判断所述当前帧是几乎为黑屏的图像帧，其中，所述第二预设值略小于所述第一预设值。

13.一种全自动2D转3D技术中的实时镜头检测装置，其特征在于，包括：

读取模块，用于读取当前帧；

统计模块，用于将所述当前帧划分为多个子块，并统计相对于前一帧的所述多个子块的帧间差异值和累积帧差值；

阈值调整模块，用于根据所述多个子块的帧间差异值动态调整所述多个子块对应的低阈值和高阈值；和

镜头检测模块，用于根据所述多个子块的帧间差异值和累积帧差值，以及所述对应的低阈值和高阈值获得所述当前帧的镜头检测结果，

其中，所述阈值调整模块为每个子块设定一个大小为N的队列，其中，所述队列中保存的是该子块在满足条件的最近N帧的帧间差异值，并统计队列中最大、次大、最小以及平均的帧间差异值，以及根据所述统计结果调整所述每个子块对应的低阈值和高阈值，

其中，所述根据统计结果调整所述每个子块对应的低阈值和高阈值包括：

将队列中帧间差异值的平均值mean分别乘以两个系数：highFactor及lowFactor；

将最大及最小的帧间差异值所确定的区间均分为前后两个子区间，分别统计落在前一个子区间及后一个子区间的帧间差异值的均值；

如果这两个均值的差大于mean*highFactor，则将这两个均值的中间值作为高阈值，将mean*lowFactor作为低阈值；否则便将mean*highFactor作为高阈值，将mean*lowFactor作为低阈值。

14.如权利要求13所述的全自动2D转3D技术中的实时镜头检测装置，其特征在于，所述实时镜头检测装置用于全自动2D转3D系统中，为深度计算模块提供镜头检测结果。

15.如权利要求13所述的全自动2D转3D技术中的实时镜头检测装置，其特征在于，所述镜头检测结果包括：当前帧没有发生镜头变化、当前帧出现了镜头突变、当前帧是镜头渐变过程的结束帧、当前帧为黑屏起始帧。

16.如权利要求13所述的全自动2D转3D技术中的实时镜头检测装置，其特征在于，所述统计模块通过以下公式计算相对于前一帧的所述多个子块的帧间差异值：

$\mathrm{Dist}=1-\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\min (g\left(i\right),h\left(i\right))}{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}h\left(i\right)},$

其中g(i)、h(i)分别表示在该子块前一帧及当前帧的灰度直方图中第i针的像素个数，灰度直方图总共包含N针。

17.如权利要求13所述的全自动2D转3D技术中的实时镜头检测装置，其特征在于，所述多个子块的累积帧差值为：从上一个可能的镜头渐变过程的起始帧开始，将各个子块在每一帧的帧间差异值累加起来所得到的累积值。

18.如权利要求13所述的全自动2D转3D技术中的实时镜头检测装置，其特征在于，所述满足条件的最近N帧包括：不是几乎为黑屏，并且每个子块在该帧的帧间差异值均大于预设值的，位于所述当前帧及当前帧之前的最近N帧。

19.如权利要求13所述的全自动2D转3D技术中的实时镜头检测装置，其特征在于，所述多个子块为所述当前帧内左上、右上、左下、右下这四个大小相同的子块。

20.如权利要求19所述的全自动2D转3D技术中的实时镜头检测装置，其特征在于，如果所述四个子块中有三个或三个以上子块在当前帧的帧间差异值大于所述高阈值，同时其还是此时的队列中最大的帧间差异值，并且此时的队列中最大的帧间差异值超过次大的帧间差异值一倍以上，则所述镜头检测模块判断所述当前帧出现了镜头突变。

21.如权利要求13所述的全自动2D转3D技术中的实时镜头检测装置，其特征在于，所述多个子块为所述当前帧内左上、右上、左下、右下这四个大小相同的子块。

22.如权利要求21所述的全自动2D转3D技术中的实时镜头检测装置，其特征在于，如果所述当前帧处于潜在的镜头渐变过程中，并且有一个以上的子块在该帧的帧间差异值小于低阈值，同时四个子块中有三个或三个以上子块在当前帧的累积帧差值大于高阈值，则所述镜头检测模块判断所述当前帧是镜头渐变过程结束帧。

23.如权利要求21所述的全自动2D转3D技术中的实时镜头检测装置，其特征在于，如果所述当前帧处于潜在的镜头渐变过程中，并且当前帧是该镜头渐变过程中，第一个满足在四个子块中低灰度值像素所占比率均大于第一预设值这一条件的图像帧，则所述镜头检测模块判断当前帧为黑屏起始帧；

或者，如果从距离当前帧最近的一个不是几乎为黑屏的图像帧出现时算起，所述当前帧是第一个满足在四个子块中低灰度值像素所占比率均大于第一预设值这一条件的图像帧，并且在此之间没有出现处于潜在镜头渐变过程中的几乎为黑屏的图像帧，则所述镜头检测模块判断当前帧为黑屏起始帧。

24.如权利要求17所述的全自动2D转3D技术中的实时镜头检测方法，其特征在于，若四个子块中有三个或三个以上子块在某一帧的帧间差异值高于低阈值，但该帧却不满足镜头突变帧所需条件，则该帧是所述镜头渐变过程的起始帧。

25.如权利要求18或23所述的全自动2D转3D技术中的实时镜头检测装置，其特征在于，如果当前帧中在三个或三个以上子块中低灰度值像素所占比率均大于第二预设值，则所述镜头检测模块判断所述当前帧是几乎为黑屏的图像帧，其中，所述第二预设值略小于所述第一预设值。

Images