CN104243887B - 一种基于不规则采样的电影模式检测方法和装置 - Google Patents

Abstract

本发明提供了一种基于不规则采样的电影模式检测方法和装置，其将每帧图像划分为多个图像子块；对相邻的图像子块，采用互异的不规则采样选出采样位置的像素；然后分块统计出这些像素的灰度直方图。在对当前帧进行直方图统计的同时，并行计算其与前一帧图像的直方图差值；当前帧图像扫描结束时，得到其直方图以及该直方图与前一帧直方图的差值，此灰度直方图参与到下一帧的计算当中；最终根据直方图差的大小确定电影模式。本发明占用很小的存储器资源；准确性较高，克服了传统基于直方图的方法对包含局部运动或全局平缓运动的序列无法正确检测的缺点。

Description

一种基于不规则采样的电影模式检测方法和装置

技术领域

本发明涉及电影模式检测方法和装置，具体地，涉及一种将序列中每一帧划分为多个图像子块，对每个子块不规则采样后进行直方图统计的电影模式检测方法和装置。

背景技术

近年来，人们对高品质视觉享受的主观需求和半导体技术快速发展的客观条件共同促进了超高清电视产业的蓬勃发展。然而，由于当前传输系统带宽的限制，超高清电视节目只能以较低的帧率传输。与此同时，大屏幕显示设备的刷新率又有较大的提升，视频帧率低于屏幕刷新率，这一失配直接导致图像出现拖影、停顿、模糊等现象，显示效果不佳。视频帧率上变换技术作为重要的视频后处理手段，可以有效的提升显示视频的帧率，在高刷新率的显示屏上提高图像的主观质量。

受限于实现复杂度，目前帧率上变换设备多采用基于有限数目运动候选矢量的方法，此类方法的矢量场经过若干帧后趋于收敛。电影在电视里播放时，通常采用三二下拉或二二下拉技术，此技术通过添加一定的重复帧使得满足电视帧率要求。当对这种电影模式进行帧率上变换时，添加的重复帧导致运动矢量场不断重新归0，从而无法收敛到真实的运动轨迹。因此需要对视频流进行实时检测，以便在发现电影信号时，及时进行特殊处理。一般的做法是提取出关键帧，对关键帧进行更高倍数的帧率上变换，以在最大程度上取得良好的图像质量。

传统的电影模式检测方法一般基于前后两帧的差异，常用的包括：基于前后帧的像素绝对值差和以及基于前后帧的像素直方图绝对值差(如200410062063.6)和(如200910252679.2)。前者的准确度高，但存储量和计算量较大；相反地，后者存储量较小，但是由于直方图通常只能反应全局统计信息，其检测的准确率较低，尤其对于局部运动或小速率运动难以检测出来。因此，寻求一种低复杂度、高准确率的电影模式检测方法和装置非常必要。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于不规则采样的电影模式检测方法和装置，将序列中每一帧划分为多个图像子块，对每个子块不规则采样后进行直方图统计；所述装置仅需很小的存储器资源，且可以快捷准确地对电影模式进行检测处理，特别是对只有局部运动或小速率运动的序列检测准确率高。

根据本发明的一个方面，提供一种基于不规则采样的电影模式检测方法，所述方法包括如下步骤：

第一步、将序列中的每一帧图像划分为多个图像子块；

第二步、对每个图像子块进行不规则采样，从而选择出采样位置的像素；

第三步、确定采样后的当前帧的灰度直方图，以及当前帧与前一帧的直方图差；

第四步、根据连续多帧的直方图差的大小推断出该序列的电影模式。

优选地，第一步中，每一帧图像划分为多个图像子块，具体的：

每一帧是被划分为N个图像子块、M种不规则采样的方式，其中M不大于N，且相邻的图像子块选用互异的采样方式。

优选地，第二步中，所述的不规则采样是指基于像素块和像素点两级采样，其中：

基于像素块采样，是指在图像中以预定规格的像素块为基本单位采样；

基于像素点采样，是指在前一级有效像素块中以像素点为基本单位采样。

更优选地，所述的不规则采样保证每个图像子块里只有采样位置的像素被用来做直方图统计，以此增加直方图的位置特性。

优选地，第三步中，确定当前帧的灰度直方图，是指对N个图像子块分别统计灰度直方图，从而建立N组独立的灰度直方图信息。

优选地，第三步中，确定当前帧与前一帧的灰度直方图，与所述确定当前帧的灰度直方图同步进行；每帧结束时，同时得到当前帧的直方图以及当前帧与前一帧的直方图差。

优选地，第三步中，为确定当前帧的灰度直方图，执行以下步骤：

1)按照扫描顺序，对每一个有效像素，确定其所在的图像子块编号、块内偏移以及对应的灰度级；

2)根据上述参数，确定该像素对应的当前帧的子块直方图编号及存储地址；

3)将该存储地址上的统计数目加1。

优选地，第三步中，为确定当前帧与前一帧的直方图差，执行以下步骤：

1)按照扫描顺序，对每一个有效像素，确定其所在的图像子块编号、块内偏移以及对应的灰度级；

2)根据上述参数，确定该像素对应的前一帧的子块直方图编号及存储地址；

3)将该存储地址上的统计数目减1。

更优选地，当前帧统计完成时，对小于0的差值取其绝对值。

根据本发明的另一个方面，提供一种基于不规则采样的电影模式检测装置，所述装置包括：

控制模块：用于划分图像子块、对子块像素不规则采样；根据像素所在的位置和灰度计算其对应的访存地址，并产生相应的读写使能信号及片选信号；在每帧结束时，控制存储器模块将直方图差的所的统计值发送至判断模块；

存储器模块：耦接于控制模块之后，用于存储当前帧图像的直方图信息以及其与前一帧的直方图差；接收控制模块产生的访存地址、读写使能信号及片选信号，进行读写访存；

判断模块：耦接于存储器之后，用于接收存储器模块输出的直方图差，计算其统计值总和；根据连续多帧的统计值总和的大小推断出该序列的电影模式。

优选地，所述的存储器模块由两片分立RAM组成，交替存储当前帧图像的直方图信息以及其与前一帧的直方图差；同一帧的N个子块图像的直方图按顺序存储在同一片所述分立RAM中。

优选地，所述的存储器模块在处理当前帧时，执行以下步骤：

根据当前帧的编号，得出其对应的分立RAM，将其所有地址的值置零；另一片RAM中的值保持不变；

根据像素的位置和灰度值，计算出其在存储器对应的地址，拉高读使能信号，读出相应的统计数目；

保持地址信号不变，对统计数目执行加1运算，拉高写使能信号，将新的统计数目写回原地址；

同样地，读出另一片RAM相同地址的统计数目，执行减1运算后写回原地址；

统计完一帧后，形成当前帧的直方图以及当前帧与前一帧的直方图差。

优选地，所述的判断模块根据直方图差的统计值总和，判断是否发生帧重复；根据重复帧出现的模式确定是否发生电影模式。

与现有技术相比，本发明具有如下的有益效果：

1、只需存储当前帧图像的直方图以及其与前一帧的的直方图差，且可实现用两片RAM存储，存储量较小；

2、不规则采样的策略保证本发明对局部运动或小运动敏感，准确率高。

本发明占用很小的存储器资源；准确性较高，克服了传统基于直方图的方法对包含局部运动或全局平缓运动的序列无法正确检测的缺点。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明方法的功能方块图；

图2为本发明一实施例的示意图；

图3为本发明一实施例两种采样方式示意图；

图4为本发明一实施例的装置结构框图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

如图1所示，本实施例提供一种基于不规则采样的电影模式检测方法，包括如下步骤：

(1)将序列中的每一帧图像划分为多个图像子块；

(2)对每个图像子块进行不规则采样，从而选择出采样位置的像素；

(3)确定采样后的当前帧灰度直方图，以及其与前一帧的直方图差；

(4)根据连续多帧的直方图差的大小推断出该序列的电影模式。

为了详细说明本发明所述的一种基于不规则采样的电影模式检测方法，以下一范例来加以说明：

如图2所示，分辨率为3840*2160的图像被分为36个子块，每个子块的尺寸为640*360。

不规则采样策略基于像素块和像素点两级采样。相邻的子块采用不同的采样方式，实例中以相互间隔的两种采样方式为例，如图3所示，其中黑色代表有效的像素点；

如图3的(a)所示，对于采样方式1，首先基于40*40像素块间隔采样，在选中的像素块中进一步按照对角20*20子块采样，同时20*20子块中按像素点间隔采样；

如图3的(b)所示，对于采样方式2，像素块采样密度加大，子块中同样按像素点间隔采样；

本实施例中，方式1的采样率为25％，方式2的采样率为75％，整体的采样率为50％。本实施例中的两种采样方式，具有以下优点：

1)大幅度减少统计像素的数目，从而降低计算量，根据以上分析，统计计算量降低50％；

2)保证了图像的全局信息，同时使得对局部运动或平缓运动敏感。图像字块边界或者内部发生运动时，上述采样方式保证发生运动的位置在前后帧会得到不同的像素点，以此增加直方图的位置属性。

在一较优实施例中，假设系统输入的是10bit视频，设定256个灰度级。按照行扫描顺序，对属于采样位置的像素，计算其所在的子块数目及所属的灰度级，如第1行第700列、灰度值为800的像素，其属于第2个子块、第200个灰度级，依此计算其存储地址，并将此灰度级的统计数目加1，同时前一帧的直方图的此灰度级的统计数目减1。按照此方式，将当前帧统计结束，得到当前帧的直方图以及当前帧与前一帧的直方图差。

判断模块根据连续多帧的直方图差的统计总和确定电影模式。若其符合传统直方图检测方法中所述的“大大大小小”的规律，且检测到连续多组，则可判断进入“3：2”电影模式；类似地，如多帧的统计总和不再符合“大大大小小”的规律，且检测到连续多组，则可判断跳出“3：2”电影模式。

如图4所示，在另一实施例中，提供一种用于实现上述方法的基于不规则采样的电影模式检测装置，包括以下模块：

控制模块：用于划分图像子块、对子块像素不规则采样；根据像素所在的位置和灰度计算该像素对应的访存地址，并产生相应的读写使能信号及片选信号；在每帧结束时，控制存储器模块将直方图差的所得统计值发送至判断模块；

存储器模块：耦接于控制模块之后，用于存储当前帧图像的直方图信息以及当前帧与前一帧的直方图差；接收控制模块产生的访存地址、读写使能信号及片选信号，进行读写访存；

判断模块：耦接于存储器模块之后，用于接收存储器模块输出的直方图差，计算统计值总和；根据连续多帧的统计值总和的大小推断出该序列的电影模式。

在一较优实施例中，假设系统输入的是10bit视频，设定256个灰度级，每帧图像被分为如图2所示的36个图像子块。如图4所示，存储器模块由两片分立RAM组成，分别为RAM1和RAM2，其中RAM1顺序存储36个直方图，每个直方图256个灰度级，每个灰度级的统计数目最大为图像子块的统计像素数目，为640*320*0.5＝115200。RAM2与RAM1存储容量完全一致。因此，理论上存储的总存储容量仅约为300Kb，占用资源较少。

在一较优实施例中，存储器模块的RAM1、RAM2交替保存当前帧的直方图和两帧的直方图差。具体地：处理第1帧时，RAM1保存当前帧的直方图，RAM2闲置；处理第2帧时，RAM1保存第1帧与第2帧的直方图差，RAM2保存当前帧的直方图；处理第3帧时，RAM1保存当前帧的直方图，RAM2保存第1帧与第2帧的直方图差；依次类推。每帧开始前，保存当前帧直方图的RAM初始化置0，另一片RAM保持原数据不变。

控制模块根据输入的像素的位置和灰度值，计算存储器模块的地址，如第3帧图像的第1行第700列、灰度值为800的像素，其属于第2个子块、第200个灰度级，其地址为256*(2-1)+200＝456。控制模块还产生相应的读写信号和片选信号，统计当前帧直方图时，读出地址为456的统计数据，执行加1运算后，写入该地址；同时，RAM2的片选信号也拉高，读出地址为456的统计数据，执行减1运算后，写入该地址。控制模块还控制读出直方图差的各灰度级统计数目，输入到判断模块进行计算判断。

判断模块接收存储器模块阵列输出的直方图差，计算其统计总和，并根据连续多帧的统计总和确定电影模式：若其符合传统直方图检测方法中所述的“大大大小小”的规律，且检测到连续多组，则可判断进入“3：2”电影模式；类似地，如多帧的统计总和不再符合“大大大小小”的规律，且检测到连续多组，则可判断跳出“3：2”电影模式。

以上为本发明的较佳实施例，然而需要注意的是，上述划分数目、采样方法以及存储器实现等均为本发明的一中实施方式，并非本发明的限制条件，亦即，依据设计需求，本发明控制模块可将图像划分为其他数目的子块，可采用其他采样方法，亦可用其他规格的存储器实现。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (11)

1.一种基于不规则采样的电影模式检测方法，其特征在于，所述方法包括如下步骤：

第一步、将序列中的每一帧图像划分为多个图像子块；

第二步、对每个图像子块进行不规则采样，从而选择出采样位置的像素；

第三步、确定采样后的当前帧所有子块的灰度直方图，以及当前帧与前一帧的直方图差；

第四步、根据连续多帧的直方图差的大小推断出该序列的电影模式，即：据直方图差的统计值总和，判断是否发生帧重复；根据重复帧出现的模式确定是否发生电影模式。

2.根据权利要求1所述的一种基于不规则采样的电影模式检测方法，其特征在于，第一步中，每一帧图像划分为多个图像子块，是指：每一帧被划分为N个图像子块、M种不规则采样的方式，其中M、N均为自然数且M不大于N，且相邻的图像子块选用互异的采样方式。

3.根据权利要求1所述的一种基于不规则采样的电影模式检测方法，其特征在于，第二步中，所述的不规则采样是指基于像素块和像素点两级采样，其中：

基于像素块采样，是指在图像中以预定规格的像素块为基本单位采样；

基于像素点采样，是指在前一级有效像素块中以像素点为基本单位采样。

4.根据权利要求1所述的一种基于不规则采样的电影模式检测方法，其特征在于，第三步中，确定当前帧的灰度直方图，是指对N个图像子块分别统计灰度直方图，从而建立N组独立的灰度直方图信息，N为自然数。

5.根据权利要求1所述的一种基于不规则采样的电影模式检测方法，其特征在于，第三步中，确定当前帧与前一帧的灰度直方图，与所述确定当前帧的灰度直方图同步进行；每帧结束时，同时得到当前帧的直方图以及当前帧与前一帧的直方图差。

6.根据权利要求1-5任一项所述的一种基于不规则采样的电影模式检测方法，其特征在于，第三步中，为确定当前帧的灰度直方图，执行以下步骤：

1)按照扫描顺序，对每一个有效像素，确定其所在的图像子块编号、块内偏移以及对应的灰度级；

2)根据上述1)中参数，确定该像素对应的当前帧的子块直方图编号及存储地址；

3)将该存储地址上的统计数目加1。

7.根据权利要求1-5任一项所述的一种基于不规则采样的电影模式检测方法，其特征在于，第三步中，为确定当前帧与前一帧的直方图差，执行以下步骤：

1)按照扫描顺序，对每一个有效像素，确定该像素所在的图像子块编号、块内偏移以及对应的灰度级；

2)根据上述1)中参数，确定该像素对应的前一帧的子块直方图编号及存储地址；

3)将该存储地址上的统计数目减1。

8.根据权利要求7所述的一种基于不规则采样的电影模式检测方法，其特征在于，当前帧统计完成时，对小于0的差值取其绝对值。

9.一种基于不规则采样的电影模式检测装置，其特征在于，所述装置包括：

控制模块：用于将序列中的每一帧图像划分为多个图像子块、对子块像素不规则采样；根据像素所在的位置和灰度计算该像素对应的访存地址，并产生相应的读写使能信号及片选信号；在每帧结束时，控制存储器模块将直方图差的所得统计值发送至判断模块；

存储器模块：耦接于控制模块之后，用于存储当前帧图像的直方图信息以及当前帧与前一帧的直方图差；接收控制模块产生的访存地址、读写使能信号及片选信号，进行读写访存；

判断模块：耦接于存储器模块之后，用于接收存储器模块输出的直方图差，计算统计值总和；根据连续多帧的统计值总和的大小推断出该序列的电影模式，即所述判断模块根据直方图差的统计值总和，判断是否发生帧重复；根据重复帧出现的模式确定是否发生电影模式。

10.根据权利要求9所述的一种基于不规则采样的电影模式检测装置，其特征在于，所述的存储器模块由两片分立RAM组成，交替存储当前帧图像的直方图信息以及当前帧与前一帧的直方图差；同一帧的N个子块图像的直方图按顺序存储在同一片所述分立RAM中。

11.根据权利要求10所述的一种基于不规则采样的电影模式检测装置，其特征在于，所述的存储器模块在处理当前帧时，执行以下步骤：

根据当前帧的编号，得出对应的分立RAM，将此RAM所有地址的值置零；另一片RAM中的值保持不变；

根据像素的位置和灰度值，计算出该像素在存储器对应的地址，拉高读使能信号，读出相应的统计数目；

保持地址信号不变，对统计数目执行加1运算，拉高写使能信号，将新的统计数目写回原地址；

同样地，读出另一片RAM相同地址的统计数目，执行减1运算后写回原地址；

统计完一帧后，形成当前帧的直方图以及当前帧与前一帧的直方图差。