CN105227887B - 一种下拉电影源处理方法及装置 - Google Patents

一种下拉电影源处理方法及装置 Download PDF

Info

Publication number
CN105227887B
CN105227887B CN201510532686.3A CN201510532686A CN105227887B CN 105227887 B CN105227887 B CN 105227887B CN 201510532686 A CN201510532686 A CN 201510532686A CN 105227887 B CN105227887 B CN 105227887B
Authority
CN
China
Prior art keywords
film source
drop
difference data
interframe difference
predetermined period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510532686.3A
Other languages
English (en)
Other versions
CN105227887A (zh
Inventor
马彦卓
冯秋帆
袁高阳
曹斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201510532686.3A priority Critical patent/CN105227887B/zh
Publication of CN105227887A publication Critical patent/CN105227887A/zh
Application granted granted Critical
Publication of CN105227887B publication Critical patent/CN105227887B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Television Systems (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明实施例公开了一种下拉电影源处理方法和装置。本发明实施例方法包括:获取下拉电影源在第一个第一预设周期内各相邻两帧图像的第一帧间差数据,第一预设周期为M1的整数倍,所述M1为1/2s,1/3s或1/5s;获取下拉电影源下一个第一预设周期内各相邻两帧图像的第二帧间差数据;根据第一帧间差数据和第二帧间差数据确定第一预设周期是否为下拉电影源的匹配周期;若确定第一预设周期为下拉电影源的匹配周期,根据第一帧间差数据和第一预设周期确定下拉电影源中关键帧和下拉电影源的关键帧帧率;输出下拉电影源中关键帧和下拉电影源的关键帧帧率。本发明实施例扩大了下拉电影源处理的范围,提高了视频输出的稳定性。

Description

一种下拉电影源处理方法及装置
技术领域
本发明涉及信息技术领域,特别涉及一种下拉电影源处理方法及装置。
背景技术
在模拟信号电视时代,由于受到传输带宽的限制,电视台发送的视频信号并不是一帧帧完整的图像,而是将一帧画面分成奇场和偶场先后传输的,而在电视机也是一场一场地扫描,实现图像的显示,即电视是以隔行扫描方式显示视频内容,而电影拍摄的24帧/秒的逐行电影源是不能在电视机上直接播放的,Pulldown技术是按下拉的方式将电影源信号转换为电视隔行源信号进行显示的技术,具体是将电影源逐行帧分为奇数场和偶数场,然后将某些场进行重复,以便达到电视制式下每秒所需要的场数,实现了电影在电视机中的播放。
如图1所示,利用Pulldown技术将电影源按3:2下拉的方式转换为(美国)国家电视标准委员会(英文全称:National Television Standards Committee,英文简称:NTSC)制式电视信号时,其基本规律是以四个电影帧为周期,将第一个电影帧A分割拆分成第一个电视帧的奇场Al和偶场A2、以及复制第一个电视帧的奇场Al作为第二个电视帧的奇场,第二个电影帧B拆分成第二个电视帧的偶场Bl以及第三个电视帧的奇场B2,第三个电影帧C拆分成第三个电视帧的偶场CI以及第四个电视帧的奇场C2,并复制CI作为第四个电视帧的偶场,第四个电影帧D拆分成第五个电视帧的奇场Dl和偶场D2。如此每四个电影帧拆分成10个电视场,最后就将24帧/秒的逐行扫描电影源转换为了60场/秒的NTSC制式隔行扫描电视信号。
这样经Pulldown技术处理得到的隔行信号在显示的过程中复制场会导致某些帧中的奇偶场来自于不同的逐行帧,播放时运动物体的边缘会出现锯齿,且在复制场较多的情况下,有些画面会在几帧内保持不变,导致画面的连续感变差。
在数字高清电视出现以后,为了改善隔行信号的缺陷,人们又通过去隔行技术将隔行电影源变为逐行电影源,通过寻找隔行场原始匹配的场重新组合为逐行帧,这种针对Pulldown处理后的隔行源信号采用的去隔行技术称为Depulldown技术,如图1所示,以上述经Pulldown技术得到的3:2电影源模式的隔行电影源为例,上述四个电影帧拆分成的10个电视场A1、A2、A1、B1、B2、C1、C2、C1、D1、D2,通过寻找隔行场原始匹配的场重新组合为逐行帧即得到A、A、A、B、B、C、C、C、D、D 10帧图像。
上面将原始电影源进行不同的Pulldown技术和Depulldown技术处理后,可以得到各种电影源模式的下拉电影源,其中,电影源模式是原始电影源按规律方式复制帧或场得到的高帧率视频序列的模式,例如3:2电影源模式,2:2电影源模式等,下拉电影源是原始电影源经Pulldown技术处理,或经Pulldown技术和Depulldown处理后得到的视频序列,包括隔行电影源和逐行电影源。
下拉电影源中有很多复制帧或复制场,播放时产生不同程度的停顿感,这种停顿感会给人带来不舒服的感觉,为了克服此缺陷,一般是经下拉电影源处理过程将下拉电影源中原始信息提取出来,即确定下拉电影源中关键帧和下拉电影源的关键帧帧率(英文全称:Key Frame Frame Rate,英文缩写:KFFR),然后输出到后续插帧模块进行插帧后,直接在电视机上进行播放,其中,关键帧为下拉电影源去掉重复帧后保留的原始电影源的帧。
目前,一种下拉电影源处理方式如下:统计下拉电影源帧间差的信息;根据统计的周期帧间差信息确定该下拉电影源的电影源模式,根据该电影源模式确定该下拉电影源的KFFR和下拉电影源中关键帧,并输出下拉电影源的KFFR和下拉电影源中关键帧到后续插帧模块进行插帧后,直接在电视机上进行播放。
但上述方式只能利用已出现的电影源模式去检测下拉电影源的电影源模式,进而根据确定的电影源模式去确定该下拉电影源的KFFR和关键帧,而如果下拉电影源是已出现的电影源模式的衍生电影源模式(例如与2:2电影源模式的关键帧帧率相同的1:3电影源模式),或对未知电影源模式(例如新出现的4:4电影源模式、1:1:1:2电影源模式),现有技术无法确定该下拉电影源的KFFR和关键帧,且当KFFR相同时,只要下拉电影源的电影源模式发生变化时就会退出电影源模式锁定,影响视频输出的稳定性。
发明内容
本发明实施例提供了一种下拉电影源处理方法及装置,扩大了下拉电影源处理的范围,提高了视频输出的稳定性。
本发明实施例第一方面提供了一种下拉电影源处理方法,包括:
获取下拉电影源在第一个第一预设周期内各相邻两帧图像的第一帧间差数据,所述第一预设周期为M1的整数倍,所述M1为1/2s,1/3s或1/5s;
获取所述下拉电影源下一个第一预设周期内各相邻两帧图像的第二帧间差数据;
根据所述第一帧间差数据和所述第二帧间差数据确定所述第一预设周期是否为所述下拉电影源的匹配周期;
若确定所述第一预设周期为所述下拉电影源的匹配周期,根据所述第一帧间差数据和所述第一预设周期确定所述下拉电影源中关键帧和所述下拉电影源的关键帧帧率;
输出所述下拉电影源中关键帧和所述下拉电影源的关键帧帧率。
结合本发明实施例的第一方面,在本发明实施例的第一方面的第一种可能的实现方式中,
所述获取下拉电影源在第一个第一预设周期内各相邻两帧图像的第一帧间差数据,包括:
依次获取所述下拉电影源相邻两帧图像,统计所述下拉电影源相邻两帧图像的帧间差数据;
根据预先获取的所述下拉电影源输入帧率和统计的所述下拉电影源相邻两帧图像的帧间差数据,确定所述下拉电影源在第一个第一预设周期内各相邻两帧图像的第一帧间差数据。
结合本发明实施例的第一方面或第一方面的第一种可能的实现方式,在本发明实施例的第一方面的第二种可能的实现方式中,
所述根据所述第一帧间差数据和所述第二帧间差数据确定所述第一预设周期是否为所述下拉电影源的匹配周期,包括:
根据所述第一帧间差数据,确定所述第一帧间差数据对应的第一节拍序列;
将所述第二帧间差数据与所述第一节拍序列进行皮尔森PCC相关系数计算,判断所述第二帧间差数据与所述第一节拍序列变化趋势是否一致,若是,则确定所述第一预设周期是为所述下拉电影源匹配的周期。
结合本发明实施例的第一方面或第一方面的第一种可能的实现方式,在本发明实施例的第一方面的第三种可能的实现方式中,
所述根据所述第一帧间差数据和所述第二帧间差数据确定所述第一预设周期是否为所述下拉电影源的匹配周期,包括:
根据所述第一帧间差数据,确定所述第一帧间差数据对应的第一节拍序列;
根据所述第二帧间差数据,确定所述第二帧间差数据对应的第二节拍序列;
判断所述第一节拍序列和所述第二节拍序列是否相同,若是,则确定所述第一预设周期是为所述下拉电影源匹配的周期。
结合本发明实施例的第一方面的第二种可能的实现方式或第一方面的第三种可能的实现方式,在本发明实施例的第一方面的第四种可能的实现方式中,
所述根据所述第一帧间差数据,确定所述第一帧间差数据对应的第一节拍序列,包括:
将所述第一帧间差数据中,达到预设帧间差数据阈值的帧间差数据取值为第一预设数值,将未超过所述预设帧间差数据阈值的帧间差数据取值为第二预设数值,确定所述第一节拍序列,所述第一预设数值大于所述第二预设数值。
结合本发明实施例的第一方面,第一方面的第一种可能的实现方式,第一方面的第二种可能的实现方式,第一方面的第三种可能的实现方式,或第一方面的第四种可能的实现方式,在本发明实施例的第一方面的第五种可能的实现方式中,
所述根据所述第一帧间差数据和所述第一预设周期确定所述下拉电影源中关键帧和所述下拉电影源的关键帧帧率,包括:
根据所述第一帧间差数据,确定所述下拉电影源在所述第一预设周期内的各帧图像属性信息,所述属性信息包括指示当前图像属于复制帧或非复制帧的信息;
根据所述属性信息确定所述下拉电影源在第一预设周期内的关键帧和关键帧帧率。
结合本发明实施例的第一方面,第一方面的第一种可能的实现方式,第一方面的第二种可能的实现方式,第一方面的第三种可能的实现方式,第一方面的第四种可能的实现方式,或第一方面的第五种可能的实现方式,在本发明实施例的第一方面的第六种可能的实现方式中,
若确定所述第一预设周期不为所述下拉电影源的匹配周期时,所述方法还包括:
获取所述下拉电影源在第一个第二预设周期内各相邻两帧图像的第三帧间差数据,所述第二预设周期为M2的整数倍,所述M2为1/2s,1/3s或1/5s,且所述M2不等于所述M1
获取所述下拉电影源下一个第二预设周期内各相邻两帧图像的第四帧间差数据;
根据所述第三帧间差数据和所述第四帧间差数据确定所述第二预设周期是否为所述下拉电影源的匹配周期;
若确定所述第二预设周期为所述下拉电影源的匹配周期,根据所述第三帧间差数据和所述第二预设周期确定所述下拉电影源中关键帧和所述下拉电影源的关键帧帧率;
输出所述下拉电影源中关键帧和所述下拉电影源的关键帧帧率。
结合本发明实施例第一方面的第六种可能的实现方式,在本发明实施例的第一方面的第七种可能的实现方式中,
若确定所述第二预设周期不为所述下拉电影源匹配的周期时,所述方法还包括:
获取所述下拉电影源在第一个第三预设周期内各相邻两帧图像的第五帧间差数据,所述第三预设周期为M3的整数倍,所述M3为1/2s,1/3s或1/5s,且所述M3、所述M1和所述M2互不相等;
获取所述下拉电影源下一个第三预设周期内各相邻两帧图像的第六帧间差数据;
根据所述第五帧间差数据和所述第六帧间差数据确定所述第三预设周期是否为所述下拉电影源的匹配周期;
若确定所述第三预设周期为所述下拉电影源的匹配周期,根据所述第五帧间差数据和所述第三预设周期确定所述下拉电影源中关键帧和所述下拉电影源的关键帧帧率;
输出所述下拉电影源中关键帧和所述下拉电影源的关键帧帧率。
本发明实施例第二方面提供了一种下拉电影源处理装置,包括:
第一获取单元,用于获取下拉电影源在第一个第一预设周期内各相邻两帧图像的第一帧间差数据,所述第一预设周期为M1的整数倍,所述M1为1/2s,1/3s或1/5s;
第二获取单元,用于获取所述下拉电影源下一个第一预设周期内各相邻两帧图像的第二帧间差数据;
第一确定单元,用于根据所述第一获取单元获取的第一帧间差数据和所述第二获取单元获取的第二帧间差数据确定所述第一预设周期是否为所述下拉电影源的匹配周期;
第二确定单元,用于在所述第一确定单元确定所述第一预设周期为所述下拉电影源的匹配周期时,根据所述第一帧间差数据和所述第一预设周期确定所述下拉电影源中关键帧和所述下拉电影源的关键帧帧率;
输出单元,用于输出所述第二确定单元确定的所述下拉电影源中关键帧和所述下拉电影源的关键帧帧率。
结合本发明实施例的第二方面,在本发明实施例的第二方面的第一种可能的实现方式中,
所述第一获取单元具体用于依次获取所述下拉电影源相邻两帧图像,统计所述下拉电影源相邻两帧图像的帧间差数据;根据预先获取的所述下拉电影源输入帧率和统计的所述下拉电影源相邻两帧图像的帧间差数据,确定所述下拉电影源在第一个第一预设周期内各相邻两帧图像的第一帧间差数据。
结合本发明实施例的第二方面或第二方面的第一种可能的实现方式,在本发明实施例的第二方面的第二种可能的实现方式中,
所述第一确定单元具体用于根据所述第一帧间差数据,确定所述第一帧间差数据对应的第一节拍序列;将所述第二帧间差数据与所述第一节拍序列进行皮尔森PCC相关系数计算,判断所述第二帧间差数据与所述第一节拍序列变化趋势是否一致,若是,则确定所述第一预设周期是为所述下拉电影源匹配的周期。
结合本发明实施例的第二方面或第二方面的第一种可能的实现方式,在本发明实施例的第二方面的第三种可能的实现方式中,
所述第一确定单元具体用于根据所述第一帧间差数据,确定所述第一帧间差数据对应的第一节拍序列;根据所述第二帧间差数据,确定所述第二帧间差数据对应的第二节拍序列;判断所述第一节拍序列和所述第二节拍序列是否相同,若是,则确定所述第一预设周期是为所述下拉电影源匹配的周期。
结合本发明实施例的第二方面的第二种可能的实现方式或第二方面的第三种可能的实现方式,在本发明实施例的第二方面的第四种可能的实现方式中,
所述第一确定单元具体用于将所述第一帧间差数据中,达到预设帧间差数据阈值的帧间差数据取值为第一预设数值,将未超过所述预设帧间差数据阈值的帧间差数据取值为第二预设数值,确定所述第一节拍序列,所述第一预设数值大于所述第二预设数值。
结合本发明实施例的第二方面,第二方面的第一种可能的实现方式,第二方面的第二种可能的实现方式,第二方面的第三种可能的实现方式,或第二方面的第四种可能的实现方式,在本发明实施例的第二方面的第五种可能的实现方式中,
所述第二确定单元具体用于根据所述第一帧间差数据,确定所述下拉电影源在所述第一预设周期内的各帧图像属性信息,所述属性信息包括指示当前图像属于复制帧或非复制帧的信息;根据所述属性信息确定所述下拉电影源在第一预设周期内的关键帧和关键帧帧率。
结合本发明实施例的第二方面,第二方面的第一种可能的实现方式,第二方面的第二种可能的实现方式,第二方面的第三种可能的实现方式,第二方面的第四种可能的实现方式,或第二方面的第五种可能的实现方式,在本发明实施例的第二方面的第六种可能的实现方式中,
在所述第一确定单元确定所述第一预设周期不为所述下拉电影源的匹配周期时,
所述第一获取单元还用于获取所述下拉电影源在第一个第二预设周期内各相邻两帧图像的第三帧间差数据,所述第二预设周期为M2的整数倍,所述M2为1/2s,1/3s或1/5s,且所述M2不等于所述M1
所述第二获取单元还用于获取所述下拉电影源下一个第二预设周期内各相邻两帧图像的第四帧间差数据;
所述第一确定单元还用于根据所述第一获取单元获取的第三帧间差数据和所述第二获取单元获取的第四帧间差数据确定所述第二预设周期是否为所述下拉电影源的匹配周期;
所述第二确定单元还用于在所述第一确定单元确定所述第二预设周期为所述下拉电影源的匹配周期时,根据所述第三帧间差数据和所述第二预设周期确定所述下拉电影源中关键帧和所述下拉电影源的关键帧帧率;
所述输出单元还用于输出所述第二确定单元确定的所述下拉电影源中关键帧和所述下拉电影源的关键帧帧率。
结合本发明实施例第二方面的第六种可能的实现方式,在本发明实施例的第二方面的第七种可能的实现方式中,
在所述第一确定单元确定所述第二预设周期不为所述下拉电影源匹配的周期时,
所述第一获取单元还用于获取所述下拉电影源在第一个第三预设周期内各相邻两帧图像的第五帧间差数据,所述第三预设周期为M3的整数倍,所述M3为1/2s,1/3s或1/5s,且所述M3、所述M1和所述M2互不相等;
所述第二获取单元还用于获取所述下拉电影源下一个第三预设周期内各相邻两帧图像的第六帧间差数据;
所述第一确定单元还用于根据所述第一获取单元获取的第五帧间差数据和所述第二获取单元获取的第六帧间差数据确定所述第三预设周期是否为所述下拉电影源的匹配周期;
所述第二确定单元还用于在所述第一确定单元确定所述第三预设周期为所述下拉电影源的匹配周期时,根据所述第五帧间差数据和所述第三预设周期确定所述下拉电影源中关键帧和所述下拉电影源的关键帧帧率;
所述输出单元还用于输出第二确定单元确定的所述下拉电影源中关键帧和所述下拉电影源的关键帧帧率。
从以上技术方案可以看出,本发明实施例具有以下优点:
本发明实施例中,对于相同KFFR的多种不同电影源模式的下拉电影源,不论是已出现的电影源模式的下拉电影源,还是未出现的电影源模式的下拉电影源,都可以输出下拉电影源中关键帧和下拉电影源的关键帧帧率给后续插帧模块,扩大了同一电影源处理装置进行下拉电影源处理的范围,同时当第一预设周期为下拉电影源匹配的周期时,此时第一预设周期肯定是下拉电影源本身周期的整数倍,由于下拉电影源在每个第一预设周期内的关键帧比例是固定的,根据所述第一帧间差数据和所述第一预设周期确定下拉电影源中关键帧,避免了现有技术中下拉电影源的电影源模式在自身的某个周期内发生改变时即出现电影源模式退出锁定,影响后续视频输出效果的问题,提高了视频输出的稳定性。
附图说明
图1是电影源经过各个技术处理的过程示意图;
图2是一种逐行电影源模式检测的示意图;
图3是3:2电影源模式对应的节拍序列与实际帧间差数据比对的示意图;
图4是本发明实施例中下拉电影源处理方法的一个实施例示意图;
图5是本发明实施例中下拉电影源处理装置的一个实施例示意图;
图6是本发明实施例中下拉电影源处理装置的一个实施例示意图。
具体实施方式
本发明实施例提供了一种电影源处理方法及装置,扩大了下拉电影源处理的范围,提高了视频输出的稳定性。
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
目前,下拉电影源采集进来之后进行视频前处理一般经过如下几个步骤:
缩放:将采集的下拉电影源的分辨率根据应用场景进行扩大或者缩小,输出到降噪模块;
降噪:对缩放模块缩放后的下拉电影源去除噪声,输出到去方块效应模块;
去方块效应:对降噪模块降噪处理后的下拉电影源,消除由视频压缩的过程中量化产生的块效应,输出到下拉电影源处理模块;
下拉电影源处理:对去方块效应的电影源进行检测,去掉冗余帧,确定下拉电影源的关键帧帧率和下拉电影源中关键帧并输出到后续的插帧模块,例如下拉电影源处理为逐行电影源模式检测(英文全称:Progressive Film Mode Detection,英文缩写:PFMD)时,此时即包括对去方块效应的下拉电影源进行电影源模式的检测,确定下拉电影源的电影源模式,根据确定的下拉电影源的电影源模式确定所述下拉电影源的关键帧帧率和下拉电影源中关键帧,其中,关键帧为下拉电影源去掉重复帧后保留的原始电影源的帧,例如一个电影源视频序列包括10帧图像:A、A、A、B、B、C、C、C、D、D,去掉重复帧后,即保留A、B、C、D四帧图像,此时保留的A、B、C、D即为关键帧;
插帧:根据下拉电影源处理模块确定的关键帧帧率信息和下拉电影源中关键帧进行帧率转换,将低帧率转换为高帧率,具体的,即按照固定插帧比例即两关键帧之间插入一些过渡帧,使电影源播放时主观感受更加流畅,例如两个关键帧A、B之间插入一个a帧,该a帧能让A帧到B帧播放时,有一个过渡,使画面播放更平缓流畅。
如图2所示,一种下拉电影源处理的方式(PFMD)如下:统计逐行电影源帧间差的信息;将统计的周期帧间差信息,与预设电影源模式对应的节拍序列(Cadence)之间进行相关性的计算,其中,节拍序列是反应各电影源模式特性的一组序列值,例如各电影源模式转换的对应的具有周期性规律的一组1、0值(1代表非复制帧,0代表复制帧);根据相关性计算结果进行比较和判断,在当前节奏(在逐行电影源模式检测中,每帧为一个判断节奏)下,当统计的帧间差信息与某种电影源模式下的节拍序列之间的相关性值最大,且超出预设的阈值时,就视为该逐行电影源与该电影源模式变化趋势一致,具有该模式相位的特点,例如如图3所示,以3:2电影源模式为例,3:2电影源模式总共对应有五种节拍序列(分别对应五种相位),分别是10010、01001、10100、01010、00101(图4中各相位处的高点对应1,低点对应0),这五种相位分别与实际的帧间差数据进行皮尔森相关系数(PCC)的计算,检验变化趋势是否一致,图3中,在相位1的情况下PCC值可以达到最大,实际系统中,会将帧间差数据与表1中已知的各种电影源模式的各个相位都进行逐个检验,然后再汇集到一起用于下一步判断。
若该逐行电影源后续多帧也具有相同的特征,则可以确定该逐行电影源为该电影源模式,根据该电影源模式确定该逐行电影源的关键帧帧率和该逐行电影源中关键帧并输出到后续插帧模块。
但上述方式只能利用已出现的电影源模式去检测下拉电影源的电影源模式,进而根据确定的电影源模式去确定该下拉电影源的KFFR和关键帧,而如果下拉电影源是已出现的电影源模式的衍生电影源模式(例如与2:2电影源模式的关键帧帧率相同的1:3电影源模式),或对未知电影源模式(例如新出现的4:4电影源模式、1:1:1:2电影源模式),现有技术无法确定该下拉电影源的KFFR和关键帧,且当KFFR相同时,只要下拉电影源的电影源模式发生变化时就会退出电影源模式锁定,影响视频输出的稳定性。
基于如上原因,本发明实施例中提供一种下拉电影源处理方法及装置,,与现有技术中下拉电影源处理时一旦固定只能检测固定电影源模式的下拉电影源不同,本发明实施例中不需要确定下拉电影源的类型和电影源模式,例如电影源为2:3电影源模式还是2:2电影源模式等,直接确定输出所述下拉电影源的关键帧帧率和下拉电影源的关键帧,输出给后续插帧模块。
下面首先介绍本发明实施例中下拉电影源处理方法的实施例,本发明下拉电影源处理方法的执行主体为下拉电影源处理装置,其中,该下拉电影源处理装置可以是任何需要输出或存储视频的装置,如笔记本电脑、平板电脑、个人电脑、手机或视频服务器等设备。
请参阅图4,本发明实施例中下拉电影源处理方法一个实施例包括:
401、获取下拉电影源在第一个第一预设周期内各相邻两帧图像的第一帧间差数据,所述第一预设周期为M1的整数倍,所述M1为1/2s,1/3s或1/5s;
本发明实施例中,所述下拉电影源可以是原始电影源经Pulldown和Depulldown处理后的逐行电影源,也可以是原始电影源经过帧复制直接得到的逐行电影源,还可以是Pulldown处理后的隔行电影源,此处不做限定。
各相邻两帧图像即所述下拉电影源中各连续的两帧图像,例如电影源一个视频序列包括连续A、B、C、D四帧图像,则所述下拉电影源中各相邻两帧图像包括A和B,B和C,C和D。
本实施例中,对于相同KFFR的多种不同电影源模式(例如3:2电影源模式和2:3:3:2电影源模式等)的下拉电影源,需要记录的关键帧帧数,由于下拉电影源中关键帧的比例和后续插帧比例是相同的,因此对于后续的插帧模块而言,可以视为同一种电影源模式的下拉电影源以统一的方式进行处理。
如下表1所示,通过分析现有电影源模式下的KFFR(其中12_2_3是2:2:2:2:2:2:2:2:2:2:2:3的简写),可以发现关键帧帧率与输入帧率之间的公因子,总包含2、3或5这几个值,也就意味着会保持以1/2秒、1/3秒或1/5秒为周期的特征,因此,可将已知或未知电影源模式的下拉电影源分别以1/2s、1/3s或1/5s周期进行划分,这样每个已知或未知电影源模式的下拉电影源都在1/2s、1/3s或1/5s中有至少一个对应的匹配周期,本实施例中,下拉电影源的匹配周期为在1/2s、1/3s或1/5s的整数倍中,满足下拉电影源周期性特征的周期,例如输入帧率为30Hz,KFFR为24Hz的下拉电影源,其以每秒30帧图像,以5帧图像为一周期,其周期为1/6s,要满足下拉电影源周期性特征,在1/2s、1/3s或1/5s中,其数值必须是下拉电影源周期1/6s的整数倍,例如在1/2s、1/3s或1/5s中,是1/6s的整数倍的与有1/2s、1/3s,因此此时即认为1/2s、1/3s及它们的整数倍为下拉电影源匹配的周期。
表1
因此,本实施例中,对采集的下拉电影源,在进行下拉电影源处理时,可以预先设定好获取在第一个第一预设周期内各相邻两帧图像的第一帧间差数据,所述第一预设周期为M1的整数倍,所述M1为1/2s,1/3s或1/5s。
本发明实施例中,获取下拉电影源至少一个第一预设周期内各相邻两帧图像的第一帧间差数据可以包括:依次获取所述下拉电影源相邻两帧图像,统计所述下拉电影源相邻两帧图像的帧间差数据;根据预先获取的所述下拉电影源输入帧率和统计的所述下拉电影源相邻两帧图像的帧间差数据,确定所述下拉电影源在第一个第一预设周期内各相邻两帧图像的第一帧间差数据,例如所述下拉电影源输入帧率为30Hz,第一预设周期为1/5s,第一个第一预设周期内的相邻两帧图像的帧间差数据即第一帧间差数据,第一帧间差数据中30*1/5=6个帧间差数据,例如第一帧间差数据可以包括:第一帧图像和第二帧图像计算的帧间差数据、第二帧图像和第三帧图像计算的帧间差数据、第三帧图像和第四帧图像计算的帧间差数据、第四帧图像和第五帧图像计算的帧间差数据、第五帧图像和第六帧图像计算的帧间差数据,也可以包括:空白图像和第一帧图像计算的帧间差数据、第一帧图像和第二帧图像计算的帧间差数据、第二帧图像和第三帧图像计算的帧间差数据、第三帧图像和第四帧图像计算的帧间差数据、第四帧图像和第五帧图像计算的帧间差数据,其中空白图像为各像素点像素值为0的的图像。
其中,进一步的,所述相邻两帧图像的帧间差数据可以为所述下拉电影源相邻两帧图像的帧间差统计数据,例如所述相邻两帧图像的帧间差数据可以为相邻两帧图像之间像素值差值大于预设阈值的像素点个数,所述相邻两帧图像的帧间差数据也可以为相邻两帧图像之间像素值差值的累加值,此处不做限定。
在所述相邻两帧图像的帧间差数据为相邻两帧图像之间像素值差值大于预设阈值的像素点个数的情况下,所述统计所述下拉电影源相邻两帧图像的帧间差数据,可以包括:计算所述下拉电影源相邻两帧图像之间每个位置像素点的像素值差值;根据所述像素值差值,确定所述下拉电影源相邻两帧图像之间像素值差值大于预设阈值的像素点个数。
在所述相邻两帧图像的帧间差数据为相邻两帧图像之间像素值差值的累加值的情况下,所述统计所述下拉电影源相邻两帧图像的帧间差数据,可以包括:计算所述下拉电影源相邻两帧图像之间每个位置像素点的像素值差值;根据所述像素值差值,计算所述下拉电影源相邻两帧图像之间每个位置像素点的像素值差值的累加值。
402、获取所述下拉电影源下一个第一预设周期内各相邻两帧图像的第二帧间差数据;
本实施例,获取所述下拉电影源下一个第一预设周期内各相邻两帧图像的第二帧间差数据的方式,具体可以包括:依次获取所述下拉电影源相邻两帧图像,统计所述下拉电影源相邻两帧图像的帧间差数据;根据预先获取的所述下拉电影源输入帧率和统计的所述下拉电影源相邻两帧图像的帧间差数据,确定所述下拉电影源在下一个第一预设周期内各相邻两帧图像的第二帧间差数据;其中,当第一帧间差数据中第一个帧间差数据为第一帧图像和第二帧图像计算的帧间差数据时,与之对应的,第二帧间差数据中第一个帧间差数据是根据下一个第一预设周期内第一帧图像和第二帧图像计算的帧间差数据;当第一帧间差数据中第一个帧间差数据为空白图像和第一帧图像计算的帧间差数据,第二帧间差数据中第一个帧间差数据是根据下一个第一预设周期内第一帧图像,与第一个第一预设周期最后一帧图像计算得到的帧间差数据,其他过程与获取所述下拉电影源第一个第一预设周期内各相邻两帧图像的第一帧间差数据的采取的方式类似,详细过程此处不再赘述。
403、根据第一帧间差数据和所述第二帧间差数据确定所述第一预设周期是否为所述下拉电影源的匹配周期;
本发明实施例中,所述根据第一帧间差数据和所述第二帧间差数据确定所述第一预设周期是否为所述下拉电影源的匹配周期,可以包括:
根据所述第一帧间差数据,确定所述第一帧间差数据对应的第一节拍序列;将所述第二帧间差数据与所述第一节拍序列进行皮尔森PCC相关系数计算,判断所述第二帧间差数据与所述第一节拍序列变化趋势是否一致,若是,则确定所述第一预设周期是为所述下拉电影源匹配的周期,具体第二帧间差数据和节拍序列进行PCC相关系数计算可以参考图3中,帧间差数据和预设节拍序列之间的计算判断方式,此处不再赘述。
可选的,所述根据第一帧间差数据和所述第二帧间差数据确定所述第一预设周期是否为所述下拉电影源的匹配周期,也可以包括:
根据所述第一帧间差数据,确定所述第一帧间差数据对应的第一节拍序列;根据所述第二帧间差数据,确定所述第二帧间差数据对应的第二节拍序列;判断所述第一节拍序列和所述第二节拍序列是否相同,若是,则确定所述第一预设周期是为所述下拉电影源匹配的周期,例如假设第一节拍序列为10010,第二节拍序列也为10010,则确定第一预设周期是为所述下拉电影源匹配的周期。
可选的,所述根据所述第一帧间差数据,确定所述第一帧间差数据对应的第一节拍序列,可以包括:
将所述第一帧间差数据中,达到预设帧间差数据阈值的帧间差数据取值为第一预设数值,将未超过所述预设帧间差数据阈值的帧间差数据取值为第二预设数值,确定所述第一节拍序列,所述第一预设数值大于所述第二预设数值,例如第一预设数值为1,第二预设数值为0等,此处不做限定;
例如,假设第一预设数值为1,第二预设数值为0,采集的电影源输入帧率为60Hz,假设第一预设周期为1/5s,则1/5s周期内的帧间差数据有12个,经过上面取值后得到1或0值组成的数字序列,例如110011001100,此即为第一帧间差数据对应的节拍序列。
404、若确定所述第一预设周期为所述下拉电影源的匹配周期,根据所述第一帧间差数据和所述第一预设周期确定所述下拉电影源中关键帧和所述下拉电影源的关键帧帧率;
本实施例中,所述根据所述第一帧间差数据和所述第一预设周期确定所述下拉电影源中关键帧和所述下拉电影源的关键帧帧率,具体可以包括:
根据所述第一帧间差数据,确定所述下拉电影源在所述第一预设周期内的各帧图像属性信息,所述属性信息包括指示当前图像属于复制帧或非复制帧的信息;根据所述属性信息确定所述下拉电影源在第一预设周期内的关键帧和关键帧帧率。
例如根据所述下拉电影源在所述第一预设周期内有12帧图像,则第一帧间差数据有12个帧间差数据,对帧间差数据大于等于预设阈值的,确定为非复制帧,具体的如,当帧间差数据为相邻两帧图像之间像素值差值大于预设阈值的像素点个数大于像素值阈值的像素点个数时,相邻两帧图像之间像素值差值大于预设阈值的像素点个数大于像素值阈值的像素点个数大于预设个数,确定为非复制帧,当帧间差数据为相邻两帧图像之间像素值差值的累加值时,相邻两帧图像之间像素值差值的累加值大于预设数值,确定为非复制帧,同理,对帧间差数据小于预设阈值的,确定为复制帧,因此根据第一帧间差数据,即可确定所述下拉电影源在所述第一预设周期内的各帧图像属性信息,当然,由于第二帧间差数据也是一个第一预设周期内的帧间差数据,因此也可以根据第二帧间差数据确定所述下拉电影源在所述第一预设周期内的各帧图像属性信息,确定方式与上面类似,此处不做限定。
根据所述属性信息确定所述下拉电影源在第一预设周期内的关键帧和关键帧帧率,例如下拉电影源输入帧率为60Hz,第一预设周期为1/5s时,在第一预设周期内,有12帧图像,根据所述属性信息可以确定这12帧图像时复制帧还是非复制帧,以1为非复制帧,0为复制帧为例,假设这12帧图像用序列表示是100101001010,例如AAABBCCCDDEE,由此可以确定,下拉电影源在每个第一预设周期内只有五个关键帧,如A、B、C、D、E,,因为第一预设周期为下拉电影源匹配的周期,因此在每一个第一预设周期内都具有这个周期性特征,因此可以确定下拉电影源中每个第一预设周期内的关键帧,即确定了下拉电影源中所有关键帧,同时,知道了下拉电影源在每个第一预设周期内只有五个关键帧,可以计算1s内输出关键帧的个数(关键帧帧率)=5个*1/5s*5=25Hz,因此可以确定下拉电影源关键帧帧率为25Hz。
405、输出所述下拉电影源中关键帧和所述下拉电影源的关键帧帧率。
本实施例中,下拉电影源处理后确定的所述下拉电影源中关键帧和所述下拉电影源的关键帧帧率,可以输出到后续插帧模块进行后续处理。
本发明实施例中,对于相同KFFR的多种不同电影源模式的下拉电影源,不论是已出现的电影源模式的下拉电影源,还是未出现的电影源模式的下拉电影源,都可以输出下拉电影源中关键帧和下拉电影源的关键帧帧率给后续插帧模块,扩大了同一电影源处理装置进行下拉电影源处理的范围,同时当第一预设周期为下拉电影源匹配的周期时,此时第一预设周期肯定是下拉电影源本身周期的整数倍,由于下拉电影源在每个第一预设周期内的关键帧比例是固定的,根据所述第一帧间差数据和所述第一预设周期确定下拉电影源中关键帧,避免了现有技术中下拉电影源的电影源模式在自身的某个周期内发生改变时即出现电影源模式退出锁定,影响后续视频输出效果的问题,提高了视频输出的稳定性。
本发明实施例中,在对所述第一预设周期进行判断是否为所述下拉电影源匹配的周期的基础上,还可以对第二预设周期、第三周期进行判断是否为所述下拉电影源匹配的周期,因而,在图1实施例的基础上,若确定所述第一预设周期不为所述下拉电影源的匹配周期时,所述方法还包括:
获取所述下拉电影源在第一个第二预设周期内各相邻两帧图像的第三帧间差数据,所述第二预设周期为M2的整数倍,所述M2为1/2s,1/3s或1/5s,且所述M2不等于所述M1
获取所述下拉电影源下一个第二预设周期内各相邻两帧图像的第四帧间差数据;根据第三帧间差数据和所述第四帧间差数据确定所述第二预设周期是否为所述下拉电影源的匹配周期;若确定所述第二预设周期为所述下拉电影源的匹配周期,根据所述第三帧间差数据和所述第二预设周期确定所述下拉电影源中关键帧和所述下拉电影源的关键帧帧率;输出所述下拉电影源中关键帧和所述下拉电影源的关键帧帧率。
上述过程中获取第三帧间差数据,获取第四帧间差数据与图4所示实施例中获取第一帧间差数据和第二帧间差数据类似,确定所述第二预设周期是否为所述下拉电影源匹配的周期,与确定所述第一预设周期是否为所述下拉电影源匹配的周期类似,可参照图4实施例中具体过程,因此此处不再赘述。
进一步的,在所述第二预设周期不为所述下拉电影源匹配的周期时,所述方法还包括:
获取所述下拉电影源在第一个第三预设周期内各相邻两帧图像的第五帧间差数据,所述第三预设周期为M3的整数倍,所述M3为1/2s,1/3s或1/5s,且所述M3、所述M1和所述M2互不相等;
获取所述下拉电影源下一个第三预设周期内各相邻两帧图像的第六帧间差数据;根据第五帧间差数据和所述第六帧间差数据确定所述第三预设周期是否为所述下拉电影源的匹配周期;若确定所述第三预设周期为所述下拉电影源的匹配周期,根据所述第五帧间差数据和所述第三预设周期确定所述下拉电影源中关键帧和所述下拉电影源的关键帧帧率;输出所述下拉电影源中关键帧和所述下拉电影源的关键帧帧率。
上述过程中获取第五帧间差数据,获取第六帧间差数据与图4所示实施例中获取第一帧间差数据和第二帧间差数据类似,确定所述第三预设周期是否为所述下拉电影源匹配的周期,与确定所述第一预设周期是否为所述下拉电影源匹配的周期类似,可参照图4实施例中具体过程,因此此处不再赘述。
在本发明的一些实施例中,对第一预设周期、第二预设周期、第三预设周期进行判断,判断它们是否为所述下拉电影源匹配的周期,其中,第一预设周期、第二预设周期、第三预设周期可以分别为1/5s的整数倍、1/2s的整数倍、1/3s的整数倍其中任意一个,由上表1可知,由于现有的已出现电影源模式和已出现电影源模式的衍生电影源模式的下拉电影源都具有上述第一预设周期、第二预设周期、第三预设周期中至少一个的周期性特征,因此根据本发明实施例,判断第一预设周期、第二预设周期、第三预设周期是否为所述下拉电影源匹配的周期后,即可确定所有已出现电影源模式和已出现电影源模式的衍生电影源模式的下拉电影源中关键帧和下拉电影源的关键帧帧率。
可以预见的是,未来新出现的电影源模式的下拉电影源,其关键帧帧率与输入帧率之间的公因子,也会包含2、3或5这几个值,也会具有上述第一预设周期、第二预设周期、第三预设周期中至少一个的周期性特征,因此仍然可以用本发明实施例确定下拉电影源中关键帧和下拉电影源的关键帧帧率。
下面介绍本发明实施例中下拉电影源处理装置的实施例,请参阅图5,本发明实施例中一个下拉电影源处理装置500的实施例包括:
第一获取单元501,用于获取下拉电影源在第一个第一预设周期内各相邻两帧图像的第一帧间差数据,所述第一预设周期为M1的整数倍,所述M1为1/2s,1/3s或1/5s;
第二获取单元502,用于获取所述下拉电影源下一个第一预设周期内各相邻两帧图像的第二帧间差数据;
第一确定单元503,用于根据所述第一获取单元501获取的第一帧间差数据和所述第二获取单元502获取的第二帧间差数据确定所述第一预设周期是否为所述下拉电影源的匹配周期;
第二确定单元504,用于在所述第一确定单元503确定所述第一预设周期为所述下拉电影源的匹配周期时,根据所述第一帧间差数据和所述第一预设周期确定所述下拉电影源中关键帧和所述下拉电影源的关键帧帧率;
输出单元505,用于输出所述第二确定单元504确定的所述下拉电影源中关键帧和所述下拉电影源的关键帧帧率。
本发明实施例中,对于相同KFFR的多种不同电影源模式的下拉电影源,不论是已出现的电影源模式的下拉电影源,还是未出现的电影源模式的下拉电影源,下拉电影源处理装置都可以输出下拉电影源中关键帧和下拉电影源的关键帧帧率给后续插帧模块,扩大了同一电影源处理装置进行下拉电影源处理的范围,同时当第一预设周期为下拉电影源匹配的周期时,此时第一预设周期肯定是下拉电影源本身周期的整数倍,由于下拉电影源在每个第一预设周期内的关键帧比例是固定的,根据所述第一帧间差数据和所述第一预设周期确定下拉电影源中关键帧,避免了现有技术中下拉电影源的电影源模式在自身的某个周期内发生改变时即出现电影源模式退出锁定,影响后续视频输出效果的问题,提高了视频输出的稳定性。
可选的,所述第一获取单元501具体用于依次获取所述下拉电影源相邻两帧图像,统计所述下拉电影源相邻两帧图像的帧间差数据;根据预先获取的所述下拉电影源输入帧率和统计的所述下拉电影源相邻两帧图像的帧间差数据,确定所述下拉电影源在第一个第一预设周期内各相邻两帧图像的第一帧间差数据。
在本发明一些实施例中,所述第一确定单元503具体用于根据所述第一帧间差数据,确定所述第一帧间差数据对应的第一节拍序列;将所述第二帧间差数据与所述第一节拍序列进行皮尔森PCC相关系数计算,判断所述第二帧间差数据与所述第一节拍序列变化趋势是否一致,若是,则确定所述第一预设周期是为所述下拉电影源匹配的周期。
在本发明另一些实施例中,所述第一确定单元503具体用于根据所述第一帧间差数据,确定所述第一帧间差数据对应的第一节拍序列;根据所述第二帧间差数据,确定所述第二帧间差数据对应的第二节拍序列;判断所述第一节拍序列和所述第二节拍序列是否相同,若是,则确定所述第一预设周期是为所述下拉电影源匹配的周期。
可选的,所述第一确定单元503具体用于将所述第一帧间差数据中,达到预设帧间差数据阈值的帧间差数据取值为第一预设数值,将未超过所述预设帧间差数据阈值的帧间差数据取值为第二预设数值,确定所述第一节拍序列,所述第一预设数值大于所述第二预设数值。
可选的,所述第二确定单元504具体用于根据所述第一帧间差数据,确定所述下拉电影源在所述第一预设周期内的各帧图像属性信息,所述属性信息包括指示当前图像属于复制帧或非复制帧的信息;根据所述属性信息确定所述下拉电影源在第一预设周期内的关键帧和关键帧帧率。
在本发明一些实施例中,在所述第一确定单元503确定所述第一预设周期不为所述下拉电影源的匹配周期时,
所述第一获取单元501还用于获取所述下拉电影源在第一个第二预设周期内各相邻两帧图像的第三帧间差数据,所述第二预设周期为M2的整数倍,所述M2为1/2s,1/3s或1/5s,且所述M2不等于所述M1
所述第二获取单元502还用于获取所述下拉电影源下一个第二预设周期内各相邻两帧图像的第四帧间差数据;
所述第一确定单元503还用于根据所述第一获取单元501获取的第三帧间差数据和所述第二获取单元502获取的第四帧间差数据确定所述第二预设周期是否为所述下拉电影源的匹配周期;
所述第二确定单元504还用于在所述第一确定单元503确定所述第二预设周期为所述下拉电影源的匹配周期时,根据所述第三帧间差数据和所述第二预设周期确定所述下拉电影源中关键帧和所述下拉电影源的关键帧帧率;
所述输出单元505还用于输出所述第二确定单元504确定的所述下拉电影源中关键帧和所述下拉电影源的关键帧帧率。
在本发明一些实施例中,在所述第一确定单元503确定所述第二预设周期不为所述下拉电影源匹配的周期时,
所述第一获取单元501还用于获取所述下拉电影源在第一个第三预设周期内各相邻两帧图像的第五帧间差数据,所述第三预设周期为M3的整数倍,所述M3为1/2s,1/3s或1/5s,且所述M3、所述M1和所述M2互不相等;
所述第二获取单元502还用于获取所述下拉电影源下一个第三预设周期内各相邻两帧图像的第六帧间差数据;
所述第一确定单元503还用于根据所述第一获取单元501获取的第五帧间差数据和所述第二获取单元502获取的第六帧间差数据确定所述第三预设周期是否为所述下拉电影源的匹配周期;
所述第二确定单元504还用于在所述第一确定单元503确定所述第三预设周期为所述下拉电影源的匹配周期时,根据所述第五帧间差数据和所述第三预设周期确定所述下拉电影源中关键帧和所述下拉电影源的关键帧帧率;
所述输出单元505还用于输出第二确定单元504确定的所述下拉电影源中关键帧和所述下拉电影源的关键帧帧率。
上面从单元化功能实体的角度对本发明实施例中的下拉电影源处理装置进行了描述,下面从硬件处理的角度对本发明实施例中的下拉电影源处理装置进行描述,请参阅图6,本发明实施例中的下拉电影源处理装置600包括:
输入装置601、输出装置602、处理器603和存储器604(其中处理器603的数量可以一个或多个,图6中以一个处理器603为例)。在本发明的一些实施例中,输入装置601、输出装置602、处理器603和存储器604可通过总线或其它方式连接,其中,图6中以通过总线连接为例。
本发明实施例涉及的下拉电影源处理可以具有比图6所示出的更多或更少的部件,可以组合两个或更多个部件,或者可以具有不同的部件配置或设置,各个部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件或硬件和软件的组合实现。
其中,下拉电影源从所述输入装置601输入所述下拉电影源处理装置,通过调用存储器604存储的操作指令,处理器603用于执行如下步骤:
获取下拉电影源在第一个第一预设周期内各相邻两帧图像的第一帧间差数据,所述第一预设周期为M1的整数倍,所述M1为1/2s,1/3s或1/5s;
获取所述下拉电影源下一个第一预设周期内各相邻两帧图像的第二帧间差数据;
根据所述第一帧间差数据和所述第二帧间差数据确定所述第一预设周期是否为所述下拉电影源的匹配周期;
若确定所述第一预设周期为所述下拉电影源的匹配周期,根据所述第一帧间差数据和所述第一预设周期确定所述下拉电影源中关键帧和所述下拉电影源的关键帧帧率;
通过所述输出装置603输出所述下拉电影源中关键帧和所述下拉电影源的关键帧帧率。
可选的,通过调用存储器604存储的操作指令,处理器603还用于执行如下步骤:
依次获取所述下拉电影源相邻两帧图像,统计所述下拉电影源相邻两帧图像的帧间差数据;
根据预先获取的所述下拉电影源输入帧率和统计的所述下拉电影源相邻两帧图像的帧间差数据,确定所述下拉电影源在第一个第一预设周期内各相邻两帧图像的第一帧间差数据。
可选的,通过调用存储器604存储的操作指令,处理器603还用于执行如下步骤:
根据所述第一帧间差数据,确定所述第一帧间差数据对应的第一节拍序列;
将所述第二帧间差数据与所述第一节拍序列进行皮尔森PCC相关系数计算,判断所述第二帧间差数据与所述第一节拍序列变化趋势是否一致,若是,则确定所述第一预设周期是为所述下拉电影源匹配的周期。
可选的,通过调用存储器604存储的操作指令,处理器603还用于执行如下步骤:
根据所述第一帧间差数据,确定所述第一帧间差数据对应的第一节拍序列;
根据所述第二帧间差数据,确定所述第二帧间差数据对应的第二节拍序列;
判断所述第一节拍序列和所述第二节拍序列是否相同,若是,则确定所述第一预设周期是为所述下拉电影源匹配的周期。
可选的,通过调用存储器604存储的操作指令,处理器603还用于执行如下步骤:
将所述第一帧间差数据中,达到预设帧间差数据阈值的帧间差数据取值为第一预设数值,将未超过所述预设帧间差数据阈值的帧间差数据取值为第二预设数值,确定所述第一节拍序列,所述第一预设数值大于所述第二预设数值。
可选的,通过调用存储器604存储的操作指令,处理器603还用于执行如下步骤:
根据所述第一帧间差数据,确定所述下拉电影源在所述第一预设周期内的各帧图像属性信息,所述属性信息包括指示当前图像属于复制帧或非复制帧的信息;
根据所述属性信息确定所述下拉电影源在第一预设周期内的关键帧和关键帧帧率。
在本发明的一些实施例中,若确定所述第一预设周期不为所述下拉电影源的匹配周期时,通过调用存储器604存储的操作指令,处理器603还用于执行如下步骤:
获取所述下拉电影源在第一个第二预设周期内各相邻两帧图像的第三帧间差数据,所述第二预设周期为M2的整数倍,所述M2为1/2s,1/3s或1/5s,且所述M2不等于所述M1
获取所述下拉电影源下一个第二预设周期内各相邻两帧图像的第四帧间差数据;
根据所述第三帧间差数据和所述第四帧间差数据确定所述第二预设周期是否为所述下拉电影源的匹配周期;
若确定所述第二预设周期为所述下拉电影源的匹配周期,根据所述第三帧间差数据和所述第二预设周期确定所述下拉电影源中关键帧和所述下拉电影源的关键帧帧率;
通过所述输出装置603输出所述下拉电影源中关键帧和所述下拉电影源的关键帧帧率。
在本发明的另一些实施例中,若确定所述第二预设周期不为所述下拉电影源匹配的周期时,通过调用存储器604存储的操作指令,处理器603还用于执行如下步骤:
获取所述下拉电影源在第一个第三预设周期内各相邻两帧图像的第五帧间差数据,所述第三预设周期为M3的整数倍,所述M3为1/2s,1/3s或1/5s,且所述M3、所述M1和所述M2互不相等;
获取所述下拉电影源下一个第三预设周期内各相邻两帧图像的第六帧间差数据;
根据所述第五帧间差数据和所述第六帧间差数据确定所述第三预设周期是否为所述下拉电影源的匹配周期;
若确定所述第三预设周期为所述下拉电影源的匹配周期,根据所述第五帧间差数据和所述第三预设周期确定所述下拉电影源中关键帧和所述下拉电影源的关键帧帧率;
通过所述输出装置603输出所述下拉电影源中关键帧和所述下拉电影源的关键帧帧率。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (16)

1.一种下拉电影源处理方法,其特征在于,包括:
获取下拉电影源在第一个第一预设周期内各相邻两帧图像的第一帧间差数据,所述第一预设周期为M1的整数倍,所述M1为1/2s,1/3s或1/5s;
获取所述下拉电影源下一个第一预设周期内各相邻两帧图像的第二帧间差数据;
根据所述第一帧间差数据和所述第二帧间差数据确定所述第一预设周期是否为所述下拉电影源的匹配周期;
若确定所述第一预设周期为所述下拉电影源的匹配周期,根据所述第一帧间差数据和所述第一预设周期确定所述下拉电影源中关键帧和所述下拉电影源的关键帧帧率;
输出所述下拉电影源中关键帧和所述下拉电影源的关键帧帧率。
2.根据权利要求1所述的方法,其特征在于,
所述获取下拉电影源在第一个第一预设周期内各相邻两帧图像的第一帧间差数据,包括:
依次获取所述下拉电影源相邻两帧图像,统计所述下拉电影源相邻两帧图像的帧间差数据;
根据预先获取的所述下拉电影源输入帧率和统计的所述下拉电影源相邻两帧图像的帧间差数据,确定所述下拉电影源在第一个第一预设周期内各相邻两帧图像的第一帧间差数据。
3.根据权利要求1或2所述的方法,其特征在于,
所述根据所述第一帧间差数据和所述第二帧间差数据确定所述第一预设周期是否为所述下拉电影源的匹配周期,包括:
根据所述第一帧间差数据,确定所述第一帧间差数据对应的第一节拍序列;
将所述第二帧间差数据与所述第一节拍序列进行皮尔森PCC相关系数计算,判断所述第二帧间差数据与所述第一节拍序列变化趋势是否一致,若是,则确定所述第一预设周期是为所述下拉电影源匹配的周期。
4.根据权利要求1或2所述的方法,其特征在于,
所述根据所述第一帧间差数据和所述第二帧间差数据确定所述第一预设周期是否为所述下拉电影源的匹配周期,包括:
根据所述第一帧间差数据,确定所述第一帧间差数据对应的第一节拍序列;
根据所述第二帧间差数据,确定所述第二帧间差数据对应的第二节拍序列;
判断所述第一节拍序列和所述第二节拍序列是否相同,若是,则确定所述第一预设周期是为所述下拉电影源匹配的周期。
5.根据权利要求3所述的方法,其特征在于,
所述根据所述第一帧间差数据,确定所述第一帧间差数据对应的第一节拍序列,包括:
将所述第一帧间差数据中,达到预设帧间差数据阈值的帧间差数据取值为第一预设数值,将未超过所述预设帧间差数据阈值的帧间差数据取值为第二预设数值,确定所述第一节拍序列,所述第一预设数值大于所述第二预设数值。
6.根据权利要求1或2所述的方法,其特征在于,
所述根据所述第一帧间差数据和所述第一预设周期确定所述下拉电影源中关键帧和所述下拉电影源的关键帧帧率,包括:
根据所述第一帧间差数据,确定所述下拉电影源在所述第一预设周期内的各帧图像属性信息,所述属性信息包括指示当前图像属于复制帧或非复制帧的信息;
根据所述属性信息确定所述下拉电影源在第一预设周期内的关键帧和关键帧帧率。
7.根据权利要求1或2所述的方法,其特征在于,若确定所述第一预设周期不为所述下拉电影源的匹配周期时,所述方法还包括:
获取所述下拉电影源在第一个第二预设周期内各相邻两帧图像的第三帧间差数据,所述第二预设周期为M2的整数倍,所述M2为1/2s,1/3s或1/5s,且所述M2不等于所述M1
获取所述下拉电影源下一个第二预设周期内各相邻两帧图像的第四帧间差数据;
根据所述第三帧间差数据和所述第四帧间差数据确定所述第二预设周期是否为所述下拉电影源的匹配周期;
若确定所述第二预设周期为所述下拉电影源的匹配周期,根据所述第三帧间差数据和所述第二预设周期确定所述下拉电影源中关键帧和所述下拉电影源的关键帧帧率;
输出所述下拉电影源中关键帧和所述下拉电影源的关键帧帧率。
8.根据权利要求7所述的方法,其特征在于,若确定所述第二预设周期不为所述下拉电影源匹配的周期时,所述方法还包括:
获取所述下拉电影源在第一个第三预设周期内各相邻两帧图像的第五帧间差数据,所述第三预设周期为M3的整数倍,所述M3为1/2s,1/3s或1/5s,且所述M3、所述M1和所述M2互不相等;
获取所述下拉电影源下一个第三预设周期内各相邻两帧图像的第六帧间差数据;
根据所述第五帧间差数据和所述第六帧间差数据确定所述第三预设周期是否为所述下拉电影源的匹配周期;
若确定所述第三预设周期为所述下拉电影源的匹配周期,根据所述第五帧间差数据和所述第三预设周期确定所述下拉电影源中关键帧和所述下拉电影源的关键帧帧率;
输出所述下拉电影源中关键帧和所述下拉电影源的关键帧帧率。
9.一种下拉电影源处理装置,其特征在于,
第一获取单元,用于获取下拉电影源在第一个第一预设周期内各相邻两帧图像的第一帧间差数据,所述第一预设周期为M1的整数倍,所述M1为1/2s,1/3s或1/5s;
第二获取单元,用于获取所述下拉电影源下一个第一预设周期内各相邻两帧图像的第二帧间差数据;
第一确定单元,用于根据所述第一获取单元获取的第一帧间差数据和所述第二获取单元获取的第二帧间差数据确定所述第一预设周期是否为所述下拉电影源的匹配周期;
第二确定单元,用于在所述第一确定单元确定所述第一预设周期为所述下拉电影源的匹配周期时,根据所述第一帧间差数据和所述第一预设周期确定所述下拉电影源中关键帧和所述下拉电影源的关键帧帧率;
输出单元,用于输出所述第二确定单元确定的所述下拉电影源中关键帧和所述下拉电影源的关键帧帧率。
10.根据权利要求9所述的装置,其特征在于,
所述第一获取单元具体用于依次获取所述下拉电影源相邻两帧图像,统计所述下拉电影源相邻两帧图像的帧间差数据;根据预先获取的所述下拉电影源输入帧率和统计的所述下拉电影源相邻两帧图像的帧间差数据,确定所述下拉电影源在第一个第一预设周期内各相邻两帧图像的第一帧间差数据。
11.根据权利要求9或10所述的装置,其特征在于,
所述第一确定单元具体用于根据所述第一帧间差数据,确定所述第一帧间差数据对应的第一节拍序列;将所述第二帧间差数据与所述第一节拍序列进行皮尔森PCC相关系数计算,判断所述第二帧间差数据与所述第一节拍序列变化趋势是否一致,若是,则确定所述第一预设周期是为所述下拉电影源匹配的周期。
12.根据权利要求9或10所述的装置,其特征在于,
所述第一确定单元具体用于根据所述第一帧间差数据,确定所述第一帧间差数据对应的第一节拍序列;根据所述第二帧间差数据,确定所述第二帧间差数据对应的第二节拍序列;判断所述第一节拍序列和所述第二节拍序列是否相同,若是,则确定所述第一预设周期是为所述下拉电影源匹配的周期。
13.根据权利要求11所述的装置,其特征在于,
所述第一确定单元具体用于将所述第一帧间差数据中,达到预设帧间差数据阈值的帧间差数据取值为第一预设数值,将未超过所述预设帧间差数据阈值的帧间差数据取值为第二预设数值,确定所述第一节拍序列,所述第一预设数值大于所述第二预设数值。
14.根据权利要求9或10所述的装置,其特征在于,
所述第二确定单元具体用于根据所述第一帧间差数据,确定所述下拉电影源在所述第一预设周期内的各帧图像属性信息,所述属性信息包括指示当前图像属于复制帧或非复制帧的信息;根据所述属性信息确定所述下拉电影源在第一预设周期内的关键帧和关键帧帧率。
15.根据权利要求9或10所述的装置,其特征在于,
在所述第一确定单元确定所述第一预设周期不为所述下拉电影源的匹配周期时,
所述第一获取单元还用于获取所述下拉电影源在第一个第二预设周期内各相邻两帧图像的第三帧间差数据,所述第二预设周期为M2的整数倍,所述M2为1/2s,1/3s或1/5s,且所述M2不等于所述M1
所述第二获取单元还用于获取所述下拉电影源下一个第二预设周期内各相邻两帧图像的第四帧间差数据;
所述第一确定单元还用于根据所述第一获取单元获取的第三帧间差数据和所述第二获取单元获取的第四帧间差数据确定所述第二预设周期是否为所述下拉电影源的匹配周期;
所述第二确定单元还用于在所述第一确定单元确定所述第二预设周期为所述下拉电影源的匹配周期时,根据所述第三帧间差数据和所述第二预设周期确定所述下拉电影源中关键帧和所述下拉电影源的关键帧帧率;
所述输出单元还用于输出所述第二确定单元确定的所述下拉电影源中关键帧和所述下拉电影源的关键帧帧率。
16.根据权利要求15所述的装置,其特征在于,
在所述第一确定单元确定所述第二预设周期不为所述下拉电影源匹配的周期时,
所述第一获取单元还用于获取所述下拉电影源在第一个第三预设周期内各相邻两帧图像的第五帧间差数据,所述第三预设周期为M3的整数倍,所述M3为1/2s,1/3s或1/5s,且所述M3、所述M1和所述M2互不相等;
所述第二获取单元还用于获取所述下拉电影源下一个第三预设周期内各相邻两帧图像的第六帧间差数据;
所述第一确定单元还用于根据所述第一获取单元获取的第五帧间差数据和所述第二获取单元获取的第六帧间差数据确定所述第三预设周期是否为所述下拉电影源的匹配周期;
所述第二确定单元还用于在所述第一确定单元确定所述第三预设周期为所述下拉电影源的匹配周期时,根据所述第五帧间差数据和所述第三预设周期确定所述下拉电影源中关键帧和所述下拉电影源的关键帧帧率;
所述输出单元还用于输出第二确定单元确定的所述下拉电影源中关键帧和所述下拉电影源的关键帧帧率。
CN201510532686.3A 2015-08-26 2015-08-26 一种下拉电影源处理方法及装置 Active CN105227887B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510532686.3A CN105227887B (zh) 2015-08-26 2015-08-26 一种下拉电影源处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510532686.3A CN105227887B (zh) 2015-08-26 2015-08-26 一种下拉电影源处理方法及装置

Publications (2)

Publication Number Publication Date
CN105227887A CN105227887A (zh) 2016-01-06
CN105227887B true CN105227887B (zh) 2018-08-21

Family

ID=54996533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510532686.3A Active CN105227887B (zh) 2015-08-26 2015-08-26 一种下拉电影源处理方法及装置

Country Status (1)

Country Link
CN (1) CN105227887B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1578479A (zh) * 2003-07-21 2005-02-09 三星电子株式会社 检测电影模式的装置和方法
CN101610348A (zh) * 2008-06-16 2009-12-23 宝利微电子系统控股公司 检测多种电影模式的方法及装置
CN101616279A (zh) * 2009-07-16 2009-12-30 宝利微电子系统控股公司 一种视频帧率上变换的方法和装置
JP2014022899A (ja) * 2012-07-17 2014-02-03 Yamaha Corp 映像信号処理装置
CN104580978A (zh) * 2015-02-11 2015-04-29 北京海尔集成电路设计有限公司 一种视频检测及处理方法、装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009118977A1 (ja) * 2008-03-24 2009-10-01 パナソニック株式会社 映像処理装置
US20110001873A1 (en) * 2008-08-06 2011-01-06 Daniel Doswald Frame rate converter for input frames with video and film content

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1578479A (zh) * 2003-07-21 2005-02-09 三星电子株式会社 检测电影模式的装置和方法
CN101610348A (zh) * 2008-06-16 2009-12-23 宝利微电子系统控股公司 检测多种电影模式的方法及装置
CN101616279A (zh) * 2009-07-16 2009-12-30 宝利微电子系统控股公司 一种视频帧率上变换的方法和装置
JP2014022899A (ja) * 2012-07-17 2014-02-03 Yamaha Corp 映像信号処理装置
CN104580978A (zh) * 2015-02-11 2015-04-29 北京海尔集成电路设计有限公司 一种视频检测及处理方法、装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
逐行电影源多种模式检测;冯秋帆;《中国优秀硕士学位论文全文数据库(电子期刊)》;20150415;全文 *
高清视频去隔行处理系统的关键技术研究;周津;《中国优秀硕士学位论文全文数据库(电子期刊)》;20091127;全文 *

Also Published As

Publication number Publication date
CN105227887A (zh) 2016-01-06

Similar Documents

Publication Publication Date Title
US8768103B2 (en) Video processing apparatus and video display apparatus
Seshadrinathan et al. Study of subjective and objective quality assessment of video
JP5038483B2 (ja) ビデオデータのデインターレーシング
US20040236807A1 (en) Method and apparatus for adaptive frame rate conversion
US20220046183A1 (en) High-speed video from camera arrays
CN106797444A (zh) 内容自适应影视化和隔行反转器
CN111311557A (zh) 内窥镜图像处理方法、装置、电子设备及存储介质
CN105139421B (zh) 电力系统基于互信息量的视频关键帧提取方法
CN106060581B (zh) 一种视频实时传输数据处理方法、装置及系统
CN104618803A (zh) 信息推送方法、装置、终端及服务器
CN111327908B (zh) 一种视频处理方法及相关装置
CN108184165A (zh) 视频播放方法、电子装置和计算机可读存储介质
Cserkaszky et al. To interpolate or not to interpolate: Subjective assessment of interpolation performance on a light field display
WO2010151785A1 (en) Time compressing video content
JP3603629B2 (ja) 画像処理装置及び画像処理方法
CN102456223B (zh) 图像细节增强与缩放装置,以及图像细节增强与缩放方法
Zhu et al. Real-time deep video deinterlacing
CN105227887B (zh) 一种下拉电影源处理方法及装置
Saha et al. Perceptual video quality assessment: The journey continues!
Men et al. Visual quality assessment for interpolated slow-motion videos based on a novel database
CN104954892B (zh) 一种展示视频主题内容的方法及装置
Ekmekcioglu et al. Visual attention model aided non-uniform asymmetric coding of stereoscopic video
CN104837005B (zh) 一种2d视频与3d视频转换播放的方法及其装置
Grbić et al. Real-time video freezing detection for 4K UHD videos
Blanchfield et al. Advanced frame rate conversion and performance evaluation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant