CN100459694C - 折叠场序列的检测方法以及数字视频解交错装置和方法 - Google Patents
折叠场序列的检测方法以及数字视频解交错装置和方法 Download PDFInfo
- Publication number
- CN100459694C CN100459694C CNB2006101498043A CN200610149804A CN100459694C CN 100459694 C CN100459694 C CN 100459694C CN B2006101498043 A CNB2006101498043 A CN B2006101498043A CN 200610149804 A CN200610149804 A CN 200610149804A CN 100459694 C CN100459694 C CN 100459694C
- Authority
- CN
- China
- Prior art keywords
- field
- sequence
- foldable
- pectination
- phenomenon
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 64
- 238000001514 detection method Methods 0.000 claims abstract description 65
- 239000004744 fabric Substances 0.000 claims description 54
- 230000009466 transformation Effects 0.000 claims description 22
- 230000015654 memory Effects 0.000 claims description 19
- 230000015607 signal release Effects 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 9
- 230000004069 differentiation Effects 0.000 claims 1
- 238000006243 chemical reaction Methods 0.000 abstract description 5
- 230000002742 anti-folding effect Effects 0.000 abstract 1
- 230000006835 compression Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 8
- 230000035484 reaction time Effects 0.000 description 6
- 238000003672 processing method Methods 0.000 description 4
- 230000006837 decompression Effects 0.000 description 3
- 241000607479 Yersinia pestis Species 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005194 fractionation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Images
Landscapes
- Television Systems (AREA)
Abstract
本发明公开了一种折叠场序列的检测方法以及数字视频解交错装置和方法。该方法的过程包括:接收隔行扫描信号,将该隔行扫描信号中的场数据合并生成帧图像,并根据上述帧图像的梳状现象的发生规律,区分该隔行扫描信号中的折叠场序列和普通场序列。该装置包括:数字视频存储模块、视频信号解交错模块和电视电影视频检测模块,所述电视电影视频检测模块区分折叠场序列和普通场序列,并将区分结果通过检测标志发送给视频信号解交错模块,由视频信号解交错模块对普通场序列执行解交错,对折叠场序列执行反折叠变换。本发明的这种方法和装置从混合视频流中分辨出折叠场序列,并根据折叠场序列的特点进行反折叠变换,提升了折叠场序列解交错后的画质。
Description
技术领域
本发明涉及图像信号处理技术,尤指一种折叠场序列的检测方法以及数字视频解交错装置和方法。
背景技术
在早期的电视图像处理中,为适应电视节目的传播和显示等需求,逐行扫描(progressive scan)的帧图像需要变换为隔行扫描(interlaced scan)的场数据,以节约传输带宽。
将逐行的帧图像变换为隔行的场数据,一般有以下两种方法:
其一,每个帧图像只保留奇数行或偶数行数据,其余数据被丢弃,这种方法生成的多幅场数据顺序排列,形成普通场序列。
其二,采用折叠(pulldown)技术进行变换。所述折叠技术按照场率M和帧率N的比值不同进一步细分为多种类型,其中最常用的是2:2pulldown技术,就是将每个帧图像按奇偶行拆成两幅场数据,拆分得到的场数据顺序排列,形成2:2pulldown场序列,具体过程见图1。
所述2:2pulldown技术适用于场率M为帧率N的2倍,或近似2倍的情况。比如,在50场/秒的PAL制式电视上观看24帧/秒的电影节目时,先要将24帧/秒的帧图像折叠变换为48场/秒的2:2pulldown场序列,再将2:2pulldown场序列扩展为50场/秒后,才能在PAL制式电视上播放。
由于逐行变换为隔行的方法在电视技术发展的早期普遍应用,故现有的视频数据中存在大量的隔行扫描信号,这些隔行扫描信号中既包含折叠场序列,又包含普通场序列,是混合视频流(mixed video stream)。因此,如何区分隔行扫描信号中的折叠场序列和普通场序列,就成为一个需要解决的问题。
一般情况下,在逐行扫描设备上播放隔行扫描信号时,为了弥补隔行扫描信号中缺失的奇数行或偶数行数据,满足分辨率的要求,先要执行数字视频解交错,以生成逐行扫描的帧图像。所述解交错包括场内处理方法、场间处理方法和运动自适应方法等,此处不再赘述。
对于普通场序列而言,每幅场数据都是在不同时刻拍摄的,对于每个时刻,有一半的图像信息已经丢失,现有的解交错方法能够尽量还原出普通场序列中丢失的图像信息,将其转化为逐行扫描信号。但是,折叠场序列中却记录有完整的图像信息。如果采用与普通场序列相同的解交错方法,就无法完美地恢复出原始的逐行扫描信号。尤其是,当采用的解交错方法较为简单时,解交错的效果会比较差。
这样,如何在具有逐行扫描能力的视频设备上更好地播放隔行扫描信号,成为需要解决的另一个问题。
发明内容
有鉴于此,本发明的主要目的在于提供一种折叠场序列的检测方法,根据折叠场序列特有的梳状现象的发生规律,对混合视频流中的折叠场序列和普通场序列进行区分。
本发明的又一目的在于提供一种数字视频解交错装置,对混合视频流中的折叠场序列和普通场序列进行区分,并为两种场序列执行不同的解交错,在很大程度上提升了折叠场序列解交错后的画质。
本发明的再一目的在于提供一种数字视频解交错方法,从混合视频流中检测出折叠场序列,并按照该折叠场序列的特点,在解交错时将属于同一时刻的场数据合并为一个帧图像,以充分利用折叠场序列中记录的图像信息,达到完美画质。
为达到上述目的,本发明的技术方案具体是这样实现的:
一种折叠场序列的检测方法,该方法包括:
接收隔行扫描信号,将该隔行扫描信号中的一幅场数据与在其之前接收到的另一幅场数据合并生成帧图像,并将上述帧图像的梳状现象的发生规律与折叠场序列的折叠变换规则进行比较,区分该隔行扫描信号中的折叠场序列和普通场序列。
该方法具体为:
a、判断当前的工作模式,如果为普通视频模式则执行步骤b,如果为电视电影模式则执行步骤d;
b、逐幅接收隔行扫描信号中的场数据,每接收到一幅场数据,就将该幅场数据与在其之前接收到的一幅场数据合并,获得一个帧图像;
c、判断该帧图像是否存在梳状现象,并从中获取梳状现象的发生规律,再与折叠场序列的折叠变换规则进行比较,如果二者相同则判定上述场数据为折叠场序列,将工作模式设置为电视电影模式,并返回执行步骤a,否则返回执行步骤b;
d、按照折叠场序列的折叠变换规则同时接收一幅以上隔行扫描信号中的场数据,并将所述一幅以上场数据合并为一个帧图像;
e、判断该帧图像是否存在梳状现象,如果存在则判定上述场数据为普通场序列,将工作模式设置为普通视频模式,并返回执行步骤a,否则重复执行步骤d。
一种数字视频解交错装置,包括数字视频存储模块和视频信号解交错模块,所述数字视频存储模块用于缓存外界发送的隔行扫描信号,发送给视频信号解交错模块;
该装置还包括:电视电影视频检测模块,用于接收数字视频存储模块输出的隔行扫描信号,将该隔行扫描信号中的一幅场数据与在其之前接收到的另一幅场数据合并生成帧图像,并将上述帧图像的梳状现象的发生规律与折叠场序列的折叠变换规则进行比较,区分隔行扫描信号中的折叠场序列和普通场序列,再将区分结果通过检测标志发送给视频信号解交错模块;
所述视频信号解交错模块根据该检测标志,对隔行扫描信号中的普通场序列执行解交错,并对折叠场序列执行反折叠变换。
所述电视电影视频检测模块包括梳状现象检测子模块和折叠序列检测子模块;
所述梳状现象检测子模块从隔行扫描信号中顺序获取两幅场数据合并成一个帧图像,判断该帧图像是否存在梳状现象,并对梳状现象进行记录;
所述折叠序列检测子模块从梳状现象检测子模块的记录中,查找梳状现象的发生规律,并与折叠场序列的折叠变换规则进行比较,如果二者吻合则将检测标志置为折叠场序列,否则将检测标志置为普通场序列。
所述视频信号解交错模块包括电视电影处理子模块和普通视频处理子模块;
当检测标志置为折叠场序列时,所述电视电影处理子模块接收所述数字视频存储模块送至的隔行扫描信号,并根据折叠场序列的折叠变换规则进行反折叠变换,生成逐行扫描信号输出;
当检测标志置为普通场序列时,所述普通视频处理子模块接收所述数字视频存储模块送至的隔行扫描信号,并按照普通场序列进行解交错,生成逐行扫描信号输出。
一种数字视频解交错方法,该方法包括:
接收隔行扫描信号,将该隔行扫描信号中的一幅场数据与在其之前接收到的另一幅场数据合并生成帧图像,并将上述帧图像的梳状现象的发生规律与折叠场序列的折叠变换规则进行比较,区分所述隔行扫描信号中的折叠场序列和普通场序列;对于折叠场序列,根据该折叠场序列的折叠变换规则,执行反折叠变换,生成逐行扫描信号;对于普通场序列,则按照普通场序列进行解交错生成逐行扫描信号输出。
由上述技术方案可见,本发明的这种折叠场序列的检测方法,根据折叠场序列特有的梳状现象的发生规律,从混合视频流中分辨出折叠场序列。进一步地,本发明通过计算最高频率分量在总能量中的比重,判断某个帧图像是否存在梳状现象,从而能够更快地识别出梳状现象,提高折叠场序列的检测速度。
另一方面,本发明还提供了一种数字视频解交错装置和方法,在将隔行扫描信号解交错为逐行扫描信号之前,先对混合视频流中的折叠场序列和普通场序列进行区分,并为这两种场序列执行不同的解交错,即:在解交错折叠场序列时,根据折叠场序列的特点进行反折叠变换,将属于同一时刻的场数据合并为一个帧图像;对于普通场序列,则按照现有的方法执行解交错。该装置和方法充分利用了折叠场序列中记录的图像信息,并在很大程度上提升了折叠场序列解交错后的画质。
附图说明
图1为现有技术中生成和解交错2:2折叠场序列的示意图;
图2为本发明一个实施例中2:2折叠场序列的检测流程图;
图3为本发明一个实施例中帧图像的划分示意图;
图4为本发明中数字视频解交错装置的组成结构图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白,以下参照附图并举实施例,对本发明进一步详细说明。
本发明中,折叠场序列指的是通过折叠技术获得的场序列。所述折叠技术是指将每个帧图像按照奇数行和偶数行拆分成2幅场数据,再根据帧率N(帧/秒)和实际需要的场率M(场/秒)的关系进一步处理,常见的场率M有50场/秒,59.97场/秒,60场/秒等。
当M=2N时,不需要对上述过程获得的场数据进一步复制或丢弃,此时生成的就是2:2折叠场序列。当M>2N时,需要通过复制生成额外的场数据,比如3:2折叠场序列就是在每4幅场数据中额外复制出1幅形成的序列,具体的折叠变换方法为:先将24帧/秒拆分为48场/秒,再通过场数据复制,将48场/秒扩展为60场/秒。当M<2N时,需要删除多余的场数据,比如从30帧/秒变换为50场/秒,就要在每6幅场数据中删除1幅。
由于2:2 pulldown场序列较为常用,下面以2:2 pulldown场序列的检测为例并结合图2,具体说明本实施例的实现流程。
步骤201:初始化检测参数。
该步骤具体为:将前一帧检测标识PrevFlagComb设置为0,当前帧检测标识FlagComb设置为0,将反折叠状态标识IPDS设置为关闭,反折叠状态切换计数器IPDSC(Inverse Pulldown Switch Counter)清0。
步骤202:根据反折叠状态标识IPDS判断当前的工作模式,如果反折叠状态标识IPDS为打开,则判定为电视电影(telecine)模式,执行步骤209;如果反折叠状态标识IPDS为关闭,则判定为普通视频模式,执行步骤203。
由于反折叠状态标识IPDS在初始化时设置为关闭,故首次执行该步骤时,将转入普通视频模式。
步骤203:接收1幅场数据,并将该幅场数据与之前接收到的1幅场数据合并为一个帧图像,检测该帧图像是否存在梳状现象,并根据梳状现象的“有”和“无”这两种状态设置当前帧检测标识FlagComb。当存在梳状现象时,将FlagComb设置为1;反之设置为0。
所述梳状现象指的是垂直方向上像素值的快速振荡,由采样定理可知,该振荡频率为垂直方向上图像采样所允许的最高频率(即采样频率的一半)。根据上述原理,梳状现象的检测方法具体执行如下:
1、将合并后的帧图像划分为16行×1列的像素块,如图3所示。
通常情况下,帧图像的行数M和列数N都是16的整倍数。如果行数M不是16的整倍数,多余的部分可以不予考虑。
2、计算出该帧图像中像素块的最高频率能量比重P8Ratio,并由此判断该帧图像是否存在梳状现象。
具体为:根据公式(1)计算某个像素块的最高频率能量比重P8Ratio,即最高频率的能量占所有频率的总能量(不含直流分量)的比重;将P8Ratio与比重门限P8RTHR进行比较,所述比重门限设置为0到1之间的某个值,如果P8Ratio大于比重门限P8RTHR,则判定该16×1像素块存在梳状现象;记录整个帧图像中存在梳状现象的像素块数目,如果该像素块数目达到梳状块门限COMBBLKTHR,该门限可设置为0到总块数之间的某个值,则判定该帧图像存在梳状现象。
其中,P(K)为p(n)的变化频率特性,通过快速傅立叶变换(FFT)计算得到,具体为:P(K)=FFT(p(n)),K=0,1,...,15。p(n)为像素块中16个像素的值,n=0,1,...,15。这里,像素值采用像素的亮度分量Y或绿色分量G表示。 为频率特性的最高频率分量;为除去直流分量的所有其它频率分量的总能量;|P(K)|指的是求复数P(K)的模。按照公式(1)对16个像素进行一次16点FFT,需要执行64次乘法,运算量较大。
由于 而 因此公式(1)中的分母等效为 为此,可以将公式(1)变形后得到公式(2),以避免进行FFT计算。根据公式(2)进行梳状现象判断时,每个像素块只需执行18次乘法运算。对于其中存在的除法运算,可以在具体实现时通过公式变形消除。比如,将P8Ratio与比重门限的比较,变换为公式(2)中的分子部分与比重门限乘公式(2)中的分母部分之积的比较。经过上述处理,判断梳状现象的计算量大大降低。
为了进一步降低运算量,加快对梳状现象的识别,还可以仅选取整个帧图像中的部分像素块进行计算。比如,设置像素块的计算模式为FULL模式、1/2模式、1/4模式、1/8模式和1/16模式,根据速度要求选择其中一种计算模式。在FULL模式下,所有像素块都会计算到。对于其它模式,可以从每个块行中每间隔2/4/8/16选出一个像素块进行计算,不同块行内选出的像素块应尽量错开。比如,图3中采用的是1/2模式,灰色块为选中用于计算P8Ratio的像素块,其中第一个块行选择的是0,2,4...像素块,第二个块行选择的是1,3,5...像素块,这两个相邻的块行选择的像素块在空间位置上错开。
需要说明的是,如果在初始化后首次执行步骤203,应在接收到2幅场数据后,才开始梳状现象的判断。
步骤204:判断当前帧检测标识FlagComb是否等于前一帧检测标识PrevFlagComb,如果二者相等则执行步骤205,否则执行步骤206。
步骤205:将反折叠状态切换计数器IPDSC清0,并返回执行步骤203。
步骤206:将反折叠状态切换计数器IPDSC加1,并将前一帧检测标识PrevFlagComb按照当前帧检测标识FlagComb进行设置。
步骤207:判断反折叠状态切换计数器IPDSC是否大于等于第一门限Threshold1,如果是则确定当前检测到的是2:2折叠场序列,执行步骤208;否则返回执行步骤203。
步骤208:将反折叠状态标识IPDS设置为打开,将反折叠状态切换计数器IPDSC清0,并返回执行步骤202。
步骤209:同时接收2幅场数据,并将这两幅场数据合并为一个帧图像,检测该帧图像是否存在梳状现象,并根据梳状现象的“有”和“无”这两种状态设置当前帧检测标识FlagComb。当存在梳状现象时,将FlagComb设置为1;反之设置为0。
该步骤中,梳状现象的判断方法与步骤203相同,此处不再赘述。
步骤210:根据当前帧检测标识FlagComb判断当前是否存在梳状现象,如果不存在则执行步骤211,否则执行步骤213。
步骤211:将反折叠状态切换计数器IPDSC减1,并判断IPDSC是否小于0,如果是则执行步骤212;否则,直接返回执行步骤209。
步骤212:将反折叠状态切换计数器IPDSC清0,并返回执行步骤209。
步骤213:将反折叠状态切换计数器IPDSC加1,并判断IPDSC是否大于等于第二门限Threshold2,如果是则执行步骤214;否则,直接返回执行步骤209。
步骤214:将反折叠状态标识IPDS设置为关闭,将反折叠状态切换计数器IPDSC清0,并返回执行步骤202。
从上述流程看出,本实施例对2:2折叠场序列的检测分为两个分支。
如果反折叠状态标识IPDS为关闭,表明反2:2折叠功能关闭,当前处于普通视频模式。这时,检测器自动执行图2所示的左侧分支,将相邻两幅场数据合并为一个帧图像,判断该帧图像是否存在梳状现象,再通过比较当前帧检测标识FlagComb和前一帧检测标识PrevFlagComb获取梳状现象的发生规律。当“有”和“无”梳状现象这两种状态的交替次数达到第一门限Threshold1时,判定当前接收到的混合视频流为2:2折叠场序列。这时,反折叠状态标识IPDS被设置为打开,表明当前进入电视电影模式,检测器将执行右侧分支。
在图2所示的右侧分支,对于2:2折叠场序列,属于同一个帧图像的两幅场数据合并后不会出现梳状现象。也就是说,一旦检测到梳状现象,则判定2:2折叠场序列已经结束。那么,反折叠状态标识IPDS就要被设置为关闭,以便将解交错方式切换到普通视频模式。进一步地,设置第二门限Threshold2,当检测到梳状现象的次数超过第二门限Threshold2时,判定2:2折叠场序列结束。
总的来说,2:2折叠场序列的检测是通过反折叠状态切换计数器IPDSC、第一门限Threshold1和第二门限Threshold2控制的。其中,第一门限Threshold1和第二门限Threshold2这两个门限值是决定系统性能的重要参数,其值设置地越大,检测结果的可靠性越高,检测速度相应地就会越慢。相反地,这两个参数值设置地越小,反应时间就越短,检测速度越快,但误检率就会提高。
对于第一门限Threshold1,其取值范围为3~100。在利用第一门限Threshold1场序列检测时,一般都会预先设定检测灵敏度(又称为检测速度或反应时间),该参数的数量级是秒级(比如0.5秒,1秒,2秒等)。由于不同折叠方式的最小检测周期是不一样的,并且当检测灵敏度固定不变时,最小检测周期越短,第一门限Threshold1的取值越大,所以第一门限Threshold1的取值与当前判断出的折叠方式相关。
表一显示的是不同折叠方式对应的最小检测周期和第一门限Threshold 1的取值范围。实际应用中,检测周期通常以场间隔为最小时间单位,比如Pa1制的最短反应时间为50场/秒,场间隔为20ms;NTSC制的最短反应时间为60场/秒,场间隔为16.7ms。
折叠方式 | 最小检测周期(单位:场间隔) | Threshold 1 | 最短反应时间(秒) |
2:2 | 2 | 25~100 | 0.5~2(50场/秒) |
3:2 | 5 | 3~24 | 0.25~2(60场/秒) |
3:3 | 3 | 12~48 | 0.5~2(72场/秒) |
24:1 | 25 | 3~20 | 1.5~10(50场/秒) |
表一
对于第二门限Threshold2,其取值与折叠方式关系不大,通常设定为1~10。
此外,和系统性能有关的参数还有:比重门限P8RTHR(0到1之间)和梳状块门限COMBBLKTHR(1到总块数之间)。这两个参数设置地越高,对梳状现象的检测越严格,反应时间越长,判断出梳状现象的准确率就越高。此时,可以通过减小第一门限Threshold1和第二门限Threshold2,加快系统的检测速度。
上述的实施例是以2:2折叠场序列为例加以说明,但是本发明的方法不局限于对2:2折叠场序列进行检测,也适用于其它折叠场序列。
图2中,当混合视频流位于左侧分支进行处理时,如果“有”和“无”梳状现象这两种状态交替出现的周期为2,并且交替次数达到第一门限Threshold1,就可确定当前接收到的是2:2折叠场序列。
同样地,其它折叠场序列也可以采用类似的方法进行检测。比如,对于3:2折叠场序列,当处于左侧分支处理时,其梳状现象的发生规律应该是“无无有无有”,周期为5;对于24:1折叠场序列,梳状现象的发生规律应该是“无有无有无有无有无有无有无有无有无有无有无有无无有”,周期为25;对于由24帧/秒的帧图像变换而来的72场/秒的3:3折叠场序列,梳状现象的发生规律应该是“无无有”,周期为3。这样,根据其它折叠场序列在左侧分支的梳状现象发生规律,以及预设的第一门限Threshold1,就可以很容易地检测出其它折叠场序列。
在图像处理中,数字视频解交错装置用于将各种类型的隔行扫描信号,比如隔行扫描模拟视频信号、隔行扫描数字压缩视频数据、隔行扫描数字未压缩视频流等,解交错为逐行扫描信号。本实施例中,数字视频解交错装置包括:模拟视频解码模块401、数字视频解压缩模块402、数字视频存储模块403、电视电影视频检测模块404、视频信号解交错模块405、模拟视频编码模块406和数字视频压缩模块407。其中,模拟视频解码模块401、数字视频解压缩模块402、模拟视频编码模块406和数字视频压缩模块407是数字视频解交错装置中的可选模块。
下面以上述三种隔行扫描信号的处理过程为例,并基于图2所示的折叠场序列的检测方法,具体说明数字视频解交错装置的工作过程。
所述模拟视频解码模块401接收到隔行扫描模拟视频信号后,将其转化为隔行扫描数字未压缩视频流,发送给数字视频存储模块403。
同样地,所述数字视频解压缩模块402接收到隔行扫描数字压缩视频数据后,对其进行解压缩,生成隔行扫描数字未压缩视频流,发送给数字视频存储模块403。
数字视频存储模块403根据自身的容量大小,以及数字视频解交错装置要求的复杂度,缓存2~4幅场数据,并按照存储的先后顺序将隔行扫描数字未压缩视频流输出给电视电影视频检测模块404和视频信号解交错模块405。此处,所述数字视频存储模块403缓存的场数据为像素值,比如每个像素的亮度值/色差值,或RGB颜色值等。
电视电影视频检测模块404判断接收到的隔行扫描数字未压缩视频流是普通场序列,还是经过折叠处理的折叠场序列,并将判断结果通过检测标志告知视频信号解交错模块405。
所述电视电影视频检测模块404包括梳状现象检测子模块4041和折叠序列检测子模块4042。其中,梳状现象检测子模块4041将接收到的两幅场数据合并成一个帧图像,判断该帧图像是否存在梳状现象,并对梳状现象进行记录。折叠序列检测子模块4042根据梳状现象检测子模块4041记录的梳状现象,查找其发生规律,并与折叠场序列的折叠变换规则进行比较,如果二者吻合则判定接收到的是折叠场序列。此时,折叠序列检测子模块4042就会将检测标志置为“折叠场序列”,比如将检测标志设为1即代表“折叠场序列”,设为0即代表“普通场序列”。
视频信号解交错模块405根据电视电影视频检测模块404提供的检测标志,实时地选择合适的处理模式解交错接收到的场序列,以利用现有的图像信息达到最佳画质。所述视频信号解交错模块405包括电视电影处理子模块4051和普通视频处理子模块4052。
如果检测标志为“折叠场序列”,接收到的隔行扫描数字未压缩视频流被送至电视电影处理子模块4051。电视电影处理子模块4051根据折叠场序列的类型,执行对应的反3:2折叠变换或反2:2折叠变换等,并输出经过上述反折叠变换后获得的逐行扫描数字未压缩视频流。
如果检测标志为“普通场序列”,接收到的隔行扫描数字未压缩视频流被送至普通视频处理子模块4052。普通视频处理子模块4052对隔行扫描数字未压缩视频流进行解交错的方法与现有技术相同,比如可采用场内处理方法,将一幅场数据的各行插值获得对应的帧图像,还可以采用场间处理方法,由前后两幅场数据经过插值获得帧图像,或运动自适应方法等,此处不再赘述,最终输出逐行扫描数字未压缩视频流。
之后,如果最初输入的是隔行扫描模拟视频信号,视频信号解交错模块405就将逐行扫描数字未压缩视频流送至模拟视频编码模块406,再由模拟视频编码模块406将其转化为模拟信号,输出给逐行扫描设备进行显示。
如果最初输入的是隔行扫描数字压缩视频数据,视频信号解交错模块405将逐行扫描数字未压缩视频流送至数字视频压缩模块407,再由数字视频压缩模块407将其压缩后传输或存储。
此外,本发明还提供一种数字视频解交错方法,具体流程为:
A、接收混合视频流并对其进行检测,如果当前检测到的是折叠场序列,则执行步骤B;如果检测到的是普通场序列,则执行步骤C。
该步骤中,折叠场序列的检测方法详见图2,此处不再赘述。
B、按照折叠场序列的折叠变换规则对接收到的序列执行反折叠变换。具体为:如果是2:2折叠场序列,则将属于同一个时刻的前后两幅场数据合并,生成帧图像输出;如果是3:2折叠场序列,则截取属于同一个时刻的5幅场数据,并提取出其中的2幅场数据合并为一个帧图像输出。
不同类型的折叠场序列,由于其折叠变换规则不同,执行的反折叠变换也有所不同,此处不再赘述。
C、采用现有的方法对普通场序列解交错,生成逐行扫描信号。
由上述的实施例可见,本发明的这种折叠场序列的检测方法以及数字视频解交错装置和方法,根据折叠场序列特有的梳状现象的发生规律,从混合视频流中分辨出折叠场序列,并根据折叠场序列的特点进行反折叠变换,将属于同一时刻的场数据合并为一个帧图像,从而充分利用了折叠场序列中记录的图像信息,在很大程度上提升了折叠场序列解交错后的画质。
Claims (15)
1、一种折叠场序列的检测方法,其特征在于,该方法包括:
接收隔行扫描信号,将该隔行扫描信号中的一幅场数据与在其之前接收到的另一幅场数据合并生成帧图像,并将上述帧图像的梳状现象的发生规律与折叠场序列的折叠变换规则进行比较,区分该隔行扫描信号中的折叠场序列和普通场序列。
2、根据权利要求1所述的方法,其特征在于,该方法具体为:
a、判断当前的工作模式,如果为普通视频模式则执行步骤b,如果为电视电影模式则执行步骤d;
b、逐幅接收隔行扫描信号中的场数据,每接收到一幅场数据,就将该幅场数据与在其之前接收到的一幅场数据合并,获得一个帧图像;
c、判断该帧图像是否存在梳状现象,并从中获取梳状现象的发生规律,再与折叠场序列的折叠变换规则进行比较,如果二者相同则判定上述场数据为折叠场序列,将工作模式设置为电视电影模式,并返回执行步骤a,否则返回执行步骤b;
d、按照折叠场序列的折叠变换规则同时接收一幅以上隔行扫描信号中的场数据,并将所述一幅以上场数据合并为一个帧图像;
e、判断该帧图像是否存在梳状现象,如果存在则判定上述场数据为普通场序列,将工作模式设置为普通视频模式,并返回执行步骤a,否则重复执行步骤d。
3、根据权利要求2所述的方法,其特征在于,步骤a所述判断当前工作模式的方法为:设置反折叠状态标识,并根据反折叠状态标识判断当前的工作模式。
4、根据权利要求2所述的方法,其特征在于,所述判断帧图像是否存在梳状现象的方法为:
将帧图像划分为一个以上像素块,并选择梳状现象的计算模式;
根据计算模式逐一计算像素块的最高频率能量比重,并将该最高频率能量比重与比重门限进行比较,如果最高频率能量比重大于该比重门限,则判定该像素块存在梳状现象;
记录存在梳状现象的像素块数目,如果该像素块数目大于梳状块门限时,则判定所述帧图像存在梳状现象;否则不存在梳状现象。
5、根据权利要求4所述的方法,其特征在于,所述计算像素块的最高频率能量比重P8Ratio的方法为:
根据公式 或公式 进行计算;
其中,p(n)为像素块的像素值,n=0,1,...,15;P(K)=FFT(p(n)),K=0,1,...,15。
6、根据权利要求4所述的方法,其特征在于,所述计算模式为FULL模式,或1/2模式,1/4模式,或1/8模式,或1/16模式。
7、根据权利要求2所述的方法,其特征在于,所述折叠场序列为2∶2折叠场序列;在步骤a之前,该方法进一步包括:设置前一帧检测标识、当前帧检测标识和反折叠状态切换计数器,并将上述参数清0;
步骤c所述的方法具体为:
c1、判断是否存在梳状现象,如果存在则将当前帧检测标识设置为1,否则将当前帧检测标识设置为0,并判断当前帧检测标识和前一帧检测标识是否相等,如果不等则执行步骤c3,否则执行步骤c2;
c2、将反折叠状态切换计数器清0,并返回执行步骤b;
c3、将反折叠状态切换计数器加1,并将前一帧检测标识按照当前帧检测标识进行设置;
c4、判断反折叠状态切换计数器是否大于等于第一门限,如果是则执行步骤c5,否则返回执行步骤b;
c5、将工作模式设置为电视电影模式,将反折叠状态切换计数器清0,并返回执行步骤a。
8、根据权利要求7所述的方法,其特征在于,步骤e中,如果帧图像不存在梳状现象,该方法包括:将反折叠状态切换计数器减1,并判断该反折叠状态切换计数器是否小于0,如果否,直接执行步骤d;如果是则将该反折叠状态切换计数器清0后返回执行步骤d;
如果帧图像存在梳状现象,该方法包括:将反折叠状态切换计数器加1,并判断该反折叠状态切换计数器是否大于等于第二门限,如果否,返回执行步骤d;如果是,将工作模式设置为普通视频模式后返回执行步骤a。
9、根据权利要求1所述的方法,其特征在于,所述折叠场序列为3∶2折叠场序列,或3∶3折叠场序列,或24∶1折叠场序列。
10、一种数字视频解交错装置,包括数字视频存储模块和视频信号解交错模块,所述数字视频存储模块用于缓存外界发送的隔行扫描信号,发送给视频信号解交错模块;
其特征在于,该装置还包括:电视电影视频检测模块,用于接收数字视频存储模块输出的隔行扫描信号,将该隔行扫描信号中的一幅场数据与在其之前接收到的另一幅场数据合并生成帧图像,并将上述帧图像的梳状现象的发生规律与折叠场序列的折叠变换规则进行比较,区分隔行扫描信号中的折叠场序列和普通场序列,再将区分结果通过检测标志发送给视频信号解交错模块;
所述视频信号解交错模块根据该检测标志,对隔行扫描信号中的普通场序列执行解交错,并对折叠场序列执行反折叠变换。
11、根据权利要求10所述的装置,其特征在于,所述电视电影视频检测模块包括梳状现象检测子模块和折叠序列检测子模块;
所述梳状现象检测子模块从隔行扫描信号中顺序获取两幅场数据合并成一个帧图像,判断该帧图像是否存在梳状现象,并对梳状现象进行记录;
所述折叠序列检测子模块从梳状现象检测子模块的记录中,查找梳状现象的发生规律,并与折叠场序列的折叠变换规则进行比较,如果二者吻合则将检测标志置为折叠场序列,否则将检测标志置为普通场序列。
12、根据权利要求11所述的装置,其特征在于,所述视频信号解交错模块包括电视电影处理子模块和普通视频处理子模块;
当检测标志置为折叠场序列时,所述电视电影处理子模块接收所述数字视频存储模块送至的隔行扫描信号,并根据折叠场序列的折叠变换规则进行反折叠变换,生成逐行扫描信号输出;
当检测标志置为普通场序列时,所述普通视频处理子模块接收所述数字视频存储模块送至的隔行扫描信号,并按照普通场序列进行解交错,生成逐行扫描信号输出。
13、一种数字视频解交错方法,其特征在于,该方法包括:
接收隔行扫描信号,将该隔行扫描信号中的一幅场数据与在其之前接收到的另一幅场数据合并生成帧图像,并将上述帧图像的梳状现象的发生规律与折叠场序列的折叠变换规则进行比较,区分所述隔行扫描信号中的折叠场序列和普通场序列;对于折叠场序列,根据该折叠场序列的折叠变换规则,执行反折叠变换,生成逐行扫描信号;对于普通场序列,则按照普通场序列进行解交错生成逐行扫描信号输出。
14、根据权利要求13所述的方法,其特征在于,所述区分折叠场序列和普通场序列的方法具体为:
a)、判断当前的工作模式,如果为普通视频模式则执行步骤b),如果为电视电影模式则执行步骤c);
b)、逐幅接收隔行扫描信号中的场数据,每接收到一幅场数据,就将该幅场数据与在其之前接收到的一幅场数据合并,获得一个帧图像,判断该帧图像是否存在梳状现象,并从中获取梳状现象的发生规律,再与折叠场序列的折叠变换规则进行比较,如果二者相同,则判定上述场数据为折叠场序列,将工作模式设置为电视电影模式,并返回执行步骤a),否则重复执行步骤b);
c)、按照折叠场序列的折叠变换规则同时接收一幅以上隔行扫描信号中的场数据,并将所述一幅以上场数据合并为一个帧图像,判断该帧图像是否存在梳状现象,如果存在,则判定上述场数据为普通场序列,将工作模式设置为普通视频模式,并返回执行步骤a),否则重复执行步骤c)。
15、根据权利要求14所述的方法,其特征在于,所述折叠场序列为2∶2折叠场序列时,该折叠场序列的折叠变换规则为:将逐行扫描信号中的每个帧图像拆分为仅具有奇数行的场数据和仅具有偶数行的场数据,并顺序排列上述场数据,形成2∶2折叠场序列;
则对折叠场序列执行反折叠变换的方法:在工作模式进入电视电影模式时,将当前接收到的隔行扫描信号中的场数据按照排列顺序两两合并为帧图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2006101498043A CN100459694C (zh) | 2006-10-25 | 2006-10-25 | 折叠场序列的检测方法以及数字视频解交错装置和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2006101498043A CN100459694C (zh) | 2006-10-25 | 2006-10-25 | 折叠场序列的检测方法以及数字视频解交错装置和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1937753A CN1937753A (zh) | 2007-03-28 |
CN100459694C true CN100459694C (zh) | 2009-02-04 |
Family
ID=37954976
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2006101498043A Expired - Fee Related CN100459694C (zh) | 2006-10-25 | 2006-10-25 | 折叠场序列的检测方法以及数字视频解交错装置和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN100459694C (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101448150B (zh) * | 2007-11-28 | 2012-05-09 | 新奥特(北京)视频技术有限公司 | 一种非线性编辑网络中低码流素材上变换的方法及系统 |
US20090256958A1 (en) * | 2008-04-11 | 2009-10-15 | Po-Wei Chao | Apparatus for dynamically detecting interlaced image and method thereof |
CN104580978B (zh) * | 2015-02-11 | 2017-12-22 | 北京海尔集成电路设计有限公司 | 一种视频检测及处理方法、装置 |
CN105208313B (zh) * | 2015-09-25 | 2018-05-04 | 上海兆芯集成电路有限公司 | 显示装置以及视频信号处理方法 |
CN105306866A (zh) * | 2015-10-27 | 2016-02-03 | 青岛海信电器股份有限公司 | 帧率转换方法及装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN85105622A (zh) * | 1984-10-03 | 1986-04-10 | 三洋电机株式会社 | 扫描转换法及采用该扫描转换法的扫描转换装置 |
US5596371A (en) * | 1995-02-02 | 1997-01-21 | Dwin Electronics Inc. | Film-mode video line-doubler motion detectors |
CN1173776A (zh) * | 1996-01-27 | 1998-02-18 | 三星电子株式会社 | 使用运动和空间相关的隔行向顺序转换装置和方法 |
US5852473A (en) * | 1996-02-20 | 1998-12-22 | Tektronix, Inc. | 3-2 pulldown detector |
WO2000027109A1 (en) * | 1998-11-03 | 2000-05-11 | Snell & Wilcox Limited | Video signal processing |
EP1223748A2 (en) * | 2000-12-20 | 2002-07-17 | Samsung Electronics Co., Ltd. | Motion detection in an interlaced video signal |
CN1535009A (zh) * | 2003-03-31 | 2004-10-06 | �����ɷ� | 解交错视讯讯号的装置与方法 |
CN1578478A (zh) * | 2003-07-21 | 2005-02-09 | 三星电子株式会社 | 用于检测2∶2下拉序列的设备和方法 |
-
2006
- 2006-10-25 CN CNB2006101498043A patent/CN100459694C/zh not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN85105622A (zh) * | 1984-10-03 | 1986-04-10 | 三洋电机株式会社 | 扫描转换法及采用该扫描转换法的扫描转换装置 |
US5596371A (en) * | 1995-02-02 | 1997-01-21 | Dwin Electronics Inc. | Film-mode video line-doubler motion detectors |
CN1173776A (zh) * | 1996-01-27 | 1998-02-18 | 三星电子株式会社 | 使用运动和空间相关的隔行向顺序转换装置和方法 |
US5852473A (en) * | 1996-02-20 | 1998-12-22 | Tektronix, Inc. | 3-2 pulldown detector |
WO2000027109A1 (en) * | 1998-11-03 | 2000-05-11 | Snell & Wilcox Limited | Video signal processing |
EP1223748A2 (en) * | 2000-12-20 | 2002-07-17 | Samsung Electronics Co., Ltd. | Motion detection in an interlaced video signal |
CN1535009A (zh) * | 2003-03-31 | 2004-10-06 | �����ɷ� | 解交错视讯讯号的装置与方法 |
CN1578478A (zh) * | 2003-07-21 | 2005-02-09 | 三星电子株式会社 | 用于检测2∶2下拉序列的设备和方法 |
Also Published As
Publication number | Publication date |
---|---|
CN1937753A (zh) | 2007-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US4768092A (en) | Image signal conversion device | |
US6118488A (en) | Method and apparatus for adaptive edge-based scan line interpolation using 1-D pixel array motion detection | |
US7206026B2 (en) | Method and apparatus for adaptive frame rate conversion | |
US20070046821A1 (en) | Video image processing with remote diagnosis and programmable scripting | |
CN100459694C (zh) | 折叠场序列的检测方法以及数字视频解交错装置和方法 | |
EP1139659A2 (en) | Method and apparatus for deinterlacing video images | |
JPH0358677A (ja) | 動きシーケンスパターン検知器 | |
KR20040009967A (ko) | 디인터레이싱장치 및 방법 | |
US20070046820A1 (en) | Video image processing with programmable scripting and remote diagnosis | |
GB2263601A (en) | Motion compensated video signal processing | |
JPH0654346A (ja) | ビデオメモリ装置 | |
KR950001563B1 (ko) | 3차원 가중 메디안 필터를 이용한 tv영상신호의 주사선수 증가 방법 및 장치 | |
US20060139491A1 (en) | Method for detecting interlaced material and field order | |
JPH0750927B2 (ja) | 画像信号変換装置 | |
JP2007526705A (ja) | 補正インタレース解除装置による保護 | |
CN1104398A (zh) | 运动自适应视频处理系统 | |
KR100510671B1 (ko) | 인터레이스 영상에서의 동일 프레임 검출 장치 | |
JPWO2003039148A1 (ja) | 走査変換装置 | |
CN100505860C (zh) | 保持图像分辨率的自适应插值方法及装置 | |
US8165211B2 (en) | Method and apparatus of de-interlacing video | |
US20060176394A1 (en) | De-interlacing of video data | |
US7796189B2 (en) | 2-2 pulldown signal detection device and a 2-2 pulldown signal detection method | |
CN101282415A (zh) | 运动自适应图像处理 | |
US8059206B2 (en) | Motion detection method utilizing 3D Y/C separation | |
JP2002247529A (ja) | 順次走査変換装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20090204 Termination date: 20141025 |
|
EXPY | Termination of patent right or utility model |