CN102970509B - 图帧速率转换的方法及影像处理装置 - Google Patents

图帧速率转换的方法及影像处理装置 Download PDF

Info

Publication number
CN102970509B
CN102970509B CN201110270621.8A CN201110270621A CN102970509B CN 102970509 B CN102970509 B CN 102970509B CN 201110270621 A CN201110270621 A CN 201110270621A CN 102970509 B CN102970509 B CN 102970509B
Authority
CN
China
Prior art keywords
frame
image
mode
multiple input
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201110270621.8A
Other languages
English (en)
Other versions
CN102970509A (zh
Inventor
陈治玮
陈仲怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MStar Software R&D Shenzhen Ltd
MStar Semiconductor Inc Taiwan
Original Assignee
MStar Software R&D Shenzhen Ltd
MStar Semiconductor Inc Taiwan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MStar Software R&D Shenzhen Ltd, MStar Semiconductor Inc Taiwan filed Critical MStar Software R&D Shenzhen Ltd
Priority to CN201110270621.8A priority Critical patent/CN102970509B/zh
Publication of CN102970509A publication Critical patent/CN102970509A/zh
Application granted granted Critical
Publication of CN102970509B publication Critical patent/CN102970509B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种图帧速率转换的方法及影像处理装置,该方法包含:检测多张输入图帧,适应性地决定该多张输入图帧所对应的一影像模式;对该多张输入图帧进行移动估计,以产生一移动估计结果;以及依据所决定的该影像模式、该移动估计结果及该多张输入图帧,内插出多张内插后图帧,以产生多张转换后的输出图帧,其中该些输出图帧的图帧速率不同于该些输入图帧的图帧速率。

Description

图帧速率转换的方法及影像处理装置
技术领域
本发明有关于一种影像处理机制,尤指一种使用于图帧速率转换的方法及其影像处理装置。
背景技术
目前来说,由于技术的成熟发展,目前的显示器已能够支援到更高速率的图帧显示,例如,目前显示器每秒已可输出100张或200张的图帧来显示影像,然而,但在处理电影画面(FilmMode)时,由于电影画面是由每秒24/25张画面所录制而成,与视频画面以每秒50/60(或100/200)张画面录制及传送不同。电影模式下图帧拍摄的产生速率并非与显示器的图帧显示速率相符,且电影模式下所拍摄的图帧产生速率也随不同的电影模式而有所不同,如果使用不恰当的图帧转换速率机制将电影模式所拍摄而得的图帧转换为于显示器上显示的图帧,则人眼在影像观赏将极易感知到显示技术的缺陷以及影像的抖动,而造成不舒适。因此,发展出一种可弹性转换多种电影模式所拍摄图帧的图帧速率,使之能够于一显示器上播放的影像处理机制显然是极为重要。
发明内容
因此,本发明的目的之一在于提供一种使用于图帧速率转换的影像处理装置及方法,该影像处理装置及方法可适应性地判断输入图帧的电影模式为何,并依据所判定的电影模式来决定相对应的影像内插技术,所以可正确处理不同电影模式所拍摄而得的图帧。
依据本发明的实施例,其揭示一种图帧速率转换的方法,该方法包含:检测多张输入图帧,适应性地决定该多张输入图帧所对应的影像模式;对该多张输入图帧进行移动估计,以产生一移动估计结果;依据所决定的该影像模式、该移动估计结果以及该多张输入图帧,内插出多张内插后图帧,以产生多张转换后的输出图帧,其中该些输出图帧的图帧速率不同于该些输入图帧的图帧速率。
依据本发明的实施例,其另揭示露一种图帧速率转换的影像处理装置,影像处理装置包含有一模式决定电路及一影像产生电路,模式决定电路用以检测多张输入图帧,适应性地决定该多张输入图帧所对应的影像模式,以及影像产生电路耦接至模式决定电路并用以对该多张输入图帧进行移动估计以产生一移动估计结果,以及依据所决定的该影像模式、该移动估计结果以及该多张输入图帧,内插出多张内插后图帧以产生多张转换后的输出图帧,其中该些输出图帧的图帧速率不同于该些输入图帧的图帧速率。
附图说明
图1为本发明一实施例的影像处理装置的示意图。
图2为图1所示的影像处理装置依据输入图帧F_IN产生输出图帧F_OUT的范例示意图。
图3为图1所示的影像处理装置的操作流程图。
主要元件符号说明
100影像处理装置
105模式决定电路
110储存电路
115影像产生电路
1051模式检测器
1052控制单元
1151移动估计器
1152影像产生单元
具体实施方式
请搭配参照图1,图1是本发明一实施例的影像处理装置100的示意图。影像处理装置100用以依据多张输入图帧F_IN来产生多张输出图帧F_OUT,其中,输出图帧F_OUT的图帧速率被设计为高于输入图帧F_IN的图帧速率,然此并非本发明的限制,在另一实施例中,亦可将输出图帧F_OUT的图帧速率设计为低于输入图帧F_IN的图帧速率,换言之,输出图帧F_OUT的图帧速率不同于输入图帧F_IN的图帧速率,亦即,影像处理装置100用以进行图帧速率转换的操作,就应用范围来说,影像处理装置100可应用于将以电影画面的图帧(对应于电影拍摄的图帧产生速率)转换为可于显示器上所播放的图帧(对应于显示器本身的图帧播放速率),然此并非本发明的限制。如图1所示,影像处理装置100包含有一模式决定电路105、一储存电路110以及一影像产生电路115,模式决定电路105用以检测多张输入图帧F_IN的影像数据,以适应性地决定该多张输入图帧F_IN所对应的影像模式,而储存电路110用以暂存该多张输入图帧F_IN的影像数据并提供该些图帧中的像素数据至模式决定电路105,此外,储存电路110亦用以将图帧数据提供至影像产生电路115,以及影像产生电路115对该多张输入图帧F_IN进行移动估计,以产生一移动估计结果MV,并依据模式决定电路105所决定的该影像模式、所产生的移动估计结果MV以及该多张输入图帧F_IN,内插(Interpolation)出多张内插后图帧,以产生多张转换后的输出图帧F_OUT。换言之,本发明的实施例依据输入图帧F_IN来适应性地决定目前所对应的影像模式,之后依据所对应的影像模式来产生具有上述的输出图帧F_OUT,而影像模式可包含有多不同的电影模式,例如是3:2下拉电影模式(PullDownFilmMode)及2:2下拉电影模式等,不同的电影模式对应于不同的图帧拍摄产生速率,由于一显示器的图帧显示速率是固定的,所以仅能将单一拍摄速率所产生的图帧转换为显示于显示器上的图帧是不符合需求的,因此,本实施例的影像处理装置100具有适应性决定电影模式(亦即可于两不同电影模式之间作切换)的功能并依据所决定的电影模式的不同来选择相对应的显示图帧产生机制,如此更能符合目前使用者的需求。
实作上,模式决定电路105包含有一模式检测器1051与一控制单元1052,模式检测器1051用以检测该多张输入图帧F_IN,以产生该多张输入图帧F_IN所分别对应的多图帧索引,控制单元1052则耦接至模式检测器1051并用以依据该多图帧索引,适应性地决定该多张输入图帧所对应的影像模式,其中该些图帧索引用以标记出其相对应的一组连续图帧是否为重复相同的图帧,而模式检测器1051在检测出一组连续图帧为重复相同图帧时将该组图帧所对应的图帧索引设定为相同,亦即,不是重复相同的图帧,其相对应的图帧索引将不同,举例来说,以3:2下拉电影模式所拍摄产生的输入图帧F_IN中,将具有一组3个连续重复相同的图帧以及之后立即接续有一组2个连续重复相同的图帧(此两组图帧并非互为重复的图帧),因此,模式检测器1051依据上述的影像特性来产生一组3个连续相同的图帧索引以及之后立即接续产生一组2个连续相同的图帧索引,此种图帧索引的排列信息即能指示相对应的输入图帧为3:2下拉电影模式所拍摄的,另外,以2:2下拉电影模式所拍摄产生的输入图帧F_IN为例来说,将具有一组2个连续重复相同的图帧以及之后立即接续有一组2个连续重复相同的图帧(此两组图帧并非互为重复的图帧),因此,模式检测器1051依据上述的影像特性来产生一组2个连续相同的图帧索引以及之后立即接续产生一组2个连续相同的图帧索引,此种图帧索引的排列信息即能指示相对应的输入图帧为2:2下拉电影模式所拍摄的,另外,如果输入图帧F_IN中某段影像A以3:2下拉电影模式所拍摄而另一段影像B则以2:2下拉电影模式所拍摄,则A段影像亦将具有一组3个连续重复相同图帧以及下一组2个连续重复相同图帧的影像特性,且B段影像具有一组2个连续重复相同图帧以及下一组2个连续重复相同图帧的影像特性,因此,模式检测器1051于产生并设定图帧索引时,将A段影像所对应的图帧索引设定为一组3个连续相同的图帧索引以及下一组2个连续相同的图帧索引,并将B段影像所对应的图帧索引设定为一组2个连续相同的图帧索引以及下一组2个连续相同的图帧索引,所以,当影像处理装置100正在接收并处理输入图帧F_IN中的A段影像时,控制单元1052可依据上述的模式检测器1051所设定的图帧索引排列方式及数目来决定目前图帧于3:2下拉电影模式,而当影像处理装置100处理完A段影像并正在接收及处理输入图帧F_IN中的B段影像时,控制单元1052则可依据上述的模式检测器1051所设定的图帧索引排列方式及数目来决定目前图帧于2:2下拉电影模式,换句话说,控制单元1052将目前图帧所对应的电影模式由第一电影模式(3:2下拉电影模式)切换至第二电影模式(2:2下拉电影模式),而如果前述B段影像的时间顺序早于A段影像的时间顺序,则在电影模式切换时,控制单元1052将目前图帧所对应的电影模式由第二电影模式(2:2下拉电影模式)切换至第一电影模式(3:2下拉电影模式)。
需注意的是,第一电影模式可以是M:N下拉电影模式而非仅限于3:2下拉电影模式,第二电影模式可以是L:N下拉电影模式而非仅限于2:2下拉电影模式,其中L、M、N为正整数,L不同于M。此外,由于模式检测器1051所产生的图帧索引可被控制单元1052所参考而适应性地决定所相对应的电影模式,所以该些图帧索引亦即是相对应图帧的影像模式信息,利用该些图帧索引来代表所检测出的影像模式信息仅为一种实作方式,而并非是本发明的限制。此外,当模式检测器1051于检测是否一组连续图帧为重复相同的图帧时,可藉由进行像素数据的比对来完成,也就是说,可利用比较该组图帧是否互为重复相同的图帧来进行判断,而需注意的是,在本发明的实施例中,当比较两图帧是否为重复相同的图帧,只要两图帧的像素差并未超出一预定范围,则判定为重复相同的图帧(亦即本发明的实施例可容许部分的像素计算误差),而一旦超出预定范围时,才会判定为并非是重复相同的图帧,换言之,当两图帧虽然并非是完全相同的影像但具有相同的影像特性时(其彼此的像素间的差异小于预定范围),模式检测器1051判定该两图帧为重复的图帧。
当控制单元1052决定出目前图帧所对应的电影模式时,该电影模式的决定结果被输出至影像产生电路115,以及影像产生电路115根据所决定出的电影模式为何来进行相对应的影像内插操作,以产生输出图帧F_OUT,实作上,影像产生电路115包含有一移动估计器1151与一影像产生单元1152,移动估计器1151用以对该些输入图帧F_IN进行影像移动估计来产生相对应的移动估计结果(亦即移动向量),而影像产生单元1152耦接至移动估计器1151并用以依据所产生的移动估计结果来产生内插的图帧,以产生最后所输出的输出图帧F_OUT。请参照图2,图2是图1所示的影像处理装置100依据输入图帧F_IN产生输出图帧F_OUT的范例示意图。如图2所示,输入图帧F_IN中包含有由3:2下拉电影模式所拍摄的影像A以及由2:2下拉电影模式所拍摄的影像B,其中影像A是由一组3个重复的图帧(图帧0-2)以及下一组2个重复的图帧(图帧3-4)所组成,而影像B由一组2个重复的图帧(图帧5-6)以及下一组另2个重复的图帧(图帧7-8)所组成。因此,当模式检测器1051设定相对应的图帧索引时,针对A段影像,所设定的图帧索引将由一组3个相同的图帧索引(亦即△)以及下一组2个相同的图帧索引(亦即□)所组成,而针对B段影像,所设定的图帧索引将由一组2个相同的图帧索引(亦即○)以及下一组2个相同的图帧索引(亦即X)所组成,如图2所示,图帧索引以INDEX来表示,具有相同INDEX的图帧则为重复图帧。因此,当该些图帧索引依续被输入至控制单元1052时,控制单元1052可藉由参照图帧索引的内容,来分析出A段影像由3:2下拉电影模式所拍摄的,而B段影像由2:2下拉电影模式所拍摄的。
实作上,最后产生的输出图帧F_OUT的时间点显示于图2上(以多个虚线矩形表示),也就是说,输出图帧F_OUT的图帧速率两倍于输入图帧F_IN的图帧速率,换言之,输出图帧F_OUT的张数亦两倍于输入图帧F_IN的张数,举例来说,输入图帧F_IN的A段影像包含有五张图帧F0-F4,输出图帧F_OUT中相对应的影像将包含有十张转换后的输出图帧f0-f9。此外,本实施例中利用F_P与F_N来分别代表移动估计器1151产生移动估计结果所参考的图帧以及影像产生单元1152进行影像内插时所需参考的前一张影像图帧与后一张影像图帧,举例来说,当目前的影像模式为第一电影模式时(亦即影像处理装置100接收并处理A段影像时),针对产生第一张至第五张的输出图帧f0-f4,移动估计器1151参考图帧F0与图帧F3(亦即两组重复输入图帧中的第一张)来计算移动估计结果(亦即初始得到的移动向量),而影像产生单元1152进行影像内插时所需参考的前一张输入图帧与后一张输入图帧分别为图帧F0与图帧F3,因此,待移动估计器1151估测并输出移动估计结果至影像产生单元1152后,影像产生单元1152即依据该移动估计结果(例如一初始的移动向量)来计算产生第一张至第五张的输出图帧f0-f4时所相对应的移动向量,请参照图2所示的MI与RATE,MI与RATE的栏位分别代表是否进行影像内插来产生该时点的输出图帧以及进行影像内插时所使用的移动向量比例,当栏位MI为‘0’指示产生该时间点的输出图帧时不进行影像内插而直接将前一张输入图帧F_P与后一张输入图帧F_N进行影像混合,而当栏位MI为‘1’是指示出产生该时间点的输出图帧时进行影像内插,而栏位RATE所指示的移动向量比例为移动估计器1151所输出的初始移动向量的比例,例如,第二张至第五张输出图帧f1-f4皆对应于移动估计器1051所产生的相同移动估计结果(亦即相同的初始移动向量),为了使第二张至第五张输出图帧f1-f4所显示的内容可被人眼所区别,影像产生单元1152将栏位RATE所指示的相对应的移动向量比例设定为不同的比例值大小,在本实施例中,影像产生单元1152是将第二张至第五张输出图帧f1-f4所对应的栏位RATE分别设定为1/5、2/5、3/5以及4/5,之后即分别依据相对应的栏位RATE、移动估计结果所产生的初移动向量以及前后的影像图帧F_P、F_N来产生内插出的图帧,作为输出图帧f1-f4,反之,影像产生单元1152将前一张输入图帧F0与后一张图帧F3进行影像混合来产生输出图帧f0。值得注意的是,由于在时间点上栏位RATE所指示的移动向量比例大小以固定大小作增加,所以,人眼在观看所内插出的多张影像时,会感知到平滑移动的影像,而不会察觉到影像突然停止又再突然加速的异常现象。
当目前的影像模式为第一电影模式时,针对产生第六张至第十张的输出图帧f5-f9,移动估计器1151参考输入图帧F3与F5(亦即各组重复图帧中的第一张)来计算移动估计结果(亦即初始得到的移动向量),而影像产生单元1152进行影像内插时所需参考的前一张影像图帧与后一张影像图帧分别为图帧F3与图帧F5,因此,在移动估计器1151估测并输出移动估计结果至影像产生单元1152后,影像产生单元1152即依据该移动估计结果来计算产生第六张至第十张的输出图帧f5-f9时所相对应的移动向量,在产生第六张输出图帧f5时,MI栏位为‘0’以指示产生第六张输出图帧f5时不进行影像内插,而在产生第七张至第十张输出图帧f6-f9时,MI栏位为‘1’以指示产生第七张至第十张输出图帧f6-f9时进行影像内插,因此,影像产生单元1152将前一张输入图帧F2与后一张输入图帧F5进行影像混合来产生输出图帧f5,而第七张至第十张输出图帧由于皆对应于移动估计器1051所产生的相同移动估计结果(亦即相同的初始移动向量),所以为了使第七张至第十张输出图帧f6-f9所显示的内容可被人眼区别出,影像产生单元1152将栏位RATE所指示的相对应的移动向量比例设定为不同的比例值大小,在本实施例中,影像产生单元1152将第七张至第十张输出图帧f6-f9所对应的栏位RATE分别设定为1/5、2/5、3/5以及4/5,之后即分别依据相对应的栏位RATE、移动估计结果所产生的初移动向量以及前后张的输入图帧F3、F5来产生内插出的图帧,作为输出图帧f6-f9,由于在时间点上栏位RATE所指示的移动向量比例大小以固定大小作增加,所以,人眼在观看所内插出的多张影像时,会感知到平滑移动的影像,而不会察觉到影像突然停止又再突然加速的异常现象。
当目前的影像模式为第二电影模式时,针对产生第十一张至第十四张的输出图帧f10-f13,移动估计器1151参考输入图帧F5与F7(亦即各组重复图帧中的第一张)来计算移动估计结果(亦即初始得到的移动向量),而影像产生单元1152进行影像内插时所需参考的前一张输入图帧与后一张输入图帧分别为图帧F5与图帧F7,因此,在移动估计器1151估测并输出移动估计结果至影像产生单元1152后,影像产生单元1152即依据该移动估计结果来计算产生第十一张至第十四张的输出图帧f10-f13时所相对应的移动向量,在产生第十一张输出图帧f10时,MI栏位为‘0’以指示产生第十一张输出图帧f10时不进行影像内插,而在产生第十二张至第十四张输出图帧f11-f13时,MI栏位为‘1’以指示产生第十二张至第十四张输出图帧f11-f13时进行影像内插,因此,影像产生单元1152将前一张输入图帧F5与后一张输入图帧F7进行影像混合来产生输出图帧f10,而第十二张至第十四张输出图帧f11-f13由于皆对应于移动估计器1051所产生的相同移动估计结果(亦即相同的初始移动向量),为了使第十二张至第十四张输出图帧f11-f13所显示的内容可被人眼区别出,影像产生单元1152将栏位RATE所指示的相对应的移动向量比例设定为不同的比例值大小,在本实施例中,影像产生单元1152将第十二张至第十四张输出图帧f11-f13所对应的栏位RATE分别设定为1/4、2/4以及3/4,之后即分别依据相对应的栏位RATE、移动估计结果所产生的初移动向量以及前后张的输入图帧F_5、F_7来产生内插出的图帧,以作为输出图帧f11-f13。
当目前的影像模式为第二电影模式时,针对产生第十五张至第十八张的输出图帧f14-f17,移动估计器1151参考输入图帧F7与F9(亦即各组重复图帧中的第一张)来计算移动估计结果(亦即初始得到的移动向量),而影像产生单元1152进行影像内插时所需参考的前一张输入图帧与后一张输入图帧分别为图帧F7与图帧F9,因此,在移动估计器1151估测并输出移动估计结果至影像产生单元1152后,影像产生单元1152即依据该移动估计结果来计算产生第十五张至第十八张的输出图帧f14-f17时所相对应的移动向量,在产生第十五张输出图帧f14时,MI栏位为‘0’以指示产生第十五张输出图帧f14时不进行影像内插,而在产生第十六张至第十八张输出图帧f15-f17时,MI栏位为‘1’以指示产生第十六张至第十八张输出图帧f15-f17时进行影像内插,因此,影像产生单元1152将前一张输入图帧F7与后一张输入图帧F9进行影像混合来产生输出图帧f14,而第十六张至第十八张输出图帧f15-f17由于皆对应于移动估计器1051所产生的相同移动估计结果(亦即相同的初始移动向量),为了使第十六张至第十八张输出图帧f15-f17所显示的内容可被人眼区别出,影像产生单元1152将栏位RATE所指示的相对应的移动向量比例设定为不同的比例值大小,在本实施例中,影像产生单元1152将第十六张至第十八张输出图帧f15-f17所对应的栏位RATE分别设定为1/4、2/4以及3/4,之后即分别依据相对应的栏位RATE、移动估计结果所产生的初移动向量以及前后张的输入图帧F7、F9来产生内插出的图帧,作为输出图帧f15-f17。
需注意的是,本实施例利用以3:2下拉电影模式所拍摄的A段影像以及以2:2下拉电影模式所拍摄的B段影像来进行影像内插的流程说明,然而,本发明并非只限于处理A段影像与B段影像,亦可用于处理不同下拉电影模式所拍摄的影像,或是处理包含较多图帧的影像。此外,在另一实施例中,影像产生单元1152也可以利用其他机制来设定栏位RATE所示的比例值,换言之,在前述实施例中栏位RATE所示的移动向量比例大小(以固定大小作增加)仅为说明之用,而并非本发明的限制。此外,前述影像内插方法的精神在于,因原始模式中同一时间间隔内会存在不同数目的图帧(例如输入图帧为3:2下拉电影模式时,同一时间间隔内会分别存在3张以及2张图帧),换言之,图帧内移动物件的移动速度依据输入图帧比各自不同(举例来说,如3:2下拉电影模式中,移动物体一共移动了30个像素点的距离时,于3图帧的状况内,每一图帧内移动物体的移动速度为5像素点/图帧,而于2图帧的状况内,每一图帧内移动物体的移动速度为7.5像素点/图帧),因图帧内移动物件的移动速度不同,人眼在观看所内插出的多张影像时,会感知到移动物件突然停止又再突然加速的异常现象。在进一步产生一定倍数的输出图帧时,会于同一时间间隔内产生更多图帧,每一张输出图帧所对应的时间间隔变的更短,将使得异常现象更加明显。为解决此问题,本发明依据不同图帧状态平均移动向量(例如3图帧的状况内需插入5张图帧时,将移动向量除以5,使每一图帧分配到的移动距离一致,亦即移动速率/度一致),使每一移动向量彼此相等。再依比例乘以前一图帧以及后一图帧后相加产生特定输出图帧(例如输出图帧f1,为4/5的输入图帧F0加上1/5的输入图帧F3,而输出图帧f2,为3/5的输入图帧F0加上2/5的输入图帧F3,其中F0所乘的比例与F3所乘的比例相加为1)。为使读者更能明了本发明的技术精神,请参照图3,图1所示的影像处理装置100的操作流程绘示于图3中,步骤305中,影像处理装置100检测多输入图帧F_IN以产生多张输入图帧F_IN所分别对应的图帧索引。步骤310中,影像处理装置100依据所得到的图帧索引,适应性地决定或切换输入图帧F_IN中不同影像所对应的电影模式。步骤315中,影像处理装置100对输入图帧F_IN进行移动估计以产生移动估计结果MV。于步骤320中,影像处理装置100依据所决定的电影模式与移动估计结果MV来产生多移动向量。于步骤320中,影像处理装置100依据所决定的多移动向量来进行相对应的影像内插。以产生输出图帧F_OUT。
另外,在其他实施例中,当移动估计器1151所产生的移动估计结果指示出静态影像时,为了能够有效地增加人眼观赏影像时的鉴别度,影像产生单元1152在产生不同的内插图帧时可分别参考不同的输入图帧,举例来说,影像产生单元1152可参考输入图帧F_IN中对应于一影像模式的一第一图帧来产生一第一内插后图帧,以及可参考输入图帧F_IN中对应于相同影像模式的一第二图帧来产生一第二内插后图帧,第一图帧与第二图帧对应至相同的图帧索引;如图2所示,以A段影像为例,输入图帧F0、F1对应于相同的图帧索引,在前述实施例中,影像产生单元1152参考输入图帧F0与F3(分别作为前后张的输入影像)来进行影像内插以产生不同的输出图帧f1-f4,而如果A段影像被判定为静态的影像,则影像产生单元1152在参考前一张影像时可改为参考输入图帧F1而不参考输入图帧F0来进行影像内插,此外,影像产生单元1152在参考后一张影像时也可改为参考输入图帧F3或F4而不参考输入图帧F2来进行影像内插,举例来说,当产生输出图帧f1时,影像产生单元1152参考输入图帧F0与F3来进行影像内插以产生输出图帧f1,而当产生输出图帧f2时,影像产生单元1152可参考输入图帧F1与F3来进行影像内插以产生输出图帧f2,或者影像产生单元1152也可改为参考输入图帧F1与F3来进行影像内插以产生输出图帧f2,就静态影像来说,大部分的影像是并未移动的,亦即,相邻两张图帧的影像内容仍有部分的细微不同,所以,当进行影像内插时,本发明的实施例适当地采用不同的输入图帧来进行影像内插以产生相邻不同的输出图帧,使得人眼在观看经过图帧速率转换处理后的影像时仍可感知到充分的影像讯息。需注意的是,本实施例中藉由参考不同输入图帧来产生不同输出图帧的操作并非仅限于操作在当某段影像被判定为静态影像时,也就是说,当该段影像被判定为动态影像时,亦可藉由参考不同输入图帧来产生不同输出图帧,举例来说,当A段影像被判定为动态影像时,影像产生单元1152可参考输入图帧F1与F2来进行影像内插以产生输出图帧f2,或者也可改为参考输入图帧F1与F3来进行影像内插以产生输出图帧f2。
以上所述仅为本发明的较佳实施例,凡依本发明申请专利范围所做的均等变化与修饰,皆应属本发明的涵盖范围。

Claims (10)

1.一种图帧速率转换的方法,其包含有:
检测多张输入图帧的一影像模式;
对该多张输入图帧进行移动估计,以产生一移动估计结果;以及
依据所决定的该影像模式、该移动估计结果以及该多张输入图帧,内插出多张内插后图帧,以产生多张转换后的输出图帧,其中该些输出图帧的一图帧速率不同于该些输入图帧的一图帧速率;
其中检测该多张输入图帧的影像模式的步骤包含有:
对该多张输入图帧中具有相同影像特性的一组连续图帧;
依据该组连续图帧的张数,判断该组连续图帧所对应的一影像模式为一第一电影模式或一第二电影模式;
内插出该多张内插后图帧的步骤包含有:
当该影像模式为一第一电影模式时,依据该移动估计结果以及该多图帧索引中该第一电影模式所对应的一第一组图帧索引,计算多移动向量,该多移动向量分配的移动距离彼此相等;
依据所计算出的该多移动向量以及该多图帧索引中该第一电影模式所对应的一第二组图帧索引,将第一组图帧索引的对应的图帧乘以一第一比例,并将第二组图帧索引的对应的图帧乘以一第二比例,以分别产生该多张内插后图帧,该第一比例以及该第二比例相加为1;以及
依据该多张输入图帧以及该多张内插后图帧,输出该多张转换后的输出图帧。
2.如权利要求1所述的方法,其特征在于,检测该多张输入图帧的该影像模式的步骤包含有:
检测该多张输入图帧,以产生该多张输入图帧所分别对应的多图帧索引;以及
依据该多图帧索引,适应性地决定该多张输入图帧所对应的影像模式。
3.如权利要求2所述的方法,其特征在于,检测该多张输入图帧的该影像模式的步骤包含有:
依据该多图帧索引所分别指示出的影像特性,适应性地决定该多张输入图帧所分别对应的影像模式。
4.如权利要求2所述的方法,其特征在于,检测该多张输入图帧以产生该多张输入图帧所分别对应的该多图帧索引的步骤包含有:
接收该多张输入图帧;
判断该多张输入图帧中是否存在具有相同影像特性的连续的图帧,当该多张输入图帧中具有连续多张相同的图帧时,判定该连续多张相同的图帧为具有相同影像特性的连续图帧;以及
设定该连续的图帧所对应的多图帧索引为相同的索引。
5.如权利要求1所述的方法,其特征在于,内插出该多张内插后图帧以产生该多张转换后的输出图帧的步骤包含有:
当该移动估计结果指示出一静态影像时:
参考该多张输入图帧中对应于该影像模式的一第一图帧,产生一第一内插后图帧;以及
参考该多张输入图帧中对应于该影像模式的一第二图帧,产生一第二内插后图帧;
其中该第一图帧与该第二图帧对应至相同的图帧索引。
6.一种图帧速率转换的影像处理装置,包含有:
一模式决定电路,用以检测多张输入图帧的一影像模式;以及
一影像产生电路,耦接至该模式决定电路,用以对该多张输入图帧进行移动估计,以产生一移动估计结果,以及依据所决定的该影像模式、该移动估计结果以及该多张输入图帧,内插出多张内插后图帧,以产生多张转换后的输出图帧,其中该些输出图帧的一图帧速率不同于该些输入图帧的一图帧速率;
其中该影像产生电路包含有:
一移动估计器,用以产生该移动估计结果;以及
一影像产生单元,耦接至该移动估计器,当该影像模式为一第一电影模式时,该影像产生单元依据该移动估计结果以及该多图帧索引中该第一电影模式所对应的一第一组图帧索引,计算多移动向量,该多移动向量分配的移动距离彼此相等,并依据所计算出的该多移动向量分别产生该多张内插后图帧,依据所计算出的该多移动向量以及该第一电影模式所对应的一第二组图帧索引,将第一组图帧索引的对应的图帧乘以一第一比例,并将第二组图帧索引的对应的图帧乘以一第二比例,以分别产生该多张内插后图帧,该第一比例以及该第二比例相加为1,以及依据该多张输入图帧以及该多张内插后图帧,输出该多张转换后的输出图帧。
7.如权利要求6所述的影像处理装置,其特征在于,该模式决定电路包含有:
一模式检测器,用以检测该多张输入图帧,以产生该多张输入图帧所分别对应的多图帧索引;以及
一控制单元,耦接至该模式检测器,用以依据该多图帧索引,适应性地决定该多张输入图帧所对应的影像模式。
8.如权利要求7所述的影像处理装置,其特征在于,该控制单元依据该多图帧索引所分别指示出的影像特性,适应性地决定该多张输入图帧所分别对应的影像模式。
9.如权利要求7所述的影像处理装置,其特征在于,该模式检测器接收该多张输入图帧、判断该多张输入图帧中是否存在具有相同影像特性的连续的图帧以及设定该连续的图帧所对应的多图帧索引为相同的索引,当该多张输入图帧中具有连续多张相同的图帧时,该模式检测器判定该连续多张相同的图帧为具有相同影像特性的连续图帧。
10.如权利要求6所述的影像处理装置,其特征在于,当该移动估计结果指示出一静态影像时,该影像产生电路参考该多张输入图帧中对应于该影像模式的一第一图帧,产生一第一内插后图帧,以及参考该多张输入图帧中对应于该影像模式的一第二图帧,产生一第二内插后图帧,其中该第一图帧与该第二图帧对应至相同的图帧索引。
CN201110270621.8A 2011-08-29 2011-08-29 图帧速率转换的方法及影像处理装置 Expired - Fee Related CN102970509B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110270621.8A CN102970509B (zh) 2011-08-29 2011-08-29 图帧速率转换的方法及影像处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110270621.8A CN102970509B (zh) 2011-08-29 2011-08-29 图帧速率转换的方法及影像处理装置

Publications (2)

Publication Number Publication Date
CN102970509A CN102970509A (zh) 2013-03-13
CN102970509B true CN102970509B (zh) 2015-11-25

Family

ID=47800357

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110270621.8A Expired - Fee Related CN102970509B (zh) 2011-08-29 2011-08-29 图帧速率转换的方法及影像处理装置

Country Status (1)

Country Link
CN (1) CN102970509B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110312095B (zh) * 2018-03-20 2021-10-08 瑞昱半导体股份有限公司 影像处理装置及影像处理方法
CN110913260B (zh) * 2018-09-18 2023-07-14 阿里巴巴(中国)有限公司 显示控制方法、显示控制装置和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080158414A1 (en) * 2006-12-29 2008-07-03 Texas Instruments Incorporated Method for detecting film pulldown cadences
CN101610348A (zh) * 2008-06-16 2009-12-23 宝利微电子系统控股公司 检测多种电影模式的方法及装置
CN101616279A (zh) * 2009-07-16 2009-12-30 宝利微电子系统控股公司 一种视频帧率上变换的方法和装置
US20100238348A1 (en) * 2009-03-18 2010-09-23 Image Processing Method and Circuit Image Processing Method and Circuit
CN102131058A (zh) * 2011-04-12 2011-07-20 上海理滋芯片设计有限公司 高清数字视频帧速率变换处理模块及其方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080158414A1 (en) * 2006-12-29 2008-07-03 Texas Instruments Incorporated Method for detecting film pulldown cadences
CN101610348A (zh) * 2008-06-16 2009-12-23 宝利微电子系统控股公司 检测多种电影模式的方法及装置
US20100238348A1 (en) * 2009-03-18 2010-09-23 Image Processing Method and Circuit Image Processing Method and Circuit
CN101616279A (zh) * 2009-07-16 2009-12-30 宝利微电子系统控股公司 一种视频帧率上变换的方法和装置
CN102131058A (zh) * 2011-04-12 2011-07-20 上海理滋芯片设计有限公司 高清数字视频帧速率变换处理模块及其方法

Also Published As

Publication number Publication date
CN102970509A (zh) 2013-03-13

Similar Documents

Publication Publication Date Title
JP4438795B2 (ja) 映像変換装置、映像表示装置、映像変換方法
CN102291578B (zh) 图框速率转换装置及方法
CN101272460B (zh) 影像处理装置和影像显示装置
CN101815197B (zh) 图像显示系统、图像显示设备和图像显示设备的控制方法
CN110933496B (zh) 图像数据插帧处理方法、装置、电子设备及存储介质
US20090060042A1 (en) System and method for motion vector collection based on k-means clustering for motion compensated interpolation of digital video
KR20060133764A (ko) 중간영상 생성방법 및 이 방법이 적용되는 입체영상디스플레이장치
JP2006504175A (ja) フォールバックを用いる画像処理装置
KR20070076337A (ko) 에지영역 판단장치 및 에지영역 판단방법
EP3002941B1 (en) Display apparatus and control method thereof
CN102970509B (zh) 图帧速率转换的方法及影像处理装置
CN102905105A (zh) 图像处理装置、图像处理方法和图像显示装置
US8385430B2 (en) Video signal processing apparatus and video signal processing method
TWI517715B (zh) 圖幀速率轉換的方法及影像處理裝置
CN102497525B (zh) 一种运动补偿去隔行方法
JPWO2011155258A1 (ja) 画像処理装置および方法、画像表示装置および方法
US20120274845A1 (en) Image processing device and method, and program
KR100813986B1 (ko) 움직임 적응적 디인터레이싱 방법 및 그 장치
CN110662102A (zh) 滤镜渐变效果展示方法、存储介质、设备及系统
JP2009135847A (ja) 映像処理装置及びフレームレート変換方法
JP5123643B2 (ja) 映像処理装置
US9001895B2 (en) Image display device and image processing device
EP2536160B1 (en) Display system with image conversion mechanism and method of operation thereof
JP5142373B2 (ja) 再生装置
JP2011103511A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151125

Termination date: 20190829

CF01 Termination of patent right due to non-payment of annual fee