CN103685860A - 具有增强的清晰度性能的图像插补 - Google Patents
具有增强的清晰度性能的图像插补 Download PDFInfo
- Publication number
- CN103685860A CN103685860A CN201310184978.3A CN201310184978A CN103685860A CN 103685860 A CN103685860 A CN 103685860A CN 201310184978 A CN201310184978 A CN 201310184978A CN 103685860 A CN103685860 A CN 103685860A
- Authority
- CN
- China
- Prior art keywords
- frame
- frequency
- filter
- interpolation
- relative position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001228 spectrum Methods 0.000 claims description 67
- 238000000034 method Methods 0.000 claims description 29
- 238000004590 computer program Methods 0.000 claims description 15
- 230000015654 memory Effects 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 238000005259 measurement Methods 0.000 claims description 13
- 230000001575 pathological effect Effects 0.000 claims description 6
- 230000003595 spectral effect Effects 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 14
- 230000033001 locomotion Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000003292 diminished effect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Television Systems (AREA)
Abstract
本文涉及具有增强的清晰度性能的图像插补,提供了一种插补器装置,其用于在第一帧和第二帧之间增加频率补偿插补帧,其中,第一帧和第二帧在视频图像的原始序列中沿着时基彼此相邻。该插补器装置包括:插补器,该插补器用于接收第一帧、第二帧、以及频率补偿插补帧的相对位置信息,该相对位置信息表示第一帧和第二帧的时间位置之间的相对时间位置,并且该插补器根据该相对位置信息基于第一帧和第二帧生成插补帧;以及频率补偿器,用于通过对插补帧数据应用滤波器来生成频率补偿插补帧,其中,该滤波器被配置为比较低频率范围的幅度更多地增加较高频率范围的幅度,该滤波器的滤波器系数基于该相对位置信息被确定。
Description
技术领域
本公开涉及一种插补装置、方法、计算机程序、以及包括用于在第一帧和第二帧之间添加频率补偿插补帧的计算机程序的非暂时性计算机可读介质,其中,第一帧和第二帧在视频图像的原始序列中沿着时基(timebase(时间基线))彼此相邻,并且其中,频率补偿插补帧取决于第一图像和第二图像之间的插补帧的相对位置。
背景技术
这里提供的“背景”描述是为了大体介绍本公开的技术环境。当前被指明的发明人在背景技术部分所描述的程度上的工作、以及描述中可能无法作为申请时的现有技术的各个方面不应被明确地或者隐含地承认为与本发明相对的现有技术。
在视频图像的原始序列的帧之间添加附加帧是一种用于例如帧速率转换的方法,其中,该帧速率转换使得以第一帧速率记录的视频图像的原始序列适应于特殊显示的帧速率。添加这样的附加的帧的另一个示例是将帧速率保持恒定的显示器的慢动作功能。
当添加这样的附加的帧时,该附加的帧可通过对两个相邻的帧(即,在视频图像序列中第二帧是关于第一帧的下一个帧)的图像数据进行插补来产生。原始序列例如可以是诸如由摄影机所记录的文件这样的序列。
发明内容
本发明旨在提供一种用于例如电视机的帧速率转换器或者慢动作转换器这样的图像处理单元的插补器装置、以及相应的方法、相应的计算机程序和包括具有通过插补产生的帧的增强的清晰度的计算机程序的相应的非暂时性计算机可读介质。,其中该插补器装置实施至少一次添加附加帧的插补。
根据一种实施方式的插补器装置在第一帧和第二帧之间添加频率补偿插补帧,其中,第一帧和第二帧在视频图像的原始序列中沿着时基相邻。该插补器装置包括:插补器,该插补器用于接收第一帧、第二帧和频率补偿插补帧的相对位置信息,该相对位置信息表示第一帧与第二帧的时间位置之间的相对时间位置,并且该插补器还根据该相对位置信息基于第一帧和第二帧产生插补帧;以及频率补偿器,用于通过对插补帧的数据应用滤波器来产生频率补偿插补帧,其中,滤波器被配置为比较低频率范围的幅度更多地增加较高频率范围的幅度,滤波器的滤波器系数基于相对位置信息确定。
根据一种实施方式的方法可用于在第一帧和第二帧之间添加频率补偿插补帧,其中,第一帧和第二帧在视频图像的原始序列中沿着时基彼此相邻。该方法包括接收第一帧、第二帧、和频率补偿插补帧的相对位置信息,该相对位置信息表示第一帧与第二帧的时间位置之间的相对时间位置,根据该相对位置信息基于第一帧和第二帧生成插补帧,并通过对插补帧的数据应用滤波器来生成频率补偿插补帧,其中,滤波器被配置为比较低频率范围的幅度更多地增加较高频率范围的幅度,滤波器的滤波器系数基于相对位置信息确定。
根据一种实施方式的计算机程序包括计算机程序指令,当该计算机程序指令由计算机执行时,使得计算机进行用于在第一帧和第二帧之间添加频率补偿插补帧的方法,其中,第一帧和第二帧在视频图像的原始序列中沿着时间轴彼此相邻。计算机程序指令使得计算机接收第一帧、第二帧和频率补偿插补帧的相对位置信息,该相对位置信息表示第一帧和第二帧的时间位置之间的相对时间位置,根据相对位置信息基于第一帧和第二帧生成插补帧,并通过对插补帧数据应用滤波器来生成频率补偿插补帧,其中,滤波器被配置为比较低频率范围的幅度更多地增加较高频率范围的幅度,滤波器的滤波器系数基于相对位置信息确定。
此外,计算机程序可存储在非暂时性计算机可读介质中。
前述段落被以概述的方式提供,并不意味着限制所附权利要求的范围。所描述的实施方式以及其他优势将通过结合附图参考以下详细的描述而被更好地理解。附图的元件不一定相对彼此成比例。
附图说明
通过参照以下详细的说明并结合附图,对本公开更加完整的认识以及其伴随的多个优势可被容易地获得,并同时变得更好理解,其中:
图1示出在原始帧之间不同的相对位置处添加附加的帧的原理;
图2示出插补导致的清晰度的损失;
图3示出作为相对位置的函数的模糊度;
图4示出用于补偿由插补产生的模糊的增益度;
图5示出用于生成频率补偿插补帧的方法的实施方式;
图6示出用于生成频率补偿插补帧的插补器装置的实施方式;
图7至图10示出不同的滤波器及其在插补帧频谱帧中的效果;
图11示出用于生成频率补偿插补帧的插补器装置的实施方式,该插补帧包括用于查阅表的存储器;
图12示出用于基于模糊度测量生成频率补偿插补帧的方法的实施方式;
图13示出用于生成频率补偿插补帧的插补器装置的实施方式,该插补器装置包括用于实施模糊度测量算法的处理器,
图14示出用于生成频率补偿插补帧的插补器装置的实施方式,该插补器装置包括实施模糊度测量算法的处理器和用于查阅表的存储器;
图15和图16示出模糊测量算法的实施方式;
图17示出用于基于模糊度测量生成频率补偿插补帧的方法的实施方式;
图18示出用于基于包括生成原始帧的频谱的模糊度测量生成频率补偿插补帧的方法的实施方式;
图19示出用于生成频率补偿插补帧且包括用于中止频率补偿的控制器的插补器装置的实施方式;
图20示出在模糊测量中可能作为频谱被获得的病态序列;
图21示出用于生成频率补偿插补帧的包括延迟控制器和缓冲存储器的插补器装置的实施方式;以及
图22示出被实现为计算机系统的插补器装置的实施方式。
具体实施方式
现在参考附图,其中,相同的附图标记标示在多个附图中相同的或者对应的部分。图1示出第一帧100和第二帧105之间的插补,其中,第一帧100和第二帧105是作为相邻的帧被输入至插补器中的帧,这些相邻帧用于生成图1中通过插补帧110、115、和120示出的插补帧。
插补器装置可在第一帧100和第二帧105之间添加一个或多个插补帧。相应地,可添加一个或多个频率补偿插补帧。
例如,如果以60Hz(即,每秒60帧)拍摄视频,且显示装置被配置为在每两个连续的原始帧之间以120Hz显示视频,则可添加一个插补帧。相应地,如果显示装置在每两个连续的原始帧之间以180Hz显示视频,则可添加两个插补帧。同样,在连续的原始帧的序列中可仅在每秒时间周期内添加一个或多个插补帧。帧数通过添加一个或多个增补帧而增加的因数(factor)可以是任何大于1的数,例如,1.5、2、3。仅在例如需要以慢动作显示视频的预定的连续原始帧之间添加插补帧。换句话说,使用者或者视频提供者仅需要对整个视频的一部分进行慢动作显示,则在相应的连续原始帧中添加插补帧。
插补帧的相对位置是描述插补帧在第一帧100和第二帧105之间的线性时间轴上的时间位置。可以在任何位置添加插补帧,并且可在第一帧100与第二帧105之间添加任何数量的插补帧,例如,一个帧,两个帧,三个帧。图1示出第一帧100的相对位置是0,第二帧105的相对位置是1,插补帧110、115、和120分别被添加在相对位置0.25、0.5、和0.75处。
第一帧100和第二帧105可以是视频图像的原始序列的帧。原始序列可以是被输入至下述的插补器中的图像的序列。
区域125描述了由图像数据所定义的区或者对象,该区或者对象从第一帧100中的第一位置移动至第二帧105中的第二位置,该移动可由动作矢量130描述。区域125在插补帧110、115、和120中的位置是通过识别区域125在相应的相对的位置处沿着动作矢量130的位置来确定的。这种解释仅仅是为了示例的目的,第一帧100中的区域125到第二帧105中的区域125的转移可以被不同于线性动作矢量130地进行描述。
动作矢量130可通过比较第一帧100中的区或者对象与第二帧105中的区或者对象并确定相似性来进行确定。例如,可使用4×4的像素块作为用于比较的区。
实施计算来确定插补帧的插补器可在子像素级上确定区域125在插补帧中的位置。换句话说,可以与显示器的像素的任意物理尺寸或者图像的像素尺寸无关地实施用于确定插补帧的计算。因此,在插补计算中,插补帧110、115、120的数据不一定对应于其上显示图像的显示装置的原始帧100、105、或120的像素栅格。但是,为了在显示器上生成插补帧的图像,该插补帧必须转变成显示器的像素。这种转变可导致模糊。在频谱视图中,该转变对应于低通滤波的效果。
图2中示意性地示出了用于关于如图1中所示的第一帧100和第二帧105的三个插补帧110、115、和120的低通滤波效果。
图2中示意性地示出的频谱将幅度A的绝对值示出为作为在分别用于帧100、110、115、120、和105的相对位置0、0.25、0.5、0.75、和1处的角频率ω的函数。角频率ω0是用于说明低通滤波效果的任意的角频率。插补帧从子像素分辨率向像素分辨率转变的结果是,对于插补帧110,115和120来说,较高角频率(例如,如图2中所示的第一帧100和第二帧105中的大于ω0的角频率)的幅度与较低角频率的幅度相比会衰减或者削弱。如上所提及的,较高角频率的幅度的衰减或削弱可能导致模糊,或者换句话说,导致图像具有更不清晰地显示的图像对象。
可以确定每个相对位置的模糊度,即,代表模糊的强度的值。图3将这样的模糊度曲线300示出为相对位置的函数。该模糊度曲线300关于第一帧100的相对位置0与第二帧105的相对位置1之间的中间的相对位置是对称的。
如图3中所示,该模糊度对于不同的相对位置是不同的。相应地,插补帧中模糊度的增加可通过同样随相对位置发生变化的增益度进行补偿。如图4中所示,增益度400的曲线对应于模糊度曲线300,这在图3中示出。
增益度400是用于描述如何修正插补帧的数据以增加插补帧的图像的感知清晰度。
图5中示出根据实施方式的方法。可在第一帧100和第二帧105之间添加通过该方法生成的频率补偿插补帧,其中,第一帧100和第二帧105在视频图像的原始序列中沿着时基彼此相邻。根据该方法,可接收第一帧100、第二帧105、和频率补偿插补帧的相对位置信息(S500),该相对位置信息表示第一帧100与第二帧105的时间位置之间的相对的时间位置。基于第一帧100和第二帧105,根据接收到的相位位置信息生成插补帧110、115、120(S505),并通过对插补帧110、115、120的数据应用滤波器来生成频率补偿插补帧(S510),其中,该滤波器配置为比较低频率范围的幅度更多地增加较高频率范围的幅度,该滤波器的滤波系数是基于用于生成插补帧110、115、120的相对位置信息而确定的。
可在第一帧100和第二帧105的相对位置处添加频率补偿插补帧。
如上所述,可在第一帧100和第二帧105之间添加一个或多个频率补偿插补帧。相应地,在步骤S500中接收相对位置信息,其中,该相对位置信息表征要在相应的相对时间位置添加的每个帧,可对于要添加的每个频率补偿插补帧实施上述方法。例如,如图1中所示,可接收相对位置0.25、0.5、和0.75,可生成插补帧110、115、120,基于这些插补帧生成频率补偿插补帧。
相对位置信息可以是允许能够确定在原始输入的帧的帧之间的哪个相对的时间位置处必须添加一个或多个帧的任何信息。根据该相对位置信息,插补器装置可以确定相对位置。
根据一个实施方式,相对位置信息包括相对时间位置。根据一个实施方式,相对位置信息是指示相对时间位置的相对时间位置信息。
如上所述,将实现帧的目标显示速率或者显示慢动作,根据实施方式,插补器装置仅可接收先前的和目标显示速率或者放缓的系数作为相对位置信息,之后该插补器装置确定插补帧的合适的数量以及相对位置。
相对位置信息可包括原始视频已拍摄的速率和将显示该视频的速率的信息。相对位置信息可包括帧的原始序列中的帧的数量增加的因数的信息。相对位置信息可包括表征在显示器上显示的移动减小的数量的慢动作因数的信息。相对位置信息可进一步包括表明将在哪个原始的连续帧之间添加一个或多个插补帧的信息。
此外,由于相对位置信息预存储在插补器装置中,故插补器装置可接收接收相对位置信息。例如,慢动作有可能以预定的不同的速率进行,如,双倍速度,三倍速度或者任何其他值。相对位置信息则可已经预定并在帧被接收之前存储在该插补器装置中。
应用于插补帧的滤波器可描述为用于补偿上述插补的至少部分低通滤波效果的反滤波器。
图6示出根据实施方式的插补器装置600。插补器装置600可实施参考图5所描述的方法。该插补器装置600可用于在第一帧100与第二帧105之间添加频率补偿插补帧,其中,第一帧100与第二帧105在视频图像的原始序列中沿着时基彼此相邻。插补器装置600包括插补器605,该插补器605接收第一帧100、第二帧105、和频率补偿插补帧的相对位置信息,该相对位置信息表示第一帧100和第二帧105的时间位置之间的相对时间位置,该插补器605还根据相对位置信息基于第一帧100和第二帧105生成插补帧110、115、120。此外,该插补器装置还包括通过对插补帧110、115、120的数据应用滤波器615来生成频率补偿插补帧的频率补偿器610。频率补偿器610可从插补器605处接收插补帧110、115、120。插补器605可包括用于将插补帧110、115、120发送至插补器615的发送器,插补器615可包括接收器。滤波器615被配置为比较低频率范围的幅度更多地增加较高频率范围的幅度,滤波器615的滤波器系数基于该相对位置信息确定。频率补偿器615可输出频率补偿插补帧。
如上所述,模糊度取决于添加频率补偿插补帧的相对位置,频率补偿器610接收该相对位置。相对位置信息或者相对位置可由频率补偿器610从与插补器相同的源处接收或者从插补器605处接收。
在另一个实施方式中,频率补偿器610接收相对位置的滤波器系数、或根据由补偿器605所接收的相对位置信息的滤波器系数。
在另一个实施方式中,频率补偿器610接收相对位置的模糊度、或者根据由补偿器605所接收的相对位置信息的模糊度。
在图7中示出了滤波器615的示例性增益函数700。滤波器615在较高角频率范围710中比在较低角频率范围715中更多地增加频谱705的幅度,其中,较高角频率范围710是高于较低角频率范围715的角频率的角频率范围。术语“增加”指的是幅度的相对变化。换句话说,只要满足频率范围的相对改变的上述条件,增益函数700可位于在增益轴上的任何位置。在滤波器615的实施方式中,所有或仅部分角频率增加的同时,其他角频率幅度减少。如图7中所示,滤波器615可不修改较低角频率的范围715的幅度,即,增益等于1。滤波器615具有尖峰型补偿响应。滤波器615可配置为增加较高角频率范围的高频边缘的陡度。
频率补偿插补帧的生成可通过仅对滤波器的增益函数不等于1的频率应用滤波器来实现。
术语“角频率”也包括术语“频率”,反之亦然。应注意对实施方式的定性描述同时应用两种表述,因为它们是相互成比例的。
通过应用滤波器615,获得频谱720,其中,较高角频率范围710的频率比在原始频谱705中具有更高的幅度。与频谱705相比,根据频谱720的图像具有增强的清晰度。换句话说,可从插补帧110、115、120获得频谱705,并通过应用滤波器615,可生成与频率补偿插补帧对应的频谱720。
滤波器615可以是数字滤波器。滤波器615可以是对特定频率范围进行放大而对放大频率范围之外的其他频率不不做改变的带通滤波器。图7中示出了带通的增益函数700。
图8示出滤波器615的另一个实施方式,其中,滤波器615具有合并带通滤波器与截止滤波器的增益函数800,截止较高圆频率范围710以上的频率。
滤波器系数确定滤波器615的增益函数。例如,在图7和8中示出了两个不同的增益函数700和800。
图9示出具有带通滤波器的增益函数700的滤波器615可保持在生成插补帧时所生成的混叠频率范围905的衰减。可保持混叠频率范围905的最大幅度910。因此,从插补频谱900可获得频率补偿插补频谱915。与频率补偿插补频谱915对应的图像不会示出与混叠频率对应的图像分量的增加。
如图10中所示,具有与截止滤波器结合的带通滤波器的增益函数800的滤波器615可保持在生成插补帧时所生成的混叠频率范围905消弱或者消失。混叠频率范围905的最大幅度910可被减小。因此,从插补频谱900可获得频率补偿插补频谱1000。
如图11中所示,插补器装置还可包括用于在查阅表中存储滤波器615的滤波器系数的存储器1100。根据该实施方式,滤波器系数可由频率补偿器610通过在存储器1100的查阅表中查阅滤波器615的滤波器系数来确定。
存储器1100可存储包含多组滤波器系数的查阅表,每组滤波器系数被分配给至少一个相对位置。根据该实施方式,用于由频率补偿器610所接收的相对位置的滤波器系数可由频率补偿器610通过在存储器1100的查阅表中查阅滤波器615的滤波器系数而确定。
如上所述,频率补偿器610根据相对位置可接收模糊度,换句话说,模糊度可被分配给相对位置。在这个实施方式中,查阅表包括不同模糊度的多组滤波器系数。因此,在查阅表中每组滤波器系数被分配给一个模糊度。由于模糊度被分配给相对位置,因此,在这个实施方式中,查阅表中的每组滤波器系数也被分配给相对位置。
在另一个实施方式中,如图12中所示,基于对插补帧中的模糊的模糊度测量来确定滤波器系数(S1200)。
如图13中所示,插补器装置600可包括处理器1300,该处理器1300通过应用使用第一帧的、第二帧的、由插补器605生成的插补帧的和相对位置的数据的模糊度测量算法来确定滤波器系数。处理器1300可向频率补偿器610提供滤波器系数。
在图14中示出了另一个实施方式。插补器装置600包括处理器1300,该处理器1300被适配于通过应用使用第一帧的、第二帧的、由插补器605生成的插补帧的和相对位置的数据的模糊度测量算法来确定模糊度,并且该插补器装置600还包括存储查阅表的存储器1100,其中,多组滤波器系数被存储分配给模糊度。频率补偿器610可在查阅表中查阅用于从处理器1300接收的模糊度的滤波器系数。
处理器1300被适配为接收第一帧、第二帧、由插补器605所生成的插补帧和相对位置信息或者相对位置。
图15和16示出处理器1300所使用的用于确定作为相对位置的函数的模糊度的模糊度测量算法。使用在第一帧100中的、第二帧105中的、插补帧110中的和插补帧110的相对位置中的区域125的数据作为用于计算的输入。图15和图16中的示例使用的相对位置是0.5。但是,对于相对位置的每个值都可实施相同的计算。频谱1500、1505、1600分别表示对第一帧100中的、第二帧105中的、和插补帧110中的区域125的快速傅里叶变换(FFT)。作为连续的傅里叶变换或者离散的傅里叶变换,可在FFT频谱上整个频谱范围上实施模糊度测量算法。可通过应用戈泽尔算法(戈泽尔滤波器1510)来实施模糊度测量算法。应注意到,当应用戈泽尔滤波器1510时,之前不必在整个频谱范围内实施FFT,但是第一帧100中的、第二帧105中的、和插补帧110中的区域125的频谱1515、1520、和1605可分别根据区域125的对应数据直接确定。
进一步地,如图15和图16中的圆圈1525所指示,在模糊度测量算法中,只考虑一个频率范围,即,为该频率范围确定频谱。该频率范围可以是包括当生成插补帧110时幅度在其处会发生改变的频率的频率范围。频率范围可以是较高频率的范围,其中该频率的幅度小于该频率范围以下的频率的平坦幅度水平。平坦的意思是幅度在10%或者20%的范围变化。该频率范围可以是预定的频率范围。该频率范围可包括其幅度连续降低至零的频率。该频率范围取决于插补方法,并可基于该插补方法进行选择。例如,对于表现出较强的模糊效果的插补方法而言,可选择较大的频率范围。
一旦幅度和用在模糊度测量中的频率被确定,所获得的第一帧100的频谱中的每个频率的幅度可乘以因数:(1-相对位置),所获得的第二帧105的频谱中的每个频率的幅度可乘以因数:(相对位置),其中,这个因数中的相对位置是插补帧105的相对位置。在图15和16所示的示例中,插补帧105的相对位置是0.5,以使在这个特定的示例中,第一帧频谱的因数是(1-0.5)=0.5,第二帧频谱的因数是(0.5)。
进一步地,第一帧100的频谱的所得幅度和第二帧105的频谱的所得幅度相加并乘以0.5。换句话说,从第一帧100中和第二帧105中的区域125的原始频谱开始,通过计算每个频率的幅度确定一个新的频谱,例如,使用方程(1):
A’(ω)=(A1(ω)·(1-relpos)+A2(ω)·relpos)·0.5
其中,A1是为第一帧100所获得的频率ω的幅度,A2是为第二帧105所获得的频率ω的幅度,relpos是插补帧110的相对位置。
产生该新的频谱包括计算第一帧100的频谱和第二帧105的频谱的加权平均值,其中,频谱被加权越高,插补帧110被定位得就越接近该频谱。
图16中的新频谱1605示出通过源自于频谱1530和1535的方程1获得的频谱。
新频谱1605可反映在没有由在第一帧100和第二帧105之间插补以产生插补帧110而产生的模糊的相对位置处(relpos)的理论插补帧的理想的频谱。可应用其他方法或者算法来确定新频谱,该新频谱可以以与新频谱1605相同的方式用于模糊度测量算法。
以与第一帧100的频谱1530和第二帧105的频谱1535相同的方式获得插补帧110的频谱1610。插补帧110的频谱1610反映区域125中的在生成插补帧110时被包括在插补帧110的图像中的模糊。
可从新频谱1605中减去插补帧的频谱1610并获得模糊度频谱1615,该模糊度频谱1615是对插补帧中的模糊度的测量,根据模糊度频谱1615的结果可用于通过频率补偿器610控制频率补偿以生成频率补偿插补帧。
模糊度频谱1615的数据可用于确定滤波器615的滤波器系数以产生频率补偿插补帧。
选择滤波器系数以使频率的幅度放大与模糊度频谱1615成正比,或者二者具有一种关系,根据该关系,如果模糊度较大时,滤波器的峰值幅度较大。
图17示出用于确定模糊度的方法的实施方式。产生第一帧100中的、第二帧105中的和插补帧110中的区域125的频谱(S1700)。之后确定在插补帧110的相对位置处的理想的频谱1605并减去实际的频谱1610(S1705)。
图18示出如何产生理想的频谱1605的方法。第一帧100的频谱1530和第二帧的频谱1535的加权平均频谱可确定为理想的频谱1605(S1800)。加权因数越大,插补帧110的相对位置越接近于第一帧100和第二帧105的相应帧的相对位置。
插补器装置可具有用于切断或者设定频率补偿为零的控制器1900。如果模糊度显示频率的病态序列时,该控制器可切断或者将频率补偿设置为零。图19中示出了频率病态序列的示例。如果单独的频率的幅度比模糊度频谱中的样本频率范围中的所有其他的频率的幅度都高得多,例如,是5倍或者10倍时,该控制器可确定病态序列的存在。例如当通过插补将第一帧中的黑白棋盘图像(棋盘图案)和第二帧中的相反的棋盘图案均值化以获得平坦灰色区域作为相对位置0.5处的插补帧时,会显示出频率的病态序列。在该频谱表征中,这样的棋盘图案的两个原始帧在样品频率范围中或者在样品频率附近具有非常高的峰值。对于插补帧而言该峰值可能不存在。图20示出病态序列2000和正常的模糊度频谱1615。
如图21中所示,插补装置可包括存储频率补偿插补帧的缓冲存储器2100和对包括第一帧、频率补偿插补帧、和第二帧的序列的输出进行延迟的延迟控制器2105。
插补器装置600可用作独立的装置或可被集成入图像处理装置,例如集成入电视机、视频播放机、计算机、游戏控制台。
上面已经描述了插补器装置600作为单独的单元的组成。但是,处理单元可被集成入在一个或多个处理器中,不同于单独的单元的处理,任务可在处理器之间被分开完成。
一种实施方式是包括计算机程序指令的计算机程序,当通过计算机执行该指令时,该指令使得计算机实施上述方法或者使得计算机作为插补器装置600。
计算机程序可存储在非暂时性计算机可读介质中。
图22是处理系统2200的硬件图,该处理系统体现该公开的各个方面,包括涉及用于生成频率补偿插补帧的计算机的方面。处理、算法和本文所描述的电子驱动系统可经由分立的控制装置或者与图6、11、13、14、19、21中所示的结构相一致的计算系统实施。这样的系统在本文中被描述为处理系统2200。
如图22中,与本公开相一致的处理系统2200可通过使用微处理器或其等同物来实现,例如中央处理单元2205(CPU)或者至少一个特定应用处理器ASP(未示出)。微处理器使用诸如存储器2210(如,ROM、EPROM、EEPROM、闪存、静态存储器、DRAM、SDRAM、以及其等同物)这样的计算机可读存储介质,被配置为控制微处理器执行和/或控制本公开的处理和系统。其他的存储介质可经由诸如磁盘控制器2215这样的控制器来控制,该控制器可控制硬盘驱动或者光盘驱动。
在可选的实施方式中,微处理器或其各个方面可包括或者唯一包括扩大或者完全实现本公开的逻辑装置。这样的逻辑装置包括但不局限于:专用集成电路(ASIC)、现场可编程门阵列(FPGA)、通用逻辑阵列(GAL)、及其等同物。该微处理器可以是独立的装置或者单个的处理机构。此外,本公开可得益于多核CPU的并行处理性能。
在另一个方面,根据本公开的处理结果或者数据输入可经由显示控制器2220显示至监视器2225。为了改进的计算效率,该显示控制器2220则优选包括至少一个图形处理单元。
如图22中所示,上面所提及的部件可经由用于数据的传输或接收的网络接口耦合到诸如因特网或者本地局域网这样的网络2230中,其中,该数据包括可控参数。此外,中央总线2235被设置为将上述硬件部件连接到一起并提供至少一条用于其间的数字通讯的路径。
至此,已经描述了通过软件控制的数据处理装置至少部分实现的本发明的实施方式,应该理解的是,携带这样的软件的诸如光盘、磁盘、半导体存储器等这样的非暂时性机器可读介质也被认为代表本发明的实施方式。
明显地,根据上述教导,可对本公开进行多种的变形和改变。因此,应该理解的是,在所附权利要求的范围内,可不同于本文具体描述地实践本发明。
Claims (16)
1.一种用于在第一帧与第二帧之间添加频率补偿插补帧的插补器装置,其中,所述第一帧和所述第二帧在视频图像的原始序列中沿着时基彼此相邻,所述插补器装置包括:
插补器,接收所述第一帧、所述第二帧、以及所述频率补偿插补帧的相对位置信息,并根据所述相对位置信息基于所述第一帧和所述第二帧生成插补帧,所述相对位置信息表示所述第一帧的时间位置与所述第二帧的时间位置之间的相对时间位置,以及
频率补偿器,通过对所述插补帧的数据应用滤波器来生成所述频率补偿插补帧;其中
所述滤波器被配置为比较低频率范围幅度更多地增加较高频率范围幅度,以及
所述滤波器的滤波器系数基于所述相对位置信息被确定。
2.根据权利要求1所述的用于在第一帧与第二帧之间添加频率补偿插补帧的插补器装置,其中,
所述滤波器是带通滤波器。
3.根据权利要求1或2所述的用于在第一帧与第二帧之间添加频率补偿插补帧的插补器装置,其中,
所述滤波器被配置为增加所述较高频率范围的高频边缘的陡度。
4.根据前述权利要求中的任一项所述的用于在第一帧与第二帧之间添加频率补偿插补帧的插补器装置,其中,
所述滤波器被配置为保持所述插补帧的混叠频率的衰减。
5.根据权利要求1或2所述的用于在第一帧与第二帧之间添加频率补偿插补帧的插补器装置,进一步包括:
存储器,在查阅表中存储所述滤波器系数;以及
其中,所述滤波器系数通过在所述查阅表中查阅所述滤波器系数来确定。
6.根据权利要求5所述的用于在第一帧与第二帧之间添加频率补偿插补帧的插补器装置,
其中,所述查阅表包括多组滤波器系数,每组滤波器系数被分配给至少一个相对位置。
7.根据前述权利要求中的任一项所述的用于在第一帧与第二帧之间添加频率补偿插补帧的插补器装置,还包括:
处理器,通过应用模糊度测量算法确定模糊度,所述模糊度测量算法使用所述第一帧的、所述第二帧的、所述插补帧的和所述相对位置信息的数据;
其中,所述滤波器系数基于由所述处理器确定的所述模糊度而确定。
8.根据权利要求7所述的用于在第一帧与第二帧之间添加频率补偿插补帧的插补器装置,
其中,确定所述模糊级包括使从所述插补帧的子像素数据获得的第二频谱减去从根据预定显示设备的像素的像素数据中所获得的第一频谱。
9.根据权利要求8或9所述的用于在第一帧与第二帧之间添加频率补偿插补帧的插补器装置,
其中,获得所述第二频谱包括计算所述第一帧的频谱与所述第二帧的频谱的加权平均,其中所述频谱加权越高,所述插补帧被定位得就越接近所述频谱。
10.根据权利要求7到9中的任一项所述的用于在第一帧与第二帧之间添加频率补偿插补帧的插补器装置,
其中,如果所述模糊度表明病态频率序列时,通过所述频率补偿器将补偿切断或设置为零,
其中,所述频率病态序列是指其中单个频率具有至少是用于确定所述模糊度的取样频率范围中的所有其他频率5倍的幅度的频率序列。
11.根据前述权利要求中的任一项所述的用于在第一帧与第二帧之间添加频率补偿插补帧的插补器装置,还包括:
缓冲存储器,存储所述频率补偿插补帧;以及
延迟控制器,延迟包括所述第一帧、所述频率补偿插补帧和所述第二帧的序列的输出。
12.一种用于在第一帧和第二帧之间生成频率补偿插补帧的方法,其中所述第一帧和所述第二帧在视频图像的原始序列中沿着时基彼此相邻,所述方法包括:
接收所述第一帧、所述第二帧、和所述频率补偿插补帧的相对位置信息,所述相对位置信息表示所述第一帧的时间位置与所述第二帧的时间位置之间的相对时间位置,
根据所述相对位置信息基于所述第一帧和所述第二帧生成插补帧,以及
通过对所述插补帧的数据应用滤波器来生成所述频率补偿插补帧;其中,
所述滤波器被配置为比较低频率范围的幅度更多地增加较高频率范围的幅度,以及
所述滤波器的滤波器系数基于所述相对位置信息被确定。
13.根据权利要求12所述的方法,
其中,通过在查阅表中查阅所述滤波器系数或当生成所述频率补偿插补帧时通过计算所述滤波器系数来确定所述滤波器系数。
14.根据权利要求12或13所述的方法,
其中,所述滤波器系数基于对由所述插补器产生的所述插补帧中的模糊的模糊度测量而确定。
15.一种包括计算机程序指令的计算机程序,其中,当通过计算机执行所述指令时,所述指令使所述计算机进行用于在第一帧和第二帧之间添加频率补偿插补帧的方法,其中,所述第一帧和所述第二帧在视频图像的原始序列中沿着时基彼此相邻,所述计算机程序包括:
接收所述第一帧、所述第二帧、和所述频率补偿插补帧的相对位置信息,所述相对位置信息表示所述第一帧的时间位置与所述第二帧的时间位置之间的相对时间位置,
根据所述相对位置信息基于所述第一帧和所述第二帧生成插补帧,以及
通过对所述插补帧的数据应用滤波器来生成所述频率补偿插补帧;其中
所述滤波器被配置为比较低频率范围的幅度更多地增加较高频率范围的幅度,以及
所述滤波器的滤波器系数基于所述相对位置信息被确定。
16.一种包括权利要求15中所述的计算机程序的非暂时性计算机可读介质。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP12006386.2 | 2012-09-11 | ||
EP12006386 | 2012-09-11 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103685860A true CN103685860A (zh) | 2014-03-26 |
Family
ID=46982329
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310184978.3A Pending CN103685860A (zh) | 2012-09-11 | 2013-05-17 | 具有增强的清晰度性能的图像插补 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103685860A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105245812A (zh) * | 2015-10-20 | 2016-01-13 | 广东欧珀移动通信有限公司 | 一种视频录制的方法及终端 |
CN106574848A (zh) * | 2014-05-26 | 2017-04-19 | 大陆-特韦斯股份有限公司 | 带有可变的载波频率和戈泽尔滤波的传感器装置 |
CN109621413A (zh) * | 2018-12-28 | 2019-04-16 | 腾讯科技(深圳)有限公司 | 游戏画面的渲染显示方法、装置、终端及存储介质 |
-
2013
- 2013-05-17 CN CN201310184978.3A patent/CN103685860A/zh active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106574848A (zh) * | 2014-05-26 | 2017-04-19 | 大陆-特韦斯股份有限公司 | 带有可变的载波频率和戈泽尔滤波的传感器装置 |
US10181971B2 (en) | 2014-05-26 | 2019-01-15 | Continental Teves Ag & Co. Ohg | Sensor arrangement with variable carrier frequency and Goertzel filtering |
CN106574848B (zh) * | 2014-05-26 | 2020-03-10 | 大陆-特韦斯股份有限公司 | 带有可变的载波频率和戈泽尔滤波的传感器装置 |
CN105245812A (zh) * | 2015-10-20 | 2016-01-13 | 广东欧珀移动通信有限公司 | 一种视频录制的方法及终端 |
CN105245812B (zh) * | 2015-10-20 | 2018-09-04 | 广东欧珀移动通信有限公司 | 一种视频录制的方法及终端 |
CN109621413A (zh) * | 2018-12-28 | 2019-04-16 | 腾讯科技(深圳)有限公司 | 游戏画面的渲染显示方法、装置、终端及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101498207B1 (ko) | 초고해상도 영상의 프레임 레이트 변환 장치 및 방법 | |
US20120093231A1 (en) | Image processing apparatus and image processing method | |
US8369644B2 (en) | Apparatus and method for reducing motion blur in a video signal | |
US8615036B2 (en) | Generating interpolated frame of video signal with enhancement filter | |
KR20050077285A (ko) | 해상도 변환방법 및 해상도 변환장치 | |
GB2505872B (en) | Interpolation of images | |
US8922712B1 (en) | Method and apparatus for buffering anchor frames in motion compensation systems | |
CN103685860A (zh) | 具有增强的清晰度性能的图像插补 | |
US20130136182A1 (en) | Motion vector refining device and video refining method thereof | |
US6956617B2 (en) | Image scaling and sample rate conversion by interpolation with non-linear positioning vector | |
US20100289928A1 (en) | Video Signal Processing Unit and Display Unit | |
US20120033137A1 (en) | Image processing device and method and image display device | |
US8830394B2 (en) | System, method, and apparatus for providing improved high definition video from upsampled standard definition video | |
KR102438227B1 (ko) | 영상 처리 장치 및 영상 처리 방법 | |
JP2015228113A (ja) | 画像処理装置および画像処理方法 | |
US20130120461A1 (en) | Image processor and image processing method | |
JP5331643B2 (ja) | 動きベクトル検出装置及びプログラム | |
US8811774B1 (en) | Super resolution using an interpretive scaler | |
US20150098497A1 (en) | Motion Compensated De-interlacing and Noise Reduction | |
JP4674528B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
JP5520687B2 (ja) | 動き推定装置及びプログラム | |
EP2924879B1 (en) | Sampling rate conversion device | |
WO2010129548A1 (en) | Content adaptive scaler based on a farrow structure | |
WO2012017514A1 (ja) | 画像処理装置、画像処理プログラム及び画像処理方法 | |
JP5701816B2 (ja) | 画像処理装置、画像処理プログラム及び画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140326 |