CN109089014A - 用于控制颤抖可见性的系统和方法 - Google Patents

用于控制颤抖可见性的系统和方法 Download PDF

Info

Publication number
CN109089014A
CN109089014A CN201811321721.7A CN201811321721A CN109089014A CN 109089014 A CN109089014 A CN 109089014A CN 201811321721 A CN201811321721 A CN 201811321721A CN 109089014 A CN109089014 A CN 109089014A
Authority
CN
China
Prior art keywords
judder
frames
frame rate
frame
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811321721.7A
Other languages
English (en)
Other versions
CN109089014B (zh
Inventor
徐宁
K·D·瑟斯顿三世
S·戴勒
J·E·克兰肖
A·舍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN109089014A publication Critical patent/CN109089014A/zh
Application granted granted Critical
Publication of CN109089014B publication Critical patent/CN109089014B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0112—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0112—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
    • H04N7/0115—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard with details on the detection of a particular field or frame pattern in the incoming video signal, e.g. 3:2 pull-down pattern
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0147—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation using an indication of film mode or an indication of a specific pattern, e.g. 3:2 pull-down pattern

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Silicates, Zeolites, And Molecular Sieves (AREA)

Abstract

本发明公开了用于控制颤抖可见性的系统和方法。颤抖可以在图片内被局部地引入以恢复通常在电影中预期的颤抖感觉。帧的捕获时间和显示时间可以被操纵以获得期望的颤抖量。帧可以被插入以获得具有较高帧速率和颤抖的局部控制的电影。

Description

用于控制颤抖可见性的系统和方法
本申请是基于申请号为201580010829.2、申请日为2015年2月23日、发明名称为“用于控制颤抖可见性的系统和方法”的专利申请的分案申请。
相关申请的交叉引用
本申请要求2014年2月27日提交的美国临时专利申请No.61/945,706和2014年9月25日提交的美国临时专利申请No.62/055,555的优先权，每一专利申请通过其整体引用而特此并入。
技术领域
本公开涉及视频处理。更特别地，它涉及用于控制颤抖可见性(juddervisibility)的系统和方法。
附图说明
并入到本说明书中并且构成本说明书的一部分的附图示出了本公开的一个或多个实施例，并且与示例实施例的描述一起用于解释本公开的原理和实现。
图1示出了处理24fps传入素材(materia)的一个实施例的高层级框图。
图2示出了由于对于不具有眼睛移动(即，注视)的世界坐标的情况(左半部)的平滑运动(顶部)和跟踪眼睛移动的情况(右半部)下的视网膜运动的时间采样(底部)而造成的失真。
图3示出了以48fps采样并且在48fps保持型显示器上显示的线段的运动。
图4示出了根据本公开的实施例的具有24fps输入和48fps输出的颤抖减少的处理。
图5示出了根据本公开的实施例的作为速度的函数的示例性映射函数。
图6-14示出了根据本公开的实施例的颤抖控制的不同可能的方法。
图15示出了根据本公开的实施例的颤抖控制算法的实施例。
图16示出了本公开的方法的硬件实现的实施例。
图17示出了与颤抖控制有关的一些概念。
图18-19示出了与颤抖控制有关的映射的一些示例。
图20示出了具有120fps输入的输入时间和输出时间之间的示例性关系。
图21示出了与颤抖控制有关的一些另外的概念。
图22示出了对于无限帧速率示例的真实时间和显示时间之间的映射。
图23示出了利用和不利用平滑追随对象眼睛跟踪的时间空间轨迹线。
图24示出了本公开的颤抖控制的实施例的映射时间和真实时间。
图25示出了根据本公开的实施例的扩宽的颤抖可见性控制流程图的示例。
图26示出了根据本公开的实施例的用于高帧速率图像的扩宽的颤抖可见性控制流程图的示例。该步骤一般在图像制作阶段(即，后期制作)由人操作者控制。
发明内容
在本公开的第一方面中，描述了用于利用计算机控制颤抖可见性的方法，所述方法包括：访问第一图像和第二图像；使用所述第一图像和第二图像来生成亮度变化图和对比度变化图；使用所述亮度变化图和对比度变化图来生成颤抖图，其中，所述颤抖图包括所述第一图像的颤抖信息；以及响应于所述颤抖图，向所述第一图像添加噪声和运动模糊以生成输出图像。
在本公开的第二方面中，描述了用于控制颤抖可见性的方法，所述方法包括：通过计算机提供至少两个输入帧；通过计算机基于所述至少两个输入帧估计插入图(interpolation map)，由此获得估计的插入图，其中，所述估计的插入图指定对于所述至少两个输入帧的至少一个像素的时间插入位置；以及通过计算机基于所述至少两个输入帧和估计的插入图插入至少一个另外的帧，由此获得至少一个插入帧，其中，所述至少一个插入帧的至少一个像素与由至少一个像素的插入图指定的时间处的该至少一个像素对应。
在本公开的第三方面中，描述了用于控制高帧速率捕获和高帧速率显示的颤抖可见性的方法，所述方法包括：利用非恒定的时间间隔捕获帧，由此获得捕获的帧；和利用恒定的时间间隔显示所述捕获的帧，由此获得期望的颤抖可见性。
在本公开的第四方面中，描述了用于控制高帧速率捕获和高帧速率显示的颤抖可见性的方法，所述方法包括：利用恒定的时间间隔捕获帧，由此获得捕获的帧；和利用非恒定的时间间隔显示所述捕获的帧，由此获得期望的颤抖可见性。
在本公开的第五方面中，描述了用于控制颤抖可见性的方法，所述方法包括：利用恒定的时间间隔捕获帧，由此获得捕获的帧；和利用恒定的时间间隔显示所述捕获的帧，其中，所述捕获的帧中的至少一个帧被用其在前的捕获的帧替代，由此显示所述在前的捕获的帧两次。
在本公开的第六方面中，描述了用于控制颤抖可见性的方法，所述方法包括：利用恒定的时间间隔捕获帧，由此获得捕获的帧；通过计算机基于期望的颤抖可见性处理所述捕获的帧中的至少一个帧和其在前的捕获的帧中的至少一个，由此获得至少一个经处理的捕获的帧；以及利用恒定的时间间隔显示所述捕获的帧和至少一个经处理的捕获的帧。
在本公开的第七方面中，描述了用于控制高帧速率图像序列的颤抖可见性的方法，所述方法包括：通过计算机提供输入帧；通过计算机从所述输入帧去除噪声或胶片颗粒，由此获得经处理的帧；通过计算机处理来自所述输入帧的所述噪声或胶片颗粒，由此获得低帧速率噪声或胶片颗粒；以及通过计算机向所述经处理的帧添加所述低帧速率噪声或胶片颗粒，由此获得输出帧。
在本公开的第八方面中，描述了用于控制高帧速率图像序列的颤抖可见性的方法，所述方法包括：通过计算机提供输入帧；通过计算机将所述输入帧分成至少两组帧；通过计算机基于期望的颤抖可见性处理所述帧的组中的至少一组，由此获得经处理的至少一组帧和未经处理的至少一组帧；以及通过计算机组合所述经处理的至少一组帧与未经处理的至少一组帧。
在本公开的第九方面中，描述了用于利用计算机控制颤抖可见性的方法，所述方法包括：通过计算机提供至少两个输入帧；通过计算机基于所述至少两个输入帧估计插入图，由此获得估计的插入图，其中，所述估计的插入图指定对于所述至少两个输入帧的至少一个像素的时间插入位置；以及通过计算机基于所述至少两个输入帧和估计的插入图插入至少一个另外的帧，由此获得至少一个插入帧，其中，所述至少一个插入帧的至少一个像素与由至少一个像素的插入图指定的时间处的该至少一个像素对应，输出帧速率为输入帧速率的整数倍，并且所述至少一个另外的帧被插入在所述至少两个输入帧之间。
在本公开的第十方面中，描述了用于控制颤抖可见性的方法，所述方法包括：通过计算机提供至少两个输入帧；通过计算机基于所述至少两个输入帧估计插入图，由此获得估计的插入图，其中，所述估计的插入图指定对于所述至少两个输入帧的至少一个像素的时间插入位置；计算基础(base)帧速率，所述基础帧速率为输出帧速率的偶数倍并且在值上基本上接近于输入帧速率，由此类似于所述输入帧速率来显示颤抖，其中，输出帧速率为所述输入帧速率的非整数倍；以及通过计算机基于所述至少两个输入帧、基础帧速率、输入帧速率和输出帧速率以及估计的插入图插入至少两个另外的帧，由此获得至少两个插入帧，其中，所述至少两个插入帧中的至少一个的至少一个像素与由至少一个像素的插入图指定的时间处的该至少一个像素对应，其中，所述至少两个另外的帧被插入在所述至少两个输入帧之间。
在本公开的第十一方面中，描述了用于控制颤抖可见性的方法，所述方法包括：以输入帧速率提供输入帧；通过计算机在每一时间段从所述输入帧捕获帧，由此获得捕获的帧；在每一时间段中以低于所述输入帧速率的帧速率显示所述捕获的帧；以及在每一时间段的结束使所述捕获的帧在时间上向前跳跃(jump)达赶上所述输入帧速率所需要的量，由此获得期望的颤抖可见性。
在本公开的第十二方面中，描述了用于控制高帧速率颤抖可见性的方法，所述方法包括：以输入帧速率提供输入帧；通过计算机计算颤抖基础帧速率；选择颤抖控制速率；在每一时间段从所述输入帧重采样帧，由此获得重采样的帧；在每一时间段中以不同于所述输入帧速率的帧速率显示捕获的帧；以及在每一时间段的结束使所述捕获的帧在时间上向前跳跃达赶上所述输入帧速率所需要的量，由此以等于所述输入帧速率的输出帧速率获得期望的颤抖可见性。
具体实施方式
运动图片(motion picture)中的颤抖可以简单地被描述为非平滑运动，但是该术语也被用于一般描述视频记录中典型的24fps的相对低的帧速率的任何结果。由于24fps的帧速率(或其它类似低的帧速率)产生的与真实世界中可见的运动相比的失真中的一些可以被分解成四个主要成分(component)：1)非平滑运动(颤动)，2)沿着移动边缘(edge)的闪烁，3)移动对象上的空间模糊，以及4)虚假的多个边缘。
这样的失真主要是由于相对于图像更新速率(帧速率)的高程度的运动，以及源自空时混叠的结果。如本领域技术人员已知的，可以通过空时对比灵敏度函数(CSF)(称为ST-CSF)来描述运动失真的可见性。运动中的对象相对于其周围区域的对比度可以影响可见性，因为对比度是向ST-CSF的主要输入变量，从而确定阈值和总的可见性。
还存在基于视觉系统的亮度适应对这些失真的可见性的影响。对于较高亮度水平，ST-CSF的空间和时间带宽增大，结果是所有四个成分的可见性也增大。用于影片的新投影仪设计实现较高的最大亮度和较高的对比度。有时增大的最大亮度被用于提升平均亮度水平，而其它时间它被用于仅增大对象的对比度。这两种改善具有负面影响，因为它们增大了颤抖的所有四个成分的可见性。不幸的是，颤抖的以前可接受的水平现在变得令人反感。
换言之，针对100nits标准动态范围显示器或48nits电影屏幕分级的内容在被重新分级到扩展或可视动态范围显示器(例如，800nitsTV显示器或110nits电影屏幕)时示出令人反感的颤抖。原因是，如心理物理实验中所示的那样，较高明亮度(brightness)和较高对比度增大了颤抖感知(perception)。
心理物理实验已通过使用Gabor和自定义的对比度-频率测试图以及真实图像序列作为刺激(stimuli)，研究了不同的因素如何影响运动颤抖的感知。结果表明，颤抖与包括帧速率、运动速度、明亮度、对比度、快门角度等的不同变量可以具有强的关系。对于颤抖的感知存在截止帧速率：超过该帧速率，不存在颤抖感知，而低于该速率，颤抖感知在帧速率降低时增大。因此，在相同帧速率处，颤抖感知随着运动速度、明亮度以及对比度增大而增大，并且随着快门角度增大而降低。
在许多成像应用中，运动质量的改善的目标是减少以上列举的所有四个颤抖成分，并且可见性的窗口提供了朝着这样的改善的清晰路径。减少颤抖的一种方式是在捕获或显示阶段减少空间和时间分辨率或者增大帧速率。然而，对于影片来说，这些成分中的一些在某些幅值水平处实际是期望的，因为它们有助于通常由电影摄影师和电影行业中的其它专业人员期望的“电影感(film look)”。它们在使影片看起来不同于视频时是重要的，视频由于其相对较高的帧速率而具有平滑得多的运动和锐利的移动边缘。尽管电影感的偏好背后的一些细节是未知的，但是已假设由于与电影从业者经常对于聚焦偏好浅的景深的事实有关的那些原因类似的原因，运动模糊(由于在LCD显示器行业中经常讨论的保持型模糊和平滑追随眼睛移动交互而造成)是被偏好的。它减少故事讲述不需要的可以被视为干扰的可见细节。其它理论是，影片不应当太实际，因为这阻碍观看者的想象力。第三个关键理论是，影迷与朝着电影感的一些颤抖成分存在强的关联性，并且作为结果，电影观看者偏好影片不具有视频的更实际的运动质量。作为这些复杂因素的结果，需要比简单地去除颤抖(诸如通过增大捕获和显示的帧速率，或者通过使用运动插入以增大给定源的帧速率)做得更多的方法。这样的方法必须管理颤抖；即，保持在感知上类似于传统影片的所期望的成分，尽管对比度和亮度水平增大。这些颤抖管理的方法是本公开的主题。除了将来自影片的颤抖成分水平保留在以前可接受的水平之外，本公开还描述了允许导演或电影摄影师全局地和局部地控制颤抖显现(appearance)的方面(从传统感到更自然的“视频运动”感(包括中间的各种状态)的范围)的系统和方法。
处理运动伪像的另一种方法是通过记录处理的控制。美国电影摄影师协会已提供了关于在场景中捕获运动的指导方针，诸如“7秒准则”(对象应当花费7秒跨过摄像机帧)。这些准则是根据传统的投影仪针对亮度水平和对比度开发的。然而，给定新的显示技术，任何现有的内容将需要针对颤抖的重新评估，并且在真实世界制作环境中，可能不可以在内容创建期间先验地判断颤抖感知量。许多显示器具有足够高以致于决不存在颤抖的原生的帧速率，并且适当的电影感不被自然地得到。因此，期望控制导演/电影摄影师/后期制作者以及观看者对颤抖的感知的半自动化处理。
掩蔽(mask)颤抖的常见的后期制作方法如下。
1.降低总的图片明亮度水平直到颤抖可接受。该方法与对显示器中较高明亮度和较高对比度的期望冲突，并且人为地约束艺术意图。
2.添加运动模糊以伪造摄像机上较长的快门，这基于运动的量和方向玷污(smear)像素。该方法对存在于场景中的细节具有负面的影响，其中所有移动的对象将丢失细节。为了避免该潜在的问题，添加最小量的运动模糊，这可能对于将来的显示技术不起作用。实际上，隐藏颤抖所需要的纯粹模糊量可能会如此大，以致于它违犯物理上似合理的摄像机快门，从而向电影添加新的负面的显现。
3.在图像之间插入到较高帧速率，或以较高帧速率捕获，其中帧与帧之间的运动减少。该方法当前对于大多数解决方案而言是优选模式，然而，该方法也对场景具有负面的心理影响，其中人们评论它不再“感觉”像电影。该方法对一些显示技术也是不可以的。
本公开描述了可以允许导演或电影摄影师全局地和局部地控制颤抖显现的方面(从传统感到更自然的“视频运动”感(包括中间的各种状态)的范围)的系统和方法。本公开可以提供用户在特定位置可以感知到多少颤抖的成文的度量，并且提供仅在目标区域添加适应性校正的方法。另外，可以修改校正以保留电影“感”的感知和明显的(apparent)细节。
在2014年2月27日提交的美国临时专利申请No 61/945,706、“Systems andmethods to control judder visibility”中，已描述了不同的方法来控制低帧速率内容的颤抖可见性，例如，通过以全局和局部可控制的颤抖可见性来使帧速率加倍。另外，对于利用高帧速率捕获和显示来控制颤抖提议了若干方法。美国临时专利申请No 61/945,706的公开通过其整体引用而并入本文。另外，处于参考的目的，本文再现了来自美国临时专利申请No 61/945,706的若干概念。
1.不变帧速率处理
不变帧速率处理可以提供减少颤抖同时使帧速率不变的方式。图1示出了处理24fps传入素材的一个实施例的高层级的框图，并可以是当由于显示限于24fps而时间插入不可能时使用的最终输出。在较高输入帧速率处，将添加另外的处理以调整“电影感觉”。设想诸如显著性或对象识别之类的另外的图像属性来增强结果。
在图1中，在时间t(110)、t-1(105)和t+1(120)处的输入图像经受时间处理(115)。视频处理(115)包括运动估计(130)，其中运动矢量被估计。还针对亮度(121)和对比度(125)或者帧与帧之间存在的变化量的其它度量计算输入图像(105，110，120)之间的时间差异。可以通过并入更多周围帧(surrounding frame)来改善运动估计及其它变化测量值。运动估计(130)包括对两个运动矢量集(一个前向运动矢量集和一个后向运动矢量集)的估计。该前向和后向集被单独地计算，并且使得能够以较高的精度计算运动估计。
运动矢量估计包括确定矢量的方向(140)和矢量的幅度(135)。使用矢量的幅度(135)、亮度变化图(121)和对比度变化图(125)来确定规范化的颤抖图(145)，其中每一像素的颤抖值描述多少颤抖是明显的。该方法的一个简单实施例将是使用加权的方案对每一成分求和(诸如w0*vector_magnitude+w1*luminance_change+w2*contrast_change)为在0和1之间变化的单一数字，其中，0表示没有明显的颤抖，而1对应于最大量的颤抖。可以使用其它统计度量来在相互关联的输入参数之间更准确地表决(vote)。在一些实施例中，可以针对全部像素的子集计算颤抖值。也可以使用场景和显示器元数据(150)来确定颤抖图(145)。例如，可以利用场景的明亮度和显示器的尺寸和亮度。如本领域技术人员已知的，屏幕越大，颤抖就越可见。场景和显示器元数据(150)可影响对颤抖的感知。例如，感知的颤抖随着明亮度增大而增大。总的场景明亮度可以被携载在场景元数据(150)中，并因此可以在确定颤抖中被使用。显示器元数据(150)可包括显示器的最大明亮度，以及显示器的大小，这两者可以影响感知的颤抖。
可以基于每个像素的颤抖量(145)计算要被添加的噪声(160)。可以基于颤抖图(145)缩放(155)矢量(135)的运动幅度。在缩放(155)之后，基于颤抖量将噪声(抖动(jitter))添加(165)到运动幅度。噪声基于颤抖图(145)测量(160)。例如，颤抖的幅度越大，将被添加的噪声就越高。
在抖动(165)之后，使用运动幅度和方向来重构运动矢量(170)。这里使用抖动来指示时间偏移。基于这些运动矢量运动模糊(175)被添加到图像。还基于要与原始图像混合的噪声量添加伪胶片颗粒(grain)(180)使得运动模糊看起来好像原始捕获的一部分。可以基于颤抖量调整噪声幅值、大小或分布。获得(185)最终输出图像。在一些实施例中，对图像的一个或多个像素或以加权方式执行此处所描述的处理。
2.帧速率调整处理
当替代的帧速率可能时，通过以较高帧速率捕获或插入较低帧速率并以较高帧速率显示，使得能够进行另外的处理。这允许呈现具有增强的“电影感觉”，而不具有强颤抖的负面影响。可以在具有令人反感的颤抖的区域中引入较高帧速率的非平滑运动，使得感知的颤抖将被减少到可接受的范围而不被消除，同时不具有过度的颤抖的图像的大部分将被以较低的帧速率更新。因此，整个图像序列当以较高帧速率播放时将保持本能的“电影感觉”。换言之，在局部区域中减少过度的颤抖，而使其它区域未受影响。最终图像的一些区域将基于较高帧速率图片，而其它区域将基于较低帧速率图片。
例如，给定24fps的输入，为了抵消由于显示器/投影仪明亮度的增大而造成的增大的颤抖感觉，一种选择是增大帧速率。所需的帧速率的增大(其可以有效地减少由明亮度导致的相同量的增大的颤抖)可以通过心理物理实验来进行建模。然而，可调整的帧速率范围可以被限制在24fps和48fps之间，如在48fps中，通常不存在感知的颤抖。将24fps序列插入到低于48fps的任意帧速率并以该任意帧速率显示它可能是不实际的，尽管当帧速率转换和显示技术进步时这可能更实际。该解决方案的正式描述可以是：给定针对第一显示明亮度分级的24fps图像序列/场景，找出最优第二帧速率，使得在将帧速率从24fps转换到该第二帧速率之后，在具有第二显示明亮度的输出显示器上回放的内容将具有与当在具有第一显示明亮度的显示器上播放原始的24fps内容时相同量的感知的颤抖。
更实际地，显示器和投影仪通常对于48fps、60fps以及一些其它标准帧速率是可用的。在该情况下，如果恰当地完成时间插入，使用帧速率转换可以消除所有颤抖感知，如同在这样的高帧速率中没有颤抖被看见。
一种可能的方法试图识别具有过度的颤抖的区域，并且仅以较高帧速率更新这些区域，同时使其它区域以较低帧速率回放。该方法示出了与将图片的每一部分更新到较高帧速率的方法相比的改善的结果，因为颤抖感觉在大多数区域中被保持，尽管在具有过度的颤抖的区域中它被消除。
可以应用如此处所描述的解决方案以将过度的颤抖减少到可接受的水平，以便当以较高帧速率回放24fps内容时保持感知的颤抖。例如，可以以较高帧速率引入局部可变的非平滑运动，以便引入局部可控制的颤抖感觉。利用该能力，适当量的颤抖可以在具有过度的颤抖的区域中被打开(turn on)。还可以将其它区域中的颤抖打开到24fps处的完全可能的颤抖量，并在空间上和在时间上确保颤抖感觉的平滑变化。以下利用48fps的示例性输出帧速率解释此处所描述的方法，然而，本领域技术人员将理解其它输出帧速率可以是可能的。
可以根据例如SID 2001中J.Larimer等人的“Judder-induced edge flicker inmoving objects,”(其公开内容通过整体引用而包括于此)通过边缘闪烁解释来自平滑地移动的对象的颤抖的人类感知。
图2示出了与颤抖控制有关的一些概念。在图2中，假定线段跨屏幕从左到右移动，并且观看者正在利用平滑追随眼睛移动(SPEM)跟踪该线段。顶部行(205，210)示出了真实生活中的线(225，230)的空间时间轨迹，即连续的域，而底部行(215，220)示出了当以24fps采样并在保持型(hold-type)显示器上回放时顶部行(205，210)的空间时间轨迹。
在图2中，在左侧(205，215)，以世界坐标表示空间位置，而在右侧(210，220)，利用SPEM以观看者的视网膜(retina)的坐标表示位置。中线(225，230，235，240)示出了当观看者正在跟踪对象时眼睛凝视的空间时间轨迹。因此，面板(panel)(205)示出了线段从左到右移动，并且在面板(210)中示出了视网膜坐标中的该运动。当移动的线被采样并在保持型显示器上重构时，可以在面板(215)中看见阶梯状轨迹。当在观看者正在跟踪对象的同时以视网膜坐标表示该轨迹时，可以在面板(220)中看见空间时间轨迹中的锯齿状边缘。因此，在线段的边缘，可以看见运动模糊，其中颜色从背景颜色斜升(ramp up)到线颜色。同时，还可以看见闪烁，因为帧速率是24fps，远低于临界融合频率(CFF)的频率。闪烁和运动模糊通常是在24fps回放中被看作为颤抖的东西。在面板(220)中，锯齿形状的深度被标记为x(245)，其为对于线段的每个帧的位移，即线段的速度。从心理物理实验，已知感知的颤抖幅度与运动速度正相关，因此当x增大时，感知的颤抖将增大，而当x减小时，感知的颤抖减小。
图3示出了如果线段的运动被以48fps采样并显示在48fps保持型显示器上所发生的事情。在图3中，顶部行(305，310)示出了保持型显示器(305)上以及利用SPEM看着显示器的观看者的视网膜(310)上的平滑地移动的线段的空间时间轨迹。如在(310)中可以看见的，边缘闪烁比图2的(220)中少得多，因为位移在值上大约是一半，并且更重要的是，频率是接近CFF的48fps。在实际中，较锐利的图像可以以较少的运动模糊被观察到，并且通常没有边缘闪烁。
因此，如果利用帧速率控制(FRC)将输入的24fps内容插入到48fps(其中，插入帧在时间上位于t+0.5处)，则将不存在感知的颤抖。这不一定是有利的，因为预期的目的是减少过度的颤抖，而不是消除它。
图2和3还示出了利用帧速率控制(FRC)将24fps处的输入内容插入到48fps(其中，插入帧在时间上位于t+0.5处)的结果。
在图3中，底部行(315，320，325，330)示出了利用48fps处的非平滑运动从左到右移动的线段的空间时间轨迹。具体地，对于24fps时段的第一半(316)，线段(335)向左移动小的间隙(gap)，而对于第二半(317)，向左移动大的间隙。当眼睛正在跟踪运动时，中线(335，340)与顶部行(305，310)的线(345，350)保持相同。换言之，(315)也可以被阐释为24fps输入内容到48fps的插入，其中插入帧在时间上位于t+dt处，其中dt<＝0.5。因此，(315)也可以被阐释为24fps输入内容到48fps的插入，其中插入帧在时间上位于两个连续帧之间的时间dt处，其中dt＝x1/(24x)秒。
第一半(316)的小间隙和第二半(317)的大间隙还可以在图17中更详细地被看作为x1(1705)和x2(1710)，其中，x1+x2＝x。
返回参考图3，当(315)中的空间时间轨迹如在(320)中那样在观看者的视网膜上被表示时，(320)中的轨迹可以被分解成两个成分：24fps成分(325)和48fps成分(330)。成分(325)非常类似于将被感知为颤抖的图2的(220)中的轨迹，同时图3中的成分(330)非常类似于示出没有颤抖的(310)中的轨迹。图3中的(325)和图2中的(220)之间的不同是(325)中的位移x(355)小于(220)中的位移x(245)，因为x(355)＝x2-x1＝x(245)-2*x1。位移x(335)也可以称为x’。图2和图3相对于彼此不是要缩放，因此，图2和图3中的位移x(355，245)的相对长度可能看起来不同于特此所陈述的。基于以上的分析，较小的位移x(355)对应于较慢的运动速度，并因此导致较少的颤抖。同时，成分(330)将不具有颤抖，因为它是48fps，并且具有与(310)相比甚至更少的运动速度。总体上，视网膜上的空间时间轨迹(320)将示出与(310)相比减少的颤抖。
(320)中的位移是(325)中的位移(355)和(330)中的位移的和。因此，位移(355)将小于(320)中的位移。
位移x(355)是可控制的，因为可以在不同的时间位置dt处插入48fps流的中间帧。用于计算插入位置dt的公式是
如果dt＝0(并且x’＝x)或dt＝1，则获得与图2中的(220)中相同的效果，具有原始颤抖。如果dt＝0.5(并且x’＝0)，则获得与图3中的(310)中相同的效果，其中不具有颤抖。对于0和1之间的其它值(0和x之间的x’值)，可以将感知的颤抖控制到对于dt＝0和dt＝0.5的两种情况之间的期望的程度。经由dt’＝1-dt处的插入也可以获得非平滑运动，dt’＝1-dt处的插入将具有与dt处的插入相同量的颤抖。
在一些实施例中，dt<＝0.5被选择用于颤抖减少，同时0.5的另一侧的值将具有类似的效果。可以使用相同技术来对基本(organic)高帧速率内容引入颤抖感知，其中，颤抖可以利用非平滑运动注入。
对于具有24fps输入和48fps输出的颤抖减少，可以利用图4所示出的示图实现算法。可以生成(430)插入位置图M(425)，使得对于每一像素(x,y)，像素将在时间位置dt＝M(x，y)处被插入。
在该实施例中，输出的帧速率是输入的帧速率的两倍。为了简单化，每一输入帧(405)可以被直接拷贝作为输出帧(410)，并且可以在每一对相邻的原始输入帧之间(455)插入一个帧，以获得输出帧(460)。
可以分析(440)帧，以确定它包含多少颤抖。在实施例中，可以如在图1中所描绘的颤抖控制处理中所讨论的那样执行颤抖分析(440)。在另一个实施例中，接下来参考图4讨论替代的颤抖分析技术。
为了获得插入帧，首先使用输入帧(405)来估计(415)每一像素的运动矢量场(420)。对于每一像素(x,y)，获得前向运动矢量mvf(x，y)和后向运动矢量mvb(x，y)。基于这两个运动矢量，可以通过比较前向和后向运动矢量来定义像素(x,y)的时间运动一致性(consistency)Ct(x，y)，并且可以通过与其相邻像素比较前向和后向运动矢量来定义空间运动一致性Cs(x，y)。另外，可以使用每一像素(x,y)的前向运动矢量mvf(x，y)来找到下一帧中的对应像素(x’,y’)，使得可以将像素的前向运动矢量mvf(x，y)与下一帧中的其对应像素的后向运动矢量(即，mvb(x′，y′))进行比较，以确定前向运动一致性Cf(x，y)。
类似地，可以通过比较像素的后向运动矢量mvb(x，y)与其前一帧中的其对应像素(x”,y”)的前向运动矢量(即，mvf(x″，y″))(其中，对应像素(x”,y”)通过像素(x,y)的后向运动矢量mvb(x，y)来确定)来确定后向运动一致性Cb(x，y)。在一个实施例中，这些运动矢量一致性被定义为运动矢量的和的幅度除以运动矢量的平均幅度。例如，
其中，|u|是u的幅度。在一个实施例中，修改的运动幅度m(x,y)对于每一个像素(x,y)可以被定义为前向运动幅度乘以前向运动一致性和后向运动幅度乘以后向运动一致性中的较大者。该修改的运动幅度被进一步乘以时间运动一致性，例如：
s(x，y)＝max(|mvf(x，y)|*Cf(x，y)，|mvb(x，y)|*Cb(x，y))*Ct(x，y).
高斯滤波器被应用于该修改的运动幅度s以获得运动速度s’的平滑映射。在实际中，将通过运动速度s’(x,y)确定像素(x,y)的映射的插入位置M(x,y)。该映射的插入位置也可以基于颤抖分析结果修改，并且可以通过用户交互来控制。例如，后期制作的用户(435)可以确定场景的哪一部分包含过度的颤抖并且可以调谐位移图，使得结果将包含适当的颤抖。
在一个实施例中，可以基于之前获得的平滑的运动速度s’计算插入图M(425)。例如，像素(x,y)的运动速度s’(x,y)和插入位置M(x,y)之间的关系可以是两个速度阈值T1和T2之间的软切换(softswitching)函数，具有最小插入位置0，以及最大插入位置0.25，如图5所示。
在图5中，T1(505)和T2(510)是速度阈值，同时M(x,y)＝0(515)是最小插入位置，并且M(x,y)＝0.25(520)是最大插入位置。
给定一对原始输入帧和插入位置图M，可以在每一像素(x,y)处应用标准帧速率转换方法，以获得对应的插入位置M(x,y)处的插入结果。还可以基于运动估计结果模拟运动模糊，其中，在一个实施例中，运动模糊的量与插入位置成比例，即，插入位置与其最接近的原始输入帧越远离，越多的运动模糊被应用。可以例如通过沿运动方向应用方框(box)滤波器或高斯滤波器获得运动模糊。在另一个实施例中，通过对第一输入帧和插入帧之间的采样帧进行平均来模拟运动模糊。在该情况下，可以基于插入位置图M对于每一个像素首先计算并平均所有采样的插入帧。
对于以上的实施例的颤抖管理方法存在若干应用情景。首先，作为用于后期制作的工具，工作室可以直接以48fps生成去颤抖的输出内容，并且然后通过兼容的投影仪来回放该内容。后期制作处理也可以针对具有实时去颤抖的数字影片投影仪生成元数据。该元数据还可以被用于在消费者设备中引导FRC。元数据可以呈现多种形式，包括针对其场景需要颤抖减少的指示符，以及定义如何针对特定场景生成插入位置图的参数映射函数。
在本公开中所描述的方法也可以直接应用在投影仪和消费者设备两者中以用于实时全自动的颤抖减少。本公开描述了可以在诸如编码器、解码器、投影仪和消费者设备之类的硬件设备中实现的算法。
3.高帧速率和颤抖控制处理
在与以上所描述的方法有关的一些实施例中，可以跳到其中48fps或更高的流已经可用的步骤。如以上假定的，这可以通过插入来完成。可替代地，它可以通过首先利用高帧速率摄像机捕获内容来完成。然后，关心的事变为如何最佳地显示可用的图像，使得存在合适水平的颤抖以便保留电影感。
3.1.使用非平滑运动来模拟颤抖
主要思想是在高帧速率内容中引入非平滑运动，因此它将示出类似颤抖的感知，即使以高刷新速率播放内容。
可以在捕获端在后期制作期间或者在投影仪/显示器端引入非平滑运动。在以下的小节，将基于非平滑运动在何处被引入到高帧速率系统中来描述三种方法。
3.1a
在一些实施例中，运动图片将以非平滑方式捕获，即，在捕获每一帧之间具有非恒定的时间间隔。以该非平滑方式捕获到的运动图片然后可以被投影在利用恒定的时间间隔投影连续帧的投影仪上。因此，感知的内容将具有被引入的非平滑运动，这在回放高帧速率内容中提供颤抖感觉。
例如，令帧索引i为i＝0,1,2,….,并且捕获每一帧时的时间被记为t(i)。对于具有恒定时间间隔dt的正常捕获，捕获时间t(i)＝i*dt，其中，dt是两个帧之间的时间。例如，当帧速率是120fps时，dt＝1/120＝8.333ms。对于非平滑捕获，可以改变帧的子集的捕获时间以使捕获时间在时间上移动早一点或晚一点(例如，对于120fps捕获每第5帧，使得可以以24Hz频率引入一些东西)。在数学上，可以设置t(i)＝i*dt+δ，其中，如果mod(i，n)＝0，那么δ为非零，否则，δ＝0。如果对于120fps捕获n被设置为5，那么这意味着，对于每五个帧，帧中的一个以不同的时间戳捕获。这在图6中示出。在显示器侧仍将在恒定间隔回放中示出在该方法中捕获到的帧。在图6中，可以看见，在显示器上呈现的第5(605)和第10(610)图像将在较早的时间处被捕获。如果假定存在在显示器上以恒定的速度从左(615)到右(620)移动的对象，则对象然后将从帧1到帧4以恒定的速度移动，在帧4和帧5之间减速，并且从帧5到帧6加速。该非平滑运动将被感知为一种类似于颤抖的运动伪像。
图7示出了具有180度快门捕获的示例。对于每第5帧，捕获时间被移位dt的一半，即，第5帧(705)在第4帧(710)之后被立即捕获。类似地，在显示器侧，以dt的恒定时间间隔投影捕获到的运动图片。
当前摄像机可能不支持在捕获视频时改变捕获时间。实现这里所描述的实施例的一种方式是使用能够捕获较高帧速率的视频摄像机。例如，使用具有240fps和360快门度的摄像机，可以捕获如图7所示的序列。
3.1b
类似于以上的实施例，可以改变投影仪系统使得它将以非恒定时间间隔投影帧。图8中示出了示例。考虑捕获的180度快门角度和显示器的全时段保持时间，可以看见每一帧的实际捕获和显示如图9中那样。
在该示例中，改变每一帧的呈现时间戳。然而，该实施例可能不被某些显示系统支持。可以使用较高帧速率投影仪/显示器来模拟效果，如图10所示。
可以将以上的两个实施例结合起来以具有颤抖感知的更灵活的控制，例如，如图11和图12所示。
3.1c
在一些实施例中，不改变捕获时间和显示时间，因此运动图片利用恒定时间间隔捕获并且利用相同时间间隔呈现。代替的是，在后期处理/制作步骤中操纵捕获到的运动图片。通常，使用在时间t2(t)处捕获的帧，在时间t处呈现该帧。例如，当输入是120fps内容时，可以将时间函数设计为
基本上，该时间函数将在每五帧时段中重复第4帧，并且丢弃原始第5帧。在图13中示出了该特定实施例，其中，还对于第5(1315)和第10(1320)帧使用第4(1305)和第9(1310)帧。
也可以设计其它时间函数t2(t)。不仅数字5可以改变，而且它不需要是整数。当t2(t)不是整数时，不在t2(t)处捕获帧。在该另一实施例中，可以使用视图插入技术来生成模拟在时间floor(t)和floor(t)+1处捕获的两个帧中间的帧的帧。在图14中示出了示例。
在图14中，使用第4(1405)和第5(1410)捕获的帧来生成第5(1415)显示的帧。视图插入的可能的处理将是首先找出帧和之间的运动矢量，并且对于插入帧中的每一个像素，使用运动矢量来得到两个相邻帧中的对应像素，并且基于那些对应像素和它们的相邻像素获得像素值。
3.2将24Hz内容添加到高帧速率
二十四赫兹内容将是为什么我们感知到颤抖的本质原因，并且该特定频率的内容在历史上已有助于颤抖感知的形成。为了注入颤抖，将24Hz内容引入到高帧速率内容中可以是可能的。然而，不应当将全部内容全部地转换为24fps，否则，高帧速率的益处将丢失。
3.2a添加24Hz噪声/胶片颗粒
尽管感兴趣的内容本身以高帧速率更新，但是可以在内容上面添加低帧速率噪声或胶片颗粒(模拟或实际捕获到的)。可以首先使用噪声减少方法(1505)来减少原始高帧速率内容中的噪声或胶片颗粒，并且去除的噪声或胶片颗粒(1510)将被处理(1515)以生成具有类似的空间特征的24Hz噪声或胶片颗粒(1520)。然后可以将该24Hz重新生成的噪声或胶片颗粒(1520)添加回(1525)高帧速率内容中。该处理可以在图15中看见。
生成24fps噪声和胶片颗粒的一种方式可以是对于120fps内容重复地使用一个帧的噪声/胶片颗粒，并且将它应用在所有的其相邻五个帧中。因此，每5帧将具有相同噪声/胶片颗粒，尽管内容本身以120fps改变。
3.2b改变原始高帧速率的24Hz内容
可以通过重复地改变将以24Hz示出的帧来改变原始高帧速率内容的24Hz内容。例如，对于120fps内容，可以根据其帧索引被五除的余数将帧分成五个不同的组。因此，每一组实际是24Hz内容。可以更改组中的一个或多个内的帧，因此24Hz信号将被添加到原始内容中。存在更改内容的许多方式，例如，通过在具有或者不具有在空间上移位的中心的情况下对组的每一帧应用空间滤波器。具体地，可以使用平滑滤波器(高斯、Sigma、双边等等)或锐化滤波器(类似于反锐化掩蔽)来改变该组中的图像，因此它具有与其它组中的图像相比不同的特征。同时，该组中的帧可以基于内容本身的某些特征(例如，运动矢量)经受非均匀变换或抖动。另外，每一组高帧速率内容也可以被在时间上滤波，以便添加24Hz内容。
4.更宽泛的颤抖可见性控制
可以以不同的方式扩宽以上详述的方法。
用于颤抖可见性控制的扩宽的方法的第一示例考虑输入帧速率Rin(输入内容的帧速率)(具有两个连续帧之间的对应的时间段Tin，其中，Tin＝1/Rin)，并且输出帧速率是Rout(即，显示帧速率)(具有对应的时间段Tout)。在以上的示例中，这些方法可以例如应用于Rout＝2*Rin的情况。这里如下的扩宽的方法可以针对输出帧速率不是输入帧速率的两倍的情况。
例如，第一一般化可以是针对情况Rout＝2*n*Rin，其中，n＝1,2,…,是自然数。在该情况下，基础帧速率(BFR)可以被保持为输入帧速率，并且可以使用本公开中以上所描述的方法以通过基于局部改变的位移图dt(x,y,t)在每两个连续输入帧之间插入帧来使帧速率加倍。输出然后将具有双倍帧速率，即2*Rin，其可以以显示速率Rout显示，其中每一输出帧被显示n次。
图18示出了针对n＝2并且Rout＝4*Rin的特定情况(其中，dt(x,y,t)＝0.25*Tin＝Tout)的以上所讨论的实施例的示例。黑色线(1805)示出了输入帧，灰色线(1810)是插入帧。每一帧(1805，1810)被示出达2Tout的持续时间。
对于当Rout不是Rin的偶数倍、Tin不是Tout的偶数倍时的实施例，保持原始输入帧并在每一对连续帧中间插入一个帧的以上方法需要被修改。例如，可以在与以上使用的时间位置(即，原始帧之间的半途(half way))不同的时间位置处示出插入帧。例如，当Tin＝5Tout时，原始帧可以被示出达等于3Tout的持续时间，并且插入帧可以被示出达等于2Tout的持续时间，如在图19中可见的。
在图19中，黑色线(1905)示出了被示出达3Tout的持续时间的输入帧，同时灰色线(1910)是被示出达2Tout的持续时间的插入帧。
然而，该解决方案可能引入类似于技术3:2下拉(pull down)中众所周知的伪像信号，并且这可能不是所期望的。
为了避免3:2下拉类型伪像，可以将基础帧速率改变为接近于Rin的帧速率。换言之，可以找到自然数k，并且可以使BFR等于Rout/(2*k)，使得BFR接近于Rin，并且仍然是颤抖帧速率。
例如，如果Rout＝120fps，则k可以被选择为例如k＝2或k＝3，并且以这种方式，BFR可以等于120/(2*2)＝30fps或BFR＝120/(2*3)＝20fps。为了简单并且不失一般性，利用k＝2并且BFR＝30fps进行以下的示例。如果输入帧速率Rin＝30fps，则可以应用以上所描述的双倍帧速率方法，并且可以利用双倍帧速率以60fps获得输出信号。输出然后可以通过重复每一帧2次在120fps显示器上被示出。如果输入帧速率Rin是24fps而不是30fps，则可以使用时间插入来获得所有需要的帧。假定例如dt＝0.25*TBFR＝Tout,则可以在图20中示出输出时间和输入时间之间的关系，其中，黑色线(2005)示出了输入帧，并且灰色线(2010)是插入帧。
另外，由于以上的方法改变BFR，所以需要相应地改变时间位移dt以便保持相同的颤抖感知。
用于颤抖可见性控制的扩宽的方法的第二示例考虑如图2所描述的线段运动模型。已知视网膜图像(220)将具有颤抖效果，并且(220)中的位移x(245)确定感知的颤抖的幅度。可以以这样的方式布置要移动的线段：该方式使得SPEM下的其视网膜图像将具有(220)的相同形状，但是具有可控制的位移x。
如图21的(2105)所示，线段(2110)以较慢速度向右移动达时间T＝1/BFR，然后以距离x(2115)向右跳跃。实际上，一个帧的倾斜(2110)以速度T＝1/BFR向右移动。由于BFR通常足够高，所以跟踪线段的眼睛总体上仍然遵循直线，如(2120)所示。在(2125)中示出了视网膜上的投影的轨迹，(2125)与图2的(220)的形状类似，但是具有不同的x。
假定无限(infinite)帧速率显示和向无限帧速率在时间上插入输入图像序列的可能性，图像序列可以被获得，具有与图2的(205)中相同的空间时间轨迹。对于该无限帧速率示例，真实时间和显示时间之间的映射可以被表示为图22中的(2205)中所示出的灰色线(2210)。
随后，无限帧速率输入可以以基础帧速率(BFR)(具有对应的时间段T)被采样，并且被显示在BFR的保持型显示器上。真实时间和显示时间之间的映射将被示为图22中的黑色线段(2215)。在以上的示例中，为了简单，快门角度的影响未被考虑。
随后，类似于图21，可以引入非平滑运动。即，可以在每一时间段T中以较慢速度回放无限帧速率输入，并且在每一个T的结束，存在向前跳跃以赶上真实的回放时间。映射曲线然后将被变为点线段(2220)，如图22所示。在该情况下，在现实中平滑地移动的对象在时间段T内被显示为以较慢速度移动，并且然后在下一时间段的开始被显示为跳跃到新的位置。该跳跃引入了将被感知为颤抖的BFR的信号，同时由点线段(2220)的斜率确定的跳跃量将影响感知的颤抖的幅度。换言之，感知的颤抖可以被控制在两个极值之间，即，完全没有颤抖和基础帧速率处的正常量的颤抖之间。
因此，可以使用点线段(2220)的斜率作为颤抖控制速率(JCR)来控制输出的颤抖。当斜率等于1时，不存在跳跃，因此不存在颤抖，而当斜率等于0时，发生最大量的跳跃。该JCR具有与以上所描述的示例中的dt类似的效果，在以上所描述的示例中帧速率被加倍，然而在本示例中考虑了无限帧速率。
在若干实施例中，对应于基础帧速率(BFR)的时间段T是对应于显示帧速率的时段Td的倍数。例如，显示帧速率可以是120fps，并且BFR可以是24fps。图22示出了其中显示帧速率是BFR的值的五倍的实施例的映射(2225)。线(2210)的完美采样将导致类似于图2中的(210)中的线(230)的映射。
因此，假定显示帧速率足够高，对象将仍然平滑地移动，而没有任何颤抖感知。如果使用相同的线段运动模型，则对于真实空间情况(2305)和视网膜投影情况(2310)，时间空间轨迹可以被示为如图23中那样。如果与图22中的线段(2215)类似地采样具有颤抖感知的输入，则获得的映射可以通过如图22所示的点线段(2230)表示。换言之，可以将输入图像序列插入到那些离散时间戳，其中，点线(2230)被投影到垂直的真实时间轴(2235)上。在图23的(2315，2320)中示出了线段运动模型的对应的空间时间轨迹。
如果BFR的时间段T是对应于显示帧速率的时间段Td的值的多倍，并且颤抖控制速率(JCR)被表示为r(其为图22中的线(2220)的斜率)，则每一显示时间t的采样时间f(t)可以被计算为：
其中，由于我们知道T是Td的多倍，令T＝kTd，我们具有
f(t)＝(1-r)·n·k·Td+r·m·Td，
其中，并且
在当T不是Td的值的多倍时的实施例中，可以选择值使得T′≈T，其中T’是Td的倍数，并且随后可以使用以上的等式来计算f(t)。也许可以的是，在BFR改变时JCR可能需要被调整以便保留相同量的颤抖可见性。
不需要改变BFR的另一种可能的方法可以被描述如下。首先，考虑无限帧速率显示，因此采样时间将遵循如图22中那样的斜线(2220)。在图24中，斜线(2405)被示出达每一基础时间段T。斜线(2405)表示无限帧速率情况，并且然后可以利用采样速率1/Td采样无限帧速率序列，如水平线(2410)所示。对于斜线(2405)的时间映射的公式是
f′(t)＝n·T+r·(t-n·T)
其中，对于采样的水平线(2410)的公式然后是f(t)＝f′(Td·m)，其中，并且通过组合两个等式，可以获得下列公式
f(t)＝(1-r)·n·T+r·m·Td，
其中，并且
可以看见，如果T是Td的值的多倍，即T＝kTd，则关于以上在第20页第7段中所描述的情况将获得相同的公式。因此，该公式是进一步的一般化。
类似于以上所描述的实施例，该JCR或r可以是空间上和时间上变化的函数r(x,y,t)，即，颤抖控制速率对于不同的空间时间位置可以不同，使得可以在不同的时间对不同的区域不同地应用颤抖可见性控制。
总之，在本公开中所描述的颤抖可见性控制方法已被扩宽，以便在给定颤抖控制速率(JCR)和基础帧速率(BFR)的情况下能够控制任何输入帧速率Rin到任何输出帧速率Rout的颤抖感知。总的流程图如图25中所示。
如在图25中可见的，通过使用颤抖控制速率处理(2510)和基础帧速率(2010)，以上所描述的扩宽的颤抖可见性方法(2515)可以被应用到输入图像序列(2505)，由此获得输出图像序列(2520)。
5.对于高帧速率和多个帧速率的电影感体验
可以在高帧速率(HFR)图像序列中应用以上所描述的扩宽的颤抖可见性控制方法，以获得电影感体验。高帧速率图像序列通常具有较锐利的图像和较少的运动模糊，并且立体高帧速率将具有与传统的24fps图像序列相比更好的3D效果。然而，高帧速率中的平滑运动有时被批评为“视频感”，因为不存在颤抖感知。可以使用以上所描述的方法来将颤抖引入到高帧速率图像序列中。引入的颤抖可以帮助提高内容的电影感体验。图26示出了用于向HFR输入内容添加电影感体验的示图。
在该情况下，输入和输出图像序列两者将具有相同帧速率，即，Rout＝Rin。例如，输入和输出两者可以是48fps、60fps、120fps等。因为输入序列以高帧速率对场景进行采样，所以当它以相同帧速率Rin被显示时，在输入序列中不存在颤抖感知。为了引入颤抖感知，第一步骤是选择颤抖基础帧速率BFR，并且选择适当的颤抖控制速率r，使得可以利用如参考图24所描述的处理重采样输入图像序列，其中，T＝1/BFR，并且Td＝1/Rin。如以上所描述的，可以确定颤抖控制速率JCR＝r，使得当以Rout回放时，适当量的颤抖即电影感可以被添加到输出图像序列中。另外，该r可以是r(x,y,t)的空间上和时间上变化的函数。
因此，可以在后期制作端逐像素地控制电影感体验(颤抖)。不同的像素在不同的时间可以具有不同的JCR。在该情况下，通常JCR函数r(x,y,t)在一个镜头(shot)内将是局部平滑的。
在简化的实施例中，可以在后期制作端逐帧地控制电影感体验。不同的帧可以具有不同的JCR。在该情况下，JCR函数r(t)在一个镜头内将是局部平滑的。
在一些实施例中，还可以在后期制作端逐镜头地控制电影感体验(颤抖)。不同的镜头可以具有不同的JCR，因此当存在需要时，将向不同的镜头添加不同量的颤抖。
在后期制作端，一个实施例包括使用专业的工具来识别需要颤抖感知的局部区域。随后，可以确定添加适当量的颤抖所需要的JCR。在下一步骤中，可以在镜头边界内在空间上和时间上平滑JCR。
对于如参考文献[2]、[3]中提到的在序列中或者甚至在帧内具有多个帧速率的混合帧速率内容，存在不同的方法。快速运动帧/对象可以从较高帧速率受益，同时较慢运动帧/对象可以被保持在较低帧速率。以上所描述的扩宽的颤抖可见性控制方法也可以被应用到具有多个帧速率的这些内容。
在低帧速率帧/区域中，可能存在需要被减少的过度的颤抖，而在高帧速率帧/区域，颤抖感知需要被添加回来。以上和以下所描述的方法可以被结合起来以控制多帧速率内容中的颤抖的可见性。
因此，在本公开中描述了包括以下的方法：通过计算机提供至少两个图像；通过计算机计算颤抖图，其中，该颤抖图包括所述至少两个图像的至少一个像素的颤抖信息；以及基于所述颤抖图处理所述至少一个像素。
所述至少一个像素的处理可以包括由若干像素形成的图像的区域的处理。处理可以包括基于关于颤抖图中所包含的像素的颤抖信息，应用不同的视频处理技术，和不同的技术或具有可以应用到不同像素的不同参数的相同技术。
图16是用于实现图1-15的实施例的目标硬件(10)(例如，计算机系统)的示例性实施例。该目标硬件包括处理器(15)、存储体(20)、本地接口总线(35)和一个或多个输入/输出设备(40)。处理器可以执行与图1-15的实现有关的并且由操作系统(25)基于存储在存储器(20)中的一些可执行程序(30)提供的一个或多个指令。这些指令被经由本地接口(35)并且如由处理器(15)和本地接口特定的某一数据接口协议所规定的那样被携载到处理器(15)。应当注意，本地接口(35)是一般旨在在基于处理器的系统的多个元件之间提供地址、控制和/或数据连接的诸如控制器、缓冲器(高速缓存)、驱动器、中继器和接收器之类的若干元件的符号表示。在一些实施例中，处理器(15)可以提供有一些本地存储器(高速缓存)，其中，它可以存储要被执行的一些指令以用于一些增加的执行速度。由处理器对指令的执行可能需要使用某一输入/输出设备(40)，诸如从存储在硬盘上的文件输入数据、从键盘输入命令、从触摸屏输入数据和/或命令、向显示器输出数据、或向USB闪存驱动器输出数据。在一些实施例中，操作系统(25)通过作为用于收集程序的执行所需要的各种数据和指令并将这些提供到微处理器的中心元件而促进这些任务。在一些实施例中，操作系统可以不存在，并且所有任务在处理器(15)的直接控制下，尽管目标硬件设备(10)的基本架构将保持与图16中所描绘的相同。在一些实施例中，可以以并行配置使用多个处理器以用于增加的执行速度。在这样的情况下，可执行程序可以被特别地修改为并行执行。此外，在一些实施例中，处理器(15)可以执行图1-15的实现的一部分，并且某一其它部分可以使用被放置在可由目标硬件(10)经由本地接口(35)访问的输入/输出位置处的专用硬件/固件来实现。目标硬件(10)可包括多个可执行程序(30)，其中，每个可执行程序可以独立地或彼此相结合地运行。
在本公开中所描述的方法和系统可以以硬件、软件、固件或其任何组合来实现。作为块、模块或组件所描述的特征可以一起(例如，在诸如集成逻辑器件之类的逻辑器件中)或单独地(例如，作为单独的连接的逻辑器件)实现。本公开的方法的软件部分可以包括计算机可读介质，该计算机可读介质包括指令，所述指令当被执行时至少部分地执行所描述的方法。计算机可读介质可以包括例如随机存取存储器(RAM)和/或只读存储器(ROM)。指令可以由处理器(例如，数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)、图形处理单元(GPU)或通用GPU)执行。
本公开的许多实施例已被描述。尽管如此，将理解的是，在不背离本公开的精神和范围的情况下，可以进行各种修改。相应地，其它实施例也在随附的权利要求的范围内。
以上阐述的示例作为对如何作出并使用本公开的实施例的完整公开和描述被提供给本领域普通技术人员，并且不意图限制发明人视为其公开的内容的范围。
对于本领域技术人员显而易见的用于执行本文中所公开的方法和系统的上述模式的修改意图处于随附的权利要求的范围内。在说明书中所提及的所有专利和出版物指示本公开所属于的领域中的技术人员的技能水平。在本公开中引用的所有参考文献通过如同每一参考文献已单独地通过其整体引用而并入的相同程度的引用而被并入。
要理解的是，本公开不限于特定方法或系统，这些特定方法或系统当然可以变化。还要理解的是，本文中所使用的术语仅出于描述特定实施例的目的，而不意图是限制性的。如在本说明书和所附权利要求书中所使用的，单数形式“一”、“一个”以及“所述”包括多个所指对象，除非内容另外明确地指定。术语“多个”包括两个或更多个所指对象，除非内容另外明确地指定。除非另外定义，否则本文中所使用的所有科技术语具有与本公开所属于的领域中的普通技术人员通常所理解的相同的含义。
在以下的参考文献列表中所示出的本申请中的参考文献通过其整体引用而并入本文。
参考文献
[1]2014年2月27日提交的美国临时专利申请序列号61/945,706。
[2]2012年5月24日提交的PCT序列号PCT/US2012/039338。
[3]美国专利No.8,363,117。
[4]Watson,Andrew B.、Albert J.Ahumada Jr以及Joyce E.Farrell的“Windowof visibility:a psychophysical theory of fidelity in time-sampled visualmotion displays.”JOSA A 3.3(1986):300-307。
[5]Tyler,Christopher W.和Russell D.Hamer的“Analysis of visualmodulation sensitivity.IV.Validity of the Ferry-Porter law.”JOSA A 7.4(1990):743-758。
[6]2013年11月22日提交的美国临时专利申请序列号61/907,996。

Claims (21)

1.一种用于控制颤抖可见性的方法，所述方法包括：
以输入帧速率提供输入帧；
通过计算机在每一时间段从所述输入帧捕获帧，由此获得捕获的帧；
在每一时间段中以低于所述输入帧速率的显示帧速率显示所述捕获的帧；
在每一时间段的结束使所述捕获的帧在时间上向前跳跃达赶上所述输入帧速率所需要的量，由此获得期望的颤抖可见性；以及
通过计算机计算每一显示时间t的采样时间f(t)，其中，或者其中，f(t)＝(1-r)·n·T+r·m·Td，
其中，r为颤抖控制速率，Td为与所述显示帧速率对应的时间段，并且T为与所述输入帧的基础帧速率对应的时间段。
2.如权利要求1所述的方法，其中，显示所述捕获的帧以及向前跳跃由具有0和1之间的值的颤抖控制速率确定。
3.如权利要求1所述的方法，其中，T是Td的整数倍。
4.如权利要求1所述的方法，进一步包括，如果T不是Td的整数倍，则选择基本上接近于T同时是Td的整数倍的值T’。
5.如权利要求1所述的方法，其中，颤抖控制速率是时间和像素位置的函数，由此在不同的时间向不同的区域应用不同的颤抖可见性控制。
6.一种用于控制高帧速率捕获和高帧速率显示的颤抖可见性的方法，所述方法包括：
利用非恒定的时间间隔捕获帧，由此获得捕获的帧；和
利用恒定的时间间隔显示所述捕获的帧，由此获得期望的颤抖可见性。
7.一种用于控制高帧速率捕获和高帧速率显示的颤抖可见性的方法，所述方法包括：
利用恒定的时间间隔捕获帧，由此获得捕获的帧；和
利用非恒定的时间间隔显示所述捕获的帧，由此获得期望的颤抖可见性。
8.一种用于控制颤抖可见性的方法，所述方法包括：
利用恒定的时间间隔捕获帧，由此获得捕获的帧；和
利用恒定的时间间隔显示所述捕获的帧，
其中，所述捕获的帧中的至少一个帧被用其在前的捕获的帧替代，由此显示所述在前的捕获的帧两次。
9.一种用于控制颤抖可见性的方法，所述方法包括：
利用恒定的时间间隔捕获帧，由此获得捕获的帧；
通过计算机基于期望的颤抖可见性处理所述捕获的帧中的至少一个帧和其在前的捕获的帧中的至少一个，由此获得至少一个经处理的捕获的帧；以及
利用恒定的时间间隔显示所述捕获的帧和至少一个经处理的捕获的帧。
10.一种用于控制高帧速率图像序列的颤抖可见性的方法，所述方法包括：
通过计算机提供输入帧；
通过计算机从所述输入帧去除噪声或胶片颗粒，由此获得经处理的帧；
通过计算机处理来自所述输入帧的所述噪声或胶片颗粒，由此获得低帧速率噪声或胶片颗粒；以及
通过计算机向所述经处理的帧添加所述低帧速率噪声或胶片颗粒，由此获得输出帧。
11.一种用于控制高帧速率图像序列的颤抖可见性的方法，所述方法包括：
通过计算机提供输入帧；
通过计算机将所述输入帧分成至少两组帧；
通过计算机基于期望的颤抖可见性处理所述帧的组中的至少一组，由此获得经处理的至少一组帧和未经处理的至少一组帧；以及
通过计算机组合所述经处理的至少一组帧与未经处理的至少一组帧。
12.如权利要求11所述的方法，其中，所述处理包括应用平滑滤波器和/或锐化滤波器。
13.如权利要求12所述的方法，其中，所述平滑滤波器为高斯滤波器、双边滤波器或Sigma滤波器。
14.如权利要求12所述的方法，其中，所述锐化滤波器为反锐化掩蔽滤波器。
15.一种用于控制高帧速率颤抖可见性的方法，所述方法包括：
以输入帧速率提供输入帧；
通过计算机计算颤抖基础帧速率；
选择颤抖控制速率；
在每一时间段从所述输入帧重采样帧，由此获得重采样的帧；
在每一时间段中以不同于所述输入帧速率的帧速率显示捕获的帧；以及
在每一时间段的结束使所述捕获的帧在时间上向前跳跃达赶上所述输入帧速率所需要的量，由此以等于所述输入帧速率的输出帧速率获得期望的颤抖可见性。
16.如权利要求15所述的方法，进一步包括通过计算机计算每一显示时间t的重采样时间f(t)，其中，f(t)＝(1-r)·n·T+r·m·Td，r为颤抖控制速率，1/Td为重采样速率，并且T为基础时间段。
17.如权利要求16所述的方法，其中，逐像素地控制颤抖可见性。
18.如权利要求16所述的方法，其中，逐镜头地控制颤抖可见性。
19.如权利要求15所述的方法，进一步包括通过计算机选择至少一个帧中的至少一个区域，其中，在所述至少一个区域上与所述至少一个帧的剩余部分不同地控制颤抖可见性。
20.如权利要求15所述的方法，进一步包括通过计算机选择至少一个帧中具有过度的颤抖的至少一个区域和至少一个帧中具有不足的颤抖的至少一个区域，其中，颤抖可见性在具有过度的颤抖的所述至少一个区域中被减小，而在具有不足的颤抖的所述至少一个区域中被增大。
21.如权利要求20所述的方法，其中，具有过度的颤抖的所述至少一个区域为低帧速率区域，而具有不足的颤抖的所述至少一个区域为高帧速率区域。
CN201811321721.7A 2014-02-27 2015-02-23 用于控制颤抖可见性的方法、装置及计算机可读介质 Active CN109089014B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461945706P 2014-02-27 2014-02-27
US61/945,706 2014-02-27
US201462055555P 2014-09-25 2014-09-25
US62/055,555 2014-09-25
CN201580010829.2A CN106063242B (zh) 2014-02-27 2015-02-23 用于控制颤抖可见性的系统和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201580010829.2A Division CN106063242B (zh) 2014-02-27 2015-02-23 用于控制颤抖可见性的系统和方法

Publications (2)

Publication Number Publication Date
CN109089014A true CN109089014A (zh) 2018-12-25
CN109089014B CN109089014B (zh) 2021-02-19

Family

ID=52669659

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201811321721.7A Active CN109089014B (zh) 2014-02-27 2015-02-23 用于控制颤抖可见性的方法、装置及计算机可读介质
CN201580010829.2A Active CN106063242B (zh) 2014-02-27 2015-02-23 用于控制颤抖可见性的系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201580010829.2A Active CN106063242B (zh) 2014-02-27 2015-02-23 用于控制颤抖可见性的系统和方法

Country Status (4)

Country Link
US (1) US10368031B2 (zh)
EP (1) EP3111635B1 (zh)
CN (2) CN109089014B (zh)
WO (1) WO2015130616A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112118409A (zh) * 2019-06-20 2020-12-22 苹果公司 用于减少抖动的动态持久性

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3202132B1 (en) 2014-10-02 2020-12-30 Dolby Laboratories Licensing Corporation Dual-ended metadata for judder visibility control
US10200666B2 (en) 2015-03-04 2019-02-05 Dolby Laboratories Licensing Corporation Coherent motion estimation for stereoscopic video
US10284870B1 (en) * 2015-07-22 2019-05-07 Pixelworks, Inc. Adjusting interpolation phase for motion estimation motion compensation using image analysis
US10354394B2 (en) 2016-09-16 2019-07-16 Dolby Laboratories Licensing Corporation Dynamic adjustment of frame rate conversion settings
US11019302B2 (en) 2017-09-28 2021-05-25 Dolby Laboratories Licensing Corporation Frame rate conversion metadata
US10977809B2 (en) 2017-12-11 2021-04-13 Dolby Laboratories Licensing Corporation Detecting motion dragging artifacts for dynamic adjustment of frame rate conversion settings
US11930207B2 (en) 2018-08-22 2024-03-12 Saturn Licensing Llc Display device, signal processing device, and signal processing method
US10499009B1 (en) 2018-09-25 2019-12-03 Pixelworks, Inc. Realistic 24 frames per second output from high frame rate content
US11423516B2 (en) * 2019-03-29 2022-08-23 Tobii Ab Gaze enhanced natural motion blur
US11295427B2 (en) 2020-02-14 2022-04-05 Pixelworks, Inc. Methods and systems for image processing with multiple image sources
US11356604B2 (en) 2020-02-14 2022-06-07 Pixelworks, Inc. Methods and systems for image processing with multiple image sources
CN113542809B (zh) * 2020-04-15 2023-08-04 联咏科技股份有限公司 帧插补方法及其视频处理器
US20230088882A1 (en) * 2021-09-22 2023-03-23 Samsung Electronics Co., Ltd. Judder detection for dynamic frame rate conversion

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1758743A (zh) * 2004-10-08 2006-04-12 三星电子株式会社 使用抖动映射的图像处理设备及其方法
CN101543043A (zh) * 2007-02-20 2009-09-23 索尼株式会社 图像显示装置、视频信号处理器和视频信号处理方法
CN101616279A (zh) * 2009-07-16 2009-12-30 宝利微电子系统控股公司 一种视频帧率上变换的方法和装置
JP2010078987A (ja) * 2008-09-26 2010-04-08 Hitachi Ltd 画像表示装置および画像表示方法
US20100141831A1 (en) * 2008-12-09 2010-06-10 Snell Limited Motion image rendering systems and methods
EP2293554A1 (en) * 2009-07-27 2011-03-09 Trident Microsystems (Far East) Ltd. Frame-rate conversion
CN102761730A (zh) * 2009-01-12 2012-10-31 联发科技股份有限公司 视频播放器
CN103167259A (zh) * 2011-12-19 2013-06-19 索尼公司 对内插帧的抖动的使用
US20140028909A1 (en) * 2011-04-05 2014-01-30 Panasonic Corporation Method for converting frame rate and video processing apparatus using the same

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5929919A (en) 1994-04-05 1999-07-27 U.S. Philips Corporation Motion-compensated field rate conversion
US6028608A (en) 1997-05-09 2000-02-22 Jenkins; Barry System and method of perception-based image generation and encoding
US6545740B2 (en) 1999-12-22 2003-04-08 Texas Instruments Incorporated Method and system for reducing motion artifacts
US7038710B2 (en) 2002-07-17 2006-05-02 Koninklijke Philips Electronics, N.V. Method and apparatus for measuring the quality of video data
EP1558033A1 (en) 2004-01-21 2005-07-27 Deutsche Thomson-Brandt Gmbh Method and apparatus for controlling the insertion of additional fields or frames into a picture sequence to change its format
JP4396496B2 (ja) 2004-12-02 2010-01-13 株式会社日立製作所 フレームレート変換装置、及び映像表示装置、並びにフレームレート変換方法
US7728909B2 (en) 2005-06-13 2010-06-01 Seiko Epson Corporation Method and system for estimating motion and compensating for perceived motion blur in digital video
GB2450121A (en) 2007-06-13 2008-12-17 Sharp Kk Frame rate conversion using either interpolation or frame repetition
US7901388B2 (en) * 2007-07-13 2011-03-08 Bacoustics, Llc Method of treating wounds by creating a therapeutic solution with ultrasonic waves
US8159605B2 (en) 2007-07-13 2012-04-17 Fujitsu Limited Frame interpolating apparatus and method
JP5091575B2 (ja) 2007-07-20 2012-12-05 三洋電機株式会社 映像表示装置
JP4882948B2 (ja) 2007-10-04 2012-02-22 ソニー株式会社 画像処理装置および方法、並びにプログラム
KR101554685B1 (ko) 2007-12-20 2015-09-21 에이티아이 테크놀로지스 유엘씨 비디오 프로세싱을 기술하기 위한 방법, 장치 및 머신 판독가능 매체
US20090161011A1 (en) 2007-12-21 2009-06-25 Barak Hurwitz Frame rate conversion method based on global motion estimation
US8749703B2 (en) * 2008-02-04 2014-06-10 Broadcom Corporation Method and system for selecting interpolation as a means of trading off judder against interpolation artifacts
US20090310679A1 (en) 2008-06-11 2009-12-17 Mediatek Inc. Video processing apparatus and methods
US20110001873A1 (en) 2008-08-06 2011-01-06 Daniel Doswald Frame rate converter for input frames with video and film content
KR101486254B1 (ko) 2008-10-10 2015-01-28 삼성전자주식회사 프레임 레이트 변환 설정방법 및 이를 적용한 디스플레이 장치
EP2234402B1 (en) * 2009-03-25 2012-07-04 Bang & Olufsen A/S A method and a system for adapting film judder correction
KR20120018747A (ko) 2009-04-13 2012-03-05 쇼우스캔 디지탈 엘엘씨 동영상을 촬영하고 프로젝팅하기 위한 방법 및 장치
US8292305B2 (en) * 2009-08-04 2012-10-23 Chin-Chiu Chen Adjustable magnetism shelter of a cutter holder
US8390704B2 (en) 2009-10-16 2013-03-05 Eastman Kodak Company Image deblurring using a spatial image prior
JP5645139B2 (ja) 2010-01-05 2014-12-24 日本電気株式会社 ネットワークシステム、コントローラ、ネットワーク制御方法
US9659353B2 (en) 2010-03-01 2017-05-23 Stmicroelectronics, Inc. Object speed weighted motion compensated interpolation
GB201007351D0 (en) 2010-04-30 2010-06-16 Imagination Tech Ltd Varying temporal interpolation in a motion compensated frame interpolation system
US8446524B2 (en) 2010-06-21 2013-05-21 Realtek Semiconductor Corp. Apparatus and method for frame rate conversion
JP2012182691A (ja) 2011-03-02 2012-09-20 Panasonic Corp 画像変換装置
EP2716041A4 (en) 2011-05-31 2014-10-15 Dolby Lab Licensing Corp VIDEO COMPRESSION WITH RESOLUTION COMPENSATION AND OPTIMIZATION
US11640656B2 (en) 2011-09-27 2023-05-02 Koninklijke Philips N.V. Apparatus and method for dynamic range transforming of images
US8692935B1 (en) * 2011-11-02 2014-04-08 Marvell International Ltd. Video interpolation mode based on merit
US9032335B2 (en) 2012-08-14 2015-05-12 Christopher V. Beckman User interface techniques reducing the impact of movements
EP2731337B1 (en) 2012-10-17 2017-07-12 Dolby Laboratories Licensing Corporation Systems and methods for transmitting video frames
EP3072288B1 (en) 2013-11-22 2019-06-12 Dolby Laboratories Licensing Corporation Methods and systems for inverse tone mapping

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1758743A (zh) * 2004-10-08 2006-04-12 三星电子株式会社 使用抖动映射的图像处理设备及其方法
CN101543043A (zh) * 2007-02-20 2009-09-23 索尼株式会社 图像显示装置、视频信号处理器和视频信号处理方法
JP2010078987A (ja) * 2008-09-26 2010-04-08 Hitachi Ltd 画像表示装置および画像表示方法
US20100141831A1 (en) * 2008-12-09 2010-06-10 Snell Limited Motion image rendering systems and methods
CN102761730A (zh) * 2009-01-12 2012-10-31 联发科技股份有限公司 视频播放器
CN101616279A (zh) * 2009-07-16 2009-12-30 宝利微电子系统控股公司 一种视频帧率上变换的方法和装置
EP2293554A1 (en) * 2009-07-27 2011-03-09 Trident Microsystems (Far East) Ltd. Frame-rate conversion
US20140028909A1 (en) * 2011-04-05 2014-01-30 Panasonic Corporation Method for converting frame rate and video processing apparatus using the same
CN103167259A (zh) * 2011-12-19 2013-06-19 索尼公司 对内插帧的抖动的使用

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112118409A (zh) * 2019-06-20 2020-12-22 苹果公司 用于减少抖动的动态持久性

Also Published As

Publication number Publication date
CN106063242B (zh) 2019-07-09
US20170054938A1 (en) 2017-02-23
WO2015130616A3 (en) 2015-10-22
EP3111635A2 (en) 2017-01-04
WO2015130616A2 (en) 2015-09-03
CN109089014B (zh) 2021-02-19
US10368031B2 (en) 2019-07-30
EP3111635B1 (en) 2018-06-27
CN106063242A (zh) 2016-10-26

Similar Documents

Publication Publication Date Title
CN109089014B (zh) 用于控制颤抖可见性的方法、装置及计算机可读介质
CN107079079B (zh) 用于抖动可视性控制的双端元数据
US9407797B1 (en) Methods and systems for changing duty cycle to reduce judder effect
JP2007274299A (ja) 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
US10580154B2 (en) Method and apparatus for determining a depth map for an image
US20130207951A1 (en) Apparent display resolution enhancement for moving images
CN111149346A (zh) 帧速率转换元数据
TW201921922A (zh) 用於產生影像之設備及方法
JP2010020290A (ja) 映像信号処理装置、映像信号処理方法及び映像信号処理システム、プログラム、並びに記録媒体
KR102531767B1 (ko) 이미지를 생성하기 위한 장치 및 방법
US20180025686A1 (en) Method and device for emulating continuously varying frame rates
KR101630444B1 (ko) 스테레오스코픽 디지털 영화에서의 최적화된 모션 재생을 위한 방법과 장치
JPH0837648A (ja) 動ベクトル処理装置
JP2010014879A (ja) 係数生成装置および方法、画像生成装置および方法、並びにプログラム
WO2014126032A1 (ja) 画像処理装置、画像処理方法、および記録媒体
Mackin et al. The visibility of motion artifacts and their effect on motion quality
Har-Noy et al. LCD motion blur reduction: A signal processing approach
US9277169B2 (en) Method for enhancing motion pictures for exhibition at a higher frame rate than that in which they were originally produced
JP5566196B2 (ja) 画像処理装置及びその制御方法
US10499009B1 (en) Realistic 24 frames per second output from high frame rate content
DE102013105638B4 (de) Erhöhung der perzeptuellen Bildauflösung
Keller et al. Temporal super resolution using variational methods
Myszkowski et al. Temporal Image Retargeting
Didyk et al. Exceeding Physical Limitations: Apparent Display Qualities
JP2003280595A (ja) 表示制御装置および方法、並びにプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant