CN112118409A - 用于减少抖动的动态持久性 - Google Patents

用于减少抖动的动态持久性 Download PDF

Info

Publication number
CN112118409A
CN112118409A CN202010562080.5A CN202010562080A CN112118409A CN 112118409 A CN112118409 A CN 112118409A CN 202010562080 A CN202010562080 A CN 202010562080A CN 112118409 A CN112118409 A CN 112118409A
Authority
CN
China
Prior art keywords
frame
frames
brightness
display
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010562080.5A
Other languages
English (en)
Inventor
L·E·莱文森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN112118409A publication Critical patent/CN112118409A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/04Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of a single character by selection from a plurality of characters, or by composing the character by combination of individual elements, e.g. segments using a combination of such display devices for composing words, rows or the like, in a frame with fixed character positions
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0233Improving the luminance or brightness uniformity across the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0247Flicker reduction other than flicker reduction circuits used for single beam cathode-ray tubes
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0261Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435Change or adaptation of the frame rate of the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本文所公开的具体实施提供了用于显示在连续帧中的相同位置具有至少一些内容的视频的改进的系统和方法。在一些具体实施中,此类内容是被改变用于以较高刷新速率在显示器上显示的低帧速率视频内容。通过选择性地改变连续帧中的一个或多个连续帧来减少或避免抖动,例如,使得连续帧具有亮度、颜色、明度或动态范围的差异。例如,给定重复内容的三个连续帧,可以100%亮度水平来显示第一帧,可以50%亮度来显示第二帧,并且可以25%亮度来显示第三帧。亮度或其他显示特性的此类差异可减少或避免抖动的出现,同时保持视频的总体外观。

Description

用于减少抖动的动态持久性
相关申请的交叉引用
本申请要求2019年6月20日提交的美国临时申请序列号62/863,916的权益,该申请全文以引用方式并入本文。
技术领域
本公开整体涉及在电子设备上提供内容,并且具体地涉及用于改善能够经由电子设备显示的任何基于帧的内容的呈现的系统、方法和设备。
背景技术
抖动是指通常由于视频中对象的移动或在捕获视频时相机的移动而出现的感知到的不稳定或不平稳的视频回放。当在具有较高刷新速率的显示器上(例如,在被配置为以每秒60个图像刷新的电视机上)观看低帧速率视频内容(例如,以每秒24个图像记录的电影内容)时,有时会感知到抖动。在此类情况下,显示器通过生成重复帧来补充缺失帧,例如,显示第一帧三次,然后显示第二帧两次,然后显示第三帧三次等。多次重复显示一个帧,然后切换到多次显示下一个帧,可导致应该看起来具有平滑移动(例如,当相机平移时)的内容实际上看起来具有不平稳或卡顿的移动。在其中所有原始帧上重复次数不相等的情况下,可加重该问题。例如,将24帧转换为60帧可涉及将24帧中的十二帧重复两次(例如,在一行中示出3次),并且将24帧中的其他十二帧重复仅一次(例如,在一行中示出2次)。还发现较高的峰值图像亮度有可能加剧抖动。
发明内容
本文所公开的具体实施提供了用于显示可在连续帧中的相同位置具有至少一些内容的视频的系统和方法。在一些具体实施中,此类内容是被改变用于以较高刷新速率在显示器上显示的低帧速率视频内容。例如,每秒24帧的内容可显示在能够每秒96帧刷新的显示器上。通过选择性地改变连续帧刷新速率中的一个或多个连续帧刷新速率来减少或避免抖动,例如,使得连续帧在显示特性上具有差异。可使用暂时不对称的图像处理(例如,时间上不对称的)来减少抖动。在多个连续帧上保持在相同位置中的内容可以被动态地改变,以在亮度、颜色、明度、动态范围等方面具有差异。例如,给定重复内容的三个连续帧,可以100%亮度水平显示第一帧,可以50%亮度显示第二帧,并且可以25%亮度显示第三帧。在要于能够每秒96帧刷新的显示器上显示的每秒24帧的内容的示例中,可以将每个帧重复四次,并且可以调整那些重复中的一些或全部的亮度或其他显示特性。亮度或其他显示特性的此类差异可减少或避免抖动的出现,同时保持视频的总体外观。
一些具体实施提供了一种提供视频的方法,该视频包括具有减小或避免抖动的显示特性的连续帧。该示例性方法可通过使用处理器来执行指令的计算设备来实现。该方法识别具有出现在相同位置的内容的帧视频的连续帧子集。例如,这可能涉及识别每秒24帧的内容的帧将在将以较高刷新速率显示的视频中连续显示三次。在另一个示例中,这涉及识别特定对象出现在针对多个连续帧的相同位置处,即使这些帧中的其他部分不同。
该方法改变显示特性(例如,亮度、明度、颜色等)以在该连续帧子集的连续帧中不同地显示内容。在一些具体实施中,改变整个帧的显示特性,例如,所有像素具有降低的亮度,而在其他具体实施中,选择性地改变该帧内的特定对象或位置。在连续帧内选择要选择性地改变的特定对象或位置可基于识别满足亮度标准(例如,高于阈值亮度)的对象或位置、识别在视频期间相对于稳定背景移动的对象或其他标准。在要于能够每秒96帧刷新的显示器上显示的每秒24帧的内容的示例中,可以将每个帧重复四次,并且可以调整那些重复中的一些或全部中的特定对象的亮度或其他显示特性。该方法显示包括具有改变的显示特性的连续帧的视频。
根据一些具体实施中,非暂态计算机可读存储介质中存储有指令,所述指令是计算机可执行的以执行或使得执行本文所述的任何方法。根据一些具体实施,一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序;该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行,并且该一个或多个程序包括用于执行或使得执行本文所述方法中的任一种的指令。
附图说明
因此,本公开可被本领域的普通技术人员理解,更详细的描述可参考一些例示性具体实施的方面,其中一些具体实施在附图中示出。
图1是根据一些具体实施的示例性操作环境的框图。
图2是根据一些具体实施的示例性控制器的框图。
图3是根据一些具体实施的示例性电子设备的框图。
图4是示出根据一些具体实施的提供包括具有减小或避免抖动的显示特性的连续帧的视频的示例性方法的流程图。
图5是示出低帧速率视频内容的示例性帧的框图。
图6是示出通过重复图5的低帧速率视频内容的帧以提供用于以较高刷新速率显示的视频而生成的帧集的框图。
图7是示出根据一些具体实施的改变图6的帧集中的连续帧的显示特性以减小或避免抖动的框图。
根据通常的做法,附图中示出的各种特征部可能未按比例绘制。因此,为了清楚起见,可以任意地扩展或减小各种特征部的尺寸。另外,一些附图可能未描绘给定的系统、方法或设备的所有部件。最后,在整个说明书和附图中,类似的附图标号可用于表示类似的特征部。
具体实施方式
描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而,附图仅示出了本公开的一些示例方面,因此不应被视为限制。本领域的普通技术人员将会知道,其他有效方面或变体不包括本文所述的所有具体细节。此外,没有详尽地描述众所周知的系统、方法、部件、设备和电路,以免模糊本文所述的示例性具体实施的更多相关方面。虽然图1至图3示出了涉及手持式电子设备的示例性具体实施,但其他具体实施不一定涉及手持式设备并且可涉及其他类型的设备,包括但不限于电视机、机顶盒设备、膝上型电脑、台式电脑、游戏设备、家庭自动化设备、手表、头戴式设备(HMD)和其他可穿戴电子设备,以及处理或显示视频的其他设备。
图1是根据一些具体实施的示例性操作环境100的框图。尽管示出了相关特征,但本领域的普通技术人员将从本公开中认识到,为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面,未示出各种其他特征。为此,作为非限制性示例,操作环境100包括控制器110和电子设备120,该控制器和该电子设备中的一者或两者可处于物理环境中。
电子设备120被配置为处理或显示视频内容。在一些具体实施中,电子设备120包括软件、固件或硬件的合适组合。如本文所用,术语“视频”是指能够经由电子设备显示的任何基于帧的内容。可从录制源或者直播源提供视频内容以用于在电子设备120上显示。例如,视频可存储在电子设备120、控制器110或其他地方上的存储器中。在另一个示例中,视频可以是由电子设备120、控制器110或其他地方上的相机实时捕获或处理的帧流。下文参考图3来更详细地描述电子设备120。在一些具体实施中,控制器110的功能由电子设备120提供或与电子设备120组合,例如,在用作独立单元的电子设备的情况下。
在一些具体实施中,控制器110是相对于物理环境105处于本地或远程位置的计算设备。在一个示例中,控制器110是位于物理环境105内的本地服务器。在另一个示例中,控制器110是位于物理环境105之外的远程服务器(例如,云服务器、中央服务器等)。在一些具体实施中,控制器110经由一个或多个有线或无线通信信道144(例如,蓝牙、IEEE802.11x、IEEE802.16x、IEEE802.3x等)与电子设备120通信地耦接。
图2是根据一些具体实施的控制器110的示例的框图。尽管示出了一些具体特征,但本领域的技术人员将从本公开中认识到,为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面,未示出各种其他特征。为此,作为非限制性示例,在一些具体实施中,控制器110包括一个或多个处理单元202(例如,微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、中央处理单元(CPU)、处理核心等)、一个或多个输入/输出(I/O)设备206、一个或多个通信接口208(例如,通用串行总线(USB)、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、全球移动通信系统(GSM),码分多址(CDMA)、时分多址(TDMA)、全球定位系统(GPS)、红外(IR)、蓝牙、ZIGBEE或相似类型接口)、一个或多个编程(例如,I/O)接口210、存储器220以及用于互连这些部件和各种其他部件的一条或多条通信总线204。
在一些具体实施中,所述一条或多条通信总线204包括互连系统部件和控制系统部件之间的通信的电路。在一些具体实施中,一个或多个I/O设备206包括键盘、鼠标、触控板、操纵杆、一个或多个麦克风、一个或多个扬声器、一个或多个图像捕获设备或其他传感器、一个或多个显示器等中的至少一者。
存储器220包括高速随机存取存储器,诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双倍数据速率随机存取存储器(DDR RAM)或者其他随机存取固态存储器设备。在一些具体实施中,存储器220包括非易失性存储器,诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器220任选地包括远离所述一个或多个处理单元202定位的一个或多个存储设备。存储器220包括非暂态计算机可读存储介质。在一些具体实施中,存储器220或者存储器220的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集,其中包括任选的操作系统230和计算机生成现实(CGR)体验模块240。
操作系统230包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。
在一些具体实施中,视频模块240包括帧单元242、调节单元244和渲染单元246。帧单元242被配置为识别用于包括在视频中的帧。在一些具体实施中,帧单元242识别具有出现在相同位置的内容的帧视频的连续帧子集。例如,这可能涉及确认每秒24帧的内容的帧将在将以较高刷新速率显示的视频中连续显示三次。在另一个示例中,这涉及识别特定对象出现在针对多个连续帧的相同位置处,即使这些帧中的其他部分不同。
调节单元244改变显示特性(例如,亮度、明度、颜色等)以在视频内容的连续帧中不同地显示内容。在一些具体实施中,改变整个帧的显示特性,例如,所有像素具有降低的亮度,而在其他具体实施中,选择性地改变该帧内的特定对象或位置。在连续帧内选择要选择性地改变的特定对象或位置可基于识别满足亮度标准(例如,高于阈值亮度)的对象或位置、识别在视频期间相对于稳定背景移动的对象或其他标准。
渲染单元246提供用于显示的视频,包括具有由帧单元242识别并由调整单元244改变的连续帧的视频。
尽管这些模块和单元被示出为驻留在单个设备(例如,控制器110)上,但应当理解,在其他具体实施中,这些模块和单元的任何组合可位于单独的计算设备中。此外,图2更多地用作存在于特定具体实施中的各种特征部的功能描述,与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的,单独显示的项目可以组合,并且一些项目可以分开。例如,图2中单独示出的一些功能模块可以在单个模块中实现,并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征部将根据具体实施而变化,并且在一些具体实施中,部分地取决于为特定具体实施选择的硬件、软件或固件的特定组合。
图3是根据一些具体实施的电子设备120的示例的框图。尽管示出了一些具体特征,但本领域的技术人员将从本公开中认识到,为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面,未示出各种其他特征。为此,作为非限制性示例,在一些具体实施中,电子设备120包括一个或多个处理单元302(例如,微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备及传感器306、一个或多个通信接口308(例如,USB、FIREWIRE、THUNDERBOLT、IEEE802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE、SPI、I2C或类似类型的接口)、一个或多个编程(例如,I/O)接口310、一个或多个显示器312、一个或多个面向内部或面向外部的图像传感器314、存储器320以及用于互连这些部件和各种其他部件的一条或多条通信总线304。
在一些具体实施中,一条或多条通信总线304包括互连和控制系统部件之间的通信的电路。在一些具体实施中,一个或多个I/O设备及传感器306包括惯性测量单元(IMU)、加速度计、磁力计、陀螺仪、温度计、一个或多个生理传感器(例如,血压监测仪、心率监测仪、血液氧传感器、血糖传感器等)、一个或多个传声器、一个或多个扬声器、触觉引擎或者一个或多个深度传感器(例如,结构光、飞行时间等)等。
在一些具体实施中,一个或多个显示器312被配置为向用户呈现CGR体验。在一些具体实施中,一个或多个显示器312对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射器显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)或者类似显示器类型。在一些具体实施中,一个或多个显示器312对应于衍射、反射、偏振、全息等波导显示器。例如,电子设备120包括单个显示器。又如,电子设备120包括用于用户的每只眼睛的显示器。
存储器320包括高速随机存取存储器,诸如DRAM、SRAM、DDRRAM或其他随机存取固态存储器设备。在一些具体实施中,存储器320包括非易失性存储器,诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器320任选地包括远离所述一个或多个处理单元302定位的一个或多个存储设备。存储器320包括非暂态计算机可读存储介质。在一些具体实施中,存储器320或者存储器320的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集,其中包括任选的操作系统330和计算机生成现实(CGR)体验模块340。
操作系统330包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。
在一些具体实施中,视频模块340包括帧单元342、调节单元344和渲染单元346。帧单元342被配置为识别用于包括在视频中的帧。在一些具体实施中,帧单元342识别具有出现在相同位置的内容的帧视频的连续帧子集。例如,这可能涉及确认每秒24帧的内容的帧将在将以较高刷新速率显示的视频中连续显示三次。在另一个示例中,这涉及识别特定对象出现在针对多个连续帧的相同位置处,即使这些帧中的其他部分不同。
调节单元344改变显示特性(例如,亮度、明度、颜色等)以在视频内容的连续帧中不同地显示内容。在一些具体实施中,改变整个帧的显示特性,例如,所有像素具有降低的亮度,而在其他具体实施中,选择性地改变该帧内的特定对象或位置。在连续帧内选择要选择性地改变的特定对象或位置可基于识别满足亮度标准(例如,高于阈值亮度)的对象或位置、识别在视频期间相对于稳定背景移动的对象或其他标准。
渲染单元346提供用于显示的视频,包括具有由帧单元342识别并由调整单元344改变的连续帧的视频。
此外,图3更多地用作存在于特定具体实施中的各种特征部的功能描述,与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的,单独显示的项目可以组合,并且一些项目可以分开。例如,图3中单独示出的一些功能模块可以在单个模块中实现,并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征部将根据具体实施而变化,并且在一些具体实施中,部分地取决于为特定具体实施选择的硬件、软件或固件的特定组合。
图4是示出提供包括具有减小或避免抖动的显示特性的连续帧的视频的示例性方法的流程图。在一些具体实施中,方法400由设备(例如,图1至图3的控制器100或电子设备120)执行。可在电视机、机顶盒、移动设备、HMD、台式计算机、膝上型计算机、服务器设备处或由彼此通信的多个设备执行方法400。在一些具体实施中,方法400由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中,方法400由执行存储在非暂态计算机可读介质(例如,存储器)中的代码的处理器执行。
在框402处,方法400涉及识别帧视频的连续帧子集,该子集具有出现在相同位置的内容。因此,如果连续帧中的每个连续帧包括像素位置网格中的像素位置的色值,则连续帧可具有与内容对应的像素位置的相同或类似的值。识别连续帧子集可能涉及识别每秒24帧的内容的帧将在将以较高刷新速率显示的视频中连续显示三次。识别连续帧子集可以是以下过程(例如,上转换过程)的一部分:生成重复帧以提供用于在相对较高刷新率显示器上显示相对低帧速率内容的附加帧。
在另一个示例中,识别连续帧涉及识别特定对象出现在针对多个连续帧的相同位置处,即使这些帧中的其他部分不同。例如,可比较视频的帧的像素的色值,以识别相同或类似像素值的组,该相同或类似像素值指示保持在连续帧中的相同相对位置处的对象。
在框404处,该方法400涉及改变显示特性(例如,亮度、明度、颜色等)以在该连续帧子集的连续帧中不同地显示内容。在一些具体实施中,针对整个帧改变该显示特性,例如,所有像素具有降低的亮度。在一个示例中,改变连续帧中的一个或多个帧的显示特性涉及确定连续帧中的第一帧的第一亮度,确定连续帧中的第二帧的第二亮度,其中在该连续帧的序列中该第二帧位于第一帧之后。可根据第一亮度来改变该第一帧,或者可根据第二亮度来改变该第二帧,或者两者兼有。该第一亮度可以是帧的原始亮度,并且该第二亮度可以增大或减小。该第二亮度可以是帧的原始亮度,并且该第一亮度可以增大或减小。该第一亮度和该第二亮度两者可被改变,例如,两者均增大、两者均减小、或者一者增大而另一者减小。
在一些具体实施中,一组连续帧被选择用于基于标准(例如,基于亮度/明度水平辨别)进行改变。例如,基于帧A的总明度或峰值明度满足亮度阈值并且帧B的总明度或峰值明度不满足亮度阈值,包括重复3次的帧A的第一帧组可被选择用于改变,而包括重复3次的帧B的第二帧组可不被选择用于改变。在一些具体实施中,仅选择具有高亮度峰值的帧组进行改变,使得总体上方法400提供高亮区的压缩。
在一些具体实施中,帧内的特定对象或位置例如基于空间辨别而被选择性地改变。在一些具体实施中,该方法基于对象改变选择标准来确定改变帧中所描绘的第一对象的显示特性并且不改变帧中所描绘的第二对象。
在一些具体实施中,帧被改变以调节特定对象的亮度、颜色或其他显示特性。在一些具体实施中,帧被改变以重新定位特定对象。例如,如果对象在每秒24帧内容的3个帧(例如,F1、F2、F3)的序列中从左到右移动,并且生成附加帧以提供用于以每秒96帧显示的内容(例如,F1、F1b、F1c、F1d、F2、F2b、F2c、F2d、F3、F3b、F3c、F3d),则对象在所添加的帧中的位置可被移动。该对象可定位在F1b中,略微位于其在F1中的位置的右侧。该对象可定位在F1c中,略微位于其在F1b中的位置的右侧。该对象可定位在F1d中,略微位于其在F1c中的位置的右侧,并且略微位于其在F2中的位置的左侧。这样,该对象在其移动时的位置可沿处于较小增量步长的移动更均匀,从而减少抖动的出现。用帧移动对象可涉及检测对象(例如,其轮廓),相对于帧中的其他内容移动对象,以及填充由该移动导致的空的空间。可使用基于机器学习的技术或其他适当的技术来填充空的空间。一种示例性技术使用两个原始帧来填充空的空间,例如,当对象在F1b中移动时,使用来自F2的内容来填充F1b的一部分。
在连续帧内选择要选择性地改变的特定对象或位置可基于识别满足亮度/明度水平标准的对象或位置。在一个示例中,对于第一帧,所有像素位置可保持其原始亮度。在该示例中,对于第二帧,具有比阈值亮度值高的亮度值的像素值减小到阈值、减小到预先确定的最大值、减小预先确定的值或减小预先确定的阈值。降低连续帧的仅较亮部分的亮度可有助于避免抖动的出现而不降低视频的质量。
在连续帧内选择要选择性地改变的特定对象或位置可基于识别满足移动标准的对象或位置。在一个示例中,使用矢量运动映射图来确定对象的移动,该矢量运动映射图可被解释为识别正在移动的对象和未移动的对象。在另一个示例中,矢量运动映射图用于估计对象移动的速度或对象加速的加速度,并且该速度或加速度用于识别哪些对象或位置用于选择性地改变。
在另一个示例中,原始视频可以包含20帧的序列,在此期间,随着汽车沿着街道向下行驶,该汽车被描绘为从左侧移动到右侧。在该示例中,帧中的背景保持相对恒定,因为在捕获视频时相机没有移动。在该示例中,该汽车可被识别为移动的物体。该帧序列可用于创建以较高分辨率显示的视频(例如,具有60帧而不是原始帧20),因此该视频的帧中的一些帧将是在相同位置处具有该汽车内容的连续帧,例如,在位置A处具有汽车的三个帧,然后在位置B处具有汽车的三个帧,然后在位置C处具有汽车的三个帧等。在该示例中,通过将汽车识别为移动的对象,然后识别汽车内容在连续帧中保持在相同位置来识别该连续帧。
在框406处,方法400涉及基于改变的显示特性来提供用于显示的帧视频。例如,这可能涉及使用第一亮度显示连续帧中的第一帧,以第二亮度显示连续帧中的第二帧等,其中第一亮度和第二亮度是改变的显示特性。
在一些具体实施中,用户提供偏好或其他输入来控制改变显示特性的量以考虑抖动。各个用户可能相对或多或少地感知或以其他方式关心抖动,因此一些用户可选择比其他用户更显著的抖动减少改变。
图5是示出低帧速率视频内容的示例性帧500的框图。在该示例中,帧502描绘了在左侧位置处的对象,帧504描绘了在中间位置处的对象,并且帧506描绘了在右侧位置处的对象。
图6是示出通过重复图5的低帧速率视频内容的帧500以提供用于以较高刷新速率显示的视频而生成的九个帧的集合600的框图。帧502作为帧502a、502b和502c重复三次。帧504作为帧504a、504b和504c重复三次。在该示例中,通过在帧502a、然后是帧502b、然后是帧502c、然后是帧504a、然后是帧504b、然后是帧504c、然后是帧506a、然后是帧506b、然后是帧506c的序列中显示该九个帧,可将该九个帧的集合600作为视频播放。然而,在不改变显示特性的情况下显示该序列中的帧可导致抖动的出现,其中对象随时间推移看起来从左位置突倾到中间位置再到右位置。
图7是示出根据一些具体实施的改变图6的九个帧的集合600中的连续帧的显示特性以减小或避免抖动的框图。在该示例中,不改变每组连续帧(例如,帧502a、帧504a和帧506a)中的第一帧。
每组帧(例如,图6的帧502b、帧504b和帧506b)中的第二帧被替换为具有改变的显示特性的改变版本(例如,作为帧702b、帧704b和帧706b)。在该示例中,帧702b的亮度小于帧502b的亮度,帧704b的亮度小于帧504b的亮度,并且帧706b的亮度小于帧506b的亮度。例如,这些帧702b、704b和706b中的每一者的最大亮度可被设置为最大亮度值的50%。
每组帧(例如,图6的帧502c、帧504c和帧506c)中的第三帧被替换为具有改变的显示特性的改变版本(例如,作为帧702c、帧704c和帧706c)。在该示例中,帧702c的亮度小于帧502c的亮度,帧704c的亮度小于帧504c的亮度,并且帧706c的亮度小于帧506c的亮度。例如,这些帧702b、704b和706b中的每一者的最大亮度可被设置为最大亮度值的25%。
帧702c的亮度可被设置为与帧702b的亮度不同,帧704c的亮度可被设置为与帧704b的亮度不同,并且帧706c的亮度可被设置为与帧706b的亮度不同。这样,每组连续帧中的三个帧中的每一者可具有不同的亮度值。帧502a、702b和702c中的每一者将具有不同的亮度值。帧504a、704b和704c中的每一者将具有不同的亮度值。帧506a、704b和704c中的每一者将具有不同的亮度值。连续帧的组内的各种不同亮度水平可减少抖动的出现,而不显著降低总体视频的质量。
本文阐述了许多具体细节以提供对要求保护的主题的全面理解。然而,本领域的技术人员将理解,可以在没有这些具体细节的情况下实践要求保护的主题。在其他实例中,没有详细地介绍普通技术人员已知的方法、设备或系统,以便不使要求保护的主题晦涩难懂。
除非另外特别说明,否则应当理解,在整个说明书中,利用诸如“处理”、“计算”、“计算出”、“确定”和“识别”等术语的论述是指计算设备的动作或过程,诸如一个或多个计算机或类似的电子计算设备,其操纵或转换表示为计算平台的存储器、寄存器或其他信息存储设备、传输设备或显示设备内的物理电子量或磁量的数据。
本文论述的一个或多个系统不限于任何特定的硬件架构或配置。计算设备可以包括部件的提供以一个或多个输入为条件的结果的任何合适的布置。合适的计算设备包括基于多用途微处理器的计算机系统,其访问存储的软件,该软件将计算系统从通用计算设备编程或配置为实现本发明主题的一种或多种具体实施的专用计算设备。可以使用任何合适的编程、脚本或其他类型的语言或语言的组合来在用于编程或配置计算设备的软件中实现本文包含的教导内容。
本文所公开的方法的具体实施可以在这样的计算设备的操作中执行。上述示例中呈现的框的顺序可以变化,例如,可以将框重新排序、组合或者分成子框。某些框或过程可以并行执行。
本文中“适用于”或“被配置为”的使用意味着开放和包容性的语言,其不排除适用于或被配置为执行额外任务或步骤的设备。另外,“基于”的使用意味着开放和包容性,因为“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。本文包括的标题、列表和编号仅是为了便于解释而并非旨在为限制性的。
还将理解的是,虽然术语“第一”、“第二”等可能在本文中用于描述各种对象,但是这些对象不应当被这些术语限定。这些术语只是用于将一个对象与另一对象区分开。例如,第一节点可以被称为第二节点,并且类似地,第二节点可以被称为第一节点,其改变描述的含义,只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点,但它们不是同一个节点。
本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求中所使用的那样,单数形式的“一个”和“该”旨在也涵盖复数形式,除非上下文清楚地另有指示。还将理解的是,本文中所使用的术语“或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是,术语“包括”或“包含”在本说明书中使用时指定存在所陈述的特征、整数、步骤、操作、对象或部件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、对象、部件或其分组。
如本文所使用的,术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真,具体取决于上下文。类似地,短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真,具体取决于上下文。
本发明的前述描述和概述应被理解为在每个方面都是例示性和示例性的,而非限制性的,并且本文所公开的本发明的范围不仅由例示性具体实施的详细描述来确定,而是根据专利法允许的全部广度。应当理解,本文所示和所述的具体实施仅是对本发明原理的说明,并且本领域的技术人员可以在不脱离本发明的范围和实质的情况下实现各种修改。

Claims (20)

1.一种方法,包括:
在具有处理器的电子设备处:
识别帧视频的连续帧子集,其中内容出现在所述连续帧子集中的相同位置;
改变显示特性以在所述连续帧子集的所述连续帧中不同地显示所述内容;以及
基于所改变的显示特性来提供用于显示的所述帧视频。
2.根据权利要求1所述的方法,其中所述改变包括选择性地仅交替所述连续帧中描绘的第一对象的所述显示特性,而不交替所述连续帧中描绘的第二对象的所述显示特性。
3.根据权利要求2所述的方法,还包括基于对象改变选择标准来确定改变所述第一对象的所述显示特性。
4.根据权利要求2所述的方法,还包括基于所述第一对象的亮度来确定改变所述第一对象的所述显示特性。
5.根据权利要求2所述的方法,还包括基于所述第一对象在所述帧视频中的移动来确定改变所述第一对象的所述显示特性。
6.根据权利要求1所述的方法,其中所述连续帧包括具有第一帧速率的第一视频的原始帧以及所述原始帧中的生成用于以第二帧速率显示第二视频的一个或多个重复帧,所述第二帧速率高于所述第一帧速率。
7.根据权利要求1所述的方法,其中所述显示特性包括亮度、颜色、明度或动态范围。
8.根据权利要求1所述的方法,其中改变所述显示特性包括:
确定所述连续帧中的第一帧的第一亮度;
确定所述连续帧中的第二帧的第二亮度,其中在所述连续帧的序列中所述第二帧位于所述第一帧之后;以及
根据所述第一亮度改变所述第一帧或根据所述第二亮度改变所述第二帧。
9.根据权利要求8所述的方法,其中所述第一亮度比所述第二亮度更亮。
10.根据权利要求8所述的方法,其中所述第二亮度比所述第一亮度更亮。
11.一种系统,包括:
非暂态计算机可读存储介质;以及
一个或多个处理器,所述一个或多个处理器耦接至所述非暂态计算机可读存储介质,其中所述非暂态计算机可读存储介质包括程序指令,所述程序指令在所述一个或多个处理器上执行时,使所述系统执行包括以下操作的操作:
识别帧视频的连续帧子集,其中内容出现在所述连续帧子集中的相同位置;
改变显示特性以在所述连续帧子集的所述连续帧中不同地显示所述内容;以及
基于所改变的显示特性来提供用于显示的所述帧视频。
12.根据权利要求11所述的系统,其中所述改变包括选择性地仅交替所述连续帧中描绘的第一对象的所述显示特性,而不交替所述连续帧中描绘的第二对象的所述显示特性。
13.根据权利要求12所述的系统,还包括基于所述第一对象的亮度来确定改变所述第一对象的所述显示特性。
14.根据权利要求12所述的系统,还包括基于所述第一对象在所述帧视频中的移动来确定改变所述第一对象的所述显示特性。
15.根据权利要求11所述的系统,其中所述连续帧包括具有第一帧速率的第一视频的原始帧以及所述原始帧中的生成用于以第二帧速率显示第二视频的一个或多个重复帧,所述第二帧速率高于所述第一帧速率。
16.根据权利要求11所述的系统,其中改变所述显示特性包括:
确定所述连续帧中的第一帧的第一亮度;
确定所述连续帧中的第二帧的第二亮度,其中在所述连续帧的序列中所述第二帧位于所述第一帧之后;以及
根据所述第一亮度改变所述第一帧或根据所述第二亮度改变所述第二帧。
17.根据权利要求16所述的系统,其中所述第一亮度比所述第二亮度更亮。
18.根据权利要求16所述的系统,其中所述第二亮度比所述第一亮度更亮。
19.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机上的计算机可执行的程序指令以执行操作,所述操作包括:
识别帧视频的连续帧子集,其中内容出现在所述连续帧子集中的相同位置;
改变显示特性以在所述连续帧子集的所述连续帧中不同地显示所述内容;以及
基于所改变的显示特性来提供用于显示的所述帧视频。
20.根据权利要求19所述的非暂态计算机可读存储介质,
其中所述改变包括选择性地仅交替所述连续帧中描绘的第一对象的所述显示特性,而不交替所述连续帧中描绘的第二对象的所述显示特性。
CN202010562080.5A 2019-06-20 2020-06-18 用于减少抖动的动态持久性 Pending CN112118409A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962863916P 2019-06-20 2019-06-20
US62/863,916 2019-06-20
US16/884,261 2020-05-27
US16/884,261 US11403979B2 (en) 2019-06-20 2020-05-27 Dynamic persistence for judder reduction

Publications (1)

Publication Number Publication Date
CN112118409A true CN112118409A (zh) 2020-12-22

Family

ID=73654375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010562080.5A Pending CN112118409A (zh) 2019-06-20 2020-06-18 用于减少抖动的动态持久性

Country Status (3)

Country Link
US (1) US11403979B2 (zh)
CN (1) CN112118409A (zh)
DE (1) DE102020115855A1 (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101669361A (zh) * 2007-02-16 2010-03-10 马维尔国际贸易有限公司 用于改善低分辨率和低帧速率视频的方法和系统
CN102082896A (zh) * 2011-03-04 2011-06-01 中山大学 液晶显示设备的视频处理方法
US20110317072A1 (en) * 2010-06-28 2011-12-29 Canon Kabushiki Kaisha Image processing apparatus and control method thereof
US20120113307A1 (en) * 2010-11-02 2012-05-10 Olympus Corporation Image processing apparatus, image display apparatus and imaging apparatus having the same, image processing method, and computer-readable medium storing image processing program
KR20140039524A (ko) * 2012-09-24 2014-04-02 삼성디스플레이 주식회사 표시 장치의 구동 방법 및 표시 장치의 구동 장치
CN103714559A (zh) * 2012-10-02 2014-04-09 辉达公司 用于提供动态显示刷新的系统、方法和计算机程序产品
CN105100760A (zh) * 2014-05-23 2015-11-25 三星显示有限公司 图像处理方法和用于执行该图像处理方法的图像处理装置
CN105185284A (zh) * 2014-05-30 2015-12-23 辉达公司 可变刷新率系统中的动态帧重复
CN106063242A (zh) * 2014-02-27 2016-10-26 杜比实验室特许公司 用于控制颤抖可见性的系统和方法
CN106210767A (zh) * 2016-08-11 2016-12-07 上海交通大学 一种智能提升运动流畅性的视频帧率上变换方法及系统
CN107079079A (zh) * 2014-10-02 2017-08-18 杜比实验室特许公司 用于抖动可视性控制的双端元数据
CN108701438A (zh) * 2015-11-18 2018-10-23 汤姆逊许可公司 高动态范围显示器的亮度管理
CN109032541A (zh) * 2017-06-09 2018-12-18 京东方科技集团股份有限公司 刷新率调整方法及组件、显示装置、存储介质
CN109196578A (zh) * 2016-06-03 2019-01-11 苹果公司 控制显示性能

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5773636B2 (ja) * 2010-12-17 2015-09-02 キヤノン株式会社 表示制御装置及びその制御方法
US9262987B2 (en) 2013-03-13 2016-02-16 Apple Inc. Compensation methods for display brightness change associated with reduced refresh rate
US9407797B1 (en) 2013-04-17 2016-08-02 Valve Corporation Methods and systems for changing duty cycle to reduce judder effect
WO2016002409A1 (ja) 2014-07-01 2016-01-07 シャープ株式会社 フィールドシーケンシャル画像表示装置および画像表示方法
US10181298B2 (en) 2015-10-18 2019-01-15 Google Llc Apparatus and method of adjusting backlighting of image displays
KR102546990B1 (ko) * 2018-03-16 2023-06-23 엘지전자 주식회사 신호 처리 장치 및 이를 구비하는 영상표시장치

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101669361A (zh) * 2007-02-16 2010-03-10 马维尔国际贸易有限公司 用于改善低分辨率和低帧速率视频的方法和系统
US20110317072A1 (en) * 2010-06-28 2011-12-29 Canon Kabushiki Kaisha Image processing apparatus and control method thereof
US20120113307A1 (en) * 2010-11-02 2012-05-10 Olympus Corporation Image processing apparatus, image display apparatus and imaging apparatus having the same, image processing method, and computer-readable medium storing image processing program
JP2012170046A (ja) * 2010-11-02 2012-09-06 Olympus Corp 画像処理装置、それを備えた画像表示装置及び撮像装置、画像処理方法、並びに画像処理プログラム
CN102082896A (zh) * 2011-03-04 2011-06-01 中山大学 液晶显示设备的视频处理方法
KR20140039524A (ko) * 2012-09-24 2014-04-02 삼성디스플레이 주식회사 표시 장치의 구동 방법 및 표시 장치의 구동 장치
CN103714559A (zh) * 2012-10-02 2014-04-09 辉达公司 用于提供动态显示刷新的系统、方法和计算机程序产品
CN109089014A (zh) * 2014-02-27 2018-12-25 杜比实验室特许公司 用于控制颤抖可见性的系统和方法
CN106063242A (zh) * 2014-02-27 2016-10-26 杜比实验室特许公司 用于控制颤抖可见性的系统和方法
CN105100760A (zh) * 2014-05-23 2015-11-25 三星显示有限公司 图像处理方法和用于执行该图像处理方法的图像处理装置
CN105185284A (zh) * 2014-05-30 2015-12-23 辉达公司 可变刷新率系统中的动态帧重复
CN107079079A (zh) * 2014-10-02 2017-08-18 杜比实验室特许公司 用于抖动可视性控制的双端元数据
CN108701438A (zh) * 2015-11-18 2018-10-23 汤姆逊许可公司 高动态范围显示器的亮度管理
CN109196578A (zh) * 2016-06-03 2019-01-11 苹果公司 控制显示性能
CN106210767A (zh) * 2016-08-11 2016-12-07 上海交通大学 一种智能提升运动流畅性的视频帧率上变换方法及系统
CN109032541A (zh) * 2017-06-09 2018-12-18 京东方科技集团股份有限公司 刷新率调整方法及组件、显示装置、存储介质

Also Published As

Publication number Publication date
DE102020115855A1 (de) 2020-12-24
US11403979B2 (en) 2022-08-02
US20200402435A1 (en) 2020-12-24

Similar Documents

Publication Publication Date Title
JP6959366B2 (ja) フォービエイテッド(中心窩)レンダリングシステムのための時間的スーパーサンプリング
TWI598867B (zh) 可變刷新率系統中之動態圖框複演率
JP7391939B2 (ja) アプリケーションレンダリング性能に基づく予測およびスロットル調整
US9811874B2 (en) Frame times by dynamically adjusting frame buffer resolution
US9407797B1 (en) Methods and systems for changing duty cycle to reduce judder effect
CN105096797A (zh) 用于可变刷新率显示器的依赖刷新率的自适应抖动
US9830880B1 (en) Method and system for adjusting the refresh rate of a display device based on a video content rate
TWI650940B (zh) 低延遲顯示器
CN103021007B (zh) 一种动画播放的方法及装置
CN108596834B (zh) 图像的分辨率处理方法、图像处理装置及系统、存储介质
US10957020B2 (en) Systems and methods for frame time smoothing based on modified animation advancement and use of post render queues
KR20200127766A (ko) 영상 처리 장치 및 그 영상 처리 방법
CN111066081B (zh) 用于补偿虚拟现实的图像显示中的可变显示设备等待时间的技术
US11372253B2 (en) Small field of view display mitigation using transitional visuals
US20150189012A1 (en) Wireless display synchronization for mobile devices using buffer locking
US10068549B2 (en) Cursor handling in a variable refresh rate environment
CN112118409A (zh) 用于减少抖动的动态持久性
CN111405362B (zh) 视频输出方法、装置、视频设备及计算机可读存储介质
US20210264872A1 (en) Compensation method and compensation device for vr display and display device
EP3217256B1 (en) Interactive display system and method
JP4978529B2 (ja) 画像処理装置、画像処理システム及び車両用ヘッドアップディスプレイシステム
US11170740B2 (en) Determining allowable locations of tear lines when scanning out rendered data for display
US12002132B1 (en) Rendering using analytic signed distance fields
US20230058228A1 (en) Image processing apparatus, image processing method, and storage medium for generating image of mixed world
US11594194B2 (en) Video timing for display systems with variable refresh rates

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination