CN106303499A - 视频显示控制方法和装置、显示设备 - Google Patents

视频显示控制方法和装置、显示设备 Download PDF

Info

Publication number
CN106303499A
CN106303499A CN201510290908.5A CN201510290908A CN106303499A CN 106303499 A CN106303499 A CN 106303499A CN 201510290908 A CN201510290908 A CN 201510290908A CN 106303499 A CN106303499 A CN 106303499A
Authority
CN
China
Prior art keywords
frame
video
display
image distance
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510290908.5A
Other languages
English (en)
Other versions
CN106303499B (zh
Inventor
周梁
杜琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhigu Ruituo Technology Services Co Ltd
Original Assignee
Beijing Zhigu Ruituo Technology Services Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhigu Ruituo Technology Services Co Ltd filed Critical Beijing Zhigu Ruituo Technology Services Co Ltd
Priority to CN201510290908.5A priority Critical patent/CN106303499B/zh
Priority to US15/167,877 priority patent/US10136117B2/en
Publication of CN106303499A publication Critical patent/CN106303499A/zh
Application granted granted Critical
Publication of CN106303499B publication Critical patent/CN106303499B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/139Format conversion, e.g. of frame-rate or size
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/144Processing image signals for flicker reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本申请实施例公开了一种视频显示控制方法和装置、显示设备,其中,所述方法包括:获取一视频依次相邻的至少二个视频帧中每二个相邻的视频帧之间的帧间差异;至少根据各所述帧间差异确定所述至少二个视频帧中的至少一视频帧的显示像距;控制一显示设备至少根据确定的所述至少一视频帧的显示像距显示所述至少一视频帧。本申请可改善视觉效果和用户体验。

Description

视频显示控制方法和装置、显示设备
技术领域
本申请涉及显示技术领域,特别是涉及一种视频显示控制方法和装置、显示设备。
背景技术
随着显示技术的不断发展,显示设备的类型也不断推陈出新,例如3D显示器、近眼显示设备、光场显示器等新型显示设备不断面世,可更好满足多样化的应用需求。
在某些情形下,视频包括的不同视频帧的差异会影响其显示内容的视觉效果,例如,不同视频帧的差异可能导致该显示设备显示视频期间出现卡屏、滞后、抖动(judder)或拖尾等现象,由此导致视觉效果不佳。
发明内容
在下文中给出了关于本申请的简要概述,以便提供关于本申请的某些方面的基本理解。应当理解,这个概述并不是关于本申请的穷举性概述。它并不是意图确定本申请的关键或重要部分,也不是意图限定本申请的范围。其目的仅仅是以简化的形式给出某些概念,以此作为稍后论述的更详细描述的前序。
本申请提供一种视频显示控制方法和装置、显示设备。
第一方面,本申请实施例提供了一种视频显示控制方法,包括:
获取一视频依次相邻的至少二个视频帧中每二个相邻的视频帧之间的帧间差异;
至少根据各所述帧间差异确定所述至少二个视频帧中的至少一视频帧的显示像距;
控制一显示设备至少根据确定的所述至少一视频帧的显示像距显示所述至少一视频帧。
结合本申请实施例提供的任一种视频显示控制方法,可选的,所述至少二个视频帧中的至少一视频帧包括:所述至少二个视频帧中的至少一在先视频帧。
结合本申请实施例提供的任一种视频显示控制方法,可选的,所述至少二个视频帧中至少之一视频帧包括:所述至少二个视频帧中的至少一在后视频帧。
结合本申请实施例提供的任一种视频显示控制方法,可选的,所述显示设备包括:双目显示设备;控制一显示设备至少根据确定的所述至少一视频帧的显示像距显示相应视频帧,包括:根据确定的所述至少一视频帧的显示像距,确定经所述双目显示设备显示所述至少一视频帧的双目视差;控制所述双目显示设备根据确定的所述至少一视频帧的显示像距和所述双目视差显示所述至少一视频帧。
结合本申请实施例提供的任一种视频显示控制方法,可选的,至少根据各所述帧间差异确定所述至少二个视频帧中的至少一视频帧的显示像距,包括:响应于各所述帧间差异分别满足一预定条件,确定所述至少二个视频帧中的任一视频帧的显示像距大于一参考显示像距。
结合本申请实施例提供的任一种视频显示控制方法,可选的,至少根据各所述帧间差异确定所述至少二个视频帧中的至少一视频帧的显示像距,包括:响应于各所述帧间差异中的至少之一未满足一预定条件,根据一参考显示像距确定所述至少二个视频帧中的任一视频帧的显示像距。
结合本申请实施例提供的任一种视频显示控制方法,可选的,至少根据各所述帧间差异确定所述至少二个视频帧中的至少一视频帧的显示像距,包括:响应于各所述帧间差异中的至少之一未满足一预定条件,根据所述至少二个视频帧中的一在先视频帧的显示像距确定一在后视频帧的显示像距。
结合本申请实施例提供的任一种视频显示控制方法,可选的,所述至少二个视频帧中任二个相邻的视频帧之间的所述帧间差异包括:所述二个相邻的视频帧中多个相应位置像素点的光学参数差异。
结合本申请实施例提供的任一种视频显示控制方法,可选的,所述光学参数包括以下至少之一:亮度、色度、饱和度。
结合本申请实施例提供的任一种视频显示控制方法,可选的,所述预定条件包括以下至少之一:光学参数差异超过一光学参数阈值的像素点数量超过一像素点数量阈值;光学参数差异超过一光学参数阈值的像素点数量与单帧像素点总数的第一比值,超过一像素比阈值;光学参数差异超过一光学参数阈值的像素点非连续分布的区域数量,超过一区域数量阈值;光学参数差异超过一光学参数阈值的像素点连续分布的最大区域面积,超过一面积阈值;光学参数差异超过一光学参数阈值的像素点连续分布的最大区域面积与单帧总面积的第二比值,超过一面积比阈值。
结合本申请实施例提供的任一种视频显示控制方法,可选的,所述至少二个视频帧中任二个相邻的视频帧之间所述帧间差异包括:至少一显示对象在所述二个相邻的视频帧之间的位移。
结合本申请实施例提供的任一种视频显示控制方法,可选的,所述预定条件包括:所述位移对应的期望刷新信息超过所述显示设备的刷新能力信息。
结合本申请实施例提供的任一种视频显示控制方法,可选的,所述方法还包括:响应于所述期望刷新信息未超过所述刷新能力信息,根据所述期望刷新信息和所述刷新能力信息确定所述显示设备的刷新信息;控制一显示设备至少根据确定的所述至少一视频帧的显示像距显示所述至少一视频帧,包括:控制所述显示设备根据确定的所述至少一视频帧的显示像距和所述刷新信息显示所述至少一视频帧。
结合本申请实施例提供的任一种视频显示控制方法,可选的,所述预定条件包括:所述位移超出与所述显示设备的刷新能力信息对应的容许运动信息。
结合本申请实施例提供的任一种视频显示控制方法,可选的,所述方法还包括:响应于所述位移未超过所述容许运动信息,根据所述刷新能力信息确定所述显示设备的刷新信息;控制一显示设备至少根据确定的所述至少一视频帧的显示像距显示所述至少一视频帧,包括:控制所述显示设备根据确定的所述至少一视频帧的显示像距和所述刷新信息显示所述至少一视频帧。
第二方面,本申请实施例还提供了一种视频显示控制装置,包括:
一帧间差异获取模块,用于获取一视频依次相邻的至少二个视频帧中每二个相邻的视频帧之间的帧间差异;
一显示像距确定模块,用于至少根据各所述帧间差异确定所述至少二个视频帧中的至少一视频帧的显示像距;
一显示控制模块,用于控制一显示设备至少根据确定的所述至少一视频帧的显示像距显示所述至少一视频帧。
结合本申请实施例提供的任一种视频显示控制装置,可选的,所述至少二个视频帧中的至少一视频帧包括:所述至少二个视频帧中的至少一在先视频帧。
结合本申请实施例提供的任一种视频显示控制装置,可选的,所述至少二个视频帧中至少之一视频帧包括:所述至少二个视频帧中的至少一在后视频帧。
结合本申请实施例提供的任一种视频显示控制装置,可选的,所述显示设备包括:双目显示设备;所述显示控制模块包括:一双目视差确定子模块,用于根据确定的所述至少一视频帧的显示像距,确定经所述双目显示设备显示所述至少一视频帧的双目视差;一第一显示控制子模块,用于控制所述双目显示设备根据确定的所述至少一视频帧的显示像距和所述双目视差显示所述至少一视频帧。
结合本申请实施例提供的任一种视频显示控制装置,可选的,所述显示像距确定模块包括:一第一显示像距确定子模块,用于响应于各所述帧间差异分别满足一预定条件,确定所述至少二个视频帧中的任一视频帧的显示像距大于一参考显示像距。
结合本申请实施例提供的任一种视频显示控制装置,可选的,所述显示像距确定模块包括:一第二显示像距确定子模块,用于响应于各所述帧间差异中的至少之一未满足一预定条件,根据一参考显示像距确定所述至少二个视频帧中的任一视频帧的显示像距。
结合本申请实施例提供的任一种视频显示控制装置,可选的,所述显示像距确定模块包括:一第三显示像距确定子模块,用于响应于各所述帧间差异中的至少之一未满足一预定条件,根据所述至少二个视频帧中的一在先视频帧的显示像距确定一在后视频帧的显示像距。
结合本申请实施例提供的任一种视频显示控制装置,可选的,所述至少二个视频帧中任二个相邻的视频帧之间的所述帧间差异包括:所述二个相邻的视频帧中多个相应位置像素点的光学参数差异。
结合本申请实施例提供的任一种视频显示控制装置,可选的,所述光学参数包括以下至少之一:亮度、色度、饱和度。
结合本申请实施例提供的任一种视频显示控制装置,可选的,所述预定条件包括以下至少之一:光学参数差异超过一光学参数阈值的像素点数量超过一像素点数量阈值;光学参数差异超过一光学参数阈值的像素点数量与单帧像素点总数的第一比值,超过一像素比阈值;光学参数差异超过一光学参数阈值的像素点非连续分布的区域数量,超过一区域数量阈值;光学参数差异超过一光学参数阈值的像素点连续分布的最大区域面积,超过一面积阈值;光学参数差异超过一光学参数阈值的像素点连续分布的最大区域面积与单帧总面积的第二比值,超过一面积比阈值。
结合本申请实施例提供的任一种视频显示控制装置,可选的,所述至少二个视频帧中任二个相邻的视频帧之间所述帧间差异包括:至少一显示对象在所述二个相邻的视频帧之间的位移。
结合本申请实施例提供的任一种视频显示控制装置,可选的,所述预定条件包括:所述位移对应的期望刷新信息超过所述显示设备的刷新能力信息。
结合本申请实施例提供的任一种视频显示控制装置,可选的,所述装置还包括:一第一刷新信息确定模块,用于响应于所述期望刷新信息未超过所述刷新能力信息,根据所述期望刷新信息和所述刷新能力信息确定所述显示设备的刷新信息;所述显示控制模块包括:一第二显示控制子模块,用于控制所述显示设备根据确定的所述至少一视频帧的显示像距和所述刷新信息显示所述至少一视频帧。
结合本申请实施例提供的任一种视频显示控制装置,可选的,所述预定条件包括:所述位移超出与所述显示设备的刷新能力信息对应的容许运动信息。
结合本申请实施例提供的任一种视频显示控制装置,可选的,所述装置还包括:一第二刷新信息确定模块,用于响应于所述位移未超过所述容许运动信息,根据所述刷新能力信息确定所述显示设备的刷新信息;所述显示控制模块包括:一第三显示控制子模块,用于控制所述显示设备根据确定的所述至少一视频帧的显示像距和所述刷新信息显示所述至少一视频帧。
第三方面,本申请实施例还提供了一种近眼显示设备,包括:
一处理器、一通信接口、一存储器以及一通信总线;所述处理器、所述通信接口以及所述存储器通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一指令;所述指令使所述处理器执行以下操作:
获取一视频依次相邻的至少二个视频帧中每二个相邻的视频帧之间的帧间差异;
至少根据各所述帧间差异确定所述至少二个视频帧中的至少一视频帧的显示像距;
至少根据确定的所述至少一视频帧的显示像距显示所述至少一视频帧。
本申请实施例提供的技术方案建立视频中至少二个相邻的视频帧之间的帧间差异与显示像距之间的关联,至少根据帧间差异为相应视频帧针对性的确定显示像距,根据确定的显示像距显示相应的视频帧,以通过相应视频帧的显示像距的适配调整,一定程度上弱化因帧间差异过大可能导致的用户视觉的不适感知,也就是说,通过显示像距的调整一定程度上弱化人眼对因帧间差异过大可能导致的卡屏、滞后、抖动或拖尾等显示效果的视觉感知,进而改善视觉效果和用户体验。
通过以下结合附图对本申请的可选实施例的详细说明,本申请的这些以及其它的优点将更加明显。
附图说明
本申请可以通过参考下文中结合附图所给出的描述而得到更好的理解,其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分,而且用来进一步举例说明本申请的可选实施例和解释本申请的原理和优点。在附图中:
图1为本申请实施例提供的一种视频显示控制方法的流程图;
图2为本申请实施例提供的第一种视频显示控制装置的逻辑框图;
图3为本申请实施例提供的第二种视频显示控制装置的逻辑框图;
图4为本申请实施例提供的第三种视频显示控制装置的逻辑框图;
图5为本申请实施例提供的一种显示设备的逻辑框图。
本领域技术人员应当理解,附图中的元件仅仅是为了简单和清楚起见而示出的,而且不一定是按比例绘制的。例如,附图中某些元件的尺寸可能相对于其他元件放大了,以便有助于提高对本申请实施例的理解。
具体实施方式
在下文中将结合附图对本申请的示范性实施例进行详细描述。为了清楚和简明起见,在说明书中并未描述实际实施方式的所有特征。然而,应该了解,在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定,以便实现开发人员的具体目标,例如,符合与系统及业务相关的那些限制条件,并且这些限制条件可能会随着实施方式的不同而有所改变。此外,还应该了解,虽然开发工作有可能是非常复杂和费时的,但对得益于本公开内容的本领域技术人员来说,这种开发工作仅仅是例行的任务。
在此,还需要说明的一点是,为了避免因不必要的细节而模糊了本申请,在附图和说明中仅仅描述了与根据本申请的方案密切相关的装置结构和/或处理步骤,而省略了对与本申请关系不大的、本领域普通技术人员已知的部件和处理的表示和描述。
下面结合附图(若干附图中相同的标号表示相同的元素)和实施例,对本申请的具体实施方式作进一步详细说明。以下实施例用于说明本申请,但不用来限制本申请的范围。
本领域技术人员可以理解,本申请中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等,既不代表任何特定技术含义,也不表示它们之间的必然逻辑顺序。
图1为本申请实施例提供的一种视频显示控制方法流程图。本申请实施例提供的视频显示控制方法的执行主体可为某一视频显示控制装置,所述视频显示控制装置可在但不限于视频播放之前或者视频播放期间通过执行该视频显示控制方法进行显示控制。所述视频显示控制装置的设备表现形式不受限制,例如所述视频显示控制装置可为某一独立的部件,该部件与显示设备配合通信;或者,所述视频显示控制装置可作为某一功能模块集成在一显示设备中,等等,本申请实施例对此并不限制。
具体如图1所示,本申请实施例提供的一种视频显示控制方法包括:
S101:获取一视频依次相邻的至少二个视频帧中每二个相邻的视频帧之间的帧间差异。
S102:至少根据各所述帧间差异确定所述至少二个视频帧中的至少一视频帧的显示像距。
S103:控制一显示设备至少根据确定的所述至少一视频帧的显示像距显示所述至少一视频帧。
本申请发明人在实践本申请实施例的过程中发现,对于一待显示的视频,该视频包括的各视频帧的显示像距通常采用缺省显示像距,且不同视频帧的显示像距基本相同。然而,在某些情形下,某一视频可能包括多个场景且不同场景差异较大,或者,某一视频可能存在一个或多个显示对象的运动信息的相关内容等等,这使得该视频中可能存在相邻二个视频帧之间的帧间差异过大,例如,相邻二个视频帧分别对应不同场景的内容,或者,相邻二个视频帧中同一显示对象运动速度过快等等。这些情形下受限于视频显示控制装置的数据处理能力、显示设备的余光滞留(persistence)等原因,视频显示期间可能出现卡屏、滞后、抖动或拖尾等现象,用户观看的视觉效果不佳。
研究表明,就人眼的视觉特性而言,人眼对距离较近的显示内容的视觉较为敏感,对距离较远的显示内容的视觉较不敏感。例如,对于显示内容的同一细节,该显示内容分别显示在距离人眼较近的第一位置和距离人眼较远的第二位置,则人眼对第一位置的显示内容的细节的视觉分辨率,高于人眼对第二位置的显示内容的细节的视觉分辨率。鉴于此,本申请实施例提供的技术方案建立视频中至少二个相邻的视频帧之间的帧间差异与显示像距之间的关联,至少根据帧间差异为相应视频帧针对性的确定显示像距,根据确定的显示像距显示相应的视频帧,以通过相应视频帧的显示像距的适配调整,一定程度上弱化因帧间差异过大可能导致的用户视觉的不适感知,也就是说,通过显示像距的调整一定程度上弱化人眼对因帧间差异过大可能导致的卡屏、滞后、抖动或拖尾等显示效果的视觉感知,进而改善视觉效果和用户体验。
任一视频帧的显示像距可为经该显示设备的光学部件显示的该视频帧的像距离该光学部件的距离。采用本申请实施例提供的技术方案中,某一视频中不同视频帧对应的显示像距可能不尽相同,显示设备在进行该视频显示过程中,可通过调整显示设备的光学参数来匹配不同视频帧的显示像距,所述光学参数可包括但不限于光学部件的焦距和/或折射率等;又例如,可通过对不同视频帧的内容预处理,将各视频帧的内容显示到相应深度的重对焦平面;再例如,所述显示设备可包括沿深度方向分布的不同的波导层,不同波导层用于重构不同深度平面上的光场信息,每个波导层包括若干分光镜和微型曲面反射镜,入射光线经波导层传输后成像,相当于重建一个特定深度平面上对应的对象的光场信息,通过改变不同视频帧的成像光线传输的波导层,可在不同深度上重建相应视频帧的光场信息,由此实现采用针对性的显示像距显示相应的视频帧。
本申请实施例提供的技术方案中,所述至少二个视频帧中的至少一视频帧可包括所述至少二个视频帧中的任一视频帧。可选的,所述至少二个视频帧中的至少一视频帧包括:所述至少二个视频帧中的至少一在先视频帧,和/或,所述至少二个视频帧中的至少一在后视频帧。所述在先视频帧和所述在后视频是个相对的概念,对于一视频中连续分布的N(N为大于1的整数)个视频帧而言,除了N个视频帧中的末个视频帧之外,其他的各视频帧在一定情形下都可成为一在先视频帧,同理,除了N个视频帧中的首个视频帧之外,其他的各视频帧在一定情形下都可成为一在后视频帧,例如,对于依次相邻的二个视频帧,首个视频帧即为在先视频帧,末个视频帧即为在后视频帧。
一视频中所述依次相邻的至少二个视频帧,可包括该视频中相邻的二个视频帧的情形,还可包括该视频中依次相邻的三个或三个以上视频帧的情形。在实际应用过程中,可以时间顺序,通过类似滑动时间窗的方式,确定某时间窗内包括的各视频帧中每二个相邻的视频帧之间的帧间差异,根据各所述帧间差异确定所述至少二个视频帧中的至少一帧的显示像距。例如,对于一视频中依次相邻的N个视频帧{1,2......N-2,N-1,N}而言,可分别计算N个视频帧中两两相邻的视频帧之间的帧间差异Δ1,2,Δ2,3......ΔN-2,N-1N-1,N,其中某一个视频帧的显示像距可根据确定的一个或多个帧间差异确定,如第1个视频帧的显示像距可根据第1、2个视频帧之间的帧间差异Δ1,2确定,也可根据多个帧间差异Δ1,2,Δ2,3......ΔN-2,N-1N-1,N所反映的内容变化趋势来确定等等,实现方式非常灵活。此外,某一个视频帧的显示像距可在该视频播放之前预先确定,也可在视频播放期间实时确定,本申请实施例对此均不限制。
实际应用过程中,可将各所述帧间差异分别与某一预定条件进行比较,根据比较结果采取显示像距确定的不同策略,以提高方案的普适性和灵活性。
可选的,至少根据各所述帧间差异确定所述至少二个视频帧中的至少一视频帧的显示像距,包括:响应于各所述帧间差异分别满足一预定条件,确定所述至少二个视频帧中的任一视频帧的显示像距大于一参考显示像距。为便于描述,该方案不妨称为“显示像距确定策略一”。单位时间窗内的N个(N为大于1的整数)依次相邻的视频帧中两两相邻的视频帧之间的各帧间差异,一定程度上可反映该时间窗内视频内容随时间变化的趋势。该方案将各所述帧间差异分别与一预定条件进行比较,根据比较结果对该时间窗内包括的各视频帧的显示像距相对一参考显示像距进行调整。具体而言,如果各所述帧间差异均满足所述预定条件,则说明该时间窗内视频内容随时间变化的趋势相对稳定,则可确定比某一参考显示像距较大的显示像距,作为该时间窗内包括的N个视频帧中各视频帧的显示像距,有利于提高显示像距确定的准确性;该方案相当于在实际显示过程中将N个视频帧显示在相对参考显示像距较远的某一位置处,由此利用人眼对较远处显示内容的视觉分辨率较低的特性,弱化人眼观看N个视频帧时可能导致的视觉的不适感知,由此改善观看效果和用户体验。
可选的,至少根据各所述帧间差异确定所述至少二个视频帧中的至少一视频帧的显示像距,包括:响应于各所述帧间差异中的至少之一未满足一预定条件,根据一参考显示像距确定所述至少二个视频帧中的任一视频帧的显示像距。为便于描述,该方案不妨称为“显示像距确定策略二”。如果各所述帧间差异中至少一个所述帧间差异不满足所述预定条件,则说明该时间窗内视频内容随时间变化的趋势尚未稳定,则可根据一参考显示像距确定所述至少二个视频帧中的任一视频帧的显示像距,如将N个视频帧中各视频帧的显示像距确定为参考显示像距等等。该方案有利于避免因一段时间内不同视频帧显示像距的过频调整而可能产生人眼视觉上的不适。
可选的,至少根据各所述帧间差异确定所述至少二个视频帧中的至少一视频帧的显示像距,包括:响应于各所述帧间差异中的至少之一未满足一预定条件,根据所述至少二个视频帧中的一在先视频帧的显示像距确定一在后视频帧的显示像距。为便于描述,该方案不妨称为“显示像距确定策略三”。如果各所述帧间差异中至少一个所述帧间差异不满足所述预定条件,则说明该时间窗内视频内容随时间变化的趋势尚未稳定,则可根据在先视频帧的显示像距确定在后视频帧的显示像距,例如可根据N个视频帧中首个视频帧的显示像距确定其他各视频帧的显示像距,如N个视频帧中各视频帧的显示像距均为首个视频帧的显示像距等;或者,又例如,可根据前一视频帧的显示像距确定当前视频帧的显示像距,如将前一视频帧的显示像距确定为当前视频帧的显示像距;等等。该方案有利于避免因一段时间内不同视频帧显示像距的过频调整而可能产生人眼视觉上的不适。
本申请实施例提供的技术方案中,任二个相邻的视频帧之间的帧间差异表示该二个相邻的视频帧对应的显示内容的差异程度,在实际应用过程中,可根据实际需要选择不同的参数来表示所述帧间差异,本申请实施例对此并不限制。
(1)可选的,所述至少二个视频帧中任二个相邻的视频帧之间的所述帧间差异包括:所述二个相邻的视频帧中多个相应位置像素点的光学参数差异。二个相邻的视频帧中相应位置的像素点,可包括但不限于这二个相邻的视频帧中相同索引号或相同位置对应的像素点,各相应位置像素点的光学参数差异一定程度上反映了这二个相邻的视频帧之间的帧间差异,且光学参数的差异较易捕获和量化,由此有利于降低方案实现的复杂性。
可选的,所述光学参数包括以下至少之一:亮度、色度、饱和度;亮度、色度和/或饱和度的变化可更好反映二个相邻的视频帧之间的帧间差异。基于光学参数差异的用于触发显示像距确定策略的预定条件可根据实际需要确定,本申请实施例对此并不限制,可选的,所述预定条件包括以下至少之一:
(11)光学参数差异超过一光学参数阈值的像素点数量超过一像素点数量阈值。
(12)光学参数差异超过一光学参数阈值的像素点数量与单帧像素点总数的第一比值,超过一像素比阈值。
(13)光学参数差异超过一光学参数阈值的像素点非连续分布的区域数量,超过一区域数量阈值。
(14)光学参数差异超过一光学参数阈值的像素点连续分布的最大区域面积,超过一面积阈值。
(15)光学参数差异超过一光学参数阈值的像素点连续分布的最大区域面积与单帧总面积的第二比值,超过一面积比阈值。
以上各预定条件可分别独立使用,也可结合使用,以更好捕获和量化二个相邻的视频帧之间的帧间差异,实现方式非灵活。具体而言,所述光学参数差异可包括但不限于亮度差异、色度差异和/或饱和度差异。二个相邻的视频帧相应位置的亮度差异反映了视频的时间复杂度(Temporal perceptual information,简称TI),二个相邻的视频帧相应位置的亮度差异的产生原因可包括但不限于以下至少之一:这二个相邻的视频帧相应位置的内容差异,因网络因素对视频内容的损伤等等,本申请实施例对此并不限制,其中因网络因素对视频内容的损伤可包括但不限于视频帧对应的内容未完整传输或接收等情形。下面不妨以亮度差异为例进行说明,其他光学参数差异的实现方式类似,不再赘述。
例如,所述预定条件可包括:亮度差异超过一亮度阈值的像素点数量超过一像素点数量阈值。就任二个相邻的视频帧而言,可将二个相邻的视频帧相同索引号或相同位置的像素点的亮度进行比较,得到二个相邻的视频帧的各相应像素点的亮度差异;并将各像素点对应的连读差异分别与一亮度阈值进行比较,确定出亮度差异超过该亮度阈值的像素点数量;之后,再将该像素点数量与像素点数量阈值进行比较,如果该像素点数量超过像素点数量阈值,则这二个相邻的视频帧之间的亮度差异满足该预定条件,一定程度上说明这二个相邻的视频帧之间存在较大的差异;否则,这二个相邻的视频帧之间的亮度差异不满足该预定条件,一定程度上说明这二个相邻的视频帧之间存在的差异较小。该方案通过统计如亮度等光学参数的差异的像素点的数量来反映二个相邻视频帧之间的帧间差异,可较好反映这二个相邻视频帧之间的时间复杂度,以便采取相应的显示像距确定策略,方案简单易实现。
又例如,所述预定条件可包括:亮度差异超过一亮度阈值的像素点数量与单帧像素点总数的第一比值,超过一像素比阈值。就任二个相邻的视频帧而言,可获取这二个相邻的视频帧中亮度差异超过一亮度阈值的像素点数量,并确定该像素点数量和单帧像素点总数的比值(不妨称为第一比值),将第一比值与一像素比阈值进行比较,如果该第一比值超过该像素比阈值,一定程度上说明这二个相邻的视频帧之间存在较大的差异;否则,这二个相邻的视频帧之间的亮度差异不满足该预定条件,一定程度上说明这二个相邻的视频帧之间存在的差异较小。
又例如,所述预定条件可包括:亮度差异超过一亮度阈值的像素点非连续分布的区域数量,超过一区域数量阈值。就任二个相邻的视频帧而言,可获取这二个相邻的视频帧中亮度差异超过一亮度阈值的像素点,根据不同像素点空间位置是否相邻的角度,确定这些像素点的分布情况,空间位置相邻的多个像素点所在区域视为一部分像素点连续分布的区域,从整体上来看,多个部分像素点连续分布的区域的数量即相当于亮度差异超过一亮度阈值的像素点非连续分布的区域数量。之后,将亮度差异超过一亮度阈值的像素点非连续分布的区域数量与一区域数量阈值进行比较,如果亮度差异超过一亮度阈值的像素点非连续分布的区域数量超过该区域数量阈值,则满足上述预定条件,一定程度上说明这二个相邻的视频帧之间存在差异的区域较多;否则,不满足上述条件,一定程度上说明这二个相邻的视频帧之间存在差异的区域相对较少。该方案基于亮度差异超过一亮度阈值的像素点的分布情况作为判决因素,有利于提高相邻的二个视频帧之间的帧间差异判决的准确性。
又例如,所述预定条件可包括:亮度差异超过一亮度阈值的像素点连续分布的最大区域面积,超过一面积阈值。就任二个相邻的视频帧而言,可获取这二个相邻的视频帧中亮度差异超过一亮度阈值的像素点连续分布的各区域,确定其中的最大区域的面积,并将该最大区域的面积与一面积阈值进行比较,如果该最大区域的面积超过该面积阈值,则满足该预定条件,一定程度上说明这二个相邻的视频帧之间连续存在差异的面积较大;否则,不满足该预定条件,一定程度上说明这二个相邻的视频帧之间连续存在差异的面积较小。该方案基于亮度差异超过一亮度阈值的像素点连续分布的最大区域面积作为判决因素,有利于提高相邻的二个视频帧之间的帧间差异判决的准确性。
又例如,所述预定条件可包括:亮度差异超过一亮度阈值的像素点连续分布的最大区域面积与单帧总面积的第二比值,超过一面积比阈值。就任二个相邻的视频帧而言,可获取这二个相邻的视频帧中亮度差异超过一亮度阈值的像素点连续分布的最大区域面积,并确定该最大区域面积占单帧各像素点分布的总面积的比值(不妨称为第二比值),将该第二比值与一面积比阈值进行比较,如果该第二比值超过该面积比阈值,则满足该预定条件,一定程度上说明这二个相邻的视频帧之间连续存在差异的面积所占比重较大;否则,不满足该预定条件,一定程度上说明这二个相邻的视频帧之间连续存在差异的面积所占比重相对较小。该方案基于亮度差异超过一亮度阈值的像素点连续分布的最大区域面积所占的面积比重作为判决因素,有利于提高相邻的二个视频帧之间的帧间差异判决的准确性。
如果某时间窗内包括三个或三个以上的视频帧,可采用上述方法,分别确定两两相邻的视频帧之间的亮度差异是否分别满足上述一种或多种预定条件,并根据确定结果采取相应的显示像距确定策略:如响应于两两相邻视频帧之间的各亮度差异分别满足相应的预定条件,可采取上述显示像距确定策略一确定相应视频帧的显示像距,和/或,响应于两两相邻视频帧之间的各亮度差异中的至少之一未满足相应的预定条件,可采取上述显示像距确定策略二或显示像距确定策略三确定相应视频帧的显示像距,等等。
(2)可选的,所述至少二个视频帧中任二个相邻的视频帧之间的所述帧间差异包括:至少一显示对象在所述二个相邻的视频帧之间的位移。相同显示对象在二个相邻的视频帧之间的位移反映了该显示对象的运动信息,如果位移较大,一定程度上说明在二个视频帧的刷新时段内该显示对象的运动较快,反之,如果位移较小甚至为零,一定程度上说明在这二个视频帧的刷新时段内该显示对象的运动较慢甚至相对静止。该方案通过相同显示对象在二个相邻的视频帧之间的位移,可方便捕获和量化显示对象的运动信息,由此有利于降低方案实现的复杂性。基于位移等表示的运动信息差异的用于触发显示像距确定策略的预定条件可根据实际需要确定,本申请实施例对此并不限制,可选的,所述预定条件包括以下至少之一:
(21)所述预定条件包括:所述位移对应的期望刷新信息超过所述显示设备的刷新能力信息。该方案可结合显示对象的运动信息和刷新能力信息适配相同显示对象在不同视频帧的显示像距,提高显示像距确定的针对性和有效性。
显示设备的刷新能力信息可通过该显示设备的刷新率或刷新周期来表示,如果显示设备存在多个刷新率或刷新周期,可采用其中任一刷新率或刷新周期(如该显示设备当前设置的刷新率或刷新周期等)表示该显示设备的刷新能力信息,或者,也可将最高刷新率或最短刷新周期作为该显示设备的刷新能力信息,具体可根据应用需要确定,本申请实施例对此并不限制。显示对象经显示设备所成的像可位于显示设备的显示屏上,或者,可为与显示设备的显示屏之前或之后的某个位置。
假设某一显示对象在二个相邻的视频帧之间的位移为s0,单位时间的位移即为显示对象的运动速度v。通常,人眼所看到的显示对象的像在二个相邻的视频帧的相对位移sd要小于某一阈值C(阈值的大小可根据人眼视觉特性确定,或可根据用户的视觉特点确定,或可根据经验数据确定等等)以保证就人眼看来感觉不到因显示对象的运动造成的画面抖动、滞后、拖尾等现象:
s d = Rs 0 = f d 0 s 0 = f v d 0 t ≤ C ... ( 1 )
其中,表示缩放因子,f表示某视频帧中显示对象经显示设备成像的等效焦距,d0表示某视频帧中显示对象经显示设备所成的像与人眼(如人眼瞳孔表面)之间的距离,t表示显示设备的刷新率(刷新周期为)。可根据同一显示对象在二个相邻的视频帧之间的位移确定满足公式(1)的期望刷新信息(如期望刷新率或期望刷新周期),将期望刷新信息和所述显示设备的刷新能力信息进行比较;如果期望刷新信息超过该显示设备的刷新能力信息(如期望刷新率大于该显示设备的最大刷新率,或者,期望刷新周期小于该显示设备的最小刷新周期),则这二个相邻的视频帧之间的帧间差异满足该预定条件,说明该显示设备的刷新能力不足以获得相应视频帧较好视觉效果的概率较大;反之,则这二个相邻的视频帧之间的帧间差异不满足该预定条件,说明该显示设备的刷新能力可支持相应视频帧获得较好视觉效果的概率较大。
如果某时间窗内包括三个或三个以上的视频帧,可采用上述方法,分别确定同一显示对象在两两相邻的视频帧之间的位移是否分别满足上述预定条件,并根据确定结果采取相应的显示像距确定策略:如响应于同一显示对象在两两相邻视频帧之间的各位移分别满足相应的预定条件,可采取上述显示像距确定策略一确定相应视频帧的显示像距,和/或,响应于同一显示对象在两两相邻视频帧之间的各位移中的至少之一未满足相应的预定条件,可采取上述显示像距确定策略二或显示像距确定策略三确定相应视频帧的显示像距,等等。
可选的,所述视频显示控制方法还包括:响应于所述期望刷新信息未超过所述刷新能力信息,根据所述期望刷新信息和所述刷新能力信息确定所述显示设备的刷新信息;该情形下,控制一显示设备至少根据确定的所述至少一视频帧的显示像距显示所述至少一视频帧,包括:控制所述显示设备根据确定的所述至少一视频帧的显示像距和所述刷新信息显示所述至少一视频帧。如果所述期望刷新信息未超出了所述显示设备的刷新能力信息,说明在所述显示设备的刷新能力范围内通过显示设备刷新信息的适配,可满足显示设备顺畅显示包括至少一显示对象的相应视频帧的概率较大,可设置显示设备以较大的刷新率显示相应视频帧,使得该显示设备显示相应视频帧的刷新率大于或等于或尽可能接近所述期望刷新率,这样,通过简单的显示设备的刷新信息的适配,即可满足所述至少一显示对象相对人眼视觉顺畅显示的应用需求,一定程度上减轻甚至消除人眼视觉的不适,改善观看效果和用户体验,且方案简单易实现,提高了方案的普适性。
(22)所述预定条件包括:所述位移超出与所述显示设备的刷新能力信息对应的容许运动信息。该方案可结合显示对象的运动信息和刷新能力信息适配相同显示对象在不同视频帧的显示像距,提高显示像距确定的针对性和有效性。
对公式(1)进行变形,可得:
d 0 ≥ f v C t ... ( 2 )
某视频帧中显示对象的显示像距的大小:
ds=d0-de...............................................................................(3)
其中,ds表示某视频帧中显示对象的显示像距,de表示人眼距离显示设备的距离(如人眼的瞳孔表面距离显示设备影响显示对象成像的透镜光心的距离等)。根据公式(2)和公式(3),可确定出所述显示设备最大刷新率或最小刷新周期对应的容许运动信息,将该容许运动信息与同一显示对象在二个相邻的视频帧之间的位移进行比较,如果所述位移大于所述容许运动信息,则这二个相邻的视频帧之间的帧间差异满足该预定条件,说明该显示设备的刷新能力不足以获得相应视频帧较好视觉效果的概率较大;反之,则这二个相邻的视频帧之间的帧间差异不满足该预定条件,说明该显示设备的刷新能力可支持相应视频帧获得较好视觉效果的概率较大。
如果某时间窗内包括三个或三个以上的视频帧,可采用上述方法,分别确定同一显示对象在两两相邻的视频帧之间的位移是否分别满足上述预定条件,并根据确定结果采取相应的显示像距确定策略:如响应于同一显示对象在两两相邻视频帧之间的各位移分别满足相应的预定条件,可采取上述显示像距确定策略一确定相应视频帧的显示像距,也可根据公式(2)和公式(3)确定相应视频帧的显示像距,以获得较佳的视觉效果;和/或,响应于同一显示对象在两两相邻视频帧之间的各位移中的至少之一未满足相应的预定条件,可采取上述显示像距确定策略二或显示像距确定策略三确定相应视频帧的显示像距,等等。
可选的,所述视频显示控制方法还可包括:响应于所述位移未超过所述容许运动信息,根据所述刷新能力信息确定所述显示设备的刷新信息;该情形下,控制一显示设备至少根据确定的所述至少一视频帧的显示像距显示所述至少一视频帧,包括:控制所述显示设备根据确定的所述至少一视频帧的显示像距和所述刷新信息显示所述至少一视频帧。如果同一显示对象在二个相邻的视频帧的位移未超出所述容许运动信息,则一定程度上说明在所述显示设备的刷新能力范围内通过显示设备刷新信息的适配,可满足显示设备顺畅显示包括至少一显示对象的相应视频帧的概率较大,可设置显示设备以较大的刷新率显示相应视频帧,这样,通过简单的显示设备的刷新信息的适配,即可满足所述至少一显示对象相对人眼视觉顺畅显示的应用需求,一定程度上减轻甚至消除人眼视觉的不适,改善观看效果和用户体验,且方案简单易实现,提高了方案的普适性。
本申请实施例提供的技术方案中,所述显示设备可包括但不限于光场显示器、近眼显示器、3D显示器、投影显示器、双目显示设备等等,本申请实施例对此并不限制。双目显示设备需要通过左右眼的双目视差(binary disparity)感受成像的深度,由此让用户体验到立体成像效果。在基于双目显示设备实现本申请实施例提供的技术方案的情形下,控制一显示设备至少根据确定的所述至少一视频帧的显示像距显示相应视频帧,可包括:根据确定的所述至少一视频帧的显示像距,确定经所述双目显示设备显示所述至少一视频帧的双目视差;控制所述双目显示设备根据确定的所述至少一视频帧的显示像距和所述双目视差显示所述至少一视频帧。显示对象的显示像距和该显示对象的双目视差存在一定的对应关系,如果显示像距和双目视差不匹配,则可能由于双目实际对焦(accommodation)距离和汇聚距离(convergence)的较大差异,导致人眼视觉不适。而该方案可根据相应视频帧确定的显示像距确定相应视频帧中显示对象的双目视差,由此尽可能减少由于显示像距和双目视差的不适配而导致的双目实际对焦距离和双目汇聚距离的较大差异给用户带来的视觉不适,改善视觉效果和用户体验。其中,相应视频帧中显示对象的双目视差可采用但不限于下式确定:
d = f B Z c ... ( 4 )
其中,d表示显示对象的双目视差,f表示等效透镜焦距,B表示双目显示设备中左、右显示器中心的距离,Zc表示与显示对象调整的显示像距对应的双目汇聚距离(convergence distance),其中:
| 1 Z d - 1 Z c | ≤ n , 1 3 ≤ n ≤ 2 3 ... ( 5 )
Zd表示显示对象所在相应视频帧的显示像距。实际应用中,n可为满足条件下的任一数,实现方式非常灵活。进一步的,还可根据相应视频帧中显示对象显示时间的长短确定n的数值,例如,通常以满足双目3D显示所需满足的屈光度(diopter)法则,如果显示时间较短,则可增加n的取值,例如等等。采用该方案简单易实现,有利于获得较好的视觉效果。
本领域技术人员可以理解,在本申请具体实施方式的上述任一方法中,各步骤的序号大小并不意味着执行顺序的先后,各步骤的执行顺序应以其功能和内在逻辑确定,而不应对本申请具体实施方式的实施过程构成任何限定。
图2为本申请实施例提供的一种视频显示控制装置的逻辑框图。如图2所示,本申请实施例提供的一种视频显示控制装置包括:一帧间差异获取模块21、一显示像距确定模块22和一显示控制模块23。
帧间差异获取模块21用于获取一视频依次相邻的至少二个视频帧中每二个相邻的视频帧之间的帧间差异。
显示像距确定模块22用于至少根据各所述帧间差异确定所述至少二个视频帧中的至少一视频帧的显示像距。
显示控制模块23用于控制一显示设备至少根据确定的所述至少一视频帧的显示像距显示所述至少一视频帧。
本申请实施例提供的技术方案建立视频中至少二个相邻的视频帧之间的帧间差异与显示像距之间的关联,至少根据帧间差异为相应视频帧针对性的确定显示像距,根据确定的显示像距显示相应的视频帧,以通过相应视频帧的显示像距的适配调整,一定程度上弱化因帧间差异过大可能导致的用户视觉的不适感知,也就是说,通过显示像距的调整一定程度上弱化人眼对因帧间差异过大可能导致的卡屏、滞后、抖动或拖尾等显示效果的视觉感知,进而改善视觉效果和用户体验。
所述视频显示控制装置的设备表现形式不受限制,例如所述显示控制装置可为某一独立的部件,该部件与显示设备配合通信;或者,所述显示控制装置可作为某一功能模块集成在一显示设备中,本申请实施例对此并不限制。
所述至少二个视频帧中的至少一视频帧可包括所述至少二个视频帧中的任一视频帧。可选的,所述至少二个视频帧中的至少一视频帧包括:所述至少二个视频帧中的至少一在先视频帧,和/或,所述至少二个视频帧中的至少一在后视频帧;一视频中所述依次相邻的至少二个视频帧,可包括该视频中相邻的二个视频帧的情形,还可包括该视频中依次相邻的三个或三个以上视频帧的情形;本申请实施例提供的技术方案应用范围非常广泛。
所述显示设备可包括但不限于光场显示器、近眼显示器、3D显示器、投影显示器、双目显示设备等等,本申请实施例对此并不限制。双目显示设备需要通过左右眼的双目视差(binary disparity)感受成像的深度,由此让用户体验到立体成像效果。在基于双目显示设备实现本申请实施例提供的技术方案的情形下,如图3所示,所述显示控制模块23包括:一双目视差确定子模块231和一第一显示控制子模块232。双目视差确定子模块231用于根据确定的所述至少一视频帧的显示像距,确定经所述双目显示设备显示所述至少一视频帧的双目视差;第一显示控制子模块232用于控制所述双目显示设备根据确定的所述至少一视频帧的显示像距和所述双目视差显示所述至少一视频帧。该方案可根据相应视频帧确定的显示像距确定相应视频帧中显示对象的双目视差,由此尽可能减少由于显示像距和双目视差的不适配而导致的双目实际对焦距离和双目汇聚距离的较大差异给用户带来的视觉不适,改善视觉效果和用户体验。
可选的,所述显示像距确定模块22包括:一第一显示像距确定子模块221。第一显示像距确定子模块221用于响应于各所述帧间差异分别满足一预定条件,确定所述至少二个视频帧中的任一视频帧的显示像距大于一参考显示像距。该方案将各所述帧间差异分别与一预定条件进行比较,根据比较结果对该时间窗内包括的各视频帧的显示像距相对一参考显示像距进行调整,有利于提高显示像距确定的准确性。
可选的,所述显示像距确定模块22包括:一第二显示像距确定子模块222。第二显示像距确定子模块222用于响应于各所述帧间差异中的至少之一未满足一预定条件,根据一参考显示像距确定所述至少二个视频帧中的任一视频帧的显示像距。该方案有利于避免因一段时间内不同视频帧显示像距的过频调整而可能产生人眼视觉上的不适。
可选的,所述显示像距确定模块22包括:一第三显示像距确定子模块223。第三显示像距确定子模块223用于响应于各所述帧间差异中的至少之一未满足一预定条件,根据所述至少二个视频帧中的一在先视频帧的显示像距确定一在后视频帧的显示像距。该方案有利于避免因一段时间内不同视频帧显示像距的过频调整而可能产生人眼视觉上的不适。
可选的,所述至少二个视频帧中任二个相邻的视频帧之间的所述帧间差异包括:所述二个相邻的视频帧中多个相应位置像素点的光学参数差异。各相应位置像素点的光学参数差异一定程度上反映了这二个相邻的视频帧之间的帧间差异,且光学参数的差异较易捕获和量化,由此有利于降低方案实现的复杂性。其中,所述光学参数可包括以下至少之一:亮度、色度、饱和度。亮度、色度和/或饱和度的变化可更好反映二个相邻的视频帧之间的帧间差异。所述预定条件包括以下至少之一:光学参数差异超过一光学参数阈值的像素点数量超过一像素点数量阈值;光学参数差异超过一光学参数阈值的像素点数量与单帧像素点总数的第一比值,超过一像素比阈值;光学参数差异超过一光学参数阈值的像素点非连续分布的区域数量,超过一区域数量阈值;光学参数差异超过一光学参数阈值的像素点连续分布的最大区域面积,超过一面积阈值;光学参数差异超过一光学参数阈值的像素点连续分布的最大区域面积与单帧总面积的第二比值,超过一面积比阈值。以上各预定条件可分别独立使用,也可结合使用,以更好捕获和量化二个相邻的视频帧之间的帧间差异,实现方式非灵活。
可选的,所述至少二个视频帧中任二个相邻的视频帧之间所述帧间差异包括:至少一显示对象在所述二个相邻的视频帧之间的位移。该方案通过相同显示对象在二个相邻的视频帧之间的位移,可方便捕获和量化显示对象的运动信息,由此有利于降低方案实现的复杂性。
一种可选的实现方式中,所述预定条件可包括:所述位移对应的期望刷新信息超过所述显示设备的刷新能力信息;该方案可结合显示对象的运动信息和刷新能力信息适配相同显示对象在不同视频帧的显示像距,提高显示像距确定的针对性和有效性。进一步可选的,该情形下,如图4所示,所述装置还可包括:一第一刷新信息确定模块24,所述显示控制模块23可包括:一第二显示控制子模块233;第一刷新信息确定模块24用于响应于所述期望刷新信息未超过所述刷新能力信息,根据所述期望刷新信息和所述刷新能力信息确定所述显示设备的刷新信息;第二显示控制子模块233用于控制所述显示设备根据确定的所述至少一视频帧的显示像距和所述刷新信息显示所述至少一视频帧。该方案通过简单的显示设备的刷新信息的适配,即可满足所述至少一显示对象相对人眼视觉顺畅显示的应用需求,一定程度上减轻甚至消除人眼视觉的不适,改善观看效果和用户体验,且方案简单易实现,提高了方案的普适性。
另一种可选的实现方式中,所述预定条件包括:所述位移超出与所述显示设备的刷新能力信息对应的容许运动信息;该方案可结合显示对象的运动信息和刷新能力信息适配相同显示对象在不同视频帧的显示像距,提高显示像距确定的针对性和有效性。进一步可选的,该情形下,所述装置还包括:一第二刷新信息确定模块25,所述显示控制模块包括:一第三显示控制子模块234;第二刷新信息确定模块25用于响应于所述位移未超过所述容许运动信息,根据所述刷新能力信息确定所述显示设备的刷新信息;第三显示控制子模块234用于控制所述显示设备根据确定的所述至少一视频帧的显示像距和所述刷新信息显示所述至少一视频帧。该方案通过简单的显示设备的刷新信息的适配,即可满足所述至少一显示对象相对人眼视觉顺畅显示的应用需求,一定程度上减轻甚至消除人眼视觉的不适,改善观看效果和用户体验,且方案简单易实现,提高了方案的普适性。
图5为本申请实施例提供的一种显示设备的结构框图,本申请具体实施例并不对显示设备500的具体实现方式做限定。如图5所示,显示设备500可以包括:
处理器(Processor)510、通信接口(Communications Interface)520、存储器(Memory)530、以及通信总线540。其中:
处理器510、通信接口520、以及存储器530通过通信总线540完成相互间的通信。
通信接口520,用于与比如具有通信功能的外部设备通信。
处理器510,用于执行程序532,具体可以执行上述任一方法实施例中的相关步骤。
例如,程序532可以包括程序代码,所述程序代码包括至少一计算机操作指令。
处理器510可能是一个中央处理器(Central Processing Unit,简称CPU),或者是特定集成电路(Application Specific Integrated Circuit,简称ASIC),或者是被配置成实施本申请实施例的一个或多个集成电路。
存储器530,用于存放程序532。存储器530可能包含随机存取存储器(Random Access Memory,简称RAM),也可能还包括非易失性存储器(Non-volatile memory),例如至少一个磁盘存储器。例如,在一种可选的实现方式中,处理器510通过执行程序532可执行以下步骤:获取一视频依次相邻的至少二个视频帧中每二个相邻的视频帧之间的帧间差异;至少根据各所述帧间差异确定所述至少二个视频帧中的至少一视频帧的显示像距;至少根据确定的所述至少一视频帧的显示像距显示所述至少一视频帧。在其他可选的实现方式中,处理器510通过执行程序532还可执行上述其他任一实施例提及的步骤,在此不再赘述。
程序532中各步骤的具体实现可以参见上述实施例中的相应步骤、模块、子模块、单元中对应的描述,在此不再赘述。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备和模块的具体工作过程,可以参考前述方法实施例中的对应过程描述,在此不再赘述。
在本申请上述各实施例中,实施例的序号和/或先后顺序仅仅便于描述,不代表实施例的优劣。对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。有关装置、设备或系统实施例的实施原理或过程的相关描述,可参见相应方法实施例的记载,在此不再赘述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及方法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请的装置、方法、系统等实施例中,显然,各部件(系统、子系统、模块、子模块、单元、子单元等)或各步骤是可以分解、组合和/或分解后重新组合的。这些分解和/或重新组合应视为本申请的等效方案。同时,在上面对本申请具体实施例的描述中,针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用,与其它实施方式中的特征相组合,或替代其它实施方式中的特征。
应该强调,术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在,但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
最后应说明的是:以上实施方式仅用于说明本申请,而并非对本申请的限制,有关技术领域的普通技术人员,在不脱离本申请的精神和范围的情况下,还可以做出各种变化和变型,因此所有等同的技术方案也属于本申请的范畴,本申请的专利保护范围应由权利要求限定。

Claims (10)

1.一种视频显示控制方法,其特征在于,包括:
获取一视频依次相邻的至少二个视频帧中每二个相邻的视频帧之间的帧间差异;
至少根据各所述帧间差异确定所述至少二个视频帧中的至少一视频帧的显示像距;
控制一显示设备至少根据确定的所述至少一视频帧的显示像距显示所述至少一视频帧。
2.根据权利要求1所述的方法,其特征在于,所述至少二个视频帧中的至少一视频帧包括:所述至少二个视频帧中的至少一在先视频帧。
3.根据权利要求1或2所述的方法,其特征在于,所述至少二个视频帧中至少之一视频帧包括:所述至少二个视频帧中的至少一在后视频帧。
4.根据权利要求1-3任一所述的方法,其特征在于,所述显示设备包括:双目显示设备;
控制一显示设备至少根据确定的所述至少一视频帧的显示像距显示相应视频帧,包括:
根据确定的所述至少一视频帧的显示像距,确定经所述双目显示设备显示所述至少一视频帧的双目视差;
控制所述双目显示设备根据确定的所述至少一视频帧的显示像距和所述双目视差显示所述至少一视频帧。
5.根据权利要求1-4任一所述的方法,其特征在于,至少根据各所述帧间差异确定所述至少二个视频帧中的至少一视频帧的显示像距,包括:
响应于各所述帧间差异分别满足一预定条件,确定所述至少二个视频帧中的任一视频帧的显示像距大于一参考显示像距。
6.一种视频显示控制装置,其特征在于,包括:
一帧间差异获取模块,用于获取一视频依次相邻的至少二个视频帧中每二个相邻的视频帧之间的帧间差异;
一显示像距确定模块,用于至少根据各所述帧间差异确定所述至少二个视频帧中的至少一视频帧的显示像距;
一显示控制模块,用于控制一显示设备至少根据确定的所述至少一视频帧的显示像距显示所述至少一视频帧。
7.根据权利要求6所述的装置,其特征在于,所述至少二个视频帧中的至少一视频帧包括:所述至少二个视频帧中的至少一在先视频帧。
8.根据权利要求6或7所述的装置,其特征在于,所述至少二个视频帧中至少之一视频帧包括:所述至少二个视频帧中的至少一在后视频帧。
9.根据权利要求6-8任一所述的装置,其特征在于,
所述显示设备包括:双目显示设备;
所述显示控制模块包括:
一双目视差确定子模块,用于根据确定的所述至少一视频帧的显示像距,确定经所述双目显示设备显示所述至少一视频帧的双目视差;
一第一显示控制子模块,用于控制所述双目显示设备根据确定的所述至少一视频帧的显示像距和所述双目视差显示所述至少一视频帧。
10.一种显示设备,其特征在于,包括:
一处理器、一通信接口、一存储器以及一通信总线;所述处理器、所述通信接口以及所述存储器通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一指令;所述指令使所述处理器执行以下操作:
获取一视频依次相邻的至少二个视频帧中每二个相邻的视频帧之间的帧间差异;
至少根据各所述帧间差异确定所述至少二个视频帧中的至少一视频帧的显示像距;
至少根据确定的所述至少一视频帧的显示像距显示所述至少一视频帧。
CN201510290908.5A 2015-05-30 2015-05-30 视频显示控制方法和装置、显示设备 Active CN106303499B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510290908.5A CN106303499B (zh) 2015-05-30 2015-05-30 视频显示控制方法和装置、显示设备
US15/167,877 US10136117B2 (en) 2015-05-30 2016-05-27 Video display control methods and apparatuses and display devices

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510290908.5A CN106303499B (zh) 2015-05-30 2015-05-30 视频显示控制方法和装置、显示设备

Publications (2)

Publication Number Publication Date
CN106303499A true CN106303499A (zh) 2017-01-04
CN106303499B CN106303499B (zh) 2018-10-16

Family

ID=57399528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510290908.5A Active CN106303499B (zh) 2015-05-30 2015-05-30 视频显示控制方法和装置、显示设备

Country Status (2)

Country Link
US (1) US10136117B2 (zh)
CN (1) CN106303499B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996041227A1 (en) * 1995-06-07 1996-12-19 Meso Scale Technologies Three-dimensional imaging system
US20050179868A1 (en) * 2004-02-13 2005-08-18 Angstrom Inc. Three-dimensional display using variable focusing lens
CN101059600A (zh) * 2007-05-29 2007-10-24 东南大学 可变焦透镜三维显示器
CN101300520A (zh) * 2005-11-02 2008-11-05 皇家飞利浦电子股份有限公司 用于3维显示的光学系统
CN102466888A (zh) * 2010-10-31 2012-05-23 点晶科技股份有限公司 用来显示立体影像的光学系统及其相关方法
CN103079037A (zh) * 2013-02-05 2013-05-01 哈尔滨工业大学 基于远近景切换的自适应电子稳像方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPM701394A0 (en) 1994-07-22 1994-08-18 Monash University A graphical display system
JPH08154247A (ja) * 1994-09-29 1996-06-11 Sanyo Electric Co Ltd 圧縮画像データ処理装置及び方法
US7391436B2 (en) * 2001-08-28 2008-06-24 Canon Kabushiki Kaisha Image processing apparatus with comparing of difference of camera operation information between image data of plural sections in input image data
KR100437974B1 (ko) * 2002-05-11 2004-07-02 주식회사 메디슨 측면거리 상관함수를 이용한 3차원 초음파 영상 형성 방법및 장치
US7050078B2 (en) 2002-12-19 2006-05-23 Accenture Global Services Gmbh Arbitrary object tracking augmented reality applications
US7964803B2 (en) * 2003-03-17 2011-06-21 Nippon Steel Corporation Magnetic shield structure having openings and a magnetic material frame therefor
US7692642B2 (en) 2004-12-30 2010-04-06 Intel Corporation Method and apparatus for controlling display refresh
JP4620126B2 (ja) * 2005-10-25 2011-01-26 三菱電機株式会社 映像識別装置
WO2007049381A1 (ja) * 2005-10-27 2007-05-03 Mitsubishi Electric Corporation 映像要約装置
WO2008078736A1 (ja) * 2006-12-27 2008-07-03 Nec Corporation 同一性判定装置、同一性判定方法および同一性判定用プログラム
EP2302588B1 (en) 2009-08-21 2012-02-29 Telefonaktiebolaget L M Ericsson (Publ) Method and apparatus for estimation of interframe motion fields
US9596453B2 (en) 2010-06-14 2017-03-14 Lg Electronics Inc. Electronic device and control method thereof
CN102447919A (zh) 2010-10-08 2012-05-09 宏碁股份有限公司 三维视频图像调整方法及装置
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US9897805B2 (en) 2013-06-07 2018-02-20 Sony Interactive Entertainment Inc. Image rendering responsive to user actions in head mounted display
US10165250B2 (en) * 2011-08-12 2018-12-25 Google Technology Holdings LLC Method and apparatus for coding and transmitting 3D video sequences in a wireless communication system
KR102440195B1 (ko) 2011-11-23 2022-09-02 매직 립, 인코포레이티드 3차원 가상 및 증강 현실 디스플레이 시스템
US20130182184A1 (en) 2012-01-13 2013-07-18 Turgay Senlet Video background inpainting
JP6114495B2 (ja) * 2012-02-20 2017-04-12 キヤノン株式会社 画像表示装置及び画像表示方法、撮影システム
US20130285885A1 (en) 2012-04-25 2013-10-31 Andreas G. Nowatzyk Head-mounted light-field display
AU2013274359B2 (en) 2012-06-11 2017-05-25 Magic Leap, Inc. Multiple depth plane three-dimensional display using a wave guide reflector array projector
US9645395B2 (en) 2013-03-15 2017-05-09 Mark Bolas Dynamic field of view throttling as a means of improving user experience in head mounted virtual environments
US20140375540A1 (en) 2013-06-24 2014-12-25 Nathan Ackerman System for optimal eye fit of headset display device
JP6587610B2 (ja) 2013-10-11 2019-10-09 マウナ ケア テクノロジーズ 映像医療機器により取得した画像を処理するシステムおよびそのシステムの作動方法
CN105022982B (zh) 2014-04-22 2019-03-29 北京邮电大学 手部运动识别方法和装置
US20160205291A1 (en) * 2015-01-09 2016-07-14 PathPartner Technology Consulting Pvt. Ltd. System and Method for Minimizing Motion Artifacts During the Fusion of an Image Bracket Based On Preview Frame Analysis

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996041227A1 (en) * 1995-06-07 1996-12-19 Meso Scale Technologies Three-dimensional imaging system
CN1193389A (zh) * 1995-06-07 1998-09-16 雅各布·N·沃斯塔德特 三维成象系统
CN1645187A (zh) * 1995-06-07 2005-07-27 雅各布N.沃斯塔德特 三维成象系统
US20050179868A1 (en) * 2004-02-13 2005-08-18 Angstrom Inc. Three-dimensional display using variable focusing lens
CN101300520A (zh) * 2005-11-02 2008-11-05 皇家飞利浦电子股份有限公司 用于3维显示的光学系统
CN101059600A (zh) * 2007-05-29 2007-10-24 东南大学 可变焦透镜三维显示器
CN102466888A (zh) * 2010-10-31 2012-05-23 点晶科技股份有限公司 用来显示立体影像的光学系统及其相关方法
CN103079037A (zh) * 2013-02-05 2013-05-01 哈尔滨工业大学 基于远近景切换的自适应电子稳像方法

Also Published As

Publication number Publication date
US10136117B2 (en) 2018-11-20
US20160353077A1 (en) 2016-12-01
CN106303499B (zh) 2018-10-16

Similar Documents

Publication Publication Date Title
Kim et al. Foveated AR: dynamically-foveated augmented reality display.
EP3948402B1 (en) Pupil tracking system and method, and digital display device and digital image rendering system and method using same
EP2230988B1 (en) Method of simulating blur in digitally processed images
CN103353663B (zh) 成像调整装置及方法
CN106303498B (zh) 视频显示控制方法和装置、显示设备
CN109073897B (zh) 用于为电子信息装置提供显示装置的方法
US20050146788A1 (en) Software out-of-focus 3D method, system, and apparatus
JP2005295004A (ja) 立体画像処理方法および立体画像処理装置
EP1158338A2 (en) Method for simulating an ocular optical system and apparatus therefor
CN104598180A (zh) 显示控制方法、装置及近眼显示设备
CN106063242A (zh) 用于控制颤抖可见性的系统和方法
CN115191005A (zh) 用于从多视图图像进行端到端场景重建的系统和方法
WO2010044383A1 (ja) 眼鏡の視野画像表示装置及び眼鏡の視野画像表示方法
Wu et al. Realistic rendering of bokeh effect based on optical aberrations
CN104656257A (zh) 信息处理方法及电子设备
CN106293561A (zh) 显示控制方法和装置、显示设备
CN106774929A (zh) 一种虚拟现实终端的显示处理方法和虚拟现实终端
Ebner et al. Video see-through mixed reality with focus cues
CN101968880A (zh) 一种图像散景效果的生成方法
CN104506846B (zh) 高分辨率显示控制方法和装置
CN113613547A (zh) 用于针对视觉任务评估视觉设备的性能的装置和方法
CN106291953A (zh) 显示控制方法和装置
JP2024504012A (ja) 拡張現実デバイス及び仮想現実デバイスのための逆パスススルー眼鏡
CN106303499A (zh) 视频显示控制方法和装置、显示设备
CN106303315A (zh) 视频显示控制方法和装置、显示设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant