CN108124509A - 图像显示方法、穿戴式智能设备及存储介质 - Google Patents

图像显示方法、穿戴式智能设备及存储介质 Download PDF

Info

Publication number
CN108124509A
CN108124509A CN201780002486.4A CN201780002486A CN108124509A CN 108124509 A CN108124509 A CN 108124509A CN 201780002486 A CN201780002486 A CN 201780002486A CN 108124509 A CN108124509 A CN 108124509A
Authority
CN
China
Prior art keywords
image plane
plane
image
adjustment
wearable intelligent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780002486.4A
Other languages
English (en)
Other versions
CN108124509B (zh
Inventor
崔华坤
王恺
廉士国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cloudminds Shanghai Robotics Co Ltd
Original Assignee
Cloudminds Shenzhen Robotics Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloudminds Shenzhen Robotics Systems Co Ltd filed Critical Cloudminds Shenzhen Robotics Systems Co Ltd
Publication of CN108124509A publication Critical patent/CN108124509A/zh
Application granted granted Critical
Publication of CN108124509B publication Critical patent/CN108124509B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/144Processing image signals for flicker reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/167Synchronising or controlling image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Abstract

本公开是关于一种图像显示方法、穿戴式智能设备及存储介质,用于解决使用穿戴式智能设备观看立体画面时焦点调节与辐辏之间的矛盾,缓解视疲劳,提高穿戴式智能设备的舒适性。所述方法包括:在通过眼动跟踪装置检测到用户双眼在虚拟场景中关注的位置由第一位置变化到第二位置时,确定所述第二位置对应的目标汇聚平面;根据所述目标汇聚平面,通过像平面调整装置对所述穿戴式智能设备显示屏的像平面所在的位置进行调整;在调整过程中的每一个调整时刻,针对虚拟场景中对应的像平面位置,实时地进行图像的景深渲染,并通过所述显示屏显示景深渲染后的图像。

Description

图像显示方法、穿戴式智能设备及存储介质
技术领域
本公开涉及电子技术领域,具体涉及一种图像显示方法、穿戴式智能设备及存储介质。
背景技术
虚拟现实(Virtual Reality,VR)和增强现实(Augmented Reality,AR)是一种利用仿真技术给用户创造实时交互的三维虚拟显示的技术,它通过头盔式显示器、数据手套等辅助设备,使用户可浏览虚拟场景并与之进行互动。这两种技术是计算机技术、交互传感技术、人机接口技术和人工智能技术等多种新技术的结晶。
但是,在VR或双目AR显示中,因为双眼的焦点调节与辐辏之间的矛盾易引发头晕、恶心、视疲劳等不良反应。其中,焦点调节是指人眼为了看清物体时自动改变屈光能力的现象,光线通过角膜和晶状体投影到视网膜上成像,观察不同距离的物体需要通过不同的调节来适应,调节能力是通过改变晶状体的形状和睫状肌的收缩来完成的,是双眼分别观察物体时人眼的生理机能所做的变化。辐辏是指人眼注视物体时,双眼视轴向内外聚合所做的辐合运动。当双眼的视轴会聚在物体上时,光线恰好对准视网膜的中央凹,这样可以保证观察的物体图像落在视网膜最敏感的位置,此时人眼的线分辨率最高。
在实际生活中,调节与辐辏的协调联动使得人眼能够完成对不同深度物体的注视动作。当双眼在观察实物时,人眼的调节与辐辏功能是保持一致、协调运作的,即双眼到双眼视轴会聚点的距离与注视物体时眼睛的调节距离相等。但是,而当人眼观看VR或AR中的立体图像时,调节与辐辏功能会发生冲突。当观看立体图像时,双眼会聚于立体图像上,辐辏的距离为大脑融合出来的虚拟立体图像到人眼的距离,而焦点调节的距离仍然是实际显示画面(也就是光学系统中的像面)到人眼的距离。即焦点调节的距离是固定的,当显示屏画面的视差量不断变化时,辐辏的距离会不断变化,这会加剧辐辏与焦点调节距离的不一致,增加视疲劳。
目前尚无较好的解决焦点调节与辐辏距离不一致导致视疲劳问题的方法。
发明内容
为克服相关技术中存在的问题,本公开提供一种图像显示方法、穿戴式智能设备及存储介质,用于解决使用穿戴式智能设备观看立体画面时焦点调节与辐辏之间的矛盾,缓解视疲劳,提高穿戴式智能设备的舒适性。
根据本公开实施例的第一方面,提供一种图像显示方法,应用于穿戴式智能设备,包括:
在通过眼动跟踪装置检测到用户双眼在虚拟场景中关注的位置由第一位置变化到第二位置时,确定所述第二位置对应的目标汇聚平面;
根据所述目标汇聚平面,通过像平面调整装置对所述穿戴式智能设备显示屏的像平面所在的位置进行调整;
在调整过程中的每一个调整时刻,针对虚拟场景中对应的像平面位置,实时地进行图像的景深渲染,并通过所述显示屏显示景深渲染后的图像。
根据本公开实施例的第二方面,提供一种穿戴式智能设备,包括:
显示屏;
眼动跟踪装置,用于监测配戴所述穿戴式智能设备的用户的眼动信息;
像平面调整装置,用于调整所述显示屏的像平面的位置;
处理器,与所述显示屏、所述眼动跟踪装置、及所述像平面调整装置均相连,用于在通过所述眼动跟踪装置检测到用户双眼在虚拟场景中关注的位置由第一位置变化到第二位置时,确定所述第二位置对应的目标汇聚平面;根据所述目标汇聚平面,通过所述像平面调整装置对所述像平面所在的位置进行调整;在调整过程中的每一个调整时刻,针对虚拟场景中对应的像平面位置,实时地进行图像的景深渲染,并通过所述显示屏显示景深渲染后的图像。
根据本公开实施例的第三方面,提供一种计算机程序产品,所述计算机程序产品包含能够由可编程的装置执行的计算机程序,所述计算机程序具有当由所述可编程的装置执行时用于执行上述第一方面中任一项所述的方法的代码部分。
根据本公开实施例的第四方面,提供一种非临时性计算机可读存储介质,所述非临时性计算机可读存储介质中包括一个或多个程序,所述一个或多个程序用于执行上述第一方面中任一项所述的方法。
本公开的实施例提供的技术方案可以包括以下有益效果:
本公开实施例中,穿戴式智能设备能够在检测到用户双眼在虚拟场景中关注的位置发生变化时,可以对显示屏的像平面的位置进行调整,进而使得像平面的位置与用户关注的物体的空间位置保持同步,有效缓解视疲劳,同时,在像平面的调整过程中的每一个调整时刻,可以实时地基于当前像平面的位置进行图像的景深渲染,进而通过显示屏实时地显示当前像平面下渲染的图像,可以进一步提升穿戴式智能设备的舒适性。
附图说明
附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:
图1是根据一示例性实施例示出的一种图像显示方法的流程图;
图2A-图2B是根据一示例性实施例示出的像平面调整装置的示意图;
图3是根据一示例性实施例示出的一种像平面位置调整示意图;
图4是根据一示例性实施例示出的一种调整时刻与像平面位置对应关系示意图;
图5是根据一示例性实施例示出的一种像平面位置调整示意图;
图6是根据一示例性实施例示出的一种穿戴式智能设备的结构示意图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本公开,并不用于限制本公开。
本公开实施例中,穿戴式智能设备可以是任意的AR设备或VR设备,比如VR智能眼镜、VR智能头盔,等等。
请参考图1,图1是根据一示例性实施例示出的一种应用于穿戴式智能设备的图像显示方法的流程图。如图1所示,该方法包括以下步骤。
步骤S11:在通过眼动跟踪装置检测到用户双眼在虚拟场景中关注的位置由第一位置变化到第二位置时,确定第二位置对应的目标汇聚平面。
步骤S12:根据目标汇聚平面,通过像平面调整装置对穿戴式智能设备显示屏的像平面所在的位置进行调整。
步骤S13:在调整过程中的每一个调整时刻,针对虚拟场景中对应的像平面位置,实时地进行图像的景深渲染,并通过显示屏显示景深渲染后的图像。
穿戴式智能设备运行过程中,眼动跟踪装置可以实时地检测用户双眼的凝视方向,即双眼的光轴方向,根据两光轴会聚的位置,可以确定双眼关注的物体,进而确定物体在虚拟场景中的位置,以及该位置在虚拟场景中对应的平面(称为汇聚平面)。在通过眼动跟踪装置检测到用户在虚拟场景中关注的位置发生变化,比如从第一位置变化到了第二位置,可以确定变化后的位置对应的汇聚平面,即第二位置对应的目标汇聚平面。
可以根据目标汇聚平面的位置,来对穿戴式智能设备显示屏的像平面的位置进行调整,让像平面尽量与目标汇聚平面重合,进而解决焦点调节与辐辏的协调矛盾,有效缓解视疲劳。对于调整像平面的方式,本公开实施例作限定,以下对可能的方式进行说明。
可选的,像平面调整装置可以是用于控制显示屏机械运动的装置、液体透镜、或变焦光学系统。
可以通过像平面调整装置来调整像平面的位置。例如,像平面调整装置为用于控制显示屏机械运动的装置,那么可以通过驱动像平面调整装置的机械运动来带动显示屏移动,即通过调整物距来达到改变像距的目的。或者例如,像平面调整装置可以是液体透镜或变焦光学系统,请参见图2A,目前的AR或VR设备包括有显示屏和设置在显示屏一侧的凸透镜,在本公开中,如图2B所示,可以采用液体透镜或者变焦光学系统来替换原来的凸透镜,那么可以通过变焦光学系统直接改变焦距,或者通过调整液体透镜的折射率、曲率等参数来改变焦距,进而通过调整焦距来达到改变相距的目的。
通过以上方式可以较好地达到调整像平面的目的,有利于进一步更好地进行图像显示。
考虑到在实际操作过程中,像平面的调整需要一定的时间,像平面会滞后于用户双眼的汇聚平面。本公开中,为了进一步提升通过穿戴式智能眼镜观看立体画面的舒适性,可以在像平面调整过程中的每一个调整时刻,针对虚拟场景中对应的像平面位置的图像进行景深渲染,避免了以汇聚平面的图像来渲染图像导致的物体的空间深度与理论的虚拟物体深度不符的情况。以下将对调整过程中,实时渲染图像的可能的方式进行说明。
第一种方式:可选的,在确定第二位置对应的目标汇聚平面之后,还可以根据第一位置对应的初始汇聚平面、目标汇聚平面、及像平面调整装置的调整参数,确定调整像平面所需的调整时长,然后生成调整时长内包括的每一个调整时刻与像平面位置的对应关系。在像平面调整过程中,可以根据得到的对应关系,确定当前时刻对应的像平面位置;然后实时地对当前时刻对应的像平面位置进行景深渲染并通过显示屏显示。
第二种方式:可选的,在生成调整时长内包括的每一个调整时刻与像平面位置的对应关系后,在像平面调整过程中,还可以根据得到的对应关系,确定当前时刻加上渲染时长后的目标时刻对应的像平面位置,然后实时地对目标时刻对应的像平面位置进行景深渲染并通过显示屏显示,其中,所述渲染时长为渲染一幅图像所需的时长。
对于不同的像平面调整装置,调整参数可能不同,比如,像平面调整装置为用于控制显示屏机械运动的装置,那么调整参数可以包括装置进行机械运动的步长、速度等;或者,像平面调整装置为液体透镜,那么调整参数可以包括液体透镜调节曲率或折射率的最小单位、快慢等;或者,像平面调整装置为变焦光学系统,那么调整参数可以包括变焦光学系统调整焦距的最小单位、快慢等。
可以根据用户双眼观看物体变化前后的初始汇聚平面、目标汇聚平面、像平面调整装置的调整参数、以及高斯成像公式1/u+1/v=1/f(u表示物距,v表示像距,f表示焦距)来确定将像平面从初始汇聚平面的位置移动到目标汇聚平面的位置需要多少时间以及过程中像平面位置的变化情况,进而生成调整时刻与像平面位置的对应关系,那么在像平面调整过程中的每一个调整时刻,均可以在生成的对应关系中找到当前时刻所对应的像平面的位置,进而实时的对当前时刻对应的像平面位置的图像进行景深渲染,并实时地通过显示屏进行显示。
以下对上述两种方式举例进行说明。
例如,请参见图3,像平面调整装置比如是用于控制显示屏机械运动的装置,在t1时刻,人眼看到的是物体A,此时显示屏在位置S1处,像平面在位置Z1处,双眼光轴(Ar和Al)汇聚平面(即初始汇聚平面)在Z1处。此时,不存在焦点调节与辐辏距离不一致的冲突。
在下一个t2时刻,双眼转看物体B,此时物体B为正视差,双眼光轴(Br和Bl)汇聚(即目标汇聚平面)在Z2处,但人眼聚焦平面仍然在Z1平面,因此存在VAC冲突。从t2时刻起,通过眼动跟踪在t3时刻检测到双眼看物体B,此时像平面调节装置开始控制显示屏位置从S1开始向S2移动。假设计算出显示屏的移动时间为Δt1,那么可以根据Z1、Z2、和像平面调整装置的调整参数生成如图4所示的对应关系,通过该对应关系可以获知移动过程中的每一移动时刻对应的像平面位置。
那么在显示屏移动过程中,在某个t时刻,此时显示屏上的图像应该显示何处处置的渲染图像。本公开提出在t时刻的渲染图像所处位置Z为当前时刻像平面所处位置Zt的函数,该函数可以有如下表达形式:
其中,Δt2为渲染一幅图像所需的时长。
也即是说,在像平面调整过程中的t时刻,根据生成的时刻与像平面位置的对应关系,可以对当前的t时刻对应的像平面进行图像的景深渲染;或者也可以在t时刻,根据像平面调节装置的运动规律,预测t+Δt2时刻时,像平面可能运动到的位置渲染位置处的图像,当渲染完成后,像平面恰可以运动到位置,即
通过以上方式,在像平面在移动过程中,可以根据像平面实际可能的位置来渲染显示图像,使得用户看到的虚拟物体的空间深度与理论的虚拟物体深度保持一致,提升了使用穿戴式智能设备观看立体图像的舒适性。
可选的,根据目标汇聚平面,通过像平面调整装置对穿戴式智能设备显示屏的像平面所在的位置进行调整,可以按照像平面调整装置的调整精度,确定像平面能够到达的距离目标汇聚平面最近的目标位置,将像平面调整至目标位置。
由于像平面调整装置的调整精度的原因(比如电磁组、液压、气动或马达等机械结构,都存在固定的最小步长),像平面的移动会有最小单位,因此有可能像平面调整的最终的位置不能与目标汇聚平面重合。并且由于透镜的放大作用,这种误差会显得很大。如果将像平面调节装置的步长精度降低,虽然会减少误差,但是会像平面调整过程的时间变长,加重了延迟。
如图5所示,比如根据像平面移动的最小单位,像平面的位置只能调到位置1或位置2上,其中位置1离目标汇聚平面Z2更近,因此最终会将像平面的移动到位置1处。那么这种情况下,在像平面移动到位置1后,会按照位置1的图像进行景深渲染,而不是按照汇聚平面Z2来渲染。在生成的如图4所示的调整时刻与像平面位置的对应关系中,像平面位置Z2将是实际的像平面的位置(比如图5中的位置1)。通过这样的方式,解决了因机械运动步长精度等原因导致的像平面位置误差问题,进一步提升了穿戴式智能设备的观看舒适性。
可选的,还可以获取当前配戴穿戴式智能设备的用户的用户信息,然后根据用户信息,对像平面调整装置的调整参数进行设置。
获取当前配戴穿戴式智能设备的用户的用户信息,可以通过摄像头对用户特征进行识别,或者也可以由用户自行选择,等等。
例如,有的用户习惯快速变换着观看不同位置的物体,那么比如对于机械式的像平面调整装置,可以将步长边长,从而能够更快的对像平面位置进行调整。通过这样的方式,给穿戴式智能设备增添了新的功能,提高了穿戴式智能设备的智能化程度。
当然,穿戴式智能设备还可以统计用户使用过程中关注的不同物体,进而获得用户感兴趣的事物,有利于为用户提供内容评价、广告推送等服务。
请参见图6,基于同一发明构思,本公开实施例提供一种穿戴式智能设备600(以智能眼镜为例),该穿戴式智能设备600可以包括:
显示屏601;
眼动跟踪装置602,用于监测配戴穿戴式智能设备600的用户的眼动信息;
像平面调整装置603,用于调整显示屏的像平面的位置;
处理器604,与显示屏601、眼动跟踪装置602、及像平面调整装置603均相连,用于在通过眼动跟踪装置602检测到用户双眼在虚拟场景中关注的位置由第一位置变化到第二位置时,确定第二位置对应的目标汇聚平面;根据目标汇聚平面,通过像平面调整装置603对像平面所在的位置进行调整;在调整过程中的每一个调整时刻,针对虚拟场景中对应的像平面位置,实时地进行图像的景深渲染,并通过显示屏601显示景深渲染后的图像。
可选的,处理器604还用于:
在确定第二位置对应的目标汇聚平面之后,根据第一位置对应的初始汇聚平面、目标汇聚平面、及像平面调整装置603的调整参数,确定调整像平面所需的调整时长;
生成调整时长内包括的每一个调整时刻与像平面位置的对应关系;
根据对应关系,确定当前时刻对应的像平面位置;
对当前时刻对应的像平面位置进行景深渲染。
可选的,处理器604还用于:
在确定第二位置对应的目标汇聚平面之后,根据第一位置对应的初始汇聚平面、目标汇聚平面、及像平面调整装置603的调整参数,确定将像平面由初始汇聚平面所处的初始位置范围内调整至目标位置范围内所需的调整时长;
生成调整时长内包括的每一个调整时刻与像平面位置的对应关系;
根据对应关系,确定当前时刻加上渲染时长后的目标时刻对应的像平面位置,其中,渲染时长为渲染一幅图像所需的时长;
对目标时刻对应的像平面位置进行景深渲染。
可选的,像平面调整装置603为用于控制显示屏601机械运动的装置、液体透镜、或变焦光学系统。
可选的,处理器604用于:
按照像平面调整装置603的调整精度,确定像平面能够到达的距离目标汇聚平面最近的目标位置;
将像平面调整至目标位置。
可选的,处理器604还用于:
获取当前配戴穿戴式智能设备600的用户的用户信息;
根据用户信息,对像平面调整装置603的调整参数进行设置。
在另一示例性实施例中,还提供了一种计算机程序产品,所述计算机程序产品包含能够由可编程的装置执行的计算机程序,所述计算机程序具有当由所述可编程的装置执行时用于执行上述的图像显示方法的代码部分。
在另一示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,所述非临时性计算机可读存储介质中包括一个或多个程序,所述一个或多个程序用于执行上述的图像显示方法。
在本公开所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
在本申请各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM(Read-Only Memory,只读存储器)、RAM(Random Access Memory,随机存取存储器)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以对本公开的技术方案进行了详细介绍,但以上实施例的说明只是用于帮助理解本公开的方法及其核心思想,不应理解为对本公开的限制。本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本公开的保护范围之内。

Claims (14)

1.一种图像显示方法,应用于穿戴式智能设备,其特征在于,包括:
在通过眼动跟踪装置检测到用户双眼在虚拟场景中关注的位置由第一位置变化到第二位置时,确定所述第二位置对应的目标汇聚平面;
根据所述目标汇聚平面,通过像平面调整装置对所述穿戴式智能设备显示屏的像平面所在的位置进行调整;
在调整过程中的每一个调整时刻,针对虚拟场景中对应的像平面位置,实时地进行图像的景深渲染,并通过所述显示屏显示景深渲染后的图像。
2.根据权利要求1所述的方法,其特征在于,在确定所述第二位置对应的目标汇聚平面之后,所述方法还包括:
根据所述第一位置对应的初始汇聚平面、所述目标汇聚平面、及所述像平面调整装置的调整参数,确定调整所述像平面所需的调整时长;
生成所述调整时长内包括的每一个调整时刻与像平面位置的对应关系;
针对虚拟场景中对应的像平面位置,实时地进行图像的景深渲染,包括:
根据所述对应关系,确定当前时刻对应的像平面位置;
对所述当前时刻对应的像平面位置进行景深渲染。
3.根据权利要求1所述的方法,其特征在于,在确定所述第二位置对应的目标汇聚平面之后,所述方法还包括:
根据所述第一位置对应的初始汇聚平面、所述目标汇聚平面、及所述像平面调整装置的调整参数,确定将所述像平面由所述初始汇聚平面所处的初始位置范围内调整至所述目标位置范围内所需的调整时长;
生成所述调整时长内包括的每一个调整时刻与像平面位置的对应关系;
针对虚拟场景中对应的像平面位置,实时地进行图像的景深渲染,包括:
根据所述对应关系,确定当前时刻加上渲染时长后的目标时刻对应的像平面位置,其中,所述渲染时长为渲染一幅图像所需的时长;
对所述目标时刻对应的像平面位置进行景深渲染。
4.根据权利要求1所述的方法,其特征在于,所述像平面调整装置为用于控制所述显示屏机械运动的装置、液体透镜、或变焦光学系统。
5.根据权利要求1-4任一所述的方法,其特征在于,根据所述目标汇聚平面,通过像平面调整装置对所述穿戴式智能设备显示屏的像平面所在的位置进行调整,包括:
按照所述像平面调整装置的调整精度,确定所述像平面能够到达的距离所述目标汇聚平面最近的目标位置;
将所述像平面调整至所述目标位置。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取当前配戴所述穿戴式智能设备的用户的用户信息;
根据所述用户信息,对所述像平面调整装置的调整参数进行设置。
7.一种穿戴式智能设备,其特征在于,包括:
显示屏;
眼动跟踪装置,用于监测配戴所述穿戴式智能设备的用户的眼动信息;
像平面调整装置,用于调整所述显示屏的像平面的位置;
处理器,与所述显示屏、所述眼动跟踪装置、及所述像平面调整装置均相连,用于在通过所述眼动跟踪装置检测到用户双眼在虚拟场景中关注的位置由第一位置变化到第二位置时,确定所述第二位置对应的目标汇聚平面;根据所述目标汇聚平面,通过所述像平面调整装置对所述像平面所在的位置进行调整;在调整过程中的每一个调整时刻,针对虚拟场景中对应的像平面位置,实时地进行图像的景深渲染,并通过所述显示屏显示景深渲染后的图像。
8.根据权利要求7所述的穿戴式智能设备,其特征在于,所述处理器还用于:
在确定所述第二位置对应的目标汇聚平面之后,根据所述第一位置对应的初始汇聚平面、所述目标汇聚平面、及所述像平面调整装置的调整参数,确定调整所述像平面所需的调整时长;
生成所述调整时长内包括的每一个调整时刻与像平面位置的对应关系;
根据所述对应关系,确定当前时刻对应的像平面位置;
对所述当前时刻对应的像平面位置进行景深渲染。
9.根据权利要求7所述的穿戴式智能设备,其特征在于,所述处理器还用于:
在确定所述第二位置对应的目标汇聚平面之后,根据所述第一位置对应的初始汇聚平面、所述目标汇聚平面、及所述像平面调整装置的调整参数,确定将所述像平面由所述初始汇聚平面所处的初始位置范围内调整至所述目标位置范围内所需的调整时长;
生成所述调整时长内包括的每一个调整时刻与像平面位置的对应关系;
根据所述对应关系,确定当前时刻加上渲染时长后的目标时刻对应的像平面位置,其中,所述渲染时长为渲染一幅图像所需的时长;
对所述目标时刻对应的像平面位置进行景深渲染。
10.根据权利要求7所述的穿戴式智能设备,其特征在于,所述像平面调整装置为用于控制所述显示屏机械运动的装置、液体透镜、或变焦光学系统。
11.根据权利要求7-10任一所述的穿戴式智能设备,其特征在于,所述处理器用于:
按照所述像平面调整装置的调整精度,确定所述像平面能够到达的距离所述目标汇聚平面最近的目标位置;
将所述像平面调整至所述目标位置。
12.根据权利要求7所述的穿戴式智能设备,其特征在于,所述处理器还用于:
获取当前配戴所述穿戴式智能设备的用户的用户信息;
根据所述用户信息,对所述像平面调整装置的调整参数进行设置。
13.一种计算机程序产品,其特征在于,所述计算机程序产品包含能够由可编程的装置执行的计算机程序,所述计算机程序具有当由所述可编程的装置执行时用于执行权利要求1至6中任一项所述的方法的代码部分。
14.一种非临时性计算机可读存储介质,其特征在于,所述非临时性计算机可读存储介质中包括一个或多个程序,所述一个或多个程序用于执行权利要求1至6中任一项所述的方法。
CN201780002486.4A 2017-12-08 2017-12-08 图像显示方法、穿戴式智能设备及存储介质 Active CN108124509B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/115156 WO2019109323A1 (zh) 2017-12-08 2017-12-08 图像显示方法、穿戴式智能设备及存储介质

Publications (2)

Publication Number Publication Date
CN108124509A true CN108124509A (zh) 2018-06-05
CN108124509B CN108124509B (zh) 2021-10-12

Family

ID=62234410

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780002486.4A Active CN108124509B (zh) 2017-12-08 2017-12-08 图像显示方法、穿戴式智能设备及存储介质

Country Status (2)

Country Link
CN (1) CN108124509B (zh)
WO (1) WO2019109323A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271024A (zh) * 2018-08-30 2019-01-25 Oppo广东移动通信有限公司 用户关注信息确定方法、装置、穿戴式设备及存储介质
CN113419350A (zh) * 2021-06-18 2021-09-21 腾讯科技(深圳)有限公司 虚拟现实显示设备、画面呈现方法、装置及存储介质
CN113452986A (zh) * 2020-03-24 2021-09-28 杨建刚 应用于头戴显示设备的显示方法、装置和存储介质
WO2022135284A1 (zh) * 2020-12-24 2022-06-30 华为技术有限公司 一种显示模组、虚像的位置调节方法及装置
WO2022247482A1 (zh) * 2021-05-27 2022-12-01 华为技术有限公司 虚拟显示设备和虚拟显示方法
WO2023005800A1 (zh) * 2021-07-30 2023-02-02 歌尔科技有限公司 头戴设备的显示校准方法、装置、头戴设备及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1437165A (zh) * 2003-01-24 2003-08-20 上海杰图软件技术有限公司 一种基于两张鱼眼图像的智能型全景生成方法
US20110043616A1 (en) * 2006-10-10 2011-02-24 Itt Manufacturing Enterprises, Inc. System and method for dynamically enhancing depth perception in head borne video systems
US20130335402A1 (en) * 2012-06-14 2013-12-19 Research In Motion Limited System and method for stereoscopic 3-d rendering
CN104024937A (zh) * 2011-10-31 2014-09-03 富士胶片株式会社 视差调节装置及方法、摄像装置、再生显示装置
CN104641278A (zh) * 2012-05-09 2015-05-20 诺基亚公司 用于基于焦距而确定显示的信息的表示的方法和装置
CN105353512A (zh) * 2015-12-10 2016-02-24 联想(北京)有限公司 一种图像显示方法和图像显示装置
CN105653227A (zh) * 2016-03-22 2016-06-08 北京全景思维科技有限公司 跟踪眼球焦距的头戴式虚拟现实显示设备及显示方法
US20160191910A1 (en) * 2016-03-05 2016-06-30 Maximilian Ralph Peter von und zu Liechtenstein Gaze-contingent Display Technique
US20160234482A1 (en) * 2015-02-06 2016-08-11 Sony Computer Entertainment Europe Limited Head-mountable display system
CN106131530A (zh) * 2016-08-26 2016-11-16 万象三维视觉科技(北京)有限公司 一种裸眼3d虚拟现实展示系统及其展示方法
EP3179289A1 (en) * 2015-12-08 2017-06-14 Oculus VR, LLC Focus adjusting virtual reality headset
CN107272200A (zh) * 2017-05-02 2017-10-20 北京奇艺世纪科技有限公司 一种焦距控制设备、方法及vr眼镜

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09274144A (ja) * 1996-04-02 1997-10-21 Canon Inc 画像表示装置
US10162412B2 (en) * 2015-03-27 2018-12-25 Seiko Epson Corporation Display, control method of display, and program
CN106249408B (zh) * 2016-01-29 2020-12-01 深圳市易知见科技有限公司 可调节的虚拟现实眼镜和预防及矫正近视的光学系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1437165A (zh) * 2003-01-24 2003-08-20 上海杰图软件技术有限公司 一种基于两张鱼眼图像的智能型全景生成方法
US20110043616A1 (en) * 2006-10-10 2011-02-24 Itt Manufacturing Enterprises, Inc. System and method for dynamically enhancing depth perception in head borne video systems
CN104024937A (zh) * 2011-10-31 2014-09-03 富士胶片株式会社 视差调节装置及方法、摄像装置、再生显示装置
CN104641278A (zh) * 2012-05-09 2015-05-20 诺基亚公司 用于基于焦距而确定显示的信息的表示的方法和装置
US20130335402A1 (en) * 2012-06-14 2013-12-19 Research In Motion Limited System and method for stereoscopic 3-d rendering
US20160234482A1 (en) * 2015-02-06 2016-08-11 Sony Computer Entertainment Europe Limited Head-mountable display system
EP3179289A1 (en) * 2015-12-08 2017-06-14 Oculus VR, LLC Focus adjusting virtual reality headset
CN105353512A (zh) * 2015-12-10 2016-02-24 联想(北京)有限公司 一种图像显示方法和图像显示装置
US20160191910A1 (en) * 2016-03-05 2016-06-30 Maximilian Ralph Peter von und zu Liechtenstein Gaze-contingent Display Technique
CN105653227A (zh) * 2016-03-22 2016-06-08 北京全景思维科技有限公司 跟踪眼球焦距的头戴式虚拟现实显示设备及显示方法
CN106131530A (zh) * 2016-08-26 2016-11-16 万象三维视觉科技(北京)有限公司 一种裸眼3d虚拟现实展示系统及其展示方法
CN107272200A (zh) * 2017-05-02 2017-10-20 北京奇艺世纪科技有限公司 一种焦距控制设备、方法及vr眼镜

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GEORGES NADER: "Just_Noticeable_Distortion_Profile_for_Flat-Shaded_3D_Mesh_Surfaces", 《IEEE》 *
包仪华: "虚拟现实_未来影像的新型呈现方式", 《CNKI》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271024A (zh) * 2018-08-30 2019-01-25 Oppo广东移动通信有限公司 用户关注信息确定方法、装置、穿戴式设备及存储介质
CN113452986A (zh) * 2020-03-24 2021-09-28 杨建刚 应用于头戴显示设备的显示方法、装置和存储介质
WO2022135284A1 (zh) * 2020-12-24 2022-06-30 华为技术有限公司 一种显示模组、虚像的位置调节方法及装置
WO2022247482A1 (zh) * 2021-05-27 2022-12-01 华为技术有限公司 虚拟显示设备和虚拟显示方法
CN113419350A (zh) * 2021-06-18 2021-09-21 腾讯科技(深圳)有限公司 虚拟现实显示设备、画面呈现方法、装置及存储介质
WO2022262581A1 (zh) * 2021-06-18 2022-12-22 腾讯科技(深圳)有限公司 虚拟现实显示设备、画面呈现方法、存储介质及程序产品
US11860375B2 (en) 2021-06-18 2024-01-02 Tencent Technology (Shenzhen) Company Limited Virtual reality display device and method for presenting picture
WO2023005800A1 (zh) * 2021-07-30 2023-02-02 歌尔科技有限公司 头戴设备的显示校准方法、装置、头戴设备及存储介质

Also Published As

Publication number Publication date
CN108124509B (zh) 2021-10-12
WO2019109323A1 (zh) 2019-06-13

Similar Documents

Publication Publication Date Title
CN108124509A (zh) 图像显示方法、穿戴式智能设备及存储介质
US10937129B1 (en) Autofocus virtual reality headset
JP6502586B2 (ja) 焦点調整するバーチャルリアリティヘッドセット
JP7291708B2 (ja) ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法
AU2017208994B2 (en) Eye image collection, selection, and combination
US10241569B2 (en) Focus adjustment method for a virtual reality headset
JP6525436B2 (ja) 多焦点表示システムおよび方法
EP3248051B1 (en) Methods and system for creating focal planes using an alvarez lens
JP2023504373A (ja) 電子ディスプレイの中心窩レンダリングのための予測視線追跡システムおよび方法
US20200051320A1 (en) Methods, devices and systems for focus adjustment of displays
CN104598180B (zh) 显示控制方法、装置及近眼显示设备
CN109983755A (zh) 基于眼睛跟踪自动聚焦的图像捕获系统、设备和方法
CN106484116B (zh) 媒体文件的处理方法和装置
CN110582718A (zh) 近眼显示器的变焦像差补偿
JP2014219621A (ja) 表示装置、表示制御プログラム
US20160363763A1 (en) Human factor-based wearable display apparatus
EP3179289B1 (en) Focus adjusting virtual reality headset
CN108089332A (zh) Vr头戴显示设备及显示方法
JP2023515205A (ja) 表示方法、装置、端末機器及びコンピュータプログラム
US20230037329A1 (en) Optical systems and methods for predicting fixation distance
CN211786414U (zh) 虚拟现实显示系统
US11150437B1 (en) Prescription adjustment methods and systems for varifocal subsystems
CN110794590A (zh) 虚拟现实显示系统及其显示方法
US11513359B1 (en) Lens
CN117795395A (zh) 用于预测注视距离的光学系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210302

Address after: 201111 2nd floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai

Applicant after: Dalu Robot Co.,Ltd.

Address before: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Applicant before: Shenzhen Qianhaida Yunyun Intelligent Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 201111 Building 8, No. 207, Zhongqing Road, Minhang District, Shanghai

Patentee after: Dayu robot Co.,Ltd.

Address before: 201111 2nd floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai

Patentee before: Dalu Robot Co.,Ltd.