发明内容
为克服相关技术中存在的问题,本公开提供一种图像显示方法、穿戴式智能设备及存储介质,用于解决使用穿戴式智能设备观看立体画面时焦点调节与辐辏之间的矛盾,缓解视疲劳,提高穿戴式智能设备的舒适性。
根据本公开实施例的第一方面,提供一种图像显示方法,应用于穿戴式智能设备,包括:
在通过眼动跟踪装置检测到用户双眼在虚拟场景中关注的位置由第一位置变化到第二位置时,确定所述第二位置对应的目标汇聚平面;
根据所述目标汇聚平面,通过像平面调整装置对所述穿戴式智能设备显示屏的像平面所在的位置进行调整;
在调整过程中的每一个调整时刻,针对虚拟场景中对应的像平面位置,实时地进行图像的景深渲染,并通过所述显示屏显示景深渲染后的图像。
根据本公开实施例的第二方面,提供一种穿戴式智能设备,包括:
显示屏;
眼动跟踪装置,用于监测配戴所述穿戴式智能设备的用户的眼动信息;
像平面调整装置,用于调整所述显示屏的像平面的位置;
处理器,与所述显示屏、所述眼动跟踪装置、及所述像平面调整装置均相连,用于在通过所述眼动跟踪装置检测到用户双眼在虚拟场景中关注的位置由第一位置变化到第二位置时,确定所述第二位置对应的目标汇聚平面;根据所述目标汇聚平面,通过所述像平面调整装置对所述像平面所在的位置进行调整;在调整过程中的每一个调整时刻,针对虚拟场景中对应的像平面位置,实时地进行图像的景深渲染,并通过所述显示屏显示景深渲染后的图像。
根据本公开实施例的第三方面,提供一种计算机程序产品,所述计算机程序产品包含能够由可编程的装置执行的计算机程序,所述计算机程序具有当由所述可编程的装置执行时用于执行上述第一方面中任一项所述的方法的代码部分。
根据本公开实施例的第四方面,提供一种非临时性计算机可读存储介质,所述非临时性计算机可读存储介质中包括一个或多个程序,所述一个或多个程序用于执行上述第一方面中任一项所述的方法。
本公开的实施例提供的技术方案可以包括以下有益效果:
本公开实施例中,穿戴式智能设备能够在检测到用户双眼在虚拟场景中关注的位置发生变化时,可以对显示屏的像平面的位置进行调整,进而使得像平面的位置与用户关注的物体的空间位置保持同步,有效缓解视疲劳,同时,在像平面的调整过程中的每一个调整时刻,可以实时地基于当前像平面的位置进行图像的景深渲染,进而通过显示屏实时地显示当前像平面下渲染的图像,可以进一步提升穿戴式智能设备的舒适性。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本公开,并不用于限制本公开。
本公开实施例中,穿戴式智能设备可以是任意的AR设备或VR设备,比如VR智能眼镜、VR智能头盔,等等。
请参考图1,图1是根据一示例性实施例示出的一种应用于穿戴式智能设备的图像显示方法的流程图。如图1所示,该方法包括以下步骤。
步骤S11:在通过眼动跟踪装置检测到用户双眼在虚拟场景中关注的位置由第一位置变化到第二位置时,确定第二位置对应的目标汇聚平面。
步骤S12:根据目标汇聚平面,通过像平面调整装置对穿戴式智能设备显示屏的像平面所在的位置进行调整。
步骤S13:在调整过程中的每一个调整时刻,针对虚拟场景中对应的像平面位置,实时地进行图像的景深渲染,并通过显示屏显示景深渲染后的图像。
穿戴式智能设备运行过程中,眼动跟踪装置可以实时地检测用户双眼的凝视方向,即双眼的光轴方向,根据两光轴会聚的位置,可以确定双眼关注的物体,进而确定物体在虚拟场景中的位置,以及该位置在虚拟场景中对应的平面(称为汇聚平面)。在通过眼动跟踪装置检测到用户在虚拟场景中关注的位置发生变化,比如从第一位置变化到了第二位置,可以确定变化后的位置对应的汇聚平面,即第二位置对应的目标汇聚平面。
可以根据目标汇聚平面的位置,来对穿戴式智能设备显示屏的像平面的位置进行调整,让像平面尽量与目标汇聚平面重合,进而解决焦点调节与辐辏的协调矛盾,有效缓解视疲劳。对于调整像平面的方式,本公开实施例作限定,以下对可能的方式进行说明。
可选的,像平面调整装置可以是用于控制显示屏机械运动的装置、液体透镜、或变焦光学系统。
可以通过像平面调整装置来调整像平面的位置。例如,像平面调整装置为用于控制显示屏机械运动的装置,那么可以通过驱动像平面调整装置的机械运动来带动显示屏移动,即通过调整物距来达到改变像距的目的。或者例如,像平面调整装置可以是液体透镜或变焦光学系统,请参见图2A,目前的AR或VR设备包括有显示屏和设置在显示屏一侧的凸透镜,在本公开中,如图2B所示,可以采用液体透镜或者变焦光学系统来替换原来的凸透镜,那么可以通过变焦光学系统直接改变焦距,或者通过调整液体透镜的折射率、曲率等参数来改变焦距,进而通过调整焦距来达到改变相距的目的。
通过以上方式可以较好地达到调整像平面的目的,有利于进一步更好地进行图像显示。
考虑到在实际操作过程中,像平面的调整需要一定的时间,像平面会滞后于用户双眼的汇聚平面。本公开中,为了进一步提升通过穿戴式智能眼镜观看立体画面的舒适性,可以在像平面调整过程中的每一个调整时刻,针对虚拟场景中对应的像平面位置的图像进行景深渲染,避免了以汇聚平面的图像来渲染图像导致的物体的空间深度与理论的虚拟物体深度不符的情况。以下将对调整过程中,实时渲染图像的可能的方式进行说明。
第一种方式:可选的,在确定第二位置对应的目标汇聚平面之后,还可以根据第一位置对应的初始汇聚平面、目标汇聚平面、及像平面调整装置的调整参数,确定调整像平面所需的调整时长,然后生成调整时长内包括的每一个调整时刻与像平面位置的对应关系。在像平面调整过程中,可以根据得到的对应关系,确定当前时刻对应的像平面位置;然后实时地对当前时刻对应的像平面位置进行景深渲染并通过显示屏显示。
第二种方式:可选的,在生成调整时长内包括的每一个调整时刻与像平面位置的对应关系后,在像平面调整过程中,还可以根据得到的对应关系,确定当前时刻加上渲染时长后的目标时刻对应的像平面位置,然后实时地对目标时刻对应的像平面位置进行景深渲染并通过显示屏显示,其中,所述渲染时长为渲染一幅图像所需的时长。
对于不同的像平面调整装置,调整参数可能不同,比如,像平面调整装置为用于控制显示屏机械运动的装置,那么调整参数可以包括装置进行机械运动的步长、速度等;或者,像平面调整装置为液体透镜,那么调整参数可以包括液体透镜调节曲率或折射率的最小单位、快慢等;或者,像平面调整装置为变焦光学系统,那么调整参数可以包括变焦光学系统调整焦距的最小单位、快慢等。
可以根据用户双眼观看物体变化前后的初始汇聚平面、目标汇聚平面、像平面调整装置的调整参数、以及高斯成像公式1/u+1/v=1/f(u表示物距,v表示像距,f表示焦距)来确定将像平面从初始汇聚平面的位置移动到目标汇聚平面的位置需要多少时间以及过程中像平面位置的变化情况,进而生成调整时刻与像平面位置的对应关系,那么在像平面调整过程中的每一个调整时刻,均可以在生成的对应关系中找到当前时刻所对应的像平面的位置,进而实时的对当前时刻对应的像平面位置的图像进行景深渲染,并实时地通过显示屏进行显示。
以下对上述两种方式举例进行说明。
例如,请参见图3,像平面调整装置比如是用于控制显示屏机械运动的装置,在t1时刻,人眼看到的是物体A,此时显示屏在位置S1处,像平面在位置Z1处,双眼光轴(Ar和Al)汇聚平面(即初始汇聚平面)在Z1处。此时,不存在焦点调节与辐辏距离不一致的冲突。
在下一个t2时刻,双眼转看物体B,此时物体B为正视差,双眼光轴(Br和Bl)汇聚(即目标汇聚平面)在Z2处,但人眼聚焦平面仍然在Z1平面,因此存在VAC冲突。从t2时刻起,通过眼动跟踪在t3时刻检测到双眼看物体B,此时像平面调节装置开始控制显示屏位置从S1开始向S2移动。假设计算出显示屏的移动时间为Δt1,那么可以根据Z1、Z2、和像平面调整装置的调整参数生成如图4所示的对应关系,通过该对应关系可以获知移动过程中的每一移动时刻对应的像平面位置。
那么在显示屏移动过程中,在某个t时刻,此时显示屏上的图像应该显示何处处置的渲染图像。本公开提出在t时刻的渲染图像所处位置Z为当前时刻像平面所处位置Zt的函数,该函数可以有如下表达形式:
其中,Δt2为渲染一幅图像所需的时长。
也即是说,在像平面调整过程中的t时刻,根据生成的时刻与像平面位置的对应关系,可以对当前的t时刻对应的像平面进行图像的景深渲染;或者也可以在t时刻,根据像平面调节装置的运动规律,预测t+Δt2时刻时,像平面可能运动到的位置渲染位置处的图像,当渲染完成后,像平面恰可以运动到位置,即
通过以上方式,在像平面在移动过程中,可以根据像平面实际可能的位置来渲染显示图像,使得用户看到的虚拟物体的空间深度与理论的虚拟物体深度保持一致,提升了使用穿戴式智能设备观看立体图像的舒适性。
可选的,根据目标汇聚平面,通过像平面调整装置对穿戴式智能设备显示屏的像平面所在的位置进行调整,可以按照像平面调整装置的调整精度,确定像平面能够到达的距离目标汇聚平面最近的目标位置,将像平面调整至目标位置。
由于像平面调整装置的调整精度的原因(比如电磁组、液压、气动或马达等机械结构,都存在固定的最小步长),像平面的移动会有最小单位,因此有可能像平面调整的最终的位置不能与目标汇聚平面重合。并且由于透镜的放大作用,这种误差会显得很大。如果将像平面调节装置的步长精度降低,虽然会减少误差,但是会像平面调整过程的时间变长,加重了延迟。
如图5所示,比如根据像平面移动的最小单位,像平面的位置只能调到位置1或位置2上,其中位置1离目标汇聚平面Z2更近,因此最终会将像平面的移动到位置1处。那么这种情况下,在像平面移动到位置1后,会按照位置1的图像进行景深渲染,而不是按照汇聚平面Z2来渲染。在生成的如图4所示的调整时刻与像平面位置的对应关系中,像平面位置Z2将是实际的像平面的位置(比如图5中的位置1)。通过这样的方式,解决了因机械运动步长精度等原因导致的像平面位置误差问题,进一步提升了穿戴式智能设备的观看舒适性。
可选的,还可以获取当前配戴穿戴式智能设备的用户的用户信息,然后根据用户信息,对像平面调整装置的调整参数进行设置。
获取当前配戴穿戴式智能设备的用户的用户信息,可以通过摄像头对用户特征进行识别,或者也可以由用户自行选择,等等。
例如,有的用户习惯快速变换着观看不同位置的物体,那么比如对于机械式的像平面调整装置,可以将步长边长,从而能够更快的对像平面位置进行调整。通过这样的方式,给穿戴式智能设备增添了新的功能,提高了穿戴式智能设备的智能化程度。
当然,穿戴式智能设备还可以统计用户使用过程中关注的不同物体,进而获得用户感兴趣的事物,有利于为用户提供内容评价、广告推送等服务。
请参见图6,基于同一发明构思,本公开实施例提供一种穿戴式智能设备600(以智能眼镜为例),该穿戴式智能设备600可以包括:
显示屏601;
眼动跟踪装置602,用于监测配戴穿戴式智能设备600的用户的眼动信息;
像平面调整装置603,用于调整显示屏的像平面的位置;
处理器604,与显示屏601、眼动跟踪装置602、及像平面调整装置603均相连,用于在通过眼动跟踪装置602检测到用户双眼在虚拟场景中关注的位置由第一位置变化到第二位置时,确定第二位置对应的目标汇聚平面;根据目标汇聚平面,通过像平面调整装置603对像平面所在的位置进行调整;在调整过程中的每一个调整时刻,针对虚拟场景中对应的像平面位置,实时地进行图像的景深渲染,并通过显示屏601显示景深渲染后的图像。
可选的,处理器604还用于:
在确定第二位置对应的目标汇聚平面之后,根据第一位置对应的初始汇聚平面、目标汇聚平面、及像平面调整装置603的调整参数,确定调整像平面所需的调整时长;
生成调整时长内包括的每一个调整时刻与像平面位置的对应关系;
根据对应关系,确定当前时刻对应的像平面位置;
对当前时刻对应的像平面位置进行景深渲染。
可选的,处理器604还用于:
在确定第二位置对应的目标汇聚平面之后,根据第一位置对应的初始汇聚平面、目标汇聚平面、及像平面调整装置603的调整参数,确定将像平面由初始汇聚平面所处的初始位置范围内调整至目标位置范围内所需的调整时长;
生成调整时长内包括的每一个调整时刻与像平面位置的对应关系;
根据对应关系,确定当前时刻加上渲染时长后的目标时刻对应的像平面位置,其中,渲染时长为渲染一幅图像所需的时长;
对目标时刻对应的像平面位置进行景深渲染。
可选的,像平面调整装置603为用于控制显示屏601机械运动的装置、液体透镜、或变焦光学系统。
可选的,处理器604用于:
按照像平面调整装置603的调整精度,确定像平面能够到达的距离目标汇聚平面最近的目标位置;
将像平面调整至目标位置。
可选的,处理器604还用于:
获取当前配戴穿戴式智能设备600的用户的用户信息;
根据用户信息,对像平面调整装置603的调整参数进行设置。
在另一示例性实施例中,还提供了一种计算机程序产品,所述计算机程序产品包含能够由可编程的装置执行的计算机程序,所述计算机程序具有当由所述可编程的装置执行时用于执行上述的图像显示方法的代码部分。
在另一示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,所述非临时性计算机可读存储介质中包括一个或多个程序,所述一个或多个程序用于执行上述的图像显示方法。
在本公开所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
在本申请各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM(Read-Only Memory,只读存储器)、RAM(Random Access Memory,随机存取存储器)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以对本公开的技术方案进行了详细介绍,但以上实施例的说明只是用于帮助理解本公开的方法及其核心思想,不应理解为对本公开的限制。本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本公开的保护范围之内。