CN109803133A - 一种图像处理方法及装置、显示装置 - Google Patents

一种图像处理方法及装置、显示装置 Download PDF

Info

Publication number
CN109803133A
CN109803133A CN201910199870.9A CN201910199870A CN109803133A CN 109803133 A CN109803133 A CN 109803133A CN 201910199870 A CN201910199870 A CN 201910199870A CN 109803133 A CN109803133 A CN 109803133A
Authority
CN
China
Prior art keywords
image
focal plane
slice
distance parameter
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910199870.9A
Other languages
English (en)
Other versions
CN109803133B (zh
Inventor
陈丽莉
张硕
张�浩
薛鸿臻
刘亚丽
孙玉坤
王雪丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201910199870.9A priority Critical patent/CN109803133B/zh
Publication of CN109803133A publication Critical patent/CN109803133A/zh
Application granted granted Critical
Publication of CN109803133B publication Critical patent/CN109803133B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开一种图像处理方法及装置、显示装置,涉及显示技术领域,以在降低用户视觉辐辏冲突的前提下,提高用户所看到的VR图像的画质。所述图像处理方法包括:接收视线方向信息;对原始图像进行切片处理,获得景深信息不同的多个图像切片;沿着所述视线方向信息所表征的视线方向对多个图像切片进行渲染,获得多个渲染切片。所述图像处理装置应用上述图像处理方法。本发明提供的图像处理方法及装置、显示装置用于显示中。

Description

一种图像处理方法及装置、显示装置
技术领域
本发明涉及显示技术领域,尤其涉及一种图像处理方法及装置、显示装置。
背景技术
虚拟现实(Virtual Reality,缩写为VR)技术是一种可以创建和体验虚拟世界的计算机仿真方法。VR技术的实质是利用计算机生成一种模拟环境,使用户沉浸到该环境中。
在VR显示设备使用过程中,为了看清VR图像所展示的不同物体,人眼需要将焦面调节到不同的位置容易因为视觉辐辏冲突引起用户眼睛聚焦问题,使得用户产生晕动以及视觉疲劳。为此,可采用焦面显示技术调节VR图像所展示的不同物体的焦面位置,在一定程度上降低视觉辐辏冲突所引起的用户眼睛聚焦问题,从而减轻用户晕动和视觉疲劳感;但是,采用焦面显示技术调节VR图像所展示的物体的焦面位置,使得用户所看到的VR图像容易差生缺失或图像不连续的问题,导致用户所看到的VR图像的画质降低。
发明内容
本发明的目的在于提供一种图像处理方法及装置、显示装置,以在降低用户视觉辐辏冲突的前提下,提高用户所看到的VR图像的画质。
为了实现上述目的,本发明提供一种图像处理方法,该图像处理方法包括:
接收视线方向信息;
对原始图像进行切片处理,获得景深信息不同的多个图像切片;
沿着所述视线方向信息所表征的视线方向对所述多个图像切片进行渲染,获得多个渲染切片。
在一些实现方式中,所述对原始图像进行切片处理,获得景深信息不同的多个图像切片包括:
设定多个焦面的像距参数;
根据多个焦面的像距参数对原始图像进行切片处理,获得景深信息不同的多个图像切片。
在一些实现方式中,设定多个焦面的像距参数包括:
根据明视距离设定焦面最小像距参数;
根据眼部屈光度调节范围设定焦面最大像距参数;
根据所述焦面最小像距参数和所述焦面最大像距参数,设定多个焦面的像距参数,使得多个焦面的像距参数均小于或等于焦面最大像距参数,大于或等于焦面最小像距参数。
在一些实现方式中,相邻两个焦面的像距参数满足:
其中,vi+1为第i+1个焦面的像距参数,vi为第i个焦面的像距参数,k为常数,i为焦面沿着远离眼部的方向的编号,i为大于等于1小于等于M-1的整数,M为焦面的总数。
在一些实现方式中,所述根据多个焦面的像距参数对原始图像进行切片处理,获得景深信息不同的多个图像切片包括:
根据多个焦面的像距参数,设定每个图像切片的轮廓对应的像距参数范围,使得每个图像切片对应的焦面的像距参数位于对应图像切片的轮廓对应的像距参数范围内;
根据多个图像切片的轮廓对应的像距参数范围对所述原始图像进行切片处理,获得景深信息不同的多个图像切片。
在一些实现方式中,所述沿着视线方向对所述多个图像切片进行渲染,获得景深信息不同的多个渲染切片包括:
根据所述视线方向信息对所述多个图像切片进行中心投影,获得多个图像切片投影;
对所述多个图像切片投影进行渲染,获得多个渲染切片;
和/或,
所述获得多个渲染切片后,所述图像处理方法还包括:
根据每个所述渲染切片的景深信息设定每个所述渲染切片的显示器地址信息;
根据每个渲染切片的显示器地址控制显示器显示渲染切片所形成的图像。
本发明提供的图像处理方法中,对多个图像切片进行渲染时,沿着视线方向信息所表征的视线方向对多个图像切片进行渲染,获得多个渲染切片,使得多个渲染切片显示后,用户所看到的图像沿着视线方向连续性,不会存在缺失或不连续的问题;同时,对原始图像进行切片处理后,所获得的多个图像切片的景深信息不同,使得最终获得的多个渲染切片的景深信息也是不同的,此时多个渲染切片一一对应的经过多个显示器显示后所获得的图像被主动的分配到不同的焦面,使得用户所看到的图像位于不同焦面上,这样就能够减少人眼调节焦面的幅度,从而降低用户视觉辐辏冲突所产生的晕动以及视觉疲劳感。
本发明还提供了一种图像处理装置,该图像处理装置包括:
接收单元,用于接收视线方向信息;
分割单元,用于对原始图像进行切片处理,获得景深信息不同的多个图像切片;
渲染单元,用于沿着所述视线方向信息所表征的视线方向对所述多个图像切片进行渲染,获得多个渲染切片。
在一些实现方式中,所述分割单元具体用于设定多个焦面的像距参数;根据多个焦面的像距参数对原始图像进行切片处理,获得景深信息不同的多个图像切片。
在一些实现方式中,所述分割单元具体用于根据明视距离设定焦面最小像距参数,根据眼部屈光度调节范围设定焦面最大像距参数;根据所述焦面最小像距参数和所述焦面最大像距参数,设定多个焦面的像距参数,使得多个焦面的像距参数均小于或等于焦面最大像距参数,大于或等于焦面最小像距参数。
在一些实现方式中,相邻两个焦面的像距参数满足:
其中,vi+1为第i+1个焦面的像距参数,vi为第i个焦面的像距参数,k为常数,i为焦面沿着远离眼部的方向的编号,i为大于等于1小于等于M-1的整数,M为焦面的总数。
在一些实现方式中,所述分割模块具体用于根据多个焦面的像距参数,设定每个图像切片的轮廓对应的像距参数范围,使得每个图像切片对应的焦面的像距参数位于对应图像切片的轮廓对应的像距参数范围内;根据多个图像切片的轮廓对应的像距参数范围对所述原始图像进行切片处理,获得景深信息不同的多个图像切片。
在一些实现方式中,所述渲染单元具体用于根据所述视线方向信息对所述多个图像切片进行中心投影,获得多个图像切片投影;对所述多个图像切片投影进行渲染,获得多个渲染切片;
和/或,
所述图像处理装置还包括地址分配单元,用于根据每个所述渲染切片的景深信息设定每个所述渲染切片的显示器地址信息,根据每个渲染切片的显示器地址控制显示器显示渲染切片所形成的图像。
本发明提供的图像处理装置的有益效果与上述图像处理方法的有益效果相同,在此不做赘述。
本发明还提供了一种计算机存储介质,该计算机存储介质用于储存一个或多个计算机软件指令,其包含用于执行上述图像处理方法所设计的程序。
本发明提供的计算机存储介质的有益效果与上述图像处理方法的有益效果相同,在此不做赘述。
本发明还提供了一种显示装置,该显示装置包括多个显示器和上述图像处理装置,每个所述显示器与所述图像显示装置连接。
在一些实现方式中,所述显示装置还包括光学透镜和多个反射镜,所述多个反射镜与所述多个显示器一一对应,每个反射镜用于将对应显示器的出射光提供给光学透镜;
所述多个显示器设在所述光学透镜的入光侧,所述多个显示器在所述光学透镜的周向方向间隔设置,所述多个反射镜沿着靠近所述光学透镜的方向设在所述光学透镜的入光侧。
在一些实现方式中,所述显示装置为虚拟现实显示装置,所述多个反射镜包括全反射镜和多个半透半反镜,所述全反射镜和所述多个半透半反镜沿着靠近所述光学透镜的方向设在所述光学透镜的入光侧,所述多个显示器的出射光强度关系满足:I0=2s-1Is,I0为全反射镜对应的显示器的出射光强度,Is为沿着靠近所述光学透镜的方向第s个半透半反镜对应的显示器的出射光强度,s为大于等于1小于等于N的整数,N为半透半反镜的总数;
或,
所述显示装置为增强现实显示装置,所述多个反射镜均为半透半反反射镜,所述多个显示器的出射光强度关系满足:I1=2s-1Is,I1为第1个半透半反镜对应的显示器的出射光强度,Is为沿着靠近所述光学透镜的方向第s个半透半反镜对应的显示器的出射光强度,s为大于等于2小于等于N-1的整数,N为半透半反镜的总数;
和/或,
当所述分割单元具体用于设定多个焦面的像距参数,相邻两个所述反射镜所形成的虚像与光学透镜之间的距离满足
其中,ut+1为第t+1个反射镜所形成的虚像与光学透镜之间的距离,ut为第t个反射镜所形成的虚像与光学透镜之间的距离,k为常数,t为沿着远离光学透镜的方向反射镜的编号,t为大于等于1小于等于M-1的整数,M为焦面的总数。
在一些实现方式中,所述显示装置还包括与所述图像处理装置所包括的收发单元连接的眼球追踪器,所述眼球追踪器用于采集眼球运动信息,根据眼球运动信息,获得视线方向信息。
本发明提供的显示装置的有益效果与上述图像处理方法的有益效果相同,在此不做赘述。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1为相关技术中图像处理方法所获得的图像与第一视线方向的关系示意图;
图2为本发明实施例提供的图像处理方法所获得的图像与第一视线方向的关系示意图;
图3为相关技术中图像处理方法所获得的图像与第二视线方向的关系示意图;
图4为本发明实施例提供的图像处理方法所获得的图像与第二视线方向的关系示意图;
图5为相关技术中显示装置的示意图;
图6为本发明实施例提供的图像处理方法的流程图一;
图7为本发明实施例提供的图像处理方法的流程图二;
图8为本发明实施例提供的图像处理方法的流程图三;
图9为本发明实施例提供的图像处理方法的流程图四;
图10为本发明实施例提供的图像处理方法的流程图五;
图11为本发明实施例中三个焦面的配置示意图;
图12为本发明实施例中三个反射镜所形成的虚像配置示意图;
图13为本发明实施例中三个焦面的成像示意图;
图14为本发明实施例提供的图像处理装置、显示器、眼球追踪器的连接框图;
图15为本发明实施例提供的显示装置的结构示意图;
图16为本发明实施例提供的图像处理终端的硬件框架图。
附图标记:
100-图像处理装置, 110-收发单元;
120-分割单元, 130-渲染单元;
140-地址分配单元, 200-显示器;
210-第一显示器, 220-第二显示器;
230-第三显示器, 300-光学透镜;
400-眼球追踪器, 500-图像处理终端;
510-收发器, 520-存储器;
530-处理器, 540-总线;
a-第一视线方向, b-第二视线方向;
F1-第一反射镜, F2-第二反射镜;
F3-第三反射镜, J1-第一焦面;
J2-第二焦面, J3-第三焦面;
N-分界线, P1-第一焦面图像;
P2-第二焦面图像, P3-第三焦面图像;
X1-第一反射镜所形成的虚像, X2-第二反射镜所形成的虚像;
X3-第三反射镜所形成的虚像。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在虚拟现实(Virtual Reality,缩写为VR)显示设备、增强显示(AugmentedReality,缩写为AR)显示设备等可穿戴显示设备中,一般采用双目视差的方式使得用户可看到三维效果的图像,这些三维场景所表现的是三维物体的表面轮廓信息,轮廓以外的部分看不到。用户所看到的三维效果的图像中具有不同景深的物体,用户在观看三维效果的图像时,将这些不同景深的物体的焦面调节在不同位置,以使得用户看清楚位于同一图像上不同景深的物体。但是这也使得用户的双眼容易产生视觉辐辏冲突,导致眼部聚焦问题,使得用户产生晕动以及视觉疲劳。
为了解决该问题,可采用焦面显示技术调节VR图像所展示的不同物体的焦面位置,在一定程度上降低视觉辐辏冲突所引起的用户眼睛聚焦问题,从而减轻用户晕动和视觉疲劳感;但是,采用焦面显示技术调节VR图像所展示的物体的焦面位置时,其采用普通的分层渲染技术,使得垂直于显示屏的显示面的方向,景深比较小的物体在距离用户眼部(以双眼眼球中心连线作为基准,显示器的显示面到双眼眼球中心连线的距离即为用户眼部与显示器之间的距离,下文关于其他物体与眼部距离的定义参照此处)比较近的显示器显示,而景深比较大的物体在距离用户距离比较大的显示器显示,导致用户所看到的VR图像容易差生缺失或图像不连续的问题,使得用户所看到的VR图像的画质降低。
针对上述问题,如图6所示,本发明实施例提供了一种图像处理方法,可应用于各种图像处理,这些图像可以是VR图像,也可以为AR图像,不仅限于此;当然这些图像还可以包括动态图像,也包括静态图像。该图像处理方法包括:
步骤S110:接收视线方向信息。例如:可通过如图14所示的眼球追踪器400追踪用户眼球位置,根据用户眼球位置确定实现方向信息。
步骤S120:对原始图像进行切片处理,获得景深信息不同的多个图像切片。此处原始图像为场景中立体图像,对原始图像进行切片处理实质是对原始图像进行分割的过程,分割方法可以为基于阈值的分割方法、基于区域生长的分割方法、基于小波变换的分割方法、基于神经网络的分割方法、基于能量泛函的分割方法、基于概率统计的分割方法、基于特定理论的分割方法中的任意一种。
步骤S130:沿着视线方向信息所表征的视线方向对多个图像切片进行渲染,获得多个渲染切片,这些渲染切片所形成的图像一般为二维图像。
图1示出了相关技术中图像处理方法所获得的图像与第一视线方向a的关系示意图;从该图中可以看出:该图像处理方法对原始图像中不同景深的物体进行焦面分配,使得所获得的图像由位于第一焦面J1的第一焦面图像P1和位于第二焦面J2的第二焦面图像P2组成,第一焦面图像P1和第二焦面图像P2可叠加成一副完整图像(用图1所示的虚线表示完整图像),且第一焦面图像P1和第二焦面图像P2的分界线N垂直于焦面;当用户沿着第一视线方向a观看第一焦面图像P1和第二焦面图像P2时,第一焦面图像P1中部分图像无法被看到,无法被看到的图像位于第一焦面图像P1的左侧(见图1示出的第一焦面图像P1被圈起来的部分),这使得用户所看到的图像存在一定的缺失,导致图像不连续。换句话说,用户所看到的图像是第一焦面图像P1和第二焦面图像P2的融合图像,只是用户所看到的融合图像存在图像缺失,这部分缺失的图像是图1示出的第一焦面图像P1被圈起来的部分。
图2示出了本发明实施例提供的图像处理方法所获得的图像与第一视线方向a的关系示意图;从该图中可以看出:采用本发明实施例提供的图像处理方法对原始图像中不同景深的物体进行焦面分配,使得所获得的图像由位于第一焦面J1的第一焦面图像P1和位于第二焦面J2的第二焦面图像P2组成,第一焦面图像P1和第二焦面图像P2可叠加成一副完整图像(用图2中的虚线表示完整图像),且由于沿着视线方向信息所表征的视线方向对多个图像切片进行渲染,获得多个渲染切片,使得最终所获得的第一焦面图像P1和第二焦面图像P2的分界线与第一视线方向a相同,这使得用户沿着第一视线方向a观看第一焦面图像P1和第二焦面图像P2时,第一焦面图像P1和第二焦面图像P2都能够被完全的看到,且所看到的图像连续性比较好,不存在图像缺失问题。换句话说,用户所看到的图像是第一焦面图像P1和第二焦面图像P2的融合图像,且用户所看到的融合图像不存在图像缺失,连续性比较好。
图3示出了相关技术中图像处理方法所获得的图像与第二视线方向b的关系示意图;从该图中可以看出:采用相关技术中图像处理方法对原始图像中不同景深的物体进行焦面分配,使得所获得的图像由位于第一焦面J1的第一焦面图像P1和位于第二焦面J2的第二焦面图像P2组成,第一焦面图像P1和第二焦面图像P2可拼合成一副完整图像(用图3中虚线表示完整图像),且第一焦面图像P1和第二焦面图像P2的分界线N垂直于焦面;用户沿着第二视线方向b观看第一焦面图像P1和第二焦面图像P2时,第一焦面图像P1中部分图像无法被看到,无法被看到的图像位于第一焦面图像P1的左侧(见图3示出的被圈起来的空白部分),这使得用户所看到的图像不仅包括第一焦面图像P1和第二焦面图像P2,还有一部分位于第一焦面图像P1和第二焦面图像P2之间的空白区域,这部分空白区域使得用户所看到的图像不连续。换句话说,用户所看到的图像是第一焦面图像P1和第二焦面图像P2的融合图像,只是用户所看到的融合图像存在多余的空白区域,这部分多余的空白区域对应图3示出的被圈起来的空白部分。
图4示出了本发明实施例提供的图像处理方法所获得的图像与第二视线方向b的关系示意图;从该图中可以看出:采用本发明实施例提供的图像处理方法对原始图像中不同景深的物体进行焦面分配,使得所获得的图像由位于第一焦面J1的第一焦面图像P1和位于第二焦面J2的第二焦面图像P2组成,第一焦面图像P1和第二焦面图像P2可拼合成一副完整图像(用图4中虚线表示完整图像),且由于沿着视线方向信息所表征的视线方向对多个图像切片进行渲染,获得多个渲染切片,使得最终所获得的第一焦面图像P1和第二焦面图像P2的分界线与第二视线方向相同,这使得用户沿着第二视线方向b观看第一焦面图像P1和第二焦面图像P2时,所看到的第一焦面图像P1和第二焦面图像P2之间不会存在空白区域,从而保证了用户所看到的图像的连续性。换句话说,用户所看到的图像是第一焦面图像P1和第二焦面图像P2的融合图像,且用户所看到的融合图像不存在多余的空白区域,连续性比较好。
基于上述图像处理方法的对比例可知,如图6和图14所示,本发明实施例提供的图像处理方法中,对多个图像切片进行渲染时,沿着视线方向信息所表征的视线方向对多个图像切片进行渲染,获得多个渲染切片,使得多个渲染切片显示后,用户所看到的图像沿着视线方向连续性,不会存在缺失或不连续的问题;同时,对原始图像进行切片处理后,所获得的多个图像切片的景深信息不同,使得最终获得的多个渲染切片的景深信息也是不同的,此时多个渲染切片一一对应的经过多个显示器200显示后所获得的图像被主动的分配到不同的焦面,使得用户所看到的经过融合的VR图像、AR图像等图像位于不同焦面上,这样就能够减少人眼调节焦面的幅度,从而降低用户视觉辐辏冲突所产生的晕动以及视觉疲劳感。
可以理解的是,多个渲染切片一一对应的经过多个显示器200显示后所获得的图像被主动的分配到不同的焦面后,用户眼部所看到这些图像仍然位于不同焦面,只是这些位于不同焦面的图像在人脑中进行融合,使得而用户所看到的图像为这些不同图像所形成的融合图像。当然,在一帧图像渲染完毕后,还应当及时更新视线方向信息,以获取用户的最新视线方向信息,从而使得用户所看到的图像画质更好。
在一些实施例中,如图7和图14所示,上述对原始图像进行切片处理,获得景深信息不同的多个图像切片包括:
步骤S121:设定多个焦面的像距参数;像距参数是指显示器200所显示的图像透过光学透镜300后所成的虚像与光学透镜300的距离。
步骤S122:由于不同焦面的像距参数与原始图像的景深信息对应,因此,可根据多个焦面的像距参数对原始图像进行切片处理,获得景深信息不同的多个图像切片。
为了保证用户在比较舒服的距离内观看图像,如图8和图14所示,上述设定多个焦面的像距参数包括:
步骤S1211:考虑到小于眼部的明视距离时,用户观看图像会有不舒服的感觉,基于此,根据明视距离设定焦面最小像距参数;明视距离是指在合适的照明条件下,眼睛最方便、最习惯的工作距离。最适合正常人眼观察近处较小物体的距离,一般标准明视距离为25cm,这时人眼的调节功能不太紧张,可以长时间观察而不易疲劳。
步骤S1212:考虑到眼部屈光度的调节范围,且眼部屈光度与物距具有倒数关系,基于此,根据眼部屈光度调节范围设定焦面最大像距参数;
步骤S1213:根据焦面最小像距参数和焦面最大像距参数,设定多个焦面的像距参数,使得多个焦面的像距参数均小于或等于焦面最大像距参数,大于或等于焦面最小像距参数。
例如:如图11所示,相关技术中眼部的明视距离为25cm,则多个焦面中焦面与眼部的最小距离应当为25cm,即焦面最小像距参数为25cm;如图12所示,眼部屈光度的调节范围为0D~8D(Dioptre,缩写为D),而眼部屈光度与物距呈倒数关系,则当眼部屈光度的调节范围为0D~8D,使得用户实质所看到的图像(虚像)的最小像距参数为12.5cm。而考虑到眼部的明视距离为25cm时,焦面最小像距参数为25cm,焦面的最大像距参数可以根据实际情况设定,如:可设定焦面的最大像距参数为75cm。其中,D又称屈光度,单位为m-1,是表示屈光力的大小单位。1D是指平行光线经过该屈光物质时,以焦点在1m时该屈光物质的屈光力。
如图14和图15所示,考虑到VR显示设备、AR显示设备等可穿戴显示设备中,光学透镜300所形成的虚像与物体位于光学透镜300的同一侧,因此,根据高斯成像公式得到其中,u为光学透镜300的物距参数,v为光学透镜300的像距参数,f为光学透镜300的焦距参数。考虑到VR设备的光学透镜300的焦距参数相对比较大,因此,光学透镜300的焦距参数一般为15cm。
如图11、图12和图14所示,当最小像距参数为25cm,光学透镜300的焦距参数为15cm时,最小物距参数当最大像距参数为75cm,光学透镜300的焦距参数为15cm时,最大物距参数
由上可知,当光学透镜300的焦距参数为15cm时,焦面的像距参数范围为25cm~75cm,物距的参数范围为9.375cm~12.5cm。
而考虑到穿戴显示设备中,在用户眼部的各个焦面所形成的图像因为聚焦误差引起的模糊程度大致与以屈光度为单位测量的聚焦误差的大小成比例。此时,可控制相邻两个焦面之间的屈光度差值保持恒定,以抵消聚焦误差所引起的偏差。此时,相邻两个焦面的像距参数对应的物距参数满足:
其中,ui+1为第i+1个焦面的像距参数对应的物距参数,ui为第i个焦面的像距参数对应的物距参数,k为相邻两个焦面之间的屈光度差值,是一个常数,i为焦面沿着远离眼部的方向的编号,i为大于等于1小于等于M-1的整数,M为焦面的总数。
同时,考虑到VR显示设备、AR显示设备等可穿戴显示设备中,如图14和图15所示,光学透镜300所形成的虚像与物体位于光学透镜300的同一侧,因此,根据高斯成像公式获得因此,因此,相邻两个焦面之间的像距参数满足以下公式,以使得相邻两个焦面对应的屈光度差值保持恒定。
其中,vi+1为第i+1个焦面的像距参数,vi为第i个焦面的像距参数,i为焦面沿着远离眼部的方向的编号,i为大于等于1小于等于M-1的整数,M为焦面的总数,k为屈光度差值,是一个常数,具体大小由焦面的数量决定。
当设定焦面数量为3个时,如图11所示,将距离眼部距离最近的焦面定义为第一焦面J1,距离眼部距离最远的焦面定义为第三焦面J3,位于第一焦面J1和第三焦面J3之间的焦面定义为第二焦面J2。
如图11所示,若相邻两个焦面之间的屈光度差值保持恒定,此时根据可得到当第一焦面J1的像距参数v1为25cm,第三焦面J3的像距参数v3为75cm时,根据获得屈光度第二焦面J2的像距参数v2=37.5cm。同时,如图12所示,根据可得到当第一焦面J1的像距参数对应的物距参数u1=9.375cm,第三焦面J3的像距参数对应的物距参数u3=12.5cm时,根据获得屈光度差值第二焦面J2的像距参数对应的物距参数u2=10.71cm。
由上可知,如图11所示,当上述焦面数量为3个,第一焦面J1的像距参数v1为25cm,第二焦面J2的像距参数v2为37.5cm,第三焦面J3的像距参数v3为75cm,相邻两个焦面的屈光度差值保持恒定,此时相邻两个焦面的屈光度差值同时,如图12所示,当第一焦面J1的像距参数对应的物距参数u1为9.375cm,第二焦面J2的像距参数对应的物距参数u2为10.71cm,第三焦面J3的像距参数对应的物距参数u3为12.5cm,相邻两个焦面的屈光度差值保持恒定,此时相邻两个焦面的屈光度差值
在一些实施例中,如图9所示,上述根据多个焦面的像距参数对原始图像进行切片处理,获得景深信息不同的多个图像切片包括:
步骤S1221:根据多个焦面的像距参数,设定每个图像切片的轮廓对应的像距参数范围,使得每个图像切片对应的焦面的像距参数位于对应图像切片的轮廓对应的像距参数范围内。
至于每个图像切片的轮廓对应的像距参数范围设置方式,根据每个图像切片的景深信息进行设定,如当前图像切片的景深信息比较大,可将当前图像切片的轮廓对应的最小像距参数设定的比较大;当前图像切片的景深信息比较小,可将当前图像切片的轮廓对应的最小像距参数设定的比较小。一般情况下,如果原始图像的景深分布梯度比较均匀,可控制每个图像切片对应的焦面的像距参数位于对应图像切片的轮廓对应的像距参数范围的中间位置,即若当前图像切片对应的焦面的像距参数v0,当前图像切片的轮廓对应的最小像距参数为vmin,最大像距参数为vmax,则v0=(vmax-vmin)/2,以使得原始图像的景深信息分布比较均匀。
步骤S1222:鉴于不同焦面的像距参数与原始图像的景深信息具有对应关系,基于此,根据多个图像切片的轮廓对应的像距参数范围对原始图像进行切片处理,获得景深信息不同的多个图像切片。
在一些实施例中,如图10所示,上述沿着视线方向对多个图像切片进行渲染,获得景深信息不同的多个渲染切片包括:
步骤S131:相关技术的图像处理方法中,将原始图像切片后,所形成的图像切片直接进行渲染,使得这些图像切片沿着垂直于焦面的方向可拼合成完成的图像,但是用户观看图像时,视线方向一直发生变化,这使得用户所看到的图像容易出现图1和图3的问题;基于此,根据视线方向信息对多个图像切片进行中心投影,获得多个图像切片投影,此时所形成的图像切片投影在视线方向上连续,以防止出现图1所示出的图像缺失问题或图3所示的图像存在空白区域的问题。
步骤S132:对多个图像切片投影进行渲染,获得多个渲染切片,具体渲染方法参考相关技术即可,不再详述。
可以理解的是,如图6和图14所示,获得多个渲染切片后,上述图像处理方法还包括:
步骤S140:根据每个渲染切片的景深信息设定每个渲染切片的显示器200地址信息;
步骤S150:根据每个渲染切片的显示器地址控制显示器200显示对应渲染切片所形成的图像。
图13示出了用户眼部所看到的图像在三个焦面的分布示意图。图13中的半圆代表用户所看到的图像。第一焦面J1和第二焦面J2之间的虚线为第一图像切片的轮廓对应的最大像距参数,同时也是第二图像切片的轮廓对应的最小像距参数;第二焦面J2和第三焦面J3之间的虚线为第二图像切片的轮廓对应的最大像距参数,也是第三图像切片的轮廓对应的最小像距参数。对原始图像进行切片时,按照虚线所示的范围进行图像切片,即第一图像切片和第二图像切片的分界线以第一焦面J1和第二焦面J2之间的虚线为准,第二图像切片和第三图像切片的分界线以第二焦面J2和第三焦面J3之间的虚线为准。
当采用上述方法对第一图像切片、第二图像切片和第三图像切片进行渲染,所获得的第一渲染切片位于第一焦面J1上,形成第一焦面图像P1;所获得的第二渲染切片位于第二焦面J2上,形成的第二焦面图像P2;所获得的第三渲染切片位于第三焦面J3上,形成第三焦面图像P3;用户看到第一焦面图像P1、第二焦面图像P2和第三焦面图像P3后,可形成具有三维效果的连续图像。
如图6和图14所示,本发明实施例还提供了一种图像处理装置100,该图像处理装置100包括:
收发单元110,用于接收视线方向信息;
与收发单元110连接的分割单元120,用于对原始图像进行切片处理,获得景深信息不同的多个图像切片;
与收发单元110和分割单元120连接的渲染单元130,用于沿着所述视线方向信息所表征的视线方向对多个图像切片进行渲染,获得多个渲染切片。
与相关技术相比,本发明实施例提供的图像处理装置100的有益效果与上述图像处理方法的有益效果相同,在此不做赘述。
在一些实施例中,如图7和图14所示,上述分割单元120具体用于设定多个焦面的像距参数;根据多个焦面的像距参数对原始图像进行切片处理,获得景深信息不同的多个图像切片。
具体的,如图8和图14所示,上述分割单元120具体用于根据明视距离设定焦面最小像距参数,根据眼部屈光度调节范围设定焦面最大像距参数;根据所述焦面最小像距参数和所述焦面最大像距参数,设定多个焦面的像距参数,使得多个焦面的像距参数均小于等于焦面最大像距参数,大于等于焦面最小像距参数。
示例性的,相邻两个焦面的像距参数满足:
其中,vi+1为第i+1个焦面的像距参数,vi为第i个焦面的像距参数,k为相邻两个焦面之间的屈光度差值,是一个常数,i为焦面沿着远离眼部的方向的编号,i为大于等于1小于等于M-1的整数,M为焦面的总数。
具体的,如图9和图14所示,上述分割模块具体用于根据多个焦面的像距参数,设定每个图像切片的轮廓对应的像距参数范围,使得每个图像切片对应的焦面的像距参数位于对应图像切片的轮廓对应的像距参数范围内;根据多个图像切片的轮廓对应的像距参数范围对所述原始图像进行切片处理,获得景深信息不同的多个图像切片。
在一些实施例中,如图10和图14所示,上述渲染单元130具体用于根据视线方向信息对多个图像切片进行中心投影,获得多个图像切片投影;对所述多个图像切片投影进行渲染,获得多个渲染切片,以防止图1所示出的图像缺失问题或图3所示的图像存在空白区域的问题出现。
在一些实施例中,如图6和图14所示,上述图像处理装置100还包括地址分配单元140,用于根据每个所述渲染切片的景深信息设定每个所述渲染切片的显示器地址信息,根据每个渲染切片的显示器地址控制显示器200显示渲染切片所形成的图像。
可以理解的是,如图14所示,上述收发单元110还与地址分配单元140连接,使得收发单元110用于按照景深信息将多个渲染切片传送给与眼部距离不同的各个离显示器200。
如图14所示,本发明实施例还提供了一种显示装置,应用于VR显示、AR显示等显示领域。该显示装置包括多个显示器200和上述图像处理装置100,每个显示器200的数据接口与上述图像处理装置100所含有的收发单元110连接,使得图像处理装置100可将多个渲染切片按照景深信息传输给对应显示器200。
与相关技术相比,本发明实施例提供的显示装置的有益效果与上述图像处理方法的有益效果相同,在此不做赘述。
可以理解的是,如图14所示,上述显示装置还包括与所述图像处理装置100所包括的收发单元110连接的眼球追踪器400,以使得眼球追踪器400用于采集眼球运动信息,根据眼球运动信息,获得视线方向信息,并将视线方向信息传送给图像处理装置100。当然视线方向信息还可以采用其他设备采集,不限于此。
如图5所示,在相关技术中可穿戴显示设备采用多焦面显示技术时,可穿戴显示设备包括多个显示器,多个显示器(均为透明显示器)沿着靠近光学透镜300的光轴方向设在光学透镜300的入光侧,以使得多个显示器显示的图像通过光学透镜300后形成多个焦面的图像。但是,由于多个显示器沿着靠近光学透镜300的方向设在光学透镜300的入光侧,使得可穿戴显示设备在深度方向(光学透镜300的光轴方向上)具有很大的空间,不利于可穿戴显示设备的结构设计。例如:图5示出了三个显示器200,分别为第一显示器210、第二显示器220和第三显示器230,在光学透镜300的光轴方向,第一显示器210、第二显示器220和第三显示器230沿着远离光学透镜300的方向排布,使得可穿戴显示设备在深度方向(光学透镜300的光轴方向上)具有很大的空间,这样不利于可穿戴显示设备的结构设计。
针对上述问题,如图15所示,上述显示装置还包括光学透镜300和多个反射镜。多个反射镜与多个显示器200一一对应,每个反射镜用于将对应显示器200的出射光提供给光学透镜300,即每个反射镜可将对应显示器200所出射的光线进行反射,使得被反射的光线穿过光学透镜300;多个反射镜沿着靠近光学透镜300的方向设在光学透镜300的入光侧;由于反射镜的体积比较小,只需调节倾斜角度,将显示器200所出射的光线反射至光学透镜300即可,因此,多个反射镜沿着靠近光学透镜300的方向设在光学透镜300的入光侧时,多个反射镜并不会在光学透镜300的光轴方向占用过多的空间。同时,多个显示器200设在所述光学透镜300的入光侧,多个显示器200在光学透镜300的周向方向间隔设置,以尽量减少显示器200在光学透镜300的光轴方向和光学透镜300的径向方向所占用的空间,使得显示装置小型化;而且,由于反射镜可反射对应显示器200的出射光,因此,只需调节反射镜的反射面与对应显示器200的显示面的夹角,使得反射镜可反射显示器200所出射的光线至光学透镜300,无需将多个显示器200沿着靠近光学透镜300的方向设在光学透镜300的入光侧。但为了方便显示器200向对应反射镜提供光线,可适当的使得多个显示器200在光学透镜300的光轴方向错开。另外,由于多个显示器200设在所述光学透镜300的入光侧,多个显示器200在光学透镜300的周向方向间隔设置,使得这些显示器200只需具有常规显示功能即可,无需透明。
具体的,当上述分割单元120具体用于设定多个焦面的像距参数,要使得上述相邻两个焦面的像距参数满足需要设定光学透镜300的物距,而对于上述显示装置来说,其中的光学透镜300的物距实质是反射镜所形成的虚像与光学透镜300之间的距离,此处定义反射镜所形成的虚像与光学透镜300之间的距离是指:反射镜所形成的虚像与光学透镜300的光轴所形成的交点到光学透镜300的光心之间的距离。
相邻两个反射镜所形成虚像与光学透镜300之间的距离满足其中,ut+1为第t+1个反射镜所形成的虚像与光学透镜300之间的距离,即第t+1个焦面的像距参数对应的物距参数;ut为第t个反射镜所形成的虚像与光学透镜300之间的距离,即第t个焦面的像距参数对应的物距参数;k为相邻两个焦面之间的屈光度差值,是一个常数,t为沿着远离光学透镜300的方向反射镜的编号,t为大于等于1小于等于M-1的整数,M为焦面的总数。例如:如图11和图12所示,当第一焦面J1的像距参数对应的物距参数u1为9.375cm,第一反射镜所形成的虚像X1与光学透镜300之间的距离为9.375cm;当第二焦面J2的像距参数对应的物距参数u2为10.71cm,第二反射镜所形成的虚像X2与光学透镜300之间的距离为10.71cm;当第三焦面J3的像距参数对应的物距参数u3为12.5cm,第三反射镜所形成的虚像X3与光学透镜300之间的距离为12.5cm。
例如:图15示出的显示装置包括三个反射镜和三个显示器,三个反射镜分别为第一反射镜F1、第二反射镜F2和第三反射镜F3,第一显示器210、第二显示器220和第三显示器230,第一反射镜F1、第二反射镜F2和第三反射镜F3沿着远离光学透镜300的方向设在光学透镜300的入光侧,第一显示器210、第二显示器220和第三显示器230沿着光学透镜300的周向间隔设置,考虑到方便反射镜反射光线的目的,第一显示器210、第二显示器220和第三显示器230沿着光学透镜300的周向间隔设置的同时,还沿着光学透镜300的光轴方向稍微错开,使得第一显示器210所出射的光线可被第一反射镜F1反射至光学透镜300,第二显示器220所出射的光线可被第二反射镜F2反射至光学透镜300,第三显示器230所出射的光线可被第三反射镜F3反射至光学透镜300。
示例性的,如图15所示,当上述显示装置为虚拟现实显示装置时,上述多个反射镜包括全反射镜和多个半透半反镜,全反射镜和多个半透半反镜沿着靠近光学透镜300的方向设在光学透镜300的入光侧;此时,全反射镜距离光学透镜300最远,全发射镜将对应光线反射至光学透镜300时,被反射的光线需要穿过半透半反镜。为了使得各个显示器所显示的图像进入用户眼部时,图像亮度尽可能的一致,上述多个显示器的出射光强度关系满足:I1=2s-1Is,I1为第1个半透半反镜对应的显示器的出射光强度,Is为沿着靠近光学透镜300的方向第s个半透半反镜对应的显示器的出射光强度,s为大于等于2小于等于N的整数,N为半透半反镜的总数,N为大于等于2的整数。例如:当图15示出的第一反射镜F1和第二反射镜F2均为半透半反镜,第三反射镜F3为全反射镜。设第一显示器210、第二显示器220和第三显示器230所出射的光线强度均为I,光线穿过光学透镜300的光线强度损失不计。
第一显示器210出射的光线被第一反射镜F1反射(半透半反镜)时,有50%的光线透过第一反射镜F1,还有50%的光线被第一反射镜F1反射至光学透镜300上进行成像,使得用户所看到的第一显示器210所显示的画面的光线强度等于0.5I。
第二显示器220出射的光线被第二反射镜F2(半透半反镜)反射时,有50%的光线透过第二反射镜F2,还有50%的光线被第二反射镜F2反射至第一反射镜F1,此时有50%的光线被第一反射镜F1(半透半反镜)反射,50%的光线透过第一反射镜F1照射在光学透镜300上进行成像,使得用户所看到的第二显示器220所显示的画面的光线强度等于0.25I。
第三显示器230出射的光线被第三反射镜F3(全反射镜)100%的反射至第二反射镜F2(半透半反镜),有50%的光线透过第二反射镜F2,还有50%的光线被第二反射镜F2反射至第一反射镜F1(半透半反镜),此时有50%的光线被第一反射镜F1反射,50%的光线透过第一反射镜F1照射在光学透镜300上进行成像,使得用户所看到的第三显示器230所显示的画面的光线强度等于0.25I。
由上可知,如果第一显示器210、第二显示器220和第三显示器230所出射的光线强度相同,用户所看到的三个显示器所显示的画面的光线强度的差别比较大,要使得用户所看到的三个显示器所显示的画面的光线强度相同,那么需要设定第三显示器所出射的光线强度I0等于两倍的第二显示器所出射的光线强度I2,且第一显示器所出射的光线强度I1等于第二显示器所出射的光线强度I2
示例性的,如图15所示,当上述显示装置为增强现实显示装置,多个反射镜均为半透半反镜,以保证外界光线可进入眼部。此时多个显示器200的出射光强度关系满足:I1=2s-1Is,I1为第1个半透半反镜对应的显示器200的出射光强度,Is为沿着靠近光学透镜300的方向第s个半透半反镜对应的显示器200的出射光强度,s为大于等于2小于等于N的整数,N为半透半反镜的总数,N为大于等于2的整数。
例如:图15示出的第一反射镜F1、第二反射镜F2和第三反射镜F3均为半透半反镜,第三反射镜F3为全反射镜。设第一显示器210、第二显示器220和第三显示器230所出射的光线强度均为I,光线穿过光学透镜300的光线强度损失不计。
第一显示器210出射的光线被第一反射镜F1反射(半透半反镜)时,有50%的光线透过第一反射镜F1,还有50%的光线被第一反射镜F1反射至光学透镜300上进行成像,使得用户所看到的第一显示器210所显示的画面的光线强度等于0.5I。
第二显示器220出射的光线被第二反射镜F2(半透半反镜)反射时,有50%的光线透过第二反射镜F2,还有50%的光线被第二反射镜F2反射至第一反射镜F1,此时有50%的光线被第一反射镜F1(半透半反镜)反射,50%的光线透过第一反射镜F1照射在光学透镜300上进行成像,使得用户所看到的第二显示器220所显示的画面的光线强度等于0.25I。
第三显示器230出射的光线被第三反射镜F3(半透半反镜)反射时,有50%的光线透过第三反射镜F3,还有50%的光线被反射至第二反射镜F2(半透半反镜),使得50%的光线透过第二反射镜F2,还有50%的光线被第二反射镜F2反射至第一反射镜F1(半透半反镜),此时有50%的光线被第一反射镜F1反射,50%的光线透过第一反射镜F1照射在光学透镜300上进行成像,使得用户所看到的第三显示器230所显示的画面的光线强度等于0.125I。
由上可知,如果第一显示器210、第二显示器220和第三显示器230所出射的光线强度相同,用户所看到的三个显示器所显示的画面的光线强度的差别比较大,要使得用户所看到的三个显示器所显示的画面的光线强度相同,那么需要设定第三显示器所出射的光线强度I0等于2倍的第二显示器所出射的光线强度I2,且第二显示器所出射的光线强度I2等于4倍的第一显示器所出射的光线强度I1
本发明实施例还提供了一种计算机存储介质,该计算机存储介质用于储存一个或多个计算机软件指令,其包含用于执行上述图像处理方法所设计的程序。
与相关技术相比,本发明实施例提供的计算机存储介质的有益效果与上述图像处理方法的有益效果相同,在此不做赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于上述计算机存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述计算机存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
如图16所示,本发明实施例还提供了一种图像处理终端500,该图像处理终端500包括收发器510、存储器520、处理器530以及总线540;收发器510、存储器520以及处理器530通过总线540彼此通信。
存储器520用于存储多个指令以实现上述图像处理方法,处理器530用于执行所述多个指令以实现上述图像处理方法。
其中,本发明实施例所述的处理器530可以是一个处理器,也可以是多个处理元件的统称。例如,该处理器530可以是中央处理器(Central Processing Unit,简称CPU),也可以是特定集成电路(Application Specific Integrated Circuit,简称ASIC),或者是被配置成实施本发明实施例的一个或多个集成电路,例如:一个或多个微处理器(digitalsignal processor,简称DSP),或,一个或者多个现场可编程门阵列(Field ProgrammableGate Array,简称FPGA)。
存储器520可以是一个存储装置,也可以是多个存储元件的统称,且用于存储可执行程序代码等。且存储器520可以包括随机存储器(RAM),也可以包括非易失性存储器(non-volatile memory),例如磁盘存储器,闪存(Flash)等。
总线540可以是工业标准体系结构(Industry Standard Architecture,ISA)总线、外部设备互连(Peripheral Component,PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture,EISA)总线等。该总线540可以分为地址总线、数据总线、控制总线等。为便于表示,图16中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于设备实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。
在上述实施方式的描述中,具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (17)

1.一种图像处理方法,其特征在于,包括:
接收视线方向信息;
对原始图像进行切片处理,获得景深信息不同的多个图像切片;
沿着所述视线方向信息所表征的视线方向对所述多个图像切片进行渲染,获得多个渲染切片。
2.根据权利要求1所述的图像处理方法,其特征在于,所述对原始图像进行切片处理,获得景深信息不同的多个图像切片包括:
设定多个焦面的像距参数;
根据多个焦面的像距参数对原始图像进行切片处理,获得景深信息不同的多个图像切片。
3.根据权利要求2所述的图像处理方法,其特征在于,所述设定多个焦面的像距参数包括:
根据明视距离设定焦面最小像距参数;
根据眼部屈光度调节范围设定焦面最大像距参数;
根据所述焦面最小像距参数和所述焦面最大像距参数,设定多个焦面的像距参数,使得多个焦面的像距参数均小于或等于焦面最大像距参数,大于或等于焦面最小像距参数。
4.根据权利要求2所述的图像处理方法,其特征在于,相邻两个焦面的像距参数满足:
其中,vi+1为第i+1个焦面的像距参数,vi为第i个焦面的像距参数,k为常数,i为焦面沿着远离眼部的方向的编号,i为大于等于1小于等于M-1的整数,M为焦面的总数。
5.根据权利要求2所述的图像处理方法,其特征在于,所述根据多个焦面的像距参数对原始图像进行切片处理,获得景深信息不同的多个图像切片包括:
根据多个焦面的像距参数,设定每个图像切片的轮廓对应的像距参数范围,使得每个图像切片对应的焦面的像距参数位于对应图像切片的轮廓对应的像距参数范围内;
根据多个图像切片的轮廓对应的像距参数范围对所述原始图像进行切片处理,获得景深信息不同的多个图像切片。
6.根据权利要求1~5任一项所述的图像处理方法,其特征在于,所述沿着视线方向对所述多个图像切片进行渲染,获得景深信息不同的多个渲染切片包括:
根据所述视线方向信息对所述多个图像切片进行中心投影,获得多个图像切片投影;
对所述多个图像切片投影进行渲染,获得多个渲染切片;
和/或,
所述获得多个渲染切片后,所述图像处理方法还包括:
根据每个所述渲染切片的景深信息设定每个所述渲染切片的显示器地址信息;
根据每个渲染切片的显示器地址控制显示器显示渲染切片所形成的图像。
7.一种图像处理装置,其特征在于,包括:
收发单元,用于接收视线方向信息;
分割单元,用于对原始图像进行切片处理,获得景深信息不同的多个图像切片;
渲染单元,用于沿着所述视线方向信息所表征的视线方向对所述多个图像切片进行渲染,获得多个渲染切片。
8.根据权利要求7所述的图像处理装置,其特征在于,所述分割单元具体用于设定多个焦面的像距参数;根据多个焦面的像距参数对原始图像进行切片处理,获得景深信息不同的多个图像切片。
9.根据权利要求8所述的图像处理装置,其特征在于,所述分割单元具体用于根据明视距离设定焦面最小像距参数,根据眼部屈光度调节范围设定焦面最大像距参数;根据所述焦面最小像距参数和所述焦面最大像距参数,设定多个焦面的像距参数,使得多个焦面的像距参数均小于或等于焦面最大像距参数,大于或等于焦面最小像距参数。
10.根据权利要求8所述的图像处理装置,其特征在于,相邻两个焦面的像距参数满足:
其中,vi+1为第i+1个焦面的像距参数,vi为第i个焦面的像距参数,k为常数,i为焦面沿着远离眼部的方向的编号,i为大于等于1小于等于M-1的整数,M为焦面的总数。
11.根据权利要求8所述的图像处理装置,其特征在于,所述分割模块具体用于根据多个焦面的像距参数,设定每个图像切片的轮廓对应的像距参数范围,使得每个图像切片对应的焦面的像距参数位于对应图像切片的轮廓对应的像距参数范围内;根据多个图像切片的轮廓对应的像距参数范围对所述原始图像进行切片处理,获得景深信息不同的多个图像切片。
12.根据权利要求7~11任一项所述的图像处理装置,其特征在于,所述渲染单元具体用于根据所述视线方向信息对所述多个图像切片进行中心投影,获得多个图像切片投影;对所述多个图像切片投影进行渲染,获得多个渲染切片;
和/或,
所述图像处理装置还包括地址分配单元,用于根据每个所述渲染切片的景深信息设定每个所述渲染切片的显示器地址信息,根据每个渲染切片的显示器地址控制显示器显示渲染切片所形成的图像。
13.一种计算机存储介质,其特征在于,用于储存一个或多个计算机软件指令,其包含用于执行权利要求1~6任一项所述图像处理方法所设计的程序。
14.一种显示装置,其特征在于,包括多个显示器和权利要求7~12任一项所述图像处理装置,每个所述显示器的数据接口与所述图像处理装置所含有的接收单元连接。
15.根据权利要求14所述的显示装置,其特征在于,所述显示装置还包括光学透镜和多个反射镜,所述多个反射镜与所述多个显示器一一对应,每个反射镜用于将对应显示器的出射光提供给光学透镜;
所述多个显示器设在所述光学透镜的入光侧,所述多个显示器在所述光学透镜的周向方向间隔设置,所述多个反射镜沿着靠近所述光学透镜的方向设在所述光学透镜的入光侧。
16.根据权利要求15所述的显示装置,其特征在于,
所述显示装置为虚拟现实显示装置,所述多个反射镜包括全反射镜和多个半透半反镜,所述全反射镜和所述多个半透半反镜沿着靠近所述光学透镜的方向设在所述光学透镜的入光侧,所述多个显示器的出射光强度关系满足:I0=2s-1Is,I0为全反射镜对应的显示器的出射光强度,Is为沿着靠近所述光学透镜的方向第s个半透半反镜对应的显示器的出射光强度,s为大于等于1小于等于N的整数,N为半透半反镜的总数;
或,
所述显示装置为增强现实显示装置,所述多个反射镜均为半透半反反射镜,所述多个显示器的出射光强度关系满足:I1=2s-1Is,I1为第1个半透半反镜对应的显示器的出射光强度,Is为沿着靠近所述光学透镜的方向第s个半透半反镜对应的显示器的出射光强度,s为大于等于2小于等于N-1的整数,N为半透半反镜的总数;
和/或,
当所述分割单元具体用于设定多个焦面的像距参数,相邻两个所述反射镜所形成的虚像与光学透镜之间的距离满足
其中,ut+1为第t+1个反射镜所形成的虚像与光学透镜之间的距离,ut为第t个反射镜所形成的虚像与光学透镜之间的距离,k为常数,t为沿着远离光学透镜的方向反射镜的编号,t为大于等于1小于等于M-1的整数,M为焦面的总数。
17.根据权利要求14所述的显示装置,其特征在于,所述显示装置还包括与所述图像处理装置所包括的收发单元连接的眼球追踪器,所述眼球追踪器用于采集眼球运动信息,根据眼球运动信息,获得视线方向信息。
CN201910199870.9A 2019-03-15 2019-03-15 一种图像处理方法及装置、显示装置 Active CN109803133B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910199870.9A CN109803133B (zh) 2019-03-15 2019-03-15 一种图像处理方法及装置、显示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910199870.9A CN109803133B (zh) 2019-03-15 2019-03-15 一种图像处理方法及装置、显示装置

Publications (2)

Publication Number Publication Date
CN109803133A true CN109803133A (zh) 2019-05-24
CN109803133B CN109803133B (zh) 2023-04-11

Family

ID=66563005

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910199870.9A Active CN109803133B (zh) 2019-03-15 2019-03-15 一种图像处理方法及装置、显示装置

Country Status (1)

Country Link
CN (1) CN109803133B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021102716A1 (zh) * 2019-11-27 2021-06-03 深圳市晟视科技有限公司 一种景深合成系统、相机和显微镜
WO2021197370A1 (zh) * 2020-03-31 2021-10-07 京东方科技集团股份有限公司 一种光场显示方法及系统、存储介质和显示面板
WO2021196790A1 (zh) * 2020-03-31 2021-10-07 京东方科技集团股份有限公司 透明显示面板、显示装置及眼镜
WO2021227969A1 (zh) * 2020-05-15 2021-11-18 华为技术有限公司 一种数据处理方法及其设备
CN117073988A (zh) * 2023-08-18 2023-11-17 交通运输部公路科学研究所 抬头显示虚像距离测量系统及方法、电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090062440A (ko) * 2007-12-13 2009-06-17 한국전자통신연구원 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치
CN105389146A (zh) * 2014-09-03 2016-03-09 三星电子株式会社 用于显示图像的方法及其电子设备
CN106415666A (zh) * 2014-02-27 2017-02-15 加雷思·保罗·贝尔 在三维体积空间内插入物理对象的显示器
CN108886612A (zh) * 2016-02-11 2018-11-23 奇跃公司 减少深度平面之间切换的多深度平面显示系统
CN109154723A (zh) * 2016-03-25 2019-01-04 奇跃公司 虚拟和增强现实系统和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090062440A (ko) * 2007-12-13 2009-06-17 한국전자통신연구원 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치
CN106415666A (zh) * 2014-02-27 2017-02-15 加雷思·保罗·贝尔 在三维体积空间内插入物理对象的显示器
CN105389146A (zh) * 2014-09-03 2016-03-09 三星电子株式会社 用于显示图像的方法及其电子设备
CN108886612A (zh) * 2016-02-11 2018-11-23 奇跃公司 减少深度平面之间切换的多深度平面显示系统
CN109154723A (zh) * 2016-03-25 2019-01-04 奇跃公司 虚拟和增强现实系统和方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021102716A1 (zh) * 2019-11-27 2021-06-03 深圳市晟视科技有限公司 一种景深合成系统、相机和显微镜
WO2021197370A1 (zh) * 2020-03-31 2021-10-07 京东方科技集团股份有限公司 一种光场显示方法及系统、存储介质和显示面板
WO2021196790A1 (zh) * 2020-03-31 2021-10-07 京东方科技集团股份有限公司 透明显示面板、显示装置及眼镜
US11825064B2 (en) 2020-03-31 2023-11-21 Boe Technology Group Co., Ltd. Light field display method and system, storage medium and display panel
WO2021227969A1 (zh) * 2020-05-15 2021-11-18 华为技术有限公司 一种数据处理方法及其设备
CN117073988A (zh) * 2023-08-18 2023-11-17 交通运输部公路科学研究所 抬头显示虚像距离测量系统及方法、电子设备

Also Published As

Publication number Publication date
CN109803133B (zh) 2023-04-11

Similar Documents

Publication Publication Date Title
CN109803133A (zh) 一种图像处理方法及装置、显示装置
US11710469B2 (en) Depth based foveated rendering for display systems
US11803059B2 (en) 3-dimensional electro-optical see-through displays
JP7005644B2 (ja) 正しい単眼奥行き手がかりを持つニアアイシーケンシャルライトフィールドプロジェクタ
JP7096836B2 (ja) ディスプレイシステムのための深度ベース中心窩化レンダリング
US9530382B2 (en) Light management for image and data control
US20190204601A1 (en) Augmented reality optics system with pin mirror
US20180084232A1 (en) Optical See-Through Head Worn Display
JP6014038B2 (ja) 眼鏡装用シミュレーション方法、プログラム、装置、眼鏡レンズ発注システム及び眼鏡レンズの製造方法
US20050146788A1 (en) Software out-of-focus 3D method, system, and apparatus
US20150312558A1 (en) Stereoscopic rendering to eye positions
CN108107579A (zh) 一种基于空间光调制器的全息光场大视域大出瞳的近眼显示系统
CN108490611A (zh) 增强现实设备的屈光调节方法及其装置、增强现实设备
CN106526867A (zh) 影像画面的显示控制方法、装置及头戴式显示设备
US20210231951A1 (en) Systems and methods for external light management
JP2023500177A (ja) 奥行きのある物体を表示するシステム及び方法
CN110187506A (zh) 光学显示系统和增强现实设备
KR100514241B1 (ko) 안경렌즈의 양안 성능 평가방법, 그 성능의 표시방법과,표시장치
JP3919097B2 (ja) 眼鏡レンズの両眼視性能表示方法及びその装置
CN108957742A (zh) 一种实现画面虚拟透明动态调节的增强现实头盔及方法
CN105452834A (zh) 用于确定眼镜片的视觉效果的方法
US20010043395A1 (en) Single lens 3D software method, system, and apparatus
WO2022138073A1 (ja) 画像生成装置、頭部装着表示装置、画像生成方法、及びプログラム
US11327313B2 (en) Method and system for rendering an image with a pupil enhanced accommodation of the eye
Gebel et al. Deep learning approach for creating the natural vergence-accommodation conditions in virtual and mixed reality systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant