CN109633906A - 虚拟现实设备及其图像校正方法 - Google Patents

虚拟现实设备及其图像校正方法 Download PDF

Info

Publication number
CN109633906A
CN109633906A CN201910001062.7A CN201910001062A CN109633906A CN 109633906 A CN109633906 A CN 109633906A CN 201910001062 A CN201910001062 A CN 201910001062A CN 109633906 A CN109633906 A CN 109633906A
Authority
CN
China
Prior art keywords
display screen
light field
virtual reality
reality device
imaging light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910001062.7A
Other languages
English (en)
Inventor
孙雪菲
柳在健
王新星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201910001062.7A priority Critical patent/CN109633906A/zh
Publication of CN109633906A publication Critical patent/CN109633906A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0018—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for preventing ghost images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0129—Head-up displays characterised by optical features comprising devices for correcting parallax
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)

Abstract

本申请提供一种虚拟现实设备及其图像校正方法，所述虚拟现实设备的图像校正方法包括：获取显示屏的成像光场与人眼的成像光场的函数关系；获取人眼的实际成像光场；根据所述函数关系及人眼的实际成像光场计算出显示屏的校正成像光场；对显示屏的像素进行重排，获得所述显示屏的校正成像光场。本申请中，针对不同视力，对虚拟现实设备的像素进行重排，获得显示所需的成像光场，以适合不同视力的用户，用户无需佩戴校正眼镜即可直接观看图像，不易产生眩晕感。

Description

虚拟现实设备及其图像校正方法
技术领域
本申请涉及显示技术领域，尤其涉及一种虚拟现实设备及其图像校正方法。
背景技术
随着虚拟现实技术的快速发展，越来越多的用户使用虚拟现实设备用于观影、游戏、教学或仿真等领域。目前虚拟现实设备的一个不足之处在于，用户戴上虚拟现实设备头显后处于一个密封的视觉环境，但二维的显示屏却不能给到真正的三维信息。更为严重的是，在观看虚拟现实设备的显示屏时，屏幕相对人眼的距离是不变的，焦点因而保持不变，但不同的图像会带来不同的“景深”信息，然而，此时眼球焦点却没有得到对应的调节，当这种视觉系统的平衡被打破就会很容易导致眩晕、恶心、呕吐等不适症状。这也是大部分虚拟现实设备容易导致晕动症的一个原因。
而对于有视力问题(例如近视或远视)的人，需在佩戴视力矫正眼镜后再佩戴虚拟现实设备，这给观者带来佩戴和体验上的诸多不便。
发明内容
本申请提供一种校正显示屏成像的虚拟现实设备及其图像校正方法。
本申请提供一种虚拟现实设备的图像校正方法，所述虚拟现实设备的图像校正方法包括：获取显示屏的成像光场与人眼的成像光场的函数关系；获取人眼的实际成像光场；根据所述函数关系及人眼的实际成像光场计算出显示屏的校正成像光场；根据计算结果对显示屏的像素进行重排，获得所述显示屏的校正成像光场。
进一步的，所述函数关系为反演矩阵。
进一步的，所述反演矩阵通过调用函数norm(x,2)进行二范数计算获取。
进一步的，所述显示屏的成像光场由显示屏的位置值及瞳孔的位置信息确定，所述人眼的成像光场由视网膜的位置值及瞳孔的位置信息确定。
进一步的，所述获取人眼的实际成像光场包括：通过摄像头获取瞳孔图像；对瞳孔图像进行识别，获得瞳孔的位置信息。
进一步的，获取人眼的实际成像光场包括：获取双眼的实际成像光场。
进一步的，所述对显示屏的像素进行重排包括：通过校正单元对显示屏的像素进行重排。
进一步的，所述校正单元为光栅或透镜阵列，所述光栅或透镜阵列设于显示屏显示图像的一侧。
本申请还提供一种虚拟现实设备，所述虚拟现实设备包括显示屏、处理器及校正单元，所述处理器根据显示屏的成像光场与人眼的成像光场的函数关系及显示屏的实际成像光场计算显示屏的校正成像光场，所述校正单元根据处理器的计算结果对显示屏的像素进行重排，获得显示屏的校正成像光场。
进一步的，所述校正单元为光栅或透镜阵列，所述光栅或透镜阵列设于显示屏显示图像的一侧。
本申请中，针对不同视力，对虚拟现实设备的像素进行重排，获得显示所需的成像光场，以适合不同视力的用户，用户无需佩戴校正眼镜即可直接观看图像，不易产生眩晕感。
附图说明
图1所示为本申请虚拟现实设备的一个实施例的结构示意图；
图2所示为图1所示的虚拟现实设备与人眼成像的示意图，其中虚拟现实设备仅示意出显示屏和校正单元；
图3所示为本申请虚拟现实设备的一个实施例的逻辑框图；
图4所示为计算显示屏的校正成像光场的逻辑示意图；
图5所示为本申请虚拟现实设备的图像校正方法的一个实施例的流程示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。除非另作确定，本申请使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本申请说明书以及权利要求书中使用的“第一”“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”或者“一”等类似词语也不表示数量限制，而是表示存在至少一个。“多个”或者“若干”表示两个及两个以上。“包括”或者“包含”等类似词语意指出现在“包括”或者“包含”前面的元件或者物件涵盖出现在“包括”或者“包含”后面列举的元件或者物件及其等同，并不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而且可以包括电性的连接，不管是直接的还是间接的。在本申请说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
请参照图1至图3所示，本申请实施例的虚拟现实设备，例如为一种穿戴式虚拟现实设备，所述虚拟现实设备包括外壳1、连接于外壳的连接机构2、安装于外壳的显示屏3、校正单元4、处理器7及摄像头8。所述处理器7根据显示屏3的成像光场(光场描述的是自由空间中某一点沿着一定方向的光线辐射度值)与人眼的成像光场的函数关系及显示屏3的实际成像光场计算显示屏3的校正成像光场，所述校正单元根据处理器的计算结果对显示屏的像素进行重排，获得显示屏的校正成像光场(具体的实现步骤请参看下文)，以使虚拟现实设备适合不同视力的用户，视力不佳的用户无需佩戴眼镜即可清晰地观看显示屏的图像，同时降低眩晕感。所述连接机构2用于供用户佩戴。当然，本申请的虚拟现实设备还可以包括驱动电路、背光源、电池、支架等结构。
本实施例中，所述校正单元4为光栅或透镜阵列，所述光栅或透镜阵列设于显示屏3显示图像的一侧。以光栅为例，光栅可以包括多个纵横交错的挡板41，多个纵横交错的挡板41形成M*N个格栅孔洞，每一个所述格栅孔洞分别对应一个子像素。当通过计算得出显示屏的校正成像光场时，调整光栅的挡板形成的所述格栅孔洞的尺寸，调整显示面板的每一个子像素的显示面积，进而调整显示屏的显示亮度，使显示装置的显示亮度适合当前用户，使视力不佳的用户能够清晰地观赏显示屏的图像。类似的，透镜阵列包括多个微透镜，微透镜沿光轴前后移动，从而改变聚焦光斑的位置，实现对与之对应的微透镜焦距的调节和改变。
请结合图4及图5，本申请还提供一种虚拟现实设备的图像校正方法，其包括：
S1：获取显示屏的成像光场与人眼的成像光场的函数关系。
可选的，通过四维光场显示的方法，将人眼特性与虚拟现实设备的显示结合起来。也就是说，利用一条光线穿过的两个平面的交点，来表示这条光线的位置和方向，这里的两个平面可以是显示屏所在平面和视网膜所在平面。显示屏的成像光场由显示屏的位置值及瞳孔的位置信息的确定，具体可表示为l(x0，u)，x0为显示屏的位置值，u为瞳孔5的位置信息；人眼的成像光场由视网膜的位置值及瞳孔的位置信息确定，具体可表示为i(x，u)，其中x为视网膜6的位置值，u为瞳孔5的位置信息。
显示屏的成像光场与人眼的成像光场的函数关系可表示为i＝P*l，其中P为反演矩阵。反演矩阵P可通过在Matlab中调用函数norm(x，2)进行2-范数(二范数)求解。具体的，norm(x，2)，返回x的最大奇异值(在奇异值分解(svd)定理中，矩阵的对角元素，称为矩阵x的奇异值)，即max(svd(x))。其中x为视网膜6的位置值，或者称作像素位置。奇异值一般通过奇异值分解定理求得，例如，设x为m*n阶矩阵，q＝min(m,n)，x*x的q个非负特征值的算术平方根称为x的奇异值。
S2：获取人眼的实际成像光场。
可选的，通过虚拟现实设备的摄像头(未图示)获取瞳孔图像，处理器对瞳孔图像进行识别，获得瞳孔5的位置信息u1，而视网膜6的位置值x可视为定值。例如，近视患者的瞳孔大于正常视力的瞳孔，瞳孔的面积随着近视度数的加深而增大，相应的，近视患者的瞳孔位置也会不同于正常视力的瞳孔位置。因此可根据瞳孔5的位置信息，而通常近视不会带来视网膜的变化，因而视网膜6的位置值x可视为定值，可存储于虚拟现实设备的存储器(未图示)内，在计算时直接调用即可。
可选的，可分别获取双眼的实际成像光场。
当然，在其他实施例中，步骤S1和S2的位置也可进行互换，抑或同时进行。S1、S2仅用于标注，而未限定顺序，下文的S3、S4也类似。
S3：根据所述函数关系及人眼的实际成像光场，计算显示屏的校正成像光场；
可选的，可根据i1(x，u1)＝P*l1(x1，u1)计算出x1(u1在步骤S2中已经得到)的值，从而计算出显示屏的校正成像光场l1(x1，u1)。
对于不同视力(例如近视或远视)的用户，瞳孔的位置信息不一样，因而所需的显示屏的校正成像光场也不同，基于上述计算方法，可计算出不同用户所需的显示屏的校正成像光场。对于视力不佳的用户，不需要另外佩戴视力矫正设备(例如眼镜)，因而本申请的虚拟现实设备佩戴舒适且不易产生眩晕感。
可选的，根据所述函数关系及双眼的实际成像光场，计算显示屏的校正成像光场。
S4：对显示屏的像素进行重排，获得所述显示屏的校正成像光场。
可选的，通过校正单元4对显示屏3的像素进行重排，以达到虚拟现实设备显示所需的显示屏的成像光场l1(x1，u1)。在一个实施例中，校正单元4例如可选择光栅或透镜阵列。以光栅为例，当通过计算得出显示屏的校正成像光场时，调整光栅的挡板形成的格栅孔洞的尺寸，调整显示面板的每一个子像素的显示面积，进而调整显示屏的显示亮度，使显示装置的显示亮度适合当前用户，使视力不佳的用户能够清晰地观赏显示屏的图像。由校正单元发出的每一束光按照预定的方向投射出来，模拟真实的自然光，从而获得具有真实景深效果的虚拟图像，从而获得更加逼真的显示效果，不容易导致眩晕、恶心、呕吐等不适症状。
可选的，对显示屏的像素进行重排，分别获得显示屏的两个校正成像光场，以分别适用于用户的双眼。也就是说，根据双眼的实际成像光场，获得显示屏的两个校正成像光场。
需要注意的是，由于像素重排是根据实际显示效果进行的反演，不会降低图像的分辨率，因而不会影响观看效果，同时可获得更加逼真的虚拟现实效果。
本申请中，针对不同视力，对虚拟现实设备的像素进行重排，获得显示所需的成像光场，以适合不同视力的用户，用户无需佩戴校正眼镜即可直接观看图像，不易产生眩晕感。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种虚拟现实设备的图像校正方法，其特征在于，所述虚拟现实设备的图像校正方法包括：
获取显示屏的成像光场与人眼的成像光场的函数关系；
获取人眼的实际成像光场；
根据所述函数关系及人眼的实际成像光场计算显示屏的校正成像光场；
根据计算结果对显示屏的像素进行重排，获得所述显示屏的校正成像光场。
2.如权利要求1所述的虚拟现实设备的图像校正方法，其特征在于：所述函数关系为反演矩阵。
3.如权利要求2所述的虚拟现实设备的图像校正方法，其特征在于：所述反演矩阵通过调用函数norm(x,2)进行二范数计算获取。
4.如权利要求1所述的虚拟现实设备的图像校正方法，其特征在于：所述显示屏的成像光场由显示屏的位置值及瞳孔的位置信息确定，所述人眼的成像光场由视网膜的位置值及瞳孔的位置信息确定。
5.如权利要求4所述的虚拟现实设备的图像校正方法，其特征在于：所述获取人眼的实际成像光场包括：
通过摄像头获取瞳孔图像；
对瞳孔图像进行识别，获得瞳孔的位置信息。
6.如权利要求1所述的虚拟现实设备的图像校正方法，其特征在于：获取人眼的实际成像光场包括：获取双眼的实际成像光场。
7.如权利要求1所述的虚拟现实设备的图像校正方法，其特征在于：所述对显示屏的像素进行重排包括：通过校正单元对显示屏的像素进行重排。
8.如权利要求7所述的虚拟现实设备的图像校正方法，其特征在于：所述校正单元为光栅或透镜阵列，所述光栅或透镜阵列设于显示屏显示图像的一侧。
9.一种虚拟现实设备，其特征在于：所述虚拟现实设备包括：
显示屏；
处理器，根据显示屏的成像光场与人眼的成像光场的函数关系及显示屏的实际成像光场计算显示屏的校正成像光场；
校正单元，根据处理器的计算结果对显示屏的像素进行重排，获得显示屏的校正成像光场。
10.如权利要求9所述的虚拟现实设备，其特征在于：所述校正单元为光栅或透镜阵列，所述光栅或透镜阵列设于显示屏显示图像的一侧。
CN201910001062.7A 2019-01-02 2019-01-02 虚拟现实设备及其图像校正方法 Pending CN109633906A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910001062.7A CN109633906A (zh) 2019-01-02 2019-01-02 虚拟现实设备及其图像校正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910001062.7A CN109633906A (zh) 2019-01-02 2019-01-02 虚拟现实设备及其图像校正方法

Publications (1)

Publication Number Publication Date
CN109633906A true CN109633906A (zh) 2019-04-16

Family

ID=66056415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910001062.7A Pending CN109633906A (zh) 2019-01-02 2019-01-02 虚拟现实设备及其图像校正方法

Country Status (1)

Country Link
CN (1) CN109633906A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112987297A (zh) * 2019-12-17 2021-06-18 中强光电股份有限公司 光场近眼显示装置及光场近眼显示方法
CN113866997A (zh) * 2021-09-17 2021-12-31 深圳技术大学 显示系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103885582A (zh) * 2012-12-19 2014-06-25 辉达公司 近眼微透镜阵列显示器
CN104704818A (zh) * 2013-06-19 2015-06-10 松下知识产权经营株式会社 图像显示装置和图像显示方法
CN106773064A (zh) * 2017-01-22 2017-05-31 网易（杭州）网络有限公司 影像画面的显示控制方法、装置及头戴式显示设备
CN107850788A (zh) * 2015-07-03 2018-03-27 依视路国际公司 用于增强现实的方法和系统
CN108012139A (zh) * 2017-12-01 2018-05-08 北京理工大学 应用于真实感近眼显示的图像生成方法和装置
CN108061968A (zh) * 2018-01-05 2018-05-22 京东方科技集团股份有限公司 一种抬头显示装置及显示图像校正方法
US20180366045A1 (en) * 2017-06-15 2018-12-20 Google Llc Near-eye display with frame rendering based on reflected wavefront analysis for eye characterization
CN109070804A (zh) * 2016-04-14 2018-12-21 金泰克斯公司 视觉校正车辆显示器

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103885582A (zh) * 2012-12-19 2014-06-25 辉达公司 近眼微透镜阵列显示器
CN104704818A (zh) * 2013-06-19 2015-06-10 松下知识产权经营株式会社 图像显示装置和图像显示方法
CN107850788A (zh) * 2015-07-03 2018-03-27 依视路国际公司 用于增强现实的方法和系统
CN109070804A (zh) * 2016-04-14 2018-12-21 金泰克斯公司 视觉校正车辆显示器
CN106773064A (zh) * 2017-01-22 2017-05-31 网易（杭州）网络有限公司 影像画面的显示控制方法、装置及头戴式显示设备
US20180366045A1 (en) * 2017-06-15 2018-12-20 Google Llc Near-eye display with frame rendering based on reflected wavefront analysis for eye characterization
CN108012139A (zh) * 2017-12-01 2018-05-08 北京理工大学 应用于真实感近眼显示的图像生成方法和装置
CN108061968A (zh) * 2018-01-05 2018-05-22 京东方科技集团股份有限公司 一种抬头显示装置及显示图像校正方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112987297A (zh) * 2019-12-17 2021-06-18 中强光电股份有限公司 光场近眼显示装置及光场近眼显示方法
CN112987297B (zh) * 2019-12-17 2024-04-02 中强光电股份有限公司 光场近眼显示装置及光场近眼显示方法
CN113866997A (zh) * 2021-09-17 2021-12-31 深圳技术大学 显示系统
CN113866997B (zh) * 2021-09-17 2023-10-24 深圳技术大学 显示系统

Similar Documents

Publication Publication Date Title
EP3289401B1 (en) Virtual eyeglass set for viewing actual scene that corrects for different location of lenses than eyes
CN103605208B (zh) 内容投射系统及方法
CN103781400B (zh) 用于治疗视力损害的方法和系统
CN105739093B (zh) 透过式增强现实近眼显示器
ES2809231T3 (es) Filtro de opacidad para pantalla transparente montada en la cabeza
CN106199964B (zh) 能自动调节景深的双目ar头戴设备及景深调节方法
US20120306725A1 (en) Apparatus and Method for a Bioptic Real Time Video System
US20140002587A1 (en) Wide field-of-view stereo vision platform with dynamic control of immersive or heads-up display operation
KR20130054181A (ko) 시준화 입체표시시스템
CN106415364A (zh) 立体渲染至眼睛位置
CN104094162A (zh) 动态控制沉浸或抬头显示操作的宽视场3d立体视觉平台
CN108398787B (zh) 增强现实显示设备、方法和增强现实眼镜
Itoh et al. Vision enhancement: defocus correction via optical see-through head-mounted displays
WO2018072491A1 (zh) 一种图像生成方法、装置以及计算机可执行非易失性存储介质
WO2018045793A1 (zh) 双眼平衡矫正装置及互补图像处理系统和方法
WO2013177654A1 (en) Apparatus and method for a bioptic real time video system
US5488508A (en) Vignetting technique for improving appearance of partially overlapped binocular displays
EP3697086A1 (en) Information processing device, information processing method, and program
CN109633906A (zh) 虚拟现实设备及其图像校正方法
CN108957742B (zh) 一种实现画面虚拟透明动态调节的增强现实头盔及方法
CN110840721B (zh) 一种基于近眼显示的视力防控、训练方法及近眼显示设备
US10771774B1 (en) Display apparatus and method of producing images having spatially-variable angular resolutions
JP2019066560A (ja) 表示装置及び表示方法
Shen et al. Visuomotor influence of attached robotic neck augmentation
CN109917908A (zh) 一种ar眼镜的图像获取方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination