CN111652959A - 图像处理方法、近眼显示设备、计算机设备和存储介质 - Google Patents

图像处理方法、近眼显示设备、计算机设备和存储介质 Download PDF

Info

Publication number
CN111652959A
CN111652959A CN202010477623.3A CN202010477623A CN111652959A CN 111652959 A CN111652959 A CN 111652959A CN 202010477623 A CN202010477623 A CN 202010477623A CN 111652959 A CN111652959 A CN 111652959A
Authority
CN
China
Prior art keywords
image
distance value
point
relationship
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010477623.3A
Other languages
English (en)
Other versions
CN111652959B (zh
Inventor
苗京花
王雪丰
范清文
郝帅
刘梓荷
李文宇
陈丽莉
张�浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202010477623.3A priority Critical patent/CN111652959B/zh
Publication of CN111652959A publication Critical patent/CN111652959A/zh
Priority to PCT/CN2021/085964 priority patent/WO2021238423A1/zh
Priority to US17/641,616 priority patent/US11721062B2/en
Application granted granted Critical
Publication of CN111652959B publication Critical patent/CN111652959B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本公开提供了一种图像处理方法、近眼显示设备、计算机设备和存储介质，属于显示技术领域。所述方法包括：获取设备的瞳距值和所述近眼显示设备的物距共同对应的物像关系，所述物像关系是指屏幕上的定位点坐标和所述定位点显示的像点的视场角坐标的对应关系，所述屏幕上的定位点坐标是以所述近眼显示设备的透镜的主光轴与屏幕的交点为原点时所述定位点在平面坐标系内的坐标，所述定位点显示的像点的视场角坐标是所述像点和观察点的连线与所述原点和观察点的连线之间的夹角，所述平面坐标系的一个坐标轴平行于所述屏幕的横轴，另一个坐标轴平行于所述屏幕的纵轴；基于所述物像关系对待显示的画面进行反畸变处理；输出经过反畸变处理后的画面。

Description

图像处理方法、近眼显示设备、计算机设备和存储介质
技术领域
本公开涉及显示技术领域，特别涉及一种图像处理方法、近眼显示设备、计算机设备和存储介质。
背景技术
视觉训练仪能够通过调节显示画面相对于使用者的远近，促使使用者不断调节睫状肌，锻炼睫状肌，从而矫正假性近视。对于使用者来说，显示画面相对于使用者的远近相当于是像距，通过调节视觉训练仪的物距，即屏幕与使用者之间的距离，即可实现像距调节，从而调节显示画面的远近。
发明内容
本公开实施例提供了一种图像处理方法、近眼显示设备、计算机设备和存储介质，在反畸变处理时同时考虑了物距和瞳距，保证反畸变处理后画面的准确性。所述技术方案如下：
一方面，提供了一种图像处理方法，所述方法包括：
获取设备的瞳距值和所述近眼显示设备的物距共同对应的物像关系，所述物像关系是指屏幕上的定位点坐标和所述定位点显示的像点的视场角坐标的对应关系，所述屏幕上的定位点坐标是以所述近眼显示设备的透镜的主光轴与屏幕的交点为原点时所述定位点在平面坐标系内的坐标，所述定位点显示的像点的视场角坐标是所述像点和观察点的连线与所述原点和观察点的连线之间的夹角，所述平面坐标系的一个坐标轴平行于所述屏幕的横轴，另一个坐标轴平行于所述屏幕的纵轴；
基于所述物像关系对待显示的画面进行反畸变处理；
输出经过反畸变处理后的画面。
可选地，所述获取设备的瞳距值和所述近眼显示设备的物距共同对应的物像关系，包括：
若所述瞳距值发生变化，则基于对应关系，确定变化后的所述瞳距值以及所述近眼显示设备的物距对应的物像关系，所述对应关系为瞳距、物距和物像关系三者之间的对应关系，在所述对应关系中，一个瞳距对应一组物像关系，所述一组物像关系包括与不同的物距对应的多个物像关系；
若所述瞳距值未变化，则基于所述近眼显示设备的物距从上一次使用的一组物像关系中选出对应的物像关系。
可选地，所述方法还包括：
获取瞳距变化标识，所述瞳距变化标识用于指示瞳距值是否变化。
可选地，所述获取瞳距变化标识，包括：
在每一帧画面显示前，获取所述瞳距变化标识。
可选地，所述基于对应关系，确定变化后的所述瞳距值以及所述近眼显示设备的物距对应的物像关系，包括：
基于所述瞳距值，确定和所述瞳距值对应的一组物像关系；
从所述一组物像关系中选出与所述近眼显示设备的物距对应的物像关系。
可选地，所述方法还包括：
周期性地获取所述瞳距值；
基于本次获取到的瞳距值和上一次获取到的瞳距值，设置所述瞳距变化标识。
可选地，在周期性地获取所述瞳距值过程中，每次获取所述瞳距值，包括：
向用户依次展示多幅3D画面，所述多幅3D画面为适用不同的所述瞳距值的3D画面；
接收所述用户基于所述多幅3D画面输入的目标画面指示；
基于所述目标画面指示对应的目标3D画面，确定所述目标3D画面对应的瞳距值。
可选地，在周期性地获取所述瞳距值过程中，每次获取所述瞳距值，包括：
获取瞳距测量仪器测得的所述瞳距值。
可选地，所述方法还包括：
在接收到所述唤醒指令后，获取所述瞳距值；
基于本次获取到的所述瞳距值和上一次获取到的所述瞳距值，设置所述瞳距变化标识。
可选地，所述基于所述物像关系对待显示的画面进行反畸变处理，包括：
基于所述瞳距值确定反畸变算法；
采用所述物像关系作为所述反畸变算法的输入参数，对所述待显示的画面进行反畸变处理。
可选地，在所述基于所述物像关系对待显示的画面进行反畸变处理之前，所述方法还包括：
确定渲染分辨率；
获取用户位姿信息；
基于所述用户位姿信息，按照所述渲染分辨率进行3D画面渲染，得到所述待显示的画面。
可选地，所述方法还包括：
获取瞳距、物距和物像关系的对应关系；
将所述对应关系存储到所述近眼显示设备的存储单元中。
可选地，所述获取瞳距、物距和物像关系的对应关系，包括：
分别在不同瞳距和物距的情况下，确定所述屏幕上的定位点坐标和所述定位点显示的像点的视场角坐标的对应关系，得到瞳距、物距和物像关系的对应关系。
可选地，所述近眼显示设备为视觉训练仪。
一方面，提供了一种图像处理装置，所述装置包括：
获取模块，用于获取近眼显示设备的瞳距值和所述近眼显示设备的物距共同对应的物像关系，所述物像关系是指屏幕上的定位点坐标和所述定位点显示的像点的视场角坐标的对应关系，所述屏幕上的定位点坐标是以所述近眼显示设备的透镜的主光轴与屏幕的交点为原点时所述定位点在平面坐标系内的坐标，所述定位点显示的像点的视场角坐标是所述像点和观察点的连线与所述原点和观察点的连线之间的夹角，所述平面坐标系的一个坐标轴平行于所述屏幕的横轴，另一个坐标轴平行于所述屏幕的纵轴；
处理模块，用于基于所述物像关系对待显示的画面进行反畸变处理；
输出模块，用于输出经过反畸变处理后的画面。
一方面，提供了一种近眼显示设备，所述近眼显示设备包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存放的计算机程序，以实现前述任一所述的图像处理方法；
显示器，用于显示所述处理器输出的反畸变处理后的画面；
透镜，位于所述显示器的出光面一侧，且与所述显示器相对设置。
一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器；
其中，所述存储器，用于存储计算机程序；
所述处理器，用于执行所述存储器中存放的计算机程序，以实现前述任一所述的图像处理方法。
一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机指令，存储的所述计算机指令被处理器执行时能够实现前述任一所述的图像处理方法。
本公开实施例提供的技术方案带来的有益效果是：
本方案通过瞳距值和物距两个因素确定物像关系，该物像关系包括屏幕上的定位点坐标和所述定位点显示的像点的视场角坐标的对应关系，然后利用所述物像关系作为反畸变的依据，进行图像处理，从而保证在反畸变处理时同时考虑了物距和瞳距，从而保证了显示画面的准确性。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本公开实施例提供的透镜和屏幕的关系示意图；
图2是本公开实施例提供的透镜和屏幕的关系示意图；
图3是本公开实施例提供的透镜和屏幕的关系示意图；
图4是本公开实施例提供的透镜和屏幕的关系示意图；
图5是本公开实施例提供的视场角示意图；
图6是本公开实施例提供的视场角示意图；
图7示出了不同视场角下的场景渲染结果；
图8～图10示出了不同瞳距时在同一像面上的双目图像；
图11～图14示出了不同物距下的场景渲染结果；
图15是本公开实施例提供的一种图像处理方法的流程图；
图16是本公开实施例提供的成像示意图；
图17示出了屏幕所显示的图像与呈现给人眼的目标虚像之间的对应关系示意图；
图18是本公开实施例提供的一种图像处理方法的流程图；
图19是本公开实施例提供的瞳距变化标识的设置流程图；
图20示出了视场角坐标的定义示意图；
图21示出了屏幕上的定位点坐标的定义示意图；
图22是本公开实施例提供的视觉训练仪的初始化流程图；
图23为本公开实施例提供的一种图像处理装置的框图；
图24为本公开实施例提供的一种近眼显示设备的结构示意图；
图25为本公开实施例提供的一种计算机设备的结构示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开实施方式作进一步地详细描述。
除了可以调节物距外，瞳距调节也是很多视觉训练仪的功能之一。通过调节瞳距，使得视觉训练仪可以适用于不同瞳距的使用者，避免视觉训练仪不合适的瞳距对使用者的身体健康状况产生影响。
在视觉训练仪中，影响输出图像效果的主要因素为系统视场角(Field of View，FOV)和反畸变处理。系统视场角决定场景中哪些物体会被展示，双眼的系统视场角(下面简称视场角)不同，呈现的内容也不同，并且在双目视差的作用下，形成立体效果。视场角由透镜和屏幕的位置关系、以及透镜的光学特性决定。为得到准确的视场角，需明确光路设计时，透镜以及屏幕边缘限制的视场角。反畸变处理的目的则是抵消透镜本身引入的畸变。概括一下，视场角影响用户看到的场景范围以及立体深度，反畸变处理影响用户看到的场景形状是否正常。
在物距和瞳距均可调节的视觉训练仪中，视觉训练仪的主要结构包括：左右眼对应的屏幕、左右眼对应的透镜、调节透镜和屏幕距离的物距调节单元、调节2个透镜间距的瞳距调节单元等。物距和瞳距变化都会造成视场角变化，视场角变化又会影响反畸变处理。可选地，该视觉训练仪的结构还可以包括透镜安装部、屏幕安装部等，从而实现可拆卸模块化的视觉训练仪。
下面结合图例对物距和瞳距对视场角的影响进行说明。视觉训练仪的系统FOV受透镜以及屏幕边缘的限制。以圆形非球面透镜为例，视觉训练仪的瞳距一定时，透镜限制的FOV1(图1和2中圆形区域)的上FOV1(up)、下FOV1(down)、左FOV1(left)和右FOV1(right)是相同的。若屏幕边缘限制的FOV2(图1和2中方形区域)比透镜限制的FOV1小，如图1所示，使用者能看到屏幕边界，影响沉浸感。若FOV2比FOV1大，如图2所示，使用者有很强的镜筒感，同样影响沉浸感。故为了充分利用屏幕和光学透镜的设计，FOV1通常设计较大，同时与屏幕尺寸匹配，以达到理想的系统FOV设计。
视觉训练仪的使用对象一般是青少年，瞳距跨度较大，且不合适的瞳距可能对青少年的身体健康状况产生影响，故而通常视觉训练仪的瞳距可以调节。在瞳距可调的设备中，会一定程度上牺牲系统FOV。如图3所示，瞳距小于预设瞳距时，透镜中心将偏向靠近双目中间一侧的屏幕边界，屏幕限制的FOV2的FOV2right将变小。如图4所示，当瞳距大于预设瞳距的情况，透镜中心将偏向远离双目中间一侧的屏幕边界，屏幕限制的FOV2的FOV2left将变小。
因此，系统FOV会受瞳距的影响。参见图5和图6，图中O点表示透镜主光轴与屏幕的交点，O’表示屏幕的中心，ABCD分辨为屏幕四边中点，ABCD四点对应的视场角为屏幕与透镜的左右上下视场角，计算方式为：FOV左＝arctan(OA/d)，FOV右＝arctan(OB/d)，FOV上＝arctan(OC/d)，arctan(OD/d)，其中d是物距，也即透镜主光轴与屏幕的交点和人眼的距离。当瞳距调整时，O点位置发生变化，影响左右视场角大小。另外，视觉训练仪分为物距固定和物距可变两种类型，物距可变的视觉训练仪可以兼容一定程度的近视用户。对于物距可变的视觉训练仪，按照前述视场角计算方式可知，物距d变化时，视场角也会发生变化。
视场角变化会直接体现在场景渲染结果上，下面结合附图对此进行说明。
图7示出了不同视场角下的场景渲染结果。如图7所示，(A)、(B)和(C)分别示出了视场角为40°，50°和60°的情况下的场景渲染结果，可以看出视场角越小，画面中物体显示越大。
图8～图10示出了不同瞳距时在同一像面(像所在平面)上的双目图像。图8、图9和图10分别示出了瞳距为56mm、65mm和75mm情况下的双目图像，可见瞳距不同时，导致视场角存在差异，进而导致双目图像存在的差异。
图11～图14示出了不同物距下的场景渲染结果。从图11到图14，物距逐渐增大。画面中A和B在场景的位置关系保持固定，目标显示分辨率相同，可以看到物距不同时，视场角不同，视场角大时，能显示更多的场景内容，画面中的物体遵从近大远小规则。
由于瞳距和物距会影响显示的画面，所以在反畸变处理时，如果不考虑瞳距和物距，可能会造成反畸变处理后的画面仍然不正常，无法完全消除畸变。
图15是本公开实施例提供的一种图像处理方法的流程图。参见图15，该方法包括：
步骤101：获取近眼显示设备的瞳距值和所述近眼显示设备的物距共同对应的物像关系。
其中，所述物像关系是指屏幕上的定位点坐标和所述定位点显示的像点的视场角坐标的对应关系，所述屏幕上的定位点坐标是以所述近眼显示设备的透镜的主光轴与屏幕的交点为原点时所述定位点在平面坐标系内的坐标，所述定位点显示的像点的视场角坐标是所述像点和观察点的连线与所述原点和观察点的连线之间的夹角，所述平面坐标系的一个坐标轴平行于所述屏幕的横轴，另一个坐标轴平行于所述屏幕的纵轴。
其中，对于矩形屏幕来说屏幕的横轴和纵轴可以分别是屏幕相邻的两边，对于非矩形屏幕而言，横轴和纵轴也可以预设，例如屏幕横轴可以是屏幕中像素单元的行方向上的轴，纵轴可以是屏幕中像素单元的列方向上的轴等。
在本公开实施例中，定位点可以是屏幕上具有代表性的点，例如屏幕顶点，屏幕各边的中点，屏幕内以近眼显示设备的透镜的主光轴与屏幕的交点为原点的平面坐标系和屏幕的边的交点等。当然，这里仅为举例，实际定位点可以包括屏幕上更多的点。
示例性地，定位点可以包括屏幕内以近眼显示设备的透镜的主光轴与屏幕的交点为原点的平面坐标系与屏幕上4条边的交点，也即图5中的ABCD点。示例性地，定位点也可以包括屏幕上4条边上的其他点。以A点为例，参见图5，A点坐标为(-OA，0)，参见图6，A点显示的像点A’的视场角坐标为(∠A’PO，0)。
示例性地，该近眼显示设备可以为虚拟现实(Virtual Reality，VR)设备，例如前文所述的视觉训练仪或其他头戴式显示器(Helmet Micro Display，HMD)设备。该近眼显示设备也可以增强现实(Augmented Reality，AR)设备或其他类型设备。
步骤102：基于所述物像关系对待显示的画面进行反畸变处理。
在基于虚拟现实技术的设备中，透镜靠近用户的眼睛能够极大的增加视场角，但代价是图像会显得扭曲畸变，越大的视场角，就会有越大的图像畸变。如图16所示，近眼显示设备中的屏幕11所显示的图像通过透镜12呈现给人眼的目标虚像13通常为该图像的放大的图像，在放大的同时目标虚像13发生畸变。图17示出了屏幕所显示的图像与呈现给人眼的目标虚像之间的对应关系示意图。其中，图17中左侧为屏幕所显示的图像，右侧为呈现给人眼的目标虚像，该目标虚像反生了畸变。
反畸变处理是为了消除透镜引入的畸变。以圆形非球面透镜为例，距离透镜中心距离相等的点的畸变量是相同的，也就是说畸变量与FOV相关。透镜本身的畸变和FOV是固定的，但由于屏幕边缘限制，在瞳距变化时会导致FOV2变化，从而影响图像的畸变。所以，在瞳距可调节的系统中，进行反畸变处理时需要考虑瞳距值。
反畸变处理通常使用反畸变算法实现，反畸变算法基于屏幕上的定位点坐标和所述定位点显示的像点的视场角坐标的对应关系，对原本的3D画面进行处理，改变3D画面中像素的位置，从而使得用户观看改变后的3D画面时，看到的是正常画面。
步骤103：输出经过反畸变处理后的画面。
通常，步骤102和步骤103中的画面均为3D画面。
本方案通过瞳距值和物距两个因素确定物像关系，该物像关系包括屏幕上的定位点坐标和所述定位点显示的像点的视场角坐标的对应关系，然后利用所述物像关系作为反畸变的依据，进行图像处理，从而保证在反畸变处理时同时考虑了物距和瞳距，从而保证了显示画面的准确性。
图18是本公开实施例提供的一种图像处理方法的流程图。该方法应用于瞳距和物距均可调的视觉训练仪，例如基于虚拟现实技术的视觉训练仪，参见图18，该方法包括：
步骤201：获取瞳距值。
在瞳距可调节的视觉训练仪中，调节视觉训练仪的瞳距值，会改变视觉训练仪中两个透镜的间距，从而影响透镜对3D画面造成的畸变效果。因此，在进行3D画面的反畸变处理时，需要考虑视觉训练仪的瞳距值。
在本公开实施例中，获取瞳距值的方式，包括如下两种方式：
第一种，周期性地获取所述瞳距值。也即每间隔一段时间获取一次瞳距值，间隔时间可以基于需要设定。
第二种，接收唤醒指令，在接收到所述唤醒指令后，获取所述瞳距值。
该唤醒指令的触发方式可以为物理按钮触发或者系统菜单触发等。例如，通过视觉训练仪上的设定按钮触发唤醒指令。
在这种实现方式中，通过唤醒指令进行瞳距值获取，也即唤醒了这整个图像处理方法。也即是，该图像处理方法可以被封装为视觉训练仪内置的服务，例如系统服务。该系统服务可以被用户程序唤醒，该服务的唤醒接口可以封装为应用程序接口(ApplicationProgramming Interface，API)提供给开发者，从而可以灵活实现唤醒机制。
在本公开实施例中，每次获取瞳距值的方式可以包括但不限于如下两种：
第一种，向用户依次展示多幅3D画面，所述多幅3D画面为适用不同的所述瞳距值的3D画面；
接收所述用户基于所述多幅3D画面输入的目标画面指示；
基于所述目标画面指示对应的目标3D画面，确定所述目标3D画面对应的瞳距值。
在该实现方式中，在进行瞳距值获取时，视觉训练仪切换不同的瞳距值情况下对应的3D画面(双目图片)，由用户选择观看最舒适的3D画面(通常是用户观看到的最为立体或者说立体感最强的一组)，由此通过3D画面与瞳距值的匹配关系确定此时的瞳距值大小。该瞳距测量方法是基于软件方式实现的，相比硬件测量方案节省硬件投入，成本较低；另外，该方案不需要对硬件测量方案中的硬件有了解，适用于普通用户，测量学习成本低，测量时间短。
第二种，获取瞳距测量仪器测得的所述瞳距值。
该方案是基于硬件的测量方案。例如，视觉训练仪中配备有基于红外相机的眼球跟踪装置，可以利用红外相机拍摄到用户的眼部图像，然后对该眼部图像进行算法分析得出瞳距值。
步骤202：基于本次获取到的瞳距值和上一次获取到的瞳距值，设置所述瞳距变化标识。
在视觉训练仪中，设置有瞳距变化标识，该瞳距变化标识用于指示瞳距值是否变化。通常，如果瞳距值发生变化，则需要重新确定反畸变算法所需的物像关系，如果瞳距值未发生变化，则可以使用前一次使用过的物像关系，使得图像处理流程更简洁。
图19是本公开实施例提供的瞳距变化标识的设置流程图。参见图19，以步骤201中采用唤醒方式激活瞳距测量为例。步骤11，先检测是否唤醒了检测；未唤醒时，执行步骤12，将瞳距变化值flag设为0；如果唤醒了检测瞳距过程，则执行步骤13，进行瞳距测量(这里步骤11和步骤13构成了前面的步骤201)；步骤14，判断测得的瞳距值和原来的瞳距值是否相等；若测得的瞳距值和原来的瞳距值不相等，则执行步骤15，将瞳距变化值flag设为1；若测得的瞳距值和原来的瞳距值相等，则执行步骤12，将瞳距变化值flag设为0。
其中，瞳距值变化标识为0时，可以有如下几种情况，一种情况是瞳距测量完成，得到的瞳距值和原来的瞳距值相等，一种情况是瞳距测量没有完成(例如用户为唤醒瞳距测量的过程、或用户没有输入目标画面指示等)，另一种情况是，该图像处理方法在视觉训练仪初次启动，还未进行瞳距值测量。
步骤203：获取瞳距变化标识。若所述瞳距变化标识指示所述瞳距值发生变化，则执行步骤204，若所述瞳距值未变化，则执行步骤205。
示例性地，瞳距值变化标识可以采用一位二进制表示，例如，瞳距值变化标识为0表示瞳距值未发生变化，瞳距值变化标识为1表示瞳距值发生变化。
示例性地，在每一帧画面显示前，获取所述瞳距变化标识。这样可以及时发现瞳距值是否发生变化，通过实时跟踪瞳距测量应用是否更新了瞳距值，使得每帧渲染都接收瞳距的最新值，并实时确定最新的物像关系，保证渲染出的图像的准确性，也即每帧都是基于最新的FOV进行的图像渲染。
步骤204：基于对应关系，确定变化后的所述瞳距值以及所述近眼显示设备的物距对应的物像关系。
其中，所述对应关系为瞳距、物距和物像关系三者之间的对应关系，在所述对应关系中，一个瞳距对应一组物像关系，所述一组物像关系包括与不同的物距对应的多个物像关系。
在视觉训练仪中可以事先存储各种不同的瞳距和物距对应的物像关系，在进行图像处理时，则只需要从存储的物象关系中选取对应的物像关系进行使用即可。也即，该方法还可以包括：获取瞳距、物距和物像关系的对应关系；将所述对应关系存储到所述近眼显示设备的存储单元中。
其中，瞳距、物距和物像关系的对应关系可以以表的形式存储在视觉训练仪中。
例如，瞳距、物距和物像关系的对应关系而已如下表1所示：
表1
Figure BDA0002516348790000111
Figure BDA0002516348790000121
需要说明的，在获取并存储上述对应关系时，可以先收集用户瞳距值，确定多个用户瞳距值的分布情况，选取用户分布集中的瞳距值进行测量并确定对应关系，为后续面向目标客户群的设备设计积累数据。
其中，获取瞳距、物距和物像关系的对应关系，包括：分别在不同瞳距和物距的情况下，确定所述屏幕上的定位点坐标和所述定位点显示的像点的视场角坐标的对应关系，得到瞳距、物距和物像关系的对应关系。
在VR领域中，系统视场角是基于透镜的光学参数、屏幕和透镜的位置关系等决定的，VR设备透镜参数可以直接从VR设备的光学结构信息中获得，屏幕和透镜的位置关系可以基于物距和瞳距确定，基于上述参数能够确定出系统的视场角坐标。获得视场角坐标之后，进一步根据该视场角坐标和VR设备的透镜参数(也可以从光学结构信息中获得)，可以得到定位点显示的像点的视场角坐标和屏幕上的定位点坐标之间的对应关系。上述光学结构信息可以从HMD信息中获取，HMD信息通常包括显示分辨率、瞳距等结构参数、光学结构信息等。
如图20和图21所示，分别示出了视场角坐标和屏幕上的定位点坐标的定义示意图。其中，参考图20，视场角坐标是位于以透镜中心为原点，用户佩戴VR头盔时用户的向右方向为x轴，用户的向左方向为y轴的坐标系中，图20中像点与观察点的连线与光轴之间的夹角θ即为视场角，也即视场角坐标为(θx，θy)；参考图21，屏幕上的定位点坐标是位于以透镜主光轴与屏幕的交点O为原点，屏幕左右方向为x轴，上下方向为y轴的坐标系中，也即屏幕上的定位点坐标为(x，y)。
在本公开实施例中，步骤204可以包括：
基于所述瞳距值，确定和所述瞳距值对应的一组物像关系；
从所述一组物像关系中选出与所述近眼显示设备的物距对应的物像关系。
示例性地，由于视觉训练仪中虽然保存了多种不同物距对应的物像关系，但这多种不同物距之间是离散分布的，并非连续的，所以可能存在确定的物距在保存的物像关系中没有完全相同的物距的情况。此时，可以选择与该近眼显示设备的物距最接近的物距对应的物像关系作为对应的物像关系。
可选地，该方法还可以包括：存储步骤204确定出的物像关系，以便于在后续图像处理过程中可以获取到上一次使用的物像关系。
步骤205：基于所述近眼显示设备的物距从上一次使用的一组物像关系中选出对应的物像关系。
如前所述，视觉训练仪可以将每次获取到的与瞳距对应的一组物像关系存储起来，这样，当瞳距值未变化时，则可以直接使用上一次确定出的一组物像关系，无需重新进行物像关系的确定，这种方式可以节省图像处理的时间和计算资源。
步骤206：确定渲染分辨率。
渲染分辨率通常与显示分辨率相关，通常渲染分辨率大于显示分辨率，从而保证渲染得到的图像，可以满足显示分辨率的需求。例如，渲染分辨率可以与显示分辨率存在对应关系，基于视觉训练仪所需的显示分辨率即可确定出渲染分辨率。当然除了考虑显示分辨率，渲染分辨率还需要考虑图形处理卡的性能等，这里不做赘述。
步骤207：获取用户位姿信息。
在虚拟现实技术中，用户位姿信息主要包括使用者的姿态、使用者的朝向等。这些参数影响用户当前可以看到的场景，从而决定当前应该显示的3D画面。
示例性地，用户位姿信息可以基于视觉训练仪中的传感器检测得到，这里的传感器包括但不限于陀螺仪、地磁传感器、加速度计等。
步骤208：基于所述用户位姿信息，按照所述渲染分辨率进行3D画面渲染，得到所述待显示的画面。
在确定出用户位姿信息和渲染分辨率后，基于虚拟现实技术进行3D画面渲染，渲染的过程这里不做赘述。
步骤209：对所述待显示的画面进行反畸变处理。
在本公开实施例中，视觉训练仪内可以预设多种反畸变算法，在进行反畸变处理时，可以先选取反畸变算法，然后进行反畸变处理。
示例性地，反畸变算法可以基于针对的畸变类型进行分类，例如针对枕形畸变的反畸变算法、针对桶形畸变的反畸变算法；也可以基于处理方式进行分类，例如基于网格的反畸变算法、基于顶点的反畸变算法等。
例如，可以将不同的反畸变算法与瞳距值进行关联，不同的反畸变算法对应不同的瞳距值。这样，步骤209可以包括：
基于所述瞳距值确定反畸变算法；采用所述物像关系作为所述反畸变算法的输入参数，对所述待显示的画面进行反畸变处理。
以基于网格的反畸变算法为例，可以按照如下方式进行反畸变处理：
第一步，将像划分为多个区域。
第二步，确定出每个区域的顶点的图像坐标。这里的图像坐标，可以是基于像面中平面坐标系的坐标。
第三步，根据物像关系，将每个区域的顶点的图像坐标转换为屏幕坐标。
由于物像关系实际描述的是像和屏幕之间定位点的映射关系，以及在像面中平面坐标系内各个区域的顶点和定位点对应的像点之间存在位置关系，基于该映射关系和位置关系，可以将像中的其他点也映射到屏幕上，从而得到每个区域的顶点的图像坐标对应的屏幕坐标。
第四步，根据虚拟现实设备的光学结构信息(透镜的参数、透镜和屏幕间的位置关系等)，将屏幕坐标转换为虚拟现实设备的屏幕对应的像素坐标，也即反畸变网格中点的坐标。
例如，画面中一点原本要显示在屏幕上A点(屏幕坐标)，但为了保证显示后用户看到的画面正常没有畸变，需要让该点显示在屏幕上的B点(像素坐标)。
第五步，按照上述四步确定出的反畸变网格仍然只有部分点，此时，可以从预先存储的多个完整的反畸变网格中选择和只有部分点的反畸变网格形状相近的完整的反畸变网格，或者对只有部分点的反畸变网格进行插值、多项式求解，获得完整的反畸变网格。
这里，形状相近可以是指两个反畸变网格的外轮廓相似度最高。
第六步，然后将渲染的场景作为纹理贴到反畸变网格中，得到画面。可以将该画面存储到帧缓冲区，等待输出播放。
步骤210：输出经过反畸变处理后的画面。
也即，将反畸变处理后的画面输出到视觉训练仪的屏幕进行显示。
上述步骤201～步骤210是视觉训练仪在使用过程中执行的方法流程。而对于初次启动时的视觉训练仪而言，可以不执行步骤201～205，而是通过初始化过程获取反畸变的相关参数。图22是本公开实施例提供的视觉训练仪的初始化流程图。如图22所示，视觉训练仪执行该图像处理方法时，步骤21，确定该图像处理方法是否为初次执行；如果是初次执行，则执行步骤22，设备初始化，该初始化过程包括获取初始的反畸变参数、显示分辨率、设备光学参数等，在初始化后，可以基于上述参数进行图像渲染和反畸变处理等过程，也即步骤206和207；如果不是初次执行，则执行步骤203。
图23为本公开实施例提供的一种图像处理装置300的框图。如图23所示，该图像处理装置300包括：获取模块301、处理模块302和输出模块303。
其中，获取模块301，用于获取近眼显示设备的瞳距值和所述近眼显示设备的物距共同对应的物像关系，所述物像关系是指屏幕上的定位点坐标和所述定位点显示的像点的视场角坐标的对应关系，所述屏幕上的定位点坐标是以所述近眼显示设备的透镜的主光轴与屏幕的交点为原点时所述定位点在平面坐标系内的坐标，所述定位点显示的像点的视场角坐标是所述像点和观察点的连线与所述原点和观察点的连线之间的夹角，所述平面坐标系的一个坐标轴平行于所述屏幕的横轴，另一个坐标轴平行于所述屏幕的纵轴；
处理模块302，用于基于所述物像关系对待显示的画面进行反畸变处理；
输出模块303，用于输出经过反畸变处理后的画面。
可选地，获取模块301，用于若所述瞳距值发生变化，则基于对应关系，确定变化后的所述瞳距值以及所述近眼显示设备的物距对应的物像关系，所述对应关系为瞳距、物距和物像关系三者之间的对应关系，在所述对应关系中，一个瞳距对应一组物像关系，所述一组物像关系包括与不同的物距对应的多个物像关系；若所述瞳距值未变化，则基于所述近眼显示设备的物距从上一次使用的一组物像关系中选出对应的物像关系。
可选地，所述获取模块301，还用于获取瞳距变化标识，所述瞳距变化标识用于指示瞳距值是否变化。
可选地，所述获取模块301，用于在每一帧画面显示前，获取所述瞳距变化标识。
可选地，所述获取模块301，用于基于所述瞳距值，确定和所述瞳距值对应的一组物像关系；从所述一组物像关系中选出与所述近眼显示设备的物距对应的物像关系。
可选地，所述获取模块301，还用于周期性地获取所述瞳距值；
该装置还包括：设置模块304，用于基于本次获取到的瞳距值和上一次获取到的瞳距值，设置所述瞳距变化标识。
可选地，获取模块301，用于向用户依次展示多幅3D画面，所述多幅3D画面为适用不同的所述瞳距值的3D画面；接收所述用户基于所述多幅3D画面输入的目标画面指示；基于所述目标画面指示对应的目标3D画面，确定所述目标3D画面对应的瞳距值。
可选地，获取模块301，用于获取模块301，用于获取瞳距测量仪器测得的所述瞳距值。
可选地，该装置还包括：接收模块305，用于接收唤醒指令；
获取模块301，用于在接收到所述唤醒指令后，获取所述瞳距值；
设置模块304，用于基于本次获取到的所述瞳距值和上一次获取到的所述瞳距值，设置所述瞳距变化标识。
可选地，处理模块302，用于基于所述瞳距值确定反畸变算法；采用所述物像关系作为所述反畸变算法的输入参数，对所述待显示的画面进行反畸变处理。
可选地，处理模块302，用于在所述基于所述物像关系对待显示的画面进行反畸变处理之前，确定渲染分辨率；获取用户位姿信息；基于所述用户位姿信息，按照所述渲染分辨率进行3D画面渲染，得到所述待显示的画面。
可选地，获取模块301，还用于获取瞳距、物距和物像关系的对应关系；
该装置还包括：存储模块306，用于将所述对应关系存储到所述近眼显示设备的存储单元中。
可选地，获取模块301，用于分别在不同瞳距和物距的情况下，确定所述屏幕上的定位点坐标和所述定位点显示的像点的视场角坐标的对应关系，得到瞳距、物距和物像关系的对应关系。
需要说明的是：上述实施例提供的图像处理装置在进行图像处理时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像处理装置与图像处理方法实施例属于同一构思，其实现过程详见方法实施例，这里不再赘述。
图24为本公开实施例提供的一种近眼显示设备的结构示意图。如图24所示，近眼显示设备包括显示器241、透镜242、处理器243和存储器244。
其中，存储器244，用于存储计算机程序；
处理器243，用于执行所述存储器244中存放的计算机程序，以实现前述的图像处理方法；
显示器541，用于显示所述处理器243输出的反畸变处理后的画面；
透镜242，位于所述显示器241的出光面一侧，且与所述显示器241相对设置，也即位于显示器241和观察点之间。
其中，显示器241可以包括左右眼对应的屏幕，透镜243包括左右眼对应的透镜，透镜243位于观察点和屏幕之间。
该近眼显示设备还可以包括显示卡，用于图像渲染。
该近眼显示设备还可以包括调节透镜和屏幕距离的物距调节单元、调节2个透镜间距的瞳距调节单元。
该近眼显示设备还可以包括透镜安装部、屏幕安装部等，从而实现可拆卸模块化的近眼显示设备。
如图25所示，本公开实施例还提供了一种计算机设备400，该计算机设备400可以为基于虚拟现实的视觉训练仪，或者其他需要进行反畸变处理的虚拟现实设备。该计算机设备400可以用于执行上述各个实施例中提供的图像处理方法。参见图25，该计算机设备400包括：存储器401、处理器402和显示组件403，本领域技术人员可以理解，图25中示出的计算机设备400的结构并不构成对计算机设备400的限定，在实际应用中可以包括比图示更多或更少的组件，或者组合某些组件，或者不同的组件布置。其中：
存储器401可用于存储计算机程序以及模块，存储器401可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等。存储器401可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器401还可以包括存储器控制器，以提供处理器402对存储器401的访问。
处理器402通过运行存储在存储器401的软件程序以及模块，从而执行各种功能应用以及数据处理。
显示组件403用于显示图像，显示组件403可包括显示面板，可选的，可以采用LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板。
在示例性实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质为非易失性存储介质，该计算机可读存储介质中存储有计算机程序，当该计算机可读存储介质中的计算机程序由处理器执行时，能够执行本公开实施例提供的图像处理方法。
在示例性实施例中，还提供了一种计算机程序产品，该计算机程序产品中存储有指令，当其在计算机上运行时，使得计算机能够执行本公开实施例提供的图像处理方法。
在示例性的实施例中，还提供了一种芯片，该芯片包括可编程逻辑电路和/或程序指令，当该芯片运行时能够执行本公开实施例提供的图像处理方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本公开的可选实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (14)

1.一种图像处理方法，其特征在于，所述方法包括：
获取近眼显示设备的瞳距值和所述近眼显示设备的物距共同对应的物像关系，所述物像关系是指屏幕上的定位点坐标和所述定位点显示的像点的视场角坐标的对应关系，所述屏幕上的定位点坐标是以所述近眼显示设备的透镜的主光轴与屏幕的交点为原点时所述定位点在平面坐标系内的坐标，所述定位点显示的像点的视场角坐标是所述像点和观察点的连线与所述原点和观察点的连线之间的夹角，所述平面坐标系的一个坐标轴平行于所述屏幕的横轴，另一个坐标轴平行于所述屏幕的纵轴；
基于所述物像关系对待显示的画面进行反畸变处理；
输出经过反畸变处理后的画面。
2.根据权利要求1所述的方法，其特征在于，所述获取设备的瞳距值和所述近眼显示设备的物距共同对应的物像关系，包括：
若所述瞳距值发生变化，则基于对应关系，确定变化后的所述瞳距值以及所述近眼显示设备的物距对应的物像关系，所述对应关系为瞳距、物距和物像关系三者之间的对应关系，在所述对应关系中，一个瞳距对应一组物像关系，所述一组物像关系包括与不同的物距对应的多个物像关系；
若所述瞳距值未变化，则基于所述近眼显示设备的物距从上一次使用的一组物像关系中选出对应的物像关系。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
获取瞳距变化标识，所述瞳距变化标识用于指示瞳距值是否变化。
4.根据权利要求3所述的方法，其特征在于，所述获取瞳距变化标识，包括：
在每一帧画面显示前，获取所述瞳距变化标识。
5.根据权利要求2至4任一项所述的方法，其特征在于，所述基于对应关系，确定变化后的所述瞳距值以及所述近眼显示设备的物距对应的物像关系，包括：
基于所述瞳距值，确定和所述瞳距值对应的一组物像关系；
从所述一组物像关系中选出与所述近眼显示设备的物距对应的物像关系。
6.根据权利要求2至4任一项所述的方法，其特征在于，所述方法还包括：
周期性地获取所述瞳距值；
基于本次获取到的瞳距值和上一次获取到的瞳距值，设置所述瞳距变化标识。
7.根据权利要求6所述的方法，其特征在于，在周期性地获取所述瞳距值过程中，每次获取所述瞳距值，包括：
向用户依次展示多幅3D画面，所述多幅3D画面为适用不同的所述瞳距值的3D画面；
接收所述用户基于所述多幅3D画面输入的目标画面指示；
基于所述目标画面指示对应的目标3D画面，确定所述目标3D画面对应的瞳距值。
8.根据权利要求6所述的方法，其特征在于，在周期性地获取所述瞳距值过程中，每次获取所述瞳距值，包括：
获取瞳距测量仪器测得的所述瞳距值。
9.根据权利要求2至4任一项所述的方法，其特征在于，所述方法还包括：
在接收到唤醒指令后，获取所述瞳距值；
基于本次获取到的所述瞳距值和上一次获取到的所述瞳距值，设置所述瞳距变化标识。
10.根据权利要求1至4任一项所述的方法，其特征在于，所述基于所述物像关系对待显示的画面进行反畸变处理，包括：
基于所述瞳距值确定反畸变算法；
采用所述物像关系作为所述反畸变算法的输入参数，对所述待显示的画面进行反畸变处理。
11.根据权利要求1至4任一项所述的方法，其特征在于，所述近眼显示设备为视觉训练仪。
12.一种近眼显示设备，其特征在于，所述近眼显示设备包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存放的计算机程序，以实现权利要求1至11任一所述的图像处理方法；
显示器，用于显示所述处理器输出的反畸变处理后的画面；
透镜，位于所述显示器的出光面一侧，且与所述显示器相对设置。
13.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器；
其中，所述存储器，用于存储计算机程序；
所述处理器，用于执行所述存储器中存放的计算机程序，以实现权利要求1至11任一所述的图像处理方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机指令，存储的所述计算机指令被处理器执行时能够实现如权利要求1至11任一所述的图像处理方法。
CN202010477623.3A 2020-05-29 2020-05-29 图像处理方法、近眼显示设备、计算机设备和存储介质 Active CN111652959B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010477623.3A CN111652959B (zh) 2020-05-29 2020-05-29 图像处理方法、近眼显示设备、计算机设备和存储介质
PCT/CN2021/085964 WO2021238423A1 (zh) 2020-05-29 2021-04-08 图像处理方法、近眼显示设备、计算机设备和存储介质
US17/641,616 US11721062B2 (en) 2020-05-29 2021-04-08 Method for processing images, near-eye display device, computer device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010477623.3A CN111652959B (zh) 2020-05-29 2020-05-29 图像处理方法、近眼显示设备、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN111652959A true CN111652959A (zh) 2020-09-11
CN111652959B CN111652959B (zh) 2022-01-18

Family

ID=72348080

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010477623.3A Active CN111652959B (zh) 2020-05-29 2020-05-29 图像处理方法、近眼显示设备、计算机设备和存储介质

Country Status (3)

Country Link
US (1) US11721062B2 (zh)
CN (1) CN111652959B (zh)
WO (1) WO2021238423A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112164378A (zh) * 2020-10-28 2021-01-01 上海盈赞通信科技有限公司 一种vr眼镜一体机反畸变方法和装置
WO2021238423A1 (zh) * 2020-05-29 2021-12-02 京东方科技集团股份有限公司 图像处理方法、近眼显示设备、计算机设备和存储介质
JP2023064681A (ja) * 2021-10-26 2023-05-11 オプティシス カンパニー リミテッド ヘッドマウントディスプレイ用光リンクシステム及びその制御方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013240022A (ja) * 2012-05-17 2013-11-28 Canon Inc 画像処理装置、撮像装置、および、画像処理方法
CN105866949A (zh) * 2015-01-21 2016-08-17 成都理想境界科技有限公司 能自动调节景深的双目ar头戴设备及景深调节方法
CN107682690A (zh) * 2017-10-19 2018-02-09 京东方科技集团股份有限公司 自适应视差调节方法和虚拟现实vr显示系统
CN108287678A (zh) * 2018-03-06 2018-07-17 京东方科技集团股份有限公司 一种基于虚拟现实的图像处理方法、装置、设备和介质
CN109461213A (zh) * 2018-11-16 2019-03-12 京东方科技集团股份有限公司 基于虚拟现实的图像处理方法、装置、设备和存储介质
CN110544209A (zh) * 2018-05-29 2019-12-06 京东方科技集团股份有限公司 图像处理方法、设备以及虚拟现实显示装置
CN111010560A (zh) * 2019-11-28 2020-04-14 青岛小鸟看看科技有限公司 一种头戴显示设备的反畸变调节方法、装置和虚拟现实系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11150475B2 (en) * 2017-04-12 2021-10-19 Hewlett-Packard Development Company, L.P. Transfer to head mounted display
US10437065B2 (en) * 2017-10-03 2019-10-08 Microsoft Technology Licensing, Llc IPD correction and reprojection for accurate mixed reality object placement
CN108267299B (zh) 2017-12-22 2019-12-20 歌尔股份有限公司 Ar眼镜瞳距测试方法及装置
CN108090880B (zh) 2017-12-29 2021-08-10 杭州联络互动信息科技股份有限公司 一种图像的反畸变处理方法以及装置
US10915162B2 (en) * 2018-06-15 2021-02-09 Facebook Technologies, Llc Flexure based guidance system for varifocal head-mounted displays
CN116016955A (zh) * 2018-06-28 2023-04-25 苹果公司 基于优先级的视频编码和传输
CN109040736B (zh) 2018-08-08 2020-11-03 张家港康得新光电材料有限公司 一种人眼空间位置的标定方法、装置、设备和存储介质
CN108833912A (zh) 2018-08-22 2018-11-16 高新兴科技集团股份有限公司 一种摄像机机芯光轴中心和视场角的测量方法及系统
CN109741294B (zh) 2018-11-23 2021-11-02 歌尔光学科技有限公司 瞳距测试方法及设备
CN110840721B (zh) 2019-11-25 2022-04-15 北京耐德佳显示技术有限公司 一种基于近眼显示的视力防控、训练方法及近眼显示设备
US11252226B2 (en) * 2020-03-05 2022-02-15 Qualcomm Incorporated Methods and apparatus for distribution of application computations
CN111652959B (zh) * 2020-05-29 2022-01-18 京东方科技集团股份有限公司 图像处理方法、近眼显示设备、计算机设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013240022A (ja) * 2012-05-17 2013-11-28 Canon Inc 画像処理装置、撮像装置、および、画像処理方法
CN105866949A (zh) * 2015-01-21 2016-08-17 成都理想境界科技有限公司 能自动调节景深的双目ar头戴设备及景深调节方法
CN107682690A (zh) * 2017-10-19 2018-02-09 京东方科技集团股份有限公司 自适应视差调节方法和虚拟现实vr显示系统
CN108287678A (zh) * 2018-03-06 2018-07-17 京东方科技集团股份有限公司 一种基于虚拟现实的图像处理方法、装置、设备和介质
CN110544209A (zh) * 2018-05-29 2019-12-06 京东方科技集团股份有限公司 图像处理方法、设备以及虚拟现实显示装置
CN109461213A (zh) * 2018-11-16 2019-03-12 京东方科技集团股份有限公司 基于虚拟现实的图像处理方法、装置、设备和存储介质
CN111010560A (zh) * 2019-11-28 2020-04-14 青岛小鸟看看科技有限公司 一种头戴显示设备的反畸变调节方法、装置和虚拟现实系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021238423A1 (zh) * 2020-05-29 2021-12-02 京东方科技集团股份有限公司 图像处理方法、近眼显示设备、计算机设备和存储介质
US11721062B2 (en) 2020-05-29 2023-08-08 Beijing Boe Optoelectronics Technology Co., Ltd. Method for processing images, near-eye display device, computer device, and storage medium
CN112164378A (zh) * 2020-10-28 2021-01-01 上海盈赞通信科技有限公司 一种vr眼镜一体机反畸变方法和装置
JP2023064681A (ja) * 2021-10-26 2023-05-11 オプティシス カンパニー リミテッド ヘッドマウントディスプレイ用光リンクシステム及びその制御方法

Also Published As

Publication number Publication date
US11721062B2 (en) 2023-08-08
US20220358711A1 (en) 2022-11-10
CN111652959B (zh) 2022-01-18
WO2021238423A1 (zh) 2021-12-02

Similar Documents

Publication Publication Date Title
US11604509B1 (en) Event camera for eye tracking
CN111652959B (zh) 图像处理方法、近眼显示设备、计算机设备和存储介质
CN106062826B (zh) 图像生成装置以及图像生成方法
US10802287B2 (en) Dynamic render time targeting based on eye tracking
CN101815895B (zh) 照明装置
CN112384843B (zh) 动态面板掩膜
US11343486B2 (en) Counterrotation of display panels and/or virtual cameras in a HMD
CN111275801A (zh) 一种三维画面渲染方法及装置
US10553164B1 (en) Display latency calibration for liquid crystal display
CN108957742B (zh) 一种实现画面虚拟透明动态调节的增强现实头盔及方法
CN115868158A (zh) 一种显示调节方法、装置、设备及介质
CN109725730B (zh) 头戴显示设备及其驱动方法、显示系统及其驱动方法
TWI669703B (zh) 適於多人觀看的資訊顯示方法及資訊顯示裝置
US20240119610A1 (en) Smooth and Jump-Free Rapid Target Acquisition
US10698218B1 (en) Display system with oscillating element
CN115202475A (zh) 显示方法、装置、电子设备及计算机可读存储介质
CN109963143A (zh) 一种ar眼镜的图像获取方法及系统
CN114967170B (zh) 基于柔性裸眼三维显示设备的显示处理方法及其装置
CN108881892B (zh) 用于桌面式虚拟现实系统的防眩晕方法、系统
CN115914603A (zh) 图像渲染方法、头戴显示设备和可读存储介质
CN114594855A (zh) 一种头显设备的多机交互方法、系统、终端设备及存储介质
SE2051559A1 (en) Head-mounted display and method of optimisation
CN115343849A (zh) 光场近眼显示装置以及光场近眼显示方法
CN117412021A (zh) 一种裸眼3d游戏画面调整方法、装置、介质及设备
CN115686219A (zh) 图像渲染方法、头戴显示设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant