CN111010560A - 一种头戴显示设备的反畸变调节方法、装置和虚拟现实系统 - Google Patents

一种头戴显示设备的反畸变调节方法、装置和虚拟现实系统 Download PDF

Info

Publication number
CN111010560A
CN111010560A CN201911189941.3A CN201911189941A CN111010560A CN 111010560 A CN111010560 A CN 111010560A CN 201911189941 A CN201911189941 A CN 201911189941A CN 111010560 A CN111010560 A CN 111010560A
Authority
CN
China
Prior art keywords
head
mounted display
exit pupil
distortion
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911189941.3A
Other languages
English (en)
Other versions
CN111010560B (zh
Inventor
罗敏
韩玉才
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Xiaoniao Kankan Technology Co Ltd
Original Assignee
Qingdao Xiaoniao Kankan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Xiaoniao Kankan Technology Co Ltd filed Critical Qingdao Xiaoniao Kankan Technology Co Ltd
Priority to CN201911189941.3A priority Critical patent/CN111010560B/zh
Publication of CN111010560A publication Critical patent/CN111010560A/zh
Application granted granted Critical
Publication of CN111010560B publication Critical patent/CN111010560B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/327Calibration thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开一种头戴显示设备的反畸变调节方法、装置和虚拟现实系统。本发明的方法包括:利用集成在头戴显示设备中的深度摄像机组件追踪眼睛运动,根据追踪结果获得眼睛的出瞳距离;根据所述出瞳距离和所述头戴显示设备的光学透镜的参数值,计算反畸变参数;根据所述反畸变参数对所述头戴显示设备进行反畸变调节。本发明通过获取使用者真实的出瞳距离,结合光学透镜,生成符合使用者视觉特征的反畸变参数,以在显示屏幕上渲染出桶形反畸变画面,通过光学透镜后,为使用者还原出真实色彩和图像特征。

Description

一种头戴显示设备的反畸变调节方法、装置和虚拟现实系统
技术领域
本发明涉及一种头戴显示设备的反畸变调节方法、装置和虚拟现实系统。
背景技术
虚拟现实技术,是利用计算机技术将视觉、听觉、触觉等多种信息融合重建,从而生成人机交互式的虚拟场景。用户能够通过虚拟现实(virtual reality,VR)设备所展示的实时动态的三维立体图像,获得身临其境的沉浸式体验。
目前,VR头戴显示设备为了增加沉浸感,在设计和生产时,会通过一个加在屏幕前的透镜增加视场角,使用者的眼睛在靠近透镜时就可以增大视场角,提升沉浸感,但是透镜会带来图像的色散和畸变,视场角越大的区域,色散和畸变就越明显,所以设计者必须根据透镜的光学参数,设计配套对应的反畸变参数配置表,在渲染图像时做图像校正,以消除由于透镜带来的负面影响。
但是不同人眼窝深度不同,到VR头戴显示设备的透镜的出瞳距离有所差异,不同的出瞳距离同样会造成色散和畸变的差异,而VR头戴显示设备在设计和生产时并无法预估每一个使用者的出瞳距离,现有技术方案只能从统计角度,设计出理想状况下或者适合一定出瞳距离范围使用者的反畸变效果。
由此带来的问题,一是无法针对个体差异为每位使用者呈现理想的画面色彩和还原效果,二是无法覆盖出瞳距离偏大或偏小的使用者。更重要的是如果VR头戴显示设备针对全球市场,对于不同人种的使用者眼窝深度差异明显,产品更是无法兼顾。
发明内容
本发明的目的在于提供了一种用于头戴显示设备的反畸变调节的新技术方案。
第一方面,本发明提供了一种虚拟现实头戴显示设备的反畸变调节方法包括:
利用集成在头戴显示设备中的深度摄像机组件追踪眼睛运动,根据追踪结果获得眼睛的出瞳距离;
根据所述出瞳距离和所述头戴显示设备的光学透镜的参数值,计算反畸变参数;
根据所述反畸变参数对所述头戴显示设备进行反畸变调节。
第二方面,本发明提供了一种虚拟现实头戴显示设备的反畸变调节装置,包括:
出瞳距离计算单元,用于利用集成在头戴显示设备中的深度摄像机组件追踪眼睛运动,根据追踪结果获得眼睛的出瞳距离;
反畸变参数计算单元,用于根据所述出瞳距离和所述头戴显示设备的光学透镜的参数值,计算反畸变参数;
反畸变调节单元,用于根据所述反畸变参数对所述头戴显示设备进行反畸变调节。
第三方面,本发明提供了一种虚拟现实系统,包括:包括处理器和存储器;存储器,存储计算机可执行指令;处理器,所述计算机可执行指令在被执行时使处理器执行反畸变调节方法。
第四方面,本发明提供了一种计算机可读存储介质,计算机可读存储介质上存储有一个或多个计算机程序,一个或多个计算机程序被执行时实现反畸变调节方法。
本发明至少取得以下技术效果:通过获取使用者真实的出瞳距离,结合光学透镜,生成符合使用者视觉特征的反畸变参数,以在显示屏幕上渲染出桶形反畸变画面,通过光学透镜后,为使用者还原出真实色彩和图像特征。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍。应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定。对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例示出的虚拟现实系统的硬件结构示意图;
图2为本发明实施例示出的出瞳距离对反畸变效果的影响原理示意图;
图3为本发明实施例示出的头戴显示设备的反畸变调节方法流程图;
图4为本发明实施例示出的测量坐标系的示意图;
图5为本发明实施例示出的反畸变调节流程图;
图6为本发明实施例示出的头戴显示设备的反畸变调节装置结构示意图;
图7为本发明实施例示出的虚拟现实系统的结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它例子可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
<实施例一>
图1为本发明实施例示出的虚拟现实系统100的硬件结构示意图。
如图1所示,虚拟现实系统100包括输入设备1000和虚拟现实设备2000。
输入设备1000用于采集用户指令,并将采集到的用户指令提供至虚拟现实设备2000。
该输入设备1000可以是能够进行数据采集的任意移动设备,例如手柄等。
虚拟现实设备2000可以是任意的电子设备,例如虚拟现实头盔、头戴显示设备、服务器等。
在本实施例中,参照图1所示,虚拟现实设备2000可以包括处理器2100、存储器2200、接口装置2300、通信装置2400、显示装置2500、输入装置2600、扬声器2700、麦克风2800等等。
处理器2100可以是移动版处理器。存储器2200例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置2300例如包括USB接口、耳机接口等。通信装置2400例如能够进行有线或无线通信,通信装置2400可以包括短距离通信装置,例如是基于Hilink协议、WiFi(IEEE 802.11协议)、Mesh、蓝牙、ZigBee、Thread、Z-Wave、NFC、UWB、LiFi等短距离无线通信协议进行短距离无线通信的任意装置,通信装置2400也可以包括远程通信装置,例如是进行WLAN、GPRS、2G/3G/4G/5G远程通信的任意装置。显示装置2500例如是液晶显示屏、触摸显示屏等,显示装置2500用于显示图像采集装置采集的目标图像。输入装置2600例如可以包括触摸屏、键盘等。用户可以通过扬声器2700和麦克风2800输入/输出语音信息。
在该实施例中,虚拟现实设备2000的存储器2200用于存储指令,该指令用于控制处理器2100进行操作以至少执行根据本发明任意实施例的反畸变调节方法。技术人员可以根据本发明所公开方案设计指令。指令如何控制处理器进行操作,这是本领域公知,故在此不再详细描述。
尽管在图1中示出了虚拟现实设备2000的多个装置,但是,本发明可以仅涉及其中的部分装置,例如,虚拟现实设备2000只涉及存储器2200、处理器2100和显示装置2500。
应当理解的是,尽管图1仅示出一个输入设备1000和一个虚拟现实设备2000,但不意味着限制各自的数量,虚拟现实系统100中可以包含多个输入设备1000和/或虚拟现实设备2000。
<实施例二>
现有技术在生成反畸变Mesh网格配置参数时,只考虑了光学透镜的因素,未考虑出瞳距离对于反畸变效果的影响,使用者在使用VR头戴显示设备时,会由于各自的出瞳距离不同,观看效果不同。
如图2所示,两个小矩形框红分别代表不同使用者的观察位置,两个光路示出了不同使用者的视线经过其相应的出瞳距离透过光学透镜以后,映射到屏幕的过程。可以看出,出瞳距离改变后,通过光学透镜的折射光路发生改变,畸变过程对于同一个光学透镜位置对应的屏幕位置发生变化,对于一些出瞳距离偏大或偏小的使用者,色散和畸变尤为明显。
针对上述问题,本申请通过VR头戴显示设备中的用于眼动追踪的深度摄像机组件,实时追踪眼睛的运动,通过图像处理技术定位瞳孔位置,从而计算出瞳距离,生成符合使用者出瞳距离的反畸变Mesh网格参数配置,通过光学透镜后,还原真实色彩和图像特征。
图3为本发明实施例示出的头戴显示设备的反畸变调节方法流程图,如图3所示,本实施例的方法包括:
S3100,利用集成在头戴显示设备中的深度摄像机组件追踪眼睛运动,根据追踪结果获得眼睛的出瞳距离。
深度摄像机组件为集成在头戴显示设备中的多相机眼动追踪或TOF等具有深度检测功能的相机设备,可用于注视点渲染、眼动交互、自动测量瞳距、人眼识别等。
其中,头戴显示设备中的深度摄像机组件是反畸变调节所需的硬件,一般固定安装于头戴显示设备的光学透镜边缘位置,可能集成眼动追踪传感器、或者TOF相机,通过该硬件提供的接口输出瞳孔坐标。
S3200,根据出瞳距离和头戴显示设备的光学透镜的参数值,计算反畸变参数。
其中,光学透镜的参数包括但不限于光学透镜的厚度,反畸变参数包括但不限于反畸变Mesh网格配置参数。
S3300,根据反畸变参数对头戴显示设备进行反畸变调节。
本实施例通过获取使用者真实的出瞳距离,结合光学透镜,生成符合使用者视觉特征的反畸变参数,以在显示屏幕上渲染出桶形反畸变画面,通过光学透镜后,为使用者还原出真实色彩和图像特征。
在一个实施例中,上述步骤S3100利用集成在头戴显示设备中的深度摄像机组件追踪眼睛运动,根据追踪结果获得眼睛的出瞳距离进一步包括:
S3110,在需要进行反畸变调节时,利用深度摄像机组件对眼睛运动进行追踪拍摄,对获取到的眼睛图像进行图像处理,获得瞳孔与深度摄像机组件之间的第一距离。
在需要进行反畸变调节时,利用深度摄像机组件对眼睛运动进行追踪拍照,可以理解为:在头戴显示设备的系统启动时,和/或,在头戴显示设备的显示屏幕亮屏时,和/或,在头戴显示设备的矫正功能启动时,利用深度摄像机组件对眼睛运动进行追踪拍照。
S3120,获取深度摄像机组件在预先建立的测量坐标系中的传感器坐标。其中,如图4所示,以光学透镜的中心点为坐标原点O,以光学透镜的光轴所在直线为X轴,以垂直于X轴的直线为Y轴,建立直角坐标系XOY。
S3130,根据第一距离、传感器坐标以及预先获得的光学透镜的厚度,计算出出瞳距离。
参考图4,为便于计算,本实施将深度摄像机组件所在的位置设置在Y轴上,这样在建立直角坐标系XOY的过程中,可以根据深度摄像机组件与光学透镜之间的距离关系,得到传感器坐标,该传感器坐标坐在位置即为深度摄像机组件所在位置。
由于基于深度摄像机组件与光学透镜之间的距离关系,可以得到传感器坐标,因此,可以根据传感器坐标即可获取深度摄像机组件相对于坐标原点的第二距离。即图4中的A点的坐标即为传感器坐标,A2的纵坐标所对应的长度即为深度摄像机组件相对于坐标原点的第二距离OA。
基于三角形法则计算以第一距离为直角三角形的斜边,以第二距离为直角三角形的一直角边的,该直角三角形的另一直角边的第三距离。即图4中的线段OA对应为直角三角形AOE的一个直角边,线段AE对应为直角三角形AOE的一个斜边,线段OE对应为直角三角形AOE的另一个直角边,根据三角形法则可以计算出
Figure BDA0002293309680000061
由此,以坐标原点O为起始点,以第三距离OE为参考沿着X轴上确定瞳孔坐标,即图4中的E点坐标为瞳孔坐标,对应于使用者眼睛所在位置。进而根据瞳孔坐标与光学透镜的厚度,计算得到出瞳距离。具体的,出瞳距离d=OE-h。
在一个实施例中,如图5所示,上述步骤S3200根据出瞳距离和头戴显示设备的光学透镜的参数值,计算反畸变参数进一步包括:
S3210,建立反畸变参数模型,该反畸变参数模型为至少关于输出桶形Mesh网格、输入出瞳距离参数、输入光学透镜参数的拟合函数。
其中,输出桶形Mesh网格为模型的输出,输入出瞳距离参数、输入光学透镜参数均为模型的输入。
本实施例中的拟合函数为多次拟合函数。以采用中心对称类型的光学镜片为例,多次拟合函数可以为:
scale=k0+k1*(r2+d2)+k2*(r4+d4)…
其中,r为原始图像到中心点的距离,d为出瞳距离,scale为输出畸变率。
S3220,接收来自头戴显示设备的操作界面中预设输入接口输入的出瞳距离参考值,出瞳距离参考值为基于追踪结果获得的出瞳距离,或者为对出瞳距离进行调整后生成的出瞳距离调整值。
在系统启动时,深度摄像机组件上电,开启自动检测,通过预设输入接口输出出瞳距离。本实施例还可以设计软件操作界面,使用者主动矫正反畸变参数配置,例如启动矫正功能时,追踪组件重新检测使用者的眼睛位置,更新计算出的出瞳距离,或者对出瞳距离进行调整,将更新或调整后的出瞳距离通过该预设输入接口输出。
S3230,获取头戴显示设备的光学透镜参数值。
S3240,将出瞳距离参考值与光学透镜参数值作为输入参数,输入到反畸变参数模型,将反畸变参数模型的输出桶形Mesh网格作为反畸变参数。
其中,反畸变调节过程为:将头戴显示设备获取到的虚拟场景画面的各个像素值映射到输出桶形Mesh网格,基于输出桶形Mesh网格渲染出桶形畸变画面;将桶形畸变画面发送到头戴显示设备的显示屏幕进行显示,以使得显示屏幕上的显示画面经过光学透镜后输出到用户眼睛,实现无畸变的图像显示。
由上,本实施例可实时监测使用者的真实出瞳距离,为每一位使用者呈现理想的画面色彩和还原效果;本实施例的反畸变调节方案可覆盖出瞳距离偏大或偏小的使用者,能够兼顾不同国家、区域、人种的使用者,无需设计多套头戴显示配件。
<实施例三>
图6为本发明实施例示出的头戴显示设备的反畸变调节装置结构示意图,如图6所示,本实施例的装置包括:
出瞳距离计算单元,用于利用集成在头戴显示设备中的深度摄像机组件追踪眼睛运动,根据追踪结果获得眼睛的出瞳距离;
反畸变参数计算单元,用于根据所述出瞳距离和所述头戴显示设备的光学透镜的参数值,计算反畸变参数;
反畸变调节单元,用于根据所述反畸变参数对所述头戴显示设备进行反畸变调节。
在一个实施例中,出瞳距离计算单元包括第一计算模块、第二计算模块和第三计算模块;
第一计算模块在需要进行反畸变调节时,利用所述深度摄像机组件对眼睛运动进行追踪拍照,对拍照所得的眼睛图像进行图像处理,获得瞳孔与所述深度摄像机组件之间的第一距离;
第二计算模块获取所述深度摄像机组件在预先建立的测量坐标系中的传感器坐标;其中,以所述光学透镜的中心点为坐标原点O,以所述光学透镜的光轴所在直线为X轴,以垂直于所述X轴的直线为Y轴,建立直角坐标系XOY;
第三计算模块根据所述第一距离、所述传感器坐标以及预先获得的所述光学透镜的厚度,计算出所述出瞳距离。
具体的,第三计算模块根据所述传感器坐标获取所述深度摄像机组件相对于所述坐标原点的第二距离;基于三角形法则计算以所述第一距离为直角三角形的斜边,以所述第二距离为所述直角三角形的一直角边的,所述直角三角形的另一直角边的第三距离;以所述坐标原点O为起始点,以所述第三距离为参考沿着所述X轴上确定瞳孔坐标;根据所述瞳孔坐标与所述光学透镜的厚度,计算得到所述出瞳距离。
在一个实施例中,反畸变参数计算单元包括:第一获取模块、第二获取模块和第四计算模块;
第一获取模块,接收来自所述头戴显示设备的操作界面中预设输入接口输入的出瞳距离参考值,所述出瞳距离参考值为基于所述追踪结果获得的所述出瞳距离,或者为对所述出瞳距离进行调整后生成的出瞳距离调整值;
第二获取模块,获取所述头戴显示设备的光学透镜参数值;
第四计算模块,将所述出瞳距离参考值与所述光学透镜参数值作为输入参数,输入到所述反畸变参数模型,将所述反畸变参数模型的输出桶形Mesh网格作为所述反畸变参数。
在一个实施例中,反畸变调节单元,将所述头戴显示设备获取到的虚拟场景画面的各个像素值映射到所述输出桶形Mesh网格,基于所述输出桶形Mesh网格渲染出桶形畸变画面;将所述桶形畸变画面发送到所述头戴显示设备的显示屏幕进行显示,以使得所述显示屏幕上的显示画面经过光学透镜后输出到用户眼睛,实现无畸变的图像显示。
本发明装置实施例中各模块的具体实现方式可以参见本发明方法实施例中的相关内容,在此不再赘述。
<实施例四>
图7为本发明实施例示出的虚拟现实系统的结构示意图,如图7所示,在硬件层面,该虚拟现实系统包括处理器,可选地还包括内部总线、网络接口、存储器。其中,存储器可能包含内存,例如高速随机存取存储器(Random-Access Memory,RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器等。当然,该虚拟现实系统还可能包括其他业务所需要的硬件,例如手柄。
处理器、网络接口和存储器可以通过内部总线相互连接,该内部总线可以是ISA(Industry Standard Architecture,工业标准体系结构)总线、PCI(PeripheralComponent Interconnect,外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture,扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图7中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
存储器,用于存放程序。具体地,程序可以包括程序代码,所述程序代码包括计算机可执行指令。存储器可以包括内存和非易失性存储器,并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,在逻辑层面上形成反畸变调节装置。处理器,执行存储器所存放的程序实现如上文描述的反畸变调节方法。
上述如本说明书图7所示实施例揭示的反畸变调节装置执行的方法可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上文描述的反畸变调节方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器,包括中央处理器(CentralProcessing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific IntegratedCircuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述反畸变调节方法的步骤。
本发明还提供了一种计算机可读存储介质。
该计算机可读存储介质存储一个或多个计算机程序,该一个或多个计算机程序包括指令,该指令当被处理器执行时,能够实现上文描述的反畸变调节方法。
为了便于清楚描述本发明实施例的技术方案,在发明的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分,本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定。
以上所述,仅为本发明的具体实施方式,在本发明的上述教导下,本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白,上述的具体描述只是更好的解释本发明的目的,本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种头戴显示设备的反畸变调节方法,其特征在于,包括:
利用集成在头戴显示设备中的深度摄像机组件追踪眼睛运动,根据追踪结果获得眼睛的出瞳距离;
根据所述出瞳距离和所述头戴显示设备的光学透镜的参数值,计算反畸变参数;
根据所述反畸变参数对所述头戴显示设备进行反畸变调节。
2.根据权利要求1所述的方法,其特征在于,所述利用集成在头戴显示设备中的深度摄像机组件追踪眼睛运动,根据追踪结果获得眼睛的出瞳距离,包括:
在需要进行反畸变调节时,利用所述深度摄像机组件对眼睛运动进行追踪拍摄,对获取到的眼睛图像进行图像识别与处理,获得瞳孔与所述深度摄像机组件之间的第一距离;
获取所述深度摄像机组件在预先建立的测量坐标系中的传感器坐标;
根据所述第一距离、所述传感器坐标以及预先获得的所述光学透镜的厚度,计算出所述出瞳距离。
3.根据权利要求2所述的方法,其特征在于,通过下述方法建立所述测量坐标系:
以所述光学透镜的中心点为坐标原点O,以所述光学透镜的光轴所在直线为X轴,以垂直于所述X轴的直线为Y轴,建立直角坐标系XOY。
4.根据权利要求3所述的方法,其特征在于,所述深度摄像机组件所在的位置位于所述Y轴上,则所述根据所述第一距离、所述传感器坐标以及预先获得的所述光学透镜的厚度,计算出所述出瞳距离,包括:
根据所述传感器坐标获取所述深度摄像机组件相对于所述坐标原点的第二距离;
基于三角形法则计算以所述第一距离为直角三角形的斜边,以所述第二距离为所述直角三角形的一直角边的,所述直角三角形的另一直角边的第三距离;
以所述坐标原点O为起始点,以所述第三距离为参考沿着所述X轴上确定瞳孔坐标;
根据所述瞳孔坐标与所述光学透镜的厚度,计算得到所述出瞳距离。
5.根据权利要求2所述的方法,其特征在于,所述在需要进行反畸变调节时,利用所述深度摄像机组件对眼睛运动进行追踪拍照,包括:
在所述头戴显示设备的系统启动时,和/或,在所述头戴显示设备的显示屏幕亮屏时,和/或,在所述头戴显示设备的矫正功能启动时,利用所述深度摄像机组件对眼睛运动进行追踪拍照。
6.根据权利要求1所述的方法,其特征在于,所述根据所述出瞳距离和所述头戴显示设备的光学透镜参数值,计算反畸变参数,包括:
建立反畸变参数模型,所述反畸变参数模型为至少关于输出桶形Mesh网格、输入出瞳距离参数、输入光学透镜参数的拟合函数;
接收来自所述头戴显示设备的操作界面中预设输入接口输入的出瞳距离参考值,所述出瞳距离参考值为基于所述追踪结果获得的所述出瞳距离,或者为对所述出瞳距离进行调整后生成的出瞳距离调整值;
获取所述头戴显示设备的光学透镜参数值;
将所述出瞳距离参考值与所述光学透镜参数值作为输入参数,输入到所述反畸变参数模型,将所述反畸变参数模型的输出桶形Mesh网格作为所述反畸变参数。
7.根据权利要求6所述的方法,其特征在于,所述根据所述反畸变参数对所述头戴显示设备进行反畸变调节,包括:
将所述头戴显示设备获取到的虚拟场景画面的各个像素值映射到所述输出桶形Mesh网格,基于所述输出桶形Mesh网格渲染出桶形畸变画面;
将所述桶形畸变画面发送到所述头戴显示设备的显示屏幕进行显示,以使得所述显示屏幕上的显示画面经过光学透镜后输出到用户眼睛,实现无畸变的图像显示。
8.一种头戴显示设备的反畸变调节装置,其特征在于,包括:
出瞳距离计算单元,用于利用集成在头戴显示设备中的深度摄像机组件追踪眼睛运动,根据追踪结果获得眼睛的出瞳距离;
反畸变参数计算单元,用于根据所述出瞳距离和所述头戴显示设备的光学透镜的参数值,计算反畸变参数;
反畸变调节单元,用于根据所述反畸变参数对所述头戴显示设备进行反畸变调节。
9.一种虚拟现实系统,其特征在于,包括处理器和存储器;
所述存储器,存储计算机可执行指令;
所述处理器,所述计算机可执行指令在被执行时使所述处理器执行如权利要求1-7任一项所述的反畸变调节方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有一个或多个计算机程序,所述一个或多个计算机程序被执行时实现如权利要求1-7任一项所述的反畸变调节方法。
CN201911189941.3A 2019-11-28 2019-11-28 一种头戴显示设备的反畸变调节方法、装置和虚拟现实系统 Active CN111010560B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911189941.3A CN111010560B (zh) 2019-11-28 2019-11-28 一种头戴显示设备的反畸变调节方法、装置和虚拟现实系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911189941.3A CN111010560B (zh) 2019-11-28 2019-11-28 一种头戴显示设备的反畸变调节方法、装置和虚拟现实系统

Publications (2)

Publication Number Publication Date
CN111010560A true CN111010560A (zh) 2020-04-14
CN111010560B CN111010560B (zh) 2022-03-01

Family

ID=70112104

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911189941.3A Active CN111010560B (zh) 2019-11-28 2019-11-28 一种头戴显示设备的反畸变调节方法、装置和虚拟现实系统

Country Status (1)

Country Link
CN (1) CN111010560B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652959A (zh) * 2020-05-29 2020-09-11 京东方科技集团股份有限公司 图像处理方法、近眼显示设备、计算机设备和存储介质
CN111685724A (zh) * 2020-06-09 2020-09-22 广东小天才科技有限公司 眼动检测方法、装置、设备及存储介质
CN112114664A (zh) * 2020-08-21 2020-12-22 青岛小鸟看看科技有限公司 一种基于虚拟现实的安全提醒方法、装置和头戴式一体机
CN114331814A (zh) * 2021-12-24 2022-04-12 合肥视涯技术有限公司 一种畸变画面校正方法及显示设备
US11809622B2 (en) 2020-12-21 2023-11-07 Samsung Electronics Co., Ltd. Electronic device and method for eye-tracking of user and providing augmented reality service thereof
US11900845B2 (en) 2021-10-28 2024-02-13 Samsung Electronics Co., Ltd. System and method for optical calibration of a head-mounted display

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105192982A (zh) * 2015-09-07 2015-12-30 北京小鸟看看科技有限公司 可调节式虚拟现实头盔的图像矫正方法和系统
EP3024221A1 (en) * 2013-07-16 2016-05-25 Sony Corporation Display device
CN107942514A (zh) * 2017-11-15 2018-04-20 青岛海信电器股份有限公司 一种虚拟现实设备的图像畸变校正方法及装置
CN108282648A (zh) * 2018-02-05 2018-07-13 北京搜狐新媒体信息技术有限公司 一种vr渲染方法、装置、穿戴式设备及可读存储介质
EP3460785A1 (en) * 2017-09-20 2019-03-27 Facebook Technologies, LLC Multiple layer projector for a head-mounted display
CN109754380A (zh) * 2019-01-02 2019-05-14 京东方科技集团股份有限公司 一种图像处理方法及图像处理装置、显示装置
CN109891296A (zh) * 2016-10-26 2019-06-14 威尔乌集团 使用瞳孔位置校正光学透镜畸变

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3024221A1 (en) * 2013-07-16 2016-05-25 Sony Corporation Display device
CN105192982A (zh) * 2015-09-07 2015-12-30 北京小鸟看看科技有限公司 可调节式虚拟现实头盔的图像矫正方法和系统
CN109891296A (zh) * 2016-10-26 2019-06-14 威尔乌集团 使用瞳孔位置校正光学透镜畸变
EP3460785A1 (en) * 2017-09-20 2019-03-27 Facebook Technologies, LLC Multiple layer projector for a head-mounted display
CN107942514A (zh) * 2017-11-15 2018-04-20 青岛海信电器股份有限公司 一种虚拟现实设备的图像畸变校正方法及装置
CN108282648A (zh) * 2018-02-05 2018-07-13 北京搜狐新媒体信息技术有限公司 一种vr渲染方法、装置、穿戴式设备及可读存储介质
CN109754380A (zh) * 2019-01-02 2019-05-14 京东方科技集团股份有限公司 一种图像处理方法及图像处理装置、显示装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652959A (zh) * 2020-05-29 2020-09-11 京东方科技集团股份有限公司 图像处理方法、近眼显示设备、计算机设备和存储介质
WO2021238423A1 (zh) * 2020-05-29 2021-12-02 京东方科技集团股份有限公司 图像处理方法、近眼显示设备、计算机设备和存储介质
CN111652959B (zh) * 2020-05-29 2022-01-18 京东方科技集团股份有限公司 图像处理方法、近眼显示设备、计算机设备和存储介质
US11721062B2 (en) 2020-05-29 2023-08-08 Beijing Boe Optoelectronics Technology Co., Ltd. Method for processing images, near-eye display device, computer device, and storage medium
CN111685724A (zh) * 2020-06-09 2020-09-22 广东小天才科技有限公司 眼动检测方法、装置、设备及存储介质
CN112114664A (zh) * 2020-08-21 2020-12-22 青岛小鸟看看科技有限公司 一种基于虚拟现实的安全提醒方法、装置和头戴式一体机
US11809622B2 (en) 2020-12-21 2023-11-07 Samsung Electronics Co., Ltd. Electronic device and method for eye-tracking of user and providing augmented reality service thereof
US11900845B2 (en) 2021-10-28 2024-02-13 Samsung Electronics Co., Ltd. System and method for optical calibration of a head-mounted display
CN114331814A (zh) * 2021-12-24 2022-04-12 合肥视涯技术有限公司 一种畸变画面校正方法及显示设备

Also Published As

Publication number Publication date
CN111010560B (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
CN111010560B (zh) 一种头戴显示设备的反畸变调节方法、装置和虚拟现实系统
EP3195595B1 (en) Technologies for adjusting a perspective of a captured image for display
US10643334B2 (en) Image presentation control methods and image presentation control apparatuses
CN107992187A (zh) 显示方法及其系统
US20150304625A1 (en) Image processing device, method, and recording medium
KR20140125183A (ko) 프로젝터 장착 안경 및 그 제어 방법
US20190073820A1 (en) Ray Tracing System for Optical Headsets
US20170372679A1 (en) Mobile Terminal for Automatically Adjusting a Text Size and a Method Thereof
CN114910052B (zh) 一种基于摄像头的测距方法、控制方法、装置和电子设备
CN110706283B (zh) 用于视线追踪的标定方法、装置、移动终端及存储介质
US20130044180A1 (en) Stereoscopic teleconferencing techniques
CN106919246A (zh) 一种应用界面的显示方法和装置
CN108282650B (zh) 一种裸眼立体显示方法、装置、系统及存储介质
JP6283329B2 (ja) 拡張現実対象認識装置
CN113870213A (zh) 图像显示方法、装置、存储介质以及电子设备
US10296098B2 (en) Input/output device, input/output program, and input/output method
TWI603225B (zh) 液晶顯示器顯示視角的調整方法和裝置
KR102171332B1 (ko) 얼굴 영상 보정 장치, 방법 및 컴퓨터 프로그램이 기록된 기록매체
US20150215602A1 (en) Method for ajdusting stereo image and image processing device using the same
CN117011495A (zh) 用于提供视觉内容的方法、主机以及计算机可读存储介质
US20170302904A1 (en) Input/output device, input/output program, and input/output method
US11854234B2 (en) Calibration of mobile electronic devices connected to headsets wearable by users
US11308922B2 (en) Portable electronic device for mixed reality headset
US20170310944A1 (en) Input/output device, input/output program, and input/output method
KR20230081693A (ko) 증강현실 제공 장치 및 이의 동작 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant