CN110189263B - 一种基于多角度采样的大视场头戴显示设备畸变校正方法 - Google Patents

一种基于多角度采样的大视场头戴显示设备畸变校正方法 Download PDF

Info

Publication number
CN110189263B
CN110189263B CN201910368905.7A CN201910368905A CN110189263B CN 110189263 B CN110189263 B CN 110189263B CN 201910368905 A CN201910368905 A CN 201910368905A CN 110189263 B CN110189263 B CN 110189263B
Authority
CN
China
Prior art keywords
hmd
coordinate system
camera
image
distortion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910368905.7A
Other languages
English (en)
Other versions
CN110189263A (zh
Inventor
李海峰
李海丽
陆驰豪
刘旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201910368905.7A priority Critical patent/CN110189263B/zh
Publication of CN110189263A publication Critical patent/CN110189263A/zh
Application granted granted Critical
Publication of CN110189263B publication Critical patent/CN110189263B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于多角度采样的大视场头戴显示设备HMD畸变校正方法，包括：首先校正摄像头自身畸变，然后在HMD的显示屏上绘制标记点阵图。将摄像头放置于头戴显示设备出瞳位置，旋转摄像头多次拍摄得到覆盖全画幅的局部畸变图像，将其余各个角度拍得的局部畸变图像变换至与HMD像面平行的摄像头成像平面内，进而拼接得到HMD的全画幅畸变图像。通过对全画幅畸变图像进行分区域贝塞尔拟合，获取HMD屏幕像素点与全画幅畸变图像像素点的映射表，最后依据该映射表对原始图像进行预畸变，实现HMD的畸变矫正。本发明解决了大视场情况下摄像头单次采集无法获取全画幅畸变图像的问题，适用于非轴对称光学系统的畸变校正。

Description

一种基于多角度采样的大视场头戴显示设备畸变校正方法
技术领域
本发明涉及头戴显示设备畸变校正领域，特别涉及一种通过多角度采样拼接实现大视场头戴显示设备全画幅畸变矫正的方法。
背景技术
随着计算机图形学与显示技术的飞速发展，沉浸式头戴显示技术日渐成熟。沉浸式头戴显示设备利用光学系统将近眼处显示屏上的图像放大为远处的虚像，这样的光学系统往往引入比较明显的光学畸变，即用户通过头戴显示设备看到的虚像是存在明显变形的。在头戴显示设备的设计中，由于实际成本及设备体积的限制，单纯通过优化光学系统难以实现光学畸变的校正。此时通过对显示图像进行预畸变以抵消光学系统畸变的方法成为一个理想的选择。
传统头戴显示校正基于光学系统轴向对称的特点，采用径向-切向畸变模型对光学系统的畸变进行描述。然而，为了简化求解的复杂度，通常省略模型中的高阶项，进而导致更大的误差。此外，当相机无法一次性捕获整幅图像或光学系统畸变不具有轴对称性时，径向-切向畸变模型不再适用。
因此，需要寻找一种校正方法，首先能够解决摄像头单次采样无法获取全画幅畸变图像的问题，其次能够适用于非轴对称光学系统的畸变矫正，最后还需要考虑到装配误差引入的畸变。
发明内容
本发明的目的在于设计一种能够实现大视场头戴显示设备畸变矫正的方法，解决摄像头单次采样无法获取全画幅畸变图像的问题，且适用于非轴对称光学系统。
本发明的具体技术方案如下：一种基于多角度采样的大视场头戴显示设备畸变校正方法，该方法包括以下步骤：
(1)校正摄像头自身的畸变；
(2)在头戴显示设备HMD的显示屏上绘制标记点阵图，以显示屏边角为原点建立Scr坐标系，利用显示屏的分辨率参数将横纵坐标均归一化至[0,1]的范围内，记Scr坐标系内标记点坐标为(u,v)，其中u,v∈[0,1]；
(3)在HMD的出瞳位置，通过摄像头采集多个角度的局部畸变图像，包括以下子步骤：
(3.1)调整摄像头像面与HMD的显示屏像面平行，且摄像头光轴与HMD的光轴重合，拍摄HMD中央视场的畸变图像，以摄像头像面边角为原点建立Cam0坐标系，记Cam0坐标系内标记点坐标为(x0,y0)；
(3.2)通过转动摄像头俯仰角和HMD的侧摆角，得到其余视场的畸变图像，对于每个畸变图像i建立Cami坐标系，记Cami坐标系内标记点坐标为(xi,yi)，其中i＝1,2,3...代表不同角度拍得的图像；
(4)采用单应性变换，将Cami坐标系对应的畸变图像变换至Cam0坐标系所在平面内，将Cam0坐标系平面内的所有畸变图像进行拼接，获得全画幅的HMD畸变图像，以该图像边角为原点建立Cam坐标系，记Cam坐标系内标记点坐标为(x,y)；
(5)将Scr坐标系按阵列划分为若干子区域，相邻的子区域有重叠，将Cam坐标系按相同方式进行子区域划分；采用贝塞尔曲面拟合的方法，计算各个子区域j中Scr坐标系下标记点坐标(u,v)和对应的Cam坐标系下标记点坐标(x,y)的贝塞尔映射关系Bj：
(x,y)＝Bj{(u,v)}
(6)由映射关系Bj生成相应子区域的Scr坐标系到Cam坐标系的映射表Mapj，将所有Mapj组成全画幅的映射表Map，利用Map对原始图像进行预畸变，实现HMD的畸变校正。
进一步地，所述大视场头戴显示设备包括两个单目系统；每个单目系统包括依次设置在人眼前方的透镜组以及放置在所述透镜组之后的显示屏；所述透镜组包括至少一组透镜，每组透镜对应一块显示屏。
进一步地，所述步骤(3)中，搭建校正装置采集多个角度的局部畸变图像，所述校正装置包括两个旋转台、一台计算机和一个捕获HMD畸变图像用的摄像头；按照右手法则建立Y轴正向竖直向上的参考系，则第一旋转台提供摄像头绕x轴的旋转，摄像头的中心与第一旋转台的旋转中心重合；第二旋转台提供HMD绕y轴的旋转，HMD的出瞳与其旋转中心重合；装配时保证摄像头中心与HMD出瞳重合；所述计算机驱动HMD显示图像，同时驱动摄像头捕获畸变图像；结合两个旋转台的旋转，多次拍摄，得到覆盖全画幅的HMD畸变图像。
与现有技术相比，本发明的有益效果为：
1.解决了摄像头单次采集无法获取全画幅畸变图像的问题；
2.解决了非轴对称光学系统畸变校正中，径向-切向参数模型不再适用的问题；
3.校正HMD光学系统畸变的同时，对由装配误差引入的畸变也实现了校正。
附图说明
图1为本发明实施例校正的头戴显示设备结构示意图；
图2为本发明实施例采用的校正装置示意图；
图3为本发明实施例中Scr坐标系子区域分割示意图；
图4为本发明实施例的流程示意图。
具体实施方式
下面结合实施例和附图来详细说明本发明，但本发明并不仅限于此。
如图1所示为本实施例校正的头戴显示装置结构示意图，但不限于该结构。该头戴显示装置包括两个单目系统；每个单目系统包括依次设置在人眼前方的透镜组以及放置在所述透镜组之后的显示屏；所述透镜组包括两组透镜，每组透镜对应一块OLED显示屏。
如图2所示为本实施例采用的校正装置示意图，但不限于该结构。该校正装置包括第一旋转台1、第二旋转台2、一台计算机和一个捕获HMD4畸变图像用的CCD摄像头3；按照右手法则建立Y轴正向竖直向上的参考系，则第一旋转台1提供摄像头3绕x轴的旋转，摄像头3的中心与第一旋转台1的旋转中心重合；第二旋转台2提供HMD4绕y轴的旋转，HMD的出瞳5与其旋转中心重合；装配时保证摄像头3中心与HMD的出瞳5重合；所述计算机驱动HMD4显示图像，同时驱动摄像头3捕获畸变图像；结合两个旋转台的旋转，多次拍摄，得到覆盖全画幅的HMD畸变图像。
本实施例中，对四组透镜分别采用本发明方法进行校正，以下仅以其中一组透镜的校正过程进行说明，具体包括以下步骤：
(1)采用matlab工具箱校正摄像头自身的畸变；
(2)在头戴显示设备HMD的显示屏上绘制标记点阵图，以显示屏左上角为原点建立Scr坐标系，利用显示屏的分辨率参数将横纵坐标均归一化至[0,1]的范围内，记Scr坐标系内标记点坐标为(u,v)，其中u,v∈[0,1]；
(3)在HMD的出瞳位置，通过摄像头采集多个角度的局部畸变图像，包括以下子步骤：
(3.1)调整摄像头像面与HMD的显示屏像面平行，且摄像头光轴与HMD的光轴重合，拍摄HMD中央视场的畸变图像，以摄像头像面左上角为原点建立Cam0坐标系，记Cam0坐标系内标记点坐标为(x0,y0)；
(3.2)通过转动摄像头俯仰角和HMD的侧摆角，得到其余视场的畸变图像，对于每个畸变图像i建立Cami坐标系，记Cami坐标系内标记点坐标为(xi,yi)，其中i＝1,2,3...代表不同角度拍得的图像；
(4)采用单应性变换，将Cami坐标系对应的畸变图像变换至Cam0坐标系所在平面内，将Cam0坐标系平面内的所有畸变图像进行拼接，获得全画幅的HMD畸变图像，以该图像左上角为原点建立Cam坐标系，记Cam坐标系内标记点坐标为(x,y)；
根据两次拍摄结果中，四组不共线点的对应关系求解单应性变换矩阵H；两个平面间的单应性变换定义为：
Figure BDA0002049197050000041
若有四对匹配点，就可以产生8个关于单应性变换矩阵H元素的线性方程组，从而H可解。
(5)将Scr坐标系按阵列划分为若干子区域，相邻的子区域有重叠，将Cam坐标系按相同方式进行子区域划分；采用贝塞尔曲面拟合的方法，计算各个子区域j中Scr坐标系下标记点坐标(u,v)和对应的Cam坐标系下标记点坐标(x,y)的贝塞尔映射关系Bj：
(x,y)＝Bj{(u,v)}
m×n阶贝塞尔曲面定义如下：
Figure BDA0002049197050000042
其中bij(i＝0,1,…,m；j＝0,1,…,n)称为曲面的控制顶点；通过将采集到的标记点坐标(u,v)和(x,y)带入上式即可求得贝塞尔曲面的控制点，进而确定贝塞尔曲面，得到映射关系B。
如图3所示，将Scr坐标系按阵列划分为4个子区域为例，相邻子区域具有重叠区域，该重叠区域至少包含三行或三列点阵。
(6)由映射关系Bj生成相应子区域的Scr坐标系到Cam坐标系的映射表Mapj，将所有Mapj组成全画幅的映射表Map，利用Map对原始图像进行预畸变，实现HMD的畸变校正。
如图4是本实施例最终校正的整体流程：
(1)利用OpenGL编程，由三维场景生成左右眼视图；
(2)依赖前述得到的四份映射表，分别对左右眼视图进行预畸变；
(3)最终将预畸变的图像显示在四块相应的OLED显示屏上，人眼看到的即为非失真图像。
上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (3)

1.一种基于多角度采样的大视场头戴显示设备畸变校正方法，其特征在于，该方法包括以下步骤：
(1)校正摄像头自身的畸变；
(2)在头戴显示设备HMD的显示屏上绘制标记点阵图，以显示屏边角为原点建立Scr坐标系，利用显示屏的分辨率参数将横纵坐标均归一化至[0,1]的范围内，记Scr坐标系内标记点坐标为(u,v)，其中u,v∈[0,1]；
(3)在HMD的出瞳位置，通过摄像头采集多个角度的局部畸变图像，包括以下子步骤：
(3.1)调整摄像头像面与HMD的显示屏像面平行，且摄像头光轴与HMD的光轴重合，拍摄HMD中央视场的畸变图像，以摄像头像面边角为原点建立Cam0坐标系，记Cam0坐标系内标记点坐标为(x0,y0)；
(3.2)通过转动摄像头俯仰角和HMD的侧摆角，得到其余视场的畸变图像，对于每个畸变图像i建立Cami坐标系，记Cami坐标系内标记点坐标为(xi,yi)，其中i＝1,2,3...代表不同角度拍得的图像；
(4)采用单应性变换，将Cami坐标系对应的畸变图像变换至Cam0坐标系所在平面内，将Cam0坐标系平面内的所有畸变图像进行拼接，获得全画幅的HMD畸变图像，以该图像边角为原点建立Cam坐标系，记Cam坐标系内标记点坐标为(x,y)；
(5)将Scr坐标系按阵列划分为若干子区域，相邻的子区域有重叠，将Cam坐标系按相同方式进行子区域划分；采用贝塞尔曲面拟合的方法，计算各个子区域j中Scr坐标系下标记点坐标(u,v)和对应的Cam坐标系下标记点坐标(x,y)的贝塞尔映射关系Bj：
(x,y)＝Bj{(u,v)}
(6)由映射关系Bj生成相应子区域的Scr坐标系到Cam坐标系的映射表Mapj，将所有Mapj组成全画幅的映射表Map，利用Map对原始图像进行预畸变，实现HMD的畸变校正。
2.根据权利要求1所述的一种基于多角度采样的大视场头戴显示设备畸变校正方法，其特征在于，所述大视场头戴显示设备包括两个单目系统；每个单目系统包括依次设置在人眼前方的透镜组以及放置在所述透镜组之后的显示屏；所述透镜组包括至少一组透镜，每组透镜对应一块显示屏。
3.根据权利要求1所述的一种基于多角度采样的大视场头戴显示设备畸变校正方法，其特征在于，所述步骤(3)中，搭建校正装置采集多个角度的局部畸变图像，所述校正装置包括两个旋转台、一台计算机和一个捕获HMD畸变图像用的摄像头；按照右手法则建立Y轴正向竖直向上的参考系，则第一旋转台提供摄像头绕x轴的旋转，摄像头的中心与第一旋转台的旋转中心重合；第二旋转台提供HMD绕y轴的旋转，HMD的出瞳与其旋转中心重合；装配时保证摄像头中心与HMD出瞳重合；所述计算机驱动HMD显示图像，同时驱动摄像头捕获畸变图像；结合两个旋转台的旋转，多次拍摄，得到覆盖全画幅的HMD畸变图像。
CN201910368905.7A 2019-05-05 2019-05-05 一种基于多角度采样的大视场头戴显示设备畸变校正方法 Active CN110189263B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910368905.7A CN110189263B (zh) 2019-05-05 2019-05-05 一种基于多角度采样的大视场头戴显示设备畸变校正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910368905.7A CN110189263B (zh) 2019-05-05 2019-05-05 一种基于多角度采样的大视场头戴显示设备畸变校正方法

Publications (2)

Publication Number Publication Date
CN110189263A CN110189263A (zh) 2019-08-30
CN110189263B true CN110189263B (zh) 2021-05-07

Family

ID=67715694

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910368905.7A Active CN110189263B (zh) 2019-05-05 2019-05-05 一种基于多角度采样的大视场头戴显示设备畸变校正方法

Country Status (1)

Country Link
CN (1) CN110189263B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103792674A (zh) * 2014-01-21 2014-05-14 浙江大学 一种测量和校正虚拟现实显示器畸变的装置和方法
CN106600546A (zh) * 2016-11-14 2017-04-26 Tcl集团股份有限公司 一种超广角摄像头畸变校正方法及系统
CN107424118A (zh) * 2017-03-28 2017-12-01 天津大学 基于改进径向畸变校正的球状全景拼接方法
CN109255760A (zh) * 2018-08-13 2019-01-22 青岛海信医疗设备股份有限公司 畸变图像校正方法及装置
CN109377449A (zh) * 2018-08-01 2019-02-22 安徽森力汽车电子有限公司 一种基于数学形态边缘线检测的鱼眼镜头畸变校正方法
CN109461126A (zh) * 2018-10-16 2019-03-12 重庆金山医疗器械有限公司 一种图像畸变校正方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160055617A1 (en) * 2014-08-20 2016-02-25 Motorola Mobility Llc Method for Correcting the Perspective of an Image of an Electronic Device
US9986169B2 (en) * 2016-02-04 2018-05-29 KARL STORZ, Imaging, Inc. Exposure control method and system for an image capture device
CN109427046B (zh) * 2017-08-30 2021-07-20 深圳中科飞测科技股份有限公司 三维测量的畸变校正方法、装置及计算机可读存储介质
CN109523492A (zh) * 2019-01-24 2019-03-26 重庆邮电大学 广角相机非规则畸变全域校正方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103792674A (zh) * 2014-01-21 2014-05-14 浙江大学 一种测量和校正虚拟现实显示器畸变的装置和方法
CN106600546A (zh) * 2016-11-14 2017-04-26 Tcl集团股份有限公司 一种超广角摄像头畸变校正方法及系统
CN107424118A (zh) * 2017-03-28 2017-12-01 天津大学 基于改进径向畸变校正的球状全景拼接方法
CN109377449A (zh) * 2018-08-01 2019-02-22 安徽森力汽车电子有限公司 一种基于数学形态边缘线检测的鱼眼镜头畸变校正方法
CN109255760A (zh) * 2018-08-13 2019-01-22 青岛海信医疗设备股份有限公司 畸变图像校正方法及装置
CN109461126A (zh) * 2018-10-16 2019-03-12 重庆金山医疗器械有限公司 一种图像畸变校正方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Distortion correction for imaging on non-planar surface using freeform lens;Jia Hou.et.;《Optics Communications》;20121231;第285卷;第986-991页 *
Fully automatic stitching and distortion correction of transmission electron microscope images;Verena Kaynig.et.;《Journal of Structural Biology》;20101231;第171卷;第163-173页 *
面阵CCD航空相机斜视图像几何畸变校正误差分析;周前飞等;《仪器仪表学报》;20140630;第35卷(第6期);第1-8页 *

Also Published As

Publication number Publication date
CN110189263A (zh) 2019-08-30

Similar Documents

Publication Publication Date Title
CN111047510B (zh) 一种基于标定的大视场角图像实时拼接方法
CN104103067B (zh) 用于生成图像截图的方法与设备
CN111476104B (zh) 动态眼位下ar-hud图像畸变矫正方法、装置、系统
US9195121B2 (en) Markerless geometric registration of multiple projectors on extruded surfaces using an uncalibrated camera
CN111243033B (zh) 一种优化双目相机外参数的方法
CN104537707B (zh) 像方型立体视觉在线移动实时测量系统
CN104657982A (zh) 一种投影仪标定方法
CN110764613A (zh) 基于头戴式眼动模组的眼动追踪校准方法
CN107527324A (zh) 一种hud的图像畸变矫正方法
CN107358577B (zh) 一种立方体全景图的快速拼接方法
CN105959669B (zh) 一种基于重映射的集成成像微图像阵列快速生成方法
CN108305233B (zh) 一种针对微透镜阵列误差的光场图像校正方法
CN112734860B (zh) 一种基于弧形幕先验信息的逐像素映射投影几何校正方法
CN108234989B (zh) 一种基于棋盘格标定板的会聚式集成成像拍摄方法
CN111028155A (zh) 一种基于多对双目相机的视差图像拼接方法
CN104732539A (zh) 一种投影仪标定方法
CN107016707B (zh) 一种集成成像超大三维场景拍摄图像校正方法
CN110505468B (zh) 一种增强现实显示设备的测试标定及偏差修正方法
CN110099268B (zh) 色彩自然匹配与显示区自然融合的盲区透视化显示方法
CN106910208A (zh) 一种存在运动目标的场景图像拼接方法
CN107580203B (zh) 沉浸式主动立体投影透视变换矩阵求解方法
CN109428987A (zh) 一种头戴式全景360度立体摄像装置及摄像处理方法
CN108876719A (zh) 基于虚拟相机模型的车辆全景图像拼接外部参数估计方法
CN117218320B (zh) 基于混合现实的空间标注方法
CN112258581B (zh) 一种多鱼眼镜头全景相机的现场标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant