CN110189263A - 一种基于多角度采样的大视场头戴显示设备畸变校正方法 - Google Patents
一种基于多角度采样的大视场头戴显示设备畸变校正方法 Download PDFInfo
- Publication number
- CN110189263A CN110189263A CN201910368905.7A CN201910368905A CN110189263A CN 110189263 A CN110189263 A CN 110189263A CN 201910368905 A CN201910368905 A CN 201910368905A CN 110189263 A CN110189263 A CN 110189263A
- Authority
- CN
- China
- Prior art keywords
- hmd
- image
- camera
- coordinate system
- distortion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012937 correction Methods 0.000 title claims abstract description 26
- 230000000007 visual effect Effects 0.000 title claims abstract description 18
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000005070 sampling Methods 0.000 title claims abstract description 9
- 230000003287 optical effect Effects 0.000 claims abstract description 19
- 238000013507 mapping Methods 0.000 claims abstract description 16
- 210000001747 pupil Anatomy 0.000 claims abstract description 10
- 238000002372 labelling Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于多角度采样的大视场头戴显示设备HMD畸变校正方法,包括:首先校正摄像头自身畸变,然后在HMD的显示屏上绘制标记点阵图。将摄像头放置于头戴显示设备出瞳位置,旋转摄像头多次拍摄得到覆盖全画幅的局部畸变图像,将其余各个角度拍得的局部畸变图像变换至与HMD像面平行的摄像头成像平面内,进而拼接得到HMD的全画幅畸变图像。通过对全画幅畸变图像进行分区域贝塞尔拟合,获取HMD屏幕像素点与全画幅畸变图像像素点的映射表,最后依据该映射表对原始图像进行预畸变,实现HMD的畸变矫正。本发明解决了大视场情况下摄像头单次采集无法获取全画幅畸变图像的问题,适用于非轴对称光学系统的畸变校正。
Description
技术领域
本发明涉及头戴显示设备畸变校正领域,特别涉及一种通过多角度采样拼接实现大视场头戴显示设备全画幅畸变矫正的方法。
背景技术
随着计算机图形学与显示技术的飞速发展,沉浸式头戴显示技术日渐成熟。沉浸式头戴显示设备利用光学系统将近眼处显示屏上的图像放大为远处的虚像,这样的光学系统往往引入比较明显的光学畸变,即用户通过头戴显示设备看到的虚像是存在明显变形的。在头戴显示设备的设计中,由于实际成本及设备体积的限制,单纯通过优化光学系统难以实现光学畸变的校正。此时通过对显示图像进行预畸变以抵消光学系统畸变的方法成为一个理想的选择。
传统头戴显示校正基于光学系统轴向对称的特点,采用径向-切向畸变模型对光学系统的畸变进行描述。然而,为了简化求解的复杂度,通常省略模型中的高阶项,进而导致更大的误差。此外,当相机无法一次性捕获整幅图像或光学系统畸变不具有轴对称性时,径向-切向畸变模型不再适用。
因此,需要寻找一种校正方法,首先能够解决摄像头单次采样无法获取全画幅畸变图像的问题,其次能够适用于非轴对称光学系统的畸变矫正,最后还需要考虑到装配误差引入的畸变。
发明内容
本发明的目的在于设计一种能够实现大视场头戴显示设备畸变矫正的方法,解决摄像头单次采样无法获取全画幅畸变图像的问题,且适用于非轴对称光学系统。
本发明的具体技术方案如下:一种基于多角度采样的大视场头戴显示设备畸变校正方法,该方法包括以下步骤:
(1)校正摄像头自身的畸变;
(2)在头戴显示设备HMD的显示屏上绘制标记点阵图,以显示屏边角为原点建立Scr坐标系,利用显示屏的分辨率参数将横纵坐标均归一化至[0,1]的范围内,记Scr坐标系内标记点坐标为(u,v),其中u,v∈[0,1];
(3)在HMD的出瞳位置,通过摄像头采集多个角度的局部畸变图像,包括以下子步骤:
(3.1)调整摄像头像面与HMD的显示屏像面平行,且摄像头光轴与HMD的光轴重合,拍摄HMD中央视场的畸变图像,以摄像头像面边角为原点建立Cam0坐标系,记Cam0坐标系内标记点坐标为(x0,y0);
(3.2)通过转动摄像头俯仰角和HMD的侧摆角,得到其余视场的畸变图像,对于每个畸变图像i建立Cami坐标系,记Cami坐标系内标记点坐标为(xi,yi),其中i=1,2,3...代表不同角度拍得的图像;
(4)采用单应性变换,将Cami坐标系对应的畸变图像变换至Cam0坐标系所在平面内,将Cam0坐标系平面内的所有畸变图像进行拼接,获得全画幅的HMD畸变图像,以该图像边角为原点建立Cam坐标系,记Cam坐标系内标记点坐标为(x,y);
(5)将Scr坐标系按阵列划分为若干子区域,相邻的子区域有重叠,将Cam坐标系按相同方式进行子区域划分;采用贝塞尔曲面拟合的方法,计算各个子区域j中Scr坐标系下标记点坐标(u,v)和对应的Cam坐标系下标记点坐标(x,y)的贝塞尔映射关系Bj:
(x,y)=Bj{(u,v)}
(6)由映射关系Bj生成相应子区域的Scr坐标系到Cam坐标系的映射表Mapj,将所有Mapj组成全画幅的映射表Map,利用Map对原始图像进行预畸变,实现HMD的畸变校正。
进一步地,所述大视场头戴显示设备包括两个单目系统;每个单目系统包括依次设置在人眼前方的透镜组以及放置在所述透镜组之后的显示屏;所述透镜组包括至少一组透镜,每组透镜对应一块显示屏。
进一步地,所述步骤(3)中,搭建校正装置采集多个角度的局部畸变图像,所述校正装置包括两个旋转台、一台计算机和一个捕获HMD畸变图像用的摄像头;按照右手法则建立Y轴正向竖直向上的参考系,则第一旋转台提供摄像头绕x轴的旋转,摄像头的中心与第一旋转台的旋转中心重合;第二旋转台提供HMD绕y轴的旋转,HMD的出瞳与其旋转中心重合;装配时保证摄像头中心与HMD出瞳重合;所述计算机驱动HMD显示图像,同时驱动摄像头捕获畸变图像;结合两个旋转台的旋转,多次拍摄,得到覆盖全画幅的HMD畸变图像。
与现有技术相比,本发明的有益效果为:
1.解决了摄像头单次采集无法获取全画幅畸变图像的问题;
2.解决了非轴对称光学系统畸变校正中,径向-切向参数模型不再适用的问题;
3.校正HMD光学系统畸变的同时,对由装配误差引入的畸变也实现了校正。
附图说明
图1为本发明实施例校正的头戴显示设备结构示意图;
图2为本发明实施例采用的校正装置示意图;
图3为本发明实施例中Scr坐标系子区域分割示意图;
图4为本发明实施例的流程示意图。
具体实施方式
下面结合实施例和附图来详细说明本发明,但本发明并不仅限于此。
如图1所示为本实施例校正的头戴显示装置结构示意图,但不限于该结构。该头戴显示装置包括两个单目系统;每个单目系统包括依次设置在人眼前方的透镜组以及放置在所述透镜组之后的显示屏;所述透镜组包括两组透镜,每组透镜对应一块OLED显示屏。
如图2所示为本实施例采用的校正装置示意图,但不限于该结构。该校正装置包括第一旋转台1、第二旋转台2、一台计算机和一个捕获HMD4畸变图像用的CCD摄像头3;按照右手法则建立Y轴正向竖直向上的参考系,则第一旋转台1提供摄像头3绕x轴的旋转,摄像头3的中心与第一旋转台1的旋转中心重合;第二旋转台2提供HMD4绕y轴的旋转,HMD的出瞳5与其旋转中心重合;装配时保证摄像头3中心与HMD的出瞳5重合;所述计算机驱动HMD4显示图像,同时驱动摄像头3捕获畸变图像;结合两个旋转台的旋转,多次拍摄,得到覆盖全画幅的HMD畸变图像。
本实施例中,对四组透镜分别采用本发明方法进行校正,以下仅以其中一组透镜的校正过程进行说明,具体包括以下步骤:
(1)采用matlab工具箱校正摄像头自身的畸变;
(2)在头戴显示设备HMD的显示屏上绘制标记点阵图,以显示屏左上角为原点建立Scr坐标系,利用显示屏的分辨率参数将横纵坐标均归一化至[0,1]的范围内,记Scr坐标系内标记点坐标为(u,v),其中u,v∈[0,1];
(3)在HMD的出瞳位置,通过摄像头采集多个角度的局部畸变图像,包括以下子步骤:
(3.1)调整摄像头像面与HMD的显示屏像面平行,且摄像头光轴与HMD的光轴重合,拍摄HMD中央视场的畸变图像,以摄像头像面左上角为原点建立Cam0坐标系,记Cam0坐标系内标记点坐标为(x0,y0);
(3.2)通过转动摄像头俯仰角和HMD的侧摆角,得到其余视场的畸变图像,对于每个畸变图像i建立Cami坐标系,记Cami坐标系内标记点坐标为(xi,yi),其中i=1,2,3...代表不同角度拍得的图像;
(4)采用单应性变换,将Cami坐标系对应的畸变图像变换至Cam0坐标系所在平面内,将Cam0坐标系平面内的所有畸变图像进行拼接,获得全画幅的HMD畸变图像,以该图像左上角为原点建立Cam坐标系,记Cam坐标系内标记点坐标为(x,y);
根据两次拍摄结果中,四组不共线点的对应关系求解单应性变换矩阵H;两个平面间的单应性变换定义为:
若有四对匹配点,就可以产生8个关于单应性变换矩阵H元素的线性方程组,从而H可解。
(5)将Scr坐标系按阵列划分为若干子区域,相邻的子区域有重叠,将Cam坐标系按相同方式进行子区域划分;采用贝塞尔曲面拟合的方法,计算各个子区域j中Scr坐标系下标记点坐标(u,v)和对应的Cam坐标系下标记点坐标(x,y)的贝塞尔映射关系Bj:
(x,y)=Bj{(u,v)}
m×n阶贝塞尔曲面定义如下:
其中bij(i=0,1,…,m;j=0,1,…,n)称为曲面的控制顶点;通过将采集到的标记点坐标(u,v)和(x,y)带入上式即可求得贝塞尔曲面的控制点,进而确定贝塞尔曲面,得到映射关系B。
如图3所示,将Scr坐标系按阵列划分为4个子区域为例,相邻子区域具有重叠区域,该重叠区域至少包含三行或三列点阵。
(6)由映射关系Bj生成相应子区域的Scr坐标系到Cam坐标系的映射表Mapj,将所有Mapj组成全画幅的映射表Map,利用Map对原始图像进行预畸变,实现HMD的畸变校正。
如图4是本实施例最终校正的整体流程:
(1)利用OpenGL编程,由三维场景生成左右眼视图;
(2)依赖前述得到的四份映射表,分别对左右眼视图进行预畸变;
(3)最终将预畸变的图像显示在四块相应的OLED显示屏上,人眼看到的即为非失真图像。
上述实施例用来解释说明本发明,而不是对本发明进行限制,在本发明的精神和权利要求的保护范围内,对本发明作出的任何修改和改变,都落入本发明的保护范围。
Claims (3)
1.一种基于多角度采样的大视场头戴显示设备畸变校正方法,其特征在于,该方法包括以下步骤:
(1)校正摄像头自身的畸变;
(2)在头戴显示设备HMD的显示屏上绘制标记点阵图,以显示屏边角为原点建立Scr坐标系,利用显示屏的分辨率参数将横纵坐标均归一化至[0,1]的范围内,记Scr坐标系内标记点坐标为(u,v),其中u,v∈[0,1];
(3)在HMD的出瞳位置,通过摄像头采集多个角度的局部畸变图像,包括以下子步骤:
(3.1)调整摄像头像面与HMD的显示屏像面平行,且摄像头光轴与HMD的光轴重合,拍摄HMD中央视场的畸变图像,以摄像头像面边角为原点建立Cam0坐标系,记Cam0坐标系内标记点坐标为(x0,y0);
(3.2)通过转动摄像头俯仰角和HMD的侧摆角,得到其余视场的畸变图像,对于每个畸变图像i建立Cami坐标系,记Cami坐标系内标记点坐标为(xi,yi),其中i=1,2,3...代表不同角度拍得的图像;
(4)采用单应性变换,将Cami坐标系对应的畸变图像变换至Cam0坐标系所在平面内,将Cam0坐标系平面内的所有畸变图像进行拼接,获得全画幅的HMD畸变图像,以该图像边角为原点建立Cam坐标系,记Cam坐标系内标记点坐标为(x,y);
(5)将Scr坐标系按阵列划分为若干子区域,相邻的子区域有重叠,将Cam坐标系按相同方式进行子区域划分;采用贝塞尔曲面拟合的方法,计算各个子区域j中Scr坐标系下标记点坐标(u,v)和对应的Cam坐标系下标记点坐标(x,y)的贝塞尔映射关系Bj:
(x,y)=Bj{(u,v)}
(6)由映射关系Bj生成相应子区域的Scr坐标系到Cam坐标系的映射表Mapj,将所有Mapj组成全画幅的映射表Map,利用Map对原始图像进行预畸变,实现HMD的畸变校正。
2.根据权利要求1所述的一种基于多角度采样的大视场头戴显示设备畸变校正方法,其特征在于,所述大视场头戴显示设备包括两个单目系统;每个单目系统包括依次设置在人眼前方的透镜组以及放置在所述透镜组之后的显示屏;所述透镜组包括至少一组透镜,每组透镜对应一块显示屏。
3.根据权利要求1所述的一种基于多角度采样的大视场头戴显示设备畸变校正方法,其特征在于,所述步骤(3)中,搭建校正装置采集多个角度的局部畸变图像,所述校正装置包括两个旋转台、一台计算机和一个捕获HMD畸变图像用的摄像头;按照右手法则建立Y轴正向竖直向上的参考系,则第一旋转台提供摄像头绕x轴的旋转,摄像头的中心与第一旋转台的旋转中心重合;第二旋转台提供HMD绕y轴的旋转,HMD的出瞳与其旋转中心重合;装配时保证摄像头中心与HMD出瞳重合;所述计算机驱动HMD显示图像,同时驱动摄像头捕获畸变图像;结合两个旋转台的旋转,多次拍摄,得到覆盖全画幅的HMD畸变图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910368905.7A CN110189263B (zh) | 2019-05-05 | 2019-05-05 | 一种基于多角度采样的大视场头戴显示设备畸变校正方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910368905.7A CN110189263B (zh) | 2019-05-05 | 2019-05-05 | 一种基于多角度采样的大视场头戴显示设备畸变校正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110189263A true CN110189263A (zh) | 2019-08-30 |
CN110189263B CN110189263B (zh) | 2021-05-07 |
Family
ID=67715694
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910368905.7A Active CN110189263B (zh) | 2019-05-05 | 2019-05-05 | 一种基于多角度采样的大视场头戴显示设备畸变校正方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110189263B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103792674A (zh) * | 2014-01-21 | 2014-05-14 | 浙江大学 | 一种测量和校正虚拟现实显示器畸变的装置和方法 |
US20160055617A1 (en) * | 2014-08-20 | 2016-02-25 | Motorola Mobility Llc | Method for Correcting the Perspective of an Image of an Electronic Device |
CN106600546A (zh) * | 2016-11-14 | 2017-04-26 | Tcl集团股份有限公司 | 一种超广角摄像头畸变校正方法及系统 |
US20170230558A1 (en) * | 2016-02-04 | 2017-08-10 | KARL STORZ, Imaging, Inc. | Exposure control method and system for an image capture device |
CN107424118A (zh) * | 2017-03-28 | 2017-12-01 | 天津大学 | 基于改进径向畸变校正的球状全景拼接方法 |
CN109255760A (zh) * | 2018-08-13 | 2019-01-22 | 青岛海信医疗设备股份有限公司 | 畸变图像校正方法及装置 |
CN109377449A (zh) * | 2018-08-01 | 2019-02-22 | 安徽森力汽车电子有限公司 | 一种基于数学形态边缘线检测的鱼眼镜头畸变校正方法 |
CN109427046A (zh) * | 2017-08-30 | 2019-03-05 | 深圳中科飞测科技有限公司 | 三维测量的畸变校正方法、装置及计算机可读存储介质 |
CN109461126A (zh) * | 2018-10-16 | 2019-03-12 | 重庆金山医疗器械有限公司 | 一种图像畸变校正方法及系统 |
CN109523492A (zh) * | 2019-01-24 | 2019-03-26 | 重庆邮电大学 | 广角相机非规则畸变全域校正方法 |
-
2019
- 2019-05-05 CN CN201910368905.7A patent/CN110189263B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103792674A (zh) * | 2014-01-21 | 2014-05-14 | 浙江大学 | 一种测量和校正虚拟现实显示器畸变的装置和方法 |
US20160055617A1 (en) * | 2014-08-20 | 2016-02-25 | Motorola Mobility Llc | Method for Correcting the Perspective of an Image of an Electronic Device |
US20170230558A1 (en) * | 2016-02-04 | 2017-08-10 | KARL STORZ, Imaging, Inc. | Exposure control method and system for an image capture device |
CN106600546A (zh) * | 2016-11-14 | 2017-04-26 | Tcl集团股份有限公司 | 一种超广角摄像头畸变校正方法及系统 |
CN107424118A (zh) * | 2017-03-28 | 2017-12-01 | 天津大学 | 基于改进径向畸变校正的球状全景拼接方法 |
CN109427046A (zh) * | 2017-08-30 | 2019-03-05 | 深圳中科飞测科技有限公司 | 三维测量的畸变校正方法、装置及计算机可读存储介质 |
CN109377449A (zh) * | 2018-08-01 | 2019-02-22 | 安徽森力汽车电子有限公司 | 一种基于数学形态边缘线检测的鱼眼镜头畸变校正方法 |
CN109255760A (zh) * | 2018-08-13 | 2019-01-22 | 青岛海信医疗设备股份有限公司 | 畸变图像校正方法及装置 |
CN109461126A (zh) * | 2018-10-16 | 2019-03-12 | 重庆金山医疗器械有限公司 | 一种图像畸变校正方法及系统 |
CN109523492A (zh) * | 2019-01-24 | 2019-03-26 | 重庆邮电大学 | 广角相机非规则畸变全域校正方法 |
Non-Patent Citations (3)
Title |
---|
JIA HOU.ET.: "Distortion correction for imaging on non-planar surface using freeform lens", 《OPTICS COMMUNICATIONS》 * |
VERENA KAYNIG.ET.: "Fully automatic stitching and distortion correction of transmission electron microscope images", 《JOURNAL OF STRUCTURAL BIOLOGY》 * |
周前飞等: "面阵CCD航空相机斜视图像几何畸变校正误差分析", 《仪器仪表学报》 * |
Also Published As
Publication number | Publication date |
---|---|
CN110189263B (zh) | 2021-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107431803B (zh) | 全景虚拟现实内容的捕捉和渲染 | |
CN105118055B (zh) | 摄影机定位修正标定方法及系统 | |
CN103763479B (zh) | 实时高速高清全景视频的拼接装置及其方法 | |
JP6590792B2 (ja) | 3d映像を補正する方法、装置及び表示システム | |
US20190132584A1 (en) | Method and device for calibration | |
CN106023072B (zh) | 一种用于曲面大屏幕的图像拼接显示方法 | |
WO2012176945A1 (ko) | 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법 | |
CN106878687A (zh) | 一种基于多传感器的车载环境识别系统及全方位视觉模块 | |
US9892488B1 (en) | Multi-camera frame stitching | |
CN105379264A (zh) | 用于成像设备建模与校准的系统和方法 | |
CN110764613A (zh) | 基于头戴式眼动模组的眼动追踪校准方法 | |
CN104506828B (zh) | 一种无有效重叠变结构的定点定向视频实时拼接方法 | |
CN206611521U (zh) | 一种基于多传感器的车载环境识别系统及全方位视觉模块 | |
CN102984453A (zh) | 利用单摄像机实时生成半球全景视频图像的方法及系统 | |
CN111028155A (zh) | 一种基于多对双目相机的视差图像拼接方法 | |
CN107154014A (zh) | 一种实时彩色及深度全景图像拼接方法 | |
WO2018035347A1 (en) | Multi-tier camera rig for stereoscopic image capture | |
CN105046647B (zh) | 全液晶仪表360°全景车用监控系统及其工作方法 | |
CN109003226A (zh) | 一种全景图像实时拼接方法及装置 | |
CN106886976B (zh) | 一种基于内参数修正鱼眼像机的图像生成方法 | |
CN110009567A (zh) | 用于鱼眼镜头的图像拼接方法和装置 | |
Zhang et al. | Multiscale-vr: Multiscale gigapixel 3d panoramic videography for virtual reality | |
CN103322980A (zh) | 基于立体视觉的水果姿态检测方法 | |
CN107580203A (zh) | 沉浸式主动立体投影透视变换矩阵求解方法 | |
JP2006221599A (ja) | マッピング関数生成方法及びその装置並びに複合映像生成方法及びその装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |