CN108510549B - 虚拟现实设备的畸变参数测量方法及其装置、测量系统 - Google Patents

虚拟现实设备的畸变参数测量方法及其装置、测量系统 Download PDF

Info

Publication number
CN108510549B
CN108510549B CN201810259343.8A CN201810259343A CN108510549B CN 108510549 B CN108510549 B CN 108510549B CN 201810259343 A CN201810259343 A CN 201810259343A CN 108510549 B CN108510549 B CN 108510549B
Authority
CN
China
Prior art keywords
distortion
image
grid
optical element
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810259343.8A
Other languages
English (en)
Other versions
CN108510549A (zh
Inventor
孙玉坤
张�浩
陈丽莉
苗京花
赵斌
王雪丰
李文宇
李茜
王立新
索健文
刘亚丽
王亚坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201810259343.8A priority Critical patent/CN108510549B/zh
Publication of CN108510549A publication Critical patent/CN108510549A/zh
Priority to US16/479,103 priority patent/US10922795B2/en
Priority to PCT/CN2018/117654 priority patent/WO2019184410A1/zh
Application granted granted Critical
Publication of CN108510549B publication Critical patent/CN108510549B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion

Abstract

本发明公开了一种虚拟现实设备的畸变参数测量方法及其装置、测量系统，该测量方法包括：根据预设畸变系数获取反畸变网格图像；获取在预设观察点处的所述反畸变网格图像经过待测光学元件后的网格图像；获取经过待测光学元件后的所述网格图像的畸变类型；根据所述网格图像的畸变类型调整所述预设畸变系数，以减小所述网格图像的畸变。该测量方法可以获得较为准确的畸变系数。

Description

虚拟现实设备的畸变参数测量方法及其装置、测量系统
技术领域
本发明涉及显示技术领域，尤其涉及虚拟现实设备的畸变参数测量方法及其装置、测量系统。
背景技术
虚拟现实(Visual Reality，VR)设备，例如VR眼镜可以形成虚拟现实视觉效果，在VR设备设置有透镜等光学元件，利用透镜在焦点以内成正立放大的虚像的原理，将显示装置显示的画面放大至远处，因此人眼看到的是类似于大银幕画面图像的视觉效果。但由于透镜本身的特性，图像会不可避免地引起畸变，例如，图1所示的，左边原图是正常情况下的画面图像，包括多个方格状的网格图像，如果不进行任何处理，经过VR设备观察到的图像为右侧的图像，右侧的观察图可以看出画面发生了类似枕形的畸变，这样造成用户观察到的图像是扭曲的，影响用户体验。
针对这种情况，现有的VR设备通常会对畸变的图像进行反畸变处理，例如图2所示，对原图进行反畸变后的图像为反畸变图，该反畸变图的畸变方向与图1所示的畸变后的观察图的畸变方向相反，经过上述反畸变后，使用户通过VR设备观察到的图像为不发生畸变的观察图。
目前对图像进行反畸变处理时，是采用畸变模型对畸变的图像进行校正，减小图像畸变，畸变模型中包括与透镜对应的畸变系数，获取畸变系数的方法中，可利用逆向光路对VR设备中的透镜进行测量。
如图3所示，该测量方法中的采用的设备包括：包括平行光管和图像传感器CCD(Charge-coupled Device，简称CCD)，该测量方法具体为，通过平行光管1发出平行光，透过待测透镜2后，会将平行光进行汇聚，通过CCD 3检测经过待测透镜的光线进行汇聚后的光点的位置p1，而根据待测透镜2 的聚光原理可计算出理想情况下汇聚光点的理论位置p2，将p1与p2进行比较计算待测透镜对应点的畸变系数。
该测量方法中需要通过移动平行光管1，以使出射的平行光线经过待测透镜2的各个位置，可以沿图中箭头所示方向沿轨道4移动CCD 3的位置，以通过CCD 3检测到光点的位置p1，据此逐一测量待测透镜2各个位置的畸变系数。
该测量方法，若测量的位置较少或者不合理，最终得到的畸变系数不准确。
发明内容
本发明提供一种虚拟现实设备的畸变参数测量方法及其装置、测量系统，以解决相关技术中的不足。
根据本发明实施例的第一方面，提供一种虚拟现实设备的畸变参数测量方法，包括：
根据预设畸变系数获取反畸变网格图像；
获取在预设观察点处的所述反畸变网格图像经过所述虚拟现实设备的待测光学元件后的网格图像；
确定经过待测光学元件后的所述网格图像的畸变类型；
根据所述网格图像的畸变类型调整所述预设畸变系数，以减小所述网格图像的畸变。
可选的，所述根据预设畸变系数获取反畸变网格图像，包括：
获取待测光学元件的中心在预设网格图像上对应的中心位置；
采用畸变模型计算在所述预设畸变系数下的，以所述中心位置为中心的所述预设网格图像中各网格点反畸变后的对应位置，得到反畸变网格图像。
可选的，所述获取在预设观察点处的所述反畸变网格图像经过待测光学元件后的网格图像，包括：
获取在预设观察点处采用图像采集设备采集的所述反畸变网格图像经过待测光学元件后的网格图像。
可选的，所述获取经过待测光学元件后的所述网格图像的畸变类型，包括：
通过图像处理算法获取经过待测光学元件后的所述网格图像中网格线相对所述网格图像中心的弯曲方向；
根据所述弯曲方向确定所述网格图像的畸变类型。
可选的，所述根据所述网格线的弯曲方向确定所述网格图像的畸变类型，包括：
若所述网格图像中的网格线向靠近所述网格图像中心的方向弯曲，确定所述网格图像的畸变类型为枕形畸变；
若所述网格图像中的网格线向远离所述网格图像中心的方向弯曲，确定所述网格图像的畸变类型为桶型畸变。
可选的，所述通过图像处理算法获取经过待测光学元件后的所述网格图像中网格线相对所述网格图像中心的弯曲方向，包括：
通过图像处理算法获取经过待测光学元件后的所述网格图像的网格线中位于边缘位置的点与靠近所述网格图像中心的点的线段的斜率确定所述弯曲方向。
可选的，所述根据所述网格图像的畸变类型调整所述预设畸变系数，包括：
当所述网格图像的畸变类型为桶形畸变时，减小所述预设畸变系数，当所述网格图像的畸变类型为枕形畸变时，增大所述预设畸变系数。
可选的，在所述获取在预设观察点处采用图像采集设备采集的所述反畸变网格图像经过待测光学元件后的网格图像之前，还包括：
获取所述图像采集设备的畸变参数。
可选的，在所述获取在预设观察点处采用图像采集设备采集的所述反畸变网格图像经过待测光学元件后的网格图像之前，还包括：
调整所述图像采集设备，使所述图像采集设备的成像平面与所述预设网格图像所在平面平行。
根据本发明实施例的第二方面，提供一种虚拟现实设备的畸变参数测量装置，包括：
反畸变网格图像获取单元，用于根据预设畸变系数获取反畸变网格图像；
网格图像获取单元，用于获取在预设观察点处的所述反畸变网格图像经过待测光学元件后的网格图像；
畸变类型确定单元，用于获取经过待测光学元件后的所述网格图像的畸变类型；
畸变系数调整单元，用于根据所述网格图像的畸变类型调整所述预设畸变系数，以减小所述网格图像的畸变。
根据本发明实施例的第三方面，提供一种虚拟现实设备的畸变参数测量系统，包括：
检测支架；
虚拟现实设备，设置于检测支架上，包括待测光学元件；
图像采集设备，设置于所述检测支架上，且设置于所述待测光学元件出射光线的一侧；
控制器，与所虚拟现实设备和所述图像采集设备相连，所述控制器包括上述的测量装置。
可选的，所述检测支架包括水平杆和竖直杆，所述虚拟现实设备设置于水平杆上，所述图像采集设备设置于所述竖直杆上，所述图像采集设备设置于所述待测光学元件出射光线的一侧。
可选的，所述测量系统还包括两固定板，两所述固定板分别固定连接于所述检测支架上，两所述固定板夹设所述虚拟现实设备。
可选的，所述测量系统还包括刻度滑道，所述控制器控制所述图像采集设备沿所述刻度滑道滑动，以使所述图像采集设备位于预设观察点处。
可选的，所述测量系统还包括距离检测单元，用于检测所述虚拟现实设备与所述图像采集设备之间的距离，并发送给所述控制器，以使控制器根据所述距离控制图像采集设备沿所述刻度滑道滑动，使所述图像采集设备位于预设观察点处。
根据上述实施例可知，该测量方法可以获得较为准确的畸变系数，并且，该测量方法利用图像处理的方式，可以一次性的获得畸变系数，不需要逐一测量光学元件各个位置的畸变系数，简化测量方式，提高测量的准确度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是现有技术提供的网格图像发生畸变情况的示意图；
图2是现有技术提供的网格图像发生反畸变情况的示意图；
图3是现有技术提供的测量待测透镜的畸变系数的测量系统的结构示意图；
图4是根据本发明一实施例示出的虚拟现实设备的畸变参数测量方法的流程图；
图5是根据本发明又一实施例示出的虚拟现实设备的畸变参数测量方法的流程图；
图6A为根据本发明一实施例示出的假设经过光学元件之后理想情况下观察到的网格图像的示意图；
图6B为根据本发明一实施例示出的显示屏上所要显示的根据预设畸变系数获取的反畸变网格图像示意图；
图6C为根据本发明一实施例示出的经过光学元件后的网格图像的示意图；
图7是根据本发明另一实施例示出的虚拟现实设备的畸变参数测量方法的流程图；
图8是根据本发明一实施例示出的虚拟现实设备的测量装置的框图；
图9是根据本发明一实施例示出的虚拟现实设备的测量系统的结构示意图；
图10是根据本发明一实施例示出的虚拟现实设备的测量系统的工作流程图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
虚拟现实设备中由于设置有透镜等光学元件，通过其观察到的图像会不可避免的引起畸变，为了使用户观察到的图像不发生畸变，需要对图像进行反畸变处理，在对图像进行反畸变处理时，通常采用畸变模型，在采用畸变模型对图像进行反畸变处理时，其中光学元件的畸变系数直接影响图像的反畸变处理效果，据此本发明实施例提供一种虚拟现实设备的畸变参数测量方法，该测量方法根据光学元件后的图像的畸变情况调整畸变系数，可获取较为准确的与待测光学元件对应的畸变系数。
本发明实施例提供的虚拟现实设备的畸变参数测量方法，如图4所示，该方法包括以下步骤：
步骤S10、根据预设畸变系数获取反畸变网格图像；
步骤S20、获取在预设观察点处的反畸变网格图像经过待测光学元件后的网格图像；
步骤S30、获取经过待测光学元件后的网格图像的畸变类型；
步骤S40、根据网格图像的畸变类型调整预设畸变系数，以减小网格图像的畸变。
虚拟现实设备中包括光学元件，上述所述的待检测光学元件指应用于虚拟现实设备中的光学元件，光学元件可以为透镜或者各种透镜的组合。
通过虚拟现实设备可以观察到输出的图像，虚拟现实设备可以包括显示屏或者不包括显示屏，输出的图像可以通过显示屏进行显示，用户最后观察到的图像是通过虚拟现实设备中的光学元件后的图像，如果不对输出的图像进行反畸变处理，图像会发生畸变，因此，虚拟现实设备通常会采用畸变模型对上述图像进行反畸变处理，减小图像的畸变或者使图像不发生畸变，以改善用户观察到图像的效果。
预设畸变系数可以是根据待测光学元件的特性初步预设的畸变系数，该畸变系数可以为一个或者多个，与采用的具体畸变模型有关。
反畸变网格图像指采用预设畸变系数根据假设经过光学元件之后观察到的网格图像进行反畸变计算获取的图像。
假设经过光学元件之后观察到的网格图像可以为将正方形划分为多个大小相等的网格形成的图像，或者是将正方形划分成多个大小相等的网格后各网格为黑色和白色相间的类似棋盘的图像。
预设观察点指用户通过虚拟现实设备观察输出的图像时用户人眼所在的位置，由于反畸变网格图像只根据假设经过光学元件之后观察到的网格图像进行反畸变计算获取的图像，该反畸变网格图像经过待测光学元件后，反畸变网格图像会向与反畸变网格图像的畸变方向的反方向畸变，趋向于正常所要输出的不存在畸变的网格图像。
由于反畸变网格图像是根据预设畸变系数进行反畸变计算获取的图像，如果该预设畸变系数与待测光学元件对应的畸变系数符合或者接近，则经过待测光学元件后的图像的不会存在畸变或者畸变很小。
但是如果预设畸变系数与待测光学元件对应的畸变系数不相符或者差别较大，则该反畸变网格图像经过待测光学元件后的图像还会存在不符合要求的畸变，据此，可根据畸变类型对预设畸变系数进行调整，根据调整后畸变系数可再次获取网格图像的畸变情况，当畸变较小或者不存在畸变时，此时的畸变系数即为与待测光学元件对应的合适的畸变系数，可以获得较为准确的畸变系数，并且，该测量方法利用图像处理的方式，可以一次性的获得畸变系数，不需要逐一测量光学元件各个位置的畸变系数，简化测量方式，提高测量的准确度。
采用上述的畸变系数作为虚拟现实设备中光学元件的畸变系数对图像进行反畸变处理时，使经过虚拟现实设备观察到的图像畸变较小或者不存在畸变，提高虚拟现实设备的图像显示效果，改善用户体验。
在一个可选的实施方式中，如图5所示，上述步骤S10所述的根据预设畸变系数获取反畸变网格图像，包括：
步骤S11、获取待测光学元件的中心在预设网格图像上对应的中心位置；
步骤S12、采用畸变模型计算在预设畸变系数下的，以中心位置为中心的预设网格图像中各网格点反畸变后的对应位置，得到反畸变网格图像。
预设网格图像为预先设置的不发生畸变的网格图像，该预设网格图像可以通过显示屏显示或者为打印在载体(载体例如为纸张或者刻印板等)上的预设网格图像，可通过预先设置的或者输入的待测光学元件与预设网格图像所在位置的相对位置关系获取待测光学元件的中心在预设网格图像上对应的中心位置，图像经过光学元件的中心位置不会发生畸变，可以该中心位置为中心计算预设网格图像上的其他各网格点畸变后的对应位置。
各网格点指以中心位置为中心将某一图像划分为多个网格后，每个网格的位置，可以每个网格的中心位置或者每个网格的四个角中的某一个角的位置作为每个网格的网格点，据此，通过畸变模型可计算预设畸变系数下每个网格点反畸变后的对应位置，得到反畸变网格图像。
下面结合图6A和图6B说明具体的计算过程，图6A表示假设经过光学元件之后理想情况下观察到的网格图像，图6B表示显示屏上显示的根据预设畸变系数获取的反畸变网格图像。
中心位置为O点，采用的畸变模型例如可以为y＝k1x1+k2x3+k3x5，其中，y 表示假设经过光学元件之后理想情况下观察到的网格点(图中所示网格点为网格的左上角的位置)距离中心位置O点的长度，k1、k2和k3表示预设畸变系数，则通过上述畸变模型可计算出预设畸变系数下预设网格图像中各网格点反畸变之后距离中心位置O点的长度x，从而可以得到如图6B所示的反畸变网格图像。
在一些例子中，如图7所示，上述步骤S30所述的获取经过待测光学元件后的网格图像的畸变值类型，包括：
步骤S31、通过图像处理算法获取经过待测光学元件后的网格图像中网格线相对网格图像中心的弯曲方向；
步骤S32、根据弯曲方向确定网格图像的畸变类型。
反畸变网格图像经过待测光学元件后，反畸变网格图像会向与反畸变网格图像的畸变方向的反方向畸变，趋向于正常的不存在畸变的网格图像，可以通过图像处理算法获取该网格图像中一条或者多条网格线相对网格图像中心的弯曲方向，根据弯曲方向可确定网格图像的畸变类型，具体而言，若网格图像中的网格线向靠近网格图像中心的方向弯曲，确定网格图像的畸变类型为枕形畸变；若网格图像中的网格线向远离网格图像中心的方向弯曲，确定网格图像的畸变类型为桶型畸变。
在一些例子中，可通过图像处理算法获取经过待测光学元件后的网格图像的网格线中位于边缘位置的点与靠近网格图像中心的点的线段的斜率确定弯曲方向。
反畸变网格图像经过待测光学元件后，反畸变网格图像会向与反畸变网格图像的畸变方向的反方向畸变，趋向于正常所要显示的不存在畸变的网格图像，可以通过图像处理算法获取该网格图像的网格线中位于边缘位置的点与网格图像中心的线段的斜率确定弯曲方向，该斜率可表示反畸变网格经过光学元件后的畸变情况。具体而言，参照图6C所示，假设反畸变网格图像经过光学元件后的网格图像为图6C所示的网格图像，可利用角点检测法或其他图像处理算法，获取该网格图像中各网格点，例如P1点(网格线中位于边缘位置的点)、P2点 (位于行方向的网格线中靠近网格图像中心的点)、P3点(位于列方向的网格线中靠近网格图像中心的点)等，以行方向的网格线为例，如果经过光学元件后的网格图像中的该网格线的斜率大于0，例如，经过P1点和P2点的网格线的斜率大于零，说明网格线向远离网格图像中心方向弯曲，进而可确定网格图像的畸变类型为如3所示的桶型畸变，且此时该斜率值越大说明桶形畸变越大；如果网格线的斜率小于零，例如，经过P1点和P2点的网格线的斜率小于零，说明网格线向靠近网格图像中心方向弯曲，进而可确定网格图像的畸变类型为如1 右侧观察图所示的枕形畸变，且该斜率越小说明枕形畸变越大，如果网格线的斜率等于零，说明不存在畸变，因此可通过斜率确定网格线的弯曲方向，进而根据弯曲方向确定网格图像的畸变类型。
同样道理，如果计算网格图像中列方向的网格线的斜率，若斜率大于1，说明网格图像为如6C所示的桶形畸变，且此时该斜率值越大说明桶形畸变越大，若斜率小于1，说明网格图像为如1右侧观察图所示的枕形畸变，该斜率越小说明枕形畸变越大，如果列方向的网格线的斜率等于1，说明不存在畸变。
为了更加准确的判断网格图像的畸变类型，减小计算误差，可计算多条网格线的斜率，通过多条网格线的斜率综合判断畸变类型，例如，若多条网格线斜率均向相同方向弯曲，说明还存在桶形畸变或枕形畸变，作为后续对预设畸变系数进行调整的依据。
在一个可选的实施方式中，上述步骤S40所述的根据网格图像的畸变类型调整预设畸变系数，包括：
步骤S41、当网格图像的畸变类型为桶形畸变时，减小预设畸变系数，当网格图像的畸变类型为枕形畸变时，增大预设畸变系数。
本实施例中，根据网格图像的畸变类型调整预设畸变系数，如果经过光学元件后的网格图像还存在桶形畸变，说明以预设畸变系数获取的反畸变网格图像的反畸变程度过大，因此，需要减小预设畸变系数；反之，如果经过光学元件后的网格图像还存在枕形畸变，说明以预设畸变系数获取的反畸变网格图像的反畸变程度过小，因此，需要增大预设畸变系数，经过对预设畸变系数进行调整，可减小网格图像的畸变情况，即采用调整后的畸变系数对反畸变网格进行畸变处理后的网格图像不存在畸变或畸变较小，这样最后得到的畸变系数即为与待测光学元件对应的合适的畸变系数。
对于畸变系数的调整而言，可以设置每次的调整值，一次性的调整后使畸变系数符合要求，或者多次执行上述步骤S10-S40后，经过多次调整后使畸变系数符合要求。
上述实施中对于预设畸变系数的调整可以利用网格线的斜率作为判断网格图像的畸变类型的依据，可以解决目前对虚拟现实设备中的光学元件进行测量时，需要多次反复测量光学元件各个位置的畸变系数的困难，减少对获取各位置畸变数据的处理难度，并且，通过得到的经过光学元件的网格图像可直接对畸变系数的效果进行验证。
在一些例子中，对于获取经过待测光学元件后的网格图像的方式，可以为：获取在预设观察点处采用图像采集设备设备采集的反畸变网格图像通过待检测光学元件后的网格图像。
反畸变网格图像是经过待测光学元件的网格图像可以通过图像采集设备 (例如为相机、摄像机或者摄像头等)接收，采集该网格图像，并且，可将图像采集设备设置在预设观察点处，也就是人眼观察经过光学元件的图像的位置，这样可以模拟用户通过虚拟现实设备观察到的图像，根据该网格图像的畸变情况可以判断获取的应用在虚拟现实设备中的光学元件的畸变系数是否合适。
在利用图像采集设备采集图像时，由于图像采集设备中也设置有透镜等光学元件，因此，为了避免由于图像采集设备自身的光学元件引起采集图像的畸变，在获取采用图像采集设备采集的经过待测光学元件的采集网格图像之前，还可以进一步获取图像采集设备的畸变参数，这样可以排除图像采集设备自身的光学元件引起拍摄图像的畸变，可以更加准确的获取经过待测光学元件后的网格图像的畸变类型，进而最终得到更加准确的畸变系数。
对于获取图像采集设备的畸变参数的方法可以通过对图像采集设备进行标定的方法获取，标定方法可以采用张正友标定法，该方法具体可以包括以下过程：
步骤S1、打印一张模板并贴在一个平面上，该模板可以为一张网格图像；
步骤S2、采用图像采集设备从不同角度采集摄若干张模板图像；
步骤S3、检测出图像中的标定点；
步骤S4、计算图像采集设备的内部参数和外部参数；
步骤S5、通过最小二乘法先求解径向畸变系数；
步骤S6、通过求最小参数值，优化所有内部参数和外部参数；
步骤S7、将优化后的内部参数和外部参数作为图像采集设备对图像进行校正的畸变参数。
在一个可选的实施方式中，在获取采用图像采集设备采集的经过待测光学元件的网格图像之前，还可以进一步包括：
步骤S13、调整图像采集设备，使图像采集设备的成像平面与预设网格图像所在平面平行。
为了使图像采集设备采集到的经过待测光学元件的网格图像不会引起因拍摄角度造成网格图像的畸变，进一步的对图像采集设备的成像平面(成像平面例如为图像采集设备的镜头所在的平面)进行调整，使成像平面与预设网格图像所在平面平行。
对于图像采集设备的调整方法，具体可以包括以下步骤：
步骤S131、在显示屏上显示两条以上线段的图像；
步骤S132、获取采用图像采集设备采集的显示屏上显示的线段的图像，并计算图像中每条线段的长度；
步骤S133、比较各条线段的长度；
步骤S134、若沿同一方向左侧线段的长度小于右侧线段的长度，则顺时针转动图像采集设备，若沿同一方向左侧线段的长度大于右侧线段的长度，则逆时针转动图像采集设备。
本实施例中，首先在显示屏上显示两条以上的直线，然后获取采用图像采集设备采集的上述直线的图像，比较各条线段的长度，如果沿同一方向左侧线段的长度小于右侧线段的长度，说明图像采集设备的成像平面(例如镜头)在该方向的右侧低于左侧，即图像采集设备在该方向向右侧倾斜，此时顺时针转动图像采集设备，反之，如果沿同一方向左侧线段的长度大于右侧线段的长度，说明图像采集设备的成像平面在该方向的右侧高于左侧，即图像采集设备在该方向向左侧倾斜，此时逆时针转动图像采集设备，上述调整可以根据左侧线段与右侧线段长度之间的差值设置转动角度，一次性的调整后使图像采集设备的成像平面与预设网格图像所在平面平行，或者多次执行上述步骤S132-S134后，经过多次调整使预设网格图像所在平面设备的成像平面与预设网格图像所在平面平行。
本发明实施例还提供一种虚拟现实设备的畸变参数测量装置，如图8所示，该测量装置100包括：
反畸变网格图像获取单元101，用于根据预设畸变系数获取反畸变网格图像；
网格图像获取单元102，用于获取在预设观察点处的所述反畸变网格图像经过待测光学元件后的网格图像；
畸变类型确定单元103，用于获取经过待测光学元件后的所述网格图像的畸变类型；
畸变系数调整单元104，用于根据所述网格图像的畸变类型调整所述预设畸变系数，以减小所述网格图像的畸变。
上述的测量装置中的各单元可以集成于一体，也可以分离部署。上述各单元可以合并为一个单元，也可以进一步拆分成多个子单元。
通过以上的实施方式的描述，本实施例的测量装置可借助软件的方式实现，或者软件加必需的通用硬件的方式来实现，当然也可以通过硬件实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来。以软件实现为例，作为一个逻辑意义上的装置，是通过其应用的实体测量设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。
本发明实施例还提供一种虚拟现实设备的畸变参数测量系统，包括：
检测支架；
虚拟现实设备，设置于检测支架上，包括待测光学元件；
图像采集设备，设置于检测支架上且设置于待测光学元件出射光线的一侧；
控制器，分别与虚拟现实设备和图像采集设备相连，控制器包括上述实施例所述的测量装置。
本实施例的测量系统，反畸变网格图像经过待测光学元件后的网格图像可通过图像采集设备采集，图像采集设备采集到的网格图像为模拟通过虚拟现实设备观察到的图像，进而通过控制器中的测量装置执行上述的测量方法，可以得到与待测光学元件对应的合适的畸变系数，该待测光学元件可应用于虚拟现实设备中，采用上述的畸变系数作为虚拟现实设备中光学元件的畸变系数对图像进行反畸变处理时，使经过虚拟现实设备观察到的图像畸变较小或者不存在畸变，提高虚拟现实设备的图像显示效果，改善用户体验。
在一个可选的实施方式中，所述检测支架包括水平杆和竖直杆，虚拟现实设备设置于水平杆上，图像采集设备设置于竖直杆上，图像采集设备设置于待测光学元件出射光线的一侧。
在一些例子中，还包括两固定板，两所述固定板分别固定连接于检测支架上，两所述固定板夹设虚拟现实设备。
通设置固定板可以使虚拟现实设备的位置进行限定，避免二者在测量过程中发生位置移动，提高测量的准确性。
图9所示为本发明实施例提供的一种虚拟现实设备的畸变参数测量系统的结构示意图，下面参照图9所示的测量系统的结构说明该测量系统的工作过程。
该测量系统包括水平杆201和竖直杆202，可直接将一虚拟现实设备203 设置于水平杆201上，该虚拟现实设备203包括显示屏204和光学元件205，该光学元件205可以作为待测光学元件，可不再单独设置外接的显示屏。
图像采集设备为云台摄像机300，将其设置在竖直杆202上，该测量系统还包括两固定板206，虚拟现实装置203设置于两固定板206之间。
该测量系统还可以包括一刻度滑道207，控制器(图中未示出)控制云台摄像机300沿刻度滑道207滑动，以使云台摄像机300位于预设观察点处。
刻度滑道207上具有刻度值，有利于测量人员直观的通过刻度滑道207 上的刻度值获知云台摄像机300所在的位置。
云台摄像机300上可以包括距离检测单元或者另外设置一距离检测单元，距离检测单元例如红外测距传感器，通过距离检测单元可检测云台摄像机 300中的镜头与虚拟现实设备203之间的距离，可将检测到的距离发送给控制器，控制器中可根据预先设置的镜头与虚拟现实设备300之间的距离，进而控制云台摄像机300沿刻度滑道207滑动，使云台摄像机300位于预设观察点处。
如图10所示，该测量系统开始测量后工作过程具体为：
步骤S200、对云台摄像机进行标定；进而获取云台摄像机的畸变参数。
步骤S210、调整云台摄像机使其镜头与显示屏沿水平方向的所在平面平行；
标定完成后再调整云台摄像机，使云台摄像机的镜头与显示屏沿水平方向的所在平面平行，具体而言，通过控制器控制显示屏显示两条直线的图像，可在显示屏的左右两侧分别显示一条直线的图像；
去除虚拟现实设备中的光学元件，通过控制器获取采用云台摄像机拍摄的显示屏上显示的该两条直线的图像，控制器计算并比较图像中该两条直线的长度，若左侧直线的长度小于右侧直线的长度，则控制该云台摄像机顺时针转动一定角度，若沿左侧直线的长度大于右侧直线的长度，则控制该云台摄像机逆时针转动一定角度，然后可再次重复上述计算比较的过程，直到左侧直线的长度等于右侧直线的长度，此时，说明云台摄像机的镜头与显示屏沿水平方向所在的平面平行。
步骤S220、控制云台摄像机位于预设观察点处；
可通过云台摄像机中的红外测距传感器，检测云台摄像机与虚拟现实设备之间的距离，将检测到的距离发送给控制器，控制器根据预先设置的云台摄像机与虚拟现实设备之间的距离，控制云台摄像机沿刻度滑道滑动，使云台摄像机位于预设观察点处；
步骤S230、控制显示屏上显示预设畸变系数对应的反畸变网格图像；
控制器根据光学元件与显示屏之间的位置关系，获取该光学元件的中心在显示屏上对应的中心位置，然后采用畸变模型计算在预设畸变系数下的，以中心位置为中心的各网格点在显示屏上反畸变后的对应位置，得到显示屏的反畸变网格图像，并在显示屏上显示该反畸变网格图像；
步骤S240、控制云台摄像机拍摄显示屏显示的反畸变网格图像经过光学元件后的网格图像；
步骤S250、获取经过光学元件后的网格图像的畸变类型，并判断是否存在畸变；
步骤S260、若否，对应的预设畸变系数作为虚拟现实设备中光学元件的畸变系数；
步骤S270、若是，根据网格图像的畸变类型调整预设畸变系数，然后返回执行上述步骤S230。
上述实施例的测量系统，利用对经过光学元件后的图像检测的方法以及反畸变原理实现对畸变系数的自动测量，可以得到与待测光学元件对应的合适的畸变系数，该待测光学元件可应用于虚拟现实设备中，采用上述的畸变系数作为虚拟现实设备中光学元件的畸变系数对图像进行反畸变处理时，使经过虚拟现实设备观察到的图像畸变较小或者不存在畸变，提高虚拟现实设备的图像显示效果，改善用户体验。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (14)

1.一种虚拟现实设备的畸变参数测量方法，所述虚拟现实设备包括光学元件，其特征在于，包括：
根据预设畸变系数获取反畸变网格图像，所述预设畸变系数根据所述光学元件的特性确定；
获取在预设观察点处的所述反畸变网格图像经过所述虚拟现实设备的待测光学元件后的网格图像；
确定经过待测光学元件后的所述网格图像的畸变类型；
根据所述网格图像的畸变类型调整所述预设畸变系数，以减小所述网格图像的畸变，其中，当所述网格图像的畸变类型为桶形畸变时，减小所述预设畸变系数，当所述网格图像的畸变类型为枕形畸变时，增大所述预设畸变系数。
2.根据权利要求1所述的测量方法，其特征在于，所述根据预设畸变系数获取反畸变网格图像，包括：
获取待测光学元件的中心在预设网格图像上对应的中心位置；
采用畸变模型计算在所述预设畸变系数下的，以所述中心位置为中心的所述预设网格图像中各网格点反畸变后的对应位置，得到反畸变网格图像。
3.根据权利要求2所述的测量方法，其特征在于，所述获取在预设观察点处的所述反畸变网格图像经过待测光学元件后的网格图像，包括：
获取在预设观察点处采用图像采集设备采集的所述反畸变网格图像经过待测光学元件后的网格图像。
4.根据权利要求1所述的测量方法，其特征在于，所述获取经过待测光学元件后的所述网格图像的畸变类型，包括：
通过图像处理算法获取经过待测光学元件后的所述网格图像中网格线相对所述网格图像中心的弯曲方向；
根据所述弯曲方向确定所述网格图像的畸变类型。
5.根据权利要求4所述的测量方法，其特征在于，所述根据所述网格线的弯曲方向确定所述网格图像的畸变类型，包括：
若所述网格图像中的网格线向靠近所述网格图像中心的方向弯曲，确定所述网格图像的畸变类型为枕形畸变；
若所述网格图像中的网格线向远离所述网格图像中心的方向弯曲，确定所述网格图像的畸变类型为桶型畸变。
6.根据权利要求4所述的测量方法，其特征在于，所述通过图像处理算法获取经过待测光学元件后的所述网格图像中网格线相对所述网格图像中心的弯曲方向，包括：
通过图像处理算法获取经过待测光学元件后的所述网格图像的网格线中位于边缘位置的点与靠近所述网格图像中心的点的线段的斜率确定所述弯曲方向。
7.根据权利要求3所述的测量方法，其特征在于，在所述获取在预设观察点处采用图像采集设备采集的所述反畸变网格图像经过待测光学元件后的网格图像之前，还包括：
获取所述图像采集设备的畸变参数。
8.根据权利要求3所述的测量方法，其特征在于，在所述获取在预设观察点处采用图像采集设备采集的所述反畸变网格图像经过待测光学元件后的网格图像之前，还包括：
调整所述图像采集设备，使所述图像采集设备的成像平面与所述预设网格图像所在平面平行。
9.一种虚拟现实设备的畸变参数测量装置，所述虚拟现实设备包括光学元件，其特征在于，包括：
反畸变网格图像获取单元，用于根据预设畸变系数获取反畸变网格图像，所述预设畸变系数根据所述光学元件的特性确定；
网格图像获取单元，用于获取在预设观察点处的所述反畸变网格图像经过待测光学元件后的网格图像；
畸变类型确定单元，用于获取经过待测光学元件后的所述网格图像的畸变类型；
畸变系数调整单元，用于根据所述网格图像的畸变类型调整所述预设畸变系数，以减小所述网格图像的畸变，其中，当所述网格图像的畸变类型为桶形畸变时，减小所述预设畸变系数，当所述网格图像的畸变类型为枕形畸变时，增大所述预设畸变系数。
10.一种虚拟现实设备的畸变参数测量系统，其特征在于，包括：
检测支架；
虚拟现实设备，设置于检测支架上，包括待测光学元件；
图像采集设备，设置于所述检测支架上，且设置于所述待测光学元件出射光线的一侧；
控制器，与所虚拟现实设备和所述图像采集设备相连，所述控制器包括权利要求9所述的测量装置。
11.根据权利要求10所述的测量系统，其特征在于，所述检测支架包括水平杆和竖直杆，所述虚拟现实设备设置于水平杆上，所述图像采集设备设置于所述竖直杆上，所述图像采集设备设置于所述待测光学元件出射光线的一侧。
12.根据权利要求10所述的测量系统，其特征在于，还包括两固定板，两所述固定板分别固定连接于所述检测支架上，两所述固定板夹设所述虚拟现实设备。
13.根据权利要求10-12任一项所述的测量系统，其特征在于，还包括刻度滑道，所述控制器控制所述图像采集设备沿所述刻度滑道滑动，以使所述图像采集设备位于预设观察点处。
14.根据权利要求13所述的测量系统，其特征在于，还包括距离检测单元，用于检测所述虚拟现实设备与所述图像采集设备之间的距离，并发送给所述控制器，以使控制器根据所述距离控制图像采集设备沿所述刻度滑道滑动，使所述图像采集设备位于预设观察点处。
CN201810259343.8A 2018-03-27 2018-03-27 虚拟现实设备的畸变参数测量方法及其装置、测量系统 Active CN108510549B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810259343.8A CN108510549B (zh) 2018-03-27 2018-03-27 虚拟现实设备的畸变参数测量方法及其装置、测量系统
US16/479,103 US10922795B2 (en) 2018-03-27 2018-11-27 Method and device for measuring distortion parameter of visual reality device, and measuring system
PCT/CN2018/117654 WO2019184410A1 (zh) 2018-03-27 2018-11-27 虚拟现实设备的畸变参数测量方法及装置、测量系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810259343.8A CN108510549B (zh) 2018-03-27 2018-03-27 虚拟现实设备的畸变参数测量方法及其装置、测量系统

Publications (2)

Publication Number Publication Date
CN108510549A CN108510549A (zh) 2018-09-07
CN108510549B true CN108510549B (zh) 2022-01-04

Family

ID=63378732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810259343.8A Active CN108510549B (zh) 2018-03-27 2018-03-27 虚拟现实设备的畸变参数测量方法及其装置、测量系统

Country Status (3)

Country Link
US (1) US10922795B2 (zh)
CN (1) CN108510549B (zh)
WO (1) WO2019184410A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510549B (zh) 2018-03-27 2022-01-04 京东方科技集团股份有限公司 虚拟现实设备的畸变参数测量方法及其装置、测量系统
CN109191374B (zh) * 2018-10-10 2020-05-08 京东方科技集团股份有限公司 一种畸变参数测量方法、装置及系统
CN109596319A (zh) * 2018-11-26 2019-04-09 歌尔股份有限公司 光学模组参数的检测系统及方法
CN110855898B (zh) * 2020-01-14 2020-07-31 武汉精立电子技术有限公司 一种图像获取方法及装置
CN115176275A (zh) * 2020-12-24 2022-10-11 京东方科技集团股份有限公司 图像畸变处理方法和装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5369450A (en) * 1993-06-01 1994-11-29 The Walt Disney Company Electronic and computational correction of chromatic aberration associated with an optical system used to view a color video display
US6369818B1 (en) * 1998-11-25 2002-04-09 Be Here Corporation Method, apparatus and computer program product for generating perspective corrected data from warped information
US6538691B1 (en) * 1999-01-21 2003-03-25 Intel Corporation Software correction of image distortion in digital cameras
US20030035100A1 (en) * 2001-08-02 2003-02-20 Jerry Dimsdale Automated lens calibration
JP2004151675A (ja) * 2002-09-06 2004-05-27 Oki Electric Ind Co Ltd 画像表示装置、投射スクリーン及びその製造方法
CN101271573B (zh) * 2008-05-05 2010-08-25 南京师范大学 一种与摄影设备无关的影像畸变标定方法
CN101572828B (zh) 2009-05-20 2010-10-13 长春理工大学 基于gpu的相机/摄像机实时畸变校正方法
KR101569835B1 (ko) * 2009-10-06 2015-11-17 삼성전자주식회사 스캐닝 이미지의 왜곡 보정 방법
CN102163129A (zh) * 2011-04-26 2011-08-24 宇龙计算机通信科技(深圳)有限公司 一种实现图标变形的方法及装置
WO2013011188A1 (en) * 2011-07-18 2013-01-24 Multitouch Oy Correction of touch screen camera geometry
CN103792674B (zh) * 2014-01-21 2016-11-23 浙江大学 一种测量和校正虚拟现实显示器畸变的装置和方法
US9955862B2 (en) * 2015-03-17 2018-05-01 Raytrx, Llc System, method, and non-transitory computer-readable storage media related to correction of vision defects using a visual display
CN105869142A (zh) * 2015-12-21 2016-08-17 乐视致新电子科技（天津）有限公司 虚拟现实头盔的成像畸变测试方法及装置
CN105455285B (zh) * 2015-12-31 2019-02-12 北京小鸟看看科技有限公司 一种虚拟现实头盔适配方法
KR101785027B1 (ko) * 2016-01-14 2017-11-06 주식회사 라온텍 화면 왜곡 보정이 가능한 디스플레이 장치 및 이를 이용한 화면 왜곡 보정 방법
CN106204480B (zh) * 2016-07-08 2018-12-18 石家庄域联视控控制技术有限公司 基于圆锥曲线的图像畸变矫正方法及实时矫正装置
CN107544147A (zh) * 2016-11-30 2018-01-05 深圳市虚拟现实技术有限公司 基于图像刻度的景深激光设置的方法及装置
CN108510549B (zh) * 2018-03-27 2022-01-04 京东方科技集团股份有限公司 虚拟现实设备的畸变参数测量方法及其装置、测量系统

Also Published As

Publication number Publication date
WO2019184410A1 (zh) 2019-10-03
CN108510549A (zh) 2018-09-07
US20200380644A1 (en) 2020-12-03
US10922795B2 (en) 2021-02-16

Similar Documents

Publication Publication Date Title
CN108510549B (zh) 虚拟现实设备的畸变参数测量方法及其装置、测量系统
JP7004094B2 (ja) 魚体長さ測定システム、魚体長さ測定方法および魚体長さ測定プログラム
US7652251B1 (en) Registration methods for fusing corresponding infrared and visible light images
US10075635B2 (en) Apparatus and method for generating panoramic image based on image quality
US10931901B2 (en) Method and apparatus for selectively correcting fixed pattern noise based on pixel difference values of infrared images
CN107004277A (zh) 机动车辆摄像头系统的在线标定
CN105812790B (zh) 图像传感器感光面与光轴垂直度的评测方法及光学测试卡
JP2005020314A (ja) 表示特性補正データの算出方法、表示特性補正データの算出プログラム、表示特性補正データの算出装置
TW201403553A (zh) 自動校正鳥瞰影像方法
JP6981531B2 (ja) 物体同定装置、物体同定システム、物体同定方法およびコンピュータプログラム
CN108489423B (zh) 一种产品表面水平倾斜角度的测量方法及系统
JP2013003282A5 (ja) 焦点調節装置およびその制御方法
CN106023234B (zh) 一种线阵ccd相机对准调节方法
KR20110068375A (ko) 어안 렌즈를 구비하는 카메라 모듈에 의해 획득된 영상의 왜곡 보정을 위한 파라미터 조정 방법
CN110261069B (zh) 一种用于光学镜头的检测方法
JPWO2014171304A1 (ja) 撮像装置、撮像装置駆動方法、撮像装置制御プログラム
CN106162157A (zh) 鱼眼摄像头的空间频率响应的测试方法
KR101774167B1 (ko) 합초 위치 검출 장치, 합초 위치 검출 방법 및 합초 위치 검출용 컴퓨터 프로그램
CN112102387B (zh) 一种基于深度相机深度估计性能的测试方法与测试系统
JPWO2019045089A1 (ja) 情報処理装置、長さ測定システム、長さ測定方法およびコンピュータプログラム
CN110443750B (zh) 检测视频序列中的运动的方法
KR101845612B1 (ko) 투구 연습을 통한 3차원 정보 획득 시스템 및 카메라 파라미터 산출 방법
CN112762896B (zh) 一种大景深镜头相机水平度判定调整的装置及方法
KR101703715B1 (ko) 카메라 광중심 측정을 위한 영상 처리 장치 및 그 방법
CN114359401A (zh) 一种标定方法、系统及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant