CN110035273B - 一种畸变校正方法、装置及使用其的显示设备 - Google Patents

一种畸变校正方法、装置及使用其的显示设备 Download PDF

Info

Publication number
CN110035273B
CN110035273B CN201910171421.3A CN201910171421A CN110035273B CN 110035273 B CN110035273 B CN 110035273B CN 201910171421 A CN201910171421 A CN 201910171421A CN 110035273 B CN110035273 B CN 110035273B
Authority
CN
China
Prior art keywords
predistortion
image
coordinates
pixel
distortion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910171421.3A
Other languages
English (en)
Other versions
CN110035273A (zh
Inventor
王涌天
程德文
刘悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201910171421.3A priority Critical patent/CN110035273B/zh
Publication of CN110035273A publication Critical patent/CN110035273A/zh
Application granted granted Critical
Publication of CN110035273B publication Critical patent/CN110035273B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]

Abstract

本发明提供了一种畸变校正方法，包括：获取畸变率矩阵，并进一步获取预畸变映射关系表；对要显示的图像进行预畸变，获取预畸变图像，并将所述获取的预畸变图像通过微显示器、光学系统，透射至人眼。本发明还提供了一种畸变校正装置及使用其的显示设备，采用本发明所述的畸变校正方法、装置及使用其的显示设备，可以实现高精度畸变校正的同时，不影响设备的重量，提高设备的性能。

Description

一种畸变校正方法、装置及使用其的显示设备
技术领域
本发明涉及光学畸变领域，特别是指一种适用于光学近眼显示器的畸变校正方法、装置及使用其的显示设备。
背景技术
虚拟现实(virtual reality，VR)和增强现实(augmented reality，AR)的概念提出以来，基于VR或者AR模式的头戴显示器(HMD)取得了长足的发展。但是，由HMD显示的虚拟图像通常依赖精巧的光学系统投影放大而出，在大视场角下容易受到畸变影响，严重的光学畸变使得用户在佩戴过程中感到不适，体验较差。
畸变的成因大多由不理想的光学设计、生产及装调过程产生，其类型主要分为两种：径向畸变和切向畸变。VR光学系统通常为轴对称光学系统，其畸变类型主要为径向畸变，AR光学系统通常为离轴、倾斜非对称系统、自由曲面系统等，其畸变类型为径向畸变和切向畸变。对于光学系统，通常通过预畸变图像处理的方法对其进行校正，从而使投影放大的图像呈现在人眼前逼近理想状态。
目前，对于光学系统的畸变校正方法主要有光学校正和图像电子校正两种方式。光学校正主要通过附加光学镜头对光学系统进行畸变校正，这种方式，增加了光学系统的重量，提升了光学系统的成本。现有的图像电子校正方法，虽然可以降低成本和重量，但是随着自由曲面离轴光学系统的应用与发展，光学系统的畸变变形逐渐复杂，传统的畸变校正方法已经很难满足校正所需的精度和应用需求。
发明内容
有鉴于此，本发明的主要目的在于提供一种畸变校正方法和装置，可提升头戴显示系统的画面显示效果。
为达到上述目的，本发明的技术方案是这样实现的：一种畸变校正方法，该方法包括：获取畸变率矩阵，并进一步获取预畸变映射关系表；对要显示的图像进行预畸变，获取预畸变图像，并将所述获取的预畸变图像通过微显示器、光学系统，透射至人眼。
进一步的，所述获取畸变率矩阵包括：对图像进行采样，获取网格点坐标，读取网格点坐标对应的网格点畸变率，形成网格点畸变率矩阵，对所述网格点畸变率矩阵进行双线性插值，获取畸变率矩阵。
进一步的，所述获取预畸变映射关系表包括：对原始图像像素坐标进行坐标变换获得微显示器平面坐标，并转换为极坐标，根据畸变率矩阵读取该像素坐标对应的径向畸变率和切向畸变率，并进一步根据像素的极坐标，获取原始图像像素的畸变量；然后，根据原始图像像素的畸变量，获取原始图像对应的预畸变图像像素的极坐标，将所述极坐标通过几何运算转换为普通坐标，并进行坐标变换获取预畸变图像像素在原始图像坐标系下的坐标，从而形成预畸变映射关系表。
进一步的，所述获取预畸变映射关系表之后，该方法进一步包括：确定预畸变映射关系表中的预畸变图像像素坐标为浮点型数据，则更新预畸变映射关系表。
进一步的，所述更新预畸变映射关系表包括：对浮点型数据取整，输入测试图像，根据预畸变映射关系表获取测试图像的预畸变图像，读取所述预畸变图像中的黑点像素坐标，通过邻域像素值赋值方式，建立黑点像素预畸变坐标与邻近有值像素预畸变坐标之间的映射关系，进一步获取黑点像素预畸变坐标与邻近有值像素的原始图像像素坐标的映射关系，生成更新后的预畸变映射关系表。
进一步的，所述根据像素的极坐标，获取原始图像像素的畸变量包括：通过几何运算及原始图像像素坐标，获得原始图像像素极坐标的极径，进一步根据畸变量计算公式，获取原始图像像素的畸变量。
进一步的，所述根据原始图像像素的畸变量，获取原始图像像素对应的预畸变图像像素的极坐标，包括：根据原始图像像素畸变量及预畸变总量计算公式获取预畸变像素极坐标的极径，并进一步根据原始图像像素极坐标极径及极角计算公式，获取预畸变图像像素极坐标的极角，根据所述极角和极径，获取预畸变像素极坐标。
进一步的，所述邻域像素值赋值方式为：读取黑点像素邻近的有值像素的像素值，将所述像素值赋值给黑点像素。
进一步的，所述获取预畸变图像包括：读取要显示的图像，获取其像素坐标，及与所述像素坐标对应的像素值，根据预畸变映射关系表，将所述像素值赋值给与所述像素坐标有映射关系的预畸变图像像素坐标，获得预畸变图像。
进一步的，所述测试图像为像素值均为1的白板图像。
本发明还提供了一种畸变校正装置，包括预畸变数据处理单元，信息处理单元以及预畸变图像获取单元；预畸变数据处理单元，用于获取畸变率矩阵，根据畸变率矩阵获取预畸变映射关系表，发送给信息处理单元；信息处理单元，用于读取预畸变映射关系表，确定不需更新后，发送给预畸变图像获取单元；预畸变图像获取单元，用于读取要显示的图像，进行预畸变，获取预畸变图像，发送给微显示器。
进一步的，预畸变数据处理单元，用于对图像进行采样，获取网格点坐标，读取该网格点坐标对应的网格点畸变率，形成与所述网格点坐标对应的网格点畸变率矩阵，对所述网格点畸变率矩阵进行双线性插值，获得畸变率矩阵。
进一步的，信息处理单元，用于读取预畸变映射关系表中的预畸变图像像素坐标，若为浮点型数据，则更新预畸变映射关系表。
进一步的，信息处理单元，用于对浮点型数据取整，根据测试图像的预畸变图像的黑点像素坐标，通过邻域像素值赋值方式，建立黑点像素预畸变坐标与邻近有值像素预畸变坐标之间的映射关系，进一步获取黑点像素预畸变坐标与邻近有值像素的原始图像像素坐标的映射关系，生成更新后的预畸变映射关系表；相应的，预畸变图像获取单元，用于读取测试图像，根据预畸变映射关系表，生成测试图像的预畸变图像，读取测试图像的预畸变图像中的黑点像素坐标，接收信息处理单元发送的更新后的预畸变映射关系表。
进一步的，预畸变数据处理单元，用于对原始图像像素坐标进行坐标变换获得微显示器平面坐标，并转换为极坐标，根据畸变率矩阵读取该像素对应的径向畸变率和切向畸变率，并进一步根据像素的极坐标，获取原始图像像素的畸变量；然后，根据所述畸变量，获取原始图像对应的预畸变图像像素的极坐标。将该极坐标进行坐标变换获取预畸变图像像素在原始图像坐标系下的坐标，从而形成预畸变映射关系表。
进一步的，所述预畸变数据处理单元，用于通过几何运算及原始图像像素坐标，获得原始图像像素极坐标的极径，根据畸变率计算公式，获取原始图像像素的畸变量。
进一步的，预畸变数据处理单元，根据原始图像像素畸变量及预畸变总量计算公式获取预畸变像素极坐标的极径，并进一步根据原始图像像素极坐标极径及极角计算公式，获取预畸变图像像素极坐标的极角，根据所述极角和极径，获取预畸变像素极坐标。
进一步的，预畸变图像获取单元，用于读取要显示的图像，获取其像素坐标及与所述像素坐标对应的像素值，根据预畸变映射关系表，将所述像素值赋值给与所述像素坐标有映射关系的预畸变图像像素坐标，获得预畸变图像。
本发明还提供了一种显示设备，包括微显示器、显示器投影装置、光学透射式显示器成像传输镜头，还包括畸变校正装置；所述畸变校正装置，用于接收要显示的图像，对其进行预畸变，获取预畸变图像，并传送给微显示器。
采用本发明所述的畸变校正方法、装置及显示设备，通过图像像素坐标并行处理，快速建立预畸变映射关系并生成像素坐标映射表，可以对图像的每个像素进行预畸变，校正精度非常高，输入微显示器获得校正后的画面，实现实时校正，从而实现最后到达人眼的图像画质清晰，几近逼真。同时，采用本发明所述的方法、装置，对显示设备的重量基本没有影响，在不增加产品质量的同时提升了产品的成像性能。
附图说明
图1为本发明所述的畸变校正方法流程示意图；
图2为本发明所述的获取预畸变映射关系表的流程示意图；
图3、图4为图像像素P以及预畸变像素Q的位置在不同坐标系下的位置关系示意图；
图5为本发明所述的畸变校正装置的结构示意图；
图6为本发明所述的畸变校正装置应用于显示设备的结构示意图；
图7、图8为采用本发明所述畸变校正方案的畸变校正前后对比图；
图9为预畸变效果检测结果示意图。
具体实施方式
下面通过具体实施例与附图来对本发明进行详细说明。
一种畸变校正方法，如图1所示，通过图像预畸变，可以对光学系统实现高精度的实时校正。
具体步骤包括：
步骤101，获取畸变率矩阵，并进一步获取预畸变映射关系表，所述预畸变映射关系表为原始图像像素坐标与预畸变图像像素坐标的映射关系表；具体步骤如图2所示：
步骤1011：读取网格点畸变率，获得畸变率矩阵；
对图像显示尺寸进行采样，获取网格点坐标，读取该网格点坐标对应的网格点畸变率，形成与所述网格点坐标对应的网格点畸变率矩阵，所述网格点畸变率包括径向畸变率和切向畸变率，相应的，所述网格点畸变率矩阵包括网格点径向畸变率矩阵和网格点切向畸变率矩阵。对网格点畸变率矩阵进行双线性插值，获得与原始图像分辨率大小一致的畸变率矩阵，包括径向畸变率矩阵和切向畸变率矩阵。所述图像像素尺寸即为微显示器分辨率，也可以理解为原始图像的像素数。
其中，所述网格点为对显示图像尺寸的均匀间隔采样，采样的密度可以根据需要选择。通过现有技术中的任意方式，例如现有的畸变率读取软件，均可读取网格点畸变率。
双线性插值是一种数据的逼近方式，等于是数据的一种细化扩大，本发明需要获取所有像素的畸变率，就需要在现有的网格点畸变率的基础上进行扩大，例如，对像素为100*100的图像进行采样，获得网格点10*10，所读取的也只是10*10的网格点畸变率，因此需要把这10*10网格点畸变率插值获取得到100*100的像素对应的畸变率。具体的插值方式可以采用现有技术中的任意一种，例如，两个位置最近的已知像素的畸变率的差值为an-a1，所述像素之间相差n，插值后的像素的畸变率为a1+(an-a1)/n。本领域技术人员可以理解的，插值方式不限于此，在此不再一一列举。所获取的畸变率矩阵与原始图像像素坐标一一对应。
步骤1012：基于畸变率矩阵获取预畸变映射关系表。
首先，对原始图像像素坐标进行坐标变换获得微显示器平面坐标，并转换为极坐标，根据畸变率矩阵中，像素坐标对应的像素畸变率，读取该像素对应的径向畸变率和切向畸变率，根据其径向畸变率和切向畸变率、该像素的极坐标以及畸变量计算公式1，获取原始图像像素的径向畸变量和切向畸变量，即原始图像像素的畸变量。
然后，根据原始图像像素的畸变量，预畸变总量计算公式2获取预畸变像素极坐标的极径，并进一步根据原始图像像素极坐标极径及极角计算公式3获取预畸变图像像素极坐标的极角，根据所述极角和极径，获取原始图像对应的预畸变图像像素的极坐标。将该极坐标通过几何运算转换为普通坐标，然后进行坐标变换，获取预畸变图像像素在原始图像坐标系下的坐标，进而形成在原始图像坐标系下，原始图像像素坐标与预畸变图像像素坐标的映射关系表，即预畸变映射关系表。
如图3、图4所示的，本发明以原始图像任意一像素P(u，v)获取其对应的预畸变像素Q(u’,v’)的映射关系为例进行说明。
P(u，v)为原始图像坐标系，即u-Ow-v坐标系的坐标，将P(u，v)转换为微显示器平面坐标系，即x0-O-y0坐标系坐标P(x0,y0)，所述转换可以采用现有技术中坐标在不同坐标系之间转换的任何方式，例如坐标系平移反转。根据像素P(x0,y0)在x0-O-y0坐标系的坐标，计算其极坐标P(ang0，r0)，所述极坐标可通过几何运算获得，其中r0是像素P在x0-O-y0坐标系下的极径，也就是从像素P到原点O的直线距离PO，ang0是像素P在x0-O-y0坐标系下的极角，也就是从x0正方向逆时针旋转至极径PO的角度,r0和ang0的范围是，
pixelx和pixely是微显示器横向和纵向的像素数。
进一步的，根据畸变量计算公式1计算像素P的径向畸变量dr和切向畸变量dt。所述径向畸变量dr和切向畸变量dt。的具体示意如图3、图4所示。
其中，Rdist是根据像素P的原始图像坐标，读取畸变率矩阵获取的像素P的径向畸变率，同样的，Tdist是获取的像素P的切向畸变率。然后通过预畸变总量计算公式2获取Q点的预畸变总量d，
进一步计算预畸变像素Q在以P为原点的x1-P-y1坐标系下的极坐标，将像素点P在x0-O-y0坐标系中的坐标P(x0,y0)转换为以P为原点的x1-P-y1坐标系中的坐标P(x，y)，从图3、图4我们可以知道，d为Q点的极径，根据极角计算公式3，获取Q点在x1-P-y1坐标系下极坐标的极角ang1，
由以上步骤即可获得Q点在x1-P-y1坐标系下的极坐标Q(ang1，d)。
通过几何运算，将Q点的极坐标转换为x1-P-y1坐标系下的普通坐标Q(x1,y1)，然后通过P与Q之间的在x1-P-y1坐标系下的坐标关系，以及像素P在x0-O-y0坐标系下的坐标P(x0,y0)，将Q(x1,y1)转换为x0-O-y0坐标系下的坐标，进一步根据坐标变换，将Q在x0-O-y0坐标系下的坐标，变换为u-Ow-v坐标系的坐标，也就是原始图像坐标系坐标Q(u’,v’)，从而形成原始图像坐标系下像素P(u，v)与预畸变像素Q(u’,v’)的坐标映射关系。上述的坐标转换为现有技术，本发明中不再详述。
根据上述方式，获取原始图像像素坐标与预畸变图像像素坐标在原始图像坐标系下的映射关系表。
步骤102，判断所获取的预畸变像素坐标是否均为整数，如果是，进行步骤105，如果否，执行步骤103；
在预畸变像素Q(u’,v’)的求取过程中，可能会获得浮点型数据，检测所有预畸变像素坐标的数据类型，读取计算获取的预畸变像素在原始图像坐标系下的坐标Q(u’,v’)，如果该坐标中的数据均为整数，则执行步骤105，如果有浮点型数据，执行步骤103。
步骤103：对预畸变像素坐标进行取整，输入测试图像；
对所有浮点型数据取整数。输入与微显示器分辨率相同的测试图像，所述测试图像可以根据实际需要选择，本发明中选用的是白板图像，所述白板图像为二值图，二值图是一种逻辑图像，只有两种像素值：0和1，像素值为0显示为黑，像素值为1显示未白，本发明实施例中选用的是像素值全为1的二值图，也就是白板图像。
读取白板图像的像素值，白板图像作为原始图像，根据预畸变映射表，白板图像像素的坐标，将白板图像像素的像素值赋值给对应的预畸变像素坐标，从而获得白板图像的预畸变图像。因为前述过程中对预畸变像素坐标取整的原因，导致原始图像像素坐标和预畸变像素坐标产生多对一的关系，有些预畸变像素坐标没有与之对应的原始图像像素坐标，该预畸变像素处没有被赋上白板图像的像素值，显示为黑点。
执行步骤104，根据测试结果，更新预畸变映射关系表。
直接读取所述黑点像素的预畸变坐标，然后读取与黑点像素最邻近的有值像素的像素值，并将所述像素值赋值给黑点像素，通过这种邻域像素值赋值方式，建立黑点像素预畸变坐标与邻近有值像素预畸变坐标之间的映射关系，进一步获取黑点像素预畸变坐标与邻近有值像素的原始图像像素坐标的映射关系。更新预畸变映射关系表中原始图像像素坐标与预畸变图像像素坐标的映射关系。
步骤105，对要显示的图像进行预畸变，将获取的预畸变图像，通过微显示器，透射至光学系统。
读取要显示的图像，获取其像素坐标及与所述像素坐标对应的像素值，然后根据预畸变映射关系表，将所述像素坐标对应的像素值，赋值给与所述像素坐标有映射关系的预畸变图像像素坐标，获得预畸变图像，将所述预畸变图像通过微显示器透射至光学系统，经过光学系统的投射后，进入人眼。这样人眼看到的图像就是经过畸变校正的图像。大大改善了人眼的观看效果。
本发明还提供了一种畸变校正装置，如图5所示的，包括预畸变数据处理单元501、信息处理单元502以及预畸变图像获取单元503，所述预畸变校正装置可以集成在头戴显示设备内部，也可以独立于头戴显示设备之外。
预畸变数据处理单元501，用于获取畸变率矩阵，根据畸变率矩阵进一步获取预畸变映射关系表，并发送给信息处理单元502；所述预畸变映射关系表为原始图像像素坐标与预畸变图像像素坐标的映射关系表；
信息处理单元502，用于读取预畸变映射关系表中的预畸变图像像素坐标，确定所述预畸变图像像素坐标的类型为浮点型数据，将该浮点型数据取整，并更新预畸变映射关系表，将更新后的预畸变映射关系表发送给预畸变图像获取单元503；否则，直接将预畸变映射关系表发送给预畸变图像获取单元503；
预畸变图像获取单元503，读取要显示的图像的像素坐标，对图像进行预畸变，并发送给微显示器。
进一步的，预畸变数据处理单元501，用于对原始图像显示尺寸进行采样，获取网格点坐标，读取该网格点坐标对应的网格点畸变率，形成与所述网格点坐标对应的网格点畸变率矩阵，对所述网格点畸变率矩阵进行双线性插值，获得畸变率矩阵。其中，所述网格点为与微显示器分辨率一致的均匀间隔采样，采样的密度可以根据需要选择，通过双线性插值，将网格点畸变率插值获得与微显示器分辨率一致的畸变率矩阵。
预畸变数据处理单元501，用于对原始图像像素坐标进行坐标变换获得微显示器平面坐标，并转换为极坐标，根据畸变率矩阵中，像素坐标对应的像素畸变率，读取该像素对应的径向畸变率和切向畸变率，根据其径向畸变率和切向畸变率、该像素的极坐标及畸变量计算公式1，获取原始图像像素的径向畸变量和切向畸变量，然后，根据原始图像像素的径向畸变量和切向畸变量、预畸变总量计算公式2以及极角计算公式3，获取原始图像对应的预畸变图像像素的极坐标，将该极坐标通过几何运算，获得普通坐标，然后经过坐标变换获取预畸变图像像素在原始图像坐标系下的坐标，从而形成预畸变映射关系表。具体的获取预畸变映射关系表的实施例，在前述预畸变方法中已有描述，在此不再赘述。
预畸变图像获取单元503，用于读取测试图像，根据预畸变映射关系表生成测试图像的预畸变图像，读取测试图像的预畸变图像的黑点像素坐标；接收信息处理单元502发送的更新后的预畸变映射关系表；
相应的，信息处理单元502，用于对浮点型数据取整，根据测试图像的预畸变图像的黑点像素坐标，将黑点像素预畸变坐标邻近的有值像素赋值给黑点像素预畸变坐标，从而建立黑点像素预畸变坐标与邻近有值像素预畸变坐标的映射关系，并进一步根据邻近有值像素预畸变坐标与其原始图像像素坐标的映射关系，获取黑点像素预畸变坐标与邻近有值像素原始图像坐标的映射关系，生成更新后的预畸变映射关系表。
预畸变图像获取单元503，用于接收要显示的图像，读取其像素坐标及所述像素坐标对应的像素值，根据预畸变映射关系表，将像素值赋值给与所述像素坐标对应的预畸变坐标，获取要显示图像的预畸变图像。
当本发明所述的畸变校正装置集成在显示设备内部时，如图6所示的，畸变校正装置1将要显示的图像进行预畸变，生产预畸变图像，通过微显示器2、显示器投影装置3、光学透射式显示器成像传输镜头4，投射到人眼5处，实现对显示设备畸变图像的实时纠正，达到很好的佩戴效果。
以图7、图8为例，图7和图8左侧图像为预畸变图像，右侧为经过预畸变后，最后显示在人眼的图像，可以明显看到，经过畸变校正，图像显示效果逼真。
通过本发明所述的方法及装置进行预畸变的效果，还可以通过边缘检测法进行验证，将同一图像，分别通过光学设计软件中的成像模拟功能和本发明所述的方法及装置生成预畸变图像，对上述两种方式获得的预畸变图像进行边缘检测，并将两种边缘检测结果重合在同一RGB图像中，分别由RGB图像的任意两个通道显示，例如，分别由R通道和G通道显示，从图9可以看出，两种边缘检测的结果基本重合，再一次说明本发明所述的畸变校正方法和装置，校正精度高，校正效果比较优越。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (10)

1.一种畸变校正方法，其特征在于，该方法包括：
读取网格点畸变率，获取与原始图像像素坐标一一对应的畸变率矩阵，并进一步获取预畸变映射关系表；所述畸变率矩阵包括径向畸变率矩阵和切向畸变率矩阵，所述畸变率矩阵是与原始图像分辨率大小一致的畸变率矩阵，所述预畸变映射关系表为原始图像像素坐标与预畸变图像像素坐标在原始图像坐标系下的映射关系表；
所述获取预畸变映射关系表的步骤包括：
首先，对原始图像坐标系中的像素坐标进行坐标变换获得微显示器平面坐标系像素坐标，并转换为微显示器平面坐标系极坐标；根据畸变率矩阵读取该像素坐标对应的径向畸变率和切向畸变率，并进一步根据像素的极坐标以及畸变量计算公式，获取原始图像像素的径向畸变量和切向畸变量；
然后，根据原始图像像素的径向畸变量、切向畸变量和预畸变总量公式，计算出预畸变总量，即获取预畸变图像像素在以原始像素坐标为原点的坐标系中的极坐标的极径；并进一步根据原始图像像素极坐标极径及极角计算公式获取预畸变图像像素在该坐标系中的极坐标的极角；
根据预畸变图像像素在以原始像素坐标为原点的坐标系中的所述极角和极径，以及原始图像像素在微显示器平面坐标系中的极坐标，获取原始图像像素对应的预畸变图像像素在微显示器平面坐标系中的极坐标；
将所述预畸变图像像素在微显示器平面坐标系中的极坐标通过几何运算转换为普通坐标，并进行坐标变换获取预畸变图像像素在原始图像坐标系下的坐标，从而形成所述预畸变映射关系表；
根据所述预畸变映射关系表，对要显示的图像进行预畸变，获取预畸变图像，并将所述获取的预畸变图像通过微显示器和光学系统，透射至人眼。
2.根据权利要求1所述的畸变校正方法，其特征在于，所述获取畸变率矩阵包括：
对图像进行采样，获取网格点坐标，读取网格点坐标对应的网格点畸变率，形成网格点畸变率矩阵，对所述网格点畸变率矩阵进行双线性插值，获取与原始图像分辨率大小一致的畸变率矩阵。
3.根据权利要求1所述的畸变校正方法，其特征在于，
ro为像素点P在x0-0-y0坐标系下的极径，ang0为像素点P在x0-0-y0坐标系下的极角，计算任意一像素点P(ang0，ro)的径向畸变量dr和切向畸变量dt的所述畸变量计算公式如下：
其中，根据像素点P的原始图像坐标读取畸变率矩阵，获取的像素点P的径向畸变率为Rdist，获取的像素点P的切向畸变率为Tdist；
获取与像素点P对应的预畸变像素点Q的预畸变总量d的计算公式如下：
d为Q点的极径，根据如下极角计算公式，获取Q点在x1-P-y1坐标系下极坐标的极角ang1，
由以上步骤即可获得Q点在x1-P-y1坐标系下的极坐标Q(ang1，d)。
4.根据权利要求1、2或3所述的畸变校正方法，其特征在于，所述获取预畸变映射关系表之后，该方法进一步包括：
确定预畸变映射关系表中的预畸变图像像素坐标为浮点型数据，则更新预畸变映射关系表。
5.根据权利要求4所述的畸变校正方法，其特征在于，所述更新预畸变映射关系表包括：
对浮点型数据取整，输入测试图像，根据预畸变映射关系表获取测试图像的预畸变图像，读取所述预畸变图像中的黑点像素坐标，通过邻域像素值赋值方式，建立黑点像素预畸变坐标与邻近有值像素预畸变坐标之间的映射关系，进一步获取黑点像素预畸变坐标与邻近有值像素的原始图像像素坐标的映射关系，生成更新后的预畸变映射关系表。
6.一种畸变校正装置，用于实现权利要求1所述的畸变校正方法，包括预畸变数据处理单元，信息处理单元以及预畸变图像获取单元；其特征在于：
预畸变数据处理单元，用于获取畸变率矩阵，根据畸变率矩阵获取预畸变映射关系表，发送给信息处理单元；所述畸变率矩阵包括径向畸变率矩阵和切向畸变率矩阵；
信息处理单元，用于读取预畸变映射关系表，确定不需更新后，发送给预畸变图像获取单元；
预畸变图像获取单元，用于读取要显示的图像，进行预畸变，获取预畸变图像，发送给微显示器。
7.根据权利要求6所述的畸变校正装置，其特征在于，
预畸变数据处理单元，用于对图像进行采样，获取网格点坐标，读取该网格点坐标对应的网格点畸变率，形成与所述网格点坐标对应的网格点畸变率矩阵，对所述网格点畸变率矩阵进行双线性插值，获得畸变率矩阵。
8.根据权利要求6或7所述的畸变校正装置，其特征在于，
信息处理单元，用于读取预畸变映射关系表中的预畸变图像像素坐标，若为浮点型数据，则更新预畸变映射关系表。
9.根据权利要求8所述的畸变校正装置，其特征在于，
预畸变数据处理单元，根据原始图像像素畸变量及预畸变总量计算公式获取预畸变像素极坐标的极径，并进一步根据原始图像像素极坐标极径及极角计算公式，获取预畸变图像像素极坐标的极角，根据所述极角和极径，获取预畸变像素极坐标。
10.一种显示设备，包括微显示器、显示器投影装置和光学透射式显示器成像传输镜头，其特征在于，还包括如权利要求6-9任一项所述的畸变校正装置；
所述畸变校正装置，用于接收要显示的图像，对其进行预畸变，获取预畸变图像，并传送给微显示器。
CN201910171421.3A 2019-03-07 2019-03-07 一种畸变校正方法、装置及使用其的显示设备 Active CN110035273B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910171421.3A CN110035273B (zh) 2019-03-07 2019-03-07 一种畸变校正方法、装置及使用其的显示设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910171421.3A CN110035273B (zh) 2019-03-07 2019-03-07 一种畸变校正方法、装置及使用其的显示设备

Publications (2)

Publication Number Publication Date
CN110035273A CN110035273A (zh) 2019-07-19
CN110035273B true CN110035273B (zh) 2024-04-09

Family

ID=67235744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910171421.3A Active CN110035273B (zh) 2019-03-07 2019-03-07 一种畸变校正方法、装置及使用其的显示设备

Country Status (1)

Country Link
CN (1) CN110035273B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381739A (zh) * 2020-11-23 2021-02-19 天津经纬恒润科技有限公司 一种ar-hud系统的成像畸变矫正方法及装置
CN114331814A (zh) * 2021-12-24 2022-04-12 合肥视涯技术有限公司 一种畸变画面校正方法及显示设备
CN115587952B (zh) * 2022-12-13 2023-03-14 腾讯科技（深圳）有限公司 扩展现实设备的畸变系数标定方法、装置和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103792674A (zh) * 2014-01-21 2014-05-14 浙江大学 一种测量和校正虚拟现实显示器畸变的装置和方法
CN105354809A (zh) * 2015-12-05 2016-02-24 中国航空工业集团公司洛阳电光设备研究所 一种基于输出图像像素位置索引的预畸变方法和装置
CN108761777A (zh) * 2018-03-30 2018-11-06 京东方科技集团股份有限公司 一种确定光学装置畸变量、畸变校正的方法及设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103792674A (zh) * 2014-01-21 2014-05-14 浙江大学 一种测量和校正虚拟现实显示器畸变的装置和方法
CN105354809A (zh) * 2015-12-05 2016-02-24 中国航空工业集团公司洛阳电光设备研究所 一种基于输出图像像素位置索引的预畸变方法和装置
CN108761777A (zh) * 2018-03-30 2018-11-06 京东方科技集团股份有限公司 一种确定光学装置畸变量、畸变校正的方法及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《一种位置可调整的实时图像预畸变方法》;郑永瑞等;《电光与控制》;20150608;第22卷(第8期);第76-79,114页 *

Also Published As

Publication number Publication date
CN110035273A (zh) 2019-07-19

Similar Documents

Publication Publication Date Title
CN110035273B (zh) 一种畸变校正方法、装置及使用其的显示设备
JP6475905B2 (ja) 手動及び半自動技術を用いたディスプレイシステムを較正するためのシステム及び方法
CN111476104B (zh) 动态眼位下ar-hud图像畸变矫正方法、装置、系统
CN112989904B (zh) 风格图像生成方法、模型训练方法、装置、设备和介质
US8768094B2 (en) System and method for automated calibration and correction of display geometry and color
CN101572787B (zh) 基于计算机视觉精密测量多投影视景自动几何校正和拼接方法
KR20210091070A (ko) 이미지 프로젝션 방법, 장치, 기기 및 저장 매체
EP2362345B1 (en) Method and apparatus for high-speed and low-complexity piecewise geometric transformation of signals
US8493447B2 (en) Image synthesis apparatus and image synthesis method
CN111540004A (zh) 单相机极线校正方法及装置
JP2018110295A (ja) 画像処理装置および画像処理方法
TWI811386B (zh) 應用處理器
JP2012099899A (ja) 画像補正装置、補正画像生成方法、補正テーブル生成装置、補正テーブル生成方法、補正テーブル生成プログラムおよび補正画像生成プログラム
CN112381739A (zh) 一种ar-hud系统的成像畸变矫正方法及装置
JP6708444B2 (ja) 画像処理装置および画像処理方法
TWI820246B (zh) 具有像差估計之設備、估計來自廣角影像的像差之方法及電腦程式產品
CN104020565B (zh) 具有光学透镜和显示屏的显示系统及其图像显示方法
CN110149511B (zh) 一种畸变校正方法、装置及显示系统
JP2007325043A (ja) 画像表示装置及び画像表示プログラム
JP7081265B2 (ja) 画像処理装置
CN111951375B (zh) 一种曲面可视化模型内流粒子图像提取方法
CN114463186A (zh) 基于校正扫描图像的平铺式拼接方法
CN113947551A (zh) 一种抬头显示器畸变矫正系统及其矫正方法
CN112333436A (zh) 一种投影仪的二维校准方法、投影仪以及校准系统
CN111754442A (zh) 一种hud图像校正方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant