CN110149511B - 一种畸变校正方法、装置及显示系统 - Google Patents

一种畸变校正方法、装置及显示系统 Download PDF

Info

Publication number
CN110149511B
CN110149511B CN201910394273.1A CN201910394273A CN110149511B CN 110149511 B CN110149511 B CN 110149511B CN 201910394273 A CN201910394273 A CN 201910394273A CN 110149511 B CN110149511 B CN 110149511B
Authority
CN
China
Prior art keywords
image
distortion
predistortion
coordinate
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910394273.1A
Other languages
English (en)
Other versions
CN110149511A (zh
Inventor
王涌天
程德文
刘悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201910394273.1A priority Critical patent/CN110149511B/zh
Publication of CN110149511A publication Critical patent/CN110149511A/zh
Application granted granted Critical
Publication of CN110149511B publication Critical patent/CN110149511B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

本发明提供了一种畸变校正方法，读取标定畸变图像，并与标定图像理想成像比较，根据光学系统成像畸变的定义得到标定畸变率矩阵；将标定畸变率矩阵插值，得到畸变率矩阵，读取预畸变图像坐标，获取原始图像坐标和预畸变图像坐标的映射关系；将原始图像坐标的像素值赋值给与之对应的预畸变图像坐标，获取预畸变图像，将所述预畸变图像经过光学系统，得到畸变校正后的图像。采用本发明所述的方法、装置和显示系统，可以提高校正精度和显示效果。

Description

一种畸变校正方法、装置及显示系统
技术领域
本发明属于光学显示领域,特别是一种畸变校正方法、装置及显示系统。
背景技术
近些年，头戴显示器(HMD)已经广泛应用于虚拟现实(VR)与增强现实(AR)硬件中。但是HMD显示的虚拟图像通常依赖精巧的光学系统投影放大而出，在大视场角下容易受到畸变影响，严重的光学畸变使得用户在体验中感到不适。因此对于产生畸变的光学系统，通常通过预畸变图像处理的方法进行校正，从而使投影放大而出的虚拟图像被人眼看到时呈现逼近于理想的状态。
畸变的成因大多数是由不能完全理想的光学设计以及生产、装调过程产生，主要分为两种类型的光学畸变：径向畸变和切向畸变。用于VR的光学系统是轴对称光学系统，其畸变类型主要是径向畸变(桶形或者枕形)，对此，有较为成熟的通用畸变校正方法。而在用于AR的光学系统中，离轴、倾斜非对称系统、自由曲面等越来越多的受到应用，畸变类型包含径向畸变和切向畸变，此时，需要综合考虑径向畸变和切向畸变的校正方法。目前，光学系统的畸变校正主要有光学校正和图像电子校正两种方式，其中光学校正方法主要采用附加的光学镜头来对光学系统的畸变进行校正，这种方式，因为附加了光学镜头，会提升光学系统的成本和重量。现有的非对称光学成像系统的应用相对于传统的光学成像系统引入了更为复杂的径向畸变和更严重的切向畸变。传统的图像电子校正已经很难满足所需的校正精度和应用需求。另外，由于光学系统在实际的加工装调影响下，实际的成像畸变引入了除光学系统理论设计成像畸变以外的畸变。在这种加工装调畸变与理论设计畸变同时存在的情况下，对畸变校正提出了更高的要求。
发明内容
有鉴于此，本发明的主要目的在于提供一种畸变校正的方法、装置及使用其的显示系统，采用本发明所述的方案，可以提高校正精度，给用户更好的视觉效果。
本发明提供了一种畸变校正方法，包括：读取标定畸变图像，并与标定图像理想成像比较，根据光学系统成像畸变的定义得到标定畸变率矩阵；将标定畸变率矩阵插值，得到畸变率矩阵，读取预畸变图像坐标，获取原始图像坐标和预畸变图像坐标的映射关系；将原始图像坐标的像素值赋值给与之对应的预畸变图像坐标，获取预畸变图像，将所述预畸变图像经过光学系统，得到畸变校正后的图像。
进一步的，所述读取标定图像经过光学系统的成像之前，该方法进一步包括：对初始图像进行采样，获取标定图像，所述采样密度可根据需要自行设定。
进一步的，读取标定畸变图像，以其中心点无畸变区域为基准，生成标定图像理想成像。
进一步的，所述获取原始图像和预畸变图像坐标的映射关系包括：将预畸变图像坐标由图像坐标系坐标转换成平面坐标系中的极坐标，然后根据畸变率矩阵、畸变量公式、畸变总量公式，求取预畸变图像坐标系的原始图像坐标极坐标，根据预畸变图像坐标和原始图像坐标在预畸变图像坐标系中的对应关系，获取原始图像坐标在平面坐标系的直角坐标，根据坐标转换，得到图像坐标系原始图像坐标。
进一步的，所述将原始图像坐标的像素值赋值给与之对应的预畸变图像坐标进一步包括：
读取非整数原始图像坐标，选取所述非整数原始图像坐标所在网格的四个原始图像坐标的像素值，根据距离加权公式，得到与所述非整数原始图像坐标有映射关系的预畸变图像坐标的像素值。
本发明还提供了一种畸变校正装置，该装置包括：畸变率矩阵处理单元、映射获取单元以及预畸变图像获取单元；畸变率矩阵处理单元，用于读取标定畸变图像，与标定图像理想成像比较，根据光学系统成像畸变定义，获取标定畸变率矩阵，并进一步对其插值，获取畸变率矩阵；映射获取单元，用于读取畸变率矩阵处理单元中的畸变率矩阵，根据预畸变图像坐标，获取原始图像坐标和预畸变图像坐标的映射关系；预畸变图像获取单元，用于读取原始图像坐标的像素值，根据原始图像坐标和预畸变图像坐标的映射关系，将所述原始图像坐标的像素值赋值给有映射关系的预畸变图像坐标，获取预畸变图像，将获取的预畸变图像通过光学系统，得到校正后的图像。
进一步的，该装置进一步包括：采样单元，所述采样单元，用于对初始图像进行采样，得到标定图像。
进一步的，所述畸变率矩阵处理单元，用于读取标定畸变图像，以其中心点无畸变区域为基准，生成标定图像理想成像。
进一步的，映射获取单元，用于读取畸变率矩阵处理单元中的畸变率矩阵，读取预畸变图像坐标，并将其由图像坐标系坐标转换为平面坐标系的极坐标，然后根据畸变率矩阵、畸变量矩阵、畸变总量公式，计算预畸变图像坐标系的原始图像坐标极坐标，根据预畸变图像坐标和原始图像坐标在预畸变图像坐标系中的对应关系，获取原始图像坐标在平面坐标系的直角坐标，根据坐标转换，得到图像坐标系原始图像坐标。
本发明还提供了一种使用畸变校正装置的显示系统，所述显示系统包括：畸变校正装置，用于读取初始图像，获取畸变率矩阵，读取原始图像，获取预畸变图像，传输给微显示器；微显示器，用于将初始图像的图像投射给投影装置，将原始图像的预畸变图像投射给投影装置；投影装置，用于将微显示器的图像光投影给成像传输镜体；成像传输镜体，用于接收投影装置的图像光，传送进人眼。
采用本发明所述的畸变校正方法、装置及显示系统，采用原始图像坐标与预畸变图像坐标对应并一一赋值的方式，可以很大程度上提高校正精度，并通过对原始图像的非整数坐标所在网格像素进行距离加权，得到对应的预畸变图像坐标的像素值，对校正精度和校正效果进一步优化，实现对显示系统要显示图像的实时、高效的校正，给用户带来非常好的视觉效果。
附图说明
图1为本发明所述方案的方法流程示意图；
图2为标定畸变图像和标定图像理想成像位置关系示意图；
图3为预畸变图像坐标位置示意图；
图4为预畸变图像坐标与原始图像坐标位置关系示意图；
图5为原始图像非整数坐标与预畸变图像坐标位置关系示意图；
图6为预畸变图像和校正后图像对比图；
图7为预畸变图像和校正后图像对比图；
图8为预畸变校正装置结构示意图；
图9为显示系统结构示意图；
图10为校正前后效果对比示意图；
图11为校正效果验证示意图。
具体实施方式
下面通过具体实施例与附图来对本发明进行详细说明。
一种畸变校正方法，如图1所示的，具体流程如下：
步骤101：读取标定畸变图像，与标定图像理想成像比较，根据畸变率定义，得到标定畸变率矩阵；
具体的，对初始图像进行采样，获取标定图像，所述采样密度可以根据需要自行设定。初始图像优选的为具有点阵排布的图像，在本方案中采用网格点阵列图像作为初始图像。
标定图像经过光学系统后，产生了畸变，形成标定畸变图像，如图2所示意的，实线框内为标定畸变图像的成像区域，O’为标定畸变图像的成像中心，O’点及所有实线框内的标定畸变图像的坐标均可被识别。由于成像中心O’点邻域内的畸变可以忽略不计，以其为基准，生成标定图像理想成像，具体的：以标定畸变图像中，O’点邻域的网格点与O’点之间的横向间距和纵向间距的平均值，作为标定图像理想成像的网格点之间的横向间距和纵向间距，即可生成标定图像理想成像，也就是图2中虚线框区域对应的区域，所述邻域为距离O’点最近的标定畸变图像网格点所围成的区域。以本方案为例，距离O’点最近的畸变图像网格点为a1-a8，那么a1-a8所围成的区域即为O’点的邻域，取a1-a8的横向间距的平均值，以及纵向间距的平均值，作为标定图像理想成像的网格点之间的横向间距和纵向间距，以O’点为中心，扩展形成标定图像理想成像。至此，我们可以将该光学系统的畸变看作从理想成像即虚像框区域内的标定网格点，畸变成标定畸变图像即实线框内的标定网格点的过程。以理想成像中的W点为例，光学系统的畸变引起W点移至I’点。
建立以中心点为原点的坐标系(标定畸变图像与标定图像理想成像的中心点重合)，读取标定图像理想成像坐标以及与之对应的标定畸变图像坐标，根据光学系统成像畸变的定义，得到标定成像畸变率，包括径向畸变率和切向畸变率，所述标定成像畸变率，与标定图像理想成像坐标、所述标定图像理想成像坐标对应的标定畸变图像坐标一一对应，形成标定畸变率矩阵。本领域技术人员应该明白的是，根据畸变图像坐标和理想成像坐标求取成像畸变率是现有技术。
步骤102：根据标定畸变率矩阵，插值获取畸变率矩阵，进一步读取预畸变图像坐标，获取原始图像坐标和预畸变图像坐标的映射关系；
首先，对标定成像畸变率矩阵进行插值，生成与原始图像分辨率大小相同的畸变率矩阵。这里的原始图像是指显示设备要显示的任意图像，其分辨率与显示设备的分辨率一致。具体的插值方式可以采用现有技术中的任意一种，例如，两个位置最近的已知网格点畸变率的差值为bn-b1，所述网格点之间相差n-1个网格点，插值后的网格点的畸变率为b1+(bn-b1)/n。本领域技术人员应该明白，插值方式不限于此，在此不再一一列举。
以上内容中获取的畸变率矩阵，和下文中的预畸变图像和原始图像对应关系形成的畸变率矩阵是一样的，都是经过光学系统，产生畸变所形成的。预畸变图像与原始图像的分辨率相同，两者的坐标都是已知的，要先获取经过预畸变后两者坐标的对应关系，然后将原始图像坐标对应的像素值赋值给对应的预畸变图像的坐标，获得预畸变图像。申请人在申请号为201910171421.3的中国专利申请中，也提了一种畸变校正的方法，在该方法中，通过软件系统获得预畸变率，根据原始图像坐标，计算获取与之对应的预畸变图像坐标，从而得到原始图像坐标与预畸变图像坐标的映射关系，与本发明方案在获取预畸变图像坐标和原始图像坐标映射关系部分，是相反的过程。
要获取与预畸变图像坐标对应的原始图像坐标，首先要将预畸变图像坐标转换成平面坐标系中的极坐标，然后求取以预畸变图像坐标为坐标原点(即预畸变图像坐标系)的原始图像极坐标，根据预畸变图像坐标和原始图像坐标在预畸变图像坐标系中的对应关系，获取原始图像坐标在平面坐标系的直角坐标，根据坐标转换，得到原始图像坐标。
具体的，如图3、图4所示的，选取任意预畸变图像坐标P，将其在u-Ow-v坐标系，也就是图像坐标系坐标P(u，v)转换为以显示设备中微显示器平面的中心点为原点的x0-O-y0坐标系坐标，也可以称之为平面坐标系坐标P(x0,y0)，所述转换可以通过现有技术中的任一转换方式，例如坐标系平移翻转。这里的预畸变图像平面坐标系坐标是以直角坐标的形式表示的，将其转换为极坐标P(ang0，r0)，其中，r0是预畸变图像坐标的极径，也就是从预畸变图像坐标P到平面坐标原点的距离PO，ang0是预畸变图像坐标的极角，也就是从x0轴正方向逆时针旋转至极径PO所经过的角度，
Figure GDA0004131983200000061
pixelx和pixely是微显示器横向和纵向的像素数。
然后根据畸变量公式(1)得到原始图像坐标的畸变量
Figure GDA0004131983200000062
其中，Rdist是畸变率矩阵中与所述预畸变图像坐标和原始图像坐标对应的径向畸变率，Tdist是畸变率矩阵中与所述预畸变图像坐标和原始图像坐标对应的切向畸变率，dr是径向畸变量，dt是切向畸变量。再根据畸变总量公式(2)得到原始图像坐标的畸变总量d，d为Q到预畸变图像坐标系原点的距离，
Figure GDA0004131983200000071
进一步根据极坐标运算公式(3)和上述获取的畸变量、畸变总量，获取原始图像极角ang1，原始图像的极径即为畸变总量d，至此，获取原始图像坐标极坐标Q(ang1,d)，
Figure GDA0004131983200000072
其中，ang1为x1轴正方向逆时针旋转至极径PQ所经过的角度。
所述原始图像极坐标是在预畸变图像坐标系下表示的，将其转换为直角坐标Q(x1,y1)，然后，根据预畸变图像的平面坐标系坐标、原始图像坐标在预畸变图像坐标系下与预畸变图像坐标的关系，进行坐标变换，将原始图像坐标转换为平面坐标系坐标，并进一步转换为图像坐标系坐标Q(u’,v’)，获取预畸变图像坐标与原始图像坐标在图像坐标系中的映射关系。
步骤103，将原始图像坐标的像素值赋值给预畸变图像坐标，获取预畸变图像。
读取原始图像坐标的像素值，根据原始图像坐标与预畸变图像坐标的映射关系，将所述像素值赋值给预畸变图像坐标，从而获取预畸变图像。所述预畸变图像经过成像系统，到达人眼，得到校正后的图像。
本领域技术人员可以理解的，在获取原始图像坐标的过程中，计算结果可能存在非整数，会导致如图5所示的，预畸变图像坐标P点在原始图像中对应的原始图像坐标Q(u’,v’)没有对应的像素值，为了将原始图像坐标的像素值更精确的赋值给预畸变图像坐标，提高校正精度，读取原始图像坐标中的非整数坐标，对其进行距离加权获取与原始图像坐标Q对应的预畸变图像坐标P的像素值。选取所述非整数坐标Q所在网格的四个原始图像坐标的像素值Q(i-1，j)、Q(i-1，j+1)、Q(i，j)以及Q(i，j+1)，通过距离加权公式(4)确定预畸变图像坐标像素值P(i’，j’)：
Figure GDA0004131983200000081
其中，dx为原始图像网格中，与距离Q直线距离最近的坐标的横向距离，同样理解，dy为纵向距离。
通过本方案获取的预畸变图像，可以更加精准的实现原始图像像素的赋值，使畸变校正的精度大幅度提高。采用本方案的畸变校正方法，得到预畸变图像如图6、图7中左图所示，将预畸变图像经过光学系统后，得到的校正后的图像为图6、图7右图所示。
本发明还提供了一种畸变校正装置，如图8所示，包括：畸变率矩阵处理单元801、映射获取单元802以及预畸变图像获取单元803；
畸变率矩阵处理单元801，用于读取标定畸变图像，与标定图像理想成像比较，获取标定畸变率矩阵；并进一步插值得到畸变率矩阵；
映射获取单元802，用于读取畸变率矩阵处理单元801中的畸变率矩阵，根据预畸变图像坐标，获取原始图像和预畸变图像坐标的映射关系；
预畸变图像获取单元803，读取原始图像坐标的像素值，根据原始图像坐标和预畸变图像坐标的映射关系，将所述像素值赋值给与原始图像坐标有映射关系的预畸变图像坐标，获取预畸变图像，将获取的预畸变图像通过光学系统成像，得到校正后的图像。
本发明所述的畸变校正装置，进一步包括：采样单元804；
所述采样单元804，对初始图像进行采样，获取标定图像，并发送给畸变率矩阵处理单元801，所述采样的密度可以根据需要自行设定，本方案的初始图像采用网格点阵列图像，对网格点阵列图像进行采样获取标定图像。
畸变率矩阵处理单元801，用于读取标定图像经过光学系统后的标定畸变图像，也就是图2中的实线框内的成像区域，以标定畸变图像的中心点O’的无畸变区域为基准，生成标定图像理想成像，也就是图2中的虚线框内的成像区域。具体的，O’点邻域的网格点与O’点之间的横向间距和纵向间距的平均值，作为标定图像理想成像的网格点之间的横向间距和纵向间距，即可生成标定图像理想成像。所述邻域为距离O’点最近的畸变网格点所围成的区域。
畸变率矩阵处理单元801，读取标定畸变图像坐标和标定图像理想成像坐标，根据光学系统成像畸变的定义，获取标定成像畸变率，包括径向畸变率和切向畸变率，每个畸变率与标定网格点畸变图像坐标、标定网格点理想成像坐标一一对应，由此，形成了标定畸变率矩阵。
畸变率矩阵处理单元801，用于对标定畸变率矩阵进行插值，生成与原始图像分辨率大小相同的畸变率矩阵。所述原始图像是指显示设备要显示的任意图像，具体的插值方式可以采用现有技术中的任意一种。
映射获取单元802，用于读取畸变率矩阵处理单元801中的畸变率矩阵，读取预畸变图像坐标，并将其转换为平面坐标系中的极坐标，然后根据畸变率矩阵、畸变量公式、畸变总量公式，计算预畸变图像坐标系中的原始图像极坐标，根据预畸变图像坐标和原始图像坐标在预畸变图像坐标系中的对应关系，获取原始图像坐标在平面坐标系的直角坐标，根据坐标转换，得到原始图像坐标。
具体的，映射获取单元802，取任意预畸变图像坐标P(u，v)，将其由图像坐标系坐标转换为平面坐标系坐标P(x0,y0)，所述转换可以通过现有技术中的任一转换方式，这里的预畸变图像平面坐标系坐标是以直角坐标的形式表示的，将其转换为极坐标P(ang0，r0)，其中，r0是预畸变图像坐标的极径，ang0是预畸变图像坐标的极角，
Figure GDA0004131983200000091
pixelx和pixely是微显示器横向和纵向的像素数；
然后根据畸变量公式(1)得到原始图像坐标的畸变量，包括径向畸变量dr和切向畸变量dt，再根据畸变总量公式(2)得到原始图像坐标的畸变总量d，进一步根据极坐标运算公式(3)和上述获取的畸变量、畸变总量，获取原始图像极角ang1，原始图像的极径即为畸变总量d，至此，获取原始图像在预畸变图像坐标系中的极坐标(ang1,d)，将原始图像的预畸变图像坐标系极坐标转换为直角坐标Q(x1,y1)，然后，根据预畸变图像的平面坐标系坐标、原始图像坐标在预畸变图像坐标系下与预畸变图像坐标的关系，进行坐标变换，将原始图像坐标转换为平面坐标系坐标，并进一步转换为图像坐标系坐标Q(u’,v’)，从而得到预畸变图像坐标与原始图像坐标在图像坐标系中的映射关系。
预畸变图像获取单元803，用于读取原始图像坐标的像素，将其赋值给与其对应的预畸变图像坐标，得到预畸变图像。
进一步的，预畸变图像获取单元803，用于读取获取的原始图像坐标中的非整数坐标，读取非整数坐标所在网格的四个原始图像坐标的像素值，通过距离加权公式(4)确定与所述非整数坐标对应的预畸变图像坐标的像素。
本发明还提一种显示系统，如图9所示，包括如上方案所述的畸变校正装置901，微显示器902、投影装置903以及传输镜体904；
畸变校正装置901，用于读取初始图像的畸变图像，获取畸变率矩阵，进一步获取预畸变图像，传输给微显示器902；
微显示器902，用于将初始图像的图像投射给投影装置903，将原始图像的预畸变图像投射给投影装置903；
投影装置903，用于将微显示器902的图像的图像光投射给成像传输镜体904；
成像传输镜体904，用于接收投影装置903的图像光，传输给人眼或畸变校正装置901。
使用本发明方案中的畸变校正的方法、装置及显示系统，校正前后对比如图10所示，左边为未校正的畸变图像，右边为经过畸变校正的图像，由此可以看出校正效果非常明显。为进一步对本发明方案的校正效果进行验证，本发明采用了均方根误差RMS评价的方法，如图11所示，为本发明实施例的校正结果的均方根误差RMS随取样点数量的变化情况，其中，横轴表示样本点数量，纵轴表示像素数，可以看到，随着采样样本数量的增多，校正的精度也在提高，当畸变校正最终成像结果为横纵向平均小于1个像素。这里的样本点是指网格点。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (8)

1.一种畸变校正方法，其特征在于，
对初始图像进行采样，获取标定图像；标定图像经过光学系统后产生了畸变，形成标定畸变图像；
读取标定畸变图像，根据标定畸变图像生成标定图像理想成像，并将标定畸变图像与标定图像理想成像比较，根据光学系统成像畸变的定义得到标定畸变率矩阵；其中，标定畸变率包括径向畸变率和切向畸变率；
将标定畸变率矩阵插值，得到畸变率矩阵，读取预畸变图像坐标，获取原始图像坐标和预畸变图像坐标的映射关系；
将原始图像坐标的像素值赋值给与之对应的预畸变图像坐标，获取预畸变图像，将所述预畸变图像经过光学系统，得到畸变校正后的图像；
所述读取预畸变图像坐标，获取原始图像坐标和预畸变图像坐标的映射关系包括如下计算与预畸变图像坐标对应的原始图像坐标的过程：将预畸变图像坐标转换为极坐标，然后根据畸变量公式得到原始图像坐标的径向畸变量和切向畸变量，再根据畸变总量公式得到原始图像坐标的畸变总量，进一步根据极坐标运算公式和上述获取的径向畸变量、切向畸变量和畸变总量，获取原始图像坐标极坐标的极角，原始图像坐标极坐标的极径即为畸变总量，至此，获取原始图像坐标极坐标，再将原始图像坐标极坐标转变为原始图像坐标。
2.根据权利要求1所述的方法，其特征在于，读取标定畸变图像，以其中心点无畸变区域为基准，生成标定图像理想成像。
3.根据权利要求2所述的方法，其特征在于，所述将原始图像坐标的像素值赋值给与之对应的预畸变图像坐标进一步包括：
读取非整数原始图像坐标，选取所述非整数原始图像坐标所在网格的四个原始图像坐标的像素值，根据距离加权公式，得到与所述非整数原始图像坐标有映射关系的预畸变图像坐标的像素值。
4.一种畸变校正装置，用于实现权利要求1至3任一项所述的畸变校正方法，其特征在于，该装置包括：畸变率矩阵处理单元、映射获取单元以及预畸变图像获取单元；
畸变率矩阵处理单元，用于读取标定畸变图像，与标定图像理想成像比较，根据光学系统成像畸变定义，获取标定畸变率矩阵，并进一步对其插值，获取畸变率矩阵；其中，标定畸变率包括径向畸变率和切向畸变率；
映射获取单元，用于读取畸变率矩阵处理单元中的畸变率矩阵，根据预畸变图像坐标，获取原始图像坐标和预畸变图像坐标的映射关系；
预畸变图像获取单元，用于读取原始图像坐标的像素值，根据原始图像坐标和预畸变图像坐标的映射关系，将所述原始图像坐标的像素值赋值给有映射关系的预畸变图像坐标，获取预畸变图像，将获取的预畸变图像通过光学系统，得到校正后的图像。
5.根据权利要求4所述的装置，其特征在于，该装置进一步包括：采样单元，所述采样单元，用于对初始图像进行采样，得到标定图像。
6.根据权利要求5所述的装置，其特征在于，
所述畸变率矩阵处理单元，用于读取标定畸变图像，以其中心点无畸变区域为基准，生成标定图像理想成像。
7.根据权利要求4、5或6所述的装置，其特征在于，
映射获取单元，用于读取畸变率矩阵处理单元中的畸变率矩阵，读取预畸变图像坐标，并将其由图像坐标系坐标转换为平面坐标系的极坐标，然后根据畸变率矩阵、畸变量公式和畸变总量公式，计算预畸变图像坐标系的原始图像坐标极坐标，根据预畸变图像坐标和原始图像坐标在预畸变图像坐标系中的对应关系，获取原始图像坐标在平面坐标系的直角坐标，根据坐标转换，得到图像坐标系原始图像坐标。
8.一种使用畸变校正装置的显示系统，其特征在于，所述显示系统包括：
权利要求4-7任一项所述的畸变校正装置，用于读取初始图像，获取畸变率矩阵，读取原始图像，获取预畸变图像，传输给微显示器；
微显示器，用于将初始图像的图像投射给投影装置，将原始图像的预畸变图像投射给投影装置；
投影装置，用于将微显示器的图像光投影给成像传输镜体；
成像传输镜体，用于接收投影装置的图像光，传送进人眼。
CN201910394273.1A 2019-05-13 2019-05-13 一种畸变校正方法、装置及显示系统 Active CN110149511B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910394273.1A CN110149511B (zh) 2019-05-13 2019-05-13 一种畸变校正方法、装置及显示系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910394273.1A CN110149511B (zh) 2019-05-13 2019-05-13 一种畸变校正方法、装置及显示系统

Publications (2)

Publication Number Publication Date
CN110149511A CN110149511A (zh) 2019-08-20
CN110149511B true CN110149511B (zh) 2023-05-12

Family

ID=67594148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910394273.1A Active CN110149511B (zh) 2019-05-13 2019-05-13 一种畸变校正方法、装置及显示系统

Country Status (1)

Country Link
CN (1) CN110149511B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110864878A (zh) * 2019-10-14 2020-03-06 中国航空工业集团公司洛阳电光设备研究所 一种高效大视场平显系统显示畸变检测的方法
CN111812845A (zh) * 2020-07-31 2020-10-23 深圳珑璟光电技术有限公司 一种近眼显示设备及显示方法
CN112183413B (zh) * 2020-09-30 2024-05-14 东风柳州汽车有限公司 一种车位检测方法、装置、存储介质及车辆
CN117523025B (zh) * 2024-01-05 2024-05-10 之江实验室 一种基于光强分布调校的数字仿体生成方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103792674A (zh) * 2014-01-21 2014-05-14 浙江大学 一种测量和校正虚拟现实显示器畸变的装置和方法
CN104657940A (zh) * 2013-11-22 2015-05-27 中兴通讯股份有限公司 畸变图像校正复原与分析报警的方法和装置
CN105354569A (zh) * 2015-10-12 2016-02-24 北京蓝卡科技股份有限公司 一种图像畸变矫正方法
CN105354809A (zh) * 2015-12-05 2016-02-24 中国航空工业集团公司洛阳电光设备研究所 一种基于输出图像像素位置索引的预畸变方法和装置
CN107369132A (zh) * 2017-07-21 2017-11-21 网易（杭州）网络有限公司 获取虚拟现实设备图像畸变规律的方法、系统及终端设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104657940A (zh) * 2013-11-22 2015-05-27 中兴通讯股份有限公司 畸变图像校正复原与分析报警的方法和装置
CN103792674A (zh) * 2014-01-21 2014-05-14 浙江大学 一种测量和校正虚拟现实显示器畸变的装置和方法
CN105354569A (zh) * 2015-10-12 2016-02-24 北京蓝卡科技股份有限公司 一种图像畸变矫正方法
CN105354809A (zh) * 2015-12-05 2016-02-24 中国航空工业集团公司洛阳电光设备研究所 一种基于输出图像像素位置索引的预畸变方法和装置
CN107369132A (zh) * 2017-07-21 2017-11-21 网易（杭州）网络有限公司 获取虚拟现实设备图像畸变规律的方法、系统及终端设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《一种位置可调整的实时图像预畸变方法》;郑永瑞等;《电光与控制》;20150608;第22卷(第8期);第76-79,114页 *

Also Published As

Publication number Publication date
CN110149511A (zh) 2019-08-20

Similar Documents

Publication Publication Date Title
CN110149511B (zh) 一种畸变校正方法、装置及显示系统
CN111351446B (zh) 一种用于三维形貌测量的光场相机校准方法
US20200128225A1 (en) Depth Information Acquisition Method and Device
US8000559B2 (en) Method of correcting image distortion and apparatus for processing image using the method
CN111199528A (zh) 一种鱼眼图像畸变矫正方法
CN109146794A (zh) 一种光场图像旋转误差校正方法
WO2017122500A1 (ja) 投影システム、画像処理装置、投影方法およびプログラム
CN110830781B (zh) 一种基于双目视觉的投影图像自动校正方法及系统
WO2014005783A1 (en) A method and system for correcting a distorted input image
JPH10501945A (ja) 自動ビデオ・モニタ整列システムにおける座標系を変換する方法および装置
CN108592884B (zh) 一种通用线阵卫星核线影像生成方法
JP2018110295A (ja) 画像処理装置および画像処理方法
CN110035273B (zh) 一种畸变校正方法、装置及使用其的显示设备
CN111340888B (zh) 一种无需白图像的光场相机检校方法及系统
KR20170089744A (ko) 나안 3d 디스플레이의 이미지 오차 수정방법 및 장치
CN111127365A (zh) 基于三次样条曲线拟合的hud畸变矫正方法
TWI820246B (zh) 具有像差估計之設備、估計來自廣角影像的像差之方法及電腦程式產品
CN113360964A (zh) 一种高动态范围下汇聚式双目视觉引导的机器人定位方法
CN111009014A (zh) 通用成像模型正交分光成像位姿传感器的标定方法
JP2020036310A (ja) 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、記憶媒体、および、画像処理システム
KR20120020821A (ko) 영상 왜곡 보정 장치 및 방법
KR20190143535A (ko) 이미지 왜곡의 보정방법 및 이 보정방법을 이용하는 3d프린터
KR20100001608A (ko) 렌즈 왜곡 보정 장치 및 방법
CN116503248A (zh) 一种针对原油储罐的红外图像校正方法及校正系统
CN111179180A (zh) 影像的修正方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant