CN201780766U - 数字式头盔显示器实时电子预畸变校正系统 - Google Patents
数字式头盔显示器实时电子预畸变校正系统 Download PDFInfo
- Publication number
- CN201780766U CN201780766U CN2010202893520U CN201020289352U CN201780766U CN 201780766 U CN201780766 U CN 201780766U CN 2010202893520 U CN2010202893520 U CN 2010202893520U CN 201020289352 U CN201020289352 U CN 201020289352U CN 201780766 U CN201780766 U CN 201780766U
- Authority
- CN
- China
- Prior art keywords
- module
- fpga
- predistortion
- data module
- correction coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Abstract
本实用新型公开了一种数字式头盔显示器实时电子预畸变校正系统，包括有FPGA，FPGA中写入双线性数字图像处理算法，FPGA内部集成有第一写数据模块、第一读数据模块和第二写数据模块、第二读数据模块，预畸变处理模块、显示器驱动模块、上电初始化模块，FPGA还外接有输入帧存储器、输出帧存储器、校正系数存储器。本实用新型使用双线性插值数字图像处理技术，对输入的数字图像信号进行预畸变处理，不仅实现了对显示图像的实时校正，而且减小头盔显示器光学结构体积、降低系统造价。
Description
技术领域
本实用新型涉及显示器领域，尤其是头盔显示器畸变校正系统领域，具体为一种数字式头盔显示器实时电子预畸变校正系统。
背景技术
头盔显示器的使用者是借助眼前的目镜来观察图像的，因此在头盔显示器中，光学成像系统直接影响着图象显示的质量。目前的畸变校正方法，除了从光学出发的像差校正外，还有电子预畸变校正、全息材料应用等方法。在某些头盔显示器中，由光学系统畸变而引起的显示图像畸变是一种复杂的畸变，因头盔显示器体积和重量的限制，以及光学结构的设计与制造工艺难度，无法通过复杂的透镜组来减小图像畸变。
实用新型内容
本实用新型的目的是提供一种数字式头盔显示器实时电子预畸变校正系统，以解决数字式头盔显示器图像畸变的问题。
为了达到上述目的，本实用新型所采用的技术方案为：
数字式头盔显示器实时电子预畸变校正系统，包括有FPGA，其特征在于：所述FPGA中写入双线性数字图像处理算法，FPGA内部集成有两两配合的第一写数据模块、第一读数据模块和第二写数据模块、第二读数据模块，其中第一写数据模块、第一读数据模块上共同外接有两个输入帧存储器，第二写数据模块、第二读数据模块上共同外接有两个输出帧存储器；所述FPGA内部还集成有预畸变处理模块、显示器驱动模块、上电初始化模块，所述预畸变处理模块上外接有两个校正系数存储器，所述显示器驱动模块外接显示器，所述上电初始化模块外接有另外的校正系数存储器；所述第一写数据模块与FPGA外部的视频信号源通过数据线连接，第一读数据模块、第二写数据模块分别与所述预畸变处理模块通讯，所述第二读数据模块与所述显示器驱动模块通讯。
所述的数字式头盔显示器实时电子预畸变校正系统，其特征在于：所述FPGA还通过422转换芯片与外部PC机通讯连接。
所述的数字式头盔显示器实时电子预畸变校正系统，其特征在于：所述校正系数存储器包括非易失存存储器和随机存储器，其中外接在预畸变处理模块上的两个校正系数存储器分别为随机存储器，外接在上电初始化模块上的校正系数存储器为非易失存存储器。
本实用新型数字式头盔显示器实时电子预畸变校正系统，包括存储器和视频处理器组成，存储器包括保存输入视频图像的输入帧存储器、保存输出预畸变图像的输出帧存储器以及保存预畸变校正系数的校正系数存储器，其中校正系数存储器包括数据读取速度较慢的非易失存储器和数据读取速度较快的随机存储器。
视频处理器采用FPGA芯片。系统在上电时进行上电初始化，上电初始化内容分为两部分，一是将校正系数从数据读取速度较慢的非易失存储器读到数据读取速度较快的随机存储器，二是将输入帧存储器和输出帧存储器的数据储存单元全部清零。上电初始化完成之后，系统进入工作状态，FPGA在工作时先将外界输入的视频数据信号存入输入帧存储器，在存入输入视频图像数据的同时，FPGA中的预畸变处理模块从输入帧存储器读出视频图像数据，并从校正系数存储器中读出校正系数，预畸变处理模块根据视频图像数据和校正系数利用双线性插值数字图像处理技术生成预畸变图像数据，并将预畸变图像数据存入输出帧存储器，FPGA中的显示驱动模块将预畸变图像数据送入显示器进行显示。
本实用新型是一种针对于采用新型数字式平板显示器件作为像源的头盔显示器的实时电子预畸变校正系统，本实用新型是以FPGA(现场可编程门阵列)作为硬件平台，使用双线性插值数字图像处理技术，对输入的数字图像信号进行预畸变处理，预畸变处理使图像畸变形状与光学系统畸变形状相反，从而不仅实现了对显示图像的实时校正，而且减小头盔显示器光学结构体积、降低系统造价。
本实用新型的优点在于：
1.实现了实时性。输入数字视频信号，场频位50～75Hz，输出视频信号可直接送入显示器显示。图像从输入到输出的时间延时是两场时间，相当于26.67～40ms，电路采用流水线设计方式，输出图像场频与输入图像场频相同，因此，观察校正图像时，人眼看到的图像为连续的图像，而且感觉不到延时的存在，达到了实时性的设计要求。
2.采用双线性插值图像处理技术，消除预畸变图像边缘锯齿现象，减少预畸变图像失真，而且消除输出图像上孤立的亮点或黑点。
附图说明
图1为输入本实用新型的网格图像。
图2为通过畸变函数计算出的畸变网格图像。
图3为通过畸变函数计算出的预畸变网格图像。
图4为输入图像上像素点与预畸变图像像素点的对应关系图。
图5为本实用新型电路原理框图。
具体实施方式
下面以分辨率为800×600，场频60Hz，位宽为8bit单色视频信号作为某种机载头盔显示器的输入视频信号，并结合附图详细说明本实用新型的一种具体实施实例。
1.预畸变系数计算
电子预畸变校正算法按方法可分为采用标准样板校正和拟合光学镜片畸变曲线校正。采用标准样板校正是利用定制的标准样板，使其通过待校正光学系统成像。由于光学系统本身存在着畸变，从而使像发生变形，根据样板理想设计参数和光学系统的放大率，计算出样板理想的无失真的像，比较它和实际像的差别，就能够得到它们之间的函数对应关系。标准样板校正不需要其它光学测量仪器和光学系统设计参数，只是根据系统畸变特征进行校正，但标准样板获取光学系统成像操作复杂，人为误差较大。因此标准样板校正适用于已装配好的光学系统校正。拟合光学镜片畸变曲线校正是利用成像系统的光学参数，推导出了畸变校正方程组，由畸变校正方程组计算出系统成像每一点的畸变值，进而计算出畸变图像的数据。
本实用新型实施实例采用拟合光学镜片畸变曲线方法拟合出本头盔显示器的光学系统畸变函数，并通过畸变函数来计算出畸变图像数据，进而计算出预畸变图像数据。如图1所示的网格输入图像，根据本实用新型实施实例的头盔显示器光学系统的设计参数，可以计算出通过光学系统的畸变网格图像，如图2所示，由图2可知本实用新型实施实例的头盔显示器光学系统对图像造成的畸变为扇形畸变，图3为本实用新型实施实例计算出来的预畸变网格图像。
通过畸变函数可以计算出预畸变图像中每一个像素点的位置坐标(x′，y′)，对应到输入图像中的位置坐标(x，y)，如图4所示，其中x，y都是实数。x，y作为预畸变图像中像素点(x′，y′)校正系数存入FLASH存储器中。设x整数部分xin，小数部分xde，y整数部分yin，小数部分yde。位置坐标整数部分(xin，yin)可以对应到输入图像上一个像素点，将(xin，yin)作为位置坐标的基地址，(xde，yde)作为位置坐标相对于基地址xin，yin的偏移量。输入图像的幅度为800×600，因此xin和yin都必须转换成10位二进制数，即210＝1024＞800，210＝1024＞600。将xde和yde分别转换成6位二进制数，则预畸变图像每个像素点的校正系数转换成两个16位二进制数，将全部校正系数按照预畸变图像像素点顺序排列成表。本实用新型实施实例采用FLASH作为非易失校正系数存储器，并通过FPGA将校正系数表写入FLASH中。校正系数x和校正系数y需要的存储容量为800×600×16×2＝14.65Mbit，因此用一个容量为16Mbit的FLASH来存储校正系数x和校正系数y。
2.预畸变图像灰度值计算方法
如上文所述，预畸变图像中像素点的位置坐标(x′，y′)，对应到输入图像中的位置坐标(x，y)，x，y都是实数。如果将(x，y)看作输入图像上一个虚拟像素点，则虚拟像素点(x，y)的灰度值I(x，y)利用双线性插值算法，可由其周围四个输入图像像素点{(xin，yin)，(xin+1，yin)，(xin，yin+1)，(xin+1，yin+1)}的灰度值{I(xin，yin)，I(xin+1，yin)，I(xin，yin+1)，I(xin+1，yin+1)}得到，预畸变图像中像素点(x′，y′)的灰度值I(x′，y′)与灰度值I(x，y)相同，则I(x′，y′)计算公式为：
I(x′，y′)＝I(x，y)＝I(xin，yin)×(1-xde)×(1-yde)+I(xin+1，yin)×xde×(1-yde)(1)+I(xin，yin+1)×(1-xde)×yde+I(xin+1，yin+1)×xde×yde
3.预畸变校正电路工作原理
预畸变校正系统电路原理框图如图5所示。在系统上电后，FPGA中初始化模块首先对系统进行初始化，主要做了两方面工作：
(1).是将校正系数从数据读取速度较慢的非易失存储器读到数据读取速度较快的随机存储器。
(2).是将输入帧存储器和输出帧存储器的数据储存单元全部清零。
由于FLASH的读取速度非常慢，达不到系统40MHz时钟的读取速度，因此上电以后，初始化模块首先将存在FLASH的预畸变系数读到两片SRAM中(校正系数x存储器和校正系数y存储器)，以便使预畸变处理达到实时性的要求。
在上电初始化完成之后，系统进入正常工作状态，如图5所示，FPGA内的输入数据读写操作模块(写数据模块1和读数据模块1)将视频信号源输出的数字视频数据以帧(场)为单元循环写入到输入帧存储器A和输入帧存储器B中。当写数据模块1对输入帧存储器A进行写操作时，读数据模块1对输入帧存储器B进行读操作，当写数据模块1对输入帧存储器B进行写操作时，读数据模块1对输入帧存储器A进行读操作，读写操作一帧(场)进行一次切换。读数据模块1将读出的数据送入后续预畸变处理模块，预畸变处理模块按照预畸变图像像素点顺序依次读入校正系数，然后根据校正系数取出输入图像相应的四个像素点的灰度值，按照公式(1)计算出当前像素点的灰度值。输出数据读写操作模块(写数据模块2和读数据模块2)将预畸变处理模块计算的像素灰度值按照以帧(场)为单元循环写入输出帧存储器A和输出帧存储器B，当写数据模块2对输出帧存储器A进行写操作时，读数据模块2对输出帧寄存器B进行读操作，当写数据模块2对输出帧寄存器B进行写操作时，读数据模块2对输出帧存储器A进行读操作，读写操作一帧(场)进行一次切换。读数据模块2将读出的数据送入显示器驱动模块，显示器驱动模块产生显示器正常工作所需要行场同步信号，并把像素数据传送到显示器上进行显示。
本实用新型的实施使光学系统畸变复杂的数字式头盔显示器不仅实现了对显示图像畸变的实时校正，而且减小头盔显示器光学结构体积、降低系统造价。
Claims (3)
1.数字式头盔显示器实时电子预畸变校正系统，包括有FPGA，其特征在于：所述FPGA中写入双线性数字图像处理算法，FPGA内部集成有两两配合的第一写数据模块、第一读数据模块和第二写数据模块、第二读数据模块，其中第一写数据模块、第一读数据模块上共同外接有两个输入帧存储器，第二写数据模块、第二读数据模块上共同外接有两个输出帧存储器；所述FPGA内部还集成有预畸变处理模块、显示器驱动模块、上电初始化模块，所述预畸变处理模块上外接有两个校正系数存储器，所述显示器驱动模块外接显示器，所述上电初始化模块外接有另外的校正系数存储器；所述第一写数据模块与FPGA外部的视频信号源通过数据线连接，第一读数据模块、第二写数据模块分别与所述预畸变处理模块通讯，所述第二读数据模块与所述显示器驱动模块通讯。
2.根据权利要求1所述的数字式头盔显示器实时电子预畸变校正系统，其特征在于：所述FPGA还通过422转换芯片与外部PC机通讯连接。
3.根据权利要求1所述的数字式头盔显示器实时电子预畸变校正系统，其特征在于：所述校正系数存储器包括非易失存存储器和随机存储器，其中外接在预畸变处理模块上的两个校正系数存储器分别为随机存储器，外接在上电初始化模块上的校正系数存储器为非易失存存储器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010202893520U CN201780766U (zh) | 2010-08-05 | 2010-08-05 | 数字式头盔显示器实时电子预畸变校正系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010202893520U CN201780766U (zh) | 2010-08-05 | 2010-08-05 | 数字式头盔显示器实时电子预畸变校正系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN201780766U true CN201780766U (zh) | 2011-03-30 |
Family
ID=43793972
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2010202893520U Expired - Lifetime CN201780766U (zh) | 2010-08-05 | 2010-08-05 | 数字式头盔显示器实时电子预畸变校正系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN201780766U (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102881273A (zh) * | 2012-09-10 | 2013-01-16 | 中国航空工业集团公司洛阳电光设备研究所 | 一种面向异步视频的嵌入式图像处理方法 |
| CN103018907A (zh) * | 2012-12-19 | 2013-04-03 | 虢登科 | 显示方法及头戴显示器 |
| CN104333744A (zh) * | 2014-11-26 | 2015-02-04 | 中国航空工业集团公司洛阳电光设备研究所 | 一种平视显示器监控系统 |
| CN104902139A (zh) * | 2015-04-30 | 2015-09-09 | 北京小鸟看看科技有限公司 | 一种头戴显示器和头戴显示器的视频数据处理方法 |
| CN105791789A (zh) * | 2016-04-28 | 2016-07-20 | 努比亚技术有限公司 | 头戴设备、显示设备及自动调整显示输出的方法 |
| CN105894473A (zh) * | 2016-04-20 | 2016-08-24 | 北京小鸟看看科技有限公司 | 一种基于fpga的图像矫正方法和装置 |
| CN106028013A (zh) * | 2016-04-28 | 2016-10-12 | 努比亚技术有限公司 | 一种头戴设备、显示设备及调整显示输出的方法 |
| CN106534815A (zh) * | 2016-11-11 | 2017-03-22 | 中国航空工业集团公司洛阳电光设备研究所 | 大视场离轴数字hud像源和光学系统装调精度的电补偿方法 |
| CN106768878A (zh) * | 2016-11-30 | 2017-05-31 | 深圳市虚拟现实技术有限公司 | 光学镜片畸变拟合与检测的方法及装置 |
| CN109375369A (zh) * | 2018-11-23 | 2019-02-22 | 国网天津市电力公司 | 一种vr巨幕影院模式下的畸变预处理方法 |
| CN111480104A (zh) * | 2017-10-10 | 2020-07-31 | 视界工程有限公司 | 具有单物镜的立体显微镜 |
| CN112308760A (zh) * | 2020-11-09 | 2021-02-02 | 上海大学 | 一种基于fpga的近眼显示图像预畸变系统 |
-
2010
- 2010-08-05 CN CN2010202893520U patent/CN201780766U/zh not_active Expired - Lifetime
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102881273A (zh) * | 2012-09-10 | 2013-01-16 | 中国航空工业集团公司洛阳电光设备研究所 | 一种面向异步视频的嵌入式图像处理方法 |
| CN103018907A (zh) * | 2012-12-19 | 2013-04-03 | 虢登科 | 显示方法及头戴显示器 |
| CN104333744A (zh) * | 2014-11-26 | 2015-02-04 | 中国航空工业集团公司洛阳电光设备研究所 | 一种平视显示器监控系统 |
| CN104333744B (zh) * | 2014-11-26 | 2017-11-28 | 中国航空工业集团公司洛阳电光设备研究所 | 一种平视显示器监控系统 |
| CN104902139A (zh) * | 2015-04-30 | 2015-09-09 | 北京小鸟看看科技有限公司 | 一种头戴显示器和头戴显示器的视频数据处理方法 |
| CN104902139B (zh) * | 2015-04-30 | 2018-10-26 | 北京小鸟看看科技有限公司 | 一种头戴显示器和头戴显示器的视频数据处理方法 |
| US10578868B2 (en) | 2015-04-30 | 2020-03-03 | Beijing Pico Technology Co., Ltd. | Head-mounted display and video data processing method thereof |
| CN105894473A (zh) * | 2016-04-20 | 2016-08-24 | 北京小鸟看看科技有限公司 | 一种基于fpga的图像矫正方法和装置 |
| CN105894473B (zh) * | 2016-04-20 | 2019-02-12 | 北京小鸟看看科技有限公司 | 一种基于fpga的图像矫正方法和装置 |
| CN106028013A (zh) * | 2016-04-28 | 2016-10-12 | 努比亚技术有限公司 | 一种头戴设备、显示设备及调整显示输出的方法 |
| CN105791789A (zh) * | 2016-04-28 | 2016-07-20 | 努比亚技术有限公司 | 头戴设备、显示设备及自动调整显示输出的方法 |
| CN105791789B (zh) * | 2016-04-28 | 2019-03-19 | 努比亚技术有限公司 | 头戴设备、显示设备及自动调整显示输出的方法 |
| CN106534815A (zh) * | 2016-11-11 | 2017-03-22 | 中国航空工业集团公司洛阳电光设备研究所 | 大视场离轴数字hud像源和光学系统装调精度的电补偿方法 |
| CN106768878A (zh) * | 2016-11-30 | 2017-05-31 | 深圳市虚拟现实技术有限公司 | 光学镜片畸变拟合与检测的方法及装置 |
| CN111480104A (zh) * | 2017-10-10 | 2020-07-31 | 视界工程有限公司 | 具有单物镜的立体显微镜 |
| CN109375369A (zh) * | 2018-11-23 | 2019-02-22 | 国网天津市电力公司 | 一种vr巨幕影院模式下的畸变预处理方法 |
| CN112308760A (zh) * | 2020-11-09 | 2021-02-02 | 上海大学 | 一种基于fpga的近眼显示图像预畸变系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN201780766U (zh) | 数字式头盔显示器实时电子预畸变校正系统 | |
| CN105354809B (zh) | 一种基于输出图像像素位置索引的预畸变方法和装置 | |
| US20190279427A1 (en) | Method and apparatus for real-time virtual reality acceleration | |
| US20200143516A1 (en) | Data processing systems | |
| CN108536405B (zh) | 用于数据处理系统的显示控制器及其操作方法 | |
| US11100899B2 (en) | Systems and methods for foveated rendering | |
| US11004427B2 (en) | Method of and data processing system for providing an output surface | |
| CN105611256B (zh) | 一种基于梯度的Bayer格式插值方法及基于FPGA的显示装置 | |
| CN108616717B (zh) | 一种实时全景视频拼接显示装置及其方法 | |
| JPH0750810A (ja) | デジタルビデオ特殊効果装置 | |
| CN110958362A (zh) | 基于分块查表的图像校正系统及其方法 | |
| CN102186044A (zh) | 一种边缘相关性图像无极缩放算法及其硬件实现装置 | |
| CN107077721A (zh) | 多个图像的全局匹配 | |
| CN104392424A (zh) | 一种对专业灰阶图像对比度自适应的方法及系统 | |
| US20200090575A1 (en) | Data processing systems | |
| CN100520901C (zh) | 伽玛对应表的产生方法 | |
| US20160189350A1 (en) | System and method for remapping of image to correct optical distortions | |
| CN102184714A (zh) | 一种提高插值效率的lcd图像缩放实现方法 | |
| US7768521B2 (en) | Image processing apparatus and image processing method | |
| KR102581470B1 (ko) | 영상 데이터를 처리하는 방법 및 장치 | |
| US20080259088A1 (en) | Display device | |
| CN106780291B (zh) | 一种实时畸变图像处理加速装置 | |
| CN104776919B (zh) | 基于fpga的红外焦平面阵列条带状非均匀性校正系统和方法 | |
| Yang et al. | FPGA Implementation of Image Super-Resolution Based on Bicubic Interpolation and CNN | |
| CN113867678B (zh) | 基于电子墨水技术的视频处理装置和显示器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CX01 | Expiry of patent term |
Granted publication date: 20110330 |
|
| CX01 | Expiry of patent term |