CN114066759B - 一种基于fpga的红外图像实时畸变校正方法和系统 - Google Patents

一种基于fpga的红外图像实时畸变校正方法和系统 Download PDF

Info

Publication number
CN114066759B
CN114066759B CN202111368470.XA CN202111368470A CN114066759B CN 114066759 B CN114066759 B CN 114066759B CN 202111368470 A CN202111368470 A CN 202111368470A CN 114066759 B CN114066759 B CN 114066759B
Authority
CN
China
Prior art keywords
distortion
infrared
data
infrared imaging
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111368470.XA
Other languages
English (en)
Other versions
CN114066759A (zh
Inventor
吕坚
赵琳通
马欣
周云
米冠宇
万灿
薛露
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202111368470.XA priority Critical patent/CN114066759B/zh
Publication of CN114066759A publication Critical patent/CN114066759A/zh
Application granted granted Critical
Publication of CN114066759B publication Critical patent/CN114066759B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于FPGA的红外图像实时畸变校正方法和系统，方法包括对目标进行红外成像数据采集，得到原始红外畸变图像数据；根据所选红外成像镜头，从预先存储的多组红外成像镜头的畸变校正参数对应的去畸变反向映射地址数据中获取该红外成像镜头对应的畸变校正参数；对所述原始红外畸变图像数据进行滤波和帧间降噪处理；根据获取的畸变校正参数，对经过滤波和帧间降噪处理后的红外图像数据进行图像校正。本发明既提高了同一红外图像畸变校正系统的复用性，又保证了红外图像畸变校正效果。

Description

一种基于FPGA的红外图像实时畸变校正方法和系统
技术领域
本发明属于红外成像技术领域，具体涉及一种基于FPGA的红外图像实时畸变校正方法和系统。
背景技术
红外成像技术通过探测目标与环境的红外辐射强度差异，实现对目标的追踪探测识别。由于红外探测技术的运用场所的差异性，红外成像需使用不同的成像镜头，而考虑近距离、大视野背景下探测时，多使用红外广角镜头，由此得到的红外图像会产生畸变，红外成像质量不佳，且：1)红外成像技术在工业运用中多使用硬件成像系统，复杂的畸变校正方法在硬件成像系统中，实现困难、速度慢，不利于实时成像校正；2)目前的畸变校正系统多针对单镜头，无法实现多镜头使用同一套系统实现畸变校正。因此亟需一种行之有效且便于硬件实现的红外畸变校正方法。
专利号为2016103643596的发明专利“一种广角镜头红外图像畸变校正方法”，通过拍摄目标标定模板的原始畸变图，并对原始即便图做阈值分割及边缘提取得到畸变边缘图，进而根据畸变边缘图简历畸变模型得出畸变系数，然后根据畸变系数求解边缘像素点位置实现位置变换生成边缘校正图，最后根据多次拟合和双线性插值算法对边缘畸变校正图进行灰度校正，操作极其复杂，算法也不利于硬件设计实现，该方法多停留于理论研究，工业使用价值不高。
发明内容
为了解决现有红外畸变校正技术的应用局限问题，本发明提供了一种基于FPGA的红外图像实时畸变校正方法。本发明通过预先计算好多组镜头的畸变参数，确定红外去畸变反向映射地址数据，生成查找表，然后根据镜头的选择确定查找表的寻址地址，运用双线性插值算法，实现红外图像畸变校正，既提高了同一红外图像畸变校正系统的复用性，又保证了红外图像畸变校正效果。
本发明通过下述技术方案实现：
一种基于FPGA的红外图像实时畸变校正方法，包括：
对目标进行红外成像数据采集，得到原始红外畸变图像数据；
对所述原始红外畸变图像数据进行滤波和帧间降噪处理；
根据所选红外成像镜头，从预先存储的多组红外成像镜头的畸变校正参数对应的去畸变反向映射地址数据中获取该红外成像镜头对应的畸变校正参数；
根据获取的畸变校正参数，对经过滤波和帧间降噪处理后的红外图像数据进行图像校正。
优选的，本发明的从预先存储有多组红外成像镜头的畸变校正参数的存储器中获取该红外成像镜头对应的畸变校正参数步骤具体包括以下子步骤：
计算多组红外成像镜头的畸变校正参数；
根据畸变校正参数以及原始红外畸变数据，确定红外去畸变反向映射地址数据，生成查找表并将其存入Flash中；
根据所选红外成像镜头确定该红外成像镜头的畸变校正参数，同时确定红外图像畸变校正时查找表的初始寻址地址。
优选的，本发明的计算多组红外成像镜头的畸变校正参数步骤具体为：根据红外成像镜头的焦距f、红外成像镜头的畸变率γ、红外探测器的分辨率M*N和红外探测器像元尺寸μ，计算得到红外成像镜头的畸变校正参数，具体包括以下子步骤：
根据红外探测器的分辨率、红外探测器像元尺寸和红外成像镜头的焦距确定红外成像镜头的内参矩阵；
根据红外成像镜头的畸变率参数以及对应的内参矩阵，计算得到该成外成像镜头的畸变校正参数。
优选的，本发明的红外成像镜头的内参矩阵计算公式为：
式中，Q表示红外成像镜头的内参矩阵。
优选的，本发明的畸变校正参数计算公式为：
式中，K表示红外成像镜头的畸变校正参数。
优选的，本发明的根据畸变校正参数以及原始红外畸变数据，确定红外去畸变反向映射地址数据，生成查找表并将其存入Flash中步骤具体包括以下子步骤：
根据红外成像镜头的畸变校正参数，依次找到去畸变后的红外图像坐标对应的二维畸变坐标；
将n组红外成像镜头对应的二维畸变坐标转换为一维矩阵坐标，并将n组一维矩阵坐标合并得到一维矩阵A；其中，n为大于等于3的正整数；
将得到的一维矩阵A转换成HEX文件烧写进Flash，通过在Flash中宏定义一个参数Flash_user_addr，通过定义其不同的初始值，确定flash初始读地址，实现不同红外成像镜头下畸变校正去畸变反向映射地址数据所在flash存储地址的访问，从而可实现多镜头自由切换畸变实时校正。
优选的，本发明的根据红外成像镜头的畸变校正参数，依次找到去畸变后的红外图像坐标对应的二维畸变坐标步骤具体包括：
通过内参矩阵对红外畸变图像的每一像素点的坐标进行归一化处理；
基于归一化处理结果，通过径向畸变模型得到每一像素点的归一化畸变坐标；
将归一化畸变坐标反向映射回畸变坐标，得到去畸变后的红外图像每一像素点坐标对应的二维畸变坐标。
优选的，本发明的对所述原始红外畸变图像数据进行滤波和帧间降噪处理步骤具体包括以下子步骤：
对所述原始红外畸变图像数据进行保变滤波处理，保留数据原有的梯度信息；
根据滤波处理后的当前帧红外畸变数据和滤波处理后的前一帧红外畸变数据，进行帧间降噪处理，得到预处理数据IR1，具体为：
当k＝1时，IR1(i，j，k)＝IR0(i，j，k)；
当k≥2时，
式中：diff(i，j，k)＝|IR0(i，j，k)-IR0(i，j，k-1)|，其中1≤i≤M，1≤j≤N，threshold为设定的条件绝对阈值，IR0(i，j，k)为滤波后的红外畸变图像的第k帧对应的第i行第j列的数据，IR0(i，j，k-1)为滤波后的红外畸变图像的第k-1帧对应的第i行第j列的数据；
对所述原始红外畸变图像数据进行滤波和帧间降噪处理的同时完成当前帧红外畸变数据、前一帧红外畸变数据、去畸变反向映射地址数据的读写操作。
优选的，本发明的对经过滤波和帧间降噪处理后的红外图像数据进行图像校正步骤具体为：
采用采用双线性插值算法完成红外畸变图像数据的畸变校正。
另一方面，本发明提出了一种基于FPGA的红外图像实时畸变校正系统，包括数据采集模块、Flash模块、滤波模块、降噪模块、DDR存储模块和校正模块；
其中，所述数据采集模块用于进行红外成像数据采集，得到原始红外畸变图像数据；
所述Flash模块用于预先存储多组红外成像镜头的畸变校正参数对应的去畸变反向映射地址数据；
所述滤波模块用于对所述原始红外畸变图像数据进行滤波处理；
所述降噪模块根据经过滤波处理后的当前帧红外畸变数据和经过滤波处理后的前一帧红外畸变数据，完成数据的帧间降噪处理；
所述DDR存储模块用于完成当前帧红外畸变数据、前一帧红外畸变数据及去畸变反向映射地址数据的存储读写操作；
所述校正模块根据去畸变反向映射地址数据获得所选红外成像镜头的畸变校正参数，以对经帧间降噪处理后的红外图像数据进行图像校正。
本发明具有如下的优点和有益效果：
1、本发明能够实现在同一套红外图像畸变校正系统中对不同红外成像镜头带来的畸变进行校正，实现系统复用性，同时保证了红外图像畸变校正效果。
2、本发明降低了红外畸变校正系统的硬件设计难度，提高了其工业使用价值。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本发明的方法流程示意图。
图2为本发明的系统原理框图。
图3为未经任何处理的原始红外畸变图像。
图4为采用本发明的方法对图3所示的畸变图像进行校正后的校正图像。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例1
本实施例提出了一种基于FPGA的红外图像实时畸变校正方法，如图1所示，本实施例的方法包括以下步骤：
步骤1，进行红外成像数据采集，得到原始红外畸变图像数据。
本实施例利用红外成像探测器和红外成像镜头对探测目标进行红外成像，得到原始红外畸变图像数据IR0。
步骤2，计算多组红外成像镜头的畸变校正参数。
本实施例根据红外成像镜头的焦距f、红外成像镜头的畸变率γ、红外探测器的分辨率M*N和红外探测器像元尺寸μ，确定红外成像镜头的畸变校正参数；据此，本实施例可预先确定多组红外图像的畸变校正参数，以3组红外成像镜头为例进行说明：
根据红外探测器的分辨率M*N、红外探测器像元尺寸μ和3组红外成像镜头的焦距f1、f2、f3确定不同镜头的内参矩阵Q1、Q2、Q3：
其中，
根据各成像镜头的畸变率参数以及对应的内参矩阵，确定各组镜头的畸变校正参数K1,K2,K3，具体为：
其中，γ1为第一组红外成像镜头的畸变率，γ2为第二组红外成像镜头的畸变率，γ3为第三组红外成像镜头的畸变率。
步骤3，根据畸变校正参数以及原始红外畸变数据，确定红外去畸变反向映射地址数据，生成查找表。
本实施例根据畸变校正参数，依次找到去畸变后的红外图像坐标对应的二维畸变坐标，具体为：
第一步，通过内参矩阵对红外畸变图像的每一像素点的坐标进行归一化处理得到(x1i，y1j)，其中：
x1i＝(xi-u0)/fx，y1j＝(yj-v0)/fy
第二步，通过径向畸变模型得到每一像素点的归一化畸变坐标(x2i，y2j)，其中：
r2＝x1i 2+y1j 2
x2i＝x1i*(1+K*r2)，y2j＝y1j*(1+K*r2)
第三步，归一化畸变坐标反向映射回畸变坐标，得到去畸变后的红外图像每一像素点坐标(xi，yj)对应的二维畸变坐标(ui，vj),其中：
ui＝fx*x2i+u0，vj＝fy*y2j+v0
将各组成像镜头对应的二维畸变坐标转换成一维矩阵坐标，并将其合并得到一维矩阵。
本实施例以3组红外成像镜头为例：
将3组红外成像镜头对应的二维畸变坐标转换为一维矩阵坐标A1，A2，A3，并将其合并得到一维矩阵A，其中：
ak1＝round(ui1*128)*65536+round(vj1*128)
ak2＝round(ui2*128)*65536+round(vj2*128)
ak3＝round(ui3*128)*65536+round(vj3*128)
式中，ak1，ak2，ak3表示矩阵A1，A2，A3中第k行数据，1≤k≤M*N；ui1，ui2，ui3分别为畸变率分别为第一组红外成像镜头、第二组红外成像镜头、第三组红外成像镜头在红外成像对应的畸变反向映射的x坐标地址，1≤i≤M；vj1，vj2，vj3分别为畸变率分别为第一组红外成像镜头、第二组红外成像镜头、第三组红外成像镜头在红外成像对应的畸变反向映射的y坐标地址，1≤j≤N。
一维矩阵A中的数据即为输入校正模块对应的去畸变反向映射地址数据，由去畸变坐标(x，y)转换得到，其位宽为32bit数据，高16位其中[31：23]位为去畸变x坐标的整数部分组成，[22：16]位由x坐标小数部分放大128倍组成，低16位其中[15：7]为去畸变y坐标的整数部分组成，[6：0]位由y坐标小数部分放大128倍组成。
将得到的一维矩阵A转换成HEX文件烧写进Flash，通过在Flash模块宏定义一个参数Flash_user_addr，通过定义其不同的初始值，确定flash初始读地址，实现不同红外成像镜头下畸变校正去畸变反向映射地址数据所在flash存储地址的访问，从而可实现多镜头自由切换畸变实时校正，以上述3组红外成像镜头为例，具体为：
对第一组红外成像镜头(畸变率为γ1)，定义Flash_user_addr＝0；
对第二组红外成像镜头(畸变率为γ2)，定义Flash_user_addr＝M*N-1；
对第三组红外成像镜头(畸变率为γ3)，定义Flash_user_addr＝2*M*N-1。
步骤4，根据红外成像镜头的选择确定查找表的寻址地址，运行双线性插值算法，实现红外图像畸变校正。
本实施例的步骤4具体包括以下子步骤：
第一步，采用引导滤波方式，对原始红外畸变图像数据IR0进行保变滤波处理，保留数据原有的梯度信息。
第二步，根据滤波处理后的当前帧红外畸变数据和滤波处理后的前一帧红外畸变数据，进行帧间降噪处理，得到预处理后数据IR1，具体为：
当k＝1时，IR1(i，j，k)＝IR0(i，j，k)；
当k≥2时，
式中：diff(i，j，k)＝|IR0(i，j，k)-IR0(i，j，k-1)|，其中1≤i≤M，1≤j≤N，threshold为设定的条件绝对阈值，IR0(i，j，k)为滤波后的红外畸变图像的第k帧对应的第i行第j列的数据，IR0(i，j，k-1)为滤波后的红外畸变图像的第k-1帧对应的第i行第j列的数据。
本实施例在对原始红外畸变图像数据IR0预处理的同时，通过完成红外去畸变反向映射地址数据由Flash存储到DDR存储，解决了Flash中地址数据读写速度过慢的缺点，实现了红外畸变数据与去畸变反向映射地址数据的时序同步，进而保证红外畸变校正的实时性。
同时完成当前帧红外畸变数据、前一帧红外畸变数据、去畸变反向映射地址数据的读写操作，具体为：红外畸变数据提前从DDR中突发2倍的最大畸变行的数据流缓存至校正模块的DPRAM中，之后红外畸变数据输入缓存的同时，将去畸变反向映射地址数据利用DDR时分复用的特性，输出至校正模块，保证畸变图像去畸变寻址时，能正确找到4个去畸变地址对应的红外图像数据。
第三步，采用双线性插值算法完成红外畸变图像数据的畸变校正。
需要说明的是，本发明实施例中所保护的基于FPGA的红外图像实时校正方法，是针对不同镜头设计的，不局限于三组红外成像镜头，其他基于此思想进行红外畸变校正的方法均属于本发明保护内容。
实施例2
本实施例提出了一种基于FPGA的红外图像实时畸变校正系统，如图2所示，包括数据采集模块、Flash模块、滤波模块、降噪模块、DDR存储模块和校正模块。
其中，该数据采集模块进行红外成像数据采集，得到原始红外畸变图像数据。该数据采集模块采用红外成像探测器和红外成像镜头对探测目标进行红外成像，得到原始红外畸变图像数据IR0。
该Flash模块用于存储多组红外成像镜头去畸变反向映射地址数据。本实施例可根据所选择的红外成像镜头，确定flash数据初始访问读地址，从而获得该红外成像镜头的畸变校正参数。
该滤波模块采用引导滤波方式，完成原始红外畸变图像的保变滤波处理，保留数据原有的梯度信息。
该降噪模块根据经过滤波处理后的当前帧红外畸变数据与经过滤波处理后的前一帧红外畸变数据，完成数据的帧间降噪处理，具体为：
当k＝1时，IR1(i，j，k)＝IR0(i，j，k)；
当k≥2时，
式中：diff(i，j，k)＝|IR0(i，j，k)-IR0(i，j，k-1)|，其中1≤i≤M，1≤j≤N，threshold为设定的条件绝对阈值，IR0(i，j，k)为红外畸变图像第k帧对应的第i行第j列的数据，IR0(i，j，k-1)为红外畸变图像第k-1帧对应的第i行第j列的数据。
该DDR模块用于完成当前帧红外畸变数据、前一帧红外畸变数据及去畸变反向映射地址数据的读写操作。
该校正模块采用双线性插值算法完成红外畸变数据的畸变校正。
实施例3
本实施例采用上述实施例1提出的校准方法对如图3所示的一原始红外畸变图像进行处理，得到如图3所示的校正图像。
由图2可以看出，原始红外畸变图像，图像失真、畸变严重；而由图3所示的校正图像可以看出，采用本发明的校正方法处理后，红外畸变图像校正良好，获得很好的成像质量。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于FPGA的红外图像实时畸变校正方法，其特征在于，包括：
对目标进行红外成像数据采集，得到原始红外畸变图像数据；
对所述原始红外畸变图像数据进行滤波和帧间降噪处理；
根据所选红外成像镜头，从预先存储的多组红外成像镜头的畸变校正参数对应的去畸变反向映射地址数据中获取该红外成像镜头对应的畸变校正参数；通过Flash预先存储多组红外成像镜头的畸变校正参数对应的去畸变反向映射地址数据；
根据获取的畸变校正参数，对经过滤波和帧间降噪处理后的红外图像数据进行图像校正；从预先存储的多组红外成像镜头的畸变校正参数对应的去畸变反向映射地址数据中获取该红外成像镜头对应的畸变校正参数步骤具体包括以下子步骤：
计算多组红外成像镜头的畸变校正参数；
根据畸变校正参数以及原始红外畸变数据，确定红外去畸变反向映射地址数据，生成查找表并将其存入Flash中；
根据所选红外成像镜头确定该红外成像镜头的畸变校正参数，同时确定红外图像畸变校正时查找表的初始寻址地址；
根据畸变校正参数以及原始红外畸变数据，确定红外去畸变反向映射地址数据，生成查找表并将其存入Flash中步骤具体包括以下子步骤：
根据红外成像镜头的畸变校正参数，依次找到去畸变后的红外图像坐标对应的二维畸变坐标；
将n组红外成像镜头对应的二维畸变坐标转换为一维矩阵坐标，并将n组一维矩阵坐标合并得到一维矩阵A；其中，n为大于等于3的正整数；
将得到的一维矩阵A转换成HEX文件烧写进Flash，通过在Flash中宏定义一个参数Flash_user_addr，通过定义其不同的初始值，确定flash初始读地址，实现不同红外成像镜头下畸变校正去畸变反向映射地址数据所在flash存储地址的访问，从而可实现多镜头自由切换畸变实时校正；
对所述原始红外畸变图像数据进行滤波和帧间降噪处理的同时，通过DDR完成红外去畸变反向映射地址数据由Flash存储到DDR存储；
通过DDR完成当前帧红外畸变数据、前一帧红外畸变数据及去畸变反向映射地址数据的读写操作，具体为：红外畸变数据提前从DDR中突发2倍的最大畸变行的数据流缓存至校正模块的DPRAM中，之后红外畸变数据输入缓存的同时，将去畸变反向映射地址数据利用DDR时分复用的特性，输出至校正模块。
2.根据权利要求1所述的一种基于FPGA的红外图像实时畸变校正方法，其特征在于，计算多组红外成像镜头的畸变校正参数步骤具体为：根据红外成像镜头的焦距f、红外成像镜头的畸变率γ、红外探测器的分辨率M*N和红外探测器像元尺寸μ，计算得到红外成像镜头的畸变校正参数，具体包括以下子步骤：
根据红外探测器的分辨率、红外探测器像元尺寸和红外成像镜头的焦距确定红外成像镜头的内参矩阵；
根据红外成像镜头的畸变率参数以及对应的内参矩阵，计算得到该红外成像镜头的畸变校正参数。
3.根据权利要求2所述的一种基于FPGA的红外图像实时畸变校正方法，其特征在于，所述红外成像镜头的内参矩阵计算公式为：
式中，Q表示红外成像镜头的内参矩阵。
4.根据权利要求3所述的一种基于FPGA的红外图像实时畸变校正方法，其特征在于，所述畸变校正参数计算公式为：
式中，K表示红外成像镜头的畸变校正参数。
5.根据权利要求1所述的一种基于FPGA的红外图像实时畸变校正方法，其特征在于，根据红外成像镜头的畸变校正参数，依次找到去畸变后的红外图像坐标对应的二维畸变坐标步骤具体包括：
通过内参矩阵对红外畸变图像的每一像素点的坐标进行归一化处理；
基于归一化处理结果，通过径向畸变模型得到每一像素点的归一化畸变坐标；
将归一化畸变坐标反向映射回畸变坐标，得到去畸变后的红外图像每一像素点坐标对应的二维畸变坐标。
6.根据权利要求1所述的一种基于FPGA的红外图像实时畸变校正方法，其特征在于，对所述原始红外畸变图像数据进行滤波和帧间降噪处理步骤具体包括以下子步骤：
对所述原始红外畸变图像数据进行保边滤波处理，保留数据原有的梯度信息；
根据滤波处理后的当前帧红外畸变数据和滤波处理后的前一帧红外畸变数据，进行帧间降噪处理，得到预处理数据IR1，具体为：
当k＝1时，IR1(i，j，k)＝IR0(i，j，k)；
当k≥2时，
式中：diff(i，j，k)＝|IR0(i，j，k)-IR0(i，j，k-1)|，其中1≤i≤M，1≤j≤N，threshold为设定的条件绝对阈值，IR0(i，j，k)为滤波后的红外畸变图像的第k帧对应的第i行第j列的数据，IR0(i，j，k-1)为滤波后的红外畸变图像的第k-1帧对应的第i行第j列的数据；
对所述原始红外畸变图像数据进行滤波和帧间降噪处理的同时完成当前帧红外畸变数据、前一帧红外畸变数据、去畸变反向映射地址数据的读写操作。
7.根据权利要求6所述的一种基于FPGA的红外图像实时畸变校正方法，其特征在于，对经过滤波和帧间降噪处理后的红外图像数据进行图像校正步骤具体为：
采用双线性插值算法完成红外畸变图像数据的畸变校正。
8.一种基于FPGA的红外图像实时畸变校正系统，其特征在于，包括数据采集模块、Flash模块、滤波模块、降噪模块、DDR存储模块和校正模块；
其中，所述数据采集模块用于进行红外成像数据采集，得到原始红外畸变图像数据；
所述Flash模块用于预先存储多组红外成像镜头的畸变校正参数对应的去畸变反向映射地址数据；
所述滤波模块用于对所述原始红外畸变图像数据进行滤波处理；
所述降噪模块根据经过滤波处理后的当前帧红外畸变数据和经过滤波处理后的前一帧红外畸变数据，完成数据的帧间降噪处理；
所述DDR存储模块用于完成当前帧红外畸变数据、前一帧红外畸变数据及去畸变反向映射地址数据的读写操作；
所述校正模块根据去畸变反向映射地址数据获得所选红外成像镜头的畸变校正参数，以对经帧间降噪处理后的红外图像数据进行图像校正；
从预先存储的多组红外成像镜头的畸变校正参数对应的去畸变反向映射地址数据中获取该红外成像镜头对应的畸变校正参数步骤具体包括以下子步骤：
计算多组红外成像镜头的畸变校正参数；
根据畸变校正参数以及原始红外畸变数据，确定红外去畸变反向映射地址数据，生成查找表并将其存入Flash中；
根据所选红外成像镜头确定该红外成像镜头的畸变校正参数，同时确定红外图像畸变校正时查找表的初始寻址地址；
根据畸变校正参数以及原始红外畸变数据，确定红外去畸变反向映射地址数据，生成查找表并将其存入Flash中步骤具体包括以下子步骤：
根据红外成像镜头的畸变校正参数，依次找到去畸变后的红外图像坐标对应的二维畸变坐标；
将n组红外成像镜头对应的二维畸变坐标转换为一维矩阵坐标，并将n组一维矩阵坐标合并得到一维矩阵A；其中，n为大于等于3的正整数；
将得到的一维矩阵A转换成HEX文件烧写进Flash，通过在Flash中宏定义一个参数Flash_user_addr，通过定义其不同的初始值，确定flash初始读地址，实现不同红外成像镜头下畸变校正去畸变反向映射地址数据所在flash存储地址的访问，从而可实现多镜头自由切换畸变实时校正；
对所述原始红外畸变图像数据进行滤波和帧间降噪处理的同时，通过DDR存储模块完成红外去畸变反向映射地址数据由Flash存储到DDR存储；
完成当前帧红外畸变数据、前一帧红外畸变数据及去畸变反向映射地址数据的读写操作，具体为：红外畸变数据提前从DDR中突发2倍的最大畸变行的数据流缓存至校正模块的DPRAM中，之后红外畸变数据输入缓存的同时，将去畸变反向映射地址数据利用DDR时分复用的特性，输出至校正模块。
CN202111368470.XA 2021-11-18 2021-11-18 一种基于fpga的红外图像实时畸变校正方法和系统 Active CN114066759B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111368470.XA CN114066759B (zh) 2021-11-18 2021-11-18 一种基于fpga的红外图像实时畸变校正方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111368470.XA CN114066759B (zh) 2021-11-18 2021-11-18 一种基于fpga的红外图像实时畸变校正方法和系统

Publications (2)

Publication Number Publication Date
CN114066759A CN114066759A (zh) 2022-02-18
CN114066759B true CN114066759B (zh) 2023-08-01

Family

ID=80279115

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111368470.XA Active CN114066759B (zh) 2021-11-18 2021-11-18 一种基于fpga的红外图像实时畸变校正方法和系统

Country Status (1)

Country Link
CN (1) CN114066759B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014012946A1 (en) * 2012-07-16 2014-01-23 Flir Systems Ab Correction of image distortion in ir imaging
CN104363383A (zh) * 2014-10-16 2015-02-18 青岛歌尔声学科技有限公司 一种图像预畸变校正的方法和装置
CN104776919A (zh) * 2015-04-17 2015-07-15 华中科技大学 基于fpga的红外焦平面阵列条带状非均匀性校正系统和方法
CN105391955A (zh) * 2015-12-25 2016-03-09 北京智芯微电子科技有限公司 一种红外图像采集处理系统
CN108055510A (zh) * 2017-12-25 2018-05-18 北京航空航天大学 一种基于fpga的双路视频实时矫正装置及方法
CN108053385A (zh) * 2018-01-24 2018-05-18 桂林电子科技大学 一种鱼眼视频实时矫正系统及方法
CN110418060A (zh) * 2019-08-05 2019-11-05 苏州中科全象智能科技有限公司 一种高速相机的图像校正方法及系统
CN110958362A (zh) * 2019-11-27 2020-04-03 湖南海森格诺信息技术有限公司 基于分块查表的图像校正系统及其方法
CN111587407A (zh) * 2017-11-10 2020-08-25 辉达公司 用于安全且可靠的自主车辆的系统和方法
CN112393807A (zh) * 2020-11-23 2021-02-23 昆明物理研究所 红外图像处理方法、装置、系统以及计算机可读存储介质
CN112529795A (zh) * 2020-12-04 2021-03-19 北京中科慧眼科技有限公司 基于fpga的双目相机畸变校正系统、方法和终端设备
CN112927166A (zh) * 2021-03-23 2021-06-08 电子科技大学 一种基于相位修正的红外偏振角图像联合降噪方法及装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014012946A1 (en) * 2012-07-16 2014-01-23 Flir Systems Ab Correction of image distortion in ir imaging
CN104363383A (zh) * 2014-10-16 2015-02-18 青岛歌尔声学科技有限公司 一种图像预畸变校正的方法和装置
CN104776919A (zh) * 2015-04-17 2015-07-15 华中科技大学 基于fpga的红外焦平面阵列条带状非均匀性校正系统和方法
CN105391955A (zh) * 2015-12-25 2016-03-09 北京智芯微电子科技有限公司 一种红外图像采集处理系统
CN111587407A (zh) * 2017-11-10 2020-08-25 辉达公司 用于安全且可靠的自主车辆的系统和方法
CN108055510A (zh) * 2017-12-25 2018-05-18 北京航空航天大学 一种基于fpga的双路视频实时矫正装置及方法
CN108053385A (zh) * 2018-01-24 2018-05-18 桂林电子科技大学 一种鱼眼视频实时矫正系统及方法
CN110418060A (zh) * 2019-08-05 2019-11-05 苏州中科全象智能科技有限公司 一种高速相机的图像校正方法及系统
CN110958362A (zh) * 2019-11-27 2020-04-03 湖南海森格诺信息技术有限公司 基于分块查表的图像校正系统及其方法
CN112393807A (zh) * 2020-11-23 2021-02-23 昆明物理研究所 红外图像处理方法、装置、系统以及计算机可读存储介质
CN112529795A (zh) * 2020-12-04 2021-03-19 北京中科慧眼科技有限公司 基于fpga的双目相机畸变校正系统、方法和终端设备
CN112927166A (zh) * 2021-03-23 2021-06-08 电子科技大学 一种基于相位修正的红外偏振角图像联合降噪方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于FPGA的图像畸变矫正算法研究;毛昕蓉 等;应用光学;第41卷(第1期);86-93 *
红外畸变图像并行校正快速实现算法研究;郑红 等;仪器仪表学报;第32卷(第11期);2530-2535 *

Also Published As

Publication number Publication date
CN114066759A (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
CN101305620B (zh) 用于处理图像数据的方法
CN103247031B (zh) 一种畸变图像校正的方法、终端及系统
CN113096192B (zh) 图像传感器内参标定方法、装置、设备及存储介质
WO2000044181A1 (en) Software correction of image distortion in digital cameras
CN110958362A (zh) 基于分块查表的图像校正系统及其方法
CN113994658A (zh) 组合的电子图像稳定和光学图像稳定
CN103700062B (zh) 图像处理方法和装置
CN105701809A (zh) 一种基于线阵相机扫描的平场校正方法
US10218925B2 (en) Method and apparatus for correcting lens distortion
CN111294520B (zh) 一种基于fpga的实时幸运成像方法及系统
CN108053385A (zh) 一种鱼眼视频实时矫正系统及方法
CN111861883A (zh) 基于同步积分surf算法的多路视频拼接方法
CN114066759B (zh) 一种基于fpga的红外图像实时畸变校正方法和系统
CN110942475A (zh) 紫外与可见光图像融合系统及快速图像配准方法
CN113627481A (zh) 一种面向智慧园林的多模型组合的无人机垃圾分类方法
CN105333960A (zh) 红外焦平面探测器非均匀性校正和盲元替换方法及装置
CN113900813B (zh) 一种基于双口ram的盲元填充方法、系统及装置
CN105787484A (zh) 一种物体跟踪或识别的方法、装置
JPH0896118A (ja) 車両用周囲状況表示装置
CN114584832B (zh) 视频自适应多尺寸动态播放方法及装置
CN116403085A (zh) 一种基于多任务的变电站多指针仪表识别方法及装置
CN113222990B (zh) 一种基于图像数据增强的芯片计数方法
CN116403200A (zh) 基于硬件加速的车牌实时识别系统
CN113674340A (zh) 一种基于路标点的双目视觉导航方法与装置
CN114494034A (zh) 一种图像畸变矫正方法及装置和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant