CN112598567B - 一种fpga实现红外实时拼图中图像增强的方法 - Google Patents

一种fpga实现红外实时拼图中图像增强的方法 Download PDF

Info

Publication number
CN112598567B
CN112598567B CN202011594854.9A CN202011594854A CN112598567B CN 112598567 B CN112598567 B CN 112598567B CN 202011594854 A CN202011594854 A CN 202011594854A CN 112598567 B CN112598567 B CN 112598567B
Authority
CN
China
Prior art keywords
image
pixel
gray value
fpga
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011594854.9A
Other languages
English (en)
Other versions
CN112598567A (zh
Inventor
郑帅
石春雷
殷亚国
侯棋文
刘奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Environmental Features
Original Assignee
Beijing Institute of Environmental Features
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Environmental Features filed Critical Beijing Institute of Environmental Features
Priority to CN202011594854.9A priority Critical patent/CN112598567B/zh
Publication of CN112598567A publication Critical patent/CN112598567A/zh
Application granted granted Critical
Publication of CN112598567B publication Critical patent/CN112598567B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种FPGA实现红外实时拼图中图像增强的装置，包括：图像输入模块、FPGA模块和图像输出模块；图像输入模块采用cameralink接口采集红外图像，通过DS90CR288A串并转换芯片将BASE模式cameralink信号转为以像素时钟为基准的行场同步信号和最大16位的灰度值数据。图像输出模块将图像随像素时钟写入FIFO中，SDI输出模块读取FIFO数据，拼接为16位数据发送给SDI芯片，通过以FPGA为主控芯片，图像处理采集芯片及接口为外围电路的电路板作为硬件结构，在FPGA片以硬件描述语言编程，实现对实时图像的逐帧增强处理。本发明的技术方案有效地解决了现有技术中的成像质量差的问题。

Description

一种FPGA实现红外实时拼图中图像增强的方法
技术领域
本发明涉及图像增强的技术领域，具体而言，涉及一种FPGA实现红外实时拼图中图像增强的方法。
背景技术
红外成像技术在目标侦测、识别、跟踪等多方面具有显著优势，因此被广泛应用于边防、武器、监控等诸多领域。因其广泛应用，热像仪性能也随之提升。目前高精度的红外热像仪一般可达到14位或更高精度以满足图像处理算法的要求。对于不同的场景，红外图像的灰度分布不尽相同，有可能分布在较小的范围内，从而导致对比度不合适，成像质量差等问题。
发明内容
本发明目的在于提供一种FPGA实现红外实时拼图中图像增强的装置，解决现有技术中的成像质量差的问题。
有鉴于此，本发明提供一种FPGA实现红外实时拼图中图像增强的装置，包括：图像输入模块、FPGA模块和图像输出模块；图像输入模块采用cameralink接口采集红外图像，通过DS90CR288A串并转换芯片将BASE模式cameralink信号转为以像素时钟为基准的行场同步信号和最大16位的灰度值数据。图像输出模块将图像随像素时钟写入FIFO中，SDI输出模块读取FIFO数据，拼接为16位数据发送给SDI芯片，通过以FPGA为主控芯片，图像处理采集芯片及接口为外围电路的电路板作为硬件结构，在FPGA片以硬件描述语言编程，实现对实时图像的逐帧增强处理。
进一步地，S101对图像直方图进行统计，同时对图像进行缓存至双口RAM中；S102在遍历完一副图像，进入场消隐时间内时；S103根据行场信号判断，在下一幅图像到来时，对每一个像素进行拉伸并压缩到8bit处理，具体拉伸公式如下所示：
Data_en:处理后的像素灰度值；
Data_ir处理前的像素灰度值；
Mindata计算后单附图最小灰度值；
Maxdata计算后单附图最大灰度值；
若该像素灰度值小于最小值则置0，该像素值大于最大值则置255。将处理完的图像拼接为16位后同步输出至FIFO。
进一步地，在S101步骤中，建立一个二维数组hist，读取像素灰度值为数组横轴，对数组当前像素灰度值位置的值加一，随像素时钟遍历当前图像每一个像素后得到该图像的灰度直方图。
进一步地，在S102步骤中，首先进行去极值操作，查找直方图，从灰度值最低的灰阶开始向上统计，直到像素数超过2000个时，记录此时的灰度值为下限；得到灰度值上限的方法与上述一致，灰度值最高的灰阶开始向下统计，直到像素数超过2000个时，记录此时的灰度值为上限。
进一步地，然后清零直方图。
本发明实现了以下显著的有益效果：
通过FPGA实现图像增强算法，分担后端处理器算力压力。
附图说明
图1是本发明的FPGA实现红外实时拼图中图像增强的方法的FPGA图像增强算法示意图示意图；
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明，根据下面说明和权利要求书，本发明的优点和特征将更清楚。需要说明的是，附图均采用非常简化的形式且均适用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。
需要说明的是，为了清楚地说明本发明的内容，本发明特举多个实施例以进一步阐释本发明的不同实现方式，其中，该多个实施例是列举式而非穷举式。此外，为了说明的简洁，前实施例中已提及的内容往往在后实施例中予以省略，因此，后实施例中未提及的内容可相应参考前实施例。
虽然该发明可以以多种形式的修改和替换来扩展，说明书中也列出了一些具体的实施图例并进行详细阐述。应当理解的是，发明者的出发点不是将该发明限于所阐述的特定实施例，正相反，发明者的出发点在于保护所有给予由本权利声明定义的精神或范围内进行的改进、等效替换和修改。同样的元器件号码可能被用于所有附图以代表相同的或类似的部分。
请参照图1，本发明的一种FPGA实现红外实时拼图中图像增强的装置，包括：图像输入模块、FPGA模块和图像输出模块；图像输入模块采用cameralink接口采集红外图像，通过DS90CR288A串并转换芯片将BASE模式cameralink信号转为以像素时钟为基准的行场同步信号和最大16位的灰度值数据。图像输出模块将图像随像素时钟写入FIFO中，SDI输出模块读取FIFO数据，拼接为16位数据发送给SDI芯片，通过以FPGA为主控芯片，图像处理采集芯片及接口为外围电路的电路板作为硬件结构，在FPGA片以硬件描述语言编程，实现对实时图像的逐帧增强处理。
如图1所示，本申请还提供了FPGA实现红外实时拼图中图像增强的方法，包括：S101对图像直方图进行统计，同时对图像进行缓存至双口RAM中；S102在遍历完一副图像，进入场消隐时间内时；S103根据行场信号判断，在下一幅图像到来时，对每一个像素进行拉伸并压缩到8bit处理，具体拉伸公式如下所示：
Data_en:处理后的像素灰度值；
Data_ir处理前的像素灰度值；
Mindata计算后单附图最小灰度值；
Maxdata计算后单附图最大灰度值；
若该像素灰度值小于最小值则置0，该像素值大于最大值则置255。将处理完的图像拼接为16位后同步输出至FIFO。
在本实施例的技术方案中，在S101步骤中，建立一个二维数组hist，读取像素灰度值为数组横轴，对数组当前像素灰度值位置的值加一，随像素时钟遍历当前图像每一个像素后得到该图像的灰度直方图。
在本实施例的技术方案中，在S102步骤中，首先进行去极值操作，查找直方图，从灰度值最低的灰阶开始向上统计，直到像素数超过2000个时，记录此时的灰度值为下限；得到灰度值上限的方法与上述一致，灰度值最高的灰阶开始向下统计，直到像素数超过2000个时，记录此时的灰度值为上限。
在本实施例的技术方案中，然后清零直方图。
通过上述可知，本申请为在FPGA上实现图像处理算法，其相关的FPGA最小系统包括图像输入模块、FPGA芯片和图像输出模块。
图像输入模块采用cameralink接口采集红外图像，通过DS90CR288A串并转换芯片将BASE模式cameralink信号转为以像素时钟为基准的行场同步信号和最大16位的灰度值数据。图像输出模块将图像随像素时钟写入FIFO中，SDI输出模块读取FIFO数据，拼接为16位数据发送给SDI芯片。
算法工作流程如下：
(1)对图像直方图进行统计，建立一个二维数组hist，读取像素灰度值为数组横轴，对数组当前像素灰度值位置的值加一，随像素时钟遍历当前图像每一个像素后得到该图像的灰度直方图。同时对图像进行缓存至双口RAM中。
(2)在遍历完一副图像，进入场消隐时间内时，首先进行去极值操作，查找直方图，从灰度值最低的灰阶开始向上统计，直到像素数超过2000个时，记录此时的灰度值为下限；得到灰度值上限的方法与上述一致，只是从最高灰度值开始向下统计。之后清零直方图。
(3)根据行场信号判断，在下一幅图像到来时，对每一个像素进行拉伸并压缩到8bit处理，具体拉伸公式如下所示：
若该像素灰度值小于最小值则置0，该像素值大于最大值则置255。将处理完的图像拼接为16位后同步输出至FIFO。
由于FPGA没有除法功能，因此需要借助除法器等方法得到商值。本算法处理的除法数据为14位，采用自己编写移位相减除法器的方式来实现。该方法延迟节拍可控，占用存储空间稍大，但对时序要求较小，减轻了时序上的压力，适用于图像处理这种高频大数据量的任务要求，为FPGA和其他芯片的高速交互留出余量。该除法器采用延迟24拍输出的方式，因此需要建立一个移位寄存器来对被处理的数据进行移位缓存，同样缓存24个节拍，同时建立一个移位寄存器来存储标识。
模块采用主要三个always块来进行时序控制。一个进行除法器的控制和商值获取，第二个进行直方图统计、图像缓存、图像输出、图像运算以及直方图清零，第三个进行极值获取。
由上述公式可以看出，要用此方法对图像进行处理，需要先对该帧图像进行完整的统计，之后再逐像素对图像进行处理。在一般情况下，探测器朝向静止或场景缓慢变化时，图像的最大最小灰度差值变化不大，当一帧图像传输完毕，得到该图像的极值差值后，在下一帧图像输入时逐像素用此系数进行处理是可行的。但在拼图系统中，若相邻两幅图像场景变化大，本身极值差差别较大，用上一帧图像得到的系数处理下一帧图像，则会使得图像整体不正常的变暗或变亮，在图像拼接之后就会出现不同帧图像间的明显界限。
改进设计为，将该帧图像得到的系数进行缓存，同时配合软件将整帧图像进行缓存，在图像输出时保证算法处理时使用当前帧的系数。具体实施方法为：1)建立一个双口RAM，空间满足对一整帧图像的缓存；2)逐像素接收图像，存入RAM中，同时对图像进行直方图统计，并计算的到该附图的极值差值等参数；3)在下一帧图像来临时，芯片随像素时钟工作，逐个读取RAM中存储的图像灰度值进行拉伸运算并输出，同步将新采集到的数据写入RAM中覆盖之前的数据。
根据本发明技术方案和构思，还可以有其他任何合适的改动。对于本领域普通技术人员来说，所有这些替换、调整和改进都应属于本发明所附权利要求的保护范围。

Claims (2)

1.一种FPGA实现红外实时拼图中图像增强的方法，其特征在于，包括：
图像输入模块、FPGA模块和图像输出模块；
图像输入模块采用cameralink接口采集红外图像，通过DS90CR288A串并转换芯片将BASE模式cameralink信号转为以像素时钟为基准的行场同步信号和最大16位的灰度值数据,图像输出模块将图像随像素时钟写入FIFO中，SDI输出模块读取FIFO数据，拼接为16位数据发送给SDI芯片，通过以FPGA为主控芯片，图像处理采集芯片及接口为外围电路的电路板作为硬件结构，在FPGA片以硬件描述语言编程，实现对实时图像的逐帧增强处理；
S101对图像直方图进行统计，建立一个二维数组hist，读取像素灰度值为数组横轴，对数组当前像素灰度值位置的值加一，随像素时钟遍历当前图像每一个像素后得到该图像的灰度直方图，同时对图像进行缓存至双口RAM中；
S102首先进行去极值操作，查找直方图，从灰度值最低的灰阶开始向上统计，直到像素数超过2000个时，记录此时的灰度值为下限；得到灰度值上限的方法与上述一致，灰度值最高的灰阶开始向下统计，直到像素数超过2000个时，记录此时的灰度值为上限，在遍历完一副图像，进入场消隐时间内时；
S103根据行场信号判断，在下一幅图像到来时，对每一个像素进行拉伸并压缩到8bit处理，具体拉伸公式如下所示：
Data_en:处理后的像素灰度值；
Data_ir处理前的像素灰度值；
Mindata计算后单附图最小灰度值；
Maxdata计算后单附图最大灰度值；
若该像素灰度值小于最小值则置0，该像素值大于最大值则置255；将处理完的图像拼接为16位后同步输出至FIFO。
2.根据权利要求1所述的FPGA实现红外实时拼图中图像增强的方法，其特征在于，然后清零直方图。
CN202011594854.9A 2020-12-29 2020-12-29 一种fpga实现红外实时拼图中图像增强的方法 Active CN112598567B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011594854.9A CN112598567B (zh) 2020-12-29 2020-12-29 一种fpga实现红外实时拼图中图像增强的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011594854.9A CN112598567B (zh) 2020-12-29 2020-12-29 一种fpga实现红外实时拼图中图像增强的方法

Publications (2)

Publication Number Publication Date
CN112598567A CN112598567A (zh) 2021-04-02
CN112598567B true CN112598567B (zh) 2023-11-14

Family

ID=75204132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011594854.9A Active CN112598567B (zh) 2020-12-29 2020-12-29 一种fpga实现红外实时拼图中图像增强的方法

Country Status (1)

Country Link
CN (1) CN112598567B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114095700B (zh) * 2021-11-08 2022-09-16 北京航空航天大学合肥创新研究院(北京航空航天大学合肥研究生院) 一种全景红外视觉地面震动监测方法
CN115061967B (zh) * 2022-06-30 2023-06-23 重庆秦嵩科技有限公司 基于国产FPGA的cameralink图像压缩降低接口时钟的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102413283A (zh) * 2011-10-25 2012-04-11 广州飒特红外股份有限公司 红外热图数字信号处理系统及方法
CN102456224A (zh) * 2010-10-19 2012-05-16 高森 基于fpga实时数字图像增强方法
CN102497522A (zh) * 2011-12-12 2012-06-13 中国科学院长春光学精密机械与物理研究所 一种智能Camera Link转SDI装置
CN107341760A (zh) * 2017-06-27 2017-11-10 北京计算机技术及应用研究所 一种基于fpga的低空目标跟踪系统
CN110996005A (zh) * 2019-12-18 2020-04-10 中国科学院长春光学精密机械与物理研究所 一种实时数字图像增强方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102456224A (zh) * 2010-10-19 2012-05-16 高森 基于fpga实时数字图像增强方法
CN102413283A (zh) * 2011-10-25 2012-04-11 广州飒特红外股份有限公司 红外热图数字信号处理系统及方法
CN102497522A (zh) * 2011-12-12 2012-06-13 中国科学院长春光学精密机械与物理研究所 一种智能Camera Link转SDI装置
CN107341760A (zh) * 2017-06-27 2017-11-10 北京计算机技术及应用研究所 一种基于fpga的低空目标跟踪系统
CN110996005A (zh) * 2019-12-18 2020-04-10 中国科学院长春光学精密机械与物理研究所 一种实时数字图像增强方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
FPGA Implementation for Skeletonization of 2-D Images;Srinivasa Rao Perumalla 等;2018 3rd IEEE International Conference on Recent Trends in Electronics, Information & Communication Technology;1-15 *
一种可见光图像增强算法的FPGA实现;张建飞 等;科技资讯(03);1-5 *
一种自适应红外图像增强算法;张海潮 等;兰州理工大学学报;第38卷(第3期);1-5 *
吴家伟 等.红外图像实时显示增强系统设计.《光学精密工程》.2009,第17卷(第10期),1-8. *
朱颖达 等.实现高分辨力图像传感器高帧率输出的方法.《光学仪器》.2010,(第06期),1-3. *

Also Published As

Publication number Publication date
CN112598567A (zh) 2021-04-02

Similar Documents

Publication Publication Date Title
US8941744B2 (en) Image sensors for establishing an image sharpness value
EP1457042B1 (en) Concurrent dual pipeline for acquisition, processing and transmission of digital video and high resolution digital still photographs
US20130021504A1 (en) Multiple image processing
CN112598567B (zh) 一种fpga实现红外实时拼图中图像增强的方法
US20150078725A1 (en) Image capturing apparatus, image capturing system, and control method for the image capturing apparatus
CN100377574C (zh) 图像处理装置和电子照相机
KR100461339B1 (ko) 영상데이터 전송장치 및 방법
US9137446B2 (en) Imaging device, method of capturing image, and program product for capturing image
JPH06105241A (ja) 画素欠陥補正方法
CN102547086A (zh) 摄像装置、摄像控制方法及程序产品
JPH03295364A (ja) 撮像信号処理装置
CN110266967B (zh) 图像处理方法、装置、存储介质及电子设备
US10277811B2 (en) Display control device and imaging device
CN100542219C (zh) 相机抖动校正方法及其图像拍摄装置
KR20010037684A (ko) 디지털 스틸 카메라의 자동 노출 보정 장치 및 방법
CN113873142B (zh) 多媒体处理芯片、电子设备和动态图像处理方法
CN113808173A (zh) 图像校正方法、装置、电子设备、存储介质
CN103813054A (zh) 图像处理设备、成像设备、图像处理方法和程序
CN109660743B (zh) 一种制冷型红外热像仪高动态范围成像的实现方法
JP6763215B2 (ja) 信号処理装置
JP2011087203A (ja) 撮像装置
JP2003283906A (ja) 高解像度撮像装置
US20130155292A1 (en) Imaging apparatus and method
JP2002287195A (ja) 撮像装置及び手振れ検出方法
JP7004853B2 (ja) 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant